JP2012008808A - Information processor - Google Patents
Information processor Download PDFInfo
- Publication number
- JP2012008808A JP2012008808A JP2010144219A JP2010144219A JP2012008808A JP 2012008808 A JP2012008808 A JP 2012008808A JP 2010144219 A JP2010144219 A JP 2010144219A JP 2010144219 A JP2010144219 A JP 2010144219A JP 2012008808 A JP2012008808 A JP 2012008808A
- Authority
- JP
- Japan
- Prior art keywords
- objects
- display
- distance
- order
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、表示オブジェクトに対する操作性を向上する技術に関する。 The present invention relates to a technique for improving operability for a display object.
電子化されたドキュメントを大型のテーブル・ディスプレイや壁面ディスプレイに表示し、表示されたドキュメントをインタラクティブに操作可能にすることで、アイディアの整理や議論の活性化を支援するシステムが注目されている。このようなシステムでは、ディスプレイにタッチパネルやデジタイザなどが組み込まれており、画面上に表示されたドキュメント（オブジェクト）をタッチ操作するといった、直感的なオブジェクト操作が可能である。一般的にタッチパネルを利用した操作は、情報機器に不慣れなユーザにも馴染みやすいため、モバイル端末やコピー機など多くの情報機器で利用されるようになっている。 Attention has been focused on systems that support organizing ideas and activating discussion by displaying digitized documents on a large table display or wall display and making the displayed documents interactively operable. In such a system, a touch panel, a digitizer, and the like are incorporated in the display, and an intuitive object operation such as a touch operation on a document (object) displayed on the screen is possible. In general, an operation using a touch panel is easily used by a user who is unfamiliar with information equipment, and is used in many information equipment such as mobile terminals and copiers.
これらタッチパネル式の情報処理装置は、誰でも簡単に目的のオブジェクトをタッチ操作で選択できることが求められているが、表示されるオブジェクトが小さい場合には間違ったオブジェクトを選択してしまう可能性が高い。また、同様に隣り合うオブジェクトの間隔が狭い場合なども間違って隣のオブジェクトをタッチ選択してしまう。 These touch panel type information processing devices are required to allow anyone to easily select a target object by touch operation, but if the displayed object is small, there is a high possibility of selecting the wrong object. . Similarly, when the interval between adjacent objects is narrow, the adjacent object is erroneously selected by touch.
このような課題を解決するため、特許文献１は、操作者の指先が接近したことを検出して、指先と表示画面間の距離を求め、その距離が小さくなるにつれて、ユーザが選択したい表示オブジェクトを選択しやすいように大きく表示する処理を行う。
In order to solve such a problem,
しかし、テーブル上に表示されたオブジェクトをタッチして選択する場合、特許文献１では、表示オブジェクトが重なって表示されている場合、タッチ操作でオブジェクトを選択するのは煩わしく、操作性を低下させてしまう。
However, when an object displayed on the table is selected by touching, in
また、テーブル上に表示されたオブジェクトをタッチして選択する場合、特許文献１では、選択するオブジェクトが操作者の手の届かない距離に表示されていると選択できない。例えば、図１（ａ）において操作者Ａは、手が届かないため表示されているオブジェクト１０３ｄや１０３ｅを直接タッチして選択することができない。
In addition, when an object displayed on the table is selected by touching, in
本発明は、上記課題を考慮してなされたもので、オブジェクトが重なっている場合や手の届かない場所に表示されていても、オブジェクトを容易に選択することが可能な情報処理装置を提供することを目的とする。 The present invention has been made in consideration of the above problems, and provides an information processing apparatus capable of easily selecting an object even when the objects are overlapped or displayed in a place out of reach. For the purpose.
上記課題を解決するために、本発明の情報処理装置は、表示部に表示されている複数のオブジェクトから、オブジェクトを選択する情報処理装置であって、前記複数のオブジェクトの順序を保持する保持手段と、物体から前記表示部の表示画面までの遠隔操作距離を取得する距離取得手段と、前記複数のオブジェクトの順序と前記取得した遠隔操作距離に基づいて、オブジェクトを選択するオブジェクト選択手段を有することを特徴とする。 In order to solve the above-described problem, an information processing apparatus according to the present invention is an information processing apparatus that selects an object from a plurality of objects displayed on a display unit, and holds the order of the plurality of objects Distance acquisition means for acquiring a remote operation distance from the object to the display screen of the display unit, and object selection means for selecting an object based on the order of the plurality of objects and the acquired remote operation distance. It is characterized by.
本発明によれば、重なって表示されているため選択しにくいオブジェクトや、遠くに表示されて選択できないオブジェクトを容易に選択することが可能となる。 According to the present invention, it is possible to easily select an object that is difficult to select because it is displayed overlappingly, or an object that is displayed far away and cannot be selected.
以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, embodiment described below shows an example at the time of implementing this invention concretely, and is not restricted to this.
［第１の実施形態］
図１（Ａ）は、本実施形態におけるシステム概要図である。テーブル型ディスプレイ１０１、壁面型ディスプレイ１０２を利用して、アイディアの整理や議論をインタラクティブに行うためのシステムである。参加者Ａ、Ｂは表示装置であるディスプレイ（１０１、１０２）に表示されたオブジェクト（１０３ａ〜１０３ｅ）を指や手を使ってタッチ操作、もしくはジェスチャ操作することで選択し、操作する。
[First Embodiment]
FIG. 1A is a system outline diagram in this embodiment. This is a system for interactively organizing and discussing ideas using a table-
図１（Ｂ）では、下方と側方の両方向に投影可能なプロジェクタ１０４を利用してテーブル型ディスプレイ１０１、壁面型ディスプレイ１０２の両方にプロジェクタ１０４を用いてオブジェクトを投影するシステム１００１の例を示す。また、オブジェクトに対するジェスチャ操作を認識するためのセンサとして距離センサ１０５を利用する。これらの各デバイスは、情報処理装置１００とネットワークもしくはＵＳＢによって接続されており、協調して機能する。図１（Ｂ）では、２つの表示装置と一つの距離センサを利用する例を示したが、その限りではない。表示装置は１つでも良く、プロジェクタ１０４のような投影型表示装置ではなく、図１（Ｃ）に示したような、タッチパネルが組み込まれた大型ディスプレイをテーブルもしくは壁面に設置して利用してもよい。また、センサも距離情報を算出可能なセンサとして、複数の近接センサや超音波センサを利用してもよい。また画像の解析結果から距離情報を算出することも可能である。
FIG. 1B illustrates an example of a
図２は本実施形態における、情報処理装置１００のハードウェア構成図である。情報処理装置１００は、ＣＰＵ２００（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、バス２０３から構成される。またさらに、ディスプレイＩ／Ｆ２０４、ストレージＩ／Ｆ２０５、ストレージ２０６、入力Ｉ／Ｆ２０７から構成される。ただし、本発明はこれらのインターフェースだけに限らない。タッチパネルＩ／ＦやメモリーカードＩ／Ｆなどのインターフェースを含み、それを利用して情報処理装置を実現しても構わない。
FIG. 2 is a hardware configuration diagram of the
以下、情報処理装置１００のハードウェア構成について、その詳細を説明する。
Hereinafter, details of the hardware configuration of the
ＣＰＵ２００は、ＲＡＭ２０１、ＲＯＭ２０２、バス２０３を利用して情報処理装置１００全体の制御を行う。ここでは図示されていないが、オペレーティングシステム（以下ＯＳ）をはじめ、本発明に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２に記憶されており、ＲＡＭ２０１に一時記憶され、ＣＰＵ２００によって適宜実行される。ここでＯＳおよび各処理プログラム等はストレージ２０６に記憶されていてもよく、その場合は電源投入時にＲＡＭ２０１に適宜読み込まれ、ＣＰＵ２００によって起動される。
The
ディスプレイＩ／Ｆ２０４は、情報処理装置１００内部で作成される表示画面をディスプレイ１０１が処理可能な信号に変換する。ストレージＩ／Ｆ２０５は、情報処理装置１００内部で利用可能な映像データ形式とストレージ２０６に記憶するための映像データ形式を互いに変換する。入力Ｉ／Ｆ２０７は、距離センサ１０５からの距離情報を入力信号として受信し、情報処理装置１００が処理可能な情報に変換する。
The display I /
ストレージ２０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ストレージ２０６には情報処理装置１００で表示するためのオブジェクトが膨大に記録されている。ストレージ２０６自体は、情報処理装置１００内部に搭載されていても良いし、イーサネット（登録商標）やＵＳＢ、メモリーカードＩ／Ｆなどの各種インターフェースを介して接続されていてもよい。またその際、ストレージ２０６は複数台接続されていても構わない。尚、以下特に断らない限り、他図を用いて説明されたものは同一の符号を付し、その説明を省略する。
The
図３（Ａ）は本実施形態における情報処理装置１００の機能ブロック図である。情報処理装置１００は、距離取得部３００、保持部３０１、オブジェクト取得部３０２、表示制御部３０３、選択部３０４から構成される。上記これらの各機能ブロックはハードウェア、ソフトウェアの組み合わせによって様々な形態で実現できる。
FIG. 3A is a functional block diagram of the
本実施形態では、ストレージ２０６に記憶されているデータ（オブジェクト）は主にマルチメディアデータであり、映像や静止画、音声データ、各種電子化ドキュメントである。以降これらデータをオブジェクトと記述する。これらオブジェクトには作成日時の情報や編集日時の情報、グループの情報など、オブジェクトの順序を決定するために必要なメタ情報が付与されているものとする。しかし、本実施形態はこれらのメタ情報に限定して利用されるものではない。例えば、オブジェクトの順序を決定するためのメタ情報がない場合は、オブジェクトを読み込んだ後、各オブジェクトの名前でオブジェクトをソートすることで、オブジェクトの順序を決定してもよい。
In the present embodiment, data (objects) stored in the
情報処理装置１００が起動すると、オブジェクト取得部３０２は表示するオブジェクトとメタ情報をストレージ２０６から読み出す。読み出したオブジェクト及びメタ情報はＲＡＭ２０１に保持される。この時、読み出したデータがＲＡＭ２０１に対して大きすぎる場合は、読み込むデータを小分けにして順次読み込んで処理しても構わない。または、即座に読み出し可能なスワップデータとしてストレージ２０６に退避させておいても構わない。
When the
保持部３０１は、ＲＡＭ２０１に保持されているオブジェクトのメタ情報からオブジェクトの順序を決定し、保持する。ここでは、オブジェクトの順序を、表示画面上でオブジェクトが属している表示レイヤーの順とする。
The holding
表示制御部３０３は、ＲＡＭ２０１に保持されているオブジェクトから表示画面を生成しディスプレイ１０１に出力する。表示制御部３０３で作成される表示画面の一例を図４の４００に示す。図４では、４０１ａ、４０１ｂ、４０１ｃがディスプレイ１０１に表示出力されたオブジェクトを示している。
The
情報処理装置１００に対する操作は、手や指などの物体を使いジェスチャ操作（遠隔操作指示）することによって行う。オブジェクトが表示装置（ディスプレイ１０１）に表示されている状態で、距離取得部３００が、物体を検出すると、オブジェクト選択処理を開始する。距離取得部３００は、物体を検出し、物体から表示画面までの遠隔操作距離を算出する。そして算出した遠隔操作距離を選択部３０４に入力する。以下では、物体の一例である手を用いて説明する。
The
選択部３０４は、保持部３０１で保持しているオブジェクトの順序と距離取得部３００で取得した遠隔操作距離とから、オブジェクトを操作対象として選択する。
The selection unit 304 selects an object as an operation target from the order of the objects held by the holding
図４を用いて、本実施形態のオブジェクト選択処理の概要を説明する。 The outline of the object selection process of this embodiment will be described with reference to FIG.
図４の４００は、本実施形態におけるオブジェクトが表示されている表示画面の一例を示しており、複数のオブジェクト４０１ａ、４０１ｂ、４０１ｃが一画面上に表示されている。
一般的にディスプレイに表示された複数のオブジェクトを個別に選択可能とするには、オブジェクトを１つの表示レイヤーで管理する必要がある。オブジェクトが表示レイヤー毎に管理されている状態を図４の（４０１ｘ、４０１ｙ、４０１ｚ）に示す。 In general, in order to individually select a plurality of objects displayed on a display, it is necessary to manage the objects with one display layer. A state in which the object is managed for each display layer is shown in (401x, 401y, 401z) in FIG.
本実施形態においても、各オブジェクトを表示レイヤーで管理する。また保持部３０１は、オブジェクトが属するレイヤーの順序に基づいて、オブジェクトの順序を決定し、保持する。
Also in this embodiment, each object is managed by the display layer. The holding
表示制御部３０３は、オブジェクトを各表示レイヤーで管理し、表示レイヤーを表示レイヤー順に重ね合わせることにより１つの表示画面を生成し、ディスプレイに出力する。そのようにして生成した表示画面が図４の表示画面４００である。
The
表示画面４００が表示されている状態で、物体４０３を使ってジェスチャ入力を行う。本実施形態におけるジェスチャ入力は、表示画面４００に対して手を垂直方向に動かす操作である。そのジェスチャ入力を距離取得部３００によって検出し、遠隔操作距離を算出する。本実施形態では、ジェスチャ入力を、表示画面４００や物体４０３よりも上部に取り付けられた距離センサ１０５によってジェスチャ操作を検出し、遠隔操作距離を算出する。
While the
本実施形態における具体的な遠隔操作距離の算出方法を図９に示す。ここでは、物体の一例である手を用いて説明する。まず距離センサ１０５からディスプレイ１０１の表示画面１０１までの垂直距離Ｄｈ１を距離センサ１０５で取得する。そしてさらに、ジェスチャ操作を行う手の甲を認識し、距離センサ１０５から手の甲までの垂直距離Ｄｈ２を距離センサ１０５で取得する。本実施形態で算出する遠隔操作距離ｘは表示画面と手の垂直距離であり、ｘ＝Ｄｈ１−Ｄｈ２ で算出できる。本実施形態では距離センサを利用して遠隔操作距離を算出したが、その限りではない。表示画面４００上に近接センサや超音波センサを設置して、センサの情報から遠隔操作距離を算出しても良い。
A specific method for calculating the remote operation distance in the present embodiment is shown in FIG. Here, a description will be given using a hand which is an example of an object. First, the
次に、選択部３０４は、保持部３０１で保持しているオブジェクトの順序に従って、算出した遠隔操作距離から、オブジェクトを選択する。
Next, the selection unit 304 selects an object from the calculated remote operation distance according to the order of the objects held by the holding
本実施形態では、オブジェクトの順序は表示レイヤー順に基づく。従ってオブジェクトの順序は図４に示すように、表示レイヤー順であるＯｂｊｅｃｔ１（４０１ａ）、Ｏｂｊｅｃｔ２（４０１ｂ）、Ｏｂｊｅｃｔ３（４０１ｃ）となっている。この時、ジェスチャ操作を行う物体４０３と表示画面４００までの遠隔操作距離ｘが、０＜ｘ＜＝ａの場合はＯｂｊｅｃｔ３を操作対象として、選択し、ａ＜ｘ＜＝ｂの場合はＯｂｊｅｃｔ２を操作対象として選択する。同様に遠隔操作距離ｘが、ｂ＜ｘ＜＝ｃの場合はＯｂｊｅｃｔ３を操作対象として選択する。またｘ＝０およびｃ＜ｘの場合はジェスチャ操作対象外とし、オブジェクトを選択しない。
In the present embodiment, the order of objects is based on the order of display layers. Therefore, as shown in FIG. 4, the order of the objects is the display layer order Object1 (401a), Object2 (401b), and Object3 (401c). At this time, if the remote operation distance x between the
オブジェクトの順序（本実施形態では表示レイヤー順）と距離を対応付けてオブジェクトを選択するため、表示オブジェクトが重なって表示されている場合でも、オブジェクトを簡単に選択できる。 Since the object order is selected by associating the object order (display layer order in this embodiment) with the distance, the object can be easily selected even when the display objects are displayed in an overlapping manner.
また本実施形態のように、表示レイヤーが上位であるオブジェクトを長い距離に対応付け（マッピング）することで操作するユーザの感覚にマッチさせ、より直感的にオブジェクトを選択することも可能である。 In addition, as in the present embodiment, it is possible to match an object having a higher display layer with a long distance (mapping) to match the sense of the user who operates, and to select the object more intuitively.
さらに、図４の４０４ａ、４０４ｂ、４０４ｃで示すように、表示制御部３０３は、選択されているオブジェクトをディスプレイに強調表示し、距離と選択オブジェクトの対応付けを４０５ａ、４０５ｂ、４０５ｃで示すインジケータでフィードバック表示する。このようなフィードバック表示を行うことで、ユーザは次にどのようにジェスチャ入力を行えば選択したいオブジェクトを選択できるのかを予め知ることができ、より使い勝手の良いユーザインターフェース（以下ＵＩ）を実現できる。
Furthermore, as indicated by 404a, 404b, and 404c in FIG. 4, the
本実施形態では、ユーザ操作のし易さを考慮して手を上下させる範囲（操作可能な距離）を６０ｃｍとし、その範囲を３分割することによって、境界ａ、ｂ、ｃとする。しかし、この限りではない。オブジェクトを操作するユーザの状態（立っているのか、座っているのか）によって手の上下操作のし易い範囲も異なってくる。従って操作者の状態を認識して、手を上下させる範囲を動的に変更してもよい。尚、操作可能な距離は、情報処理装置１００のＲＯＭ２０２で予め保持しているものとする。
In the present embodiment, the range in which the hand is moved up and down (operable distance) is set to 60 cm in consideration of ease of user operation, and the range is divided into three to be boundaries a, b, and c. However, this is not the case. The range in which the user can operate the hand up and down varies depending on the state of the user operating the object (standing or sitting). Therefore, the range in which the hand is moved up and down may be dynamically changed by recognizing the state of the operator. Note that the operable distance is stored in advance in the
また、操作するオブジェクトの総数によっても手を上下させる範囲や分割数（境界数）異なってくる。例えば、操作対象オブジェクトが６個の場合は、６０ｃｍを６分割することによってオブジェクトと距離を対応付けてもよい。また逆に、手の上下操作の分解能を２ｃｍに固定して、操作対象オブジェクトの数に応じて、手を上下させる範囲を決定してもよい。このように、手を上下させる範囲の最小値Ｍｉｎと最大値Ｍａｘは、様々な方法で決定できる。 Further, the range in which the hand is moved up and down and the number of divisions (number of boundaries) vary depending on the total number of objects to be operated. For example, when there are six operation target objects, the distance may be associated with the object by dividing 60 cm into six. Conversely, the resolution of the up / down operation of the hand may be fixed to 2 cm, and the range in which the hand is moved up / down may be determined according to the number of operation target objects. As described above, the minimum value Min and the maximum value Max of the range in which the hand is moved up and down can be determined by various methods.
図５（Ａ）は本実施形態における情報処理装置１００の処理の流れを示すフローチャートである。このフローチャートを参照して、本実施形態におけるデータ表示処理、およびオブジェクト選択処理の詳細を説明する。
FIG. 5A is a flowchart showing the flow of processing of the
情報処理装置１００はデータ表示処理を開始すると、まずオブジェクト取得部３０２において、表示するオブジェクトと順序を決定するために利用されるメタ情報を取得し、ＲＡＭ２０１に保持する。次に保持部３０１にて取得したメタ情報からオブジェクトの順序を保持し、この情報もＲＡＭ２０１に保持する（Ｓ１０）。第１の実施形態の場合は表示レイヤーの順序に基づいてオブジェクトの順序と決定する。
When the
オブジェクトの順序が決定すると、初期画面表示処理（Ｓ１１）を実行する。 When the order of the objects is determined, an initial screen display process (S11) is executed.
図６は初期画面表示処理（Ｓ１１）の処理フロー図である。初期画面表示処理は、ＲＡＭ２０１に保持されたオブジェクトの表示レイヤー順とオブジェクトから表示画面を作成する。表示制御部３０３は、オブジェクトの表示レイヤーが低位のものから順に重ねて表示画面を作成する（Ｓ２０）。そして、作成した画面をディスプレイ１０１に表示出力する（Ｓ２１）。この時、ディスプレイ１０１に表示される初期画面の一例を図４の４００に示す。以上の処理で初期画面表示処理（Ｓ１１）は完了し、呼び出し元にその結果がリターンされる。
FIG. 6 is a process flow diagram of the initial screen display process (S11). In the initial screen display process, a display screen is created from the object display layer order and the objects held in the
初期画面表示処理（Ｓ１０）が終了すると、距離センサ１０５にて、遠隔操作の検知を行う（Ｓ１２）。遠隔操作を検知しなかった場合（Ｓ１２、Ｎ）は、何も行わず、再びＳ１２の処理に移行し、遠隔操作待ちのループとなる。遠隔操作を検知した場合（Ｓ１２、Ｙ）は、距離センサ１０５の情報から、遠隔操作距離（表示画面と手などの物体までの垂直距離）を取得し、ＲＡＭ２０１に保持する。遠隔操作距離の取得が完了すると、オブジェクト選択処理が開始される（Ｓ１４）。
When the initial screen display process (S10) is completed, the
図７（Ａ）は、第１の実施形態のオブジェクト選択処理（Ｓ１４）の処理フロー図である。オブジェクト選択処理が開始されると、選択部３０４は、ＲＡＭ２０１からオブジェクトの表示レイヤー順を読み出す。そして、表示レイヤー順に基づいて、オブジェクトと距離の対応付けを行う（Ｓ３０）。対応つけは、表示レイヤー順に基づいて、オブジェクトと距離（操作可能な距離）と関係を示すテーブルを作成する。テーブルの例としては、図１２（Ａ）で示すようなテーブルを保持する。
FIG. 7A is a process flow diagram of the object selection process (S14) of the first embodiment. When the object selection process is started, the selection unit 304 reads the display layer order of the objects from the
さらに選択部３０４は、ＲＡＭ２０１から遠隔操作距離を読出し、対応付けの結果（テーブル）に基づいて、オブジェクトを操作対象として選択する。また表示制御部３０３は、選択したオブジェクトを強調表示する表示画面を作成し（Ｓ３１）、画面に出力する（Ｓ３２）ことで、ユーザにフィードバックを行う。選択したオブジェクトをフィードバック表示した画面の一例を図４の４０４ａ（Ｏｂｊｅｃｔ３を選択）、４０４ｂ（Ｏｂｊｅｃｔ２を選択）、４０４ｃ（Ｏｂｊｅｃｔ１を選択）に示す。以上の処理でオブジェクト選択処理（Ｓ１４）は完了し、呼び出し元の処理にその結果がリターンされる。
Further, the selection unit 304 reads the remote operation distance from the
オブジェクト選択処理（Ｓ１４）が終了すると、データ表示を終了するかどうかの判定が行われる（Ｓ１５）。データ表示を終了しない場合（Ｓ１５、Ｎ）は、再びＳ１２に処理が移行する。データ表示を終了する場合（Ｓ１５、Ｙ）は、情報処理装置１００は、データ表示処理を終了する。
When the object selection process (S14) ends, it is determined whether or not to end the data display (S15). If the data display is not finished (S15, N), the process proceeds to S12 again. When the data display is to be ended (S15, Y), the
以上、本実施形態で述べたように、表示レイヤー順に基づいてオブジェクトと距離（操作可能な距離）を対応付けることで、簡単なジェスチャ操作で任意のオブジェクトを選択できる。また、オブジェクトが重なって表示されていて選択しにくい場合でも、簡単に選択し、操作することが可能となる。 As described above, as described in the present embodiment, an arbitrary object can be selected by a simple gesture operation by associating an object with a distance (an operable distance) based on the order of display layers. Further, even when objects are displayed so as to overlap each other, it is possible to easily select and operate the objects.
本実施形態では、表示レイヤー順が上位のオブジェクトを長い距離に対応付けすることによって、より直感的に（ユーザの操作感にマッチするように）オブジェクトを選択することができる。 In the present embodiment, an object can be selected more intuitively (to match the user's feeling of operation) by associating an object whose display layer order is higher with a long distance.
尚、本実施形態では、オブジェクトの順序を表示画面上でオブジェクトが属している表示レイヤーに基づいて決定したが、例えば、オブジェクトが作成された日時の情報を利用して、最も作成日時が新しい順にオブジェクトの順序を決定してもよい。また関連するメタ情報をもつオブジェクトをグループ化し、各グループ内でソートすることで順序を決定するなど、オブジェクトの順序は、アプリケーションの用途によって決定できる。 In the present embodiment, the order of the objects is determined based on the display layer to which the objects belong on the display screen. For example, using the information on the date and time when the object was created, The order of the objects may be determined. In addition, the order of objects can be determined according to the use of the application. For example, the objects having related meta information are grouped and the order is determined by sorting within each group.
［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。ここで、システムの概要図、ハードウェア構成図、初期画面表示処理フロー図は、図１、図２、図６を用いて説明した第１の実施形態と同様である。尚、第２の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described in detail with reference to the drawings. Here, a schematic diagram of the system, a hardware configuration diagram, and an initial screen display processing flowchart are the same as those in the first embodiment described with reference to FIGS. 1, 2, and 6. Also in the second embodiment, unless otherwise specified, the same reference numerals are given to those described with reference to other drawings, and the description thereof is omitted.
第１の実施形態との差異は、ジェスチャ操作を行う物体とオブジェクトの位置情報を取得する位置情報取得部３０５を機能ブロックに追加したことである。
The difference from the first embodiment is that a position
図３（Ｂ）に、第２の実施形態における機能ブロック図を示す。位置情報取得部３０５以外は図３（Ａ）を用いて説明した第１の実施形態と同様である。
FIG. 3B shows a functional block diagram according to the second embodiment. Other than the position
位置情報取得部３０５は、表示制御部３０３から取得できるオブジェクトの表示位置情報と距離センサ１０５から取得できる物体の位置情報から、ジェスチャ操作を行う物体と表示オブジェクトとの位置を取得する。本実施形態２では、位置情報として、遠隔操作を行う物体の遠隔操作方向と、その方向に表示されているオブジェクトと物体との距離を取得する。また、取得した物体の遠隔操作方向に位置するオブジェクトのみを選択対象にし、保持部３０１で、選択対象のオブジェクトの順序を決定し、保持する。
The position
図５（Ｂ）は、第２の実施形態における情報処理装置１００の処理の流れを示すフローチャートである。物体とオブジェクトの位置情報を取得する処理Ｓ１６とオブジェクト選択処理Ｓ１７以外は、図５（Ａ）を用いて説明した第１の実施形態と同様である。Ｓ１６では、遠隔操作方向とその方向にあるオブジェクトまでの距離を取得し、その情報をＲＡＭ２０１に保持する。
FIG. 5B is a flowchart illustrating a processing flow of the
本実施形態における物体とオブジェクトの位置情報の取得方法を図１３に示す。ここでは物体の一例である手４０３を用いて説明する。まず遠隔操作距離ｘは図９を用いて説明した第１の実施形態と同様である。本実施形態では遠隔操作距離ｘに加え、手４０３の重心位置とオブジェクト１０３ａの重心位置までの水平距離ｙも算出する。水平距離ｙを算出するには、まず前提条件としてプロジェクタ１０４と距離センサ１０５が正確にキャリブレーションされている必要がある。正しくキャリブレーションされている場合、距離センサの情報から表示画面上における手の重心位置ｐ１を求める。またオブジェクト１０３ａの表示情報からオブジェクト１０３ａの重心位置ｐ２を求める。これらの情報から手とオブジェクトの水平距離は ｙ＝｜ｐ１−ｐ２｜ で算出できる。
FIG. 13 shows a method for acquiring object and object position information in the present embodiment. Here, description will be made using a
図７（Ｂ）に、第２の実施形態におけるオブジェクト選択処理（Ｓ１７）の処理フローを示す。 FIG. 7B shows a process flow of the object selection process (S17) in the second embodiment.
オブジェクト選択処理が開始されると、選択部３０４は、Ｓ１６で取得した位置情報を読み出す。そして遠隔操作方向にあるオブジェクトのみが選択対象となるように、オブジェクトをフィルタリングする（Ｓ３３）。次に、遠方にあるオブジェクトを長い距離に対応つける（Ｓ３４）。 When the object selection process is started, the selection unit 304 reads the position information acquired in S16. Then, the object is filtered so that only the object in the remote operation direction is selected (S33). Next, a distant object is associated with a long distance (S34).
本実施形態では、遠方にあるオブジェクト（水平距離ｙが大きいオブジェクト）を長い距離に対応付け、さらに、オブジェクトが重なっている場合は、第１の実施形態と同様に、表示レイヤーが上位に位置するものを長い距離に対応付ける。具体例を図１０に示す。図１０のオブジェクトＢとオブジェクトＣはほぼ等距離にオブジェクトが重ねて表示されているとする。手とオブジェクトの位置情報に加え、オブジェクトの重なり順も考慮してオブジェクトの順序を決定する。本実施形態の場合は、遠方にある、かつ重なり順が上位のオブジェクトに長い距離を対応づけるため、図１０の例では、オブジェクト選択順は距離が長い順から、Ｅ、Ｄ、Ｂ、Ｃ、Ａとなる。テーブルの例としては、図１２（Ｂ）で示す。 In the present embodiment, a distant object (an object with a large horizontal distance y) is associated with a long distance, and if the objects overlap, the display layer is positioned at the upper level, as in the first embodiment. Match things to long distances. A specific example is shown in FIG. Assume that the object B and the object C in FIG. In addition to the position information of the hand and the object, the order of the objects is determined in consideration of the overlapping order of the objects. In the case of the present embodiment, in order to associate a long distance with an object that is far away and has a higher overlapping order, in the example of FIG. 10, the object selection order is E, D, B, C, A. An example of the table is shown in FIG.
さらに選択部３０４は、対応付けの結果（テーブル）に基づいて、１つのオブジェクトを操作対象として選択する。また表示制御部３０３は、選択したオブジェクトを強調表示する表示画面を作成し（Ｓ３１）、画面に出力する（Ｓ３２）。
Furthermore, the selection unit 304 selects one object as an operation target based on the association result (table). Further, the
以上の処理でオブジェクト選択処理（Ｓ１７）は完了し、呼び出し元の処理にその結果がリターンされる。オブジェクト選択処理（Ｓ１７）が終了後の処理は、図５（Ａ）を用いて説明した第１の実施形態と同様である。 The object selection process (S17) is completed by the above process, and the result is returned to the caller process. The processing after the end of the object selection processing (S17) is the same as that in the first embodiment described with reference to FIG.
次に、手の届く範囲のオブジェクトは、タッチ操作で選択し、手の届かない範囲のオブジェクトをジェスチャ操作で選択する例を示す。 Next, an example in which an object within a reachable range is selected by a touch operation, and an object within a reachable range is selected by a gesture operation.
図８は、大量のオブジェクトが表示されている場合のオブジェクト選択操作の例を示す。この例は、本実施形態の情報処理装置１００を利用して、ブレインストーミング等のアイディア出しを行う場合を考慮したものである。この場合、オブジェクトにはアイディアが記載されている。尚、この例では、複数のオブジェクトは重ならずに表示されている場合である。
FIG. 8 shows an example of an object selection operation when a large number of objects are displayed. This example considers the case where ideas such as brainstorming are performed using the
表示するオブジェクトを縦横１０ｃｍと仮定すると、約１００インチ（２００ｃｍ×１５０ｃｍ）の表示画面５００には少なくとも３００枚のオブジェクトが表示可能である。そのうち、手の届く範囲５０２（６０ｃｍ以内と想定）のオブジェクトは、タッチ操作で選択するものとして、遠隔操作対象オブジェクトから除外する。また、図８に示すように角度の分解能を１０度とすると、位置情報取得部３０５では、１８段階で方向を取得できる。さらに表示画面に対して垂直方向にジェスチャ操作する範囲を６０ｃｍ、分解能を５ｃｍとすると、選択部３０４は、１２段階で距離と操作対象となるオブジェクトを対応付けることができる。
Assuming that the objects to be displayed are 10 cm in length and width, at least 300 objects can be displayed on the
前記仮定の場合、図８の領域５０３の方向が最もオブジェクトを多く表示可能であり、その数は１１個である。ここで、前述したように１２段階でオブジェクトと距離を対応付けることが可能であるので、手の上下動作という簡単なジェスチャ操作で、手の届かない領域に表示されている１１個のオブジェクトを選択可能となる。
In the case of the above assumption, the direction of the
以上、本実施形態で述べたように、物体とオブジェクトの位置情報を取得し、任意の方向にあるオブジェクトまでの距離に基づいて、オブジェクトと距離を対応付けることで、簡単にオブジェクトを選択することができる。つまり、大量にオブジェクトが表示されている場合においても簡単なジェスチャ操作でオブジェクトを選択できる。 As described above, as described in the present embodiment, it is possible to easily select an object by acquiring position information of the object and associating the distance with the object based on the distance to the object in an arbitrary direction. it can. That is, even when a large number of objects are displayed, the objects can be selected with a simple gesture operation.
［第３の実施形態］
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。ここで、ハードウェア構成図、処理フロー図は、図２、図５（Ａ）、図６、図７（Ａ）を用いて説明した第１の実施形態と同様である。尚、第３の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described in detail with reference to the drawings. Here, the hardware configuration diagram and the processing flow diagram are the same as those in the first embodiment described with reference to FIGS. 2, 5A, 6, and 7A. Also in the third embodiment, unless otherwise specified, the same reference numerals are given to those described with reference to other drawings, and the description thereof is omitted.
第１の実施形態との差異は、情報処理装置が一体型のモバイルデバイスになったことである。本実施形態３における情報処理装置１０６の概観図を図１１に示す。
The difference from the first embodiment is that the information processing apparatus is an integrated mobile device. FIG. 11 shows an overview of the
本実施形態３の情報処理装置１０６は、小型ディスプレイ１０７と遠隔操作距離を算出可能な１つまたは複数個の近接センサ１０８から構成される。１０９ａ、１０９ｂ、１０９ｃは小型ディスプレイ１０７に表示されているオブジェクトである。
The
第１の実施形態で示した場合と同様に、第３の実施形態で示した小型の情報処理装置１０６においても、簡単なジェスチャ操作によって、任意のオブジェクトを選択できる。これを利用すれば、小型ディスプレイ上に重なって表示されているため選択しずらいオブジェクトを簡単に選択する操作をモバイルデバイスでも実現できる。
Similarly to the case shown in the first embodiment, the small
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (7)
前記複数のオブジェクトの順序を保持する保持手段と、
物体から前記表示部の表示画面までの遠隔操作距離を取得する距離取得手段と、
前記複数のオブジェクトの順序と前記取得した遠隔操作距離に基づいて、オブジェクトを選択するオブジェクト選択手段を有することを特徴とする情報処理装置。 An information processing apparatus that selects an object from a plurality of objects displayed on a display unit,
Holding means for holding the order of the plurality of objects;
Distance acquisition means for acquiring a remote operation distance from an object to the display screen of the display unit;
An information processing apparatus comprising object selection means for selecting an object based on the order of the plurality of objects and the acquired remote operation distance.
前記オブジェクト選択手段は、表示レイヤーの順序が上位であるオブジェクトを長い距離に対応付け、前記対応つけと前記取得した遠隔操作距離に基づいて、オブジェクトを選択することを特徴とする請求項２に記載の情報処理装置。 The order of the objects is the order of the display layers to which the objects belong on the display screen,
3. The object selecting unit according to claim 2, wherein the object selecting unit associates an object whose display layer is higher in order with a long distance, and selects the object based on the association and the acquired remote operation distance. Information processing device.
前記オブジェクト選択手段は、前記遠隔操作方向にあるオブジェクトを選択対象とすることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 Furthermore, it has an acquisition means for acquiring the remote operation direction of the object,
The information processing apparatus according to claim 1, wherein the object selection unit selects an object in the remote operation direction as a selection target.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010144219A JP5627314B2 (en) | 2010-06-24 | 2010-06-24 | Information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010144219A JP5627314B2 (en) | 2010-06-24 | 2010-06-24 | Information processing device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012008808A true JP2012008808A (en) | 2012-01-12 |
| JP2012008808A5 JP2012008808A5 (en) | 2013-08-08 |
| JP5627314B2 JP5627314B2 (en) | 2014-11-19 |
Family
ID=45539268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010144219A Active JP5627314B2 (en) | 2010-06-24 | 2010-06-24 | Information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5627314B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012032945A (en) * | 2010-07-29 | 2012-02-16 | Canon Inc | Information processor and control method of the same |
| KR20140003144A (en) * | 2012-06-29 | 2014-01-09 | 엘지전자 주식회사 | Terminal and control method thereof |
| WO2015129245A1 (en) * | 2014-02-28 | 2015-09-03 | 日本電気株式会社 | Information processing device, information display method, and recording medium |
| WO2018235371A1 (en) * | 2017-06-20 | 2018-12-27 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
| WO2019244437A1 (en) * | 2018-06-18 | 2019-12-26 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2020197942A (en) * | 2019-06-03 | 2020-12-10 | 株式会社デンソー | Input device |
| JP2021014262A (en) * | 2020-10-26 | 2021-02-12 | パイオニア株式会社 | Virtual image display apparatus, control method, program, and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005402A (en) * | 2002-01-21 | 2004-01-08 | Mitsubishi Electric Research Laboratories Inc | Method and system for visualizing a plurality of images in circular graphical user interface |
| JP2006228215A (en) * | 2005-02-14 | 2006-08-31 | Mitsubishi Electric Research Laboratories Inc | Method for manipulating touch-sensitive graphical user interface and touch-sensitive graphical user interface |
| JP2008210348A (en) * | 2007-02-28 | 2008-09-11 | Univ Of Tokyo | Image display device |
| JP2009207177A (en) * | 2009-06-08 | 2009-09-10 | Sony Corp | Apparatus and method for controlling image display |
| WO2010028176A1 (en) * | 2008-09-03 | 2010-03-11 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
-
2010
- 2010-06-24 JP JP2010144219A patent/JP5627314B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005402A (en) * | 2002-01-21 | 2004-01-08 | Mitsubishi Electric Research Laboratories Inc | Method and system for visualizing a plurality of images in circular graphical user interface |
| JP2006228215A (en) * | 2005-02-14 | 2006-08-31 | Mitsubishi Electric Research Laboratories Inc | Method for manipulating touch-sensitive graphical user interface and touch-sensitive graphical user interface |
| JP2008210348A (en) * | 2007-02-28 | 2008-09-11 | Univ Of Tokyo | Image display device |
| WO2010028176A1 (en) * | 2008-09-03 | 2010-03-11 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| JP2012502364A (en) * | 2008-09-03 | 2012-01-26 | オブロング・インダストリーズ・インコーポレーテッド | A control system for navigating the main dimensions of the data space |
| JP2009207177A (en) * | 2009-06-08 | 2009-09-10 | Sony Corp | Apparatus and method for controlling image display |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012032945A (en) * | 2010-07-29 | 2012-02-16 | Canon Inc | Information processor and control method of the same |
| KR20140003144A (en) * | 2012-06-29 | 2014-01-09 | 엘지전자 주식회사 | Terminal and control method thereof |
| KR101985500B1 (en) * | 2012-06-29 | 2019-06-03 | 엘지전자 주식회사 | Terminal and control method thereof |
| WO2015129245A1 (en) * | 2014-02-28 | 2015-09-03 | 日本電気株式会社 | Information processing device, information display method, and recording medium |
| JPWO2015129245A1 (en) * | 2014-02-28 | 2017-03-30 | 日本電気株式会社 | Information processing apparatus, information display method, and program |
| WO2018235371A1 (en) * | 2017-06-20 | 2018-12-27 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
| US10921934B2 (en) | 2017-06-20 | 2021-02-16 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
| WO2019244437A1 (en) * | 2018-06-18 | 2019-12-26 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2020197942A (en) * | 2019-06-03 | 2020-12-10 | 株式会社デンソー | Input device |
| JP2021014262A (en) * | 2020-10-26 | 2021-02-12 | パイオニア株式会社 | Virtual image display apparatus, control method, program, and storage medium |
| JP7100100B2 (en) | 2020-10-26 | 2022-07-12 | パイオニア株式会社 | Virtual image display device, control method, program, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5627314B2 (en) | 2014-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8830184B2 (en) | Image displaying device, image displaying method, and program for displaying images | |
| JP5627314B2 (en) | Information processing device | |
| KR102035305B1 (en) | Method for providing haptic effect in portable terminal, machine-readable storage medium and portable terminal | |
| US9582903B2 (en) | Display terminal device connectable to external display device and method therefor | |
| US10599317B2 (en) | Information processing apparatus | |
| JP6062416B2 (en) | Information input device and information display method | |
| US20120050192A1 (en) | Information processing apparatus, information processing apparatus control method and storage medium | |
| EP2717149A2 (en) | Display control method for displaying different pointers according to attributes of a hovering input position | |
| EP2728460A1 (en) | Method of displaying data in display device using mobile communication terminal, the display device, and the mobile communication terminal | |
| JP2015531530A (en) | In-document navigation based on thumbnails and document maps | |
| JPH1069346A (en) | Coordinate input device and its control method | |
| CA2862431A1 (en) | Method of displaying input during a collaboration session and interactive board employing same | |
| KR102072509B1 (en) | Group recording method, machine-readable storage medium and electronic device | |
| KR101861377B1 (en) | Method for controlling screen based on motion of mobile terminal and the mobile terminal therefor | |
| JP5875262B2 (en) | Display control device | |
| US20130162568A1 (en) | Setting vibration portions in pieces of electronic data that are displayable on a display device | |
| TW201318423A (en) | Real-time image manipulation method and electronic device | |
| JP2013033462A (en) | Operation method and control system for multi-touch control | |
| CN111045627B (en) | Method and apparatus for displaying objects | |
| JP2006092269A (en) | Electronic board system | |
| JP5645530B2 (en) | Information processing apparatus and control method thereof | |
| JP2015102946A (en) | Information processing apparatus, control method of information processing apparatus, and program | |
| JP2015108901A (en) | Portable touch panel terminal, display control method therefor, and computer program | |
| KR101136327B1 (en) | A touch and cursor control method for portable terminal and portable terminal using the same | |
| JP2009216729A (en) | Display device and display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130624 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140930 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5627314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |