JP2012226691A - Display control device and display control method - Google Patents
Display control device and display control method Download PDFInfo
- Publication number
- JP2012226691A JP2012226691A JP2011096135A JP2011096135A JP2012226691A JP 2012226691 A JP2012226691 A JP 2012226691A JP 2011096135 A JP2011096135 A JP 2011096135A JP 2011096135 A JP2011096135 A JP 2011096135A JP 2012226691 A JP2012226691 A JP 2012226691A
- Authority
- JP
- Japan
- Prior art keywords
- display
- mode
- display surface
- display control
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、指等の指示体を用いて表示面に対する操作を行う場合の表示制御に関する。 The present invention relates to display control when an operation on a display surface is performed using an indicator such as a finger.
画像の表示面に対する操作を検出する場合に、その操作を3次元的に検出する技術が知られている。例えば、特許文献1には、タッチパネルに指が接近すると、現在表示中の内容を拡大表示する入力装置が開示されている。また、特許文献2、3にも、同様の表示制御が開示されている。
A technique for three-dimensionally detecting an operation for detecting an operation on a display surface of an image is known. For example,
ユーザの操作は、そのときどきの状況によって異なり得るため、例えば、拡大表示が適している場合とそうでない場合とがある。それゆえ、ある特定の表示制御を行うか否かが一律に定まっていたのでは、ユーザが望まない表示制御になりやすい。
そこで、本発明は、表示面に対するユーザの操作を3次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御することを目的とする。
Since the user's operation may vary depending on the situation at that time, for example, there are cases where enlarged display is suitable and cases where it is not. Therefore, if it is uniformly determined whether or not to perform a specific display control, the display control is not desired by the user.
Therefore, an object of the present invention is to control a display mode according to an operation when an indicator approaches the display surface when a user operation on the display surface is detected three-dimensionally.
本発明の一態様に係る表示制御装置は、表示面に対する指示体の位置を繰り返し検出して操作を受け付ける操作手段であって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する操作手段と、前記操作手段により検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する判別手段と、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する特定手段と、前記特定手段により特定された表示態様で前記表示面に画像を表示させる表示制御手段とを備える。 The display control apparatus according to an aspect of the present invention is an operation unit that repeatedly detects the position of the indicator with respect to the display surface and receives an operation, and a contact operation that causes the indicator to contact the display surface; An operation unit that detects a proximity operation for bringing the indicator close to the display surface without contacting the display surface, and an operation mode related to a display mode of the display surface based on a transition of the proximity operation detected by the operation unit. Determining means for determining; and specifying means for specifying a display mode of an image displayed on the display surface in accordance with the operation mode determined by the determining means and the position of the indicator detected by the operating means; And display control means for displaying an image on the display surface in the display mode specified by the specifying means.
好ましい態様において、前記判別手段は、前記操作手段により検出された近接操作が示す前記指示体の3次元的な位置があらかじめ設定された所定領域に含まれる滞留時間によって前記動作モードを判別する。
別の好ましい態様において、前記判別手段は、前記滞留時間があらかじめ決められた閾値より長い場合に、前記動作モードが所定のモードであると判別し、前記特定手段は、前記判別手段により判別された動作モードが前記所定のモードである場合に、前記表示面に表示される画像の一部を強調表示させる表示態様を特定する。
さらに別の好ましい態様において、前記特定手段は、前記表示面のうちの強調表示を行う範囲を、前記指示体の位置の前記表示面に対する正射影の座標と、当該位置の前記表示面からの距離との少なくともいずれかを用いて特定する。
さらに別の好ましい態様において、前記特定手段は、前記表示面に表示される画像を拡大表示させる場合の倍率を特定する。
さらに別の好ましい態様において、前記特定手段は、前記表示面に表示される画像を立体表示させる場合の飛び出し量を特定する。
さらに別の好ましい態様において、前記表示制御手段は、前記画像が強調表示された後に前記操作手段により接触操作が検出された場合に強調表示を解除するとともに、前記操作部により検出される位置が前記所定領域外になるまで強調表示を再度行わない。
さらに別の好ましい態様において、前記判別手段は、前記操作手段により検出される前記位置が前記判別領域に入ってから、当該位置が前記接触操作として検出され、又は当該位置が当該判別領域を出るまでの時間を前記滞留時間として算出する。
さらに別の好ましい態様において、前記判別手段は、前記操作手段により検出された近接操作が示す前記指示体の移動速度によって前記動作モードを判別する。
さらに別の好ましい態様において、前記特定手段は、記憶手段に記憶された制御データを用いて、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じた表示態様を特定する。
さらに別の好ましい態様において、前記記憶手段は、アプリケーションに応じた前記制御データを記憶し、前記特定手段は、前記表示面に表示されている画像に対応するアプリケーションに応じた前記制御データを用いて表示態様を特定する。
さらに別の好ましい態様において、前記表示制御装置は、前記操作手段により検出された位置を表す座標情報に対してノイズを低減するフィルタ処理を実行するフィルタ手段を備え、前記判別手段は、前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて動作モードを判別する。
さらに別の好ましい態様において、前記操作手段は、前記接触操作を検出する第1のセンサと前記近接操作を検出する第2のセンサとを備える。
さらに別の好ましい態様において、前記操作手段は、前記接触操作及び前記近接操作を検出する単一のセンサを備える。
In a preferred aspect, the discrimination means discriminates the operation mode based on a residence time in which a three-dimensional position of the indicator indicated by the proximity operation detected by the operation means is included in a predetermined area set in advance.
In another preferable aspect, the determination unit determines that the operation mode is a predetermined mode when the residence time is longer than a predetermined threshold, and the specifying unit is determined by the determination unit. When the operation mode is the predetermined mode, a display mode for highlighting a part of the image displayed on the display surface is specified.
In still another preferred embodiment, the specifying means includes a range of highlighting on the display surface, an orthogonal projection coordinate of the position of the indicator with respect to the display surface, and a distance from the display surface at the position. And at least one of
In still another preferred aspect, the specifying unit specifies a magnification when an image displayed on the display surface is enlarged.
In still another preferred aspect, the specifying unit specifies a pop-out amount when the image displayed on the display surface is stereoscopically displayed.
In still another preferred aspect, the display control means cancels the highlight display when a contact operation is detected by the operation means after the image is highlighted, and the position detected by the operation unit is Highlighting is not performed again until it is outside the predetermined area.
In still another preferred embodiment, the determination unit is configured such that the position detected by the operation unit enters the determination region until the position is detected as the contact operation, or the position leaves the determination region. Is calculated as the residence time.
In still another preferred aspect, the determination unit determines the operation mode based on a moving speed of the indicator indicated by the proximity operation detected by the operation unit.
In still another preferred aspect, the specifying unit uses the control data stored in the storage unit according to the operation mode determined by the determination unit and the position of the indicator detected by the operation unit. Specify the display mode.
In still another preferred aspect, the storage means stores the control data according to an application, and the specifying means uses the control data according to an application corresponding to an image displayed on the display surface. Specify the display mode.
In still another preferred aspect, the display control device includes a filter unit that executes a filter process for reducing noise with respect to coordinate information representing a position detected by the operation unit, and the determination unit includes the filter unit. The operation mode is discriminated based on the coordinate information on which the filtering process is executed.
In still another preferred aspect, the operation means includes a first sensor that detects the contact operation and a second sensor that detects the proximity operation.
In still another preferred aspect, the operation means includes a single sensor that detects the contact operation and the proximity operation.
本発明の他の態様に係る表示制御方法は、表示面に対する指示体の位置を繰り返し検出して操作を受け付けるステップであって、前記表示面に対して前記指示体を接触させる接触操作と、前記表示面に対して前記指示体を接触させずに近接させる近接操作とを検出する第1のステップと、前記第1のステップにおいて検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する第2のステップと、前記第2のステップにおいて判別された動作モードと前記第1のステップにおいて検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する第3のステップと、前記第3のステップにおいて特定された表示態様で前記表示面に画像を表示させる第4のステップと有する。 The display control method according to another aspect of the present invention is a step of repeatedly detecting a position of a pointer with respect to a display surface and receiving an operation, the contact operation for bringing the pointer into contact with the display surface, A display mode of the display surface based on a first step of detecting a proximity operation for bringing the indicator close to the display surface without contacting the display surface, and a transition of the proximity operation detected in the first step Display on the display surface in accordance with a second step of determining an operation mode relating to, an operation mode determined in the second step, and a position of the indicator detected in the first step. A third step of specifying an image display mode; and a fourth step of displaying an image on the display surface in the display mode specified in the third step.
本発明によれば、表示面に対するユーザの操作を3次元的に検出する場合において、指示体が表示面に近接するときの動作に応じて表示態様を制御することが可能である。 ADVANTAGE OF THE INVENTION According to this invention, when detecting a user's operation with respect to a display surface three-dimensionally, it is possible to control a display mode according to operation | movement when a pointer approaches a display surface.
[発明の要旨]
本発明は、表示面に対するユーザの操作を3次元的に検出する表示装置において、指示体が表示面に接触せずに近接するときの動作の特徴に基づく表示制御を特徴とするものである。ここにおいて、指示体とは、ユーザが表示面を指し示す操作を行うための身体の部位又は器具をいい、例えば、ユーザの指やスタイラス(スタイラスペン)である。
[Summary of the Invention]
The present invention is characterized by display control based on the characteristics of an operation when a pointer approaches a display surface without touching the display surface in a display device that three-dimensionally detects a user operation on the display surface. Here, the indicator refers to a body part or an instrument for the user to perform an operation pointing to the display surface, and is, for example, a user's finger or a stylus (stylus pen).
一般に、ユーザによる操作は、細かい操作を行おうとすると指示体の動きが遅くなる傾向にある。例えば、フィッツの法則(Fitts's law)は、操作の対象物(ボタン等)が小さいほどユーザが操作に時間を要することを示しているが、実際のユーザの動作によく一致することが知られている。また、一般に、初心者や高齢者など、ユーザが指示体による操作に不慣れな者であるほど、そのユーザによる操作は遅くなる傾向も認められる。したがって、ユーザの操作が比較的ゆっくりしているという特徴を示す場合には、ユーザの操作を補助又は支援するような表示態様がユーザに資する可能性が高いといえる。 In general, when a user tries to perform a fine operation, the movement of the indicator tends to be slow. For example, Fitts's law indicates that the smaller the object of operation (buttons, etc.), the more time it takes for the user to operate, but it is known that it closely matches the actual user's action. Yes. In general, it is recognized that the user, such as a beginner or an elderly person, is more unfamiliar with the operation by the indicator, and the operation by the user becomes slower. Therefore, when the feature that the user's operation is relatively slow is indicated, it can be said that the display mode that assists or supports the user's operation is likely to contribute to the user.
そこで、本発明は、ユーザの操作のこのような特徴に着目し、かかる特徴の操作が行われた場合とそうでない場合とで表示態様を切り替えるようにしたものである。具体的には、本発明は、指示体を検出した時間や速度に基づいて指示体の動きを判断し、ユーザの操作が所定の条件を満たす場合に、表示面の表示態様を通常と異ならせることによって表示面に対する操作を容易ならしめるようにするものである。かかる表示態様(通常と異なる表示態様)は、画像を強調表示させるものであり、例えば、ユーザが指示しようとしている画像を拡大表示したり、あるいは立体的に表示させたりするものである。このような強調表示を実現することで、ユーザは、ボタン等の対象物をより容易に指示(すなわち選択)することが可能となる。 Therefore, the present invention focuses on such a feature of the user's operation and switches the display mode between the case where the operation of the feature is performed and the case where the operation is not performed. Specifically, the present invention determines the movement of the indicator based on the time or speed at which the indicator is detected, and makes the display mode of the display surface different from normal when the user's operation satisfies a predetermined condition. This makes it easy to operate the display surface. Such a display mode (a display mode different from the normal mode) is to highlight an image, for example, to display an image that the user intends to indicate in an enlarged manner or to display it in a three-dimensional manner. By realizing such highlighting, the user can more easily specify (ie, select) an object such as a button.
[第1実施形態]
図1は、本発明の一実施形態である表示装置100の外観を示した図である。表示装置100は、ユーザが表示面101に対して操作を行うことができる情報処理装置であり、例えば、携帯電話機、スマートフォン、PDA(Personal Digital Assistant)、タブレットPC(Personal Computer)又はスレートPC、ゲーム機、電子ブックリーダなどである。表示面101は、画像を表示する面であるとともに、ユーザの操作を受け付ける面でもある。また、表示装置100は、ユーザの手の指先の位置を検出できるように構成されている。すなわち、本実施形態の検出対象たる指示体は、ユーザの指である。なお、説明の便宜上、以下においては、図1に図示された面、すなわち表示面101を有する面のことを「正面」という。
[First Embodiment]
FIG. 1 is a diagram illustrating an appearance of a
図2は、表示装置100のハードウェア構成を示したブロック図である。表示装置100は、同図に示すように、制御部110と、記憶部120と、表示部130と、操作部140と、通信部150とを備える。なお、表示部130と操作部140は、一体的に構成されていてもよいし、分離されていてもよい。また、通信部150は、本発明に必須の構成要素ではない。
FIG. 2 is a block diagram illustrating a hardware configuration of the
制御部110は、表示装置100の各部の動作を制御する手段である。制御部110は、CPU(Central Processing Unit)等の演算処理装置や、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶装置を備え、ROM又は記憶部120に記憶されたプログラムを実行することによって表示部130の表示制御や通信部150の通信制御を実現する。また、制御部110は、システムクロックに基づいて現在時刻を認識するとともに、時間を計測する機能を有する。
The
記憶部120は、制御部110が制御に用いるデータを記憶する手段である。記憶部120は、ハードディスクやフラッシュメモリによって構成される。記憶部120は、いわゆるリムーバブルメディア、すなわち着脱可能な記憶手段を含んでもよい。記憶部120には、後述する表示制御テーブルが記憶されている。
The
表示部130は、表示面101に画像を表示する手段である。表示部130は、液晶素子や有機EL(electroluminescence)素子により画像を表示する表示パネルと、この表示パネルを駆動する駆動回路等を備える。表示面101は、ここでは長方形であるとし、この長方形の短辺と長辺に沿って画素がマトリクス状に配置されているものとする。この表示面101に対しては、図1に示すように、適当な位置(ここでは左上端)を原点Oとした3次元直交座標系が定義されているものとする。ここでは、表示面101の長辺方向にX軸、表示面101の短辺方向にY軸をそれぞれ定義し、X軸及びY軸と直交する方向にZ軸を定義する。なお、Z軸は、表示面101の表面を原点とし、ユーザに向かう方向(図1における上方)を正方向とする座標軸とする。
The
操作部140は、ユーザの操作を受け付ける手段である。操作部140は、表示面101に対するユーザの指先の位置を検出し、その位置を表す座標情報を制御部110に供給するためのセンサを備える。より詳細には、操作部140は、接触センサ141と近接センサ142とを備える。接触センサ141は、ユーザの指先が表示面101に接触した状態を検出するためのセンサである。接触センサ141は、例えば、周知のタッチスクリーン(タッチパネルともいう。)によって実現可能である。一方、近接センサ142は、ユーザの指先が表示面101に近接している状態を検出するためのセンサである。近接センサ142も、周知技術を用いたものであってよいが、例えば、指先の静電容量を検出したり、指先の位置を光学的に検出したりすることで実現される。
The
接触センサ141は、ユーザの指先が接触した表示面101の表面の位置を2次元的に検出する。ゆえに、接触センサ141が供給する座標情報は、X軸方向の座標(X座標)とY軸方向の座標(Y座標)とを表す座標情報である。一方、近接センサ142は、表示面101に触れることなく近接している状態のユーザの指先の位置を3次元的に検出する。ゆえに、近接センサ142が供給する座標情報は、X軸、Y軸及びZ軸のそれぞれの方向の座標を表す座標情報である。以下においては、接触センサ141が供給する座標情報によって特定される操作のことを「接触操作」といい、近接センサ142が供給する座標情報によって特定される操作のことを「近接操作」という。
The
なお、近接センサ142は、ユーザの指先を検出可能な範囲(以下「検出可能領域」という。)が制限されている。検出可能領域は、近接センサ142のハードウェア的な性能によって定まる。本実施形態でいう「近接」とは、指先の位置(特にZ軸方向の位置)がこの検出可能領域にある状態を指し、より詳細には、指先の位置が後述する判別領域に含まれる状態を指すものである。
The
接触センサ141及び近接センサ142は、指示体の位置を所定のサンプリングレートで検出する。すなわち、接触センサ141及び近接センサ142は、指示体の位置を繰り返し連続的に検出する。なお、近接センサ142は、ユーザの指を継続して所定時間以上検出しなかった場合に、サンプリングレートを一時的に下げ、指を再び検出したらサンプリングレートを元に戻すようにしてもよい。また、接触センサ141は、近接センサ142が指を検知してから機能するようになっていてもよい。なぜならば、指が表示面101に接触するためには、事前に指が表示面101に必ず近接するからである。
The
また、操作部140は、表示面101に対する操作だけでなく、他の操作をも受け付ける手段であってもよい。例えば、表示装置100は、表示面101以外の部分(側面や背面を含む。)にボタンやスイッチ等の物理キーを備え、操作部140が物理キーによる操作を受け付けるように構成されていてもよい。この場合、操作部140は、物理キーによる操作を表す操作情報を制御部110に供給する。なお、ここでいう物理キーは、いわゆるQWERTY配列のキーボードやテンキーであってもよい。
The
通信部150は、外部装置と通信するための手段である。通信部150は、例えば、アンテナやネットワークアダプタを備える。通信部150は、インターネット、移動体通信網等のネットワークを介して外部装置と通信してもよいが、近距離無線通信のように、外部装置とネットワークを介さずに直接通信してもよい。また、通信部150による通信は、ここでは無線通信であるとするが、有線通信であってもよい。
The
表示装置100のハードウェア構成は、以上のとおりである。この構成のもと、表示装置100は、外部装置と通信したり、実行中の処理に応じた画像を表示面101に表示したりする。このとき、表示装置100は、近接操作及び接触操作を検出し、ユーザの指先の位置を検出する。表示装置100は、近接操作を検出したら、検出された指先の位置の推移に応じて、必要に応じて画像の表示態様を変更する。
The hardware configuration of the
本実施形態において、表示装置100は、指先が検出可能領域に所定の時間以上滞留し、それでもなお接触操作が検出されない場合に、画像を拡大表示する。表示装置100は、表示面101に表示されていた画像の一部(例えば、指先の位置の近傍の画像)のみを拡大表示させてもよいが、表示面101に表示されていた画像の全部を拡大表示させてもよい。ただし、後者の場合には、拡大表示によってユーザが指示しようとしている位置が非表示になってしまわないように、画像の表示位置を制御した方が望ましい。
In the present embodiment, the
本実施形態において、画像の拡大表示の態様は、複数ある。また、画像の表示態様には、ユーザの操作が所定の条件を満たす場合であっても拡大表示を行わないものも含まれ得る。これらの表示態様は、あらかじめ定義されており、ユーザが自身の好み等に応じて設定することが可能である。あるいは、画像の表示態様は、実行中のアプリケーション(表示面101に表示されている画像に対応するアプリケーション)毎に異なってもよい。 In the present embodiment, there are a plurality of enlarged image display modes. In addition, the image display mode may include an image that does not perform enlarged display even when the user's operation satisfies a predetermined condition. These display modes are defined in advance and can be set by the user according to his / her preference. Or the display mode of an image may differ for every application (application corresponding to the image currently displayed on the display surface 101) in execution.
図3は、制御部110の機能的構成のうち、特に画像の表示制御に関する部分を示した機能ブロック図である。制御部110は、所定のプログラムを実行することにより、同図に示すデータ取得部111、判別部112、特定部113及び表示制御部114の各部に相当する機能を実現する。これらの機能は、OS(Operating System)や、画像の表示を制御する特定のソフトウェアのいずれによって実現されてもよいし、複数のソフトウェアの協働によって実現されてもよい。
FIG. 3 is a functional block diagram showing a part related to image display control in the functional configuration of the
データ取得部111は、画像の表示に必要なデータを取得する手段である。データ取得部111は、具体的には、表示面101に表示されるべき画像を示す画像データと、操作部140により供給される座標情報である。画像データは、記憶部120にあらかじめ記憶されているもの(例えば、特定のアプリケーションの実行時に用いられる画像データ)であってもよいし、通信部150が外部装置から受信したもの(例えば、ブラウザによって表示されるウェブページのデータ)であってもよい。
The
判別部112は、近接センサ142から供給された座標情報、すなわち近接センサ142により検出された近接操作に基づいて、表示面101の表示態様に関する動作モードを判別する手段である。ここにおいて、動作モードとは、画像の表示方式を定めるものであり、画像を強調表示するか否かを定めるものである。本実施形態の動作モードは、近接操作による拡大表示を有効にする「近接操作有効モード」と、近接操作による拡大表示を無効にする「近接操作無効モード」の2種類である。表示装置100をこれらの動作モードのいずれで動作させるかは、あらかじめ設定されている。また、動作モードは、近接センサ142から供給された座標情報のZ軸方向の座標(Z座標)、すなわち指先の位置の表示面101からの距離に応じて、さらに詳細に定められている。本実施形態において、これらの動作モードは、表示制御テーブルに記述されている。したがって、判別部112は、記憶部120に記憶された表示制御テーブルを参照することによって判別を行う。
The
本実施形態において、判別部112は、近接センサ142により検出された指先の位置が所定領域に含まれる時間、すなわち、指先が所定領域内に留まっている時間によって、動作モードを判別する。ここにおいて、所定領域とは、上述した検出可能領域に含まれる領域であり、検出可能領域と同一の範囲の領域であってもよいが、本実施形態においては、検出可能領域よりも小さい領域であるとする。かかる領域のことを、以下においては「判別領域」という。検出可能領域がハードウェア的に定義される領域である一方、判別領域はソフトウェア的に定義される領域である。また、判別部112が拡大表示を行うか否かを判別するために計測する時間のことを、以下においては「滞留時間」という。
In the present embodiment, the
滞留時間は、望ましくは、近接センサ142により検出された指先の位置が判別領域に入ってから、当該位置のZ座標が0になる(すなわち指先が表示面101に接触する)か、あるいは当該位置が判別領域から出るまでの時間のことであり、指先の位置が判別領域に含まれ続ける時間のことである。ただし、滞留時間は、指先が判別領域から出た時間がごく短時間であれば、このような時間を無視して積算され続けてもよいものである。
The dwell time is preferably set such that, after the position of the fingertip detected by the
図4は、表示制御テーブルの一例を示した図である。判別部112は、近接センサ142により検出された指先の位置が判別領域に含まれ続ける時間(すなわち滞留時間)に応じたテーブルを参照する。判別部112は、滞留時間が所定の閾値未満である場合には、テーブル4を参照し、テーブル4に従った動作モードを選択する一方、滞留時間が所定の閾値以上となった場合には、テーブル1〜3のいずれかを参照し、参照したテーブルに従った動作モードを選択する。なお、判別部112がテーブル1〜3のいずれを参照するかは、ユーザによってあらかじめ決められていてもよいし、拡大表示される画像に対応するアプリケーションによって決められてもよい。
FIG. 4 is a diagram illustrating an example of the display control table. The
図4において、テーブル1〜3は、近接操作有効モードにおいて用いられるテーブルの例である。一方、テーブル4は、近接操作無効モードにおいて用いられるテーブルの例である。なお、ここにおいて、「Z」は、Z座標を表し、Th1〜Th4は、Z座標に対して設定された閾値を表す。また、詳細は後述するが、検出可能領域が判別領域の範囲よりも大きい場合は、Z=Th4を満たす位置を判別領域の境界(Z軸方向にある2つの境界のうちのよりユーザに近い側の境界)としてもよいし、検出可能領域の境界(Z軸方向にある2つの境界のうちのよりユーザに近い側の境界)としてもよい。前者の場合は判別領域内における近接操作が可能となるが、後者の場合は検出可能領域内における近接操作が可能となる。ただし、説明の簡略化のため、これ以下においてはZ=Th4を満たす位置は判別領域の境界であるとする。つまり、判別領域内での指先の位置のみが拡大表示の制御に用いられるものとする。 In FIG. 4, Tables 1 to 3 are examples of tables used in the proximity operation effective mode. On the other hand, the table 4 is an example of a table used in the proximity operation invalid mode. Here, “Z” represents the Z coordinate, and Th1 to Th4 represent threshold values set for the Z coordinate. Although details will be described later, if the detectable area is larger than the range of the discrimination area, the position satisfying Z = Th4 is set to the boundary of the discrimination area (the side closer to the user of the two boundaries in the Z-axis direction). Or a boundary of a detectable region (a boundary closer to the user of the two boundaries in the Z-axis direction). In the former case, the proximity operation in the determination area is possible, but in the latter case, the proximity operation in the detectable area is possible. However, for the sake of simplification of explanation, it is assumed that the position satisfying Z = Th4 below is the boundary of the discrimination region. In other words, only the position of the fingertip within the discrimination area is used for the enlarged display control.
テーブル1は、Z>Th4の場合に拡大表示をせず、0<Z≦Th4の場合に一定の倍率(m倍)で拡大表示をする表示態様を示すテーブルである。表示装置100がテーブル1を用いて拡大表示をする場合、表示面101に表示される画像は、ある時間を境にして一定の倍率で表示されるようになり、指先の位置が多少変化しても、当該位置が判別領域内である限りは倍率が変化しない。なお、テーブル1の場合の倍率mは、m>1を満たす適当な値である。
Table 1 is a table showing a display mode in which enlarged display is not performed when Z> Th4, and enlarged display is performed at a constant magnification (m times) when 0 <Z ≦ Th4. When the
一方、テーブル2は、Z>Th4の場合に拡大表示をしない点ではテーブル1と同様であるが、0<Z≦Th4の場合にZの値の大小に応じて拡大表示の倍率が変化する表示態様を示すテーブルである。表示装置100がテーブル2を用いて拡大表示をする場合、表示面101に表示される画像は、ある時間を境にして拡大表示されるようになり、表示面101に指を接近させるほどその倍率が段階的に大きくなる。
On the other hand, Table 2 is the same as Table 1 in that the enlarged display is not performed when Z> Th4, but the magnification of the enlarged display changes according to the magnitude of the value of Z when 0 <Z ≦ Th4. It is a table which shows an aspect. When the
また、テーブル3は、Z>Th4の場合に拡大表示をせず、0<Z≦Th4の場合にZの値の大小に応じて拡大表示の倍率が変化する点ではテーブル2と同様であるが、倍率の変化の態様がテーブル2と異なるものである。具体的には、表示装置100がテーブル3を用いて拡大表示をする場合、表示面101に表示される画像は、ZがTh4に近いほど大きく表示され、Zが0に近づくほど(すなわち、指先が表示面101に近づくほど)倍率が1倍(等倍)に近づき、元の大きさに近づいていくような表示態様である。かかる倍率は、Zとnの積によって表される。ここにおいて、nの値は、n>0を満たす適当な値である。また、このときの倍率の変化は、テーブル2の場合のように段階的にならず、より連続的である。
The table 3 is the same as the table 2 in that the enlarged display is not displayed when Z> Th4 and the magnification of the enlarged display changes depending on the value of Z when 0 <Z ≦ Th4. The aspect of change in magnification is different from that in Table 2. Specifically, when the
なお、テーブル4は、近接操作無効モードに対応するものであり、Zの値によらず倍率が1倍(等倍)のままである。よって、表示装置100は、テーブル4を参照する場合には、近接センサ142によって近接操作を検出すること自体を省略し、接触センサ141によって接触操作のみを検出するようにしてもよい。
Note that Table 4 corresponds to the proximity operation invalid mode, and the magnification remains at 1 (equal magnification) regardless of the value of Z. Therefore, when referring to the table 4, the
特定部113は、判別部112により判別された動作モードと、操作部140により検出された指先の位置とに応じて、表示面101に表示される画像の表示態様を特定する手段である。特定部113は、拡大表示の倍率が可変的な表示制御を行う場合には、指先の位置のZ座標によって画像の倍率を特定する。また、特定部113は、表示面101に表示される画像の一部を拡大表示させる場合には、指先の位置のX座標とY座標(すなわち、指先の位置の表示面101に対する正射影の座標)によって画像を拡大させる位置を特定する。
The specifying
表示制御部114は、特定部113により特定された表示態様で表示面101に画像を表示させる手段である。本実施形態において、表示制御部114は、画像を強調表示すべき場合に、特定部113により特定された表示態様で画像を拡大表示させる。ゆえに、画像の具体的な表示態様は、ユーザの指先の位置や動作モードに応じて異なる。
The
図5は、制御部110が上記の機能的構成によって実現する表示制御を示したフローチャートである。制御部110は、画像を拡大表示するか否かを判断する必要がある場合に、同図に示す表示制御処理を実行する。すなわち、制御部110は、図5に示す表示制御処理を常に実行する必要はなく、例えば、拡大表示を必要としない特定のアプリケーションを実行しているような場合には、かかる処理を実行しなくてもよい。
FIG. 5 is a flowchart showing display control realized by the
制御部110による表示制御は、ユーザの指先が検出可能領域に入り、所定の条件が満たされることによって開始される。そこでまず、制御部110は、近接センサ142から供給される座標情報によって近接操作の位置を特定し、当該位置が検出可能領域に含まれるか否かを判断する(ステップS1)。制御部110は、この判断が肯定的(YES)になるまで、同じ処理を繰り返す。
The display control by the
指先の位置が検出可能領域に含まれるようになると、制御部110は、当該位置がさらに判別領域に含まれるか否かを判断するとともに、判別領域での滞留時間が所定の閾値以上であるか否かを判断する(ステップS2)。ステップS2の判断は、指先が表示面101に近寄り、ユーザの操作が近接操作から接触操作に移行した場合や、指先が表示面101から遠ざかって判別領域から出た場合に否定的(NO)になる。また、この判断は、滞留時間が所定の閾値未満である場合にも、否定的となる。
When the position of the fingertip is included in the detectable area,
図6は、検出可能領域と判別領域の関係を示した図である。同図において、縦方向の座標軸は、Z軸を表しているが、横方向の座標軸は、X軸とY軸のいずれであってもよい。なお、図示の便宜上、ここでは判別領域がZ軸方向だけでなくX軸方向(又はY軸方向)にも検出可能領域より小さい領域として示されているが、判別領域のX軸方向及びY軸方向のサイズ(ユーザが正面から見たときの面積)は、検出可能領域のそれと同一であってもよい。 FIG. 6 is a diagram showing the relationship between the detectable area and the discrimination area. In the figure, the vertical coordinate axis represents the Z axis, but the horizontal coordinate axis may be either the X axis or the Y axis. For the convenience of illustration, the discrimination area is shown as a smaller area than the detectable area not only in the Z-axis direction but also in the X-axis direction (or Y-axis direction). The size of the direction (area when viewed from the front by the user) may be the same as that of the detectable region.
指先の判別領域での滞留時間が所定の閾値以上となった場合、制御部110は、表示制御テーブルに従い、指先の位置に応じた表示態様で画像を拡大表示させるように表示部130を制御する(ステップS3)。また、制御部110は、このように画像の表示態様を制御するとともに、指先の位置の変化を判断する。具体的には、制御部110は、指先が検出可能領域内にあるか、あるいはユーザの操作が近接操作から接触操作に移行したかを判断する(ステップS4)。このとき、ユーザの指先が検出可能領域から一旦出ると、ステップS4の判断は否定的になる。すると、制御部110は、処理をステップS1からやり直す。
When the dwell time in the fingertip discrimination area is equal to or greater than a predetermined threshold, the
一方、指先が検出可能領域内にあるか、あるいはユーザの操作が接触操作になった場合、制御部110は、ユーザの操作がこれらのいずれに相当するかをさらに判断する。具体的には、制御部110は、ユーザの操作が接触操作であるか否かで判断する(ステップS5)。接触操作と近接操作の区別は、座標情報のZ座標によって行われる。あるいは、制御部110は、座標情報が接触センサ141と近接センサ142のいずれから供給されたかによって接触操作と近接操作を区別してもよい。
On the other hand, when the fingertip is within the detectable region or when the user's operation is a contact operation, the
ユーザの操作が接触操作であれば、制御部110は、指先が接触した位置に応じて画像の表示を変化させる(ステップS7)。このとき、制御部110は、指先が接触した位置、すなわちユーザが選択した対象物に応じた処理をあわせて実行してもよい。例えば、制御部110は、ユーザがウェブページのハイパーリンク(文字列やアイコン)を選択した場合であれば、ハイパーリンクに記述されたデータを受信するとともに、これをレンダリングしてページの表示を切り替える、といった処理を実行する。一方、ユーザの操作が接触操作でなければ(すなわち近接操作であれば)、制御部110は、ステップS3以降の処理を繰り返す。
If the user operation is a contact operation, the
また、制御部110は、ステップS2において判別領域での滞留時間が所定の閾値未満である場合にも、ユーザの操作が接触操作であるか否かで判断する(ステップS6)。この場合にも、制御部110は、ユーザの操作が接触操作であれば、ステップS7の処理を実行する。一方、制御部110は、ユーザの操作が接触操作でなければ、この場合にはステップS1以降の処理を繰り返す。
The
ステップS7の処理を実行したら、制御部110は、積算した滞留時間の値をリセットし、0に戻す(ステップS8)。なお、制御部110は、ステップS7の処理とステップS8の処理の実行順序を逆にしてもよい。また、制御部110は、ステップS7の処理を実行した後のほかに、座標情報により示される位置が検出可能領域(又は判別領域)外になったときに、滞留時間の値をリセットするようにしてもよい。
If the process of step S7 is performed, the
図7は、表示装置100による動作モード毎の表示例を示した図である。これらの表示例は、いずれも、アイコンIc1〜Ic6が表示されている状態で、ユーザがアイコンIc2を選択しようと徐々に指を近づけていく場合を示したものである。なお、近接操作有効モードの表示態様は、図4に示したテーブル3に従った場合のものである。表示装置100は、近接操作有効モードにおいては、Im1→Im2→Im3→Im4の流れで画像の表示態様を変化させる一方、近接操作無効モードにおいては、Im1→Im4の流れで画像の表示態様を変化させる。
FIG. 7 is a diagram illustrating a display example for each operation mode by the
画像Im1は、初期状態の画像であり、ユーザの指が検出可能領域外にある場合の画像である。これに対し、画像Im2は、ユーザが近接操作を行い、その滞留時間が所定の閾値以上となった場合の画像であり、画像Im3は、画像Im2の場合よりもユーザが指をさらに表示面101に近づけた場合の画像である。これらの場合において、アイコンIc2は、他のアイコンIc1、Ic3〜Ic6よりも目立ち、その確認や選択が容易になるように、拡大表示されている。また、画像Im4は、アイコンIc2が選択された場合の画像である。
The image Im1 is an image in an initial state, and is an image when the user's finger is outside the detectable region. On the other hand, the image Im2 is an image when the user performs a proximity operation and the staying time becomes a predetermined threshold value or more, and the image Im3 is displayed on the
一方、近接操作無効モードにおいては、ユーザの指先の位置が画像Im2、Im3と同等であっても、アイコンIc2の表示態様が変化しない。このような表示態様は、指の移動が比較的高速であり、指が比較的短時間で表示面101まで到達する場合に実現される。つまり、この場合表示装置100は、近接操作によって画像の表示態様を変化させない。このような動作は、表示装置100が近接操作自体を受け付けないことによって実現されてもよいが、受け付けた近接操作を表示態様に反映させないことによって実現されてもよい。
On the other hand, in the proximity operation invalid mode, even if the position of the user's fingertip is equivalent to the images Im2 and Im3, the display mode of the icon Ic2 does not change. Such a display mode is realized when the finger moves relatively quickly and the finger reaches the
なお、拡大表示の表示態様は、図7に示した例に限定されない。例えば、表示装置100は、特定の対象物(図7の場合、アイコン)のみを拡大表示するのではなく、ユーザが指し示している位置を中心とした所定の範囲を全体的に拡大表示してもよい。また、表示装置100は、画像の一部分を拡大表示することによって他の部分が隠れて見えなくなってしまわないように、拡大表示する画像を半透明の画像(背後が透けて見える表示態様の画像)にしてもよい。また、表示装置100は、拡大表示に合わせて、対象物の色を変えたり、あるいは点滅表示させたりしてもよい。
Note that the display mode of the enlarged display is not limited to the example shown in FIG. For example, the
以上のように、本実施形態の表示装置100は、指先の判別領域での滞留時間によって拡大表示するか否かを判別するように構成されている。このような表示装置100によれば、ユーザが動作モードを(近接操作以外の操作で)事前に指定しておかなくても、ユーザの動作に応じた動作モードを判別することが可能である。したがって、表示装置100は、同じ画像を表示している場合であっても、ユーザの操作に対する習熟の度合いや、ユーザのそのときどきの操作スピードなどによって、拡大表示するか否かを状況に応じて変えることができる。
As described above, the
このような表示制御は、例えば、ユーザの選択対象として複数のオブジェクト(ボタン、アイコン、ハイパーリンク等)が混在しているような画像を表示する場合にも適している。表示装置100によれば、このような画像を表示している場合において、ユーザが比較的小さなオブジェクトをゆっくりとした操作で選択しようとした場合には、当該オブジェクトが拡大表示される一方、ユーザが比較的大きなオブジェクトを素早い操作で選択しようとした場合には、当該オブジェクトを拡大表示させないようにすることが可能である。
Such display control is also suitable, for example, when displaying an image in which a plurality of objects (buttons, icons, hyperlinks, etc.) are mixed as a user's selection target. According to the
また、本実施形態の表示制御は、ユーザが高齢者や身体障害者である場合にも適している。表示装置100によれば、ユーザの手が震えるなどしてタッチしたい位置が一定に定まらない場合や、表示面101の画像をよく視認できない等の理由で指を表示面101に近づけたままなかなかタッチさせられないでいる場合などに、指の近傍の画像を拡大表示させて操作を補助ないし支援することが可能である。
The display control of this embodiment is also suitable when the user is an elderly person or a disabled person. According to the
[第2実施形態]
本実施形態は、上述した第1実施形態の構成及び動作の一部に対して変更を加えたものである。本実施形態は、表示部130が画像の立体表示を可能とするものである場合の例である。なお、ここでいう立体表示は、画像があたかも立体的であるかのように知覚される表示態様のことである。表示部130は、いわゆる裸眼立体視を実現するものであってもよいが、専用の眼鏡等の補助的な器具を利用して立体視を実現するものであってもよい。表示部130による立体視の具体的な実現方法については、周知の適当な技術を用いればよい。
[Second Embodiment]
In the present embodiment, a part of the configuration and operation of the first embodiment described above is modified. This embodiment is an example in the case where the
なお、本実施形態以降の実施形態において、既に説明した実施形態と共通する部分の説明は、適宜省略される。また、本実施形態以降の実施形態において、既に説明した実施形態と共通する構成要素やフローチャート中の処理には、既に記載した符号と同一の符号を付すものとする。 In addition, in embodiment after this embodiment, description of the part which is common in embodiment already demonstrated is abbreviate | omitted suitably. In addition, in the embodiments after this embodiment, the same reference numerals as those already described are attached to the components common to the already described embodiments and the processes in the flowchart.
図8は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップS3の処理がステップS3aの処理に置き換わっている点を除き、第1実施形態の表示制御(図5参照)と同様のものである。 FIG. 8 is a flowchart showing the display control of this embodiment. This flowchart is the same as the display control of the first embodiment (see FIG. 5) except that the process of step S3 is replaced with the process of step S3a.
ステップS3aにおいて、制御部110は、画像を立体表示させる場合の飛び出し量を制御する。ここにおいて、飛び出し量とは、ユーザと画像との間の視覚的な距離感を表すものであり、飛び出し量が大きいほど画像がユーザの近くに(すなわち表示面101よりもより飛び出して)あるように近くされることを表している。制御部110は、飛び出し量を指先の位置に応じて局所的に変化させてもよいが、表示面101の全体が飛び出して見えるようにしてもよい。なお、表示制御テーブルについては、第1実施形態において「倍率」である部分を「飛び出し量」と読み替えるようにすればよい。
In step S3a, the
また、制御部110は、本実施形態の表示制御と第1実施形態の表示制御を組み合わせて実行してもよい。すなわち、制御部110は、表示面101に表示されている画像を、拡大表示するとともに立体表示するように表示を制御してもよい。この場合、制御部110は、表示面101に表示されている画像のうちの拡大表示させる部分と立体表示させる部分とを異ならせてもよい。
Further, the
[第3実施形態]
図9は、本実施形態の表示装置100aの構成を示したブロック図である。同図に示すように、表示装置100aは、フィルタ部160を備える点が表示装置100(図2参照)と異なる。フィルタ部160は、座標情報に対してノイズを低減させるためのフィルタ処理を実行する手段である。なお、フィルタ部160は、他の構成要素とは独立したハードウェアであってもよいが、制御部110や操作部140の一機能として実現されてもよい。
[Third Embodiment]
FIG. 9 is a block diagram showing the configuration of the display device 100a of the present embodiment. As shown in the figure, the display device 100a is different from the display device 100 (see FIG. 2) in that a
フィルタ部160により用いられるフィルタは、具体的には、平滑化フィルタ、メディアンフィルタ、ガウシアンフィルタ、移動平均フィルタなどである。つまり、フィルタ部160は、座標情報により表される座標が短時間に細かく変動する場合に、その変動を抑制するように座標情報を変換する。したがって、ここでいうノイズとは、繰り返し連続的に検出される座標情報を時系列的に表した場合の高周波成分のことである。
Specifically, the filter used by the
本実施形態の表示装置100aによれば、制御部110が表示制御に用いる場合の指の軌跡を実際の軌跡よりも滑らか(すなわち、位置変動が緩やか)にすることが可能である。これにより、制御部110は、表示面101の画像が拡大表示される場合の倍率(又は当該画像が立体表示される場合の飛び出し量)を急激に(又は頻繁に)変えないようにすることが可能となり、画像がぶれたりしてユーザに見づらくなることを抑えることができるようになる。このような表示制御は、特に、図4のテーブル3の場合のように倍率(又は飛び出し量)が連続的に変化する場合に有効である。
According to the display device 100a of the present embodiment, it is possible to make the finger trajectory smoother than the actual trajectory when the
なお、フィルタ部160は、X座標、Y座標、Z座標のそれぞれに対してフィルタ処理を実行してもよいが、Z座標のみに対してフィルタ処理を実行してもよい。また、フィルタ部160は、それぞれの座標に対して実行するフィルタ処理の態様(より具体的には、ノイズを低減させる程度)を座標毎に異ならせてもよい。
Note that the
[第4実施形態]
本実施形態は、拡大表示(又は立体表示)後の表示制御に特徴を有するものである。具体的には、本実施形態において、表示装置100は、表示面101の画像が強調表示された後に接触操作が検出された場合に、強調表示を解除して通常の表示に戻し、その後、ユーザの指先がいったん判別領域外に出るまでは、強調表示を再度行わないように制限する。このような表示制御は、特に、接触操作によってページ切り替え等の画面遷移が生じる場合に有効である。
[Fourth Embodiment]
This embodiment is characterized by display control after enlarged display (or stereoscopic display). Specifically, in the present embodiment, when a contact operation is detected after the image on the
図10は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップS9、S10の処理が追加されている点が第1実施形態の表示制御(図5参照)と相違する。また、本実施形態において、制御部110は、ステップS7において、ユーザの接触操作に応じて拡大表示をいったん解除するものとする。
FIG. 10 is a flowchart showing the display control of this embodiment. This flowchart is different from the display control of the first embodiment (see FIG. 5) in that the processes of steps S9 and S10 are added. In the present embodiment, the
ステップS9において、制御部110は、近接操作の座標情報により示される指先の位置が判別領域に含まれるか否かを判断する。制御部110は、かかる判断が否定的、すなわち指先の位置が判別領域外に出ると、ステップS1以降の処理を繰り返す。このとき、制御部110は、滞留時間が再び閾値以上となれば、近接操作有効モードに移行することが可能である。
In step S9, the
一方、指先の位置が判別領域内にある場合、制御部110は、ステップS10に示すように、近接操作無効モードで動作し、指先の位置が判別領域外になるまでステップS9の判断を繰り返す。なお、制御部110は、ステップS10において、近接操作を無効にするのではなく、近接操作に基づく拡大表示を無効にしてもよい。
On the other hand, when the position of the fingertip is within the determination area, the
本実施形態の表示装置100によれば、接触操作後にユーザの意図に反した強調表示が行われることを防ぐことができる。例えば、表示装置100がブラウザによってウェブページを表示している場合に、ユーザがウェブページ中のハイパーリンクを接触操作により選択すると、ブラウザが表示するページは、選択前のウェブページから当該ハイパーリンクが示す他のウェブページに変化するのが一般的である。このようなページ遷移は、通信部150による通信やレンダリングを伴うため、ページが完全に切り替わるまでに時間を要する場合がある。このとき、ユーザは、次のページが表示されるまでの間、指の位置をあまり移動させることなく待機することがある。このような場合に、ユーザの指先が判別領域内に留まり続け、さらに滞留時間が所定の閾値以上になってしまうと、次のページは、いきなり強調表示された状態で表示されてしまうことになる。かかる表示態様は、ユーザが意図していない表示態様である可能性が高い。一方、本実施形態の表示制御によれば、ユーザがいったん指を遠ざけなければ強調表示が行われることがないため、上記のようなユーザの指の移動が少ない場合に強調表示がユーザの意図に反して行われないようにすることができる。
According to the
なお、ステップS9の判断は、判別領域そのものではなく、判別領域の一部の領域に基づいて行われてもよい。例えば、ステップS9の判断は、判別領域よりもZ軸方向の範囲が狭い領域(すなわち判別領域よりも小さい領域)に基づき、当該領域に指先の位置が含まれるか否かを判断するものであってもよい。 Note that the determination in step S9 may be performed based on a part of the determination area instead of the determination area itself. For example, the determination in step S9 is based on a region having a narrower range in the Z-axis direction than the determination region (that is, a region smaller than the determination region), and determines whether or not the fingertip position is included in the region. May be.
また、ステップS9の判断は、その変形例として、近接操作に代えて接触操作を用いたものとしてもよい。例えば、制御部110は、ステップS5又はS6の接触操作の後にさらに接触操作が検出された場合に、これらの2回の接触操作の座標の距離を算出し、その距離とあらかじめ決められた閾値とを比較することによって強調表示を有効にするか無効にするかを判断してもよい。
In addition, as a modification of the determination in step S9, a contact operation may be used instead of the proximity operation. For example, when a contact operation is further detected after the contact operation in step S5 or S6, the
[第5実施形態]
本実施形態は、ユーザの操作の特徴を、上述した滞留時間に代えて指の移動速度によって判別するものである。ここでいう移動速度は、より具体的には、ユーザの指先が表示面101に接近するときの移動速度である。また、移動速度は、指先のZ軸方向への変位の速度(すなわち、X軸方向及びY軸方向の変位を考慮しない速度)としてもよいし、これらの3軸の方向のそれぞれの変位を考慮して算出した速度としてもよい。
[Fifth Embodiment]
In the present embodiment, the feature of the user's operation is discriminated based on the moving speed of the finger instead of the residence time described above. More specifically, the moving speed here is a moving speed when the fingertip of the user approaches the
図11は、本実施形態の表示制御を示したフローチャートである。このフローチャートは、ステップS2の処理がステップS2aの処理に置き換わっている点を除き、第1実施形態の表示制御(図5参照)と同様のものである。ステップS2aにおいて、制御部110は、近接操作を示す複数の座標情報に基づき、移動速度を算出し、その移動速度が所定の閾値以下であるか否かを判断する。なお、移動速度は、複数(少なくとも2点)の座標情報が示す座標間の変位をその検出時刻の差分で除することによって算出可能である。
FIG. 11 is a flowchart showing the display control of this embodiment. This flowchart is the same as the display control of the first embodiment (see FIG. 5) except that the process of step S2 is replaced with the process of step S2a. In step S2a, the
制御部110は、移動速度が閾値以下である場合、すなわち比較的ゆっくりと移動している場合に、動作モードが近接操作有効モードであると判別し、ステップS3の処理を実行する。一方、制御部110は、移動速度が閾値を超える場合、すなわち比較的素早く移動している場合に、動作モードが近接操作無効モードであると判別し、ステップS6の処理を実行する。
When the moving speed is equal to or lower than the threshold value, that is, when moving relatively slowly, the
なお、制御部110は、指先の位置の移動速度に代えて、指先の位置の加速度や躍度(加加速度)を算出し、これを判別に用いることも可能である。すなわち、制御部110は、単位時間当たりの指先の変位ではなく、単位時間当たりの移動速度又はその加速度に基づいて動作モードを判別してもよい。
Note that the
[変形例]
本発明は、上述した各実施形態の態様に限らず、他の態様でも実施することができる。本発明は、例えば、以下の変形例に示す態様によっても実施可能である。なお、本発明は、これら複数の変形例を組み合わせた態様で実施されてもよいし、上述した各実施形態の特徴を複数組み合わせた態様で実施されてもよい。
[Modification]
The present invention is not limited to the aspect of each embodiment described above, and can be implemented in other aspects. The present invention can also be implemented, for example, by the modes shown in the following modifications. In addition, this invention may be implemented in the aspect which combined these some modified examples, and may be implemented in the aspect which combined multiple characteristics of each embodiment mentioned above.
(1)本発明の指示体は、上述したように、スタイラス等のユーザが手に持って動かす指示用の器具であってもよい。このような指示体を用いる場合の操作手段は、指示体の位置を赤外線や超音波によって検出するものであってもよい。また、先端に磁性体を備える指示体を用いた場合には、指示体の位置を磁気的に検出することも可能である。 (1) As described above, the indicator of the present invention may be an instruction device such as a stylus that the user holds and moves. The operating means in the case of using such an indicator may detect the position of the indicator with infrared rays or ultrasonic waves. In addition, when an indicator having a magnetic body at the tip is used, the position of the indicator can be detected magnetically.
(2)本発明の操作手段は、接触操作を検出するセンサと近接操作を検出するセンサとを別個に備える構成ではなく、接触操作と近接操作を単一のセンサによって検出する構成であってもよい。 (2) The operation means of the present invention is not configured to separately include a sensor for detecting the contact operation and a sensor for detecting the proximity operation, but may be configured to detect the contact operation and the proximity operation with a single sensor. Good.
(3)本発明の表示制御装置は、上述した実施形態のように表示装置100の構成の一部であってもよいが、表示装置と、表示装置とは独立に設けられた他の装置との協働によって実現されてもよい。例えば、本発明は、いわゆるデスクトップPCのように本体と表示装置とが分かれた構成の場合には、操作手段を表示装置側に備え、他の手段(判別手段、特定手段、表示制御手段など)を本体側に備えるようにしてもよい。
(3) The display control device of the present invention may be a part of the configuration of the
あるいは、本発明の表示制御装置は、操作手段に代えて、操作手段から供給された座標情報を取得する手段(データ取得部111)を備えるものであってもよい。すなわち、本発明の表示制御装置は、上述した制御部110のみによって構成することも可能である。また、このような表示制御装置は、これをコンピュータに実現させるためのプログラムや、かかるプログラムを記録した記録媒体の形態でも実施され得る。
Or the display control apparatus of this invention may be provided with the means (data acquisition part 111) which replaces with an operation means and acquires the coordinate information supplied from the operation means. That is, the display control apparatus of the present invention can be configured only by the
100、100a…表示装置、101…表示面、110…制御部、111…データ取得部、112…判別部、113…特定部、114…表示制御部、120…記憶部、130…表示部、140…操作部、141…接触センサ、142…近接センサ、150…通信部、160…フィルタ部
DESCRIPTION OF
Claims (15)
前記操作手段により検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する判別手段と、
前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する特定手段と、
前記特定手段により特定された表示態様で前記表示面に画像を表示させる表示制御手段と
を備えることを特徴とする表示制御装置。 An operation means for repeatedly detecting the position of the indicator with respect to the display surface and receiving an operation, the contact operation for contacting the indicator with the display surface, and without bringing the indicator into contact with the display surface An operation means for detecting a proximity operation to be close to,
A discriminating unit for discriminating an operation mode related to a display mode of the display surface based on a transition of the proximity operation detected by the operating unit;
Specifying means for specifying a display mode of an image displayed on the display surface according to the operation mode determined by the determining means and the position of the indicator detected by the operation means;
Display control means for displaying an image on the display surface in the display mode specified by the specifying means.
前記操作手段により検出された近接操作が示す前記指示体の3次元的な位置があらかじめ設定された所定領域に含まれる滞留時間によって前記動作モードを判別する
ことを特徴とする請求項1に記載の表示制御装置。 The discrimination means includes
The operation mode is determined based on a dwell time included in a predetermined area in which a three-dimensional position of the indicator indicated by the proximity operation detected by the operation means is set in advance. Display control device.
前記滞留時間があらかじめ決められた閾値より長い場合に、前記動作モードが所定のモードであると判別し、
前記特定手段は、
前記判別手段により判別された動作モードが前記所定のモードである場合に、前記表示面に表示される画像の一部を強調表示させる表示態様を特定する
ことを特徴とする請求項2に記載の表示制御装置。 The discrimination means includes
When the residence time is longer than a predetermined threshold, it is determined that the operation mode is a predetermined mode,
The specifying means is:
The display mode for highlighting a part of an image displayed on the display surface when the operation mode determined by the determination unit is the predetermined mode. Display control device.
前記表示面のうちの強調表示を行う範囲を、前記指示体の位置の前記表示面に対する正射影の座標と、当該位置の前記表示面からの距離との少なくともいずれかを用いて特定する
ことを特徴とする請求項3に記載の表示制御装置。 The specifying means is:
The range of the display surface to be highlighted is specified using at least one of the coordinates of the orthogonal projection of the position of the indicator with respect to the display surface and the distance of the position from the display surface. The display control apparatus according to claim 3, wherein
前記表示面に表示される画像を拡大表示させる場合の倍率を特定する
ことを特徴とする請求項3又は4に記載の表示制御装置。 The specifying means is:
The display control apparatus according to claim 3 or 4, wherein a magnification for enlarging an image displayed on the display surface is specified.
前記表示面に表示される画像を立体表示させる場合の飛び出し量を特定する
ことを特徴とする請求項3又は4に記載の表示制御装置。 The specifying means is:
The display control apparatus according to claim 3 or 4, wherein an amount of pop-up when the image displayed on the display surface is stereoscopically displayed is specified.
前記画像が強調表示された後に前記操作手段により接触操作が検出された場合に強調表示を解除するとともに、前記操作部により検出される位置が前記所定領域外になるまで強調表示を再度行わない
ことを特徴とする請求項3ないし6のいずれかに記載の表示制御装置。 The display control means includes
When a touch operation is detected by the operation means after the image is highlighted, the highlight display is canceled and the highlight display is not performed again until the position detected by the operation unit is outside the predetermined area. The display control apparatus according to claim 3, wherein:
前記操作手段により検出される前記位置が前記判別領域に入ってから、当該位置が前記接触操作として検出され、又は当該位置が当該判別領域を出るまでの時間を前記滞留時間として算出する
ことを特徴とする請求項2ないし7のいずれかに記載の表示制御装置。 The discrimination means includes
The dwell time is calculated as the time from when the position detected by the operation means enters the determination area until the position is detected as the contact operation or until the position leaves the determination area. A display control apparatus according to any one of claims 2 to 7.
前記操作手段により検出された近接操作が示す前記指示体の移動速度によって前記動作モードを判別する
ことを特徴とする請求項1に記載の表示制御装置。 The discrimination means includes
The display control apparatus according to claim 1, wherein the operation mode is determined based on a moving speed of the indicator indicated by the proximity operation detected by the operation unit.
記憶手段に記憶された制御データを用いて、前記判別手段により判別された動作モードと前記操作手段により検出された前記指示体の位置とに応じた表示態様を特定する
ことを特徴とする請求項1ないし9のいずれかに記載の表示制御装置。 The specifying means is:
The display mode according to the operation mode discriminated by the discriminating unit and the position of the indicator detected by the operation unit is specified using the control data stored in the storage unit. The display control apparatus according to any one of 1 to 9.
アプリケーションに応じた前記制御データを記憶し、
前記特定手段は、
前記表示面に表示されている画像に対応するアプリケーションに応じた前記制御データを用いて表示態様を特定する
ことを特徴とする請求項10に記載の表示制御装置。 The storage means
Storing the control data according to the application;
The specifying means is:
The display control apparatus according to claim 10, wherein a display mode is specified using the control data corresponding to an application corresponding to an image displayed on the display surface.
前記判別手段は、
前記フィルタ手段によりフィルタ処理が実行された座標情報に基づいて動作モードを判別する
ことを特徴とする請求項1ないし11のいずれかに記載の表示制御装置。 Filter means for performing a filter process for reducing noise on the coordinate information representing the position detected by the operation means,
The discrimination means includes
The display control apparatus according to any one of claims 1 to 11, wherein an operation mode is determined based on coordinate information on which filter processing is performed by the filter means.
前記接触操作を検出する第1のセンサと前記近接操作を検出する第2のセンサとを備える
ことを特徴とする請求項1ないし12のいずれかに記載の表示制御装置。 The operation means includes
The display control apparatus according to claim 1, further comprising a first sensor that detects the contact operation and a second sensor that detects the proximity operation.
前記接触操作及び前記近接操作を検出する単一のセンサを備える
ことを特徴とする請求項1ないし12のいずれかに記載の表示制御装置。 The operation means includes
The display control apparatus according to claim 1, further comprising a single sensor that detects the contact operation and the proximity operation.
前記第1のステップにおいて検出された近接操作の推移に基づいて、前記表示面の表示態様に関する動作モードを判別する第2のステップと、
前記第2のステップにおいて判別された動作モードと前記第1のステップにおいて検出された前記指示体の位置とに応じて、前記表示面に表示される画像の表示態様を特定する第3のステップと、
前記第3のステップにおいて特定された表示態様で前記表示面に画像を表示させる第4のステップと
有することを特徴とする表示制御方法。 A step of repeatedly detecting the position of the indicator with respect to the display surface and receiving an operation, the contact operation of bringing the indicator into contact with the display surface, and without bringing the indicator into contact with the display surface A first step of detecting a proximity operation to be brought close;
A second step of determining an operation mode related to the display mode of the display surface based on the transition of the proximity operation detected in the first step;
A third step of specifying a display mode of an image displayed on the display surface in accordance with the operation mode determined in the second step and the position of the indicator detected in the first step; ,
A display control method comprising: a fourth step of displaying an image on the display surface in the display mode specified in the third step.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011096135A JP2012226691A (en) | 2011-04-22 | 2011-04-22 | Display control device and display control method |
PCT/JP2012/060609 WO2012144559A1 (en) | 2011-04-22 | 2012-04-19 | Display control device and display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011096135A JP2012226691A (en) | 2011-04-22 | 2011-04-22 | Display control device and display control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012226691A true JP2012226691A (en) | 2012-11-15 |
Family
ID=47041664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011096135A Pending JP2012226691A (en) | 2011-04-22 | 2011-04-22 | Display control device and display control method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2012226691A (en) |
WO (1) | WO2012144559A1 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140104822A (en) * | 2013-02-21 | 2014-08-29 | 삼성전자주식회사 | Method for displaying for virtual keypad an electronic device thereof |
JP2014164755A (en) * | 2013-02-22 | 2014-09-08 | Samsung Electronics Co Ltd | Apparatus for recognizing proximity motion using sensors, and method using the same |
JP2014164763A (en) * | 2013-02-23 | 2014-09-08 | Samsung Electronics Co Ltd | Method and terminal for providing feedback |
JP2014222490A (en) * | 2013-05-14 | 2014-11-27 | シャープ株式会社 | Information display device, program, recording medium, and information display method |
JP2014222489A (en) * | 2013-05-14 | 2014-11-27 | シャープ株式会社 | Information display device, position determination method, program, and recording medium |
JP2015022730A (en) * | 2013-07-23 | 2015-02-02 | 富士通株式会社 | Image processing device, image processing method, and image processing program |
JP2015232740A (en) * | 2014-06-09 | 2015-12-24 | アルパイン株式会社 | Input display device, electronic equipment, display method of icon and display program |
WO2015199175A1 (en) * | 2014-06-26 | 2015-12-30 | 京セラ株式会社 | Portable electronic apparatus, portable electronic apparatus control method, and recording medium |
JP2016045931A (en) * | 2014-08-21 | 2016-04-04 | 京セラドキュメントソリューションズ株式会社 | Image processing apparatus |
JP2016167231A (en) * | 2015-03-10 | 2016-09-15 | 京セラドキュメントソリューションズ株式会社 | Display input device and image forming apparatus including the same |
US10394434B2 (en) | 2013-02-22 | 2019-08-27 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing proximity motion using sensors |
US11778109B2 (en) | 2021-03-29 | 2023-10-03 | Kyocera Document Solutions Inc. | Display apparatus that causes display device to enlarge or reduce image according to user gesture detection result from detector, and image forming apparatus |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5782420B2 (en) * | 2012-10-10 | 2015-09-24 | 株式会社Nttドコモ | User interface device, user interface method and program |
WO2015045090A1 (en) * | 2013-09-27 | 2015-04-02 | 株式会社 東芝 | Electronic device and method |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002358162A (en) * | 2001-06-01 | 2002-12-13 | Sony Corp | Picture display device |
JP2005049668A (en) * | 2003-07-30 | 2005-02-24 | Sharp Corp | Data converter, display device, data converting method, program and recording medium |
JP2005316790A (en) * | 2004-04-30 | 2005-11-10 | Nippon Telegr & Teleph Corp <Ntt> | Information input method, informed input/output device, and program |
JP2006236143A (en) * | 2005-02-25 | 2006-09-07 | Sony Ericsson Mobilecommunications Japan Inc | Input processing program, portable terminal device and input processing method |
JP2007013914A (en) * | 2005-06-30 | 2007-01-18 | Samsung Sdi Co Ltd | Stereoscopic image display apparatus and mobile communication terminal apparatus using the same |
JP2008281599A (en) * | 2007-05-08 | 2008-11-20 | Nippon Telegr & Teleph Corp <Ntt> | Information enhancing display method and information input/output device |
JP2009086612A (en) * | 2007-09-10 | 2009-04-23 | Ricoh Co Ltd | Input control device and image forming apparatus |
JP2009246625A (en) * | 2008-03-31 | 2009-10-22 | Fujifilm Corp | Stereoscopic display apparatus, stereoscopic display method, and program |
JP2010183154A (en) * | 2009-02-03 | 2010-08-19 | Casio Hitachi Mobile Communications Co Ltd | Terminal unit and program |
JP2010205050A (en) * | 2009-03-04 | 2010-09-16 | Mitsubishi Electric Corp | User interface device with touch panel, method, and program for controlling user interface |
JP2011035827A (en) * | 2009-08-05 | 2011-02-17 | Sony Corp | Display device and method |
-
2011
- 2011-04-22 JP JP2011096135A patent/JP2012226691A/en active Pending
-
2012
- 2012-04-19 WO PCT/JP2012/060609 patent/WO2012144559A1/en active Application Filing
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002358162A (en) * | 2001-06-01 | 2002-12-13 | Sony Corp | Picture display device |
JP2005049668A (en) * | 2003-07-30 | 2005-02-24 | Sharp Corp | Data converter, display device, data converting method, program and recording medium |
JP2005316790A (en) * | 2004-04-30 | 2005-11-10 | Nippon Telegr & Teleph Corp <Ntt> | Information input method, informed input/output device, and program |
JP2006236143A (en) * | 2005-02-25 | 2006-09-07 | Sony Ericsson Mobilecommunications Japan Inc | Input processing program, portable terminal device and input processing method |
JP2007013914A (en) * | 2005-06-30 | 2007-01-18 | Samsung Sdi Co Ltd | Stereoscopic image display apparatus and mobile communication terminal apparatus using the same |
JP2008281599A (en) * | 2007-05-08 | 2008-11-20 | Nippon Telegr & Teleph Corp <Ntt> | Information enhancing display method and information input/output device |
JP2009086612A (en) * | 2007-09-10 | 2009-04-23 | Ricoh Co Ltd | Input control device and image forming apparatus |
JP2009246625A (en) * | 2008-03-31 | 2009-10-22 | Fujifilm Corp | Stereoscopic display apparatus, stereoscopic display method, and program |
JP2010183154A (en) * | 2009-02-03 | 2010-08-19 | Casio Hitachi Mobile Communications Co Ltd | Terminal unit and program |
JP2010205050A (en) * | 2009-03-04 | 2010-09-16 | Mitsubishi Electric Corp | User interface device with touch panel, method, and program for controlling user interface |
JP2011035827A (en) * | 2009-08-05 | 2011-02-17 | Sony Corp | Display device and method |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140104822A (en) * | 2013-02-21 | 2014-08-29 | 삼성전자주식회사 | Method for displaying for virtual keypad an electronic device thereof |
KR102086799B1 (en) * | 2013-02-21 | 2020-03-09 | 삼성전자주식회사 | Method for displaying for virtual keypad an electronic device thereof |
US10261612B2 (en) | 2013-02-22 | 2019-04-16 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing proximity motion using sensors |
JP2014164755A (en) * | 2013-02-22 | 2014-09-08 | Samsung Electronics Co Ltd | Apparatus for recognizing proximity motion using sensors, and method using the same |
US10921926B2 (en) | 2013-02-22 | 2021-02-16 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing proximity motion using sensors |
US10394434B2 (en) | 2013-02-22 | 2019-08-27 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing proximity motion using sensors |
JP2014164763A (en) * | 2013-02-23 | 2014-09-08 | Samsung Electronics Co Ltd | Method and terminal for providing feedback |
JP2014222489A (en) * | 2013-05-14 | 2014-11-27 | シャープ株式会社 | Information display device, position determination method, program, and recording medium |
JP2014222490A (en) * | 2013-05-14 | 2014-11-27 | シャープ株式会社 | Information display device, program, recording medium, and information display method |
JP2015022730A (en) * | 2013-07-23 | 2015-02-02 | 富士通株式会社 | Image processing device, image processing method, and image processing program |
JP2015232740A (en) * | 2014-06-09 | 2015-12-24 | アルパイン株式会社 | Input display device, electronic equipment, display method of icon and display program |
JP2016009442A (en) * | 2014-06-26 | 2016-01-18 | 京セラ株式会社 | Mobile electronic device, control method and program therefor |
US10156932B2 (en) | 2014-06-26 | 2018-12-18 | Kyocera Corporation | Mobile electronic device, method of controlling mobile electronic device, and recording medium |
WO2015199175A1 (en) * | 2014-06-26 | 2015-12-30 | 京セラ株式会社 | Portable electronic apparatus, portable electronic apparatus control method, and recording medium |
JP2016045931A (en) * | 2014-08-21 | 2016-04-04 | 京セラドキュメントソリューションズ株式会社 | Image processing apparatus |
JP2016167231A (en) * | 2015-03-10 | 2016-09-15 | 京セラドキュメントソリューションズ株式会社 | Display input device and image forming apparatus including the same |
US11778109B2 (en) | 2021-03-29 | 2023-10-03 | Kyocera Document Solutions Inc. | Display apparatus that causes display device to enlarge or reduce image according to user gesture detection result from detector, and image forming apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2012144559A1 (en) | 2012-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012144559A1 (en) | Display control device and display control method | |
US9946338B2 (en) | Information processing to vary screen display based on a gaze point of the user | |
JP6381032B2 (en) | Electronic device, control method thereof, and program | |
JP4093823B2 (en) | View movement operation method | |
US8775966B2 (en) | Electronic device and method with dual mode rear TouchPad | |
EP2801009B1 (en) | System for gaze interaction | |
JP4743267B2 (en) | Information processing apparatus, information processing method, and program | |
JP5708083B2 (en) | Electronic device, information processing method, program, and electronic device system | |
EP2657811B1 (en) | Touch input processing device, information processing device, and touch input control method | |
CN103513879B (en) | Touch control device and its display control method and device | |
US20110060986A1 (en) | Method for Controlling the Display of a Touch Screen, User Interface of the Touch Screen, and an Electronic Device using The Same | |
EP2983064A1 (en) | Information processing apparatus, information processing method, and program | |
JP5620440B2 (en) | Display control apparatus, display control method, and program | |
WO2006036069A1 (en) | Information processing system and method | |
JP2013242836A (en) | Input device, input support method, and program | |
EP2840478A1 (en) | Method and apparatus for providing user interface for medical diagnostic apparatus | |
EP2427813A2 (en) | Electronic apparatus including one or more coordinate input surfaces and method for controlling such an electronic apparatus | |
JP2010205050A (en) | User interface device with touch panel, method, and program for controlling user interface | |
US20140082559A1 (en) | Control area for facilitating user input | |
US20140347276A1 (en) | Electronic apparatus including touch panel, position designation method, and storage medium | |
TW201333822A (en) | Apparatus and method for providing transitions between screens | |
US8558806B2 (en) | Information processing apparatus, information processing method, and program | |
US20150002433A1 (en) | Method and apparatus for performing a zooming action | |
US20120179963A1 (en) | Multi-touch electronic device, graphic display interface thereof and object selection method of multi-touch display | |
JP5461735B2 (en) | Input device, input support method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140701 |