JP2016038619A - Mobile terminal device and operation method thereof - Google Patents
Mobile terminal device and operation method thereof Download PDFInfo
- Publication number
- JP2016038619A JP2016038619A JP2014159541A JP2014159541A JP2016038619A JP 2016038619 A JP2016038619 A JP 2016038619A JP 2014159541 A JP2014159541 A JP 2014159541A JP 2014159541 A JP2014159541 A JP 2014159541A JP 2016038619 A JP2016038619 A JP 2016038619A
- Authority
- JP
- Japan
- Prior art keywords
- display
- touch
- image
- terminal device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、携帯端末装置及びその操作方法に関し、より詳細には、外部出力機能を備えると共に表示部の表示領域上でのタッチ操作を検出するタッチセンサを備えた携帯端末装置、及びその携帯端末装置における操作方法に関する。 The present invention relates to a mobile terminal device and an operation method thereof, and more specifically, a mobile terminal device including an external output function and a touch sensor that detects a touch operation on a display area of a display unit, and the mobile terminal thereof The present invention relates to an operation method in the apparatus.
タブレット端末や携帯電話機（スマートフォンと呼ばれるものも含む）などの携帯端末装置は、一般的に、表示部にタッチセンサが搭載されていると共に、画像を外部表示装置に表示のために出力する機能も備わっている。このような出力により携帯端末装置は外部表示装置のソース機器として機能する。 In general, a mobile terminal device such as a tablet terminal or a mobile phone (including a smartphone) includes a touch sensor mounted on a display unit and a function of outputting an image to an external display device for display. It is equipped. With such an output, the portable terminal device functions as a source device of the external display device.
そのような携帯端末装置で表示用の画像を外部表示装置に出力している間、ユーザは、携帯端末装置の表示画面又は外部表示装置の表示画面を見ながら携帯端末装置側でタッチ操作するか、若しくは外部表示装置側がタッチセンサを有する場合に限るが外部表示装置の表示画面でタッチ操作することになる。 Whether the user performs a touch operation on the mobile terminal device side while viewing the display screen of the mobile terminal device or the display screen of the external display device while outputting an image for display to such an external display device. Or, only when the external display device side has a touch sensor, a touch operation is performed on the display screen of the external display device.
なお、特許文献１には、表示部とタッチパッド（座標入力用のタブレット）とを備えたコンピュータが開示されている。このタッチパッドでは、タッチ位置の座標を示すデータを表示部の表示画面に対する相対座標のデータに変換し、マウスカーソルを移動させること、並びに、表示画面上の描画データ表示領域にマウスカーソルが位置するときには、タッチ位置の座標を示すデータを表示画面に対する絶対座標のデータに変換して上記描画データ表示領域に描画させることが可能となっている。
しかしながら、上述のような携帯端末装置において、自身の表示部に表示させずに外部表示装置のみに画像を出力した場合、外部出力した外部表示装置側がタッチセンサを有していればそのまま外部表示装置側のタッチ操作で携帯端末装置の操作が可能であるものの、タッチセンサを有さない外部表示装置である場合は携帯端末装置側で操作せざるを得ない。 However, in the portable terminal device as described above, when an image is output only to the external display device without being displayed on its own display unit, if the external display device side that has been externally output has a touch sensor, the external display device is used as it is. Although it is possible to operate the mobile terminal device with the touch operation on the side, in the case of an external display device that does not have a touch sensor, the mobile terminal device side must be operated.
そして、そのような操作を行う場合には、画像が外部表示装置のみに表示されるのに対して、タッチ操作の対象が画像非表示の状態の携帯端末装置の表示領域となり、表示画像とそれに対するタッチ操作とが上手く結びつかず、操作性が良いとは言えない。このような場面に限らず、常に、携帯端末装置において表示部に表示させた表示画像に対する操作としてタッチ操作を受け付けていては、操作性が良いとは言えない。 When such an operation is performed, the image is displayed only on the external display device, whereas the target of the touch operation is the display area of the mobile terminal device in a state where the image is not displayed. The touch operation is not linked well, and the operability is not good. Not only in such a situation, it is not always good operability if a touch operation is accepted as an operation for a display image displayed on the display unit in the mobile terminal device.
なお、特許文献１に記載のコンピュータでは、表示画面上の描画データ表示領域でのみ絶対座標での描画が可能となっているだけで、表示画面全体（表示画像の全領域）において絶対座標での描画やタッチ操作が可能なものではない。
Note that the computer described in
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、表示画面上でのタッチ操作が可能で且つ外部表示装置への画像出力が可能な携帯端末装置において、タッチ操作の操作性を向上させることにある。 The present invention has been made in view of the above situation, and an object of the present invention is to provide a touch operation in a portable terminal device that can perform a touch operation on a display screen and can output an image to an external display device. It is to improve the operability.
上記の課題を解決するために、本発明の第１の技術手段は、画像を表示する表示部と、ユーザによる操作入力を受け付ける操作入力部と、前記画像を表示のために外部表示装置に出力する出力部と、を備えた携帯端末装置であって、前記操作入力部は、ユーザによる前記表示部の表示領域上でのタッチ操作を検出するタッチセンサを有し、前記携帯端末装置は、前記タッチ操作を前記表示領域の表示画像に対する操作として受け付けるタッチパネルモードと、前記タッチ操作を、前記表示領域を操作領域とするタッチパッドによる操作として受け付けるタッチパッドモードとの間で切り替える制御部を備えたことを特徴としたものである。 In order to solve the above problems, a first technical means of the present invention includes a display unit that displays an image, an operation input unit that receives an operation input by a user, and outputs the image to an external display device for display. An output unit, wherein the operation input unit includes a touch sensor that detects a touch operation on a display area of the display unit by a user, and the mobile terminal device A control unit is provided that switches between a touch panel mode that accepts a touch operation as an operation on a display image in the display area and a touch pad mode that accepts the touch operation as an operation with a touch pad that uses the display area as an operation area. It is characterized by.
本発明の第２の技術手段は、第１の技術手段において、前記制御部は、前記画像を少なくとも前記出力部から前記外部表示装置に出力させている場合には、前記タッチパッドモードにすることを特徴としたものである。 According to a second technical means of the present invention, in the first technical means, the control unit sets the touch pad mode when at least the image is output from the output unit to the external display device. It is characterized by.
本発明の第３の技術手段は、第２の技術手段において、前記制御部は、前記画像を前記出力部から前記外部表示装置に出力し且つ前記表示部に表示させていない場合に限り、前記タッチパッドモードにすることを特徴としたものである。 According to a third technical means of the present invention, in the second technical means, the control unit outputs the image from the output unit to the external display device and does not display the image on the display unit. The touch pad mode is a feature.
本発明の第４の技術手段は、第１の技術手段において、前記制御部は、前記画像を少なくとも前記表示部に表示させている場合には、前記タッチパネルモードにすることを特徴としたものである。 A fourth technical means of the present invention is characterized in that, in the first technical means, the control unit sets the touch panel mode when the image is displayed at least on the display unit. is there.
本発明の第５の技術手段は、第１の技術手段において、前記制御部は、前記画像を前記出力部から前記外部表示装置に出力する場合、前記タッチパッドモードで使用するか否かをユーザに問い合わせることを特徴としたものである。 According to a fifth technical means of the present invention, in the first technical means, the control unit determines whether to use the touch pad mode when the image is output from the output unit to the external display device. It is characterized by inquiring.
本発明の第６の技術手段は、画像を表示する表示部と、ユーザによる前記表示部の表示領域上でのタッチ操作を検出するタッチセンサを有しユーザによる操作入力を受け付ける操作入力部と、前記画像を表示のために外部表示装置に出力する出力部と、を備えた携帯端末装置における操作方法であって、前記携帯端末装置の制御部が、前記タッチ操作を前記表示領域の表示画像に対する操作として受け付けるタッチパネルモードと、前記タッチ操作を、前記表示領域を操作領域とするタッチパッドによる操作として受け付けるタッチパッドモードとの間で切り替えるステップを有することを特徴としたものである。 A sixth technical means of the present invention includes a display unit that displays an image, an operation input unit that includes a touch sensor that detects a touch operation on the display area of the display unit by a user and receives an operation input by the user, An output method for outputting the image to an external display device for display, wherein the control unit of the mobile terminal device performs the touch operation on the display image of the display area. The method includes a step of switching between a touch panel mode accepted as an operation and a touch pad mode where the touch operation is accepted as an operation by a touch pad having the display area as an operation area.
本発明によれば、表示画面上でのタッチ操作が可能で且つ外部表示装置への画像出力が可能な携帯端末装置において、タッチ操作の操作性を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the operativity of touch operation can be improved in the portable terminal device which can perform touch operation on a display screen and can output the image to an external display apparatus.
以下、本発明に係る携帯端末装置の様々な実施形態について、図面を参照しながら説明する。本発明に係る携帯端末装置としては、モバイルパーソナルコンピュータ（ＰＣ）やタブレット型の端末装置（以下、タブレット端末）等の情報処理装置、携帯電話機（スマートフォンと呼ばれるものも含む）などが挙げられる。 Hereinafter, various embodiments of a mobile terminal device according to the present invention will be described with reference to the drawings. Examples of the portable terminal device according to the present invention include information processing devices such as a mobile personal computer (PC) and a tablet-type terminal device (hereinafter referred to as a tablet terminal), a mobile phone (including a so-called smartphone), and the like.
（第１の実施形態）
図１は、本発明の第１の実施形態に係る携帯端末装置を備えたシステムの一構成例を示すブロック図である。また、図２Ａは、図１のシステムにおける表示状態の一例を示す図で、図２Ｂは、図１のシステムにおける表示状態の他の例を示す図である。
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration example of a system including a mobile terminal device according to the first embodiment of the present invention. 2A is a diagram illustrating an example of a display state in the system of FIG. 1, and FIG. 2B is a diagram illustrating another example of a display state in the system of FIG.
本実施形態に係る携帯端末装置１は、図１で例示するように、制御部１０及び表示部１３を備えると共に、操作入力部として、タッチセンサ１２及び操作部１４を備えている。表示部１３は、画像を表示する部位であり、液晶ディスプレイや有機エレクトロルミネッセンスディスプレイ等、様々な表示方式の表示パネルが適用できる。上記操作入力部とは、ユーザによる操作入力を受け付ける部位である。操作部１４は、電源キーや音量調整キーやメニューキーなどのハードウェアキー（操作ボタン）などであり、タッチセンサ１２については後述する。
As illustrated in FIG. 1, the
また、図１で例示する携帯端末装置１は、外部の表示装置（外部表示装置）２と通信するための通信部１１を備えている。通信部１１は、表示部１３で表示させるための画像を表示のために表示装置２に出力する出力部の一例であり、外部表示装置２と有線で通信するための通信インターフェイスである。なお、この画像は、表示部１３に表示させるものをそのまま出力してもよいし、所定のルールに則り必要に応じて回転処理、スケーリング処理（基本は縦横比を保ったままとする）、黒帯付加（除去）処理などを行った後のものを出力してもよい。無論、表示装置２側で回転処理、スケーリング処理、黒帯付加（除去）処理などを施すようにすることもできる。
Further, the
この通信インターフェイスとしては、様々な通信規格に適合したものを採用することができる。通信部１１は、表示装置２に対して画像をケーブル３１を介して送信すること、並びに、他の情報をケーブル３２を介して送受することが可能となっている。上記他の情報としては、機器情報や各種命令が挙げられ、表示装置２がタッチセンサ１２と同様にタッチセンサを備えていた場合にはそのタッチ操作の情報も携帯端末装置１側に送信されることになる。
As this communication interface, those adapted to various communication standards can be adopted. The communication unit 11 can transmit an image to the
ケーブル３１としては、例えばHigh-Definition Multimedia Interface（ＨＤＭＩ：登録商標、以下同様）規格やMobile High-definition Link（ＭＨＬ：登録商標、以下同様）規格のケーブルが挙げられる。ケーブル３２としては、例えばUniversal Serial Bus（ＵＳＢ：登録商標、以下同様）規格のケーブルが挙げられる。
Examples of the
表示装置２は、特にその詳細については説明しないが、携帯端末装置１と同様に、制御部、通信部、表示部、及び操作部を備えると共にその表示部の表示領域上でのタッチ操作を検出するタッチセンサを備えている場合もある。携帯端末装置１がどのような表示装置２に画像を表示させるかはユーザが選ぶことになるため、表示装置２がタッチセンサを備えるか否かはそのユーザの選択によって決まることになる。
The
制御部１０は、携帯端末装置１の全体を制御する。制御部１０は、プログラム保存領域に格納されたプログラムを動作させ、各種制御を行う。例えば制御部１０は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）、作業領域としてのＲＡＭ（Random Access Memory）、及び記憶装置などの制御デバイスで構成され、その一部又は全部を集積回路／ＩＣチップセットとして搭載することもできる。
The
この記憶装置には、制御プログラム（本発明に係る処理を実行するプログラムを含む）をはじめ、ＯＳＤ（On Screen Display）画像として表示させるためのＵＩ（User Interface）画像、各種設定内容などが記憶される。この記憶装置としては、フラッシュＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ＲＯＭ）等が挙げられる。携帯端末装置１の種類によってはこの記憶装置としてＨＤＤ（Hard Disk Drive）を採用することもできる。
This storage device stores a control program (including a program for executing the processing according to the present invention), a UI (User Interface) image to be displayed as an OSD (On Screen Display) image, various setting contents, and the like. The Examples of the storage device include a flash ROM (Read Only Memory) and an EEPROM (Electrically Erasable and Programmable ROM). Depending on the type of the mobile
タッチセンサ１２は、ユーザによる表示部１３の表示領域（全表示領域）上でのタッチ操作を検出するセンサであり、例えば表面型又は投射型の静電容量方式、電磁誘導方式、赤外線方式、表面弾性波方式、抵抗膜方式など、様々な方式のセンサが適用できる。タッチセンサ１２は、表示部（表示パネル）１３の表面に重ねるようにパネルとして設けられるものが多く、単体で若しくは表示パネルと合わせて、タッチパネルとも呼ばれる。タッチセンサ１２は、マルチタッチ対応であることが好ましく、これによりピンチインやピンチアウトなどの操作も可能となる。
The
タッチセンサ１２は、タッチ操作を検出するとタッチ操作がなされた位置を特定する情報（入力座標情報）を制御部１０に渡すか、若しくは制御部１０がポーリング処理等によりタッチセンサ１２に対するタッチ操作の入力を監視する。タッチセンサ１２と、制御部１０におけるそのタッチセンサ１２を制御する部位とで、ユーザによるタッチ操作を受け付けるタッチ操作部を構成する。
When the
次に、本発明の主たる特徴について説明する。制御部１０は、タッチパネルモードとタッチパッドモードとの間で切り替える制御が可能となっている。ここで、タッチパネルモードとは、タッチセンサ１２で受け付けられたタッチ操作を表示部１３の表示領域の表示画像に対する操作として受け付けるモードであり、「タッチモード」とも呼べる。また、上記表示画像は、表示部１３及び／又は表示装置２に実際に表示させている画像を指す。
Next, main features of the present invention will be described. The
上記入力座標情報として、表示画像（表示部１３での全表示領域）と一対一に対応した絶対座標の情報を採用している場合、タッチ操作部は、タッチパネルモードではその入力座標情報をそのまま用いる。一方で上記入力座標情報として絶対座標の情報を採用していない場合、タッチ操作部はタッチパネルモードではその入力座標情報を絶対座標の情報に変換して用いればよい。 When the input coordinate information employs absolute coordinate information that has a one-to-one correspondence with the display image (the entire display area on the display unit 13), the touch operation unit uses the input coordinate information as it is in the touch panel mode. . On the other hand, when absolute coordinate information is not employed as the input coordinate information, the touch operation unit may convert the input coordinate information into absolute coordinate information in the touch panel mode.
いずれの場合でも、制御部１０は、タッチ操作部から絶対座標の情報を取得し、その座標が表示部１３の表示画面のどの位置であるかを判定し、その判定結果に基づいて表示部１３の表示画面の表示に応じた処理等を行う。例えば、アイコン上でのタッチであればそのアイコンが示すファイルを開くなどの処理がなされる。このようにタッチパネルモードは絶対座標を用いるモードであるため、絶対座標モードとも呼べる。
In any case, the
図２Ａを参照すると、表示部１３での表示を表示装置２にミラーリング表示している場合、つまり携帯端末装置１の表示部１３に表示画像を表示させたまま、表示装置２にその表示画像を出力して変倍表示させている場合には、タッチパネルモードとすることができ、主に携帯端末装置１の表示画面を見ながら携帯端末装置１側で適切なタッチ操作ができるようになる。この例では、アイコンＩｃａ上にユーザの指Ｆが触れた状態を示しており、その場合、携帯端末装置１において指Ｆの下には指Ｆに隠れているがポインタＰが描画されると共に、表示装置２においてそのポインタＰがアイコンＩｃｂ（アイコンＩｃａに対応するアイコン）に表示されている。なお、このポインタＰ（マウスカーソルなどとも呼ばれる）は、タッチパネルモード／タッチパッドモードに依らず、制御部１０のプログラム（主にオペレーティングシステム：ＯＳ）が表示画像に重畳することになる。
Referring to FIG. 2A, when the display on the
タッチパッドモードとは、タッチセンサ１２で受け付けられたタッチ操作を、表示部１３の表示領域（全表示領域）を操作領域とするタッチパッドによる操作として受け付けるモードであり、「マウスモード」とも呼べる。
The touch pad mode is a mode in which a touch operation accepted by the
上記入力座標情報として、表示画像（表示部１３での全表示領域）に対して所定比率の座標（相対座標）の情報を採用している場合、タッチ操作部は、タッチパッドモードではその入力座標情報をそのまま用いる。一方で上記入力座標情報としてそのような相対座標の情報を採用していない場合（絶対座標又は別の比率の相対座標を採用している場合）、タッチ操作部はタッチパッドモードではその入力座標情報を上記所定比率の相対座標の情報に変換して用いればよい。 In the case where information of coordinates (relative coordinates) at a predetermined ratio with respect to the display image (all display areas on the display unit 13) is adopted as the input coordinate information, the touch operation unit has its input coordinates in the touch pad mode. Use the information as is. On the other hand, when such relative coordinate information is not adopted as the input coordinate information (when absolute coordinates or another ratio of relative coordinates are adopted), the touch operation unit does not use the input coordinate information in the touch pad mode. May be converted into information of the relative coordinates of the predetermined ratio.
いずれの場合でも、制御部１０は、タッチ操作部から上記所定比率の相対座標の情報を取得し、その座標に基づきポインタを表示画像に重畳させる。タッチした際に最初にポインタを表示させる位置は、例えば表示画像の中央や所定位置であってもよいし、タッチ位置の相対位置であってもよい。その後、例えばそのポインタをスライドさせるには、タッチ位置を移動させればよい。そして、例えば、アイコン上でダブルタッチを検出した場合にはそのアイコンが示すファイルを開くなどの処理がなされる。このようにタッチパッドモードは相対座標を用いるモードであるため、相対座標モードとも呼べる。
In any case, the
図２Ｂを参照すると、表示画像を表示部１３に表示させず且つ表示装置２に表示させている場合、つまり携帯端末装置１の表示部１３に表示画像を表示させずに、表示装置２にその表示画像を出力して変倍表示させている場合には、タッチパッドモードとすることができ、表示装置２を見ながら携帯端末装置１側で適切なタッチ操作ができるようになる。この例では、アイコンＩｃｂ上にユーザの指Ｆａが触れた状態から指Ｆｂの位置まで指がスライドされており、その場合、ポインタＰａがポインタＰｂの位置まで移動している。図示したように、指Ｆａから指Ｆｂへの移動量とポインタＰａからポインタＰｂへの移動量とは基本的に同じではなく、両者は上記所定比率に基づき決定されている。
Referring to FIG. 2B, when the display image is not displayed on the
なお、図２Ａ，図２Ｂにおいて、タッチパネルモードにおけるタッチのカーソルとタッチパッドモードにおけるマウスのカーソルを同形状のポインタで示したが、例えばタッチのカーソルを星形など、マウスカーソルと異ならせることが好ましい。また、一般的には表示装置２に画像を表示させる場合、その画面サイズは図２Ａや図２Ｂで図示したように表示部１３の画面サイズより大きいことが想定されるが、それに限ったものではない。
2A and 2B, the touch cursor in the touch panel mode and the mouse cursor in the touch pad mode are shown with the same shape pointer, but it is preferable to make the touch cursor different from the mouse cursor such as a star shape, for example. . In general, when an image is displayed on the
以上のように、本実施形態によれば、表示画面上でのタッチ操作が可能で且つ外部表示装置への画像出力が可能な携帯端末装置において、タッチ操作の操作性を向上させることができる。 As described above, according to the present embodiment, the operability of the touch operation can be improved in the portable terminal device that can perform the touch operation on the display screen and can output the image to the external display device.
（第２の実施形態）
本発明の第２の実施形態について、図３Ａ及び図３Ｂを併せて参照しながら説明する。図３Ａは、本発明の第２の実施形態に係る携帯端末装置における処理例を説明するためのフロー図で、図３Ｂは、図３Ａに続くフロー図である。本実施形態について、第１の実施形態との相違点を中心に説明するが、第１の実施形態で説明した様々な応用例も同様に適用できる。
(Second Embodiment)
A second embodiment of the present invention will be described with reference to FIGS. 3A and 3B together. FIG. 3A is a flowchart for explaining a processing example in the portable terminal device according to the second embodiment of the present invention, and FIG. 3B is a flowchart following FIG. 3A. Although the present embodiment will be described with a focus on differences from the first embodiment, various application examples described in the first embodiment can be similarly applied.
本実施形態における制御部１０は、表示画像を出力部から表示装置２に出力し且つ表示部１３に表示させていない場合に限り、タッチパッドモードにする（タッチパッドモードでの処理を行う）。つまり、このような場合には、タッチパネルモード時にはタッチパッドモードに切り替え、一方でタッチパッドモード時にはそのままのモードを維持して処理を行う。
The
図３Ａ及び図３Ｂを参照しながら、制御部１０が主として実行するこのような処理の一例について説明する。まず、携帯端末装置１の起動時やスリープ状態からの復帰時に画面設定（表示設定）を検出し、若しくは画面設定が変更されたことを検出する（ステップＳ１）。次いで、常駐ソフト（アプリケーション又は或るサービスのアプリケーション等）によって外部表示装置の接続状態及び画面表示状態をＯＳ標準のＡＰＩ（Application Programming Interface）等を使用して取得する（ステップＳ２）。
An example of such processing mainly executed by the
ステップＳ１，Ｓ２で表示装置２が検出された場合は、更に現在の表示状態として表示装置２に出力している状態であるか否かを判別する（ステップＳ３）。表示装置２に表示している状態である場合は、更にその出力状態が表示装置２のみの表示であるか、或いは内蔵の表示部１３との同時表示（又は拡張表示）か否かを判別する（ステップＳ４）。ここで拡張表示とは、表示画像のそのままの表示ではなく、スケーリング処理や黒帯付加（又は除去）処理などの処理を施した表示を指す。
When the
ステップＳ４でＹＥＳの場合、つまり表示装置２のみに単独表示されていると判定された場合、携帯端末装置１のタッチ操作部（タッチセンサ１２を含むタッチデバイス）において、その内部フラグを相対座標のマウス操作として動作させるタッチパッドモードに変更する（ステップＳ５）。その際、マウスのカーソルを表示させる。一方で、ステップＳ４でＮＯの場合、特に何も状態を変更せず、携帯端末装置１のタッチ操作部において、通常のタッチデバイスとしてタッチパネル動作を可能とする（ステップＳ６）。なお、ステップＳ６の後は通常のタッチパネル動作でタッチ操作を受け付ければよく、その説明を省略している。
In the case of YES in step S4, that is, when it is determined that only the
ステップＳ５でタッチ操作部がタッチパッドモードに設定されると、それ以降のタッチイベントを常駐ソフトがフックして仮想マウスイベントに変換してＯＳに渡すようにする（ステップＳ７）。 When the touch operation unit is set to the touch pad mode in step S5, the resident software hooks the subsequent touch events, converts them into virtual mouse events, and passes them to the OS (step S7).
ステップＳ７にてタッチイベントを取得すると、そのタッチ数を検出し、指一本の操作によるシングルタッチかそれ以外か（マルチタッチ）を検出する（ステップＳ８）。ステップＳ８でＮＯの場合、つまりシングルタッチでない場合は、マルチタッチによるジェスチャ操作か否かを判定し（ステップＳ９）、ステップＳ９でＹＥＳの場合は該当のジェスチャコマンドを発行する（ステップＳ１０）。 When a touch event is acquired in step S7, the number of touches is detected, and it is detected whether the touch is a single touch by a single finger operation or other (multi-touch) (step S8). If NO in step S8, that is, if it is not a single touch, it is determined whether or not the gesture operation is multi-touch (step S9). If YES in step S9, the corresponding gesture command is issued (step S10).
ステップＳ８でＹＥＳの場合、つまりシングルタッチと判定された場合には、入力座標情報を得て（入力位置、つまりタッチ位置を検出し）（ステップＳ１１）、前回の最終入力位置と今回の入力位置が異なる位置であるか（つまり移動しているか）否かを判定する（ステップＳ１２）。 If YES in step S8, that is, if it is determined as single touch, input coordinate information is obtained (input position, that is, touch position is detected) (step S11), and the last final input position and current input position are obtained. Are different positions (that is, whether they are moving) or not (step S12).
ステップＳ１２でＮＯの場合には、同じ座標近辺をタッチした状態のままで所定時間が経過したか否かを判定し（ステップＳ１３）、ステップＳ１３でＹＥＳと判定された場合、ロングタッチがなされたと判定し、右クリックイベントを発行する（ステップＳ１５）。一方で、ステップＳ１３でＮＯの場合、つまり所定時間以内にタッチが終了した場合には、左クリックイベントを発行する（ステップＳ１４）。 In the case of NO in step S12, it is determined whether or not a predetermined time has passed while the vicinity of the same coordinate is touched (step S13). If it is determined YES in step S13, a long touch has been made. A determination is made and a right click event is issued (step S15). On the other hand, if NO in step S13, that is, if the touch is completed within a predetermined time, a left click event is issued (step S14).
一方で、ステップＳ１２でＹＥＳの場合、つまりタッチ座標の移動が検出された場合は、フリックジェスチャに該当するか否かを判定する（ステップＳ１６）。ステップＳ１６でＹＥＳの場合は、フリックのジェスチャコマンドを発行する（ステップＳ１７）。一方、ステップＳ１６にてＮＯの場合は、通常のマウスＭｏｖｅイベントを発行する（ステップＳ１８）。ステップＳ９でＮＯ場合、ステップＳ１０，Ｓ１４，Ｓ１５，Ｓ１７，Ｓ１８でコマンドを発行した場合には、ステップＳ７に戻る。なお、タッチパッドモードでの動作は、例示したものに限らず、予め定められたルールに則り決定すればよい。 On the other hand, if “YES” in the step S12, that is, if the movement of the touch coordinates is detected, it is determined whether or not it corresponds to the flick gesture (step S16). If YES in step S16, a flick gesture command is issued (step S17). On the other hand, if NO in step S16, a normal mouse Move event is issued (step S18). If NO in step S9, if a command is issued in steps S10, S14, S15, S17, and S18, the process returns to step S7. Note that the operation in the touchpad mode is not limited to the illustrated one, and may be determined according to a predetermined rule.
このように、本例では、携帯端末装置１から表示装置２に映像用ケーブルを介して映像出力されているケースであるが、携帯端末装置１と表示装置２を同時表示（画面複製）している場合は何もしない（タッチパネルモードのままにしておく）が、表示装置２のみに出力されており表示部１３に映像を表示していないことを携帯端末装置１の制御部１０が検出すると、タッチセンサ１２をタッチパッド（マウス）として使用できるようにモード切替を行っている。これにより、表示装置２と同時表示している場合はタッチパネル操作ができ、表示装置２のみに表示しているときはマウス操作ができ、ユーザの使用シーン（接続状況や表示状況）に適した操作を実現できるため、操作性が向上する。
As described above, in this example, the video is output from the mobile
（第３の実施形態）
本発明の第３の実施形態について説明する。本実施形態について、第１，第２の実施形態との相違点を中心に説明するが、第１，第２の実施形態で説明した様々な応用例も同様に適用できる。
(Third embodiment)
A third embodiment of the present invention will be described. Although the present embodiment will be described with a focus on differences from the first and second embodiments, various application examples described in the first and second embodiments can be similarly applied.
本実施形態における制御部１０は、表示画像を少なくとも上記出力部から表示装置２に出力させている場合で且つ表示部１３にも表示させている場合、タッチパッドモードにする。つまり、このような場合には、タッチ操作の信号を相対座標の信号として処理する。両方表示させている場合にタッチパッドモードを採用した場合でも、ユーザが表示装置２を見ながら操作することで、ユーザの操作性を妨げることはない。また、そのような場合、後述する第５の実施形態のように問い合わせを行うことが好ましい。
The
なお、第２の実施形態及び第３の実施形態は、いずれも、制御部１０は、表示画像を少なくとも上記出力部から表示装置２に出力させている場合（表示部１３も加えて両方に表示させている場合、若しくは上記例のように表示装置２のみに表示させている場合）、タッチパッドモードにしていることになる。
In both the second embodiment and the third embodiment, the
（第４の実施形態）
本発明の第４の実施形態について説明する。本実施形態について、第１〜第３の実施形態との相違点を中心に説明するが、第１〜第３の実施形態で説明した様々な応用例も同様に適用できる。
(Fourth embodiment)
A fourth embodiment of the present invention will be described. Although this embodiment is described centering on differences from the first to third embodiments, various application examples described in the first to third embodiments can be similarly applied.
本実施形態における制御部１０は、表示画像を少なくとも表示部１３に表示させている場合（両方又は表示部１３のみに表示させている場合）には、タッチパネルモードにする。つまり、このような場合には、タッチ操作の信号を絶対座標の信号として処理する。両方表示させている場合にタッチパネルモードを採用した場合でも、ユーザが携帯端末装置１を見ながら操作することで、ユーザの操作性を妨げることはない。また、そのような場合、後述する第５の実施形態のように問い合わせを行うことが好ましい。
The
（第５の実施形態）
本発明の第５の実施形態について説明する。本実施形態について、第１〜第４の実施形態との相違点を中心に説明するが、第１〜第４の実施形態で説明した様々な応用例も同様に適用できる。
(Fifth embodiment)
A fifth embodiment of the present invention will be described. Although this embodiment is described centering on differences from the first to fourth embodiments, the various application examples described in the first to fourth embodiments can be similarly applied.
本実施形態における制御部１０は、表示画像を出力部から表示装置２に出力する場合、タッチパッドモードで使用するか否かをユーザに問い合わせるようにする。この問い合わせ画像（ＵＩ画像）は、表示部１３にＯＳＤ表示させるだけでもよいし、表示装置２にも表示させてもよい。そして、制御部１０は、問い合わせてユーザからの回答を得て、その結果に基づきタッチパネルモードとタッチパッドモードのいずれを使用するかを決定すればよい。
In the present embodiment, when the display image is output from the output unit to the
（第６の実施形態）
本発明の第６の実施形態について説明する。本実施形態について、第１〜第５の実施形態との相違点を中心に説明するが、第１〜第５の実施形態で説明した様々な応用例も同様に適用できる。
(Sixth embodiment)
A sixth embodiment of the present invention will be described. Although this embodiment is described centering on differences from the first to fifth embodiments, various application examples described in the first to fifth embodiments can be similarly applied.
本実施形態における携帯端末装置１は、出力部での出力先となる表示装置２が表示領域上でのタッチ操作を検出するタッチセンサを備えているか否かを検出する検出部を備える。この検出部は、例えば図３ＡのステップＳ１で表示装置２の機器情報などを取得する部位であればよい。そして、制御部１０は、上記検出部で表示装置２がタッチセンサを備えていないと検出された場合に限り、タッチパッドモードにすればよい。タッチセンサを備えない表示装置２では、表示装置２での操作が基本的にできず、携帯端末装置１をタッチパッドとして使用した方が少なくとも操作性を向上させることができるためである。
The mobile
特に表示部１３の表示を消している場合には、表示装置２での操作が基本的にできない。よって、表示装置２がタッチセンサを備えない場合に、表示部１３で表示しているか否かを判定し、表示を消している場合にタッチパッドモードにすると有益である。
In particular, when the display on the
無論、本実施形態とは異なり、制御部１０は、上記検出部で表示装置２がタッチセンサを備えていないと検出された場合にはタッチパネルモードにして携帯端末装置１でタッチ操作させてもよい。但し、第５の実施形態のような問い合わせを行うことが好ましい。
Of course, unlike the present embodiment, the
つまり、本実施形態のように上記検出部を備えた携帯端末装置１では、上記検出部で表示装置２がタッチセンサを備えていないと検出された場合に限り、制御部１０が第５の実施形態のような問い合わせを行うようにしてもよい。
That is, in the mobile
また、上記検出部の代わりに若しくは上記検出部に加えて、表示装置２の解像度が携帯端末装置１の表示部１３の解像度と同じか否かを検出する解像度検出部を設けてもよい。そして、上記解像度検出部で同じではないと検出された場合に限り、上記問い合わせを行えばよい。若しくは、そのような場合に限り、タッチパッドモードにしてもよい。
Moreover, you may provide the resolution detection part which detects whether the resolution of the
例えば、解像度が１２８０×７２０や３２００×１８００の携帯端末装置１から解像度１９２０×１０８０の表示装置２のみに表示画像を出力するケース（単なるミラーリング表示では対応できないケース）が考えられるが、そのような場合には、携帯端末装置１では表示部１３に表示されない状態となる。そして、このような場合、表示装置２側でのタッチ操作ができないと、携帯端末装置１では表示部１３に表示されない状態でのタッチ操作となるため、満足な操作ができないが、タッチパッドモードにすることでこのような操作が容易になる。
For example, there may be a case where a display image is output only from the mobile
（第７の実施形態）
図４は、本発明の第７の実施形態に係る携帯端末装置を備えたシステムの一構成例を示す図である。本実施形態における携帯端末装置１ａは、図１の携帯端末装置１において、通信部１１が外部の表示装置２ａと無線で通信するための通信インターフェイスとなっている点が異なる。よって、本構成例は、第１〜第６の実施形態において有線接続の代わりに適用できる。その他の点は同様であり、その説明を省略する。
(Seventh embodiment)
FIG. 4 is a diagram illustrating a configuration example of a system including a mobile terminal device according to the seventh embodiment of the present invention. The portable terminal device 1a in the present embodiment is different from the portable
本実施形態において無線で接続する場合の規格としては様々なものが適用できる。例えば、通信インターフェイスとして、ＷＨＤＩ（Wireless Home Digital Interface）、ＷｉｒｅｌｅｓｓＨＤ、ＷｉＤｉ、Ｍｉｒａｃａｓｔ等の規格でＨＤＭＩの無線化を行うためのアダプタ、ＷｉＦｉ（登録商標）規格の無線機器などを携帯端末装置１に搭載しておけばよい。無論、通信先の表示装置２ａにも同様の通信インターフェイスを備えておく必要がある。
In this embodiment, various standards can be applied as a standard for wireless connection. For example, as a communication interface, the mobile
（その他）
上述した各実施形態では、１台の外部表示装置が接続されることを前提に説明したが、複数台の外部表示装置が接続されることもある。そのような場合、現在の接続状態が１台か否かを判定し（例えば図３ＡのステップＳ１，Ｓ２で得た情報に基づきステップＳ２とステップＳ３の間などのタイミングで判定を行い）、複数台の場合にはタッチパネルモードにしておけばよい。無論、複数台検出された場合にも、もし同じ画像を表示させているのであればタッチパッドモードに移行可能としてもよい。
(Other)
In each of the above-described embodiments, the description has been made on the assumption that one external display device is connected. However, a plurality of external display devices may be connected. In such a case, it is determined whether or not the current connection state is one (for example, determination is performed at timings such as between steps S2 and S3 based on the information obtained in steps S1 and S2 in FIG. 3A). In the case of a stand, the touch panel mode may be set. Of course, even when a plurality of devices are detected, it may be possible to shift to the touch pad mode if the same image is displayed.
以上、本発明に係る携帯端末装置について説明したが、処理の流れをフロー図で例示したように、本発明は、画像を表示する表示部と、ユーザによる上記表示部の表示領域上でのタッチ操作を検出するタッチセンサを有しユーザによる操作入力を受け付ける操作入力部と、上記画像を表示のために外部表示装置に出力する出力部と、を備えた携帯端末装置における操作方法や、その操作方法をコンピュータ（携帯端末装置の制御部）に実行させるためのプログラムとしての形態も採り得る。 As described above, the portable terminal device according to the present invention has been described. As illustrated in the flowchart of the processing flow, the present invention is based on the display unit that displays an image and the touch on the display area of the display unit by the user. An operation method in a portable terminal device including an operation input unit that has a touch sensor that detects an operation and receives an operation input by a user, and an output unit that outputs the image to an external display device for display. A form as a program for causing a computer (a control unit of the portable terminal device) to execute the method may be employed.
この操作方法は、上記携帯端末装置の制御部が、上記タッチ操作を上記表示領域の表示画像に対する操作として受け付けるタッチパネルモードと、上記タッチ操作を、上記表示領域を操作領域とするタッチパッドによる操作として受け付けるタッチパッドモードとの間で切り替えるステップを有する。その他の応用例については、携帯端末装置について説明した通りであり、その説明を省略する。 In this operation method, the control unit of the mobile terminal device accepts the touch operation as an operation for a display image of the display area, and the touch operation is performed by a touch pad using the display area as an operation area. Switching between accepting touchpad modes. About another application example, it is as having demonstrated the portable terminal device, The description is abbreviate | omitted.
上記プログラムは、換言すると、この操作方法を、上記表示部、上記操作入力部、及び上記出力部を備えたコンピュータに実行させるためのプログラムである。すなわち、このプログラムは、上記コンピュータに、上記タッチ操作を上記表示領域の表示画像に対する操作として受け付けるタッチパネルモードと、上記タッチ操作を、上記表示領域を操作領域とするタッチパッドによる操作として受け付けるタッチパッドモードとの間で切り替えるステップを実行させるためのプログラムである。その他の応用例については、携帯端末装置について説明した通りであり、その説明を省略する。 In other words, the program is a program for causing a computer including the display unit, the operation input unit, and the output unit to execute the operation method. That is, the program includes a touch panel mode for accepting the touch operation as an operation for a display image in the display area and a touch pad mode for accepting the touch operation as an operation with a touch pad having the display area as an operation area. Is a program for executing a step of switching between and. About another application example, it is as having demonstrated the portable terminal device, The description is abbreviate | omitted.
また、上記プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体としての形態についても容易に理解することができる。このコンピュータとしては、汎用のＰＣに限らず、マイクロコンピュータやプログラム可能な汎用の集積回路／チップセットなど、様々な形態のコンピュータが適用できる。また、このプログラムは、可搬の記録媒体を介して流通させるに限らず、インターネット等のネットワークを介して、また放送波を介して流通させることもできる。ネットワークを介して受信するとは、外部サーバの記憶装置などに記録されたプログラムを受信することを指す。 In addition, it is possible to easily understand the form of a program recording medium in which the program is recorded on a computer-readable recording medium. The computer is not limited to a general-purpose PC, and various types of computers such as a microcomputer and a programmable general-purpose integrated circuit / chip set can be applied. In addition, this program is not limited to be distributed via a portable recording medium, but can also be distributed via a network such as the Internet or via a broadcast wave. Receiving via a network refers to receiving a program recorded in a storage device of an external server.
１，１ａ…携帯端末装置、２，２ａ…表示装置（外部表示装置）、１０…制御部、１１…通信部、１２…タッチセンサ、１３…表示部、１４…操作部。
DESCRIPTION OF
Claims (6)
前記操作入力部は、ユーザによる前記表示部の表示領域上でのタッチ操作を検出するタッチセンサを有し、
前記携帯端末装置は、前記タッチ操作を前記表示領域の表示画像に対する操作として受け付けるタッチパネルモードと、前記タッチ操作を、前記表示領域を操作領域とするタッチパッドによる操作として受け付けるタッチパッドモードとの間で切り替える制御部を備えたことを特徴とする携帯端末装置。 A portable terminal device comprising: a display unit that displays an image; an operation input unit that receives an operation input by a user; and an output unit that outputs the image to an external display device for display.
The operation input unit includes a touch sensor that detects a touch operation on a display area of the display unit by a user,
The mobile terminal device may be configured between a touch panel mode that accepts the touch operation as an operation on a display image in the display area and a touch pad mode that accepts the touch operation as an operation using a touch pad with the display area as an operation area. A portable terminal device comprising a control unit for switching.
前記携帯端末装置の制御部が、前記タッチ操作を前記表示領域の表示画像に対する操作として受け付けるタッチパネルモードと、前記タッチ操作を、前記表示領域を操作領域とするタッチパッドによる操作として受け付けるタッチパッドモードとの間で切り替えるステップを有することを特徴とする操作方法。 A display unit that displays an image; an operation input unit that includes a touch sensor that detects a touch operation on a display area of the display unit by a user; and that receives an operation input by the user; and an external display device for displaying the image And an output method for outputting to the portable terminal device comprising:
A touch panel mode in which the control unit of the mobile terminal device accepts the touch operation as an operation on a display image of the display area; and a touch pad mode in which the touch operation is accepted as an operation by a touch pad having the display area as an operation area; The operation method characterized by having the step switched between.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014159541A JP2016038619A (en) | 2014-08-05 | 2014-08-05 | Mobile terminal device and operation method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014159541A JP2016038619A (en) | 2014-08-05 | 2014-08-05 | Mobile terminal device and operation method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016038619A true JP2016038619A (en) | 2016-03-22 |
Family
ID=55529672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014159541A Pending JP2016038619A (en) | 2014-08-05 | 2014-08-05 | Mobile terminal device and operation method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016038619A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11119601B2 (en) | 2017-03-29 | 2021-09-14 | Samsung Electronics Co., Ltd. | Screen output method using external device and electronic device for supporting the same |
-
2014
- 2014-08-05 JP JP2014159541A patent/JP2016038619A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11119601B2 (en) | 2017-03-29 | 2021-09-14 | Samsung Electronics Co., Ltd. | Screen output method using external device and electronic device for supporting the same |
| US11669190B2 (en) | 2017-03-29 | 2023-06-06 | Samsung Electronics Co., Ltd. | Screen output method using external device and electronic device for supporting the same |
| US11747933B2 (en) | 2017-03-29 | 2023-09-05 | Samsung Electronics Co., Ltd. | Screen output method using external device and electronic device for supporting the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6478181B2 (en) | Method of connecting and operating portable terminal and external display device, and device for supporting the same | |
| US10095386B2 (en) | Mobile device for displaying virtually listed pages and displaying method thereof | |
| JP5259772B2 (en) | Electronic device, operation support method, and program | |
| CN107643912B (en) | Information sharing method and mobile terminal | |
| JP5906984B2 (en) | Display terminal device and program | |
| WO2015139408A1 (en) | Method for managing application program icons, and terminal | |
| TW201421350A (en) | Method for displaying images of touch control device on external display device | |
| CN106354373B (en) | Icon moving method and mobile terminal | |
| US20160139797A1 (en) | Display apparatus and contol method thereof | |
| KR20150134674A (en) | User terminal device, and Method for controlling for User terminal device, and multimedia system thereof | |
| JP2015194795A (en) | Display divice and display method | |
| KR20150031986A (en) | Display apparatus and control method thereof | |
| JP2013109421A (en) | Electronic apparatus, electronic apparatus control method and electronic apparatus control program | |
| US20180039470A1 (en) | Image output control method and display device | |
| JP6540367B2 (en) | Display control apparatus, communication terminal, communication system, display control method, and program | |
| EP2998838A1 (en) | Display apparatus and method for controlling the same | |
| EP2911115A2 (en) | Electronic device and method for color extraction | |
| US20220121355A1 (en) | Terminal, method for controlling same, and recording medium in which program for implementing the method is recorded | |
| JP2013161181A (en) | Display controller and control method of display controller | |
| JP2016038619A (en) | Mobile terminal device and operation method thereof | |
| KR102223554B1 (en) | Terminal, method for contrlling thereof and recording medium on which a program for implemeting the method | |
| JP5801282B2 (en) | Electronic device, operation support method, and program | |
| JP6971573B2 (en) | Electronic devices, their control methods and programs | |
| JP2015102946A (en) | Information processing apparatus, control method of information processing apparatus, and program | |
| JP2015114974A (en) | Electronic device and display control method |