JP2015049836A

JP2015049836A - Portable terminal

Info

Publication number: JP2015049836A
Application number: JP2013183074A
Authority: JP
Inventors: 隆保金川; Takayasu Kanekawa; 学兼平; Manabu Kanehira
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-09-04
Filing date: 2013-09-04
Publication date: 2015-03-16

Abstract

PROBLEM TO BE SOLVED: To provide a portable terminal capable of handling information received from external display equipment so as to improve operability of the external display equipment.SOLUTION: A communication system 100 includes a portable terminal 1 and external display equipment 2. A touch panel 24 of the external display equipment 2 displays an enlarged image of an image displayed on a touch panel 10 of the portable terminal 1. When a predetermined gesture is made on the touch panel 24, the touch panel 24 displays the enlarged image of the image displayed on the touch panel 10 and a reduced image 210 of the image. The portable terminal utilizes operations on the first image and the second image for control over the portable terminal 1 as well as operations performed on the image displayed on the touch panel 10 of the portable terminal 1.

Description

本発明は、映像の表示に関し、より特定的には、映像を表示可能な携帯端末における制御に関する。 The present invention relates to video display, and more particularly to control in a mobile terminal capable of displaying video.

ユーザインターフェイスとしてタッチパネルを有する電子機器が増えており、操作性を向上させるための技術も提案されている。 Electronic devices having a touch panel as a user interface are increasing, and a technique for improving operability has also been proposed.

たとえば、特開２０１２−１６４２７２号公報（特許文献１）は、「タッチパネル機器の操作性を向上させることができる操作情報取得装置」を開示している。当該操作情報取得手段（操作情報取得装置１００）は、「タッチパネルディスプレイ２００の出力信号に基づいて操作情報を取得する装置であって、出力信号に基づいて操作種別を取得する操作種別判定部１２０と、出力信号に基づいてタッチパネルにおけるタッチ面積を取得するタッチ面積算出部１３０と、取得されたタッチ面積に対応する量を、取得された操作種別の操作量として決定する操作量決定部１４０と」を備える（［要約］参照）。 For example, Japanese Patent Laying-Open No. 2012-164272 (Patent Document 1) discloses “an operation information acquisition device capable of improving the operability of a touch panel device”. The operation information acquisition means (operation information acquisition device 100) is “a device that acquires operation information based on an output signal of the touch panel display 200, and an operation type determination unit 120 that acquires an operation type based on the output signal; A touch area calculation unit 130 that acquires the touch area on the touch panel based on the output signal, and an operation amount determination unit 140 that determines the amount corresponding to the acquired touch area as the operation amount of the acquired operation type. Prepare (see [Summary]).

特開２０１２−１６４２７２号公報JP 2012-164272 A

ところで、携帯端末（たとえばスマートフォン、タブレット端末その他の携帯型の情報通信端末）が有する映像コンテンツを外部表示機器（たとえばテレビ）に表示するために携帯端末を外部表示機器に接続して、外部表示機器の画面で当該映像コンテンツを視聴したいという要請がある。そのとき、外部表示機器がタッチパネルを有する場合、外部表示機器に表示されている画像へのタッチ操作に基づいて画面を切り換えようとする操作が想定される。外部表示機器は、通常、携帯端末よりも大きな画面を有する。したがって、外部表示機器において上記操作が行われる場合、携帯端末の画面のサイズと外部表示機器の画面のサイズとが異なることによる、たとえば外部表示機器に表示されたボタンにユーザの手が届かない等の不都合が想定される。このことから、外部表示機器における操作性を向上させるための技術が必要とされている。 By the way, in order to display video content of a mobile terminal (for example, a smartphone, a tablet terminal or other portable information communication terminal) on an external display device (for example, a television), the mobile terminal is connected to the external display device, There is a request to view the video content on the screen. At that time, when the external display device has a touch panel, an operation for switching the screen based on a touch operation on an image displayed on the external display device is assumed. The external display device usually has a larger screen than the mobile terminal. Therefore, when the above operation is performed on the external display device, the size of the screen of the mobile terminal and the size of the screen of the external display device are different, for example, the user cannot reach the button displayed on the external display device, etc. Inconvenience is assumed. For this reason, a technique for improving the operability in the external display device is required.

この開示は、上述のような問題点を解決するためになされたものであって、ある局面における目的は、外部表示機器における操作性が向上するように当該外部表示機器から受信する情報を取り扱うことができる携帯端末を提供することである。 This disclosure has been made to solve the above-described problems, and an object in one aspect is to handle information received from the external display device so that operability in the external display device is improved. It is to provide a portable terminal that can be used.

ある実施の形態に従うと、外部の表示機器に映像を表示するための携帯端末が提供される。携帯端末は、表示機器に映像信号を送信するための送信手段と、画像を表示するための端末表示部と、端末表示部の画像表示領域に対する操作を受け付けるための端末パネル制御部と、携帯端末の動作を制御するための端末制御部とを備える。表示機器は、携帯端末から送信される信号を受信するための受信手段と、画像を表示するための外部表示部と、外部表示部の画像表示領域に対するタッチ操作を受け付けるための外部パネル制御部とを含む。端末制御部は、表示機器から、外部表示部に対するタッチ操作を表す情報を受け付け、端末表示部に表示される第１の画像と、第１の画像を縮小された画像である第２の画像とを表示するための第１の映像信号を生成する。第１の映像信号は、第２の画像が、外部表示部において、外部表示部に対するタッチ操作に基づいて特定される位置に表示されるように生成される。送信手段は、表示機器に、第１の映像信号を送信し、端末制御部は、表示機器から、第２の画像が表示されている領域内のタッチ操作を表す情報を受信した場合には、第２の画像全体に対する当該タッチ操作の位置を、端末表示部全体に対して相対する位置に変換し、端末パネル制御部が当該変換後の位置に対するタッチ操作を受け付けたときの処理を実行するように構成されている。 According to an embodiment, a mobile terminal for displaying video on an external display device is provided. The portable terminal includes a transmission means for transmitting a video signal to a display device, a terminal display unit for displaying an image, a terminal panel control unit for receiving an operation on an image display area of the terminal display unit, and a portable terminal And a terminal control unit for controlling the operation. The display device includes a receiving unit for receiving a signal transmitted from the mobile terminal, an external display unit for displaying an image, and an external panel control unit for receiving a touch operation on the image display area of the external display unit. including. The terminal control unit receives information representing a touch operation on the external display unit from the display device, and a first image displayed on the terminal display unit, a second image that is a reduced image of the first image, and A first video signal for displaying is generated. The first video signal is generated so that the second image is displayed on the external display unit at a position specified based on a touch operation on the external display unit. The transmission unit transmits the first video signal to the display device, and the terminal control unit receives information representing the touch operation in the area where the second image is displayed from the display device. The position of the touch operation with respect to the entire second image is converted into a position facing the entire terminal display unit, and the process when the terminal panel control unit receives the touch operation with respect to the converted position is executed. It is configured.

好ましくは、端末制御部は、第２の画像が表示される大きさが外部表示部に対するタッチ操作の内容に対応するように、第１の映像信号を生成する。 Preferably, the terminal control unit generates the first video signal so that the size at which the second image is displayed corresponds to the content of the touch operation on the external display unit.

好ましくは、端末制御部は、表示機器から、第２の画像が表示されている領域外を含むタッチ操作を表す情報を受信した場合に、外部表示部に対するタッチ操作に基づいて、第１の映像信号が外部表示部における第２の画像の表示位置を変更するように変更された第２の映像信号を生成する。送信手段は、表示機器に、第２の映像信号を送信する。 Preferably, the terminal control unit receives the first video based on the touch operation on the external display unit when receiving information representing a touch operation including the outside of the region where the second image is displayed from the display device. A second video signal that is changed so that the signal changes the display position of the second image on the external display unit is generated. The transmission means transmits the second video signal to the display device.

好ましくは、端末制御部は、端末表示部の画像表示領域に対して特定の操作がなされた場合に、表示機器に、第１の画像を含み第２の画像を含まない表示を行うことを指示する。 Preferably, when a specific operation is performed on the image display area of the terminal display unit, the terminal control unit instructs the display device to perform a display including the first image but not the second image. To do.

好ましくは、端末制御部は、外部表示部の画像表示領域に対して特定のタッチ操作がなされた場合に、表示機器に、第１の画像を含み第２の画像を含まない表示を行うことを指示する。 Preferably, when a specific touch operation is performed on the image display area of the external display unit, the terminal control unit performs a display including the first image and not including the second image on the display device. Instruct.

他の実施の形態に従うと、端末制御部は、外部表示部の画像表示領域に対して特定の時間タッチ操作がなされなかった場合に、第１の画像を含み、第２の画像を含まない、第３の映像信号を生成することがあり得る。送信手段は、表示機器に、当該第３の映像信号を送信する場合があり得る。 According to another embodiment, the terminal control unit includes the first image and does not include the second image when the touch operation is not performed for a specific time on the image display area of the external display unit. A third video signal may be generated. The transmitting unit may transmit the third video signal to the display device.

本開示によれば、外部表示機器における操作性が向上するように当該外部表示機器から受信する情報を取り扱うことができる携帯端末を提供することである。 According to the present disclosure, it is to provide a mobile terminal that can handle information received from an external display device so that operability in the external display device is improved.

通信システムの構成の一例を概略的に示す図である。It is a figure which shows an example of a structure of a communication system schematically. 外部表示機器における予め定められたジェスチャを説明するための図である。It is a figure for demonstrating the predetermined gesture in an external display apparatus. 外部表示機器において縮小版の画像が表示された状態の一例を示す図である。It is a figure which shows an example in the state where the reduced version image was displayed in the external display apparatus. 携帯端末と外部表示機器の構成を概略的に示す図である。It is a figure which shows schematically the structure of a portable terminal and an external display apparatus. 携帯端末において実行される処理のフローチャートである。It is a flowchart of the process performed in a portable terminal. 縮小版の画像の表示位置の変更を説明するための図である。It is a figure for demonstrating the change of the display position of the reduced version image. 縮小版の画像の表示位置の変更を説明するための図である。It is a figure for demonstrating the change of the display position of the reduced version image.

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.

＜通信システムの概略構成＞
以下の説明では、携帯端末の一実施の形態を含む通信システムが示される。図１は、通信システムの構成の一例を概略的に示す図である。図１に示されるように、通信システム１００は、携帯端末１と外部表示機器２とを含む。 <Schematic configuration of communication system>
In the following description, a communication system including an embodiment of a mobile terminal is shown. FIG. 1 is a diagram schematically illustrating an example of a configuration of a communication system. As shown in FIG. 1, the communication system 100 includes a mobile terminal 1 and an external display device 2.

携帯端末１は、タッチパネル１０を備える。タッチパネル１０における表示は、操作の対象となるボタン１１１（図１中の星型のアイコン）を含む。通信システム１００では、携帯端末１は、タッチパネル１０に表示される画像のデータ（第１の映像信号）を外部表示機器２に送信する。第１の映像信号は、携帯端末１から外部表示機器２に直接送信されても良いし、携帯端末１からサーバ等の機器を介して外部表示機器２に送信されても良い。 The mobile terminal 1 includes a touch panel 10. The display on the touch panel 10 includes a button 111 (star icon in FIG. 1) to be operated. In the communication system 100, the mobile terminal 1 transmits image data (first video signal) displayed on the touch panel 10 to the external display device 2. The first video signal may be transmitted directly from the portable terminal 1 to the external display device 2 or may be transmitted from the portable terminal 1 to the external display device 2 via a device such as a server.

外部表示機器２は、タッチパネル２４を備える。そして、外部表示機器２は、上記第１の映像信号を受信すると、タッチパネル２４に当該第１の映像信号の画像を表示する。本実施の形態では、タッチパネル２４の画像表示領域は、タッチパネル１０の画像表示領域よりも大きい。このため、タッチパネル２４に表示された画像は、タッチパネル１０に表示される画像を拡大されたものに相当する。タッチパネル２４に表示された画像におけるボタン２４１は、タッチパネル１０中のボタン１１１に対応する。 The external display device 2 includes a touch panel 24. When the external display device 2 receives the first video signal, the external display device 2 displays an image of the first video signal on the touch panel 24. In the present embodiment, the image display area of touch panel 24 is larger than the image display area of touch panel 10. For this reason, the image displayed on the touch panel 24 corresponds to an enlarged image displayed on the touch panel 10. A button 241 in the image displayed on the touch panel 24 corresponds to the button 111 in the touch panel 10.

携帯端末１は、外部表示機器２においてボタン２４１が操作されると、ボタン１１１が操作されたときの処理を実行する。より具体的には、携帯端末１では、少なくとも第１の映像信号が生成される際に、ボタン２４１は、ボタン１１１に関連付けられる。外部表示機器２は、ボタン２４１を操作されると、携帯端末１に、ボタン２４１が操作されたことを示す情報を送信する。当該情報を受信すると、携帯端末１は、ボタン２４１が関連付けられているボタンとして、ボタン１１１を特定する。そして、携帯端末１は、ボタン１１１が操作されたときの処理を実行する。 When the button 241 is operated on the external display device 2, the portable terminal 1 executes processing when the button 111 is operated. More specifically, in the mobile terminal 1, the button 241 is associated with the button 111 when at least the first video signal is generated. When the button 241 is operated, the external display device 2 transmits information indicating that the button 241 has been operated to the mobile terminal 1. When the information is received, the mobile terminal 1 identifies the button 111 as the button with which the button 241 is associated. And the portable terminal 1 performs the process when the button 111 is operated.

なお、タッチパネル２４の画像表示領域がタッチパネル１０の画像表示領域よりも小さい場合であっても、タッチパネル２４に表示される画像がタッチパネル１０に表示される画像を拡大したものである場合があり得る。 Even when the image display area of the touch panel 24 is smaller than the image display area of the touch panel 10, the image displayed on the touch panel 24 may be an enlarged image displayed on the touch panel 10.

外部表示機器２において、予め定められたジェスチャが行なわれると、タッチパネル２４には、さらに上記画像の縮小版が表示される。図２は、外部表示機器２における予め定められたジェスチャを説明するための図である。 When a predetermined gesture is performed on the external display device 2, a reduced version of the image is further displayed on the touch panel 24. FIG. 2 is a diagram for explaining a predetermined gesture in the external display device 2.

図２では、上記ジェスチャの一例として、タッチパネル２４に対する、破線２Ａで示されるような長方形の軌道に沿ったムーブ操作が示されている。当該ムーブ操作によって、タッチパネル２４に対して、位置とサイズが指定される。位置は、たとえば、タッチパネル２４における上記長方形の左上の座標である。サイズは、たとえば、上記長方形の上下方向の寸法である。外部表示機器２は、携帯端末１に、当該ジェスチャが行なわれたことを示す情報を送信する。なお、ムーブ操作とは、ユーザが、指を、タッチパネルに触れたままの状態で、当該タッチパネル上で動かす操作を意味する。 In FIG. 2, as an example of the gesture, a move operation along a rectangular trajectory as shown by a broken line 2 A on the touch panel 24 is shown. A position and a size are specified for the touch panel 24 by the move operation. The position is, for example, the upper left coordinate of the rectangle on the touch panel 24. The size is, for example, the vertical dimension of the rectangle. The external display device 2 transmits information indicating that the gesture has been performed to the mobile terminal 1. The move operation means an operation in which the user moves his / her finger on the touch panel while touching the touch panel.

上記情報を受信すると、携帯端末１は、外部表示機器２に、新たなデータ（第２の映像信号）を送信する。当該第２の映像信号とは、タッチパネル２４において、上記ムーブ操作によって指定される位置に、当該操作によって指定されるサイズの、図１の画像の縮小版を表示させるためのデータである。 When the information is received, the mobile terminal 1 transmits new data (second video signal) to the external display device 2. The second video signal is data for displaying, on the touch panel 24, a reduced version of the image of FIG. 1 having a size specified by the operation at a position specified by the move operation.

図３は、外部表示機器２において、上記縮小版の画像が表示された状態の一例を示す図である。図３では、タッチパネル２４に表示される画像２１０が、上記縮小版の画像として示されている。図３に示されたタッチパネル２４では、画像２１０は、図１に示された元の画像に重ねられている。画像２１０は、ボタン１１１およびボタン２４１に対応する、ボタン２１１を含む。 FIG. 3 is a diagram illustrating an example of a state in which the reduced image is displayed on the external display device 2. In FIG. 3, the image 210 displayed on the touch panel 24 is shown as the reduced version of the image. In the touch panel 24 shown in FIG. 3, the image 210 is overlaid on the original image shown in FIG. The image 210 includes a button 211 corresponding to the button 111 and the button 241.

携帯端末１は、外部表示機器２においてボタン２１１が操作されると、ボタン１１１が操作されたときの処理を実行する。より具体的には、携帯端末１では、少なくとも第２の映像信号が生成される際に、ボタン２１１は、ボタン１１１に関連付けられる。外部表示機器２は、ボタン２１１を操作されると、携帯端末１に、ボタン２１１が操作されたことを示す情報を送信する。当該情報を受信すると、携帯端末１は、ボタン２１１が関連付けられているボタンとして、ボタン１１１を特定する。そして、携帯端末１は、ボタン１１１が操作されたときの処理を実行する。 When the button 211 is operated on the external display device 2, the portable terminal 1 executes processing when the button 111 is operated. More specifically, in the mobile terminal 1, the button 211 is associated with the button 111 when at least the second video signal is generated. When the button 211 is operated, the external display device 2 transmits information indicating that the button 211 has been operated to the mobile terminal 1. When receiving the information, the mobile terminal 1 identifies the button 111 as a button associated with the button 211. And the portable terminal 1 performs the process when the button 111 is operated.

＜携帯端末１と外部表示機器２の構成＞
図４は、携帯端末１と外部表示機器２の構成を概略的に示す図である。携帯端末１は、たとえば、スマートフォン、タブレット端末その他の通信機能と画像表示機能とを備える携帯型の通信端末として実現される。外部表示機器２は、テレビ、モニタ装置その他の機器であって、上記通信端末との通信機能を有する映像表示装置として実現される。図４を参照して、携帯端末１と外部表示機器２の構成を説明する。 <Configuration of mobile terminal 1 and external display device 2>
FIG. 4 is a diagram schematically showing the configuration of the mobile terminal 1 and the external display device 2. For example, the mobile terminal 1 is realized as a mobile communication terminal including a smartphone, a tablet terminal, and other communication functions and an image display function. The external display device 2 is a television, a monitor device, or other devices, and is realized as a video display device having a communication function with the communication terminal. With reference to FIG. 4, the structure of the portable terminal 1 and the external display apparatus 2 is demonstrated.

（携帯端末１）
図４に示されるように、携帯端末１は、演算部１４と、タッチセンサ１０Ａと、タッチセンサ制御部１１と、表示制御部１２と、表示部１３と、メモリ１５と、外部出力映像管理部１６と、外部インタフェース（Ｉ／Ｆ）１７と、外部出力制御情報通信部１８と、外部タッチイベント制御部１９とを備える。 (Mobile terminal 1)
As illustrated in FIG. 4, the mobile terminal 1 includes a calculation unit 14, a touch sensor 10 A, a touch sensor control unit 11, a display control unit 12, a display unit 13, a memory 15, and an external output video management unit. 16, an external interface (I / F) 17, an external output control information communication unit 18, and an external touch event control unit 19.

演算部１４は、携帯端末１に対して予め規定された処理を実現するための命令を実行する。 The calculation unit 14 executes a command for realizing a predetermined process for the mobile terminal 1.

タッチセンサ１０Ａは、タッチパネル１０に対する操作を検出する。
タッチセンサ制御部１１は、演算部１４によって出力される命令に基づいて、タッチセンサ１０Ａの動作を制御する。当該動作は、たとえば、タッチ操作の検出部のオンやオフ等を含む。 Touch sensor 10 A detects an operation on touch panel 10.
The touch sensor control unit 11 controls the operation of the touch sensor 10 A based on the command output by the calculation unit 14. The operation includes, for example, turning on / off a touch operation detection unit.

表示部１３は、表示制御部１２から出力される信号に基づいて、画像を表示する。表示される画像は、メモリ１５に保存されている動画像、静止画像、写真その他のコンテンツ、携帯端末１の外部から与えられる同様のコンテンツ等を含む。表示部１３は、液晶モニタ、有機ＥＬ（Electro Luminescence）モニタその他の表示装置として実現される。表示制御部１２は、演算部１４から出力される命令に基づいて、表示部１３における画面の表示を制御する。たとえば、携帯端末１と外部表示機器２との通信が確立されている場合において、携帯端末１が外部表示機器２に映像信号を送信しているとき、表示制御部１２は、表示部１３における画像（動画像であっても良いし、静止画像であっても良い）の表示または非表示を切り換える。 The display unit 13 displays an image based on a signal output from the display control unit 12. The displayed image includes moving images, still images, photographs and other contents stored in the memory 15, similar contents given from the outside of the mobile terminal 1, and the like. The display unit 13 is realized as a liquid crystal monitor, an organic EL (Electro Luminescence) monitor, or other display devices. The display control unit 12 controls the display of the screen on the display unit 13 based on the command output from the calculation unit 14. For example, when communication between the mobile terminal 1 and the external display device 2 is established, when the mobile terminal 1 transmits a video signal to the external display device 2, the display control unit 12 displays the image on the display unit 13. Switching between display and non-display (may be a moving image or a still image).

携帯端末１では、タッチセンサ１０Ａと表示部１３とによって、タッチパネル１０が構成される。 In the mobile terminal 1, the touch panel 10 is configured by the touch sensor 10 A and the display unit 13.

メモリ１５は、携帯端末１に対して予め規定された動作を実行させるためのデータおよびプログラムを含むシステム情報、ならびに、前述のコンテンツその他のユーザデータを格納する。メモリ１５は、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）その他の不揮発記憶装置、あるいは、ＲＡＭ（Random Access Memory）その他の揮発記憶装置として実現される。また、メモリ１５は、着脱可能なメモリカードによっても実現され得る。 The memory 15 stores system information including data and a program for causing the portable terminal 1 to execute a predetermined operation, and the above-described content and other user data. The memory 15 is realized as a flash memory, a hard disk, an SSD (Solid State Drive) or other nonvolatile storage device, or a RAM (Random Access Memory) or other volatile storage device. The memory 15 can also be realized by a removable memory card.

外部出力映像管理部１６は、演算部１４の制御に基づいて、携帯端末１の外部に対する映像信号の出力（送信）を制御する。たとえば、外部出力映像管理部１６は、メモリ１５に保存されている映像データをストリーム信号として無線送信する。 The external output video management unit 16 controls the output (transmission) of the video signal to the outside of the mobile terminal 1 based on the control of the calculation unit 14. For example, the external output video management unit 16 wirelessly transmits video data stored in the memory 15 as a stream signal.

外部Ｉ／Ｆ１７は、携帯端末１が他の装置と通信する際のインタフェースである。演算部１４は、外部Ｉ／Ｆ１７を介して、外部表示機器２と通信する。 The external I / F 17 is an interface when the mobile terminal 1 communicates with other devices. The calculation unit 14 communicates with the external display device 2 via the external I / F 17.

外部出力制御情報通信部１８は、外部表示機器２によって送信された信号の入力を受け付ける。当該信号は、外部表示機器２において検出されたタッチパネル２４に対するタッチ操作（タッチイベントともいう。）の種別、当該タッチ操作を特定する座標値情報等を含む。タッチ操作は、たとえば、タッチパネル２４におけるタッチダウン操作、ムーブ操作、タッチアップ操作であるが、これらに限られない。座標値情報は、たとえば、タッチダウン操作またはタッチアップ操作が検出された点または領域を表す座標値、または、ムーブ操作が行われた移動量を表す座標値を含む。 The external output control information communication unit 18 receives an input of a signal transmitted by the external display device 2. The signal includes a type of touch operation (also referred to as a touch event) to the touch panel 24 detected in the external display device 2, coordinate value information for specifying the touch operation, and the like. The touch operation is, for example, a touch-down operation, a move operation, or a touch-up operation on the touch panel 24, but is not limited thereto. The coordinate value information includes, for example, a coordinate value that represents a point or a region where a touch-down operation or a touch-up operation is detected, or a coordinate value that represents a movement amount for which a move operation has been performed.

外部タッチイベント制御部１９は、外部出力制御情報通信部１８からの出力を受け、外部表示機器２において検出されたタッチイベントに基づいて表示部１３における画像の表示を制御する。たとえば、携帯端末１が、表示部２７におけるタッチダウン操作が行なわれた旨および当該タッチダウン操作を表す情報（タッチダウンされた点の座標値）を外部表示機器２から受信すると、外部タッチイベント制御部１９は、当該情報に基づいて、当該タッチダウン操作が行なわれた点に相当する点の座標値を、表示部１３に表示されている画像の中で特定する。その後の処理は、この点の座標値が起点となる。 The external touch event control unit 19 receives an output from the external output control information communication unit 18 and controls display of an image on the display unit 13 based on a touch event detected in the external display device 2. For example, when the mobile terminal 1 receives from the external display device 2 that the touch-down operation on the display unit 27 has been performed and information indicating the touch-down operation (the coordinate value of the touch-down point), the external touch event control Based on the information, the unit 19 specifies a coordinate value of a point corresponding to the point where the touch-down operation is performed in the image displayed on the display unit 13. In the subsequent processing, the coordinate value of this point is the starting point.

別の局面において、携帯端末１が、表示部２７におけるムーブ操作が行なわれた旨および当該ムーブ操作を表す情報（たとえば、画面上の軌跡を表す座標値）を外部表示機器２から受信すると、外部タッチイベント制御部１９は、当該情報に基づいて、当該ムーブ操作が行なわれた軌跡に相当する各点の座標値を、表示部１３に表示されている画像の中で特定する。 In another aspect, when the mobile terminal 1 receives from the external display device 2 information indicating that the move operation has been performed on the display unit 27 and information representing the move operation (for example, coordinate values representing a trajectory on the screen), Based on the information, the touch event control unit 19 identifies the coordinate value of each point corresponding to the locus on which the move operation is performed in the image displayed on the display unit 13.

さらに別の局面において、携帯端末１が、表示部２７におけるタッチアップ操作が行なわれた旨および当該タッチアップ操作を表す情報（タッチアップされた点の座標値）を外部表示機器２から受信すると、外部タッチイベント制御部１９は、当該情報に基づいて、当該タッチアップ操作が行なわれた点に相当する点の座標値を、表示部１３に表示されている画像の中で特定する。 In yet another aspect, when the mobile terminal 1 receives from the external display device 2 information indicating that a touch-up operation has been performed on the display unit 27 and information indicating the touch-up operation (coordinate values of the touch-up point). Based on the information, the external touch event control unit 19 specifies a coordinate value of a point corresponding to the point where the touch-up operation has been performed in the image displayed on the display unit 13.

演算部１４とタッチセンサ制御部１１と表示制御部１２と外部タッチイベント制御部１９とは、たとえば、ＣＰＵ（Central Processing Unit）その他のプロセッサとして実現される。 The calculation unit 14, the touch sensor control unit 11, the display control unit 12, and the external touch event control unit 19 are realized as, for example, a CPU (Central Processing Unit) or other processors.

（外部表示機器２）
図４に示されるように、外部表示機器２は、入力映像管理部２１と、外部入力制御情報通信部２２と、演算部２３と、タッチセンサ２４Ａと、タッチセンサ制御部２５と、表示制御部２６と、表示部２７と、外部Ｉ／Ｆ２８とを備える。 (External display device 2)
As shown in FIG. 4, the external display device 2 includes an input video management unit 21, an external input control information communication unit 22, a calculation unit 23, a touch sensor 24A, a touch sensor control unit 25, and a display control unit. 26, a display unit 27, and an external I / F 28.

演算部２３は、外部表示機器２に対して予め規定された処理を実現するための命令を実行する。 The calculation unit 23 executes a command for realizing a predetermined process for the external display device 2.

外部表示機器２では、タッチセンサ２４Ａと表示部２７によって、タッチパネル２４が構成される。タッチセンサ２４Ａは、タッチパネル２４の表示部２７における画像表示領域に対するタッチ操作を受け付ける。 In the external display device 2, the touch panel 24 is configured by the touch sensor 24 A and the display unit 27. The touch sensor 24 A receives a touch operation on the image display area on the display unit 27 of the touch panel 24.

タッチセンサ制御部２５は、演算部２３によって出力される命令に基づいて、タッチセンサ２４Ａの動作を制御する。当該動作は、たとえば、タッチ操作の検出部のオンやオフ等を含む。 The touch sensor control unit 25 controls the operation of the touch sensor 24A based on the command output by the calculation unit 23. The operation includes, for example, turning on / off a touch operation detection unit.

表示制御部２６は、演算部２３から出力される命令に基づいて、表示部２７における画面の表示を制御する。たとえば、携帯端末１と外部表示機器２との通信が確立されている場合において、外部表示機器２が、携帯端末１から映像信号を受信すると、表示制御部２６は、その映像信号に基づく映像を表示部２７に表示する。外部表示機器２がテレビである場合には、表示制御部２６は、チューナによる選局結果に応じてテレビ放送番組を表示部２７に表示する。 The display control unit 26 controls screen display on the display unit 27 based on the command output from the calculation unit 23. For example, when communication between the mobile terminal 1 and the external display device 2 is established, when the external display device 2 receives a video signal from the mobile terminal 1, the display control unit 26 displays a video based on the video signal. It is displayed on the display unit 27. When the external display device 2 is a television, the display control unit 26 displays a television broadcast program on the display unit 27 according to the channel selection result by the tuner.

表示部２７は、表示制御部２６から出力される信号に基づいて、画像を表示する。表示される画像は、携帯端末１から送信された映像信号に基づく動画像、静止画像、写真その他のコンテンツ、テレビ放送信号に基づく番組等である。表示部２７は、液晶モニタ、有機ＥＬモニタその他の表示装置として実現される。 The display unit 27 displays an image based on the signal output from the display control unit 26. The displayed image is a moving image based on a video signal transmitted from the mobile terminal 1, a still image, a photograph or other content, a program based on a television broadcast signal, or the like. The display unit 27 is realized as a liquid crystal monitor, an organic EL monitor, or other display devices.

入力映像管理部２１は、演算部２３の制御に基づいて、外部表示機器２の外部に対する映像信号の受信を制御する。たとえば、入力映像管理部２１は、携帯端末１との通信を確立し、携帯端末１から送信される映像信号の受信を受け付ける。 The input video management unit 21 controls reception of video signals to the outside of the external display device 2 based on the control of the calculation unit 23. For example, the input video management unit 21 establishes communication with the mobile terminal 1 and accepts reception of a video signal transmitted from the mobile terminal 1.

外部入力制御情報通信部２２は、外部表示機器２において検出されたタッチ操作に応じた信号を携帯端末１に送信する。当該信号は、検出されたタッチパネル２４に対するタッチ操作（タッチイベントともいう。）の種別、当該タッチ操作を特定する座標値情報等を含む。 The external input control information communication unit 22 transmits a signal corresponding to the touch operation detected in the external display device 2 to the mobile terminal 1. The signal includes the detected type of touch operation (also referred to as a touch event) on the touch panel 24, coordinate value information specifying the touch operation, and the like.

タッチ操作は、たとえば、表示部２７におけるタッチダウン操作、ムーブ操作、タッチアップ操作であるが、これらに限られない。座標値情報は、たとえば、タッチダウン操作またはタッチアップ操作が検出された点または領域を表す座標値、または、ムーブ操作が行われた移動量を表す座標値を含む。 The touch operation is, for example, a touch-down operation, a move operation, or a touch-up operation on the display unit 27, but is not limited thereto. The coordinate value information includes, for example, a coordinate value that represents a point or a region where a touch-down operation or a touch-up operation is detected, or a coordinate value that represents a movement amount for which a move operation has been performed.

なお、演算部２３とタッチセンサ制御部２５と表示制御部２６は、たとえば、ＣＰＵその他のプロセッサとして実現される。 In addition, the calculating part 23, the touch sensor control part 25, and the display control part 26 are implement | achieved as CPU and other processors, for example.

外部Ｉ／Ｆ２８は、外部表示機器２が他の装置と通信する際のインタフェースである。演算部２３は、外部Ｉ／Ｆ２８を介して、携帯端末１と通信する。 The external I / F 28 is an interface when the external display device 2 communicates with other devices. The calculation unit 23 communicates with the mobile terminal 1 via the external I / F 28.

＜処理の流れ＞
通信システム１００では、外部表示機器２において、携帯端末１において表示される画像が表示され、さらに、当該画像の縮小版が表示される。外部表示機器２におけるこのような表示を実現するために携帯端末１において実行される処理の内容を、図５を参照して説明する。図５は、携帯端末１において実行される処理のフローチャートである。 <Process flow>
In the communication system 100, an image displayed on the mobile terminal 1 is displayed on the external display device 2, and a reduced version of the image is further displayed. The contents of processing executed in the portable terminal 1 to realize such display on the external display device 2 will be described with reference to FIG. FIG. 5 is a flowchart of processing executed in the mobile terminal 1.

ステップＳ１０では、演算部１４は、外部表示機器２に、図１においてタッチパネル１０に表示されている画像の映像信号（第１の映像信号）を出力する。これにより、外部表示機器２のタッチパネル２４では、図４に示されたように上記画像の拡大されたものが表示される。そして、制御は、ステップＳ２０へ進められる。 In step S 10, the calculation unit 14 outputs the video signal (first video signal) of the image displayed on the touch panel 10 in FIG. 1 to the external display device 2. Thereby, on the touch panel 24 of the external display device 2, the enlarged image is displayed as shown in FIG. And control is advanced to step S20.

ステップＳ２０では、演算部１４は、外部表示機器２から、タッチパネル２４におけるタッチイベントを取得する。そして、制御は、ステップＳ３０へ進められる。 In step S 20, the calculation unit 14 acquires a touch event on the touch panel 24 from the external display device 2. And control is advanced to step S30.

ステップＳ３０では、演算部１４は、ステップＳ２０で取得したタッチイベントによって特定される操作が、上記した「予め定められたジェスチャ」の操作であるか否かを判定する。そして、演算部１４が、上記タッチイベントによって特定される操作を上記したジェスチャの操作であると判定すると（ステップＳ３０における「ジェスチャ」）、制御は、ステップＳ４０へ進められる。また、演算部１４が、上記タッチイベントによって特定される操作を上記したジェスチャの操作ではないと判定すると（ステップＳ３０における「通常タッチ」）、制御は、ステップＳ７０へ進められる。 In step S 30, the calculation unit 14 determines whether the operation specified by the touch event acquired in step S 20 is the above-described “predetermined gesture” operation. If the calculation unit 14 determines that the operation specified by the touch event is the gesture operation described above (“gesture” in step S30), the control proceeds to step S40. If the calculation unit 14 determines that the operation specified by the touch event is not the gesture operation described above (“normal touch” in step S30), the control proceeds to step S70.

ステップＳ７０では、演算部１４は、ステップＳ２０で取得したタッチイベントに従った制御を実行する。そして、制御は、ステップＳ１００へ進められる。 In step S70, the computing unit 14 executes control according to the touch event acquired in step S20. Then, control proceeds to step S100.

ステップＳ４０では、演算部１４は、ジェスチャによって指定されるサイズを特定する。そして、制御は、ステップＳ５０へ進められる。 In step S40, the calculation unit 14 specifies a size specified by the gesture. And control is advanced to step S50.

ステップＳ５０では、演算部１４は、元の画像（第１の映像信号の画像）に、当該元の画像の小型操作画面（第１の映像信号の画像の縮小版）を表示するための画像を合成することにより、第２の映像信号を生成する。これにより、外部表示機器２のタッチパネル２４では、図５に示されたように、元の画像とその縮小版とが表示される。携帯端末１が外部表示機器２から新たなタッチイベントを受信すると、演算部１４は、外部表示機器２に、第２の映像信号を送信する。そして、制御は、ステップＳ６０へ進められる。 In step S50, the calculation unit 14 displays an image for displaying a small operation screen of the original image (a reduced version of the image of the first video signal) on the original image (image of the first video signal). A second video signal is generated by synthesizing. Thereby, on the touch panel 24 of the external display device 2, the original image and its reduced version are displayed as shown in FIG. When the mobile terminal 1 receives a new touch event from the external display device 2, the calculation unit 14 transmits a second video signal to the external display device 2. And control is advanced to step S60.

ステップＳ６０では、演算部１４は、上記新たなタッチイベントの座標が、第２の映像信号によって表示される縮小版が表示されている領域の範囲内であるか否かを判断する。演算部１４が、上記座標が上記範囲内であると判断すると（ステップＳ６０における「範囲内」）、制御は、ステップＳ８０へ進められる。演算部１４が、上記座標が上記範囲内ではないと判断すると（ステップＳ６０における「範囲外」）、制御は、ステップＳ７０へ進められる。 In step S60, the calculation unit 14 determines whether or not the coordinates of the new touch event are within the range of the area where the reduced version displayed by the second video signal is displayed. When the calculation unit 14 determines that the coordinates are within the range (“within range” in step S60), the control proceeds to step S80. When the calculation unit 14 determines that the coordinates are not within the range (“out of range” in step S60), the control proceeds to step S70.

ステップＳ８０では、演算部１４は、ステップＳ６０で取得したタッチイベントに基づいてタッチパネル２４（タッチセンサ２４Ａ）における操作位置を特定し、そして、当該操作位置に対応するタッチパネル１０（タッチセンサ１０Ａ）の中の位置を特定する。そして、制御は、ステップＳ９０へ進められる。 In step S80, the computing unit 14 specifies an operation position on the touch panel 24 (touch sensor 24A) based on the touch event acquired in step S60, and the inside of the touch panel 10 (touch sensor 10A) corresponding to the operation position. Specify the position of. Then, control proceeds to step S90.

ステップＳ９０では、演算部１４は、タッチセンサ制御部１１の、ステップＳ８０で特定した操作位置に、外部表示機器２から受信したイベントを送出する。そして、制御は、ステップＳ１００へ進められる。 In step S90, the calculation unit 14 sends the event received from the external display device 2 to the operation position specified in step S80 of the touch sensor control unit 11. Then, control proceeds to step S100.

ステップＳ１００では、演算部１４は、外部表示機器２から受信したイベントに従った動作（処理）を実行する。そして、制御は、ステップＳ１１０へ進められる。 In step S 100, the calculation unit 14 performs an operation (process) according to the event received from the external display device 2. And control is advanced to step S110.

ステップＳ１１０では、演算部１４は、外部表示機器２から受信したイベントが、小型操作画面を非表示とするものであるか否かを判断する。タッチパネル２４に対して、特定の操作（たとえば、タッチパネル２４に対するダブルタップ）がなされると、外部表示機器２は、携帯端末１に、小型操作画面を非表示にするためのイベントを送信する。演算部１４が、上記イベントが小型操作画面を非表示とするものであると判断すると（ステップＳ１１０の「終了」）、制御は、ステップＳ１２０へ進められる。演算部１４が、上記イベントが小型操作画面を非表示とするものであると判断すると（ステップＳ１１０の「継続」）、制御は、ステップＳ６０へ戻される。 In step S110, the calculation unit 14 determines whether or not the event received from the external display device 2 is to hide the small operation screen. When a specific operation (for example, a double tap on the touch panel 24) is performed on the touch panel 24, the external display device 2 transmits an event for hiding the small operation screen to the mobile terminal 1. When the calculation unit 14 determines that the event is to hide the small operation screen (“end” in step S110), the control proceeds to step S120. When the calculation unit 14 determines that the event is to hide the small operation screen (“continuation” in step S110), the control is returned to step S60.

ステップＳ１２０では、演算部１４は、外部表示機器２に対して、上記した縮小版の表示を終了する指示を送信して、制御を終了させる。これに応じて、外部表示機器２の演算部２３は、タッチパネル２４における小型操作画面の表示を終了する。これにより、タッチパネル２４における表示は、図３に示されたものから、図１に示されたものへと変更される。 In step S120, the calculation unit 14 transmits an instruction to end the display of the reduced version to the external display device 2, and ends the control. In response to this, the calculation unit 23 of the external display device 2 ends the display of the small operation screen on the touch panel 24. As a result, the display on the touch panel 24 is changed from that shown in FIG. 3 to that shown in FIG.

＜実施の形態のまとめ＞
以上説明された実施の形態では、外部表示機器２のタッチパネル２４には、携帯端末１のタッチパネル１０に表示される画像を拡大された画像（第１の画像）が表示される。さらに、タッチパネル２４において予め定められたジェスチャが行なわれると、タッチパネル２４には、図３に示されるように、タッチパネル１０に表示される画像を拡大された画像（第１の画像）と、当該第１の画像の縮小版の画像２１０（第２の画像）が表示される。携帯端末１は、第１の画像と第２の画像のいずれに対する操作も、携帯端末１に対してなされた操作と同様に扱う。つまり、通信システム１００では、ユーザは、携帯端末１のタッチパネル１０に表示された画像、外部表示機器２のタッチパネル２４に表示された画像、および、外部表示機器２のタッチパネル２４内の画像２１０のいずれに対して操作を行っても、携帯端末１の動作を制御できる。 <Summary of Embodiment>
In the embodiment described above, the image (first image) obtained by enlarging the image displayed on the touch panel 10 of the mobile terminal 1 is displayed on the touch panel 24 of the external display device 2. Further, when a predetermined gesture is performed on the touch panel 24, the touch panel 24 displays an enlarged image (first image) displayed on the touch panel 10 as shown in FIG. A reduced version image 210 (second image) of one image is displayed. The portable terminal 1 handles the operation for both the first image and the second image in the same manner as the operation performed on the portable terminal 1. That is, in the communication system 100, the user can select any of an image displayed on the touch panel 10 of the mobile terminal 1, an image displayed on the touch panel 24 of the external display device 2, and an image 210 in the touch panel 24 of the external display device 2. Even if an operation is performed on the mobile phone 1, the operation of the mobile terminal 1 can be controlled.

なお、タッチパネル２４では、画像２１０が操作されている場合には、タッチパネル２４の画像２１０の表示領域以外の領域に対するタッチ操作が無効にされても良い。 In the touch panel 24, when the image 210 is operated, a touch operation on an area other than the display area of the image 210 on the touch panel 24 may be invalidated.

図５のステップＳ７０は、タッチパネル２４（タッチセンサ２４Ａ）において検出されたタッチイベントの座標が縮小版の画像（図３の画像２１０）の領域外の座標を含む場合の制御を示す。このような制御は、たとえば、上記縮小版の画像のタッチパネル２４における表示位置を変更する操作である。図６および図７は、縮小版の画像の表示位置の変更を説明するための図である。 Step S70 in FIG. 5 shows control when the coordinates of the touch event detected on the touch panel 24 (touch sensor 24A) include coordinates outside the area of the reduced version image (image 210 in FIG. 3). Such control is, for example, an operation of changing the display position of the reduced image on the touch panel 24. 6 and 7 are diagrams for explaining the change in the display position of the reduced-size image.

図６には、タッチパネル２４において実行された、あるムーブ操作の軌跡が、矢印Ａ１で示されている。当該軌跡は、画像２１０の内部から外部に延びている。 In FIG. 6, the locus of a certain move operation executed on the touch panel 24 is indicated by an arrow A1. The trajectory extends from the inside of the image 210 to the outside.

矢印Ａ１のムーブ操作が行なわれると、演算部１４は、ステップＳ７０およびステップＳ１００において、当該ムーブ操作に従った制御を実行する。より具体的には、矢印Ａ１の始点は、画像２１０内にある。よって、演算部１４は、当該画像２１０の表示位置を、矢印Ａ１の終点によって指定される位置まで移動させる。これにより、画像２１０の表示は、図７において示される位置まで移動する。 When the move operation indicated by the arrow A1 is performed, the calculation unit 14 executes control according to the move operation in Step S70 and Step S100. More specifically, the starting point of the arrow A1 is in the image 210. Accordingly, the calculation unit 14 moves the display position of the image 210 to a position specified by the end point of the arrow A1. Thereby, the display of the image 210 moves to the position shown in FIG.

図３等において画像２１０で示された画像の縮小版の表示は、ステップＳ１２０（図５参照）の制御によって終了する。図５を参照して説明された処理では、縮小版の表示は、タッチパネル２４に対する操作が特定の操作であったことを条件として、終了した。なお、縮小版の表示を終了させるための条件は、これに限定されない。縮小版の表示は、たとえば、携帯端末１のタッチパネル１０において表示されている画像に対して特定の操作（タッチパネル１０に対する特定のジェスチャ、または、特定のボタンに対する操作）がなされたこと、または、タッチパネル２４に対して一定の時間操作がなされなかった状態が継続したことによって、終了されても良い。 The display of the reduced version of the image indicated by the image 210 in FIG. In the process described with reference to FIG. 5, the display of the reduced version is terminated on the condition that the operation on the touch panel 24 is a specific operation. Note that the condition for terminating the display of the reduced version is not limited to this. The reduced version is displayed, for example, when a specific operation (a specific gesture on the touch panel 10 or an operation on a specific button) is performed on an image displayed on the touch panel 10 of the mobile terminal 1, or the touch panel 24 may be terminated when the state in which no operation is performed for a certain period of time has continued.

以上説明された実施の形態では、ジェスチャの一例として、図２において、破線２Ａで示されるような長方形の軌道に沿ったムーブ操作が示された。なお、ジェスチャでは、必ずしも位置とサイズが指定される必要は無い。したがって、ジェスチャは、タッチパネル２４に対する操作に限られず、たとえば、外部表示機器２に設けられた特定のボタンに対する操作であっても良い。当該特定のボタンは、タッチパネル２４上に表示されたボタンであっても良いし、外部表示機器２上に設けられたハードウェアボタンであっても良い。 In the embodiment described above, as an example of the gesture, the move operation along the rectangular trajectory as shown by the broken line 2A in FIG. 2 is shown. It is not always necessary to specify the position and size in the gesture. Therefore, the gesture is not limited to the operation on the touch panel 24, and may be an operation on a specific button provided on the external display device 2, for example. The specific button may be a button displayed on the touch panel 24 or a hardware button provided on the external display device 2.

ジェスチャによって位置とサイズが指定されなかった場合、画像の縮小版は、以下のように表示される。外部表示機器２において当該ジェスチャが実行されると、そのことを示す信号が外部表示機器２から携帯端末１に送信される。当該信号を受信すると、携帯端末１は、外部表示機器２に、タッチパネル２４の予め定められた位置に、予め定められたサイズの縮小版を表示されるための第２の映像信号を送信する。これに応じて、外部表示機器２では、携帯端末１のタッチパネル１０に表示される画像の縮小版であって、予め定められたサイズの画像が、タッチパネル２４の予め定められた位置に表示される。 If the position and size are not specified by the gesture, a reduced version of the image is displayed as follows. When the gesture is executed in the external display device 2, a signal indicating that is transmitted from the external display device 2 to the mobile terminal 1. When the signal is received, the mobile terminal 1 transmits a second video signal for displaying a reduced size of a predetermined size at a predetermined position of the touch panel 24 to the external display device 2. In response to this, the external display device 2 is a reduced version of the image displayed on the touch panel 10 of the portable terminal 1, and an image having a predetermined size is displayed at a predetermined position on the touch panel 24. .

以上説明された本実施の形態の通信システムでは、携帯端末は、表示機器に第１の画像を表示させながら、表示機器における当該第１の画像の縮小版である第２の画像の表示領域内のタッチ操作を受け付ける。これにより、外部表示機器に表示された第１の画面中のボタンにユーザの手が届かない等の、携帯端末の画面のサイズと外部表示機器の画面のサイズとが異なることによる不都合を回避できる。 In the communication system according to the present embodiment described above, the mobile terminal displays the first image on the display device while the second image is in the display area of the second image that is a reduced version of the first image on the display device. The touch operation is accepted. Thereby, it is possible to avoid inconvenience due to the difference between the screen size of the mobile terminal and the screen size of the external display device, such as the user's hand not reaching the button in the first screen displayed on the external display device. .

今回開示された実施の形態およびその変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be thought that embodiment disclosed this time and its modification are illustrations in all the points, and are not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

１携帯端末、２外部表示機器、１０，２４タッチパネル、１０Ａ，２４Ａタッチセンサ、１１，２５タッチセンサ制御部、１３，２７表示部、１００通信システム。 DESCRIPTION OF SYMBOLS 1 Portable terminal, 2 External display apparatus, 10, 24 Touch panel, 10A, 24A Touch sensor, 11, 25 Touch sensor control part, 13, 27 Display part, 100 Communication system.

Claims

A portable terminal for displaying video on an external display device,
Transmitting means for transmitting a video signal to the display device;
A terminal display for displaying images;
A terminal panel control unit for accepting an operation on the image display area of the terminal display unit;
A terminal control unit for controlling the operation of the mobile terminal,
The display device
Receiving means for receiving a signal transmitted from the portable terminal;
An external display for displaying images;
An external panel control unit for receiving a touch operation on the image display area of the external display unit,
The terminal control unit
Receiving information representing a touch operation on the external display unit from the display device;
Generating a first video signal for displaying a first image displayed on the terminal display unit and a second image that is a reduced image of the first image;
The first video signal is generated so that the second image is displayed at a position specified on the external display unit based on a touch operation on the external display unit,
The transmission means includes
Transmitting the first video signal to the display device;
When the terminal control unit receives information representing a touch operation in a region where the second image is displayed from the display device, the terminal control unit determines the position of the touch operation with respect to the entire second image, A mobile terminal configured to convert to a position facing the entire terminal display unit, and to execute processing when the terminal panel control unit receives a touch operation on the converted position.

The mobile terminal according to claim 1, wherein the terminal control unit generates the first video signal so that a size at which the second image is displayed corresponds to a content of a touch operation on the external display unit. Terminal.

When the terminal control unit receives information representing a touch operation including an area outside the area where the second image is displayed from the display device, the terminal control unit performs the first control based on the touch operation on the external display unit. Generating a second video signal that is changed so that the display position of the second image on the external display unit is changed,
The portable terminal according to claim 1, wherein the transmission unit transmits the second video signal to the display device.

The terminal control unit performs a display including the first image and not the second image on the display device when a specific operation is performed on the image display area of the terminal display unit. The mobile terminal according to claim 1, wherein the mobile terminal is instructed.

The terminal control unit performs a display that includes the first image and does not include the second image when a specific touch operation is performed on the image display region of the external display unit. The portable terminal of any one of Claims 1-3 which instruct | indicates.