JP2013143775A - Display apparatus, input apparatus, and method for controlling the same - Google Patents

Display apparatus, input apparatus, and method for controlling the same Download PDF

Info

Publication number
JP2013143775A
JP2013143775A JP2013000263A JP2013000263A JP2013143775A JP 2013143775 A JP2013143775 A JP 2013143775A JP 2013000263 A JP2013000263 A JP 2013000263A JP 2013000263 A JP2013000263 A JP 2013000263A JP 2013143775 A JP2013143775 A JP 2013143775A
Authority
JP
Japan
Prior art keywords
input device
touch
video
display
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013000263A
Other languages
Japanese (ja)
Inventor
Token Ri
東 憲 李
Yokan Ken
容 煥 權
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013143775A publication Critical patent/JP2013143775A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a display apparatus provided so as to allow a user to easily operate an input apparatus to control the operation of the display apparatus.SOLUTION: An input apparatus of the display apparatus comprises: a touch sensor which senses a touch; a motion sensor which senses a motion of the input apparatus; a communication unit which communicates with the display apparatus; and a controller which transmits a first control signal corresponding to a motion sensed by the motion sensor, through the communication unit, to scroll an image displayed on the display apparatus if the motion sensor senses the motion, and transmits a second control signal corresponding to a touch sensed by the touch sensor, through the communication unit, to move an object within the scrolled image if the touch sensor senses the touch.

Description

本発明は、映像信号を処理して映像を表示するディスプレイ装置、入力装置及びこの制御方法に係り、さらに詳しくは、ユーザが入力装置による操作に従ってディスプレイ装置で映像の表示形態を制御する構造のディスプレイ装置、入力装置及びこの制御方法に関する。   The present invention relates to a display device, an input device, and a control method for displaying a video by processing a video signal, and more particularly, a display having a structure in which a user controls a video display form on the display device according to an operation by the input device. The present invention relates to a device, an input device, and a control method thereof.

一般的に、ディスプレイ装置は、外部の映像供給源から入力されたり、又は自体的に保存されている映像信号/映像データを処理して、ディスプレイ部上に映像で表示する装置である。一般のユーザに提供されるディスプレイ装置は、TV又はモニター等で具現され、例えば、TVで具現されたディスプレイ装置は、外部から受信される放送信号をチューニング、デコーディング等のような多様なプロセスによってユーザーの望む放送チャンネルの映像を提供する。   In general, the display device is a device that processes video signals / video data input from an external video source or stored on its own, and displays the video signals on the display unit. A display device provided to a general user is implemented by a TV or a monitor. For example, a display device implemented by a TV may perform broadcast signals received from outside through various processes such as tuning and decoding. Provide video of the broadcast channel desired by the user.

ディスプレイ装置は、提供する映像に対する処理方法を含む多様な機能に対して該当機能をユーザが任意で設定することができるようにする入力装置を備える。このような入力装置は、ディスプレイ装置の外側に設けられたり、又はディスプレイ装置と分離された別途の装置で具現されることができるところ、後ではリモート
コントローラー(remote controller)を例えて説明する。
ここで、入力装置のユーザの操作性を考慮して多様な形態の入力部を有することができるところ、例えば、入力部は、ユーザによって加圧又はトグル(toggle)される複数のキー(key)/ボタン(button)を含む。ユーザがこのようなボタンを操作すれば、入力装置は該当ボタンに対応する制御信号を生成してディスプレイ装置に送信する。これによって、ディスプレイ装置は、入力装置から受信される制御信号に対応するように既設定された制御動作を行う。
The display device includes an input device that allows a user to arbitrarily set a corresponding function for various functions including a processing method for a provided video. Such an input device may be provided outside the display device or may be implemented as a separate device separated from the display device. Hereinafter, a remote controller will be described as an example.
Here, in consideration of the operability of the user of the input device, the input unit can have various types of input units. For example, the input unit includes a plurality of keys that are pressed or toggled by the user. / Button. When the user operates such a button, the input device generates a control signal corresponding to the button and transmits it to the display device. Accordingly, the display device performs a control operation that has been set so as to correspond to the control signal received from the input device.

従って、本発明の目的は、ユーザが入力装置を容易に操作することによってディスプレイ装置の動作を制御するように設けられたディスプレイ装置を提供することを目的とする。   Therefore, an object of the present invention is to provide a display device provided to control the operation of the display device by a user easily operating an input device.

本発明の実施形態によるディスプレイ装置の入力装置は、タッチを感知するタッチセンサーと;前記入力装置の動きを感知するモーションセンサーと;前記ディスプレイ装置と通信する通信部と;前記モーションセンサーによって前記動きが感知されれば前記ディスプレイ装置に表示されている映像がスクロールされるように前記通信部を通じて前記動きに対応する第1制御信号を送信し、前記タッチセンサーを通じて前記タッチが感知されれば前記スクロールされた映像内でオブジェクトが移動するように前記通信部を通じて前記タッチセンサーを通じる前記タッチに対応する第2制御信号を送信する制御部と;を含むことを特徴とする。   An input device of a display device according to an embodiment of the present invention includes: a touch sensor that detects a touch; a motion sensor that detects a movement of the input device; a communication unit that communicates with the display device; If detected, a first control signal corresponding to the movement is transmitted through the communication unit so that an image displayed on the display device is scrolled. If the touch is detected through the touch sensor, the first control signal is scrolled. And a control unit that transmits a second control signal corresponding to the touch through the touch sensor through the communication unit so that the object moves in the video.

ここで、前記映像は選択可能な複数のアイテムを含み、前記オブジェクトは前記複数のアイテムの中で何れか一つのアイテムに対するハイライトインジケーター及び前記何れか一つのアイテムを指示するカーソルの中で何れか一つを含むことができる。   Here, the image includes a plurality of selectable items, and the object is one of a highlight indicator for any one item among the plurality of items and a cursor indicating the one item. One can be included.

また、前記モーションセンサーは、既設定された3軸座標系上の前記入力装置の動きを感知することができる。   Further, the motion sensor can sense the movement of the input device on a preset three-axis coordinate system.

また、前記制御部は、前記タッチセンサーがタッチされた状態で前記第1制御信号を生成することができる。また、前記制御部は、前記タッチセンサー上でのドラッグ動作に対応して前記第2制御信号を生成することができる。   The controller may generate the first control signal while the touch sensor is touched. The controller may generate the second control signal in response to a drag operation on the touch sensor.

また、前記制御部は、チャンネル選局のためのチャンネル番号目録の映像が前記ディスプレイ装置に円形で表示されている場合に、前記タッチセンサーによる前記タッチの感知及び前記モーションセンサーによる前記動きの感知の中で少なくとも一つが発生すれば、前記チャンネル番号目録が回転するように前記通信部を通じて前記感知された情報を前記ディスプレイ装置に送信し、前記感知された動き情報による回転は、前記感知されたタッチ情報による回転より大きい単位で前記チャンネル番号目録を回転させることができる。   The controller may detect the touch by the touch sensor and the motion by the motion sensor when a channel number list image for channel selection is displayed in a circle on the display device. If at least one of them occurs, the sensed information is transmitted to the display device through the communication unit so that the channel number list is rotated, and the sensed motion information is rotated by the sensed touch. The channel number list can be rotated by a unit larger than the rotation by information.

ここで、前記感知された情報は、前記入力装置の回転角度を含むことができる。ここで、前記感知された情報は、前記入力装置の回転方向又は前記タッチによるドラッグ方向をさらに含むことができる。   Here, the sensed information may include a rotation angle of the input device. Here, the sensed information may further include a rotation direction of the input device or a drag direction by the touch.

また、前記制御部は、前記モーションセンサーによって前記入力装置の回転角度が初期値に復帰したと感知されれば、前記チャンネル番号目録の回転を中止させるコマンドを生成して前記通信部を通じて送信することができる。   The controller generates a command for stopping the rotation of the channel number list when the motion sensor detects that the rotation angle of the input device has returned to the initial value, and transmits the command through the communication unit. Can do.

また、本発明の実施形態によるディスプレイ装置は、ディスプレイ部と;所定の映像が前記ディスプレイ部に表示されるように処理する映像処理部と;タッチを感知するタッチセンサー及び自らの動きを感知するモーションセンサーを含む入力装置と通信する通信部と;前記通信部に受信される前記モーションセンサーによる前記入力装置の動き情報に対応して前記映像をスクロールさせ、前記通信部に受信される前記タッチセンサーによるタッチ情報に対応して前記スクロールされた映像内のオブジェクトを移動させる制御部と;を含むことを特徴とする。   In addition, the display device according to the embodiment includes a display unit; a video processing unit that processes a predetermined video to be displayed on the display unit; a touch sensor that detects a touch and a motion that detects its own motion. A communication unit that communicates with an input device that includes a sensor; and the touch sensor that is received by the communication unit by scrolling the video in response to movement information of the input device by the motion sensor received by the communication unit. And a control unit that moves an object in the scrolled video in response to touch information.

ここで、前記映像は選択可能な複数のアイテムを含み、前記オブジェクトは前記複数のアイテムの中で何れか一つのアイテムに対するハイライトインジケーター及び前記何れか一つのアイテムを指示するカーソルの中で何れか一つを含むことができる。   Here, the image includes a plurality of selectable items, and the object is one of a highlight indicator for any one item among the plurality of items and a cursor indicating the one item. One can be included.

また、前記動き情報は、既設定された3軸座標系上の前記入力装置の動きに関する情報を含むことができる。また、前記タッチセンサーによる前記タッチ情報は、前記タッチセンサー上でのドラッグ動作に対応することができる。   The movement information may include information related to the movement of the input device on a preset three-axis coordinate system. Further, the touch information by the touch sensor can correspond to a drag operation on the touch sensor.

また、前記制御部は、チャンネル選局のためのチャンネル番号目録の映像を前記ディスプレイ部に円形で表示した状態で、前記入力装置から前記タッチセンサーによる前記タッチの感知及び前記モーションセンサーによる前記動きの感知の中で少なくとも一つに関する情報を受信すれば、前記受信された情報に対応して前記チャンネル番号目録を回転させ、前記感知された動き情報による回転は、前記感知されたタッチ情報による回転より大きい単位で前記チャンネル番号目録を回転させることができる。   In addition, the control unit is configured to display a video of a channel number list for channel selection on the display unit in a circle, and detect the touch by the touch sensor from the input device and the motion by the motion sensor. If information on at least one of the senses is received, the channel number list is rotated corresponding to the received information, and the rotation based on the sensed motion information is more than the rotation based on the sensed touch information. The channel number list can be rotated in large units.

ここで、前記受信された情報は、前記入力装置の回転角度を含むことができる。ここで、前記受信された情報は、前記入力装置の回転方向又は前記タッチによるドラッグ方向をさらに含むことができる。   Here, the received information may include a rotation angle of the input device. Here, the received information may further include a rotation direction of the input device or a drag direction by the touch.

また、前記制御部は、前記モーションセンサーによって前記入力装置の回転角度が初期値に復帰したと感知されれば、前記チャンネル番号目録の回転を中止させることができる。   In addition, when the motion sensor senses that the rotation angle of the input device has returned to the initial value, the control unit can stop the rotation of the channel number list.

また、本発明の実施形態によるディスプレイ装置の入力装置の制御方法は、前記入力装置の動きを感知する段階と;前記ディスプレイ装置に表示されている映像がスクロールされるように、前記入力装置の前記動きに対応する第1制御信号を前記ディスプレイ装置に送信する段階と;前記入力装置のタッチセンサーがタッチされれば前記スクロールされた映像内のオブジェクトが移動するように前記タッチセンサーを通じる前記タッチに対応する第2制御信号を前記ディスプレイ装置に送信する段階と;を含むことを特徴とする。   The method for controlling an input device of a display device according to an embodiment of the present invention includes a step of sensing a movement of the input device; and the image of the input device is scrolled so that an image displayed on the display device is scrolled. Transmitting a first control signal corresponding to movement to the display device; and if the touch sensor of the input device is touched, the touch through the touch sensor so that an object in the scrolled image moves. Transmitting a corresponding second control signal to the display device.

ここで、前記映像は選択可能な複数のアイテムを含み、前記オブジェクトは前記複数のアイテムの中で何れか一つのアイテムに対するハイライトインジケーター及び前記何れか一つのアイテムを指示するカーソルの中で何れか一つを含むことができる。   Here, the image includes a plurality of selectable items, and the object is one of a highlight indicator for any one item among the plurality of items and a cursor indicating the one item. One can be included.

また、チャンネル選局のためのチャンネル番号目録の映像が前記ディスプレイ装置に円形で表示されている場合に、前記タッチセンサーに対するタッチ又は前記入力装置の動きの中で少なくとも一つを感知する段階と;前記感知された前記タッチセンサーに対するタッチ又は前記入力装置の動きの中で少なくとも一つの情報に従って前記チャンネル番号目録が回転するように、前記感知された情報を前記ディスプレイ装置に送信する段階と;をさらに含み、前記感知された動き情報による回転は、前記感知されたタッチ情報による回転より大きい単位で前記チャンネル番号目録を回転させることができる。   And detecting at least one of a touch on the touch sensor or a movement of the input device when an image of a channel number list for channel selection is displayed in a circle on the display device; Transmitting the sensed information to the display device such that the channel number inventory is rotated according to at least one information in the sensed touch to the touch sensor or movement of the input device. In addition, the channel number list may be rotated by a unit larger than the rotation by the sensed motion information.

また、本発明の実施形態によるディスプレイ装置の制御方法は、所定の映像を表示する段階と;タッチを感知するタッチセンサー及び自らの動きを感知するモーションセンサーを含む入力装置から受信される前記入力装置の動き情報に対応して前記映像をスクロールさせる段階と;前記入力装置から受信される前記タッチセンサーによるタッチ情報に対応して前記スクロールされた映像内のオブジェクトを移動させる段階と;を含むことを特徴とする。   Also, the display apparatus control method according to an embodiment of the present invention includes a step of displaying a predetermined image; and the input device received from an input device including a touch sensor for sensing a touch and a motion sensor for sensing its own motion. Scrolling the video in response to movement information of the user; and moving the object in the scrolled video in response to touch information received from the input device by the touch sensor. Features.

ここで、前記映像は選択可能な複数のアイテムを含み、前記オブジェクトは前記複数のアイテムの中で何れか一つのアイテムに対するハイライトインジケーター及び前記何れか一つのアイテムを指示するカーソルの中で何れか一つを含むことができる。   Here, the image includes a plurality of selectable items, and the object is one of a highlight indicator for any one item among the plurality of items and a cursor indicating the one item. One can be included.

また、チャンネル選局のためのチャンネル番号目録の映像を表示する段階と;前記入力装置から前記タッチセンサーによる前記タッチの感知及び前記モーションセンサーによる前記動きの感知の中で少なくとも一つに関する情報を受信すれば、前記受信された情報に対応して前記チャンネル番号目録を回転させる段階をさらに含み、前記感知された動き情報による回転は、前記感知されたタッチ情報による回転より大きい単位で前記チャンネル番号目録を回転させることができる。   Also, displaying an image of a channel number list for channel selection; receiving information on at least one of the touch sensing by the touch sensor and the motion sensing by the motion sensor from the input device; According to another aspect of the present invention, the method further comprises the step of rotating the channel number inventory in response to the received information, wherein the rotation based on the sensed motion information is greater than the rotation based on the sensed touch information. Can be rotated.

ユーザが入力装置を容易に操作することによってディスプレイ装置の動作を制御するように設けられたディスプレイ装置を提供することができる。   A display device provided to control an operation of the display device by a user easily operating the input device can be provided.

本発明の第1実施形態によるディスプレイシステムの例示図である。1 is an exemplary view of a display system according to a first embodiment of the present invention. 図1のディスプレイシステムの構成ブロック図である。FIG. 2 is a configuration block diagram of the display system of FIG. 1. 図1のディスプレイシステムで、ディスプレイ装置に表示されるUI映像の例示図である。FIG. 2 is an exemplary view of a UI image displayed on a display device in the display system of FIG. 1. 図3のUI映像を下側にスクロール移動させたことを示す例示図である。FIG. 4 is an exemplary diagram showing that the UI image of FIG. 3 is scrolled downward. 図1のディスプレイシステムで、入力装置の操作方式に対応してディスプレイ装置の映像表示を制御する過程を示す順序図である。FIG. 2 is a flowchart illustrating a process of controlling video display of a display device corresponding to an operation method of an input device in the display system of FIG. 1. 本発明の第2実施形態によるディスプレイ装置でディスプレイ部の有効表示領域を基準として映像の大きさを調節する例示を示す概念図である。FIG. 6 is a conceptual diagram illustrating an example of adjusting the size of an image with reference to an effective display area of a display unit in a display device according to a second embodiment of the present invention. 図6に示す映像を有効表示領域を基準としてパンニング動作を行う例示図である。FIG. 7 is an exemplary diagram for performing a panning operation on the video shown in FIG. 6 with reference to an effective display area. 本発明の第2実施形態に従って入力装置の操作方式に対応してディスプレイ装置の映像表示を制御する過程を示す順序図である。FIG. 10 is a flowchart illustrating a process of controlling video display of a display device according to an operation method of an input device according to a second embodiment of the present invention. 本発明の第3実施形態によるディスプレイ装置が表示するUI映像の例示図である。It is an illustration figure of UI image | video which the display apparatus by 3rd Embodiment of this invention displays. 図9のUI映像が時計方向又は反時計方向に回転する場合を示す例示図である。FIG. 10 is an exemplary diagram illustrating a case where the UI image of FIG. 9 rotates clockwise or counterclockwise. 図9のUI映像が時計方向又は反時計方向に回転する場合を示す例示図である。FIG. 10 is an exemplary diagram illustrating a case where the UI image of FIG. 9 rotates clockwise or counterclockwise. 図9のUI映像に対して、ユーザが入力装置にタッチ入力を行う場合にUI映像の動作を示す例示図である。FIG. 10 is an exemplary diagram illustrating an operation of a UI video when a user performs touch input on the input device with respect to the UI video of FIG. 9. 本発明の第3実施形態によるディスプレイシステムの制御方法を示すフローチャートである。7 is a flowchart illustrating a display system control method according to a third embodiment of the present invention. 本発明の第3実施形態によるディスプレイシステムの制御方法を示すフローチャートである。7 is a flowchart illustrating a display system control method according to a third embodiment of the present invention.

以下、添付図面を参照して本発明に対して詳しく説明する。以下の実施形態では、本発明の思想と直接的に関連のある構成に対してだけ説明し、その他の構成に対しては説明を省略する。しかし、本発明の思想が適用された装置またはシステムを具現することにおいて、このように説明が省略された構成が不必要を意味することではないことを明らかにする。   Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In the following embodiments, only configurations that are directly related to the idea of the present invention will be described, and descriptions of other configurations will be omitted. However, it will be clarified that in the implementation of the apparatus or system to which the idea of the present invention is applied, the configuration omitted in this way does not mean unnecessary.

図1は、本発明の第1実施形態によるディスプレイシステム1の例示図である。図1に示すように、本実施形態によるディスプレイシステム1は、映像信号を既設定された映像処理プロセスに従って処理して映像で表示するディスプレイ装置100と、ディスプレイ装置100の多様な動作を遠隔で制御できるように既設定されたコマンド(command)/データ(data)/情報/信号を生成してディスプレイ装置100に送信する入力装置200と、を含む。   FIG. 1 is an exemplary view of a display system 1 according to a first embodiment of the present invention. As shown in FIG. 1, the display system 1 according to the present embodiment processes a video signal according to a preset video processing process and displays the video as a video, and remotely controls various operations of the display device 100. And an input device 200 that generates a command / data / information / signal that has been set so as to be able to be transmitted and transmits the generated command to the display device 100.

本実施形態で、ディスプレイ装置100は、外部の映像供給源(図示せず)から受信されたり又は自体的に保存されている映像信号/映像データ/映像情報に基づいて自体的に映像を表示できるTVで具現され、入力装置200は、リモートコントローラー(remote controller)で具現される。   In the present embodiment, the display apparatus 100 can display a video by itself based on a video signal / video data / video information received from an external video source (not shown) or stored by itself. The input device 200 is implemented as a TV, and the input device 200 is implemented as a remote controller.

しかし、本発明の思想は、このような具現例示と異なるディスプレイ装置100の構造、例えば、ディスプレイ装置100がコンピュータ本体(図示せず)に接続されたモニターであり、入力装置200が該当コンピュータ本体(図示せず)と通信するシステムである場合にも適用されることができる。即ち、以下説明する実施形態は、システムの具現方式に従って多様に変更適用される一つの例示に過ぎず、本発明の思想を限定する事項ではないことを明らかにする。   However, the idea of the present invention is a structure of the display device 100 different from the embodiment, for example, a monitor in which the display device 100 is connected to a computer main body (not shown), and the input device 200 is the corresponding computer main body ( The present invention can also be applied to a system that communicates with (not shown). That is, the embodiment described below is merely an example that is variously modified and applied in accordance with a system implementation method, and it is clarified that the concept of the present invention is not limited.

ディスプレイ装置100は、表示可能な映像の種類は限られず、例えば、ディスプレイ装置100は、動画、停止映像、アプリケーション(application)、OSD(on−screen display)、多様な動作制御のためのGUI(graphic user interface)等の映像を表示することができる。   The display device 100 is not limited to the types of video that can be displayed. For example, the display device 100 can be a moving image, stop video, application, OSD (on-screen display), or GUI (graphic) for various operation controls. video (user interface) or the like can be displayed.

入力装置200は、ディスプレイ装置100と無線通信をすることができるし、ユーザによって操作される外部装置としてユーザによって把持される。入力装置200は、ユーザの操作に対応するように既設定されたコマンド/制御信号/情報をディスプレイ装置100に送信する。   The input device 200 can perform wireless communication with the display device 100 and is held by the user as an external device operated by the user. The input device 200 transmits the command / control signal / information already set to correspond to the user's operation to the display device 100.

ここで、入力装置200はこのようなコマンドを生成するようにユーザの操作が行われる多様な形態の入力部を含むことができるところ、本実施形態によれば、ユーザによってタッチ(touch)されるタッチセンサー210を含む。ただし、これは本実施形態を簡単に説明するためにタッチセンサー210に対してだけ説明することで、入力装置200がユーザ操作のための入力部としてタッチセンサー210の構成だけを含むことを意味することではない。   Here, the input device 200 may include various types of input units that are operated by the user so as to generate such a command. According to the present embodiment, the input device 200 is touched by the user. A touch sensor 210 is included. However, this will be described only with respect to the touch sensor 210 in order to briefly describe the present embodiment, which means that the input device 200 includes only the configuration of the touch sensor 210 as an input unit for user operation. Not that.

入力装置200は、タッチセンサー210に対するユーザの操作形態、例えば、タッチ、ドラッグ(drag)、タップ(tap)動作に対応して多様に既設定されたコマンドを生成し、この生成されたコマンドをディスプレイ装置100に送信する。ディスプレイ装置100は、入力装置200から受信されるコマンドに対応する制御動作を行う。   The input device 200 generates various preset commands corresponding to user operation modes on the touch sensor 210, for example, touch, drag, and tap operations, and displays the generated commands. Transmit to device 100. The display device 100 performs a control operation corresponding to the command received from the input device 200.

以下、ディスプレイ装置100及び入力装置200の具体的な構成に対して図2を参照して説明する。図2はディスプレイ装置100及び入力装置200の構成ブロック図である。図2に示すように、ディスプレイ装置100は、映像信号を受信する映像受信部110と、映像受信部110に受信される映像信号を処理する映像処理部120と、映像処理部120によって処理される映像信号を映像で表示するディスプレイ部130と、入力装置200と通信する第1通信部140と、ディスプレイ装置100の諸般構成の動作を制御する第1制御部150と、を含む。   Hereinafter, specific configurations of the display device 100 and the input device 200 will be described with reference to FIG. FIG. 2 is a configuration block diagram of the display device 100 and the input device 200. As shown in FIG. 2, the display apparatus 100 is processed by a video receiving unit 110 that receives a video signal, a video processing unit 120 that processes a video signal received by the video receiving unit 110, and a video processing unit 120. A display unit 130 that displays a video signal as a video, a first communication unit 140 that communicates with the input device 200, and a first control unit 150 that controls operations of various configurations of the display device 100 are included.

一方、入力装置200は、ユーザによるタッチを感知するタッチセンサー210と、ディスプレイ装置100の第1通信部140と通信する第2通信部220と、入力装置200の動きを感知するモーションセンサー230と、入力装置200の諸般構成の動作を制御する第2制御部240と、を含む。   Meanwhile, the input device 200 includes a touch sensor 210 that senses a touch by a user, a second communication unit 220 that communicates with the first communication unit 140 of the display device 100, a motion sensor 230 that senses the movement of the input device 200, And a second control unit 240 that controls the operation of various configurations of the input device 200.

以下、ディスプレイ装置100に含まれた構成に対して具体的に説明する。   Hereinafter, the configuration included in the display apparatus 100 will be described in detail.

映像受信部110は、映像供給源(図示せず)から有線/無線で映像信号を受信して映像処理部120に伝達し、受信する映像信号の規格及びディスプレイ装置100の具現方式に対応して多様な方式を有する。例えば、映像受信部110は、HDMI(high definition multimedia interface)規格に従ってデジタル映像信号を受信したり、ストリーミングサーバー(図示せず)からの映像データパケットストリームを受信することができる。   The video receiving unit 110 receives a video signal from a video supply source (not shown) by wire / wireless and transmits the video signal to the video processing unit 120, corresponding to the standard of the received video signal and the implementation method of the display apparatus 100. There are various methods. For example, the video receiving unit 110 can receive a digital video signal according to a high definition multimedia interface (HDMI) standard, or can receive a video data packet stream from a streaming server (not shown).

映像処理部120は、映像受信部110から受信される映像信号に対して既設定された多様な映像処理プロセスを行う。映像処理部120は、このようなプロセッサを行う映像信号をディスプレイ部130に出力することによって、ディスプレイ部130に該当映像信号に基づく映像が表示されることになる。   The video processing unit 120 performs various video processing processes that have been set for the video signal received from the video receiving unit 110. The video processing unit 120 outputs a video signal based on the corresponding video signal on the display unit 130 by outputting the video signal to be displayed by the processor to the display unit 130.

映像処理部120が行う映像処理プロセスの種類は限られず、例えば、映像信号の映像フォーマットに対応するデコーディング(decoding)、インターレース(interlace)方式の映像信号をプログレッシブ(progressive)方式で変換するディ−インタレーシング(de−interlacing)、映像信号を既設定された解像度で調整するスケーリング(scaling)、映像画質改善のためのノイズ減少(noise reduction)、ディテール強化(detail enhancement)、フレームリフレッシュレート(frame refresh rate)変換等を含むことができる。   The type of the video processing process performed by the video processing unit 120 is not limited. For example, a decoding method that converts a decoding or interlace video signal corresponding to the video format of the video signal using a progressive method. De-interlacing, scaling for adjusting the video signal at a preset resolution, noise reduction for improving video quality, detail enhancement, frame refresh rate (frame refresh) rate) conversion and the like.

映像処理部120は色々な機能を統合させたSOC(system−on−chip)、又はこのような各プロセスを独自的に行うことができる個別的な構成が印刷回路基板上に装着されることによって映像処理ボード(図示せず)で具現される。   The image processing unit 120 has an SOC (system-on-chip) in which various functions are integrated, or an individual configuration capable of performing each such process independently is mounted on the printed circuit board. It is embodied by a video processing board (not shown).

ディスプレイ部130は、映像処理部120から出力される映像信号に基づいて映像を表示する。ディスプレイ部130の具現方式は限られず、液晶(liquid crystal)、プラズマ(plasma)、発光ダイオード(light−emitting diode)、有機発光ダイオード(organic light−emitting diode)、面伝導電子銃(surface−conduction electron−emitter)、炭素ナノチューブ(carbon nano−tube)、ナノクリスタル(nano−crystal)等の多様なディスプレイ方式で具現されることができる。   The display unit 130 displays a video based on the video signal output from the video processing unit 120. The implementation method of the display unit 130 is not limited, and includes a liquid crystal, plasma, a light-emitting diode, an organic light-emitting diode, a surface-conduction electron gun. -Emitters, carbon nano-tubes, nano-crystals, and the like.

ディスプレイ部130は、その具現方式に従って付加的な構成を追加的に含むことができる。例えば、ディスプレイ部130が液晶方式である場合、ディスプレイ部130は液晶ディスプレイパネル(図示せず)と、これに光を供給するバックライトユニット(図示せず)と、パネル(図示せず)を駆動させるパネル駆動基板(図示せず)と、を含む。   The display unit 130 may additionally include additional configurations according to its implementation method. For example, when the display unit 130 is a liquid crystal system, the display unit 130 drives a liquid crystal display panel (not shown), a backlight unit (not shown) that supplies light to the panel, and a panel (not shown). A panel driving substrate (not shown).

第1通信部140は、入力装置200から受信されるコマンド/データ/情報/信号を第1制御部150に伝達する。本実施形態で第1通信部140は、入力装置200からの信号を受信する一方向通信の例示に対してだけ説明したが、第1通信部140は第1制御部150から伝達されたコマンド/データ/情報/信号を入力装置200に送信することもできる。このような場合、第1通信部140は、ディスプレイ装置100及び入力装置200の間の両方向通信を具現させるためにRF(radio frequency)、ジグビー(登録商標(Zigbee))、ブルートゥース等の無線通信規格による。   The first communication unit 140 transmits commands / data / information / signals received from the input device 200 to the first control unit 150. In the present embodiment, the first communication unit 140 has been described only for the example of the one-way communication in which a signal from the input device 200 is received. However, the first communication unit 140 receives the command / command transmitted from the first control unit 150. Data / information / signals can also be transmitted to the input device 200. In such a case, the first communication unit 140 may be a wireless communication standard such as RF (radio frequency), Zigbee (registered trademark (Zigbee)), Bluetooth, etc. in order to implement bidirectional communication between the display apparatus 100 and the input apparatus 200. by.

第1制御部150は第1通信部140に受信されるコマンドに対応してディスプレイ装置100の動作を制御する。例えば、第1制御部150は、第1通信部140を通じて入力装置200から既設定されたコマンドが受信されれば、このコマンドに対応して映像処理動作が行われるように映像処理部120を制御する。本実施形態では、制御部150及び映像処理部120が別個の構成で表示されたが、制御部150及び映像処理部120は一つの映像処理ボード(図示せず)で具現されることもできる。   The first control unit 150 controls the operation of the display apparatus 100 in response to a command received by the first communication unit 140. For example, when a preset command is received from the input device 200 through the first communication unit 140, the first control unit 150 controls the video processing unit 120 so that a video processing operation is performed in response to the command. To do. In the present embodiment, the control unit 150 and the video processing unit 120 are displayed in separate configurations, but the control unit 150 and the video processing unit 120 may be implemented by a single video processing board (not shown).

以下、入力装置200に含まれた構成に対して具体的に説明する。   Hereinafter, the configuration included in the input device 200 will be described in detail.

タッチセンサー210は、入力装置200外側にユーザによってタッチされるように設けられる。本実施形態によるタッチセンサー210は、タッチパッド(touch−pad)で具現され、自体板面上の所定の位置で発生するユーザによるタッチ動作又はタップ動作と、タッチ以後に所定の方向及び距離で行われたユーザのドラッグ動作等のようなユーザの操作形態に従って、第2制御部240に対して対応情報を送信する。このような対応情報は、タッチ動作に対応するタッチ位置の座標や、ドラッグ動作に対応する移動方向及び移動量情報等を含む。   The touch sensor 210 is provided to be touched by the user on the outside of the input device 200. The touch sensor 210 according to the present embodiment is implemented by a touch-pad, and performs a touch operation or a tap operation performed by a user at a predetermined position on the plate surface and a predetermined direction and distance after the touch. Correspondence information is transmitted to the second control unit 240 in accordance with the user operation mode such as the user's drag operation. Such correspondence information includes coordinates of the touch position corresponding to the touch operation, movement direction and movement amount information corresponding to the drag operation, and the like.

タッチセンサー210は、板面上をタッチする位置を感知するために多様な構成が適用されることができるところ、加圧力を感知する減圧式や、又は電荷値の変化を感知する停電式等が適用されることができる。   Various configurations can be applied to the touch sensor 210 to detect the position where the touch is made on the plate surface, such as a decompression type that detects a pressurizing force or a power failure type that detects a change in charge value. Can be applied.

第2通信部220は、第2制御部240から伝達される制御信号又はコマンドを第1通信部140に送信する。このために第2通信部220は第1通信部140に対応する通信プロトコルに従って設けられる。第2通信部220は、第1通信部140に対する一方向送信だけでなく、第1通信部140との間に両方向通信が行われるように設けられることができる。   The second communication unit 220 transmits a control signal or command transmitted from the second control unit 240 to the first communication unit 140. For this purpose, the second communication unit 220 is provided according to a communication protocol corresponding to the first communication unit 140. The second communication unit 220 may be provided to perform bidirectional communication with the first communication unit 140 as well as one-way transmission to the first communication unit 140.

モーションセンサー230は、ユーザが把持している入力装置200の動き、例えば、入力装置200の現在の姿勢を基準として入力装置200の傾き又は移動を感知する。モーションセンサー230は既設定された3軸座標系、即ち横、縦及び高さ又はX軸、Y軸及びZ軸による空間座標系上で入力装置200の動きを感知する。このために、モーションセンサー230は、ジャイロセンサー、慣性センサー、加速度センサー等で具現されることができる。   The motion sensor 230 detects the movement of the input device 200 held by the user, for example, the tilt or movement of the input device 200 based on the current posture of the input device 200. The motion sensor 230 senses the movement of the input device 200 on a preset three-axis coordinate system, that is, a horizontal, vertical and height or spatial coordinate system based on the X, Y, and Z axes. For this, the motion sensor 230 may be implemented with a gyro sensor, an inertial sensor, an acceleration sensor, or the like.

第2制御部240は、タッチセンサー210を通じてユーザの操作が発生したり又はモーションセンサー230から入力装置200の動きに関する情報が受信されれば、これに対応する既設定された制御信号を生成する。第2制御部240は、生成した制御信号を第2通信部220に伝達することによって、ディスプレイ装置100が該当制御信号に対応する制御動作を行うようにする。   When a user operation occurs through the touch sensor 210 or information regarding the movement of the input device 200 is received from the motion sensor 230, the second controller 240 generates a preset control signal corresponding thereto. The second control unit 240 transmits the generated control signal to the second communication unit 220 so that the display apparatus 100 performs a control operation corresponding to the corresponding control signal.

このような構造によって、ディスプレイ装置100は多様な種類の映像を表示できるところ、例えば、第1制御部150は、ディスプレイ部130上に複数のアイテムを含むUI映像を表示することができる。以下、UI映像が表示される場合を対象にして本発明の実施形態を説明するが、これは一つの例示に過ぎず、ディスプレイ部130に表示される映像の種類又は特性が本発明の思想を限定しない。   With such a structure, the display apparatus 100 can display various types of videos. For example, the first controller 150 can display a UI video including a plurality of items on the display unit 130. Hereinafter, an embodiment of the present invention will be described for a case where a UI image is displayed. However, this is merely an example, and the type or characteristic of the image displayed on the display unit 130 is the idea of the present invention. Not limited.

図3は、ディスプレイ部130上に表示されるUI映像300の例示図である。図3に示すように、UI映像300は、選択可能な複数のアイテム301乃至312を含む。ディスプレイ部130の有効表示領域よりUI映像300が大きい場合、第1制御部150はUI映像300の一部領域をディスプレイ部130に表示する。現在の図面上に表示されたUI映像300は、このような一部領域だけが表示されたことである。   FIG. 3 is a view showing an example of a UI video 300 displayed on the display unit 130. As shown in FIG. 3, the UI video 300 includes a plurality of selectable items 301 to 312. When the UI video 300 is larger than the effective display area of the display unit 130, the first control unit 150 displays a partial area of the UI video 300 on the display unit 130. In the UI video 300 displayed on the current drawing, only such a partial area is displayed.

UI映像300は、複数のアイテム301乃至312の中で何れか一つのアイテム301を選択する既設定されたオブジェクト410をさらに含む。オブジェクト410は、選択されたアイテム301と選択されなかった他のアイテム302乃至312を相互に区分できるようにするすべての構成を含むところ、アイテム301に対するハイライトインジケーター(highlight indicator)、カーソル(cursor)、ポインタ(pointer)等多様な方式で具現されることができる。   The UI video 300 further includes an already-set object 410 that selects any one item 301 among the plurality of items 301 to 312. The object 410 includes all configurations that allow the selected item 301 and other unselected items 302 to 312 to be distinguished from each other, such as a highlight indicator, a cursor for the item 301. , Pointers, and the like.

一方、現在表示されないUI映像300の残りの領域をディスプレイ部130に表示するために、第1制御部150はUI映像300をスクロール(scroll)で移動させる。このようなスクロール移動は、入力装置200からスクロール移動を指示するコマンドがディスプレイ装置100に受信されることによって行われる。   Meanwhile, in order to display the remaining area of the UI video 300 that is not currently displayed on the display unit 130, the first controller 150 moves the UI video 300 by scrolling. Such scroll movement is performed when the display apparatus 100 receives a command for instructing scroll movement from the input apparatus 200.

図4は、図3のUI映像を下側にスクロール移動させたことを示す例示図である。図4に示すように、UI映像300が下側でスクロール移動することによって、図3に表示されなかったUI映像300の残り領域が表示される。また、これによって、UI映像300で以前の図3の場合に表示されなかった複数のアイテム313乃至320が表示される。   FIG. 4 is an exemplary view showing that the UI video of FIG. 3 is scrolled downward. As shown in FIG. 4, when the UI video 300 scrolls downward, the remaining area of the UI video 300 not displayed in FIG. 3 is displayed. Accordingly, a plurality of items 313 to 320 that are not displayed in the case of FIG.

これと共にスクロール移動したUI映像300でハイライトインジケーター410の移動を指示するコマンドが入力装置200から受信されれば、第1制御部150は該当コマンドに対応してハイライトインジケーター410を所定のアイテム314に移動させる。   If a command for instructing movement of the highlight indicator 410 is received from the input device 200 in the UI image 300 that has been scrolled, the first controller 150 sets the highlight indicator 410 to a predetermined item 314 corresponding to the command. Move to.

このように、第1制御部150は、入力装置200から受信されるコマンド/制御信号に従って、UI映像300のスクロール移動動作と、スクロール移動されたUI映像300内で既設定オブジェクト410、例えば、ハイライトインジケーター410の移動動作を行うことができる。   As described above, the first control unit 150 performs the scroll movement operation of the UI video 300 according to the command / control signal received from the input device 200, and the preset object 410, for example, the high level in the scrolled UI video 300. The movement operation of the light indicator 410 can be performed.

ここで、本実施形態によれば、前記のように入力装置200からディスプレイ装置100に送信される制御信号は次のような構成に従って生成及び送信される。   Here, according to the present embodiment, as described above, the control signal transmitted from the input device 200 to the display device 100 is generated and transmitted according to the following configuration.

ユーザが入力装置200を把持した状態で、入力装置200の側では次のような動作が行われる。モーションセンサー230は、入力装置200の動きを感知する。第2制御部240は、モーションセンサー230に感知された入力装置200の動きに対応して既設定された第1制御信号を生成して第2通信部220を通じて送信し、タッチセンサー210を通じるユーザの操作が行われれば、これに対応して既設定された第2制御信号を生成して第2通信部220を通じて送信する。   With the user holding the input device 200, the following operation is performed on the input device 200 side. The motion sensor 230 senses the movement of the input device 200. The second controller 240 generates a first control signal that is set in response to the movement of the input device 200 detected by the motion sensor 230, transmits the first control signal through the second communication unit 220, and transmits the user through the touch sensor 210. If the above operation is performed, a second control signal that is already set corresponding to this operation is generated and transmitted through the second communication unit 220.

第1制御信号は、入力装置200の動きに関する情報、例えば、入力装置200が傾いた方向又は傾いた角度や、初期位置から入力装置200が移動する方向又は移動量等の情報を含む。   The first control signal includes information related to the movement of the input device 200, for example, information such as the direction or angle of inclination of the input device 200, the direction or amount of movement of the input device 200 from the initial position, and the like.

第2制御信号は、ユーザによるタッチセンサー210のタッチ又はタップ動作、タッチ又はタップ動作が行われたタッチセンサー210上の位置座標、ドラッグ動作による移動方向及び移動量等の情報を含む。   The second control signal includes information such as a touch or tapping operation of the touch sensor 210 by the user, a position coordinate on the touch sensor 210 where the touch or tapping operation is performed, a moving direction and a moving amount by the drag operation, and the like.

ディスプレイ装置100側では次のような動作が行われる。第1制御部150は、第1通信部140に第1制御信号が受信されれば、これに対応してUI映像300をスクロール移動させる。第1制御部150は第2制御信号が受信されれば、スクロール移動した状態のUI映像300内でオブジェクト410を移動させる。   The following operation is performed on the display device 100 side. If the first control unit 150 receives the first control signal, the first control unit 150 scrolls the UI video 300 correspondingly. If the second control signal is received, the first controller 150 moves the object 410 in the UI video 300 in the scrolled state.

これによって、ユーザが入力装置200を通じて容易にUI映像300の表示方式を変更させることができる。   Accordingly, the user can easily change the display method of the UI video 300 through the input device 200.

このように、ユーザによる入力装置200の操作方式に対応してディスプレイ装置100の映像表示が制御される方法に対して、以下の図5を参照してさらに具体的に説明する。図5は、入力装置200の操作方式に対応してディスプレイ装置100の映像表示を制御する過程を示すフローチャートである。   A method of controlling the video display on the display apparatus 100 in accordance with the operation method of the input apparatus 200 by the user will be described in detail with reference to FIG. FIG. 5 is a flowchart illustrating a process of controlling video display on the display apparatus 100 in accordance with the operation method of the input apparatus 200.

図5に示すように、入力装置200は、モーションセンサー230によって入力装置200自体の動きを感知する(510)。ここで、入力装置200は、特定条件、例えば、タッチセンサー210がタッチされている状態で動きを感知することによって、入力装置200又はディスプレイ装置100の誤作動を防止することができる。   As shown in FIG. 5, the input device 200 senses the motion of the input device 200 itself by the motion sensor 230 (510). Here, the input device 200 can prevent a malfunction of the input device 200 or the display device 100 by detecting movement in a specific condition, for example, in a state where the touch sensor 210 is touched.

一方、ディスプレイ装置100は、既設定されたUI映像300を表示する(610)。   Meanwhile, the display apparatus 100 displays the previously set UI video 300 (610).

入力装置200は、感知された動きに対応する動き情報又はモーション動作情報を生成してディスプレイ装置100に送信する(520)。例えば、現在、入力装置200がディスプレイ装置100に向かう前方に所定の第1角度だけ傾いている場合、入力装置200はこのような内容の動き情報を生成して送信する。   The input device 200 generates motion information or motion motion information corresponding to the sensed motion and transmits it to the display device 100 (520). For example, when the input device 200 is currently tilted forward by a predetermined first angle toward the display device 100, the input device 200 generates and transmits motion information having such contents.

ディスプレイ装置100は、入力装置200から動き情報又はモーション動作情報を受信する(620)。ディスプレイ装置100は、受信された動き情報に対応するようにUI映像をスクロール移動させる(630)。動き情報及びUI映像のスクロール移動の間の関係は、ディスプレイ装置100に既保存されている。   The display device 100 receives motion information or motion motion information from the input device 200 (620). The display apparatus 100 scrolls the UI video so as to correspond to the received motion information (630). The relationship between the movement information and the scroll movement of the UI video is already stored in the display apparatus 100.

例えば、入力装置200が前方に第1角度だけ傾いていることを示す動き情報である場合、ディスプレイ装置100は、入力装置200が傾いている方向である前方方向に対応してUI映像を下側にスクロール移動させるが、入力装置200が傾いている角度である第1角度に対応する移動量だけUI映像をスクロール移動させる。これは一つの例示に過ぎず、動き情報及びUI映像のスクロール移動の間の関係は多様な設計変更適用が可能である。   For example, in the case of motion information indicating that the input device 200 is tilted forward by a first angle, the display device 100 displays the UI image on the lower side corresponding to the forward direction, which is the direction in which the input device 200 is tilted. The UI image is scrolled by the amount of movement corresponding to the first angle, which is the angle at which the input device 200 is inclined. This is just one example, and the relationship between the motion information and the UI video scrolling can be applied to various design changes.

入力装置200は、ユーザがタッチパッドで具現されたタッチセンサー210に対するドラッグ動作を行ったと感知されれば(530)、このようなドラッグ動作に対応するドラッグ動作情報を生成してディスプレイ装置100に送信する(540)。例えば、ユーザが初期タッチ位置で右側に第1移動量だけドラッグして移動した場合、入力装置200はこのような内容のドラッグ動作情報を生成して送信する。   If the input device 200 senses that the user has performed a drag operation on the touch sensor 210 implemented by the touch pad (530), the input device 200 generates drag operation information corresponding to the drag operation and transmits the drag operation information to the display device 100. (540). For example, when the user moves by dragging the first movement amount to the right at the initial touch position, the input device 200 generates and transmits drag operation information having such contents.

ディスプレイ装置100は、入力装置200からドラッグ動作情報を受信すれば(640)、前のプロセスでスクロール移動した状態のUI映像内で既設定されたオブジェクト410をドラッグ動作情報に対応するように移動させる(650)。前述の動き情報及びUI映像のスクロール移動の間の関係のように、ドラッグ動作情報及びオブジェクトの移動の間の関係もディスプレイ装置100に既保存されている。   If the display device 100 receives the drag operation information from the input device 200 (640), the display device 100 moves the object 410 already set in the UI video that has been scrolled in the previous process so as to correspond to the drag operation information. (650). The relationship between the drag operation information and the movement of the object is already stored in the display apparatus 100, like the relationship between the movement information and the scroll movement of the UI video.

例えば、ディスプレイ装置100は、UI映像内のカーソルを、ドラッグ方向と同じ方向に、ドラッグ移動量に対応するように既設定された移動量だけ移動させることができる。   For example, the display apparatus 100 can move the cursor in the UI video in the same direction as the drag direction by a movement amount that has been set so as to correspond to the drag movement amount.

一方、前述した第1実施形態では、入力装置200の入力方式に従って映像に対するスクロール移動又は映像内オブジェクトの移動を選択的に制御する構成に対して説明したが、本発明の思想はこれに限られず、第1実施形態と異なる映像表示の制御具現実施形態に対して以下で説明する。   On the other hand, in the first embodiment described above, the configuration in which the scroll movement with respect to the video or the movement of the object in the video is selectively controlled according to the input method of the input device 200 has been described, but the idea of the present invention is not limited thereto. A video display control embodiment different from the first embodiment will be described below.

図6は本発明の第2実施形態によるディスプレイ装置100でディスプレイ部130の有効表示領域710を基準として映像720、730、740の大きさを調節する例示を示す概念図である。図6に示すように、第1制御部150は、映像720をディスプレイ部130の有効表示領域710に表示する。ここで、有効表示領域710は、ディスプレイ部130上で映像を表示することができる領域を意味する。   FIG. 6 is a conceptual diagram illustrating an example in which the sizes of the images 720, 730, and 740 are adjusted based on the effective display area 710 of the display unit 130 in the display apparatus 100 according to the second embodiment of the present invention. As shown in FIG. 6, the first control unit 150 displays the video 720 in the effective display area 710 of the display unit 130. Here, the effective display area 710 means an area where an image can be displayed on the display unit 130.

所定のイベントに従って、第1制御部150は映像720の大きさを調整できるところ、これをズームイン(zoom in)/ズームアウト(zoom out)動作と言う。ズームイン動作を通じて、第1制御部150は映像720の大きさを縮小させることによってより小さい大きさの映像730に調整する。しかし、ズームアウト動作を通じて、第1制御部150は映像720の大きさを拡大させることによってより大きい大きさの映像740に調整する。   The first controller 150 can adjust the size of the image 720 according to a predetermined event, which is referred to as a zoom-in / zoom-out operation. Through the zoom-in operation, the first controller 150 adjusts the image 730 to a smaller size by reducing the size of the image 720. However, through the zoom-out operation, the first controller 150 adjusts the image 740 to a larger size by increasing the size of the image 720.

ここで、拡大された映像740は、有効表示領域710より大きいので、映像740の全体領域が表示されない。即ち、映像740で有効表示領域710内の領域だけが表示され、有効表示領域710以外の領域は表示されない。   Here, since the enlarged image 740 is larger than the effective display area 710, the entire area of the image 740 is not displayed. That is, only the area within the effective display area 710 is displayed on the video 740, and the area other than the effective display area 710 is not displayed.

万一、映像740の大きさを縮小させなくて、現在に表示されていなかった領域を表示しようとする場合、第1制御部150は有効表示領域710を基準として映像740に対するパンニング(panning)動作を行う。   If the size of the image 740 is not reduced and an area that has not been displayed is displayed, the first control unit 150 performs a panning operation on the image 740 using the effective display area 710 as a reference. I do.

図7は、有効表示領域710を基準として映像750、760に対するパンニング動作を行う例示図である。図7に示すように、映像750は、有効表示領域710より大きい大きさを有するところ、現時点で有効表示領域710内の一部領域だけが表示される。   FIG. 7 is an exemplary diagram for performing a panning operation on the images 750 and 760 with the effective display area 710 as a reference. As shown in FIG. 7, the video 750 has a size larger than the effective display area 710, and only a partial area in the effective display area 710 is displayed at the present time.

この時、有効表示領域710より大きい映像750に対して所定の方向へのパンニング動作イベントが発生すれば、第1制御部150は有効表示領域710を基準として映像750の位置を該当方向に移動させる(770)。このように移動した映像760は、映像750と比較して有効表示領域710内に含まれる領域が変化するところ、第1制御部150は有効表示領域710に対する映像750、760の相手位置を移動させることによって、一時点で表示されない映像750の一部領域が他時点で表示されるようにすることができる。このような映像750、760の制御動作をパンニング動作と言う。   At this time, if a panning operation event in a predetermined direction occurs for the image 750 larger than the effective display area 710, the first controller 150 moves the position of the image 750 in the corresponding direction with reference to the effective display area 710. (770). The first control unit 150 moves the counterpart positions of the images 750 and 760 relative to the effective display area 710 when the image 760 moved in this manner changes in the area included in the effective display area 710 as compared to the image 750. Thus, a partial region of the video 750 that is not displayed at a temporary point can be displayed at another time. Such a control operation of the images 750 and 760 is referred to as a panning operation.

第1制御部150は、入力装置200から受信されるコマンド/制御信号に従ってこのような映像の大きさ調整動作及びパンニング動作を行う。本実施形態によれば、入力装置200は、次のような構成に従ってディスプレイ装置100に対して制御信号を生成及び送信する。   The first controller 150 performs the video size adjustment operation and the panning operation according to the command / control signal received from the input device 200. According to the present embodiment, the input device 200 generates and transmits a control signal to the display device 100 according to the following configuration.

ユーザが入力装置200を把持した状態で、モーションセンサー230は入力装置200の動きを感知する。第2制御部240は、モーションセンサー230に感知された入力装置200の動きに対応して既設定された第3制御信号を生成して第2通信部220を通じて送信し、タッチセンサー210を通じるユーザの操作が行われれば、これに対応して既設定された第4制御信号を生成して第2通信部を通じて送信する。   The motion sensor 230 senses the movement of the input device 200 while the user holds the input device 200. The second controller 240 generates a third control signal that is set according to the movement of the input device 200 detected by the motion sensor 230, transmits the third control signal through the second communication unit 220, and transmits the third control signal via the touch sensor 210. If the above operation is performed, a previously set fourth control signal is generated and transmitted through the second communication unit.

ここで、第3制御信号及び第4制御信号は、前述の第1実施形態で説明した第1制御信号及び第2制御信号の説明を応用できるところ、詳しい説明を省略する。   Here, the description of the first control signal and the second control signal described in the first embodiment can be applied to the third control signal and the fourth control signal, and detailed description thereof is omitted.

一方、ディスプレイ装置100では次のような動作が行われる。第1制御部150は、第1通信部140に第3制御信号が受信されれば、これに対応して映像の大きさを調整する。第1制御部150は第4制御信号が受信されれば、大きさが調整された映像に対するパンニング動作を行う。   On the other hand, in the display apparatus 100, the following operation is performed. If the first control unit 150 receives the third control signal, the first control unit 150 adjusts the size of the video accordingly. When the first control unit 150 receives the fourth control signal, the first control unit 150 performs a panning operation on the image whose size has been adjusted.

このようにユーザによる入力装置200の操作方式に対応してディスプレイ装置100の映像表示が制御される方法に対して、以下の図8を参照してさらに具体的に説明する。図8は、入力装置200の操作方式に対応してディスプレイ装置100の映像表示を制御する過程を示すフローチャートである。   A method of controlling the video display of the display apparatus 100 in accordance with the operation method of the input apparatus 200 by the user will be described in detail with reference to FIG. 8 below. FIG. 8 is a flowchart illustrating a process of controlling the video display of the display apparatus 100 corresponding to the operation method of the input apparatus 200.

図8に示すように、入力装置200はモーションセンサー230によって入力装置200自体の動きを感知する(810)。ここで、入力装置200は、特定の条件、例えば、タッチセンサー210がタッチされている状態で動きを感知することによって、入力装置200又はディスプレイ装置100の誤作動を防止することができる。一方、ディスプレイ装置100は所定の映像を表示する(910)。   As shown in FIG. 8, the input device 200 senses the motion of the input device 200 by the motion sensor 230 (810). Here, the input device 200 can prevent a malfunction of the input device 200 or the display device 100 by detecting a motion under a specific condition, for example, a state in which the touch sensor 210 is touched. Meanwhile, the display apparatus 100 displays a predetermined video (910).

入力装置200は、感知された動きに対応する動き情報又はモーション動作情報を生成して、ディスプレイ装置100に送信する(820)。例えば、現在の入力装置200がディスプレイ装置100に向かう前方に所定の第2角度だけ傾いている場合、入力装置200はこのような内容の動き情報を生成して送信する。   The input device 200 generates motion information or motion motion information corresponding to the sensed motion and transmits it to the display device 100 (820). For example, when the current input device 200 is tilted forward by a predetermined second angle toward the display device 100, the input device 200 generates and transmits motion information having such contents.

ディスプレイ装置100は、入力装置200から動き情報又はモーション動作情報を受信する(920)。ディスプレイ装置100は、受信された動き情報に対応するように映像の大きさを調整する(930)。動き情報及び映像の大きさ調整の間の関係は、ディスプレイ装置100に既保存されている。   The display device 100 receives motion information or motion motion information from the input device 200 (920). The display apparatus 100 adjusts the size of the video so as to correspond to the received motion information (930). The relationship between the motion information and the image size adjustment is already stored in the display apparatus 100.

例えば、入力装置200が前方に第2角度だけ傾いていることを示す動き情報の場合、ディスプレイ装置100は入力装置200が傾いている方向の前方方向に対応して映像をズームアウトさせることによって大きさを大きく調整するが、入力装置200が傾いている角度である第2角度に対応する既設定値だけ映像の拡大比率を適用する。これは一つの例示に過ぎず、動き情報及び映像の大きさ調整の間の関係は多様な設計変更を適用することができる。   For example, in the case of motion information indicating that the input device 200 is tilted forward by a second angle, the display device 100 zooms out by zooming out the image corresponding to the forward direction in which the input device 200 is tilted. The image enlargement ratio is applied by a preset value corresponding to the second angle that is the angle at which the input device 200 is inclined. This is just an example, and the relationship between motion information and image size adjustment can apply various design changes.

入力装置200は、ユーザがタッチパッドで具現されたタッチセンサー210に対するドラッグ動作を行ったと感知されれば(830)、このようなドラッグ動作に対応するドラッグ動作情報を生成してディスプレイ装置100に送信する(840)。例えば、ユーザが初期タッチ位置で左側に第2移動量だけドラッグして移動した場合、入力装置200はこのような内容のドラッグ動作情報を生成して送信する。   If the input device 200 senses that the user has performed a drag operation on the touch sensor 210 embodied as a touch pad (830), the input device 200 generates drag operation information corresponding to the drag operation and transmits the drag operation information to the display device 100. (840). For example, when the user moves by dragging the second movement amount to the left at the initial touch position, the input device 200 generates and transmits drag operation information having such contents.

ディスプレイ装置100は、入力装置200からドラッグ動作情報を受信すれば(940)、前述のプロセスで大きさが調整された状態の映像に対するパンニング動作をドラッグ動作情報に対応するように行う(950)。ドラッグ動作情報及びパンニング動作の間の関係もまたディスプレイ装置100に既保存されている。   If the display device 100 receives the drag operation information from the input device 200 (940), the display device 100 performs a panning operation on the image whose size has been adjusted by the above-described process so as to correspond to the drag operation information (950). The relationship between the drag operation information and the panning operation is also stored in the display apparatus 100.

例えば、ディスプレイ装置100は、映像をドラッグ方向と同じ方向に、ドラッグ移動量に対応するように既設定された移動量だけ移動させることによってパンニング動作を行う。   For example, the display apparatus 100 performs the panning operation by moving the video in the same direction as the drag direction by a movement amount that has been set so as to correspond to the drag movement amount.

万一、映像が縮小されることによって映像全体がディスプレイ部130に表示されている状態でドラッグ動作情報を受信する場合(940)、ディスプレイ装置100はパンニング動作を行わないとか、またはディスプレイ部130の有効表示領域内で映像の位置をドラッグ動作情報に対応して移動させることもできる。   If the drag operation information is received in a state where the entire image is displayed on the display unit 130 due to the reduction of the image (940), the display apparatus 100 does not perform the panning operation or the display unit 130 It is also possible to move the position of the video within the effective display area corresponding to the drag operation information.

一方、前述の実施形態では、入力装置200の動き情報に従って映像の大きさが調整され、タッチセンサー210に対するドラッグ動作に従ってパンニング動作が行われる例示に対して説明したが、設計方式に従って各動作が前述の実施形態とは反対方式の入力によって行われることもできる。即ち、タッチセンサー210に対するドラッグ動作に従って映像の大きさが調整され、入力装置200の動き情報に従ってパンニング動作が行われる実施例も可能である。   On the other hand, in the above-described embodiment, the example in which the size of the image is adjusted according to the motion information of the input device 200 and the panning operation is performed according to the drag operation on the touch sensor 210 has been described. It can also be done by input in the opposite manner to the embodiment. That is, an embodiment in which the size of the image is adjusted according to the drag operation on the touch sensor 210 and the panning operation is performed according to the motion information of the input device 200 is also possible.

以上のような実施形態で説明したように、入力装置200はモーションセンサー230によって入力装置200自体の動きが感知されれば、ディスプレイ装置100に表示されている映像に対する第1条作のために入力装置200の動きに対応する第1制御信号をディスプレイ装置100に送信し、タッチセンサー210を通じてタッチが感知されれば、第1条作が行われた映像に対する第2条作のためにタッチセンサー210を通じるタッチに対応する第2制御信号をディスプレイ装置100に送信する。   As described in the above embodiment, if the motion of the input device 200 is detected by the motion sensor 230, the input device 200 inputs the first image for the image displayed on the display device 100. If the first control signal corresponding to the movement of the device 200 is transmitted to the display device 100 and a touch is detected through the touch sensor 210, the touch sensor 210 is used for the second crop of the image on which the first strip is performed. A second control signal corresponding to the touch through is transmitted to the display device 100.

一方、ディスプレイ装置100は、入力装置200から受信されるモーションセンサー230による入力装置200の動き情報を含む第1制御信号に対応して、表示映像に対する第1条作を行い、入力装置200から受信されるタッチセンサー210によるタッチ情報を含む第2制御信号に対応して第1条作が行われた映像に対する第2条作を行う。   On the other hand, the display device 100 performs a first operation on the display image in response to the first control signal including the motion information of the input device 200 by the motion sensor 230 received from the input device 200 and receives the first image from the input device 200. In response to the second control signal including the touch information by the touch sensor 210, the second strip is performed on the image on which the first strip is performed.

ここで、前記の第1条作及び第2条作の具体的な実施形態は、前述した実施形態の説明と同じである。   Here, the specific embodiments of the first item and the second item are the same as those described above.

以下、前述した実施形態とは異なる方法で、入力装置200を使用してディスプレイ装置100の表示映像を制御する実施形態に対して説明する。   Hereinafter, an embodiment in which the display image of the display device 100 is controlled using the input device 200 by a method different from the above-described embodiment will be described.

図9は本発明の第3実施形態によるディスプレイ装置100が表示するUI映像の例示図である。図9に示すように、ディスプレイ装置100は、入力装置200からチャンネル番号入力のためのユーザ入力を受信すれば、ユーザインターフェース(UI)としてユーザが選択可能なチャンネル番号を含むチャンネル番号目録1030の映像を円形で表示する。また、ディスプレイ装置100は、入力装置200から受信されたコマンドに基づいて、入力装置200の入力モードを示すユーザインターフェース(UI)1041、1042を表示する。ここで、表示されるUI1041、1042は、入力装置200の現在の入力モード情報、入力モードの転換情報、所定の入力モードで入力装置200の使用法を案内するガイド等を含むことができる。   FIG. 9 is an exemplary view of a UI image displayed by the display apparatus 100 according to the third embodiment of the present invention. As illustrated in FIG. 9, when the display apparatus 100 receives a user input for inputting a channel number from the input apparatus 200, an image of a channel number list 1030 including a channel number selectable by the user as a user interface (UI). Is displayed in a circle. Further, the display device 100 displays user interfaces (UI) 1041 and 1042 indicating the input mode of the input device 200 based on the command received from the input device 200. Here, the displayed UIs 1041 and 1042 may include current input mode information of the input device 200, input mode conversion information, a guide for guiding the usage of the input device 200 in a predetermined input mode, and the like.

ここで、入力装置200の入力モードは、キー又はボタンのような入力部(図示せず)に対するユーザ操作によって動作する一般モード、タッチセンサー210に対するユーザのタッチ入力に従って動作を行うタッチモード、入力装置200の動きによって動作を行うジェスチャー(gesture)モードを含む。   Here, the input mode of the input device 200 includes a general mode that operates by a user operation on an input unit (not shown) such as a key or a button, a touch mode that operates according to a user's touch input to the touch sensor 210, and an input device. It includes a gesture mode in which an action is performed by 200 movements.

チャンネル番号目録1030は、選択されたチャンネル1031で提供するコンテンツ情報1032をさらに表示して、ユーザのチャンネル選択の便宜を助ける。   The channel number list 1030 further displays the content information 1032 provided on the selected channel 1031 to assist the user in selecting the channel.

ディスプレイ装置100は、入力装置200の回転に対応してチャンネル番号目録1030を回転させる。例えば、チャンネル番号目録が円形で表示された状態で、モーションセンサー230が入力装置200の時計方向への回転を感知すれば、入力装置200は感知された回転による加速度及び角速度情報をディスプレイ装置100に送信する。ここで、入力装置200は、ユーザがタッチセンサー210をタッチした状態で入力装置200を回転させる場合、これをチャンネル探索のための有効なモーションで感知するように既設定されることができる。   The display device 100 rotates the channel number list 1030 in response to the rotation of the input device 200. For example, when the motion sensor 230 detects the clockwise rotation of the input device 200 in a state where the channel number list is displayed in a circular shape, the input device 200 transmits acceleration and angular velocity information due to the detected rotation to the display device 100. Send. Here, when the input device 200 is rotated in a state where the user touches the touch sensor 210, the input device 200 may be set to detect this with an effective motion for channel search.

図10及び図11は図9のチャンネル番号目録映像1030が時計方向又は反時計方向に回転する場合を示す例示図である。   10 and 11 are exemplary views showing a case where the channel number list image 1030 of FIG. 9 rotates clockwise or counterclockwise.

図10に示すように、ディスプレイ装置100は入力装置200から受信された加速度及び角速度情報に対応して、チャンネル番号目録1030を時計方向に回転させる。   As shown in FIG. 10, the display device 100 rotates the channel number list 1030 in the clockwise direction in accordance with the acceleration and angular velocity information received from the input device 200.

ディスプレイ装置100は、受信された加速度及び角速度情報に基づいて、入力装置200の回転方向に従ってチャンネル番号目録1030の回転方向を調節する。即ち、図11に示すように、ユーザが入力装置200を反時計方向に回転させれば、ディスプレイ装置100はチャンネル番号目録1030を反時計方向に回転させる。   The display apparatus 100 adjusts the rotation direction of the channel number list 1030 according to the rotation direction of the input apparatus 200 based on the received acceleration and angular velocity information. That is, as shown in FIG. 11, when the user rotates the input device 200 counterclockwise, the display device 100 rotates the channel number list 1030 counterclockwise.

ディスプレイ装置100は、受信された加速度及び角速度情報に基づいて、入力装置200の回転角度に従ってチャンネル番号目録1030の回転速度を調節する。即ち、入力装置200の回転角度が大きくなれば、チャンネル番号目録1030の回転速度も増加する。例えば、入力装置200の回転角度が30度である場合は、入力装置200の回転角度が10度である場合に比べてチャンネル番号目録1030が相対的に早く回転する。   The display apparatus 100 adjusts the rotation speed of the channel number list 1030 according to the rotation angle of the input apparatus 200 based on the received acceleration and angular velocity information. That is, as the rotation angle of the input device 200 increases, the rotation speed of the channel number list 1030 also increases. For example, when the rotation angle of the input device 200 is 30 degrees, the channel number list 1030 rotates relatively faster than when the rotation angle of the input device 200 is 10 degrees.

また、ディスプレイ装置100は、入力装置200の回転角度が初期回転開始角度に復帰すれば、チャンネル番号目録1030の回転を中止させる。   Further, when the rotation angle of the input device 200 returns to the initial rotation start angle, the display device 100 stops the rotation of the channel number list 1030.

例えば、ユーザが入力装置200を初期回転開始角度0度から30度に回転させれば、ディスプレイ装置100は入力装置200の回転角度の30度に対応する速度でチャンネル番号目録1030を回転させる。この状態で、ユーザが入力装置200の回転角度を初期回転開始角度である0度に復帰させれば、入力装置200はモーションセンサー230を通じてこれを感知してディスプレイ装置100に対応コマンドを送信する。そして、ディスプレイ装置100は受信されたコマンドに従ってチャンネル番号目録1030の回転を中止させる。   For example, if the user rotates the input device 200 from the initial rotation start angle 0 degree to 30 degrees, the display apparatus 100 rotates the channel number list 1030 at a speed corresponding to the rotation angle of the input apparatus 200 30 degrees. In this state, if the user returns the rotation angle of the input device 200 to 0 degree which is the initial rotation start angle, the input device 200 detects this through the motion sensor 230 and transmits a corresponding command to the display device 100. Then, the display apparatus 100 stops the rotation of the channel number list 1030 according to the received command.

ユーザは回転が中止されたチャンネル番号目録130で所定のチャンネル1033を選択するユーザ入力を通じて該当チャンネルを選局することができる。ここで、チャンネルを選局するユーザ入力はモーションセンサー230により感知される入力装置200の既設定された動き、タッチセンサー210に対するタッチ入力、その他の入力装置200の多様な入力部(図示せず)の特定ボタンの選択の中で何れか一つでありうる。   The user can select a corresponding channel through user input for selecting a predetermined channel 1033 in the channel number list 130 whose rotation has been stopped. Here, the user input for selecting a channel is a preset movement of the input device 200 sensed by the motion sensor 230, a touch input to the touch sensor 210, and various other input units (not shown) of the input device 200. Any one of the selections of the specific buttons may be selected.

図12はユーザが入力装置200にタッチ入力を行う場合にUI映像の動作を示す例示図である。図12に示すように、ディスプレイ装置100はタッチセンサー210に対するユーザのタッチ入力に従ってチャンネル番号目録1030を回転させることができる。具体的に、チャンネル番号目録1030の回転が止まった状態で、入力装置200はタッチセンサー210に対する所定の方向及び距離のドラッグ動作が感知されれば、これに対応するコマンドをディスプレイ装置100に送信する。   FIG. 12 is an exemplary diagram illustrating the operation of the UI video when the user performs a touch input on the input device 200. As illustrated in FIG. 12, the display apparatus 100 may rotate the channel number list 1030 according to a user touch input to the touch sensor 210. Specifically, when the channel number list 1030 stops rotating and the input device 200 detects a drag operation in a predetermined direction and distance with respect to the touch sensor 210, the input device 200 transmits a corresponding command to the display device 100. .

ディスプレイ装置100は受信されたコマンドによりチャンネル番号目録1030を回転させる。ここで、チャンネル番号目録1030の回転速度及び方向はタッチセンサー210に対するドラッグ距離、速度及び方向に対応する。   The display apparatus 100 rotates the channel number list 1030 according to the received command. Here, the rotation speed and direction of the channel number list 1030 correspond to the drag distance, speed, and direction with respect to the touch sensor 210.

ディスプレイ装置100はチャンネル番号目録1030の動作を制御することにおいて、大きい単位の動作に対しては入力装置200のジェスチャーモードに、小さい単位の動作に対しては入力装置200のタッチモードに各々対応するように設定する。従って、入力装置200のタッチモードでドラッグによるチャンネル番号目録1030の回転速度は、入力装置200のジェスチャーモードで入力装置200の動きによるチャンネル番号目録1030の回転速度よりゆっくり設定される。   In controlling the operation of the channel number list 1030, the display device 100 corresponds to the gesture mode of the input device 200 for a large unit operation, and corresponds to the touch mode of the input device 200 for a small unit operation. Set as follows. Therefore, the rotation speed of the channel number list 1030 by dragging in the touch mode of the input device 200 is set slower than the rotation speed of the channel number list 1030 by the movement of the input device 200 in the gesture mode of the input device 200.

即ち、入力装置200の動きによる回転はタッチ入力による回転より大きい単位でチャンネル番号目録1030を回転させる。従って、ユーザはジェスチャーモードで入力装置200の動きによってチャンネル番号目録1030を大きい単位に回転させた状態(図9及び図10に示すチャンネル番号11−1で23−1への回転)で、タッチモードでタッチ入力によってチャンネル番号目録1030を小さい単位に回転させて(図6及び図7に示すチャンネル番号23−1から28−1への回転)、特定チャンネル(例えば、28−1)を選局することができる。ここで、チャンネルを選局するユーザ入力は、モーションセンサー230で感知される入力装置200に対する所定のモーション、タッチセンサー210に対するタッチ入力、その他の入力装置200の多様な入力部(図示せず)の特定ボタンの選択の中で何れか一つでありうる。   That is, the rotation of the input device 200 rotates the channel number list 1030 by a unit larger than the rotation by the touch input. Accordingly, in the gesture mode, the user rotates the channel number list 1030 by a large unit by the movement of the input device 200 (the channel number 11-1 shown in FIGS. 9 and 10 rotates to 23-1), and the touch mode. Then, the channel number list 1030 is rotated to a small unit by touch input (rotation from channel numbers 23-1 to 28-1 shown in FIGS. 6 and 7), and a specific channel (for example, 28-1) is selected. be able to. Here, the user input for selecting a channel is a predetermined motion for the input device 200 sensed by the motion sensor 230, a touch input for the touch sensor 210, and other various input units (not shown) of the input device 200. Any one of the selections of the specific buttons may be performed.

ディスプレイ装置100は、選局されたチャンネルに対応する映像信号を受信し、受信された映像信号を処理して映像で表示する。   The display device 100 receives a video signal corresponding to the selected channel, processes the received video signal, and displays it as a video.

以下、本実施形態によるディスプレイシステムの制御方法に対して図13及び図14を参照して説明する。図13及び図14は、本実施形態によるディスプレイシステムの制御方法を示すフローチャートである。   Hereinafter, the display system control method according to the present embodiment will be described with reference to FIGS. 13 and 14 are flowcharts illustrating the display system control method according to the present embodiment.

図13に示すように、入力装置200はタッチセンサー210、モーションセンサー230、入力部(図示せず)の中で何れか一つを通じてチャンネル番号入力のためのユーザ入力を受信する(S501)。   As shown in FIG. 13, the input device 200 receives a user input for channel number input through any one of the touch sensor 210, the motion sensor 230, and an input unit (not shown) (S501).

入力装置200は段階S501で受信されたユーザ入力に対応するコマンドをディスプレイ装置100に送信し、ディスプレイ装置100はユーザが選択可能なチャンネル番号目録1030を円形で表示する(S503)。   The input device 200 transmits a command corresponding to the user input received in step S501 to the display device 100, and the display device 100 displays a channel number list 1030 that can be selected by the user in a circle (S503).

ユーザは入力装置200がジェスチャーモードで動作する状態で入力装置200を所定の方向に回転させ、入力装置200はこのような回転によって感知された加速度及び角速度情報をディスプレイ装置100に送信する(S505)。   The user rotates the input device 200 in a predetermined direction while the input device 200 operates in the gesture mode, and the input device 200 transmits the acceleration and angular velocity information detected by the rotation to the display device 100 (S505). .

ディスプレイ装置100は、段階S505で受信された加速度及び角速度情報に対応して、円形で表示されたチャンネル番号目録1030を回転させる(S507)。ここで、入力装置200の回転方向及び回転角度によりチャンネル番号目録1030の回転方向及び回転速度が調節される。また、入力装置200の回転角度が初期回転開始角度に復帰すれば、チャンネル番号目録1030の回転は中止される。   The display apparatus 100 rotates the channel number list 1030 displayed in a circle according to the acceleration and angular velocity information received in step S505 (S507). Here, the rotation direction and rotation speed of the channel number list 1030 are adjusted according to the rotation direction and rotation angle of the input device 200. If the rotation angle of the input device 200 returns to the initial rotation start angle, the rotation of the channel number list 1030 is stopped.

入力装置200はチャンネル番号目録1030の回転が中止された状態で、所定のチャンネルを選局するユーザ入力を受信し、これに対応するコマンドをディスプレイ装置100に送信する(S509)。   The input device 200 receives a user input for selecting a predetermined channel in a state where the rotation of the channel number list 1030 is stopped, and transmits a corresponding command to the display device 100 (S509).

ディスプレイ装置100は、段階S509で選局されたチャンネルに対応する映像信号を受信及び処理して、処理された映像信号に対応する映像を表示する(S511)。   The display apparatus 100 receives and processes the video signal corresponding to the channel selected in step S509 and displays the video corresponding to the processed video signal (S511).

一方、図14に示す実施形態は、入力装置200がジェスチャーモードだけでなくタッチモードでユーザのタッチ入力によってチャンネル番号目録1030が回転する点で図13の実施形態と差がある。   On the other hand, the embodiment shown in FIG. 14 is different from the embodiment shown in FIG. 13 in that the channel number list 1030 is rotated by the user's touch input in the touch mode as well as the gesture mode.

図14に示すように、入力装置200はタッチセンサー210、モーションセンサー230、入力部(図示せず)の中で何れか一つを通じてチャンネル番号入力のためのユーザ入力を受信する(S601)。入力装置200は、段階S601で受信されたユーザ入力に対応するコマンドをディスプレイ装置100で送信し、ディスプレイ装置100はユーザが選択可能なチャンネル番号目録1030を円形で表示する(S603)。   As shown in FIG. 14, the input device 200 receives a user input for channel number input through any one of the touch sensor 210, the motion sensor 230, and an input unit (not shown) (S601). The input apparatus 200 transmits a command corresponding to the user input received in step S601 on the display apparatus 100, and the display apparatus 100 displays a channel number list 1030 that can be selected by the user in a circle (S603).

ユーザは入力装置200がジェスチャーモードで動作する状態で入力装置200を所定の方向に回転させ、入力装置200はこのような回転によって感知された加速度及び角速度情報をディスプレイ装置100に送信する(S605)。   The user rotates the input device 200 in a predetermined direction while the input device 200 operates in the gesture mode, and the input device 200 transmits the acceleration and angular velocity information sensed by such rotation to the display device 100 (S605). .

ディスプレイ装置100は、段階S605の加速度及び角速度情報に対応して、円形で表示されたチャンネル番号目録1030を回転させる(S607)。ここで、段階S605で感知された入力装置200の回転方向及び回転角度によりチャンネル番号目録1030の回転方向及び回転速度が調節される。また、入力装置200の回転角度が初期回転開始角度に復帰すれば、チャンネル番号目録1030の回転は中止される。   The display apparatus 100 rotates the channel number list 1030 displayed in a circle corresponding to the acceleration and angular velocity information in step S605 (S607). Here, the rotation direction and rotation speed of the channel number list 1030 are adjusted according to the rotation direction and rotation angle of the input device 200 detected in step S605. If the rotation angle of the input device 200 returns to the initial rotation start angle, the rotation of the channel number list 1030 is stopped.

チャンネル番号目録1030の回転が中止された状態でユーザがタッチセンサー210に対するタッチ入力(例えば、所定の方向へのドラッグ)を行うと、入力装置200は該当タッチ入力に対応するコマンドをディスプレイ装置100に送信する。ディスプレイ装置100は、受信されたタッチ入力に対応するようにチャンネル番号目録1030を回転させる(S609)。ユーザは段階S609のタッチ入力によって、チャンネル番号目録1030を細部的に回転させ、チャンネル選択のためにチャンネル番号目録1030の回転を中止させることができる。   When the user performs touch input (for example, dragging in a predetermined direction) to the touch sensor 210 in a state where the rotation of the channel number list 1030 is stopped, the input device 200 sends a command corresponding to the touch input to the display device 100. Send. The display apparatus 100 rotates the channel number list 1030 so as to correspond to the received touch input (S609). The user can rotate the channel number list 1030 in detail by touch input in step S609 and stop the rotation of the channel number list 1030 for channel selection.

入力装置200は、チャンネル番号目録1030の回転が中止された状態で、所定のチャンネルを選局するユーザ入力が行われると、これに対応するコマンドをディスプレイ装置100に送信する(S611)。   When a user input for selecting a predetermined channel is performed in a state where the rotation of the channel number list 1030 is stopped, the input device 200 transmits a command corresponding thereto to the display device 100 (S611).

ディスプレイ装置100は段階S611で選局されたチャンネルに対応する映像信号を受信及び処理して、処理された映像信号に対応する映像を表示する(S613)。   The display apparatus 100 receives and processes the video signal corresponding to the channel selected in step S611, and displays the video corresponding to the processed video signal (S613).

このように、本発明の実施形態によれば、チャンネル番号目録1030をアナログTVで使用されたロータリー形態の回転可能な形状で表示して、ユーザに直観的で親近感を与えることができる。また、入力装置200を回転させる簡単な動作によりチャンネル番号目録1030を早く回転させるので、ユーザの操作便宜が向上される。また、入力装置200の回転方向、角度等をチャンネル番号目録1030の回転方向、回転速度にそのまま反映するので、モーション入力に熟しないユーザも使用に困難がないだけでなく操作に対する面白味を与えることができる。   As described above, according to the embodiment of the present invention, the channel number list 1030 can be displayed in a rotatable form in the form of a rotary used in an analog TV, so that the user can be intuitive and familiar. In addition, since the channel number list 1030 is quickly rotated by a simple operation of rotating the input device 200, the user's operation convenience is improved. In addition, since the rotation direction and angle of the input device 200 are directly reflected in the rotation direction and rotation speed of the channel number list 1030, not only the user who is unsatisfied with the motion input is not difficult to use, but also has an interesting operation. it can.

以上、多様な実施形態を通じて本発明に対して図示し説明したが、本発明はこれに限定されず、本発明の属する技術分野の通常の知識を有する人なら本発明の原則や精神に外れなく本発明の一実施形態を変形し得ることを分かることができる。発明の範囲は、特許請求の範囲とその均等物によって定まれる。   As described above, the present invention has been illustrated and described through various embodiments. However, the present invention is not limited to this, and a person having ordinary knowledge in the technical field to which the present invention belongs does not depart from the principle and spirit of the present invention. It can be seen that one embodiment of the present invention can be modified. The scope of the invention is defined by the claims and their equivalents.

1 ディスプレイシステム
100 ディスプレイ装置
110 映像受信部
120 映像処理部
130 ディスプレイ部
140 第1通信部
150 第1制御部
200 入力装置
210 タッチセンサー
220 第2通信部
230 モーションセンサー
240 第2制御部
DESCRIPTION OF SYMBOLS 1 Display system 100 Display apparatus 110 Image | video receiving part 120 Image | video process part 130 Display part 140 1st communication part 150 1st control part 200 Input device 210 Touch sensor 220 2nd communication part 230 Motion sensor 240 2nd control part

Claims (15)

ディスプレイ装置の入力装置において、
タッチを感知するタッチセンサーと;
前記入力装置の動きを感知するモーションセンサーと;
前記ディスプレイ装置と通信する通信部と;
前記モーションセンサーによって前記動きが感知されれば前記ディスプレイ装置に表示されている映像がスクロールされるように前記通信部を通じて前記動きに対応する第1制御信号を送信し、前記タッチセンサーを通じて前記タッチが感知されれば前記スクロールされた映像内でオブジェクトが移動するように前記タッチセンサーを通じる前記タッチに対応する第2制御信号を前記通信部を通じて送信する制御部と;を含むことを特徴とする入力装置。
In the input device of the display device,
A touch sensor for sensing touch;
A motion sensor for sensing the movement of the input device;
A communication unit communicating with the display device;
If the motion is detected by the motion sensor, a first control signal corresponding to the motion is transmitted through the communication unit so that an image displayed on the display device is scrolled, and the touch is detected through the touch sensor. And a control unit that transmits a second control signal corresponding to the touch through the touch sensor through the communication unit so that the object moves within the scrolled image when detected. apparatus.
前記映像は、選択可能な複数のアイテムを含み、
前記オブジェクトは、前記複数のアイテムの中で何れか一つのアイテムに対するハイライトインジケーター及び前記何れか一つのアイテムを指示するカーソルの中で何れか一つを含むことを特徴とする請求項1に記載の入力装置。
The video includes a plurality of selectable items,
The object according to claim 1, wherein the object includes any one of a highlight indicator for any one item among the plurality of items and a cursor indicating the any one item. Input device.
前記モーションセンサーは、既設定された3軸座標系上の前記入力装置の動きを感知することを特徴とする請求項1に記載の入力装置。   The input device according to claim 1, wherein the motion sensor senses a motion of the input device on a preset three-axis coordinate system. 前記制御部は、前記タッチセンサーがタッチされた状態で前記第1制御信号を生成することを特徴とする請求項1に記載の入力装置。   The input device according to claim 1, wherein the control unit generates the first control signal in a state where the touch sensor is touched. 前記制御部は、前記タッチセンサー上でのドラッグ動作に対応して前記第2制御信号を生成することを特徴とする請求項1に記載の入力装置。   The input device according to claim 1, wherein the control unit generates the second control signal in response to a drag operation on the touch sensor. 前記制御部は、チャンネル選局のためのチャンネル番号目録の映像が前記ディスプレイ装置に円形で表示されている場合に、前記タッチセンサーによる前記タッチの感知及び前記モーションセンサーによる前記動きの感知の中で少なくとも一つが発生すれば、前記チャンネル番号目録が回転するように前記通信部を通じて前記感知された情報を前記ディスプレイ装置に送信し、
前記感知された動き情報による回転は、前記感知されたタッチ情報による回転より大きい単位で前記チャンネル番号目録を回転させることを特徴とする請求項1に記載の入力装置。
The controller may be configured to detect the touch by the touch sensor and the motion by the motion sensor when a video of a channel number list for channel selection is displayed in a circle on the display device. If at least one occurs, the sensed information is transmitted to the display device through the communication unit so that the channel number list is rotated.
The input apparatus of claim 1, wherein the rotation based on the sensed motion information rotates the channel number list by a unit larger than the rotation based on the sensed touch information.
前記感知された情報は、前記入力装置の回転角度を含むことを特徴とする請求項6に記載の入力装置。   The input device according to claim 6, wherein the sensed information includes a rotation angle of the input device. 前記制御部は、前記モーションセンサーによって前記入力装置の回転角度が初期値に復帰したと感知されれば、前記チャンネル番号目録の回転を中止させるコマンドを生成して前記通信部を通じて送信することを特徴とする請求項7に記載の入力装置。   The controller generates a command for stopping the rotation of the channel number list when the motion sensor senses that the rotation angle of the input device has returned to an initial value, and transmits the command through the communication unit. The input device according to claim 7. ディスプレイ装置において、
ディスプレイ部と;
所定の映像が前記ディスプレイ部に表示されるように処理する映像処理部と;
タッチを感知するタッチセンサー及び自らの動きを感知するモーションセンサーを含む入力装置と通信する通信部と;
前記通信部に受信される前記モーションセンサーによる前記入力装置の動き情報に対応して前記映像をスクロールさせ、前記通信部に受信される前記タッチセンサーによるタッチ情報に対応して前記スクロールされた映像内のオブジェクトを移動させる制御部と;を含むことを特徴とするディスプレイ装置。
In the display device,
A display unit;
A video processing unit for processing so that a predetermined video is displayed on the display unit;
A communication unit communicating with an input device including a touch sensor for sensing a touch and a motion sensor for sensing its own movement;
The video is scrolled in response to the motion information of the input device by the motion sensor received by the communication unit, and the scrolled video in response to the touch information by the touch sensor received by the communication unit And a control unit for moving the object.
前記映像は、選択可能な複数のアイテムを含み、
前記オブジェクトは前記複数のアイテムの中で何れか一つのアイテムに対するハイライトインジケーター及び前記何れか一つのアイテムを指示するカーソルの中で何れか一つを含むことを特徴とする請求項9に記載のディスプレイ装置。
The video includes a plurality of selectable items,
The object according to claim 9, wherein the object includes any one of a highlight indicator for any one of the plurality of items and a cursor indicating the any one item. Display device.
前記タッチセンサーによる前記タッチ情報は、前記タッチセンサー上でのドラッグ動作に対応することを特徴とする請求項9に記載のディスプレイ装置。   The display apparatus according to claim 9, wherein the touch information by the touch sensor corresponds to a drag operation on the touch sensor. 前記制御部は、チャンネル選局のためのチャンネル番号目録の映像を前記ディスプレイ部に円形で表示した状態で、前記入力装置から前記タッチセンサーによる前記タッチの感知及び前記モーションセンサーによる前記動きの感知の中で少なくとも一つに関する情報を受信すれば、前記受信された情報に対応して前記チャンネル番号目録を回転させ、
前記感知された動き情報による回転は、前記感知されたタッチ情報による回転より大きい単位で前記チャンネル番号目録を回転させることを特徴とする請求項9に記載のディスプレイ装置。
The control unit is configured to detect the touch by the touch sensor and the motion by the motion sensor from the input device in a state where a video of a channel number list for channel selection is displayed in a circle on the display unit. If information on at least one of them is received, the channel number list is rotated corresponding to the received information,
The display apparatus of claim 9, wherein the rotation based on the sensed motion information rotates the channel number list by a unit larger than the rotation based on the sensed touch information.
前記受信された情報は、前記入力装置の回転角度を含むことを特徴とする請求項12に記載のディスプレイ装置。   The display device of claim 12, wherein the received information includes a rotation angle of the input device. 前記受信された情報は、前記入力装置の回転方向又は前記タッチによるドラッグ方向をさらに含むことを特徴とする請求項13に記載のディスプレイ装置。   The display apparatus of claim 13, wherein the received information further includes a rotation direction of the input device or a drag direction by the touch. 前記制御部は、前記モーションセンサーによって前記入力装置の回転角度が初期値に復帰したと感知されれば、前記チャンネル番号目録の回転を中止させることを特徴とする請求項13に記載のディスプレイ装置。   The display apparatus of claim 13, wherein the controller stops the rotation of the channel number list if the motion sensor detects that the rotation angle of the input device has returned to an initial value.
JP2013000263A 2012-01-06 2013-01-04 Display apparatus, input apparatus, and method for controlling the same Pending JP2013143775A (en)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2012-0001867 2012-01-06
KR20120001867 2012-01-06
KR10-2012-0002424 2012-01-09
KR20120002424 2012-01-09
KR10-2012-0052402 2012-05-17
KR1020120052402A KR20130081189A (en) 2012-01-06 2012-05-17 Display apparatus, input apparatus and control methods of the same

Publications (1)

Publication Number Publication Date
JP2013143775A true JP2013143775A (en) 2013-07-22

Family

ID=48993008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013000263A Pending JP2013143775A (en) 2012-01-06 2013-01-04 Display apparatus, input apparatus, and method for controlling the same

Country Status (3)

Country Link
JP (1) JP2013143775A (en)
KR (1) KR20130081189A (en)
CN (1) CN103197792A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014083885A1 (en) * 2012-11-30 2014-06-05 Kabushiki Kaisha Toshiba Apparatus operation device and computer program
JP2017034580A (en) * 2015-08-05 2017-02-09 ミネベア株式会社 Remote controller and variable apparatus system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546796A (en) * 2013-10-30 2014-01-29 乐视致新电子科技(天津)有限公司 Method and device for controlling smart TV interface to roll
CN105446460B (en) * 2014-06-13 2018-11-13 联想(北京)有限公司 A kind of information processing method, interactive class attachment and electronic equipment
CN108810592A (en) * 2017-04-28 2018-11-13 数码士有限公司 The remote controler and its driving method of strength input are provided in media system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333361A (en) * 2002-05-14 2003-11-21 Alps Electric Co Ltd Remote controller and electronic apparatus
JP2007142513A (en) * 2005-11-15 2007-06-07 Funai Electric Co Ltd Operation system
JP2009265897A (en) * 2008-04-24 2009-11-12 Sony Corp Hand-held information processor, controller, control system and control method
JP2011077863A (en) * 2009-09-30 2011-04-14 Sony Corp Remote operation device, remote operation system, remote operation method and program
JP2011145744A (en) * 2010-01-12 2011-07-28 Nintendo Co Ltd Information processing apparatus, information processing program, information processing system, and method of selecting object to be selected

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7503057B2 (en) * 1997-06-02 2009-03-10 Sony Corporation Client and server system
US8194037B2 (en) * 2007-12-14 2012-06-05 Apple Inc. Centering a 3D remote controller in a media system
US8300020B2 (en) * 2008-08-15 2012-10-30 Apple Inc. Hybrid inertial and touch sensing input device
CN104635922A (en) * 2009-08-10 2015-05-20 晶翔微系统股份有限公司 Instruction device
KR20110138925A (en) * 2010-06-22 2011-12-28 삼성전자주식회사 Display apparatus and control methof thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333361A (en) * 2002-05-14 2003-11-21 Alps Electric Co Ltd Remote controller and electronic apparatus
JP2007142513A (en) * 2005-11-15 2007-06-07 Funai Electric Co Ltd Operation system
JP2009265897A (en) * 2008-04-24 2009-11-12 Sony Corp Hand-held information processor, controller, control system and control method
JP2011077863A (en) * 2009-09-30 2011-04-14 Sony Corp Remote operation device, remote operation system, remote operation method and program
JP2011145744A (en) * 2010-01-12 2011-07-28 Nintendo Co Ltd Information processing apparatus, information processing program, information processing system, and method of selecting object to be selected

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014083885A1 (en) * 2012-11-30 2014-06-05 Kabushiki Kaisha Toshiba Apparatus operation device and computer program
JP2017034580A (en) * 2015-08-05 2017-02-09 ミネベア株式会社 Remote controller and variable apparatus system
US10083601B2 (en) 2015-08-05 2018-09-25 Minebea Co., Ltd. Remote control device and apparatus controlling system

Also Published As

Publication number Publication date
CN103197792A (en) 2013-07-10
KR20130081189A (en) 2013-07-16

Similar Documents

Publication Publication Date Title
KR101969318B1 (en) Display apparatus and control method thereof
TWI592857B (en) Display system and tv apparatus
US10437378B2 (en) Input apparatus, display apparatus and control method thereof which receives an input to an input area of the input apparatus which is divided into a plurality of areas by using the input apparatus including a touch sensor
US8896527B2 (en) Multi-resolution pointing system
EP2613227B1 (en) Input apparatus and control method thereof
JP2011253493A (en) Operation terminal device, electronic device and electronic device system
EP2613242A2 (en) Input apparatus, display apparatus and methods for controlling a display through user manipulation
JP6084038B2 (en) Display device and control method thereof
WO2012104288A1 (en) A device having a multipoint sensing surface
KR20130080891A (en) Display apparatus and control method thereof
US20140240263A1 (en) Display apparatus, input apparatus, and control method thereof
KR101943419B1 (en) Input apparatus, display apparatus, control method thereof and display system
JP2013143775A (en) Display apparatus, input apparatus, and method for controlling the same
US9753561B2 (en) Display apparatus, control method thereof, input apparatus, and display system
JP4983210B2 (en) Display item selection system, operation device, and display item selection method
MX2014015378A (en) Input apparatus, display apparatus, control method thereof and display system.
JP2016021141A (en) Information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170627