KR102037415B1

KR102037415B1 - Method and system for controlling display device, and computer readable recording medium thereof

Info

Publication number: KR102037415B1
Application number: KR1020130036173A
Authority: KR
Inventors: 전병정; 정연건; 신인영; 전혜영; 최선; 최원종
Original assignee: 삼성전자주식회사
Priority date: 2012-04-07
Filing date: 2013-04-03
Publication date: 2019-10-28
Also published as: CN104272253A; KR20130113987A

Abstract

휴대 단말 및 디스플레이 디바이스 제어 방법은, 상기 디스플레이 디바이스의 화면상에 디스플레이 되고 있는 제 1 배열의 아이콘들의 제 1 디스플레이 정보를 수신하는 단계; 상기 제 1 디스플레이 정보에 기초하여 휴대 단말의 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하는 단계; 상기 휴대 단말의 상기 디스플레이상에 디스플레이 되고 있는 상기 제 1 배열의 아이콘들을 변경하여 제 2 배열의 아이콘들을 생성하는 단계; 상기 제 2 배열의 아이콘들에 기초하여 제 2 디스플레이 정보를 생성하는 단계; 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청을 상기 디스플레이 디바이스로 전송하는 단계를 포함하고, 상기 요청은 상기 제 2 디스플레이 정보를 포함한다.A method for controlling a mobile terminal and a display device, the method comprising: receiving first display information of icons of a first array being displayed on a screen of the display device; Displaying the icons of the first arrangement on a display of the portable terminal based on the first display information; Generating icons of a second arrangement by changing icons of the first arrangement being displayed on the display of the portable terminal; Generating second display information based on the icons in the second arrangement; Sending a request to the display device to display the second array of icons on the display of the display device, the request including the second display information.

Description

Method and system for controlling display device, and computer readable recording medium

본 발명은 디스플레이 디바이스의 제어에 관한 것으로, 특히, 원격으로 디스플레이 디바이스의 화면(screen)을 편집하기 위한 방법 및 시스템과 기록 매체에 관한 것이다. The present invention relates to control of a display device, and more particularly, to a method and system and a recording medium for remotely editing a screen of a display device.

통신 기능을 갖는 디스플레이 디바이스의 기능이 다양해지고 있다. 예를 들어 디지털 TV(Digital Television)의 경우에 방송 컨텐츠를 수신할 수 있는 기능뿐 아니라 웹 브라우징(web browsing), 어플리케이션 브라우징(application browsing), 컨텐츠 브라우징(contents browsing) 등 다양한 기능을 수행할 수 있게 되었다. The function of the display device having the communication function is diversified. For example, in the case of digital television, not only the ability to receive broadcast content but also various functions such as web browsing, application browsing, and content browsing can be performed. It became.

디스플레이 디바이스의 다양한 기능에 대한 원격 제어가 요구되고 있다. There is a need for remote control of various functions of the display device.

본 발명이 해결하고자 하는 과제는 휴대 단말(portable device)을 사용하여 디스플레이 디바이스상에 디스플레이 되고 있는 화면을 제어하는 방법 및 시스템을 제공하는데 있다. An object of the present invention is to provide a method and system for controlling a screen being displayed on a display device using a portable device.

본 발명이 해결하고자 하는 다른 과제는 휴대 단말을 사용하여 디스플레이 디바이스상에 디스플레이 되고 있는 복수의 어플리케이션을 포함하는 화면을 제어하는 방법 및 시스템를 제공하는데 있다. Another object of the present invention is to provide a method and system for controlling a screen including a plurality of applications being displayed on a display device using a portable terminal.

본 발명이 해결하고자 하는 또 다른 과제는 휴대 단말을 사용하여 디스플레이 디바이스상에 디스플레이 되고 있는 화면에 기초하여 디스플레이 디바이스를 제어하는 방법 및 시스템를 제공하는데 있다. Another object of the present invention is to provide a method and system for controlling a display device based on a screen being displayed on a display device using a portable terminal.

상기 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 디바이스 제어 방법은, 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 제 1 배열(arrangement)의 아이콘들의 제 1 디스플레이 정보를 수신하는 단계; 상기 제 1 디스플레이 정보에 기초하여 휴대 단말의 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하는 단계; 상기 휴대 단말의 상기 디스플레이 상에 디스플레이 되고 있는 상기 제 1 배열의 아이콘들을 변경하여(modifying) 제 2 배열의 아이콘들을 생성하는 단계; 상기 제 2 배열의 아이콘들에 기초하여 제 2 디스플레이 정보를 생성하는 단계; 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청(request)을 상기 디스플레이 디바이스로 전송하는 단계를 포함하고, 상기 요청은 상기 제 2 디스플레이 정보를 포함하는 것이 바람직하다. According to an aspect of the present invention, there is provided a method of controlling a display device, the method including: receiving first display information of icons of a first arrangement displayed on the screen of the display device; Displaying the icons of the first arrangement on a display of the portable terminal based on the first display information; Generating icons of a second arrangement by modifying icons of the first arrangement being displayed on the display of the portable terminal; Generating second display information based on the icons in the second arrangement; And sending a request to the display device to display the second array of icons on the display of the display device, wherein the request includes the second display information.

상기 제 1 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 상기 아이콘들의 위치를 나타내는 상기 아이콘들의 디스플레이 위치 정보를 포함할 수 있다. The first display information may include display position information of the icons indicating the positions of the icons being displayed on the screen of the display device.

상기 디스플레이 위치 정보는 상기 디스플레이 디바이스의 상기 화면의 좌표 위치들에 관련된 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 좌표 위치들에서 아이콘들의 절대적인 위치들(absolute positions)을 나타내는 좌표 정보를 포함할 수 있다.The display position information may include coordinate information indicating absolute positions of icons at coordinate positions being displayed on the screen of the display device relative to coordinate positions of the screen of the display device. .

상기 디스플레이 위치 정보는 상기 디스플레이 디바이스의 상기 화면상에서 서로 관련된 상기 아이콘들의 상대적인 위치들을 나타내는 좌표 정보를 포함할 수 있다. The display position information may include coordinate information indicating relative positions of the icons related to each other on the screen of the display device.

상기 제 1 디스플레이 정보는 상기 아이콘들의 아이콘 이미지 데이터를 더 포함할 수 있다. The first display information may further include icon image data of the icons.

상기 제 1 디스플레이 정보는 XML(extensible markup language) 데이터가 될 수 있다. The first display information may be extensible markup language (XML) data.

상기 제 2 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 상기 아이콘들의 새로운 위치들을 나타내기 위해 변경된(modified) 상기 제 1 디스플레이 정보가 될 수 있다.The second display information can be the modified first display information to indicate new positions of the icons being displayed on the screen of the display device.

상기 제 2 디스플레이 정보는 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 되고 있는 상기 아이콘들의 새로운 위치들과 상기 제 1 디스플레이 정보간의 차가 될 수 있다.The second display information may be a difference between the new positions of the icons being displayed on the screen of the display device and the first display information.

상기 방법은 상기 디스플레이 디바이스가 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하고 있는 동안 상기 휴대 단말의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하는 단계를 더 포함할 수 있다. The method may further comprise displaying the second array of icons on the display of the portable terminal while the display device is displaying the first array of icons on the display of the display device. .

상기 변경(modifying) 단계는 상기 제 1 배열의 아이콘들에서 상기 아이콘들중 적어도 하나의 아이콘의 위치를 상기 제 2 배열의 아이콘들에서 상기 아이콘들중 상기 적어도 하나의 아이콘의 새로운 위치로 변경하는 단계, 상기 제 1 배열의 아이콘들에서 적어도 하나의 아이콘을 삭제하는 단계, 및 상기 제 1 배열의 아이콘에 새로운 아이콘을 추가하는 단계중 적어도 하나를 포함할 수 있다. The modifying step includes changing a position of at least one of the icons in the icons of the first arrangement to a new position of the at least one of the icons in the icons of the second arrangement. The method may include deleting at least one icon from the icons of the first arrangement, and adding a new icon to the icons of the first arrangement.

상기 제 1 디스플레이 정보는 XML(extensible markup language) 데이터이고, 상기 변경 단계는 상기 새로운 위치로 변경 단계, 상기 아이콘을 삭제 단계, 및 상기 아이콘을 추가 단계중 적어도 하나에 기초하여 상기 XML 데이터를 변경하는 단계를 포함할 수 있다.The first display information is extensible markup language (XML) data, and the changing step includes changing the XML data based on at least one of changing to the new location, deleting the icon, and adding the icon. It may include a step.

상기 변경하는(modifying) 단계는 상기 제 1 배열의 아이콘들에 아이콘을 변경하는 상기 휴대 단말의 디스플레이상에 입력을 수신하는 단계; 상기 입력에 기초하여 상기 제 2 배열의 아이콘들을 생성하는 단계를 포함할 수 있다.The modifying step includes receiving an input on a display of the portable terminal that changes an icon to the icons of the first arrangement; Generating icons of the second arrangement based on the input.

상기 아이콘들은 상기 디스플레이 디바이스에 의해 재생될 컨텐트를 나타내는 아이콘들 및 상기 디스플레이 디바이스의 어플리케이션들을 나타내는 아이콘들을 포함할 수 있다. The icons may include icons representing content to be played by the display device and icons representing applications of the display device.

상기 과제를 달성하기 위한 본 발명의 다른 실시 예에 따른 휴대 단말은, 디스플레이, 디스플레이 디바이스의 화면상에 디스플레이 된 제 1 배열의 아이콘들의 제 1 디스플레이 정보를 수신하는 통신부; 상기 제 1 디스플레이 정보에 기초하여 상기 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하기 위해 상기 디스플레이를 제어하고, 상기 디스플레이상에 디스플레이 된 상기 제 1 배열의 아이콘들을 변경하는 입력을 수신하고, 상기 입력에 기초한 제 2 배열의 아이콘들을 생성하고, 상기 제 2 배열의 아이콘들에 기초한 제 2 디스플레이 정보를 생성하고, 상기 디스플레이 디바이스의 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청을 상기 디스플레이 디바이스로 전송하기 위해 상기 통신 유니트를 제어하는 제어기를 포함하고, 상기 요청은 상기 제 2 디스플레이 정보를 포함하는 것이 바람직하다. According to another aspect of the present invention, there is provided a portable terminal including: a communication unit configured to receive first display information of icons of a first arrangement displayed on a screen of a display and a display device; Control the display to display the first array of icons on the display based on the first display information, receive an input to change the icons of the first array displayed on the display, the input Generate a second array of icons based on the second display information, generate second display information based on the icons of the second array, and display the second array of icons on the display of the display device; And a controller for controlling the communication unit for transmission to the network, wherein the request includes the second display information.

상기 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른 휴대 단말이 디스플레이 디바이스를 제어하는 방법을 실행하게 하는 프로그램이 기록된 비일시적(non-transitory) 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 방법은, 상기 디스플레이 디바이스의 상기 화면상에 디스플레이 된 제 1 배열(arrangement)의 아이콘들의 제 1 디스플레이 정보를 수신하는 단계; 상기 제 1 디스플레이 정보에 기초하여 휴대 단말의 디스플레이상에 상기 제 1 배열의 아이콘들을 디스플레이 하는 단계; 상기 휴대 단말의 상기 디스플레이 상에 디스플레이 되고 있는 상기 제 1 배열의 아이콘들을 변경하여(modifying) 제 2 배열의 아이콘들을 생성하는 단계; 상기 제 2 배열의 아이콘들에 기초하여 제 2 디스플레이 정보를 생성하는 단계; 상기 디스플레이 디바이스의 상기 디스플레이상에 상기 제 2 배열의 아이콘들을 디스플레이 하기 위한 요청(request)을 상기 디스플레이 디바이스로 전송하는 단계를 포함하고, 상기 요청은 상기 제 2 디스플레이 정보를 포함하는 것이 바람직하다.In a non-transitory computer readable recording medium having recorded thereon a program for executing a method of controlling a display device by a mobile terminal according to another embodiment of the present invention, The method includes receiving first display information of icons of a first arrangement displayed on the screen of the display device; Displaying the icons of the first arrangement on a display of the portable terminal based on the first display information; Generating icons of a second arrangement by modifying icons of the first arrangement being displayed on the display of the portable terminal; Generating second display information based on the icons in the second arrangement; And sending a request to the display device to display the second array of icons on the display of the display device, wherein the request includes the second display information.

도 1a는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집 및/또는 기능을 제어하기 위한 시스템을 설명하는 블록도이다.
도 1b는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집 및/또는 기능을 제어하기 위한 시스템을 설명하는 블록도이다.
도 2a는 바람직한 실시 예에 따른 휴대 단말을 설명하는 블록도이다.
도 2b는 바람직한 실시 예들에 따른 휴대 단말을 설명하는 블록도이다.
도 3은 바람직한 실시 예들에 따른 디스플레이 디바이스를 설명하는 블록도이다.
도 4는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 5a 내지 도 5d는 도 4의 방법에 따른 디스플레이 디바이스와 휴대 단말의 화면을 설명하는 화면의 예들이다.
도 6은 바람직한 실시 예에 따른 도 4의 방법의 제 2 배열을 생성하는 과정을 설명하는 흐름도이다.
도 7은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법에서 휴대 단말의 동작을 설명하는 흐름도이다.
도 8은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 9는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 10은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 11은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집 및 기능을 제어하는 방법을 설명하는 흐름도이다.
도 12는 디스플레이 디바이스의 기능 제어를 설명하는 화면 예이다.
도 13은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 14는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 15는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 16은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 17은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 18은 바람직한 실시 예에 따른 디스플레이 디바이스의 기능을 실행하는 방법을 설명하는 흐름도이다.
도 19는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 20은 바람직한 실시 예에 따른 서버를 사용하여 디스플레이 디바이스의 화면 편집을 제어 방법을 설명하는 흐름도이다.
도 21은 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다.
도 22는 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 1A is a block diagram illustrating a system for controlling screen editing and / or function of a display device according to an exemplary embodiment.
1B is a block diagram illustrating a system for controlling screen editing and / or function of a display device according to an exemplary embodiment.
2A is a block diagram illustrating a portable terminal according to an exemplary embodiment.
2B is a block diagram illustrating a portable terminal according to exemplary embodiments.
3 is a block diagram illustrating a display device according to exemplary embodiments.
4 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
5A through 5D are examples of screens illustrating screens of a display device and a mobile terminal according to the method of FIG. 4.
6 is a flow chart illustrating a process of creating a second arrangement of the method of FIG. 4 in accordance with a preferred embodiment.
7 is a flowchart illustrating an operation of a mobile terminal in a method of controlling screen editing of a display device according to an exemplary embodiment.
8 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
9 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
10 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
11 is a flowchart illustrating a method of controlling screen editing and a function of a display device according to an exemplary embodiment.
12 is an example screen for explaining the function control of the display device.
13 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
14 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
15 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
16 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
17 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
18 is a flowchart illustrating a method of executing a function of a display device according to an exemplary embodiment.
19 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
20 is a flowchart illustrating a method of controlling screen editing of a display device using a server according to an exemplary embodiment.
21 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.
22 is a flowchart illustrating a method of controlling screen editing of a display device according to an exemplary embodiment.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. The terms used in the present application have been selected as widely used general terms as possible in consideration of the functions in the present invention, but may vary according to the intention of the person skilled in the art, precedents, or the emergence of new technologies. In addition, in certain cases, there is also a term arbitrarily selected by the applicant, in which case the meaning will be described in detail in the description of the invention. Therefore, the terms used in the present invention should be defined based on the meanings of the terms and the contents throughout the present invention, rather than the names of the simple terms.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

명세서 전반에서 언급되는 제 1 배열과 제 2 배열은 각각 디스플레이 되고 있는 화면에 포함된 정보들의 위치에 기초한 1차원(1 Dimensional) 또는 2차(2 Dimensional)원 배열을 의미한다. 상기 디스플레이 되고 있는 화면은 메뉴 화면(menu screen), 어플리케이션 브라우징 화면(application browsing screen), 컨텐츠 브라우징 화면(content browsing screen), 웹 브라우징 화면(Web browsing screen), 및 주변 기기 제어 화면(peripheral device control screen)을 포함할 수 있다. The first and second arrays referred to throughout the specification mean a one-dimensional or two-dimensional circle array based on the location of information included in the screen being displayed, respectively. The displayed screen is a menu screen, an application browsing screen, a content browsing screen, a web browsing screen, and a peripheral device control screen. ) May be included.

명세서 전반에서 언급되고 있는 오브젝트는 디스플레이 되는 있는 화면에 포함된 하나의 정보를 의미한다. 상기 화면에 포함된 정보의 예는 어플리케이션의 이미지, 컨텐츠의 이미지, 웹 페이지의 이미지, 주변 기기의 이미지를 포함할 수 있다. 상기 어플리케이션의 이미지, 컨텐츠의 이미지, 웹 페이지의 이미지, 주변 기기의 이미지들은 각각을 명료하게 나타낼 수 있는 상징적인 이미지 또는 메뉴형태로 나타낸 이미지를 의미한다. 어플리케이션의 이미지는 예를 들어 어플리케이션의 아이콘에 대응될 수 있다. The object referred to throughout the specification means one piece of information included in the screen being displayed. Examples of the information included in the screen may include an image of an application, an image of a content, an image of a web page, and an image of a peripheral device. The image of the application, the image of the content, the image of the web page, the image of the peripheral device means an image represented in the form of a symbolic image or a menu that can clearly represent each. The image of the application may correspond to an icon of the application, for example.

오브젝트의 정보는 상술한 어플리케이션, 컨텐츠, 웹 페이지, 및 주변 기기의 정보를 의미하고, 오브젝트의 정보는 상술한 아이콘과 같은 상징적인 이미지, 썸네일(thumbnail), 또는 메뉴 형태로 나타낸 이미지를 포함할 수 있다. 명세서 전반에서 언급되고 있는 오브젝트의 정보는 상기 화면에 포함된 정보와 화면에 포함되지 않은 정보를 포함한다. 화면에 포함된 정보는 상술한 바와 같은 상징적인 이미지, 썸네일(thumbnail), 메뉴 형태의 이미지중 적어도 하나를 포함할 수 있다. 화면에 포함되지 않은 정보는 예를 들어 디스플레이 위치 정보, 어플리케이션에 대한 상세 정보(또는 안내 정보), 어플리케이션의 미리 보기 정보, 및 어플리케이션의 편집 제어 정보(예를 들어, 이동(move), 삭제(erase), 복사(copy), 설치(set), 추가(add), 등)중 적어도 하나를 포함할 수 있다. 어플리케이션의 상세 정보는 어플리케이션의 타이틀, 어플리케이션의 종류, 및 어플리케이션의 내용을 나타내는 정보를 포함한다. The information on the object may mean information on the above-described application, content, web page, and peripheral device, and the information on the object may include a symbolic image such as the aforementioned icon, a thumbnail, or an image represented by a menu. have. Information of the object mentioned throughout the specification includes information included in the screen and information not included in the screen. The information included in the screen may include at least one of a symbolic image, a thumbnail, and a menu type image as described above. Information not included in the screen may include, for example, display position information, detailed information (or guide information) about the application, preview information of the application, and edit control information of the application (for example, move and erase). ), Copy, set, add, etc.). The detailed information of the application includes information indicating the title of the application, the type of the application, and the content of the application.

컨텐츠의 정보, 웹 페이지의 정보, 및 주변 기기의 정보 역시 상술한 어플리케이션의 정보와 같이 화면에 포함된 정보와 화면에 포함되지 않는 정보를 포함할 수 있다. 화면에 포함되지 않은 정보는 화면상에 디스플레이 되지 않은 정보를 의미한다. 화면에 포함되지 않은 정보는 해당되는 정보의 메타 데이터 또는 속성정보를 의미할 수 있다. The information of the content, the information of the web page, and the information of the peripheral device may also include information included in the screen and information not included in the screen, like the above-described information of the application. Information not included in the screen means information not displayed on the screen. Information not included in the screen may refer to metadata or attribute information of the corresponding information.

주변 기기는 디스플레이 디바이스에 연결 가능한 기기를 의미한다. 주변 기기는 예를 들어 미디어 기록 및 재생 장치, 프린터, 카메라, 및 오디오 장치 등이 포함될 수 있다. The peripheral device refers to a device that can be connected to the display device. Peripherals can include, for example, media recording and playback devices, printers, cameras, audio devices, and the like.

명세서 전반에서 언급되고 있는 제 1 배열과 제 2 배열은 화면상의 정보의 배열을 의미한다. 즉, 화면상의 메뉴 형태의 어플리케이션의 배열, 화면상의 컨텐츠의 배열, 화면상의 메뉴 형태의 웹 페이지의 배열, 화면상의 메뉴 형태의 주변 기기의 배열을 의미할 수 있다. As used throughout the specification, the first and second arrangements refer to an arrangement of information on a screen. That is, it may mean an arrangement of applications on the screen, an arrangement of contents on the screen, an arrangement of web pages on the screen, and an arrangement of peripheral devices on the screen.

제 1 배열은 디스플레이 디바이스에 디스플레이 되고 있는 화면에 기초한 배열을 의미한다. 제 2 배열은 휴대 단말의 화면 편집을 제어하여 생성된 배열을 의미한다. 따라서 제 2 배열은 제 1 배열에 기초한 화면에 포함된 정보를 변경하여 얻은 정보를 포함하는 화면 전체의 정보 배열을 의미할 수 있다. 그러나 제 2 배열은 화면상의 변경된 정보의 배열만을 의미할 수 있다. The first arrangement refers to an arrangement based on the screen being displayed on the display device. The second arrangement refers to an arrangement generated by controlling screen editing of the mobile terminal. Accordingly, the second array may mean an information array of the entire screen including information obtained by changing information included in the screen based on the first array. However, the second arrangement may only mean an arrangement of changed information on the screen.

이하 실시 예들에서 언급되는 디스플레이 디바이스상에 디스플레이 되고 있는 복수 오브젝트의 정보에 기초한 화면 편집 제어는 디스플레이 디바이스에 디스플레이 되고 있는 정보의 화면 편집 제어 또는 디스플레이 디바이스의 제어로 이해될 수 있다. The screen editing control based on the information of the plurality of objects being displayed on the display device mentioned in the following embodiments may be understood as the screen editing control of the information displayed on the display device or the control of the display device.

명세서 전반에서의 사용자의 입력 정보는 사용자의 제스처(gesture)에 의존할 수 있다. 사용자의 제스처는 입력 장치에 따라 정의될 수 있다. 즉, 입력 장치가 터치스크린 기반일 때, 사용자의 제스처는 예를 들어 탭(tap), 터치 앤 홀드(touch and hold), 더블 탭(double tap), 드래그(drag), 패닝(panning), 플릭(flick), 드래그 앤 드롭(drag and drop), 및 스윕(sweep) 등을 포함할 수 있으나 이로 제한되지 않는다. 터치스크린 기반의 사용자의 제스처는 사용자의 손가락 또는 터치 도구(예를 들어, stylus pen)를 이용하여 수행될 수 있다. User input information throughout the specification may depend on the user's gesture. The gesture of the user may be defined according to the input device. That is, when the input device is touch screen based, the user's gesture may be, for example, tap, touch and hold, double tap, drag, panning, flick (flick), drag and drop, and sweep, and the like, but are not limited thereto. Gestures of the user based on the touch screen may be performed using a user's finger or a touch tool (for example, a stylus pen).

입력 장치가 카메라 기반일 때, 사용자의 제스처는 카메라를 이용하여 촬영된 영상 기반의 공간 체스처(space gesture)를 포함할 수 있다. 그러나, 사용자 제스처는 휴대 단말의 움직임(예를 들어 휴대 단말 흔들기) 기반의 공간 제스처를 포함할 수 있다. When the input device is camera-based, the user's gesture may include an image-based space gesture photographed using the camera. However, the user gesture may include a spatial gesture based on the movement of the mobile terminal (eg, shaking the mobile terminal).

입력 장치가 물리적 버튼, 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠중 적어도 하나를 포함할 때, 사용자 입력 정보는 입력 장치에 대한 사용자의 물리적인 제어에 의존할 수 있다. 입력 장치가 오디오 입력 장치 기반일 때, 사용자 입력 정보는 자연어(natural language) 기반의 사용자의 음성 인식에 의존할 수 있다. When the input device includes at least one of a physical button, a dial, a slider switch, a joystick, and a click wheel, the user input information may depend on the user's physical control of the input device. When the input device is based on the audio input device, the user input information may depend on the user's speech recognition based on natural language.

이하, 바람직한 실시 예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings, and in the following description with reference to the accompanying drawings, the same or corresponding components will be given the same reference numerals and redundant description thereof will be omitted.

도 1a는 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면을 편집하기 위한 시스템(100)을 설명하는 블록도이다. 도 1a의 블록도는 휴대 단말(110), 디스플레이 디바이스(120), 및 서버(130)간의 네트워크 구성을 설명할 수 있다. 1A is a block diagram illustrating a system 100 for editing a screen of a display device 120 according to a preferred embodiment. The block diagram of FIG. 1A may describe a network configuration between the mobile terminal 110, the display device 120, and the server 130.

도 1a를 참조하면, 시스템(100)은 휴대 단말(110), 디스플레이 디바이스(120), 및 서버(130)를 포함한다. Referring to FIG. 1A, the system 100 includes a mobile terminal 110, a display device 120, and a server 130.

시스템은 도 1a에 도시된 시스템(100)으로 제한되지 않고 도 1b의 시스템(101)으로 구성될 수 있다. 시스템(101)은 휴대 단말(111)과 디스플레이 디바이스(121)를 포함한다. 휴대 단말(110, 111)과 디스플레이 디바이스(120, 121)는 각각 제 1 기기와 제 2 기기로 언급될 수 있다. 휴대 단말(110, 111)은 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 디바이스 또는 디스플레이 디바이스를 제어하는 디바이스로써 언급될 수 있다. The system is not limited to the system 100 shown in FIG. 1A but may be configured as the system 101 of FIG. 1B. The system 101 includes a portable terminal 111 and a display device 121. The mobile terminals 110 and 111 and the display devices 120 and 121 may be referred to as first and second devices, respectively. The mobile terminals 110 and 111 may be referred to as a device that controls screen editing of the display devices 120 and 121 or as a device that controls the display device.

도 1a 및 도 1b에 도시된 휴대 단말(110, 111)의 일 예로 스마트 폰(Smart Phone), 노트북(Notebook), 태블릿(Tablet) PC(Personal Computer), 이동 단말기(Mobile Device), 핸드헬드(handheld) 기기 또는 핸드헬드 PC, 패블릿, 및 PDA(Personal Digital Assistant)를 포함하나 이로 제한되지 않는다. Examples of the mobile terminals 110 and 111 shown in FIGS. 1A and 1B include a smart phone, a notebook, a tablet PC, a mobile device, and a handheld. handheld) devices, or handheld PCs, tablets, and personal digital assistants (PDAs).

도 1a의 휴대 단말(110)은 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면의 정보를 디스플레이 디바이스(120) 또는 서버(130)로부터 수신한다. 휴대 단말(110)은 수신된 화면의 정보에 기초하여 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면을 편집하기 위한 편집 제어 신호를 생성한다. 휴대 단말(110)은 또한 디스플레이 디바이스(120)의 기능을 제어하기 위한 기능 제어 신호를 생성할 수 있다. 휴대 단말(110)은 생성된 편집 제어 신호 또는 기능 제어 신호를 디스플레이 디바이스(120) 또는 서버(130)로 전송한다. The mobile terminal 110 of FIG. 1A receives information of a screen being displayed on the display device 120 from the display device 120 or the server 130. The mobile terminal 110 generates an edit control signal for editing the screen displayed on the display device 120 based on the received screen information. The mobile terminal 110 may also generate a function control signal for controlling the function of the display device 120. The mobile terminal 110 transmits the generated edit control signal or function control signal to the display device 120 or the server 130.

도 1b의 휴대 단말(111)은 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면의 정보를 디스플레이 디바이스(121)로부터 수신한다. 휴대 단말(111)은 수신된 화면의 정보에 기초하여 디스플레이 디바이스(121)에 디스플레이 되고 있는 화면에 대한 편집 제어 신호 또는 기능 제어 신호를 생성한다. 휴대 단말(111)은 생성된 편집 제어 신호 또는 기능 제어 신호를 디스플레이 디바이스(121)로 전송한다. The portable terminal 111 of FIG. 1B receives information of a screen displayed on the display device 120 from the display device 121. The portable terminal 111 generates an edit control signal or a function control signal for the screen being displayed on the display device 121 based on the received screen information. The portable terminal 111 transmits the generated edit control signal or function control signal to the display device 121.

도 1a 및 도 1b의 디스플레이 디바이스(120, 121)는 일 예로 통신 기능을 갖는 TV(TeleVision), 통신 기능 및 디스플레이 기능을 갖는 디지털 CE(Consumer Electronics) 기기를 포함하나 이로 제한되지 않는다. 디지털 CE 기기는 DTV(Digital Television), IPTV(Internet Protocol Television), 통신 기능을 갖는 냉장고를 포함하나 이로 제한되지 않는다. The display devices 120 and 121 of FIGS. 1A and 1B include, but are not limited to, a TV (TeleVision) having a communication function and a digital CE (Consumer Electronics) device having a communication function and a display function as an example. Digital CE devices include, but are not limited to, digital television (DTV), internet protocol television (IPTV), and refrigerators with communications capabilities.

도 1a의 디스플레이 디바이스(120)는 디스플레이 정보 요청 신호가 수신되면, 디스플레이 되고 있는 화면의 정보를 휴대 단말(110) 또는 서버(130)로 전송한다. 휴대 단말(110) 또는 서버(130)로부터 디스플레이 되고 있는 화면의 정보에 대한 편집 제어 신호 또는 기능 제어 신호가 수신되면, 디스플레이 디바이스(120)는 수신된 편집 제어 신호에 따라 디스플레이 되고 있는 화면을 편집하거나 수신된 기능 제어 신호에 따라 디스플레이 되고 있는 화면에 기초한 기능을 제어한다. 디스플레이 되고 있는 화면의 편집은 새로운 정보를 디스플레이 하기 위해 디스플레이 되고 있는 화면을 조정하기 위한 제어 또는 화면상에 디스플레이 되고 있는 정보의 다른 환경 설정(a different configuration)이다. 화면에 기초한 기능 제어 신호는 예를 들어 디스플레이 화면을 참조하여 어플리케이션을 실행하기 위한 어플리케이션 실행 제어 신호가 있다. When the display information request signal is received, the display device 120 of FIG. 1A transmits information of the screen being displayed to the mobile terminal 110 or the server 130. When the edit control signal or the function control signal for the information on the screen being displayed from the mobile terminal 110 or the server 130 is received, the display device 120 edits the screen being displayed according to the received edit control signal. Control the function based on the screen being displayed according to the received function control signal. Editing the displayed screen is a control for adjusting the displayed screen to display new information or a different configuration of the information being displayed on the screen. The function control signal based on the screen is, for example, an application execution control signal for executing an application with reference to the display screen.

도 1b의 디스플레이 디바이스(121)는 디스플레이 정보 요청 신호가 수신되면, 디스플레이 되고 있는 화면의 정보를 휴대 단말(111)로 전송한다. 휴대 단말(111)로부터 디스플레이 되고 있는 화면의 정보에 대한 편집 제어 신호 또는 기능 제어 신호가 수신되면, 디스플레이 디바이스(121)는 수신된 편집 제어 신호에 따라 디스플레이 되고 있는 화면을 편집하거나 수신된 기능 제어 신호에 따라 디스플레이 되고 있는 화면에 기초한 기능을 제어한다. 화면에 기초한 기능 제어 신호는 예를 들어 디스플레이 화면을 참조하여 어플리케이션을 실행하기 위한 어플리케이션 실행 제어 신호가 있다. When the display information request signal is received, the display device 121 of FIG. 1B transmits information of the screen being displayed to the mobile terminal 111. When the edit control signal or the function control signal for the information of the screen being displayed from the portable terminal 111 is received, the display device 121 edits the displayed screen according to the received edit control signal or receives the received function control signal. Controls functions based on the screen being displayed. The function control signal based on the screen is, for example, an application execution control signal for executing an application with reference to the display screen.

도 1a의 서버(130)는, 본 발명의 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집 및/또는 기능을 제어하기 위해, 휴대 단말(110)과 디스플레이 디바이스(120)와 통신한다. The server 130 of FIG. 1A communicates with the mobile terminal 110 and the display device 120 to control screen editing and / or function of the display device 120 according to an exemplary embodiment of the present invention.

서버(130)는 통신부(131), 저장부(132), 및 프로세서(133)를 포함한다. 통신부(131)는 휴대 단말(110) 및 디스플레이 디바이스(120)와 유선 또는 무선 통신을 수행할 수 있다. 따라서 통신부(131)는 후술하는 휴대 단말(110)에 포함되는 통신부(208)와 유사하게 구성 및 동작할 수 있다. The server 130 includes a communication unit 131, a storage unit 132, and a processor 133. The communication unit 131 may perform wired or wireless communication with the mobile terminal 110 and the display device 120. Therefore, the communication unit 131 may be configured and operate similarly to the communication unit 208 included in the portable terminal 110 described later.

저장부(132)는 프로세서(133)에 의해 실행될 수 있는 적어도 하나의 프로그램 및 그에 따른 자원을 저장한다. 특히 본 발명의 바람직한 실시 예에 따라 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면의 편집 히스토리 정보를 저장한다. 편집 히스토리 정보 저장은 디스플레이 디바이스(120)상에 디스플레이 되고 있는 화면을 만든다. 편집 히스토리 정보는 사용자, 휴대 단말, 편집 대상에 관련하여 저장될 수 있다. 또한, 편집 히스토리 정보는 삭제 또는 편집된 정보의 복구가 가능한 경로 또는 정보에 관련하여 저장될 수 있다. The storage unit 132 stores at least one program that can be executed by the processor 133 and its resources. In particular, according to a preferred embodiment of the present invention stores the editing history information of the screen being displayed on the display device 120. The edit history information store makes the screen being displayed on the display device 120. The editing history information may be stored in relation to the user, the mobile terminal, and the editing target. In addition, the editing history information may be stored in relation to a path or information capable of recovering deleted or edited information.

프로세서(133)는 적어도 하나의 프로세서를 포함할 수 있다. The processor 133 may include at least one processor.

프로세서(133)는 저장부(132)에 저장된 프로그램을 로딩하여 휴대 단말(110)로부터 디스플레이 디바이스(120)에 디스플레이 되고 있는 정보에 대한 요청 신호를 수신하고, 디스플레이 디바이스(120)로부터 제 1 배열에 따라 디스플레이 되고 있는 복수의 어플리케이션의 정보를 수신하고, 수신된 복수의 어플리케이션의 정보를 휴대 단말(110)로 전송하고, 휴대 단말(110)로부터 수신되는 복수의 어플리케이션의 제 2 배열의 정보를 디스플레이 디바이스(120)로 전송하는 동작을 수행할 수 있다. 상술한 복수의 어플리케이션의 정보는 디스플레이 디바이스(120)에 디스플레이 되고 있는 화면 정보를 의미한다. The processor 133 loads a program stored in the storage unit 132 to receive a request signal for the information being displayed on the display device 120 from the mobile terminal 110, and from the display device 120 to the first arrangement. And receive information of the plurality of applications being displayed, transmit the received information of the plurality of applications to the mobile terminal 110, and display information of the second array of the plurality of applications received from the mobile terminal 110. An operation of transmitting to 120 may be performed. The information on the plurality of applications described above refers to screen information displayed on the display device 120.

시스템이 도 1a에 도시된 바와 같이 휴대 단말(110), 디스플레이 디바이스(120) 및 서버(130)를 포함하는 시스템(100)인 경우에, 휴대 단말(110)과 디스플레이 디바이스(120)는 본 발명의 바람직한 실시 예에 따른 화면 편집 및/또는 기능 제어를 위한 정보를 서버(130)를 통해 송수신한다. In the case where the system is the system 100 including the portable terminal 110, the display device 120, and the server 130 as shown in FIG. 1A, the portable terminal 110 and the display device 120 are the present invention. Information for screen editing and / or function control according to an exemplary embodiment of the present invention is transmitted and received through the server 130.

서버(130)는 클라우드(cloud) 서버, 홈 게이트웨이(home gateway) 등을 포함하나 이로 제한되지 않는다. The server 130 includes, but is not limited to, a cloud server, a home gateway, and the like.

시스템이 도 1b에 도시된 바와 같이 휴대 단말(111)과 디스플레이 디바이스(121)를 포함하는 시스템(101)인 경우에, 중개 디바이스(intermediary device)로서의 서버(130)의 사용자 없이, 화면 편집 및/또는 기능을 제어하기 위한 정보는 휴대 단말(111)과 디스플레이 디바이스(121)간에 직접 송수신될 수 있다. In the case where the system is a system 101 including a portable terminal 111 and a display device 121 as shown in FIG. 1B, screen editing and / or without a user of the server 130 as an intermediary device Alternatively, information for controlling a function may be directly transmitted and received between the mobile terminal 111 and the display device 121.

도 2a는 도 1a 및 도 1b에 도시된 휴대 단말(110, 111)의 기능 블록도이다. FIG. 2A is a functional block diagram of the mobile terminals 110 and 111 shown in FIGS. 1A and 1B.

도 2a를 참조하면, 휴대 단말(110, 111)은 사용자 입력부(201), 센싱부(202), 터치 스크린(203), 카메라(204), 오디오 입력부(205), 오디오 출력부(206), 저장부(207), 통신부(208), 포트(209), 프로세서(210), 및 전원부(211)를 포함한다. 그러나 휴대 단말(110, 111)의 구성은 도 2a에 도시된 바로 제한되지 않는다. Referring to FIG. 2A, the mobile terminals 110 and 111 may include a user input unit 201, a sensing unit 202, a touch screen 203, a camera 204, an audio input unit 205, an audio output unit 206, It includes a storage unit 207, a communication unit 208, a port 209, a processor 210, and a power supply unit 211. However, the configurations of the mobile terminals 110 and 111 are not limited to those illustrated in FIG. 2A.

사용자 입력부(201)는 휴대 단말(110, 111)의 동작을 제어하기 위한 입력(또는 제어 데이터)을 수신한다. 사용자 입력부(201)는 키 패드(key pad), 돔 스위치(dome switch), 마우스를 대신할 수 있는 터치 패드(touch pad), 조그 휠(Jog wheel), 조그 스위치(Jog swich), 하드웨어(H/W) 버튼중 적어도 하나를 포함할 수 있다. 센싱부(202)는 휴대 단말(110, 111)의 위치, 사용자의 휴대 단말(110, 111)의 접촉 유무, 휴대 단말(110, 111)의 방위, 휴대 단말(110,111)의 가속 또는 감속 등과 같이 휴대 단말(110)의 현재 상태를 감지하여 휴대 단말(110, 111)의 동작을 제어하기 위한 센싱 신호를 발생시킨다.The user input unit 201 receives an input (or control data) for controlling the operation of the mobile terminals 110 and 111. The user input unit 201 may include a key pad, a dome switch, a touch pad that can replace a mouse, a jog wheel, a jog switch, and hardware (H). / W) button may include at least one. The sensing unit 202 may include the positions of the mobile terminals 110 and 111, whether or not the user contacts the mobile terminals 110 and 111, the orientation of the mobile terminals 110 and 111, and the acceleration or deceleration of the mobile terminals 110 and 111. The current state of the mobile terminal 110 is sensed to generate a sensing signal for controlling the operation of the mobile terminals 110 and 111.

센싱부(202)는 근접 센서를 포함할 수 있다. 근접 센서는 사전에 설정된 검출면에 접근하는 물체, 또는 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로 투과형 광전 센서, 직접 반사형 광전 센서, 미러 발사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.The sensing unit 202 may include a proximity sensor. The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using mechanical force by using electromagnetic force or infrared rays. Examples of proximity sensors include transmissive photoelectric sensors, direct reflective photoelectric sensors, mirror firing photoelectric sensors, high frequency oscillating proximity sensors, capacitive proximity sensors, magnetic proximity sensors, and infrared proximity sensors.

터치 스크린(203) 기반의 사용자 입력 데이터는 사용자의 제스처에 의존하는 사용자의 요청(request) 또는 사용자의 선택(selection)에 따라 발생될 수 있다. 사용자의 제스처는 터치 횟수, 터치 패턴, 터치 면적, 및 터치 강도 또는 압력중 적어도 하나 이상에 따라 정의될 수 있다. 터치 스크린(203)은 사용자의 손가락에 기초한 터치는 터치 스크린(203)의 터치 영역을 터치할 수 있는 사용자의 신체 부위의 터치로서 이해될 수 있다. The user input data based on the touch screen 203 may be generated according to a user's request or a user's selection depending on the user's gesture. The gesture of the user may be defined according to at least one of touch count, touch pattern, touch area, and touch intensity or pressure. The touch screen 203 may be understood as a touch of a user's body part capable of touching a user's finger based touch area of the touch screen 203.

또한 터치 스크린(203)은 터치 스크린(203)의 터치 또는 근접 터치를 감지하기 위한 다양한 센서가 구비될 수 있다. 터치 스크린(203)에 구비되는 센서는 터치 스크린(203)상에서의 사용자의 제스처 또는 패턴을 감지하는 센서를 의미하고, 터치 스크린(203)상에서의 상술한 사용자의 제스처로 인식되는 드래그, 플릭, 탭, 터치 앤 홀드, 더블 탭, 패닝, 스윕(sweep) 등을 센싱한 신호를 발생시킨다. In addition, the touch screen 203 may be provided with various sensors for detecting a touch or a proximity touch of the touch screen 203. The sensor provided in the touch screen 203 refers to a sensor that detects a user's gesture or pattern on the touch screen 203, and includes a drag, flick, and tap recognized as the user's gesture on the touch screen 203. A signal is generated that senses touch, hold, double tap, panning, and sweep.

터치 스크린(203)의 터치를 감지하는 센서의 일례로 촉각 센서가 있다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다. 터치 스크린(203)의 터치(touch)는 패널에 포인터(pointer)가 터치된 경우이다. 터치는 멀티 터치를 포함할 수 있다. 터치 스크린(203)의 근접 터치(proximity-touch)는 포인터가 터치 스크린(203)에 실제로 터치되지 않고, 소정 거리만큼 터치 스크린(203)으로부터 떨어진 위치에 접근된 경우이다. 포인터는 터치 스크린(203)의 특정 부분을 터치하거나 근접 터치하기 위한 도구이다. 포인터의 일 예로, 스타일러스 펜, 및 사용자의 손가락 등을 들 수 있다. 포인터는 외부 입력 디바이스로 언급될 수 있다. An example of a sensor that senses a touch of the touch screen 203 is a tactile sensor. The tactile sensor may sense various information such as the roughness of the contact surface, the rigidity of the contact object, the temperature of the contact point, and the like. The touch of the touch screen 203 is when a pointer is touched on the panel. The touch may include multi-touch. Proximity-touch of the touch screen 203 is when the pointer does not actually touch the touch screen 203 but approaches a position away from the touch screen 203 by a predetermined distance. The pointer is a tool for touching or proximity touching a specific portion of the touch screen 203. Examples of the pointer include a stylus pen, a user's finger, and the like. The pointer may be referred to as an external input device.

본 발명의 바람직한 실시 예에 따른 화면 편집 제어시, 스타일러스 펜 기반의 사용자 인터페이스(UI)를 제공할 수 있다. 예를 들어 스타일러스 펜을 이용하여 터치 스크린(203)상에 디스플레이 되고 있는 화면에 포함된 정보에 특정 마크(정보가 삭제될 때, X마크)를 디스플레이하여 삭제하거나 스포이드(spoide) 효과로 화면 정보를 이동시키는 UI를 제공할 수 있다. 스포이드 효과는 마치 물이 스포이드로 빨려들어간 뒤 스포이드로부터 떨어지는 현상을 나타낸다. In the screen editing control according to the preferred embodiment of the present invention, a stylus pen-based user interface (UI) may be provided. For example, a specific mark (X mark when information is deleted) is displayed on information included in a screen displayed on the touch screen 203 using a stylus pen, and the screen information is deleted using a dropper effect. It can provide a UI to move. The eyedropper effect is as if water is sucked into the eyedropper and then falls off the eyedropper.

터치 스크린(203)은 휴대 단말(110, 111)에서 처리되는 정보를 출력한다. 예를 들어, 터치 스크린(203)은 터치 스크린(203)에 구비된 센싱부를 통해 센싱된 사용자의 제스처 또는 터치 패턴 또는 사용자 입력부(201)를 통해 입력된 제어 데이터 또는 사용자의 입력 정보 또는 센싱부(202)를 통해 감지된 신호에 응답하는 화면을 디스플레이 한다. 터치 스크린(203)은 입력 및 출력(I/O) 디바이스로 언급될 수 있다. 터치 스크린(203)이 입력 및 출력 디바이스일 때, 터치 스크린(203)에 디스플레이 되는 화면은 UI(User Interface) 또는 GUI(Graphic User Interface)를 포함한다. 터치 스크린(203)은 디스플레이 디바이스(120)로부터 수신된 화면 정보를 제 1 배열로 디스플레이하고, 사용자 입력 정보에 기초하여 변경된 화면 정보를 디스플레이하고, 사용자 입력 정보를 수신한다. The touch screen 203 outputs information processed by the mobile terminals 110 and 111. For example, the touch screen 203 may be a gesture or touch pattern of a user sensed through a sensing unit provided in the touch screen 203 or control data input through the user input unit 201 or user input information or a sensing unit ( A screen responsive to the signal detected through 202 is displayed. The touch screen 203 can be referred to as an input and output (I / O) device. When the touch screen 203 is an input and output device, the screen displayed on the touch screen 203 includes a user interface (UI) or a graphical user interface (GUI). The touch screen 203 displays screen information received from the display device 120 in a first arrangement, displays changed screen information based on user input information, and receives user input information.

터치 스크린(203)은 액정 디스플레이(Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display), 유기 발광 다이오드(Organic Light-emitting diode), 플렉시블 디스플레이(Flexible display), 3차원 디스플레이(3D display), 및 AMOLED(Active-Matrix Organic Light-Emitting Diode) 등을 포함할 수 있으나 이로 제한되지 않는다. 터치 스크린(203)은 디스플레이로 언급될 수 있다. 터치 스크린(203)은 휴대 단말(110, 111)의 구현 형태에 따라 2개 이상 존재할 수 있다. The touch screen 203 may be a liquid crystal display, a thin film transistor liquid crystal display, an organic light emitting diode, a flexible display, or a three-dimensional display. 3D display), and AMOLED (Active-Matrix Organic Light-Emitting Diode) and the like, but are not limited thereto. The touch screen 203 may be referred to as a display. There may be two or more touch screens 203 according to the implementation form of the mobile terminals 110 and 111.

카메라(204)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 터치 스크린(203)에 표시될 수 있다. 카메라(204)에서 처리된 화상 프레임은 저장부(207)에 저장되거나 통신부(208) 또는 포트(209)를 통해 목적지 디바이스(destination device)로 전송될 수 있다. 카메라(204)는 휴대 단말(110, 111)의 구성에 따라 2개 이상이 구비될 수 있다. 또한, 카메라(204)는 사용자의 공간 제스처를 인식하는 입력 장치로 사용될 수 있다. The camera 204 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the imaging mode. The processed image frame may be displayed on the touch screen 203. The image frame processed by the camera 204 may be stored in the storage 207 or transmitted to the destination device via the communication unit 208 or the port 209. Two or more cameras 204 may be provided according to the configurations of the mobile terminals 110 and 111. In addition, the camera 204 may be used as an input device that recognizes a user's spatial gesture.

오디오 입력부(205)는 통화모드, 또는 녹화 모드, 또는 음성 인식 모드 등에서 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 변환하여 프로세서(210)로 전송한다. 오디오 입력부(205)는 예를 들어 마이크로폰으로 구성될 수 있다. 오디오 입력부(205)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 포함하도록 구성될 수 있다. The audio input unit 205 receives an external sound signal in a call mode, a recording mode, or a voice recognition mode, converts the external sound signal into electrical voice data, and transmits it to the processor 210. The audio input unit 205 may be composed of, for example, a microphone. The audio input unit 205 may be configured to include various noise removal algorithms for removing noise generated in the process of receiving an external sound signal.

오디오 입력부(205)를 이용하여 입력되는 상기 음향 신호는 본 발명의 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면의 편집 또는 화면에 기초한 기능을 제어하기 위한 사용자 입력 정보일 수 있다. 즉, 오디오 입력부(205)를 이용하여 입력되는 음향 신호는 상술한 자연어에 기초한 사용자의 음성 인식으로부터 얻어진 사용자 입력 정보일 수 있다. 오디오 입력부(205)를 통해 입력된 외부의 음향 신호는 저장부(207)에 저장되거나 통신부(208) 또는 포트(209)를 통해 목적지 디바이스로 전송될 수 있다. The sound signal input by using the audio input unit 205 may be user input information for editing a screen of a display device 120 or 121 or controlling a function based on a screen according to an exemplary embodiment of the present invention. That is, the sound signal input using the audio input unit 205 may be user input information obtained from the voice recognition of the user based on the natural language described above. External sound signals input through the audio input unit 205 may be stored in the storage unit 207 or transmitted to the destination device through the communication unit 208 or the port 209.

휴대 단말(110, 111)과 사용자간의 인터페이스 기능에 따라 사용자 입력부(201), 센싱부(202), 터치 스크린(203), 카메라(204), 및 오디오 입력부(205)는 입력 디바이스 또는 입출력 디바이스로 언급될 수 있다. 예를 들어, 휴대 단말(110)과 사용자간의 유저 인터페이스 기능이 터치 인식 기능, 음성 인식 기능, 및 공간 제스처 인식 기능을 포함하는 경우에, 사용자 입력부(201), 센싱부(202), 카메라(204), 및 오디오 입력부(205)는 입력 장치로 언급되고, 터치 스크린(203)은 입출력 디바이스로서 언급될 수 있다. The user input unit 201, the sensing unit 202, the touch screen 203, the camera 204, and the audio input unit 205 may be input devices or input / output devices according to an interface function between the portable terminals 110 and 111. May be mentioned. For example, when the user interface function between the mobile terminal 110 and the user includes a touch recognition function, a voice recognition function, and a spatial gesture recognition function, the user input unit 201, the sensing unit 202, and the camera 204 are provided. ), And the audio input unit 205 may be referred to as an input device, and the touch screen 203 may be referred to as an input / output device.

오디오 출력부(206)는 통화 모드, 또는 오디오 재생 모드 등에서 외부로부터 수신된 음향 신호 또는 오디오 신호를 출력한다. 오디오 신호 출력부(206)는 스피커로 구성될 수 있다. 오디오 입력부(205)와 오디오 출력부(206)는 헤드셋의 형태와 같이 일체형으로 구성될 수 있다. The audio output unit 206 outputs an audio signal or an audio signal received from the outside in a call mode or an audio reproduction mode. The audio signal output unit 206 may be configured as a speaker. The audio input unit 205 and the audio output unit 206 may be integrally formed as in the form of a headset.

저장부(207)는 후술할 프로세서(210)에 의해 실행 가능하도록 구성된 적어도 하나의 프로그램과 프로그램 자원(resource)을 저장한다. 적어도 하나의 프로그램은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면을 편집 및/또는 화면에 기초한 기능 제어 방법을 실행하기 위한 프로그램, 휴대 단말(110, 111)의 운영 체계(Operating System) 프로그램, 휴대 단말(110, 111)에 설정된 어플리케이션, 및 휴대 단말(110, 111)의 각종 기능(예를 들어 통신 기능과 디스플레이 기능)을 수행하는데 필요한 프로그램을 포함한다. The storage unit 207 stores at least one program and a program resource configured to be executed by the processor 210 to be described later. At least one program is a program for editing a screen of the display devices 120 and 121 and / or executing a function control method based on the screen according to a preferred embodiment, and an operating system of the portable terminals 110 and 111. A program, an application set in the portable terminals 110 and 111, and a program necessary to perform various functions (for example, a communication function and a display function) of the portable terminals 110 and 111.

상기 프로그램 자원의 예는 상술한 프로그램들을 수행하기 위해 필요한 정보 및 바람직한 실시 예들에서 언급되는 화면 편집 제어를 위한 사용자 인터페이스(User Interface) 화면 정보, 선택된 편집 제어 기능을 확인(acknowledgement)하는 메시지 정보 등을 포함한다. Examples of the program resources include information necessary for executing the above-described programs, user interface screen information for screen editing control mentioned in the preferred embodiments, message information acknowledging the selected editing control function, and the like. Include.

화면 편집 제어를 위한 사용자 인터페이스 화면 정보는 예를 들어 선택된 화면 정보의 화면 편집(이동, 삭제, 복사, 추가, 설정, 백업, 등)을 위한 UI 화면 정보를 포함할 수 있다. 화면에 기초한 기능 제어를 위한 사용자 인터페이스 화면 정보는 예를 들어 선택된 화면 정보의 실행을 위한 UI 화면 정보를 포함할 수 있다. 화면 편집 제어를 위한 UI 화면 정보와 화면에 기초한 기능 제어를 위한 UI 화면 정보는 함께 제공될 수 있다. The user interface screen information for screen edit control may include, for example, UI screen information for screen editing (move, delete, copy, add, set, backup, etc.) of the selected screen information. The user interface screen information for controlling a screen based function may include, for example, UI screen information for executing the selected screen information. UI screen information for screen editing control and UI screen information for function control based on the screen may be provided together.

저장부(207)에 저장된 디스플레이 디바이스(120, 121)의 화면 편집 및/또는 기능 제어 방법을 실행하는 프로그램은 디스플레이 디바이스(120, 121)의 화면 편집 및 /또는 기능 제어용 어플리케이션으로 구성되거나 디스플레이 디바이스(120, 121)의 화면 편집 및/또는 기능 제어 메뉴를 포함하는 리모콘 어플리케이션으로 구성될 수 있다. The program for executing the screen editing and / or function control method of the display devices 120 and 121 stored in the storage unit 207 may be configured as an application for screen editing and / or function control of the display devices 120 and 121 or the display device ( And a remote control application including the screen editing and / or function control menus of 120 and 121.

따라서, 이하 바람직한 실시 예들은 상기 화면 편집 및/또는 기능 제어용 어플리케이션을 실행한 후 동작되거나 리모콘 어플리케이션을 실행한 후 상기 화면 편집 또는 기능 제어를 수행하는 것으로 언급될 수 있다. Therefore, the preferred embodiments may be referred to as being operated after executing the screen editing and / or function control application or performing the screen editing or function control after executing the remote control application.

저장부(207)는 상기 운영 체계를 비롯한 휴대 단말(110, 111)의 각종 기능을 수행하는데 필요한 적어도 하나의 프로그램을 저장하는 저장부와 바람직한 실시 예에 따른 디스플레이 디바이스(120,121)의 화면 편집 제어 방법을 실행하는 하나 이상의 프로그램과 자원 및 상기 어플리케이션들을 저장하는 저장부를 독립적으로 구성할 수 있다. The storage unit 207 stores at least one program required to perform various functions of the mobile terminals 110 and 111 including the operating system and a method of controlling screen editing of the display devices 120 and 121 according to an exemplary embodiment. One or more programs and resources for executing the and the storage unit for storing the applications can be configured independently.

또한, 저장부(207)는 편집 히스토리 정보를 저장할 수 있다. 즉, 제 2 배열이 생성됨에 따라 편집 히스토리 정보가 프로세서(210)에 의해 생성되어 저장부(207)에 저장될 수 있다. 편집 히스토리 정보는 편집된 모든 절차를 순차적으로 알 수 있도록 생성될 수 있다. 또한 편집 히스토리 정보는 편집된 화면 단위로 편집 전 화면과 편집 후 화면의 내용을 알 수 있도록 생성될 수 있다. In addition, the storage unit 207 may store the editing history information. That is, as the second array is generated, the editing history information may be generated by the processor 210 and stored in the storage unit 207. The editing history information may be generated to sequentially know all the edited procedures. In addition, the editing history information may be generated to know the contents of the pre-editing screen and the post-editing screen in the edited screen unit.

저장부(207)는 고속 랜덤 액세스 메모리, 자기 디스크 저장 장치, 플래시 메모리와 같은 불휘발성 메모리 또는 다른 불휘발성 반도체 메모리를 포함할 수 있다. 따라서 저장부(207)는 메모리로 언급될 수 있다. The storage unit 207 may include a high speed random access memory, a magnetic disk storage device, a nonvolatile memory such as a flash memory, or another nonvolatile semiconductor memory. Thus, the storage unit 207 may be referred to as a memory.

통신부(208)는 무선 인터넷, 무선 인트라넷, 무선 전화 네트워크, 무선 랜(LAN), 와이파이(Wi-Fi) 네트워크, 와이파이 다이렉트(WFD, Wi-Fi Direct) 네트워크, 3G(Generation) 네트워크, 4G(4 Generation) LTE(Long Term Evolution) 네트워크, 블루투스(Bluetooth) 네트워크, 적외선 통신(IrDA, Infrared Data Association) 네트워크, RFID(Radio Frequency Identification) 네트워크, UWB(Ultra WideBand) 네트워크, 지그비(Zigbee) 네트워크, NFC(Near Field Communication) 네트워크와 같은 유선 또는 무선 네트워크를 통해 전자 기기(120) 및 서버(130)와 데이터를 송수신할 수 있도록 구성된다. The communication unit 208 includes a wireless Internet, a wireless intranet, a wireless telephone network, a wireless LAN (LAN), a Wi-Fi network, a Wi-Fi Direct (WFD) network, a 3G (Generation) network, and 4G (4). Generation (Long Term Evolution) networks, Bluetooth networks, Infrared Data Association (IrDA) networks, Radio Frequency Identification (RFID) networks, Ultra WideBand (UWB) networks, Zigbee networks, NFC ( It is configured to transmit and receive data to and from the electronic device 120 and the server 130 through a wired or wireless network such as a Near Field Communication network.

통신부(208)는 방송 수신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈, 근거리 통신 모듈, NFC 모듈, 및 위치 정보 모듈중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다. The communication unit 208 may include, but is not limited to, at least one of a broadcast receiving module, a mobile communication module, a wireless internet module, a wired internet module, a short range communication module, an NFC module, and a location information module.

방송 수신 모듈은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 이동 통신 모듈은 이동 통신망 상에서 기지국, 외부의 단말(예를 들어, 디스플레이 디바이스(120, 121)), 서버(130)중 적어도 하나와 무선 신호를 송수신한다. 무선 신호는 음성 호 신호, 화상 통화 호, 또는 문자/멀티미디어 메시지 송수신과 같은 다양한 형태의 데이터를 포함할 수 있다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 의미한다. 유선 인터넷 모듈은 유선 인터넷 접속을 위한 모듈을 의미한다. The broadcast reception module receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. The mobile communication module transmits / receives a radio signal with at least one of a base station, an external terminal (eg, display devices 120 and 121) and a server 130 on a mobile communication network. The wireless signal may include various types of data such as voice call signal, video call call, or text / multimedia message transmission and reception. The wireless internet module refers to a module for wireless internet access. Wired Internet module means a module for wired Internet access.

근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술의 예는 블루투스 기반 기술, RFID 기반 기술, 적외선 통신 기반 기술, UWB 기반 기술, Zigbee 기반 기술, WFD 기반 기술, NFC 기반 기술을 포함할 수 있다.The short range communication module refers to a module for short range communication. Examples of short range communication technology may include Bluetooth based technology, RFID based technology, infrared communication based technology, UWB based technology, Zigbee based technology, WFD based technology, NFC based technology.

위치 정보 모듈은 휴대 단말(100)의 위치를 확인하거나 얻기 위한 모듈이다. 일 예로 GPS(Global Position System) 모듈이 있다. GPS 모듈은 복수개의 인공위성으로부터 위치 정보를 수신한다. 위치 정보는 위도 및 경도를 갖는 좌표 정보를 포함할 수 있다. The location information module is a module for checking or obtaining the location of the mobile terminal 100. An example is a Global Position System (GPS) module. The GPS module receives location information from a plurality of satellites. The location information may include coordinate information having latitude and longitude.

포트(209)는 USB(Universal Serial Bus) 포트(미 도시됨)와 같은 플러그 앤 플레이(Plug and Play) 인터페이스를 이용하여 외부 기기(미 도시됨)와 데이터를 송수신할 수 있다. 플러그 앤 플레이 인터페이스는 휴대 단말(110,111)과 연결된 외부 기기가 꼽히며 자동으로 액세스하기 위해 구성된 모듈을 의미한다. The port 209 may transmit and receive data with an external device (not shown) using a Plug and Play interface such as a USB (Universal Serial Bus) port (not shown). The plug and play interface refers to a module configured to automatically access an external device connected to the portable terminals 110 and 111.

전원부(211)는 휴대 단말(110, 111)의 다양한 구성 요소에 전력을 공급한다. 전원부(211)는 배터리 및 교류 전원과 같은 하나 이상의 전원을 포함한다. 휴대 단말(110, 111)은 전원부(211)를 포함하지 않고, 외부 전원 제공부(미 도시됨)와 연결될 수 있는 연결부(connection unit)(미 도시됨)를 포함할 수 있다. The power supply unit 211 supplies power to various components of the portable terminals 110 and 111. The power supply unit 211 includes one or more power sources such as a battery and an AC power source. The portable terminals 110 and 111 may not include the power supply unit 211, but may include a connection unit (not shown) that may be connected to an external power supply unit (not shown).

프로세서(210)는 휴대 단말(110, 111)의 전반적인 동작을 제어하는 것으로 하나 이상의 프로세서가 될 수 있다. 프로세서(210)의 하나 이상의 프로세서는 복수의 프로세서 또는 프로세서 코어이고, 휴대 단말(110, 111)의 기능에 따라 복수의 프로세서로서 동작할 수 있기 때문이다. The processor 210 controls the overall operation of the mobile terminals 110 and 111 and may be one or more processors. This is because one or more processors of the processor 210 may be a plurality of processors or processor cores, and may operate as a plurality of processors according to the functions of the portable terminals 110 and 111.

프로세서(210)는 사용자 입력부(210), 센싱부(202), 터치 스크린(203), 카메라(203), 오디오 입력부(205), 오디오 출력부(206), 저장부(207), 통신부(208), 포트(209), 및 전원부(211)를 전반적으로 제어할 수 있다. 따라서 프로세서(210)는 제어기나 마이크로프로세서, 디지털 신호 처리기(Digital Signal Processor) 등으로 언급될 수 있다. 또한 프로세서(210)는 입력 장치에 해당되는 사용자 입력부(210), 센싱부(202), 카메라(203), 오디오 입력부(205)를 이용하여 입력된 사용자의 입력 정보와 터치 스크린(203)에 기초한 사용자 인터페이스를 제공할 수 있다. 프로세서(210)는 휴대 단말(110, 111)의 엘리먼트들을 서로 연결하는 적어도 하나의 버스(미 도시됨)를 통해 휴대 단말(110, 111)의 엘리먼트들에 연결될 수 있다.The processor 210 includes a user input unit 210, a sensing unit 202, a touch screen 203, a camera 203, an audio input unit 205, an audio output unit 206, a storage unit 207, and a communication unit 208. ), The port 209, and the power supply 211 can be controlled overall. Accordingly, the processor 210 may be referred to as a controller, a microprocessor, a digital signal processor, or the like. In addition, the processor 210 may be configured based on the user's input information and the touch screen 203 input using the user input unit 210, the sensing unit 202, the camera 203, and the audio input unit 205 corresponding to the input device. A user interface can be provided. The processor 210 may be connected to elements of the mobile terminals 110 and 111 through at least one bus (not shown) that connects elements of the mobile terminals 110 and 111 to each other.

프로세서(210)는 본 발명의 바람직한 실시 예에 따른 디스플레이 디바이스의 화면 편집 및/또는 기능 제어 방법에 관련된 적어도 하나의 프로그램을 실행시킬 수 있다. 프로세서(210)는 상기 프로그램을 저장부(207)로부터 리드하여 실행시키거나 통신부(208)를 통해 연결된 애플리케이션 제공 서버(미 도시됨) 또는 마켓 서버(미 도시됨)와 같은 외부 장치로부터 다운받아 실행시킬 수 있다. 프로세서(210)는 휴대 단말(110)내의 각종 기능 모듈과 프로세서(210)간의 인터페이스 기능부를 포함하는 것으로 이해될 수 있다. 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 및/또는 기능 제어 방법에 관련된 프로세서(210)의 동작은 후술할 도 4, 도 6-8, 도 9-11, 및 도 19에 도시된 흐름도와 같이 수행될 수 있다. The processor 210 may execute at least one program related to a screen editing and / or function control method of the display device according to an exemplary embodiment of the present invention. The processor 210 reads and executes the program from the storage unit 207 or downloads it from an external device such as an application providing server (not shown) or a market server (not shown) connected through the communication unit 208. You can. The processor 210 may be understood to include various functional modules in the mobile terminal 110 and an interface function unit between the processor 210. The operation of the processor 210 related to the screen editing and / or function control method of the display devices 120 and 121 according to an exemplary embodiment is illustrated in FIGS. 4, 6-8, 9-11, and 19 to be described later. It can be performed as shown in the flow chart.

도 2b는 바람직한 실시 예에 따른 도 1a 및 도 1b에 도시된 휴대 단말(110, 111)의 기능 블록도이다. 도 2b를 참조하면, 휴대 단말(110, 111)은 터치 스크린(220), 프로세서(221), 저장부(222), 및 통신부(223)을 포함한다. 2B is a functional block diagram of the portable terminals 110 and 111 shown in FIGS. 1A and 1B according to a preferred embodiment. Referring to FIG. 2B, the mobile terminals 110 and 111 include a touch screen 220, a processor 221, a storage 222, and a communication unit 223.

터치 스크린(220)은 도 2a의 터치 스크린(203)과 같이 구성되어 바람직한 실시 예에 따른 복수의 오브젝트를 디스플레이하고, 사용자 입력 정보를 수신한다. The touch screen 220 is configured like the touch screen 203 of FIG. 2A to display a plurality of objects according to a preferred embodiment, and to receive user input information.

통신부(223)는 도 2a의 통신부(208)과 같이 구성되어 디스플레이 디바이스(120,121)와 통신을 수행한다. The communication unit 223 is configured like the communication unit 208 of FIG. 2A to communicate with the display devices 120 and 121.

프로세서(221)는 터치 스크린(220)에 기초한 사용자 인터페이스를 제공하고, 디스플레이 디바이스(120, 121)로부터 상기 제 1 배열에 따른 복수의 오브젝트의 정보를 수신하고, 수신된 오브젝트의 정보에 기초하여 상기 복수의 오브젝트를 터치 스크린(220)에 디스플레이하고, 사용자 입력 정보에 기초하여 복수의 오브젝트의 정보를 변경하고, 제 2 배열을 생성하고, 디스플레이 디바이스(120, 121)로 제 2 배열의 정보를 전송한다. 이에 따라 디스플레이 디바이스(120, 121)에서 제 2 배열의 정보에 기초하여 복수의 오브젝트중 적어도 하나는 터치 스크린(220)을 사용하여 편집되고, 편집된 복수의 오브젝트들은 디스플레이 디바이스(120, 121)에 의해 디스플레이 될 수 있다. The processor 221 provides a user interface based on the touch screen 220, receives information of the plurality of objects according to the first arrangement from the display devices 120 and 121, and based on the received object information, Display a plurality of objects on the touch screen 220, change the information of the plurality of objects based on user input information, generate a second array, and transmit the information of the second array to the display devices 120, 121 do. Accordingly, at least one of the plurality of objects is edited using the touch screen 220 based on the information of the second array in the display devices 120 and 121, and the edited plurality of objects is displayed on the display devices 120 and 121. Can be displayed by

도 3은 도 1에 도시된 디스플레이 디바이스의 기능 블록도이다. 디스플레이 디바이스는 도 1a 및 도 1b의 디스플레이 디바이스(120, 121)가 될 수 있다. 도 3에서 디스플레이 디바이스는 통신 기능을 갖는 TV가 될 수 있다. 3 is a functional block diagram of the display device shown in FIG. 1. The display device may be the display devices 120, 121 of FIGS. 1A and 1B. In FIG. 3, the display device may be a TV having a communication function.

도 3을 참조하면, 디스플레이 디바이스(120, 121)는 무선 통신부(301), 통신부(302), 방송 신호 수신부(303), 저장부(304), 프로세서(305), 영상 처리부(306), 디스플레부(307), 오디오 처리부(308), 오디오 출력부(309), 및 오디오 입력부(310)를 포함한다. 디스플레이 디바이스(120, 121)는 도 3에 도시된 바로 제한되지 않고, 방송 신호 수신부(303)를 포함하지 않을 수 있다. Referring to FIG. 3, the display devices 120 and 121 may include a wireless communication unit 301, a communication unit 302, a broadcast signal receiver 303, a storage unit 304, a processor 305, an image processor 306, and a display. A unit 307, an audio processor 308, an audio output unit 309, and an audio input unit 310 are included. The display devices 120 and 121 are not limited to those illustrated in FIG. 3, and may not include the broadcast signal receiver 303.

무선 통신부(301)는 예를 들어 미 도시된 원격 제어기와 무선 통신할 수 있도록 구성된다. 원격 제어기가 IR 송신기를 포함하면, 무선 통신부(301)는 대응하는 IR 수신기를 포함하여 원격 제어기로부터 전송되는 적외선 신호를 수신하고, 상기 적외선 신호를 복조하고, 복조된 적외선 신호를 프로세서(305)로 전송한다. 원격 제어기가 RF 모듈로 구성되면, 무선 통신부(301)는 대응하는 RF 모듈로 구성되어 원격 제어기로부터 전송되는 RF 신호를 수신하여 프로세서(305)로 전송한다. 무선 통신부(301)는 상술한 IR 수신기와 RF 모듈로 제한되지 않고, 적어도 하나의 다른 기술, 예를 들어, 블루투스 통신 기술과 같은 근거리 통신 기술을 사용하도록 구성될 수 있다. The wireless communication unit 301 is configured to be in wireless communication with, for example, a remote controller not shown. If the remote controller includes an IR transmitter, the wireless communication unit 301 receives an infrared signal transmitted from the remote controller, including a corresponding IR receiver, demodulates the infrared signal, and sends the demodulated infrared signal to the processor 305. send. When the remote controller is configured as an RF module, the wireless communication unit 301 is configured as a corresponding RF module and receives an RF signal transmitted from the remote controller and transmits the RF signal to the processor 305. The wireless communication unit 301 is not limited to the above-described IR receiver and RF module, and may be configured to use at least one other technology, for example, a short range communication technology such as a Bluetooth communication technology.

통신부(302)는 무선 통신 모듈을 통하여 접속된 휴대 단말(110, 111) 또는 서버(130)와 무선 데이터 통신을 수행한다. 디스플레이 디바이스(120, 121)는 블루투스(Bluetooth) 네트워크, RFID(Radio Fequency Identification) 네트워크, WiFi 네트워크, 적외선 통신(IrDA, Infrared Data Association) 네트워크, UWB(Ultra Wideband) 네트워크, 지그비(Zigbee) 네트워크 및 NFC(Near Field Commnication) 네트워크 등의 무선 통신 네트워크 또는 홈 PNA(Phoneline Networking Alliance), PLC(Power Line Communication), IEEE 1394, 유선 인터넷 등의 유선 통신 기반 네트워크 또는 각 종 홈 네트워크에 따라 휴대 단말(110, 111) 또는 서버(130)와 네트워크를 연결하여 통신할 수 있다. The communication unit 302 performs wireless data communication with the mobile terminals 110 and 111 or the server 130 connected through the wireless communication module. Display devices 120 and 121 may include a Bluetooth network, a Radio Fequency Identification (RFID) network, a WiFi network, an Infrared Data Association (IrDA) network, an Ultra Wideband (UWB) network, a Zigbee network, and an NFC. The mobile terminal 110 according to a wireless communication network such as a Near Field Commnication network or a wired communication based network such as a home phoneline networking alliance (PNA), a power line communication (PLC), IEEE 1394, a wired Internet, or various home networks. 111 or the server 130 may be connected to a network for communication.

프로세서(305)는 통신부(302)를 통해 연결된 휴대 단말(110, 111) 또는 서버(130)로부터 디스플레이 정보 요청 신호가 수신되면, 디스플레이부(307)에 디스플레이 되고 있는 정보를 통신부(302)를 통해 상기 요청하는 휴대 단말(110, 111) 또는 상기 요청하는 서버(130)로 전송하고, 휴대 단말(110) 또는 서버(130)로부터 나중에 수신되는 제 2 배열의 정보에 기초하여 디스플레이부(307)에 디스플레이 되고 있는 정보중 적어도 하나의 정보를 편집하여 디스플레이 하거나 기능을 제어한다. 프로세서(305)는 도 2의 프로세서(210)와 같이 적어도 하나 이상의 프로세서로 구성될 수 있다. When the display information request signal is received from the mobile terminal 110 or 111 or the server 130 connected through the communication unit 302, the processor 305 transmits the information displayed on the display unit 307 through the communication unit 302. The display unit 307 transmits to the requesting mobile terminals 110 and 111 or the requesting server 130 and based on the second arrangement of information received later from the portable terminal 110 or the server 130. Edit and display at least one of the information being displayed or control the function. The processor 305 may be configured with at least one processor, such as the processor 210 of FIG. 2.

방송 신호 수신부(303)는 튜너(미 도시됨)를 통해 수신되는 방송 신호를 영상 신호 및 음성 신호로 분리하여 출력한다. 즉, 튜너는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다. 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호는 프로세서(305)로 입력된다. The broadcast signal receiver 303 separates and outputs a broadcast signal received through a tuner (not shown) into a video signal and an audio signal. That is, the tuner selects an RF broadcast signal corresponding to a channel selected by a user or all pre-stored channels among RF (Radio Frequency) broadcast signals received through an antenna. In addition, the selected RF broadcast signal is converted into an intermediate frequency signal or a baseband video or audio signal. The intermediate frequency signal or the baseband video or audio signal is input to the processor 305.

저장부(304)는 프로세서(305)에 의해 실행되는 각종 신호 처리 및 제어를 위한 프로그램을 저장하고, 휴대 단말(110, 111)의 정보, 디스플레이 디바이스(120, 121)의 정보, 및 디스플레이 디바이스(120, 121)의 사용자 정보 등을 저장하는 메모리가 될 수 있다. 휴대 단말(110, 111)의 정보는 휴대 단말(110, 111)이 접근 제어 권한 요청시 허용 여부를 판단할 때 사용될 수 있다. 또는 휴대 단말(110, 111)의 정보는 디스플레이 디바이스(120, 121)에 디스플레이 되고 있는 정보를 휴대 단말(110, 111)로 전송한 후, 디스플레이 디바이스(120, 121)와 연결된 휴대 단말(110, 111)을 표시할 때 이용될 수 있다. 휴대 단말(110, 111)의 정보는 인증 정보를 의미할 수 있다. The storage unit 304 stores programs for processing and controlling various signals executed by the processor 305, and stores information on the portable terminals 110 and 111, information on the display devices 120 and 121, and a display device ( Memory 120 and 121 may be used to store user information. The information of the portable terminals 110 and 111 may be used when the portable terminals 110 and 111 determine whether to permit the access control authority request. Alternatively, the information of the portable terminals 110 and 111 transmits the information displayed on the display devices 120 and 121 to the portable terminals 110 and 111, and then the portable terminal 110 connected to the display devices 120 and 121. 111). The information of the mobile terminals 110 and 111 may mean authentication information.

프로세서(305)는 전자 기기의 전 기능을 제어한다. 통신부(302)를 통해 휴대 단말(110, 111)과 데이터 교환을 제어할 수 있다. 저장부(304)에 저장된 프로그램을 실행하여 본 발명의 바람직한 실시 예에 따른 UI(User Interface) 화면을 구성하여 영상 처리부(306)를 통해 디스플레이부(307)에 디스플레이할 수 있다. The processor 305 controls all functions of the electronic device. The communication unit 302 may control data exchange with the mobile terminals 110 and 111. By executing a program stored in the storage unit 304, a UI (User Interface) screen according to an exemplary embodiment of the present invention may be configured and displayed on the display unit 307 through the image processor 306.

바람직한 실시 예에 따른 UI 화면은 휴대 단말(110, 111)에 대한 정보를 디스플레이하는 화면을 포함할 수 있다. 또한, UI 화면은 휴대 단말(110, 111)에서 선택된 화면 정보(예를 들어 어플리케이션)를 알 수 있도록 표시하는 화면을 포함할 수 있다. 즉, 휴대 단말(110, 111)에서 선택된 어플리케이션의 정보가 수신됨에 따라 선택된 어플리케이션을 선택되지 않은 어플리케이션과 구별할 수 있는 UI 화면을 제공할 수 있다. The UI screen according to an exemplary embodiment may include a screen displaying information about the mobile terminals 110 and 111. In addition, the UI screen may include a screen for displaying the screen information (for example, an application) selected by the mobile terminals 110 and 111. That is, as the information on the selected application is received by the portable terminals 110 and 111, a UI screen that can distinguish the selected application from the unselected application may be provided.

영상 처리부(306)는 영상 디코더(미 도시됨) 및 스케일러(미 도시됨)를 포함한다. 영상 처리부(306)는 방송 신호 수신부(303)로부터 출력되는 영상 신호를 화면에 표시되도록 처리한다. 영상 디코더는 역 다중화된 영상신호를 복호화하고, 스케일러는 복호화된 영상 신호의 해상도를 디스플레이부(307)에서 출력하도록 스케일링을 수행한다. The image processor 306 includes an image decoder (not shown) and a scaler (not shown). The image processor 306 processes the video signal output from the broadcast signal receiver 303 to be displayed on the screen. The image decoder decodes the demultiplexed image signal, and the scaler performs scaling to output the resolution of the decoded image signal on the display unit 307.

디스플레이부(307)는 영상 처리부(306)에서 처리된 영상을 출력할 수 있다. 출력되는 영상은 방송 신호 수신부(303)로부터 수신된 영상, 상술한 UI 화면, 복수의 어플리케이션을 포함하는 어플리케이션 브라우징 화면, 복수의 컨텐츠를 포함하는 컨텐츠 브라우징 화면, 웹 브라우징 화면, 선택 가능한 주변 기기 제어 화면을 포함할 수 있다. 디스플레이부(307)는 터치 스크린으로 구성되어 입력 장치로도 사용될 수 있다. The display 307 may output an image processed by the image processor 306. The output image may include an image received from the broadcast signal receiving unit 303, the above-described UI screen, an application browsing screen including a plurality of applications, a content browsing screen including a plurality of contents, a web browsing screen, and a selectable peripheral device control screen. It may include. The display unit 307 may be configured as a touch screen and used as an input device.

오디오 처리부(308)는 방송 신호 수신부(303)로부터 출력되는 음성신호와 통신부(302)를 통해 수신되는 컨텐츠에 포함되는 오디오를 처리하여 오디오 출력부(309)로 출력한다. 오디오 출력부(309)는 스테레오 신호, 3.1채널 신호 또는 5.1 채널 신호를 출력하는 등 다양한 형태로 구현될 수 있다. The audio processor 308 processes the voice signal output from the broadcast signal receiver 303 and the audio included in the content received through the communication unit 302 and outputs the audio signal to the audio output unit 309. The audio output unit 309 may be implemented in various forms such as a stereo signal, a 3.1 channel signal, or a 5.1 channel signal.

또한, 오디오 처리부(308)는 오디오 입력부(310)로부터 입력되는 신호를 처리하여 프로세서(305)로 전송할 수 있다. 오디오 입력부(310)는 마이크로 구성될 수 있다. In addition, the audio processor 308 may process a signal input from the audio input unit 310 and transmit the signal to the processor 305. The audio input unit 310 may be configured as a microphone.

도 4는 바람직한 일 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 4는 도 2a의 프로세서(210) 또는 도 2b의 프로세서(221)에 의해 수행될 수 있으나 설명의 편의를 위하여 이하 설명은 프로세서(210), 디스플레이 디바이스(120)간의 관계에 기초하여 설명한다. 4 is a flowchart illustrating a method of controlling screen editing of the display devices 120 and 121 according to an exemplary embodiment. Although FIG. 4 may be performed by the processor 210 of FIG. 2A or the processor 221 of FIG. 2B, the following description will be made based on the relationship between the processor 210 and the display device 120 for convenience of description.

프로세서(210)는 통신부(208)를 디스플레이 디바이스(120)로부터 복수의 오브젝트의 정보를 수신한다(S401). 복수의 오브젝트의 정보는 디스플레이 디바이스(120)에 제 1 배열에 따라 디스플레이 되고 있는 화면 정보이다. 디스플레이 디바이스(120)는 외부 디스플레이 디바이스로 언급될 수 있다. The processor 210 receives the plurality of objects of the communication unit 208 from the display device 120 (S401). The information of the plurality of objects is screen information displayed on the display device 120 according to the first arrangement. Display device 120 may be referred to as an external display device.

프로세서(210)는 상기 복수의 오브젝트의 정보를 수신하기 위해, 먼저 상술한 바와 같이 저장부(207)에 저장된 별도의 화면 편집 제어 어플리케이션을 실행하거나 리모콘 어플리케이션을 실행한 후, 화면 편집 메뉴 항목을 선택하여 화면 편집 제어 기능을 실행할 수 있다. 프로세서(210)는 통신부(208)를 통해 디스플레이 정보 요청 신호를 디스플레이 디바이스(120)로 전송할 수 있다. In order to receive the information of the plurality of objects, the processor 210 first executes a separate screen editing control application stored in the storage unit 207 or executes a remote control application as described above, and then selects a screen editing menu item. Screen edit control function can be executed. The processor 210 may transmit a display information request signal to the display device 120 through the communication unit 208.

수신된 정보는 상술한 바와 같이 예를 들어 각 오브젝트(어플리케이션 또는 썸네일 아이콘과 같은)의 디스플레이 이미지 정보, 오브젝트의 디스플레이 위치 정보(상대적 또는 절대적인 좌표 정보 또는 오브젝트 서로에 대해 또는 디스플레이 화면에 대해 오브젝트들의 배열을 나타내는 레이아웃 정보와 같은), 및 오브젝트에 대한 상세 정보(타이틀, URL(Uniform Resource Locator), 파일 타입, 오브젝트의 파일 경로(file path), 오브젝트의 속성(attribute) 등을 포함하는 메타 데이터, 오브젝트의 식별 정보와 같은), 오브젝트의 미리 보기 정보(프리뷰 데이터(preview data)), 오브젝트의 간단한 설명(brief description)), 및 오브젝트의 편집 제어 정보(오브젝트에 대해 수행될 수 있는 이용 가능한 명령(command)들, 예를 들어, 삭제(delete), 이동(move), 숨김(hide), 백업(backup), 등과 같은)중 적어도 하나를 포함할 수 있다. The received information is, for example, as described above, for example display image information of each object (such as an application or thumbnail icon), display position information of the object (relative or absolute coordinate information or an arrangement of objects with respect to each other or to the display screen). Metadata, including detailed information about the object (title, Uniform Resource Locator (URL), file type, file path of the object, attribute of the object, etc.) (Such as identification information), preview information of the object (preview data), brief description of the object, and edit control information of the object (available commands that can be performed on the object). ), For example, delete, move, hide, backup, etc. ) May include at least one of.

삭제 명령은 오브젝트를 삭제하기 위한 명령이 될 수 있다. 이동 명령은 디스플레이 되고 있는 오브젝트의 위치를 변경하기 위한 명령이 될 수 있다. 숨김 명령은 사용자의 시야로부터 오브젝트를 숨기기 위한 명령이 될 수 있다. 백업 명령은 디스플레이 디바이스(120)에 저장된 오브젝트를 휴대 단말(110) 또는 서버(130)에 백업하기 위한 명령이 될 수 있다. 설정된 명령들은 오브젝트의 특성(property)들을 설정하기 위한 명령이 될 수 있다. 오브젝트의 특성은 예를 들어 컨텐트의 오디오 또는 비디오 재생 특성과 같은 것이 될 수 있다. 오디오 재생 특성은 채널 정보(스테레오(stereo), 5:1, 6:1 등), 사운드 효과 정보(sound effect information), 볼륨 정보(volume information), 페이드 정보(fade information), 밸런스 정보(balance information), 등이 될 수 있다. 컨텐트를 재생할 때, 비디오 재생 특성은 콘트라스트(contrast), 칼라 밸런스(color balance), 밝기(brightness), 화면 비율(screen aspect ratio), 등이 될 수 있다. 또한, 수신되는 정보는 디스플레이 디바이스(120)에서 디스플레이 되고 있는 정보를 캡쳐한 정보를 포함할 수 있다. The delete command may be a command for deleting an object. The move command may be a command for changing the position of the object being displayed. The hide command may be a command for hiding an object from the user's field of view. The backup command may be a command for backing up the object stored in the display device 120 to the mobile terminal 110 or the server 130. The set commands may be commands for setting properties of an object. The properties of the object may be, for example, the audio or video playback properties of the content. Audio reproduction characteristics include channel information (stereo, 5: 1, 6: 1, etc.), sound effect information, volume information, fade information, balance information. ), Etc. When playing content, video playback characteristics may be contrast, color balance, brightness, screen aspect ratio, and the like. In addition, the received information may include information capturing information being displayed on the display device 120.

상기 정보는, XML(extensible markup language)포맷과 같이, 휴대 단말(110)에 의해 해석될 수 있는 포맷, 디스플레이 디바이스(120)에 의해 해석될 수 있는 포맷, 또는 휴대 단말(110)과 디스플레이 디바이스(120)에 의해 해석될 수 있는 유니버설 포맷(universal format)에 따라 포맷화될 수 있다. 휴대 단말(110), 디스플레이 디바이스(120), 및 서버(130)는 필요에 따라 포맷간에 정보를 변환할 수 있다.The information can be in a format that can be interpreted by the mobile terminal 110, in a format that can be interpreted by the display device 120, or in a format such as an extensible markup language (XML) format. It may be formatted according to a universal format that can be interpreted by the method 120. The mobile terminal 110, the display device 120, and the server 130 may convert information between formats as necessary.

프로세서(210)는 통신부(208)를 통해 수신된 정보에 기초하여 제 1 배열로 휴대 단말(110)의 터치 스크린(203)에 복수의 오브젝트를 디스플레이 한다(S402). 터치 스크린(203)에 초기에 디스플레이 되고 있는 화면은 제 1 배열로 복수의 오브젝트들을 디스플레이 한다. 터치 스크린(230)은 디스플레이 디바이스(120)의 화면을 복제(replicate)하거나 터치 스크린(203)에 디스플레이 되고 있는 서브 윈도우(sub-window) 내에 디스플레이 디바이스(120)의 화면을 복제할 수 있다. 프로세서(210)는 수신된 정보를 터치 스크린(203)상에 맞게 재구성할 수 있다. 예를 들어, 디스플레이 디바이스(120)의 화면이 터치 스크린(203)의 사이즈보다 크면, 복수의 오브젝트들은 상기 터치 스크린상에 디스플레이 되도록 스케일 다운될 수 있다. 그러므로 디스플레이 디바이스(120)의 디스플레이 사이즈가 터치 스크린(203)의 사이즈와 다를지라도 복수의 오브젝트들은 터치 스크린(203)상에서 여전히 정확하게 재생될 수 있다. The processor 210 displays a plurality of objects on the touch screen 203 of the mobile terminal 110 in the first arrangement based on the information received through the communication unit 208 (S402). The screen initially being displayed on the touch screen 203 displays a plurality of objects in a first arrangement. The touch screen 230 may duplicate the screen of the display device 120 or duplicate the screen of the display device 120 in a sub-window being displayed on the touch screen 203. The processor 210 may reconstruct the received information to fit on the touch screen 203. For example, if the screen of the display device 120 is larger than the size of the touch screen 203, the plurality of objects may be scaled down to be displayed on the touch screen. Therefore, even if the display size of the display device 120 is different from the size of the touch screen 203, the plurality of objects can still be reproduced correctly on the touch screen 203.

도 5a 내지 도 5d는 본 발명의 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면을 편집하기 위한 화면 편집 기능이 수행될 때, 디스플레이 디바이스(120, 121)와 휴대 단말(110, 111)상에 디스플레이 되고 있는 화면을 설명하는 예이다. 5A to 5D illustrate the display devices 120 and 121 and the portable terminals 110 and 111 when a screen editing function for editing the screens of the display devices 120 and 121 is performed according to an exemplary embodiment of the present invention. This is an example of the screen being displayed on the screen.

도 5a를 참조하면, 화면(510)이 디스플레이 디바이스(120, 121)상에 디스플레이 되고 있을 때, 휴대 단말(110)의 디스플레이부(203)에 디스플레이 되고 있는 화면(511)은 화면(510)과 같다. 도 5a에서, 복수의 어플리케이션이 화면(510)에 디스플레이 되고 있고, 복수의 어플리케이션의 배열은 화면(511)상에 복제된다. 다음, 사용자가 디스플레이 되고 있는 어플리케이션중 적어도 하나를 선택하면, 상기 배열은 화면(511)상에서 변경될 수 있다. 복수의 어플리케이션에 대한 정보는 디스플레이 위치 정보, 디스플레이 이미지 정보, 및 상술한 바와 같은 다른 속성 정보(other attribute information)가 되고, 휴대 단말(110) 또는 디스플레이 디바이스(120)에 의해 해석하기 위해 포맷화될 수 있다. 도 5a는 유니버설 XML 포맷(universal XML format)에 따라 포맷된 정보(520)를 이용한다. 유니버설 XML 포맷에 따라 포맷된 정보(520)는 상기 휴대 단말(110)과 상기 디스플레이 디바이스(120)간의 오브젝트들의 배열을 저장(store), 변경(modify), 및 복제(replicate)하기 위해 휴대 단말(110) 또는 디스플레이 디바이스(120)에 의해 해석될 수 있다. Referring to FIG. 5A, when the screen 510 is displayed on the display devices 120 and 121, the screen 511 displayed on the display unit 203 of the mobile terminal 110 may be displayed on the screen 510. same. In FIG. 5A, a plurality of applications are displayed on screen 510, and the arrangement of the plurality of applications is duplicated on screen 511. Next, when the user selects at least one of the applications being displayed, the arrangement may be changed on the screen 511. The information about the plurality of applications becomes display position information, display image information, and other attribute information as described above, and may be formatted for interpretation by the mobile terminal 110 or the display device 120. Can be. 5A uses information 520 formatted according to the universal XML format. The information 520 formatted according to the universal XML format may be used to store, modify, and replicate the arrangement of objects between the mobile terminal 110 and the display device 120. 110 or by the display device 120.

사용자 입력 정보에 기초하여 프로세서(210)는 제 2 배열을 생성한다(S403). 상기 제 2 배열은 디스플레이 되고 있는 어플리케이션중 하나를 처리하기 위한 사용자 입력에 기초하여 생성될 수 있다. 사용자 입력 수신에 응답하여 프로세서(210)는 복수의 오브젝트의 정보를 적절하게 편집할 수 있다. 즉, 사용자가 도 5a의 휴대 단말(110)의 터치 스크린(203)에 디스플레이 되고 있는 화면(511)상에 하나의 오브젝트를 선택하면, 선택된 오브젝트의 편집을 제어하기 위한 UI 화면(513_1)이 도 5B의 화면(513)상에 디스플레이될 수 있다. The processor 210 generates a second array based on the user input information in operation S403. The second arrangement may be generated based on user input for processing one of the applications being displayed. In response to receiving the user input, the processor 210 may appropriately edit the information of the plurality of objects. That is, when the user selects one object on the screen 511 displayed on the touch screen 203 of the mobile terminal 110 of FIG. 5A, the UI screen 513_1 for controlling the editing of the selected object is shown. It may be displayed on the screen 513 of 5B.

비록 화면(512)는 디스플레이부(230)의 화면(511)상에 선택된 어플리케이션이 디스플레이 디바이스(120)에 디스플레이 되고 있는 것으로 설명될지라도, 상기 선택은 디스플레이 디바이스(120)에 복제(replicated)되지 않을 수 있고, 오직 상기 배열에서 상기 변화들만 디스플레이 디바이스(120)에 반영될 수 있다. 따라서 휴대 단말(110)상에서 수행되는 동작들은 디스플레이 디바이스(120)상에 복제되거나 복제되지 않을 수 있고 오로지 배열에 변화만 반영될 수 있다. Although screen 512 is described as the application selected on screen 511 of display 230 being displayed on display device 120, the selection is not replicated to display device 120. And only the changes in the arrangement can be reflected in the display device 120. Therefore, operations performed on the mobile terminal 110 may or may not be duplicated on the display device 120 and only changes in the arrangement may be reflected.

디스플레이 되고 있는 UI 화면(513_1)에 기초하여 사용자가 삭제를 선택하면, 도 5b에 도시된 터치 스크린(203)에 디스플레이 되고 있는 화면은 도 5c의 (515) 또는 도 5d의 (517)에 도시된 바와 같이 변경되고, 화면(515 또는 517)에 기초한 제 2 배열이 생성된다. 도 5c의 화면(515)은 선택된 오브젝트가 삭제된 화면이다. 도 5d의 화면(517)은 선택된 오브젝트가 삭제되면서 삭제된 오브젝트의 디스플레이 위치가 채워지도록 각 오브젝트의 디스플레이 위치를 시프트한 경우이다. When the user selects to delete based on the UI screen 513_1 being displayed, the screen being displayed on the touch screen 203 shown in FIG. 5B is shown in 515 of FIG. 5C or 517 of FIG. 5D. As changed, a second arrangement based on screen 515 or 517 is created. The screen 515 of FIG. 5C is a screen in which the selected object is deleted. The screen 517 of FIG. 5D is a case where the display position of each object is shifted so that the display position of the deleted object is filled while the selected object is deleted.

상기 오브젝트들의 새로운 제 2 배열에 대한 정보는 휴대 단말(110)에 맞게 편집되어 상기 정보가 디스플레이 디바이스(120)상에 복제하기 위해 디스플레이 디바이스(120)로 전송될 수 있다. 상기 편집이 디스플레이 디바이스(120)상에서 완료되기 전에, 상기 정보는 사용자에 의한 변경을 확인(confirmation)하기 위해 디스플레이 디바이스(120)로 전송될 수 있다. 그러므로, 사용자는 디스플레이 디바이스(120)의 변경을 사전에 볼 수 있고, 디스플레이 디바이스(120)의 편집을 완료하기 전에 디스플레이 디바이스(120)로부터 확인을 요청할 수 있다. Information about the new second arrangement of objects may be edited for the mobile terminal 110 and transmitted to the display device 120 to replicate the information on the display device 120. Before the edit is completed on the display device 120, the information may be sent to the display device 120 to confirm the change by the user. Therefore, the user can see the change of the display device 120 in advance and request confirmation from the display device 120 before completing the editing of the display device 120.

이하 UI 는 터치 스크린 기반 디바이스의 편집 기능을 사용하여 변형될 수 있지만 도 5a 내지 도 5d에 도시된 바로 한정되지 않는다. The UI may be modified using the editing function of the touch screen based device, but is not limited to those illustrated in FIGS. 5A to 5D.

도 6은 바람직한 실시 예에서 제 2 배열의 생성 과정을 설명하는 흐름도이다. 프로세서(210)는 터치 스크린(203)을 통해 제 1 배열에 따른 복수의 오브젝트의 이미지에 기초한 사용자 선택을 감지한다(S601). 사용자 선택은 터치 기반일 수 있으나 상술한 바와 같이 다양한 사용자의 제스처 기반 또는 사용자 입력부(201)의 하드웨어적인 버튼 기반으로 수행될 수 있다. 6 is a flowchart illustrating a process of generating a second array in a preferred embodiment. The processor 210 detects a user selection based on the images of the plurality of objects according to the first arrangement through the touch screen 203 (S601). The user selection may be touch-based, but may be performed based on gestures of various users or hardware buttons of the user input unit 201 as described above.

프로세서(210)는 사용자에 의해 선택된 오브젝트의 정보를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송한다(S602). 이에 따라 디스플레이 디바이스(120, 121)는 도 5b의 (512)에 도시된 바와 같이 선택된 오브젝트를 나타내는 정보를 화면에 디스플레이 할 수 있다. 즉, 디스플레이 되고 있는 오브젝트에 관한 이벤트가 발생될 때마다 프로세서(210)는 이벤트에 대한 이벤트 정보를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송한다. 또는 프로세서(210)는 편집이 완료된 후, 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 제 2 배열의 정보만을 전송할 수 있으나 상술한 바와 같이 상기 이벤트 정보를 전송하지 않을 수 있다. The processor 210 transmits information of the object selected by the user to the display devices 120 and 121 through the communication unit 208 (S602). Accordingly, the display devices 120 and 121 may display information indicating the selected object on the screen, as illustrated at 512 of FIG. 5B. That is, whenever an event relating to the object being displayed is generated, the processor 210 transmits event information about the event to the display devices 120 and 121 through the communication unit 208. Alternatively, the processor 210 may transmit only the second array of information to the display devices 120 and 121 through the communication unit 208 after the editing is completed, but may not transmit the event information as described above.

프로세서(210)는 선택된 오브젝트에 대한 화면 편집을 제어하기 위한 사용자 인터페이스 화면을 휴대 단말(110)의 터치 스크린(203)에 디스플레이 한다(S603). 즉, 도 5b의 (513_1)과 같은 UI화면이 디스플레이 될 수 있다. UI 화면은 선택된 오브젝트에 따라 다를 수 있다. UI 화면은 선택된 오브젝트에 대해 편집 가능한 기능에 따라 결정될 수 있다. 예를 들어, 제 1 오브젝트는 백업 옵션, 숨김 옵션, 또는 상기 오브젝트의 속성을 변경하기 위한 설정 옵션과 관련될 수 있다. The processor 210 displays a user interface screen for controlling screen editing on the selected object on the touch screen 203 of the mobile terminal 110 (S603). That is, a UI screen such as 513_1 of FIG. 5B may be displayed. The UI screen may vary depending on the selected object. The UI screen may be determined according to a function editable for the selected object. For example, the first object may be associated with a backup option, a hidden option, or a setting option for changing an attribute of the object.

프로세서(210)는 터치 스크린(203)을 통해 UI 화면(513_1)에 기초한 사용자 선택을 감지한다(S604). 감지한 결과에 따라 제 2 배열을 생성한다(S605). 제 2 배열은 제 1 배열에 대한 정보를 변형하여 생성될 수 있거나 상기 변형만을 나타내는 새로운 정보가 될 수 있다. 생성된 제 2 배열에 따라, 휴대 단말(110)의 터치 스크린(203)에 디스플레이 되는 화면은 (515) 또는 (517)과 같이 변경되나 이로 제한되지 않는다. The processor 210 detects a user selection based on the UI screen 513_1 through the touch screen 203 (S604). The second array is generated according to the detected result (S605). The second arrangement may be generated by modifying the information for the first arrangement or may be new information indicating only the transformation. According to the generated second arrangement, the screen displayed on the touch screen 203 of the mobile terminal 110 is changed as shown in 515 or 517, but is not limited thereto.

만약 UI 화면(513_1)에서 ‘이동’ 아이템이 선택되고, ‘이동’아이템 선택을 나타내는 터치가 유지된 상태에서 다른 위치로 선택된 오브젝트가 드래그 되면, 터치 스크린(203)에 디스플레이 되는 화면은 선택된 오브젝트가 상기 드래그가 멈춘 위치로 이동된 화면으로 변경될 수 있다. 또한 어떠한 오브젝트도 디스플레이 되지 않는 터치 스크린(203)의 영역에서 UI 화면(513_1)이 제공되고, UI 화면(513_1)상의 ‘설정’ 아이템이 선택되면, 프로세서(210)는 새로운 오브젝트 또는 기존의 오브젝트의 속성을 설정하기 위한 작업을 수행할 수 있다. 또, UI 화면(513_1)에서 ‘백업’아이템이 선택되면, 프로세서(210)는 선택된 오브젝트에 대한 정보를 휴대 단말(110)의 저장부(207)에 백업용으로 저장할 수 있다. 선택된 오브젝트에 대한 정보는 선택된 오브젝트를 처리하기(manipulate) 위해 사용될 수 있는 정보를 포함하나 이로 제한되지 않는다. If the 'move' item is selected on the UI screen 513_1 and the selected object is dragged to another position while the touch indicating the 'move' item is maintained, the screen displayed on the touch screen 203 is selected. The screen may be changed to the screen moved to the position where the drag stopped. In addition, when the UI screen 513_1 is provided in the area of the touch screen 203 where no object is displayed, and the 'setting' item is selected on the UI screen 513_1, the processor 210 may determine a new object or an existing object. You can work to set the properties. In addition, when a "backup" item is selected on the UI screen 513_1, the processor 210 may store information about the selected object in the storage 207 of the mobile terminal 110 for backup. Information about the selected object includes but is not limited to information that can be used to manipulate the selected object.

프로세서(210)는 생성된 제 2 배열의 정보를 통신부(208)를 통해 디스플레이 디바이스(120)로 전송한다(S404). 상술한 바와 같이, 상기 제 2 배열의 정보는 상기 제 1 배열의 정보에 의해 변형되거나 제 1 배열 정보에서의 변경(change)을 나타내는 정보만 될 수 있다. 이에 따라 디스플레이 디바이스(120)에서 제 2 배열의 정보에 기초하여 복수의 오브젝트중 적어도 하나가 디스플레이 디바이스(120, 121)에 의해 편집되고 디스플레이 디바이스(120, 121)에 의해 디스플레이 된다. 즉, 도 5c의 편집된 화면(514) 또는 도 5d의 편집된 화면(516)이 제 2 배열의 정보에 기초하여 디스플레이 디바이스(120)상에 디스플레이 된다. The processor 210 transmits the generated second array information to the display device 120 through the communication unit 208 (S404). As described above, the information of the second array may be changed by the information of the first array or only information indicating a change in the first array information. Accordingly, at least one of the plurality of objects is edited by the display devices 120 and 121 and displayed by the display devices 120 and 121 based on the information in the second arrangement in the display device 120. That is, the edited screen 514 of FIG. 5C or the edited screen 516 of FIG. 5D is displayed on the display device 120 based on the information in the second arrangement.

도 7은 바람직한 다른 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하기 위한 흐름도이다. 도 7은 도 2a 및 도 2b의 프로세서(210, 211)에 의해 수행될 수 있으나 이하 설명의 편의를 위하여 프로세서(210)에서 수행되는 것으로 설명한다. 7 is a flowchart illustrating a method of controlling screen editing of the display devices 120 and 121 according to another exemplary embodiment. Although FIG. 7 may be performed by the processors 210 and 211 of FIGS. 2A and 2B, it will be described as being performed by the processor 210 for convenience of description.

도 7은 복수의 오브젝트에 대한 정보가 휴대 단말(110, 111)과 디스플레이 디바이스(120, 121)에 의해 해석하기에 적절한 포맷으로 변환된 예를 설명한다. 도 7의 단계 S701, S703, S704는 도 4의 단계 S401 내지 S403과 유사하므로 설명을 생략한다. FIG. 7 illustrates an example in which information about a plurality of objects is converted into a format suitable for interpretation by the mobile terminals 110 and 111 and the display devices 120 and 121. Steps S701, S703, and S704 of FIG. 7 are similar to the steps S401 to S403 of FIG. 4, and thus description thereof is omitted.

단계 S702에서, 프로세서(210)는 통신부(208)를 통해 디스플레이 디바이스(120, 121)로부터 정보를 수신하고, 수신된 복수의 오브젝트의 정보를 휴대 단말(110, 111)의 데이터 포맷에 따른 정보로 변환한다. 이에 따라 도 5a에 도시된 바와 같이 제 1 배열의 복수의 오브젝트의 정보는 휴대 단말(110, 111)에 의해 해석될 수 있고, 디스플레이 디바이스(120, 121)에 디스플레이 되고 있는 화면은 휴대 단말(110, 111)에 복제될 수 있다. In operation S702, the processor 210 receives information from the display devices 120 and 121 through the communication unit 208, and converts the received information of the plurality of objects into information according to the data format of the mobile terminals 110 and 111. To convert. Accordingly, as illustrated in FIG. 5A, the information of the plurality of objects in the first array may be interpreted by the mobile terminals 110 and 111, and the screen displayed on the display devices 120 and 121 may be displayed on the mobile terminal 110. , 111).

단계 S705에서 프로세서(210)는 제 2 배열의 정보를 디스플레이 디바이스(120)의 데이터 포맷에 따른 정보로 변환하여 통신부(208)를 통해 디스플레이 디바이스(120)로 전송한다. 정보는 통신부(208)에 의해 변환될 수 있다. 그러므로, 제 2 배열의 복수의 오브젝트들에 대한 정보는 디스플레이 디바이스(120, 121)에 의해 해석될 수 있다. In operation S705, the processor 210 converts the information of the second array into information according to the data format of the display device 120 and transmits the information to the display device 120 through the communication unit 208. The information can be converted by the communication unit 208. Therefore, information about the plurality of objects of the second arrangement can be interpreted by the display devices 120, 121.

도 8은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 제어 방법을 설명하는 흐름도이다. 도 8은 도 4의 동작 흐름도에서 제 2 배열에 따라 복수의 오브젝트를 휴대 단말(110, 111)에 디스플레이 하는 기능을 추가한 예이다. 8 is a flowchart illustrating a screen editing control method of the display devices 120 and 121 according to an exemplary embodiment. FIG. 8 illustrates an example in which a function of displaying a plurality of objects on the portable terminals 110 and 111 according to the second arrangement is added in the operation flowchart of FIG. 4.

도 8의 단계 S801 내지 S803, S805는 도 4의 단계 S401 내지 S403, S404와 유사하므로 이하 설명을 생략한다. Steps S801 to S803 and S805 in FIG. 8 are similar to steps S401 to S403 and S404 in FIG. 4, and thus descriptions thereof will be omitted.

단계 S803에서 프로세서(210)는 제 2 배열을 생성한다. 프로세서(210)는 단계 S804에서 제 2 배열에 따른 복수의 오브젝트를 휴대 단말(110, 111)의 터치 스크린(203)에 디스플레이 한다. 즉, 도 5c의 (515) 또는 (517)과 같이 제 2 배열에 따른 복수의 오브젝트를 포함하는 화면을 디스플레이 한다. In operation S803, the processor 210 generates a second array. The processor 210 displays the plurality of objects according to the second arrangement on the touch screen 203 of the mobile terminals 110 and 111 in step S804. That is, a screen including a plurality of objects according to the second array is displayed as shown in (515) or (517) of FIG. 5C.

도 9는 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 제어 방법을 설명하는 흐름도이다. 도 9는 도 4의 동작 흐름도에서 편집 히스토리 정보를 저장하는 단계를 추가한 예이다. 단계 S901 내지 단계 S903, 및 단계 S905는 도 4의 단계 S401 내지 단계 S404와 유사하므로 이하 설명을 생략한다. 9 is a flowchart illustrating a screen editing control method of the display devices 120 and 121 according to an exemplary embodiment. FIG. 9 is an example of adding the editing history information to the operation flowchart of FIG. 4. FIG. Steps S901 to S903, and step S905 are similar to steps S401 to S404 in Fig. 4, and will not be described below.

단계 S903에서 프로세서(210)는 제 2 배열을 생성한다. 프로세서(210)는 단계 S904에서 생성된 제 2 배열에 따라 편집 히스토리 정보를 생성하여 저장부(207)에 저장한다. 편집 히스토리 정보는 제 1 배열과 제 2 배열간의 차를 나타낼 수 있고, 상기 차는 편집 날짜 또는 편집 시간에 관련될 수 있다. 이때, 프로세서(210)는 생성된 편집 히스토리 정보를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송하여 공유할 수 있다. In step S903, the processor 210 generates a second array. The processor 210 generates the edit history information according to the second array generated in step S904 and stores the edit history information in the storage unit 207. The editing history information may indicate a difference between the first arrangement and the second arrangement, which may be related to the editing date or editing time. In this case, the processor 210 may share the generated edit history information by transmitting it to the display devices 120 and 121 through the communication unit 208.

도 10은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 10은 상술한 실시 예들에서 언급된 복수의 오브젝트의 정보 대신 디스플레이 디바이스(120, 121)의 디스플레이 화면의 정보를 수신하는 예이다. 10 is a flowchart illustrating a method of controlling screen editing of the display devices 120 and 121 according to an exemplary embodiment. FIG. 10 illustrates an example of receiving information on the display screen of the display devices 120 and 121 instead of the information of the plurality of objects mentioned in the above-described embodiments.

즉, 단계 S1001에서 프로세서(210)는 통신부(208)를 통해 디스플레이 디바이스(120, 121)의 디스플레이 화면의 정보를 수신한다. 휴대 단말(110, 111)은 상기 디스플레이 되고 있는 정보를 요청하는 디스플레이 정보 요청 신호를 휴대 단말(120, 121)로 전송하고 상기 요청에 응답하여 디스플레이 디바이스(120, 121)로부터 디스플레이 화면의 정보를 수신할 수 있다. 이를 위하여 휴대 단말(110, 111)은 도 4의 단계 S401에서 언급한 바와 같이 디스플레이 디바이스(120, 121)의 화면 편집 제어 어플리케이션이나 리모콘 어플리케이션의 화면 편집 제어 메뉴를 선택할 수 있다. That is, in step S1001, the processor 210 receives information on the display screen of the display devices 120 and 121 through the communication unit 208. The portable terminals 110 and 111 transmit a display information request signal for requesting the information being displayed to the portable terminals 120 and 121 and receive information on the display screen from the display devices 120 and 121 in response to the request. can do. To this end, the mobile terminals 110 and 111 may select the screen editing control menu of the display editing control application or the remote control application of the display devices 120 and 121 as mentioned in step S401 of FIG. 4.

프로세서(210)는 수신된 정보를 휴대 단말(110, 111)의 터치 스크린(203)에 디스플레이 한다(S1002). 디스플레이 되고 있는 정보를 조정하기 위해 터치 스크린(203)을 통해 사용자 입력정보가 감지되면, 감지된 사용자 입력 정보에 기초하여 프로세서(210)는 화면을 변경하고, 변경된 화면의 정보를 생성한다(S1003). 화면의 변경 및 변경된 화면의 정보 생성은 상술한 제 2 배열 생성과 유사하게 수행될 수 있다. The processor 210 displays the received information on the touch screen 203 of the mobile terminals 110 and 111 (S1002). When user input information is detected through the touch screen 203 to adjust the information being displayed, the processor 210 changes the screen and generates information on the changed screen based on the detected user input information (S1003). . The change of the screen and the generation of information on the changed screen may be performed similarly to the generation of the second array described above.

프로세서(210)는 변경된 화면의 정보를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송한다(S1004). 이에 따라 디스플레이 디바이스(120, 121)는 디스플레이 되고 있는 화면을 편집하여 디스플레이 한다. The processor 210 transmits the changed screen information to the display devices 120 and 121 through the communication unit 208 (S1004). Accordingly, the display devices 120 and 121 edit and display the screen being displayed.

도 11은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 및 기능 제어 방법을 설명하는 흐름도이다. 도 11은 프로세서(210)에 의해 수행될 수 있다. 11 is a flowchart illustrating a screen editing and function control method of the display devices 120 and 121 according to an exemplary embodiment. 11 may be performed by the processor 210.

도 11의 단계 S1101 내지 단계 S1102, S1104, S1105는 도 4의 단계 S401, S402, S403, S404와 유사하므로, 중복된 설명을 피하기 위해 이하 설명을 생략한다. Steps S1101 to S1102, S1104, and S1105 of FIG. 11 are similar to steps S401, S402, S403, and S404 of FIG. 4, and thus descriptions thereof will be omitted in order to avoid redundant description.

단계 S1103에서 터치 스크린(203)을 통해 사용자 입력이 감지되고, 감지된 사용자 입력 정보가 터치 스크린(203)에 디스플레이 되고 있는 화면을 편집하기 위한 편집 요청이면, 프로세서(210)는 단계 S1104, S1105를 수행한다. If a user input is detected through the touch screen 203 in step S1103, and the detected user input information is an edit request for editing a screen being displayed on the touch screen 203, the processor 210 performs steps S1104 and S1105. To perform.

그러나, 단계 S1103에서 터치 스크린(203)을 통해 사용자 입력이 감지되고, 감지된 사용자 입력 정보가 터치 스크린(230)에 디스플레이 되고 있는 스크린에 포함된 적어도 하나의 오브젝트를 실행하기 위한 실행 요청이면, 프로세서(210)는 실행 요청 신호를 통신부(208)를 통해 디스플레이 디바이스(120, 121)로 전송한다(S1106). 이에 따라 디스플레이 디바이스(120, 121)는 선택된 오브젝트를 실행시킨다. 선택된 오브젝트는 선택된 화면 정보로 언급될 수 있다. 선택된 오브젝트가 동영상이면, 디스플레이 디바이스(120)는 수신된 실행 요청 신호에 따라 상기 동영상을 재생한다. However, if a user input is detected through the touch screen 203 in step S1103, and the detected user input information is an execution request for executing at least one object included in the screen being displayed on the touch screen 230, the processor In operation S1106, the processor 210 transmits an execution request signal to the display devices 120 and 121 through the communication unit 208. Accordingly, the display devices 120 and 121 execute the selected object. The selected object may be referred to as selected screen information. If the selected object is a moving picture, the display device 120 plays the moving picture according to the received execution request signal.

즉, 도 12에 도시된 바와 같이 디스플레이 디바이스(120, 121)의 기능이 제어될 수 있다. 도 12는 바람직한 다른 실시 예에 따른 디스플레이 디바이스(120, 121)의 기능 제어에 대한 화면 예이다. 도 12의 (1210)과 같이 디스플레이 디바이스(120, 121)에 웹 페이지 화면이 디스플레이 되고, 휴대 단말(110,111)의 터치 스크린(203)에 (1212)와 같은 화면이 디스플레이 될 때, 휴대 단말(110, 111)의 터치 스크린(203)에 디스플레이 되는 검색 필드 창이 터치되고, 데이터가 상기 검색 필드 창에 입력되면, (1222)에 도시된 바와 같이 키워드(1224)가 디스플레이 되고, 이 키워드(1224)에 대한 정보가 디스플레이 디바이스(120, 121)로 전송되어 키워드(1223)을 포함하는 윈도우(1221)가 디스플레이 된다. 휴대 단말(110)을 사용하여 정보를 입력하면, 키워드의 정보가 디스플레이 디바이스(120, 121)로 전송되어 서치가 요구될 때 해당되는 작업이 수행된다. That is, as shown in FIG. 12, the functions of the display devices 120 and 121 may be controlled. 12 is a screen example of function control of the display devices 120 and 121 according to another exemplary embodiment. When the web page screen is displayed on the display devices 120 and 121 as shown in 1210 of FIG. 12, and the screen such as 1212 is displayed on the touch screen 203 of the mobile terminals 110 and 111, the mobile terminal 110 is displayed. When the search field window displayed on the touch screen 203 of 111 is touched and data is input to the search field window, a keyword 1224 is displayed as shown in 1222 and the keyword 1224 is displayed. Information about the information is transmitted to the display devices 120 and 121 so that a window 1221 including the keyword 1223 is displayed. When information is input using the mobile terminal 110, the keyword information is transmitted to the display devices 120 and 121 to perform a corresponding task when a search is requested.

도 13은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집 및 기능을 제어하기 위한 방법을 설명하는 흐름도이다. 도 13은 도 3의 프로세서(305)에 의해 수행된다. 13 is a flowchart illustrating a method for controlling screen editing and functions of the display devices 120 and 121 according to an exemplary embodiment. FIG. 13 is performed by the processor 305 of FIG.

프로세서(305)는 디스플레이부(307)에 제 1 배열에 따른 복수의 오브젝트를 디스플레이 한다(S1301). 프로세서(305)는 통신부(302)를 통해 복수의 오브젝트의 정보를 휴대 단말(110, 111)로 전송한다(S1302). 이는 휴대 단말(110, 111)의 디스플레이 정보 요청에 따라 수행될 수 있다. 디스플레이 되는 복수의 오브젝트는 사용자 전용의 복수의 오브젝트일 수 있다. 따라서 디스플레이 디바이스(120, 121)의 사용자가 변경될 경우에, 디스플레이부(307)에 디스플레이 되는 복수의 오브젝트는 다른 사용자와 관련된 다른 오브젝트 세트로 변경될 수 있다.The processor 305 displays the plurality of objects according to the first array on the display unit 307 (S1301). The processor 305 transmits the information of the plurality of objects to the mobile terminals 110 and 111 through the communication unit 302 (S1302). This may be performed according to display information requests of the mobile terminals 110 and 111. The plurality of objects to be displayed may be a plurality of objects dedicated to the user. Therefore, when the user of the display devices 120 and 121 is changed, the plurality of objects displayed on the display unit 307 may be changed to another object set related to another user.

프로세서(305)는 통신부(302)를 통해 휴대 단말(110, 111)로부터 복수의 오브젝트에 대한 제 2 배열의 정보를 수신한다(S1303). The processor 305 receives the information on the second array of the plurality of objects from the mobile terminals 110 and 111 through the communication unit 302 (S1303).

제 2 배열의 정보가 수신되면, 프로세서(305)는 수신된 제 2 배열의 정보에 기초하여 디스플레이부(307)상의 복수의 오브젝트를 제 2 배열로 디스플레이 한다(S1304). 상술한 바와 같이, 프로세서(305)는 제 1 배열과 제 2 배열간의 차에 기초하여 제 1 배열의 정보를 편집하거나 제 2 배열의 정보를 수신할 수 있다. When the information of the second arrangement is received, the processor 305 displays the plurality of objects on the display unit 307 in the second arrangement based on the received information of the second arrangement (S1304). As described above, the processor 305 may edit the information of the first arrangement or receive the information of the second arrangement based on the difference between the first arrangement and the second arrangement.

도 14는 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 14는 도 13의 동작 흐름도에서 휴대 단말(110, 111)에서 선택된 오브젝트의 정보를 디스플레이 되는 화면에 표시하는 기능을 추가한 예이다. 따라서 단계 S1401 내지 단계 S1402, S1405, S1406은 단계 S1301 내지 S1304와 유사하므로 이하 설명을 생략한다. 14 is a flowchart illustrating a method of controlling screen editing of the display devices 120 and 121 according to an exemplary embodiment. FIG. 14 illustrates an example of adding a function of displaying information of an object selected by the portable terminals 110 and 111 on a displayed screen in the operation flowchart of FIG. 13. Therefore, steps S1401 to S1402, S1405, and S1406 are similar to steps S1301 to S1304, and thus the description thereof is omitted.

단계 S1403에서, 프로세서(305)는 통신부(302)를 통해 휴대 단말(110, 111)의 사용자에 의해 선택된 적어도 하나의 오브젝트의 정보를 수신한다(S1403). 이에 따라 프로세서(305)는 디스플레이부(307)에 제 1 배열에 따라 디스플레이 되고 있는 복수의 오브젝트에 상기 선택된 오브젝트를 나타내는 정보를 디스플레이 한다(S1404). 예를 들어, 상기 선택된 오브젝트는 상기 오브젝트의 선택을 나타내기 위해 상기 디스플레이(307)상에 하이라이트 되거나 확장(enlarged)될 수 있다.In step S1403, the processor 305 receives information of at least one object selected by the user of the mobile terminals 110 and 111 through the communication unit 302 (S1403). Accordingly, the processor 305 displays the information indicating the selected object on the plurality of objects displayed on the display unit 307 according to the first arrangement (S1404). For example, the selected object may be highlighted or enlarged on the display 307 to indicate the selection of the object.

도 15는 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 15는 도 13의 동작 흐름도에서 편집 히스토리 정보를 생성하여 저장하는 기능을 추가한 예이다. 따라서 단계 S1501 내지 단계 S1504는 단계 S1301 내지 단계S1304와 유사하므로 이하 설명을 생략한다. 15 is a flowchart illustrating a method of controlling screen editing of the display devices 120 and 121 according to an exemplary embodiment. FIG. 15 is an example of adding a function of generating and storing editing history information in the operation flowchart of FIG. 13. Therefore, steps S1501 to S1504 are similar to steps S1301 to S1304, and thus descriptions thereof will be omitted.

단계 S1504에서 디스플레이부(307)에 디스플레이 되고 있는 화면이 편집되면, 단계 S1505에서, 프로세서(305)는 편집 히스토리 정보를 생성하여 저장부(304)에 저장한다. 이 때, 프로세서(305)는 생성된 편집 히스토리 정보를 통신부(302)를 통해 휴대 단말(110, 111)로 전송하여 공유할 수 있다If the screen being displayed on the display unit 307 is edited in step S1504, in step S1505, the processor 305 generates edit history information and stores the edit history information in the storage unit 304. In this case, the processor 305 may share the generated edit history information by transmitting it to the mobile terminals 110 and 111 through the communication unit 302.

단계 S1505에서 프로세서(305)는 저장되는 편집 히스토리 정보를 디스플레이 되는 정보별로 관리되도록 저장할 수 있다. 예를 들어, 디스플레이 되고 있는 화면이 어플리케이션 브라우징 화면이면, 생성된 편집 히스토리 정보는 어플리케이션 브라우징의 편집 히스토리 정보로서 저장한다. 예를 들어, 어플리케이션 아이콘은 배열되거나 변경될 수 있고, 어플리케이션을 편집하는 히스토리는 저장될 수 있다. 또 디스플레이 되고 있는 화면이 컨텐츠 브라우징 화면이면, 생성된 편집 히스토리 정보는 컨텐츠 브라우징의 편집 히스토리 정보로서 저장한다. 예를 들어, 컨텐트 아이콘들 또는 썸네일은 배열되거나 변경될 수 있고, 컨텐트 아이콘들을 편집하는 히스토리는 저장될 수 있다. 또, 프로세서(305)는 저장된 편집 히스토리 정보를 디스플레이 되고 있는 정보에 따라 관리되도록 저장할 수 있다. In operation S1505, the processor 305 may store the stored editing history information for each displayed information. For example, if the screen being displayed is an application browsing screen, the generated editing history information is stored as the editing history information of the application browsing. For example, application icons can be arranged or changed, and the history of editing the application can be stored. If the screen being displayed is the content browsing screen, the generated editing history information is stored as the editing history information of the content browsing. For example, content icons or thumbnails can be arranged or changed, and a history of editing content icons can be stored. In addition, the processor 305 may store the stored editing history information to be managed according to the displayed information.

도 16은 바람직한 실시 예에 따른 디스플레이 디바이스(120, 121)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 16 is a flowchart illustrating a method of controlling screen editing of the display devices 120 and 121 according to an exemplary embodiment.

단계 S1601에서, 복수의 오브젝트는 제 1 배열로 디스플레이 된다. 단계 S1602에서, 복수의 디스플레이 되고 있는 오브젝트에 대한 정보를 요청하는 정보 요청 신호를 휴대 단말(110)로부터 수신한다. 단계 S1603에서, 상기 정보 요청 신호에 응답하여 제 1 배열로 디스플레이 되고 있는 복수의 오브젝트에 대한 정보를 휴대 단말(110)로 전송한다. In step S1601, the plurality of objects are displayed in the first array. In step S1602, an information request signal for requesting information about the plurality of displayed objects is received from the mobile terminal 110. In step S1603, in response to the information request signal, information about the plurality of objects displayed in the first array is transmitted to the mobile terminal 110.

단계 S1604에서 프로세서(305)는 통신부(302)를 통해 휴대 단말(110, 111)로부터 신호를 수신한다. 수신된 신호가 제 2 배열의 정보이면, 프로세서(305)는 단계 S1605에서 상기 제 2 배열의 정보에 기초하여 상기 제 2 배열로 디스플레이부(307)에 복수의 오브젝트를 디스플레이 한다. In step S1604, the processor 305 receives a signal from the mobile terminal 110, 111 through the communication unit 302. If the received signal is information of the second array, the processor 305 displays a plurality of objects on the display unit 307 in the second array based on the information of the second array in step S1605.

한편, 통신부(302)를 통해 수신된 신호가 선택된 오브젝트에 대한 실행 요청 신호이면, 프로세서(305)는 선택된 오브젝트를 실행시킨다(S1606). On the other hand, if the signal received through the communication unit 302 is the execution request signal for the selected object, the processor 305 executes the selected object (S1606).

도 17은 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집을 제어하기 위한 방법을 설명하는 흐름도이다. 17 is a flowchart illustrating a method for controlling screen editing of the display device 120 according to an exemplary embodiment.

디스플레이 디바이스(120, 121)가 디스플레이부(307)에 복수의 오브젝트를 디스플레이하고 있을 때(1701), 통신부(208)를 통해 휴대 단말(110)이 접근 제어 권한 요청을 디스플레이 디바이스(120)로 하면(1702), 디스플레이 디바이스(120)는 휴대 단말(110)에 대한 접근 제어에 대한 허용 여부를 판단한다(1703). 접근 제어는 저장부(207)에 저장된 휴대 단말(110)의 정보에 기초한 인증 처리로 수행될 수 있다. When the display devices 120 and 121 are displaying a plurality of objects on the display unit 307 (1701), when the mobile terminal 110 requests the access control authority request to the display device 120 through the communication unit 208. In operation 1703, the display device 120 determines whether to permit access control for the mobile terminal 110. The access control may be performed by an authentication process based on the information of the portable terminal 110 stored in the storage unit 207.

휴대 단말(110)에 대한 접근이 허용되는 것으로 판단되면, 디스플레이 디바이스(120)는 통신부(302)를 통해 휴대 단말(110)로 접근 제어 수락을 통보한다(1704). If it is determined that access to the mobile terminal 110 is allowed, the display device 120 notifies the portable terminal 110 of the access control acceptance through the communication unit 302 (1704).

이에 따라 휴대 단말(110)로부터 디스플레이 디바이스(120)에 디스플레이 되고 있는 복수의 오브젝트의 정보가 요청되면(1705), 디스플레이 디바이스(120)는 디스플레이 되고 있는 복수의 오브젝트의 정보를 휴대 단말(110)로 전송한다(1706). Accordingly, when information on the plurality of objects being displayed on the display device 120 is requested from the portable terminal 110 (1705), the display device 120 transfers the information on the plurality of objects being displayed to the portable terminal 110. Send (1706).

휴대 단말(110)은 복수 오브젝트를 편집한다(1707). 편집은 상술한 도 5a 내지 도 5d에서 설명한 바와 같이 수행될 수 있다. The mobile terminal 110 edits a plurality of objects (1707). Editing may be performed as described above with reference to FIGS. 5A-5D.

편집 결과에 기초하여 제 2 배열의 정보가 생성되면(1708), 휴대 단말(110)은 생성된 제 2 배열의 정보를 디스플레이 디바이스(120)로 전송한다. 이에 따라 디스플레이 디바이스(120)는 디스플레이부(307)에 디스플레이 되고 있는 복수 오브젝트를 대응되게 편집한다(1710). 다음, 디스플레이 디바이스(120)는 편집 결과를 저장부(304)에 저장하고(1711), 편집 완료를 휴대 단말(110)로 통보한다(1712). When the second array of information is generated based on the edit result (1708), the mobile terminal 110 transmits the generated second array of information to the display device 120. Accordingly, the display device 120 edits the plurality of objects displayed on the display unit 307 correspondingly (1710). Next, the display device 120 stores the edit result in the storage unit 304 (1711) and notifies the portable terminal 110 of the completion of the edit (1712).

도 18은 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 기능을 실행하는 방법을 설명하는 흐름도이다. 18 is a flowchart illustrating a method of executing a function of the display device 120 according to an exemplary embodiment.

도 18을 참조하면, 디스플레이 디바이스(120)가 복수의 오브젝트를 디스플레이하고 있을 때(S1801), 휴대 단말(110)이 디스플레이 디바이스(120)로 접근 제어 권한 요청을 하면(S1802), 디스플레이 디바이스(120)는 휴대 단말(110)에 접근을 허용할지 여부를 상술한 도 7의 단계 S1703에서와 유사하게 판단한다(S1803). Referring to FIG. 18, when the display device 120 is displaying a plurality of objects (S1801), when the mobile terminal 110 requests an access control authority to the display device 120 (S1802), the display device 120 is displayed. ) Determines whether to allow access to the mobile terminal 110 similarly to the above-described step S1703 of FIG. 7 (S1803).

디스플레이 디바이스(120)는 접근 제어 수락을 나타내는 승인 신호(acknowledgement signal)를 휴대 단말(110)로 전송한다(S1804). 휴대 단말(110)은 디스플레이 디바이스(120)로 디스플레이 디바이스(120)에 디스플레이 되고 있는 오브젝트에 대한 정보를 요청한다(S1805). 단계 S1806에서, 디스플레이 디바이스(120)는 휴대 단말(110)로 상기 오브젝트에 대한 정보를 전송한다. 휴대 단말(110)은 적어도 하나의 선택된 디스플레이 오브젝트의 실행에 대한 실행 제어 신호를 생성한다(S1807), 휴대 단말(110)은 적어도 하나의 선택된 디스플레이 되고 있는 오브젝트를 실행하기 위해 실행 제어 신호를 디스플레이 디바이스(120)로 전송한다(S1808). 이에 따라 디스플레이 디바이스(120)는 선택된 오브젝트를 실행한다(S1809). The display device 120 transmits an acknowledgment signal indicating the access control acceptance to the mobile terminal 110 (S1804). The mobile terminal 110 requests the display device 120 for information about an object being displayed on the display device 120 (S1805). In operation S1806, the display device 120 transmits information about the object to the mobile terminal 110. The mobile terminal 110 generates an execution control signal for the execution of the at least one selected display object (S1807), and the mobile terminal 110 displays the execution control signal for executing the at least one selected display object. In step S1808. Accordingly, the display device 120 executes the selected object (S1809).

도 19는 바람직한 실시 예에 따른 휴대 단말(110)를 사용하여 디스플레이 디바이스(120)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 19는 프로세서(210)에 의해 수행된다. 19 is a flowchart illustrating a method of controlling screen editing of the display device 120 using the mobile terminal 110 according to an exemplary embodiment. 19 is performed by the processor 210.

프로세서(210)는 통신부(208)를 통해 서버(130)로부터 디스플레이 디바이스(120)상에 제 1 배열에 따라 디스플레이 되고 있는 복수의 오브젝트의 정보를 수신한다(S1901).The processor 210 receives the information of the plurality of objects being displayed on the display device 120 from the server 130 according to the first arrangement through the communication unit 208 (S1901).

프로세서(210)는 서버(130)로부터 수신된 정보에 기초하여 복수의 오브젝트를 제 1 배열에 따라 디스플레이 한다(S1902).The processor 210 displays the plurality of objects according to the first arrangement based on the information received from the server 130 (S1902).

프로세서(210)는 감지된 사용자 입력 정보에 기초하여 복수의 오브젝트의 정보를 변경하여 제 2 배열을 생성한다(S1903). 프로세서(210)는 통신부(208)를 통해 생성된 제 2 배열의 정보를 서버(130)로 전송한다(S1904).The processor 210 generates a second array by changing the information of the plurality of objects based on the detected user input information (S1903). The processor 210 transmits the information of the second array generated through the communication unit 208 to the server 130 (S1904).

도 20은 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집을 제어하기 위한 방법을 설명하는 흐름도이다. 도 20은 도 1a에 도시된 프로세서(133)에 의해 수행된다. 20 is a flowchart illustrating a method for controlling screen editing of the display device 120 according to an exemplary embodiment. 20 is performed by the processor 133 shown in FIG. 1A.

통신부(131)는 휴대 단말(110)로부터 디스플레이 디바이스(120)에 디스플레이 되고 있는 오브젝트 정보에 대한 정보 요청 신호를 수신한다(S2001). 수신된 요청 신호에 디스플레이 디바이스(120)와 통신을 위한 정보가 포함된다. 디스플레이 디바이스(120)와 통신을 위한 정보는 디스플레이 디바이스(120)의 식별 정보 또는 IP(Internet Protocol) 어드레스와 같은 디스플레이 디바이스(120)의 어드레스를 포함할 수 있다. 단계 S2002에서, 프로세서(133)는 단계 S2001에서 수신된 정보 요청 신호에 포함되어 있는 디스플레이 디바이스(120)와 통신을 위한 정보를 이용하여 통신부(131)를 통해 디스플레이 디바이스(120)에 디스플레이 되고 있는 오브젝트에 대한 정보를 디스플레이 디바이스(120)로 요청한다. The communication unit 131 receives an information request signal for the object information displayed on the display device 120 from the mobile terminal 110 (S2001). The received request signal includes information for communicating with the display device 120. Information for communicating with the display device 120 may include an address of the display device 120, such as identification information of the display device 120 or an Internet Protocol (IP) address. In operation S2002, the processor 133 may display the object displayed on the display device 120 through the communication unit 131 using information for communication with the display device 120 included in the information request signal received in operation S2001. Request the information about the display device 120.

통신부(131)를 통해 디스플레이 디바이스(120)로부터 제 1 배열에 따라 디스플레이 되는 복수의 오브젝트의 정보를 수신한다(S2003). 프로세서(133)는 수신된 복수의 오브젝트의 정보를 통신부(131)를 통해 상기 휴대 단말(110)로 전송한다(S2004). 통신부(131)를 통해 휴대 단말(110)로부터 복수의 오브젝트의 정보에 대한 제 2 배열의 정보가 수신되면, 프로세서(133)는 통신부(131)를 통해 디스플레이 디바이스(110)로 제 2 배열의 정보를 전송한다(S2005).The communication unit 131 receives information on the plurality of objects displayed according to the first arrangement from the display device 120 (S2003). The processor 133 transmits the received information of the plurality of objects to the portable terminal 110 through the communication unit 131 (S2004). When the second array of information on the information of the plurality of objects is received from the mobile terminal 110 through the communication unit 131, the processor 133 may transmit the information of the second array to the display device 110 through the communication unit 131. Send (S2005).

서버(130)는 디스플레이 디바이스(120)에서 디스플레이 되고 있는 복수의 오브젝트의 정보를 사용자 정보와 관련하여 분리하고 저장부(132)에 상기 관련된 정보를 저장하고 관리할 수 있다. 이러한 경우에 현재 디스플레이 디바이스(120)에 디스플레이 되고 있는 복수의 오브젝트의 정보가 휴대 단말(110)의 사용자 전용의 복수의 오브젝트의 정보가 아닌 경우에, 휴대 단말(110)의 사용자는 서버(130)로 자신 전용의 복수의 오브젝트의 정보가 디스플레이 디바이스(120)에 디스플레이 되도록 요청할 수 있다. 즉, 오직 사용자와 관련된 오브젝트와 같은 사용자 특정 정보(User-specific information)가 디스플레이 될 수 있는 것을 말한다. 사용자 특정 정보는 사용자의 식별 정보 또는 사용자와 관련된 휴대 단말(110)의 식별 정보에 따라 결정될 수 있다.The server 130 may separate the information of the plurality of objects displayed on the display device 120 in relation to the user information and store and manage the related information in the storage unit 132. In this case, when the information of the plurality of objects currently displayed on the display device 120 is not the information of the plurality of objects dedicated to the user of the portable terminal 110, the user of the portable terminal 110 is the server 130. The information may be requested to be displayed on the display device 120. That is, only user-specific information such as an object related to a user can be displayed. The user specific information may be determined according to identification information of the user or identification information of the mobile terminal 110 related to the user.

상술한 요청에 따라 서버(130)는 서버(130)가 저장하고 있던 휴대 단말(110)의 사용자 전용의 복수의 오브젝트의 정보를 디스플레이 디바이스(120)와 휴대 단말(110)로 각각 전송한다. 이에 따라 휴대 단말(110)과 디스플레이 디바이스(120)는 서버(130)로부터 수신된 복수의 오브젝트의 정보를 동시에 디스플레이 한다. In response to the above-described request, the server 130 transmits, to the display device 120 and the portable terminal 110, information on a plurality of objects dedicated to the user of the portable terminal 110 stored in the server 130, respectively. Accordingly, the mobile terminal 110 and the display device 120 simultaneously display the information of the plurality of objects received from the server 130.

휴대 단말(110)은 수신된 복수의 오브젝트의 정보를 디스플레이 하고, 상술한 복수의 오브젝트의 정보에 기초하여 화면 편집 제어 또는 기능 제어를 수행한다. 화면 편집 제어 또는 기능 제어 결과는 제어 이벤트가 발생될 때마다 또는 편집 동작 완료시, 휴대 단말(110)과 디스플레이 디바이스(120)간의 직접 통신에 의해 디스플레이 디바이스(120)로 전송되거나 서버(130)를 경유하여 디스플레이 디바이스(120)로 전송될 수 있다. The mobile terminal 110 displays the received information of the plurality of objects and performs screen editing control or function control based on the information on the plurality of objects. The screen edit control or function control result is transmitted to the display device 120 or the server 130 by direct communication between the mobile terminal 110 and the display device 120 whenever a control event occurs or upon completion of the editing operation. Via the display device 120.

디스플레이 디바이스(120)는 수신된 화면 편집 제어 신호에 의해 디스플레이 되고 있는 화면을 편집하거나 수신된 기능 제어 신호에 의해 디스플레이 되고 있는 오브젝트의 기능을 제어한다. The display device 120 edits the screen being displayed by the received screen edit control signal or controls the function of the object being displayed by the received function control signal.

도 21은 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 도 21은 프로세서(305)에 의해 수행된다. 21 is a flowchart illustrating a method of controlling screen editing of the display device 120 according to an exemplary embodiment. 21 is performed by the processor 305.

프로세서(305)에 의해 제 1 배열에 따른 복수의 오브젝트를 디스플레이하고 있을 때(S2101), 프로세서(305)는 통신부(302)를 통해 서버(130)로부터 디스플레이 되고 있는 정보에 대한 요청 신호를 수신한다(S2102). 이에 따라 프로세서(305)는 디스플레이 되고 있는 복수의 오브젝트의 정보를 서버(130)로 전송한다(S2103).When displaying the plurality of objects according to the first arrangement by the processor 305 (S2101), the processor 305 receives a request signal for the information being displayed from the server 130 through the communication unit 302. (S2102). Accordingly, the processor 305 transmits the information of the plurality of objects being displayed to the server 130 (S2103).

그 뒤, 통신부(302)를 통해 서버(130)로부터 제 2 배열의 정보가 수신되면(S2104), 프로세서(305)는 수신된 제 2 배열의 정보에 기초하여 디스플레이 되고 있는 복수의 어플리케이션중 적어도 하나를 편집한 화면을 디스플레이부(307)에 디스플레이 한다(S2105).Then, when the second array of information is received from the server 130 through the communication unit 302 (S2104), the processor 305 is at least one of the plurality of applications being displayed based on the received information of the second array. The edited screen is displayed on the display unit 307 (S2105).

도 22는 바람직한 실시 예에 따른 디스플레이 디바이스(120)의 화면 편집을 제어하는 방법을 설명하는 흐름도이다. 22 is a flowchart illustrating a method of controlling screen editing of the display device 120 according to an exemplary embodiment.

디스플레이 디바이스(120)가 복수의 오브젝트를 디스플레이하고 있을 때(2201), 휴대 단말(110)이 서버(130)로 접근 제어 권한 요청을 한다(2202). When the display device 120 is displaying a plurality of objects (2201), the mobile terminal 110 requests the access control authority to the server 130 (2202).

디스플레이 디바이스(120)에 디스플레이 되고 있는 복수의 어플리케이션은 상술한 서버(130)에서 제공된 휴대 단말(110)의 사용자 전용의 복수의 어플리케이션일 수 있다. 즉, 상술한 오브젝트들은 사용자 특정 오브젝트들(User-specific objects)이 될 수 있다.The plurality of applications displayed on the display device 120 may be a plurality of applications dedicated to the user of the mobile terminal 110 provided by the server 130 described above. That is, the above-described objects may be user-specific objects.

서버(130)는 휴대 단말(110)에 의한 접근 제어 권한 요청에 대한 허용 여부를 판단한다(2203). 상술한 판단은 휴대 단말(110)의 정보에 기초하여 수행될 수 있다. 휴대 단말(110)의 정보는 휴대 단말(100)의 식별 정보 또는/및 휴대 단말(110)의 사용자 정보를 포함할 수 있다, The server 130 determines whether to allow the access control authority request by the mobile terminal 110 (2203). The above-described determination may be performed based on the information of the mobile terminal 110. The information of the mobile terminal 110 may include identification information of the mobile terminal 100 and / or user information of the mobile terminal 110.

판단 결과에 접근 제어 권한 요청에 대해 허용하기로 결정되면, 서버(130)는 휴대 단말(110)로 접근 제어 수락 통보를 할 수 있다(2207). 그러나, 접근 제어는 디스플레이 디바이스(120)에 의해 수행될 수 있다. If the determination result is to allow the access control authority request, the server 130 may notify the access control acceptance notification to the mobile terminal 110 (2207). However, access control may be performed by the display device 120.

접근 제어 권한 요청 신호를 서버(130)가 디스플레이 디바이스(120)로 릴레이 한다(2204). 디스플레이 디바이스(120)가 허용 여부를 판단한 후(2205), 접근 제어 수락 통보를 서버(130)로 하면(2206), 서버(130)가 이를 수신하여 휴대 단말(110)로 전송할 수 있다(2207). The server 130 relays the access control right request signal to the display device 120 (2204). After the display device 120 determines whether to permit (2205), if the access control acceptance notification is sent to the server 130 (2206), the server 130 may receive it and transmit it to the mobile terminal 110 (2207). .

단계 S2208에서, 휴대 단말(110)이 서버(130)로 정보 요청 신호를 전송한다. 서버(130)는 디스플레이 디바이스(120)로 복수의 오브젝트에 대한 정보 요청 신호를 릴레이한다(2209). 상기 복수의 오브젝트 정보에 대한 정보 요청 신호는 디스플레이 정보 요청 신호로 언급될 수 있다. In operation S2208, the mobile terminal 110 transmits an information request signal to the server 130. The server 130 relays the information request signals for the plurality of objects to the display device 120 (2209). The information request signal for the plurality of object information may be referred to as a display information request signal.

이에 따라 디스플레이 디바이스(120)는 디스플레이 디바이스(120)에 현재 디스플레이 되고 있는 복수의 오브젝트의 정보를 서버(130)로 전송한다(2210). 서버(130)는 디스플레이 디바이스(120)로부터 수신된 복수의 오브젝트의 정보를 휴대 단말(110)로 전송한다(2211). Accordingly, the display device 120 transmits the information of the plurality of objects currently displayed on the display device 120 to the server 130 (2210). The server 130 transmits information of the plurality of objects received from the display device 120 to the mobile terminal 110 (2211).

이에 따라 휴대 단말(110)은 화면 편집을 수행하고(2212), 제 2 배열의 오브젝트들에 대한 정보와 같은 화면 편집에 대응하는 제어 명령을 서버(130)로 전송한다(2213). Accordingly, the mobile terminal 110 performs screen editing (2212), and transmits a control command corresponding to screen editing, such as information on the objects of the second array, to the server 130 (2213).

서버(130)는 제어 명령을 디스플레이 디바이스(120)에서 처리할 수 있는 데이터 포맷을 갖는 제어 명령으로 변환하고(2214), 변환된 제어 명령을 디스플레이 디바이스(120)로 전송한다(2215). 디스플레이 디바이스(120)는 서버(130)로부터 수신된 변환된 제어 명령에 따라 편집을 실행하고(2216), 편집이 완료되면, 편집된 화면을 디스플레이 하면서 편집 완료 메시지를 서버(130)로 전송한다(2217). 서버(130)는 결과를 저장하고, 휴대 단말(110)로 실행 완료 통보 메시지를 전송한다(2218, 2219). 상술한 결과 저장은 편집에 따른 히스토리 정보를 포함할 수 있다. 서버(130)는 저장된 편집 히스토리 정보를 휴대 단말(110) 또는/및 디스플레이 디바이스(120)로 각각 전송하여 공유할 수 있다. The server 130 converts the control command into a control command having a data format that can be processed by the display device 120 (2214), and transmits the converted control command to the display device 120 (2215). The display device 120 executes the edit according to the converted control command received from the server 130 (2216), and when the editing is completed, transmits the edit completion message to the server 130 while displaying the edited screen ( 2217). The server 130 stores the result and transmits the execution completion notification message to the mobile terminal 110 (2218 and 2219). The above-described result storage may include history information according to the editing. The server 130 may transmit and share the stored editing history information to the mobile terminal 110 and / or the display device 120, respectively.

본 발명의 실시 예들에 따른 디스플레이 디바이스의 제어 방법 또는 디바이스의 화면 편집 방법을 컴퓨터로 구현하는 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로써 기록되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로써 저장되고 실행될 수 있다. One or more programs including instructions for performing a computer-implemented method of controlling a display device or editing a screen of the device according to embodiments of the present invention may be computer-readable codes on a computer-readable recording medium. It is possible to be recorded as. Computer-readable recording media include all kinds of storage devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims

In the display device control method by a mobile terminal,
Requesting the server to display icons of a first arrangement associated with a user of the portable terminal stored on the server on a display of the display device;
Receiving first display information of the first array of icons from the server in response to a request to the server to display the first array of icons on the display of the display device;
The icons of the first arrangement when the icons of the first arrangement are displayed on the display of the portable terminal based on the first display information, and when the icons of the first arrangement are displayed on the display of the portable terminal; Displayed on the display of the display device;
Generating icons of a second arrangement by changing icons of the first arrangement being displayed on the display of the portable terminal;
Generating second display information based on the icons in the second arrangement; And
Sending a request to the display device to display the second array of icons on the display of the display device, wherein the request includes the second display information.

The method of claim 1,
And the first display information includes display position information of the icons indicating the position of the icons being displayed on the display of the display device.

The display apparatus of claim 2, wherein the display position information includes coordinate information indicating an absolute position of the icons at coordinate positions being displayed on the display of the display device with respect to the coordinate position of the display of the display device. Display device control method.

The method of claim 2, wherein the display position information includes coordinate information indicating a relative position of the icons with respect to each other on the display of the display device.

The method of claim 2, wherein the first display information further comprises icon image data of the icons.

6. The method of claim 5, wherein the first display information is extensible markup language (XML) data.

3. The method of claim 2, wherein the second display information includes first display information modified to indicate new locations of the icons to be displayed on the display of the display device.

The method of claim 2, wherein the second display information comprises a difference between the new positions of the icons to be displayed on the display of the display device and the first display information.

The method of claim 1, wherein the method is
Displaying the second arrangement of icons on the display of the portable terminal while the display device displays the icons of the first arrangement on the display of the display device.

The method of claim 1, wherein changing the icons of the first arrangement comprises:
Changing the position of at least one icon in the icons of the first arrangement to be a new position of the at least one icon in the icons of the second arrangement,
Deleting at least one of the icons in the icons of the first arrangement, and
And at least one of adding a new icon to the icons in the first arrangement of icons.

The display apparatus of claim 10, wherein the first display information is extensible markup language (XML) data.
Changing the icons of the first arrangement includes changing the XML data based on at least one of changing a location of the icon, deleting the icon, and adding the icon. Display device control method.

The method of claim 1, wherein changing the icons of the first arrangement comprises:
Receiving an input to the display of the portable terminal to change an icon in the icons of the first arrangement; And
Generating icons of the second arrangement based on the input.

The method of claim 1, wherein the icons include icons representing content to be played by the display device and icons representing applications of the display device.

In a mobile terminal,
display;
A communication unit communicating with at least one of a display device and a server; And
Request the server to display on the display a first array of icons associated with a user of the portable terminal stored in the server via the communication unit, and to display the icons of the first array on the display. To receive first display information of the first array of icons from the server in response to a request from the server and to display the first array of icons on the display based on the first display information. When controlling the display and when the icons of the first arrangement are displayed on the display of the portable terminal, the first arrangement icons are displayed on the display device and are being displayed on the display of the portable terminal. The first Receive an input for changing icons of an array, generate icons of a second array based on the input, generate second display information based on the icons of the second array, and via the communication unit the display device A controller for sending a request to the display device to display the second array of icons on the display of;
The request includes the second display information.

The method of claim 14,
And the first display information includes display position information of the icons indicating the positions of the icons being displayed on the display of the display device.

The display apparatus of claim 15, wherein the display position information includes coordinate information indicating an absolute position of the icons at coordinate positions being displayed on the display of the display device with respect to the coordinate position of the display of the display device. Mobile terminal.

The portable terminal of claim 15, wherein the display position information includes coordinate information indicating a relative position of the icons with respect to each other on the display of the display device.

The portable terminal of claim 15, wherein the first display information further comprises icon image data of the icons.

19. The portable terminal of claim 18, wherein the first display information is extensible markup language (XML) data.

The portable terminal of claim 15, wherein the second display information includes first display information modified to indicate new locations of the icons to be displayed on the display of the display device.

The portable terminal of claim 15, wherein the second display information comprises a difference between the new positions of the icons to be displayed on the display of the display device and the first display information.

The method of claim 14, wherein the controller,
And control the display to display the second array of icons on the display of the portable terminal while the display device displays the first array of icons on the display of the display device.

The method of claim 14, wherein the controller,
Change the position of at least one icon in the icons of the first arrangement to be a new position of the at least one icon in the icons of the second arrangement,
Deleting the at least one icon in the icons of the first arrangement, and
And generating the icons of the second arrangement by at least one of adding new icons to the icons of the icons of the first arrangement.

The method of claim 23, wherein the first display information is extensible markup language (XML) data.
And the controller changes the XML data based on at least one of changing the position of the icon, deleting the icon, and adding the icon.

The method of claim 24, wherein the controller,
Receive an input to the display of the portable terminal to change an icon in the icons of the first arrangement,
And changing the XML data by generating icons of the second array based on the input.

The portable terminal of claim 14, wherein the icons include icons representing content to be played by the display device and icons representing applications of the display device.

A computer-readable recording medium having recorded thereon a program for generating a portable terminal capable of executing a display device control method by a portable terminal,
The method,
Requesting the server to display icons of a first arrangement associated with a user of the portable terminal stored in a server on a display of the display device;
Receiving first display information of the first array of icons from the server in response to a request to the server to display the first array of icons on the display of the display device;
The icons of the first arrangement when the icons of the first arrangement are displayed on the display of the portable terminal based on the first display information, and the icons of the first arrangement are displayed on the display of the portable terminal; Are displayed on the display of the display device;
Generating icons of a second arrangement by changing icons of the first arrangement being displayed on the display of the portable terminal;
Generating second display information based on the icons in the second arrangement; And
Sending a request to the display device to display the second array of icons on the display of the display device,
And the request includes the second display information.