KR20140043920A - Method and multimedia device for interacting using user interface based on touch screen - Google Patents

Method and multimedia device for interacting using user interface based on touch screen Download PDF

Info

Publication number
KR20140043920A
KR20140043920A KR1020140031826A KR20140031826A KR20140043920A KR 20140043920 A KR20140043920 A KR 20140043920A KR 1020140031826 A KR1020140031826 A KR 1020140031826A KR 20140031826 A KR20140031826 A KR 20140031826A KR 20140043920 A KR20140043920 A KR 20140043920A
Authority
KR
South Korea
Prior art keywords
screen
touch
application
touch screen
input
Prior art date
Application number
KR1020140031826A
Other languages
Korean (ko)
Inventor
김정근
박보은
주종성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140031826A priority Critical patent/KR20140043920A/en
Publication of KR20140043920A publication Critical patent/KR20140043920A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

The present invention relates to a user interface (UI) interaction method for implementing a method of switching between application screens by dragging on a touchscreen of a multimedia terminal device, and a multimedia terminal device. The touchscreen-based user interface interaction method detects a dragging motion which started from a certain area in the touchscreen while a first application screen is displayed, and overlays a second application screen on the first application screen. [Reference numerals] (410) Display a music play screen; (420) Touch?; (430) Detect the location of a touch point; (440) Display a volume area of a fixed type at the touch location; (450) Touch in the volume area?; (462) Increase the volume area; (464,474) Control the volume corresponding to the size of the volume area; (470) Touch outside the volume area?; (472) Decrease the volume area; (480) Touch is detected for a fixed time?; (490) Release the volume area of the fixed type; (AA) Start; (BB) End

Description

터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 멀티 미디어 단말 기기{Method and multimedia device for interacting using user interface based on touch screen}TECHNICAL FIELD [0001] The present invention relates to a touch screen-based user interface interaction method and a multimedia terminal device,

본 발명은 터치 스크린 기반의 사용자 인터페이스(UI; user interface) 인터렉션 방법 및 멀티 미디어 단말 기기에 관한 것이며, 특히 멀티 미디어 단말 기기의 터치 스크린에서 원형 UI를 이용한 볼륨 제어 방법 및 드래깅에 의한 어플리케이션간 화면 전환 방법을 구현하는 UI 인터렉션 방법 및 멀티 미디어 단말 기기에 관한 것이다.The present invention relates to a touch screen based user interface (UI) interaction method and a multimedia terminal device, and in particular, a volume control method using a circular UI on a touch screen of a multimedia terminal device and screen switching between applications by dragging. A UI interaction method and a multimedia terminal device for implementing the method.

통상적으로 터치 스크린을 구비한 PC나 PDA, PMP, MP3 플레이어등과 같은 멀티 콘텐츠 재생기가 보급되고 있다. 이들 멀티 콘텐츠 재생기는 소정의 영상 및 오디오 신호를 포함한 다양한 컨텐츠를 제공한다. 또한 터치 스크린은 키보드와 마우스를 대체하는 입출력 장치이다. 사용자는 터치 스크린의 화면을 직접 손이나 스타일러 펜으로 터치하여 원하는 작업을 수행한다. 콘텐츠들은 터치 제스쳐를 이용하여 재생, 정지, 일시 정지, 빨리 감기, 음량 증가, 음량 감소, 파일 이동, 콘텐츠 확대/축소, 네비게이션, 영상 회전등으로 조절된다. A multi-content player such as a PC, a PDA, a PMP, or an MP3 player having a touch screen is generally in widespread use. These multi-content players provide various contents including predetermined video and audio signals. The touch screen is also an input / output device that replaces the keyboard and mouse. The user touches the screen of the touch screen directly with a hand or a stylus pen to perform a desired operation. Contents are controlled by using a touch gesture such as play, stop, pause, fast forward, volume increase, volume decrease, file move, content zoom, navigation,

도 1은 종래의 멀티 콘텐츠 재생기에서 볼륨을 조작하는 방법을 보이는 외관도이다.1 is an external view showing a method of operating a volume in a conventional multi-content player.

도 1을 참조하면, 볼륨 조작이 가능한 화면에서 (-)(+) 버튼 그래픽을 디스플레이한다. (-)(+) 버튼은 다른 터치 버튼과 같이 푸시하여 동작하는 형태를 갖는다. Referring to FIG. 1, a (-) (+) button graphic is displayed on a screen capable of volume manipulation. The (-) (+) button has the form of pushing and operating like other touch buttons.

예를 들면, 사용자는 볼륨 동작(-)(+)터치 버튼을 각각 푸시(push)하여 볼륨을 조정한다. 이때 롱 푸시(long push)할 경우 연속으로 기능 동작이 수행될 수 있다. For example, the user pushes the volume action (-) (+) touch buttons respectively to adjust the volume. In this case, when a long push is performed, the function operation can be continuously performed.

그러나 종래의 터치 버튼을 이용한 볼륨 조작 방식은 터치의 장점을 이용하지 못할 뿐만 아니라 화면을 확인하고 조작해야하기 때문에 주머니에 넣은 상태에서는 접근이 불가능하다는 문제점이 있었다. However, the conventional volume manipulation method using the touch button does not use the advantages of the touch, but also has to check and operate the screen, there is a problem that the access is not possible in the pocket.

또한 종래의 멀티 콘텐츠 재생기의 터치 스크린은 한 손가락을 사용한 단일 포인트 기반의 드래깅 인터렉션을 제공하고 있다. 그러나 단일 포인트 기반의 드래깅 인터렉션은 한정된 크기를 갖는 디스플레이에서 많은 기능을 구현할 수 없는 단점이 있었다. The touch screen of a conventional multi-content player also provides a single point-based dragging interaction using a single finger. However, a single point-based dragging interaction has the disadvantage that many functions can not be implemented in a display having a limited size.

또한 종래의 터치 스크린 기반의 멀티 콘텐츠 재생기는 메인 메뉴(또는 홈 메뉴)를 통해서만 다른 어플리케이션으로 전환할 수 있다.In addition, the conventional touch screen-based multi-content player can switch to another application only through the main menu (or the home menu).

예를 들면, 멀티 콘텐츠 재생기에서 텍스트를 보다가 음악을 조절하려면 메인 메뉴를 거쳐서 음악 재생 화면으로 이동해야하는 불편함이 있었다.For example, there has been an inconvenience in that, in order to control the music by watching the text in the multi-content player, the user must move to the music playback screen through the main menu.

본 발명이 이루고자하는 기술적 과제는 단말기의 터치 스크린에서 드래깅에 의한 어플리케이션간 화면 전환을 구현하는 터치 스크린 기반의 UI 인터렉션 방법 및 멀티 미디어 단말 기기를 제공하는 데 있다. An object of the present invention is to provide a touch screen-based UI interaction method and a multimedia terminal device for implementing a screen switching between applications by dragging on the touch screen of the terminal.

본 발명이 이루고자하는 다른 기술적 과제는 터치 스크린에서 드래깅에 의한 어플리케이션간 화면 전환을 적용한 멀티 미디어 단말 기기를 제공하는 데 있다.Another object of the present invention is to provide a multimedia terminal device applying a screen switching between applications by dragging on a touch screen.

상기의 기술적 과제를 해결하기 위하여, 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법은, 제1어플리케이션 화면이 표시된 상태에서 상기 터치 스크린의 일정 영역에서 시작된 드래그를 감지하여 제2어플리케이션 화면을 상기 제1어플리케이션 화면상에 오버레이하는 과정을 포함한다. In order to solve the above technical problem, the touch screen-based user interface interaction method, the first application screen is displayed on the first application screen is displayed on the first application screen by detecting a drag started from a certain area of the touch screen; Overlaying on.

상기 제2어플리케이션 화면을 상기 제1어플리케이션 화면상에 오버레이하는 과정은, 상기 터치 스크린을 상기 일정 영역으로부터 드래그할 때 마다 어플리케이션 화면들이 순서대로 디스플레이될 수 있다.In the process of overlaying the second application screen on the first application screen, application screens may be sequentially displayed whenever the touch screen is dragged from the predetermined area.

상기 제2어플리케이션 화면을 상기 제1어플리케이션 화면상에 오버레이하는 과정은, 상기 드래그의 방향 및 거리에 따라 상기 제2어플리케이션 화면의 크기 및 위치를 변화시킬 수 있다.The process of overlaying the second application screen on the first application screen may change the size and position of the second application screen according to the direction and distance of the drag.

사용자 인터페이스 인터렉션 방법은 상기 제1어플리케이션 화면상에 오버레이된 상기 제2어플리케이션 화면에서 사용자 입력에 따라 상기 제2어플리케이션을 제어하고 상기 제2어플리케이션 화면을 변화시키는 과정을 더 포함할 수 있다.The user interface interaction method may further include controlling the second application according to a user input and changing the second application screen in the second application screen overlaid on the first application screen.

상기 제2어플리케이션 화면은 복수의 어플리케이션을 한 화면에 표시할 수 있다.The second application screen may display a plurality of applications on one screen.

상기 터치 스크린의 일정 영역은, 상기 터치 스크린의 상단에 설정될 수 있다.A predetermined area of the touch screen may be set on the top of the touch screen.

상기 터치 스크린의 일정 영역에서 시작된 드래그는, 상기 터치 스크린의 일단에서 상기 터치 스크린의 타단으로 화면을 쓸어 내리는 터치 입력일 수 있다.The drag started from a predetermined region of the touch screen may be a touch input for sweeping the screen from one end of the touch screen to the other end of the touch screen.

상기의 기술적 과제를 해결하기 위하여, 멀티 미디어 단말 기기는 어플리케이션 화면을 디스플레이하는 터치 스크린과, 제1어플리케이션 화면이 표시된 상태에서, 상기 터치 스크린의 일정 영역에서 시작된 드래그를 감지하여 제2어플리케이션 화면을 상기 제1어플리케이션 화면상에 오버레이하는 제어부를 포함한다.In order to solve the above technical problem, the multimedia terminal device detects a drag started from a predetermined area of the touch screen while displaying a touch screen displaying an application screen and a first application screen, and displaying the second application screen. And a controller which overlays on the first application screen.

상기 제어부는 상기 드래그의 방향 및 거리에 따라 상기 제2어플리케이션 화면의 크기 및 위치를 변화시킬 수 있다.The controller may change the size and position of the second application screen according to the direction and distance of the drag.

상기 제어부는, 상기 제1어플리케이션 화면상에 오버레이된 상기 제2어플리케이션 화면에서 사용자 입력에 따라 상기 제2어플리케이션을 제어하고 상기 제2 어플리케이션 화면을 변화시킬 수 있다.The controller may control the second application and change the second application screen according to a user input in the second application screen overlaid on the first application screen.

상기 제2어플리케이션 화면은 복수의 어플리케이션을 한 화면에 표시할 수 있다.The second application screen may display a plurality of applications on one screen.

상기 터치 스크린의 상기 일정 영역은, 상기 터치 스크린의 상단에 설정될 수 있다.The predetermined area of the touch screen may be set on the top of the touch screen.

상기 터치 스크린의 상기 일정 영역에서 시작된 드래그는, 상기 터치 스크린의 일단에서 상기 터치 스크린의 타단으로 화면을 쓸어 내리는 터치 입력일 수 있다.The drag started from the predetermined region of the touch screen may be a touch input for sweeping the screen from one end of the touch screen to the other end of the touch screen.

상술한 바와 같이 본 발명에 의하면, 터치 스크린의 화면을 태핑하면서 볼륨을 조절함으로써 화면을 보지 않고도 볼륨 조작을 가능하게 한다. 또한 본 발명은 드래깅에 의해 복수개의 어플리케이션 화면을 디스플레이함으로서 하나의 화면상에서 멀티 태스킹을 수행할 수 있다. As described above, according to the present invention, it is possible to operate the volume without viewing the screen by adjusting the volume while tapping the screen of the touch screen. In addition, the present invention can perform multitasking on one screen by displaying a plurality of application screens by dragging.

도 1은 종래의 멀티 콘텐츠 재생기에서 볼륨을 조작하는 방법을 보이는 외관도이다.
도 2는 본 발명에 따른 터치 스크린 기반의 UI 인터렉션 방법 및 장치를 적용한 멀티미디어 단말 기기의 블록도이다.
도 3은 본 발명에 따른 터치 스크린 기반의 UI 인터렉션의 일실시예로서 볼륨을 제어하는 화면을 도시한 것이다.
도 4는 도 3에 도시된 터치 스크린상의 볼륨 제어 방법을 보이는 흐름도이다.
도 5 및 6은 본 발명에 따른 터치 스크린 기반의 UI 인터렉션의 다른 실시예로서 멀티 태스크를 수행하는 화면을 도시한 것이다.
도 7은 도 5 및 6에 도시된 터치 스크린상의 드래깅에 의한 화면 전환 방법을 보이는 흐름도이다.1 is an external view showing a method of operating a volume in a conventional multi-content player.
2 is a block diagram of a multimedia terminal device to which a touch screen based UI interaction method and apparatus according to the present invention are applied.
3 illustrates a screen for controlling volume as an embodiment of a touch screen based UI interaction according to the present invention.
FIG. 4 is a flowchart illustrating a volume control method on the touch screen illustrated in FIG. 3.
5 and 6 illustrate screens for performing multi-tasks as another embodiment of a touch screen based UI interaction according to the present invention.
7 is a flowchart illustrating a screen switching method by dragging on the touch screen illustrated in FIGS. 5 and 6.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

도 2는 본 발명에 따른 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 장치를 적용한 멀티미디어 단말 기기의 블록도이다.2 is a block diagram of a multimedia terminal device to which a touch screen-based user interface interaction method and apparatus according to the present invention is applied.

도 2의 멀티 미디어 단말 기기는 터치 스크린부(210), 메모리부(220), 출력부(230), 제어부(240)로 구성된다. 2 includes a touch screen unit 210, a memory unit 220, an output unit 230, and a control unit 240.

터치 스크린부(210)는 영상을 디스플레이하고, 스크린 표면에 가해지는 압력에 반응하는 센서등을 이용하여 사용자 조작에 의한 터치(touch)또는 드래그(drag)를 감지하여 원형 UI 또는 멀티 태스킹 화면을 디스플레이 한다. 이때 터치 스크린상에서의 터치 감지 방법은 주지의 기술로 압력 방식이나 정전용량 방식등을 이용할 수 있다. The touch screen unit 210 displays an image and senses a touch or a drag by a user operation using a sensor responsive to a pressure applied to the screen surface to display a circular UI or a multi- do. At this time, the touch sensing method on the touch screen can use a pressure method, a capacitance method, or the like by a well-known technique.

메모리부(220)는 멀티미디어 콘텐츠들이 저장되어 있으며, 그에 더해 여러 동작 모드에 대응하는 화면 정보 및 소정 형태의 UI 정보들이 저장되어 있다. UI 정보의 형태는 일 실시예로 각 동작 모드에 대응하는 그래피티 혹은 아이콘 또는 버튼 정보로 구현될 수 있다. The memory unit 220 stores multimedia contents, and also stores screen information corresponding to various operation modes and UI information of a predetermined type. The form of the UI information may be implemented by graffiti or icon or button information corresponding to each operation mode in one embodiment.

출력부(230)는 스크린 및 스피커를 이용하여 재생되는 멀티미디어 콘텐츠들을 비디오 및 오디오로 재생한다. The output unit 230 reproduces the multimedia contents reproduced by using the screen and the speaker as video and audio.

제어부(240)는 터치 스크린부(210)에서 조작되는 명령을 인식하고, 그 조작 명령에 따라 멀티미디어 콘텐츠의 재생을 제어하고, 메모리부(220)에 저장된 멀티미디어 콘텐츠들을 터치 스크린부(210) 또는 출력부(230)로 디스플레이하거나 재생한다. 특히, 제어부(240)는 터치 스크린부(210)에 신호 재생 화면을 디스플레이하고, 그 디스플레이된 신호 재생 화면상에서 스크린의 터치 유무를 감지하고, 스크린의 터치를 감지하면 그 터치 지점에서 소정 형태의 볼륨 영역을 디스플레이하고, 소정 형태의 볼륨 영역에서 터치를 감지할 때 마다 그 볼륨 영역의 크기를 가변하고, 그 볼륨 영역의 크기에 해당하는 볼륨을 조절한다. 다른 실시예로 제어부(240)는 현재 진행중인 어플리케이션 화면과 다른 어플리케이션 화면으로 전환하는 인디케이터를 터치 스크린부(210)의 소정의 위치에 설정해두고, 그 인디케이터에서 시작된 드래그를 감지하여 그 드래그의 거리에 대응하는 어플리케이션 화면을 재생중인 어플리케이션 화면상에 오버레이한다.The control unit 240 recognizes a command to be operated by the touch screen unit 210 and controls reproduction of the multimedia content according to the operation command and outputs the multimedia contents stored in the memory unit 220 to the touch screen unit 210 or output (230). In particular, the control unit 240 displays a signal playback screen on the touch screen unit 210, detects whether or not the screen is touched on the displayed signal playback screen, detects a touch of the screen, The volume of the volume area is changed every time a touch is sensed in a volume area of a predetermined type and the volume corresponding to the size of the volume area is adjusted. In another embodiment, the control unit 240 sets an indicator for switching to an application screen different from the current application screen on a predetermined position of the touch screen unit 210, detects a drag initiated by the indicator, Over the application screen being played back.

도 3은 본 발명에 따른 터치 스크린 기반의 UI 인터렉션의 일실시예로서 볼륨을 제어하는 화면을 도시한 것이다. FIG. 3 illustrates a screen for controlling a volume as an embodiment of a UI-based UI interaction according to the present invention.

도 3의 (a)에 도시된 바와 같이 사용자의 손가락이 음악 재생 화면을 1회 터치하면 도 3의 (b)에 도시된 바와 같이 원형의 볼륨 영역 그래픽을 생성한다. 이때 생성된 원형의 크기를 "3"으로 한다. As shown in FIG. 3 (a), when the user's finger touches the music reproduction screen once, a circular volume area graphic is generated as shown in FIG. 3 (b). At this time, the size of the generated circle is set to "3 ".

이어서, 도 3의 (b)에 도시된 바와 같이 스크린상에 표시된 원형 내부를 사람의 손가락으로 다시 터치하면 도 4의 (c)에 도시된 바와 원형의 크기가 "3"에서 "8"로 증가된다. 이어서, 도 3의 (c)에 도시된 바와 같이 스크린상에 표시된 원형 내부를 사람의 손가락으로 다시 터치하면 도 3의 (d)에 도시된 바와 원형의 크기가 "8"에서 "12"로 증가된다. Subsequently, as shown in (b) of FIG. 3, when the user touches again the inside of the circle displayed on the screen with a human finger, the size of the circle as shown in (c) of FIG. 4 increases from "3" to "8". do. 3 (c), when the circular interior displayed on the screen is touched again with a finger of a person, the size of the circle shown in Fig. 3 (d) is increased from "8" to "12" do.

그러나 도 3의 (e)에 도시된 바와 같이 스크린상에 표시된 원형 외부를 사람의 손가락으로 터치하면 도 3의 (f)에 도시된 바와 원형의 크기가 "12"에서 "8"로 감소된다.However, when the outside of the circular shape displayed on the screen is touched with a human finger as shown in Fig. 3 (e), the size of the circle as shown in Fig. 3 (f) is reduced from "12" to "8".

이에 따라 볼륨 영역 크기의 증가 또는 감소에 따라 오디오 볼륨도 증가 또는 감소된다. As a result, the audio volume also increases or decreases as the volume area size increases or decreases.

도 4는 도 3에 도시된 터치 스크린상의 볼륨 제어 방법을 보이는 흐름도이다. 4 is a flowchart illustrating a volume control method on the touch screen shown in FIG.

먼저, 사용자에 의해 선택된 음악 재생 화면을 터치 스크린에 디스플레이한다(420 과정). 이때 음악 재생 화면은 기기의 동작 모드에 대응하여 미리 저장되어 있다. First, the music playback screen selected by the user is displayed on the touch screen (operation 420). At this time, the music reproduction screen is previously stored corresponding to the operation mode of the device.

이어서, 스타일러스 또는 하나 이상의 손가락등의 객체가 터치 스크린의 특정 영역에 놓였을 때 터치 센서등을 이용하여 그 객체의 터치를 감지한다(420 과정). Then, when an object such as a stylus or one or more fingers is placed on a specific area of the touch screen, a touch of the object is sensed using a touch sensor or the like (operation 420).

이어서, 감지된 터치점에 대한 x, y 좌표를 계산하여 터치점의 위치를 검출한다(430 과정). Next, the position of the touch point is detected by calculating x, y coordinates of the sensed touch point (step 430).

이어서, 터치 스크린에서 터치된 위치에서 사용자 인터페이스를 위한 소정 형태의 볼륨 영역을 스크린상에 디스플레이한다(440 과정). 이때 볼륨 영역 정보는 음악 재생 화면에 오버랩(overlap)하여 디스플레이된다. 또한 볼륨 영역 정보는 바람직하게는 원(circle) 형태로 나타낼 수 있으나 다른 도형의 형태로 응용 가능하다. Subsequently, a predetermined volume area for the user interface is displayed on the screen at the touched position on the touch screen (step 440). At this time, the volume area information overlaps with the music reproduction screen and is displayed. Also, the volume area information can be represented by a circle, but it can be applied to other shapes.

이어서, 터치 스크린상에 표시된 볼륨 영역에서 터치된 위치를 체크한다(450 과정).Then, the touched position is checked in the volume area displayed on the touch screen (step 450).

이때 볼륨 영역내에서 터치인가를 감지하면 볼륨 영역의 크기를 증가시킨다(462 과정). 예를 들면, 터치 스크린상에 표시된 원형내에서 터치되면 원의 크기를 증가시킨다. 이어서, 그 볼륨 영역의 크기에 매핑된 오디오 볼륨으로 조절된다(464 과정). 따라서 소정 형태의 볼륨 영역 내에서 터치를 감지할 때 마다 볼륨 영역의 크기를 증가시키고, 그 볼륨 영역 크기의 증가에 따라 오디오 볼륨도 증가된다. At this time, if a touch is detected within the volume area, the size of the volume area is increased (step 462). For example, touching within a circle displayed on the touch screen increases the size of the circle. Then, the audio volume is mapped to the size of the volume area (step 464). Accordingly, the size of the volume area is increased each time a touch is sensed within a volume area of a predetermined type, and the audio volume is also increased as the volume area size increases.

반면, 볼륨 영역 외에서의 터치인가를 감지하면(470 과정) 볼륨 영역의 크기를 감소시킨다(472 과정). 예를 들면, 터치 스크린상에 표시된 원형의 외부에서 터치되면 원의 크기를 감소시킨다. 이어서, 그 볼륨 영역의 크기에 해당하는 오디오 볼륨을 조절한다(474 과정). 따라서 소정 형태의 볼륨 영역 외부에서 터치를 감지할 때 마다 볼륨 영역의 크기를 감소시키고, 그 볼륨 영역 크기의 감소에 따라 오디오 볼륨도 감소된다. On the other hand, if the touch operation is detected outside the volume area (step 470), the size of the volume area is reduced (step 472). For example, touching outside the circle shown on the touch screen reduces the size of the circle. Then, the audio volume corresponding to the size of the volume area is adjusted (operation 474). Accordingly, the size of the volume area is reduced whenever a touch is sensed outside the predetermined volume area, and the audio volume is also reduced as the volume area size is reduced.

이어서, 소정 시간 동안 터치 스크린상에서 터치가 감지되는를 체크한다(480 과정). Then, it is checked whether a touch is sensed on the touch screen for a predetermined time (step 480).

이때 소정 시간 동안 터치 스크린상에서 터치가 감지되면 계속해서 볼륨 제어 동작을 수행한다. At this time, if the touch is detected on the touch screen for a predetermined time, the volume control operation is continuously performed.

그러나 소정 시간 동안 터치 스크린상에서 터치가 감지되지 않으면 터치 스크린상의 소정 형태의 볼륨 영역을 해제한다(490 과정).However, if a touch is not detected on the touch screen for a predetermined time, the volume area of the predetermined type on the touch screen is released (operation 490).

다른 실시예로 신호 재생 화면에 오버레이된 소정 형태의 볼륨 영역에서 소정 각도의 드래그 감지에 따라 볼륨을 조정할 수 있다.In another embodiment, the volume can be adjusted according to the drag detection of a predetermined angle in a predetermined volume area overlaid on the signal reproduction screen.

또 다른 실시에로 신호 재생 화면에 오버레이된 소정 형태의 볼륨 영역에서 그 영역의 눌림 시간에 따라 볼륨을 조정할 수 있다. In another embodiment, the volume can be adjusted in accordance with the pressing time of the area in a predetermined volume area overlaid on the signal reproduction screen.

도 5 및 도 6은 본 발명에 따른 터치 스크린 기반의 UI 인터렉션의 다른 실시예로서 멀티 태스크를 수행하는 화면을 도시한 것이다. 5 and 6 illustrate a screen for performing multitasking according to another embodiment of a touch screen-based UI interaction according to the present invention.

도 5의 (a)를 보면, 터치 스크린상에는 텍스트 보기를 실행중인 제1어플리케이션 화면(510)과, 제1어플리케이션 화면(510)과 다른 제2어플리케이션으로 전환할 수 있는 인디케이터(520)를 구비한다. 이때 인디케이터(520)는 터치스크린상의 하단 또는 상단의 일정 영역에 설정할 수 있으며, 제2어플리케이션 화면을 숨기고 있다. 5A, the touch screen includes a first application screen 510 executing a text view and an indicator 520 capable of switching to a second application different from the first application screen 510 . At this time, the indicator 520 can be set in a predetermined area at the lower or upper side of the touch screen, and hides the second application screen.

이때 사용자(530)가 하단에 위치한 인디케이터(520)를 화살표 방향으로 드래그하면 도 5의 (b)에 도시된 바와 같이 인디케이터(520)에 의해 연결되어 있는 음악 재생 화면(550)이 텍스트 화면(510)에 오버레이된다. 이때 사용자가 드래그의 이동을 중단하게 되면 터치 스크린은 텍스트 화면(510)에 음악 재생 화면(550)을 포함하는 멀티 태스킹 화면을 생성한다. 따라서 사용자는 메인 메뉴를 통하지 않고 텍스트 화면(510)을 보면서 음악 재생 화면(550)에 위치한 음악 관련 기능 예를 들면, FF, REW, Play/Pause등을 조작할 수 있다. When the user 530 drags the indicator 520 located at the lower end in the direction of the arrow, the music reproduction screen 550 connected by the indicator 520 is displayed on the text screen 510 ). At this time, when the user stops moving the drag, the touch screen generates a multitasking screen including the music playback screen 550 on the text screen 510. Accordingly, the user can operate music related functions (e.g., FF, REW, Play / Pause, etc.) located on the music reproduction screen 550 while viewing the text screen 510 without going through the main menu.

또한 사용자의 선택에 따라 각 어플리케이션들이 복수개의 화면으로 독립되어 있지 않고 한 화면에 공존할 수 있다. Also, according to a user's selection, each application can coexist on a screen without being independent of a plurality of screens.

또한 도 6의 (a), (b), (c)에 도시된 바와 같이 인디케이터(610)를 위쪽으로 계속해서 드래그 하면 텍스트 화면--> 음악 재생 화면(a)-->음악 재생 화면과 포토 재생 화면(b) ---> 포토 재생 화면(c)의 순서로 나타나게 되어 어플리케이션간의 화면 전환이 수행된다. Also, as shown in (a), (b), and (c) of FIG. 6, if the indicator 610 is continuously dragged upward, the text screen-> music playback screen (a)-> music playback screen and photo Appears in the order of the playback screen (b) ---> photo playback screen (c) to switch the screen between the applications.

도 7은 도 5 및 6에 도시된 터치 스크린상의 멀티 태스크 제어 방법을 보이는 흐름도이다. FIG. 7 is a flowchart illustrating a method for controlling a multitask on the touch screen shown in FIGS. 5 and 6. FIG.

먼저, 터치 스크린상에 재생중인 제1어플리케이션 화면 영역과, 재생중인 제1어플리케이션 화면과 다른 제2어플리케이션 화면으로 전환하기 위한 인디케이터(indicator)를 설정한다(610 과정). 인디케이터는 바람직하게 터치 스크린의 하단 또는 상단의 일정 영역에 설치되며, 제1어플리케이션 화면과 연결되어 있다. First, an indicator for switching to a first application screen area being reproduced on the touch screen and a second application screen different from the first application screen being reproduced is set (operation 610). The indicator is preferably installed in a predetermined area at the lower or upper end of the touch screen and is connected to the first application screen.

이어서, 인디케이터의 위치에서 시작되는 드래그를 감지하고(620 과정), 그 드래그의 이동 방향 및 거리(또는 이동 량)를 계산한다(630 과정). Next, in step 620, a drag starting from the position of the indicator is sensed, and the direction and distance (or amount of movement) of the drag are calculated (operation 630).

이어서, 인디케이터의 위치에서 시작되는 드래그 방향 및 거리에 따라 연결된 제2어플리케이션 화면을 재생중인 제1어플리케이션 화면에 오버레이한다(640 과정).Then, in step 640, the second application screen linked with the dragging direction and the distance starting from the position of the indicator is overlaid on the first application screen being reproduced.

이어서, 사용자는 드래그의 이동에 따라 나타나는 어플리케이션 화면내에 표시된 동작 기능을 조작한다.Then, the user operates the operation function displayed in the application screen which appears as the drag moves.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다. It is needless to say that the present invention is not limited to the above-described embodiments, and can be modified by those skilled in the art within the scope of the present invention.

또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, flash memory, optical data storage, And the like. The computer readable recording medium may also be distributed over a networked computer system and stored and executed as computer readable code in a distributed manner.

210: 터치 스크린부 520: 인디케이터
220: 메모리부 530: 사용자
230: 출력부 550: 음악 재생 화면
240: 제어부 610: 인디케이터
510: 화면210: touch screen unit 520: indicator
220: memory 530: user
230: output unit 550: music playback screen
240: control unit 610: indicator
510: screen

Claims (14)

터치 스크린에 제1어플리케이션 화면을 표시하는 단계; 및
상기 제1어플리케이션 화면이 표시된 상태에서, 상기 터치 스크린 화면의 상부 또는 하부의 끝단에서 시작된 드래그 입력을 감지하여, 상기 제1어플리케이션과 다른 기능을 조작할 수 있는 제2 화면을 상기 제1어플리케이션 화면의 일부 또는 전부를 가리도록 표시하는 단계를 포함하고,
상기 제2 화면을 표시하는 단계는, 상기 드래그 입력의 현재 터치 위치에 따라 상기 제2 화면의 크기를 변화시키는, 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법.Displaying a first application screen on a touch screen; And
In the state where the first application screen is displayed, a second screen for sensing a drag input started at an end of the upper or lower portion of the touch screen screen to operate a function different from the first application screen is displayed. Marking some or all of them,
The displaying of the second screen may include changing a size of the second screen according to a current touch position of the drag input. 제1항에 있어서,
상기 제2 화면에서 입력된 사용자 입력에 따라 상기 제1어플리케이션과 다른 기능을 실행하는 단계를 더 포함하는, 사용자 인터페이스 인터렉션 방법.The method of claim 1,
And executing a function different from the first application according to a user input entered in the second screen. 제1항에 있어서,
상기 드래그 입력은, 상기 터치 스크린 화면의 일단에서 상기 터치 스크린 화면의 타단으로 화면을 드래그하는 터치 입력인, 사용자 인터페이스 인터렉션 방법.The method of claim 1,
The drag input is a touch input for dragging a screen from one end of the touch screen screen to the other end of the touch screen screen. 터치 입력을 감지하고, 어플리케이션 화면을 디스플레이하는 터치 스크린; 및
제1어플리케이션 화면이 표시된 상태에서, 상기 터치 스크린 화면의 상부 또는 하부의 끝단에서 시작된 드래그 입력을 감지하여, 상기 제1어플리케이션과 다른 기능을 조작할 수 있는 제2 화면을 상기 제1어플리케이션 화면의 일부 또는 전부를 가리도록 표시하는 제어부를 포함하고,
상기 제어부는, 상기 드래그 입력의 현재 터치 위치에 따라 상기 제2 화면의 크기를 변화시키는, 멀티미디어 단말 기기.A touch screen that senses a touch input and displays an application screen; And
While the first application screen is displayed, a part of the first application screen is provided with a second screen that detects a drag input started at an end of the upper or lower portion of the touch screen screen and manipulates a function different from the first application. Or a control unit which displays all of them,
The control unit changes the size of the second screen according to the current touch position of the drag input. 제4항에 있어서,
상기 제어부는, 상기 제2 화면에서 입력된 사용자 입력에 따라 상기 제2 어플리케이션의 기능을 실행하는, 멀티미디어 단말 기기.5. The method of claim 4,
The controller is configured to execute a function of the second application according to a user input input on the second screen. 제4항에 있어서,
상기 드래그 입력은, 상기 터치 스크린 화면의 일단에서 상기 터치 스크린 화면의 타단으로 화면을 드래그하는 터치 입력인, 멀티미디어 단말 기기.5. The method of claim 4,
The drag input is a touch input for dragging a screen from one end of the touch screen screen to the other end of the touch screen screen. 터치 스크린에 제1어플리케이션 화면을 표시하는 단계;
상기 제1어플리케이션 화면이 표시된 상태에서, 상기 터치 스크린 화면의 상부 또는 하부의 끝단에서 시작된 드래그입력을 감지하여, 음악 관련 기능을 조작할 수 있는 제2 화면을 상기 제1어플리케이션 화면의 일부 또는 전부를 가리도록 표시하는 단계를 포함하고,
상기 제2 화면을 표시하는 단계는, 상기 드래그 입력의 현재 터치 위치에 따라 상기 제2 화면의 크기를 변화시키는 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법.Displaying a first application screen on a touch screen;
While the first application screen is displayed, a second screen for operating a music-related function by sensing a drag input started at an end of the upper or lower portion of the touch screen screen may be partially or entirely part of the first application screen. Marking to hide;
The displaying of the second screen may include changing a size of the second screen according to a current touch position of the drag input. 제7항에 있어서,
상기 음악 관련 기능은 FF(역방향 빨리 감기), REW(정방향 빨리 감기), 및 Play/Pause(재생/일시정지) 중 적어도 하나 또는 이들의 조합을 포함하는, 사용자 인터페이스 인터렉션 방법.8. The method of claim 7,
The music related function comprises at least one or a combination of FF (forward fast forward), REW (forward fast forward), and Play / Pause (play / pause). 제7항에 있어서,
상기 제2 화면에서 상기 음악 관련 기능을 조작하는 사용자 입력에 따라, 상기 음악 관련 기능을 실행하는 단계를 더 포함하는, 사용자 인터페이스 인터렉션 방법.8. The method of claim 7,
And executing the music related function according to a user input for operating the music related function on the second screen. 제7항에 있어서,
상기 드래그 입력은, 상기 터치 스크린 화면의 일단에서 상기 터치 스크린 화면의 타단으로 화면을 드래그하는 터치 입력인, 사용자 인터페이스 인터렉션 방법.8. The method of claim 7,
The drag input is a touch input for dragging a screen from one end of the touch screen screen to the other end of the touch screen screen. 터치 입력을 감지하고, 어플리케이션 화면을 디스플레이하는 터치 스크린; 및
제1어플리케이션 화면이 표시된 상태에서, 상기 터치 스크린 화면의 상부 또는 하부의 끝단에서 시작된 드래그 입력을 감지하여, 음악 관련 기능을 조작할 수 있는 제2 화면을 상기 제1어플리케이션 화면의 일부 또는 전부를 가리도록 표시하는 제어부를 포함하고,
상기 제어부는, 상기 드래그 입력의 현재 터치 위치에 따라 상기 제2 화면의 크기를 변화시키는, 멀티미디어 단말 기기.A touch screen that senses a touch input and displays an application screen; And
While the first application screen is displayed, a second screen for operating a music-related function by detecting a drag input started at an end of the upper or lower portion of the touch screen screen may cover a part or all of the first application screen. It includes a control unit to display,
The control unit changes the size of the second screen according to the current touch position of the drag input. 제11항에 있어서,
상기 음악 관련 기능은 FF(역방향 빨리 감기), REW(정방향 빨리 감기), 및 Play/Pause(재생/일시정지) 중 적어도 하나 또는 이들의 조합을 포함하는, 멀티미디어 단말 기기.12. The method of claim 11,
The music related function includes at least one or a combination of FF (forward fast forward), REW (forward fast forward), and Play / Pause (play / pause). 제11항에 있어서,
상기 제어부는, 상기 제2 화면에서 상기 음악 관련 기능을 조작하는 사용자 입력에 따라, 상기 음악 관련 기능을 실행하는, 멀티미디어 단말 기기.12. The method of claim 11,
The controller executes the music related function according to a user input of operating the music related function on the second screen. 제11항에 있어서,
상기 드래그 입력은, 상기 터치 스크린 화면의 일단에서 상기 터치 스크린 화면의 타단으로 화면을 드래그하는 터치 입력인, 멀티미디어 단말 기기.12. The method of claim 11,
The drag input is a touch input for dragging a screen from one end of the touch screen screen to the other end of the touch screen screen.
KR1020140031826A 2014-03-18 2014-03-18 Method and multimedia device for interacting using user interface based on touch screen KR20140043920A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140031826A KR20140043920A (en) 2014-03-18 2014-03-18 Method and multimedia device for interacting using user interface based on touch screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140031826A KR20140043920A (en) 2014-03-18 2014-03-18 Method and multimedia device for interacting using user interface based on touch screen

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130130528A Division KR20130133730A (en) 2013-10-30 2013-10-30 Method and multimedia device for interacting using user interface based on touch screen

Publications (1)

Publication Number Publication Date
KR20140043920A true KR20140043920A (en) 2014-04-11

Family

ID=50652113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140031826A KR20140043920A (en) 2014-03-18 2014-03-18 Method and multimedia device for interacting using user interface based on touch screen

Country Status (1)

Country Link
KR (1) KR20140043920A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111711784A (en) * 2020-06-15 2020-09-25 北京字节跳动网络技术有限公司 Conference control method and device, readable medium and electronic equipment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111711784A (en) * 2020-06-15 2020-09-25 北京字节跳动网络技术有限公司 Conference control method and device, readable medium and electronic equipment
CN111711784B (en) * 2020-06-15 2022-10-18 北京字节跳动网络技术有限公司 Conference control method and device, readable medium and electronic equipment

Similar Documents

Publication Publication Date Title
KR101391602B1 (en) Method and multimedia device for interacting using user interface based on touch screen
US10353570B1 (en) Thumb touch interface
KR20080104858A (en) Method and apparatus for providing gesture information based on touch screen, and information terminal device including the same
TWI588734B (en) Electronic apparatus and method for operating electronic apparatus
JP5750875B2 (en) Information processing apparatus, information processing method, and program
JP6697100B2 (en) Touch operation method and system based on interactive electronic whiteboard
JP5922598B2 (en) Multi-touch usage, gestures and implementation
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
US8976140B2 (en) Touch input processor, information processor, and touch input control method
EP2669786A2 (en) Method for displaying item in terminal and terminal using the same
US20100194693A1 (en) Electronic apparatus, method and computer program with adaptable user interface environment
CN106104450B (en) Method for selecting a part of a graphical user interface
US20120188164A1 (en) Gesture processing
EP1969450A1 (en) Mobile device and operation method control available for using touch and drag
KR20100020311A (en) Method and apparatus for scrolling information on the touch-screen
JP6141301B2 (en) Dialogue model of indirect dialogue device
WO2013039521A1 (en) Control area for a touch screen
CN103809903B (en) Method and apparatus for controlling virtual screen
KR101253168B1 (en) Apparatus for input with touch pad
KR20140067861A (en) Method and apparatus for sliding objects across touch-screen display
JP2012146017A (en) Electronic blackboard system, electronic blackboard system control method, program and recording medium therefor
KR20140043920A (en) Method and multimedia device for interacting using user interface based on touch screen
KR20130133730A (en) Method and multimedia device for interacting using user interface based on touch screen
KR20140041667A (en) Method and multimedia device for interacting using user interface based on touch screen
KR101136327B1 (en) A touch and cursor control method for portable terminal and portable terminal using the same

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150115

Effective date: 20150824

J302 Written judgement (patent court)

Free format text: JUDGMENT (PATENT COURT) FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20151013

Effective date: 20160426