KR20160079367A - Method and apparatus for controlling smart device - Google Patents

Method and apparatus for controlling smart device Download PDF

Info

Publication number
KR20160079367A
KR20160079367A KR1020140190626A KR20140190626A KR20160079367A KR 20160079367 A KR20160079367 A KR 20160079367A KR 1020140190626 A KR1020140190626 A KR 1020140190626A KR 20140190626 A KR20140190626 A KR 20140190626A KR 20160079367 A KR20160079367 A KR 20160079367A
Authority
KR
South Korea
Prior art keywords
control function
setting command
user
soft button
function setting
Prior art date
Application number
KR1020140190626A
Other languages
Korean (ko)
Inventor
이기형
Original Assignee
에릭슨엘지엔터프라이즈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에릭슨엘지엔터프라이즈 주식회사 filed Critical 에릭슨엘지엔터프라이즈 주식회사
Priority to KR1020140190626A priority Critical patent/KR20160079367A/en
Publication of KR20160079367A publication Critical patent/KR20160079367A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a control method and apparatus, assigning various control functions to a soft button displayed on a display of a smart device by using motion recognition to control the smart device without contacts. The control apparatus of the present invention receives a control function setting command to initiate a setting of at least one control function for controlling the smart device without contacts, and assigns at least one control function to at least one soft button displayed on the display.

Description

스마트 기기의 제어 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING SMART DEVICE}[0001] METHOD AND APPARATUS FOR CONTROLLING SMART DEVICE [0002]

본 발명은 동작 인식 분야와 관련된 것으로, 특히 동작 인식을 이용하여 스마트 기기의 디스플레이에 표시된 소프트 버튼에 다양한 제어 기능을 할당하여 무접촉으로 용이하게 스마트 기기를 제어할 수 있는 제어 방법 및 장치에 관한 것이다.The present invention relates to a motion recognition field, and more particularly, to a control method and apparatus capable of easily controlling a smart device in a non-contact manner by assigning various control functions to a soft button displayed on a display of the smart device using motion recognition .

최근에는 사용자의 음성, 움직임 등을 감지하여 추출할 수 있는 센서들이 개발되고 소형화되어 노트북(notebook), 태블릿 PC(tablet personal computer), 스마트폰(smartphone) 등과 같은 스마트 기기(smart device)에 포함되고 있다. 예를 들어, 사용자의 음성을 인식할 수 있는 음성 인식 센서는 특정 단어를 감지하여 카메라 촬영을 수행하는 셔트(shut) 기능을 동작시킬 수 있고, 사용자의 심장 박동을 인식할 수 있는 심박동 센서는 사람의 맥박(脈搏)을 측정할 수 있으며, 동작 인식 센서(motion recognition sensor)는 스마트 기기의 움직임이나 위치를 감지할 수 있다. 영상정보를 인식하고 전기적인 신호로 변환하여 전송할 수 있는 카메라 모듈들은 특정 이미지 정보 또는 움직임 정보를 추출할 수 있다. 또한, 카메라 모듈들은 추출된 특정 이미지 정보 또는 움직임 정보를 구분하여 인식할 수도 있다. 이미지 정보 또는 움직임 정보의 구분 인식을 통하여 사용자 얼굴에서의 눈의 위치 또는 눈의 상태(예를 들어, 눈을 뜬 상태, 눈을 감은 상태 등)를 인식하여 자동차 운전 도중에 운전자가 졸고 있다고 판단될 경우 운전자에게 경고하거나 강제로 자동차를 제동시키는 등의 제어를 수행할 수 있다. 그러나, 이러한 제어 방법은 하나의 이미지 또는 하나의 동작에 하나의 제어 기능만을 대응시켜 설정할 수 있으므로, 여러가지 제어 기능을 수행하기 위해서는 다수의 이미지 정보 또는 움직임 정보들을 각각의 제어 기능에 대응시켜 등록해야 하고, 등록시킨 이미지 정보 또는 움직임 정보들을 사용자가 모두 기억하고 있어야 하는 문제점이 있다. 아울러, 동일한 제어 기능에 대하여 스마트 기기의 제조자 별로 서로 다른 이미지 정보 또는 움직임 정보를 설정해야 하기 때문에 스마트 기기 별로 각각의 이미지 정보 또는 움직임 정보를 기억해야 하는 문제점이 있다.In recent years, sensors capable of sensing and extracting user's voice, motion, etc. have been developed and miniaturized and included in smart devices such as notebooks, tablet personal computers, and smartphones have. For example, a voice recognition sensor capable of recognizing a voice of a user can operate a shut function of sensing a specific word to perform a camera photographing, and a heartbeat sensor capable of recognizing a heartbeat of a user, And the motion recognition sensor can sense the motion or the position of the smart device. Camera modules capable of recognizing image information and converting the image information into electric signals and transmitting the image information can extract specific image information or motion information. Also, the camera modules may distinguish and recognize the extracted specific image information or motion information. When the driver recognizes the position of the eye or the state of the eyes (e.g., the state in which the eyes are opened, the state in which the eyes are closed, etc.) on the user's face through the recognition of the image information or the motion information, It is possible to perform control such as warning the driver or forcibly braking the vehicle. However, since such a control method can set only one control function to correspond to one image or one operation, in order to perform various control functions, a plurality of pieces of image information or motion information must be registered corresponding to each control function , There is a problem that all the user must memorize the registered image information or motion information. In addition, since different image information or motion information must be set for each manufacturer of the smart device with respect to the same control function, each image information or motion information must be stored for each smart device.

한국공개특허공보 제10-1999-044544호(1999.06.25. 공개)Korean Patent Publication No. 10-1999-044544 (published Jun. 25, 1999)

본 발명은 동작 인식을 이용하여 스마트 기기의 디스플레이에 표시된 소프트 버튼에 다양한 제어 기능을 할당하여 무접촉으로 스마트 기기를 제어할 수 있는 제어 방법 및 장치를 제공한다.The present invention provides a control method and apparatus for controlling a smart device in a non-contact manner by assigning various control functions to a soft button displayed on a display of the smart device using motion recognition.

본 발명의 스마트 기기의 무접촉식 제어 방법은, a) 무접촉으로 스마트 기기를 제어하기 위한 적어도 하나의 제어 기능의 설정을 개시하기 위한 제어 기능 설정 명령을 수신하는 단계와, b) 상기 적어도 하나의 제어 기능을 디스플레이에 표시되는 적어도 하나의 소프트 버튼에 각각 할당하는 단계를 포함한다.A contactless control method of a smart device of the present invention includes the steps of: a) receiving a control function setting command for initiating setting of at least one control function for controlling a smart device in a contactless manner; b) Respectively, to at least one soft button displayed on the display.

또한 본 발명의 스마트 기기의 무접촉식 제어 장치는, 무접촉으로 스마트 기기를 제어하기 위한 적어도 하나의 제어 기능의 설정을 개시하기 위한 제어 기능 설정 명령을 수신하고, 상기 적어도 하나의 제어 기능을 적어도 하나의 소프트 버튼에 각각 할당하는 프로세서와, 상기 제어 기능 설정 명령을 인식하기 위한 영상 인식부와, 상기 적어도 하나의 소프트 버튼을 표시하기 위한 디스플레이를 포함한다.The contactless control device of the smart device of the present invention further includes a control function setting command for starting setting of at least one control function for controlling the smart device in a contactless manner, And a display for displaying the at least one soft button. The display unit displays the at least one soft button.

본 발명에 따르면, 적은 수의 이미지 정보 또는 움직임 정보만을 등록시키고도 스마트 기기(smart device)의 다양한 제어 기능을 무접촉으로 수행할 수 있다.According to the present invention, various control functions of a smart device can be performed without registering only a small number of pieces of image information or motion information.

도 1은 본 발명의 실시예에 따른 제어 장치의 구성을 보이는 예시도.
도 2는 본 발명의 실시예에 따른 제어 기능 설정 명령의 예시도.
도 3은 본 발명의 실시예에 따른 영상 통화시 제어 기능 할당을 예시한 도면.
도 4는 본 발명의 실시예에 따른 제어 방법의 절차를 보이는 플로우 차트.
도 5 및 도 6은 본 발명의 실시예에 따른 소프트 버튼에 할당된 제어 기능 수행 방법의 예시도.1 is an exemplary view showing a configuration of a control apparatus according to an embodiment of the present invention;
2 is an exemplary diagram of a control function setting command according to an embodiment of the present invention;
3 is a diagram illustrating a control function assignment in a video call according to an exemplary embodiment of the present invention;
4 is a flowchart illustrating a procedure of a control method according to an embodiment of the present invention.
5 and 6 are exemplary views of a method of performing a control function assigned to a soft button according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명의 실시예들에 대해 상세히 설명한다. 다만, 이하의 설명에서는 본 발명의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다. 아울러, 각 도면에서 동일한 구성 및 기능을 갖는 구성요소에 대해서는 동일한 도면 부호를 부여하고, 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions will not be described in detail if they obscure the subject matter of the present invention. In the drawings, the same reference numerals are assigned to the same components and functions, and a detailed description thereof will be omitted.

도 1은 본 발명의 실시예에 따른 제어 장치의 구성을 보이는 예시도이다.1 is an exemplary view showing a configuration of a control apparatus according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 제어 장치(100)는 영상 인식부(110), 프로세서(120), 저장부(130), 디스플레이(140), 스피커(150) 및 시스템 버스(160)를 포함할 수 있다. 일 실시예로서, 영상 인식부(110), 프로세서(120), 저장부(130), 디스플레이(140) 및 스피커(150)는 시스템 버스(160)를 이용하여 서로 연결될 수 있다. 일 실시예로서, 제어 장치(100)는 개인용 컴퓨터, 태블릿, 스마트폰, 노트북 컴퓨터, 개인 휴대 정보 단말기(PDA: Personal Digital Assistants) 등의 스마트 기기(smart device) 내부에 구비될 수도 있고, 스마트 기기와는 별도로 구비될 수도 있다.1, the control device 100 includes an image recognition unit 110, a processor 120, a storage unit 130, a display 140, a speaker 150, and a system bus 160 . In an embodiment, the image recognition unit 110, the processor 120, the storage unit 130, the display 140, and the speaker 150 may be connected to each other using the system bus 160. The controller 100 may be provided in a smart device such as a personal computer, a tablet, a smart phone, a notebook computer, a personal digital assistant (PDA), or the like, As shown in FIG.

영상 인식부(110)는 사용자의 움직임이나 이미지 등의 영상 정보를 인식하기 위한 수단으로서 무접촉으로 스마트 기기를 제어하기 위한 제어 기능 설정 명령을 인식하여 전기적 신호로 변환할 수 있다. 일 실시예로서, 제어 기능 설정 명령은 도 2에 도시한 바와 같이 손바닥을 펼친 상태(a)에서 주먹을 쥐었다가(b) 다시 펼친 상태(c)가 순차적으로 이루어진 동작을 포함할 수 있다. 그러나, 제어 기능 설정 명령은 이에 한정되지 않고 사용자의 엄지손가락만을 하늘 방향으로 편 동작, 눈 깜빡임, 사용자의 손가락을 이용하여 원 또는 사각형 모양 등의 특정 모양을 그리는 동작 등을 포함할 수 있다(도시하지 않음). 영상 인식부(110)는 제어 기능 설정 명령 이외에 사용자의 움직임을 인식하여 움직임 정보를 전기적 신호로 형성할 수 있다. 일 실시예로서, 영상 인식부(110)는 카메라(camera), CCD 이미지 센서(Charge Coupled Device Image Sensor), CMOS 이미지 센서(Complementary Metal-Oxide Semiconductor Image Sensor) 등을 포함할 수 있으나, 이러한 구현에 한정되는 것은 아니다.The image recognition unit 110 recognizes a control function setting command for controlling the smart device in a non-contact manner as a means for recognizing image information such as a user's motion or an image, and can convert the command into an electrical signal. In one embodiment, the control function setting command may include an operation in which the fist is held in the palm-extended state (a) as shown in Fig. 2 (b) and the state (c) However, the control function setting command is not limited to this, and may include an operation of moving only the thumb of the user in the sky direction, an eye flicker, an operation of drawing a specific shape such as a circle or a square shape using the user's finger Not). The image recognition unit 110 recognizes the movement of the user in addition to the control function setting command, and can form the motion information into an electrical signal. In one embodiment, the image recognition unit 110 may include a camera, a CCD image sensor, a complementary metal-oxide semiconductor image sensor, But is not limited thereto.

프로세서(120)는 사용자가 무접촉으로 스마트 기기를 제어할 수 있도록 제어 기능 설정 명령을 설정하기 위한 절차를 수행할 수 있다. 일 실시예로서, 프로세서(120)는 사용자로부터 제어 기능 설정 명령을 설정하기 위한 요청을 수신할 경우 영상 인식부(110)를 구동시키고, 디스플레이(140)에 "원하는 제어 동작을 등록하세요!"와 같은 안내 문구를 표시하도록 제어하여 사용자가 제어 기능 설정 명령으로 등록하기 원하는 동작을 입력하도록 유도할 수 있다. 또한, 프로세서(120)는 사용자의 제어 기능 설정 명령 수행으로 인하여 영상 인식부(110)에서 형성한 전기적 신호를 수행하고자 하는 제어 기능(예를 들어, 선택 기능)과 매칭시켜서 저장부(130)에 저장하도록 제어할 수 있다. 따라서, 사용자가 제어 기능 설정 명령을 무접촉으로 수행할 경우 프로세서(120)는 그에 대응한 제어 기능을 수행할 수 있다.The processor 120 may perform a procedure for setting a control function setting command so that the user can control the smart device without contact. In one embodiment, when the processor 120 receives a request for setting a control function setting command from the user, the processor 120 drives the image recognition unit 110 and displays "Register the desired control operation" It is possible to induce the user to input an operation desired to be registered with the control function setting command. In addition, the processor 120 matches the electric signal formed by the image recognition unit 110 with a control function (for example, a selection function) to be performed due to the execution of the control function setting instruction of the user, To be stored. Accordingly, when the user performs the control function setting command in a contactless manner, the processor 120 can perform the corresponding control function.

또한, 프로세서(120)는 설정된 제어 기능 설정 명령을 이용한 사용자 요청을 수신하여 디스플레이(140)에 표시되는 적어도 하나의 소프트 버튼에 스마트 기기를 제어하기 위한 제어 기능을 각각 할당할 수 있다. 도 3은 본 발명의 실시예에 따른 영상 통화시 제어 기능 할당을 예시한 도면이다. 도 3에 도시한 바와 같이, 프로세서(120)는 제어 기능 설정 명령을 이용한 사용자 요청을 수신하여 디스플레이(140)에서의 메뉴 1(141)에는 통화 상대방에게 송신하는 음성을 차단하기 위한 통화음 소거 기능을 할당할 수 있고, 메뉴 2(142)에는 통화 상대방의 음성을 스피커(150)를 통하여 청취하기 위한 스피커 활성화 기능을 할당할 수 있고, 메뉴 3(143)에는 통화 상대방에게 송신하는 영상을 차단하기 위한 영상 차단 기능을 할당할 수 있으며, 메뉴 4(144)에는 영상 또는 음성 통화를 종료하기 위한 통화 종료 기능을 할당할 수 있다. 다른 실시예로서, 영상 인식부(110)를 이용한 영상 녹화시 제어 기능 할당을 예로 들면 제1 메뉴에는 영상 녹화를 정지시키기 위한 정지 기능을 할당할 수 있고, 제2 메뉴에는 영상 녹화를 일시 정지시키기 위한 일시정지 기능을 할당할 수 있으며, 제3 메뉴에는 영상 녹화를 종료시키기 위한 종료 기능을 할당할 수 있다(도시하지 않음). 디스플레이(140)에 표시된 적어도 하나의 소프트 버튼에 스마트 기기를 제어하기 위한 제어 기능을 각각 할당하는 구체적인 방법에 대해서는 도 4 내지 도 6을 참조하여 후술하도록 한다.In addition, the processor 120 may assign a control function for controlling the smart device to at least one soft button displayed on the display 140 by receiving a user request using the set control function setting command. 3 is a diagram illustrating a control function assignment in a video call according to an embodiment of the present invention. As shown in FIG. 3, the processor 120 receives a user request using a control function setting command, and a menu 1 141 of the display 140 displays a call sound cancel function for blocking a voice transmitted to a calling party And the menu 2 142 may be assigned with a speaker activation function for listening to the voice of the other party through the speaker 150. In the menu 3 143, And a menu termination function for terminating the video or voice call can be assigned to the menu 4 (144). As another example, when assigning a control function for video recording using the image recognition unit 110, a stop function for stopping the video recording can be assigned to the first menu, and a stop function for stopping the video recording can be assigned to the second menu. And the third menu may be assigned a termination function for terminating the video recording (not shown). A specific method of assigning control functions for controlling the smart device to at least one soft button displayed on the display 140 will be described later with reference to FIG. 4 to FIG.

또한, 프로세서(120)는 설정된 제어 기능 설정 명령, 영상 인식부(110)에서 형성한 사용자의 움직임 정보 및 제어 기능이 할당된 소프트 버튼을 이용한 사용자 요청을 수신하여 디스플레이(140)에서의 소프트 버튼에 할당된 제어 기능을 수행할 수 있다. 일 실시예로서, 영상 인식부(110)는 사용자가 도 3에 도시한 메뉴 1 내지 메뉴 4(141~144) 중 어느 하나의 소프트 버튼의 위치로 손을 움직일 경우 해당 사용자 손의 움직임을 인식하여 움직임 정보를 형성할 수 있다. 또한, 영상 인식부(110)는 사용자가 메뉴 1 내지 메뉴 4(141~144) 중 어느 하나의 소프트 버튼의 위치에 손을 위치한 상태에서 설정된 제어 기능 설정 명령을 수행할 경우 사용자가 해당 소프트 버튼을 선택한 것으로 판단하고, 소프트 버튼 선택 정보를 형성하여 프로세서(120)로 전송할 수 있다. 소프트 버튼 선택 정보를 수신한 프로세서(120)는 선택된 소프트 버튼에 할당된 제어 기능을 수행하도록 제어할 수 있다. 예를 들어, 사용자가 메뉴 1(141)을 선택하였을 경우 통화음 소거 기능을 수행하여 통화 상대방에게 송신하는 음성을 차단할 수 있고, 사용자가 메뉴 2(142)를 선택하였을 경우 스피커 기능을 수행하여 통화 상대방의 음성을 스마트 기기의 스피커(150)를 통하여 출력하도록 제어할 수 있고, 사용자가 메뉴 3(143)을 선택하였을 경우 영상차단 기능을 수행하여 통화 상대방에게 송신하는 영상을 차단할 수 있으며, 사용자가 메뉴 4(144)를 선택하였을 경우 종료 기능을 수행하여 영상 통화를 종료할 수 있다. In addition, the processor 120 receives a user request using the set control function setting command, the user's motion information formed by the image recognizing unit 110, and the soft button allocated with the control function, And can perform assigned control functions. In one embodiment, when the user moves his / her hand to the position of one of the soft buttons of menus 1 to 4 (141 to 144) shown in FIG. 3, the image recognition unit 110 recognizes the movement of the user's hand The motion information can be formed. In addition, when the user performs a control function setting command set in a state where a hand is positioned at a position of any one of the menus 1 to 4 (141 to 144), the image recognizing unit 110 displays a corresponding soft button It is determined that it is selected, and the soft button selection information is formed and transmitted to the processor 120. The processor 120 receiving the soft button selection information can control to perform the control function assigned to the selected soft button. For example, when the user selects the menu 1 (141), the user can block the voice transmitted to the calling party by performing the calling tone mute function. When the user selects the menu 2 (142), the speaker function is performed, Can be controlled to output through the speaker 150 of the smart device. If the user selects the menu 3 143, the user can block the image transmitted to the calling party by performing a video blocking function. 4 (144) is selected, the video call can be terminated by performing the end function.

아울러, 프로세서(120)는 사용자 요청을 수신하여 디스플레이(140)에 표시된 적어도 하나의 소프트 버튼의 위치, 모양 등의 형태를 설정할 수 있다. 일 실시예로서, 프로세서(120)는 사용자가 도 3에 도시한 메뉴 1 내지 메뉴 4(141~144) 중 어느 하나의 소프트 버튼을 터치하여 이동시킨 후 터치를 해제하면(drag & drop) 해당 이동시킨 위치에 소프트 버튼을 표시할 수 있다. In addition, the processor 120 may receive a user request and set the location, shape, etc., of at least one soft button displayed on the display 140. In one embodiment, when the user touches one of the soft buttons of menus 1 to 4 (141 to 144) shown in FIG. 3 and then releases the touch (drag & drop) The soft button can be displayed at the position.

저장부(130)는 사용자의 제어 기능 설정 명령으로 인해서 영상 인식부(110)에서 형성한 전기적 신호를 수행하고자 하는 제어 기능과 매칭시켜서 저장할 수 있다. 일 실시예로서, 저장부(130)는 도 2에 도시한 손바닥을 펼친 상태에서 주먹을 쥐었다가 다시 펼친 상태가 순차적으로 이루어진 제어 기능 설정 명령과 선택 기능을 매칭시켜 저장할 수 있다. 일 실시예로서, 저장부(130)는 ROM(Read Only Memory), RAM(Random Access Memory), CD(Compact Disc)-ROM, 자기 테이프(Magnetic Tape), 플로피 디스크(Floppy Disc), 광데이터(Optical Data) 저장장치 또는 캐리어 웨이브(Carrier Wave)(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것 등을 포함할 수 있으나, 이러한 구현에 한정되는 것은 아니다.The storage unit 130 may store the electrical signal formed by the image recognition unit 110 by matching with a control function to be performed due to a control function setting command of the user. In one embodiment, the storage unit 130 may store and store a control function setting command and a selection function, in which the fingers are held in a state in which the palm is extended as shown in FIG. 2, and then expanded. In one embodiment, the storage unit 130 may be a ROM, a RAM, a CD, a magnetic tape, a floppy disc, Optical data storage, or carrier waves (e.g., transmission over the Internet), but are not limited to such implementations.

디스플레이(140)는 예컨대, 메뉴 1~4(141~144) 등과 같이, 적어도 하나의 소프트 버튼을 표시할 수 있다. 일 실시예로서, 디스플레이(140)는 LCD(Liquid Crystal Display), LED(Light Emit Diode) 디스플레이, OLED(Organic LED) 디스플레이 등의 형태로 구현되는 것을 포함할 수 있으나, 이러한 구현에 한정되는 것은 아니다.The display 140 may display at least one soft button, such as, for example, menus 1-4 (141-144). In one embodiment, the display 140 may include, but is not limited to, an LCD (Liquid Crystal Display), a LED (Light Emitting Diode) display, an OLED .

스피커(150)는 스마트 기기를 이용하여 영상 통화를 수행할 경우에 통화 상대방의 음성을 출력할 수 있다. The speaker 150 can output a voice of a calling party when a video call is performed using the smart device.

도 4는 본 발명의 실시예에 따른 제어 방법의 절차를 보이는 플로우 차트이다.4 is a flowchart illustrating a procedure of a control method according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 우선 제어 장치(100)는 제어 기능 설정 명령 설정을 등록할 수 있다(S401). 일 실시예로서, 제어 장치(100)는 사용자로부터 사용자 인터페이스(user interface)를 통하여 제어 기능 설정 명령을 설정하기 위한 요청을 수신할 경우 영상 인식부(110)를 구동시키고, 디스플레이(140)에 "원하는 제어 동작을 등록하세요!"라는 문장을 표시하여 사용자가 제어 기능 설정 명령으로 등록하기 원하는 동작을 입력하도록 유도할 수 있다. 제어 장치(100)는 사용자가 특정 동작을 제어 기능 설정 명령으로 등록할 경우 해당 동작과 수행하고자 하는 제어 기능을 매칭하여 저장하고, 추후 사용자가 제어 기능 설정 명령을 입력하면 해당 동작과 대응하는 제어 기능을 수행할 수 있다. As shown in Fig. 4, the control device 100 can register the control function setting command setting (S401). In one embodiment, the control device 100 drives the image recognition unit 110 when receiving a request for setting a control function setting command from a user via a user interface, Quot; Register the desired control operation ", so that the user can input the operation desired to be registered by the control function setting command. When the user registers a specific operation as a control function setting command, the control device 100 stores the corresponding operation and the control function to be executed and stores the same. When the user inputs a control function setting command, Can be performed.

다음으로, 제어 장치(100)는 제어 기능 설정 명령을 수신하고, 수신된 제어 기능 설정 명령이 미리 등록된 제어 기능 설정 명령과 일치하는지 판단하여 일치된 경우에 제어 기능 설정 명령의 수신을 확인할 수 있다(S402). 또한, 제어 장치(100)는 제어 기능 설정 명령을 이용하여 디스플레이(140)에 표시된 다수의 소프트 버튼에 특정 제어 기능을 할당할 수 있다(S403). 도 3에 도시한 메뉴 1 내지 메뉴 4(141~144)의 소프트 버튼은(디폴트(default)로 임의로 제어 기능들이 할당될 수도 있지만) 최초에는 제어 기능들이 할당되지 않은 비어 있는 상태일 수 있으며, 사용자가 제어 기능 설정 명령을 이용하여 메뉴 1(141)에 해당하는 소프트 버튼을 선택하면 등록 가능한 제어 기능의 목록을 디스플레이(140)에 표시할 수 있고, 표시된 목록 중에서 어느 하나를 사용자가 제어 기능 설정 명령을 이용하여 선택할 경우 해당 제어 기능을 해당 소프트 버튼에 할당할 수 있다. 메뉴 2 내지 메뉴 4(142~144)의 소프트 버튼에 대해서도 메뉴 1(141)에 제어 기능을 할당하는 방법과 동일한 방법으로 제어 기능을 할당할 수 있다. 소프트 버튼에 제어 기능을 할당한 후 사용자는 스마트 기기와 무접촉으로 제어 기능 설정 명령 및 소프트 버튼을 이용하여 소프트 버튼에 할당된 제어 기능을 수행할 수 있다(S404). 구체적으로는, 제어 장치(100)는 제어 기능 설정 명령을 감지하여 사용자의 손에 대응하는 손 모양(도 5에 도시한 H)의 초기 위치를 설정하고, 초기 위치로부터의 사용자의 움직임을 감지하여 사용자가 다수의 소프트 버튼 중 어느 하나를 선택한 것을 감지하여 선택된 소프트 버튼에 할당된 제어 기능을 수행할 수 있다. 일 실시예로서, 사용자는 영상 인식부(110)가 구동된 상태에서 제어 기능 설정 명령을 수행하여 무접촉으로 스마트 기기의 제어를 수행하기 위한 절차를 시작하겠다는 것을 알릴 수 있고, 그에 따라서 디스플레이(140)에 손 모양(도 5에 도시한 H)이 표시될 수 있다. 사용자가 손을 움직일 경우 손 모양(도 5에 도시한 H)는 화살표 모양(도 6에 도시한 A)으로 표시될 수 있고, 사용자의 움직임에 비례하여 디스플레이(140) 상에서의 위치가 변화될 수 있다. 사용자가 손을 움직일 경우 영상 인식부(110)가 그를 인식하여 손의 움직임에 비례하여 화살표 모양(도 6에 도시한 A)이 이동할 수 있고, 화살표 모양(도 6에 도시한 A)이 메뉴 1 내지 메뉴 4(141~144)에 해당하는 위치에 위치한 상태에서 사용자가 제어 기능 설정 명령을 수행하면 해당 소프트 버튼을 선택한 것으로 판단하고, 해당 소프트 버튼에 할당된 제어 기능을 수행할 수 있다. 소프트 버튼에 할당된 제어 기능 수행이 완료될 경우 화살표 모양(도 6에 도시한 A)은 도 5에 도시한 손 모양(도 5에 도시한 H)으로 변하여 최초에 손 모양(도 5에 도시한 H)이 디스플레이(140) 상에서 위치해 있던 곳으로 재이동하여 표시될 수 있다.Next, the control device 100 receives the control function setting command, determines whether the received control function setting command matches the previously registered control function setting command, and confirms reception of the control function setting command in the case of coincidence (S402). In addition, the control device 100 may assign a specific control function to a plurality of soft buttons displayed on the display 140 using a control function setting command (S403). The soft buttons of the menus 1 to 4 141 to 144 shown in FIG. 3 may be in an empty state in which control functions are not initially assigned (although the control functions may be arbitrarily assigned by default) A list of controllable functions that can be registered can be displayed on the display 140 by selecting a soft button corresponding to the menu 1 141 using the control function setting command, , The corresponding control function can be assigned to the corresponding soft button. The control functions can be assigned to the soft buttons of the menus 2 to 4 (142 to 144) in the same manner as the method of assigning the control function to the menu 1 (141). After assigning the control function to the soft button, the user can perform the control function assigned to the soft button by using the control function setting command and the soft button in a non-contact with the smart device (S404). Specifically, the control device 100 senses the control function setting command to set the initial position of the hand corresponding to the user's hand (H shown in FIG. 5), detects the movement of the user from the initial position The user can select one of the plurality of soft buttons and perform the control function assigned to the selected soft button. In one embodiment, the user can inform that the image recognition unit 110 is to start a procedure for performing control of the smart device by performing a control function setting command in a state in which the image recognition unit 110 is driven, (H shown in Fig. 5) can be displayed on the display screen. When the user moves the hand, the shape of the hand (H shown in Fig. 5) may be indicated by an arrow (A in Fig. 6) and the position on the display 140 may be changed in proportion to the movement of the user have. When the user moves his or her hand, the image recognition unit 110 recognizes the movement of the hand so that the arrow shape (A in FIG. 6) can be moved in proportion to the movement of the hand, When the user performs the control function setting command in a state corresponding to the menus 141 to 144, it is determined that the corresponding soft button is selected, and the control function assigned to the corresponding soft button can be performed. When the control function assigned to the soft button is completed, an arrow shape (A in Fig. 6) is changed to a hand shape (H in Fig. 5) H) may be displayed and moved back to where it was located on the display 140.

상기 방법은 특정 실시예들을 통하여 설명되었지만, 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.Although the method has been described through particular embodiments, the method may also be implemented as computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission over the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the above embodiments can be easily deduced by programmers of the present invention.

본 명세서에서는 본 발명이 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 당업자가 이해할 수 있는 본 발명의 정신 및 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.Although the present invention has been described in connection with certain embodiments thereof, it should be understood that various changes and modifications may be made therein without departing from the spirit and scope of the invention as will be apparent to those skilled in the art to which the invention pertains. something to do. It is also contemplated that such variations and modifications are within the scope of the claims appended hereto.

100: 제어 장치 110: 영상 인식부
120: 프로세서 130: 저장부
140: 디스플레이 150: 스피커
160: 시스템 버스100: control device 110: image recognition unit
120: processor 130:
140: Display 150: Speaker
160: System bus

Claims (12)

스마트 기기의 무접촉식 제어 방법으로서,
a) 무접촉으로 스마트 기기를 제어하기 위한 적어도 하나의 제어 기능의 설정을 개시하기 위한 제어 기능 설정 명령을 수신하는 단계와,
b) 상기 적어도 하나의 제어 기능을 디스플레이에 표시되는 적어도 하나의 소프트 버튼에 각각 할당하는 단계
를 포함하는, 제어 방법.A contactless control method of a smart device,
A method comprising: a) receiving a control function setting command for initiating setting of at least one control function for controlling a smart device in a contactless manner;
b) assigning the at least one control function to at least one soft button displayed on the display, respectively
/ RTI > 제1항에 있어서,
c) 무접촉으로 상기 제어 기능 설정 명령 및 상기 적어도 하나의 소프트 버튼을 이용한 요청을 수신하여 상기 적어도 하나의 제어 기능을 수행하는 단계
를 더 포함하는, 제어 방법.The method according to claim 1,
c) receiving the request using the control function setting command and the at least one soft button in a contactless manner to perform the at least one control function
≪ / RTI > 제1항에 있어서,
상기 단계 a)는,
상기 스마트 기기에 상기 제어 기능 설정 명령을 미리 등록하여 두는 단계와,
상기 제어 기능 설정 명령을 수신하는 단계와,
수신된 상기 제어 기능 설정 명령이 미리 등록된 상기 제어 기능 설정 명령과 일치하는지 판단하여 일치된 경우에 상기 제어 기능 설정 명령을 수신을 확인하는 단계
를 포함하는 제어 방법.The method according to claim 1,
The step a)
Registering the control function setting command in advance in the smart device;
Receiving the control function setting command;
Determining whether the received control function setting command matches the previously registered control function setting command and confirming receipt of the control function setting command if the received control function setting command matches
≪ / RTI > 제1항에 있어서,
상기 단계 b)는,
상기 적어도 하나의 소프트 버튼의 위치 및 모양의 적어도 하나의 설정을 수행하는 단계를 포함하는, 제어 방법.The method according to claim 1,
The step b)
And performing at least one setting of the position and shape of the at least one soft button. 제2항에 있어서,
상기 단계 c)는,
상기 제어 기능 설정 명령을 감지하여 초기 위치를 설정하는 단계와,
상기 초기 위치로부터의 사용자의 움직임을 감지하여 상기 사용자가 상기 적어도 하나의 소프트 버튼 중 어느 하나를 선택한 것을 감지하는 단계와,
선택된 소프트 버튼에 할당된 제어 기능을 수행하는 단계를 포함하는, 제어 방법.3. The method of claim 2,
The step c)
Setting an initial position by sensing the control function setting command,
Sensing a user's movement from the initial position and sensing that the user has selected one of the at least one soft button;
And performing a control function assigned to the selected soft button. 제1항에 있어서,
상기 적어도 하나의 제어 기능은,
통화음 소거, 스피커 활성화, 영상 차단, 통화 종료 중 적어도 하나를 포함하는, 제어 방법.The method according to claim 1,
Wherein the at least one control function comprises:
A voice call cancellation, a speaker activation, a video interruption, and a call termination. 제1항에 있어서,
상기 제어 기능 설정 명령은,
사용자의 손바닥을 펼친 상태에서 주먹을 쥐었다가 다시 펼친 상태가 순차적으로 이루어진 동작, 상기 사용자의 엄지손가락만을 하늘 방향으로 편 동작, 눈 깜빡임, 또는 상기 사용자의 손가락을 이용하여 특정 모양을 그리는 동작을 포함하는, 제어 방법.The method according to claim 1,
The control function setting command includes:
An operation in which a fist is held in a state in which a user's palm is opened and then opened again, an operation in which only the thumb of the user is actuated in the sky direction, blinking in the eyes, or a specific shape is drawn using the user's finger Lt; / RTI > 스마트 기기의 무접촉식 제어 장치로서,
무접촉으로 스마트 기기를 제어하기 위한 적어도 하나의 제어 기능의 설정을 개시하기 위한 제어 기능 설정 명령을 수신하고, 상기 적어도 하나의 제어 기능을 적어도 하나의 소프트 버튼에 각각 할당하는 프로세서와,
상기 제어 기능 설정 명령을 인식하기 위한 영상 인식부와,
상기 적어도 하나의 소프트 버튼을 표시하기 위한 디스플레이
를 포함하는, 제어 장치.As a contactless control device of a smart device,
A processor for receiving a control function setting command for initiating the setting of at least one control function for controlling the smart device in a contactless manner and assigning the at least one control function to at least one soft button,
An image recognition unit for recognizing the control function setting command;
A display for displaying said at least one soft button
. 제8항에 있어서,
상기 프로세서는,
무접촉으로 상기 제어 기능 설정 명령 및 상기 적어도 하나의 소프트 버튼을 이용한 요청을 수신하여 상기 적어도 하나의 제어 기능을 수행하는, 제어 장치.9. The method of claim 8,
The processor comprising:
And performs the at least one control function by receiving the control function setting command and the request using the at least one soft button in a non-contact manner. 제8항에 있어서,
상기 프로세서는,
상기 적어도 하나의 소프트 버튼의 위치 및 모양을 상기 디스플레이에 표시하는 단계와,
사용자의 요청을 수신하여 상기 적어도 하나의 소프트 버튼의 위치 및 모양의 적어도 하나의 재설정을 수행하는, 제어 장치.9. The method of claim 8,
The processor comprising:
Displaying the position and shape of the at least one soft button on the display,
And performs at least one reset of the position and shape of the at least one soft button upon receipt of a user's request. 제8항에 있어서,
상기 영상 인식부는,
사용자의 움직임 및 상기 제어 기능 설정 명령을 감지하여 전기적 신호를 형성하고,
상기 프로세서는,
상기 전기적 신호를 수신할 경우 상기 사용자가 상기 적어도 하나의 소프트 버튼 중 어느 하나를 선택한 것으로 판단하고, 선택된 소프트 버튼에 할당된 제어 기능을 수행하는, 제어 장치.9. The method of claim 8,
Wherein the image recognizing unit comprises:
Detecting an operation of the user and the control function setting command to form an electrical signal,
The processor comprising:
When receiving the electrical signal, determines that the user has selected one of the at least one soft button and performs a control function assigned to the selected soft button. 제8항에 있어서,
상기 제어 기능 설정 명령은,
사용자의 손바닥을 펼친 상태에서 주먹을 쥐었다가 다시 펼친 상태가 순차적으로 이루어진 동작, 상기 사용자의 엄지손가락만을 하늘 방향으로 편 동작, 눈 깜빡임, 또는 상기 사용자의 손가락을 이용하여 특정 모양을 그리는 동작을 포함하는, 제어 장치.




9. The method of claim 8,
The control function setting command includes:
An operation in which a fist is held in a state in which a user's palm is opened and then opened again, an operation in which only the thumb of the user is actuated in the sky direction, blinking in the eyes, or a specific shape is drawn using the user's finger Lt; / RTI >




KR1020140190626A 2014-12-26 2014-12-26 Method and apparatus for controlling smart device KR20160079367A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140190626A KR20160079367A (en) 2014-12-26 2014-12-26 Method and apparatus for controlling smart device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140190626A KR20160079367A (en) 2014-12-26 2014-12-26 Method and apparatus for controlling smart device

Publications (1)

Publication Number Publication Date
KR20160079367A true KR20160079367A (en) 2016-07-06

Family

ID=56502340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140190626A KR20160079367A (en) 2014-12-26 2014-12-26 Method and apparatus for controlling smart device

Country Status (1)

Country Link
KR (1) KR20160079367A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995297B2 (en) 2021-03-08 2024-05-28 Samsung Electronics Co., Ltd. Enhanced user interface (UI) button control for mobile applications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990044544A (en) 1996-07-11 1999-06-25 이리마지리 쇼우이치로 Speech recognition device, speech recognition method and game machine using same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990044544A (en) 1996-07-11 1999-06-25 이리마지리 쇼우이치로 Speech recognition device, speech recognition method and game machine using same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995297B2 (en) 2021-03-08 2024-05-28 Samsung Electronics Co., Ltd. Enhanced user interface (UI) button control for mobile applications

Similar Documents

Publication Publication Date Title
EP3680770B1 (en) Method for editing main screen, graphical user interface and electronic device
US10037083B2 (en) Mobile electronic device and method
KR102091028B1 (en) Method for providing user's interaction using multi hovering gesture
US9578246B2 (en) Electronic device and method for controlling image display
CN109766160B (en) Method and system for providing information based on context
WO2019000438A1 (en) Method of displaying graphic user interface and electronic device
EP3709147B1 (en) Method and apparatus for determining fingerprint collection region
JP2016512357A (en) Interactive input for background tasks
JP2015510197A (en) Engagement-dependent gesture recognition
KR20150029463A (en) Method, apparatus and recovering medium for controlling user interface using a input image
CN108476339B (en) Remote control method and terminal
EP3232301B1 (en) Mobile terminal and virtual key processing method
EP2709005B1 (en) Method and system for executing application, and device and recording medium thereof
US20180329612A1 (en) Interfacing with a computing device
KR20150098115A (en) Mobile terminal and method for controlling the same
CN104184890A (en) Information processing method and electronic device
EP3905037A1 (en) Session creation method and terminal device
CN105630239B (en) Operate detection method and device
EP3608771A1 (en) Speech recognition method and electronic device for supporting the same
EP3246805B1 (en) Gesture operation response method and device
US20210072832A1 (en) Contactless gesture control method, apparatus and storage medium
JP7228366B2 (en) Pen input system, information display device, electronic pen, control method, and program
KR20160079367A (en) Method and apparatus for controlling smart device
US20160154566A1 (en) Adaptive running mode
CN112445363A (en) Electronic device, control method and device for electronic device, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application