KR101890140B1 - 카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템 - Google Patents

카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템 Download PDF

Info

Publication number
KR101890140B1
KR101890140B1 KR1020130038759A KR20130038759A KR101890140B1 KR 101890140 B1 KR101890140 B1 KR 101890140B1 KR 1020130038759 A KR1020130038759 A KR 1020130038759A KR 20130038759 A KR20130038759 A KR 20130038759A KR 101890140 B1 KR101890140 B1 KR 101890140B1
Authority
KR
South Korea
Prior art keywords
display device
entity
mobile device
size
displayed
Prior art date
Application number
KR1020130038759A
Other languages
English (en)
Other versions
KR20130124889A (ko
Inventor
무트 쿠마르 에스.
프라산스 자야찬드란
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/888,911 priority Critical patent/US8922482B2/en
Priority to EP13787167.9A priority patent/EP2847685B1/en
Priority to PCT/KR2013/003939 priority patent/WO2013168953A1/en
Publication of KR20130124889A publication Critical patent/KR20130124889A/ko
Application granted granted Critical
Publication of KR101890140B1 publication Critical patent/KR101890140B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/22—Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템이 제공된다. 본 모바일 장치의 디스플레이 장치 제어 방법은 디스플레이 장치에 디스플레이된 엔티티를 캡쳐하고, 모바일 장치의 움직임에 따른 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지하며, 감지된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 바탕으로 디스플레이 장치를 제어하기 위한 제어 신호를 생성하여 디스플레이 장치로 전송한다.

Description

카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템{A METHOD FOR CONTROLLING A DISPLAY APPARATUS USING A CAMERA DEVICE AND MOBILE DEVICE, DISPLAY APPARATUS, AND SYSTEM THEREOF}
본 발명은 모바일 장치, 디스플레이 장치, 시스템 및 이들의 제어 방법에 관한 것으로, 더욱 상세하게는 카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템에 관한 것이다.
최근에 모바일 폰, PDA 등과 같은 모바일 장치가 게임, TV 시청 등과 같이 엔터테인먼트적인 목적으로 널리 이용되고 있다. 모바일 장치의 입력 버튼, 포인팅 장치 및 조이스틱과 같은 입력 장치가 모바일 장치를 제어하기 위한 입력을 제공하는데 이용되고 있다. 그러나, 입력 장치가 점차 소형화되기 때문에 사용자가 편하게 명령을 입력할 수 없다. 또한, 모바일 장치와 관련된 디스플레이 역시 점차 소형화되기 때문에 사용자는 모바일 장치에 디스플레이된 영상을 뚜렷이 볼 수 없게 된다. 뿐만 아니라, 사용자가 모바일 장치를 통해 디스플레이 장치의 컨텐츠를 시청하거나, 모바일 장치를 이용하여 디스플레이 장치를 제어하기 위한 환경이 개발되고 있다.
종래의 기술은 휴대용 장치에 내장된 센서에 의해 감지된 모션을 바탕으로 입력값을 선택하였다. 감지된 모션은 휴대용 장치상에 디스플레이된 그래픽 요소의 위치를 변경하는데 이용되었다. 그래픽 요소의 위치는 입력값을 확인하기 위해 이용되었다. 입력값은 휴대용 장치 또는 외부 장치상에 기능을 수행하기 위해 이용되었다. 일 실시예에서, 입력값은 락(lock)을 해제하는데 이용된다. 다른 실시예에서, 입력값은 휴대용 장치상에 디스플레이된 이미지를 유지하는데 이용되었다. 그러나, 현재 제공되는 입력에 관한 기술은 모션의 형태로 제공된다. 즉, 모션을 감지하기 위해 추가적인 센서가 필요하다.
다른 종래의 기술은 디바이스에 모션 센서가 연결되어 있다. 모션 센서는 장치의 움직임에 대응되는 모션 신호를 제공한다. 또한, 기술은 모션 신호를 처리하는 프로세서를 포함한다. 모션 신호는 프로세서에 입력된다. 처리는 모션 신호가 탭 명령인지 위치 명령인지 확인하는 것을 포함한다. 프로세서가 탭 명령으로 확인한 경우, 탭 명령에 응답하여 적어도 하나의 액션이 프로세서에 의해 수행된다. 또한, 프로세서가 위치 명령으로 확인한 경우, 디바이스를 제어하고 동작하기 위한 위치 명령에 응답하여 적어도 하나의 액션이 프로세서에 의해 수행된다. 그러나, 이러한 기술 역시 입력을 감지하기 위해 모션 센서와 같은 추가적인 장치가 필요하다. 뿐만 아니라, 입력을 처리하는 프로세서 역시 필요하게 된다.
상술한 바와 같은 문제점을 해결하기 위해, 단일 입력 장치를 이용하여 디스플레이 장치를 제어하거나 영상을 시청하기 위한 방법 및 장치의 개발이 요구된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 카메라 장치에 의해 캡쳐된 엔티티 또는 이미지의 움직임을 감지하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 모바일 장치의 디스플레이 장치 제어 방법은, 디스플레이 장치에 디스플레이된 엔티티를 캡쳐하는 단계; 상기 모바일 장치의 움직임에 따른 상기 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지하는 단계; 상기 감지된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 바탕으로 상기 디스플레이 장치를 제어하기 위한 제어 신호를 생성하는 단계; 및 상기 생성된 제어 신호를 상기 디스플레이 장치로 전송하는 단계;를 포함한다.
그리고, 상기 캡쳐하는 단계는, 초기 교정 눈금선을 디스플레이하는 단계; 및 상기 디스플레이된 엔티티에 대한 제스처 눈금선을 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 초기 교정 눈금선은, 실선이며 고정된 선이며, 상기 제스처 눈금선은, 점선이며 상기 모바일 장치의 움직임에 따라 이동되는 선일 수 있다.
그리고, 상기 감지하는 단계는, 상기 초기 교정 눈금선에 대한 제스처 눈금선의 움직임 및 크기 변화 중 적어도 하나를 판단하여 상기 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지할 수 있다.
또한, 상기 생성하는 단계는, 상기 캡쳐된 엔티티의 크기가 변경된 경우, 상기 캡쳐된 엔티티의 크기 변화에 따라 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 변경하기 위한 제어 신호를 생성하며, 상기 캡쳐된 엔티티의 위치가 변경된 경우, 상기 캡쳐된 엔티티의 크기 변화에 따라 상기 디스플레이 장치에 디스플레이된 엔티티의 위치를 변경하기 위한 제어 신호를 생성할 수 있다.
그리고, 상기 생성하는 단계는, 상기 모바일 장치가 상기 디스플레이 장치로 향하는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 커진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 증가시키기 위한 제어 신호를 생성하며, 상기 모바일 장치가 상기 디스플레이 장치로부터 멀어지는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 작아진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 감소시키기 위한 제어 신호를 생성할 수 있다.
또한, 상기 생성하는 단계는, 상기 초기 교정 눈금선에 대한 제스처 눈금선의 움직임의 반대 방향으로 상기 디스플레이 장치에 디스플레이된 엔티티를 이동하라는 제어 신호를 생성할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치를 제어하기 위한 모바일 장치는, 상기 디스플레이 장치에 디스플레이된 엔티티를 캡쳐하는 촬영부; 상기 촬영부에 촬영된 영상을 디스플레이하는 디스플레이부; 상기 디스플레이 장치와 통신을 수행하기 위한 통신부; 및 상기 촬영부를 통해 상기 디스플레이 장치의 엔티티를 캡쳐하고, 상기 모바일 장치의 움직임에 따른 상기 캡쳐된 엔티티의 움직임을 감지하며, 상기 감지된 엔티티의 움직임을 바탕으로 제어 신호를 생성하여 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 촬영부가 상기 디스플레이 장치의 엔티티를 캡쳐하는 동안 초기 교정 눈금선 및 상기 디스플레이된 엔티티에 대한 제스처 눈금선을 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 초기 교정 눈금선은, 실선이며 고정된 선이며, 상기 제스처 눈금선은, 점선이며 상기 모바일 장치의 움직임에 따라 이동되는 선일 수 있다.
그리고, 상기 제어부는, 상기 초기 교정 눈금선에 대한 제스처 눈금선의 움직임 및 크기 변화 중 적어도 하나를 판단하여 상기 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지할 수 있다.
또한, 상기 제어부는, 상기 캡쳐된 엔티티의 크기가 변경된 경우, 상기 캡쳐된 엔티티의 크기 변화에 따라 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 변경하기 위한 제어 신호를 생성하며, 상기 캡쳐된 엔티티의 위치가 변경된 경우, 상기 캡쳐된 엔티티의 크기 변화에 따라 상기 디스플레이 장치에 디스플레이된 엔티티의 위치를 변경하기 위한 제어 신호를 생성할 수 있다.
그리고, 상기 제어부는, 상기 모바일 장치가 상기 디스플레이 장치로 향하는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 커진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 증가시키기 위한 제어 신호를 생성하며, 상기 모바일 장치가 상기 디스플레이 장치로부터 멀어지는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 작아진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 감소시키기 위한 제어 신호를 생성할 수 있다.
또한, 상기 제어부는, 상기 초기 교정 눈금선에 대한 제스처 눈금선의 움직임의 반대 방향으로 상기 디스플레이 장치에 디스플레이된 엔티티를 이동하라는 제어 신호를 생성할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 모바일 장치에 의해 제어되는 디스플레이 장치의 제어 방법은, 엔티티를 디스플레이하는 단계; 상기 모바일 장치의 움직임에 따른 상기 모바일 장치에 의해 촬영된 엔티티의 움직임을 바탕으로 생성된 제어 신호를 상기 모바일 장치로부터 수신하는 단계; 및 상기 제어 신호에 따라 상기 엔티티의 크기 및 위치 중 적어도 하나를 제어하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 모바일 장치 및 디스플레이 장치를 포함하는 시스템의 디스플레이 장치 제어 방법은, 상기 디스플레이 장치가, 엔티티를 디스플레이하는 단계; 상기 모바일 장치가, 상기 디스플레이 장치에 디스플레이된 엔티티를 캡쳐하는 단계; 상기 모바일 장치가, 상기 모바일 장치의 움직임에 따른 상기 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지하는 단계; 상기 모바일 장치가, 상기 감지된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 바탕으로 상기 디스플레이 장치를 제어하기 위한 제어 신호를 생성하는 단계; 상기 모바일 장치가, 상기 생성된 제어 신호를 상기 디스플레이 장치로 전송하는 단계; 및 상기 디스플레이 장치가, 상기 제어 신호에 따라 상기 엔티티의 크기 및 위치 중 적어도 하나를 제어하는 단계;를 포함한다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 카메라 기능이 내장된 모바일 장치를 이용하여 디스플레이 장치를 제어할 수 있다. 특히, 카메라 장치의 움직임에 따라 디스플레이 장치의 엔티티가 이동됨으로써, 사용자는 직관적으로 디스플레이 장치를 제어할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 카메라 장치를 이용하여 디스플레이 장치를 제어하기 위한 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 나타내는 블럭도,
도 3은 본 발명의 일 실시예에 따른, 카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법을 설명하기 위한 흐름도,
도 4a 내지 도 4i는 본 발명의 일 실시예에 따른, 모바일 장치를 이용하여 디스플레이 장치를 제어하는 실시예를 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른, 모바일 장치의 구성을 나타내는 블럭도, 그리고,
도 6은 본 발명의 다른 실시예에 따른, 모바일 장치를 이용하여 디스플레이 장치에 디스플레이된 포인터를 제어하는 실시예를 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 카메라 장치를 이용하여 디스플레이 장치를 제어하기 위한 시스템(100)을 도시한 도면이다. 시스템(100)은 디스플레이 장치(105), 네트워크(110) 및 카메라 장치(115)를 포함한다. 디스플레이 장치(105)는 디스플레이 기능을 제공할 수 있는 전자 장치로 구현될 수 있다. 디스플레이 장치(105)가 텔레비전, 모바일 폰, 컴퓨터, 랩탑(laptop), 핸드헬드(handheld) 장치, PDA 및 통신 장치 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 네트워크(110)는 LAN(Local area network), WAN(Wide area network) 및 무선 네트워크 중 적어도 하나로 구현될 수 있으나, 이에 한정되는 것은 아니다. 카메라 장치(115)는 카메라를 포함하며, 카메라를 이용하여 엔티티(entity)를 캡쳐하도록 동작할 수 있다. 카메라 장치(115)는 카메라를 포함하는 모바일 폰, 디지털 카메라, 웹 캠 및 카메라가 내장된 다른 전자 장치로 구현될 수 있다.
디스플레이 장치(105)는 디스플레이 장치(105) 상에서 구동하고 있는 어플리케이션에 포함된 비디오 스트림 또는 비디오 컨텐츠에 포함된 적어도 하나의 엔티티를 디스플레이하도록 동작할 수 있다. 카메라 장치(115)는 디스플레이 장치(105)에 디스플레이된 엔티티를 캡쳐할 수 있다. 또한, 카메라 장치(115)는 디스플레이 장치(105)의 위치를 기준으로 적어도 하나의 방향을 이동할 수 있다. 카메라 장치(115)가 움직인 경우, 카메라 장치(115)는 움직인 방향에 대응되는 명령을 생성한다. 또한, 카메라 장치(115)는 디스플레이 장치(105)의 위치를 기준으로 시계방향 및 반시계 반향으로 회전될 수 있다. 카메라 장치(115)는 회전 방향에 대응되는 명령을 생성한다. 생성된 명령은 디스플레이 장치(105)로 전송된다. 명령은 블루투스, 무선 USB, NFC, 와이파이 등과 같은 다양한 무선 네트워크를 통해 전송될 수 있으나, 이에 한정되는 것은 아니다.
디스플레이 장치(105)는 카메라 장치(115)에 의해 전송된 명령을 수신할 수 있다. 명령을 수신하는 경우, 디스플레이 장치(105)상에 디스플레이되어 카메라 장치(115)에 의해 캡쳐된 엔티티가 전송된 명령에 응답하여 이동된다. 엔티티는 디스플레이 장치(105)의 상하좌우 방향으로 이동될 수 있으나, 이에 한정되는 것은 아니다. 또한, 엔티티는 시계방향 또는 반 시계방향으로 회전될 수 있다. 엔티티는 사용자에 의해 시청 되기 위해 디스플레이 장치(105)상에서 이동될 수 있다. 그러므로, 카메라 장치(115)는 디스플레이 장치(105)상에 디스플레이된 엔티티의 움직임을 제어할 수 있다.
이하에서는 도 2를 참고하여 카메라 장치(115)로부터 명령을 수신하여 명령에 응답하여 엔티티를 디스플레이하는 디스플레이 장치(105)에 대해 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치(105)의 블럭도를 도시한 도면이다. 디스플레이 장치(105)는 정보를 송수신하기 위한 버스(205) 및 카메라 장치(115)로부터 전송된 적어도 하나의 명령을 처리하기 위해 버스(205)와 연결된 프로세서(210)를 포함한다. 또한, 디스플레이 장치(105)는 프로세서(210)에 의해 요구되는 명령을 저장하기 위해 버스(205)와 연결된 RAM 등과 같은 메모리(215)를 포함한다. 메모리(215)는 프로세서(210)에 의해 요구되는 정보를 일시적으로 저장하는데 이용될 수 있다. 디스플레이 장치(105)는 프로세서(210)에 의해 요구되는 정적인(static) 정보 저장하기 위해 버스(205)와 연결된 ROM(220)을 포함할 수 있다. 정보를 저장하기 위해 버스(205)와 연결된 마그네틱 디스크, 하드 디스크, 광학 디스크 등과 같은 저장 유닛(225)이 제공될 수 있다.
디스플레이 장치(105)는 엔티티 또는 이미지를 디스플레이하기 위해 버스(205)와 연결된 CRT(cathode ray tube) 또는 LCD(liquid crystal display), PDP 등과 같은 디스플레이(230)를 포함한다. 디스플레이 장치(105)는 프로세서(210)에 명령을 송수신하기 위해 버스(205)와 연결된 다양한 키를 포함하는 입력 장치(235)를 포함한다. 디스플레이 장치(105)는 프로세서(210)와 커맨드를 송수신하거나 현재 디스플레이(230)에 포함된 커서의 움직임을 제어하기 위해, 마우스, 트랙볼(trackball), 조이스틱 및 커서 방향 키 등과 같은 커서 컨트롤(240)을 포함한다.
본 발명의 일 실시예에서 설명한 디스플레이 장치(105)에 의해 동작되는 단계는 프로세서(210)에 의해 수행된다. 또한, 명령은 서버 저장 유닛(225)과 같은 기계-판독 매체(machine-readable medium)로부터 메모리(215)에 독출될 수 있다. 대체적인 실시예에서, 하드웨어에 내장된 회로는 본 발명의 다양한 실시예를 구현하기 위해 소프트웨어와 통합되어 구현될 수 있다.
여기에서 이용된 “기계-판독 매체”이라는 용어는 기계로 하여금 특정 기능을 실행하도록 하는 데이터를 제공하는데 관여하는 모든 수단을 의미한다. 기계-판독 매체는 저장 미디어로 구현될 수 있다. 저장 미디어는 비휘발성 매체 및 휘발성 매체를 포함할 수 있다. 저장 유닛(225)은 비휘발성 매체일 수 있다. 메모리(215)는 휘발성 매체일 수 있다. 모든 매체는 명령을 기계로 읽어 들일 수 있는 물리적인 메커니즘에 의해서 탐지되는 매체에 의해 명령이 실행될 수 있도록 유형(有形)의 것이어야 한다.
기계-판독 매체의 일반적인 유형에는 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 혹은 기타의 자기 미디어, CD-ROM, 광학 미디어, 천공 카드, 천공 테이프, 구멍이 있는 물리적인 미디어, RAM, PROM, EPROM, FLASH-EPROM, 메모리 칩, 카트리지가 있다.
또한, 기계-판독 매체는 프로세서(210)에 정보를 제공하기 위한 온라인 링크, 다운로드 링크 및 인스톨 링크를 포함할 수 있다.
또한, 디스플레이 장치(105)는 데이터 통신이 가능하도록 버스(205)와 연결된 통신 인터페이스(245)를 포함한다. 통신 인터페이스(245)는 ISDN(integrated services digital network) 카드, 모뎀, LAN 카드, 적외선 포트, 블루투스 포트, 직비 포트 및 무선 포트를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 프로세서(210)는 카메라 장치(115)에 포함될 수 있다. 카메라 장치(115)에 포함된 프로세서(210)는 디스플레이 장치(105)의 초기 교정 경계선을 캡쳐하기 위해 교정 작업을 수행할 수 있다. 프로세서(210)는 카메라 장치(115)와 연관된 제스처를 기반으로 제스처 경계선을 계산할 수 있다. 또한, 프로세서(210)는 초기 교정 경계선에 대한 제스처 경계선의 위치를 바탕으로 카메라 장치(115)와 연관된 제스처를 판단할 수 있다. 제스처는 카메라 장치(115)가 디스플레이 장치(105)에 향하는지 멀어지는지에 대한 움직임을 포함한다. 제스처는 또한 디스플레이 장치(105)의 위치에 대하여 상하좌우 방향의 향한 카메라 장치(115)의 움직임을 포함한다. 또한, 제스처는 디스플레이 장치(105)를 향한 카메라 장치(115)의 움직임 또는 디스플레이 장치(105)로부터 멀어지는 카메라 장치(115)의 움직임을 포함한다. 뿐만 아니라, 제스처는 시계방향 또는 반 시계방향의 엔티티 또는 이미지를 회전하는 것을 포함할 수 있다. 제스처가 판단되면, 프로세서(210)는 네트워크를 이용하여 디스플레이 장치에 명령을 전송할 수 있다. 명령은 제스처를 기반으로 전송될 수 있다.
일 실시예에서, 프로세서(210)는 프로세서(210)의 적어도 하나의 기능을 수행하기 위해 적어도 하나의 프로세싱 유닛을 포함할 수 있다. 프로세싱 유닛은 특정 기능을 수행하기 위한 하드웨어 회로일 수 있다.
이하에서는 도 3을 참조하여, 카메라 장치(115)를 이용하여 디스플레이 장치(105)를 제어하기 위한 방법을 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른, 카메라 장치(115)를 이용하여 디스플레이 장치(105)를 제어하기 위한 방법을 설명하기 위한 흐름도이다. 305 단계에서 시작한다.
310 단계에서, 적어도 하나의 카메라 장치 및 디스플레이 장치는 통신 인터페이스를 이용하여 구성될 수 있다. 디스플레이 장치(105)의 예로 텔레비전, 모바일 폰, 컴퓨터, 랩탑, 핸드헬드 장치, PDA 및 통신 장치 등일 수 있다. 카메라 장치(115)의 일 예로 카메라를 포함하는 모바일 폰, 디지털 카메라, 웹 캠 및 카메라가 내장된 다른 전자 장치 등일 수 있다. 이때, 구성은 카메라 장치(115) 및 디스플레이 장치(105) 사이의 통신을 가능하도록 동작된다. 적어도 하나의 통신 프로토콜이 구성을 위해 이용될 수 있다. 또한, 구성은 카메라 장치(115) 및 디스플레이 장치(105) 사이에 통신이 연결되기 전에 디스플레이 장치(105)가 특정 카메라 장치(115)를 감지하는 것을 포함할 수 있다. 디스플레이 장치(105)는 앞으로 카메라 장치(115)의 감지를 위해 제1 데이터베이스와 같은 데이터베이스에 카메라 장치(115)를 저장할 수 있다. 비슷하게, 카메라 장치(115)는 기존에 통신이 연결될 때, 디스플레이 장치(105)를 저장할 수 있다.
315 단계에서, 카메라 장치(115)의 교정 작업이 수행된다. 교정 작업은 카메라 장치(115)상에 디스플레이 장치(105)의 위치를 기준으로 초기 교정 경계선을 생성하기 위해 디스플레이 장치(105)의 초기 경계선을 캡쳐하는 것을 포함한다. 카메라 장치(115)에 의해 캡처 되는 디스플레이 장치(105)의 초기 교정 경계선은 실선일 수 있다. 캡처 되는 디스플레이 장치(105)의 초기 교정 경계선은 고정된 경계선일 수 있다. 스케일링 역시 교정 작업을 수행하는데 이용될 수 있다. 디스플레이 장치(105)의 초기 교정 경계선이 카메라 장치(115)의 디스플레이 영역에 적합하도록 캡처 되어 스케일링 된다. 적어도 하나의 스케일링 기술이 교정 작업을 수행하는데 이용된다. 또한, 실선은 카메라 장치(115)에 디스플레이되어 시청 될 수 있다. 또한, 디스플레이 장치(105)에 디스플레이된 적어도 하나의 엔티티 또는 이미지는 카메라 장치(115)에 의해 캡처 된다.
또한, 320 단계에서, 제스처 경계선이 카메라 장치(115)에 연관된 제스처를 기반으로 계산된다. 제스처 경계선은 카메라 장치(115)와 연관된 제스처에 대응되는 이미지를 캡쳐하는데 이용된다. 초기 교정 경계선은 정적이고, 제스처 경계선은 카메라 장치(115)의 움직임을 기반으로 이동될 수 있다. 카메라 장치(115)의 움직임에 대응되는 제스처 경계선의 움직임은 초기 교정 경계선에 상대적이다. 모션은 X축, Y축, Z축과 같은 축 안에서 이동될 수 있다.
325 단계에서, 카메라 장치(115)와 연관된 제스처가 판단된다. 카메라 장치(115)와 연관된 제스처는 초기 교정 경계선에 대한 제스처 경계선의 위치를 기준으로 판단된다. 제스처의 일 예로, 카메라 장치(115)가 디스플레이 장치(105)에 대해 상하좌우로 또는 디스플레이 장치(105)로의 움직임을 포함한다. 또한, 제스처는 디스플레이 장치(105)를 향해 카메라 장치(115)가 향하는 이동 및 멀어지는 이동을 포함한다. 또한, 제스처는 디스플레이 장치(105)의 위치에 대해 시계방향 또는 반 시계방향으로 카메라 장치(115)가 회전하는 것을 포함한다.
일 예로, 제스처는 디스플레이 장치(105)를 향하는 방향, 예를 들어, Z 축으로 카메라 장치(115)가 이동하는 것을 포함한다. 이러한 경우, 제스처 경계선은 초기 교정 경계선에 대해 스케일-업(scale-up) 된다. 다른 실시예로, 제스처는 카메라 장치(115)가 디스플레이 장치(105)에서 멀어지는 이동을 포함한다. 이 경우, 제스처 경계선은 초기 교정 경계선에 대해 스케일-다운(scale-down) 된다.
다른 실시예에서, 제스처는 디스플레이 장치(105)의 위치에 대해 x축을 기준으로 오른쪽 방향으로 카메라 장치(115)가 이동하는 것을 포함한다. 이 경우, 제스처 경계선은 초기 교정 경계선에 대해 왼쪽으로 이동된다. 또한, 다른 실시예에서, 제스처는 디스플레이 장치(105)의 위치에 대해 x 축을 기준으로 왼쪽 방향으로 카메라 장치(115)가 이동하는 것을 포함한다. 이 경우, 제스처 경계선은 초기 교정 경계선에 대해 오른쪽으로 이동된다.
또한, 일 실시예에서, 제스처는 디스플레이 장치(105)에 대해 카메라 장치(115)가 X축, Y축, Z축 등을 기준으로 시계방향으로 회전하는 것을 포함한다. 이 경우, 제스처 경계선은 초기 교정 경계선에 대해 반시계 방향으로 회전된다. 또한, 다른 실시예에서, 제스처는 디스플레이 장치(105)에 대해 카메라 장치(115)가 X축, Y축, Z축 등을 기준으로 반 시계방향으로 회전하는 것을 포함한다. 이 경우, 제스처 경계선은 초기 교정 경계선에 대해 시계 방향으로 회전된다. 이와 비슷하게, 다른 많은 제스처가 카메라 장치(115)와 연관될 수 있다. 즉, 이것은 카메라 장치(115) 및 디스플레이 장치(105)가 서로 반대 방향으로 이동되는 것을 가능하게 한다.
일 실시예에서, 사용자가 고정된 경계선을 재설정하고자 하면, 카메라 장치(115)는 초기 교정 경계선의 재설정 작업을 수행하기 위한 버튼 또는 메뉴를 형성할 수 있다.
330 단계에서, 카메라 장치(115)는 네트워크(110)를 이용하여 디스플레이 장치(105)로 명령을 전송한다. 명령은 카메라 장치(115)에 의해 생성된다. 명령은 카메라 장치(115)와 연관된 움직임을 기반으로 생성된다. 명령은 블루투스, NFC, 와이-파이 등과 같은 무선 네트워크를 이용하여 전송된다.
일 예로, 줌-인 명령은 카메라 장치(115)가 축에 따라 디스플레이 장치(105)를 향하는 움직임이 감지된 경우 생성되어 전송된다. 다른 실시예에서, 줌-아웃 명령은 카메라 장치(115)가 축에 따라 디스플레이 장치(105)로부터 멀어지는 움직임이 감지된 경우, 생성되어 전송된다.
다른 실시예에서, 오른쪽 명령은 디스플레이 장치(105)의 위치에 대해 카메라 장치(115)가 오른쪽 방향으로 이동하는 제스처가 수행된 경우, 생성되어 전송된다. 일 실시예에서, 제스처 경계선을 왼쪽으로 향하는 명령은 카메라 장치(115)가 오른쪽으로 이동되었을 때 생성된다. 또한, 다른 실시예에서, 왼쪽 명령은 디스플레이 장치(105)의 위치에 대해 카메라 장치(115)가 왼쪽으로 향하는 제스처가 수행된 경우, 생성되어 전송된다. 일 실시예에서, 제스처 경계선을 오른쪽으로 향하는 명령은 카메라 장치(115)가 왼쪽으로 이동되었을 때 생성된다.
또한, 다른 실시예에서, 위쪽 명령은 디스플레이 장치(105)의 위치에 대해 카메라 장치(115)가 위쪽 방향으로 이동하는 제스처가 수행된 경우, 생성되어 전송된다. 일 실시예에서, 제스처 경계선을 아래쪽으로 향하는 명령은 카메라 장치(115)가 위쪽으로 이동되었을 때 생성된다. 또한, 다른 실시예에서, 아래쪽 명령은 디스플레이 장치(105)의 위치에 대해 카메라 장치(115)가 아래쪽으로 향하는 제스처가 수행된 경우, 생성되어 전송된다. 일 실시예에서, 제스처 경계선을 위쪽으로 향하는 명령은 카메라 장치(115)가 아래쪽으로 이동되었을 때 생성된다.
또한, 일 실시예에서, 시계 방향 회전 명령은 디스플레이 장치(105)의 위치에 대해 카메라 장치(115)가 시계방향으로 회전되는 제스처가 수행된 경우, 생성되어 전송된다. 일 실시예에서, 제스처 경계선을 반 시계방향으로 회전하는 명령은 카메라 장치(115)가 시계방향으로 회전되었을 때 생성된다. 또한, 다른 실시예에서, 반 시계방향 회전명령은 디스플레이 장치(105)의 위치에 대해 카메라 장치(115)가 시계방향으로 회전하는 제스처가 수행된 경우, 생성되어 전송된다. 일 실시예에서, 제스처 경계선을 시계방향으로 회전하는 명령은 카메라 장치(115)가 반 시계방향으로 회전되었을 때 생성된다. 그러므로, 카메라 장치(115)에 의해 판단된 제스처의 움직임과 반대로 생성된 제스처 기반 명령은 디스플레이 장치(105)에 구동되는 어플리케이션을 바탕으로 디스플레이 장치(105)에 전송된다. 이와 비슷하게, 카메라 장치(115)의 연관된 제스처에 대응되는 다른 명령들 역시 생성되어 전송될 수 있다.
335 단계에서, 디스플레이 장치(105)는 명령을 처리할 수 있다. 처리는 수신된 명령에 대응되는 적어도 하나의 엔티티 또는 이미지를 디스플레이하도록 수행될 수 있다. 일 실시예에서, 줌-인 명령이 수신된 경우, 디스플레이 장치(105)에 디스플레이된 엔티티 또는 이미지는 기존의 엔티티 또는 이미지의 사이즈보다 커지도록 줌-인되어 디스플레이된다. 또한, 줌-아웃 명령이 수신된 경우, 디스플레이 장치(105)에 디스플레이된 엔티티 또는 이미지는 기존의 엔티티 또는 이미지의 사이즈보다 작아지도록 줌-아웃되어 디스플레이된다.
또 다른 실시예에서, 오른쪽 명령이 수신된 경우, 디스플레이 장치(105)에 디스플레이된 엔티티 또는 이미지는 오른쪽으로 이동되어 디스플레이 장치(105)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 왼쪽으로 이동시키는 명령이 수신되면, 제스처 경계선을 왼쪽으로 이동시키는 명령이 디스플레이 장치(105)에 의해 처리되고, 엔티티 또는 이미지가 처리된 제스처 경계선을 왼쪽으로 이동시키는 명령을 바탕으로 오른쪽으로 이동될 수 있다. 또 다른 실시예에서, 왼쪽 명령이 수신된 경우, 디스플레이 장치(105)에 디스플레이된 엔티티 또는 이미지는 왼쪽으로 이동되어 디스플레이 장치(105)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 왼쪽으로 이동시키는 명령이 수신되면, 제스처 경계선을 왼쪽으로 이동시키는 명령이 디스플레이 장치(105)에 의해 처리되고, 엔티티 또는 이미지가 처리된 제스처 경계선을 왼쪽으로 이동시키는 명령을 바탕으로 오른쪽으로 이동될 수 있다.
다른 실시예에서, 위쪽 명령이 수신된 경우, 디스플레이 장치(105)에 디스플레이된 엔티티 또는 이미지는 위쪽으로 이동되어 디스플레이 장치(105)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 아래쪽으로 이동시키는 명령이 수신되면, 제스처 경계선을 아래쪽으로 이동시키는 명령이 디스플레이 장치(105)에 의해 처리되고, 엔티티 또는 이미지는 처리된 제스처 경계선을 아래쪽으로 이동시키는 명령을 바탕으로 위쪽으로 이동될 수 있다. 또 다른 실시예에서, 아래쪽 명령이 수신된 경우, 디스플레이 장치(105)에 디스플레이된 엔티티 또는 이미지는 아래쪽으로 이동되어 디스플레이 장치(105)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 위쪽으로 이동시키는 명령이 수신되면, 제스처 경계선을 위쪽으로 이동시키는 명령이 디스플레이 장치(105)에 의해 처리되고, 엔티티 또는 이미지가 처리된 제스처 경계선을 위쪽으로 이동시키는 명령을 바탕으로 아래쪽으로 이동될 수 있다.
또한, 일 실시예에서, 시계 방향 명령이 수신되면, 디스플레이 장치(105)에 디스플레이된 엔티티 또는 이미지는 시계방향으로 회전되어 디스플레이 장치(105)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 반 시계방향으로 회전하라는 명령이 수신되면, 제스처 경계선을 반시계 방향으로 회전하라는 명령이 디스플레이 장치(105)에 의해 처리되고, 엔티티 또는 이미지는 처리된 제스처 경계선을 반 시계방향으로 회전하라는 명령을 바탕으로 시계방향으로 회전될 수 있다. 또 다른 실시예에서, 반 시계방향 회전명령이 수신된 경우, 디스플레이 장치(105)에 디스플레이된 엔티티 또는 이미지는 반시계 방향으로 회전되어 디스플레이 장치(105)에 디스플레이 된다. 일 실시예에서, 제스처 경계선을 시계방향으로 회전하라는 명령이 수신되면, 제스처 경계선을 시계방향으로 회전하라는 명령이 디스플레이 장치(105)에 의해 처리되고, 엔티티 또는 이미지가 처리된 제스처 경계선을 시계방향으로 회전하라는 명령을 바탕으로 반 시계방향으로 회전할 수 있다. 이와 비슷하게 디스플레이 장치(105)는 수신된 명령에 대응되도록 엔티티 또는 이미지를 이동시킬 수 있다. 방법은 335 단계에서 종료된다.
일 실시예에서, 디스플레이 장치(105)에서 구동되는 어플리케이션은 게임일 수 있다. 카메라 장치(115)는 게임의 캐릭터를 캡쳐할 수 있다. 카메라 장치(115)가 오른쪽으로 이동한 경우, 카메라 장치(115)는 오른쪽 명령을 생성하여, 디스플레이 장치(105)로 전송한다. 디스플레이 장치(105)가 오른쪽 명령을 수신한 경우, 디스플레이 장치(105)는 게임의 캐릭터를 오른쪽으로 이동시킬 수 있다.
또 다른 실시예에서, 디스플레이 장치(105)에서 구동되는 어플리케이션은 웹 브라우저일 수 있다. 카메라 장치(115)가 위쪽으로 이동한 경우, 카메라 장치(115)는 일반적인 스크롤링으로 언급할 수 있는 웹 페이지를 아래쪽으로 스크롤 하라는 "제스처 경계선을 아래쪽으로 이동하라는 명령"을 생성할 수 있다.
이하에서는 도 4a 내지 도 4i를 참조하여, 모바일 장치를 이용한 디스플레이 장치의 제어 방법에 대해 설명하기로 한다. 한편, 도 4a 내지 도 4i에서 설명한 실시예에는 디스플레이 장치(405) 및 모바일 장치(410)를 포함한다. 일 실시예에서 디스플레이 장치(405)는 TV일 수 있으며, 모바일 장치(410)는 카메라를 포함한 모바일 폰일 수 있다. 이때, 모바일 장치(401)는 카메라를 이용하여 이미지를 캡쳐할 수 있다. 또한, 디스플레이 장치(405) 및 모바일 장치(410)는 서로 통신이 연결될 수 있다.
모바일 장치(410)는 디스플레이 장치(405)의 위치를 기준으로 디스플레이 장치(405)의 초기 경계선을 캡쳐한다. 모바일 장치(410)는 초기 교정 경계선을 형성하기 위해 초기 경계선을 캡쳐하여 교정 작업을 수행한다. 초기 교정 경계선은 도 4a에 도시된 바와 같이, 실선(415)으로 디스플레이될 수 있다. 초기 교정 경계선은 고정된 경계선일 수 있다. 교정작업이 수행되면, 모바일 장치(410)의 디스플레이 상에 초기 교정 경계선의 위치가 고정된다. 모바일 장치(410)는 또한 모바일 장치(410)와 연관된 적어도 하나의 제스처를 바탕으로 제스처 경계선을 판단한다. 제스처 경계선은 점선의 직사각형(420) 형태로 도시될 수 있다. 점선의 직사각형(420)은 초기 교정 경계선에 대해 모바일 장치(410)의 움직임에 따라 변경될 수 있다. 모바일 장치(410)의 움직임에 대응되는 점선의 직사각형(420)의 위치의 변경은 초기 교정 경계선에 상대적이다. 초기 교정 경계선에 상대적인 점선의 직사각형(420)은 모바일 장치(410)와 연관된 적어도 하나의 제스처를 판단하는데 이용된다. 또한, 모바일 장치(410)는 도 4a에 도시된 바와 같이, 디스플레이 장치(405)에 디스플레이된 이미지를 캡쳐할 수 있다.
도 4b에서, 모바일 장치(410)는 Z 축(505)을 기준으로 디스플레이 장치(405)로 향하도록 이동된다. 모바일 장치(410)가 디스플레이 장치(405)로 향하도록 이동된 경우, 이미지는 커질 수 있다. 그러므로, 모바일 장치(410)는 확대된 이미지를 캡쳐하기 위해 초기 교정 경계선을 기준으로 점선의 직사각형(420)을 확대한다. 모바일 장치(410)는 점선의 직사각형(420)이 확대되는 것을 감지할 수 있으며, 움직임에 응답하여 줌-인 명령을 생성한다. 또한, 줌-인 명령은 디스플레이 장치(405)로 전송된다. 블루투스, NFC, 와이파이 등과 같은 무선 네트워크를 통해 줌-인 명령이 전송될 수 있다. 디스플레이 장치(405)는 줌-인 명령을 수신할 수 있다. 디스플레이 장치(405)는 수신된 줌-인 명령을 처리하도록 동작하며, 줌-인 명령에 응답하여 이미지를 확대한다. 확대된 이미지는 도 4b에 도시된 바와 같이, 디스플레이 장치(405)에 디스플레이된다.
도 4c에서, 모바일 장치(410)는 Z 축(510)을 기준으로 디스플레이 장치(405)로부터 멀어지도록 이동된다. 모바일 장치(410)가 디스플레이 장치(405)로부터 멀어지도록 이동된 경우, 캡쳐된 이미지는 작아질 수 있다. 그러므로, 모바일 장치(410)는 축소된 이미지를 캡쳐하기 위해 초기 교정 경계선을 기준으로 점선의 직사각형(420)을 축소한다. 모바일 장치(410)는 점선의 직사각형(420)이 축소되는 것을 감지할 수 있으며, 움직임에 응답하여 줌-아웃 명령을 생성한다. 또한, 줌-아웃 명령은 디스플레이 장치(405)로 전송된다. 블루투스, NFC, 와이파이 등과 같은 무선 네트워크를 통해 줌-아웃 명령이 전송될 수 있다. 디스플레이 장치(405)는 줌-아웃 명령을 수신할 수 있다. 디스플레이 장치(405)는 수신된 줌-아웃 명령을 처리하도록 동작하며, 줌-아웃 명령에 응답하여 이미지를 축소한다. 축소된 이미지는 도 4c에 도시된 바와 같이, 디스플레이 장치(405)에 디스플레이된다.
도 4d에서, 모바일 장치(410)는 X 축을 기준으로 디스플레이 장치(405)의 위치에 대해 상대적으로 왼쪽으로 이동된다. 모바일 장치(410)가 디스플레이 장치(405)로부터 왼쪽으로 이동된 경우, 모바일 장치(410)에 의해 캡쳐된 이미지는 오른쪽으로 이동될 수 있다. 그러므로, 모바일 장치(410)는 모바일 장치(410)의 움직임에 응답하여 이미지가 오른쪽으로 이동되는 것을 캡쳐하기 위해, 초기 교정 경계선을 기준으로 점선의 직사각형(420)을 오른쪽으로 이동한다. 모바일 장치(410)는 점선의 직사각형(420)의 움직임을 감지할 수 있으며, 움직임에 응답하여 왼쪽 명령을 생성한다. 또한, 왼쪽 명령은 디스플레이 장치(405)로 전송된다. 디스플레이 장치(405)는 왼쪽 명령을 수신할 수 있다. 디스플레이 장치(405)는 수신된 왼쪽 명령을 처리하도록 동작하며, 왼쪽 명령에 응답하여 이미지를 이동한다. 도 4d에 도시된 바와 같이, 왼쪽으로 이동된 이미지는 디스플레이 장치(405)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 오른쪽으로 이동하라는 명령은 모바일 장치(410)가 왼쪽으로 이동하였을 때, 생성될 수 있다. 또한, 제스처 경계선을 오른쪽으로 이동하라는 명령은 이미지를 왼쪽으로 이동하기 위해 디스플레이 장치(405)에 의해 처리될 수 있다.
도 4e에서, 모바일 장치(410)는 X 축을 기준으로 디스플레이 장치(405)의 위치에 대해 상대적으로 오른쪽으로 이동된다. 모바일 장치(410)가 디스플레이 장치(405)로부터 오른쪽으로 이동된 경우, 모바일 장치(410)에 의해 캡쳐된 이미지는 왼쪽으로 이동될 수 있다. 그러므로, 모바일 장치(410)는 모바일 장치(410)의 움직임에 응답하여 이미지가 왼쪽으로 이동되는 것을 캡쳐하기 위해, 초기 교정 경계선을 기준으로 점선의 직사각형(420)을 왼쪽으로 이동한다. 모바일 장치(410)는 점선의 직사각형(420)의 움직임을 감지할 수 있으며, 움직임에 응답하여 오른쪽 명령을 생성한다. 또한, 오른쪽 명령은 디스플레이 장치(405)로 전송된다. 디스플레이 장치(405)는 오른쪽 명령을 수신할 수 있다. 디스플레이 장치(405)는 수신된 오른쪽 명령을 처리하도록 동작하며, 오른쪽 명령에 응답하여 이미지를 이동한다. 도 4e에 도시된 바와 같이, 오른쪽으로 이동된 이미지는 디스플레이 장치(405)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 왼쪽으로 이동하라는 명령은 모바일 장치(410)가 오른쪽으로 이동하였을 때, 생성될 수 있다. 또한, 제스처 경계선을 왼쪽으로 이동하라는 명령은 이미지를 오른쪽으로 이동하기 위해 디스플레이 장치(405)에 의해 처리될 수 있다.
도 4f에서, 모바일 장치(410)는 Y 축을 기준으로 디스플레이 장치(405)의 위치에 대해 상대적으로 아래쪽으로 이동된다. 모바일 장치(410)가 디스플레이 장치(405)로부터 아래쪽으로 이동된 경우, 모바일 장치(410)에 의해 캡쳐된 이미지는 위쪽으로 이동될 수 있다. 그러므로, 모바일 장치(410)는 모바일 장치(410)의 움직임에 응답하여 이미지가 위쪽으로 이동되는 것을 캡쳐하기 위해, 초기 교정 경계선을 기준으로 점선의 직사각형(420)을 위쪽으로 이동한다. 모바일 장치(410)는 점선의 직사각형(420)의 움직임을 감지할 수 있으며, 움직임에 응답하여 아래쪽 명령을 생성한다. 또한, 아래쪽 명령은 디스플레이 장치(405)로 전송된다. 디스플레이 장치(405)는 아래쪽 명령을 수신할 수 있다. 디스플레이 장치(405)는 수신된 아래쪽 명령을 처리하도록 동작하며, 아래쪽 명령에 응답하여 이미지를 이동한다. 도 4f에 도시된 바와 같이, 아래쪽으로 이동된 이미지는 디스플레이 장치(405)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 위쪽으로 이동하라는 명령은 모바일 장치(410)가 아래쪽으로 이동하였을 때, 생성될 수 있다. 또한, 제스처 경계선을 위쪽으로 이동하라는 명령은 이미지를 아래쪽으로 이동하기 위해 디스플레이 장치(405)에 의해 처리될 수 있다.
도 4g에서, 모바일 장치(410)는 Y 축을 기준으로 디스플레이 장치(405)의 위치에 대해 상대적으로 위쪽으로 이동된다. 모바일 장치(410)가 디스플레이 장치(405)로부터 위쪽으로 이동된 경우, 모바일 장치(410)에 의해 캡쳐된 이미지는 아래쪽으로 이동될 수 있다. 그러므로, 모바일 장치(410)는 모바일 장치(410)의 움직임에 응답하여 이미지가 아래쪽으로 이동되는 것을 캡쳐하기 위해, 초기 교정 경계선을 기준으로 점선의 직사각형(420)을 아래쪽으로 이동한다. 모바일 장치(410)는 점선의 직사각형(420)의 움직임을 감지할 수 있으며, 움직임에 응답하여 위쪽 명령을 생성한다. 또한, 위쪽 명령은 디스플레이 장치(405)로 전송된다. 디스플레이 장치(405)는 위쪽 명령을 수신할 수 있다. 디스플레이 장치(405)는 수신된 위쪽 명령을 처리하도록 동작하며, 위쪽 명령에 응답하여 이미지를 이동한다. 도 4g에 도시된 바와 같이, 위쪽으로 이동된 이미지는 디스플레이 장치(405)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 아래쪽으로 이동하라는 명령은 모바일 장치(410)가 위쪽으로 이동하였을 때, 생성될 수 있다. 또한, 제스처 경계선을 아래쪽으로 이동하라는 명령은 이미지를 위쪽으로 이동하기 위해 디스플레이 장치(405)에 의해 처리될 수 있다.
도 4h에서, 모바일 장치(410)는 Z 축을 기준으로 디스플레이 장치(405)의 위치에 대해 시계방향으로 회전된다. 모바일 장치(410)가 디스플레이 장치(405)로부터 시계방향으로 회전된 경우, 모바일 장치(410)에 의해 캡쳐된 이미지는 반 시계방향으로 회전될 수 있다. 그러므로, 모바일 장치(410)는 모바일 장치(410)의 움직임에 응답하여 이미지가 반시계 방향으로 회전되는 것을 캡쳐하기 위해, 초기 교정 경계선을 기준으로 점선의 직사각형(420)을 반 시계방향으로 회전한다. 모바일 장치(410)는 점선의 직사각형(420)의 움직임을 감지할 수 있으며, 움직임에 응답하여 시계방향 회전명령을 생성한다. 또한, 시계방향 회전명령은 디스플레이 장치(405)로 전송된다. 디스플레이 장치(405)는 시계방향 회전명령을 수신할 수 있다. 디스플레이 장치(405)는 수신된 시계방향 회전명령을 처리하도록 동작하며, 시계방향 회전 명령에 응답하여 이미지를 회전한다. 도 4h에 도시된 바와 같이, 시계방향으로 회전된 이미지가 디스플레이 장치(405)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 반 시계방향으로 회전하라는 명령은 모바일 장치(410)가 시계 방향으로 회전하였을 때, 생성될 수 있다. 또한, 제스처 경계선을 반 시계방향으로 회전하라는 명령은 이미지를 시계방향으로 처리하기 위해 디스플레이 장치(405)에 의해 처리될 수 있다.
도 4i에서, 모바일 장치(410)는 Z 축을 기준으로 디스플레이 장치(405)의 위치에 대해 반 시계방향으로 회전된다. 모바일 장치(410)가 디스플레이 장치(405)로부터 반 시계방향으로 회전된 경우, 모바일 장치(410)에 의해 캡쳐된 이미지는 시계방향으로 회전될 수 있다. 그러므로, 모바일 장치(410)는 모바일 장치(410)의 움직임에 응답하여 이미지가 시계 방향으로 회전되는 것을 캡쳐하기 위해, 초기 교정 경계선을 기준으로 점선의 직사각형(420)을 시계방향으로 회전한다. 모바일 장치(410)는 점선의 직사각형(420)의 움직임을 감지할 수 있으며, 움직임에 응답하여 반 시계방향 회전명령을 생성한다. 또한, 반 시계방향 회전명령은 디스플레이 장치(405)로 전송된다. 디스플레이 장치(405)는 반 시계방향 회전명령을 수신할 수 있다. 디스플레이 장치(405)는 수신된 반 시계방향 회전명령을 처리하도록 동작하며, 반 시계방향 회전 명령에 응답하여 이미지를 회전한다. 도 4g에 도시된 바와 같이, 반 시계방향으로 회전된 이미지가 디스플레이 장치(405)에 디스플레이된다. 일 실시예에서, 제스처 경계선을 시계방향으로 회전하라는 명령은 모바일 장치(410)가 반 시계방향으로 회전하였을 때, 생성될 수 있다. 또한, 제스처 경계선을 시계방향으로 회전하라는 명령은 이미지를 반 시계방향으로 처리하기 위해 디스플레이 장치(405)에 의해 처리될 수 있다.
이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 모바일 장치에 대해 더욱 상세히 설명하도록 한다. 도 5에 도시된 바와 같이, 모바일 장치(115)는 촬영부(510), 디스플레이부(520), 저장부(530), 통신부(540), 입력부(550) 및 제어부(560)를 포함한다. 이때, 모바일 장치(115)는 스마트 폰으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 카메라가 포함된 다른 모바일 장치(예를 들어, PDA, 태블릿 PC, 디지털 카메라 등)로 구현될 수 있다.
촬영부(510)는 외부의 영상을 촬영한다. 특히, 촬영부(510)는 디스플레이 장치(105)에 디스플레이된 엔티티 또는 이미지를 촬영할 수 있다.
디스플레이부(520)는 제어부(560)의 제어에 의해 영상 데이터를 디스플레이한다. 특히, 디스플레이부(520)는 촬영부(510)에 의해 촬영된 영상을 디스플레이할 수 있다. 또한, 디스플레이부(520)는 캡처 된 엔티티의 움직임을 감지하기 위하여 초기 교정 경계선 및 제스처 경계선을 디스플레이할 수 있다. 이때, 초기 교정 경계선은 실선으로서 고정된 선이며, 제스처 경계선은 점선으로서 캡쳐된 엔티티의 움직임에 따라 이동되거나 크기가 변하는 선이다.
저장부(530)는 제어부(560)가 모바일 장치(115)를 제어하기 위한 다양한 데이터 및 프로그램을 저장한다.
통신부(540)는 외부의 장치와 통신을 수행한다. 특히, 디스플레이 장치(105)를 제어하기 위하여, 통신부(540)는 제어부(560)에 의해 생성된 제어 신호를 디스플레이 장치(105)로 전송할 수 있다.
입력부(550)는 모바일 장치(115)를 제어하기 위한 사용자 명령을 입력받는다. 이때, 입력부(550)는 터치 스크린, 버튼 등으로 구현될 수 있으나, 이에 한정되는 것은 아니며, 키보드, 마우스 등과 같은 다양한 입력 장치로 구현될 수 있다.
제어부(560)는 입력부(550)에 의해 입력된 사용자 명령에 따라, 모바일 장치(115)의 전반적인 동작을 제어한다. 특히, 제어부(560)는 촬영부(510)를 통해 디스플레이 장치(105)의 엔티티를 캡쳐하고, 모바일 장치(115)의 움직임에 따른 캡쳐 된 엔티티의 움직임을 감지하며, 감지된 엔티티의 움직임을 바탕으로 제어 신호를 생성하여 디스플레이 장치(105)로 전송하도록 통신부(540)를 제어한다.
구체적으로, 제어부는 촬영부(510)가 디스플레이 장치(105)에 디스플레이된 엔티티를 캡쳐하는 동안 초기 교정 눈금선 및 상기 디스플레이된 엔티티에 대한 제스처 눈금선을 디스플레이하도록 디스플레이부(520)를 제어할 수 있다.
이때, 제어부(560)는 초기 교정 눈금선에 대한 제스처 눈금선의 움직임 및 크기 변화 중 적어도 하나를 판단하여 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지할 수 있다. 예를 들어, 초기 교정 눈금선에 대해 제스처 눈금선이 왼쪽으로 움직인 경우, 제어부(560)는 캡쳐된 엔티티의 움직임이 왼쪽으로 움직인 것으로 판단할 수 있다. 또한, 초기 교정 눈금선에 대해 제스처 눈금선의 크기가 증가한 경우, 제어부(560)는 캡쳐된 엔티티의 크기가 커진 것으로 판단할 수 있다.
또한, 제어부(560)는 감지된 엔티티의 움직임 및 크기 변화 중 하나를 이용하여 디스플레이 장치(105)에 디스플레이된 엔티티의 크기 및 위치 중 적어도 하나를 변경하기 위한 제어 신호를 생성한다. 구체적으로, 캡쳐된 엔티티의 크기가 변경된 경우, 제어부(560)는 캡쳐된 엔티티의 크기 변화에 따라 디스플레이 장치(105)에 디스플레이된 엔티티의 크기를 변경하기 위한 제어 신호를 생성할 수 있다. 예를 들어, 모바일 장치(115)가 디스플레이 장치(105)로 향하는 움직임에 따라 캡쳐된 엔티티의 크기가 커진 경우, 제어부(560)는 디스플레이 장치(105)에 디스플레이된 엔티티의 크기를 증가시키기 위한 제어 신호를 생성할 수 있다. 또한, 모바일 장치(115)가 디스플레이 장치(105)로부터 멀어지는 움직임에 따라 캡쳐된 엔티티의 크기가 작아진 경우, 제어부(560)는 디스플레이 장치(105)에 디스플레이된 엔티티의 크기를 감소시키기 위한 제어 신호를 생성할 수 있다.
또한, 캡쳐된 엔티티의 위치가 변경된 경우, 제어부(560)는 캡쳐된 엔티티의 위치 변화에 따라 디스플레이 장치(105)에 디스플레이된 엔티티의 위치를 변경하기 위한 제어 신호를 생성할 수 있다. 이때, 제어부(560)는 초기 교정 눈금선에 대한 제스처 눈금선의 움직임의 반대 방향으로 디스플레이 장치(105)에 디스플레이된 엔티티를 이동하라는 제어 신호를 생성할 수 있다. 예를 들어, 초기 교정 눈금선에 대해 제스처 눈금선이 왼쪽으로 움직인 경우, 제어부(560)는 디스플레이 장치(105)에 디스플레이된 엔티티를 오른쪽으로 이동하라는 제어 신호를 생성할 수 있다.
한편, 상술한 실시예에서는 디스플레이 장치(105)에 디스플레이된 엔티티가 영상 속의 오브젝트인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 디스플레이 장치(105)에 디스플레이된 엔티티가 도 6에 도시된 바와 같이, 디스플레이 장치(105)를 제어하는데 이용되는 포인터일 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 카메라 기능이 내장된 모바일 장치를 이용하여 디스플레이 장치를 제어할 수 있다. 특히, 카메라 장치의 움직임에 따라 디스플레이 장치의 엔티티가 이동됨으로써, 사용자는 직관적으로 디스플레이 장치를 제어할 수 있게 된다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
205: 버스 210: 프로세서
215: 메모리 220: ROM
225: 저장 유닛 230: 디스플레이
235: 입력 장치 240: 커서 컨트롤
245: 통신 인터페이스

Claims (18)

  1. 모바일 장치의 디스플레이 장치 제어 방법에 있어서,
    디스플레이 장치에 디스플레이된 엔티티를 캡쳐하는 단계;
    상기 모바일 장치의 움직임에 따른 상기 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지하는 단계;
    상기 감지된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 바탕으로 상기 디스플레이 장치를 제어하기 위한 제어 신호를 생성하는 단계; 및
    상기 생성된 제어 신호를 상기 디스플레이 장치로 전송하는 단계;를 포함하며,
    상기 생성하는 단계는,
    상기 캡쳐된 엔티티의 크기가 변경된 경우, 상기 캡쳐된 엔티티의 크기 변화에 따라 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 변경하기 위한 제어 신호를 생성하며,
    상기 캡쳐된 엔티티의 위치가 변경된 경우, 상기 캡쳐된 엔티티의 크기 변화에 따라 상기 디스플레이 장치에 디스플레이된 엔티티의 위치를 변경하기 위한 제어 신호를 생성하는 제어 방법.
  2. 제1항에 있어서,
    상기 캡쳐하는 단계는,
    초기 교정 눈금선을 디스플레이하는 단계; 및
    상기 디스플레이된 엔티티에 대한 제스처 눈금선을 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  3. 제2항에 있어서,
    상기 초기 교정 눈금선은,
    실선이며 고정된 선이며,
    상기 제스처 눈금선은,
    점선이며 상기 모바일 장치의 움직임에 따라 이동되는 선인 것을 특징으로 하는 제어 방법.
  4. 제3항에 있어서,
    상기 감지하는 단계는,
    상기 초기 교정 눈금선에 대한 제스처 눈금선의 움직임 및 크기 변화 중 적어도 하나를 판단하여 상기 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지하는 것을 특징으로 하는 제어 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 모바일 장치가 상기 디스플레이 장치로 향하는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 커진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 증가시키기 위한 제어 신호를 생성하며,
    상기 모바일 장치가 상기 디스플레이 장치로부터 멀어지는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 작아진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 감소시키기 위한 제어 신호를 생성하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 생성하는 단계는,
    초기 교정 눈금선에 대한 제스처 눈금선의 움직임의 반대 방향으로 상기 디스플레이 장치에 디스플레이된 엔티티를 이동하라는 제어 신호를 생성하는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 엔티티는 상기 디스플레이 장치에 디스플레이된 포인터인 것을 특징으로 하는 제어 방법.
  9. 디스플레이 장치를 제어하기 위한 모바일 장치에 있어서,
    상기 디스플레이 장치에 디스플레이된 엔티티를 캡쳐하는 촬영부;
    상기 촬영부에 촬영된 영상을 디스플레이하는 디스플레이부;
    상기 디스플레이 장치와 통신을 수행하기 위한 통신부; 및
    상기 촬영부를 통해 상기 디스플레이 장치의 엔티티를 캡쳐하고, 상기 모바일 장치의 움직임에 따른 상기 캡쳐된 엔티티의 움직임을 감지하며, 상기 감지된 엔티티의 움직임을 바탕으로 제어 신호를 생성하여 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 모바일 장치가 상기 디스플레이 장치로 향하는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 커진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 증가시키기 위한 제어 신호를 생성하며,
    상기 모바일 장치가 상기 디스플레이 장치로부터 멀어지는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 작아진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 감소시키기 위한 제어 신호를 생성하는 모바일 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 촬영부가 상기 디스플레이 장치의 엔티티를 캡쳐하는 동안 초기 교정 눈금선 및 상기 디스플레이된 엔티티에 대한 제스처 눈금선을 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 모바일 장치.
  11. 제10항에 있어서,
    상기 초기 교정 눈금선은,
    실선이며 고정된 선이며,
    상기 제스처 눈금선은,
    점선이며 상기 모바일 장치의 움직임에 따라 이동되는 선인 것을 특징으로 하는 모바일 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 초기 교정 눈금선에 대한 제스처 눈금선의 움직임 및 크기 변화 중 적어도 하나를 판단하여 상기 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지하는 것을 특징으로 하는 모바일 장치.
  13. 삭제
  14. 제9항에 있어서,
    상기 제어부는,
    상기 모바일 장치가 상기 디스플레이 장치로 향하는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 커진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 증가시키기 위한 제어 신호를 생성하며,
    상기 모바일 장치가 상기 디스플레이 장치로부터 멀어지는 움직임에 따라 상기 캡쳐된 엔티티의 크기가 작아진 경우, 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 감소시키기 위한 제어 신호를 생성하는 것을 특징으로 하는 모바일 장치.
  15. 제9항에 있어서,
    상기 제어부는,
    초기 교정 눈금선에 대한 제스처 눈금선의 움직임의 반대 방향으로 상기 디스플레이 장치에 디스플레이된 엔티티를 이동하라는 제어 신호를 생성하는 것을 특징으로 하는 모바일 장치.
  16. 제9항에 있어서,
    상기 엔티티는 상기 디스플레이 장치에 디스플레이된 포인터인 것을 특징으로 하는 모바일 장치.
  17. 모바일 장치에 의해 제어되는 디스플레이 장치의 제어 방법에 있어서,
    엔티티를 디스플레이하는 단계;
    상기 모바일 장치의 움직임에 따른 상기 모바일 장치에 의해 캡쳐된 엔티티의 움직임을 바탕으로 생성된 제어 신호를 상기 모바일 장치로부터 수신하는 단계; 및
    상기 제어 신호에 따라 상기 엔티티의 크기 및 위치 중 적어도 하나를 제어하는 단계;를 포함하며,
    상기 제어하는 단계는,
    상기 모바일 장치의 움직임에 따라 상기 캡쳐된 엔티티의 크기가 변경된 경우, 상기 수신된 제어 신호에 기초하여 상기 디스플레이 중인 엔티티의 크기를 변경하며,
    상기 모바일 장치의 움직임에 따라 상기 캡쳐된 엔티티의 위치가 변경된 경우, 상기 수신된 제어 신호에 기초하여 상기 디스플레이 중인 엔티티의 위치를 변경하는 제어 방법.
  18. 모바일 장치 및 디스플레이 장치를 포함하는 시스템의 디스플레이 장치 제어 방법에 있어서,
    상기 디스플레이 장치가, 엔티티를 디스플레이하는 단계;
    상기 모바일 장치가, 상기 디스플레이 장치에 디스플레이된 엔티티를 캡쳐하는 단계;
    상기 모바일 장치가, 상기 모바일 장치의 움직임에 따른 상기 캡쳐된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 감지하는 단계;
    상기 모바일 장치가, 상기 감지된 엔티티의 움직임 및 크기 변화 중 적어도 하나를 바탕으로 상기 디스플레이 장치를 제어하기 위한 제어 신호를 생성하는 단계;
    상기 모바일 장치가, 상기 생성된 제어 신호를 상기 디스플레이 장치로 전송하는 단계; 및
    상기 디스플레이 장치가, 상기 제어 신호에 따라 상기 엔티티의 크기 및 위치 중 적어도 하나를 제어하는 단계;를 포함하며,
    상기 생성하는 단계는,
    상기 캡쳐된 엔티티의 크기가 변경된 경우, 상기 캡쳐된 엔티티의 크기 변화에 따라 상기 디스플레이 장치에 디스플레이된 엔티티의 크기를 변경하기 위한 제어 신호를 생성하며,
    상기 캡쳐된 엔티티의 위치가 변경된 경우, 상기 캡쳐된 엔티티의 위치 변화에 따라 상기 디스플레이 장치에 디스플레이된 엔티티의 위치를 변경하기 위한 제어 신호를 생성하는 제어 방법.

KR1020130038759A 2012-05-07 2013-04-09 카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템 KR101890140B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/888,911 US8922482B2 (en) 2012-05-07 2013-05-07 Method for controlling a display apparatus using a camera based device and mobile device, display apparatus, and system thereof
EP13787167.9A EP2847685B1 (en) 2012-05-07 2013-05-07 Method for controlling a display apparatus using a camera based device and device thereof.
PCT/KR2013/003939 WO2013168953A1 (en) 2012-05-07 2013-05-07 Method for controlling a display apparatus using a camera based device and mobile device, display apparatus, and system thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN1756/CHE/2012 2012-05-07
IN1756CH2012 2012-05-07

Publications (2)

Publication Number Publication Date
KR20130124889A KR20130124889A (ko) 2013-11-15
KR101890140B1 true KR101890140B1 (ko) 2018-09-28

Family

ID=49853533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130038759A KR101890140B1 (ko) 2012-05-07 2013-04-09 카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템

Country Status (4)

Country Link
US (1) US8922482B2 (ko)
EP (1) EP2847685B1 (ko)
KR (1) KR101890140B1 (ko)
WO (1) WO2013168953A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10243786B2 (en) * 2013-05-20 2019-03-26 Citrix Systems, Inc. Proximity and context aware mobile workspaces in enterprise systems
KR20160040028A (ko) * 2014-10-02 2016-04-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN105700684A (zh) * 2016-01-12 2016-06-22 深圳多哚新技术有限责任公司 一种头显设备传感器数据中断的处理方法和装置
US10554878B2 (en) * 2017-03-15 2020-02-04 Pilot, Inc. Smart selfie mirror

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306699A1 (en) * 2009-05-26 2010-12-02 Topseed Technology Corp. Method for controlling gesture-based remote control system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6861946B2 (en) 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
US7620622B1 (en) 2001-03-08 2009-11-17 Yahoo! Inc. Method and system for indexing information and providing results for a search including objects having predetermined attributes
FI117488B (fi) 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
US7987491B2 (en) * 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
CN101641449B (zh) 2005-06-23 2014-01-29 科因股份有限公司 用于多态性的高通量鉴定和检测的策略
TWI346494B (en) 2006-09-08 2011-08-01 High Tech Comp Corp Page movement controller and operating method thereof
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
US8438480B2 (en) * 2007-03-26 2013-05-07 Avago Technologies General Ip (Singapore) Pte. Ltd. System and method for tracking an input device using a display screen in captured frames of image data
US20080242415A1 (en) 2007-03-27 2008-10-02 Nazeer Ahmed Motion-based input for platforms and applications
US9261979B2 (en) 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
KR20100109686A (ko) 2009-04-01 2010-10-11 삼성전자주식회사 Ｇｕｉ 제공방법 및 이를 적용한 멀티미디어 기기
US8406245B2 (en) 2009-07-09 2013-03-26 Qualcomm Incorporated System and method of transmitting content from a mobile device to a wireless display
KR101023339B1 (ko) * 2009-07-16 2011-03-18 삼성전기주식회사 이동 피사체의 자동 추적 시스템 및 그 방법
KR101642000B1 (ko) 2009-11-20 2016-07-22 엘지전자 주식회사 이동 단말기, ｄｔｖ 및 ｄｔｖ의 제어 방법
US20110316697A1 (en) * 2010-06-29 2011-12-29 General Electric Company System and method for monitoring an entity within an area

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306699A1 (en) * 2009-05-26 2010-12-02 Topseed Technology Corp. Method for controlling gesture-based remote control system

Also Published As

Publication number Publication date
US20130293458A1 (en) 2013-11-07
US8922482B2 (en) 2014-12-30
KR20130124889A (ko) 2013-11-15
EP2847685B1 (en) 2019-04-17
EP2847685A4 (en) 2015-11-18
EP2847685A1 (en) 2015-03-18
WO2013168953A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
JP5912014B2 (ja) ３ｄリモートコントローラ用のｇｕｉアプリケーション
US8723988B2 (en) Using a touch sensitive display to control magnification and capture of digital images by an electronic device
KR101969424B1 (ko) 촬영된 이미지를 표시하는 촬영 장치 및 그 촬영 방법
JP5906984B2 (ja) 表示端末装置及びプログラム
KR101733115B1 (ko) 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
US9544556B2 (en) Projection control apparatus and projection control method
JP7005161B2 (ja) 電子機器及びその制御方法
KR20090076173A (ko) 디스플레이 장치에 표시된 화면의 일부분을 전자장치를통해 ｇｕｉ로 제공하는 방법 및 이를 적용한 전자장치
KR20070037773A (ko) 표시기기에서 사용자 명령 입력 장치 및 방법
CN109656442B (zh) 用户界面显示方法及其设备
EP2887648B1 (en) Method of performing previewing and electronic device for implementing the same
JP2015508539A (ja) 表示装置及びその制御方法
US10095384B2 (en) Method of receiving user input by detecting movement of user and apparatus therefor
KR101890140B1 (ko) 카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템
US10979700B2 (en) Display control apparatus and control method
CN110968229A (zh) 一种壁纸设置方法及电子设备
JP5220157B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
TWI442305B (zh) 多點控制的操作方法及其控制系統
US8970483B2 (en) Method and apparatus for determining input
JP7005160B2 (ja) 電子機器及びその制御方法
KR101920864B1 (ko) 터치스크린을 이용하여 이미지를 표시하기 위한 방법 및 단말
JP2009088713A (ja) 制御装置、遠隔操作装置、制御装置の制御方法、遠隔操作装置の制御方法、送受信システムおよび制御プログラム
KR101231105B1 (ko) 휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법
JP2015102946A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant