KR20110049162A - Apparatus and method for virtual input/output in portable image processing device - Google Patents

Apparatus and method for virtual input/output in portable image processing device Download PDF

Info

Publication number
KR20110049162A
KR20110049162A KR1020090106038A KR20090106038A KR20110049162A KR 20110049162 A KR20110049162 A KR 20110049162A KR 1020090106038 A KR1020090106038 A KR 1020090106038A KR 20090106038 A KR20090106038 A KR 20090106038A KR 20110049162 A KR20110049162 A KR 20110049162A
Authority
KR
South Korea
Prior art keywords
image
application
display area
hand
virtual
Prior art date
Application number
KR1020090106038A
Other languages
Korean (ko)
Inventor
서동원
고현민
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020090106038A priority Critical patent/KR20110049162A/en
Publication of KR20110049162A publication Critical patent/KR20110049162A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A virtual input/output device of a portable image processor and method thereof are provided to input/output a portable image by implementing image recognition through a camera and to display an image through a projector. CONSTITUTION: A projector(120) outputs an application image in a virtual display area. A camera(130) photographs a motion image which is generated to process an application. A controller(160) displays a process result on the virtual display area through the projector. If the motion image is hands, the controller filters a hands image and recognizes the pattern of hands. The controller generates an application processing result from a pattern recognition result.

Description

휴대용 영상 처리기에서 가상 입출력 장치 및 방법{Apparatus and method for virtual input/output in portable image processing device}Apparatus and method for virtual input / output in portable image processing device}

본 발명은 휴대용 영상 처리기에 구비된 카메라와 프로젝션을 이용한 가상 입출력 장치 및 방법에 관한 것이다.The present invention relates to a virtual input / output device and method using a projection and a camera provided in a portable image processor.

휴대용 기기가 갈수록 소형화 되면서 입력장치를 소형화하거나 아예 없애는 기능을 구비한 기기들이 출시되고 있다. 이와 더불어 종래 데이터를 입력하는 기기에 대한 기술은 대한민국 공개특허 제2002-0079847호 "가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치" 이외에 다수 출원 및 공개된 상태이다.As portable devices become smaller and smaller, devices with functions of miniaturizing or eliminating input devices are being introduced. In addition, the technology for a device for inputting the conventional data is a number of applications and published in addition to the Republic of Korea Patent Publication No. 2002-0079847 "method and device for inputting data using a virtual input device".

상기 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치는 키보드 화면을 비춰주고 이를 카메라로 촬영하여 키보드 동작을 인식하는 것으로써, 이러한 방식은 휴대기기를 입체적으로 설치해야 하고, 촬영된 영상의 그림자나 손가락 동작 구분이 쉽지 않아 인식 착오를 야기하는 문제점이 있었다.The method and device for inputting data using the virtual input device illuminates a keyboard screen and photographs it with a camera to recognize keyboard operation. This method requires a mobile device to be installed in three dimensions, and a shadow of the captured image is provided. However, there was a problem that caused a recognition error because the finger motion is not easy to distinguish.

본 발명이 해결하고자 하는 기술적인 과제는 프로젝션을 통한 영상 디스플레이와 카메라를 통한 영상 인식을 구현하여 입/출력을 융합할 수 있는 휴대용 영상 처리기에서 가상 입출력 장치 및 방법을 제공하는데 있다.The technical problem to be solved by the present invention is to provide a virtual input and output device and method in a portable image processor capable of fusion of input and output by implementing image display through a projection and image recognition through a camera.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 휴대용 영상 처리기에서 가상 입출력 장치는 휴대용 영상 처리기로서, 임의의 가상 디스플레이 영역에 어플리케이션 영상을 출력하는 프로젝션부; 상기 가상 디스플레이 영역에서 상기 어플리케이션 처리를 위해 발생하는 움직임 영상을 촬영하는 카메라; 및 상기 촬영된 움직임 영상을 가공, 판단 및 처리하고, 상기 처리결과를 상기 프로젝션부를 통해 상기 가상 디스플레이 영역에 표시하도록 제어하는 제어부를 포함하는 것이 바람직하다.The virtual input / output device in a portable image processor for solving the technical problem to be achieved by the present invention is a portable image processor, a projection unit for outputting an application image to any virtual display area; A camera for capturing a motion image generated for processing the application in the virtual display area; And a controller configured to process, determine, and process the captured motion image, and to display the processing result on the virtual display area through the projection unit.

본 발명에 있어서, 임의의 다른 통신 기기와 통신을 수행하는 통신부를 더 포함할 수 있다.In the present invention, it may further include a communication unit for performing communication with any other communication device.

본 발명에 있어서, 상기 제어부는 상기 촬영된 움직임 영상이 손인 경우 상기 손영상을 필터링하여 손의 패턴을 인식하고, 상기 패턴 인식 결과로부터 상기 어플리케이션 처리 결과를 생성할 수 있다.In the present invention, if the captured motion image is a hand, the controller may filter the hand image to recognize a pattern of the hand, and generate the application processing result from the pattern recognition result.

본 발명에 있어서, 상기 제어부는 상기 촬영된 움직임 영상이 손인 경우 상기 손 영상 중 색인식을 통하여 살색으로 추정되는 영역을 추출하고, 추출된 영상 의 손가락 끝점을 추적하여, 상기 추적 결과로부터 상기 어플리케이션 처리 결과를 생성할 수 있다.In the present invention, when the photographed motion image is a hand, the controller extracts a region estimated as flesh color through an index expression among the hand images, tracks a finger endpoint of the extracted image, and processes the application from the tracking result. Can produce a result.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 휴대용 영상 처리기에서 가상 입출력 방법은 휴대용 영상 처리기의 동작 방법으로서, (a) 상기 휴대용 영상 처리기에 구비된 프로젝션으로부터 출력되는 어플리케이션 영상을 임의의 가상 디스플레이 영역에 표시하는 단계; (b) 상기 휴대용 영상 처리기에 구비된 카메라에 의해 상기 가상 디스플레이 영역에서 상기 어플리케이션 처리를 위해 발생하는 움직임 영상을 촬영하는 단계; (c) 상기 촬영된 움직임 영상을 가공, 판단 및 처리하는 단계; 및 (d) 상기 처리 결과를 상기 프로젝션을 통해 상기 가상 디스플레이 영역에 표시하는 단계를 포함하는 것이 바람직하다.The virtual input / output method in the portable image processor for solving the technical problem to be achieved by the present invention is a method of operating a portable image processor, (a) the application image output from the projection provided in the portable image processor arbitrary virtual display area Marking on; (b) capturing a motion image generated for processing the application in the virtual display area by a camera provided in the portable image processor; (c) processing, determining, and processing the photographed motion image; And (d) displaying the processing result in the virtual display area through the projection.

본 발명에 있어서, 상기 (c)단계에서 임의의 다른 통신 기기와 통신을 수행하여 상기 움직임 영상을 처리할 수 있다.In the present invention, in step (c), the mobile device may process the motion image by performing communication with any other communication device.

본 발명에 있어서, 상기 촬영된 움직임 영상이 손인 경우 상기 (c) 단계는 상기 촬영된 손영상을 필터링하여 손의 패턴을 인식하는 단계; 및 상기 패턴 인식 결과로부터 상기 어플리케이션 처리 결과를 생성하는 단계를 포함할 수 있다.In the present invention, if the photographed motion image is a hand, step (c) includes: recognizing a pattern of the hand by filtering the photographed hand image; And generating the application processing result from the pattern recognition result.

본 발명에 있어서, 상기 촬영된 움직임 영상이 손인 경우 상기 (c)단계는 상기 촬영된 손 영상 중 색인식을 통하여 살색으로 추정되는 영역을 추출하는 단계; 추출된 영상의 손가락 끝점을 추적하는 단계; 및 상기 추적 결과로부터 상기 어플리케이션 처리 결과를 생성하는 단계를 포함할 수 있다.In the present invention, if the photographed motion image is a hand, the step (c) may include: extracting a region estimated as flesh color from the photographed hand image through an index expression; Tracking finger endpoints of the extracted image; And generating the application processing result from the tracking result.

상술한 바와 같이 본 발명에 따르면, 프로젝션을 통한 영상 디스플레이와 카메라를 통한 영상 인식을 구현하여 입/출력을 융합할 수 있다. 또한 키보드 기능뿐만 아니라 멀티 터치와 드래그 등의 기능을 제공할 수 있고, 카메라를 이용한 증강 현실(augmented reality)을 구현하여 여러 응용 장치에 활용할 수 있다. 또한 통신기능과의 결합을 통해 최적의 정보 전송 방법의 구현이 가능하다.As described above, according to the present invention, image display through projection and image recognition through a camera may be implemented to converge input / output. In addition, it can provide functions such as multi-touch and drag as well as a keyboard function, and can be used for various application devices by implementing augmented reality using a camera. In addition, it is possible to implement an optimal information transmission method by combining with a communication function.

이하, 본 발명의 실시 예에 대한 구성 및 그 작용을 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도면이나 도면에 대한 설명은 본 발명의 예를 든 것으로 이로써 본 발명의 범위를 한정하는 것은 아니다.Hereinafter, with reference to the accompanying drawings, the configuration and operation of the embodiment of the present invention will be described in detail. The drawings and the description of the drawings are examples of the present invention, which does not limit the scope of the present invention.

도 1은 본 발명에 따른 가상 입출력을 구비한 휴대용 영상 처리기를 보이는 도면으로, 휴대용 영상 처리기(100)는 임의의 어플리케이션 영상을 임의의 가상 디스플레이 영역(110)에 출력하는 프로젝션부(120) 및 가상 디스플레이 영역(110)에서 어플리케이션 처리를 위해 발생하는 움직임 영상을 촬영하는 카메라(130)를 포함한다.1 is a view showing a portable image processor having a virtual input and output according to the present invention, the portable image processor 100 is a projection unit 120 for outputting any application image to any virtual display area 110 and virtual The camera 130 includes a camera 130 for capturing a moving image generated for processing an application in the display area 110.

도 2는 도 1에 도시된 휴대용 영상 처리기에서 가상 입출력 장치의 구성을 보이는 블록도로서, 가상 디스플레이 영역(110), 프로젝션부(120), 카메라(130), 디스플레이부(140), 통신부(150) 및 제어부(160)를 포함한다.FIG. 2 is a block diagram showing a configuration of a virtual input / output device in the portable image processor illustrated in FIG. 1, and includes a virtual display area 110, a projection unit 120, a camera 130, a display unit 140, and a communication unit 150. ) And the controller 160.

가상 디스플레이 영역(110)은 프로젝션부(120)에서 출력되는 어플리케이션 영상이 바닥이나 벽과 같은 공간에 맺혀진 영역으로, 손가락의 움직임이나, 물건의 등장/움직임과 같은 특정한 움직임이 발생하는 공간일 수 있다.The virtual display area 110 is an area in which the application image output from the projection unit 120 is formed in a space such as a floor or a wall. The virtual display area 110 may be a space in which a specific movement such as a finger movement or an appearance / movement of an object occurs. have.

프로젝션부(120)은 어플리케이션 영상을 가상 디스플레이 영역(110)으로 출력하고, 제어부(160)가 처리한 결과를 가상 디스플레이 영역(110)으로 출력한다. 프로젝션부(120)는 휴대용 영상 처리기(100)의 내장용 또는 외장용 일 수 있다.The projection unit 120 outputs the application image to the virtual display area 110 and outputs the result processed by the controller 160 to the virtual display area 110. The projection unit 120 may be internal or external to the portable image processor 100.

카메라(130)는 가상 디스플레이 영역(110)에서 어플리케이션 처리를 위해 발생하는 손가락의 움직임, 물건의 등장/움직임 영상을 촬영한다.The camera 130 photographs a movement of a finger and an appearance / motion of an object generated for processing an application in the virtual display area 110.

디스플레이부(140)는 휴대용 영상 처리기(100)에 구비되어 어플리케이션을 디스플레이 한다. 제어부(160)의 제어 하에 디스플레이부(140)에 표시된 어플리케이션이 가상 디스플레이 영역(110)에 동일하게 디스플레이 될 수 있거나, 제어부(160)의 제어 하에 가상 디스플레이 영역(110)이 제1 디스플레이 영역으로, 디스플레이부(140)가 제2 디스플레이 영역으로 각각 다르게 동작할 수 있다.The display unit 140 is provided in the portable image processor 100 to display an application. An application displayed on the display 140 under the control of the controller 160 may be displayed on the virtual display area 110 in the same manner, or under the control of the controller 160, the virtual display area 110 is the first display area. The display 140 may operate differently as the second display area.

통신부(150)는 통신이 필요한 어플리케이션의 경우, 제어부(160)로부터 수신한 정보를 서버 또는 다른 통신 기기(미도시)에 전송하고, 서버 또는 다른 통신 기기로부터 수신한 정보를 제어부(160)로 전송한다.In the case of an application requiring communication, the communication unit 150 transmits information received from the control unit 160 to a server or another communication device (not shown), and transmits information received from the server or other communication device to the control unit 160. do.

제어부(160)는 사용자가 선택한 임의의 어플리케이션 및 어플리케이션 처리 결과가 가상 디스플레이 영역(110)에 표시되도록 프로젝션부(120)의 동작을 제어한다. 제어부(160)는 카메라(130)가 촬영한 움직임 영상을 영상 예를 들어, 손가락의 위치와 숫자, 물체의 종류, 위치 숫자 등 각 어플리케이션에 따라 입력되는 움직임 영상을 가공, 판단 및 처리한다. 또한 제어부(160)는 통신이 필요한 경우, 통신부를 동작시켜 정보 송수신을 제어한다.The controller 160 controls the operation of the projection unit 120 to display any application selected by the user and an application processing result in the virtual display area 110. The controller 160 processes, determines, and processes the motion image input by the application, such as the position and number of a finger, the type of an object, the position number, and the like, of the motion image photographed by the camera 130. In addition, when communication is required, the controller 160 operates the communication unit to control transmission and reception of information.

도 3은 도 2에서 손을 이용한 제어부(160)의 영상 인식을 설명하는 도면으 로, 제어부(160)의 손 영상 인식을 두 가지 실시 예로 설명한다. 먼저 제1 실시 예에서 제어부(160)는 도 3a-1에 도시된 바와 같이 카메라(130)로 입력되는 손 영상을 저대역 필터링하여 도 3a-2에 도시된 바와 같이 손가락 경계 영역 및 손가락 마디 지문 패턴을 추출한 후, 군집화된 손가락 마디 지문 패턴의 움직임에 따라 정의된 이벤트, 예를 들어 클릭 또는 드래그를 판단한다. 제어부(160)는 판단된 이벤트에 따라 어플리케이션 처리 영상이 가상 디스플레이 영역(110)에 표시되도록 프로젝션부(120)를 제어한다.FIG. 3 is a diagram illustrating image recognition of the controller 160 using a hand in FIG. 2, and the hand image recognition of the controller 160 will be described as two embodiments. First, in the first exemplary embodiment, the controller 160 performs low-band filtering on the hand image input to the camera 130 as shown in FIGS. 3A-1, and thus, the finger boundary region and the finger node fingerprint as shown in FIGS. After the pattern is extracted, a defined event, for example, a click or a drag, is determined according to the movement of the clustered finger node fingerprint pattern. The controller 160 controls the projection unit 120 to display the application processing image on the virtual display area 110 according to the determined event.

다음 제2 실시 예에서 제어부(160)는 도 3b-1에 도시된 바와 같이 카메라(130)로 입력되는 손 영상에 대해, 도 3b-2에 도시된 바와 같이 색인식을 통하여 살색으로 추정되는 영역을 추출하고, 도 3b-3에 추출된 영상의 손가락 끝점을 추출하고, 손가락 끝점을 추적하여, 정의된 이벤트 예를 들어 클릭 또는 드래그를 판단한다. 제어부(160)는 판단된 이벤트에 따라 어플리케이션 처리 영상이 가상 디스플레이 영역(110)에 표시되도록 프로젝션부(120)를 제어한다. In the following second embodiment, the control unit 160 is an area estimated by skin color through the index expression as shown in FIG. 3B-2 with respect to the hand image input to the camera 130 as shown in FIG. 3B-1. 3B-3, extract fingertips of the image extracted in FIG. 3B-3, track the fingertips, and determine a defined event, for example, click or drag. The controller 160 controls the projection unit 120 to display the application processing image on the virtual display area 110 according to the determined event.

도 4는 도 2에서 가상 입출력을 구현할 수 있는 각종 어플리케이션을 보이는 도면이다.4 is a diagram illustrating various applications that may implement virtual input / output in FIG. 2.

도 4a는 인터넷 어플리케이션이 가상 디스플레이 영역(110)에 표시된 예로, 인터넷 브라우징 시에 손가락의 움직임 예를 들어 클릭을 카메라(130)가 촬영하면, 제어부(160)는 위치 및 클릭 판단에 따라 어플리케이션 처리 결과 예를 들어 클릭된 하위 어플리케이션을 프로젝션부(120)가 출력하도록 제어한다.4A illustrates an example in which an internet application is displayed on the virtual display area 110. When the camera 130 captures a finger movement, for example, a click while browsing the Internet, the controller 160 determines an application processing result according to a position and a click determination. For example, the control unit 120 outputs the clicked lower application.

도 4b는 인터넷 어플리케이션이 가상 디스플레이 영역(110)에 표시된 예로, 인터넷 브라우징 시에 손가락의 움직임 예를 들어 드래그를 카메라(130)가 촬영하면, 제어부(160)는 위치 및 드래그 판단에 따라 어플리케이션 처리 예를 들어, 페이지 이동 등의 결과를 프로젝션부(120)가 출력하도록 제어한다. 또한 도 4b에서는 두 개의 손가락을 이용하여 인터넷 어플리케이션의 확대/축소 및 회전 등의 동작을 카메라(130)가 촬영하면 제어부(160)가 이를 처리하고, 프로젝션부(120)를 통해 출력되도록 할 수 있다.4B illustrates an example in which an internet application is displayed on the virtual display area 110. When the camera 130 captures a finger movement, for example, a drag, when the Internet is browsed, the controller 160 controls the application according to the position and the drag determination. For example, the projection unit 120 outputs a result such as page movement. In addition, in FIG. 4B, when the camera 130 captures an operation such as an enlargement / reduction and rotation of an internet application using two fingers, the controller 160 may process the same and output the same through the projection unit 120. .

도 4c는 휴대용 영상 처리기(100)의 메뉴 또는 아이콘이 프로젝션부(120)를 통하여 가상 디스플레이 영역(110)에 표시한 예이며, 원하는 메뉴 또는 아이콘 클릭 신호 영상이 카메라(130)를 통해 촬영되면, 제어부(160)가 이를 처리하여 메뉴 또는 아이콘 실행 결과를 프로젝션부(120)를 통해 출력되도록 할 수 있다.4C is an example in which the menu or icon of the portable image processor 100 is displayed on the virtual display area 110 through the projection unit 120. When a desired menu or icon click signal image is captured by the camera 130, The controller 160 may process this to output the menu or icon execution result through the projection unit 120.

도 4d는 인터넷 또는 문서 편집 등의 문자 입력이 필요한 상황에서 가상 키보드가 가상 디스플레이 영역(110)에 표시되고, 카메라(130)가 가상 키보드 입력 결과를 촬영하면, 제어부(160)가 이를 처리하여 인터넷 또는 문서에 키보드 입력 결과를 프로젝션부(120)를 통해 출력되도록 할 수 있다.FIG. 4D illustrates that the virtual keyboard is displayed on the virtual display area 110 when a character input such as the Internet or document editing is required, and the camera 130 captures the virtual keyboard input result, the controller 160 processes the Internet to process the same. Alternatively, the keyboard input result may be output through the projection unit 120.

도 4e는 사이즈 측정 어플리케이션을 보이는 도면으로, 물건(시계)이 가상 디스플레이 영역(110)에 위치되고, 카메라(130)가 물건(시계)을 촬영하여 제어부(160)로 전송하면, 제어부(160)는 물건(시계)의 사이즈 측정 결과를 프로젝션부(120)를 통해 출력되도록 할 수 있다.4E illustrates a size measurement application. When an object (clock) is positioned in the virtual display area 110 and the camera 130 photographs the object (clock) and transmits the object (clock) to the controller 160, the controller 160 The output of the size measurement of the object (clock) can be output through the projection unit 120.

도 4f는 증강현실 어플리케이션을 보이는 도면으로, 예를 들어, 가상 디스플레이 영역(110)에 위치한 책으로부터 카메라(130)가 바코드를 촬영하여 제어 부(160)로 전송하면, 제어부(160)는 바코드 인식을 통해 해당 바코드에 맞는 동영상을 프로젝션부(120)를 통해 출력되도록 하여 동영상이 책 위에 투영되도록 할 수 있다. 증강현실(augmented reality, AR)은 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 기법이다. 증강현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실세계의 기반 위에 가상의 사물을 합성하여 현실세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징이 있으며, 여러 어플리케이션을 이용하여 도 4f에 도시된 바와 같은 증강현실을 실현할 수 있다.4F is a view showing an augmented reality application. For example, when a camera 130 captures a barcode from a book located in the virtual display area 110 and transmits the barcode to the control unit 160, the controller 160 recognizes the barcode. Through the video corresponding to the corresponding barcode through the projection unit 120 may be output so that the video is projected on the book. Augmented reality (AR) is a technique for synthesizing virtual objects in the real environment so that they look like objects in the original environment. Augmented reality has a feature that, unlike the existing virtual reality that targets only virtual spaces and objects, synthesizes virtual objects on the basis of the real world and provides additional information that is difficult to obtain only in the real world. Using augmented reality can be realized as shown in Figure 4f.

도 4g는 물체 인식을 통한 물체 정보 제공 어플리케이션을 보이는 도면으로, 물건(시계)이 가상 디스플레이 영역(110)에 위치되고, 카메라(130)가 물건(시계)을 촬영하여 제어부(160)로 전송하면, 제어부(160)는 물건(시계) 인식을 물건(시계) 정보를 프로젝션부(120)를 통해 출력되도록 할 수 있다. 제어부(160)에 물건(시계) 정보가 저장되어 있지 않은 경우, 통신부(150)를 이용하여 서버 또는 다른 통신기기로부터 물건(시계) 정보를 수신하여 프로젝션부(120)를 통해 출력되도록 할 수 있다.4G is a view showing an object information providing application through object recognition. When an object (clock) is located in the virtual display area 110 and the camera 130 photographs the object (clock) and transmits it to the controller 160. The controller 160 may recognize the object (clock) and output the object (clock) information through the projection unit 120. When the object (clock) information is not stored in the control unit 160, the communication unit 150 may be used to receive the object (clock) information from the server or other communication device to be output through the projection unit 120. .

도 4h는 기기간 통신 기능을 활용한 데이터 송수신 및 데이터를 활용할 수 있음을 보이는 도면으로, 예를 들어, 블루투스를 활용한 PMP 데이터를 프로젝션부(120)가 가상 디스플레이 영역(110)에 출력하고, 카메라(130)가 사진 전송 또는 음악 전송 선택을 촬영하면, 제어부(160)는 통신부(150)를 이용하여 PMP로부터 선택된 사진 또는 음악 데이터를 수신하여 프로젝션부(120)를 통해 출력되도록 할 수 있다.4H is a diagram showing that data transmission and reception using data communication between devices and data can be utilized. For example, the projection unit 120 outputs PMP data using Bluetooth to the virtual display area 110 and a camera. When the photographing unit 130 photographs the photo transmission or the music transmission selection, the controller 160 may receive the selected photo or music data from the PMP using the communication unit 150 and output the same through the projection unit 120.

도 4i는 가상 디스플레이 영역(110)과 디스플레이부(140)를 연동하여 게임 또는 다양한 어플리케이션을 실행할 수 있음을 보여주는 도면으로, 예를 들어 가상 디스플레이 영역(110)에 표시된 조이스틱을 움직여 디스플레이부(140)에 표시된 캐릭터를 움직이게 하고, 사용자가 설정한 위치 버튼으로 다른 기능을 조정하면, 디스플레이부(140)에 표시되도록 할 수 있다.FIG. 4I is a diagram illustrating that a game or various applications may be executed by interworking with the virtual display area 110 and the display 140, for example, by moving a joystick displayed in the virtual display area 110 to display the display 140. When the character displayed on the screen is moved and another function is adjusted by the position button set by the user, it may be displayed on the display unit 140.

도 4j는 증강현실을 이용한 게임 기능을 보여주는 도면으로, 예를 들어 게임 말의 움직임과 회전 등을 통한 캐릭터 조정이 가능하다.Figure 4j is a view showing a game function using augmented reality, for example, it is possible to adjust the character through the movement and rotation of the game horse.

이와 같이 프로젝션을 통한 영상 디스플레이와 카메라를 통한 영상 인식을 구현하여 입/출력을 융합함으로써 다양한 어플리케이션 실행 시에 사용자에게 편리함을 줄 수 있다.As such, image display through projection and image recognition through a camera are implemented to fuse input / output to provide convenience to a user when executing various applications.

도 5는 본 발명에 따른 휴대용 영상 처리기에서 가상 입출력 방법의 동작을 보이는 흐름도 이다.5 is a flowchart illustrating the operation of the virtual input / output method in the portable image processor according to the present invention.

휴대용 영상 처리기(100)가 제공하는 가상 입출력 모드로 진입한다(510단계).In step 510, the virtual image input / output mode provided by the portable image processor 100 is entered.

가상 입출력 모드로 진입하면, 사용자는 디스플레이부(140)로부터 임의의 어플리케이션을 선택한다(520단계).When entering the virtual input / output mode, the user selects an arbitrary application from the display 140 (step 520).

임의의 어플리케이션이 선택되면, 선택된 어플리케이션 영상을 프로젝션부(120)가 가상 디스플레이 영역(110)으로 출력하고, 가상 디스플레이 영역(110)에는 선택된 어플리케이션 영상이 표시된다(530단계).When a certain application is selected, the projection unit 120 outputs the selected application image to the virtual display area 110, and the selected application image is displayed on the virtual display area 110 (S530).

이후, 카메라(130)는 가상 디스플레이 영역(110)에 표시된 어플리케이션 상에서 발생하는 움직임 영상을 촬영한다(540단계).In operation 540, the camera 130 captures a motion image generated on an application displayed on the virtual display area 110.

제어부(160)는 촬영된 움직임 영상을 취합하여, 가공 판단 및 처리한다(550단계). 제어부(160)의 움직임 영상 처리는 상기 도 3 내지 도 4에서 설명하였으므로 생략한다.The controller 160 collects the captured motion image, and determines and processes the process (step 550). Since the motion image processing of the controller 160 has been described with reference to FIGS. 3 to 4, it is omitted.

제어부(160)의 움직임 판단에 따른 어플리케이션 처리 결과는 프로젝션부(120)부에 의해 가상 디스플레이 영역(110)에 표시된다(560단계).The application processing result according to the motion determination of the controller 160 is displayed on the virtual display area 110 by the projection unit 120 (step 560).

제어부(160)는 추가적인 움직임이 발생하였는지 판단하여 추가적인 움직임이 발생한 경우, 540 단계로 점프하여 해당 동작을 실행한다(570단계).The controller 160 determines whether an additional movement has occurred and if an additional movement occurs, the controller 160 jumps to step 540 to execute the corresponding operation (step 570).

이후, 제어부(160)는 사용자 선택에 의한 어플리케이션을 종료여부를 판단하여 프로그램을 종료하거나, 530단계로 점프하여 해당 동작을 실행한다(580단계).Thereafter, the controller 160 determines whether the application is terminated by the user selection to end the program or jumps to step 530 to execute the corresponding operation (step 580).

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명에 따른 가상 입출력을 구비한 휴대용 영상 처리기를 보이는 도면이다.1 is a view showing a portable image processor having a virtual input and output according to the present invention.

도 2는 도 1에 도시된 휴대용 영상 처리기에서 가상 입출력 장치의 구성을 보이는 블록도 이다.FIG. 2 is a block diagram illustrating a configuration of a virtual input / output device in the portable image processor illustrated in FIG. 1.

도 3은 도 2에서 손을 이용한 영상 인식을 설명하는 도면이다.FIG. 3 is a diagram illustrating image recognition using a hand in FIG. 2.

도 4는 도 2에서 가상 입출력을 구현할 수 있는 각종 어플리케이션을 보이는 도면이다.4 is a diagram illustrating various applications that may implement virtual input / output in FIG. 2.

도 5는 본 발명에 따른 휴대용 영상 처리기에서 가상 입출력 방법의 동작을 보이는 흐름도 이다.5 is a flowchart illustrating the operation of the virtual input / output method in the portable image processor according to the present invention.

Claims (8)

휴대용 영상 처리기로서,As a portable image processor, 임의의 가상 디스플레이 영역에 어플리케이션 영상을 출력하는 프로젝션부;A projection unit to output an application image to an arbitrary virtual display area; 상기 가상 디스플레이 영역에서 상기 어플리케이션 처리를 위해 발생하는 움직임 영상을 촬영하는 카메라; 및A camera for capturing a motion image generated for processing the application in the virtual display area; And 상기 촬영된 움직임 영상을 가공, 판단 및 처리하고, 상기 처리결과를 상기 프로젝션부를 통해 상기 가상 디스플레이 영역에 표시하도록 제어하는 제어부를 포함하는 가상 입출력 장치.And a controller configured to process, determine, and process the photographed motion image, and to display the processing result on the virtual display area through the projection unit. 제 1항에 있어서, The method of claim 1, 임의의 다른 통신 기기와 통신을 수행하는 통신부를 더 포함하는 것을 특징으로 하는 가상 입출력 장치.The virtual input and output device further comprises a communication unit for performing communication with any other communication device. 제 1항에 있어서, 상기 제어부는The method of claim 1, wherein the control unit 상기 촬영된 움직임 영상이 손인 경우 상기 손영상을 필터링하여 손의 패턴을 인식하고, 상기 패턴 인식 결과로부터 상기 어플리케이션 처리 결과를 생성하는 것을 특징으로 하는 가상 입출력 장치.And recognizing a pattern of the hand by filtering the hand image when the photographed motion image is a hand, and generating the application processing result from the pattern recognition result. 제 1항에 있어서, 상기 제어부는The method of claim 1, wherein the control unit 상기 촬영된 움직임 영상이 손인 경우 상기 손 영상 중 색인식을 통하여 살색으로 추정되는 영역을 추출하고, 추출된 영상의 손가락 끝점을 추적하여, 상기 추적 결과로부터 상기 어플리케이션 처리 결과를 생성하는 것을 특징으로 하는 가상 입출력 장치.When the photographed motion image is a hand, an area estimated as flesh color is extracted from an index expression among the hand images, and a finger end point of the extracted image is traced to generate the application processing result from the tracking result. Virtual I / O Device. 휴대용 영상 처리기의 동작 방법으로서,As an operation method of a portable image processor, (a) 상기 휴대용 영상 처리기에 구비된 프로젝션으로부터 출력되는 어플리케이션 영상을 임의의 가상 디스플레이 영역에 표시하는 단계;(a) displaying an application image output from the projection included in the portable image processor on an arbitrary virtual display area; (b) 상기 휴대용 영상 처리기에 구비된 카메라에 의해 상기 가상 디스플레이 영역에서 상기 어플리케이션 처리를 위해 발생하는 움직임 영상을 촬영하는 단계;(b) capturing a motion image generated for processing the application in the virtual display area by a camera provided in the portable image processor; (c) 상기 촬영된 움직임 영상을 가공, 판단 및 처리하는 단계; 및(c) processing, determining, and processing the photographed motion image; And (d) 상기 처리 결과를 상기 프로젝션을 통해 상기 가상 디스플레이 영역에 표시하는 단계를 포함하는 가상 입출력 방법.(d) displaying the processing result on the virtual display area through the projection. 제 5항에 있어서, 상기 (c)단계에서The method of claim 5, wherein in step (c) 임의의 다른 통신 기기와 통신을 수행하여 상기 움직임 영상을 처리하는 것을 특징으로 하는 가상 입출력 방법.And performing communication with any other communication device to process the motion image. 제 5항에 있어서, 상기 촬영된 움직임 영상이 손인 경우 상기 (c) 단계는The method of claim 5, wherein when the captured motion image is a hand, the step (c) 상기 촬영된 손영상을 필터링하여 손의 패턴을 인식하는 단계; 및Recognizing a pattern of a hand by filtering the photographed hand image; And 상기 패턴 인식 결과로부터 상기 어플리케이션 처리 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 가상 입출력 방법.And generating the application processing result from the pattern recognition result. 제 5항에 있어서, 상기 촬영된 움직임 영상이 손인 경우 상기 (c)단계는The method of claim 5, wherein when the captured motion image is a hand, step (c) 상기 촬영된 손 영상 중 색인식을 통하여 살색으로 추정되는 영역을 추출하는 단계;Extracting a region of skin color estimated through the index expression from the photographed hand image; 추출된 영상의 손가락 끝점을 추적하는 단계; 및Tracking finger endpoints of the extracted image; And 상기 추적 결과로부터 상기 어플리케이션 처리 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 가상 입출력 방법.And generating the application processing result from the tracking result.
KR1020090106038A 2009-11-04 2009-11-04 Apparatus and method for virtual input/output in portable image processing device KR20110049162A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090106038A KR20110049162A (en) 2009-11-04 2009-11-04 Apparatus and method for virtual input/output in portable image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090106038A KR20110049162A (en) 2009-11-04 2009-11-04 Apparatus and method for virtual input/output in portable image processing device

Publications (1)

Publication Number Publication Date
KR20110049162A true KR20110049162A (en) 2011-05-12

Family

ID=44360340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090106038A KR20110049162A (en) 2009-11-04 2009-11-04 Apparatus and method for virtual input/output in portable image processing device

Country Status (1)

Country Link
KR (1) KR20110049162A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120218188A1 (en) * 2011-02-24 2012-08-30 Tatsuki Kashitani Information processing apparatus, information processing method, and terminal apparatus
WO2013009482A3 (en) * 2011-07-12 2013-05-30 Google Inc. Methods and systems for a virtual input device
WO2015077486A1 (en) * 2013-11-22 2015-05-28 Pekall, LLC Wearable projection device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120218188A1 (en) * 2011-02-24 2012-08-30 Tatsuki Kashitani Information processing apparatus, information processing method, and terminal apparatus
US8957861B2 (en) * 2011-02-24 2015-02-17 Sony Corporation Information processing apparatus, information processing method, and terminal apparatus for superimposing a display of virtual keys upon an input unit
WO2013009482A3 (en) * 2011-07-12 2013-05-30 Google Inc. Methods and systems for a virtual input device
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
WO2015077486A1 (en) * 2013-11-22 2015-05-28 Pekall, LLC Wearable projection device

Similar Documents

Publication Publication Date Title
JP5802667B2 (en) Gesture input device and gesture input method
US20190278376A1 (en) System and method for close-range movement tracking
US9910498B2 (en) System and method for close-range movement tracking
CN105814522B (en) Device and method for displaying user interface of virtual input device based on motion recognition
Huang et al. Ubii: Towards seamless interaction between digital and physical worlds
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
JP6390799B2 (en) Input device, input method, and program
JP6344530B2 (en) Input device, input method, and program
Kjeldsen et al. Design issues for vision-based computer interaction systems
KR20170112406A (en) Apparatus and method for taking a picture with avatar in augmented reality
WO2023045207A1 (en) Task processing method and apparatus, electronic device, storage medium, and computer program
TW201405411A (en) Icon control method using gesture combining with augmented reality
KR20150106823A (en) Gesture recognition apparatus and control method of gesture recognition apparatus
US20230244379A1 (en) Key function execution method and apparatus, device, and storage medium
Osunkoya et al. Gesture-based human-computer-interaction using Kinect for windows mouse control and powerpoint presentation
JP2013114647A (en) Gesture input system
KR101488662B1 (en) Device and method for providing interface interacting with a user using natural user interface device
KR20140069660A (en) User interface apparatus and method based on image overlay
KR20110049162A (en) Apparatus and method for virtual input/output in portable image processing device
US20220244788A1 (en) Head-mounted display
Annachhatre et al. Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review
JP7213396B1 (en) Electronics and programs
JP2019012485A (en) User interface
CN109144235B (en) Man-machine interaction method and system based on head-hand cooperative action
Kang et al. Improvement of smartphone interface using an AR marker

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination