KR101759936B1

KR101759936B1 - Multimedia device using multiple image sensors having different types and method for controlling the same

Info

Publication number: KR101759936B1
Application number: KR1020100117833A
Authority: KR
Inventors: 임경영; 강민구; 조용원
Original assignee: 엘지전자 주식회사
Priority date: 2010-11-25
Filing date: 2010-11-25
Publication date: 2017-07-20
Also published as: KR20120056353A

Abstract

본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법은, 상기 복수개의 이종 이미지 센서 중 제1이미지 센서를 이용하여, 상기 멀티미디어 디바이스의 주변에 위치한 적어도 하나 이상의 사용자의 제1신체 영역 및 제2신체 영역을 트래킹 하는 단계와, 상기 복수개의 이종 이미지 센서 중 제2이미지 센서를 이용하여, 상기 트래킹된 제1신체 영역을 클로즈 업 하여 촬영하는 단계와, 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터를 화상 전화 서비스의 상대방 디바이스에 전송하는 단계와, 그리고 상기 제2신체 영역의 트래킹 결과에 기초하여, 상기 멀티미디어 디바이스의 화상 전화 서비스의 적어도 하나 이상의 기능을 제어하는 단계를 포함한다.A method of controlling a multimedia device using a plurality of heterogeneous image sensors according to an exemplary embodiment of the present invention is a method for controlling a multimedia device using a plurality of heterogeneous image sensors using a first image sensor among the plurality of heterogeneous image sensors, 1 < / RTI > body area and a second body area of the second image sensor; and photographing and photographing the tracked first body area using a second image sensor of the plurality of disparate image sensors, Transmitting at least one function of the video telephone service of the multimedia device to the other party device of the video telephone service based on the tracking result of the second body area; .

Description

TECHNICAL FIELD [0001] The present invention relates to a multimedia device using a plurality of heterogeneous image sensors, and a control method thereof. [0002] MULTIMEDIA DEVICE USING MULTIPLE IMAGE SENSORS HAVING DIFFERENT TYPES AND METHOD FOR CONTROLLING THE SAME [

본 발명은 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스 및 그 제어 방법에 대한 것으로서, 보다 상세하게는 화상 전화 서비스와 관련된 데이터를 처리하는 기술에 대한 것이다.The present invention relates to a multimedia device using a plurality of heterogeneous image sensors and a control method thereof, and more particularly to a technique for processing data related to a video telephone service.

PC나 노트북 등에 탑재된 카메라를 이용하여 단순히 화상 통화를 하는 기술에 대한 논의는 그 동안 많이 이루어져 왔다. 또한, 최근에는 전기 전자 기술의 급격한 발전으로 사용자들이 원하는 다양한 기능 및 조건을 충족시킬 수 있는 방법들이 논의되고 있다. 나아가, 멀티미디어 장치에 연동되는 카메라 등은 화상 통화라는 종래의 단순한 기능 이외에 다양한 기능으로 활용하기 위한 연구 및 응용이 제안되고 있다. 예컨대, 멀티미디어 장치에 연동되는 카메라를 이용하여 사용자의 얼굴 인지 및 인식 분야, 사용자의 제스처 인식에 따른 멀티미디어 장치 제어 등에 활용하고자 하는 다양한 시도가 이루어지고 있다. 그러나, 기존 카메라를 이용한 사용자의 인지 및 인식에 따른 제어는 멀티미디어 장치가 설치된 환경 및 사용자의 예상치 못한 움직임 등으로 인해 요구되는 수준의 인지 및 인식이 되지 않는 경우가 발생하는 문제점이 있다.There have been many discussions about the technique of simply making a video call using a camera mounted on a PC or a notebook computer. In addition, recently, methods for meeting various functions and conditions desired by users due to rapid development of electric and electronic technology are being discussed. Furthermore, a camera and the like linked to a multimedia device have been proposed for research and application for utilizing various functions in addition to a conventional simple function of a video call. For example, various attempts have been made to utilize a camera coupled to a multimedia device to utilize a user's face recognition and recognition field, multimedia device control according to a user's gesture recognition, and the like. However, the control according to the recognition and recognition of the user using the existing camera has a problem that the level of recognition and recognition can not be achieved due to the environment in which the multimedia device is installed and the user's unexpected movements.

또한, 종래 기술에 의하면 고정된 화면만을 제공하는 화상 통화 기법만이 사용되고 있는 한계가 있었다.In addition, according to the related art, only a video communication technique that provides only a fixed screen has been used.

본 발명의 일실시예는, 복수 개의 이종 이미지 센서를 사용하여 멀티미디어 장치 주변에 위치한 사용자들을 보다 정확하게 인지 및 인식하는 솔루션을 제공하고자 한다.One embodiment of the present invention is to provide a solution for more accurately recognizing and recognizing users located in the vicinity of a multimedia device using a plurality of heterogeneous image sensors.

또한, 본 발명의 다른 일실시예는, 멀티미디어 장치에 연동되는 카메라가 제공하는 인지 및 인식 과정에서 발생하는 문제점들을 개선함으로써, 인지 및 인식 거리 및 성능을 동시에 제고할 수 있는 설계 방법을 제공하고자 한다.Another embodiment of the present invention provides a design method capable of simultaneously enhancing recognition and recognition distance and performance by improving problems caused in a recognition and recognition process provided by a camera interfaced with a multimedia device .

그리고, 본 발명의 또 다른 일실시예는, 화상 전화 서비스를 구현하는 과정에서 사용자의 의도 및 제스처 등을 보다 정확하게 디텍트할 수 있는 프로토콜을 정의하고자 한다.Another embodiment of the present invention is to define a protocol that can more accurately detect intentions and gestures of a user in the process of implementing a video telephone service.

그리고, 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스는, 상기 멀티미디어 디바이스의 주변에 위치한 적어도 하나 이상의 사용자의 제1신체 영역 및 제2신체 영역을 트래킹 하는 제1이미지 센서와, 상기 트래킹된 제1신체 영역을 클로즈 업 하여 촬영하는 제2이미지 센서와, 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터를 화상 전화 서비스의 상대방 디바이스에 전송하는 네트워크 인터페이스와, 그리고 상기 제2신체 영역의 트래킹 결과에 기초하여, 상기 멀티미디어 디바이스의 화상 전화 서비스의 적어도 하나 이상의 기능을 제어하는 컨트롤러를 포함한다.A multimedia device using a plurality of heterogeneous image sensors according to an embodiment of the present invention includes a first image sensor for tracking a first body area and a second body area of at least one user located in the vicinity of the multimedia device, A network interface for transmitting the image data of the first body area photographed by the second image sensor to the other party device of the videophone service, And a controller for controlling at least one function of the video telephone service of the multimedia device based on the tracking result of the second body area.

본 발명의 일실시예에 의하면, 복수 개의 이종 이미지 센서를 사용하여 멀티미디어 장치 주변에 위치한 사용자들을 보다 정확하게 식별하는 솔루션을 제공한다.According to an embodiment of the present invention, a solution for more accurately identifying users located in the vicinity of a multimedia device using a plurality of heterogeneous image sensors is provided.

또한, 본 발명의 다른 일실시예에 의하면, 멀티미디어 장치에 연동되는 카메라가 제공하는 인지 및 인식 과정에서 발생하는 문제점들을 개선함으로써, 인지 및 인식 거리 및 성능을 동시에 제고할 수 있는 설계 방법을 제공한다.According to another embodiment of the present invention, there is provided a design method capable of enhancing recognition and recognition distance and performance at the same time by improving the problems occurring in the recognition and recognition process provided by the camera interlocked with the multimedia device .

그리고, 본 발명의 또 다른 일실시예에 의하면, 화상 전화 서비스를 구현하는 과정에서 사용자의 의도 및 제스처 등을 보다 정확하게 디텍트할 수 있는 프로토콜을 정의한다.According to another embodiment of the present invention, a protocol that can more accurately detect intentions and gestures of a user in the process of implementing a video telephone service is defined.

보다 구체적인 발명의 효과에 대해서는, 이하 목차에서 상세히 후술하도록 하겠다.The effects of the more specific invention will be described later in detail in the following table.

도 1은 본 발명의 일실시예에 따른 멀티미디어 장치를 포함한 전체 시스템의 일예를 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 멀티미디어 장치의 일예를 보다 상세히 도시한 도면이다.
도 3은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 이용하는 멀티미디어 장치 및 촬영 화면을 동시에 보여 주는 도면이다.
도 4는 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서 및 멀티미디어 장치에서 검출 데이터(detection data) 및 인식 데이터(recognition data) 를 이용하는 과정을 설명하기 위한 도면이다.
도 5는 도 4에 도시된 데이터 베이스에 저장된 face vector 를 예시하여 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른, 멀티미디어 디바이스와 연결된 복수개의 이종 이미지 센서의 동작을, 하드웨어 영역 및 소프트웨어 영역으로 나누어 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다.
도 8은 본 발명의 다른 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다.
도 9는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 보다 상세히 도시한 도면이다.
도 10은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 일예를 도시한 도면이다.
도 11은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지센서의 다른 일예를 도시한 도면이다.
도 12는 도 11에 도시된 제1 이미지 센서를 이용하여 거리를 계산하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서에 의해 촬영된 이미지를 도시한 도면이다.
도 14는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제2 이미지센서에 의해 촬영된 이미지를 도시한 도면이다.
도 15는 본 발명의 일실시예에 의한 멀티미디어 디바이스를 보다 상세히 도시한 도면이다.
도 16은 본 발명의 일실시예에 의한 멀티미디어 디바이스가 복수개의 이종 이미지 센서를 이용하여 사용자의 특정 신체 부위를 디텍트하는 장면을 도시한 도면이다.
도 17은 화상 전화 서비스를 이용하는 과정에서 본 발명의 일실시예에 의한 멀티미디어 디바이스 및 상대방 디바이스의 화면 구성의 제1실시예를 도시한 도면이다.
도 18은 화상 전화 서비스를 이용하는 과정에서 본 발명의 일실시예에 의한 멀티미디어 디바이스 및 상대방 디바이스의 화면 구성의 제2실시예를 도시한 도면이다.
도 19는 도 18에 도시된 멀티미디어 디바이스의 데이터베이스를 설명하기 위한 도면이다.
도 20은 화상 전화 서비스를 이용하는 과정에서 본 발명의 일실시예에 의한 멀티미디어 디바이스 및 상대방 디바이스의 화면 구성의 제3실시예를 도시한 도면이다.
도 21 내지 도 25는 화상 전화 서비스를 이용하는 과정에서 본 발명의 일실시예에 의한 멀티미디어 디바이스 및 상대방 디바이스의 화면 구성의 제4실시예를 설명하기 위한 도면들이다.
그리고, 도 26은 본 발명의 일실시예에 의한 멀티미디어 디바이스의 제어 방법을 도시한 플로우 차트이다.1 is a diagram schematically illustrating an example of an overall system including a multimedia device according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of the multimedia device shown in FIG. 1 in more detail.
FIG. 3 is a view showing a multimedia device using a plurality of heterogeneous image sensors according to an embodiment of the present invention and a photographing screen at the same time.
4 is a diagram illustrating a process of using detection data and recognition data in a plurality of heterogeneous image sensors and multimedia devices according to an embodiment of the present invention.
5 is a diagram for explaining a face vector stored in the database shown in FIG.
6 is a view for explaining an operation of a plurality of heterogeneous image sensors connected to a multimedia device into a hardware area and a software area according to an embodiment of the present invention.
7 is a view showing a plurality of heterogeneous image sensors and a multimedia device according to an embodiment of the present invention, respectively.
8 is a view showing a plurality of heterogeneous image sensors and a multimedia device according to another embodiment of the present invention, respectively.
FIG. 9 is a diagram illustrating a plurality of heterogeneous image sensors according to an exemplary embodiment of the present invention in more detail.
10 is a view showing an example of a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention.
11 is a view showing another example of the first image sensor among the plurality of heterogeneous image sensors according to the embodiment of the present invention.
12 is a diagram for explaining a method of calculating a distance using the first image sensor shown in FIG.
13 is a view showing an image taken by a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention.
14 is a view showing an image taken by a second image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention.
Figure 15 is a more detailed view of a multimedia device according to an embodiment of the present invention.
16 is a view illustrating a state in which a multimedia device according to an embodiment of the present invention detects a specific body part of a user using a plurality of heterogeneous image sensors.
17 is a diagram illustrating a first embodiment of a screen configuration of a multimedia device and a counterpart device according to an embodiment of the present invention in the course of using a video telephone service.
18 is a diagram illustrating a screen configuration of a multimedia device and a counterpart device according to an embodiment of the present invention in the course of using a video telephone service.
19 is a diagram for explaining a database of the multimedia device shown in FIG.
20 is a diagram illustrating a third embodiment of a screen configuration of a multimedia device and a counterpart device according to an embodiment of the present invention in the course of using a video telephone service.
21 to 25 are views for explaining a fourth embodiment of a screen configuration of a multimedia device and a counterpart device according to an embodiment of the present invention in the course of using a video telephone service.
26 is a flowchart illustrating a method of controlling a multimedia device according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명의 여러가지 실시예들을 보다 상세히 설명하도록 하겠다. 나아가, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수 있으며, 하드웨어 또는 소프트웨어로 설계 가능하다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings. Furthermore, the suffix "module" and " part "for components used in the following description are given merely for ease of description, and the" module " It can be designed in hardware or software.

한편, 본 명세서에서 기술되는 멀티미디어 장치는, 예컨대 방송 데이터를 수신하여 처리하는 여러가지 타입의 디바이스들에 해당한다. 나아가 상기 멀티미디어 장치는 Connected TV에 대응할 수도 있으며, 상기 Connected TV는 방송 수신 기능 뿐만 아니라 유무선 통신 장치 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 모션(motion) 인식 리모콘 등 보다 사용에 편리한 인터페이스를 가질 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수도 있다.Meanwhile, the multimedia device described herein corresponds to various types of devices that receive and process broadcast data, for example. Further, the multimedia device may correspond to Connected TV. In addition to the broadcast receiving function, the Connected TV is further provided with a wired / wireless communication device and the like, and is more convenient to use than a hand-held input device, a touch screen or a motion- Lt; / RTI > Also, it can be connected to the Internet and a computer by the support of a wired or wireless Internet function, and can perform functions such as e-mail, web browsing, banking or game. A standardized general-purpose OS may be used for these various functions.

따라서, 상기 Connected TV는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 Connected TV는, 보다 구체적으로 예를 들면, 웹 TV, 인터넷 TV, HBBTV, 스마트 TV, DTV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.Accordingly, the Connected TV can perform various user-friendly functions because various applications can be freely added or deleted on a general-purpose OS kernel, for example. More specifically, the Connected TV may be, for example, a web TV, an Internet TV, an HBBTV, a smart TV, a DTV, or the like, and may be applied to a smartphone according to circumstances.

나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.As used herein, terms used in the present invention are selected from general terms that are widely used in the present invention while taking into account the functions of the present invention, but these may vary depending on the intention or custom of a person skilled in the art or the emergence of new technologies. Also, in certain cases, there may be a term chosen arbitrarily by the applicant, in which case the meaning thereof will be described in the description of the corresponding invention. Therefore, it is intended that the terminology used herein should be interpreted based on the meaning of the term rather than on the name of the term, and on the entire contents of the specification.

도 1은 본 발명의 일실시예에 따른 멀티미디어 장치를 포함한 전체 방송 시스템의 일예를 개략적으로 나타낸 도면이다. 도 1의 멀티미디어 장치는 예컨대 Connected TV에 대응할 수도 있으나, 본 발명의 권리범위가 Connected TV 만으로 한정되는 것은 아니며 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.1 is a diagram schematically illustrating an example of an overall broadcasting system including a multimedia device according to an embodiment of the present invention. The multimedia device of FIG. 1 may correspond to, for example, Connected TV, but the scope of the present invention is not limited to Connected TV, and the scope of rights of the present invention should be determined by the claims in principle.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 멀티미디어 장치를 포함한 전체 시스템은, 컨텐츠 제공자(Content Provider;CP)(10), 서비스 제공자(Service Provider;SP)(20), 네트워크 제공자(Network Provider; NP)(30) 및 HNED(40)로 구분될 수 있다. 상기 HNED(40) 는, 예를 들어 본 발명의 실시예에 따른 멀티미디어 장치인 클라이언트(100)에 대응한다.1, an overall system including a multimedia device according to an embodiment of the present invention includes a content provider (CP) 10, a service provider (SP) 20, a network provider A network provider (NP) 30 and an HNED 40. The HNED 40 corresponds to, for example, a client 100 that is a multimedia device according to an embodiment of the present invention.

컨텐츠 제공자(10)는, 각종 컨텐츠를 제작하여 제공한다. 컨텐츠 제공자(10)에는 도 1에서와 같이 지상파 방송 송출자(terrestrial broadcaster), 케이블 방송 사업자(cable SO(System Operator) 또는 MSO(Multiple System Operator), 위성 방송 송출자(satellite broadcaster), 인터넷 방송 송출자(Internet broadcaster) 등이 예시될 수 있다. 또한, 컨텐츠 제공자(10)는, 방송 컨텐츠 외에, 다양한 애플리케이션 등을 제공할 수도 있다. The content provider 10 produces and provides various contents. 1, a terrestrial broadcaster, a cable SO (System Operator), a MSO (Multiple System Operator), a satellite broadcaster, An Internet broadcaster, and the like may be exemplified. [0040] In addition, the content provider 10 may provide various applications in addition to the broadcast content.

서비스 제공자(20)는, 컨텐츠 제공자(10)가 제공하는 컨텐츠들을 서비스 패키지화하여 제공할 수 있다. 예를 들어, 도 1의 서비스 제공자(20)는, 제1 지상파 방송, 제2 지상파 방송, 케이블 MSO, 위성 방송, 다양한 인터넷 방송, 애플리케이션 등을 패키지화하여 사용자에게 제공할 수 있다.The service provider 20 can provide the contents provided by the contents provider 10 in a service package. For example, the service provider 20 of FIG. 1 can package and provide the first terrestrial broadcast, second terrestrial broadcast, cable MSO, satellite broadcast, various Internet broadcasts, applications, etc. to the user.

네트워크 제공자(30)는, 서비스를 클라이언트(100)에게 제공하기 위한 네트워크 망을 제공할 수 있다. 클라이언트(100)는 홈 네트워크(Home Network End User;HNED)를 구축하여 서비스를 제공받을 수도 있다.The network provider 30 may provide a network for providing services to the client 100. The client 100 may be provided with a service by building a home network end user (HNED).

한편, 클라이언트(100)도 네트워크를 통해, 컨텐츠를 제공하는 것이 가능하다. 이러한 경우, 상술한 바와 달리, 역으로, 클라이언트(100)가 컨텐츠 제공자가 될 수 있으며, 컨텐츠 제공자(10)가 클라이언트(100)로부터 컨텐츠를 수신할 수도 있다. 이와 같이 설계된 경우, 양방향 컨텐츠 서비스 또는 데이터 서비스가 가능한 장점이 있다.On the other hand, the client 100 can also provide the content through the network. In this case, conversely, conversely, conversely, the client 100 may be a content provider, and the content provider 10 may receive content from the client 100. [ In this case, there is an advantage that an interactive content service or a data service is possible.

도 2는 도 1에 도시된 멀티미디어 장치의 일예를 보다 상세히 도시한 도면이다. FIG. 2 is a diagram showing an example of the multimedia device shown in FIG. 1 in more detail.

본 발명의 일실시예에 의한 멀티미디어 장치(200)는, 네트워크 인터페이스부(Network Interface)(201), TCP/IP 매니저(TCP/IP Manager)(202), 서비스 전달 매니저(Service Delivery Manager)(203), 디멀티플렉서(Demux)(205), PSI&(PSIP and/or SI) 디코더(204), 오디오 디코더(Audio Decoder)(206), 비디오 디코더(Video Decoder)(207), 디스플레이부(Display A/V and OSD Module)(208), 서비스 제어 매니저(Service Control Manager)(209), 서비스 디스커버리 매니저(Service Discovery Manager)(210), 메타데이터 매니저(Metadata Manager)(212), SI&Metadata DB(211), UI 매니저(214), 그리고 서비스 매니저(213) 등을 포함하여 이루어 진다. 나아가, 복수개의 이종 이미지 센서(260)가 상기 멀티미디어 장치(200)와 연결되어 있으며, 예를 들어 USB 방식의 커넥션으로 연결되어 있다. 또한, 도 2에서는 상기 복수개의 이종 이미지 센서(260)가 별도의 모듈로 구성되도록 설계하였으나, 상기 복수개의 이종 이미지 센서(260)가 상기 멀티미디어 장치(200)에 하우징(housing) 된 형태로 설계할 수도 있다.The multimedia device 200 includes a network interface 201, a TCP / IP manager 202, a service delivery manager 203, A demultiplexer 205, a PSIP and / or SI decoder 204, an audio decoder 206, a video decoder 207, a display unit A / and OSD Module 208, a Service Control Manager 209, a Service Discovery Manager 210, a Metadata Manager 212, an SI & Metadata DB 211, A manager 214, and a service manager 213. Further, a plurality of heterogeneous image sensors 260 are connected to the multimedia device 200, and are connected by, for example, a USB-type connection. 2, the plurality of heterogeneous image sensors 260 are designed as separate modules. However, the plurality of heterogeneous image sensors 260 may be designed to be housed in the multimedia device 200 It is possible.

네트워크 인터페이스부(201)는 네트워크 망으로부터 수신되는 패킷(packet)들을 수신하고, 네트워크 망으로 패킷을 전송한다. 즉 네트워크 인터페이스부(201)는 네트워크 망을 통해 서비스 제공자로부터 서비스, 컨텐츠 등을 수신한다.The network interface unit 201 receives packets received from the network and transmits packets to the network. That is, the network interface unit 201 receives services, contents, and the like from the service provider through the network.

TCP/IP 매니저(202)는, 멀티미디어 장치(200)로 수신되는 패킷과 멀티미디어 장치(200)가 전송하는 패킷에 대하여, 즉 소스로부터 목적지까지의 패킷 전달에 관여한다. 서비스 전달 매니저(203)는 수신되는 서비스 데이터의 제어를 담당한다. 예를 들어, 실시간 스트리밍(real-time streaming) 데이터를 제어하는 경우 RTP/RTCP를 사용할 수 있다. 상기 실시간 스트리밍 데이터를 RTP를 사용하여 전송하는 경우, 상기 서비스 전달 매니저(203)는 상기 수신된 데이터 패킷을 RTP에 따라 파싱(parsing)하여 디멀티플렉서(205)에 전송하거나 서비스 매니저(213)의 제어에 따라 SI&Metadata DB(711)에 저장한다. 그리고 RTCP를 이용하여 상기 네트워크 수신 정보를 서비스를 제공하는 서버측에 피드백(feedback)한다.The TCP / IP manager 202 is involved in delivering packets from the multimedia device 200 to the multimedia device 200, that is, from the source to the destination. The service delivery manager 203 is responsible for controlling the received service data. For example, RTP / RTCP can be used to control real-time streaming data. When the real-time streaming data is transmitted using the RTP, the service delivery manager 203 parses the received data packet according to RTP and transmits it to the demultiplexer 205 or to the service manager 213 And stores it in the SI & Metadata DB 711. And feedbacks the network reception information to the server providing the service using the RTCP.

디멀티플렉서(205)는 수신된 패킷을 오디오, 비디오, PSI(Program Specific Information) 데이터 등으로 역다중화하여 각각 오디오/비디오 디코더(206, 207), PSI&(PSIP and/or SI) Decoder(204)에 전송한다.The demultiplexer 205 demultiplexes the received packets into audio, video, program specific information (PSI) data, and transmits them to the audio / video decoders 206 and 207 and the PSI & PSIP and / do.

PSI&(PSIP and/or SI) Decoder(204)는 상기 디멀티플렉서(205)에서 역다중화된 PSI 섹션, PSIP(Program and Service Information Protocol) 섹션 또는 SI(Service Information) 섹션 등을 수신하여 디코딩한다.The PSI & PSIP and / or SI decoder 204 receives and decodes a demultiplexed PSI section, a Program and Service Information Protocol (PSIP) section, or a SI (Service Information) section in the demultiplexer 205.

또한 상기 PSI&(PSIP and/or SI) Decoder(204)는 상기 수신된 섹션들을 디코딩하여 서비스 정보에 관한 데이터베이스를 만들고, 상기 서비스 정보에 관한 데이터베이스는 SI&Metadata DB(211)에 저장한다.In addition, the PSI & PSIP and / or SI decoder 204 decodes the received sections to create a database of service information, and stores the database related to the service information in the SI & Metadata DB 211.

오디오/비디오 디코더(206/207)는, 상기 디멀티플렉서(205)에서 수신된 비디오 데이터와 오디오 데이터를 디코딩한다. The audio / video decoder 206/207 decodes the video data and audio data received from the demultiplexer 205. [

UI 매니저(214)는 사용자를 위한 GUI(Graphic User Interface)를 OSD(On Screen Display) 등을 이용하여 제공하며, 사용자로부터 키 입력을 받아 상기 입력에 따른 수신기 동작을 수행한다. 예를 들어, 사용자로부터 채널선택에 관한 키 입력을 받으면 상기 키 입력신호를 서비스 매니저(213)에 전송한다. The UI manager 214 provides a GUI (Graphic User Interface) for the user using an OSD (On Screen Display) or the like, and receives a key input from the user to perform a receiver operation according to the input. For example, upon receipt of a key input from the user regarding channel selection, the key input signal is transmitted to the service manager 213.

서비스 매니저(213)는 서비스 전달 매니저(203), 서비스 디스커버리 매니저(210), 서비스 제어 매니저(209) 및 메타데이터 매니저(212) 등 서비스와 연관된 매니저를 제어한다. The service manager 213 controls the manager associated with the service, such as the service delivery manager 203, the service discovery manager 210, the service control manager 209, and the metadata manager 212.

또한 서비스 매니저(213)는 채널 맵(Channel Map)을 만들고 상기 유저 인터페이스 매니저(214)로부터 수신한 키 입력에 따라 상기 채널 맵을 이용하여 채널을 선택하다. 서비스 디스커버리 매니저(210)는 서비스를 제공하는 서비스 제공자를 선택하는데 필요한 정보를 제공한다. 상기 서비스 매니저(213)로부터 채널선택에 관한 신호를 수신하면, 서비스 디스커버리 매니저(210)는 상기 정보를 이용하여 서비스를 찾는다.The service manager 213 also creates a channel map and selects a channel using the channel map according to the key input received from the user interface manager 214. The service discovery manager 210 provides information necessary for selecting a service provider that provides the service. Upon receiving a signal regarding channel selection from the service manager 213, the service discovery manager 210 searches for the service using the information.

서비스 제어 매니저(209)는 서비스의 선택과 제어를 담당한다. 예를 들어, 사용자가 기존의 방송방식과 같은 Live Broadcasting 서비스를 선택하는 경우 IGMP 또는 RTSP 등을 사용하고, VOD(Video On Demand)와 같은 서비스를 선택하는 경우에는 RTSP를 사용하여 서비스의 선택, 제어를 수행한다. 메타데이터 매니저(212)는 서비스와 연관된 메타데이터를 관리하고 상기 메타데이터를 SI&Metadata DB(211)에 저장한다.The service control manager 209 is responsible for selection and control of services. For example, when a user selects a service such as IGMP or RTSP when selecting a Live Broadcasting service such as an existing broadcasting method and selects a service such as VOD (Video On Demand), RTSP is used to select a service, control . The metadata manager 212 manages the metadata associated with the service and stores the metadata in the SI & Metadata DB 211.

SI&Metadata DB(211)는 PSI&(PSIP and/or SI) Decoder(204)가 디코딩한 서비스 정보, 메타데이터 매니저(212)가 관리하는 메타데이터 및 서비스 디스커버리 매니저(210)가 제공하는 서비스 제공자를 선택하는데 필요한 정보를 저장한다. 또한 SI&Metadata DB(211)는 시스템에 대한 셋업 데이터 등을 저장할 수 있다.The SI & Metadata DB 211 selects the service information decoded by the PSI & PSIP and / or SI Decoder 204, the metadata managed by the metadata manager 212, and the service provider provided by the service discovery manager 210 Store the necessary information. In addition, the SI & Metadata DB 211 may store setup data and the like for the system.

한편, 상기 IG(250)는, IMS 기반의 IPTV 서비스에 접근하기 위해 필요한 기능들을 모아 놓은 게이트웨이 이다. Meanwhile, the IG 250 is a gateway that collects functions necessary for accessing an IMS-based IPTV service.

그리고, 도 2에 도시된 복수개의 이종 이미지 센서(260)는 상기 멀티미디어 장치(200) 주변에 위치한 사람 또는 사물에 대한 단수의 이미지 또는 복수의 이미지들을 촬영하도록 설계된다. 보다 구체적으로 예를 들면, 상기 복수개의 이종 이미지 센서(260)는 단수의 이미지 또는 복수의 이미지들을 연속적으로, 주기적으로, 선택된 시간에, 또는 특정 컨디션에서만 동작하도록 설계된다. 이에 대한 구체적인 설명은 이하에서 설명하도록 하겠다.The plurality of heterogeneous image sensors 260 shown in FIG. 2 are designed to capture a single image or a plurality of images for a person or object located in the vicinity of the multimedia device 200. More specifically, for example, the plurality of heterogeneous image sensors 260 are designed to operate on a single image or a plurality of images sequentially, periodically, at a selected time, or at a particular condition. A detailed description thereof will be described below.

도 3은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 이용하는 멀티미디어 장치 및 촬영 화면을 동시에 보여 주는 도면이다. 이하, 도 3을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 이용하는 멀티미디어 장치 및 촬영 화면을 동시에 설명하면 다음과 같다.FIG. 3 is a view showing a multimedia device using a plurality of heterogeneous image sensors according to an embodiment of the present invention and a photographing screen at the same time. Hereinafter, referring to FIG. 3, a multimedia device and a photographing screen using a plurality of heterogeneous image sensors according to an embodiment of the present invention will be described.

일반적으로, depth data 처리와 관련된 제1 이미지 센서들은 제한된 해상도(예를 들어, 최대 VGA 급)와 인식 거리(예를 들어, 3.5m) 문제로 인하여, 원거리 안면 인식에 적합하지 않은 면이 존재한다. 또한, color data 처리와 관련된 제2 이미지 센서들은 인식 속도가 느리며 광조건(light condition)에 강인하지 못한 단점을 가지고 있다. 따라서, 이와 같은 각 이미지 센서들의 단점을 보완하기 위하여, 본 발명의 일실시예에 의한 멀티미디어 장치는 제1 이미지 센서와 제2 이미지 센서가 결합된 하이브리드 형태의 이미지 센서 모듈과 연동되도록 설계한다.In general, the first image sensors associated with depth data processing are not suitable for long-distance facial recognition due to limited resolution (e.g., maximum VGA grade) and recognition distances (e.g., 3.5 m) . In addition, the second image sensors related to color data processing have a disadvantage that they are slow in recognition and are not robust to light conditions. Therefore, in order to compensate for the disadvantages of each image sensor, the multimedia device according to an embodiment of the present invention is designed to be interlocked with a hybrid image sensor module in which a first image sensor and a second image sensor are combined.

전술한 제1 이미지 센서로, 예를 들어 IR 카메라 또는 depth 카메라가 사용된다. 보다 구체적으로 예를 들면, 상기 IR 카메라 또는 depth 카메라로 TOF(Time Of Flight) 방식과 structured light 방식이 논의되고 있다. 상기 TOF 방식은, 적외선을 방사하여 돌아오는 시간차를 이용하여 거리 정보를 계산하고, 상기 structured light 방식은, 특정 패턴으로 적외선을 방사하고 변형되는 패턴을 분석하여 거리를 계산한다. 다만, 제1 이미지 센서의 경우, depth data 인식 및 처리 속도면에서 장점이 있고 어두운 곳에서도 사물, 사람 등을 용이하게 센싱 가능하다. 그러나, 먼거리에서는 해상도가 떨어지는 단점을 가지고 있다.As the above-mentioned first image sensor, for example, an IR camera or a depth camera is used. More specifically, for example, TOF (Time Of Flight) method and structured light method are discussed with the IR camera or depth camera. In the TOF method, distance information is calculated using a time difference that is radiated by infrared rays. The structured light method radiates infrared rays in a specific pattern and calculates a distance by analyzing the deformed pattern. However, in the case of the first image sensor, there is an advantage in terms of depth data recognition and processing speed, and it is possible to easily sense objects and people even in a dark place. However, it has a disadvantage that the resolution is low at a long distance.

나아가, 전술한 제2이미지 센서로, 예를 들어 color 카메라 또는 RGB 카메라가 사용된다. 보다 구체적으로 예를 들면, 상기 color 카메라 또는 RGB 카메라로, stereo 카메라 방식과 mono 카메라 방식이 논의되고 있다. 상기 stereo 카메라 방식은, 두개의 카메라를 통해 촬영된 각각의 이미지 시차 비교 정보에 기초하여, 손 또는 얼굴 등을 검출하고 추적한다. 상기 mono 카메라 방식은, 한 개의 카메라를 통해 촬영된 shape, color 정보를 바탕으로 손 또는 얼굴 등을 검출하고 추적한다. 다만, 제2 이미지 센서의 경우, 제1 이미지 센서에 비해 해상도가 개선된 장점이 있으나, 주위 조명에 취약하고, 어두운 곳에서 인식이 어려운 한계가 있다. 특히, 정확한 depth 인식이 어려운 문제점이 존재한다.Furthermore, as the second image sensor described above, for example, a color camera or an RGB camera is used. More specifically, for example, the color camera or the RGB camera, the stereo camera method and the mono camera method are discussed. The stereo camera method detects and tracks a hand or a face on the basis of respective image parallax comparison information photographed through two cameras. The mono camera method detects and tracks a hand or a face based on shape and color information shot through a single camera. However, in the case of the second image sensor, the resolution is improved as compared with the first image sensor. However, the second image sensor is vulnerable to ambient light and is difficult to recognize in the dark. Particularly, there is a problem that accurate depth recognition is difficult.

이와 같은 종래 문제점들을 해결하기 위하여, 도 3에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 장치는 제1 이미지 센서와 제2 이미지 센서를 모두 구비하도록 설계된다. 다만, 상기 이미지 센서들은 상기 멀티미디어 장치에 embedded 형태로 설계될 수도 있고, 또는 별도의 하드웨어 모듈로 설계하는 것도 가능하다. 우선, 도 3의 (b) 영역에 도시된 바와 같이, 제1 이미지 센서는 상기 멀티미디어 장치 주변에 위치한 사용자들을 포함한 영상을 촬영한다. 구체적인 촬영 영상은 도 3의 (1), (2), (3), (4)에 순차적으로 도시되어 있다.In order to solve such conventional problems, as shown in FIG. 3, a multimedia device according to an embodiment of the present invention is designed to include both a first image sensor and a second image sensor. However, the image sensors may be designed to be embedded in the multimedia device or may be designed as a separate hardware module. First, as shown in the area (b) of FIG. 3, the first image sensor captures an image including users located in the vicinity of the multimedia device. The specific photographed images are sequentially shown in (1), (2), (3), and (4) in FIG.

한편, 제1 이미지 센서의 촬영 및 데이터 분석이 완료되면, 도 3의 (a) 영역에 도시된 바와 같이, 제2 이미지 센서는 특정 사용자의 얼굴에 대한 영상을 촬영한다. 구체적인 촬영 영상은 도 3의 (5), (6), (7)에 순차적으로 도시되어 있다.On the other hand, when the photographing and data analysis of the first image sensor is completed, the second image sensor photographs an image of a specific user's face, as shown in the area (a) of FIG. The specific photographed images are sequentially shown in (5), (6), and (7) in FIG.

본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서는 상기 멀티미디어 장치의 주변에 위치한 제1영상을 촬영하고 상기 촬영된 제1영상으로부터 depth data 를 추출한다. 이는 도 3의 (1)에 도시된 바와 같이, 거리에 따라 각 사물의 영역이 다른 명암으로 표시되도록 설계 가능하다.The first image sensor among the plurality of heterogeneous image sensors according to an embodiment of the present invention captures a first image located in the periphery of the multimedia device and extracts depth data from the captured first image. As shown in (1) of FIG. 3, it is possible to design the area of each object to be displayed in different shades according to the distance.

나아가, 상기 제1 이미지 센서는, 상기 추출된 depth data 를 이용하여 적어도 하나의 사용자의 얼굴을 인지 및 인식할 수 있다.. 즉, 기저장된 데이터베이스 등을 이용하여, 도 3의 (2)에 도시된 바와 같이 사용자의 신체 정보(예를 들어, 얼굴, 손, 발, 관절, 기타 등등)를 추출하고, 나아가 도 3의 (3)에 도시된 바와 같이 특정 사용자의 안면에 대한 위치 좌표 및 거리 정보를 획득한다. 보다 구체적으로 설명하면, 상기 사용자의 얼굴에 대한 위치 정보인 x, y, z 값들을 계산하도록 설계되며, 상기 x 는 상기 촬영된 제1영상에서 상기 얼굴의 가로축에 대한 위치, 상기 y는 상기 촬영된 제1영상에서 상기 얼굴의 세로축에 대한 위치, 그리고 상기 z는 상기 사용자의 얼굴과 제1 이미지 센서 사이의 거리를 의미한다.Further, the first image sensor can recognize and recognize at least one face of the user using the extracted depth data. That is, by using a pre-stored database or the like, Extracts the user's body information (e.g., a face, a hand, a foot, a joint, etc.) as shown in FIG. 3B, and further calculates position coordinates and distance information . More specifically, it is designed to calculate x, y, and z values, which are positional information of the face of the user, where x is the position of the face on the abscissa in the captured first image, The position of the face with respect to the vertical axis in the first image, and z denotes the distance between the face of the user and the first image sensor.

또한, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 color 이미지를 추출하기 위한 제2 이미지 센서는 상기 인지된 사용자의 얼굴에 대한 제2영상을 촬영하며, 이는 도 3의 (5)에 도시되어 있다.In addition, a second image sensor for extracting a color image among a plurality of heterogeneous image sensors according to an embodiment of the present invention photographs a second image of the recognized face of the user, Respectively.

한편, 도 3에 도시된 제1 이미지 센서)와 제2 이미지 센서()를 인접하여 설계할 경우, physical 위치 차이로 인한 에러는 무시할 만한 수준일 수도 있다. 다만, 본 발명의 또 다른 일실시예에 의하면, 전술한 physical 위치 차이에 대한 정보를 이용하여, 제1 이미지 센서에서 획득한 좌표정보나 거리정보를 보정하고, 제2 이미지 센서가 상기 보정된 좌표정보나 거리정보를 이용하여 사용자를 촬영할 수 있도록 설계된다. 또한, 상기 제1 이미지 센서와 상기 제2 이미지 센서가 지면으로부터 수평한 상태로 설계되어 있다면, 전술한 phisycal 위치 차이에 대한 정보는 수평 프레임을 기준으로 설정될 수가 있다.상기 제2 이미지 센서는, 도 3의 (7)에 도시된 바와 같이 상기 촬영된 제2영상으로부터 특징 정보를 추출한다. 상기 특징 정보는, 예컨대 상기 멀티미디어 장치를 사용하는 복수의 사용자들을 식별하기 위한 특정 부위(예를 들어, 입, 코, 눈 등)에 대응하는 데이터 이다. 나아가, 상기 제2 이미지 센서는, 상기 제1 이미지 센서의 촬영을 통해 얻어진 좌표값(상기 x, y, z 값들)에 기초하여, 상기 사용자의 얼굴에 대한 영역을 줌인할 수도 있다. 이는, 도 3의 (5)에서 (6)으로 전환되는 과정을 의미한다.On the other hand, when the second image sensor and the first image sensor shown in FIG. 3 are designed to be adjacent to each other, the error due to the physical position difference may be negligible. However, according to another embodiment of the present invention, the coordinate information or the distance information acquired by the first image sensor is corrected using the information on the physical position difference, It is designed to capture users by using information or distance information. In addition, if the first image sensor and the second image sensor are designed to be horizontal from the ground, information on the phisycal position difference may be set on the basis of a horizontal frame. The feature information is extracted from the photographed second image as shown in (3) of FIG. The feature information is, for example, data corresponding to a specific region (e.g., mouth, nose, eye, etc.) for identifying a plurality of users using the multimedia device. Furthermore, the second image sensor may zoom in on the area of the user's face based on coordinate values (x, y, z values) obtained through photographing of the first image sensor. This means a process of switching from (5) to (6) in FIG.

상기 제1 이미지 센서 및 상기 제2 이미지 센서의 촬영 및 분석이 완료된 경우, 본 발명의 일실시예에 의한 멀티미디어 장치는, 상기 추출된 특징 정보에 대응하는 데이터를 저장하고 있는 메모리에 액세스 하고, 상기 메모리에 저장된 특정 사용자를 식별하는 정보를 추출한다.When the photographing and analysis of the first image sensor and the second image sensor are completed, the multimedia device according to an embodiment of the present invention accesses a memory storing data corresponding to the extracted feature information, And extracts information identifying a particular user stored in the memory.

만약, 상기 특정 사용자를 식별하는 정보가 상기 메모리에 존재하는 경우, 상기 멀티미디어 장치는 상기 특정 사용자를 위하여 기설정된 서비스를 제공한다.If information identifying the specific user exists in the memory, the multimedia device provides a predetermined service for the specific user.

반면, 상기 특정 사용자를 식별하는 정보가 상기 메모리에 존재하지 않는 경우, 상기 멀티미디어 장치는 상기 인식된 사용자를 상기 메모리에 저장하기 위한 가이드 메시지를 디스플레이 하도록 설계된다.On the other hand, if the information identifying the particular user is not present in the memory, the multimedia device is designed to display a guide message for storing the recognized user in the memory.

전술하여 설명한 바와 같이, 본 발명의 일실시예에 의하면, 제1 이미지 센서가 사용자 위치 정보나 얼굴의 좌표 정보를 디텍트 하고, 제2 이미지 센서는 제1 이미지 센서에서 획득된 데이터를 이용하여 얼굴을 인식하도록 설계된다.As described above, according to the embodiment of the present invention, the first image sensor detects the user position information or the coordinate information of the face, and the second image sensor uses the data obtained from the first image sensor, .

나아가, 본 발명의 다른 일실시예에 의하면, 무조건적으로 제2 이미지 센서를 이용하는 것이 아니라 특정 컨디션에서만 제2 이미지 센서가 동작하도록 설계된다. 예를 들어, 상기 제1 이미지 센서의 동작으로 획득한 사용자와의 거리 정보가 제1기준값 이하인 경우 또는 상기 제1 이미지 센서의 동작으로 획득한 사용자의 얼굴에 대한 인식율이 제2기준값 이상인 경우에는, 상기 제1 이미지 센서만으로 멀티미디어 장치 주변에 위치한 사용자 얼굴을 디텍트(detect) 하고 인식(recoginization)한다. 반면, 상기 제1 이미지 센서의 동작으로 획득한 사용자와의 거리 정보가 제1기준값 초과하는 경우 또는 상기 제1 이미지 센서의 동작으로 획득한 사용자의 얼굴에 대한 인식율이 제2기준값 미만인 경우에는, 상기 제2 이미지 센서를 추가적으로 이용하여 사용자의 얼굴을 인식하도록 설계된다.Furthermore, according to another embodiment of the present invention, the second image sensor is designed to operate only in a specific condition, not unconditionally using the second image sensor. For example, if the distance information to the user obtained by the operation of the first image sensor is less than or equal to the first reference value, or if the recognition rate of the user's face acquired through the operation of the first image sensor is equal to or greater than the second reference value, Detects and recoginizes a user face located in the vicinity of the multimedia device with only the first image sensor. On the other hand, if the distance information to the user obtained through the operation of the first image sensor exceeds the first reference value, or if the recognition rate of the user's face acquired by the operation of the first image sensor is less than the second reference value, And is further designed to recognize the user's face using the second image sensor.

그리고, 본 발명의 또 다른 일실시예에 의하면, 상기 제2 이미지 센서가 사용자의 얼굴을 인식하는 과정에서, 상기 제1 이미지 센서를 통해 획득한 거리 정보를 이용하여 줌인을 하고, 상기 제1 이미지 센서를 통해 획득한 얼굴 좌표 정보를 이용하여 얼굴 부분만을 촬영하도록 설계된다.According to another embodiment of the present invention, in the process of recognizing the user's face, the second image sensor zooms in using the distance information acquired through the first image sensor, And is designed to capture only the face portion using the face coordinate information acquired through the sensor.

따라서, 이와 같이 전혀 다른 타입의 복수개의 이종 이미지 센서들을 이용할 경우, 원거리 안면 인식이 가능하고 데이터 처리 속도도 기존 보다 향상되는 본 발명 특유의 효과가 있다.Therefore, when a plurality of different image sensors of different types are used, it is possible to realize a long-distance facial recognition, and the data processing speed is further improved than before.

도 4는 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서 및 멀티미디어 장치에서 검출 데이터(detection data) 및 인식 데이터(recognition data) 를 이용하는 과정을 설명하기 위한 도면이다.4 is a diagram illustrating a process of using detection data and recognition data in a plurality of heterogeneous image sensors and multimedia devices according to an embodiment of the present invention.

얼굴 검출(face detection)과 얼굴 인식(face recognition)은 다른 프로세스 이다. 상기 얼굴 검출은, 하나의 이미지내 얼굴 영역을 디텍트 하는 프로세스를 포함한다. 반면, 상기 얼굴 인식은, 디텍트된 얼굴이 어떤 특정 사용자에 대응하는지 여부를 인식하는 프로세스이다. 특히, 본 발명의 일실시예에 따라, 제1이미지 센서를 이용하여 얼굴 검출 프로세스를 실행하고, 또한 제2이미지 센서를 이용하여 얼굴 인식 프로세스를 실행하는 과정을 도 4를 참조하여 설명하도록 하겠다.Face detection and face recognition are different processes. The face detection includes a process of detecting a face region in one image. On the other hand, the face recognition is a process of recognizing whether a detected face corresponds to a specific user. Particularly, the process of executing the face detection process using the first image sensor and executing the face recognition process using the second image sensor according to an embodiment of the present invention will be described with reference to FIG.

도 4에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스는 디텍션 모듈(301), 인식 모듈(302), 데이터베이스(303), 제1이미지 센서(304), 제2이미지 센서(305) 등을 포함하며, 필요에 따라 디텍션 데이터(306) 및 인식 데이터(307)를 이용하게 된다. 상기 디텍션 데이터(306)는 예를 들어, 정보 기반(knowledge-based) 검출 기술(detection techniques), 특징 기반(feature-based) 검출 기술(detection techniques), 템플레이트 매칭 기술(template matching techniques), 외관 기반(appearance-based) 검출 기술(detection techniques)에 기초하여 생성될 수도 있다. 또한, 상기 인식 데이터(307)는 예를 들어, 특정 사용자를 식별하기 위한 눈, 코, 입, 턱, 영역, 거리, 모양, 각도 등의 데이터를 포함한다.4, a multimedia device according to an exemplary embodiment of the present invention includes a detection module 301, a recognition module 302, a database 303, a first image sensor 304, a second image sensor 305 And the like, and uses the detection data 306 and the recognition data 307 as needed. The detection data 306 may include, for example, information-based detection techniques, feature-based detection techniques, template matching techniques, may be generated based on appearance-based detection techniques. In addition, the recognition data 307 includes data such as eyes, nose, mouth, jaw, area, distance, shape, angle and the like for identifying a specific user.

나아가, 상기 디텍션 모듈(301)은, 상기 제1이미지 센서(304)로부터 수신된 이미지 데이터를 이용하여사용자 얼굴의 존재를 판단한다. 또한, 사용자의 얼굴이 위치한 영역을 추정하는 과정에서, 전술하여 설명한 정보 기반(knowledge-based) 검출 기술(detection techniques), 특징 기반(feature-based) 검출 기술(detection techniques), 템플레이트 매칭 기술(template matching techniques), 외관 기반(appearance-based) 검출 기술(detection techniques)과 관련된 데이터가 사용된다.Further, the detection module 301 determines the presence of the user's face by using the image data received from the first image sensor 304. In the process of estimating the area where the user's face is located, the above-described information-based detection techniques, feature-based detection techniques, matching techniques, and appearance-based detection techniques.

그리고, 상기 인식 모듈(302)은, 상기 제2이미지 센서(305)로부터 수신된 이미지 데이터를 이용하여, 특정 사용자인지 여부를 식별한다. 이 때, 전술하여 설명한 인식 데이터(307)에 기초하여, 상기 수신된 이미지 데이터 및 상기 DB(303)에 저장된 face vector 정보를 비교하게 된다. 이는 도 5를 참조하여 보다 상세히 설명하도록 하겠다.The recognition module 302 identifies whether the user is a specific user by using the image data received from the second image sensor 305. [ At this time, the received image data and the face vector information stored in the DB 303 are compared based on the recognition data 307 described above. This will be described in more detail with reference to FIG.

도 5는 도 4에 도시된 데이터 베이스에 저장된 face vector 를 예시하여 설명하기 위한 도면이다.5 is a diagram for explaining a face vector stored in the database shown in FIG.

도 5에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스를 사용하는 각 유저들에 대한 face vector 들이 저장되어 있다. 상기 face vector 는, 예를 들어 유저들의 얼굴에서 나타나는 특징 정보들에 대한 데이터 집합으로, 특정 유저들 각각을 식별하기 위한 용도로 사용된다.As shown in FIG. 5, face vectors for each user using a multimedia device according to an exemplary embodiment of the present invention are stored. The face vector is, for example, a data set for feature information appearing on faces of users, and is used for identifying each specific user.

도 6은 본 발명의 일실시예에 따른, 멀티미디어 디바이스와 연결된 복수개의 이종 이미지 센서의 동작을, 하드웨어 영역 및 소프트웨어 영역으로 나누어 설명하기 위한 도면이다.6 is a view for explaining an operation of a plurality of heterogeneous image sensors connected to a multimedia device into a hardware area and a software area according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 멀티미디어 디바이스가 복수개의 이종 이미지 센서를 통해 영상을 입력 받아 동작을 수행하는 구성은, 이미지 센서의 하드웨어 영역(360) 및 이미지 센서로부터 수신된 데이터를 처리하는 멀티미디어 디바이스의 소프트웨어 영역(350)으로 나누어 설명하도록 하겠다.6, a configuration in which a multimedia device receives an image through a plurality of heterogeneous image sensors and performs an operation includes a hardware area 360 of the image sensor and a multimedia device for processing data received from the image sensor And a software area 350 will be described.

도 6에서는, 상기 하드웨어 영역(360)을 별도의 모듈로 도시하였으나, 상기 소프트웨어 영역(350)을 처리하는 멀티미디어 디바이스에 임베디드된 일체형으로 구성할 수도 있다.In FIG. 6, the hardware area 360 is shown as a separate module. However, the hardware area 360 may be integrated into a multimedia device that processes the software area 350.

먼저, 하드웨어 영역은, 데이터 수집 영역(340) 및 펌웨어 영역(330)을 포함할 수 있다.First, the hardware area may include a data collection area 340 and a firmware area 330. [

상기 데이터 수집 영역(340)은, 이미지 센서를 통하여 멀티미디어 디바이스에서 인식되기 위한 원본 데이터를 입력 받는 영역으로, 적외선 광원(IR light projector), 깊이 이미지센서(depth image sensor), 컬러 이미지 센서(RGB image sensor), 마이크로폰, 및 카메라칩을 포함하여 구성될 수 있다.The data collection area 340 receives the original data to be recognized by the multimedia device through the image sensor. The data collection area 340 includes an IR light projector, a depth image sensor, a color image sensor sensor, a microphone, and a camera chip.

또한, 펌웨어 영역(330)은, 하드웨어 영역에 존재하여 동작함으로써, 하드웨어 영역과 소프트웨어 영역의 연결을 구성하는 영역이다. 또한, 특정한 애플리케이션이 필요로 하는 호스트 애플리케이션으로 구성될 수 있고, 다운 샘플링(downsampling) 및 미러링(mirroring)동작 등을 수행할 수 있다.In addition, the firmware area 330 is an area constituting a connection between the hardware area and the software area by being present in the hardware area and operating. In addition, it can be configured as a host application required by a specific application, and can perform downsampling, mirroring, and the like.

따라서, 데이터 수집 영역(340) 및 펌웨어 영역(330)은 상호 연동하여 동작하며, 이를 통하여 하드웨어 영역(360)을 컨트롤 할 수 있으다. 또한, 상기 펌웨어 영역은 카메라칩에서 구동될 수 있다.Accordingly, the data collection area 340 and the firmware area 330 operate in cooperation with each other, through which the hardware area 360 can be controlled. Also, the firmware area may be driven in the camera chip.

또한, 소프트웨어 영역(350)은, API(application programming interface)영역(320) 및 미들웨어(middleware) 영역(310)을 포함할 수 있다.The software area 350 may also include an application programming interface (API) area 320 and a middleware area 310.

API영역(320)은, 멀티미디어 디바이스의 제어부에서 실행될 수 있다. 또한, 카메라부가 멀티미디어 디바이스와 별도의 외부기기로써 구성되는 경우, 상기 API 영역은, 퍼스널 컴퓨터, 게임콘솔, 및 셋탑박스 등에서 실행될 수 있다.API region 320 may be implemented in the control of the multimedia device. Also, when the camera unit is configured as a separate external device from the multimedia device, the API region may be executed in a personal computer, a game console, a set-top box, or the like.

또한, API영역(320)은 상기 멀티미디어 디바이스가 하드웨어 영역의 센서를 구동시킬 수 있도록 하는 간단한 API일 수 있다.Also, the API area 320 may be a simple API that allows the multimedia device to drive the sensor in the hardware area.

미들웨어 영역(310)은, 인식 알고리즘 영역으로써, 깊이 프로세싱(depth processiong) 미들웨어를 포함할 수 있다. 또한, 상기 미들웨어는, 사용자가 손을 통하여 제스쳐를 입력하는 경우, 또는 신체 전 영역을 통하여 제스쳐를 입력하는 경우에도 명확한 사용자 컨트롤 API와 함께 애플리케이션을 제공할 수 있다. 또한, 상기 미들웨어 영역은 사용자의 손의 위치 검색하는 동작, 사용자의 위치 추적하는 동작, 사용자 골격의 특징을 추출하는 동작 및, 입력된 영상에서 사용자와 배경을 분리하여 인식하는 동작 등을 수행하기 위한 알고리즘을 포함할 수 있다. 또한, 상기 알고리즘은 하드웨어 영역에서 획득된 깊이(depth) 정보, 색상 정보, 적외선 정보, 및 음성 정보를 활용하여 동작될 수 있다.The middleware area 310 may include a depth processing middleware as a recognition algorithm area. In addition, the middleware can provide an application with a clear user control API even when a user inputs a gesture through a hand or a gesture through a whole body area. In addition, the middleware region may include at least one of a middleware region, a middleware region, and a middleware region. The middleware region may include at least one of middleware, Algorithm. In addition, the algorithm can be operated using depth information, color information, infrared information, and voice information obtained in the hardware domain.

도 7은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다. 이하, 도 7을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 설명하면 다음과 같다. 다만, 도 7에서는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서와 멀티미디어 장치를 별개로 도시하였으나, 상기 멀티플 카메라가 상기 멀티미디어 장치에 임베디드(embedded)된 형태로 설계하는 것도 가능하다.7 is a view showing a plurality of heterogeneous image sensors and a multimedia device according to an embodiment of the present invention, respectively. Hereinafter, a plurality of heterogeneous image sensors and multimedia devices according to an embodiment of the present invention will be described with reference to FIG. In FIG. 7, a plurality of heterogeneous image sensors and a multimedia device according to an exemplary embodiment of the present invention are shown separately. However, the multiple cameras may be embedded in the multimedia device.

도 7에 도시된 바와 같이 본 발명의 일실시예에 의한 멀티미디어 장치(400)는 CPU(Central Processing Unit)(401) 및 GPU(Graphic Processing Unit)(404)의 모듈로 설계되며, 상기 CPU(401)는 어플리케이션(402) 및 얼굴인식처리 모듈(403)을 포함하고 있다. 한편, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서(420)는 ASIC(Application Specific Intergrated Circuit)(421), 이미터(422), 제1 이미지 센서(423), 그리고 제2 이미지 센서(424)의 모듈로 설계된다. 그리고, 멀티미디어 장치(400) 및 복수 개의 이종 이미지 센서(420)는 유선 또는 무선의 인터페이스(410)로 연결되어 있으며, 예를 들어 USB (Universal Serial Bus) 인터페이스를 사용할 수도 있다. 다만, 도 7의 모듈들은 일실시예에 불과하며, 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.7, the multimedia device 400 according to one embodiment of the present invention is designed as a module of a CPU (Central Processing Unit) 401 and a GPU (Graphic Processing Unit) 404, and the CPU 401 Includes an application 402 and a face recognition processing module 403. The plurality of heterogeneous image sensors 420 according to an exemplary embodiment of the present invention includes an application specific integrated circuit (ASIC) 421, an emitter 422, a first image sensor 423, 424). The multimedia device 400 and the plurality of heterogeneous image sensors 420 are connected to the wired or wireless interface 410 and may use a universal serial bus (USB) interface, for example. However, the modules of FIG. 7 are merely one embodiment, and the scope of rights of the present invention should be determined by the claims in principle.

상기 이미터(422)는, 상기 멀티미디어 장치(400) 주변에 위치한 적어도 하나 이상의 사용자에게 빛을 발산한다. 나아가, 상기 제1 이미지 센서(423)는, 상기 발산된 빛을 이용하여 제1영상을 촬영하고, 상기 촬영된 제1영상으로부터 depth data 를 추출하고, 상기 추출된 depth data 를 이용하여 상기 적어도 하나 이상의 사용자의 얼굴을 디텍트한다. 또한, 상기 제2 이미지 센서(424)는, 상기 디텍트된 사용자의 얼굴에 대한 제2영상을 촬영하고, 상기 촬영된 제2영상으로부터 특징 정보를 추출한다.The emitter 422 emits light to at least one or more users located around the multimedia device 400. Further, the first image sensor 423 may capture a first image using the divergent light, extract depth data from the captured first image, and use the extracted depth data to convert the at least one The user's face is detected. Also, the second image sensor 424 captures a second image of the detected face of the user, and extracts feature information from the captured second image.

그리고, 상기 추출된 특징 정보는, 상기 인터페이스(410)를 통해 상기 멀티미디어 장치의 얼굴인식처리 모듈(403)로 전송된다. 도 7에 도시하지는 않았지만, 상기 얼굴인식처리 모듈(403)은 예컨대, 수신부, 메모리, 추출부, 제어부 등을 포함하도록 설계된다.Then, the extracted feature information is transmitted to the face recognition processing module 403 of the multimedia device through the interface 410. Although not shown in FIG. 7, the face recognition processing module 403 is designed to include, for example, a receiver, a memory, an extractor, a controller, and the like.

상기 얼굴인식처리 모듈(403)의 수신부는 상기 복수 개의 이종 이미지 센서(420) 및 인터페이스(410)를 통해 전송된 특징 정보를 수신한다. 나아가, 상기 얼굴인식처리 모듈(403)의 메모리는 적어도 하나 이상의 사용자에 대한 특징 정보 및 대응하는 ID를 저장하고 있다.The receiving unit of the face recognition processing module 403 receives the feature information transmitted through the plurality of heterogeneous image sensors 420 and the interface 410. Further, the memory of the face recognition processing module 403 stores feature information and corresponding IDs for at least one user.

따라서, 상기 얼굴인식처리 모듈(403)의 추출부는, 상기 수신된 특징 정보에 대응하는 ID 를 상기 메모리로부터 추출하고, 상기 얼굴인식처리 모듈(403)의 제어부는 상기 ID에 해당하는 기설정된 기능들을 자동으로 수행하도록 설계된다.Accordingly, the extracting unit of the face recognition processing module 403 extracts an ID corresponding to the received feature information from the memory, and the control unit of the face recognition processing module 403 extracts predetermined functions corresponding to the ID It is designed to perform automatically.

한편, 얼굴인식처리 모듈을 도 7에 도시된 바와 같이, 멀티미디어 장치의 CPU에서 수행하도록 설계하는 경우, 카메라 설계 비용을 낮추고 다양한 얼굴인식 및 기능 추가 등의 확장성 면에서 유리한 효과가 있다.On the other hand, when the face recognition processing module is designed to be performed by the CPU of the multimedia device as shown in FIG. 7, there is an advantageous effect in terms of expanding the features such as various facial recognition and various functions.

도 8은 본 발명의 다른 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다. 이하, 도 8을 참조하여, 본 발명의 다른 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 설명하면 다음과 같다. 다만, 도 8에서는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서와 멀티미디어 장치를 별개로 도시하였으나, 상기 멀티플 카메라를 상기 멀티미디어 장치에 임베디드(embedded)된 형태로 설계하는 것도 가능하다.8 is a view showing a plurality of heterogeneous image sensors and a multimedia device according to another embodiment of the present invention, respectively. Hereinafter, a plurality of heterogeneous image sensors and multimedia devices according to another embodiment of the present invention will be described with reference to FIG. In FIG. 8, a plurality of heterogeneous image sensors and a multimedia device according to an exemplary embodiment of the present invention are shown separately. However, the multiple cameras may be embedded in the multimedia device.

도 8에 도시된 바와 같이 본 발명의 일실시예에 의한 멀티미디어 장치(500)는 CPU(Central Processing Unit)(501) 및 GPU(Graphic Processing Unit)(503)의 모듈로 설계되며, 상기 CPU(501)는 어플리케이션(502)을 포함하고 있다. 한편, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서(520)는 얼굴인식처리 모듈(521), ASIC(Application Specific Intergrated Circuit)(522), 이미터(523), 제1 이미지 센서(524), 그리고 제2 이미지 센서(525)의 모듈로 설계된다. 그리고, 멀티미디어 장치(500) 및 복수 개의 이종 이미지 센서(520)는 유선 또는 무선의 인터페이스(510)로 연결되어 있으며, 예를 들어 USB (Universal Serial Bus) 인터페이스를 사용할 수도 있다. 다만, 도 8의 모듈들은 일실시예에 불과하며, 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.8, the multimedia device 500 according to an exemplary embodiment of the present invention is designed as a module of a CPU (Central Processing Unit) 501 and a GPU (Graphic Processing Unit) 503, and the CPU 501 Includes an application 502. A plurality of heterogeneous image sensors 520 according to an embodiment of the present invention includes a face recognition processing module 521, an application specific integrated circuit (ASIC) 522, an emitter 523, a first image sensor 524 ), And a second image sensor 525 module. The multimedia device 500 and the plurality of heterogeneous image sensors 520 are connected to each other through a wired or wireless interface 510. For example, a universal serial bus (USB) interface may be used. However, the modules of FIG. 8 are merely one embodiment, and the scope of rights of the present invention should be determined by the claims in principle.

도 8은 도 7과 비교하여, 얼굴인식처리 모듈(521)이 복수 개의 이종 이미지 센서(520)에 탑재된다는 점에서 차이가 있으며, 나머지 동일한 설명은 생략하도록 하겠다.8 is different from FIG. 7 in that the face recognition processing module 521 is mounted on the plurality of heterogeneous image sensors 520, and the remaining description is omitted.

한편, 얼굴인식처리 모듈을 도 8에 도시된 바와 같이, 복수 개의 이종 이미지 센서(520)단에서 수행하도록 설계하는 경우, 독립된 플랫폼을 통하여 보다 다양한 형태의 카메라를 설계하는 것이 가능하다.Meanwhile, when the face recognition processing module is designed to be performed by a plurality of heterogeneous image sensors 520 as shown in FIG. 8, it is possible to design more various types of cameras through independent platforms.

도 9는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 보다 상세히 도시한 도면이다. 이하, 도 9를 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 보다 상세히 설명하면 다음과 같다.FIG. 9 is a diagram illustrating a plurality of heterogeneous image sensors according to an exemplary embodiment of the present invention in more detail. Hereinafter, referring to FIG. 9, a plurality of heterogeneous image sensors according to an embodiment of the present invention will be described in detail.

도 9에 도시된 바와 같이, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서는, 제1 이미지 센서 그룹(610)과 제2 이미지 센서(620), 컨트롤러(630), 메모리(640), 인터페이스(650) 등을 포함하며, 상기 컨트롤러(630)의 제어에 따라 마이크로폰(670) 및 외부 오디오 소스(660)로부터 오디오 데이터를 수신하도록 설계된다.9, a plurality of heterogeneous image sensors according to an exemplary embodiment of the present invention includes a first image sensor group 610 and a second image sensor 620, a controller 630, a memory 640, An interface 650 and the like and is designed to receive audio data from the microphone 670 and the external audio source 660 under the control of the controller 630. [

상기 메모리(640)는, 예를 들어, 플래쉬 메모리 등으로 설계할 수도 있고, 상기 인터페이스(650)는 예를 들어 USB 인터페이스로 설계되어 외부 멀티미디어 장치와 연결된다. 한편, 상기 제1 이미지 센서 그룹(610)은 이미터(emitter)(680) 및 제1 이미지 센서(690)를 포함하며, 상기 이미터는 예를 들어, IR(Infra-Red) 이미터로 설계 가능하다.The memory 640 may be, for example, a flash memory or the like, and the interface 650 may be designed with a USB interface, for example, and connected to an external multimedia device. Meanwhile, the first image sensor group 610 includes an emitter 680 and a first image sensor 690, and the emitter can be designed, for example, as an IR (Infra-Red) emitter Do.

나아가, 상기 컨트롤러(630)의 제어에 따라, 상기 이미터(680)의 라이트 프로젝터(682)는 렌즈(681)를 투사하여, 멀티미디어 장치 주변에 위치한 적어도 하나 이상의 사용자에게 빛을 발산한다.Further, under the control of the controller 630, the light projector 682 of the emitter 680 projects the lens 681 to emit light to at least one or more users located in the vicinity of the multimedia device.

또한, 상기 컨트롤러(630)의 제어에 따라, 상기 제1 이미지 센서(690)는 렌즈(691)을 통해 수신된 빛을 이용하여 제1영상을 촬영하고, 상기 촬영된 제1영상으로부터 depth data 를 추출하고, 이를 상기 컨트롤러(630)에 전송한다.In addition, under the control of the controller 630, the first image sensor 690 captures a first image using light received through the lens 691, and extracts depth data from the captured first image And transmits it to the controller 630.

상기 컨트롤러(630)는, 상기 전송된 depth data 를 이용하여 상기 적어도 하나 이상의 사용자의 얼굴을 디텍트하고, 다음으로 상기 제2 이미지 센서(620)를 제어한다.The controller 630 detects the face of the at least one user using the transmitted depth data, and then controls the second image sensor 620.

상기 제2 이미지 센서(620)는, 상기 컨트롤러(630)의 제어에 따라, 렌즈(621)를 통해 인가되는 상기 디텍트된 사용자의 얼굴에 대한 제2영상을 촬영한다. 나아가, 상기 제2 이미지 센서(620)는, 상기 촬영된 제2영상으로부터 추출된 특징 정보를, 상기 컨트롤러(620)에 전송한다.The second image sensor 620 captures a second image of the detached user's face, which is applied through the lens 621, under the control of the controller 630. Further, the second image sensor 620 transmits the feature information extracted from the photographed second image to the controller 620.

그리고, 상기 컨트롤러(630)는, 상기 인터페이스(650)를 이용하여, 상기 추출된 특징 정보를, 멀티미디어 장치에 전송하도록 설계된다. 따라서, 이를 수신한 멀티미디어 장치는, 촬영된 영상의 사용자가 DB에 저장된 사용자 중 어느 특정 사용자인지를 신속하게 식별할 수가 있는 효과가 있다.The controller 630 is designed to transmit the extracted feature information to the multimedia device using the interface 650. [ Accordingly, the multimedia device receiving the image data can quickly identify a specific user among the users stored in the DB.

도 10은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 일예를 도시한 도면이다. 이하, 도 10을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 일예를 설명하면 다음과 같다. 도 10에 도시된 IR 소스(710)는 도 6의 이미터(680)에 대응할 수 있고, 도 10에 도시된 depth 이미지 프로세서(720)는 도 9의 제1 이미지 센서(690)에 대응할 수도 있는 바, 도 9 및 도 10의 설명은 보충적으로 적용될 수도 있다. 또한, 도 10에 도시된 카메라는, 예컨대 전술한 structured light 방식을 차용하여 설계하는 것도 가능하다.10 is a view showing an example of a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention. Hereinafter, with reference to FIG. 10, an example of a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention will be described. The IR source 710 shown in Figure 10 may correspond to the emitter 680 of Figure 6 and the depth image processor 720 shown in Figure 10 may correspond to the first image sensor 690 of Figure 9 The description of the bar, Fig. 9 and Fig. 10 may be applied additionally. In addition, the camera shown in FIG. 10 can be designed by borrowing, for example, the structured light method described above.

도 10에 도시된 바와 같이, 상기 IR 소스(710)는 코드화된 패턴 영상을 타겟 사용자(730)에게 연속적으로 투영하도록 설계된다. 그리고, 상기 depth 이미지 프로세서(720)는 상기 타겟 사용자(730)에 의해 최초 패턴 영상이 왜곡된 정보를 이용하여, 상기 사용자의 위치를 추정한다.As shown in FIG. 10, the IR source 710 is designed to project a coded pattern image successively to a target user 730. The depth image processor 720 estimates the position of the user using the information obtained by distorting the original pattern image by the target user 730.

도 11은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지센서의 다른 일예를 도시한 도면이다. 이하, 도 11을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 다른 일예를 설명하면 다음과 같다. 도 11에 도시된 LED(810)는 도 9의 이미터(680)에 대응할 수 있고, 도 11에 도시된 depth 이미지 프로세서(820)는 도 9의 제1 이미지 센서(690)에 대응할 수도 있는 바, 도 9 및 도 11의 설명은 보충적으로 적용될 수도 있다. 또한, 도 11에 도시된 카메라는, 예컨대 전술한 TOF 방식을 차용하여 설계하는 것도 가능하다.11 is a view showing another example of the first image sensor among the plurality of heterogeneous image sensors according to the embodiment of the present invention. Hereinafter, another example of the first image sensor among the plurality of heterogeneous image sensors according to an embodiment of the present invention will be described with reference to FIG. The LED 810 shown in Fig. 11 may correspond to the emitter 680 of Fig. 9, and the depth image processor 820 shown in Fig. 11 may correspond to the first image sensor 690 of Fig. 9 , The description of Fig. 9 and Fig. 11 may be supplementarily applied. Further, the camera shown in Fig. 11 can be designed, for example, by using the TOF system described above.

도 11에 도시된 바와 같이, 상기 LED(810)에 의해 발산된 빛은 타겟 사용자(830)에게 전송된다. 그리고, 상기 타겟 사용자(830)에 의해 반사된 빛(reflected light)은 상기 depth 이미지 프로세서(820)에 전송된다. 도 11에 도시된 모듈들은, 도 10과 달리 시간 차이에 대한 정보를 이용하여 상기 타겟 사용자(830)의 위치를 계산한다. 이는 도 12를 참조하여 보다 상세히 설명하도록 하겠다.As shown in FIG. 11, the light emitted by the LED 810 is transmitted to the target user 830. The reflected light from the target user 830 is then transmitted to the depth image processor 820. Unlike FIG. 10, the modules shown in FIG. 11 calculate the position of the target user 830 using information on a time difference. This will be described in more detail with reference to FIG.

도 12는 도 11에 도시된 제1 이미지 센서를 이용하여 거리를 계산하는 방법을 설명하기 위한 도면이다. 이하, 도 12를 참조하여, 도 11에 도시된 제1 이미지 센서를 이용하여 거리를 계산하는 방법을 설명하면 다음과 같다.12 is a diagram for explaining a method of calculating a distance using the first image sensor shown in FIG. Hereinafter, a method of calculating the distance using the first image sensor shown in FIG. 11 will be described with reference to FIG.

도 12의 왼쪽 그래프에 도시된 바와 같이, 발산된 빛(emitted light)과 반사된 빛(reflected light) 사이의 시간 차이를 통해, 도착 시간인 t 값을 얻을 수가 있다.As shown in the left graph of FIG. 12, the arrival time t value can be obtained through the time difference between the emitted light and the reflected light.

또한, 도 12의 오른쪽에 수식에 도시된 바와 같이, 상기 LED(810)와 상기 타겟 사용자(830)까지의 거리 및 상기 타겟 사용자(830)와 상기 depth 이미지 프로세서(820)까지의 총거리는, 광속과 상기 t 값의 곱셈으로 계산된다. 따라서, 결과적으로 상기 LED(830) 또는 상기 depth 이미지 프로세서(820)와 상기 타겟 사용자(830)까지의 거리는 1/d 로 추정된다.12, the distance between the LED 810 and the target user 830 and the total distance from the target user 830 to the depth image processor 820 are determined by the following equation And the t value. Consequently, the distance to the LED 830 or the depth image processor 820 and the target user 830 is estimated as 1 / d.

도 13은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서에 의해 촬영된 이미지를 도시한 도면이다. 이하, 도 13을 참조하여 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서에 의해 촬영된 보다 구체적인 이미지를 설명하면 다음과 같다.13 is a view showing an image taken by a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention. Hereinafter, a more specific image taken by the first image sensor among the plurality of heterogeneous image sensors according to an embodiment of the present invention will be described with reference to FIG.

도 13에 도시된 바와 같이, 제1 이미지 센서로 촬영된 이미지에서는 RGB 등의 색상 정보가 화려하게 표현되지는 않는다. 다만, 거리에 따라 명암을 차등적으로 표현함으로써, 개별 사물의 대략적인 위치를 신속하게 알아낼 수 있는 장점이 있다. As shown in FIG. 13, in the image photographed by the first image sensor, color information such as RGB is not displayed gorgeously. However, there is an advantage that the approximate position of an individual object can be quickly detected by expressing light and shade differentially according to the distance.

예컨대, 도 13에 도시된 바와 같이, 가장 멀리 위치한 복도(hall way)의 경우, 가장 어두운 명암으로 표시되며, 제1 이미지 센서로부터 약 10m 정도의 거리에 떨어져 있음을 확인한다. 나아가, 중간 정도의 거리 레벨에 위치한 벽(wall)의 경우, 중간 톤의 명암으로 표시되며, 제1 이미지 센서로부터 약 5m 정도의 거리에 떨어져 있음을 확인한다. 그리고, 상대적으로 가장 가까운 거리에 위치한 TV 시청자(TV viewer)의 경우, 가장 밝은 톤의 명암으로 표시되며, 제1 이미지 센서로부터 약 4m 정도의 거리에 떨어져 있음을 확인한다.For example, as shown in FIG. 13, in the case of the farthest hall way, it is indicated by the darkest light and it is separated by about 10 m from the first image sensor. Further, in the case of a wall located at a medium distance level, it is indicated by the contrast of the middle tone, and it is confirmed that the distance is about 5 m from the first image sensor. In the case of a TV viewer located at a relatively short distance, it is displayed in the brightest tone and is separated from the first image sensor by about 4 m.

도 14는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제2이미지센서에 의해 촬영된 이미지를 도시한 도면이다. 이하, 도 14를 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제2 이미지 센서에 의해 촬영된 보다 구체적인 이미지를 설명하면 다음과 같다.14 is a view showing an image taken by a second image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention. Hereinafter, with reference to FIG. 14, a more specific image taken by the second image sensor among the plurality of heterogeneous image sensors according to an embodiment of the present invention will be described.

제1 이미지 센서와 달리, 제2 이미지 센서의 경우 선명한 RGB 색상을 사용하게 되므로, 사용자의 얼굴의 주요 구성 요소들을 용이하게 식별할 수 있는 장점이 있다. 특히, 도 14에 예시된 바와 같이, 사람을 식별하는데 사용되는 눈 주변, 코 주변, 입 주변에 대한 데이터를 가공하여, 얼굴 인식을 위한 특징 정보로 사용하도록 설계된다. 물론, 도 14에서는 눈, 코, 입을 예시하였지만, 경우에 따라 다른 얼굴 구성 요소, 예컨대 귀, 이마, 머리색, 주름, 피부색, 얼굴형, 얼굴크기 등이 사용될 수도 있다.Unlike the first image sensor, since the second image sensor uses a clear RGB color, major components of the user's face can be easily identified. In particular, as illustrated in FIG. 14, the data for the eye periphery, the nose periphery, and the mouth periphery used for identifying a person are processed and designed to be used as feature information for face recognition. Of course, the eyes, nose and mouth are illustrated in FIG. 14, but other face components such as ear, forehead, hair color, wrinkle, skin color, face type, face size and the like may be used in some cases.

한편, 전술한 본 발명의 일실시예에 의한 멀티미디어 디바이스는, 화상 전화 서비스를 이용하는 과정에서도 이용될 수 있는데, 이에 대한 보다 구체적인 설명은 이하 도 15 내지 도 26을 참조하여 보다 상세히 설명하도록 하겠다.Meanwhile, the multimedia device according to an embodiment of the present invention may be used in a process of using a video telephone service, and a more detailed description thereof will be described with reference to FIG. 15 to FIG.

도 15는 본 발명의 일실시예에 의한 멀티미디어 디바이스를 보다 상세히 도시한 도면이다.Figure 15 is a more detailed view of a multimedia device according to an embodiment of the present invention.

도 15에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스(1500)는 메모리(1501), 계산부(1502), 컨트롤러(1503) 그리고 네트워크 인터페이스(1504) 등을 포함하여 이루어 지며, 도시된 모듈들은 소프트웨어, 하드웨어로만 구성할 수도 있고 또는 소프트웨어 및 하드웨어의 결합으로 구성할 수도 있다. 나아가, 도 15는 일실시예이며 본 발명의 권리범위는 원칙적으로 특허청구범위에 기재된 사항에 따라 정해져야 한다.15, a multimedia device 1500 according to an exemplary embodiment of the present invention includes a memory 1501, a calculator 1502, a controller 1503, and a network interface 1504, The modules shown may be composed of software, hardware only, or a combination of software and hardware. Further, Fig. 15 is one embodiment, and the scope of rights of the present invention should, in principle, be determined according to matters described in the claims.

상기 멀티미디어 디바이스(1500)는 멀티플 이미지 센서(1510)가 임베디드된 형태로 설계될 수도 있고, 또는 도 15에 도시된 바와 같이 유/무선 네트워크(예를 들어, USB 등)로 접속된다. 또한, 상기 멀티미디어 디바이스(1500)는 화상 전화 서비스를 위한 네트워크(1520)를 통해 상대방 디바이스(1530)와 연결된다. 상기 상대방 디바이스(1530)는 상기 멀티미디어 디바이스(1500)와 동일한 모듈로 구성될 수도 있고 또는 전혀 다른 모듈로 구성될 수도 있다.The multimedia device 1500 may be designed as an embedded type of the multiple image sensor 1510 or may be connected to a wired / wireless network (e.g., USB, etc.) as shown in FIG. In addition, the multimedia device 1500 is connected to the counterpart device 1530 through a network 1520 for a video telephone service. The counterpart device 1530 may be configured with the same module as the multimedia device 1500 or may be configured with a completely different module.

상기 멀티플 이미지 센서(1510) 중 제1이미지 센서는 상기 멀티미디어 디바이스(1500)의 주변에 위치한 적어도 하나 이상의 사용자의 제1신체 영역 및 제2신체 영역을 트래킹 하고, 상기 멀티플 이미지 센서(1510) 중 제2이미지 센서는 상기 트래킹된 제1신체 영역을 클로즈 업 하여 촬영한다. 상기 제1신체 영역은 예를 들어, 상기 사용자의 얼굴 영역에 대응하고, 상기 제2신체 영역은 예를 들어 상기 사용자의 손 영역에 대응한다. 이에 대해서는 도 16을 참조하여 보다 상세히 설명하도록 하겠다. 나아가, 전술하여 설명한 바와 같이, 상기 제1이미지 센서는 예를 들어 depth 카메라에 대응하고, 상기 제2이미지 센서는 예를 들어 RGB 카메라에 대응한다.The first image sensor of the multiple image sensors 1510 may track a first body area and a second body area of at least one user located in the vicinity of the multimedia device 1500, 2 image sensor captures the tracked first body area in close-up. The first body area corresponds, for example, to the face area of the user, and the second body area corresponds to the user's hand area, for example. This will be described in more detail with reference to FIG. Further, as described above, the first image sensor corresponds to, for example, a depth camera, and the second image sensor corresponds to, for example, an RGB camera.

상기 네트워크 인터페이스(1504)는, 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터를 화상 전화 서비스의 상대방 디바이스(1530)에 전송하며, 상기 컨트롤러(1503)는 상기 제2신체 영역의 트래킹 결과에 기초하여, 상기 멀티미디어 디바이스(1500)의 화상 전화 서비스의 적어도 하나 이상의 기능을 제어하도록 설계된다. 이에 대해서는 도 17 내지 도 25를 참조하여 보다 상세히 설명하도록 하겠다.Wherein the network interface (1504) transmits image data of a first body region photographed by the second image sensor to a counterpart device (1530) of a videophone service, the controller (1503) Is designed to control at least one or more functions of the videophone service of the multimedia device (1500) based on the tracking results. This will be described in more detail with reference to FIG. 17 to FIG.

또한, 상기 멀티미디어 디바이스(1500)는, 적어도 하나 이상의 이미지 데이터를 저장하고 있는 메모리(1501)를 더 포함하며, 상기 이미지 데이터에 대해서는 도 18을 참조하여 보다 상세히 설명하도록 하겠다.In addition, the multimedia device 1500 further includes a memory 1501 storing at least one image data, and the image data will be described in more detail with reference to FIG.

나아가 본 발명의 다른 일실시예에 의하면, 상기 컨트롤러(1503)는, 상기 제1신체 영역 및 상기 제2신체 영역이 기설정된 범위 이상으로 중복한 경우, 상기 메모리(1501)에 액세스 하도록 제어하고, 상기 액세스된 메모리(1501)에 기저장된 이미지 데이터를 추출하도록 제어한다. 그리고, 상기 컨트롤러(1503)는, 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터 대신 상기 추출된 이미지 데이터를, 상기 상대방 디바이스(1530)로 전송하도록 상기 네트워크 인터페이스(1504)를 제어한다. 이에 대해서는 도 18 및 도 19를 참조하여 보다 상세히 설명하도록 하겠다.Further, according to another embodiment of the present invention, the controller 1503 controls access to the memory 1501 when the first body area and the second body area are overlapped by a predetermined range or more, And controls to extract the image data stored in the accessed memory 1501 in advance. The controller 1503 controls the network interface 1504 to transmit the extracted image data to the counterpart device 1530 instead of the image data of the first body area photographed by the second image sensor do. This will be described in more detail with reference to FIGS. 18 and 19. FIG.

나아가, 본 발명의 또 다른 일실시예에 의하면, 상기 컨트롤러(1503)는, 상기 제2신체 영역과 인접한 사물 영역을 디텍트 하도록 상기 제1이미지 센서를 제어하고, 상기 디텍트된 사물 영역을 클로즈 업 하여 촬영하도록 상기 제2이미지 센서를 제어하고, 그리고 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터 대신 상기 촬영된 사물 영역의 이미지 데이터를, 상기 상대방 디바이스(1530)로 전송하도록 상기 네트워크 인터페이스(1504)를 제어한다. 이에 대해서는 도 20을 참조하여 보다 상세히 설명하도록 하겠다.Further, according to another embodiment of the present invention, the controller 1503 controls the first image sensor so as to detect an object area adjacent to the second body area, and closes the detected object area And to transmit the image data of the photographed object area to the counterpart device 1530 instead of the image data of the first body area photographed by the second image sensor And controls the network interface 1504. This will be described in more detail with reference to FIG.

그리고, 본 발명의 또 다른 일실시예에 의하면, 상기 컨트롤러(1503)는, 상기 제2신체 영역내 손가락을 디텍트 하도록 상기 제2이미지 센서를 제어하고, 상기 디텍트된 손가락이 지시하는 방향을 계산한다. 다만, 상기 계산 프로세스는 도 15의 계산부(1502)가 수행하도록 설계할 수도 있다. 나아가, 상기 컨트롤러(1503)는, 상기 제2신체 영역내 손가락을 기준으로 상기 계산된 방향에 위치한 사물 영역을 디텍트 하도록 상기 제1이미지 센서를 제어하고, 상기 디텍트된 사물 영역을 클로즈 업 하여 촬영하도록 상기 제2이미지 센서를 제어하고, 그리고 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터 대신 상기 촬영된 사물 영역의 이미지 데이터를, 상기 상대방 디바이스(1530)로 전송하도록 상기 네트워크 인터페이스(1504)를 제어한다. 이에 대해서는 도 21 내지 도 25를 참조하여 보다 상세히 설명하도록 하겠다.According to another embodiment of the present invention, the controller 1503 controls the second image sensor to detect a finger in the second body area, and determines a direction indicated by the detected finger . However, the calculation process may be designed to be performed by the calculation unit 1502 in Fig. Further, the controller 1503 controls the first image sensor to detect a object area located in the calculated direction with respect to a finger in the second body area, and closes the detected object area And to transmit image data of the photographed subject area to the partner device (1530) instead of image data of the first bodily area photographed by the second image sensor, And controls the interface 1504. This will be described in more detail with reference to FIGS. 21 to 25.

도 16은 본 발명의 일실시예에 의한 멀티미디어 디바이스가 복수개의 이종 이미지 센서를 이용하여 사용자의 특정 신체 부위를 디텍트하는 장면을 도시한 도면이다.16 is a view illustrating a state in which a multimedia device according to an embodiment of the present invention detects a specific body part of a user using a plurality of heterogeneous image sensors.

도 16에 도시된 바와 같이, 특정 사용자가 화상 전화 서비스 이용 안내 메시지(1640)를 선택한 경우, 본 발명의 일실시예에 의한 멀티미디어 디바이스(1600)의 복수개의 이종 이미지 센서(1610)는 주변 사용자를 촬영하도록 설계된다. 예를 들어, 제1이미지 센서 및 제2이미지 센서 중 적어도 하나 이상을 이용하여 사용자의 특정 신체 부분을 트래킹 한다. 도 16에서는 상기 사용자의 얼굴 영역(1650)과 손 영역(1660, 1670)이 트래킹 되는 것을 예시하였지만, 본 발명의 권리범위가 반드시 이에 한정하는 것은 아니다.16, when a particular user selects the videophone service usage announcement message 1640, a plurality of disparate image sensors 1610 of the multimedia device 1600 according to an embodiment of the present invention may include a peripheral user It is designed to shoot. For example, at least one of the first image sensor and the second image sensor is used to track a specific body part of the user. In FIG. 16, the face region 1650 and the hand regions 1660 and 1670 of the user are tracked. However, the scope of the present invention is not limited thereto.

도 17은 화상 전화 서비스를 이용하는 과정에서 본 발명의 일실시예에 의한 멀티미디어 디바이스 및 상대방 디바이스의 화면 구성의 제1실시예를 도시한 도면이다. 이하, 도 17을 참조하여 화상 전화 서비스를 이용하는 사용자의 얼굴 영역을 클로즈 업 하여 처리하는 방법을 설명하면 다음과 같다.17 is a diagram illustrating a first embodiment of a screen configuration of a multimedia device and a counterpart device according to an embodiment of the present invention in the course of using a video telephone service. Hereinafter, referring to FIG. 17, a method of processing up and processing a face area of a user using a video telephone service will be described.

도 17에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스(1700)는 화상 전화 서비스 관련 OSD(1740)를 디스플레이 한다. 그리고, 전술하여 설명한 바와 같이, 복수개의 이종 이미지 센서(1710)는 사용자의 얼굴 영역(1770)과 손 영역(1780, 1790)을 트래킹 하도록 설계된다.As shown in FIG. 17, a multimedia device 1700 according to an embodiment of the present invention displays a video telephone service related OSD 1740. And, as described above, the plurality of heterogeneous image sensors 1710 are designed to track the user's face region 1770 and the hand regions 1780, 1790.

나아가, 본 발명의 일실시예에 의한 멀티미디어 디바이스(1700)의 화상 전화 서비스 관련 OSD(1740)는 상대방 화상 이미지(1750) 및 본인 화상 이미지(1760)를 모두 포함하도록 설계된다. 특히, 상기 멀티미디어 디바이스(1700)의 OSD(1740) 상에서 디스플레이 되는 상대방 화상 이미지(1750)는 트래킹 없이 촬영된 이미지 이다. 즉, 화상 전화 서비스와 관련성이 적은 가정내 전체 모습을 필터링 없이 출력하게 된다. 반면, 상기 멀티미디어 디바이스(1700)의 OSD(1740) 상에서 디스플레이 되는 본인 화상 이미지(1760)는 사용자의 얼굴 영역(1770)만 클로즈업 된 이미지 이다. 따라서, 화상 전화 서비스에서 상대적으로 중요한 화자의 얼굴을 보다 용이하게 확인할 수 있는 효과가 있다.Further, the video telephone service-related OSD 1740 of the multimedia device 1700 according to an embodiment of the present invention is designed to include both the counterpart image image 1750 and the original image image 1760. In particular, the counterpart image image 1750 displayed on the OSD 1740 of the multimedia device 1700 is an image captured without tracking. That is, the entire image in the home having a low relevance to the video telephone service is output without filtering. On the other hand, the personal image image 1760 displayed on the OSD 1740 of the multimedia device 1700 is an image in which only the face region 1770 of the user is close-up. Therefore, there is an effect that a face of a speaker relatively important in the video telephone service can be more easily confirmed.

그리고, 화상 전화 서비스를 이용하는 상대방 디바이스(1730)는, 본 발명의 일실시예에 의한 멀티미디어 디바이스(1700)의 상대방 화상 이미지(1750)를 본인의 화상 이미지로 출력하게 되고, 상기 멀티미디어 디바이스(1700)의 본인 화상 이미지(1760)는 상대방 화상 이미지로 출력하게 된다. The other party device 1730 using the video telephone service outputs the counterpart image 1750 of the multimedia device 1700 according to the embodiment of the present invention as the image of the user, The user's image image 1760 is output as the other party image image.

도 18은 화상 전화 서비스를 이용하는 과정에서 본 발명의 일실시예에 의한 멀티미디어 디바이스 및 상대방 디바이스의 화면 구성의 제2실시예를 도시한 도면이다. 이하, 도 18을 참조하여 화상 전화 서비스를 이용하는 사용자의 얼굴 대신 대체 이미지를 디스플레이 하는 방법을 설명하면 다음과 같다.18 is a diagram illustrating a screen configuration of a multimedia device and a counterpart device according to an embodiment of the present invention in the course of using a video telephone service. Hereinafter, a method of displaying a substitute image in place of a face of a user using a video telephone service will be described with reference to FIG.

도 18에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스(1800)는 화상 전화 서비스 관련 OSD(1840)를 디스플레이 한다. 그리고, 전술하여 설명한 바와 같이, 복수개의 이종 이미지 센서(1810)는 사용자의 얼굴 영역(1870)과 손 영역(1880, 1890)을 트래킹 하도록 설계된다.As shown in FIG. 18, a multimedia device 1800 according to an embodiment of the present invention displays an OSD 1840 related to a video telephone service. And, as described above, the plurality of heterogeneous image sensors 1810 are designed to track the user's face region 1870 and hand regions 1880, 1890.

한편, 상기 트래킹 프로세스 중, 상기 사용자의 얼굴 영역(1870)과 손 영역(1880, 1890)이 중복하는 경우, 도 17과 달리 상기 사용자의 얼굴을 클로즈업 하여 보여주지 않고 메모리에 기저장된 대체 이미지를 출력하도록 설계된다. 상기 대체 이미지에는 특별한 제한이 없으며, 예를 들어 화상 전화 서비스 도중 자신의 얼굴을 가리고 다른 모습으로 보여주길 원하는 경우 선택된 이미지 이다.On the other hand, when the user's face region 1870 overlaps with the hand regions 1880 and 1890 during the tracking process, the user's face is not shown close-up and a replacement image pre-stored in the memory is output . The alternative image is not particularly limited, and is, for example, a selected image when it is desired to cover the face of the user during the videophone service and to display it in a different manner.

또한, 상기 사용자의 얼굴 영역(1870)과 손 영역(1880, 1890)이 중복되었는지 여부를 판단하는 일실시예로는, 도 19에 도시된 바와 같이 2가지 인자(예를 들어, 겹치는 영역 및 겹치는 시간)를 이용하여 설계될 수도 있다. 예를 들어, 도 18에 도시된 손 영역(1880, 1890)이 얼굴 영역(1870)과 70% 이상 중복하고 중복되는 시간이 2초 이상인 경우, 상기 메모리에 기저장된 대체 이미지를 디스플레이 한다.In addition, as an example of determining whether the face region 1870 of the user and the hand regions 1880 and 1890 are overlapped, there are two factors (for example, overlapping regions and overlapping regions Time). &Lt; / RTI > For example, when the hand regions 1880 and 1890 shown in FIG. 18 are overlapped by 70% or more of the face region 1870 and overlapped for 2 seconds or more, a replacement image pre-stored in the memory is displayed.

따라서, 본 발명의 일실시예에 의한 멀티미디어 디바이스(1800)의 화상 전화 서비스 관련 OSD(1840)는 상대방 화상 이미지(1850) 및 본인 화상 이미지(1860)를 모두 포함하도록 설계된다. 다만, 도 17과 달리, 상기 본인 화상 이미지(1860)에는 사용자 얼굴이 디스플레이 되지 않고, 상기 메모리에 기저장된 대체 이미지를 출력하도록 설계된다. 한편, 상기 멀티미디어 디바이스(1800)의 OSD(1840) 상에서 디스플레이 되는 상대방 화상 이미지(1850)는 트래킹 없이 촬영된 이미지 이다. 즉, 화상 전화 서비스와 관련성이 적은 가정내 전체 모습을 필터링 없이 출력하게 된다. 반면, 상기 멀티미디어 디바이스(1800)의 OSD(1840) 상에서 디스플레이 되는 본인 화상 이미지(1860)는 사용자의 얼굴을 대체하는 이미지 이다(물론, 이는 도 18에 도시된 바와 같이, 사용자 얼굴 영역과 손 영역이 일정 시간 동안 일정 범위 이상 중복된 경우). Thus, the videophone service-related OSD 1840 of multimedia device 1800 according to an embodiment of the present invention is designed to include both the counterpart image 1850 and the identity image 1860. However, unlike FIG. 17, the user's face image 1860 is designed not to display the user's face but to output a replacement image previously stored in the memory. Meanwhile, a counterpart image 1850 displayed on the OSD 1840 of the multimedia device 1800 is an image captured without tracking. That is, the entire image in the home having a low relevance to the video telephone service is output without filtering. On the other hand, the original image image 1860 displayed on the OSD 1840 of the multimedia device 1800 is an image that replaces the face of the user (of course, A certain amount of time has been duplicated for a certain period of time).

그리고, 화상 전화 서비스를 이용하는 상대방 디바이스(1830)는, 본 발명의 일실시예에 의한 멀티미디어 디바이스(1800)의 상대방 화상 이미지(1850)를 본인의 화상 이미지로 출력하게 되고, 상기 멀티미디어 디바이스(1800)의 본인 화상 이미지(1860)는 상대방 화상 이미지로 출력하게 된다. The other party device 1830 using the video telephone service outputs the counterpart image 1850 of the multimedia device 1800 according to an embodiment of the present invention as the image of the user, The user's image image 1860 is output as the other party image image.

도 20은 화상 전화 서비스를 이용하는 과정에서 본 발명의 일실시예에 의한 멀티미디어 디바이스 및 상대방 디바이스의 화면 구성의 제3실시예를 도시한 도면이다. 이하, 도 20을 참조하여 화상 전화 서비스를 이용하는 사용자의 손에 인접한 물건을 강조하여 디스플레이 하는 방법을 설명하면 다음과 같다.20 is a diagram illustrating a third embodiment of a screen configuration of a multimedia device and a counterpart device according to an embodiment of the present invention in the course of using a video telephone service. Hereinafter, a method of highlighting and displaying an object adjacent to the hand of a user using a video telephone service will be described with reference to FIG.

도 20에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스(2000)는 화상 전화 서비스 관련 OSD(2040)를 디스플레이 한다. 그리고, 전술하여 설명한 바와 같이, 복수개의 이종 이미지 센서(2010)는 사용자의 얼굴 영역(2070)과 손 영역(2080, 2090)을 트래킹 하도록 설계된다. As shown in FIG. 20, a multimedia device 2000 according to an embodiment of the present invention displays an OSD 2040 related to a video telephone service. And, as described above, the plurality of heterogeneous image sensors 2010 are designed to track the face region 2070 and the hand regions 2080 and 2090 of the user.

한편, 상기 트래킹 프로세스 중, 상기 사용자의 손 영역(2080, 2090)과 인접한 위치에 물건이 존재하는 것으로 감지되면, 도 17과 달리 상기 사용자의 얼굴을 클로즈업 하여 보여 주지 않고 손 영역(2080, 2090)과 인접한 위치에 존재하는 물건 영역(2095)을 출력하도록 설계된다. 예를 들어, 전술한 멀티플 이미지 센서(제1이미지 센서, 제2이미지 센서)에 의하면, 사용자의 손가락 관절이 구부러진 상태를 디텍트할 수가 있다. 따라서, 상기 손가락 관절이 구부러진 경우, 사용자 얼굴 영역 대신, 손 영역의 주변을 클로즈업 하여 디스플레이 한다.If it is detected that an object exists in a position adjacent to the hand regions 2080 and 2090 of the user during the tracking process, the hand regions 2080 and 2090 may be displayed without close- And to output the object area 2095 existing at a position adjacent to the object area 2095. [ For example, according to the above-described multiple image sensors (the first image sensor and the second image sensor), it is possible to detect the bent state of the user's finger joints. Therefore, when the finger joint is bent, the periphery of the hand region is displayed close-up instead of the user's face region.

따라서, 본 발명의 일실시예에 의한 멀티미디어 디바이스(2000)의 화상 전화 서비스 관련 OSD(2040)는 상대방 화상 이미지(2050) 및 본인 화상 이미지(2060)를 모두 포함하도록 설계된다. 다만, 도 17과 달리, 상기 본인 화상 이미지(2060)에는 사용자 얼굴이 디스플레이 되지 않고, 상기 사용자의 손 영역 주변을 클로즈업 하여 출력하도록 설계된다. 한편, 상기 멀티미디어 디바이스(2000)의 OSD(2040) 상에서 디스플레이 되는 상대방 화상 이미지(2050)는 트래킹 없이 촬영된 이미지 이다. 즉, 화상 전화 서비스와 관련성이 적은 가정내 전체 모습을 필터링 없이 출력하게 된다. 반면, 상기 멀티미디어 디바이스(2000)의 OSD(2040) 상에서 디스플레이 되는 본인 화상 이미지(2060)는 사용자의 손 영역 주변이 촬영된 이미지 이다. Thus, the video telephone service related OSD 2040 of the multimedia device 2000 according to an embodiment of the present invention is designed to include both the counterpart image 2050 and the identity image 2060. However, unlike FIG. 17, the user's face image is not displayed on the user image 2060, but is designed to close-up and output the user's hand area. Meanwhile, the counterpart image 2050 displayed on the OSD 2040 of the multimedia device 2000 is an image captured without tracking. That is, the entire image in the home having a low relevance to the video telephone service is output without filtering. On the other hand, the personal image 2060 displayed on the OSD 2040 of the multimedia device 2000 is an image taken around the user's hand area.

그리고, 화상 전화 서비스를 이용하는 상대방 디바이스(2030)는, 본 발명의 일실시예에 의한 멀티미디어 디바이스(2000)의 상대방 화상 이미지(2050)를 본인의 화상 이미지로 출력하게 되고, 상기 멀티미디어 디바이스(2000)의 본인 화상 이미지(2060)는 상대방 화상 이미지로 출력하게 된다. The other party device 2030 using the video telephone service outputs the counterpart image 2050 of the multimedia device 2000 according to the embodiment of the present invention as the image of the user, The user image image 2060 of the user is outputted as the other party image image.

도 21 내지 도 25는 화상 전화 서비스를 이용하는 과정에서 본 발명의 일실시예에 의한 멀티미디어 디바이스 및 상대방 디바이스의 화면 구성의 제4실시예를 설명하기 위한 도면들이다. 이하, 도 21 내지 도 25를 참조하여 화상 전화 서비스를 이용하는 사용자의 손가락이 가르키는 방향의 영역을 강조하여 디스플레이 하는 방법을 설명하면 다음과 같다. 특히, 도 25에 도시된 디스플레이 화면은, 예컨대 도 21 내지 도 24에 대한 설명을 전제로 하여 설계된다. 따라서, 도 21 내지 도 24를 우선적으로 설명하고, 그 결과에 대하여 도 25를 참조하여 설명하도록 하겠다.21 to 25 are views for explaining a fourth embodiment of a screen configuration of a multimedia device and a counterpart device according to an embodiment of the present invention in the course of using a video telephone service. Hereinafter, a method of highlighting and displaying an area in a direction pointed by the user's finger using the videophone service will be described with reference to Figs. 21 to 25 as follows. In particular, the display screen shown in Fig. 25 is designed on the premise of the description of Figs. 21 to 24, for example. Therefore, Figs. 21 to 24 will be given priority, and the results will be described with reference to Fig.

도 21에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스(2100)의 멀티플 이미지 센서(2110)는 사용자의 얼굴 영역(2170) 및 손 영역(2180, 2190)을 디텍트 한다. 또한, 도 20에서 설명한 바와 같이, 상기 멀티플 이미지 센서(2110)는 사용자의 손가락의 관절 움직임을 디텍트할 수 있다. 예를 들어, 도 22에 도시된 바와 같이, 하나의 손가락만 특정 방향을 가르키고 있는 것으로 디텍트 되면, 상기 손가락과 가로축(x 축)이 이루는 각도를 계산한다. 도 22에서는 상기 계산된 각도가 30도인 경우를 가정하였다.21, the multiple image sensor 2110 of the multimedia device 2100 according to an embodiment of the present invention detects the face region 2170 and the hand regions 2180 and 2190 of the user. Also, as described with reference to FIG. 20, the multiple image sensor 2110 can detect joint motion of the user's finger. For example, as shown in FIG. 22, when the finger is detected as pointing to a specific direction, the angle between the finger and the horizontal axis (x-axis) is calculated. In FIG. 22, it is assumed that the calculated angle is 30 degrees.

따라서, 도 23에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스(2300)의 멀티플 이미지 센서(2310)는 상기 손가락으로부터 일정 각도의 방향으로 소정 거리 만큼 떨어져 있는 일정 위치들(2395, 2396)을 디텍트할 수가 있다. 다만, 상기 소정 거리는 멀티미디어 디바이스의 생산자가 임의로 결정할 수도 있고, 또는 도 24에 도시된 바와 같이 손가락 방향으로부터 어느 정도 떨어진 거리를 클로즈업 할 지 정할 수도 있다.23, the multiple image sensor 2310 of the multimedia device 2300 according to an exemplary embodiment of the present invention includes predetermined positions 2395, 2396) can be detected. However, the predetermined distance may be determined arbitrarily by the manufacturer of the multimedia device, or may be determined to close up a certain distance from the finger direction as shown in Fig.

전술한 도 21 내지 도 24를 가정하여 도 25를 설명하면 다음과 같다.Assuming the above-described FIG. 21 to FIG. 24, FIG. 25 will be described as follows.

도 25에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스(2500)는 화상 전화 서비스 관련 OSD(2540)를 디스플레이 한다. 그리고, 전술하여 설명한 바와 같이, 복수개의 이종 이미지 센서(2510)는 사용자의 얼굴 영역과 손 영역을 트래킹 하도록 설계된다. As shown in FIG. 25, a multimedia device 2500 according to an embodiment of the present invention displays an OSD 2540 related to a video telephone service. And, as described above, the plurality of heterogeneous image sensors 2510 are designed to track the user's face area and hand area.

한편, 상기 트래킹 프로세스 중, 상기 사용자의 손 영역에서 하나의 손가락이 임의의 방향을 가르키는 것으로 감지되면, 도 17과 달리 상기 사용자의 얼굴을 클로즈업 하여 보여 주지 않고 상기 손가락이 가르키는 방향으로 일정 거리 만큼 이격해 있는 영역을 클로즈업 하여 출력하도록 설계된다. 예를 들어, 전술한 멀티플 이미지 센서(제1이미지 센서, 제2이미지 센서)에 의하면, 사용자의 손가락 관절의 변화를 디텍트할 수가 있다. On the other hand, if it is detected that one finger points in an arbitrary direction in the hand region of the user during the tracking process, unlike FIG. 17, the face of the user is not shown in a close- So as to output the close-up area. For example, according to the above-described multiple image sensors (the first image sensor and the second image sensor), it is possible to detect changes in the user's finger joints.

따라서, 본 발명의 일실시예에 의한 멀티미디어 디바이스(2500)의 화상 전화 서비스 관련 OSD(2540)는 상대방 화상 이미지(2550) 및 본인 화상 이미지(2560)를 모두 포함하도록 설계된다. 다만, 도 17과 달리, 상기 본인 화상 이미지(2560)에는 사용자 얼굴이 디스플레이 되지 않고, 상기 사용자의 손가락이 가르키는 방향에 위치한 영역을 클로즈업 하여 출력하도록 설계된다. 한편, 상기 멀티미디어 디바이스(2500)의 OSD(2540) 상에서 디스플레이 되는 상대방 화상 이미지(2550)는 트래킹 없이 촬영된 이미지 이다. 즉, 화상 전화 서비스와 관련성이 적은 가정내 전체 모습을 필터링 없이 출력하게 된다. 반면, 상기 멀티미디어 디바이스(2500)의 OSD(2540) 상에서 디스플레이 되는 본인 화상 이미지(2560)는 사용자의 손가락이 가르키는 방향에 위치한 영역 이다. 또한, 도 24에서 전술한 바와 같이, 손가락과 클로즈업 되는 영역의 거리는 사용자가 임의로 설정할 수도 있고, 또는 자동으로 기설정되어 있을 수도 있다.Thus, the video telephone service-related OSD 2540 of the multimedia device 2500 according to an embodiment of the present invention is designed to include both the counterpart image image 2550 and the personal image image 2560. However, unlike FIG. 17, the user's face image is not displayed on the user image 2560, and is designed to close-up and output an area located in a direction pointed by the user's finger. Meanwhile, the counterpart image image 2550 displayed on the OSD 2540 of the multimedia device 2500 is an image captured without tracking. That is, the entire image in the home having a low relevance to the video telephone service is output without filtering. On the other hand, the original image image 2560 displayed on the OSD 2540 of the multimedia device 2500 is an area located in a direction pointed by the user's finger. Further, as described above with reference to Fig. 24, the distance between the finger and the close-up area may be arbitrarily set by the user, or may be preset automatically.

그리고, 화상 전화 서비스를 이용하는 상대방 디바이스(2530)는, 본 발명의 일실시예에 의한 멀티미디어 디바이스(2500)의 상대방 화상 이미지(2550)를 본인의 화상 이미지로 출력하게 되고, 상기 멀티미디어 디바이스(2500)의 본인 화상 이미지(2560)는 상대방 화상 이미지로 출력하게 된다. The other party device 2530 using the video telephone service outputs the counterpart image 2550 of the multimedia device 2500 according to an embodiment of the present invention to the user's own image image, The user's image image 2560 is output as the other party image image.

그리고, 도 26은 본 발명의 일실시예에 의한 멀티미디어 디바이스의 제어 방법을 도시한 플로우 차트이다. 다만, 도 26에 대한 설명은, 도 1 내지 도 25를 참조하여 보충 해석할 수도 있다.26 is a flowchart illustrating a method of controlling a multimedia device according to an embodiment of the present invention. However, the description of Fig. 26 may be supplementary analyzed with reference to Fig. 1 to Fig.

본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스는, 상기 복수개의 이종 이미지 센서 중 제1이미지 센서를 이용하여, 상기 멀티미디어 디바이스의 주변에 위치한 적어도 하나 이상의 사용자의 제1신체 영역 및 제2신체 영역을 트래킹 한다(S2610). 또한, 상기 멀티미디어 디바이스는 상기 복수개의 이종 이미지 센서 중 제2이미지 센서를 이용하여, 상기 트래킹된 제1신체 영역을 클로즈 업 하여 촬영한다(S2620).A multimedia device using a plurality of heterogeneous image sensors according to an exemplary embodiment of the present invention may include a first image sensor of the plurality of heterogeneous image sensors and a second image sensor of at least one user located in the periphery of the multimedia device, And the second body area (S2610). In addition, the multimedia device photographs the tracked first body area using the second image sensor among the plurality of different image sensors, and photographs the first body area (S2620).

나아가, 상기 멀티미디어 디바이스는, 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터를 화상 전화 서비스의 상대방 디바이스에 전송하고(S2630), 그리고 상기 제2신체 영역의 트래킹 결과에 기초하여, 상기 멀티미디어 디바이스의 화상 전화 서비스의 적어도 하나 이상의 기능을 제어한다(S2640).Further, the multimedia device transmits image data of the first body area photographed by the second image sensor to the partner device of the videophone service (S2630), and based on the tracking result of the second body area, Controls at least one function of the video telephone service of the multimedia device (S2640).

한편, 본 발명의 다른 일실시예에 의하면, 상기 멀티미디어 디바이스의 제어 방법은 상기 제1신체 영역 및 상기 제2신체 영역이 기설정된 범위 이상으로 중복한 경우, 메모리에 액세스 하는 단계와, 상기 액세스된 메모리에 기저장된 이미지 데이터를 추출하는 단계와, 그리고 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터 대신 상기 추출된 이미지 데이터를, 상기 상대방 디바이스로 전송하는 단계를 더 포함한다. 이와 관련해서는 도 18 및 도 19에서 설명된 내용을 참조하여 해석할 수가 있다.According to another embodiment of the present invention, there is provided a method of controlling a multimedia device, comprising: accessing a memory when the first body area and the second body area overlap with each other by a predetermined range or more; Extracting the image data stored in the memory, and transmitting the extracted image data to the counterpart device instead of the image data of the first body area photographed by the second image sensor. In this regard, it can be interpreted by referring to the contents described in FIGS. 18 and 19. FIG.

또한, 본 발명의 또 다른 일실시예에 의하면, 상기 멀티미디어 디바이스의 제어 방법은, 상기 제1이미지 센서를 이용하여, 상기 제2신체 영역과 인접한 사물 영역을 디텍트 하는 단계와, 상기 제2이미지 센서를 이용하여, 상기 디텍트된 사물 영역을 클로즈 업 하여 촬영하는 단계와, 그리고 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터 대신 상기 촬영된 사물 영역의 이미지 데이터를, 상기 상대방 디바이스로 전송하는 단계를 더 포함한다. 이와 관련해서는 도 20에서 설명된 내용을 참조하여 해석할 수가 있다.According to another embodiment of the present invention, a method of controlling a multimedia device includes the steps of: detecting an object area adjacent to the second body area using the first image sensor; The method of claim 1, further comprising the steps of: capturing and capturing the detected object area in close proximity using a sensor and image data of the captured object area in place of the image data of the first body area captured by the second image sensor, To the device. In this regard, it can be interpreted with reference to the contents described in Fig.

그리고, 본 발명의 또 다른 일실시예에 의하면, 상기 멀티미디어 디바이스의 제어 방법은, 상기 제2이미지 센서를 이용하여, 상기 제2신체 영역내 손가락을 디텍트 하는 단계와, 상기 디텍트된 손가락이 지시하는 방향을 계산하는 단계와, 상기 제1이미지 센서를 이용하여, 상기 제2신체 영역내 손가락을 기준으로 상기 계산된 방향에 위치한 사물 영역을 디텍트 하는 단계와, 상기 제2이미지 센서를 이용하여, 상기 디텍트된 사물 영역을 클로즈 업 하여 촬영하는 단계와, 그리고 상기 제2이미지 센서에 의해 촬영된 제1신체 영역의 이미지 데이터 대신 상기 촬영된 사물 영역의 이미지 데이터를, 상기 상대방 디바이스로 전송하는 단계를 더 포함한다. 이와 관련해서는 도 21 내지 도 25에서 설명된 내용을 참조하여 해석할 수가 있다.According to another embodiment of the present invention, a method of controlling a multimedia device includes the steps of: detecting a finger in the second body area using the second image sensor; Detecting a subject area located in the calculated direction with respect to a finger in the second body area using the first image sensor; and using the second image sensor And transmitting the image data of the photographed object area to the counterpart device instead of the image data of the first body area photographed by the second image sensor . In this regard, it can be interpreted with reference to the contents described in FIG. 21 to FIG.

이와 같이 설계된 본 발명의 실시예들에 의하면, 제1 이미지 센서와 제2 이미지 센서의 상호 보완을 통하여, 안면 인식의 성능, 데이터 처리 속도, 그리고 원거리 인식 면에서 모두 개선된 효과가 있다. 또한, 기존에 픽스된 화면만을 제공하는 종래 기술의 문제점을 해결하고, 사용자의 제스처에 따라 보다 다양한 이미지 데이터를 처리 및 제공하는 효과가 있다.According to embodiments of the present invention, the first image sensor and the second image sensor are complementary to each other, thereby improving both the performance of the face recognition, the data processing speed, and the distance recognition. Further, there is an effect of solving the problem of the related art that provides only a previously-fixed screen, and processing and providing a wider variety of image data according to the gesture of the user.

그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양발명의 설명은 보충적으로 적용될 수가 있다.In this specification, both the invention and the invention of the method are explained, and the description of the two inventions can be supplementarily applied as necessary.

본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. The method inventions according to the present invention can all be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

400, 500 : 멀티미디어 디바이스
410, 510 : 인터페이스
420, 520 : 복수개의 이종 이미지 센서400, 500: Multimedia device
410, 510: Interface
420, 520: a plurality of heterogeneous image sensors

Claims

A method of controlling a multimedia device using a plurality of heterogeneous image sensors,
Tracking a first body area and a second body area of at least one or more users located in the periphery of the multimedia device using a first one of the plurality of disparate image sensors;
Capturing and photographing the tracked first body area using a second image sensor of the plurality of heterogeneous image sensors;
Transmitting image data of a first body area photographed by the second image sensor to a partner device of a videophone service;
Controlling at least one function of the video telephone service of the multimedia device based on the tracking result of the second body area;
Detecting a finger in the second body area using the second image sensor;
Calculating a direction indicated by the detected finger;
Detecting a subject area located in the calculated direction with respect to a finger in the second body area using the first image sensor;
Photographing the detected object area close-up using the second image sensor; And
Transmitting image data of the photographed subject area to the partner device instead of image data of a first body area photographed by the second image sensor;
And a plurality of different image sensors including a plurality of different image sensors.

The method according to claim 1,
Wherein the first body area corresponds to the face area of the user,
Wherein the second body area corresponds to an area of the user's hand
A method of controlling a multimedia device using a plurality of heterogeneous image sensors.

3. The method of claim 2,
Accessing a memory if the first body area and the second body area overlap in excess of a predetermined range;
Extracting image data previously stored in the accessed memory; And
Transmitting the extracted image data to the counterpart device instead of the image data of the first body area photographed by the second image sensor
Further comprising a plurality of heterogeneous image sensors.

3. The method of claim 2,
Detecting the object area adjacent to the second body area using the first image sensor;
Photographing the detected object area in close-up using the second image sensor; And
Transmitting image data of the photographed object area to the partner device instead of image data of the first body area photographed by the second image sensor
Further comprising a plurality of heterogeneous image sensors.

delete

The method according to claim 1,
Wherein the first image sensor corresponds to a depth camera,
Wherein the second image sensor corresponds to an RGB camera
A method of controlling a multimedia device using a plurality of heterogeneous image sensors.

In a multimedia device using a plurality of heterogeneous image sensors,
A first image sensor for tracking a first body area and a second body area of at least one or more users located in the periphery of the multimedia device;
A second image sensor for capturing and photographing the tracked first body area;
A network interface for transmitting image data of a first body area photographed by said second image sensor to a partner device of a videophone service; And
And a controller for controlling at least one function of the video telephone service of the multimedia device based on the tracking result of the second body area,
Wherein the first image sensor is a depth camera and the second image sensor is an RGB camera.

8. The method of claim 7,
Wherein the first body area corresponds to the face area of the user,
Wherein the second body area corresponds to an area of the user's hand
A multimedia device using a plurality of heterogeneous image sensors.

9. The method of claim 8,
Further comprising a memory storing at least one image data
A multimedia device using a plurality of heterogeneous image sensors.

10. The method of claim 9,
The controller comprising:
When the first body area and the second body area overlap with each other by a predetermined range or more,
Controls to extract the image data previously stored in the accessed memory, and
Controlling the network interface to transmit the extracted image data to the partner device instead of the image data of the first body area photographed by the second image sensor
A multimedia device using a plurality of heterogeneous image sensors.

9. The method of claim 8,
The controller comprising:
Controls said first image sensor to detect an object area adjacent to said second body area,
Controls the second image sensor to photograph the detected object area in a close-up manner, and
Controlling the network interface to transmit image data of the photographed object area to the partner device instead of image data of the first body area photographed by the second image sensor
A multimedia device using a plurality of heterogeneous image sensors.

9. The method of claim 8,
The controller comprising:
Controls the second image sensor to detect a finger in the second body area,
Calculates a direction indicated by the detected finger,
Controls the first image sensor to detect an object area located in the calculated direction with respect to a finger in the second body area,
Controls the second image sensor to photograph the detected object area in a close-up manner, and
Controlling the network interface to transmit image data of the photographed object area to the partner device instead of image data of the first body area photographed by the second image sensor
A multimedia device using a plurality of heterogeneous image sensors.

delete