KR101401809B1 - Multi-user interface providing device and method in screen - Google Patents

Multi-user interface providing device and method in screen Download PDF

Info

Publication number
KR101401809B1
KR101401809B1 KR1020120128193A KR20120128193A KR101401809B1 KR 101401809 B1 KR101401809 B1 KR 101401809B1 KR 1020120128193 A KR1020120128193 A KR 1020120128193A KR 20120128193 A KR20120128193 A KR 20120128193A KR 101401809 B1 KR101401809 B1 KR 101401809B1
Authority
KR
South Korea
Prior art keywords
user
screen
camera
range
user interface
Prior art date
Application number
KR1020120128193A
Other languages
Korean (ko)
Other versions
KR20140061051A (en
Inventor
김병민
이상헌
손명규
김동주
김현덕
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020120128193A priority Critical patent/KR101401809B1/en
Publication of KR20140061051A publication Critical patent/KR20140061051A/en
Application granted granted Critical
Publication of KR101401809B1 publication Critical patent/KR101401809B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

스크린에서의 다중사용자 인터페이스 제공 장치 및 방법이 개시된다. 스크린과 이격하여 사용자 위치 범위를 설정하는 범위 설정부 및 상기 사용자 위치 범위의 적어도 일부를 시야 범위로 갖는 카메라를, 상기 스크린과 연관하여 복수 개 장착하되, 상기 사용자 위치 범위 내 임의 지점이 두 종류 이하의 시야 범위에 포함되게 상기 카메라의 장착 위치를 조정하는 스크린 제어부를 포함한다.An apparatus and method for providing a multi-user interface on a screen is disclosed. A plurality of cameras having a field of view range of at least a part of the user position range are provided in association with the screen, And a screen control unit for adjusting a mounting position of the camera so as to be included in a visual range of the camera.

Description

스크린에서의 다중사용자 인터페이스 제공 장치 및 방법{MULTI-USER INTERFACE PROVIDING DEVICE AND METHOD IN SCREEN}[0001] MULTI-USER INTERFACE PROVIDING DEVICE AND METHOD IN SCREEN [0002]

본 발명은 카메라를 이용하여 사람의 위치, 동작 등을 판단하여, 멀티디스플레이 시스템이나 프로젝터 등을 이용한 초대형 스크린을 복수의 사용자가 조작 가능하게 하는 구성에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a configuration in which a plurality of users can operate a very large screen using a multi-display system, a projector, or the like by judging the position, operation and the like of a person using a camera.

특히, 본 발명의 실시예들은 스크린과 이격하여 사용자 위치 범위를 설정하고, 상기 사용자 위치 범위의 적어도 일부를 시야 범위로 갖는 카메라를 상기 스크린과 연관하여 복수 개 장착하되, 상기 사용자 위치 범위 내 임의 지점이 두 종류 이하의 시야 범위에 포함되게 상기 카메라의 장착 위치를 조정하는 기술을 포함하고 있다.In particular, the embodiments of the present invention set a user position range apart from the screen, and mount a plurality of cameras in association with the screen with at least a part of the user position range in the field of view, And a technique of adjusting the mounting position of the camera so as to be included in the two or less kinds of viewing ranges.

근래에 들어 초대형 스크린을 활용한 다양한 공연, 전시, 게임 등이 소개되고 있다. 이러한 초대형 스크린과 스크린 앞에 선 사용자와의 상호작용을 위한 방법으로서 터치방식이 사용될 수 있다. 상기 터치방식은 손이 닿지 않는 부분의 조작이 불가능하고 스크린을 직접 만져야 하는 불편함을 가지고 있다.Recently, a variety of performances, exhibitions, and games using ultra-large screens have been introduced. A touch method can be used as a method for interacting with such a super large screen and a user in front of the screen. The touch method has a disadvantage in that it is impossible to operate a part that is out of the reach of the user and must directly touch the screen.

이에 따라 카메라를 이용하여 대형 화면 앞에 있는 여러 명의 사용자의 위치에 따라 상기 카메라의 위치를 조정하고, 상기 카메라로부터 획득된 영상을 처리하여 각 사용자마다 집중하는 스크린의 영역을 파악함으로써, 상호작용을 가능하게 하는 기술이 절실히 요구되고 있다.Accordingly, it is possible to adjust the position of the camera according to the positions of a plurality of users in front of a large screen by using a camera, process the images obtained from the camera, And the like.

본 발명의 목적은 대형 스크린을 다중사용자를 위한 개별 영역으로 분할하고, 상기 개별 영역을 통해 콘텐츠를 제공하면서 상기 다중사용자와 동시에 상호작용을 하는 것에 있다.It is an object of the present invention to divide a large screen into separate areas for multiple users and simultaneously interact with the multiple users while providing content through the separate areas.

또한, 본 발명의 다른 목적은 다중사용자의 얼굴 및 동작이 촬영된 영상을, 대형 스크린에서 처리하고, 이를 통해 인식된 얼굴의 안면 방향 및 동작에 따라 콘텐츠를 제어하는 것에 있다.Another object of the present invention is to process an image of a face and an action of a multi-user in a large screen, and to control the content according to the facial direction and operation of the recognized face.

상기의 목적을 이루기 위한 스크린에서의 다중사용자 인터페이스 제공 장치는, 스크린과 이격하여 사용자 위치 범위를 설정하는 범위 설정부, 및 상기 사용자 위치 범위의 적어도 일부를 시야 범위로 갖는 카메라를, 상기 스크린과 연관하여 복수 개 장착하되, 상기 사용자 위치 범위 내 임의 지점이 두 종류 이하의 시야 범위에 포함되게 상기 카메라의 장착 위치를 조정하는 스크린 제어부를 포함하여 구성할 수 있다.According to an aspect of the present invention, there is provided an apparatus for providing a multi-user interface on a screen, the apparatus comprising: a range setting unit for setting a range of a user's position apart from a screen; and a camera having at least a part of the range of the user's position, And a screen control unit for adjusting a mounting position of the camera such that a plurality of cameras are mounted on the camera so that any point within the user position range is included in a range of two or less types of viewing ranges.

또한, 목적을 달성하기 위한 기술적 방법으로서의 스크린에서의 다중사용자 인터페이스 제공 방법은, 스크린과 이격하여 사용자 위치 범위를 설정하는 단계, 및 상기 사용자 위치 범위의 적어도 일부를 시야 범위로 갖는 카메라를, 상기 스크린과 연관하여 복수 개 장착하는 단계로서, 상기 사용자 위치 범위 내 임의 지점이 두 종류 이하의 시야 범위에 포함되게 상기 카메라의 장착 위치를 조정하는 단계를 포함한다.In addition, a method of providing a multi-user interface on a screen as a technical method for achieving an object includes the steps of setting a user position range apart from the screen, and setting a camera having at least a part of the user position range in a field of view, And adjusting a mounting position of the camera such that any point within the range of the user's position is included in the range of two or less types of viewing ranges.

본 발명의 실시예에 따르면, 대형 스크린과 다수의 사용자가 있을 때 이들 간의 상호작용을 위한 인터페이스를 효과적으로 구현할 수 있다.According to the embodiment of the present invention, an interface for interaction between a large screen and a large number of users can be effectively implemented.

또한, 본 발명의 실시예에 따르면, 복수개의 카메라를 이용함으로써 카메라의 화각에 따른 제약을 줄일 수 있으며, 대형 스크린을 사용자 별로 제어하도록 함으로써 여러 사용자가 함께 사용할 수 있는 인터페이스를 구현할 수 있다.In addition, according to the embodiment of the present invention, by using a plurality of cameras, restriction on the angle of view of the camera can be reduced, and a large screen can be controlled for each user, thereby realizing an interface that can be used by various users.

도 1은 본 발명에 따른 스크린에서의 다중사용자 인터페이스 제공 장치의 구성을 예시한 도면이다.
도 2는 본 발명의 다중사용자 인터페이스 제공 장치에서 범위 설정부의 실행 결과를 예시한 도면이다.
도 3은 본 발명의 다중사용자 인터페이스 제공 장치에서 스크린 제어부의 실행 결과를 예시한 도면이다.
도 4는 본 발명의 다중사용자 인터페이스 제공 장치의 유효 사용자 인식 과정을 예시한 도면이다.
도 5는 본 발명의 다중사용자 인터페이스 제공 방법의 흐름을 예시한 도면이다.1 is a diagram illustrating a configuration of an apparatus for providing a multi-user interface in a screen according to the present invention.
2 is a diagram illustrating the execution result of the range setting unit in the multi-user interface providing apparatus of the present invention.
3 is a diagram illustrating an execution result of a screen control unit in an apparatus for providing a multi-user interface according to the present invention.
4 is a diagram illustrating an effective user recognition process of the multi-user interface providing apparatus of the present invention.
5 is a diagram illustrating a flow of a method for providing a multi-user interface according to the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 일실시예에 따른 스크린에서의 다중사용자 인터페이스 제공 장치 및 방법에 대해 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, an apparatus and method for providing a multi-user interface in a screen according to an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.

본 발명의 다중사용자 인터페이스 제공 장치에 포함되는 스크린은, 여러 사람이 나란히 서있을 때 동시에 콘텐츠를 관람할 수 있고, 한 사람이 상기 스크린 상의 한 지점을 집중적으로 응시할 때, 상기 지점을 기준으로 개별적인 영역을 확보할 수 있는 크기를 갖춘 디스플레이 장치를 의미할 수 있다.The screen included in the apparatus for providing a multi-user interface of the present invention can simultaneously view contents when a plurality of persons stand side by side. When a person intensively looks at one point on the screen, And a display device having a size that can be used.

또한, 상기 스크린은 상기 개별적인 영역으로, 사용자의 동작에 따른 콘텐츠를 출력할 수 있다. 예컨대, 스크린은 사용자의 동작을 촬영함과 동시에 상기 개별적인 영역으로 상기 동작에 관한 그래픽 객체를 출력할 수 있다. 이를 통해, 사용자는 스크린을 보면서 그래픽 객체를 움켜쥔 채 움직이는 동작을 취할 수 있고, 상기 스크린은 상기 사용자 동작 그대로의 모습을 출력할 수 있다.Further, the screen can output the contents according to the operation of the user as the individual areas. For example, the screen may capture a user ' s motion and at the same time output a graphical object relating to the motion to the respective area. In this way, the user can take a moving operation while grabbing the graphic object while viewing the screen, and the screen can display the state of the user as it is.

또한, 본 발명에서는, 상기 사용자의 동작을 인식할 수 있는 사용자 위치 범위를 설정할 수 있다. 상기 스크린을 보면서 동작하는 사용자를 촬영하기 위한 카메라를 스크린 상단 혹은 하단에 장착하는 경우, 상기 사용자 위치 범위는 상기 카메라의 해상도에 따라 사용자의 얼굴과 동작 인식이 가능한 거리 이내에 존재하도록 설정할 수 있다.Also, in the present invention, a user position range capable of recognizing the operation of the user can be set. When a camera for photographing a user who operates while viewing the screen is mounted on the upper or lower side of the screen, the user position range may be set to be within a distance that enables recognition of the motion of the user with the face of the user according to the resolution of the camera.

또한 본 명세서에서 인터페이스는 상기 스크린 및 상기 카메라를 의미할 수 있다. 예컨대, 상기 인터페이스는 사용자에게 상기 스크린을 통해 콘텐츠를 보여주고, 사용자의 동작을 상기 카메라를 통해 상기 사용자의 동작을 입력받아 인식함으로써 상호작용을 가능하게 할 수 있다.Also, in this specification, an interface may mean the screen and the camera. For example, the interface may enable a user to view content through the screen and to interact with the user by recognizing the user's actions through the camera.

또한, 콘텐츠는 상기 스크린을 통하여 문자, 음성, 이미지, 영상 등의 방식으로 제공되는 정보 또는 내용물로 정의될 수 있다.In addition, the content may be defined as information or content provided in the form of text, voice, image, video, etc. through the screen.

도 1은 본 발명에 따른 스크린에서의 다중사용자 인터페이스 제공 장치의 구성을 예시한 도면이다.1 is a diagram illustrating a configuration of an apparatus for providing a multi-user interface in a screen according to the present invention.

다중사용자 인터페이스 제공 장치(100)는 사용자가 동작을 통해 스크린을 제어할 수 있도록 동작을 입력 받는 카메라와 콘텐츠를 출력하는 스크린을 포함할 수 있다.The multi-user interface providing apparatus 100 may include a camera for inputting an operation and a screen for outputting contents so that a user can control the screen through an operation.

이를 위해, 다중사용자 인터페이스 제공 장치(100)는 범위 설정부(110) 및 스크린 제어부(120)를 포함하여 구성될 수 있다. 또한, 다중사용자 인터페이스 제공 장치(100)는 실시예에 따라, 영상 획득부(130), 영상 처리부(140), 응용 처리부(150)를 추가적으로 포함할 수 있다.To this end, the multi-user interface providing apparatus 100 may include a range setting unit 110 and a screen control unit 120. In addition, the apparatus 100 for providing a multi-user interface may further include an image acquisition unit 130, an image processing unit 140, and an application processing unit 150 according to an embodiment.

우선, 범위 설정부(110)는 상기 스크린과 이격하여 사용자 위치 범위를 설정한다. 사용자는 상기 사용자 위치 범위 내에 위치하여 상기 스크린과 연결된 카메라에 노출됨으로써, 키패드 같은 입력 장치를 접촉하지 않고 상호작용을 할 수 있다. 즉, 범위 설정부(110)는 상기 스크린 크기와 상기 카메라 해상도를 입력 받아 사용자 위치 범위를 설정할 수 있다.First, the range setting unit 110 sets a user position range apart from the screen. The user is located within the user location range and is exposed to the camera connected to the screen so that the user can interact without touching the input device such as a keypad. That is, the range setting unit 110 may set the user position range by receiving the screen size and the camera resolution.

상기 사용자 위치 범위는, 상기 스크린과 수직인 지면에서 사각형 모양의 영역으로 설정될 수 있다. 상기 스크린의 가로와 평행을 이루는 상기 사용자 위치 범위의 가로 폭은, 상기 스크린의 가로 폭에 비례하게 설정할 수 있고, 상기 사용자 위치 범위의 높이는, 상기 카메라의 해상도가 높을수록 길게 설정할 수 있다.The user location range may be set to a rectangular area on a plane perpendicular to the screen. The horizontal width of the user position range parallel to the horizontal direction of the screen may be set to be proportional to the horizontal width of the screen. The height of the user position range may be set to be longer as the resolution of the camera is higher.

또한, 범위 설정부(110)는 상기 스크린에서부터 상기 사용자 위치 범위까지의 거리를 상기 카메라 해상도에 비례하게 설정할 수 있다.Also, the range setting unit 110 may set the distance from the screen to the user position range to be proportional to the camera resolution.

상기 사용자 위치 범위의 설정이 완료되면, 범위 설정부(110)는 다중사용자 각자 볼 수 있는 스크린 영역의 크기를 설정할 수 있다.When the setting of the user location range is completed, the range setting unit 110 can set the size of the screen area that each user can see.

스크린 제어부(120)는 상기 사용자 위치 범위의 적어도 일부를 시야 범위로 갖는 카메라를, 상기 스크린과 연관하여 복수 개 장착한다. 특히, 스크린 제어부(120)는 상기 카메라 장착에 있어서, 상기 사용자 위치 범위 내 임의 지점이 두 종류 이하의 시야 범위에 포함되게 상기 카메라의 장착 위치를 조정할 수 있다.The screen control unit 120 mounts a plurality of cameras in association with the screen, the cameras having at least a part of the user position range in the field of view. In particular, the screen control unit 120 may adjust the mounting position of the camera so that any point within the user position range is included in the range of two or less of the range of the camera position.

예컨대, 스크린 제어부(120)는 상기 카메라의 장착 위치로서, 상기 스크린을 가리지 않고 상기 사용자 위치 범위를 일정하게 촬영할 수 있는 상기 스크린의 상단과 하단 부분으로 조정할 수 있다.For example, the screen control unit 120 can adjust the upper and lower portions of the screen, which can photograph the user's position range uniformly without blocking the screen, as the mounting position of the camera.

또한, 스크린 제어부(120)는 카메라의 시야 범위를 고려하여 상기 장착 위치를 조정할 수 있다. 예컨대, 스크린 제어부(120)는 상기 카메라의 시야범위가 클수록 간격을 크게 조정하여 카메라 장착 위치를 설정 및 조정 할 수 있다.In addition, the screen control unit 120 can adjust the mounting position in consideration of the field of view of the camera. For example, the screen control unit 120 can set and adjust the camera mounting position by adjusting the interval largely as the view range of the camera is increased.

다른 실시예에서, 다중사용자 인터페이스 제공 장치(100)는 영상 병합을 위한 영상 획득부(130)를 포함할 수 있다.In another embodiment, the multi-user interface provision apparatus 100 may include an image acquisition unit 130 for merging images.

즉, 영상 획득부(130)는 상기 복수 개의 카메라 각각으로부터 상기 사용자 위치 범위에 대해 촬영한 영상을 획득하고, 상기 획득한 복수 개의 영상을 병합하여, 상기 스크린을 통해 디스플레이 한다. 상기 카메라의 시야 범위는, 렌즈로부터 떨어질수록 커지는 형태로서, 상기 사용자 위치 범위에서 복수 개의 카메라로 인해 중첩되는 시야 범위가 존재할 수 있다.That is, the image acquiring unit 130 acquires an image photographed with respect to the user position range from each of the plurality of cameras, merges the acquired images, and displays the merged images on the screen. The field of view of the camera increases as it gets away from the lens, and there may be an overlapping field of view due to a plurality of cameras in the user location range.

예컨대, 영상 획득부(130)는 중첩되지 않은 시야범위의 영상과 상기 중첩되는 시야 범위에서 더 가까운 카메라의 영상을 이용하여 병합할 수 있다. 이를 위해, 영상 획득부(130)는 상기 사용자 위치 범위 내 촬영 지점과, 상기 촬영 지점을 시야 범위로 포함하는 카메라와의 사이 거리를 측정할 수 있고, 상기 측정된 사이 거리가 상대적으로 짧은 카메라로부터, 상기 촬영 지점에 대해 촬영한 영상을 획득할 수 있다.For example, the image acquiring unit 130 may merge the images of the non-overlapping field of view with the images of the cameras closer to the overlapping field of view. To this end, the image obtaining unit 130 may measure the distance between the photographing point within the user position range and the camera including the photographing point in the field of view, and the distance between the measured distance and the camera is relatively short , It is possible to acquire an image photographed with respect to the photographing point.

다른 실시예에서, 다중사용자 인터페이스 제공 장치(100)는 유효 사용자를 결정하는 영상 처리부(140)를 포함할 수 있다.In another embodiment, the multi-user interface providing apparatus 100 may include an image processing unit 140 for determining an effective user.

즉, 영상 처리부(140)는, 상기 획득된 영상에서 얼굴을 검출하고 상기 검출된 얼굴의 안면 방향이 상기 스크린을 향하는지 판단하여 유효 사용자를 결정할 수 있다. 상기 획득된 영상에는 상기 스크린이 아닌 곳을 응시하는 사용자, 상기 사용자 위치 범위의 일부분에 위치한 사용자, 다른 사용자가 응시한 스크린의 영역을 응시하는 사용자 등이 포함될 수 있다.That is, the image processing unit 140 can determine a valid user by detecting a face from the obtained image and determining whether the face direction of the detected face is directed to the screen. The acquired image may include a user looking at a non-screen area, a user located in a part of the user location range, or a user staring at a screen area of another user.

영상 처리부(140)는 상기 획득된 영상을 픽셀 단위로 순차적으로 탐색하면서, 눈, 코, 입 형태를 갖춘 얼굴을 검출하고, 상기 얼굴 영역의 입체적인 특징을 추출하여 안면 방향을 측정할 수 있다.The image processing unit 140 can detect faces having eyes, nose, and mouth shapes while sequentially searching for the obtained images on a pixel-by-pixel basis, and measure the face direction by extracting three-dimensional features of the face regions.

또한, 영상 처리부(140)는 상기 안면 방향이 향하는 스크린의 점을 기준으로 기 설정된 가로, 세로 크기 만큼의 영역을 상기 얼굴이 촬영된 유효 사용자의 개별 영역으로 등록할 수 있다.In addition, the image processing unit 140 may register an area of predetermined horizontal and vertical sizes based on the point of the screen facing the face direction as an individual area of the effective user photographed by the face.

또한, 영상 처리부(140)는 상기 결정된 유효 사용자의 이후 동작을 인식하고, 동일 시간에 다수의 동작을 인식할 경우, 상대적으로 먼저 결정된 유효 사용자의 동작을 인식할 수 있다.In addition, the image processor 140 recognizes subsequent operations of the determined effective user, and recognizes a plurality of operations performed at the same time.

또 다른 실시예에서, 다중사용자 인터페이스 제공 장치(100)는 사용자와 인터페이싱 하거나, 유용한 정보를 제공하는 응용 처리부(150)를 포함할 수 있다.In yet another embodiment, the multi-user interface providing apparatus 100 may include an application processing unit 150 that interfaces with a user or provides useful information.

즉, 응용 처리부(150)는, 상기 유효 사용자의 동작에 따른 인터페이스와 콘텐츠를, 상기 스크린을 통해 상기 유효 사용자에게 제공할 수 있다. 상기 콘텐츠는 객체 단위로 구성되어 상기 유효 사용자 동작에 의해 제어될 수 있다.That is, the application processing unit 150 can provide the interface and the content according to the operation of the effective user to the effective user through the screen. The content may be organized on an object-by-object basis and controlled by the effective user action.

상기와 같은 구성으로, 다중사용자 인터페이스 제공 장치(100)는 대형 스크린과 다수의 사용자가 있을 때 이들 간의 상호작용을 위한 인터페이스를 효과적으로 구현할 수 있다.With the above-described configuration, the multi-user interface providing apparatus 100 can effectively implement an interface for interaction between a large screen and a large number of users.

또한, 다중사용자 인터페이스 제공 장치(100)는 복수개의 카메라를 이용함으로써, 카메라의 화각에 따른 제약을 줄일 수 있으며, 여러 명의 사용자를 구분하여 대형 스크린을 사용자별로 개별적으로 제어하도록 함으로써 여러 사용자가 동시에 사용할 수 있는 인터페이스를 구현할 수 있다.In addition, the multi-user interface providing apparatus 100 can reduce constraints depending on the angle of view of a camera by using a plurality of cameras, and can control multiple users by dividing a large screen into individual screens, You can implement an interface that can be.

도 2는 본 발명의 다중사용자 인터페이스 제공 장치에서 범위 설정부의 실행 결과를 예시한 도면이다.2 is a diagram illustrating the execution result of the range setting unit in the multi-user interface providing apparatus of the present invention.

범위 설정부(110)는 스크린(250)과 수직을 이루는 지면에서 상기 스크린과 평행하면서 이격된 사각형 형태의 영역을 사용자 위치 범위(210)로 설정할 수 있다. 사용자 위치 범위(210)의 가로 길이(220), 세로 길이(230) 및 거리(240)의 값은, 서로 의존적인 관계가 될 수 있다.The range setting unit 110 may set a rectangular area, which is parallel to the screen and spaced apart from the screen, perpendicular to the screen 250 to the user position range 210. The values of the horizontal length 220, vertical length 230, and distance 240 of the user location range 210 may be dependent on each other.

예컨대, 범위 설정부(110)는 거리(240)가 멀수록, 상기 카메라의 시야 범위가 넓어지므로 가로 길이(220)를 길게 설정할 수 있다. 상기 가로 길이는 스크린(250)의 가로 길이에 의해 결정될 수 있다. 또는, 사용자(270)가 스크린의 가장 왼쪽 앞에 서 있는 경우, 상기 사용자의 시야 범위는, 스크린을 벗어나게 설정될 수 있다.For example, the range setting unit 110 can set the horizontal length 220 to be longer because the range of view of the camera is wider as the distance 240 is longer. The transverse length may be determined by the transverse length of the screen 250. Alternatively, if the user 270 is standing in front of the leftmost of the screen, the user's field of view may be set off the screen.

또한, 범위 설정부(110)는 상기 시야 범위를 이용하여 상기 사용자 위치 범위의 가로 길이의 최대 값을 설정할 수 있다. 또한, 범위 설정부(110)는 상기 스크린 상단에 장착된 카메라(260)의 시야 범위에서 가장 왼쪽의 한 점과 가장 오른쪽의 한 점을 이은 선이 상기 스크린과 수평이 되는 길이를 가로 길이(220)의 최대값으로 설정할 수 있다.Also, the range setting unit 110 may set the maximum value of the horizontal length of the user position range by using the field-of-view range. In addition, the range setting unit 110 sets the length of a line between the leftmost point and the rightmost point in the viewing range of the camera 260 mounted on the upper side of the screen to be horizontal with respect to the screen, ). ≪ / RTI >

또한, 범위 설정부(110)는 카메라(260)의 해상도를 입력 받아 사용자 위치 범위(210)의 세로 길이(230)를 결정할 수 있다. 상기 해상도가 높을수록 상기 사용자가 상기 스크린으로부터 멀리 떨어져 있어도 얼굴 검출이 가능하기 때문에, 범위 설정부(110)는 상기 세로 길이를 길게 설정할 수 있다.The range setting unit 110 may determine the vertical length 230 of the user position range 210 by receiving the resolution of the camera 260. Since the face can be detected even when the user is far away from the screen as the resolution is higher, the range setting unit 110 can set the vertical length to be longer.

또한, 범위 설정부(110)는, 상기 해상도를 고려하여 거리(240)를 결정할 수 있다. 예컨대, 범위 설정부(110)는 상기 해상도에 따라 사용자의 얼굴 검출이 가능한 최대 거리 및 최소 거리를 설정할 수 있다.Also, the range setting unit 110 can determine the distance 240 in consideration of the resolution. For example, the range setting unit 110 may set the maximum distance and the minimum distance that the user can detect the face according to the resolution.

도 3은 본 발명의 다중사용자 인터페이스 제공 장치에서 스크린 제어부의 실행 결과를 예시한 도면이다.3 is a diagram illustrating an execution result of a screen control unit in an apparatus for providing a multi-user interface according to the present invention.

스크린 제어부(120)는 상기 사용자 위치 범위가 결정된 상태에서 카메라(320)의 장착 위치를 설정할 수 있다. 복수 개의 카메라(320)로부터 획득된 영상을 병합하기 위해, 스크린 제어부(120)는 복수 개의 카메라(320)를 동일한 수평선에 위치시킬 수 있다. 그리고, 스크린 제어부(120)는 상기 사용자 위치 범위의 어느 한쪽에 치우치지 않고 대칭적인 영상을 획득하기 위해, 스크린(310)의 상단 또는 하단에 복수 개의 카메라(320)를 일정 간격으로 장착할 수 있다.The screen control unit 120 can set the mounting position of the camera 320 in a state where the user position range is determined. In order to merge the images obtained from the plurality of cameras 320, the screen control unit 120 may place the plurality of cameras 320 on the same horizontal line. The screen control unit 120 may mount a plurality of cameras 320 at an upper or lower end of the screen 310 at regular intervals in order to obtain a symmetric image without being shifted to any one of the user position ranges .

일례로서, 스크린 제어부(120)는 상기 카메라에서 시야 범위 한계선(340)이 사용자 위치 범위를 벗어나는 위치에, 첫 번째 카메라를 장착할 수 있다.As an example, the screen control unit 120 may mount the first camera at a position where the field-of-view limit line 340 is out of the user's position range in the camera.

또한, 스크린 제어부(120)는 상기 첫 번째 카메라의 시야 범위 한계선과 사용자 위치 범위(330)의 하단 가로 변과 만나는 점을 두 번째 카메라의 시야 범위 한계선이 통과하도록 두 번째 카메라의 위치를 설정할 수 있다. 이때, 스크린 제어부(120)는 사용자 위치 범위(330)의 모든 영역이 상기 복수 개의 카메라의 시야 범위에 포함될 수 있도록 간격과 위치를 조정할 수 있다.In addition, the screen control unit 120 can set the position of the second camera so that the field of view boundary line of the second camera passes through the point of intersection of the field of view limit line of the first camera and the lower side of the user location range 330 . At this time, the screen control unit 120 may adjust the interval and the position so that all the areas of the user position range 330 are included in the field of view of the plurality of cameras.

결과적으로 상기 사용자 위치 범위에는 한 개의 카메라의 시야 범위에 포함되는 영역과 두 개의 카메라의 시야 범위에 포함되는 영역이 존재할 수 있다. 이때, 상기 두 개의 카메라의 시야 범위에 포함되는 영역에서는, 더 가까운 카메라의 시야 범위에 포함되는 사용자 영상을 획득할 수 있다.As a result, the user position range may include an area included in a field of view of one camera and an area included in a field of view of two cameras. At this time, the user image included in the field of view of the closer camera can be obtained in the area included in the field of view of the two cameras.

도 4는 본 발명의 다중사용자 인터페이스 제공 장치의 유효 사용자 인식 과정을 예시한 도면이다.4 is a diagram illustrating an effective user recognition process of the multi-user interface providing apparatus of the present invention.

영상 처리부(140)는, 카메라(440)에 의해 촬영된 영상이 영상 획득부(130)에서 병합된 영상으로 재구성되면, 픽셀 단위로 얼굴을 검출할 수 있다. 상기 병합된 영상은 사용자 위치 범위(450)에 있는 모든 사용자(430)에 관한 영상을 포함 할 수 있고, 경우에 따라 스크린(410)의 크기 보다 클 수 있다.When the image photographed by the camera 440 is reconstructed into a merged image in the image acquisition unit 130, the image processing unit 140 can detect the face in pixel units. The merged image may include an image for all users 430 in the user location range 450 and may be larger than the size of the screen 410 in some cases.

또한, 영상 처리부(140)는 영상의 좌측 상단의 픽셀부터 순차적으로 탐색하여 픽셀 값을 분석하여 얼굴을 검출할 수 있고, 이때 왼쪽 사용자의 얼굴을 먼저 검출할 수 있다.In addition, the image processing unit 140 can detect a face by sequentially searching for pixels from the upper left corner of the image, analyzing pixel values, and then detecting the face of the left user first.

또한, 영상 처리부(140)는 상기 검출된 얼굴의 입체적인 특징을 추출하여 안면 방향을 측정하여 상기 사용자가 응시하는 스크린(410)의 초점을 찾을 수 있다. 여기서, 상기 초점이 이전에 할당된 영역이 아닌 경우, 상기 사용자는 상기 초점을 중앙으로 가로, 세로 일정한 길이의 개별 영역을 할당 받을 수 있는 유효 사용자가 될 수 있다.In addition, the image processing unit 140 can extract the three-dimensional characteristics of the detected face, measure the face direction, and find the focus of the screen 410 that the user is looking at. Here, if the focal point is not a previously allocated area, the user may be an effective user who can be allocated an individual area having a predetermined length and width in the center of the focal point.

이를 통해, 영상 처리부(140)는 상기 개별 영역을 상기 스크린 상에 표시할 수 있고, 상기 사용자 및 상기 개별 영역을 서로 연결하여 상호작용이 이루어지게 할 수 있다.Accordingly, the image processing unit 140 can display the individual region on the screen, and can connect the user and the individual regions to each other to allow the user to interact with each other.

도 5는 본 발명의 다중사용자 인터페이스 제공 방법의 흐름을 예시한 도면이다.5 is a diagram illustrating a flow of a method for providing a multi-user interface according to the present invention.

실시예에 따른 다중사용자 인터페이스 제공 방법은, 앞서 설명된 다중사용자 인터페이스 제공 장치(100)에 의해 수행될 수 있다.The method for providing a multi-user interface according to the embodiment may be performed by the multi-user interface providing apparatus 100 described above.

단계 510에서, 다중사용자 인터페이스 제공 장치(100) 스크린과 이격하여 사용자 위치 범위를 설정한다. 사용자는 상기 사용자 위치 범위 내에 위치하여 상기 스크린과 연결된 카메라에 노출됨으로써, 키패드 같은 입력 장치를 접촉하지 않고 상호작용을 할 수 있다.At step 510, the user location range is set apart from the screen of the multi-user interface providing apparatus 100. The user is located within the user location range and is exposed to the camera connected to the screen so that the user can interact without touching the input device such as a keypad.

단계 510에서, 다중사용자 인터페이스 제공 장치(100)는 상기 스크린 크기와 상기 카메라 해상도를 입력 받아 사용자 위치 범위를 설정할 수 있다. 상기 사용자 위치 범위는 상기 스크린과 수직인 지면에서 사각형 모양의 영역이 될 수 있다. 상기 스크린의 가로와 평행을 이루는 상기 사용자 위치 범위의 가로 폭은, 상기 스크린의 가로 폭에 비례하게 설정할 수 있고, 상기 사용자 위치 범위의 높이는 상기 카메라의 해상도가 높을수록 길게 설정할 수 있다.In step 510, the multi-user interface providing apparatus 100 may set the user position range by receiving the screen size and the camera resolution. The user location range may be a rectangular area on a plane perpendicular to the screen. The horizontal width of the user position range parallel to the horizontal of the screen may be set to be proportional to the horizontal width of the screen. The height of the user position range may be set to be longer as the resolution of the camera is higher.

또한, 다중사용자 인터페이스 제공 장치(100)는 상기 스크린에서부터 상기 사용자 위치 범위까지의 거리도 상기 카메라 해상도에 비례하게 설정할 수 있다. 상기 사용자 위치 범위의 설정이 완료되면, 다중사용자 인터페이스 제공 장치(100)는 다중 사용자 각자 볼 수 있는 스크린 영역의 크기를 설정할 수 있다.Also, the multi-user interface providing apparatus 100 may set the distance from the screen to the user location range in proportion to the camera resolution. When the setting of the user location range is completed, the multi-user interface providing apparatus 100 can set the size of the screen area that each user can view.

단계 520에서 다중사용자 인터페이스 제공 장치(100)는 상기 사용자 위치 범위의 적어도 일부를 시야 범위로 갖는 카메라를, 상기 스크린과 연관하여 복수 개 장착하되, 상기 사용자 위치 범위 내 임의 지점이 두 종류 이하의 시야 범위에 포함되게 상기 카메라의 장착 위치를 조정할 수 있다.In step 520, the multiple-user-interface provision apparatus 100 mounts a plurality of cameras associated with the screen, the cameras having at least a part of the user's position range in the field of view, The mounting position of the camera can be adjusted so as to be included in the range.

상기 장착 위치는 상기 스크린을 가리지 않고 상기 사용자 위치 범위를 일정하게 촬영할 수 있는 상기 스크린의 상단과 하단 부분으로 조정할 수 있다.The mounting position can be adjusted to the upper and lower portions of the screen, which can photograph the user's position range uniformly without blocking the screen.

단계 520에서 다중사용자 인터페이스 제공 장치(100)는, 카메라의 시야 범위를 고려하여 상기 장착 위치를 조정할 수 있다. 예컨대, 상기 카메라의 시야범위가 클수록, 다중사용자 인터페이스 제공 장치(100)는 간격을 크게 조정하여 카메라 장착 위치를 설정할 수 있다.In step 520, the multi-user interface providing apparatus 100 may adjust the mounting position in consideration of the camera's field of view range. For example, as the field of view of the camera is increased, the multi-user interface providing apparatus 100 may adjust the gap to set the camera mount position.

단계 530에서 다중사용자 인터페이스 제공 장치(100)는 상기 복수 개의 카메라 각각으로부터 상기 사용자 위치 범위에 대해 촬영한 영상을 획득하고, 상기 획득한 복수 개의 영상을 병합하여, 상기 스크린을 통해 디스플레이 한다.In step 530, the multi-user interface providing apparatus 100 acquires an image photographed for the user location range from each of the plurality of cameras, merges the plurality of acquired images, and displays the merged images on the screen.

상기 카메라의 시야 범위는 렌즈로부터 떨어질수록 커지는 형태로서, 상기 사용자 위치 범위에서 복수 개의 카메라로 인해 중첩되는 시야 범위가 존재할 수 있다. 다중사용자 인터페이스 제공 장치(100)는 중첩되지 않은 시야범위의 영상과 상기 중첩되는 시야 범위에서 더 가까운 카메라의 영상을 이용하여 병합할 수 있다.The viewing range of the camera increases as the distance from the lens increases, and there may be a range of view overlapped by a plurality of cameras in the user position range. The multi-user interface providing apparatus 100 can merge the images in the non-overlapping field of view with the images in the camera closer to the overlapping field of view.

이를 위해, 다중사용자 인터페이스 제공 장치(100)는 상기 사용자 위치 범위 내 촬영 지점과, 상기 촬영 지점을 시야 범위로 포함하는 카메라와의 사이 거리를 측정할 수 있고, 상기 측정된 사이 거리가 상대적으로 짧은 카메라로부터, 상기 촬영 지점에 대해 촬영한 영상을 획득할 수 있다.To this end, the multi-user interface providing apparatus 100 can measure the distance between the photographing point within the user location range and the camera including the photographing point in the field of view, and the measured distance is relatively short From the camera, it is possible to acquire an image photographed with respect to the photographing point.

상기 획득된 영상에서 얼굴 검출이 성공하면(단계 540의 '예'), 단계 550에서 다중사용자 인터페이스 제공 장치(100)는 상기 검출된 얼굴의 안면 방향을 측정하여 상기 스크린을 향하는지 판단하여 유효 사용자를 결정할 수 있다.If the face detection is successful in the acquired image (YES in step 540), the multi-user interface providing apparatus 100 measures the face direction of the detected face in step 550 to determine whether the face is facing the screen, Can be determined.

또한, 유효 사용자로 판단되는 경우(단계 560의 '예'), 다중사용자 인터페이스 제공 장치(100)는 상기 획득된 영상을 픽셀 단위로 순차적으로 탐색하면서 눈, 코, 입 형태를 갖춘 얼굴을 검출하고, 상기 얼굴 영역의 입체적인 특징을 추출하여 안면 방향을 측정할 수 있다. 상기 획득된 영상에는 상기 스크린이 아닌 곳을 응시하는 사용자, 상기 사용자 위치 범위의 일부분에 위치한 사용자, 다른 사용자가 응시한 스크린의 영역을 응시하는 사용자 등이 포함될 수 있다.If it is determined that the user is an effective user (YES in step 560), the multi-user interface providing apparatus 100 sequentially detects the obtained image in units of pixels and detects faces having eyes, nose, mouth shapes , The face direction can be measured by extracting the three-dimensional characteristics of the face region. The acquired image may include a user looking at a non-screen area, a user located in a part of the user location range, or a user staring at a screen area of another user.

예컨대, 다중사용자 인터페이스 제공 장치(100)는 상기 안면 방향이 향하는 스크린의 점을 기준으로 기 설정된 가로, 세로 크기 만큼의 영역을 상기 얼굴이 촬영된 유효 사용자의 개별 영역으로 등록할 수 있다.For example, the multi-user interface providing apparatus 100 may register an area of predetermined width and height based on a point of the screen facing the face direction as an individual area of the effective user photographed by the face.

단계 570에서 다중사용자 인터페이스 제공 장치(100)는 상기 결정된 유효 사용자의 이후 동작을 인식하고, 동일 시간에 다수의 동작을 인식할 경우, 상대적으로 먼저 결정된 유효 사용자의 동작을 인식할 수 있다.In step 570, the multi-user interface providing apparatus 100 recognizes the subsequent operation of the determined effective user, and recognizes the operation of the relatively effective user when it recognizes a plurality of operations at the same time.

예컨대, 다중사용자 인터페이스 제공 장치(100)는 상기 유효 사용자의 동작에 따른 인터페이스와 콘텐츠를, 상기 스크린을 통해 상기 유효 사용자에게 제공할 수 있다. 상기 콘텐츠는 객체 단위로 구성되어 상기 유효 사용자 동작에 의해 제어될 수 있다.For example, the multi-user interface providing apparatus 100 may provide an interface and content according to the operation of the effective user to the effective user through the screen. The content may be organized on an object-by-object basis and controlled by the effective user action.

본 발명에 의해서는 대형 스크린과 다수의 사용자가 있을 때 이들 간의 상호작용을 위한 인터페이스를 효과적으로 구현할 수 있다.According to the present invention, an interface for interaction between a large screen and a large number of users can be effectively implemented.

또한, 본 발명에 따르면 복수개의 카메라를 이용함으로써, 카메라의 화각에 따른 제약을 줄일 수 있으며, 여러 명의 사용자를 구분하여 대형 스크린을 사용자별로 개별적으로 제어하도록 함으로써 여러 사용자가 동시에 사용할 수 있는 인터페이스를 구현할 수 있다.In addition, according to the present invention, by using a plurality of cameras, it is possible to reduce constraints according to the angle of view of a camera, to divide a plurality of users into separate large screens, and to implement an interface .

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.　The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100 : 다중사용자 인터페이스 제공 장치
110 : 범위 설정부
120 : 스크린 제어부
130 : 영상 획득부
140 : 영상 처리부
150 : 응용 처리부100: Multi-user interface providing device
110: Range setting unit
120: Screen control unit
130:
140:
150: application processor

Claims (12)

스크린과 이격하여 사용자 위치 범위를 설정하는 범위 설정부; 및
상기 사용자 위치 범위의 적어도 일부를 시야 범위로 갖는 카메라를, 상기 스크린과 연관하여 복수 개 장착하되, 상기 사용자 위치 범위 내 임의 지점이 두 종류 이하의 시야 범위에 포함되게 상기 카메라의 장착 위치를 조정하는 스크린 제어부
를 포함하고,
상기 스크린 제어부는,
제1 카메라가 갖는 시야 범위의 한계선이 상기 사용자 위치 범위를 벗어나는 위치에, 상기 제1 카메라를 장착하고,
상기 제1 카메라가 갖는 시야 범위의 다른 한계선과 상기 사용자 위치 범위의 하단 변과 만나는 점을, 제2 카메라가 갖는 시야 범위의 한계선이 통과하는 위치에, 상기 제2 카메라를 장착하며,
상기 제1 카메라와 상기 제2 카메라를 동일한 수평선 상에 위치하여 장착하는
스크린에서의 다중사용자 인터페이스 제공 장치.A range setting unit for setting a user position range apart from the screen; And
A plurality of cameras having at least a part of the user position range in the field of view are mounted in association with the screen, and the mounting position of the camera is adjusted such that any point within the range of the user position is included in a range of two or less The screen control unit
Lt; / RTI >
The screen control unit,
The first camera is mounted at a position where the limit line of the visual range of the first camera is out of the user position range,
The second camera is mounted at a position where a limit line of a field of view of the second camera passes through a boundary between another boundary line of the first camera and a lower edge of the user location range,
The first camera and the second camera are placed on the same horizontal line and mounted
A device for providing multiple user interfaces on a screen. 제1항에 있어서,
상기 다중사용자 인터페이스 제공 장치는,
상기 복수 개의 카메라 각각으로부터 상기 사용자 위치 범위에 대해 촬영한 영상을 획득하고, 상기 획득한 복수 개의 영상을 병합하여, 상기 스크린을 통해 디스플레이하는 영상 획득부
를 더 포함하는 스크린에서의 다중사용자 인터페이스 제공 장치.The method according to claim 1,
The multi-user interface providing apparatus includes:
An image acquiring unit for acquiring an image photographed with respect to the user position range from each of the plurality of cameras, merging the acquired images,
Further comprising: means for generating a user interface for the user interface. 제2항에 있어서,
상기 영상 획득부는,
상기 사용자 위치 범위 내 촬영 지점과, 상기 촬영 지점을 시야 범위로 포함하는 카메라와의 사이 거리를 측정하고, 상기 측정된 사이 거리가 상대적으로 짧은 카메라로부터, 상기 촬영 지점에 대해 촬영한 영상을 획득하는
스크린에서의 다중사용자 인터페이스 제공 장치.3. The method of claim 2,
The image acquiring unit may acquire,
A distance between the photographing point within the range of the user's position and the camera including the photographing point in the field of view is measured and an image photographed with respect to the photographing point is acquired from a camera having the measured distance between the cameras
A device for providing multiple user interfaces on a screen. 제2항에 있어서,
상기 다중사용자 인터페이스 제공 장치는,
상기 획득된 영상에서 얼굴을 검출하고 상기 검출된 얼굴의 안면 방향이 상기 스크린을 향하는지를 판단하여 유효 사용자를 결정하는 영상 처리부
를 더 포함하는 스크린에서의 다중사용자 인터페이스 제공 장치.3. The method of claim 2,
The multi-user interface providing apparatus includes:
A face detection unit for detecting a face in the obtained image and determining whether the face direction of the detected face is facing the screen,
Further comprising: means for generating a user interface for the user interface. 제4항에 있어서,
상기 영상 처리부는,
상기 유효 사용자의 동작을 인식하고, 동일 시간에 다수의 동작을 인식할 경우, 상대적으로 먼저 결정된 유효 사용자의 동작을 인식하는
스크린에서의 다중사용자 인터페이스 제공 장치.5. The method of claim 4,
Wherein the image processing unit comprises:
Recognizing the operation of the effective user and recognizing a plurality of operations at the same time,
A device for providing multiple user interfaces on a screen. 제4항에 있어서,
상기 다중사용자 인터페이스 제공 장치는,
상기 유효 사용자의 동작에 따른 인터페이스와 콘텐츠를, 상기 스크린을 통해 상기 유효 사용자에게 제공하는 응용 처리부
를 더 포함하는 스크린에서의 다중사용자 인터페이스 제공 장치.5. The method of claim 4,
The multi-user interface providing apparatus includes:
An application processor for providing an interface and contents according to the operation of the effective user to the effective user through the screen,
Further comprising: means for generating a user interface for the user interface. 스크린과 이격하여 사용자 위치 범위를 설정하는 단계;
상기 사용자 위치 범위의 적어도 일부를 시야 범위로 갖는 카메라를, 상기 스크린과 연관하여 복수 개 장착하는 단계; 및
상기 사용자 위치 범위 내 임의 지점이 두 종류 이하의 시야 범위에 포함되게 상기 카메라의 장착 위치를 조정하는 단계
를 포함하고,
상기 카메라를, 상기 스크린과 연관하여 복수 개 장착하는 단계는,
제1 카메라가 갖는 시야 범위의 한계선이 상기 사용자 위치 범위를 벗어나는 위치에, 상기 제1 카메라를 장착하는 단계; 및
상기 제1 카메라가 갖는 시야 범위의 다른 한계선과 상기 사용자 위치 범위의 하단 변과 만나는 점을, 제2 카메라가 갖는 시야 범위의 한계선이 통과하면서, 상기 제1 카메라와 동일한 수평선 상의 위치에, 상기 제2 카메라를 장착하는 단계
를 포함하는 스크린에서의 다중사용자 인터페이스 제공 방법.Setting a user location range apart from the screen;
Mounting a plurality of cameras associated with the screen, the cameras having at least a portion of the user location range in the field of view; And
Adjusting a mounting position of the camera such that any point within the user position range is included in the range of two or less types of view;
Lt; / RTI >
The step of mounting the plurality of cameras in association with the screen,
Mounting the first camera at a position where the limit line of the visual range of the first camera is out of the user position range; And
Wherein a limit line of a field of view of the second camera passes through another boundary line of the field of view of the first camera and a point of contact with the lower edge of the user location range, 2 Steps to install the camera
The method comprising the steps of: 제7항에 있어서,
상기 다중사용자 인터페이스 제공 방법은,
상기 복수 개의 카메라 각각으로부터 상기 사용자 위치 범위에 대해 촬영한 영상을 획득하는 단계; 및
상기 획득한 복수 개의 영상을 병합하여, 상기 스크린을 통해 디스플레이하는 단계
를 더 포함하는 스크린에서의 다중사용자 인터페이스 제공 방법.8. The method of claim 7,
The multi-user interface providing method includes:
Acquiring images photographed with respect to the user location range from each of the plurality of cameras; And
Merging the plurality of acquired images, and displaying the combined images on the screen
Further comprising the steps of: 제8항에 있어서,
상기 영상을 획득하는 단계는,
상기 사용자 위치 범위 내 촬영 지점과, 상기 촬영 지점을 시야 범위로 포함하는 카메라와의 사이 거리를 측정하는 단계; 및
상기 측정된 사이 거리가 상대적으로 짧은 카메라로부터, 상기 촬영 지점에 대해 촬영한 영상을 획득하는 단계
를 포함하는 스크린에서의 다중사용자 인터페이스 제공 방법.9. The method of claim 8,
Wherein the acquiring of the image comprises:
Measuring a distance between the photographing point within the user location range and the camera including the photographing point in the field of view; And
Acquiring an image photographed with respect to the photographing point from a camera having a relatively short distance measured;
The method comprising the steps of: 제8항에 있어서,
상기 다중사용자 인터페이스 제공 방법은,
상기 획득된 영상에서 얼굴을 검출하고 상기 검출된 얼굴의 안면 방향이 상기 스크린을 향하는지를 판단하여 유효 사용자를 결정하는 단계
를 더 포함하는 스크린에서의 다중사용자 인터페이스 제공 방법.9. The method of claim 8,
The multi-user interface providing method includes:
Determining a face from the obtained image and determining whether the facial direction of the detected face is toward the screen to determine an effective user
Further comprising the steps of: 제10항에 있어서,
상기 다중사용자 인터페이스 제공 방법은,
동일 시간에 다수의 동작을 인식할 경우, 상대적으로 먼저 결정된 유효 사용자의 동작을 인식하는 단계
를 더 포함하는 스크린에서의 다중사용자 인터페이스 제공 방법.11. The method of claim 10,
The multi-user interface providing method includes:
When recognizing a plurality of operations at the same time, recognizing an operation of a relatively effective user determined first
Further comprising the steps of: 제10항에 있어서,
상기 다중사용자 인터페이스 제공 방법은,
상기 유효 사용자의 동작에 따른 인터페이스와 콘텐츠를, 상기 스크린을 통해 상기 유효 사용자에게 제공하는 단계
를 더 포함하는 스크린에서의 다중사용자 인터페이스 제공 방법.11. The method of claim 10,
The multi-user interface providing method includes:
Providing an interface and content according to the operation of the valid user to the valid user through the screen
Further comprising the steps of:
KR1020120128193A 2012-11-13 2012-11-13 Multi-user interface providing device and method in screen KR101401809B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120128193A KR101401809B1 (en) 2012-11-13 2012-11-13 Multi-user interface providing device and method in screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120128193A KR101401809B1 (en) 2012-11-13 2012-11-13 Multi-user interface providing device and method in screen

Publications (2)

Publication Number Publication Date
KR20140061051A KR20140061051A (en) 2014-05-21
KR101401809B1 true KR101401809B1 (en) 2014-05-29

Family

ID=50890203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120128193A KR101401809B1 (en) 2012-11-13 2012-11-13 Multi-user interface providing device and method in screen

Country Status (1)

Country Link
KR (1) KR101401809B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012042507A (en) * 2010-08-12 2012-03-01 Hitachi Consumer Electronics Co Ltd Video display device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012042507A (en) * 2010-08-12 2012-03-01 Hitachi Consumer Electronics Co Ltd Video display device

Also Published As

Publication number Publication date
KR20140061051A (en) 2014-05-21

Similar Documents

Publication Publication Date Title
US9129157B2 (en) Method for image-based status determination
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
EP3047361B1 (en) A method and device for displaying a graphical user interface
US9348422B2 (en) Method for recognizing gestures and gesture detector
JP5201096B2 (en) Interactive operation device
US10291843B2 (en) Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium
US10600218B2 (en) Display control system, display control apparatus, display control method, and storage medium
KR20160057867A (en) Display apparatus and image processing method thereby
US10574904B2 (en) Imaging method and electronic device thereof
US20180188892A1 (en) Engagement analytic system and display system responsive to interaction and/or position of users
WO2016197639A1 (en) Screen picture display method and apparatus
JP6494418B2 (en) Image analysis apparatus, image analysis method, and program
JP2012238293A (en) Input device
KR101883291B1 (en) Device and method for controlling gesture
KR20130081439A (en) Apparatus and method for displaying camera view area in a portable terminal
KR101308184B1 (en) Augmented reality apparatus and method of windows form
WO2022001568A1 (en) Object positioning method and apparatus, projection method and apparatus, and projector
JP2015176451A (en) Pointing control device and pointing control program
KR101401809B1 (en) Multi-user interface providing device and method in screen
JP6483661B2 (en) Imaging control apparatus, imaging control method, and program
JP2015170206A (en) detection device and detection method
JP2023029941A (en) Imaging system, imaging method, computer program, and recording medium
KR101525626B1 (en) Apparatus and method for out-focasing
US11610422B2 (en) Image processing method, apparatus, and storage medium for object detection
JP6075624B2 (en) POSITION INFORMATION ACQUISITION DEVICE AND IMAGE DISPLAY SYSTEM

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 6