KR20160031966A - Muti-projection system and method for projector calibration thereof - Google Patents

Muti-projection system and method for projector calibration thereof Download PDF

Info

Publication number
KR20160031966A
KR20160031966A KR1020150128468A KR20150128468A KR20160031966A KR 20160031966 A KR20160031966 A KR 20160031966A KR 1020150128468 A KR1020150128468 A KR 1020150128468A KR 20150128468 A KR20150128468 A KR 20150128468A KR 20160031966 A KR20160031966 A KR 20160031966A
Authority
KR
South Korea
Prior art keywords
projectors
image
screen
pattern
projection area
Prior art date
Application number
KR1020150128468A
Other languages
Korean (ko)
Inventor
노준용
서형국
차승훈
김재동
박상훈
이현수
Original Assignee
한국과학기술원
코오롱글로벌 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 코오롱글로벌 주식회사 filed Critical 한국과학기술원
Publication of KR20160031966A publication Critical patent/KR20160031966A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

The present invention relates to a multi-projection system in which geometry and color distortion of projectors for construing the multi-projection system may be automatically corrected, and to a method for correcting a projector of the same. The method comprises the following steps: respectively projecting pattern images to a screen in which multiple signals are distributed through multiple projectors, and analyzing a position relationship between an image projection region and the pattern images based on the signals; performing a geometry correcting operation for each of the projectors based on the position relationship analyzing result; projecting a reference color image through the projectors, and comparing and analyzing colors of the image projection region; and performing a color correcting operation for each of the projectors based on a color comparison and analysis result.

Description

멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법{Muti-projection system and method for projector calibration thereof}[0001] The present invention relates to a multi-projection system, and more particularly,

본 발명은 다수의 프로젝터를 이용해 대형의 디스플레이 시스템을 구축하는 경우, 다수의 프로젝터를 통해 투사되는 대형 이미지의 기하 및 색상 왜곡을 최소화할 수 있도록 하는 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multi-projection system and a projector correction method thereof, which can minimize the geometry and color distortion of a large image projected through a plurality of projectors when a large display system is constructed using a plurality of projectors.

공간 몰입형 디스플레이는 보다 향상된 몰입감과 실제감을 사용자에게 제공할 수 있으며, 엔터테인먼트, 과학 시각화, 의료 영상, 항공 우주 공학, 가상 현실 등과 같은 다양한 분야로 그 적용 분야가 급속히 향상되고 있다. Space-immersive displays can provide more immersive and realistic experiences to users, and their applications are rapidly improving in various fields such as entertainment, scientific visualization, medical imaging, aerospace engineering, and virtual reality.

몰입감은 주로 넓은 시야각과 높은 해상도의 디스플레이에 의해 생성되므로, 공간 몰입형 디스플레이는 다수의 프로젝터를 통해 하나의 대형 디스플레이를 구현하는 멀티 프로젝션 시스템의 사용을 필요로 한다. Since immersion is mainly generated by a wide viewing angle and a high resolution display, a space immersion display requires the use of a multi-projection system that implements one large display through multiple projectors.

다만 다수의 프로젝터를 통해 하나의 가상 디스플레이를 생성하기 위하여 복잡한 프로젝터 보정 과정을 수반하는 단점이 있다. 프로젝터 보정 과정은 기하 보정 과정과 색상 보정 과정을 필요로 하는 데, 이러한 두 보정 단계를 수행하는 사용자는 디스플레이의 구성 및 유지 보수를 수행하기 위해 전문 지식을 보유해야만 한다. However, there is a disadvantage that complicated projector calibration process is required to generate one virtual display through a plurality of projectors. The projector calibration process requires geometry calibration and color calibration procedures, and the user performing these two calibration steps must have expertise to perform the configuration and maintenance of the display.

이에 최근에 들어서는 사용자 개입을 최소화하기 위해 카메라를 사용한 자동 보정 기법이 제안되고 있었으나, 이는 카메라와 능동 구조 광 기술(active structured light technique)과 카메라 피드백 시스템을 통해 카메라와 프로젝터 사이의 관계를 확립해야 하며, 카메라가 전체 투사 영역을 관찰해야 하는 단점이 있다. Recently, an automatic correction technique using a camera has been proposed in order to minimize user intervention, but it is necessary to establish a relationship between the camera and the projector through a camera, an active structured light technique and a camera feedback system , There is a disadvantage that the camera must observe the entire projection area.

또한, 필요로 하는 카메라 개수가 증가함에 따라 디스플레이의 확장이 필요하는 데, 이러한 경우 방과 같은 작은 공간에서, 다 평면 디스플레이의 일부를 차단하지 않고 다수의 카메라 설치하는 것이 곤란해지는 문제가 발생한다. Further, as the number of cameras required increases, it is necessary to expand the display. In such a case, there arises a problem that it is difficult to install a plurality of cameras in a small space such as a room without blocking a part of the multi-plane display.

최근 연구자들은 컴퓨터 제어 방식의 팬 틸트 장치 (PTU) 카메라를 통해 카메라의 필요 개수를 감소시켜 주는 방안을 제안하였으나, PTU 카메라의 제조는 추가 하드웨어 및 구현 비용을 초래하는 추가적으로 단점을 가지게 된다. 또한, PTU 카메라는 카메라 회전 가능 각도 이내에서 투사 영역 전체를 관찰할 수 있는 위치에 배치되어야 하므로, 기기의 설치가 연관된 문제를 가진다. 즉, 카메라와 스크린이 충분한 거리를 확보하기가 어려운 작은 공간에서 멀티 프로젝션 시스템을 구축하고, 멀티 프로젝터 보정하는 것은 여전히 전형적인 단일 프로젝터 설치에 비해 어려운 실정이다.Recent researchers have proposed a way to reduce the number of cameras required through a computer-controlled PTU camera, but the manufacture of PTU cameras has the added disadvantage of incurring additional hardware and implementation costs. In addition, the PTU camera must be disposed at a position where the entire projection area can be observed within a camera-rotatable angle, so that the installation of the apparatus is problematic. In other words, building a multi-projection system in a small space where it is difficult to ensure a sufficient distance between the camera and the screen, and correcting the multi-projector are still more difficult than with a typical single projector installation.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 멀티 프로젝션 시스템을 구축하는 프로젝터들의 기하 및 색상 왜곡을 자동 보정할 수 있도록 하는 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법을 제공하고자 한다. In order to solve the above problems, the present invention provides a multi-projection system for automatically correcting the geometry and color distortion of projectors for constructing a multi-projection system, and a projector correction method therefor.

또한 다수 프로젝터가 보장된 퀄리티로 보정될 수 있도록 하는 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법을 제공하고자 한다.And also to provide a multi-projection system and a method of correcting the same, which enable a plurality of projectors to be corrected to a guaranteed quality.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 다수의 프로젝터를 통해 다수의 표지물이 분산 배치된 스크린에 패턴 이미지를 각각 투사한 후, 상기 다수의 표지물을 기반으로 이미지 투사 영역과 상기 패턴 이미지간 위치 관계를 분석하는 단계; 상기 위치 관계 분석 결과를 기반으로 상기 다수의 프로젝터 각각에 대한 기하 보정 동작을 수행하는 단계; 상기 다수의 프로젝터를 통해 기준 색상 이미지를 투사한 후, 이미지 투사 영역의 색상을 비교 분석하는 단계; 및 상기 색상 비교 분석 결과를 기반으로 상기 다수의 프로젝터 각각에 대한 색상 보정 동작을 수행하는 단계를 포함하는 멀티 프로젝션 시스템의 프로젝터 보정 방법을 제공한다. According to one embodiment of the present invention, as a means for solving the above-mentioned problems, after projecting a pattern image onto a screen on which a plurality of markers are distributed and arranged through a plurality of projectors, Analyzing a positional relationship between the pattern image and the pattern image; Performing a geometric correction operation for each of the plurality of projectors based on the positional relationship analysis result; Projecting a reference color image through the plurality of projectors, and comparing and analyzing colors of the image projection area; And performing a color correction operation for each of the plurality of projectors based on the color comparison analysis result.

상기 위치 관계를 분석하는 단계는 상기 다수의 프로젝터 중 하나를 선택한 후, 선택된 프로젝터를 통해 패턴 이미지를 스크린에 투사하는 단계; 단일 카메라를 통해 상기 스크린을 촬영 및 분석하여 상기 선택된 프로젝터의 이미지 투사 영역을 파악한 후, 상기 이미지 투사 영역의 위치와 상기 패턴 이미지의 픽셀 사이 관계를 파악하는 단계; 상기 이미지 투사 영역내에 위치하는 다수의 표지물을 인식한 후, 상기 이미지 투사 영역의 위치와 상기 패턴 이미지의 픽셀 사이 관계를 기반으로 상기 패턴 이미지내에서의 표지물 위치를 유추하는 단계; 및 표지물 위치를 기반으로 상기 패턴 이미지에 대응되는 제1 사각형과 상기 이미지 투사 영역에 대응되는 제2 사각형을 획득한 후 상기 제1 사각형을 상기 제2 사각형으로 변환하는 변환 행렬을 계산하는 단계를 포함할 수 있다. Analyzing the positional relationship comprises: selecting one of the plurality of projectors and projecting the pattern image onto the screen through the selected projector; Capturing and analyzing the screen through a single camera to grasp the image projection area of the selected projector and then grasping the relationship between the position of the image projection area and the pixel of the pattern image; Estimating a marker position within the pattern image based on a relationship between a position of the image projection area and a pixel of the pattern image after recognizing a plurality of markers located within the image projection area; And calculating a transformation matrix for obtaining a first rectangle corresponding to the pattern image and a second rectangle corresponding to the image projection area based on the marker position and converting the first rectangle into the second rectangle can do.

상기 기하 보정 동작을 수행하는 단계는 상기 다수의 프로젝터 각각에 대응되는 상기 변환 행렬을 상기 다수의 프로젝터 각각에 적용시킬 수 있다. The step of performing the geometric correction operation may apply the transformation matrix corresponding to each of the plurality of projectors to each of the plurality of projectors.

상기 패턴 이미지는 세로 무늬 패턴, 가로 무늬 패턴, 사선 무늬 패턴, 체크보드(checkerboard) 패턴 중 하나인 것을 특징으로 한다. Wherein the pattern image is one of a vertical pattern, a horizontal pattern, an oblique pattern, and a checkerboard pattern.

상기 다수의 표지물은 상기 스크린의 가장자리 영역에 직사각형의 궤적에 따라 분산 배치되는 것을 특징으로 한다. And the plurality of markers are distributed and arranged along a trajectory of a rectangle in an edge region of the screen.

상기 색상 보정 동작을 수행하는 단계는 상기 다수의 프로젝터 각각에 대응되는 다수의 색상 중 가장 낮은 채도값을 가지는 색상을 기준으로 상기 다수의 프로젝터 각각에 대응되는 색상 보정 맵을 생성하고, 상기 다수의 프로젝터 각각에 적용시키는 단계를 포함하는 것을 특징으로 한다. Wherein the color correction operation includes generating a color correction map corresponding to each of the plurality of projectors based on a color having a lowest saturation value among a plurality of colors corresponding to the plurality of projectors, To each of the first and second regions.

상기 방법은 알파맵을 통해 프로젝터간 밝기 차이를 보정하는 단계를 더 포함하는 것을 특징으로 한다. The method further comprises correcting a brightness difference between the projectors through an alpha map.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 스크린에 분산 배치된 다수의 표지물; 상기 스크린의 전방에 배치되어, 상기 스크린으로 이미지를 투사하는 다수의 프로젝터; 상기 스크린을 촬영하는 카메라; 및 상기 다수의 프로젝터를 통해 다수의 표지물이 분산 배치된 스크린에 패턴 이미지를 각각 투사한 후 상기 다수의 표지물을 기반으로 이미지 투사 영역과 상기 패턴 이미지간 위치 관계를 분석하여 상기 다수의 프로젝터 각각에 대한 기하 보정 동작을 수행하고, 상기 다수의 프로젝터를 통해 기준 색상 이미지를 투사한 후, 이미지 투사 영역의 색상을 비교 분석하여 상기 다수의 프로젝터 각각에 대한 색상 보정 동작을 수행하는 프로세서를 포함할 수 있다. As means for solving the above problems, according to one embodiment of the present invention, there is provided a display device comprising: a plurality of markers distributed on a screen; A plurality of projectors disposed in front of the screen and projecting images onto the screen; A camera for photographing the screen; And projecting a pattern image on a screen on which a plurality of markers are dispersed through the plurality of projectors, analyzing a positional relationship between the image projection area and the pattern image based on the plurality of markers, And performing a color correction operation on each of the plurality of projectors by performing a geometric correction operation, projecting a reference color image through the plurality of projectors, and comparing and analyzing colors of the image projection area.

이와 같이 본 발명은 패턴 이미지와 스크린에 분산 배치되는 표지물을 기반으로 다수 프로젝터들의 기하 왜곡을 자동 보정할 수 있도록 함으로써 멀티 프로젝션 시스템을 구축할 수 있도록 한다. 또한 기준 색상 이미지를 투사하고 투사 결과를 비교 분석함으로써, 다수 프로젝터들의 색상 왜곡도 자동 보정할 수 있도록 한다. As described above, according to the present invention, it is possible to automatically correct the geometric distortion of a plurality of projectors based on pattern images and markers distributed on the screen, thereby making it possible to construct a multi-projection system. In addition, by projecting the reference color image and comparing and analyzing the projection result, it is possible to automatically correct the color distortion of the plurality of projectors.

즉, 다수 프로젝터의 하드웨어적인 특성을 자동 보정할 수 있도록 하며, 이에 따라 비전문가라 할지라도 보장된 퀄리티로 여러 프로젝터 디스플레이를 보정할 수 있는 효과를 제공한다. That is, it is possible to automatically correct the hardware characteristics of a plurality of projectors, thereby providing an effect of compensating various projector displays with a guaranteed quality even by a non-specialist.

도1는 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템을 설명하기 위한 도면이다.
도2는 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템이 적용되는 스크린들의 구현 예들을 설명하기 위한 도면이다.
도3는 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템의 프로세서를 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템의 프로젝터 보정 원리를 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템의 프로젝터 보정 방법을 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템의 프로젝터 보정 방법의 기하 보정 단계를 보다 상세히 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템의 프로젝터 보정 방법의 색상 보정 단계를 보다 상세히 설명하기 위한 도면이다. 1 is a view for explaining a multi-projection system according to an embodiment of the present invention.
2 is a view for explaining exemplary implementations of screens to which a multi-projection system according to an embodiment of the present invention is applied.
3 is a diagram for explaining a processor of a multi-projection system according to an embodiment of the present invention.
4 is a view for explaining a principle of projector correction in a multi-projection system according to an embodiment of the present invention.
5 is a diagram for explaining a method of correcting a projector of a multi-projection system according to an embodiment of the present invention.
6 is a diagram for explaining the geometry correction step of the method of correcting a projector of the multi-projection system according to an embodiment of the present invention in more detail.
7 is a diagram for explaining the color correction step of the projector correction method of the multi-projection system according to the embodiment of the present invention in more detail.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.The following terms are defined in consideration of the functions of the present invention, and these may be changed according to the intention of the user, the operator, or the like.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. These embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art to which the present invention pertains. Only. Therefore, the definition should be based on the contents throughout this specification.

도1는 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템을 설명하기 위한 도면이다. 1 is a view for explaining a multi-projection system according to an embodiment of the present invention.

도1을 참고하면, 본 발명의 대형 디스플레이 시스템은 다수의 표지물(10), 스크린(S)의 전방에 배치되는 다수의 프로젝터(20)와 단일 카메라(30), 그리고 다수의 프로젝터(20)와 카메라(30)에 유선 또는 무선 통신 방식으로 연결된 프로세서(40) 등을 포함할 수 있다. 1, the large display system of the present invention includes a plurality of markers 10, a plurality of projectors 20 disposed in front of the screen S, a single camera 30, and a plurality of projectors 20 A processor 40 connected to the camera 30 in a wired or wireless communication manner, and the like.

본 발명이 적용되는 스크린(S)은 하나의 평면으로 구현된 일반적 형태일 수 있으나, 도2에 도시된 바와 같이 공간 몰입형 디스플레이를 구현하기 위한 삼면 또는 사면 형태로 구현될 수도 있다((b) 참고). 물론, 이러한 스크린 구현 형태도 차후 사용자 필요에 따라 다양하게 변화될 수 있음은 당연할 것이다. The screen S to which the present invention is applied may be a general form implemented in one plane, but may be implemented in a three-sided or slant form to implement a space-immersion type display as shown in FIG. 2 ((b) Reference). Of course, it will be appreciated that this type of screen implementation may be variously changed according to the needs of the user in the future.

다수의 표지물(10)은 스크린(S)의 가장자리 영역에 직사각형의 궤적에 따라 분산 배치될 수 있다. 표지물 개수는 "(프로젝터 개수)*2+4"이 바람직하나, 이에 한정되지는 않는다. The plurality of indicia 10 can be distributed and arranged along the trajectory of the rectangle in the edge region of the screen S. [ The number of signs is preferably "(number of projectors) * 2 + 4", but is not limited thereto.

다수의 프로젝터(20)는 프로세서(40)로부터 제공되는 이미지를 스크린(S)에 투사하고, 카메라(30)는 프로세서(40)의 제어하에 스크린(S)을 촬영하도록 한다. A plurality of projectors 20 projects an image provided from a processor 40 to a screen S and a camera 30 causes a screen S to be shot under the control of the processor 40.

프로세서(40)는 도3에 도시된 바와 같이 기하 보정부(41), 색상 보정부(42), 메인 제어부(43), 및 통신부(44) 등을 포함하여, 대형 디스플레이 시스템의 동작을 전반적으로 제어하도록 한다. 3, the processor 40 includes a geometry correction unit 41, a color correction unit 42, a main control unit 43, a communication unit 44, and the like, Control.

기하 보정부(41)는 다수의 프로젝터(20) 각각을 통해 다수의 표지물이 분산 배치된 스크린에 기 설정된 패턴 이미지를 순차적으로 투사하면서, 카메라(30)를 통해 이미지 투사 영역을 촬영한 후, 다수의 표지물을 기반으로 이미지 투사 영역과 원본 이미지간 위치 관계를 분석하여, 다수의 프로젝터 각각에 대한 변환행렬을 계산하도록 한다. 이때, 패턴 이미지는 세로 무늬 패턴, 가로 무늬 패턴, 사선 무늬 패턴, 체크보드(checkerboard) 패턴 중 하나를 가지는 이미지로 구현되는 것이 바람직하나, 경우에 따라 다른 무늬 패턴을 가지는 이미지로도 구현될 수 있음은 물론 당연할 것이다. The geometric corrector 41 photographs an image projection area through the camera 30 while sequentially projecting a predetermined pattern image on a screen on which a plurality of markers are distributed through each of the plurality of projectors 20, The positional relationship between the image projection area and the original image is analyzed based on the mark of the projector, and a conversion matrix for each of the plurality of projectors is calculated. At this time, the pattern image is preferably implemented as an image having one of a vertical pattern, a horizontal pattern, an oblique pattern, and a checkerboard pattern, but may be implemented as an image having a different pattern according to circumstances Of course, of course.

색상 보정부(42)는 다수의 프로젝터(20)를 통해 기준 색상 이미지를 투사함과 동시에 카메라(30)를 통해 다수의 프로젝터 각각에 대응되는 이미지 투사 영역을 촬영하여 다수의 촬영 영상을 획득하도록 한다. 그리고 서로 인접되는 촬영 영상을 선별한 후 이들의 색상을 비교 분석함으로써, 다수의 프로젝터 각각에 대한 색상 보정맵을 생성하도록 한다. 이때, 기준 색상 이미지는 R 채널, G 채널, B채널의 값 모두 최대치로 설정된 색상, 즉 흰색을 가지는 이미지일 수 있을 것이다. The color correction unit 42 projects a reference color image through a plurality of projectors 20 and simultaneously photographs an image projection area corresponding to each of the plurality of projectors through the camera 30 to acquire a plurality of photographed images . Then, the photographed images which are adjacent to each other are selected, and the colors of the photographed images are compared and analyzed to generate a color correction map for each of the plurality of projectors. At this time, the reference color image may be an image having a color set to the maximum value of all values of R channel, G channel, and B channel, that is, white.

메인 제어부(43)는 도4에 도시된 바와 같이, 기하 보정부(41) 및 색상 보정부(42)를 통해 획득된 변환행렬과 색상보정맵을 기반으로 다수의 프로젝터 각각을 보정함으로써, 다수의 프로젝터를 통해 투사되는 이미지가 형상 및 색상 왜곡이 최소화되는 하나의 대형 디스플레이를 형성할 수 있도록 한다. The main control unit 43 corrects each of the plurality of projectors based on the transformation matrix and the color correction map obtained through the geometric correction unit 41 and the color correction unit 42 as shown in FIG. So that the image projected through the projector can form one large display with minimal shape and color distortion.

또한, 필요한 경우 다수의 프로젝터 각각을 보정하는 대신에, 다수의 프로젝터에 제공되는 이미지를 기하 보정부(41) 및 색상 보정부(42)를 통해 획득된 변환행렬과 색상보정맵을 기반으로 보정한 후 제공할 수도 있도록 한다. 즉, 사용자 등에 의해 대형 디스플레이 시스템을 통해 재생하고자 하는 이미지가 선택되면, 기하 보정부(41) 및 색상 보정부(42)를 통해 획득된 변환행렬과 색상보정맵에 기반하여 재생할 이미지의 형상과 색상을 보정함으로써, 다수의 프로젝터에 제공할 이미지를 생성하고 다수의 프로젝터 각각에 제공할 수도 있도록 한다. Further, instead of correcting each of the plurality of projectors if necessary, the image provided to the plurality of projectors is corrected based on the transformation matrix and the color correction map obtained through the geometry correction unit 41 and the color correction unit 42 So that it can be provided. That is, when an image to be reproduced is selected by a user or the like through a large display system, the shape and color of the image to be reproduced based on the transformation matrix and the color correction map obtained through the geometry correction unit 41 and the color correction unit 42 So that an image to be provided to a plurality of projectors can be generated and provided to each of the plurality of projectors.

통신부(44)는 다수의 프로젝터(20)와 카메라(30)과 유선 또는 무선 통신 방식으로 연결을 수행한 후, 프로세서(40)와 다수의 프로젝터(20) 및 카메라(30)간 데이터 통신을 지원하도록 한다. The communication unit 44 performs data communication between the processor 40 and the plurality of projectors 20 and the camera 30 after performing the connection with the plurality of projectors 20 and the camera 30 by a wired or wireless communication method. .

도5는 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템의 프로젝터 보정 방법을 설명하기 위한 도면이다. 5 is a diagram for explaining a method of correcting a projector of a multi-projection system according to an embodiment of the present invention.

도5에 도시된 바와 같이, 본 발명의 프로젝터 보정 방법은 크게 다수의 프로젝터에 대한 기하 보정 단계(S10), 및 다수의 프로젝터에 대한 색상 보정 단계(S20) 등을 포함할 수 있다. As shown in FIG. 5, the projector correction method of the present invention can largely include a geometric correction step (S10) for a plurality of projectors, a color correction step (S20) for a plurality of projectors, and the like.

이하, 도6 및 도7을 참고하여 각 단계에 대한 설명을 보다 상세히 하면 다음과 같다. Hereinafter, each step will be described in more detail with reference to FIGS. 6 and 7. FIG.

먼저, 기하 보정 단계(S10)가 되면, 프로세서(40)는 다수의 프로젝터 중 하나를 선택한 후(S11), 선택된 프로젝터(20)를 통해 기 설정된 패턴 이미지를 스크린(S)에 투사하도록 한다(S12). First, in the geometric correction step S10, the processor 40 selects one of a plurality of projectors (S11), and projects a predetermined pattern image onto the screen S through the selected projector 20 (S12 ).

그리고 카메라(30)를 통해 스크린(S)을 촬영 및 분석하여, 해당 프로젝터(20)에 의해 투사된 패턴 이미지가 디스플레이되는 이미지 투사 영역(Projection Area)을 파악한 후, 이미지 투사 영역(Projection Area)의 실제 위치와 프로젝터(20)에서 투사하는 패턴 이미지, 즉 원본 이미지의 픽셀 사이 관계를 파악한다(S13). Then, the screen S is photographed and analyzed through the camera 30 to determine an image projection area in which a pattern image projected by the projector 20 is displayed, and then the projection image is projected in an image projection area The relationship between the actual position and the pattern image projected by the projector 20, that is, the pixel of the original image is obtained (S13).

그리고 이미지 투사 영역내에 위치하는 다수의 표지물을 인식한 후(S14), 단계 S13을 통해 파악된 이미지 투사 영역의 위치와 원본 이미지의 픽셀 사이의 관계를 기반으로 다수의 표지물 위치 각각에 대응되는 원본 이미지의 다수의 픽셀 각각을 파악하도록 한다. 즉 원본 이미지 상에서의 표지물 위치를 추적하도록 한다(S15). After recognizing a plurality of markers located within the image projection area (S14), based on the relationship between the position of the image projection area identified in step S13 and the pixels of the original image, So as to grasp each of the plurality of pixels. That is, the position of the mark on the original image is tracked (S15).

그리고 원본 이미지 상에서의 표지물 위치를 4개의 모서리 점으로 가지는 제1 사각형과, 이미지 투사 영역내 표지물 위치를 4개의 모서리 점으로 가지는 제2 사각형을 획득한 후, 제1 사각형을 제2 사각형으로 변환하는 변환 행렬을 계산하도록 한다. 그리고 변환 행렬을 프로젝터에 적용시켜 줌으로써, 차후 해당 프로젝터가 프로세서(40)로부터 제공되는 이미지의 형상을 변환 행렬에 따라 변형한 후 투사할 수 있도록 한다(S16). Then, a first rectangle having four corner points on the original image and a second rectangle having four corner points of the marker position in the image projection area are obtained, and then the first rectangle is converted into the second rectangle So as to calculate the transformation matrix. Then, the transform matrix is applied to the projector so that the projector can transform the shape of the image provided from the processor 40 according to the transformation matrix and project it (S16).

이와 같은 단계 S12 내지 단계 S16은 모든 프로젝터에 대한 변환 행렬 계산 동작이 완료될 때까지 반복되며(S17), 모든 프로젝터에 대한 기하 보정이 완료되면, 알파 블렌딩 알고리즘 기반의 알파맵을 이용하여 프로젝터간 밝기 보정한 후 동작 종료하도록 한다(S18). Steps S12 to S16 are repeated until the conversion matrix calculation operation for all the projectors is completed (S17). When the geometric correction for all of the projectors is completed, the alpha-blending algorithm-based alpha map is used to calculate the brightness After the correction, the operation is ended (S18).

계속하여 색상 보정 단계(S20)가 되면, 프로세서(40)는 다수의 프로젝터 중 두 개의 프로젝터를 선택한 후(S21), 선택된 프로젝터들(20)을 통해 R,G,B 모두가 최대치로 설정된 이미지, 즉 기준 색상 이미지를 스크린(S)에 투사하도록 한다(S22). 이때, 두 개의 프로젝터는 다수의 프로젝터 중에서 서로 이웃하는 프로젝터인 것이 가장 바람직할 것이다. The processor 40 selects two projectors from among the plurality of projectors (S21), and then, through the selected projectors 20, an image in which all of R, G, and B are set to the maximum value, That is, to project the reference color image onto the screen S (S22). At this time, it is most preferable that the two projectors are mutually adjacent projectors among the plurality of projectors.

그리고 카메라(30)를 통해 두 개의 프로젝터(20) 각각에 대응되는 이미지 투사 영역(Projection Area)을 동시 촬영한 후, 두 개의 프로젝터(20) 각각에 대응되는 이미지 투사 영역(Projection Area)의 색상 정보를 획득하도록 한다(S23). Then, the image projection area corresponding to each of the two projectors 20 is simultaneously photographed through the camera 30, and then the color information of the image projection area corresponding to each of the two projectors 20 (S23).

그리고 단계 S23을 통해 획득된 두 개의 색상 정보를 비교한 후, 상대적으로 낮은 채도값을 가지는 색상 정보를 기준으로 하여 색상 보정 맵을 생성하도록 한다(S24). After comparing the two color information obtained in step S23, a color correction map is generated based on the color information having a relatively low saturation value (S24).

그리고 생성된 색상 보정 맵을 상대적으로 높은 채도값을 가지는 프로젝터에 적용시켜, 차후 해당 프로젝터가 이미지 투사시 이에 따라 색상 보정 동작을 수행할 수 있도록 한다(S25). Then, the generated color correction map is applied to a projector having a relatively high saturation value so that the projector can perform a color correction operation according to the image projection at a later time (S25).

이와 같은 단계 S21 내지 단계 S25는 모든 프로젝터에 대한 색상 보정 동작이 완료될 때까지 반복되며(S26), 모든 프로젝터에 대한 색상 보정 동작이 완료되면 알파맵을 이용하여 프로젝터간 밝기 보정한 후 동작 종료하도록 한다(S27). The steps S21 to S25 are repeated until the color correction operation for all the projectors is completed (S26). When the color correction operation for all the projectors is completed, the brightness is corrected between the projectors using the alpha map, (S27).

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (8)

다수의 프로젝터를 통해 다수의 표지물이 분산 배치된 스크린에 패턴 이미지를 각각 투사한 후, 상기 다수의 표지물을 기반으로 이미지 투사 영역과 상기 패턴 이미지간 위치 관계를 분석하는 단계;
상기 위치 관계 분석 결과를 기반으로 상기 다수의 프로젝터 각각에 대한 기하 보정 동작을 수행하는 단계;
상기 다수의 프로젝터를 통해 기준 색상 이미지를 투사한 후, 이미지 투사 영역의 색상을 비교 분석하는 단계; 및
상기 색상 비교 분석 결과를 기반으로 상기 다수의 프로젝터 각각에 대한 색상 보정 동작을 수행하는 단계를 포함하는 멀티 프로젝션 시스템의 프로젝터 보정 방법.Projecting a pattern image on a screen on which a plurality of markers are distributed through a plurality of projectors and analyzing a positional relationship between the image projection area and the pattern image based on the plurality of markers;
Performing a geometric correction operation for each of the plurality of projectors based on the positional relationship analysis result;
Projecting a reference color image through the plurality of projectors, and comparing and analyzing colors of the image projection area; And
And performing a color correction operation for each of the plurality of projectors based on the color comparison analysis result. 제1항에 있어서, 상기 위치 관계를 분석하는 단계는
상기 다수의 프로젝터 중 하나를 선택한 후, 선택된 프로젝터를 통해 패턴 이미지를 스크린에 투사하는 단계;
단일 카메라를 통해 상기 스크린을 촬영 및 분석하여 상기 선택된 프로젝터의 이미지 투사 영역을 파악한 후, 상기 이미지 투사 영역의 위치와 상기 패턴 이미지의 픽셀 사이 관계를 파악하는 단계;
상기 이미지 투사 영역내에 위치하는 다수의 표지물을 인식한 후, 상기 이미지 투사 영역의 위치와 상기 패턴 이미지의 픽셀 사이 관계를 기반으로 상기 패턴 이미지내에서의 표지물 위치를 유추하는 단계; 및
표지물 위치를 기반으로 상기 패턴 이미지에 대응되는 제1 사각형과 상기 이미지 투사 영역에 대응되는 제2 사각형을 획득한 후 상기 제1 사각형을 상기 제2 사각형으로 변환하는 변환 행렬을 계산하는 단계를 포함하는 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 보정 방법.The method of claim 1, wherein analyzing the positional relationship comprises:
Selecting one of the plurality of projectors and projecting a pattern image onto a screen through the selected projector;
Capturing and analyzing the screen through a single camera to grasp the image projection area of the selected projector and then grasping the relationship between the position of the image projection area and the pixel of the pattern image;
Estimating a marker position within the pattern image based on a relationship between a position of the image projection area and a pixel of the pattern image after recognizing a plurality of markers located within the image projection area; And
Calculating a transformation matrix that obtains a first rectangle corresponding to the pattern image and a second rectangle corresponding to the image projection area based on the marker position and then transforms the first rectangle into the second rectangle Wherein the projection correction method comprises the steps of: 제2항에 있어서, 상기 기하 보정 동작을 수행하는 단계는
상기 다수의 프로젝터 각각에 대응되는 상기 변환 행렬을 상기 다수의 프로젝터 각각에 적용시키는 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 보정 방법.3. The method of claim 2, wherein performing the geometric correction operation comprises:
Wherein the transformation matrix corresponding to each of the plurality of projectors is applied to each of the plurality of projectors. 제1항에 있어서, 상기 패턴 이미지는
세로 무늬 패턴, 가로 무늬 패턴, 사선 무늬 패턴, 체크보드(checkerboard) 패턴 중 하나인 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 보정 방법.2. The method of claim 1,
Wherein the pattern is one of a vertical pattern, a horizontal pattern, an oblique pattern, and a checkerboard pattern. 제1항에 있어서, 상기 다수의 표지물은
상기 스크린의 가장자리 영역에 직사각형의 궤적에 따라 분산 배치되는 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 보정 방법.The method of claim 1, wherein the plurality of labels
Wherein the projected image is distributed and arranged along a trajectory of a rectangle in an edge area of the screen. 제1항에 있어서, 상기 색상 보정 동작을 수행하는 단계는
상기 다수의 프로젝터 각각에 대응되는 다수의 색상 중 가장 낮은 채도값을 가지는 색상을 기준으로 상기 다수의 프로젝터 각각에 대응되는 색상 보정 맵을 생성하고, 상기 다수의 프로젝터 각각에 적용시키는 단계를 포함하는 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 보정 방법.2. The method of claim 1, wherein performing color correction comprises:
Generating a color correction map corresponding to each of the plurality of projectors based on a color having a lowest saturation value among a plurality of colors corresponding to each of the plurality of projectors and applying the generated color correction map to each of the plurality of projectors Wherein the projector is a multi-projection system. 제1항에 있어서,
알파맵을 통해 프로젝터간 밝기 차이를 보정하는 단계를 더 포함하는 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 보정 방법.The method according to claim 1,
Further comprising the step of correcting a brightness difference between the projectors through an alpha map. 스크린에 분산 배치된 다수의 표지물;
상기 스크린의 전방에 배치되어, 상기 스크린으로 이미지를 투사하는 다수의 프로젝터;
상기 스크린을 촬영하는 카메라; 및
상기 다수의 프로젝터를 통해 다수의 표지물이 분산 배치된 스크린에 패턴 이미지를 각각 투사한 후 상기 다수의 표지물을 기반으로 이미지 투사 영역과 상기 패턴 이미지간 위치 관계를 분석하여 상기 다수의 프로젝터 각각에 대한 기하 보정 동작을 수행하고, 상기 다수의 프로젝터를 통해 기준 색상 이미지를 투사한 후, 이미지 투사 영역의 색상을 비교 분석하여 상기 다수의 프로젝터 각각에 대한 색상 보정 동작을 수행하는 프로세서를 포함하는 멀티 프로젝션 시스템.A plurality of indicia distributed on the screen;
A plurality of projectors disposed in front of the screen and projecting images onto the screen;
A camera for photographing the screen; And
Projecting a pattern image on a screen on which a plurality of markers are dispersed through the plurality of projectors, analyzing a positional relationship between the image projection area and the pattern image based on the plurality of markers, And a processor for performing a correction operation and projecting a reference color image through the plurality of projectors and then performing a color correction operation for each of the plurality of projectors by comparing and analyzing colors of the image projection area.
KR1020150128468A 2014-09-15 2015-09-10 Muti-projection system and method for projector calibration thereof KR20160031966A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140122179 2014-09-15
KR1020140122179 2014-09-15

Publications (1)

Publication Number Publication Date
KR20160031966A true KR20160031966A (en) 2016-03-23

Family

ID=55645282

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150128469A KR102160839B1 (en) 2014-09-15 2015-09-10 Muti-projection system and method for projector calibration thereof
KR1020150128468A KR20160031966A (en) 2014-09-15 2015-09-10 Muti-projection system and method for projector calibration thereof

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020150128469A KR102160839B1 (en) 2014-09-15 2015-09-10 Muti-projection system and method for projector calibration thereof

Country Status (1)

Country Link
KR (2) KR102160839B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180059108A (en) * 2016-11-25 2018-06-04 한국전자통신연구원 Apparatus for correcting video and method for using the same
WO2018110822A1 (en) * 2016-12-16 2018-06-21 Cj Cgv Co., Ltd. Method of projecting image onto curved projection area and projection system therefor
US10051250B2 (en) 2016-12-16 2018-08-14 Cj Cgv Co., Ltd. Method of automatically correcting projection area based on image photographed by photographing device and system therefor
KR200490946Y1 (en) 2019-07-03 2020-01-28 리얼타임비쥬얼(주) Half dome screen projection system using single projector
KR20200076413A (en) * 2018-12-19 2020-06-29 주식회사 팀제파 Multi projector control system and method
CN111989554A (en) * 2018-03-28 2020-11-24 皇家飞利浦有限公司 Method and system for evaluating tooth tone in uncontrolled environment
KR20210081210A (en) 2019-12-23 2021-07-01 서경대학교 산학협력단 Image distribution and conversion device for multi-projector image alignment and aligning method using the same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030294B1 (en) * 2017-11-20 2019-10-08 한국과학기술원 Method for calibrating 360-degree cameras
KR102260044B1 (en) * 2018-11-09 2021-06-03 한국과학기술원 Method and apparatus for calibrating cameras
KR20210034253A (en) 2019-09-20 2021-03-30 삼성전자주식회사 Method and device to estimate location
KR102460361B1 (en) * 2020-12-29 2022-11-01 광주과학기술원 System and method for performing calibrations
KR20230063234A (en) * 2021-11-01 2023-05-09 삼성전자주식회사 Method and electronic apparatus for calibration of camera

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046114B4 (en) * 2009-10-28 2011-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for generating a calibrated projection
JP5631025B2 (en) * 2010-03-10 2014-11-26 キヤノン株式会社 Information processing apparatus, processing method thereof, and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180059108A (en) * 2016-11-25 2018-06-04 한국전자통신연구원 Apparatus for correcting video and method for using the same
WO2018110822A1 (en) * 2016-12-16 2018-06-21 Cj Cgv Co., Ltd. Method of projecting image onto curved projection area and projection system therefor
US10051250B2 (en) 2016-12-16 2018-08-14 Cj Cgv Co., Ltd. Method of automatically correcting projection area based on image photographed by photographing device and system therefor
CN111989554A (en) * 2018-03-28 2020-11-24 皇家飞利浦有限公司 Method and system for evaluating tooth tone in uncontrolled environment
KR20200076413A (en) * 2018-12-19 2020-06-29 주식회사 팀제파 Multi projector control system and method
KR200490946Y1 (en) 2019-07-03 2020-01-28 리얼타임비쥬얼(주) Half dome screen projection system using single projector
KR20210081210A (en) 2019-12-23 2021-07-01 서경대학교 산학협력단 Image distribution and conversion device for multi-projector image alignment and aligning method using the same

Also Published As

Publication number Publication date
KR20160031967A (en) 2016-03-23
KR102160839B1 (en) 2020-09-28

Similar Documents

Publication Publication Date Title
KR20160031966A (en) Muti-projection system and method for projector calibration thereof
US11269244B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
JP3925521B2 (en) Keystone correction using part of the screen edge
US11218675B2 (en) Information processing apparatus, computation method of information processing apparatus, and program
KR102328020B1 (en) System and method for displaying panorama image using single look-up table
US10958883B2 (en) Projection control apparatus, projection apparatus, projection control method, and storage medium storing program
WO2022206527A1 (en) Method for projection image correction and laser projection device
JP5633320B2 (en) Drawing image sharing device
CN105308503A (en) System and method for calibrating a display system using a short throw camera
JP2018511088A (en) Image processing method and apparatus used for LED display
US10244216B2 (en) Projector, video display device, and video display method
JP2012142669A (en) Projection controller, projection system, test chart, and projection area determination method
US20180082406A1 (en) Information processing apparatus, information processing method, program, and image display apparatus
JP2005189542A (en) Display system, display program and display method
JP2002014611A (en) Video projecting method to planetarium or spherical screen and device therefor
JP2008187362A (en) Projector and projected image adjustment method
JP2015032069A (en) Monitoring device and control program of monitoring device
US11218662B2 (en) Image processing device, image processing method, and projection system
JP6626367B2 (en) Stereoscopic image adjustment device and stereoscopic image adjustment method
JPH06105185A (en) Brightness correction method
KR101539038B1 (en) Hole-filling method for depth map obtained from multiple depth camera
JP2012120126A (en) Image processing system and image processing method
JP2005102277A (en) Stacks projection apparatus and its adjustment method
JP2006109088A (en) Geometric correction method in multi-projection system
KR102191529B1 (en) System and Method of Multi-Projection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application