KR19990068771A - An image composition system of multi-camera and its image composition method - Google Patents
An image composition system of multi-camera and its image composition method Download PDFInfo
- Publication number
- KR19990068771A KR19990068771A KR1019990022992A KR19990022992A KR19990068771A KR 19990068771 A KR19990068771 A KR 19990068771A KR 1019990022992 A KR1019990022992 A KR 1019990022992A KR 19990022992 A KR19990022992 A KR 19990022992A KR 19990068771 A KR19990068771 A KR 19990068771A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- image
- signal
- video signal
- controller
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
본 발명은 다수개의 저가형 비디오 카메라에서 촬영한 영상을 하나의 전체 영상으로 합성함으로써 고속, 고해상도의 디지털 촬영을 가능하게 하는 다중카메라 영상 합성시스템 및 영상 합성 방법에 관한 것으로서, 본 발명의 다중카메라 영상 합성시스템은, 다수개의 아날로그 카메라조합, 각 카메라의 신호경로를 연결해주는 영상신호선택기, 연결된 카메라에서 수신된 영상신호를 디지털 영상신호로 변환하는 영상신호획득기, 각 기기들을 제어하고, 각 카메라별 디지털 영상신호를 하나의 영상으로 합성하여 영상데이터로 변환하는 제어기 및 상기 제어기에 각 분할화면의 기준점을 입력하는 교정데이터입력기를 구비하여 이루어지고, 다중카메라 영상 합성 방법은 카메라 촬영을 시작하여 초기화하고, 카메라를 선택하여 영상신호를 획득한 다음 이를 디지털 영상처리를 하여 조합하는 단계들을 포함하여 이루어지는 것을 특징으로 하기 때문에 저가격의 아날로그식 비디오 카메라를 사용하여 촬영비용을 줄일 수 있게 하고, 다수개의 카메라를 사용하여 대형의 화면도 고해상도로 촬영할 수 있게 하며, 촬영속도가 빨라서 정확하고 빠른 동작의 영상도 촬영할 수 있게 하는 것은 물론 촬영된 화면이 디지털방식의 영상데이터로 변환되므로 변환된 데이터의 가공 및 저장을 용이하게 하는 효과를 갖는다.The present invention relates to a multi-camera video synthesizing system and an image synthesizing method that enables high-speed and high-resolution digital photography by synthesizing images taken from a plurality of low-cost video cameras into a single whole image. The system includes a plurality of analog camera combinations, an image signal selector for connecting signal paths of each camera, an image signal acquirer for converting an image signal received from the connected camera into a digital image signal, and controlling each device, A controller for synthesizing an image signal into one image and converting the image signal into image data; and a calibration data input unit for inputting a reference point of each split screen to the controller. Select a camera to acquire a video signal It is possible to reduce the shooting cost by using a low-cost analog video camera, and to shoot a large screen with a high resolution using a plurality of cameras, characterized in that it comprises a step of combining the digital image processing In addition, since the photographing speed is fast, accurate and fast motion images can be taken as well as the photographed screen is converted into digital image data, thereby facilitating the processing and storage of the converted data.
Description
본 발명은 다중카메라 영상 합성시스템 및 영상 합성 방법에 관한 것으로서, 더욱 상세하게는 다수개의 저가형 비디오 카메라에서 촬영한 영상을 하나의 전체 영상으로 합성함으로써 고속, 고해상도의 디지털 촬영을 가능하게 하는 다중카메라 영상 합성시스템 및 영상 합성 방법에 관한 것이다.The present invention relates to a multi-camera video synthesizing system and an image synthesizing method, and more particularly, to multi-camera video, which enables high-speed and high-resolution digital photography by synthesizing images captured by a plurality of low-cost video cameras into a single whole video. A synthesis system and an image synthesis method.
일반적으로 고해상도의 디지털 영상을 실현하기 위해서는 한 줄의 형태로 밀집되어 있는 CCD(Charge Coupled Device)를 위아래로 스캔하면서 촬영하는 디지털 스캐너를 사용하는 방법이 있었고, 매트릭스 구조의 형태로 밀집되어 있는 CCD를 이용하여 순간적인 연속촬영을 하는 디지털 비디오 카메라 등이 있었다.In general, in order to realize a high resolution digital image, there is a method of using a digital scanner that scans up and down a CCD (Charge Coupled Device), which is packed in a single line, and uses a CCD that is packed in a matrix structure. There were digital video cameras that used instant continuous shooting.
그러나, 이러한 방식의 디지털 스캐너나 디지털 비디오 카메라를 이용하여 영상을 촬영하는 경우, 고속, 고해상도, 고품질의 촬영이 가능하려면 매우 고가의 장비가 필요한 것은 물론이고, 속도가 빠르면 해상도가 떨어지고, 고해상도이면 속도가 느려지는 단점이 있어서, 이러한 기술적 한계를 해결할 수 없었던 문제점이 있었다.However, when shooting images using this type of digital scanner or digital video camera, high-speed, high-resolution, high-quality shooting requires very expensive equipment, as well as high resolution and low resolution, high resolution There is a disadvantage that is slow, there was a problem that could not solve this technical limitation.
따라서, 사용자들은 디지털 비디오카메라 보다 싸기는 하지만 영상의 데이터처리가 불가능하여 오늘날의 컴퓨터환경에 신속하게 대응할 수 없는 종래의 저가의 아날로그식 비디오 카메라의 불편함을 감수하고 사용할 수밖에 없었던 문제점이 있었다.Therefore, users have a problem that they have to use the inconvenience of the conventional low-cost analog video camera, which is cheaper than the digital video camera but cannot process the data of the image and cannot cope with today's computer environment quickly.
또한, 영상의 데이터처리가 용이하고 각종 데이터 가공 및 보관이 편리한 종래의 디지털 비디오 카메라를 고가에 사서 사용한다고 하더라도 실현할 수 있는 해상도의 한계가 있고, 실현할 수 있는 해상도가 고해상도일수록 영상의 처리 속도가 떨어지기 때문에 빠른 화면을 정확하게 촬영하는 것이 불가능했었던 문제점이 있었다.In addition, even if a conventional digital video camera that is easy to process data and easily handles and stores various data is used at a high price, there is a limit to the resolution that can be realized, and the higher the resolution to be realized, the lower the processing speed of the image. There was a problem that it was impossible to shoot a fast screen accurately because of the loss.
또한, 종래의 디지털 비디오 카메라는 촬영하는 공간의 범위가 넓을수록 해상도가 크게 떨어지기 때문에 극장의 영상처럼 대형의 화면을 촬영할 수 없었던 문제점이 있었다.In addition, the conventional digital video camera has a problem that it is not possible to shoot a large screen like a movie in the theater because the resolution is greatly reduced as the range of the space to shoot a wider.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 저가격의 아날로그식 비디오 카메라를 사용하여 촬영비용을 줄일 수 있게 하고, 다수개의 카메라를 사용하여 대형의 화면도 고해상도로 촬영할 수 있게 하며, 촬영속도가 빨라서 정확하고 빠른 동작의 영상도 촬영할 수 있게 하는 것은 물론 촬영된 화면이 디지털방식의 영상데이터로 변환되므로 변환된 데이터의 가공 및 저장을 용이하게 하는 다중카메라 영상 합성시스템 및 영상 합성 방법을 제공함에 있다.An object of the present invention for solving the above problems, it is possible to reduce the shooting cost by using a low-cost analog video camera, to be able to shoot a large screen in a high resolution using a plurality of cameras, the shooting speed It provides a multi-camera image synthesis system and image synthesis method that facilitates the processing and storage of the converted data, as well as enabling fast and accurate video capture. have.
도 1은 본 발명의 바람직한 실시예에 따른 다중카메라 영상 합성시스템을 개략적으로 나타내는 평면도이다.1 is a plan view schematically illustrating a multi-camera image synthesizing system according to a preferred embodiment of the present invention.
도 2는 본 발명의 바람직한 실시예에 따른 다중카메라 영상 합성시스템의 카메라조합을 개략적으로 나타내는 정면도이다.2 is a front view schematically showing a camera combination of a multi-camera image synthesizing system according to a preferred embodiment of the present invention.
도 3은 본 발명의 바람직한 실시예에 따른 다중카메라 영상 합성 방법을 나타내는 순서도이다.3 is a flowchart illustrating a multi-camera image synthesizing method according to an exemplary embodiment of the present invention.
도 4는 본 발명의 일 실시예로서 4개로 분할된 각 분할화면들의 정상적인 기준점을 표시하는 도면이다.4 is a diagram illustrating normal reference points of four divided screens divided into four embodiments according to an exemplary embodiment of the present invention.
도 5 내지 도 8은 왜곡된 분할화면들의 형태를 나타내는 도면이다.5 to 8 are diagrams illustrating shapes of distorted divided screens.
상기 목적을 달성하기 위한 본 발명의 다중카메라 영상 합성시스템은, 목표촬영구역을 다수개로 분할하고, 분할된 각각의 촬영구역이 적어도 서로 겹치도록 배치되는 다수개의 아날로그식 카메라조합과, 상기 다수개의 카메라조합에서 특정 카메라를 선택하여 신호경로를 연결해 주는 영상신호선택기와, 상기 영상신호선택기에서 연결된 특정 카메라의 아날로그 영상신호를 수신받아 이를 디지털 영상신호로 변환하는 영상신호획득기 및 상기 카메라조합, 영상신호선택기 및 상기 영상신호획득기의 작동을 제어하고, 상기 영상신호획득기에서 변환된 각 카메라별 디지털 영상신호를 수신받아 이를 영상데이터로 변환하고, 하나의 영상으로 합성하여 이를 저장 및 표시하는 제어기를 포함하여 이루어지는 것을 특징으로 한다.The multi-camera image synthesizing system of the present invention for achieving the above object comprises: a plurality of analog camera combinations arranged to divide the target shooting zone into a plurality, and each of the divided shooting zones overlaps each other; A video signal selector for connecting a signal path by selecting a specific camera from a combination, an image signal acquirer for receiving an analog video signal of a specific camera connected by the video signal selector, and converting it into a digital video signal, and the camera combination and video signal. A controller for controlling the operation of the selector and the image signal acquirer, receiving a digital image signal for each camera converted by the image signal acquirer, converting the image data into image data, synthesizing it into one image, and storing and displaying the same. It is characterized by comprising.
또한, 바람직하기로는, 4각형의 화면을 다수개의 4각화면으로 분할하기 위해 상기 카메라조합은, 전체 영상을 m×n개로 분할할 수 있도록 가로 m개, 세로 n개, 총 m×n개의 카메라 행렬 조합이고, 상기 카메라는 비교적 저가의 아날로그식 비디오 카메라인 것이 가능하다.Preferably, in order to divide the quadrangular screen into a plurality of quadrangular screens, the camera combination is m horizontally, vertically n, and m × n cameras so that the entire image can be divided into m × n. It is possible that the camera is a matrix combination and the camera is a relatively inexpensive analog video camera.
또한, 본 고안의 다중카메라 영상 합성시스템은, 상기 제어기에서 영상합성시 각 카메라들의 분할화면 불일치로 인해 발생하는 오차를 줄이도록 각 분할화면의 기준점을 입력하는 교정데이터입력기를 더 포함할 수 있다.In addition, the multi-camera image synthesizing system of the present invention may further include a calibration data input unit for inputting a reference point of each divided screen so as to reduce the error caused by the split screen inconsistency of the respective cameras when synthesizing the image.
한편, 상기 목적을 달성하기 위한 본 발명의 다중카메라 영상 합성 방법은, 다수개의 아날로그 카메라조합, 각 카메라의 신호경로를 연결해주는 영상신호선택기, 연결된 카메라에서 수신된 영상신호를 디지털 영상신호로 변환하는 영상신호획득기, 각 기기들을 제어하고, 각 카메라별 디지털 영상신호를 하나의 영상으로 합성하여 영상데이터로 변환하는 제어기 및 상기 제어기에 각 분할화면의 기준점을 입력하는 교정데이터입력기를 구비하여 이루어지는 다중카메라 영상 합성시스템의 영상 합성 방법에 있어서, 상기 제어기의 제어신호를 인가받아 상기 카메라조합의 각 카메라가 작동하는 촬영 시작단계와, 사용자가 상기 제어기에 표시되는 영상을 보고, 분할화면의 불일치를 교정하도록 상기 교정데이터입력기를 통해 각 분할화면의 기준점을 입력하는 촬영관련 환경 초기화단계와, 각 카메라별로 상기 초기화단계가 완료되면 상기 영상신호선택기가 해당 카메라를 선택하여 신호경로를 연결하는 해당 카메라 선택단계와, 상기 해당 카메라 선택단계에서 연결된 특정 카메라에서 인가된 아날로그 영상신호를 디지털 영상신호로 변환하는 해당 영상신호 획득단계와, 상기 영상신호 획득단계에서 변환된 각 카메라별 영상신호를 디지털 영상데이터로 변환하는 분할화면들의 영상처리단계와, 상기 분할화면들의 영상처리단계에서 변환된 각 영상데이터를 상기 촬영관련 환경 초기화단계에서 입력된 기준점에 의거하여 교정한 다음 하나의 영상으로 합성하는 분할화면들 조합단계 및 상기 분할화면들 조합단계에서 하나의 영상으로 합성된 영상데이터를 저장 및 표시하는 최종 조합화면 영상처리단계를 포함하여 이루어지는 것을 특징으로 한다.On the other hand, the multi-camera image synthesis method of the present invention for achieving the above object, a plurality of analog camera combinations, video signal selector for connecting the signal path of each camera, converting the video signal received from the connected camera to a digital video signal An image signal acquirer, a controller which controls each device, synthesizes a digital image signal of each camera into a single image, and converts the image data into a video data, and the controller comprises a calibration data input unit for inputting a reference point of each divided screen. In an image synthesizing method of a camera image synthesizing system, a shooting start step of operating each camera of the camera combination by receiving a control signal of the controller, a user viewing an image displayed on the controller, and correcting a discrepancy of a split screen The reference point of each divided screen through the calibration data input unit Recording-related environment initialization step, and when the initialization step is completed for each camera, the video signal selector selects the camera and connects the signal paths, and the camera is applied from the specific camera connected in the camera selection step. A video signal acquiring step of converting the analog video signal into a digital video signal, a video processing step of split screens for converting the video signal for each camera converted in the video signal acquiring step into digital video data, and Combining the divided screens into a single image in the step of combining the divided screens and the step of combining each image data converted in the image processing step based on the reference point input in the shooting-related environment initialization step and then synthesized into a single image Final Combination Screen Image Processing to Save and Display Completed Image Data Characterized in that comprises a step.
이하, 본 발명의 바람직한 실시예에 따른 다중카메라 영상 합성시스템 및 영상 합성 방법을 도면을 참조하여 상세히 설명한다.Hereinafter, a multi-camera image synthesizing system and an image synthesizing method according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
먼저, 도 1에 도시된 바와 같이, 본 발명의 다중카메라 영상 합성시스템은, 크게 다수개의 아날로그 카메라조합(10), 각 카메라(1)의 신호경로를 연결해주는 영상신호선택기(20), 연결된 카메라(1)에서 수신된 영상신호를 디지털 영상신호로 변환하는 영상신호획득기(30), 각 카메라(1)별 디지털 영상신호를 하나의 영상으로 합성하여 영상데이터로 변환하는 제어기(40) 및 상기 제어기(40)에 각 분할화면의 기준점을 입력하는 교정데이터입력기(50)를 구비하여 이루어지는 구성이다.First, as shown in Figure 1, the multi-camera video synthesis system of the present invention, a large number of analog camera combination 10, the video signal selector 20 for connecting the signal path of each camera 1, connected camera An image signal obtainer 30 for converting the video signal received in (1) into a digital video signal, a controller 40 for synthesizing the digital video signal for each camera 1 into a single image and converting it into image data; and The controller 40 includes a calibration data input unit 50 for inputting a reference point of each divided screen.
즉, 도 2에 도시된 바와 같이, 상기 카메라조합(10)은, 목표촬영구역을 다수개로 분할하고, 분할된 각각의 촬영구역이 적어도 서로 겹치도록 배치되는 다수개의 아날로그식 카메라(1)들의 매트릭스식 조합으로서, 4각형의 화면을 다수개의 4각화면으로 분할하기 위해 전체 영상을 m×n개로 분할할 수 있도록 가로 m개, 세로 n개, 총 m×n개의 카메라(1) 행렬 조합이다That is, as shown in FIG. 2, the camera combination 10 divides the target shooting zone into a plurality of matrixes, and the matrix of the plurality of analog cameras 1 arranged such that each divided shooting zone overlaps at least one another. A combination of equations is a matrix combination of m, n, and m × n cameras (1) m, n, and m so that the entire image can be divided into m × n to divide the quad screen into multiple quad screens.
이러한 상기 카메라조합에서, 각 카메라는 비교적 저가의 아날로그식 비디오 카메라(1)를 사용하는 것이 가능하고, 다수개의 상기 카메라(1)를 거치시킬 수 있는 거치대(도시하지 않음)가 설치되어 각 카메라(1)의 지향 방향을 조절할 수 있게 하는 것이 바람직하다. 이러한 카메라 거치대는 다양한 종류가 이미 개발되어 사용되고 있는 기술로서, 해당분야에 종사하는 당업자에 있어 수정 및 변경이 용이한 것이다.In such a camera combination, each camera can use a relatively inexpensive analog video camera 1, and a cradle (not shown) for mounting a plurality of the cameras 1 is installed to provide a camera. It is desirable to be able to adjust the directing direction of 1). Such a camera holder is a technology that has already been developed and used in various kinds, it is easy to modify and change for those skilled in the art.
또한, 상기 카메라 거치대에 카메라(1)를 안착시킬 때, 상기 카메라(1)의 지향 방향을 정밀하게 조절하여 도 4에 도시된 바와 같이, 카메라(1)가 촬영하는 영상의 네 귀퉁이가 될 수 있으면 완전히 일치되도록 고정시키는 것이 바람직하나 실제로 모든 카메라(1)를 완벽하게 세팅시키는 것이 불가능하기 때문에 적어도 목표촬영 구역 내에 미촬영되는 구역이 없도록 다수개의 카메라(1)에서 촬영되는 각각의 영상이 서로 겹쳐지게 하는 것이 바람직하다.In addition, when the camera 1 is mounted on the camera holder, the direction of the camera 1 is precisely adjusted so that the four corners of the image captured by the camera 1 may be as shown in FIG. 4. It is desirable to fix them completely, but it is impossible to set all the cameras 1 completely, so that at least the images captured by the multiple cameras 1 are overlapped with each other so that there is no unphotographed area in the target shooting area. It is desirable to make it.
또한, 상기 영상신호선택기(20)는, 상기 다수개의 카메라조합(10)에서 특정 카메라(1)를 선택하여 신호경로를 연결해 주는 것으로서, 다수개의 카메라(1)에서 한 카메라(1)씩 순차적으로 선택하여 신호경로를 연결해주는 것이 바람직하나 기기의 성능에 따라 보다 빠른 촬영속도를 위하여 한 행이나 한 렬, 또는 전체를 선택하여 신호경로를 연결해 주는 것도 가능하다.In addition, the video signal selector 20 selects a specific camera 1 from the plurality of camera combinations 10 and connects the signal paths. It is preferable to connect the signal paths by selecting them, but it is also possible to connect the signal paths by selecting one row, one row, or the whole for faster shooting speed depending on the performance of the device.
또한, 상기 영상신호획득기(30)는, 상기 영상신호선택기(20)에서 연결된 특정 카메라(1)의 아날로그 영상신호를 수신받아 이를 디지털 영상신호로 변환하는 것으로서, 아날로그 영상신호를 디지털 영상신호로 변환하는 코딩기술은 이미 공지된 기술로, 해당분야에 종사하는 당업자에 있어 수정 및 변경이 용이한 것이다.The video signal acquirer 30 receives an analog video signal of a specific camera 1 connected by the video signal selector 20 and converts the analog video signal into a digital video signal, and converts the analog video signal into a digital video signal. The coding technique for converting is already known and is easily modified and changed by those skilled in the art.
또한, 상기 제어기(40)는, 상기 카메라조합(10), 영상신호선택기(20) 및 상기 영상신호획득기(30)의 작동을 제어하고, 상기 영상신호획득기(30)에서 변환된 각 카메라(1)별 디지털 영상신호를 수신받아 이를 영상데이터로 변환하고, 하나의 영상으로 합성하여 이를 저장 및 표시하는 것으로서, 영상합성에 필요한 영상합성프로그램을 내장하고 있는 일반적인 개인용 컴퓨터나 워크스테이션, 대형 컴퓨터 및 클라인언트/서버 형식의 각종 제어기가 모두 사용될 수 있다.In addition, the controller 40 controls the operation of the camera combination 10, the image signal selector 20, and the image signal acquirer 30, and converts each camera from the image signal acquirer 30. (1) Receiving digital video signals of each star, converting them into video data, synthesizing them into a single video, and storing and displaying them. General personal computers, workstations, and large computers with built-in video synthesis programs necessary for video synthesis. And various controllers in client / server format can be used.
여기서, 영상합성프로그램이란, 단순히 영상을 차례대로 덧붙여주는 작업만을 수행하는 프로그램이 아니라, 사용자가 입력하는 기준점을 입력받아 카메라(1)가 촬영한 영상을 수정 및 교정하여 목표촬영 구역의 실영상과 일치하도록 하는 프로그램이다.Here, the image synthesizing program is not a program for simply adding images in sequence, but receives a reference point input by the user to correct and correct the image photographed by the camera 1 so that the actual image of the target photographing region It is a program to match.
이러한 영상합성프로그램은, 도 5 내지 도 8에 도시된 바와 같이, 각 카메라가 촬영한 영상의 모든 왜곡형태를 예측하여 이를 도 4에 도시된 바와 같이 교정하는 프로그램으로서, 도 4에서와 같이, 이상적인 카메라1, 카메라2, 카메라3, 카메라4에서 촬영된 화면의 4개 꼭지점을 각각 PiA, PiB, PiC, PiD(여기서, i는 카메라번호)로 표시되며, 또한 도 3의 목표촬영화면의 기준좌표계는 {x, y}로 나타나고, 도 5 내지 도 8의 실제촬영화면의 기준좌표계는 {X, Y}로 표시된다.As shown in FIG. 5 to FIG. 8, the image synthesizing program predicts all distortion forms of an image photographed by each camera and corrects them as shown in FIG. 4. Four vertices of the screens captured by the camera 1, the camera 2, the camera 3, and the camera 4 are indicated by P iA , P iB , P iC , and P iD (where i is the camera number), and also the target shot of FIG. 3. The reference coordinate system of the screen is indicated by {x, y}, and the reference coordinate system of the actual photographing screen of FIGS. 5 to 8 is indicated by {X, Y}.
그러나, 이러한 4개의 꼭지점이 정위치에 위치하는 경우는 매우 드물고, 일반적으로, 이러한 꼭지점들은 실제 촬영에서 카메라(1)의 설치오차나 렌즈의 오차, 각 카메라 부품의 가공오차로 인해 도 5에 도시된 바와 같이, 회전되거나, 도 6에 도시된 바와 같이, 배율이 변하거나, 도 7 및 도 8에 도시된 바와 같이, 각 방향으로 비틀어지거나 또는 이들 왜곡들이 복합적으로 나타나는 형상을 띤다.However, these four vertices are rarely located in place, and in general, these vertices are shown in FIG. 5 due to the installation error of the camera 1, the lens error, and the processing error of each camera part in actual shooting. As shown, it is rotated, as shown in Fig. 6, the magnification is changed, as shown in Figs. 7 and 8, is twisted in each direction or has a shape in which these distortions appear complex.
그러므로, 도 5 내지 도 8에 나타난 각 화면들을 도 3과 같이 합성하려면 실제촬영화면의 좌표계 {X, Y}에서 목표촬영화면의 좌표계 {x, x}로의 변환이 필요하다.Therefore, in order to synthesize each screen shown in FIGS. 5 to 8 as shown in FIG. 3, it is necessary to convert the coordinate system {X, Y} of the actual photographing screen to the coordinate system {x, x} of the target photographing screen.
즉, 이러한 좌표변화식은 선형기하학과, 좌표계 변환원리를 이용하여 x=fX(X, Y), y=fY(X, Y)로 나타낼 수 있다.That is, this coordinate change equation can be expressed as x = f X (X, Y), y = f Y (X, Y) using linear geometry and the coordinate system transformation principle.
여기서, (X, Y)는, 실제촬영화면 좌표계의 네 점의 좌표 P′iA, P′iB, P′iC, P′iD이며, 이점은 위식의 변환함수 fX, fY에 의해서 실제촬영화면의 좌표계 {X, Y}에서 목표촬영화면의 좌표계 {x, x}의 네 점의 좌표 PiA, PiB, PiC, PiD로 변환된다.Here, (X, Y) is the coordinates P ′ iA , P ′ iB , P ′ iC , P ′ iD of the four points of the actual shooting screen coordinate system, and the advantage is actually taken by the conversion functions f X and f Y of the above equation. The coordinates {X, Y} of the screen are converted into coordinates P iA , P iB , P iC , P iD of four points of the coordinate system {x, x} of the target shooting screen.
그러므로, 사용자는 먼저, 화면에 보여지는 실제촬영화면의 네 꼭지점 또는 특정 기준점의 위치를 마우스의 커서를 이용하여 지정하고 이 값이 교정데이터입력기를 거처 제어기에 입력되면 미리 입력된 상기 좌표변환함수에 의해 목표촬영화면으로 변환되어 화면의 겹침이나 오차를 제거할 수 있는 것이다.Therefore, the user first designates the positions of the four vertices or specific reference points of the actual shooting screen displayed on the screen by using the cursor of the mouse, and when these values are inputted to the controller via the calibration data input device, the user inputs the coordinate transformation function previously inputted. By converting to the target shooting screen, the overlapping or error of the screen can be eliminated.
여기서, 이러한 확대축소변환, 특정방향으로의 찌그러짐 변환, 회전변환 등에 적합한 좌표변환함수는 이미 공지된 것으로서, 해당분야에 종사하는 당업자에 있어서 수정 및 변경이 용이하고, 이러한 초기화과정은 목표촬영면이 평면이고, 본 발명의 카메라조합과 상기 목표촬영면과 거리가 일정할 경우, 최초 카메라의 초기 세팅시 한 번만 실시하는 것만으로 충분하여 이후의 모든 과정이 오차없이 수행될 수 있는 것이다.Here, the coordinate transformation function suitable for such a scaling transformation, distortion transformation in a specific direction, rotation transformation, and the like is already known, and can be easily modified and changed by those skilled in the art. When the plane is flat and the distance between the camera combination of the present invention and the target shooting surface is constant, it is sufficient to perform only one time at the initial setting of the first camera, so that all subsequent processes can be performed without errors.
즉, 본 발명의 다중카메라 영상 합성시스템은, 상기 제어기(40)에서 영상합성시 각 카메라(1)들의 분할화면 불일치로 인해 발생하는 오차를 줄이도록 각 분할화면의 기준점을 입력하는 마우스나 키보드, 조이스틱, 터치스크린 등의 교정데이터입력기(50)를 더 포함하여 이루어지는 구성인 것이다.That is, in the multi-camera image synthesizing system of the present invention, a mouse or a keyboard for inputting a reference point of each divided screen so as to reduce an error caused by mismatched split screens of the cameras 1 when synthesizing the images in the controller 40; The configuration further comprises a calibration data input device 50 such as a joystick or a touch screen.
따라서, 도 3에 도시된 바와 같이, 본 발명의 다중카메라 영상 합성시스템을 기반으로 본 발명의 다중카메라 영상 합성 방법은, 단계별로 크게 촬영 시작단계(S1)와, 촬영관련 환경 초기화단계(S2)와, 해당 카메라 선택단계(S3)와, 해당 영상신호 획득단계(S4)와, 분할화면들의 영상처리단계(S5)와, 분할화면들 조합단계(S6) 및 최종 조합화면 영상처리단계(S7)를 구비하여 이루어진다.Therefore, as shown in FIG. 3, the multi-camera image synthesizing method of the present invention based on the multi-camera image synthesizing system of the present invention is largely step-by-step starting shooting step (S1) and initializing environment related to shooting (S2). And a corresponding camera selection step (S3), a corresponding video signal acquisition step (S4), an image processing step (S5) of the split screens, a combination step of the split screens (S6), and a final combination screen image processing step (S7). It is provided with.
즉, 사용자가 최초, 상술된 본 발명의 다중카메라 영상 합성시스템을 특정의 장소에 설치하면 상기 제어기(40)의 제어신호를 인가받아 상기 카메라조합(10)의 각 카메라(1)가 작동하여 촬영하는 상기 촬영 시작단계(S1)가 실시된다.That is, when the user first installs the above-described multi-camera image synthesizing system of the present invention in a specific place, each camera 1 of the camera combination 10 is operated and photographed by receiving the control signal of the controller 40. The photographing start step S1 is performed.
이어서, 상기 촬영관련환경 초기화단계(S2)는, 사용자가 상기 제어기(40)에 표시되는 영상을 보고, 분할화면의 불일치를 교정하도록 상기 교정데이터입력기(50)를 통해 각 분할화면의 기준점을 입력하는 단계이다.Subsequently, in the shooting-related environment initialization step (S2), a user inputs a reference point of each split screen through the calibration data input unit 50 so as to view an image displayed on the controller 40 and correct a discrepancy of the split screen. It's a step.
이어서, 상기 해당 카메라 선택단계(S3)는, 상기 각 카메라(1)별로 상기 초기화단계(S2)가 완료되면 상기 영상신호선택기(20)가 해당 카메라(1)를 선택하여 신호경로를 연결하는 단계이다.Subsequently, in the camera selection step S3, when the initialization step S2 is completed for each camera 1, the image signal selector 20 selects the camera 1 to connect a signal path. to be.
이어서, 상기 해당 영상신호 획득단계(S4)는, 상기 해당 카메라 선택단계(S3)에서 연결된 특정 카메라(1)에서 인가된 아날로그 영상신호를 디지털 영상신호로 변환하는 단계이다.Subsequently, the video signal acquisition step S4 is a step of converting an analog video signal applied from the specific camera 1 connected in the camera selection step S3 into a digital video signal.
이때, 상기 제어기(40)에서는 모든 카메라(1)의 영상신호가 디지털 영상신호로 변환될 때까지 각 카메라(1)를 순차적으로 선택되도록 상기 영상신호선택기(20)를 제어한다.At this time, the controller 40 controls the video signal selector 20 to sequentially select each camera 1 until the video signals of all the cameras 1 are converted into digital video signals.
이어서, 상기 분할화면들의 영상처리단계(S5)는, 상기 영상신호 획득단계(S4)에서 변환된 각 카메라별 디지털 영상신호를 다시 디지털 영상데이터로 변환하는 단계이다.Subsequently, the image processing step S5 of the divided screens is a step of converting the digital video signal for each camera converted in the video signal obtaining step S4 back into digital image data.
이어서, 상기 분할화면들 조합단계(S6)는, 상기 분할화면들의 영상처리단계(S5)에서 변환된 각 영상데이터를 상기 촬영관련 환경 초기화단계(S2)에서 입력된 기준점에 의거하여 교정한 다음 하나의 영상으로 합성하는 단계이다.Subsequently, in the step S6 of combining the divided screens, each image data converted in the image processing step S5 of the divided screens is corrected based on a reference point input in the shooting-related environment initialization step S2. This step is to synthesize the images.
이어서, 상기 최종 조합화면 영상처리단계(S7)는, 상기 분할화면들 조합단계(S6)에서 하나의 영상으로 합성된 영상데이터를 저장 및 표시하는 단계이다.Subsequently, the final combined screen image processing step (S7) is a step of storing and displaying image data synthesized as one image in the divided screen combination step (S6).
이어서, 영상 촬영작업을 종료하거나 계속적인 반복작업을 실시하여 보다 정밀한 영상촬영이 가능한 것이다.Subsequently, more precise image capturing is possible by terminating the image capturing operation or performing continuous repetitive operations.
따라서, 본 발명의 다중카메라 영상 합성 방법에 따르면 촬영관련 환경 초기화에서 예상되는 모든 촬영 오차를 극복할 수 있는 것이고, 다수개의 카메라를 이용하여 순차적으로 분할 촬영하는 것이 가능하며, 취해진 영상신호를 영상데이터로 변환하여 이를 조합할 수 있는 것이다.Therefore, according to the multi-camera image synthesizing method of the present invention, it is possible to overcome all the shooting errors expected in the initialization of the shooting-related environment, and it is possible to sequentially divide a plurality of cameras by using a plurality of cameras, and to take the image data of the taken Can be converted to and combined with.
그러므로, 본 발명의 다중카메라 영상 합성시스템을 이용하여 영상을 촬영하는 경우, 저가격으로 고속, 고해상도, 고품질의 촬영이 가능한 것으로서, 속도가 빠르면서 해상도이면 높은 고품질의 영상을 촬영할 수 있는 것이다.Therefore, in the case of capturing images using the multi-camera image synthesizing system of the present invention, high-speed, high-resolution, high-quality photographing is possible at low cost, and high-quality images can be captured at high speed and resolution.
따라서, 사용자들은 디지털 비디오카메라 보다 싼 아날로그식 비디오 카메라를 이용하여 영상의 데이터처리가 용이하고 각종 데이터 가공 및 보관이 편리한 디지털 영상을 촬영할 수 있고, 고해상도이면서 영상의 처리 속도가 빠른 화면을 정확하게 촬영하는 것이 가능한 것이다.Therefore, users can use digital video cameras, which are cheaper than digital video cameras, to capture digital images that are easy to process data and to process and store various data, and to accurately capture high resolution and fast image processing screens. It is possible.
또한, 본 발명의 다중카메라 영상 합성시스템 및 영상 합성 방법을 이용하면 촬영하는 공간의 범위가 넓더라도 해상도를 높일 수 있기 때문에 극장의 영상처럼 대형의 화면을 쉽게 촬영하고, 이를 간단하게 편집할 수 있는 이점이 있는 것이다.In addition, by using the multi-camera image synthesizing system and the image synthesizing method of the present invention, since the resolution can be increased even if the range of the space to be photographed is wide, it is possible to easily photograph a large screen like a movie in the theater, and to easily edit it. There is an advantage.
이상에서와 같이 본 발명의 다중카메라 영상 합성시스템 및 영상 합성 방법에 의하면, 저가격의 아날로그식 비디오 카메라를 사용하여 촬영비용을 줄일 수 있게 하고, 다수개의 카메라를 사용하여 대형의 화면도 고해상도로 촬영할 수 있게 하며, 촬영속도가 빨라서 정확하고 빠른 동작의 영상도 촬영할 수 있게 하는 것은 물론 촬영된 화면이 디지털방식의 영상데이터로 변환되므로 변환된 데이터의 가공 및 저장을 용이하게 하는 효과를 갖는 것이다.As described above, according to the multi-camera image synthesizing system and the image synthesizing method of the present invention, it is possible to reduce the shooting cost by using a low-cost analog video camera, and to capture a large screen using a plurality of cameras in high resolution. In addition, since the shooting speed is high, it is possible to capture an accurate and fast moving image as well as the photographed screen is converted into digital image data, thereby having an effect of facilitating the processing and storage of the converted data.
Claims (4)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990022992A KR100312964B1 (en) | 1999-06-18 | 1999-06-18 | An image composition system of multi-camera and its image composition method |
| AU46208/00A AU4620800A (en) | 1999-06-18 | 2000-05-18 | Image compositing system of multicamera and method thereof |
| PCT/KR2000/000486 WO2000079785A1 (en) | 1999-06-18 | 2000-05-18 | Image compositing system of multicamera and method thereof |
| TW089111149A TW493102B (en) | 1999-06-18 | 2000-06-08 | Image compositing system of multicamera and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990022992A KR100312964B1 (en) | 1999-06-18 | 1999-06-18 | An image composition system of multi-camera and its image composition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR19990068771A true KR19990068771A (en) | 1999-09-06 |
| KR100312964B1 KR100312964B1 (en) | 2001-11-03 |
Family
ID=19593452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990022992A KR100312964B1 (en) | 1999-06-18 | 1999-06-18 | An image composition system of multi-camera and its image composition method |
Country Status (4)
| Country | Link |
|---|---|
| KR (1) | KR100312964B1 (en) |
| AU (1) | AU4620800A (en) |
| TW (1) | TW493102B (en) |
| WO (1) | WO2000079785A1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001018751A1 (en) * | 1999-09-09 | 2001-03-15 | Dasan C & I Co., Ltd. | Automatic imaging system for bound document and controlling method thereof |
| KR100898700B1 (en) * | 2007-12-17 | 2009-05-20 | 한국전자통신연구원 | System and method for broadcasting ultra resolution images using images of multi-viewpoint |
| KR101298706B1 (en) * | 2011-11-04 | 2013-08-26 | 주식회사 케이랩 | Method of calibrating marking for laser marking system |
| US9462265B2 (en) | 2015-01-06 | 2016-10-04 | Samsung Display Co., Ltd. | Method of measuring light emission of display panel and method of compensating light emission of display panel |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6895126B2 (en) | 2000-10-06 | 2005-05-17 | Enrico Di Bernardo | System and method for creating, storing, and utilizing composite images of a geographic location |
| KR100605803B1 (en) * | 2004-06-08 | 2006-08-01 | 삼성전자주식회사 | Apparatus and method for multi-division photograph using hand-held terminal |
| TWI318758B (en) | 2005-06-21 | 2009-12-21 | Avermedia Information Inc | Method for adjusting display range of image obtained by document camera |
| US7840032B2 (en) | 2005-10-04 | 2010-11-23 | Microsoft Corporation | Street-side maps and paths |
| US7499586B2 (en) * | 2005-10-04 | 2009-03-03 | Microsoft Corporation | Photographing big things |
| TWI348120B (en) | 2008-01-21 | 2011-09-01 | Ind Tech Res Inst | Method of synthesizing an image with multi-view images |
| KR100951418B1 (en) | 2008-08-01 | 2010-04-07 | 재단법인 서울테크노파크 | Apparatus and method for merging image |
| TW201406149A (en) * | 2012-07-27 | 2014-02-01 | Pei Rui Technology Co Ltd | Multi-camera image composition system |
| KR101544342B1 (en) | 2015-02-16 | 2015-08-12 | (주) 넥스트칩 | Method and apparatus for generating digital video signal |
| JP6572500B1 (en) * | 2018-03-14 | 2019-09-11 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Image processing apparatus, imaging apparatus, moving object, image processing method, and program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6379478A (en) * | 1986-06-09 | 1988-04-09 | Nikon Corp | Picture synthesizing video camera |
| JPH0724386B2 (en) * | 1986-09-22 | 1995-03-15 | ソニー株式会社 | Audio broadcasting receiver |
| JPS63274270A (en) * | 1987-04-30 | 1988-11-11 | Miyamae:Kk | Video synthesizing circuit |
| JP3298913B2 (en) * | 1991-11-28 | 2002-07-08 | ソニー株式会社 | Super high definition video camera |
| JP3087236B2 (en) * | 1992-09-09 | 2000-09-11 | 株式会社フジタ | Stereoscopic image synthesis display device |
| JPH07322239A (en) * | 1994-05-23 | 1995-12-08 | Hitachi Ltd | Method for displaying monitor video and monitoring device |
| JPH08149369A (en) * | 1994-11-18 | 1996-06-07 | Hitachi Ltd | Video camera system for multi-vision |
| JPH1079932A (en) * | 1996-09-04 | 1998-03-24 | Osaka Gas Co Ltd | Monitoring device and method for linking plural picture and device therefor |
| JPH10164566A (en) * | 1996-11-28 | 1998-06-19 | Aiphone Co Ltd | Multi-ceiling camera device |
-
1999
- 1999-06-18 KR KR1019990022992A patent/KR100312964B1/en not_active IP Right Cessation
-
2000
- 2000-05-18 AU AU46208/00A patent/AU4620800A/en not_active Abandoned
- 2000-05-18 WO PCT/KR2000/000486 patent/WO2000079785A1/en active Application Filing
- 2000-06-08 TW TW089111149A patent/TW493102B/en active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001018751A1 (en) * | 1999-09-09 | 2001-03-15 | Dasan C & I Co., Ltd. | Automatic imaging system for bound document and controlling method thereof |
| KR100898700B1 (en) * | 2007-12-17 | 2009-05-20 | 한국전자통신연구원 | System and method for broadcasting ultra resolution images using images of multi-viewpoint |
| KR101298706B1 (en) * | 2011-11-04 | 2013-08-26 | 주식회사 케이랩 | Method of calibrating marking for laser marking system |
| US9462265B2 (en) | 2015-01-06 | 2016-10-04 | Samsung Display Co., Ltd. | Method of measuring light emission of display panel and method of compensating light emission of display panel |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2000079785A1 (en) | 2000-12-28 |
| KR100312964B1 (en) | 2001-11-03 |
| AU4620800A (en) | 2001-01-09 |
| TW493102B (en) | 2002-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100312964B1 (en) | An image composition system of multi-camera and its image composition method | |
| JP3463612B2 (en) | Image input method, image input device, and recording medium | |
| US6195204B1 (en) | Compact high resolution panoramic viewing system | |
| US9706135B2 (en) | Method and apparatus for generating an image cut-out | |
| US6128143A (en) | Panoramic viewing system with support stand | |
| JP3320541B2 (en) | Image processing method and apparatus for forming an image from a plurality of adjacent images | |
| JP3862895B2 (en) | Panorama imager | |
| US8189953B2 (en) | Image processing apparatus and image processing method | |
| EP0778699A2 (en) | Spherical imaging/projection apparatus | |
| CN110691175B (en) | Video processing method and device for simulating motion tracking of camera in studio | |
| JP2001028702A (en) | Panoramic viewer | |
| WO2002065763A2 (en) | System and method for manipulating the point of interest in a sequence of images | |
| WO2007097118A2 (en) | Image signal processing apparatus and virtual reality creating system | |
| US20170061686A1 (en) | Stage view presentation method and system | |
| JPWO2005024723A1 (en) | Image composition system, image composition method and program | |
| KR19980041972A (en) | Video signal processing apparatus and video signal processing method | |
| JP2002014611A (en) | Video projecting method to planetarium or spherical screen and device therefor | |
| KR100579426B1 (en) | Video signal processing device and video signal processing method | |
| US10638087B2 (en) | Image output apparatus, image output method, and storage medium | |
| CN106233715B (en) | Image output device, image output method, and storage medium | |
| JP2003153133A (en) | Projector and image correcting method | |
| JP2004282712A (en) | Adjustment device | |
| JP4211653B2 (en) | Video generation system | |
| JP3445820B2 (en) | Convergence deviation correction system and display device using the same | |
| JPH08223562A (en) | Method and device for high speed introduction and control of aimed object in camera image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |