KR20150058871A - Photographing device and stitching method of photographing image - Google Patents

Photographing device and stitching method of photographing image Download PDF

Info

Publication number
KR20150058871A
KR20150058871A KR1020130142163A KR20130142163A KR20150058871A KR 20150058871 A KR20150058871 A KR 20150058871A KR 1020130142163 A KR1020130142163 A KR 1020130142163A KR 20130142163 A KR20130142163 A KR 20130142163A KR 20150058871 A KR20150058871 A KR 20150058871A
Authority
KR
South Korea
Prior art keywords
image
images
feature point
point extraction
setting
Prior art date
Application number
KR1020130142163A
Other languages
Korean (ko)
Inventor
석주명
임성용
조용주
차지훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130142163A priority Critical patent/KR20150058871A/en
Priority to US14/168,435 priority patent/US20150138309A1/en
Publication of KR20150058871A publication Critical patent/KR20150058871A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Disclosed is a method for stitching a photographed image. The method includes the steps of: photographing a plurality of images having angles of view different from each other; determining feature point extraction areas in the images; extracting a plurality of the feature points from a plurality of objects in the determined areas; extracting a combination line, which connects the corresponding feature points, based on the extracted feature points; outputting the extracted combination line; and combining the images based on the extracted combination line. Therefore, according to the method, a high-quality stitching image can be efficiently provided.

Description

촬상 장치 및 촬상 이미지 스티칭 방법{PHOTOGRAPHING DEVICE AND STITCHING METHOD OF PHOTOGRAPHING IMAGE}TECHNICAL FIELD [0001] The present invention relates to an imaging device and an image stitching method,

본 발명은 촬상 장치 및 촬상 이미지 스티칭 방법에 관한 것으로, 더욱 상세하게는 멀티 카메라를 이용하여 복수의 이미지를 촬상하고 인접 이미지들을 결합하기 위한 촬상 장치 및 촬상 이미지 스티칭 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an imaging apparatus and a method for stitching an image, and more particularly, to an imaging apparatus and an imaging image stitching method for imaging a plurality of images and combining adjacent images using a multi-camera.

일반적으로 고품질 파노라마 영상을 생성하기 위하여 멀티 카메라는 촬상되는 이미지의 일부분을 겹쳐서 촬상해야 한다. 멀티 카메라는 중복하여 촬상된 부분에서 특징점을 추출하고 동일한 특징점을 매칭함으로써 인접 이미지 간의 기하학적 연관 관계인 호모그래피 정보를 산출하기 위함이다.Generally, in order to generate a high-quality panoramic image, a multi-camera must superimpose a portion of an image to be captured. Multicameras are used for extracting feature points from overlapping images and matching the same feature points to calculate homography information, which is a geometric association between adjacent images.

이렇게 산출된 호모그래피 정보를 활용하여 인접 이미지를 결합하는 스티칭이 진행된다. 그러나, 호모그래피 정보를 산출하기 위한 절차 중 특징점 추출 및 매칭은 전체 이미지를 대상으로 추출되고 매칭된다. 따라서, 특징점 추출 및 매칭 과정은 많은 시간이 소요될 뿐만 아니라 촬상 장치의 성능에도 영향을 준다. 또한, 이미지 특성도 스티칭 이미지 품질에 영향을 미친다. 예를 들어, 야경, 하늘, 도심 등 이미지 특성상 특징점의 수가 극히 부족한 경우, 매칭 및 호모그래피 정보를 산출할 수 있는 기초 정보량이 부족하여 관계 산출에 실패하거나 매핑이 되어 잘못된 호모그래피를 산출하는 경우가 발생할 수 있다. 또한, 근거리 피사체와 원거리 피사체가 동시에 촬영되는 경우, 산출된 호모그래피가 근거리 피사체의 특징점을 기반으로 산출된 경우와 원거리 피사체의 특징점을 기반으로 산출된 경우에 따라 스티칭된 이미지는 시차로 인하여 왜곡될 수 있다.Stitching is performed to combine adjacent images using the homography information thus calculated. However, among the procedures for calculating homography information, feature extraction and matching are extracted and matched to the entire image. Therefore, the feature point extraction and matching process not only takes much time, but also affects the performance of the imaging apparatus. In addition, the image characteristics also affect the stitching image quality. For example, when the number of feature points is extremely small due to image characteristics such as night view, sky, and city, there is a case in which the calculation of the relation is failed due to a lack of basic information amount capable of calculating matching and homography information, Lt; / RTI > Also, in the case where the near subject and the far subject are simultaneously photographed, the calculated homography is calculated on the basis of the minutiae of the near object, and the stitched image is distorted due to the parallax when it is calculated based on the minutiae point of the far object .

이에 따라, 스티칭 실패 및 오류를 회피하기 위한 기술에 대한 필요성이 대두되고 있다.Accordingly, there is a need for a technique for avoiding stitching failure and error.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 입력 정보를 정리하여 알고리즘 동작이 최적으로 운용될 수 있도록 함으로써 스티칭 실패율을 낮추고 향상된 파노라마 이미지의 품질을 얻을 수 있는 촬상 이미지 스티칭 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide an image-stitching image stitching method capable of reducing the stitching failure rate and improving the quality of the panoramic image by arranging input information, .

본 발명의 상술한 목적을 달성하기 위한 일 실시 예로서, 촬상 이미지 스티칭 방법은 서로 다른 화각을 가진 복수의 이미지를 촬상하는 단계, 상기 복수의 이미지 상에서 특징점 추출 영역을 설정하는 단계, 상기 설정된 영역 내의 복수의 객체로부터 복수의 특징점을 추출하는 단계, 상기 추출된 복수의 특징점을 기초로 대응되는 특징점을 연결한 조합선을 추출하는 단계, 상기 추출된 조합선을 출력하는 단계 및 상기 추출된 조합선을 기초로 상기 복수의 이미지를 결합하는 단계를 포함하고, 상기 특징점 추출 영역을 설정하는 단계는 상기 복수의 이미지 중 적어도 하나의 이미지 상에서 어느 하나의 지점에 대한 선택 명령을 입력받으면 상기 선택된 지점을 기초로 상기 특징점 추출 영역을 설정한다.According to an embodiment of the present invention, there is provided a method of stitching an image, comprising the steps of: capturing a plurality of images having different angles of view; setting a feature point extraction region on the plurality of images; Extracting a plurality of feature points from a plurality of objects, extracting a combination line connecting feature points corresponding to the extracted plurality of feature points, outputting the extracted combination lines, Wherein the step of setting the feature point extraction region includes a step of selecting the feature point extraction region based on the selected point when receiving a selection instruction for any one point on at least one image of the plurality of images, The feature point extraction area is set.

그리고, 상기 특징점 추출 영역을 설정하는 단계는 상기 복수의 이미지 중 적어도 하나의 이미지 상에서 제1 지점으로부터 제2 지점까지 드래그 명령이 입력되는 경우, 상기 제1 지점 및 상기 제2 지점을 꼭지점으로 하는 사각형 영역을 상기 특징점 추출 영역으로 설정할 수 있다.When the drag command is input from the first point to the second point on at least one image of the plurality of images, the step of setting the feature point extraction area may include a step of setting a rectangle having the first point and the second point as vertices Area can be set as the feature point extraction area.

또한, 상기 특징점 추출 영역을 설정하는 단계는 상기 선택된 지점을 기초로 기 설정된 영역에 대해 상기 특징점 추출 영역으로 설정할 수 있다.In addition, the step of setting the feature point extraction region may be set as the feature point extraction region for the predetermined region based on the selected point.

또한, 상기 특징점 추출 영역을 설정하는 단계는 상기 선택된 지점을 연결한 직선 및 입력된 제2 지점을 연결한 직선 사이의 영역을 상기 특징점 추출 영역으로 설정할 수 있다.In addition, the step of setting the feature point extraction region may set the region between the straight line connecting the selected points and the straight line connecting the input second points as the feature point extraction region.

그리고, 상기 특정점 추출 영역을 설정하는 단계는 상기 복수의 이미지 중 적어도 하나의 이미지 상에서 일정 영역에 대한 선택 명령을 입력받으면 상기 선택된 영역을 제거하여 상기 특징점 추출 영역을 설정할 수 있다.The step of setting the specific point extraction region may include setting the feature point extraction region by removing the selected region when receiving a selection command for a predetermined region on at least one of the plurality of images.

그리고, 상기 특징점 추출 영역을 설정하는 단계는 상기 복수의 이미지 중 적어도 하나의 이미지 내의 적어도 하나의 객체에 대한 선택 명령을 입력받으면 상기 선택된 객체를 기초로 상기 특징점 추출 영역을 설정할 수 있다.The setting of the feature point extraction region may include setting the feature point extraction region based on the selected object when a selection command for at least one object in the at least one image of the plurality of images is input.

한편, 촬상 이미지 스티칭 방법은 상기 복수의 특징점 중에서 상기 조합선을 추출할 특징점을 선택받는 단계를 더 포함할 수 있다.The method may further include a step of selecting a feature point from which to extract the combination line from the plurality of feature points.

그리고, 촬상 이미지 스티칭 방법은 상기 추출된 조합선 중에서 제거될 조합선을 입력받는 단계를 더 포함하고, 상기 복수의 이미지를 결합하는 단계는 상기 추출된 조합선 중 상기 제거된 조합선 외의 조합선을 기초로 상기 복수의 이미지를 결합할 수 있다.The image picking image stitching method may further include the step of receiving a combination line to be removed from the extracted combination lines, and the step of combining the plurality of images may include combining the extracted combination lines other than the removed combination line The plurality of images can be combined as a basis.

또한, 상기 조합선을 출력하는 단계는 각각의 이미지 결합 영역에 따라 서로 다른 색상으로 상기 조합선을 출력할 수 있다.The outputting of the combination lines may output the combination lines in different colors according to the respective image combining regions.

본 발명의 상술한 목적을 달성하기 위한 일 실시 예로서, 촬상 장치는 서로 다른 화각을 가진 복수의 이미지를 촬상하는 촬상부, 상기 복수의 이미지 상에서 특징점 추출 영역을 설정하고, 상기 설정된 영역 내의 복수의 객체로부터 복수의 특징점을 추출하며, 상기 추출된 복수의 특징점을 기초로 대응되는 특징점을 연결한 조합선을 추출하는 제어부 및 상기 추출된 조합선을 출력하는 출력부를 포함하고, 상기 제어부는 상기 복수의 이미지 중 적어도 하나의 이미지 상에서 어느 하나의 지점에 대한 선택 명령을 입력받으면 상기 선택된 지점을 기초로 상기 특징점 추출 영역을 설정하며, 상기 추출된 조합선을 기초로 상기 복수의 이미지를 결합한다.According to one embodiment of the present invention, there is provided an imaging apparatus including an imaging section for imaging a plurality of images having different angles of view, a feature point extracting section for setting a feature point extracting area on the plurality of images, A control unit for extracting a plurality of feature points from the object and extracting a combination line connecting the corresponding feature points on the basis of the extracted plurality of feature points and an output unit for outputting the extracted combination lines, When the selection command for any one point is input on at least one of the images, the feature point extraction region is set based on the selected point, and the plurality of images are combined based on the extracted combination line.

상술한 다양한 실시 예에 따르면, 촬상 이미지 스티칭 방법은 영역 설정 및 입력 정보를 정리함으로써 알고리즘 동작이 최적으로 운용됨으로써 스티칭 실패율을 낮추고 향상된 파노라마 이미지를 제공할 수 있다.According to the various embodiments described above, the captured image stitching method can optimize the algorithm operation by arranging area setting and input information, thereby lowering the stitching failure rate and providing an improved panoramic image.

도 1은 본 발명의 일 실시 예에 따른 촬상 장치로 피사체를 촬상하는 과정을 설명하는 도면.
도 2는 본 발명의 일 실시 예에 따른 촬상 장치의 블록도.
도 3 내지 도 7은 본 발명의 다양한 실시 예에 따른 특징점 추출 영역의 설정 방법을 설명하는 도면.
도 8은 본 발명의 일 실시 예에 따른 특징점의 선택 방법을 설명하는 도면.
도 9는 본 발명의 일 실시 예에 따른 조합선의 제거 방법을 설명하는 도면.
도 10은 본 발명의 일 실시 예에 따른 촬상 이미지 스티칭 방법의 흐름도.
도 11은 본 발명의 다른 실시 예에 따른 촬상 이미지 스티칭 방법의 흐름도.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a view for explaining a process of picking up an image of a subject with an image pickup apparatus according to an embodiment of the present invention; Fig.
2 is a block diagram of an imaging apparatus according to an embodiment of the present invention;
FIGS. 3 to 7 are diagrams for explaining a method of setting a feature point extraction region according to various embodiments of the present invention; FIG.
8 is a view for explaining a method of selecting feature points according to an embodiment of the present invention;
9 is a view for explaining a method of removing a combination line according to an embodiment of the present invention.
10 is a flowchart of a method of stitching an image according to an embodiment of the present invention.
11 is a flowchart of a picked-up image stitching method according to another embodiment of the present invention.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. The structure and operation of the present invention shown in the drawings and described by the drawings are described as at least one embodiment, and the technical ideas and the core structure and operation of the present invention are not limited thereby.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.Although the terms used in the present invention have been selected in consideration of the functions of the present invention, it is possible to use general terms that are currently widely used, but this may vary depending on the intention or custom of a person skilled in the art or the emergence of new technology. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, it is to be understood that the term used in the present invention should be defined based on the meaning of the term rather than the name of the term, and on the contents of the present invention throughout.

도 1은 본 발명의 일 실시 예에 따른 촬상 장치로 피사체를 촬상하는 과정을 설명하는 도면이다.1 is a view for explaining a process of picking up an image of a subject with an image pickup apparatus according to an embodiment of the present invention.

도 1을 참조하면, 멀티 카메라(111, 112), 복수의 피사체(1a, 1b, 1c) 및 멀티 카메라에서 촬상되는 이미지(51, 52)가 도시되어 있다. 멀티 카메라는 제1 카메라(111) 및 제2 카메라(112)를 포함할 수 있다. 각 카메라(111, 112)는 방사형으로 배치되고, 피사체(1a, 1b, 1c)에 대하여 일정 영역을 중복하여 촬상한다. 파노라마 촬상을 위해서 각 카메라(111, 112)는 동일한 촬상 중심점을 가지도록 배치되고 동일한 화각 및 초점 거리를 가진다. 또한, 각 카메라(111, 112)는 동일한 해상도를 가지는 것이 바람직하다.1, there are shown multiple cameras 111 and 112, a plurality of subjects 1a, 1b, and 1c, and images 51 and 52 captured by a multi-camera. The multi-camera may include a first camera 111 and a second camera 112. Each of the cameras 111 and 112 is arranged radially and picks up an image of a certain area overlapping the subject 1a, 1b, or 1c. For the panoramic imaging, each of the cameras 111 and 112 is arranged to have the same imaging center point and has the same angle of view and focal length. It is also preferable that the cameras 111 and 112 have the same resolution.

도 1에서 도시된 바와 같이, 촬상 유효 화각 내에 존재하는 복수의 피사체(1a, 1b, 1c)는 촬상하는 카메라(111, 112)의 센서에 각각 투영된다. 이때 복수의 카메라(111, 112)는 일정 화각만큼 중복 촬상하므로 일부 피사체(2b)는 각 카메라에 동일하게 촬상된다. 이때 입력되는 영상을 접합하기 위해서 인접 카메라 간에는 적정한 화각만큼 중복으로 촬상해야 한다. 적정한 중복 화각이란 동일 피사체의 특징점 및 조합선을 산출할 수 있는 정도의 화각을 의미한다. 특징점이란 인접 이미지를 결합하기 위해 동일 지점을 확인하기 위한 동일 객체 상의 특정 지점을 의미한다. 조합선이란 두 개의 이미지에 각각 포함된 동일 이미지의 동일 특징점을 연결하는 선을 의미한다.As shown in Fig. 1, a plurality of subjects 1a, 1b, 1c existing within the imaging effective angle of view are respectively projected onto the sensors of the cameras 111, 112 to be imaged. At this time, since the plurality of cameras 111 and 112 perform the overlapping image capturing by a constant angle of view, some of the subjects 2b are captured in the same manner in each camera. At this time, in order to join the input image, it is necessary to image the adjacent cameras in a redundant manner by an appropriate angle of view. An appropriate overlap angle of view means an angle of view enough to calculate the minutiae and the combination line of the same object. A feature point is a specific point on the same object for identifying the same point to combine adjacent images. A combination line means a line connecting the same feature points of the same image included in two images.

즉, 제1 카메라(111)는 제1 카메라의 화각 안에 포함된 피사체(1a, 1b)를 촬상한 제1 이미지(51)를 얻는다. 마찬가지로, 제2 카메라(112)는 제2 카메라의 화각 안에 포함된 피사체(1b, 1c)를 촬상한 제2 이미지(52)를 얻는다. 제1 이미지(51)는 제1 이미지에만 포함되어 촬상된 객체(2a)와 중복되어 촬상된 객체(2b)를 포함한다. 제2 이미지(52)는 제2 이미지에만 포함되어 촬상된 객체(2c)와 중복되어 촬상된 객체(2b)가 포함된다. 즉, 제1 이미지(51)는 제1 이미지에만 촬상된 영역(11)과 중복 영역(12)을 포함하고, 제2 이미지(52)는 제2 이미지에만 촬상된 영역(13)과 중복 영역(12)을 포함한다.That is, the first camera 111 obtains the first image 51 of the subject 1a or 1b included in the angle of view of the first camera. Similarly, the second camera 112 obtains the second image 52, which is an image of the subject 1b, 1c included in the angle of view of the second camera. The first image 51 includes the object 2b captured only by the first image and overlapped with the captured object 2a. The second image 52 includes the object 2b captured only by the second image and overlapped with the captured object 2c. That is, the first image 51 includes an area 11 and an overlap area 12 captured only on the first image, and the second image 52 includes the area 13 captured only on the second image and the overlapped area 12 12).

촬상 장치(미도시)는 중복 영역(12)에 포함된 객체(2b)에서 특징점을 추출한다. 특징점을 추출하는 추출 영역은 사용자에 의해 설정될 수 있고, 촬상 장치는 설정된 추출 영역 내의 객체로부터 특징점을 추출한다. 이와 같이, 촬상 장치는 한정된 영역 내에서 특징점을 추출하게 되므로 리소스를 적게 사용할 수 있고, 빠른 처리가 가능하다. 촬상 장치는 두 개의 이미지에서 추출한 특징점들 중에서 동일 특징점을 연결한 조합선을 추출한다. 추출된 조합선 중에는 매칭이 잘못된 조합선이 존재할 수 있으며, 불필요한 조합선이 존재할 수도 있다. 따라서, 촬상 장치는 조합선을 표시하고, 조합선의 제거 또는 선택 명령을 입력받음으로써 스티칭 이미지 생성 속도 향상 및 품질 향상을 할 수 있다.An image pickup device (not shown) extracts feature points from the object 2b included in the overlap area 12. [ The extraction region for extracting the minutiae point can be set by the user, and the image pickup device extracts the minutiae point from the object within the set extraction region. As described above, since the imaging apparatus extracts the minutiae from a limited area, it is possible to use less resources and to perform quick processing. The imaging device extracts a combination line connecting the same feature points out of the two feature points extracted from the two images. Among the extracted combination lines, there may be a combination line having an incorrect match, and unnecessary combination lines may exist. Therefore, the imaging apparatus displays a combination line, and by receiving a combination line elimination or selection command, it is possible to improve the speed of stitching image generation and improve the quality.

아래에서는 촬상 장치에 대해 구체적으로 설명하기로 한다.Hereinafter, the imaging apparatus will be described in detail.

도 2는 본 발명의 일 실시 예에 따른 촬상 장치의 블록도이다.2 is a block diagram of an image pickup apparatus according to an embodiment of the present invention.

도 2를 참조하면, 촬상 장치(100)는 촬상부(110), 제어부(120), 입력부(130), 출력부(140)를 포함한다. 예를 들어, 촬상 장치(100)는 카메라를 구비한 전자 장치로서 카메라, 캠코더, 스마트폰, 태블릿 PC, 노트북, TV, PMP, 네비게이션 등으로 구현될 수 있다.2, the image sensing apparatus 100 includes an image sensing unit 110, a control unit 120, an input unit 130, and an output unit 140. [ For example, the imaging apparatus 100 may be implemented as a camera, a camcorder, a smart phone, a tablet PC, a notebook, a TV, a PMP, a navigation, and the like as an electronic device having a camera.

촬상부(110)는 서로 다른 화각을 가진 복수의 이미지를 촬상한다. 촬상부(110)는 복수의 카메라를 구비할 수 있다. 예를 들어, 촬상부(110)가 두 개의 카메라를 구비하는 경우, 두 개의 카메라는 일정 영역이 중복되어 촬상될 수 있는 화각을 가지도록 배치될 수 있다. 촬상부(110)가 세 개의 카메라를 구비하는 경우, 세 개의 카메라는 각각 인접 카메라와 일정 영역이 중복되어 촬상될 수 있는 화각을 가지도록 배치될 수 있다. 경우에 따라, 복수의 카메라는 화각의 중복 영역의 크기를 변경할 수 있도록 일정 범위 내에서 회전 가능하도록 배치될 수도 있다. 촬상부(110)는 하나의 카메라만을 포함할 수 있다. 이 경우, 촬상 이미지는 일부 영역이 겹쳐지도록 촬상될 수 있다.The image pickup section 110 picks up a plurality of images having different angle of view. The imaging unit 110 may include a plurality of cameras. For example, when the imaging unit 110 has two cameras, the two cameras can be arranged so as to have an angle of view such that a certain area can be picked up by overlapping. When the imaging unit 110 has three cameras, the three cameras may be arranged so as to have an angle of view such that a predetermined area is overlapped with the adjacent camera, respectively. In some cases, the plurality of cameras may be arranged to be rotatable within a certain range so as to change the size of the overlapping area of the angle of view. The imaging unit 110 may include only one camera. In this case, the captured image can be picked up so that some areas overlap.

제어부(120)는 각각의 카메라로부터 촬상된 복수의 이미지 상에서 특징점을 추출할 영역을 설정한다. 영역의 설정은 기 설정된 방법으로 설정될 수도 있으며, 사용자의 명령에 따라 다양한 방법으로 추출 영역을 설정할 수도 있다. 구체적인 특징점 추출 영역 설정 방법은 후술하기로 한다. 경우에 따라, 제어부(120)는 특정 영역에 대한 선택 명령을 입력받고, 선택된 영역을 제거한 후 나머지 영역에 대해서 특징점을 추출할 수도 있다.The control unit 120 sets an area for extracting the feature points on the plurality of images captured from the respective cameras. The setting of the area may be set by a predetermined method, or the extraction area may be set by various methods according to the user's instruction. A detailed feature point extraction area setting method will be described later. In some cases, the control unit 120 receives a selection command for a specific area, removes the selected area, and extracts the minutiae for the remaining area.

제어부(120)는 설정된 특징점 추출 영역 내의 객체로부터 복수의 특징점을 추출한다. 제어부(120)는 추출된 특징점을 디스플레이하도록 출력부(140)를 제어할 수도 있다. 일 실시 예로서, 제어부(120)는 추출된 특징점 중에서 제거될 특징점을 입력받을 수 있다. 제어부(120)는 입력된 특징점을 제거한 복수의 특징점을 기초로 대응되는 특징점을 연결한 조합선을 추출할 수 있다. 제어부(120)는 추출된 조합선을 기초로 호모그래피 정보를 산출한다. 제어부(120)는 추출된 조합선을 기초로 복수의 이미지를 결합한다. 즉, 제어부(120)는 산출된 호모그래피 정보를 기초로 복수의 이미지를 하나의 이미지로 결합한다. The control unit 120 extracts a plurality of feature points from the objects in the set feature point extraction area. The control unit 120 may control the output unit 140 to display the extracted feature points. In one embodiment, the controller 120 may receive a feature point to be removed from the extracted feature points. The control unit 120 may extract a combined line connecting the corresponding minutiae on the basis of the plurality of minutiae from which the inputted minutiae are removed. The control unit 120 calculates homography information based on the extracted combination line. The control unit 120 combines a plurality of images based on the extracted combination lines. That is, the controller 120 combines a plurality of images into one image based on the calculated homography information.

입력부(130)는 사용자로부터 특징점을 추출할 영역을 선택하는 특징점 추출 영역 선택 명령, 추출된 특징점 중 제거될 특징점을 입력하는 특징점 제거 명령 또는 조합선 제거 명령을 입력받을 수 있다. 예를 들어, 입력부(130)는 터치 센서를 구비하여 터치 입력을 받을 수 있도록 구현될 수 있고, 마우스 또는 리모컨과 같은 외부 입력 장치로부터 신호를 입력받을 수 있도록 구현될 수도 있다.The input unit 130 may receive a feature point extraction region selection command for selecting an area from which a feature point is to be extracted from a user, a feature point removal command for inputting a feature point to be removed, or a combination line removal command. For example, the input unit 130 may include a touch sensor to receive a touch input, and may be configured to receive a signal from an external input device such as a mouse or a remote control.

출력부(140)는 촬상된 이미지를 출력하고, 추출된 조합선을 출력한다. 또한, 출력부(140)는 특징점 추출 영역, 추출된 복수의 특징점, 선택된 특징점 또는 제거된 조합선과 같은 정보를 표시할 수도 있다.The output unit 140 outputs the captured image, and outputs the extracted combination line. The output unit 140 may also display information such as a feature point extraction region, a plurality of extracted feature points, a selected feature point, or a removed combination line.

이와 같이, 촬상 장치(100)는 중복 영역 내의 객체로부터 특징점을 추출하고 이미지를 결합하여 파노라마 이미지를 생성할 수 있다. 아래에서는 특징점 추출 영역을 설정하는 다양한 실시 예에 대해 설명하도록 한다.In this manner, the imaging apparatus 100 can extract the minutiae from the objects in the overlapping area and combine the images to generate the panoramic image. Various embodiments for setting the feature point extraction region will be described below.

도 3은 본 발명의 제1 실시 예에 따른 일정 영역을 특징점 추출 영역으로 설정하는 방법을 설명하는 도면이다.3 is a view for explaining a method of setting a certain region according to the first embodiment of the present invention as a feature point extraction region.

촬상 장치는 복수의 이미지 중 어느 하나의 이미지 상에서 어느 하나의 지점에 대한 선택 명령을 입력받을 수 있다. 촬상 장치는 선택 명령을 입력받으면 선택된 지점을 기초로 특징점 추출 영역을 설정할 수 있다.The image pickup apparatus can receive a selection command for any one point on any one of the plurality of images. Upon receiving the selection command, the imaging apparatus can set the feature point extraction region based on the selected point.

도 3(a)를 참조하면, 멀티 카메라의 제1 카메라에서 촬상된 제1 이미지(51) 및 제2 카메라에서 촬상된 제2 이미지(52)가 도시되어 있다. 제1 이미지(51)는 제1 이미지에만 포함된 객체(2a) 및 중복되어 포함된 객체(2b)를 포함한다. 제2 이미지(52)는 제2 이미지에만 포함된 객체(2c) 및 중복되어 포함된 객체(2b)를 포함한다. 촬상 장치는 사용자로부터 특정 지점(71)에 대한 선택 명령을 입력받는다.Referring to Fig. 3 (a), a first image 51 captured by the first camera of the multi-camera and a second image 52 captured by the second camera are shown. The first image 51 includes the object 2a included only in the first image and the object 2b contained in duplicate. The second image 52 includes an object 2c and an overlapping object 2b included only in the second image. The imaging apparatus receives a selection command for a specific point (71) from the user.

도 3(b)를 참조하면, 특징점 추출 영역이 설정된 이미지가 도시되어 있다. 촬상 장치는 사용자의 선택 지점(71)을 중심으로 기 설정된 거리를 반경(15)으로 하는 영역을 지정할 수 있다. 즉, 촬상 장치는 사용자의 선택 명령에 따라 선택된 지점을 기초로 기 설정된 영역에 대해 특징점 추출 영역(17a)으로 설정할 수 있다. 예를 들어, 기 설정된 거리는 촬상된 이미지 상에서 5cm, 10cm와 같이 설정될 수 있다. 기 설정된 거리는 촬상 장치의 디스플레이 크기, 해상도, 중복 영역의 크기를 고려하여 다양하게 설정될 수 있다.Referring to FIG. 3 (b), an image in which a feature point extraction region is set is shown. The imaging apparatus can designate an area having a predetermined distance as the radius 15 around the selection point 71 of the user. That is, the imaging apparatus can set the feature point extraction region 17a for the predetermined region on the basis of the selected point in accordance with the user's selection instruction. For example, the predetermined distance may be set to 5 cm, 10 cm on the captured image. The predetermined distance may be variously set in consideration of the display size, the resolution, and the size of the overlapped area of the image capture device.

촬상 장치는 제1 이미지(51) 상에서 영역 설정 명령을 입력받더라도 제2 이미지(52)의 동일 영역에 대해 동일 크기의 추출 영역(17b)을 설정할 수 있다. 또한, 촬상 장치는 제2 이미지(52) 상에서 영역 설정 명령을 입력받더라도 제1 이미지(51)의 동일 영역에 대해 동일 크기의 추출 영역을 설정할 수도 있다. 경우에 따라, 촬상 장치는 제1 이미지(51) 및 제2 이미지(52) 상에서 각각 영역 설정 명령을 받아 추출 영역을 설정할 수 있다. 이 경우, 촬상 장치는 제1 이미지(51) 및 제2 이미지(52) 상에 설정된 추출 영역을 기초로 대응되는 특징점을 연결하여 조합선을 추출할 수 있다. 이와 같이, 촬상 장치는 제1 이미지(51) 또는 제2 이미지(52) 중 어느 하나의 이미지 상에서 영역 설정 명령을 입력받아 추출 영역을 설정할 수 있고, 제1 이미지(51) 및 제2 이미지(52) 각각에 대해 영역 설정 명령을 입력받아 추출 영역을 설정할 수도 있다. 이와 같은 추출 영역 설정 방법은 다른 실시 예에서도 유사하게 적용될 수 있다.The image pickup apparatus can set an extraction area 17b of the same size for the same area of the second image 52 even if the area setting command is inputted on the first image 51. [ In addition, the imaging device may set an extraction area of the same size for the same area of the first image 51 even if the area setting command is input on the second image 52. [ In some cases, the imaging apparatus can receive the area setting command on the first image 51 and the second image 52, respectively, and set the extraction area. In this case, the imaging apparatus can extract the combination line by connecting corresponding feature points on the basis of the extraction region set on the first image 51 and the second image 52. As described above, the image pickup apparatus can receive the area setting command on the image of either the first image 51 or the second image 52 and set the extraction area, and the first image 51 and the second image 52 The area setting command may be input to each of the display areas to set an extraction area. Such an extraction area setting method can be similarly applied to other embodiments.

도 4는 본 발명의 제2 실시 예에 따른 일정 영역을 특징점 추출 영역으로 설정하는 방법을 설명하는 도면이다.4 is a diagram illustrating a method of setting a certain region according to the second embodiment of the present invention as a feature point extraction region.

도 4(a)를 참조하면, 제1 이미지(51) 및 제2 이미지(52)가 도시되어 있다. 제1 이미지(51)는 제1 이미지에만 포함된 객체(2a) 및 중복되어 포함된 객체(2b)를 포함한다. 제2 이미지(52)는 제2 이미지에만 포함된 객체(2c) 및 중복되어 포함된 객체(2b)를 포함한다. 촬상 장치는 사용자로부터 특정 지점(73)에 대한 선택 명령을 입력받는다.Referring to Figure 4 (a), a first image 51 and a second image 52 are shown. The first image 51 includes the object 2a included only in the first image and the object 2b contained in duplicate. The second image 52 includes an object 2c and an overlapping object 2b included only in the second image. The imaging apparatus receives a selection command for a specific point (73) from the user.

도 4(b)를 참조하면, 특징점 추출 영역이 설정된 이미지가 도시되어 있다. 즉, 촬상 장치는 사용자의 선택 지점(73)을 중심으로 수평으로 기 설정된 간격(18)을 가지는 일정 영역을 특징점 추출 영역(19a)으로 설정할 수 있다. 예를 들어, 기 설정된 간격(18)은 5cm, 10cm 등과 같이 설정될 수 있다. 촬상 장치는 제1 이미지(51) 상에서 선택 명령을 입력받고 일정 영역을 특징점 추출 영역(19a)으로 설정하고, 제2 이미지(52) 내의 동일 영역에 대해서도 특징점 추출 영역(19b)을 설정할 수 있다.Referring to FIG. 4 (b), an image in which a feature point extraction region is set is shown. That is, the imaging apparatus can set a fixed region having a predetermined interval 18 horizontally around the user's selection point 73 as the feature point extraction region 19a. For example, the predetermined interval 18 may be set to 5 cm, 10 cm, or the like. The imaging apparatus can receive a selection command on the first image 51 and set a certain region as the feature point extraction region 19a and set the feature point extraction region 19b on the same region in the second image 52 as well.

촬상 장치는 제1 이미지(51) 및 제2 이미지(52) 상에 설정된 각각의 특징점 추출 영역(19a, 19b) 내의 객체로부터 특징점을 추출할 수 있다.The imaging apparatus can extract the feature points from the objects in the respective feature point extraction regions 19a and 19b set on the first image 51 and the second image 52. [

도 5는 본 발명의 제3 실시 예에 따른 일정 영역을 특징점 추출 영역으로 설정하는 방법을 설명하는 도면이다.5 is a diagram illustrating a method of setting a certain region according to the third embodiment of the present invention as a feature point extraction region.

도 5(a)를 참조하면, 제1 이미지(51) 및 제2 이미지(52)가 도시되어 있다. 제1 및 제2 이미지(51, 52)에 대해서는 상술한 바와 동일하므로 생략하기로 한다. 촬상 장치는 사용자로부터 제1 지점(75a)에 대한 선택 명령 및 제2 지점(75b)에 대한 선택 명령을 입력받는다.Referring to Figure 5 (a), a first image 51 and a second image 52 are shown. Since the first and second images 51 and 52 are the same as those described above, they will be omitted. The image pickup apparatus receives a selection command for the first point 75a and a selection command for the second point 75b from the user.

도 5(b)를 참조하면, 특징점 추출 영역이 설정된 이미지가 도시되어 있다. 즉, 촬상 장치는 제1 지점(75a)을 수직으로 연결한 직선 및 제2 지점(75b)을 수직으로 연결한 직선 사이의 영역을 특징점 추출 영역(21a)으로 설정할 수 있다. 촬상 장치는 제1 이미지에서 설정한 특징점 추출 영역(21a)에 대응되는 제2 이미지 내의 동일 영역에 대해서 특징점 추출 영역(21b)로 설정할 수 있다. 제1 및 제2 이미지(51, 52) 내에 포함된 각각의 특징점 추출 영역(21a, 21b)은 동일한 객체(2b)를 포함하고 있다. 따라서, 촬상 장치는 동일한 객체(2b)로부터 특징점을 추출하고 대응되는 특징점을 연결한 조합선을 추출할 수 있다.Referring to FIG. 5 (b), an image in which a feature point extraction region is set is shown. That is, the imaging apparatus can set a region between the straight line connecting the first point 75a vertically and the straight line connecting the second point 75b vertically to the feature point extraction region 21a. The imaging apparatus can be set as the feature point extraction region 21b for the same region in the second image corresponding to the feature point extraction region 21a set in the first image. Each feature point extraction area 21a, 21b included in the first and second images 51, 52 includes the same object 2b. Therefore, the imaging apparatus can extract the minutiae from the same object 2b and extract the combination line connecting the corresponding minutiae.

특징점 추출 영역은 특정 영역을 선택하는 방법으로 설정될 수 있지만, 특정 영역을 제거하는 방법으로 설정될 수도 있다.The feature point extraction area can be set as a method for selecting a specific area, but it can also be set as a method for removing a specific area.

도 6은 본 발명의 제4 실시 예에 따른 일정 영역을 특징점 추출 영역으로 설정하는 방법을 설명하는 도면이다.FIG. 6 is a view for explaining a method of setting a certain region according to the fourth embodiment of the present invention as a feature point extraction region.

도 6(a)를 참조하면, 제1 이미지(51) 및 제2 이미지(52)가 도시되어 있다. 촬상 장치는 사용자로부터 특징 지점(77)에 대한 선택 명령을 입력받는다.Referring to Figure 6 (a), a first image 51 and a second image 52 are shown. The imaging apparatus receives a selection command for the characteristic point 77 from the user.

도 6(b)를 참조하면, 특징점 추출 영역이 설정된 이미지가 도시되어 있다. 촬상 장치는 선택 지점(77)을 수직으로 연결한 가상의 직선을 기초로 제1 이미지(51)에서 중복 영역을 포함하지 않는 영역을 배제시킨다. 특징점 추출 영역은 중복 영역의 적어도 일부 영역을 포함해야 한다. 그리고, 촬상 장치는 중복 영역의 위치를 알 수 있다. 따라서, 촬상 장치는 선택 지점(77)의 좌측 영역을 배제하고 우측 영역에 대해 특징점 추출 영역(23a)으로 설정한다.Referring to FIG. 6 (b), an image in which a feature point extraction region is set is shown. The imaging apparatus excludes an area not including the overlap area in the first image 51 based on a virtual straight line connecting the selection point 77 vertically. The feature point extraction region must include at least a partial region of the overlap region. Then, the image pickup apparatus can know the position of the overlapping area. Therefore, the imaging apparatus excludes the left region of the selection point 77 and sets it as the characteristic point extraction region 23a for the right region.

선택 명령은 특정 영역을 배제시키기 위한 것이고, 제1 이미지(51)에 대해서만 입력되었기 때문에 촬상 장치는 제1 이미지(51)에 대해서만 특징점 추출 영역(23a)를 설정한다. 따라서, 제2 이미지의 특징점 추출 영역(23b)은 제2 이미지 전체가 될 수 있다. 즉, 촬상 장치는 복수의 이미지 중 어느 하나의 이미지 상에서 일정 영역에 대한 선택 명령을 입력받으면 선택된 영역을 제거하여 특징점 추출 영역(23a)을 설정할 수 있다.Since the selection instruction is for excluding a specific area and only the first image 51 is input, the imaging apparatus sets the feature point extraction area 23a only for the first image 51. [ Therefore, the feature point extraction area 23b of the second image can be the entire second image. That is, when the imaging apparatus receives a selection command for a certain region on one of the plurality of images, the selected region is removed to set the feature point extraction region 23a.

경우에 따라, 촬상 장치는 제2 이미지(52)에 대해서 추가적으로 특정 지점에 대한 선택 명령을 입력받을 수 있으며, 촬상 장치는 상술한 바와 동일한 방법으로 제2 이미지(52)에 대해서도 특징점 추출 영역을 설정할 수 있다. 이 경우, 촬상 장치는 제1 및 제2 이미지(51, 52)에 설정된 특징점 추출 영역에 대해서 특징점을 추출할 수 있다.In some cases, the imaging device may additionally receive a selection command for a particular point relative to the second image 52, and the imaging device may also set a feature point extraction area for the second image 52 in the same manner as described above . In this case, the imaging apparatus can extract the feature points for the feature point extraction regions set in the first and second images 51 and 52.

도 7은 본 발명의 제5 실시 예에 따른 일정 영역을 특징점 추출 영역으로 설정하는 방법을 설명하는 도면이다.FIG. 7 is a diagram illustrating a method of setting a certain region according to the fifth embodiment of the present invention as a feature point extraction region.

도 7(a)를 참조하면, 제1 이미지(51) 및 제2 이미지(52)가 도시되어 있다. 촬상 장치는 사용자로부터 특정 객체(2b-1)에 대한 선택 명령을 입력받는다.Referring to Fig. 7 (a), a first image 51 and a second image 52 are shown. The image pickup apparatus receives a selection command for the specific object 2b-1 from the user.

도 7(b)를 참조하면, 특징점 추출 영역이 설정된 이미지가 도시되어 있다. 촬상 장치는 중복 영역의 특정 객체(2b-2)를 특징점 추출 영역으로 설정할 수 있다. 즉, 촬상 장치는 복수의 이미지 중 어느 하나의 이미지 내의 적어도 하나의 객체에 대한 선택 명령을 입력받으면 선택된 객체를 기초로 특징점 추출 영역을 설정할 수 있다.Referring to Fig. 7 (b), an image in which a feature point extraction region is set is shown. The imaging apparatus can set the specific object 2b-2 in the redundant area as the feature point extraction area. That is, when the imaging apparatus receives a selection command for at least one object in one of the plurality of images, the imaging apparatus can set the feature point extraction region based on the selected object.

도 7(b)에서는 선택된 객체(2b-2) 모양과 동일하게 특징점 추출 영역이 설정된 것으로 도시되어 있으나, 촬상 장치는 선택된 객체(2b-2)를 포함하는 원형, 다각형 형태로 특징점 추출 영역을 설정할 수도 있다. 또한, 촬상 장치는 특징점 추출 영역 설정을 위한 선택 명령을 복수 회 입력받을 수 있다. 이 경우, 촬상 장치는 선택된 복수 개의 객체에 대해 각각 특징점 추출 영역으로 설정할 수 있다.The feature point extraction region is set in the same manner as the shape of the selected object 2b-2 in FIG. 7 (b), but the image capture apparatus sets the feature point extraction region in a circular or polygonal shape including the selected object 2b- It is possible. Further, the image pickup apparatus can receive a selection command for setting a minutia point extraction area plural times. In this case, the image pickup device can be set as a feature point extraction area for each of a plurality of selected objects.

추가적인 실시 예로서, 촬상 장치는 촬상 이미지 상의 제1 지점으로부터 제2 지점까지 드래그 명령을 입력받을 수 있다. 이 경우, 촬상 장치는 제1 지점 및 제2 지점을 연결하는 선을 꼭지점으로 하는 사각형 영역을 특징점 추출 영역으로 설정할 수 있다. 조합하려는 이미지가 두 개인 경우, 촬상 장치는 어느 하나의 이미지 상에서 설정된 영역과 대응되는 다른 이미지 상의 동일 영역을 특징점 추출 영역으로 설정할 수 있다. 또는, 촬상 장치는 두 개의 이미지 각각에 대해 특징점 추출 영역 설정 명령을 입력받을 수도 있다.As a further embodiment, the imaging device may receive a drag command from a first point to a second point on the captured image. In this case, the imaging apparatus can set a rectangular area having vertexes connecting the first point and the second point as the feature point extraction area. When there are two images to be combined, the imaging apparatus can set the same region on another image corresponding to the set region on any one of the images as the feature point extraction region. Alternatively, the imaging apparatus may receive a minutiae point extraction area setting command for each of the two images.

상술한 다양한 실시 예에 따라, 촬상 장치는 특징점 추출 영역을 설정하고, 설정된 영역 내의 객체로부터 특징점을 추출한다. 그러나, 알고리즘의 특성 등에 따라 특징점은 불필요하게 많이 추출될 수 있고, 잘못된 지점에 대해 추출될 수도 있다. 따라서, 촬상 장치는 추출된 특징점 일부에 대해 선택할 수 있다.According to the above-described various embodiments, the image pickup apparatus sets a feature point extraction region and extracts feature points from objects in the set region. However, depending on the characteristics of the algorithm, the feature points may be extracted unnecessarily and may be extracted for the wrong points. Therefore, the image pickup apparatus can select a part of the extracted feature points.

도 8은 본 발명의 일 실시 예에 따른 특징점의 선택 방법을 설명하는 도면이다.8 is a view for explaining a method of selecting minutiae points according to an embodiment of the present invention.

도 8(a)를 참조하면, 제1 이미지(51) 및 제2 이미지(52)가 도시되어 있다. 도 8(a)에서는 중복 영역이 특징점 추출 영역으로 설정된 것으로 가정한다. 특징점 추출 영역에는 두 개의 객체(2b, 2d)가 포함되어 있다. 촬상 장치는 두 개의 객체(2b, 2d)로부터 복수 개의 특징점을 추출할 수 있다. 촬상 장치는 추출된 복수 개의 특징점 중에서 필요한 일부 특징점만을 선택할 수 있다. 또는, 촬상 장치는 사용자의 입력을 받아 특징점을 선택할 수도 있다.Referring to Figure 8 (a), a first image 51 and a second image 52 are shown. In FIG. 8 (a), it is assumed that the redundant region is set as the feature point extraction region. The feature point extraction area includes two objects (2b, 2d). The imaging device can extract a plurality of feature points from the two objects (2b, 2d). The image pickup apparatus can select only a part of necessary minutiae from among the extracted minutiae. Alternatively, the imaging device may receive a user input to select a feature point.

도 8(b)를 참조하면, 일부 특징점이 선택된 이미지가 도시되어 있다. 사용자는 추출된 복수의 특징점 중 일부 특징점(79a, 79b)에 대한 선택 명령을 입력할 수 있다. 촬상 장치는 선택 명령에 따라 일부 특징점(79a, 79b)을 선택하고, 선택된 특징점을 다른 특징점과 다르게 표시할 수 있다. 촬상 장치는 선택된 특징점을 기초로 조합선을 추출하여 호모그래피 정보를 산출할 수 있다. 즉, 촬상 장치는 복수의 특징점 중에서 조합선을 추출할 적어도 하나의 특징점을 선택할 수 있다. 촬상 장치는 제1 이미지(51)에서 특징점 선택 명령을 입력받으면, 제2 이미지(52) 내의 대응되는 특징점을 자동으로 선택할 수 있다.Referring to Fig. 8 (b), an image in which some feature points are selected is shown. The user can input a selection command for some of the minutiae points 79a and 79b among the extracted minutiae. The imaging apparatus can select some feature points 79a and 79b according to the selection instruction and display the selected feature points differently from other feature points. The imaging apparatus can calculate the homography information by extracting a combination line based on the selected minutiae. That is, the imaging apparatus can select at least one minutiae from which to extract a combination line from among a plurality of minutiae. When the image pickup device receives the feature point selection command in the first image 51, it can automatically select the corresponding feature point in the second image 52. [

경우에 따라, 촬상 장치는 특징점 제거 명령을 입력받을 수도 있다. 이 경우, 촬상 장치는 입력되는 특징점을 이미지 상에서 지울 수 있다. 촬상 장치는 특징점을 선택하면 선택된 특징점을 기초로 조합선을 추출할 수 있다. 촬상 장치는 추출된 조합선 중에서 일부 조합선을 제거할 수 있다.In some cases, the imaging apparatus may receive a minutia point removal command. In this case, the imaging apparatus can erase the input minutiae on the image. When the feature point is selected, the imaging apparatus can extract the combination line based on the selected feature point. The image pickup apparatus can remove some combination lines from the extracted combination lines.

도 9는 본 발명의 일 실시 예에 따른 조합선의 제거 방법을 설명하는 도면이다.9 is a view for explaining a method of removing a combination line according to an embodiment of the present invention.

도 9(a)를 참조하면, 제1 및 제2 이미지(51, 52)는 두 개의 객체(2b, 2d)를 포함하고 있다. 두 개의 객체(2b, 2d)는 각각 복수 개의 특징점을 포함하고 있다. 촬상 장치는 제1 이미지(51) 내의 특징점과 대응되는 제2 이미지(52) 내의 특징점을 연결한 조합선을 추출한다. 촬상 장치는 선택 또는 추출한 특징점 모두에 대해 대응되는 조합선을 추출할 수 있다. 촬상 장치는 추출한 조합선을 출력부에 출력할 수 있다. 예를 들어, 제1 조합선(81a)는 필요한 조합선이고, 제2 조합선(82a)는 불필요한 조합선이라고 가정한다. 촬상 장치는 사용자로부터 추출된 조합선 중에서 제거될 조합선을 입력받는다.Referring to Fig. 9 (a), the first and second images 51 and 52 include two objects 2b and 2d. The two objects 2b and 2d each include a plurality of feature points. The imaging device extracts a combined line connecting the minutiae in the first image 51 and the minutiae in the second image 52 corresponding to the minutiae. The imaging apparatus can extract a combination line corresponding to both selected or extracted feature points. The image pickup apparatus can output the extracted combination line to the output unit. For example, it is assumed that the first combination line 81a is a necessary combination line, and the second combination line 82a is an unnecessary combination line. The image pickup apparatus receives a combination line to be removed from the combination lines extracted from the user.

도 9(b)를 참조하면, 일부 조합선이 제거된 도면이 도시되어 있다. 즉, 제2 조합선(82a)을 포함하는 불필요한 조합선에 대한 제거 명령을 입력받으면, 촬상 장치는 제거 명령에 대응하여 선택된 조합선을 제거한다. 촬상 장치는 조합선을 제거한 결과를 출력부에 디스플레이할 수 있다. 따라서, 촬상 장치는 제1 조합선(81b)를 포함하는 필요한 조합선만을 디스플레이할 수 있다. 촬상 장치는 일부 조합선을 제거한 나머지 조합선을 이용하여 호모그래피 정보를 산출할 수 있다. 촬상 장치는 산출된 호모그래피 정보를 이용하여 인접 이미지를 결합할 수 있다.Referring to Fig. 9 (b), there is shown a diagram in which some combination lines are removed. That is, upon receiving a removal command for an unnecessary combination line including the second combination line 82a, the imaging apparatus removes the selected combination line in response to the removal command. The image pickup apparatus can display the result of removing the combination line on the output unit. Therefore, the imaging apparatus can display only the necessary combination lines including the first combination line 81b. The imaging apparatus can calculate the homography information using the remaining combination lines from which some combination lines have been removed. The imaging device can combine adjacent images using the calculated homography information.

지금까지 촬상 장치가 두 개의 이미지를 조합하는 과정에 대해 설명하였다. 그러나, 촬상 장치는 복수 개의 이미지를 촬상하여 복수 개의 이미지를 조합할 수도 있다. 촬상 장치는 촬상된 모든 이미지를 출력하고, 각 결합 영역에 대한 특징점 및 조합선을 출력할 수 있다. 촬상 장치는 각각의 이미지 결합 영역을 구분하기 위해 이미지 결합 영역에 따라 서로 다른 색상으로 특징점 및 조합선을 출력할 수 있다.The process in which the image pickup apparatus combines two images has been described so far. However, the image pickup apparatus may capture a plurality of images to combine a plurality of images. The image pickup device outputs all the captured images, and can output minutiae and combination lines for each of the mating regions. The image pickup apparatus can output the feature points and the combination lines in different colors according to the image combining area to distinguish the respective image combining areas.

예를 들어, 촬상 장치가 일정 영역이 겹치는 4장의 이미지를 촬상하였다면 결합 영역은 3개의 영역이 된다. 4장의 이미지는 제1 이미지, 제2 이미지, 제3 이미지, 제4 이미지로 나타낼 수 있다. 그리고, 결합 영역은 제1 이미지와 제2 이미지가 결합되는 제1 결합 영역, 제2 이미지와 제3 이미지가 결합되는 제2 결합 영역, 제3 이미지와 제4 이미지가 결합되는 제3 결합 영역으로 나타낼 수 있다.For example, if the image pickup device picks up four images overlapping certain regions, the combining region becomes three regions. The four images can be represented by a first image, a second image, a third image, and a fourth image. The coupling region includes a first coupling region in which a first image and a second image are combined, a second coupling region in which a second image and a third image are combined, a third coupling region in which a third image and a fourth image are combined .

이 경우, 제1 결합 영역과 관련된 특징점 또는 조합선은 빨간색, 제2 결합 영역과 관련된 특징점 또는 조합선은 노란색, 제3 결합 영역과 관련된 특징점 또는 조합선은 파란색과 같이 나타낼 수 있다.In this case, the minutiae or combination line associated with the first coupling region may be red, the minutiae or combination line associated with the second coupling region may be yellow, and the minutiae or combination line associated with the third coupling region may be represented as blue.

지금까지 설명한 이미지 개수, 결합 영역 개수, 색상은 일 실시 예이므로 다양한 개수의 이미지 및 결합 영역이 존재할 수 있다. 그리고, 특징점 및 조합선은 다양한 색상으로 표시될 수 있다.The number of images, the number of combining regions, and the number of colors described above are one embodiment, so that there may be various numbers of images and combining regions. Then, the minutiae and the combination line can be displayed in various colors.

그리고, 촬상 장치는 이미지가 표시되는 일측면에 조합 영역별 색상 정보, 특징점 또는 조합선의 선택 버튼, 제거 버튼과 같은 메뉴를 표시할 수도 있다.Then, the image pickup device may display a menu such as a color information for each combination area, a selection button for a minutia or a combination line, and a removal button on one side where an image is displayed.

이와 같이, 촬상 장치는 특징점 및 조합선 추출에 영역 및 대상을 한정하여 인접 이미지를 결합함으로써 연산 속도를 증가시키고 및 스티칭 이미지의 품질 향상을 할 수 있다. 아래에서는 촬상 이미지 스트칭 방법에 대해 설명하기로 한다.In this manner, the imaging apparatus can increase the operation speed and improve the quality of the stitching image by combining the adjacent images by defining the area and the object in the feature point and the combination line extraction. Hereinafter, a method of image picking image stitching will be described.

도 10은 본 발명의 일 실시 예에 따른 촬상 이미지 스티칭 방법의 흐름도이다.10 is a flowchart of a method of stitching an image according to an embodiment of the present invention.

촬상 장치는 복수의 이미지를 촬상한다(S1010). 촬상 장치는 일정한 화각을 가진 멀티 카메라를 구비할 수 있다. 따라서, 촬상 장치는 서로 다른 화각을 가진 복수의 이미지를 촬상한다.The imaging device captures a plurality of images (S1010). The imaging device may be provided with a multi-camera having a constant angle of view. Therefore, the image pickup device picks up a plurality of images having different angle of view.

촬상 장치는 특징점 추출 영역을 설정한다(S1020). 촬상 장치는 복수의 카메라를 이용하여 촬상된 복수의 이미지 상에서 특징점 추출 영역을 설정한다. 일 실시 예로서, 특징점 추출 영역의 설정은 복수의 이미지 중 어느 하나의 이미지 중에서 어느 하나의 지점에 대한 선택 명령을 입력받으면 선택된 지점을 기초로 특징점 추출 영역을 설정할 수 있다. 특징점 추출 영역은 복수의 이미지 중 하나의 이미지 상에서 어느 하나의 지점에 대한 선택 명령이 입력되면 선택된 지점을 기초로 특징점 추출 영역을 설정할 수 있다. 다른 실시 예로서, 특징점 추출 영역의 설정은 복수의 이미지 중 어느 하나의 이미지 상에서 일정 영역에 대한 선택 명령을 입력받으면 선택된 영역을 제거하여 특징점 추출 영역을 설정할 수도 있다. The imaging apparatus sets a feature point extraction area (S1020). An image pickup apparatus sets a feature point extraction region on a plurality of images captured using a plurality of cameras. In one embodiment, the feature point extraction region may be set by setting a feature point extraction region on the basis of a selected point when receiving a selection command for any one of the plurality of images. The feature point extraction region can set a feature point extraction region based on a selected point when a selection command for any one point on the image of one of the plurality of images is inputted. In another embodiment, the setting of the feature point extraction region may be performed by removing a selected region and setting a feature point extraction region upon receiving a selection command for a certain region on the image of any one of the plurality of images.

촬상 장치는 특징점을 추출한다(S1030). 촬상 장치는 설정된 영역 내의 복수의 객체로부터 복수의 특징점을 추출한다. 촬상 장치는 제거될 특징점을 입력받을 수 있다(S1040). 촬상 장치는 추출된 복수의 특징점 중 적어도 하나의 제거될 특징점을 입력받을 수 있다.The image pickup apparatus extracts feature points (S1030). The image pickup apparatus extracts a plurality of feature points from a plurality of objects in the set region. The imaging apparatus can receive the minutiae to be removed (S1040). The imaging device may receive at least one of the plurality of extracted minutiae to be removed.

촬상 장치는 특징점을 연결한 조합선을 추출한다(S1050). 촬상 장치는 입력된 특징점을 제거한 복수의 특징점을 기초로 대응되는 특징점을 연결한 적어도 하나의 조합선을 추출한다.The imaging device extracts a combination line connecting the minutiae points (S1050). The imaging device extracts at least one combination line connecting the corresponding feature points based on the plurality of feature points from which the input feature points are removed.

촬상 장치는 조합선을 출력한다. 촬상 장치는 추출된 조합선 중에서 제거될 조합선을 입력받을 수 있다. 이 경우, 촬상 장치는 추출된 조합선 중 제거된 조합선 외의 조합선을 기초로 복수의 이미지를 결합할 수 있다.The imaging device outputs a combination line. The imaging apparatus can receive a combination line to be removed from the extracted combination lines. In this case, the image pickup apparatus can combine a plurality of images based on a combination line other than the removed combination lines among the extracted combination lines.

촬상 장치는 복수의 이미지를 결합한다(S1060). 촬상 장치는 조합선을 이용하여 호모그래피 정보를 산출하고, 산출된 호모그래피 정보를 이용하여 두 개의 인접 이미지를 스티칭한다.The imaging device combines a plurality of images (S1060). The imaging apparatus calculates homography information using a combination line, and stitches two adjacent images using the calculated homography information.

도 11은 본 발명의 다른 실시 예에 따른 촬상 이미지 스티칭 방법의 흐름도이다.11 is a flowchart of a picked up image stitching method according to another embodiment of the present invention.

도 11을 참조하면, 촬상 장치는 특징점 추출 영역을 설정했는지 여부를 판단한다(S1110). 특징점 추출 영역이 설정되지 않았으면, 촬상 장치는 추출 결과를 기초로 선택 영역을 제거한다(S1120). 선택 영역의 제거는 전체 이미지 상에서 특징점을 추출하지 않는 영역을 선택받고 선택된 영역을 배제하는 것을 의미한다. 넓은 의미로 볼 때, 선택 영역의 제거도 추출 영역의 설정으로 볼 수도 있다.Referring to Fig. 11, the imaging apparatus determines whether a feature point extraction area is set (S1110). If the feature point extraction area is not set, the imaging device removes the selection area based on the extraction result (S1120). The removal of the selected region means that the region that does not extract the feature point on the entire image is selected and the selected region is excluded. In a broad sense, the removal of a selection area can also be viewed as a setting of an extraction area.

선택 영역이 제거되거나 특징점 추출 영역이 설정되면, 촬상 장치는 추출 영역에 포함된 객체로부터 특징점을 추출한다. 촬상 장치는 추출 결과를 기초로 선택된 특징점을 제거한다(S1130). 또는, 촬상 장치는 추출 결과를 기초로 일부 특징점을 선택받아 선택된 특징점을 기초로 조합선 추출 과정을 수행할 수 있다(S1140).When the selection area is removed or the feature point extraction area is set, the imaging device extracts the feature point from the object included in the extraction area. The imaging device removes the selected feature point based on the extraction result (S1130). Alternatively, the imaging device may select some feature points based on the extraction result, and perform a combination line extraction process based on the selected feature points (S1140).

촬상 장치는 선택 결과를 기초로 조합선을 추출하고 호모그래피를 산출한다(S1150). 촬상 장치는 산출된 호모그래피를 이용하여 인접 이미지를 결합한다.The imaging device extracts a combination line based on the selection result and calculates homography (S1150). The imaging device combines adjacent images using the calculated homography.

본 발명에 따른 단말 장치 및 제어 방법은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The terminal device and the control method according to the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments may be modified so that all or some of the embodiments are selectively As shown in FIG.

한편, 본 발명의 단말 장치 제어 방법은 단말 장치에 구비된 프로세서가 읽을 수 있는 기록 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the terminal device control method of the present invention can be implemented as a code that can be read by a processor on a recording medium readable by a processor included in the terminal device. The processor-readable recording medium includes all kinds of recording apparatuses in which data that can be read by the processor is stored. Examples of the recording medium that can be read by the processor include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet . In addition, the processor-readable recording medium may be distributed over network-connected computer systems so that code readable by the processor in a distributed fashion can be stored and executed.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the present invention.

100 : 촬상 장치
110 : 촬상부 111, 112 : 카메라
120 : 제어부 130 : 입력부
140 ; 출력부100:
110: image pickup unit 111, 112: camera
120: control unit 130: input unit
140; Output portion

Claims (10)

멀티 카메라의 촬상 이미지 스티칭 방법에 있어서,
서로 다른 화각을 가진 복수의 이미지를 촬상하는 단계;
상기 복수의 이미지 상에서 특징점 추출 영역을 설정하는 단계;
상기 설정된 영역 내의 복수의 객체로부터 복수의 특징점을 추출하는 단계;
상기 추출된 복수의 특징점을 기초로 대응되는 특징점을 연결한 조합선을 추출하는 단계;
상기 추출된 조합선을 출력하는 단계; 및
상기 추출된 조합선을 기초로 상기 복수의 이미지를 결합하는 단계;를 포함하고,
상기 특징점 추출 영역을 설정하는 단계는,
상기 복수의 이미지 중 적어도 하나의 이미지 상에서 어느 하나의 지점에 대한 선택 명령을 입력받으면 상기 선택된 지점을 기초로 상기 특징점 추출 영역을 설정하는, 촬상 이미지 스티칭 방법.A method of stitching an image of an image pickup camera,
Imaging a plurality of images having different angle of view;
Setting a feature point extraction region on the plurality of images;
Extracting a plurality of feature points from a plurality of objects in the set area;
Extracting a combination line connecting feature points corresponding to the extracted plurality of feature points;
Outputting the extracted combination line; And
And combining the plurality of images based on the extracted combination line,
Wherein the step of setting the feature point extraction region comprises:
Wherein the feature point extraction region setting unit sets the feature point extraction region based on the selected point when receiving a selection command for any one point on at least one image of the plurality of images. 제1항에 있어서,
상기 특징점 추출 영역을 설정하는 단계는,
상기 복수의 이미지 중 적어도 하나의 이미지 상에서 제1 지점으로부터 제2 지점까지 드래그 명령이 입력되는 경우, 상기 제1 지점 및 상기 제2 지점을 꼭지점으로 하는 사각형 영역을 상기 특징점 추출 영역으로 설정하는 것을 특징으로 하는 촬상 이미지 스티칭 방법.The method according to claim 1,
Wherein the step of setting the feature point extraction region comprises:
And setting a rectangular area having the first point and the second point as vertices as the feature point extraction area when a drag instruction is inputted from the first point to the second point on at least one image of the plurality of images Of the image. 제1항에 있어서,
상기 특징점 추출 영역을 설정하는 단계는,
상기 선택된 지점을 기초로 기 설정된 영역에 대해 상기 특징점 추출 영역으로 설정하는 것을 특징으로 하는 촬상 이미지 스티칭 방법.The method according to claim 1,
Wherein the step of setting the feature point extraction region comprises:
And setting the feature point extraction area as the feature point extraction area for a predetermined area based on the selected point. 제1항에 있어서,
상기 특징점 추출 영역을 설정하는 단계는,
상기 선택된 지점을 연결한 직선 및 입력된 제2 지점을 연결한 직선 사이의 영역을 상기 특징점 추출 영역으로 설정하는 것을 특징으로 하는 촬상 이미지 스티칭 방법.The method according to claim 1,
Wherein the step of setting the feature point extraction region comprises:
Wherein the region between the straight line connecting the selected points and the straight line connecting the input second points is set as the feature point extraction region. 제1항에 있어서,
상기 특징점 추출 영역을 설정하는 단계는,
상기 복수의 이미지 중 적어도 하나의 이미지 상에서 일정 영역에 대한 선택 명령을 입력받으면 상기 선택된 영역을 제거하여 상기 특징점 추출 영역을 설정하는 것을 특징으로 하는 촬상 이미지 스티칭 방법.The method according to claim 1,
Wherein the step of setting the feature point extraction region comprises:
Wherein when the selection command for a certain region is inputted on at least one image of the plurality of images, the selected region is removed to set the characteristic point extraction region. 제1항에 있어서,
상기 특징점 추출 영역을 설정하는 단계는,
상기 복수의 이미지 중 적어도 하나의 이미지 내의 적어도 하나의 객체에 대한 선택 명령을 입력받으면 상기 선택된 객체를 기초로 상기 특징점 추출 영역을 설정하는 것을 특징으로 하는 촬상 이미지 스티칭 방법.The method according to claim 1,
Wherein the step of setting the feature point extraction region comprises:
Wherein the feature point extracting region is set based on the selected object when a selection command for at least one object in at least one image of the plurality of images is inputted. 제1항에 있어서,
상기 복수의 특징점 중에서 상기 조합선을 추출할 특징점을 선택받는 단계;를 더 포함하는 촬상 이미지 스트칭 방법.The method according to claim 1,
And selecting a feature point to extract the combination line from among the plurality of feature points. 제1항에 있어서,
상기 추출된 조합선 중에서 제거될 조합선을 입력받는 단계;를 더 포함하고,
상기 복수의 이미지를 결합하는 단계는,
상기 추출된 조합선 중 상기 제거된 조합선 외의 조합선을 기초로 상기 복수의 이미지를 결합하는 것을 특징으로 하는 촬상 이미지 스티칭 방법.The method according to claim 1,
Further comprising receiving a combination line to be removed from the extracted combination lines,
Wherein combining the plurality of images comprises:
Wherein the plurality of images are combined based on a combination line of the extracted combination lines other than the removed combination line. 제1항에 있어서,
상기 조합선을 출력하는 단계는,
각각의 이미지 결합 영역에 따라 서로 다른 색상으로 상기 조합선을 출력하는 것을 특징으로 하는 촬상 이미지 스티칭 방법.The method according to claim 1,
Wherein the step of outputting the combination line comprises:
And the combination lines are output in different colors according to the respective image combining regions. 서로 다른 화각을 가진 복수의 이미지를 촬상하는 촬상부;
상기 복수의 이미지 상에서 특징점 추출 영역을 설정하고, 상기 설정된 영역 내의 복수의 객체로부터 복수의 특징점을 추출하며, 상기 추출된 복수의 특징점을 기초로 대응되는 특징점을 연결한 조합선을 추출하는 제어부; 및
상기 추출된 조합선을 출력하는 출력부;를 포함하고,
상기 제어부는,
상기 복수의 이미지 중 적어도 하나의 이미지 상에서 어느 하나의 지점에 대한 선택 명령을 입력받으면 상기 선택된 지점을 기초로 상기 특징점 추출 영역을 설정하며,
상기 추출된 조합선을 기초로 상기 복수의 이미지를 결합하는, 촬상 장치.An image pickup apparatus comprising: an image pickup section for picking up a plurality of images having different angles of view;
A control unit for setting a feature point extraction region on the plurality of images, extracting a plurality of feature points from a plurality of objects in the set region, and extracting a combination line connecting the corresponding feature points on the basis of the extracted plurality of feature points; And
And an output unit for outputting the extracted combination line,
Wherein,
When the selection command for one of the plurality of images is inputted on at least one of the plurality of images, the feature point extraction region is set based on the selected point,
And combines the plurality of images based on the extracted combination line.
KR1020130142163A 2013-11-21 2013-11-21 Photographing device and stitching method of photographing image KR20150058871A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130142163A KR20150058871A (en) 2013-11-21 2013-11-21 Photographing device and stitching method of photographing image
US14/168,435 US20150138309A1 (en) 2013-11-21 2014-01-30 Photographing device and stitching method of captured image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130142163A KR20150058871A (en) 2013-11-21 2013-11-21 Photographing device and stitching method of photographing image

Publications (1)

Publication Number Publication Date
KR20150058871A true KR20150058871A (en) 2015-05-29

Family

ID=53172886

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130142163A KR20150058871A (en) 2013-11-21 2013-11-21 Photographing device and stitching method of photographing image

Country Status (2)

Country Link
US (1) US20150138309A1 (en)
KR (1) KR20150058871A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153235A (en) 2020-06-10 2021-12-17 중앙대학교 산학협력단 System for panoramic image generation and update of concrete structures or bridges using deep matching, a method for generating and updating panoramic images, and a program for generating and updating panoramic images

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699392B2 (en) * 2014-11-21 2017-07-04 Flir Systems, Inc. Imaging system for an aircraft
CN105245780B (en) * 2015-10-27 2018-05-29 广东欧珀移动通信有限公司 A kind of image pickup method and mobile terminal
US9911213B2 (en) * 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
CN107426507A (en) * 2016-05-24 2017-12-01 中国科学院苏州纳米技术与纳米仿生研究所 Video image splicing apparatus and its joining method
WO2020101451A1 (en) 2018-11-15 2020-05-22 한국전자통신연구원 Method and apparatus for performing encoding/decoding by using region-based inter/intra prediction technique
US11694303B2 (en) 2019-03-19 2023-07-04 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 stitching workflow and parameter
KR20230063234A (en) * 2021-11-01 2023-05-09 삼성전자주식회사 Method and electronic apparatus for calibration of camera

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1553521A4 (en) * 2002-10-15 2006-08-02 Seiko Epson Corp Panorama synthesis processing of a plurality of image data
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153235A (en) 2020-06-10 2021-12-17 중앙대학교 산학협력단 System for panoramic image generation and update of concrete structures or bridges using deep matching, a method for generating and updating panoramic images, and a program for generating and updating panoramic images

Also Published As

Publication number Publication date
US20150138309A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
KR20150058871A (en) Photographing device and stitching method of photographing image
EP3007038B1 (en) Interaction with three-dimensional video
EP3198862B1 (en) Image stitching for three-dimensional video
US9959681B2 (en) Augmented reality contents generation and play system and method using the same
CN107018316B (en) Image processing apparatus, image processing method, and storage medium
US7554575B2 (en) Fast imaging system calibration
JP6163899B2 (en) Information processing apparatus, imaging apparatus, information processing method, and program
US10026207B2 (en) Image display device, image display method and storage medium
WO2018112788A1 (en) Image processing method and device
US10674066B2 (en) Method for processing image and electronic apparatus therefor
US20160180599A1 (en) Client terminal, server, and medium for providing a view from an indicated position
CN104038690A (en) IMAGE PROCESSING APPARATUS, IMAGE CAPTURING APPARATUS, and IMAGE PROCESSING METHOD
JP5598232B2 (en) Information processing apparatus, information processing system, and information processing method
WO2021115179A1 (en) Image processing method, image processing apparatus, storage medium, and terminal device
KR20160057867A (en) Display apparatus and image processing method thereby
KR102082300B1 (en) Apparatus and method for generating or reproducing three-dimensional image
US20170177926A1 (en) Image processing device, image processing method and medium
JPWO2011125461A1 (en) Image generating apparatus and method, and printer
US20160156844A1 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
US11694349B2 (en) Apparatus and a method for obtaining a registration error map representing a level of sharpness of an image
KR20190027079A (en) Electronic apparatus, method for controlling thereof and the computer readable recording medium
WO2021004237A1 (en) Image registration, fusion and shielding detection methods and apparatuses, and electronic device
US20220400243A1 (en) Image processing apparatus and image processing method
US11706378B2 (en) Electronic device and method of controlling electronic device
US20200280679A1 (en) Image processing device and electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application