KR102279259B1 - Method for compensating image distortion and, method for collecting objects from the image by using the same - Google Patents
Method for compensating image distortion and, method for collecting objects from the image by using the same Download PDFInfo
- Publication number
- KR102279259B1 KR102279259B1 KR1020200006476A KR20200006476A KR102279259B1 KR 102279259 B1 KR102279259 B1 KR 102279259B1 KR 1020200006476 A KR1020200006476 A KR 1020200006476A KR 20200006476 A KR20200006476 A KR 20200006476A KR 102279259 B1 KR102279259 B1 KR 102279259B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- marker
- target
- distortion
- template document
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000003550 marker Substances 0.000 claims abstract description 235
- 230000004044 response Effects 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims description 123
- 239000000284 extract Substances 0.000 claims description 22
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/006—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0006—Affine transformations
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Abstract
Description
본 출원은 영상왜곡보정방법 및 이를 이용하는 객체수집방법에 관한 것으로, 특히 영상촬영과정에서 스캔 이미지 내에 포함될 수 있는 영상왜곡을 보정할 수 있는 영상왜곡보정방법 및 이를 이용하는 객체수집방법 에 관한 것이다. The present application relates to an image distortion correction method and an object collecting method using the same, and more particularly, to an image distortion correction method capable of correcting image distortion that may be included in a scanned image during an image capturing process, and an object collecting method using the same.
종래에는 문서를 스캔하거나 캡처한 후 디지털화하여 관리하였으며, 최근에는 휴대단말의 카메라 어플리케이션 등을 이용하여 문서를 촬영하는 방식으로 디지털화하여 관리하는 경우가 많아지고 있다. In the past, documents were scanned or captured and then digitized and managed. Recently, there are more cases of digitizing and managing documents using a camera application of a mobile terminal, etc.
이와 같이 문서를 디지털화하는 경우, 종래에는 각도보정이나 문서의 컨텐츠 부분을 제외한 배경영역에 대한 자동 필터링이 되지 않아, 사용자가 직접 이를 보정해야만 했다. 특히 각도 보정의 경우, 그림판 등의 이미지 편집 프로그램을 이용해 용이하게 처리할 수 있는 작업이 아니기 때문에, 문서가 기울어진 상태로 스캔되는 경우에는, 수평상태의 스캔 데이터를 생성하기 위해 수 차례 반복하여 스캔 작업을 해야만 하는 번거로움이 있다. In the case of digitizing a document in this way, conventionally, angle correction or automatic filtering of the background area excluding the content part of the document is not performed, so the user has to correct it. In particular, in the case of angle correction, since it is not a task that can be easily processed using an image editing program such as Paint, when a document is scanned in a tilted state, the scan is repeated several times to generate horizontal scan data. There is a hassle of having to work.
또한, 스캔작업 이후에는, 생성된 문서 파일을 사용자가 직접 분류하여 저장해야만 하기 때문에, 문서 관리에 많은 시간이 소모되었다.In addition, since the user has to classify and store the created document files after the scanning operation, a lot of time is consumed in document management.
본 출원은, 영상촬영과정에서 스캔 이미지 내에 포함될 수 있는 영상왜곡을 보정할 수 있는 영상왜곡보정방법 및 이를 이용하는 객체수집방법을 제공하고자 한다. An object of the present application is to provide an image distortion correction method capable of correcting image distortion that may be included in a scanned image during an image capturing process, and an object collection method using the same.
본 출원은, 마커에 대한 영상왜곡을 검출하고, 이를 활용하여 문서내 대상영역의 영상왜곡을 보정할 수 있는 영상왜곡보정방법 및 이를 이용하는 객체수집방법을 제공하고자 한다.An object of the present application is to provide an image distortion correction method capable of detecting image distortion with respect to a marker and correcting image distortion of a target region in a document by using the image distortion correction method and an object collecting method using the same.
본 출원은, 마커를 이용하여 문서 내에 포함된 각각의 객체들을 용이하게 분류할 수 있는 영상왜곡보정방법 및 이를 이용하는 객체수집방법을 제공하고자 한다.An object of the present application is to provide an image distortion correction method that can easily classify each object included in a document using a marker, and an object collection method using the same.
본 발명의 일 실시예에 의한 영상왜곡보정방법은, 대상영역과, 상기 대상영역에 대응하는 마커(marker)가 표시된 템플릿 문서를 이용한 영상왜곡보정방법에 관한 것으로, 상기 템플릿 문서에 대한 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지를 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 특정하는 단계; 및 상기 마커와 상기 마커 이미지를 비교하여 상기 마커 이미지의 왜곡여부를 판별하고, 상기 마커 이미지의 왜곡에 대응하여 상기 대상 이미지의 왜곡을 보정하는 단계를 포함할 수 있다. An image distortion correction method according to an embodiment of the present invention relates to an image distortion correction method using a template document in which a target region and a marker corresponding to the target region are displayed, wherein a scanned image of the template document is provided. when receiving, extracting a marker image corresponding to the marker from the scan image, and specifying a target image corresponding to the target region using the marker image; and determining whether the marker image is distorted by comparing the marker with the marker image, and correcting the distortion of the target image in response to the distortion of the marker image.
본 발명의 다른 실시예에 의한 영상왜곡보정방법은, 복수의 대상영역과, 각각의 대상영역에 대응하는 복수의 마커(marker)가 표시된 템플릿 문서를 이용한 영상왜곡보정방법에 관한 것으로, 상기 템플릿 문서에 대한 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지들을 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 각각 특정하는 단계; 상기 대상 이미지들을 각각 크롭(crop)하여 크롭 이미지를 생성하고, 상기 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별하며, 상기 마커 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 1차 보정을 수행하는 단계; 및 상기 크롭 이미지에 포함된 외곽선을 검출하여, 상기 외곽선이 교차하는 꼭지점의 위치정보를 추출하고, 상기 꼭지점의 위치정보를 상기 템플릿 문서와 비교하여 상기 크롭 이미지의 왜곡여부를 판별하며, 상기 크롭 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 2차 보정을 수행하는 단계를 포함할 수 있다. An image distortion correction method according to another embodiment of the present invention relates to an image distortion correction method using a template document in which a plurality of target regions and a plurality of markers corresponding to each target region are displayed, the template document extracting marker images corresponding to the marker from the scan image, and specifying each target image corresponding to the target region by using the marker image; generating a cropped image by cropping each of the target images, determining whether a marker image corresponding to the cropped image is distorted, and performing primary correction on the cropped image in response to the distortion of the marker image step; and detecting an outline included in the cropped image, extracting location information of a vertex where the outline intersects, comparing the location information of the vertex with the template document to determine whether the cropped image is distorted, and the cropped image and performing secondary correction on the cropped image in response to the distortion of .
본 발명의 일 실시예에 의한 객체수집방법은, 복수의 대상영역과, 각각의 대상영역에 대응하는 복수의 마커(marker)가 표시된 템플릿 문서를 이용한 객체 수집방법에 관한 것으로, 상기 대상영역 내에 객체가 표시된 상기 템플릿 문서의 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지들을 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 각각 특정하는 단계; 상기 대상 이미지들을 각각 크롭(crop)하여 크롭 이미지를 생성하고, 상기 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별하며, 상기 마커 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 1차 보정을 수행하는 단계; 상기 크롭 이미지에 포함된 외곽선을 검출하여, 상기 외곽선이 교차하는 꼭지점의 위치정보를 추출하고, 상기 꼭지점의 위치정보를 상기 템플릿 문서와 비교하여 상기 크롭 이미지의 왜곡여부를 판별하며, 상기 크롭 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 2차 보정을 수행하는 단계; 및 상기 보정된 크롭 이미지 중에서 상기 외곽선 내부영역을 목표이미지로 설정하고, 상기 목표이미지에 대한 이미지처리를 수행하여, 상기 목표이미지 내에 포함된 상기 객체를 추출하는 단계를 포함할 수 있다. An object collecting method according to an embodiment of the present invention relates to a method of collecting an object using a template document in which a plurality of target areas and a plurality of markers corresponding to each of the target areas are displayed. extracting marker images corresponding to the marker from the scanned image when receiving a scanned image of the template document in which is displayed, and specifying target images corresponding to the target region by using the marker images; generating a cropped image by cropping each of the target images, determining whether a marker image corresponding to the cropped image is distorted, and performing primary correction on the cropped image in response to the distortion of the marker image step; Detecting an outline included in the cropped image, extracting location information of a vertex where the outline intersects, comparing the location information of the vertex with the template document to determine whether the cropped image is distorted, and performing secondary correction on the cropped image in response to distortion; and setting the region inside the outline of the corrected crop image as a target image, performing image processing on the target image, and extracting the object included in the target image.
본 발명의 일 실시예에 의한 영상왜곡보정장치는, 대상영역과, 상기 대상영역에 대응하는 마커(marker)가 표시된 템플릿 문서를 이용한 영상왜곡보정장치에 관한 것으로, 상기 템플릿 문서에 대한 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지를 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 특정하는 영상인식부; 및 상기 마커와 상기 마커 이미지를 비교하여 상기 마커 이미지의 왜곡여부를 판별하고, 상기 마커 이미지의 왜곡에 대응하여 상기 대상 이미지의 왜곡을 보정하는 왜곡보정부를 포함할 수 있다. An image distortion correction apparatus according to an embodiment of the present invention relates to an image distortion correction apparatus using a template document in which a target area and a marker corresponding to the target area are displayed, wherein a scanned image of the template document is provided. an image recognition unit for extracting a marker image corresponding to the marker from the scan image, and specifying a target image corresponding to the target region by using the marker image; and a distortion correction unit for determining whether the marker image is distorted by comparing the marker with the marker image, and correcting the distortion of the target image in response to the distortion of the marker image.
본 발명의 일 실시예에 의한 객체수집장치는, 복수의 대상영역과, 각각의 대상영역에 대응하는 복수의 마커(marker)가 표시된 템플릿 문서를 이용한 객체 수집장치에 관한 것으로, 상기 대상영역 내에 객체가 표시된 상기 템플릿 문서의 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지들을 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 각각 특정하는 영상인식부; 상기 대상 이미지들을 각각 크롭(crop)하여 크롭 이미지를 생성하고, 상기 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별하며, 상기 마커 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 1차 보정을 수행하는 제1 왜곡보정부; 상기 크롭 이미지에 포함된 외곽선을 검출하여, 상기 외곽선이 교차하는 꼭지점의 위치정보를 추출하고, 상기 꼭지점의 위치정보를 상기 템플릿 문서와 비교하여 상기 크롭 이미지의 왜곡여부를 판별하며, 상기 크롭 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 2차 보정을 수행하는 제2 왜곡보정부; 및 상기 보정된 크롭 이미지 중에서 상기 외곽선 내부영역을 목표이미지로 설정하고, 상기 목표이미지에 대해 이미지처리를 수행하여, 상기 목표이미지 내에 포함된 상기 객체를 추출하는 객체추출부를 포함할 수 있다. An object collecting apparatus according to an embodiment of the present invention relates to an object collecting apparatus using a template document in which a plurality of target areas and a plurality of markers corresponding to each of the target areas are displayed. an image recognition unit for extracting marker images corresponding to the marker from the scanned image when receiving a scanned image of the template document in which , and respectively specifying target images corresponding to the target region using the marker images; generating a cropped image by cropping each of the target images, determining whether a marker image corresponding to the cropped image is distorted, and performing primary correction on the cropped image in response to the distortion of the marker image a first distortion correction unit; Detecting an outline included in the cropped image, extracting location information of a vertex where the outline intersects, comparing the location information of the vertex with the template document to determine whether the cropped image is distorted, and a second distortion correction unit performing secondary correction on the cropped image in response to distortion; and an object extracting unit configured to set the region inside the outline of the corrected crop image as a target image, perform image processing on the target image, and extract the object included in the target image.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.Incidentally, the means for solving the above problems do not enumerate all the features of the present invention. Various features of the present invention and its advantages and effects may be understood in more detail with reference to the following specific embodiments.
본 발명의 일 실시예에 의한 영상왜곡보정방법 및 이를 이용하는 객체수집방법에 의하면, 영상촬영과정에서 스캔 이미지 내에 포함될 수 있는 영상왜곡을 보정할 수 있으며, 보정된 스캔 이미지로부터 정확하게 객체들을 추출할 수 있다. According to the image distortion correction method and the object collection method using the same according to an embodiment of the present invention, it is possible to correct image distortion that may be included in a scanned image during an image capturing process, and to accurately extract objects from the corrected scanned image. have.
본 발명의 일 실시예에 의한 영상왜곡보정방법 및 이를 이용하는 객체수집방법에 의하면, 마커에 대한 영상왜곡을 검출하고 이를 활용하여 문서내 대상영역의 영상왜곡을 보정할 수 있다. 또한, 스캔 이미지 내의 각각의 대상영역들을 분할하고, 분할된 각각의 대상영역에 대한 국소적인 보정을 수행할 수 있으므로, 보다 정밀하게 왜곡보정을 수행하는 것이 가능하다.According to the image distortion correction method and the object collection method using the image distortion correction method according to an embodiment of the present invention, image distortion with respect to a marker can be detected and image distortion of a target region in a document can be corrected by using the detection. In addition, since it is possible to segment each target area in the scanned image and perform local correction on each of the divided target areas, it is possible to perform distortion correction more precisely.
다만, 본 발명의 실시예들에 따른 영상왜곡보정방법 및 이를 이용하는 객체수집방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the effects that can be achieved by the image distortion correction method and the object collection method using the same according to the embodiments of the present invention are not limited to those mentioned above, and other effects not mentioned can be found in the present invention from the description below. It will be clearly understood by those of ordinary skill in the art.
도1은 본 발명의 일 실시예에 의한 영상왜곡보정시스템을 나타내는 개략도이다.
도2는 본 발명의 일 실시예에 의한 영상왜곡보정장치를 나타내는 블록도이다.
도3은 본 발명의 일 실시예에 의한 템플릿 문서를 나타내는 도면이다.
도4는 본 발명의 일 실시예에 의한 스캔 이미지의 왜곡을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 마커 이미지와 대상 이미지 사이의 위치관계를 나타내는 개략도이다.
도6은 본 발명의 일 실시예에 의한 스캔 이미지 중 일부를 확대한 확대도이다.
도7은 본 발명의 일 실시예에 의한 크롭 이미지 및 외곽선 검출을 나타내는 개략도이다.
도8은 본 발명의 일 실시예에 의한 왜곡 보정을 수행한 대상 이미지를 나타내는 개략도이다.
도9는 본 발명의 일 실시예에 의한 객체수집시스템을 나타내는 개략도이다.
도10은 본 발명의 일 실시예에 의한 객체수집장치를 나타내는 블록도이다.
도11은 본 발명의 일 실시예에 의한 영상왜곡방법을 나타내는 순서도이다.
도12는 본 발명의 다른 실시예에 의한 영상왜곡방법을 나타내는 순서도이다.
도13은 본 발명의 일 실시예에 의한 객체수집방법을 나타내는 순서도이다. 1 is a schematic diagram showing an image distortion correction system according to an embodiment of the present invention.
2 is a block diagram illustrating an image distortion correction apparatus according to an embodiment of the present invention.
3 is a diagram illustrating a template document according to an embodiment of the present invention.
4 is a schematic diagram illustrating distortion of a scanned image according to an embodiment of the present invention.
5 is a schematic diagram illustrating a positional relationship between a marker image and a target image according to an embodiment of the present invention.
6 is an enlarged view of a part of a scanned image according to an embodiment of the present invention.
7 is a schematic diagram illustrating a crop image and an outline detection according to an embodiment of the present invention.
8 is a schematic diagram illustrating a target image on which distortion correction has been performed according to an embodiment of the present invention.
9 is a schematic diagram showing an object collection system according to an embodiment of the present invention.
10 is a block diagram illustrating an object collecting apparatus according to an embodiment of the present invention.
11 is a flowchart illustrating an image distortion method according to an embodiment of the present invention.
12 is a flowchart illustrating an image distortion method according to another embodiment of the present invention.
13 is a flowchart illustrating a method for collecting objects according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of reference numerals, and overlapping descriptions thereof will be omitted. The suffixes "module" and "part" for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves. That is, the term 'unit' used in the present invention means a hardware component such as software, FPGA, or ASIC, and 'unit' performs certain roles. However, 'part' is not limited to software or hardware. The 'unit' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Thus, as an example, 'part' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. Functions provided within components and 'units' may be combined into a smaller number of components and 'units' or further divided into additional components and 'units'.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.
도1은 본 발명의 일 실시예에 의한 영상왜곡보정시스템을 나타내는 개략도이다. 1 is a schematic diagram showing an image distortion correction system according to an embodiment of the present invention.
도1을 참조하면, 본 발명의 일 실시예에 의한 영상왜곡보정시스템은 영상촬영장치(1) 및 영상왜곡보정장치(100)를 포함할 수 있다. Referring to FIG. 1 , an image distortion correction system according to an embodiment of the present invention may include an
이하 도1을 참조하여 본 발명의 일 실시예에 의한 영상왜곡보정시스템을 설명한다. Hereinafter, an image distortion correction system according to an embodiment of the present invention will be described with reference to FIG. 1 .
영상촬영장치(1)는 카메라(camera) 또는 스캐너(scanner)일 수 있으며, 템플릿 문서(T)를 촬영하거나 스캔하는 방식으로 스캔 이미지를 생성할 수 있다. 실시예에 따라서는, 카메라를 포함하는 이동통신단말 등도 영상촬영장치(1)에 포함될 수 있다. The
템플릿 문서(T)는 도3에 도시한 바와 같이, 적어도 하나 이상의 마커(M)와 대상영역(A)을 포함할 수 있으며, 템플릿 문서(T) 내의 마커(M)와 대상영역(A)의 크기와 위치 등은 규격화되어 미리 정해져 있을 수 있다. 템플릿 문서(T) 내에 포함되는 마커(M)와 대상영역(A)의 개수, 크기, 위치 등은 실시예에 따라 다양하게 변형가능하며, 마커(M)는 각각의 대상영역(A)과 일대일로 매칭되거나, 일대다(一對多), 다대일(多對一)로 매칭되는 것도 가능하다. 여기서, 대상영역(A) 내에는 사용자 등이 입력한 문자나 기호 등의 객체들이 포함될 수 있다. 여기서, 국소적인 왜곡에 대한 보정을 위하여, 대상영역(A)에 대응하는 마커(M)가 해당 대상영역(A)에 인접하여(예를들어, 좌측 상단) 위치하는 것이 바람직하다. As shown in FIG. 3 , the template document T may include at least one marker M and a target area A, and the marker M and the target area A in the template document T are The size, position, etc. may be standardized and predetermined. The number, size, location, etc. of the markers M and the target areas A included in the template document T can be variously modified according to the embodiment, and the marker M is one-to-one with each target area A It is also possible to match one-to-many or many-to-one. Here, objects such as characters or symbols input by a user may be included in the target area A. Here, in order to correct for local distortion, it is preferable that the marker M corresponding to the target area A be located adjacent to the target area A (eg, upper left corner).
영상촬영장치(1)는 템플릿 문서(T)를 촬영하여 스캔 이미지를 생성할 수 있으나, 이때 영상촬영장치(1)의 촬영각도나 위치에 따라 스캔 이미지는 왜곡될 수 있다. 예를들어, 도4(a)에 도시한 바와 같이, 템플릿 문서(T)의 연직 상방에서 촬영을 하지 않는 경우에는, 스캔 이미지 내에 템플릿 문서(T)가 기울어진 이미지로 왜곡될 수 있으며, 도4(b)와 같이 템플릿 문서(T)가 스캔 이미지 내에서 회전된 상태로 나타나는 경우도 발생할 수 있다. 또한, 도4(c)에 도시한 바와 같이, 그림자 등에 의하여 명암이 왜곡된 스캔 이미지를 생성하는 경우도 존재할 수 있다. The
특히, 영상촬영장치(1)로 카메라를 사용하는 경우에는 상대적으로 스캔 이미지에 대한 왜곡이 많이 발생할 수 있다. 다만, 사용자가 자신의 이동통신단말을 이용하여 촬영한 문서를 업로드하여 활용하는 등의 어플리케이션이 널리 활용되고 있으므로, 실제로는 왜곡을 포함하는 스캔 이미지들이 주로 활용될 수 있다. 따라서, 스캔 이미지를 활용하기 위해서는 스캔 이미지에 대한 왜곡을 보정할 필요가 있다. In particular, when a camera is used as the
또한, 스캔 이미지를 활용하여 템플릿 문서(T)에 포함된 객체 등을 추출하고자 하는 경우에는, 왜곡된 스캔 이미지에 의하여 정확한 객체들을 추출하거나 영상의 분석이 어려워질 수 있다. 이러한 스캔 이미지의 왜곡을 보정하기 위하여, 영상왜곡장치(100)를 활용할 수 있다. In addition, when it is desired to extract an object included in the template document T by using a scanned image, it may be difficult to extract accurate objects or to analyze an image due to a distorted scanned image. In order to correct the distortion of the scanned image, the
영상왜곡보정장치(100)는 영상촬영장치(1)로부터 스캔 이미지를 제공받을 수 있으며, 영상촬영장치(1)에 의하여 왜곡된 스캔 이미지에 대한 보정을 수행할 수 있다. 여기서, 영상왜곡보정장치(100)는 객체 등이 포함된 대상영역에 대한 영상왜곡을 보정할 수 있으며, 이때 해당 대상영역에 대응하는 마커를 이용하여 대상영역에 대한 왜곡 보정을 수행할 수 있다. 이하 본 발명의 일 실시예에 의한 영상왜곡보정장치를 설명한다. The image
도2에 도시한 바와 같이, 본 발명의 일 실시예에 의한 영상왜곡보정장치(100)는, 영상인식부(110) 및 왜곡보정부(120)를 포함할 수 있다.As shown in FIG. 2 , the image
영상인식부(110)는 영상촬영장치(1)로부터 템플릿 문서(T)에 대한 스캔 이미지를 수신할 수 있다. 이후, 영상인식부(110)는 스캔 이미지로부터 마커(M)에 대응하는 마커 이미지를 추출할 수 있다. 여기서, 마커는 아루코(ARUCO) 마커 또는 QR(Quick Response) 코드 등일 수 있으며, 영상인식부(110)는 영상처리를 통하여 스캔 이미지 내에 포함된 마커 이미지를 인식하고 추출할 수 있다. 이외에도, 영상처리를 통하여 인식할 수 있는 것이면 어떠한 것도 마커로 활용가능하다. The
즉, 도6에 도시한 바와 같이, 스캔 이미지 내에 포함된 마커 이미지(M1)와 대상 이미지(A1)가 포함될 수 있으며, 영상인식부(110)는 마커 이미지(M1)로부터 식별점들(p1, p2, p3, p4)을 추출할 수 있다. 여기서, 식별점(p1, p2, p3, p4)은 마커 이미지(M1)의 꼭지점들일 수 있으며, 식별점(p1, p2, p3, p4)을 이용하여 마커 이미지(M1)의 위치 및 형상을 특정할 수 있다. 여기서, 식별점은 마커의 종류나 실시예에 따라 다양하게 설정가능하다. 아루코 마커의 경우, OpenCV의 ARUCO 모듈 등 소프트웨어를 이용하여 식별점의 좌표정보를 추출할 수 있으며, 추출한 식별점들을 이용하여 각각의 마커이미지(M1)를 정확하게 식별하는 것이 가능하다. 따라서, 영상인식부(110)는 스캔 이미지 내의 마커 이미지(M1)를 정확하게 인식할 수 있다. That is, as shown in FIG. 6 , the marker image M1 and the target image A1 included in the scan image may be included, and the
이후, 영상인식부(110)는 인식된 마커 이미지(M1)를 이용하여 대상영역(A)에 대응하는 대상 이미지(A1)를 특정할 수 있다. 템플릿 문서(T)에는 대상영역(A)과 마커(M) 사이의 위치관계가 미리 설정되어 있으므로, 마커 이미지(M1)의 식별점(p1, p2, p3, p4)들로부터 대상 이미지(A1)의 경계점(s1, s2, s3, s4)들을 각각 연산하는 것이 가능하다. Thereafter, the
실시예에 따라서는, 영상인식부(110)가 기준점(예를들어, 마커이미지의 중심점)으로부터 각각의 식별점(p2, p3, p4)으로 향하는 방향벡터들을 생성한 후, 생성한 방향벡터를 활용하여 경계점의 좌표정보를 연산하는 것도 가능하다. 즉, 마커 이미지(M1)가 왜곡되어 정확한 직사각형의 형태를 이루지 않는 경우에도, 벡터연산을 활용하면 왜곡된 상태를 반영하여, 대상이미지(A1)의 꼭지점인 경계점(s1, s2, s3, s4)을 계산하는 것이 가능하다. According to an embodiment, the
예를들어, 마커 이미지(M1)과 대상 이미지(A1)가 도5과 같은 위치 관계에 있을 때, 해당 마커에 대응하는 대상이미지(A1)의 경계점(s1, s2, s3, s4)은 다음과 같이 계산될 수 있다. For example, when the marker image M1 and the target image A1 are in the positional relationship as shown in FIG. 5, the boundary points s1, s2, s3, and s4 of the target image A1 corresponding to the marker are as follows. can be calculated together.
여기서, a, b는 각각 마커 이미지(M1)의 폭과 너비의 절반에 해당하는 스칼라(scaler) 값이고, c, d는 각각 대상 이미지(A1)의 폭과 너비의 절반에 해당하는 스칼라 값이다. 또한, w와 h는 마커 이미지(M1)의 중심점(Pc)과 대상 이미지(A1)의 중심점(Sc) 사이의 x축과 y축 오프셋(offset)에 해당한다. Here, a and b are scalar values corresponding to half the width and half the width of the marker image M1, respectively, and c and d are scalar values corresponding to half the width and half the width of the target image A1, respectively. . In addition, w and h correspond to the x-axis and y-axis offsets between the center point Pc of the marker image M1 and the center point Sc of the target image A1.
왜곡보정부(120)는 마커(M)와 마커 이미지(M1)를 비교하여, 마커 이미지(M1)의 왜곡여부 및 왜곡정도를 판별하고, 마커 이미지(M1)의 왜곡에 대응하여 대상 이미지(A1)의 왜곡을 보정할 수 있다. 여기서, 템플릿 문서(T) 내의 마커(M)의 크기와 위치, 형태 등은 이미 알고 있으므로, 스캔 이미지 내의 마커이미지(M1)와 해당 템플릿 문서(T) 내의 실제 마커(M)를 비교하면, 마커이미지(M1)에 대한 왜곡을 판별할 수 있다. 또한, 각각의 마커(M)는 대상영역(A)에 대응하여 인접하도록 위치하므로, 마커이미지(M1)에 대한 왜곡은 동일하게 대상영역(A)에 대하여도 적용되는 것으로 볼 수 있다. 따라서, 왜곡보정부(120)는 마커이미지(M1)에 대한 왜곡정도를 반영하여, 대상이미지(A1)에 대한 왜곡보정을 수행할 수 있다. The
구체적으로, 왜곡보정부(120)는 마커(M)의 규격정보와, 마커 이미지(M1)의 식별점(p1, p2, p3, p4)들을 비교하여, 마커 이미지(M1)의 왜곡 발생 여부를 판별할 수 있다. 또한, 왜곡보정부(120)는 마커 이미지(M1) 내에 왜곡이 존재하면, 왜곡을 보정하기 위하여 마커 이미지(M1)를 마커(M)로 변환하기 위한 어파인 변환(affine transform) 또는 투영변환(perspective transform)을 연산할 수 있다. 이후, 해당 어파인 변환 또는 투영변환을 대상이미지(A1)에도 적용하여, 대상이미지(A1)에 대한 왜곡보정을 수행할 수 있다. Specifically, the
추가적으로, 템플릿 문서(T) 내에는 대상영역(A)을 구분하기 위한 외곽선들이 포함될 수 있으며, 왜곡보정부(120)는 외곽선들을 이용하여 왜곡보정을 수행할 수 있다. 구체적으로, 도7에 도시한 바와 같이, 왜곡보정부(120)는 대상 이미지(A1)에서 외곽선(L1, L2, L3, L4)을 추출할 수 있다. 이때, 허프 변환(Hough transform) 등을 활용할 수 있으며, 이외에도 이미지 내에서 외곽선 등을 추출할 수 있는 것이면 어떠한 알고리즘도 활용할 수 있다. Additionally, outlines for dividing the target area A may be included in the template document T, and the
이후, 외곽선(L1, L2, L3, L4)이 교차하는 꼭지점(q1, q2, q3, q4)을 판별할 수 있으며, 해당 꼭지점의 좌표정보를 템플릿 문서(T)와 비교할 수 있다. 즉, 마커이미지(M1)의 변형여부와는 별도로, 대상이미지(A1)의 꼭지점(q1, q2, q3, q4)들이 대상영역(A)의 꼭지점들과 동일한지 여부를 비교함으로써, 대상 이미지(A1)내의 왜곡발생 여부를 다시한번 판별하는 것이 가능하다. 여기서, 대상 이미지(A1)에 왜곡이발생한 것으로 판별된 경우에는, 대상 이미지(A1)에 대한 어파인 변환 또는 투영변환을 수행하여 왜곡을 보정할 수 있다. 즉, 1차적으로 마커 이미지를 이용한 왜곡보정을 수행한 이후에도 왜곡 등이 남아 있을 수 있으므로, 2차적으로 외곽선을 활용한 왜곡보정을 추가로 수행하여 왜곡을 보정하도록 할 수 있다. 이를 통하여, 도8에 도시한 바와 같이 보정된 대상이미지(A1)를 생성할 수 있다. Thereafter, the vertices q1, q2, q3, and q4 where the outlines L1, L2, L3, and L4 intersect may be determined, and coordinate information of the corresponding vertices may be compared with the template document T. That is, regardless of whether the marker image M1 is deformed, by comparing whether the vertices q1, q2, q3, q4 of the target image A1 are the same as the vertices of the target area A, the target image ( It is possible to determine once again whether distortion has occurred in A1). Here, when it is determined that distortion has occurred in the target image A1, affine transformation or projection transformation may be performed on the target image A1 to correct the distortion. That is, since distortion may remain even after the first distortion correction using the marker image is performed, the distortion may be corrected by secondarily performing additional distortion correction using the outline. Through this, it is possible to generate the corrected target image A1 as shown in FIG. 8 .
한편, 왜곡보정부(120)는 마커 이미지(M1)와 마커(M)를 비교하여 왜곡의 발생여부를 판별할 때, 마커 이미지(M1)의 색상변형 여부를 추가로 판별할 수 있다. 즉, 마커 이미지(M1)의 색상과 마커(M)의 색상을 비교하여 이미지의 왜곡 여부를 판별할 수 있다. 이때, 왜곡보정부(120)는 외곽선(L1, L2, L3, L4)이 교차하는 꼭지점(q1, q2, q3, q4)을 이용하여 대상 이미지(A1)의 위치를 정확하게 특정한 후, 색상변형 여부를 판별할 수 있다. On the other hand, when determining whether distortion occurs by comparing the marker image M1 with the marker M, the
여기서, 색상변형이 발생한 것으로 판별된 경우에는, 왜곡보정부(120)는 마커 이미지(M1)에 발생한 색상변형을 역으로 대상 이미지(A1)에 적용하는 방식으로, 색상 변형에 대한 보정을 수행할 수 있다. 예를들어, 마커 이미지(M1)에 포함된 흰색 영역과 검은색 영역의 색상 차이를 바탕으로, 대상 이미지(A1)를 보정할 수 있다.Here, when it is determined that color deformation has occurred, the
한편, 도3에 도시한 바와 같이, 템플릿 문서(T) 내에 복수의 마커(M)와 대상영역(A)들이 포함될 수 있으며, 이 경우, 본 발명의 일 실시예에 의한 영상왜곡보정장치(100)는 각각의 대상영역(A)들을 분할하고, 분할된 각각의 대상영역(A)에 대하여 개별적으로 영상왜곡을 보정할 수 있다. 즉, 분할된 각각의 대상영역(A)에 대한 국소적인 보정을 수행할 수 있으므로, 보다 정밀하게 왜곡보정을 수행하는 것이 가능하다. 도3에서는 하나의 대상영역(A)에 하나의 마커(M)가 대응되는 경우를 도시하고 있으나, 실시예에 따라서는, 하나의 대상영역에 복수의 마커들이 설정되거나, 하나의 마커를 복수의 대상영역에 대하여 설정하는 것도 가능하다.Meanwhile, as shown in FIG. 3 , a plurality of markers M and a target area A may be included in the template document T. In this case, the image
구체적으로, 영상인식부(110)는 스캔 이미지로부터 마커 이미지(M1)들을 추출할 수 있으며, 추출한 마커 이미지(M1)를 이용하여 대상영역(A)에 대응하는 대상 이미지(A1)를 각각 특정할 수 있다. 여기서, 템플릿 문서(T)에는 대상영역(A)과 마커(M) 사이의 위치관계가 미리 설정되어 있으므로, 마커 이미지(M1)로부터 대상 이미지(A1)를 특정하는 것이 가능하다. Specifically, the
이때, 각각의 마커(M)들은 대상영역(A)별로 상이한 기호들을 포함할 수 있으며, 각각의 기호는 해당 대상영역을 나타내는 식별부호에 해당할 수 있다. 즉, 각각의 대상영역별로 식별부호가 설정되어 있을 수 있으며, 마커(M)의 기호를 인식하면, 각각의 대상영역에 대응하는 식별부호가 추출되도록 할 수 있다. 예를들어, 두번째 행의 세번째 대상영역의 식별부호는 "23" 등으로 미리 설정해둘 수 있으며, 마커(M)에는 "23"에 대응하는 기호를 포함하도록 템플릿 문서(T)를 미리 생성해 둘 수 있다.In this case, each of the markers M may include different symbols for each target area A, and each symbol may correspond to an identification code indicating the target area. That is, an identification code may be set for each target area, and when a symbol of the marker M is recognized, an identification code corresponding to each target area may be extracted. For example, the identification code of the third target area in the second row may be preset to "23", etc., and the template document T is previously created to include the symbol corresponding to "23" in the marker M. can
추가적으로, 실시예에 따라서는, 영상인식부(110)가 인식한 각각의 마커들의 식별부호들을 이용하여, 스캔 이미지의 적합성을 판단하는 것도 가능하다. 즉, 템플릿 문서(T) 내에 포함되는 각각의 마커들에 대응하는 식별부호들은 미리 설정되어 있을 수 있으며, 스캔이미지들로부터 추출한 각각의 식별부호들이 미리 설정된 식별부호들과 상이한 경우에는, 영상인식부(110)가 해당 스캔 이미지를 부적합한 것으로 판단할 수 있다. 예를들어, 템플릿문서(T)을 촬영한 스캔 이미지의 품질이 불량하거나, 잘못된 템플릿 문서를 촬영한 경우, 영상인식부(110)에서 인식한 식별부호들이 미리 설정된 식별부호들과 상이할 수 있다. 따라서, 영상인식부는 인식한 마커들의 식별부호들을 이용하여 스캔 이미지의 적합성을 판단할 수 있으며, 스캔 이미지가 부적합한 경우에는 운영자 등에게 알릴 수 있다. Additionally, according to an embodiment, it is also possible to determine the suitability of the scanned image by using the identification codes of the respective markers recognized by the
왜곡보정부(120)는 대상 이미지(A1)들을 각각 크롭(crop)하여 크롭 이미지(C)를 생성할 수 있다. 영상인식부(110)에서 각각의 대상 이미지(A1)들의 경계점들의 좌표를 연산하였으므로, 왜곡보정부(120)에서는 대상 이미지(A1)들에 일정간격의 마진(margin)을 부여하고, 스캔이미지로부터 잘라내는 방식으로 크롭 이미지(C)를 생성할 수 있다. 여기서, 마진을 부여함으로써, 스캔 이미지에 포함된 왜곡 등에 의하여 대상이미지(A1)의 일부가 잘려나가는 것을 방지할 수 있다. The
이후, 각각의 크롭 이미지(C)에 대응하는 마커 이미지(M1)의 왜곡여부 및 왜곡정도를 판별하고, 마커 이미지(M1)의 왜곡에 대응하여 크롭 이미지(C)에 대한 1차 보정을 수행할 수 있다. Thereafter, it is determined whether the marker image M1 corresponding to each cropped image C is distorted and the degree of distortion is determined, and the first correction is performed on the cropped image C in response to the distortion of the marker image M1. can
또한, 왜곡보정부(120)는 도7에 도시한 바와 같이, 크롭 이미지(C)에 포함된 외곽선(L1, L2, L3, L4)을 검출하여, 외곽선이 교차하는 꼭지점(q1, q2, q3, q4)의 위치정보를 추출할 수 있다. 여기서 꼭지점(q1, q2, q3, q4)의 위치정보를 템플릿 문서(T) 내의 대응하는 대상영역(A)의 꼭지점과 비교하여 크롭 이미지(C)의 왜곡여부를 판별할 수 있으며, 크롭 이미지(C)의 왜곡에 대응하여 크롭 이미지(C)에 대한 2차 보정을 수행할 수 있다. 2차 보정이 완료되면, 도8에 도시한 바와 같이 보정된 대상이미지(A1)들을 각각 생성할 수 있다. In addition, as shown in FIG. 7 , the
도9는 본 발명의 일 실시예에 의한 객체수집시스템을 나타내는 개략도이다. 9 is a schematic diagram showing an object collection system according to an embodiment of the present invention.
도9를 참조하면, 본 발명의 일 실시예에 의한 객체수집시스템은, 영상촬영장치(1) 및 객체수집장치(200)를 포함할 수 있다.Referring to FIG. 9 , the object collecting system according to an embodiment of the present invention may include an
영상촬영장치(1)는 카메라(camera) 또는 스캐너(scanner)일 수 있으며, 템플릿 문서(T)를 촬영하거나 스캔하는 방식으로 스캔 이미지를 생성할 수 있다. 실시예에 따라서는, 카메라를 포함하는 이동통신단말 등도 영상촬영장치(1)에 포함될 수 있다. The
템플릿 문서(T)는 도3에 도시한 바와 같이, 마커(M)와 대상영역(A)을 포함할 수 있으며, 사용자로부터 문자나 기호, 그림 등의 객체를 입력받기 위해 사용될 수 있다. 즉, 사용자들은 자신의 이동통신단말 등의 영상촬영장치(1)를 이용하여 템플릿 문서(T)를 촬영하고, 촬영한 스캔 이미지를 업로드하여 제공할 수 있다. 여기서, 사용자들이 제공한 스캔 이미지로부터 객체들을 추출하여야 하나, 앞서 살핀 바와 같이 스캔 이미지 내에는 왜곡이 포함될 수 있다. 따라서, 객체를 정확하게 추출하기 위해서는 스캔 이미지에 대한 왜곡을 보정한 후, 객체들을 추출할 필요가 있다. As shown in FIG. 3 , the template document T may include a marker M and a target area A, and may be used to receive an object such as a character, a symbol, or a picture from a user. That is, the users may photograph the template document T using the
객체수집장치(200)는 영상촬영장치(1)로부터 스캔 이미지들을 제공받을 수 있으며, 영상촬영장치(1)에 의하여 왜곡된 스캔 이미지에 대한 보정을 먼저 수행하고, 이후 보정된 스캔 이미지로부터 정확하게 객체들을 추출할 수 있다. 여기서, 객체수집장치(200)를 통하여 수집한 객체들은 머신 러닝(machine learning)을 위한 학습데이터로 활용될 수 있다. 이하, 본 발명의 일 실시예에 의한 객체수집장치를 설명한다. The
도10에 도시한 바와 같이, 본 발명의 일 실시예에 의한 객체수집장치(200)는 영상인식부(210), 왜곡보정부(220) 및 객체추출부(230)를 포함할 수 있다. As shown in FIG. 10 , the
영상인식부(210)는 대상영역 내에 객체가 표시된 템플릿 문서의 스캔 이미지를 수신할 수 있다. 여기서, 영상인식부(210)는 스캔 이미지로부터 마커에 대응하는 마커 이미지들을 추출하고, 마커 이미지를 이용하여 대상영역에 대응하는 대상 이미지를 각각 특정할 수 있다. The
또한, 영상인식부(210)는 마커에 포함된 각각의 기호를 이용하여, 각각의 대상영역들을 구별할 수 있다. 즉, 각각의 대상영역마다 상이한 종류의 객체들이 입력되는 것으로 미리 설정되어 있을 수 있으며, 영상인식부(210)는 마커를 활용하여 각각의 객체들을 구별하여 인식할 수 있다. 예를들어, 손글씨 글자체를 생성하기 위하여, 사용자로부터 글자체를 생성하기 위한 샘플글자들을 입력받는 경우, 마커를 이용하여 입력되는 각각의 글자들을 구별할 수 있다. Also, the
왜곡보정부(220)는 대상 이미지에 포함된 왜곡을 보정할 수 있다. 즉, 마커와 마커 이미지를 비교하여 마커 이미지의 왜곡여부를 판별하고, 마커 이미지의 왜곡에 대응하여 대상 이미지의 왜곡을 보정할 수 있다. 실시예에 따라서는, 왜곡보정부(220)는 제1 왜곡보정부 및 제2 왜곡보정부를 포함할 수 있다. The
제1 왜곡 보정부는, 대상 이미지들을 각각 크롭(crop)하여 크롭 이미지를 생성하고, 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별할 수 있다. 여기서, 마커 이미지에 왜곡이 존재하는 것으로 판별되면, 마커 이미지의 왜곡에 대응하여 크롭 이미지에 대한 1차 보정을 수행할 수 있다. The first distortion correcting unit may generate a cropped image by cropping each of the target images, and may determine whether a marker image corresponding to the cropped image is distorted. Here, if it is determined that distortion is present in the marker image, the first correction may be performed on the cropped image in response to the distortion of the marker image.
제2 왜곡 보정부는, 크롭 이미지에 포함된 외곽선을 검출하여, 외곽선이 교차하는 꼭지점의 위치정보를 추출할 수 있다. 이후, 꼭지점의 위치정보를 템플릿 문서 내의 대응하는 대상영역의 꼭지점과 비교하여, 크롭 이미지 내의 왜곡 존재여부를 판별한 후, 크롭 이미지의 왜곡에 대응하여 크롭 이미지에 대한 2차 보정을 수행할 수 있다.The second distortion corrector may detect an outline included in the cropped image and extract location information of a vertex where the outline intersects. Thereafter, the position information of the vertices is compared with the vertices of the corresponding target area in the template document to determine whether distortion exists in the cropped image, and then secondary correction can be performed on the cropped image in response to the distortion of the cropped image. .
객체추출부(230)는 보정된 크롭 이미지 중에서 외곽선 내부영역을 목표이미지로 설정할 수 있다. 즉, 도8에 도시한 바와 같이, 목표이미지를 설정할 수 있다. 이후, 객체추출부(230)는 목표이미지에 대한 이미지처리를 수행하여, 목표이미지 내의 객체(X)를 추출할 수 있다. The
이때, 객체추출부(230)는, 목표이미지에 대한 이진화 이미지를 활용하여, 객체(X)를 추출할 수 있다. 즉, 목표이미지에 포함된 픽셀들의 휘도값을 임계값(threshold)과 비교한 후, 임계값보다 작은 픽셀은 휘도값을 0으로 설정하고, 임계값보다 큰 픽셀은 휘도값을 1로 설정하는 방식으로 이진화 이미지를 생성할 수 있다. 이후, 객체추출부(230)는 휘도값이 1로 설정된 픽셀들의 집합을 객체로 추출할 수 있다.In this case, the
여기서, 임계값은 사용자 등이 임의로 설정한 고정된 값일 수 있으나, 실시예에 따라서는, 임계값을 적응적으로 변경시키는 것도 가능하다. 즉, 객체추출부(230)는 목표이미지에 대응하는 마커 이미지 내의 휘도값에 따라, 임계값을 적응적으로 변경시키는 적응적 임계값(adaptive thresholding)을 활용할 수 있다. 예를들어, 마커 이미지 내의 휘도값들의 평균값을 연산한 후, 해당 평균값에 대응하는 임계값을 설정하여, 목표 이미지에 대한 임계값으로 활용할 수 있다. Here, the threshold value may be a fixed value arbitrarily set by a user or the like, but according to an embodiment, it is also possible to adaptively change the threshold value. That is, the
이 경우, 스캔 이미지 내에 포함된 그림자에 의하여 목표 이미지의 명암 등이 왜곡된 경우에 대한 보정을 수행하는 것이 가능하다. 즉, 도4(c)에 도시한 바와 같이, 그림자는 전체 스캔 이미지 중에서 일부 영역에만 위치할 수 있으며, 이때 전체 목표이미지들에 대하여 동일한 임계값을 설정하게 되면, 그림자가 위치하는 영역에 대한 객체 인식이 제대로 수행되지 않을 위험성이 존재한다. In this case, it is possible to correct a case in which the contrast of the target image is distorted by the shadow included in the scanned image. That is, as shown in Fig. 4(c), the shadow may be located only in a partial area of the entire scan image. At this time, if the same threshold value is set for all target images, the object for the area where the shadow is located There is a risk that recognition will not be performed properly.
반면에, 본 발명의 일 실시예에 의한 객체추출부(230)는, 마커 이미지 내의 휘도값들을 고려하여 각각의 목표 이미지의 임계값을 개별적으로 설정하므로, 그림자 등에 의한 명암 왜곡을 보정하여 정확하게 객체를 추출하는 것이 가능하다. 여기서, 각각의 마커들은 대상영역에 인접하게 위치하므로, 대부분 마커와 대상영역에는 동시에 그림자가 위치하는 것으로 볼 수 있으므로, 마커에 대한 휘도값들을 이용하여 임계값을 설정하도록 할 수 있다. On the other hand, since the
도11은 본 발명의 일 실시예에 의한 영상왜곡보정방법을 나타내는 순서도이다. 여기서, 영상왜곡보정방법의 각 단계는 영상왜곡보정장치에 의하여 수행될 수 있다. 이하 도11을 참조하여 본 발명의 일 실시예에 의한 영상왜곡보정방법을 설명한다. 11 is a flowchart illustrating an image distortion correction method according to an embodiment of the present invention. Here, each step of the image distortion correction method may be performed by the image distortion correction apparatus. Hereinafter, an image distortion correction method according to an embodiment of the present invention will be described with reference to FIG. 11 .
영상왜곡보정장치는 템플릿 문서에 대한 스캔 이미지를 수신할 수 있으며, 수신한 스캔 이미지로부터 마커에 대응하는 마커 이미지를 추출할 수 있다. 이후, 마커 이미지를 이용하여 대상영역에 대응하는 대상 이미지를 특정할 수 있다(S110). 여기서, 템플릿 문서는 대상영역과, 대상영역에 대응하는 마커(marker)가 표시될 수 있으며, 마커는 아루코(ARUCO) 마커, QR(Quick Response) 코드 등을 비롯하여, 영상처리를 통해 인식할 수 있는 것이면 어떠한 것도 활용할 수 있다. 한편, 템플릿 문서에는 대상영역과 마커 사이의 위치관계가 미리 설정되어 있으므로, 영상왜곡보정장치는 마커 이미지로부터 대상 이미지의 구체적인 위치를 특정하는 것이 가능하다. The image distortion correction apparatus may receive a scanned image of the template document, and may extract a marker image corresponding to the marker from the received scan image. Thereafter, a target image corresponding to the target region may be specified using the marker image (S110). Here, in the template document, a target area and a marker corresponding to the target area can be displayed, and the marker can be recognized through image processing, including ARUCO markers and QR (Quick Response) codes. You can use anything you have. On the other hand, since the positional relationship between the target region and the marker is preset in the template document, the image distortion correction apparatus can specify the specific position of the target image from the marker image.
구체적으로, 영상왜곡보정장치는 마커 이미지로부터 식별점들을 추출할 수 있으며, 식별점들을 이용하여 마커 이미지의 위치 및 형상을 특정할 수 있다. 이후, 템플릿 문서에 미리 설정된 대상영역과 마커의 위치관계를 이용하여, 식별점들로부터 대상 이미지의 경계점들을 연산할 수 있다. 이때, 실시예에 따라서는, 기준점(예를들어, 마커 이미지의 중심점)으로부터 각각의 식별점으로 향하는 각각의 방향벡터들을 생성하고, 이후 방향벡터를 이용하여 경계점의 좌표정보를 연산하는 것도 가능하다. 이 경우, 마커 이미지가 왜곡된 경우에도, 왜곡된 상태를 반영하여, 대상이미지의 경계점들을 계산하는 것이 가능하다. Specifically, the image distortion correction apparatus may extract identification points from the marker image, and specify the position and shape of the marker image using the identification points. Thereafter, boundary points of the target image may be calculated from the identification points by using the positional relationship between the target area and the marker preset in the template document. In this case, depending on the embodiment, it is also possible to generate respective direction vectors from the reference point (eg, the center point of the marker image) to each identification point, and then calculate the coordinate information of the boundary point using the direction vector. . In this case, even when the marker image is distorted, it is possible to calculate boundary points of the target image by reflecting the distorted state.
영상왜곡보정장치는 마커와 마커 이미지를 비교하여 마커 이미지의 왜곡여부를 판별하고, 마커 이미지의 왜곡에 대응하여 대상 이미지의 왜곡을 보정할 수 있다(S120). 즉, 마커와 대상영역은 서로 인접하므로, 마커이미지에 왜곡이 존재하는 경우에는, 대상 이미지에 대하여도 동일한 왜곡이 존재하는 것으로 볼 수 있다. 따라서, 마커 이미지의 왜곡이 존재하는 것으로 판별되면, 마커 이미지의 왜곡에 대응하여 대상 이미지에 대한 왜곡보정을 수행할 수 있다. The image distortion correction apparatus may determine whether the marker image is distorted by comparing the marker and the marker image, and may correct the distortion of the target image in response to the distortion of the marker image (S120). That is, since the marker and the target region are adjacent to each other, when distortion exists in the marker image, it can be seen that the same distortion exists in the target image as well. Accordingly, when it is determined that distortion of the marker image is present, distortion correction may be performed on the target image in response to the distortion of the marker image.
구체적으로, 마커의 규격정보는 템플릿 문서 등을 통하여 미리 알고 있으므로, 마커의 규격정보와 마커 이미지의 식별점들을 비교하여, 마커 이미지의 왜곡여부를 판별할 수 있다. 또한, 마커 이미지 내에 왜곡이 존재하는 것으로 판별되면, 왜곡을 보정하기 위하여 마커 이미지를 마커와 일치시키기 위한 어파인 변환(affine transform) 또는 투영변환(perspective transform)을 연산할 수 있다. 이후, 해당 어파인 변환 또는 투영변환을 대상이미지에 적용하여, 대상이미지에 대한 왜곡보정을 수행할 수 있다. Specifically, since the standard information of the marker is known in advance through a template document or the like, it is possible to determine whether the marker image is distorted by comparing the standard information of the marker with the identification points of the marker image. In addition, if it is determined that distortion exists in the marker image, an affine transform or a perspective transform for matching the marker image with the marker may be calculated in order to correct the distortion. Thereafter, the affine transformation or projection transformation may be applied to the target image to perform distortion correction on the target image.
또한, 템플릿 문서 내에 대상영역을 구분하기 위한 외곽선이 존재하는 경우, 영상왜곡보정장치는 이를 활용하여 추가적인 보정을 수행할 수 있다. In addition, when an outline for dividing a target region exists in the template document, the image distortion correction apparatus may perform additional correction by using this.
구체적으로, 영상왜곡보정장치는 대상 이미지에서 외곽선을 추출할 수 있으며(S130), 외곽선이 교차하는 꼭지점의 좌표정보를 템플릿 문서와 비교하여, 대상 이미지에 대한 왜곡여부를 판별할 수 있다(S140). 즉, 대상이미지의 꼭지점들이, 템플릿 문서 내 대상영역의 꼭지점들의 위치와 일치하는지 여부를 비교함으로써, 대상 이미지 내에 왜곡이 포함되어있는지 여부를 판별할 수 있다.Specifically, the image distortion correction apparatus may extract an outline from the target image (S130), and compare the coordinate information of the vertex where the outline intersects with the template document to determine whether the target image is distorted (S140) . That is, by comparing whether the vertices of the target image match the positions of the vertices of the target region in the template document, it is possible to determine whether distortion is included in the target image.
이후, 왜곡이 포함된 것으로 판별된 경우에는, 대상 이미지에 대한 어파인 변환 또는 투영변환을 수행하여 왜곡을 보정할 수 있다(S150). 즉, 1차적으로 마커 이미지를 이용한 왜곡보정을 수행한 이후에도 왜곡 등이 남아 있을 수 있으므로, 2차적으로 외곽선을 활용한 왜곡보정을 추가로 수행하여 왜곡을 보정하도록 할 수 있다. Thereafter, when it is determined that distortion is included, the distortion may be corrected by performing affine transformation or projection transformation on the target image (S150). That is, since distortion may remain even after the first distortion correction using the marker image is performed, the distortion may be corrected by secondarily performing additional distortion correction using the outline.
도12는 본 발명의 다른 실시예에 의한 영상왜곡보정방법을 나타내는 순서도이다. 여기서, 영상왜곡보정방법의 각 단계는 영상왜곡보정장치에 의하여 수행될 수 있다. 이하 도12를 참조하여 본 발명의 일 실시예에 의한 영상왜곡보정방법을 설명한다. 12 is a flowchart illustrating an image distortion correction method according to another embodiment of the present invention. Here, each step of the image distortion correction method may be performed by the image distortion correction apparatus. Hereinafter, an image distortion correction method according to an embodiment of the present invention will be described with reference to FIG. 12 .
영상왜곡보정장치는 템플릿 문서에 대한 스캔 이미지를 수신하면, 스캔 이미지로부터 마커에 대응하는 마커 이미지들을 추출하고, 마커 이미지를 이용하여 대상영역에 대응하는 대상 이미지를 각각 특정할 수 있다(S210). 여기서, 템플릿 문서는 복수의 대상영역과, 각각의 대상영역에 대응하는 복수의 마커(marker)가 표시된 것일 수 있다. 또한, 마커는 각각의 대상영역별로 상이한 기호를 포함할 수 있으며, 각각의 기호는 대상영역을 나타내는 식별부호일 수 있다. 즉, 각각의 대상영역별로 식별부호가 설정되어 있을 수 있으며, 마커의 기호를 이진화 영상을 통하여 인식하면, 각각의 대상영역에 대응하는 식별부호가 추출되도록 할 수 있다. When the image distortion correcting apparatus receives the scan image for the template document, it may extract marker images corresponding to the marker from the scan image, and specify the target image corresponding to the target region by using the marker image (S210). Here, the template document may be one in which a plurality of target areas and a plurality of markers corresponding to each target area are displayed. In addition, the marker may include different symbols for each target region, and each symbol may be an identification code indicating the target region. That is, an identification code may be set for each target region, and when a symbol of a marker is recognized through a binarized image, an identification code corresponding to each target region may be extracted.
이후, 영상왜곡보정장치는 대상 이미지들을 각각 크롭(crop)하여 크롭 이미지를 생성하고, 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별할 수 있다. 또한, 마커 이미지에 왜곡이 존재하는 것으로 판별된 경우에는, 마커 이미지의 왜곡에 대응하여 각각의 크롭 이미지에 대한 1차 보정을 수행할 수 있다(S220). 앞서 대상 이미지들의 위치를 특정하였으므로, 대상 이미지들에 일정간격의 마진(margin)을 부여하고, 스캔이미지로부터 잘라내는 방식으로 크롭 이미지를 생성할 수 있다. 여기서, 마진을 부여함으로써, 스캔 이미지에 포함된 왜곡 등에 의하여 대상이미지의 일부가 잘려나가는 것을 방지할 수 있다. 이후, 각각의 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별하고, 마커 이미지의 왜곡에 대응하여 크롭 이미지에 대한 1차 보정을 수행할 수 있다. Thereafter, the image distortion correction apparatus may respectively crop the target images to generate a cropped image, and determine whether a marker image corresponding to the cropped image is distorted. Also, when it is determined that there is distortion in the marker image, the first correction may be performed on each cropped image in response to the distortion of the marker image ( S220 ). Since the positions of the target images have been previously specified, a cropped image can be generated by giving the target images a margin at a predetermined interval and cutting the target images from the scanned image. Here, by providing a margin, it is possible to prevent a part of the target image from being cut off due to distortion or the like included in the scanned image. Thereafter, it is determined whether the marker image corresponding to each cropped image is distorted, and the first correction may be performed on the cropped image in response to the distortion of the marker image.
또한, 영상왜곡보정장치는 크롭 이미지에 포함된 외곽선을 검출하여, 외곽선이 교차하는 꼭지점의 위치정보를 추출할 수 있다. 이후, 꼭지점의 위치정보를 템플릿 문서와 비교하여 크롭 이미지의 왜곡여부를 판별하고, 크롭 이미지의 왜곡에 대응하여 크롭 이미지에 대한 2차 보정을 수행할 수 있다(S230).Also, the image distortion correction apparatus may detect an outline included in the cropped image and extract location information of a vertex where the outline intersects. Thereafter, by comparing the position information of the vertices with the template document, it is determined whether the cropped image is distorted, and secondary correction can be performed on the cropped image in response to the distortion of the cropped image ( S230 ).
도13은 본 발명의 일 실시예에 의한 객체수집방법을 나타내는 순서도이다. 여기서, 객체수집방법의 각 단계는 객체수집장치에 의하여 수행될 수 있다. 이하 도13을 참조하여 본 발명의 일 실시예에 의한 객체수집방법을 설명한다. 13 is a flowchart illustrating a method for collecting objects according to an embodiment of the present invention. Here, each step of the object collecting method may be performed by the object collecting apparatus. Hereinafter, an object collecting method according to an embodiment of the present invention will be described with reference to FIG. 13 .
객체수집장치는, 대상영역 내에 객체가 표시된 템플릿 문서의 스캔 이미지를 수신하면, 스캔 이미지로부터 마커에 대응하는 마커 이미지들을 추출하고, 마커 이미지를 이용하여 대상영역에 대응하는 대상 이미지를 각각 특정할 수 있다(S310). 여기서, 템플릿 문서에는 복수의 대상영역과, 각각의 대상영역에 대응하는 복수의 마커(marker)가 표시되어 있을 수 있다. When the object collecting device receives a scanned image of a template document in which an object is displayed in the target area, it extracts marker images corresponding to the marker from the scanned image, and uses the marker image to specify the target image corresponding to the target area, respectively. There is (S310). Here, a plurality of target regions and a plurality of markers corresponding to each target region may be displayed in the template document.
이때, 객체수집장치는, 마커에 포함된 각각의 기호를 이용하여, 각각의 대상영역들을 구별할 수 있다. 즉, 각각의 대상영역마다 상이한 종류의 객체들이 입력되는 것으로 미리 설정되어 있을 수 있으며, 객체수집장치는 마커를 활용하여 각각의 객체들을 구별하여 인식할 수 있다. 예를들어, 손글씨 글자체를 생성하기 위하여, 사용자로부터 글자체를 생성하기 위한 샘플글자들을 입력받는 경우, 마커를 이용하여 입력되는 각각의 글자들을 구별할 수 있다. In this case, the object collecting apparatus may distinguish each target area by using each symbol included in the marker. That is, it may be preset that different types of objects are input for each target area, and the object collecting apparatus may distinguish and recognize each object by using a marker. For example, in order to generate a handwritten font, when sample characters for generating a font are received from the user, each inputted character may be distinguished using a marker.
이후, 객체수집장치는 대상 이미지들을 각각 크롭(crop)하여 크롭 이미지를 생성할 수 있으며, 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별할 수 있다. 여기서, 마커 이미지에 왜곡이 존재하는 경우에는, 마커 이미지의 왜곡에 대응하여 크롭 이미지에 대한 1차 보정을 수행할 수 있다(S320). Thereafter, the object collecting apparatus may generate a cropped image by cropping each of the target images, and may determine whether a marker image corresponding to the cropped image is distorted. Here, when there is distortion in the marker image, the first correction may be performed on the cropped image in response to the distortion of the marker image ( S320 ).
또한, 객체수집장치는 크롭 이미지에 포함된 외곽선을 검출하여, 외곽선이 교차하는 꼭지점의 위치정보를 추출하고, 꼭지점의 위치정보를 템플릿 문서와 비교할 수 있다. 이후, 크롭 이미지의 왜곡여부를 판별하고, 크롭 이미지의 왜곡에 대응하여 크롭 이미지에 대한 2차 보정을 수행할 수 있다(S330).Also, the object collecting apparatus may detect an outline included in the cropped image, extract location information of a vertex where the outline intersects, and compare the location information of the vertex with the template document. Thereafter, it may be determined whether the cropped image is distorted, and secondary correction may be performed on the cropped image in response to the distortion of the cropped image ( S330 ).
대상 이미지에 대한 왜곡보정이 완료되면, 객체수집장치는 보정된 크롭 이미지 중에서 외곽선 내부영역을 목표이미지로 설정하고, 목표이미지에 대한 이미지처리를 수행하여, 목표이미지 내에 포함된 객체를 추출할 수 있다(S340). 여기서, 객체수집장치는 목표이미지 내에 포함된 픽셀들의 휘도값을 임계값(threshold)과 비교하여 이진화 이미지를 생성하고, 이진화 이미지(binary image)로부터 객체를 추출할 수 있다. 이때, 임계값은 사용자 등이 임의로 설정한 고정값을 활용할 수 있으나, 실시예에 따라서는 적응적 변경시키는 것도 가능하다. 즉, 목표이미지에 대응하는 마커 이미지 내의 휘도값에 따라, 임계값을 적응적으로 변경시키는 적응적 임계값(adaptive thresholding)을 활용할 수 있다. 예를들어, 마커 이미지 내의 휘도값들의 평균값을 연산한 후, 해당 평균값에 대응하는 임계값을 설정하여, 목표 이미지에 대한 임계값으로 활용할 수 있다. 이 경우, 스캔 이미지 내에 포함된 그림자에 의하여 목표 이미지의 명암 등이 왜곡된 경우에 대한 보정을 수행하는 것이 가능하다.When the distortion correction for the target image is completed, the object collecting device sets the inner region of the outline among the corrected crop images as the target image, performs image processing on the target image, and extracts the object included in the target image. (S340). Here, the object collecting apparatus may generate a binary image by comparing the luminance values of pixels included in the target image with a threshold, and extract the object from the binary image. In this case, a fixed value arbitrarily set by a user or the like may be used as the threshold value, but it is also possible to adaptively change it according to an embodiment. That is, adaptive thresholding for adaptively changing a threshold value according to a luminance value in a marker image corresponding to the target image may be utilized. For example, after calculating the average value of the luminance values in the marker image, a threshold value corresponding to the average value may be set and used as a threshold value for the target image. In this case, it is possible to correct a case in which the contrast of the target image is distorted by the shadow included in the scanned image.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be implemented as computer-readable code on a medium in which a program is recorded. The computer-readable medium may continuously store a computer-executable program, or may be temporarily stored for execution or download. In addition, the medium may be various recording means or storage means in the form of a single or several hardware combined, it is not limited to a medium directly connected to any computer system, and may exist distributed on a network. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like. In addition, examples of other media may include recording media or storage media managed by an app store that distributes applications, sites that supply or distribute other various software, and servers. Accordingly, the above detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.The present invention is not limited by the above embodiments and the accompanying drawings. For those of ordinary skill in the art to which the present invention pertains, it will be apparent that the components according to the present invention can be substituted, modified and changed without departing from the technical spirit of the present invention.
1: 영상촬영장치 100: 영상왜곡보정장치
110: 영상인식부 120: 왜곡보정부
200: 객체수집장치 210: 영상인식부
220: 왜곡보정부 230: 객체추출부1: image photographing device 100: image distortion correction device
110: image recognition unit 120: distortion correction unit
200: object collecting device 210: image recognition unit
220: distortion correction unit 230: object extraction unit
Claims (13)
상기 템플릿 문서에 대한 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지를 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 특정하는 단계; 및
상기 마커와 상기 마커 이미지를 비교하여 상기 마커 이미지의 왜곡여부를 판별하고, 상기 마커 이미지의 왜곡에 대응하여 상기 대상 이미지의 왜곡을 보정하는 단계를 포함하는 것으로,
상기 대상 이미지를 특정하는 단계는
상기 마커 이미지로부터 상기 마커 이미지의 위치 및 형상을 특정하는 각각의 식별점들을 연산하는 단계; 및
상기 템플릿 문서에 미리 설정된 상기 대상영역과 상기 마커의 위치관계를 이용하여, 상기 식별점들로부터 상기 대상 이미지의 경계점들을 연산하는 단계를 포함하고,
상기 왜곡을 보정하는 단계는
상기 마커의 규격정보와, 상기 마커 이미지의 식별점들을 비교하여, 상기 마커 이미지의 왜곡여부를 판별하는 것을 특징으로 하는 영상왜곡보정방법.
An image distortion correction method using a template document in which a target area and a marker corresponding to the target area are displayed, the method comprising:
extracting a marker image corresponding to the marker from the scan image when receiving a scanned image of the template document, and specifying a target image corresponding to the target region using the marker image; and
Comprising the step of determining whether the marker image is distorted by comparing the marker and the marker image, and correcting the distortion of the target image in response to the distortion of the marker image,
The step of specifying the target image is
calculating respective identification points specifying the position and shape of the marker image from the marker image; and
calculating boundary points of the target image from the identification points by using the positional relationship between the target area and the marker preset in the template document,
The step of correcting the distortion is
Image distortion correction method, characterized in that by comparing the standard information of the marker and the identification points of the marker image to determine whether the marker image is distorted.
기준점으로부터 각각의 식별점으로 향하는 각각의 방향벡터들을 생성하고, 상기 방향벡터를 이용하여 상기 경계점의 좌표정보를 연산하는 것을 특징으로 하는 영상왜곡보정방법.
The method of claim 1, wherein calculating the boundary points of the target image comprises:
An image distortion correction method comprising generating respective direction vectors from a reference point to each identification point, and calculating the coordinate information of the boundary point using the direction vector.
상기 마커와 상기 마커 이미지 사이의 어파인 변환(affine transform) 또는 투영변환(perspective transform)을 활용하여, 상기 대상 이미지에 대한 왜곡을 보정하는 것을 특징으로 하는 영상왜곡보정방법.
The method of claim 1, wherein correcting the distortion comprises:
An image distortion correction method, characterized in that by using an affine transform or a perspective transform between the marker and the marker image, to correct the distortion of the target image.
상기 템플릿 문서 내에 상기 대상영역을 구분하기 위한 외곽선이 존재하는 경우, 상기 대상 이미지에서 상기 외곽선을 추출하는 단계;
상기 외곽선이 교차하는 꼭지점의 좌표정보를, 상기 템플릿 문서와 비교하여, 상기 대상 이미지에 대한 왜곡여부를 판별하는 단계; 및
상기 대상 이미지를 어파인 변환 또는 투영변환하여, 상기 왜곡을 보정하는 단계를 더 포함하는 것을 특징으로 하는 영상왜곡보정방법.
According to claim 1,
extracting the outline from the target image when an outline for dividing the target area exists in the template document;
determining whether the target image is distorted by comparing the coordinate information of the vertex where the outline intersects with the template document; and
Image distortion correction method, characterized in that it further comprises the step of correcting the distortion by affine transformation or projection transformation of the target image.
상기 템플릿 문서에 대한 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지들을 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 각각 특정하는 단계;
상기 대상 이미지들을 각각 크롭(crop)하여 크롭 이미지를 생성하고, 상기 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별하며, 상기 마커 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 1차 보정을 수행하는 단계; 및
상기 크롭 이미지에 포함된 외곽선을 검출하여, 상기 외곽선이 교차하는 꼭지점의 위치정보를 추출하고, 상기 꼭지점의 위치정보를 상기 템플릿 문서와 비교하여 상기 크롭 이미지의 왜곡여부를 판별하며, 상기 크롭 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 2차 보정을 수행하는 단계를 포함하는 것으로,
상기 대상 이미지를 각각 특정하는 단계는
상기 마커 이미지로부터 상기 마커 이미지의 위치 및 형상을 특정하는 각각의 식별점들을 연산하는 단계; 및
상기 템플릿 문서에 미리 설정된 상기 대상영역과 상기 마커의 위치관계를 이용하여, 상기 식별점들로부터 상기 대상 이미지의 경계점들을 연산하는 단계를 포함하고,
상기 1차 보정을 수행하는 단계는
상기 마커의 규격정보와, 상기 마커 이미지의 식별점들을 비교하여, 상기 마커 이미지의 왜곡여부를 판별하는 것을 특징으로 하는 영상왜곡보정방법.
In an image distortion correction method using a template document in which a plurality of target regions and a plurality of markers corresponding to each target region are displayed, the method comprising:
extracting marker images corresponding to the marker from the scanned image when receiving the scanned image of the template document, and specifying each target image corresponding to the target region using the marker image;
generating a cropped image by cropping each of the target images, determining whether a marker image corresponding to the cropped image is distorted, and performing primary correction on the cropped image in response to the distortion of the marker image step; and
Detecting an outline included in the cropped image, extracting location information of a vertex where the outline intersects, comparing the location information of the vertex with the template document to determine whether the cropped image is distorted, and Comprising the step of performing secondary correction on the cropped image in response to distortion,
The step of specifying each of the target images is
calculating respective identification points specifying the position and shape of the marker image from the marker image; and
calculating boundary points of the target image from the identification points by using the positional relationship between the target area and the marker preset in the template document,
The step of performing the first correction is
Image distortion correction method, characterized in that by comparing the standard information of the marker and the identification points of the marker image to determine whether the marker image is distorted.
각각의 대상영역별로 상이한 기호를 포함하고, 상기 기호는 상기 대상영역을 나타내는 식별부호인 것을 특징으로 하는 영상왜곡보정방법.
The method of claim 7, wherein the marker is
Each target region includes a different symbol, and the symbol is an identification code indicating the target region.
In combination with hardware, a computer program recorded on a medium to execute the image distortion correction method of any one of claims 1, 3, and 5 to 8.
상기 대상영역 내에 객체가 표시된 상기 템플릿 문서의 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지들을 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 각각 특정하는 단계;
상기 대상 이미지들을 각각 크롭(crop)하여 크롭 이미지를 생성하고, 상기 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별하며, 상기 마커 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 1차 보정을 수행하는 단계;
상기 크롭 이미지에 포함된 외곽선을 검출하여, 상기 외곽선이 교차하는 꼭지점의 위치정보를 추출하고, 상기 꼭지점의 위치정보를 상기 템플릿 문서와 비교하여 상기 크롭 이미지의 왜곡여부를 판별하며, 상기 크롭 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 2차 보정을 수행하는 단계; 및
상기 보정된 크롭 이미지 중에서 상기 외곽선 내부영역을 목표이미지로 설정하고, 상기 목표이미지에 대한 이미지처리를 수행하여, 상기 목표이미지 내에 포함된 상기 객체를 추출하는 단계를 포함하는 것으로,
상기 대상 이미지를 각각 특정하는 단계는
상기 마커 이미지로부터 상기 마커 이미지의 위치 및 형상을 특정하는 각각의 식별점들을 연산하는 단계; 및
상기 템플릿 문서에 미리 설정된 상기 대상영역과 상기 마커의 위치관계를 이용하여, 상기 식별점들로부터 상기 대상 이미지의 경계점들을 연산하는 단계를 포함하고,
상기 1차 보정을 수행하는 단계는
상기 마커의 규격정보와, 상기 마커 이미지의 식별점들을 비교하여, 상기 마커 이미지의 왜곡여부를 판별하는 것을 특징으로 하는 객체수집방법.
A method for collecting objects using a template document in which a plurality of target areas and a plurality of markers corresponding to each target area are displayed, the method comprising:
When receiving a scanned image of the template document in which an object is displayed in the target area, extracting marker images corresponding to the marker from the scanned image, and specifying each target image corresponding to the target area using the marker image step;
generating a cropped image by cropping each of the target images, determining whether a marker image corresponding to the cropped image is distorted, and performing primary correction on the cropped image in response to the distortion of the marker image step;
Detecting an outline included in the cropped image, extracting location information of a vertex where the outline intersects, comparing the location information of the vertex with the template document to determine whether the cropped image is distorted, and performing secondary correction on the cropped image in response to distortion; and
Setting the region inside the outline of the corrected crop image as a target image, performing image processing on the target image, and extracting the object included in the target image,
The step of specifying each of the target images is
calculating respective identification points specifying the position and shape of the marker image from the marker image; and
calculating boundary points of the target image from the identification points by using the positional relationship between the target area and the marker preset in the template document,
The step of performing the first correction is
An object collecting method, characterized in that it is determined whether the marker image is distorted by comparing the standard information of the marker with the identification points of the marker image.
상기 목표이미지 내에 포함된 픽셀들의 휘도값을 임계값(threshold)과 비교하여 이진화 이미지를 생성하고, 상기 이진화 이미지(binary image)로부터 상기 객체를 추출하는 것으로,
상기 임계값은
상기 목표이미지에 대응하는 마커 이미지 내의 휘도값에 따라 설정되는 적응적 임계값(adaptive thresolding)인 것을 특징으로 하는 객체수집방법.
The method of claim 10, wherein the extracting of the object comprises:
generating a binarized image by comparing the luminance values of pixels included in the target image with a threshold, and extracting the object from the binary image,
The threshold is
and an adaptive threshold value set according to a luminance value in a marker image corresponding to the target image.
상기 템플릿 문서에 대한 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지를 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 특정하는 영상인식부; 및
상기 마커와 상기 마커 이미지를 비교하여 상기 마커 이미지의 왜곡여부를 판별하고, 상기 마커 이미지의 왜곡에 대응하여 상기 대상 이미지의 왜곡을 보정하는 왜곡보정부를 포함하는 것으로,
상기 영상인식부는
상기 마커 이미지로부터 상기 마커 이미지의 위치 및 형상을 특정하는 각각의 식별점들을 연산하고, 상기 템플릿 문서에 미리 설정된 상기 대상영역과 상기 마커의 위치관계를 이용하여, 상기 식별점들로부터 상기 대상 이미지의 경계점들을 연산하며,
상기 왜곡보정부는
상기 마커의 규격정보와, 상기 마커 이미지의 식별점들을 비교하여, 상기 마커 이미지의 왜곡여부를 판별하는 것을 특징으로 하는 영상왜곡보정장치.
An image distortion correction apparatus using a template document in which a target area and a marker corresponding to the target area are displayed, the apparatus comprising:
an image recognition unit for extracting a marker image corresponding to the marker from the scanned image when receiving the scanned image for the template document, and specifying a target image corresponding to the target region using the marker image; and
Comprising a distortion correction unit for determining whether the marker image is distorted by comparing the marker and the marker image, and correcting the distortion of the target image in response to the distortion of the marker image,
The image recognition unit
Each of the identification points specifying the position and shape of the marker image is calculated from the marker image, and the positional relationship between the target area and the marker preset in the template document is used to determine the target image from the identification points. Calculate the boundary points,
The distortion correction unit
The image distortion correction apparatus, characterized in that by comparing the standard information of the marker and the identification points of the marker image to determine whether the marker image is distorted.
상기 대상영역 내에 객체가 표시된 상기 템플릿 문서의 스캔 이미지를 수신하면, 상기 스캔 이미지로부터 상기 마커에 대응하는 마커 이미지들을 추출하고, 상기 마커 이미지를 이용하여 상기 대상영역에 대응하는 대상 이미지를 각각 특정하는 영상인식부;
상기 대상 이미지들을 각각 크롭(crop)하여 크롭 이미지를 생성하고, 상기 크롭 이미지에 대응하는 마커 이미지의 왜곡여부를 판별하며, 상기 마커 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 1차 보정을 수행하는 제1 왜곡보정부;
상기 크롭 이미지에 포함된 외곽선을 검출하여, 상기 외곽선이 교차하는 꼭지점의 위치정보를 추출하고, 상기 꼭지점의 위치정보를 상기 템플릿 문서와 비교하여 상기 크롭 이미지의 왜곡여부를 판별하며, 상기 크롭 이미지의 왜곡에 대응하여 상기 크롭 이미지에 대한 2차 보정을 수행하는 제2 왜곡보정부; 및
상기 보정된 크롭 이미지 중에서 상기 외곽선 내부영역을 목표이미지로 설정하고, 상기 목표이미지에 대해 이미지처리를 수행하여, 상기 목표이미지 내에 포함된 상기 객체를 추출하는 객체추출부를 포함하는 것으로,
상기 영상인식부는
상기 마커 이미지로부터 상기 마커 이미지의 위치 및 형상을 특정하는 각각의 식별점들을 연산하고, 상기 템플릿 문서에 미리 설정된 상기 대상영역과 상기 마커의 위치관계를 이용하여, 상기 식별점들로부터 상기 대상 이미지의 경계점들을 연산하며,
상기 왜곡보정부는
상기 마커의 규격정보와, 상기 마커 이미지의 식별점들을 비교하여, 상기 마커 이미지의 왜곡여부를 판별하는 것을 특징으로 하는 객체수집장치.An object collecting apparatus using a template document in which a plurality of target areas and a plurality of markers corresponding to each target area are displayed, the apparatus comprising:
When receiving a scanned image of the template document in which an object is displayed in the target area, extracting marker images corresponding to the marker from the scanned image, and specifying each target image corresponding to the target area using the marker image image recognition unit;
generating a cropped image by cropping each of the target images, determining whether a marker image corresponding to the cropped image is distorted, and performing primary correction on the cropped image in response to the distortion of the marker image a first distortion correction unit;
Detecting an outline included in the cropped image, extracting location information of a vertex where the outline intersects, comparing the location information of the vertex with the template document to determine whether the cropped image is distorted, and a second distortion correction unit performing secondary correction on the cropped image in response to distortion; and
and an object extracting unit configured to set the region inside the outline of the corrected crop image as a target image, perform image processing on the target image, and extract the object included in the target image,
The image recognition unit
Each of the identification points specifying the position and shape of the marker image is calculated from the marker image, and the positional relationship between the target area and the marker preset in the template document is used to determine the target image from the identification points. Calculate the boundary points,
The distortion correction unit
The object collecting apparatus, characterized in that by comparing the standard information of the marker with the identification points of the marker image, it is characterized in that it is determined whether the marker image is distorted.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200006476A KR102279259B1 (en) | 2020-01-17 | 2020-01-17 | Method for compensating image distortion and, method for collecting objects from the image by using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200006476A KR102279259B1 (en) | 2020-01-17 | 2020-01-17 | Method for compensating image distortion and, method for collecting objects from the image by using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102279259B1 true KR102279259B1 (en) | 2021-07-20 |
Family
ID=77127140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200006476A KR102279259B1 (en) | 2020-01-17 | 2020-01-17 | Method for compensating image distortion and, method for collecting objects from the image by using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102279259B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908201A (en) * | 2023-01-09 | 2023-04-04 | 武汉凡德智能科技有限公司 | Hot area quick correction method and device for image distortion |
| WO2023090725A1 (en) * | 2021-11-18 | 2023-05-25 | 삼성전자 주식회사 | Domestic appliance having inner space capable of accommodating tray at various heights, and method for acquiring image of domestic appliance |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1091752A (en) * | 1996-09-13 | 1998-04-10 | Fuji Xerox Co Ltd | Device and method for correcting picture |
| JP2006293484A (en) * | 2005-04-06 | 2006-10-26 | Canon Inc | Information processing method, information processor, computer program and storage medium |
| JP2006338584A (en) * | 2005-06-06 | 2006-12-14 | Ribakku:Kk | Image processing apparatus, image processing method, image processing program, image processing system and imaging apparatus |
| KR20110102361A (en) * | 2008-11-26 | 2011-09-16 | 지테크 코포레이션 | Image processing for curvature correction |
| JP2013089234A (en) * | 2011-10-17 | 2013-05-13 | Sharp Corp | Image processing system |
| JP2017169162A (en) * | 2016-03-18 | 2017-09-21 | セイコーエプソン株式会社 | Image reading apparatus, and image processing method |
-
2020
- 2020-01-17 KR KR1020200006476A patent/KR102279259B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1091752A (en) * | 1996-09-13 | 1998-04-10 | Fuji Xerox Co Ltd | Device and method for correcting picture |
| JP2006293484A (en) * | 2005-04-06 | 2006-10-26 | Canon Inc | Information processing method, information processor, computer program and storage medium |
| JP2006338584A (en) * | 2005-06-06 | 2006-12-14 | Ribakku:Kk | Image processing apparatus, image processing method, image processing program, image processing system and imaging apparatus |
| KR20110102361A (en) * | 2008-11-26 | 2011-09-16 | 지테크 코포레이션 | Image processing for curvature correction |
| JP2013089234A (en) * | 2011-10-17 | 2013-05-13 | Sharp Corp | Image processing system |
| JP2017169162A (en) * | 2016-03-18 | 2017-09-21 | セイコーエプソン株式会社 | Image reading apparatus, and image processing method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023090725A1 (en) * | 2021-11-18 | 2023-05-25 | 삼성전자 주식회사 | Domestic appliance having inner space capable of accommodating tray at various heights, and method for acquiring image of domestic appliance |
| CN115908201A (en) * | 2023-01-09 | 2023-04-04 | 武汉凡德智能科技有限公司 | Hot area quick correction method and device for image distortion |
| CN115908201B (en) * | 2023-01-09 | 2023-11-28 | 武汉凡德智能科技有限公司 | Method and device for quickly correcting hot zone of image distortion |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5951367B2 (en) | Imaging apparatus, captured image processing system, program, and recording medium | |
| US8254683B2 (en) | Code image processing method | |
| JP4525787B2 (en) | Image extraction apparatus and image extraction program | |
| AU2007224085B2 (en) | Model- based dewarping method and apparatus | |
| US7567708B2 (en) | Apparatus and method for image processing | |
| US7636483B2 (en) | Code type determining method and code boundary detecting method | |
| US9082192B2 (en) | Text image trimming method | |
| US8331670B2 (en) | Method of detection document alteration by comparing characters using shape features of characters | |
| US8897600B1 (en) | Method and system for determining vanishing point candidates for projective correction | |
| KR102279259B1 (en) | Method for compensating image distortion and, method for collecting objects from the image by using the same | |
| EP2270746A2 (en) | Method for detecting alterations in printed document using image comparison analyses | |
| US8218890B2 (en) | Method and apparatus for cropping images | |
| JP2019040617A (en) | Image processing apparatus and image processing method | |
| CN113903024A (en) | Handwritten bill numerical value information identification method, system, medium and device | |
| JP2019109624A (en) | Information processing apparatus, program, and information processing method | |
| CN110569845A (en) | test paper image correction method and related device | |
| JP6953178B2 (en) | Image processing device, image processing method, program | |
| CN112419207A (en) | Image correction method, device and system | |
| US9094617B2 (en) | Methods and systems for real-time image-capture feedback | |
| CN110738604A (en) | Canny operator and Hough transformation-based large-dip angle certificate image correction method and system | |
| WO2015092059A1 (en) | Method and system for correcting projective distortions. | |
| CN111340040B (en) | Paper character recognition method and device, electronic equipment and storage medium | |
| US20210281742A1 (en) | Document detections from video images | |
| CN110610163A (en) | Table extraction method and tool based on ellipse fitting in natural scene | |
| JP4398498B2 (en) | Code boundary detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |