KR102480582B1 - Generating system of virtual license plate for number recognition learning and method of generating virtual license plate for number recognition learning using the same - Google Patents
Generating system of virtual license plate for number recognition learning and method of generating virtual license plate for number recognition learning using the same Download PDFInfo
- Publication number
- KR102480582B1 KR102480582B1 KR1020210179461A KR20210179461A KR102480582B1 KR 102480582 B1 KR102480582 B1 KR 102480582B1 KR 1020210179461 A KR1020210179461 A KR 1020210179461A KR 20210179461 A KR20210179461 A KR 20210179461A KR 102480582 B1 KR102480582 B1 KR 102480582B1
- Authority
- KR
- South Korea
- Prior art keywords
- license plate
- recipe
- learning
- virtual
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000007613 environmental effect Effects 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 230000002860 competitive effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000412611 Consul Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Architecture (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 번호인식 학습용 가상번호판 생성시스템 및 이를 이용한 번호인식 학습용 가상번호판 생성방법에 관한 것으로서, 보다 상세하게는 차량 번호인식 학습을 위하여 딥러닝 학습을 통해 실제 도로에서 촬영된 번호판과 유사한 가상 번호판을 생성할 수 있는 번호인식 학습용 가상번호판 생성시스템 및 이를 이용한 번호인식 학습용 가상번호판 생성방법에 관한 것이다. The present invention relates to a virtual license plate generation system for number recognition learning and a method for generating a virtual license plate for number recognition learning using the same. It relates to a virtual license plate generation system for number recognition learning that can be generated and a virtual license plate generation method for number recognition learning using the same.
일반적으로 차량 번호판이란 차량의 전면 또는 후면에 부착되며 규격화된 글자(문자, 숫자 및 기호 포함)가 특정 패턴으로 기재된 판을 의미하며, 차량 번호판 인식은 영상으로부터 차량의 번호판을 취득하여 내재된 알고리즘을 통해 번호를 인식하는 것을 의미한다.In general, a license plate refers to a plate attached to the front or rear of a vehicle and written with standardized letters (including letters, numbers, and symbols) in a specific pattern. means to recognize a number through
오늘날에는 과속단속, 주차위반, 주차장 출입 등 도로교통 안전과 과금에 관련하여 활용되고 있으며, 나아가 사회안전망의 기반 기술로 그 활용범위가 다양화되고 있다.Today, it is used in connection with road traffic safety and billing, such as speeding enforcement, parking violations, and parking lot access, and furthermore, its application range is diversifying as a basic technology for social safety nets.
한편, 차량 번호판 인식 기술은 과거 영상처리를 이용하여 개별 문자와 숫자를 추출하여 인식하는 방법이 주로 활용되었으나, 최근에는 인공 신경망을 활용하여 보다 빠르고 정확하게 인식하는 방식으로 점차 정착되고 있다. On the other hand, vehicle license plate recognition technology has been mainly used to extract and recognize individual letters and numbers using image processing in the past, but recently, it has been gradually established as a faster and more accurate recognition method using artificial neural networks.
그런데, 이러한 인공 신경망을 활용하여 번호판을 인식하는 방식은, 번호판 인식률을 높이기 위하여 다양한 환경에서 촬영된 대량의 학습 이미지를 이용한 딥러닝 과정이 필요한데, 강화된 개인정보보호법으로 인하여 대량의 학습 이미지 수집이 쉽지 않을 뿐만 아니라 학습을 위해서 수집된 이미지도 정확한 라벨링 작업이 필수적으로 필요하다. 이는, 만약 라벨링이 정확하지 않으면 학습의 효과가 떨어져 번호판의 문자를 정확하게 인식하지 못하는 인식률 저하를 초래할 수 있기 때문이다. 또한, 이러한 인공 신경망을 활용하여 번호판을 인식하는 방식은, 다양한 환경에서도 정확하게 번호를 인식하기 위하여 이미지가 수집된 시점의 광도, 광각, 역광, 그림자 등 다양한 환경 스펙트럼이 고르게 분포된 학습 이미지가 필요하다.However, the method of recognizing license plates using such an artificial neural network requires a deep learning process using a large amount of learning images taken in various environments in order to increase the license plate recognition rate. Not only is it not easy, but accurate labeling of images collected for learning is essential. This is because if the labeling is not accurate, the effect of learning may be reduced, resulting in a reduction in the recognition rate of not accurately recognizing the letters on the license plate. In addition, the method of recognizing license plates using such an artificial neural network requires a learning image in which various environmental spectrums such as light intensity, wide angle, backlight, and shadow are evenly distributed at the time the image is collected in order to accurately recognize the number in various environments. .
따라서, 인공 신경망을 활용하여 번호판을 인식하기 위해서는, 신경망 학습에 사용될 다양한 환경이 적용되고 정확한 라벨링 작업이 된 학습 이미지를 대량으로 생성할 필요가 있다. Therefore, in order to recognize a license plate using an artificial neural network, it is necessary to apply various environments to be used for learning the neural network and generate a large amount of training images with accurate labeling.
본 발명은, 인공 신경망을 이용하여 정확하게 라벨링될 수 있는 가상의 차량 번호판 이미지를 생성할 수 있는 번호인식 학습용 가상번호판 생성시스템 및 이를 이용한 번호인식 학습용 가상번호판 생성방법을 제공하는 것을 목적으로 한다. An object of the present invention is to provide a virtual license plate generation system for number recognition learning that can generate a virtual license plate image that can be accurately labeled using an artificial neural network and a virtual license plate generation method for number recognition learning using the same.
본 발명의 일 측면에 의하면, 본 발명은 차량들의 번호판정보를 수집하는 번호판정보 수집부와; 상기 번호판정보 수집부로부터 상기 번호판정보를 획득하고, 획득된 상기 번호판정보로부터 번호판을 형성하는 객체들을 생성하는 객체 생성부와; 상기 객체 생성부에 의하여 생성된 객체들을 조합하여 가상번호판을 생성하는 가상번호판 생성부와; GAN(Generative Adversarial Network)을 이용하여 실제 촬영된 번호판을 학습하고, 학습된 결과를 이용하여 상기 가상번호판 생성부에 의하여 생성된 가상번호판을 실제 도메인과 유사하도록 변환하여 학습용 번호판을 생성하는 학습번호판 생성부;를 포함하는 것을 특징으로 하는 번호인식 학습용 가상번호판 생성시스템을 제공할 수 있다.According to one aspect of the present invention, the present invention includes a license plate information collection unit for collecting license plate information of vehicles; an object creation unit that obtains the license plate information from the license plate information collection unit and creates objects constituting a license plate from the obtained license plate information; A virtual license plate generating unit for generating a virtual license plate by combining the objects created by the object generating unit; Learning license plates that are actually photographed using GAN (Generative Adversarial Network) and convert the virtual license plates generated by the virtual license plate generation unit to be similar to the real domain using the learned results to create learning license plates. It is possible to provide a virtual license plate generation system for learning number recognition, characterized in that it comprises a;
여기서, 상기 번호판정보는, 번호판의 배경과, 문자와 숫자의 크기 및 비율과, 배치위치에 대한 정보를 포함할 수 있다.Here, the license plate information may include information about the background of the license plate, the size and ratio of letters and numbers, and the arrangement position.
상기 객체 생성부는, 상기 번호판정보를 통하여 번호판을 형성하는 텍스트들과 배경판을 3D 형태를 갖는 객체들로 생성할 수 있다.The object generating unit may generate texts and background plates forming the license plate through the license plate information as objects having a 3D shape.
또한, 상기 객체 생성부는, 상기 객체들의 재질을 빛이 반사될 수 있는 소재로 설정할 수 있다. In addition, the object creation unit may set the material of the objects to a material capable of reflecting light.
상기 가상번호판 생성부는, 상기 객체들을 조합하여 가상번호판을 만들기 위한 레시피를 생성하는 레시피 생성부와; 상기 레시피 생성부에 의하여 생성된 레시피들을 실행하여 가상번호판을 생성하는 레시피 실행부;를 포함할 수 있다.The virtual license plate generating unit may include a recipe generating unit generating a recipe for creating a virtual license plate by combining the objects; It may include; a recipe execution unit for generating a virtual license plate by executing the recipes generated by the recipe generation unit.
상기 레시피 생성부는, 번호판 종류에 따라 생성될 수 있는 텍스트 객체들의 번호조합을 지정하여, 상기 텍스트 객체들을 조합하는 번호레시피를 생성하는 번호생성부와, 번호판 종류에 따라 배경판의 크기를 지정하고, 배경판에 배치될 텍스트 객체의 종류, 위치 및 볼륨을 지정하기 위한 위치레시피를 생성하는 위치생성부와, 광원의 방향 및 세기를 포함하는 환경을 설정하기 위한 환경레시피를 생성하는 환경생성부와, 카메라에 의하여 촬영되는 번호판 이미지에 대응하도록 카메라의 각도와 렌즈의 조리개 값과 포커스를 포함하는 카메라조건을 무작위로 설정하여 카메라 이미지를 설정하기 위한 카메라레시피를 생성하는 카메라생성부를 포함할 수 있다.The recipe generator designates a number combination of text objects that can be created according to the number plate type, and a number generator that generates a number recipe combining the text objects, and the size of the background plate according to the number plate type, A location creation unit for generating a location recipe for specifying the type, location and volume of text objects to be placed on the background plate, and an environment creation unit for creating an environment recipe for setting an environment including the direction and intensity of a light source; It may include a camera generator for generating a camera recipe for setting a camera image by randomly setting camera conditions including an angle of a camera, an aperture value of a lens, and a focus to correspond to a license plate image captured by a camera.
상기 환경레시피는, 하나의 태양 광원과 하나 또는 복수개의 조명 광원을 포함하고, 상기 태양 광원은 번호판의 정면으로부터 상하방향 및 좌우방향으로 설정각도의 광각을 갖도록 설정되고, 상기 조명 광원은 번호판의 상부에 위치하도록 광각을 갖도록 설정될 수 있다.The environmental recipe includes one sun light source and one or a plurality of lighting light sources, the sun light source is set to have a wide angle of a set angle in the vertical and horizontal directions from the front of the license plate, and the illumination light source is set at the top of the license plate. It can be set to have a wide angle so as to be located at .
상기 카메라생성부는, 번호판의 정면으로부터 상하방향 및 좌우방향으로 카메라의 설정각도를 갖도록 설정하고, 카메라렌즈의 조리개 값은 0.2 내지 10 범위로 설정될 수 있다.The camera generating unit sets the angle of the camera in the vertical and horizontal directions from the front of the license plate, and the aperture value of the camera lens may be set in the range of 0.2 to 10.
상기 레시피 실행부는, 상기 번호레시피와 상기 위치레시피와 상기 환경레시피와 상기 카메라레시피를 설정순서에 따라 실행하되, 상기 번호레시피와 상기 위치레시피는 순차적으로 실행하고 다음으로 상기 환경레시피 또는 상기 카메라레시피를 실행하여 가상번호판을 생성할 수 있다.The recipe execution unit executes the number recipe, the location recipe, the environment recipe, and the camera recipe in the order of setting, the number recipe and the location recipe are sequentially executed, and then the environment recipe or the camera recipe You can create a virtual license plate by executing it.
상기 레시피 실행부는, 상기 번호레시피를 이용하여 생성할 번호판 규격 및 규칙에 따라 번호를 생성하고, 라벨링을 위하여 텍스트를 일련번호로 매핑하고 랜덤(random)함수에서 추출된 값과 매핑된 일련번호를 확인하여 라벨링된 값으로 번호판에 이름을 부여할 수 있다.The recipe execution unit generates numbers according to license plate standards and rules to be generated using the number recipe, maps text to serial numbers for labeling, and checks values extracted from a random function and mapped serial numbers. You can give the license plate a name with the labeled value.
상기 학습번호판 생성부는, 생성된 가상번호판을 실제 번호판과 유사하도록 변환시키는 생성자와, 변환된 가상번호판이 실제 번호판과 동일한지 판별하는 판별자를 포함하여, 상기 생성자가 변환시킨 가상번호판을 상기 판별자가 실제 번호판으로 판단하도록 변환된 가상번호판과 실제 번호판과의 편차를 낮추는 학습을 반복할 수 있다.The learning license plate generation unit includes a generator that converts the generated virtual license plate to be similar to a real license plate, and a discriminator that determines whether the converted virtual license plate is the same as the actual license plate, so that the virtual license plate converted by the generator is converted into a real license plate. Learning to lower the deviation between the virtual license plate converted to be determined as a license plate and the actual license plate may be repeated.
본 발명의 다른 측면에 의하면, 본 발명은 번호판정보 수집부가 차량들의 번호판정보를 수집하는 제1단계와; 객체 생성부가 수집된 번호판정보로부터 번호판을 형성하는 객체들을 생성하는 제2단계와; 가상번호판 생성부가 객체들을 조합하여 가상번호판을 생성하는 제3단계와; 학습번호판 생성부가 GAN을 이용하여 실제 촬영된 번호판을 학습하고, 학습된 결과를 이용하여 가상번호판을 변환하여 학습용 번호판을 생성하는 제4단계;를 포함하는 것을 특징으로 하는 번호인식 학습용 가상번호판 생성방법을 제공할 수 있다. According to another aspect of the present invention, the present invention includes a first step of collecting license plate information of vehicles by the license plate information collection unit; a second step of generating objects constituting a license plate from the collected license plate information by an object creation unit; A third step of generating a virtual license plate by combining objects with a virtual license plate generator; A fourth step in which the learning license plate generation unit learns the license plate actually photographed using GAN and converts the virtual license plate using the learned result to generate a license plate for learning; number recognition learning virtual license plate generation method comprising a can provide.
여기서, 상기 제2단계에서 상기 객체 생성부는, 상기 번호판정보를 통하여 번호판을 형성하는 텍스트들과 배경판을 3D 형태를 갖는 객체들로 생성할 수 있다.Here, in the second step, the object generating unit may generate texts and a background plate forming a license plate through the license plate information as objects having a 3D shape.
상기 제3단계는, 레시피 생성부를 통해 상기 객체들을 조합하여 가상번호판을 생성하기 위한 레시피를 생성하는 단계와, 레시피 실행부를 통해 상기 레시피 생성부에 의하여 생성된 레시피들을 실행하는 단계를 포함하되, 상기 레시피를 생성하는 단계는, 번호판 종류에 따라 생성될 수 있는 번호조합을 지정하여 텍스트 객체들을 조합하기 위한 번호레시피를 생성하고, 번호판 종류에 따라 배경판의 크기를 지정하며 배경판에 배치될 텍스트 객체의 종류, 위치 및 볼륨을 지정하기 위한 위치레시피를 생성하고, 광원의 방향 및 세기를 포함하는 환경을 설정하기 위한 환경레시피를 생성하고, 카메라에 의하여 촬영되는 번호판 이미지에 대응하도록 카메라의 각도와 렌즈의 조리개값과 포커스를 포함하는 카메라조건을 무작위로 설정하여 카메라 이미지를 설정하기 위한 카메라레시피를 생성하고, 상기 레시피를 실행하는 단계는, 상기 번호레시피를 이용하여 생성할 번호판 규격 및 규칙에 따라 번호를 생성하고, 라벨링을 위하여 텍스트를 일련번호로 매핑하고 랜덤(random)함수에서 추출된 값과 매핑된 일련번호를 확인하여 라벨링된 값으로 번호판에 이름을 부여할 수 있다.The third step includes generating a recipe for generating a virtual license plate by combining the objects through a recipe generator, and executing the recipes generated by the recipe generator through a recipe execution unit, In the step of creating a recipe, a number recipe for combining text objects is created by specifying a number combination that can be created according to the number plate type, the size of the background plate is designated according to the number plate type, and the text object to be placed on the background plate Creates a location recipe for specifying the type, location and volume of the light source, creates an environment recipe for setting the environment including the direction and intensity of the light source, and the angle and lens of the camera to correspond to the license plate image captured by the camera. Creating a camera recipe for setting a camera image by randomly setting camera conditions including an aperture value and focus of , and executing the recipe is a number according to license plate standards and rules to be generated using the number recipe. , map the text to a serial number for labeling, check the value extracted from the random function and the mapped serial number, and give the license plate a name with the labeled value.
또한, 상기 제4단계에서 상기 학습번호판 생성부는, 생성된 번호판을 실제 번호판과 유사하도록 변환시키는 생성자와, 변환된 번호판이 실제 번호판과 동일한지 판별하는 판별자를 포함하여, 상기 생성자가 변환시킨 번호판을 상기 판별자가 실제 번호판으로 판단하도록 변환된 번호판과 실제 번호판과의 편차를 낮추는 학습을 반복할 수 있다.In addition, in the fourth step, the learning license plate generating unit includes a generator that converts the generated license plate to be similar to the actual license plate and a discriminator that determines whether the converted license plate is the same as the actual license plate, so that the license plate converted by the generator Learning to lower the deviation between the converted license plate and the actual license plate may be repeated so that the discriminator determines the actual license plate.
본 발명에 따른 번호인식 학습용 가상번호판 생성시스템 및 이를 이용한 번호인식 학습용 가상번호판 생성방법은 다음과 같은 효과를 제공할 수 있다.The virtual license plate generation system for learning number recognition and the method for generating virtual license plates for learning number recognition using the same according to the present invention can provide the following effects.
첫째, 3D 기술과 인공 신경망을 이용하여 다양한 환경이 적용될 수 있으며 이와 동시에 정확하게 라벨링될 수 있는 가상의 차량 번호판 이미지를 생성할 수 있다.First, by using 3D technology and artificial neural networks, various environments can be applied and at the same time, virtual license plate images that can be accurately labeled can be generated.
둘째, 이미지가 수집된 시점의 광도, 광각, 역광, 그림자 등 다양한 환경 스펙트럼이 고르게 분포된 학습 이미지를 생성하여 인공 지능이 다양한 환경에서도 정확하게 번호를 인식할 수 있다.Second, artificial intelligence can accurately recognize numbers in various environments by generating learning images in which various environmental spectrums such as light intensity, wide angle, backlight, and shadow at the time the image is collected are evenly distributed.
셋째, 3D와 GAN을 이용하여 학습용 번호판 이미지를 생성함으로써 대량의 가상 번호판을 현실환경과 유사하게 생성 가능하며, 생성과정에서 자동으로 라벨링이 된 결과물을 도출함으로써, 학습용 번호판 수집에 소요되는 시간과 비용을 대폭 절감할 수 있다.Third, by generating license plate images for learning using 3D and GAN, it is possible to generate a large amount of virtual license plates similar to the real environment, and by deriving automatically labeled results during the generation process, the time and cost required to collect license plates for learning can be drastically reduced.
넷째, 서울에서 "제주" 지역번호의 차량을 보기 힘든 것처럼 일부 지역 번호 또는 특수 번호를 가진 다양한 학습 데이터도 쉽게 생성이 가능하다.Fourth, just as it is difficult to find vehicles with “Jeju” area codes in Seoul, various learning data with some area codes or special numbers can be easily created.
다섯째, 국가 등록 차량 수가 증가함에 따라 번호판 규격이 신규 생성되거나 변경되는 일이 적지 않게 발생되기 때문에, 이러한 시점에 학습 데이터 부족으로 인한 번호인식 알고리즘의 오인식률 개선에 효과적이다.Fifth, as the number of nationally registered vehicles increases, it is effective in improving the false recognition rate of the number recognition algorithm due to the lack of learning data at this time, since license plate specifications are newly created or changed not infrequently.
여섯째, 해외 진출을 위해 타 국가 번호판 학습에서도, 해당 국가의 규격만 알 수 있으면 해당 국가 학습번호판을 대량 생산할 수 있으므로 번호인식 기술의 해외 진출에도 효과적이다.Sixth, even in learning license plates of other countries for overseas expansion, if only the standards of the country are known, mass production of the country's learning license plates is effective, so it is effective for the overseas advancement of number recognition technology.
도 1은 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 레시피 생성부를 나타내는 블록도이다
도 3은 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 번호판정보 수집부에 의하여 수집된 차량 번호판들을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 객체 생성부에 의하여 생성되는 3D 형태의 객체들 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 환경레시피가 설정할 수 있는 실제 환경에서의 번호판의 이미지를 나타내는 도면이다.
도 6 및 도 7은 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 환경레시피의 태양 광원과 조명 광원에 따른 설정을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 카메라레시피에 따른 설정을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 위치레시피를 실행하여 번호를 영역에 배치한 상태의 번호판을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 환경레시피를 실행한 상태의 번호판을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 카메라레시피를 실행한 상태의 번호판을 나타내는 도면이다.
도 12는 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 학습번호판 생성부의 GAN학습 과정을 나타내는 절차도이다.
도 13 및 도 14는 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 학습번호판 생성부에서 도메인 학습을 위해 변환되는 이미지와 변환과정을 나타내는 도면이다.
도 15는 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 학습번호판 생성부의 번호판 도메인 적용에 따른 결과를 나타내는 도면이다.
도 16은 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템에서 학습번호판 생성부의 번호판 도메인 학습과 변환을 통해 변환된 번호판을 대량으로 생산하는 것을 나타내는 도면이다.
도 17 및 도 18은 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템을 이용한 가상번호판 생성방법의 과정을 나타내는 도면이다.1 is a block diagram showing the configuration of a virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
2 is a block diagram showing a recipe generator in the virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
3 is a diagram showing vehicle license plates collected by the license plate information collection unit in the virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
4 is a diagram showing 3D-shaped objects created by the object generator in the virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
5 is a diagram showing an image of a license plate in a real environment in which an environment recipe can be set in a virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
6 and 7 are diagrams showing settings according to the solar light source and the illumination light source of the environmental recipe in the virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
8 is a diagram showing settings according to a camera recipe in the virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
9 is a view showing a license plate in a state in which numbers are arranged in an area by executing a location recipe in a virtual license plate generation system for learning number recognition according to an embodiment of the present invention.
10 is a diagram showing a license plate in a state in which an environmental recipe is executed in a virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
11 is a diagram showing a license plate in a state in which a camera recipe is executed in a virtual license plate generation system for learning number recognition according to an embodiment of the present invention.
12 is a procedure diagram showing the GAN learning process of the learning license plate generation unit in the virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
13 and 14 are diagrams showing an image converted for domain learning and a conversion process in the learning license plate generation unit in the virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
15 is a diagram showing the result of applying the license plate domain of the learning license plate generation unit in the virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
16 is a diagram showing mass production of converted license plates through license plate domain learning and conversion of the learning license plate generation unit in the virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
17 and 18 are diagrams illustrating a process of a virtual license plate generation method using a virtual license plate generation system for number recognition learning according to an embodiment of the present invention.
이하에서는 본 발명에 대하여 보다 구체적으로 이해할 수 있도록 첨부된 도면을 참조한 바람직한 실시 예를 들어 설명하기로 한다. Hereinafter, a preferred embodiment will be described with reference to the accompanying drawings so that the present invention can be more specifically understood.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention will be described in more detail. In order to facilitate overall understanding in the description of the present invention, the same reference numerals are used for the same components in the drawings, and redundant descriptions of the same components are omitted.
우선, 최근의 차량 번호인식 기술은 신경망과 기계학습을 도입하여 나날이 발전하고 있다. 하지만, 이러한 신경망과 기계학습은 인식률을 높이기 위해 다양하고 풍부한 라벨링된 학습 데이터가 필요하다. 이에, 대량의 학습 데이터를 수집하기 위한 방안으로 최근에는 가상의 번호판 이미지를 생성하여 가공하는 방법, 또는 촬영된 동영상에서 차량 번호판을 추출하는 방법이 주로 이용되고 있다. First of all, recent license plate recognition technology is developing day by day by introducing neural networks and machine learning. However, these neural networks and machine learning require diverse and rich labeled training data to increase recognition rates. Accordingly, as a method for collecting a large amount of learning data, recently, a method of generating and processing a virtual license plate image or a method of extracting a vehicle license plate from a captured video have been mainly used.
이중 먼저 가상의 번호판 이미지를 생성하여 가공하는 방법의 경우에는, 임의의 번호를 가진 인조 번호판 이미지를 생성하여 x/y/z 축으로 회전하고 영상처리 효과, 즉 노이즈, Blur, 밝기 등의 효과를 추가하는 방법을 적용하고 있다. 하지만, 이러한 방식의 경우에는 대량의 번호판 이미지 생성은 가능하나, 결과 이미지가 인위적이고 현실환경과 같이 다양한 스펙트럼의 분포를 가질 수 없는 한계가 있는 문제가 있었다. In the case of the method of generating and processing a virtual license plate image first, an artificial license plate image with a random number is created, rotated in the x/y/z axis, and image processing effects, that is, effects such as noise, blur, brightness, etc. Add method is applied. However, in the case of this method, although it is possible to generate a large number of license plate images, there is a problem in that the resulting image is artificial and cannot have a distribution of various spectra like the real environment.
다음으로, 촬영된 동영상에서 차량 번호판을 추출하는 방법은, 카메라로 차량 이동이 많은 곳에서 장시간 촬영하고 이 영상으로부터 Annotation Tool을 이용하여 번호판을 추출한 후 라벨링 과정을 거쳐 생성하는 방법이 주로 이용되며, 이러한 경우에는 촬영 및 차량 번호판만을 추출하는 작업이 수십, 수백만장의 이미지를 추출하기 위한 많은 시간이 소요되며, 추출된 번호판을 수작업으로 라벨링해야 하므로 잦은 라벨링 실수와 더불어 추가적인 시간이 소요되는 문제점이 있었다. Next, as for the method of extracting the vehicle license plate from the filmed video, a method of photographing a vehicle with a camera for a long time in a place with a lot of movement, extracting the license plate from this image using Annotation Tool, and then generating it through a labeling process is mainly used, In this case, the process of photographing and extracting only vehicle license plates takes a lot of time to extract tens or millions of images, and since the extracted license plates have to be manually labeled, there is a problem in that it takes additional time along with frequent labeling mistakes. .
하지만 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템 및 이를 이용한 번호인식 학습용 가상번호판 생성방법은 현실환경과 같이 다양한 스펙트럼 분포를 가질 수 있는 학습용 데이터를 대량생산할 수 있을 뿐만 아니라, 생성과정에서 자동으로 라벨링이 된 결과물을 도출함으로써 학습용 번호판 수집에 소요되는 시간과 비용을 대폭 절감할 수 있는 효과를 제공할 수 있다. However, the virtual license plate generation system for number recognition learning and the virtual license plate generation method for number recognition learning using the same according to an embodiment of the present invention can not only mass-produce learning data that can have various spectrum distributions like a real environment, but also in the creation process. By deriving an automatically labeled result, it is possible to provide the effect of significantly reducing the time and cost required for collecting license plates for learning.
이하에서는 이러한 본 발명의 실시예에 대하여 도면을 참조하여 보다 상세하게 살펴보기로 한다. Hereinafter, an embodiment of the present invention will be described in more detail with reference to the drawings.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템(이하 '가상번호판 생성시스템'이라 한다)은, 번호판정보 수집부(100)와, 객체 생성부(200)와, 가상번호판 생성부(300)와, 학습번호판 생성부(400)를 포함할 수 있다.1 and 2, the virtual license plate generation system for number recognition learning according to an embodiment of the present invention (hereinafter referred to as 'virtual license plate generation system') includes a license plate
먼저, 번호판정보 수집부(100)는, 차량들의 번호판정보를 수집하는 역할을 한다. First, the license plate
여기서, 차량들의 번호판정보는, 도 3에 도시된 바와 같이 차량의 용도, 규격 등에 따라 번호판의 정보가 상이할 수 있다.Here, the license plate information of the vehicles may be different according to the purpose, standard, etc. of the vehicle as shown in FIG. 3 .
가령, 도 2에 도시된 바와 같이 번호판 정보는, 비사업용 보통 번호판의 경우 가로×세로가, 335×155, 520×110 등 다른 규격들이 있으며, 운수사업용 보통 번호판의 경우 335×170, 520×110를, 운수사업용 대형 번호판의 경우 440×220의 규격 등 다양함을 확인할 수 있다.For example, as shown in FIG. 2, license plate information has different standards such as width × height, 335 × 155, and 520 × 110 in the case of ordinary license plates for non-business use, and 335 × 170 and 520 × 110 in the case of ordinary license plates for transportation business , In the case of large number plates for transportation business, various standards such as 440 × 220 can be confirmed.
이에 번호판정보 수집부(100)는, 이러한 각종 번호판정보들을 수집하여 실제와 유사한 다양한 형태 및 규격의 번호판을 생성할 수 있게 한다.Accordingly, the license plate
여기서, 번호판정보는, 번호판의 배경과, 문자와 숫자를 포함하는 텍스트의 크기 및 비율과, 텍스트의 배치위치 등을 포함할 수 있다. Here, the license plate information may include the background of the license plate, the size and ratio of text including letters and numbers, and the arrangement position of the text.
객체 생성부(200)는, 번호판정보 수집부(100)로부터 번호판정보를 획득하고, 획득된 번호판정보로부터 번호판을 형성하는 객체들을 생성하는 역할을 한다.The
이때, 객체 생성부(200)는, 번호판정보를 통하여 번호판을 형성하는 텍스트들과 배경판을 도 4에 도시된 바와 같이 규격에 맞는 3D 형태를 갖는 객체들로 생성할 수 있다. At this time, the
다시 말해, 본 발명에서 생성되는 객체들은 3D형태를 갖는 입체적인 3D 객체들로 형성될 수 있다.In other words, objects created in the present invention may be formed as three-dimensional 3D objects having a 3D shape.
이는, 실제 차량 번호판의 경우 번호를 형성하는 객체들이 배경판에서 양각 형태로 볼록하게 형성되어 있다는 점에서 실제 카메라 각도나 태양광의 위치 등에 따라 음영 등이 발생되는 고려하기 위함이며, 또한 실제 촬영되는 번호판은 여러각도에서 카메라에 촬영될 수 있는 만큼 촬영되는 카메라 각도에 따른 번호의 입체적인 형태를 생성하기 위함이다. This is to consider the occurrence of shadows depending on the actual camera angle or position of sunlight in the case of an actual vehicle license plate, in that the objects forming the number are formed convexly in an embossed form on the background plate, and also to consider the occurrence of shadows, etc. is to create a three-dimensional form of the number according to the angle of the camera being photographed as much as it can be photographed by the camera from various angles.
즉, 본 발명의 실시예에 따른 가상번호판 생성시스템은, 번호판의 객체들을 3D 형태로 생성함으로써 광원의 광도, 광각, 역광, 그림자 등 다양한 환경 스펙트럼이 고르게 분포된 학습번호판 이미지를 생성할 수 있으며, 이를 통해 학습번호판 생성부(400)의 인공 지능이 다양한 환경에서도 정확하게 번호를 인식시키는 가능해진다. That is, the virtual license plate generation system according to an embodiment of the present invention creates a learning license plate image in which various environmental spectrums such as light intensity, wide angle, backlight, and shadow of a light source are evenly distributed by generating license plate objects in 3D form, Through this, the artificial intelligence of the learning license
한편, 객체들은, 숫자, 보통용 문자, 운수용 문자, 지역 문자, 외교용 문자, 군사용 문자를 포함할 수 있다. 이때, 숫자는 0,1,2,3,4,5,6,7,8,9이고, 보통용 문자는 가,나,다,라,마,거,너,더,러,머,고,노,도,로,모,구,누,두,루,무,버,서,어,저,보,소,오,조,부,수,우,주,하,허,호이며, 운수용 문자는 바,사,아,자,배이며, 지역문자는 강원,경기,경남,경북,광주,대구,대전,부산,서울,울산,인천,전남,전북,제주,충남,충북이고, 외교용 문자는 외교,영사,준외,준영,국기,협정이며, 군사용 문자는 국,합,육,해,공으로 설정할 수 있다. Meanwhile, the objects may include numbers, common characters, transportation characters, regional characters, diplomatic characters, and military characters. At this time, the numbers are 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, and the normal characters are ga, i, da, la, ma, ge, you, more, ru, mer, go. ,no,do,ro,mo,gu,nu,du,ru,mu,bu,seo,uh,that,bo,so,oh,jo,bu,su,woo,ju,ha,heo,ho, The letters for luck are Bar, Sa, A, Ja, and Bae, and the regional characters are Gangwon, Gyeonggi, Gyeongnam, Gyeongbuk, Gwangju, Daegu, Daejeon, Busan, Seoul, Ulsan, Incheon, Jeonnam, Jeonbuk, Jeju, Chungnam, and Chungbuk. , Diplomatic characters are diplomacy, consul, quasi-foreign, quasi-English, national flag, and agreement, and military characters can be set to Korea, Japan, Army, Sea, and Air.
나아가, 객체 생성부(200)는, 실제 번호판과 대응되게 객체들의 재질을 빛이 반사될 수 있는 소재로서 금속(metal)소재로 설정할 수 있다. Furthermore, the
가상번호판 생성부(300)는, 객체 생성부(200)에 의하여 생성된 객체들을 조합하여 가상번호판을 생성하는 역할을 한다. The virtual
여기서, 가상번호판 생성부(300)는, 레시피 생성부(310)와, 레시피 실행부(320)를 포함할 수 있다.Here, the virtual
먼저, 레시피 생성부(310)는, 객체들을 조합하여 가상번호판을 생성하기 위한 레시피를 생성하며, 번호생성부(311)와, 위치생성부(312)와, 환경생성부(313)와, 카메라생성부(314)를 포함할 수 있다.First, the
먼저, 번호생성부(311)는, 번호판 종류에 따라 생성될 수 있는 번호조합을 지정하여 텍스트 객체들로 형성되는 번호를 조합하기 위한 번호레시피를 생성할 수 있다. First, the
아래의 표 1은 번호판 종류에 따라 번호 조합을 지정하기 위한 레시피를 예시적으로 나타낸 것이며, 표 2는 번호판 종류에 따라 번호를 조합하는 레시피를 예시적으로 나타낸 것이다. Table 1 below shows an example of a recipe for designating a combination of numbers according to the type of license plate, and Table 2 shows an example of a recipe for combining numbers according to the type of license plate.
위치생성부(312)는, 번호생성부(311)에 의하여 텍스트 객체(번호)가 생성되면, 이를 번호판에 배치시키고, 배경판을 지정하는 위치레시피를 생성할 수 있다. When a text object (number) is created by the
세부적으로, 위치생성부(312)는, 번호판 종류에 따라 배경판의 가로, 세로 크기를 지정하고, 배경판에 배치될 텍스트 객체의 종류, 위치 및 볼륨 등을 지정하기 위한 위치레시피를 생성할 수 있다.In detail, the
환경생성부(313)는, 광원의 방향 및 세기를 포함하는 환경을 설정하기 위한 환경레시피를 생성할 수 있다.The
여기서, 환경레시피는, 실제 현실의 번호판 재질이 금속성분을 띄고 있는 만큼, 이에 따라 번호판에 빛을 비추면 특정 파장만을 흡수하고 나머지는 반사하는 성질을 반영할 수 있다. Here, the environmental recipe may reflect the property of absorbing only a specific wavelength and reflecting the rest when light shines on the license plate as much as the material of the license plate in reality has a metal component.
즉, 도 5에 도시된 바와 같이 환경레시피는, 광원의 방향, 빛의 세기 등에 따라 배경판, 문자, 숫자 등의 일부분이 주위 색상보다 밝게 보이거나 어둡게 보이는 현상이 발생할 수 있고, 야간에는 번호판 상단에 위치한 조명으로도 번호판의 명암 차이가 발생할 수 있으므로, 이러한 환경을 설정할 수 있다. That is, as shown in FIG. 5, in the environmental recipe, a part of the background plate, letters, numbers, etc. may appear brighter or darker than the surrounding color depending on the direction of the light source, the intensity of light, etc., and at night, the top of the license plate Since even the lighting located in the license plate can cause a difference in brightness and darkness, this environment can be set.
한편, 환경레시피는, 하나의 태양 광원(21)과 하나 또는 복수개의 조명 광원(22,23)을 포함하고 이들의 조건을 설정할 수 있다.Meanwhile, the environmental recipe may include one solar
먼저 하나의 태양 광원에 대한 설정에 대하여 살펴보면, 도 6에 도시된 바와 가티 환경레시피는 태양 광원(21)을 번호판(10)의 정면으로부터 상하방향 및 좌우방향으로 설정각도의 광각을 갖도록 설정될 수 있다. First, looking at the setting for one solar light source, the Gati environmental recipe as shown in FIG. 6 moves the solar
세부적으로, 환경레시피는 태양 광원(21)의 광각을 상하방향 0°내지 90° 범위로 설정되고, 좌우방향 -180° 내지 180°범위로 설정될 수 있다. 이때, 환경레시피는, 태양 광원(21)이 번호판 정면 중앙부에서 설정거리 이격된 기준위치에 대하여 광각이 설정될 수 있으며 이때의 기준위치는 다양하게 설정될 수 있다. In detail, the environmental recipe may set the wide angle of the solar
나아가, 환경레시피는, 태양 광원(21)의 세기를 날씨, 계절 등을 고려하여 10,000 내지 120,000 Lux 범위로 설정될 수 있으나 설계에 따라 변경 가능하다.Furthermore, the environmental recipe may set the intensity of the solar
다음으로 조명 광원(22,23)에 대한 설정에 대하여 살펴보면, 조명 광원(22,23)은 차량번호판 등에 해당되며, 이에 환경레시피는, 도 7에 도시된 바와 같이 조명 광원(22,23)을 번호판의 상부에 위치하여 번호판(10)의 정면 기준 90°로 고정될 수 있다.Next, looking at the settings for the
여기서, 환경레시피는, 조명 광원(22,23)의 위치를 좌우방향으로 이동될 수 있으며, 조명 광원(22,23)은 하나의 광원 또는 도시된 바와 같이 2개의 광원으로 설정될 수 있다. Here, in the environmental recipe, the position of the
또한, 환경레시피는, 조명 광원(22,23)의 세기를 유통되고 있는 번호판 조명등의 규격, 성능 등을 고려하여 100 내지 800 Lux 범위로 설정될 수 있으나 설계에 따라 변경 가능하다.In addition, the environmental recipe may set the intensity of the
카메라생성부(314)는, 카메라(30)에 의하여 촬영되는 번호판 이미지에 대응하여 번호판의 카메라 이미지를 설정하기 위한 카메라레시피를 생성하는 역할을 한다.The
우선, 실제로 촬영되는 번호판은 카메라의 위치와 각도에 따라 문자, 숫자가 정면에서 바라보는 모양과 다르게 왜곡되어 보여지며 촬영 시점의 날씨, 안개, 카메라의 포커스(Focus)에 따라 이미지가 명확하게 보이지 않을 수 있다.First of all, according to the position and angle of the camera, the number plate that is actually photographed is distorted differently from the shape seen from the front, and the image may not be clearly visible depending on the weather, fog, and focus of the camera at the time of shooting. can
이에 카메라생성부(314)는, 카메라(30)에 의하여 촬영되는 번호판 이미지에 대응하도록 카메라(30)의 각도와 렌즈의 조리개값과 포커스를 포함하는 카메라조건을 무작위로 설정하여 카메라 이미지를 설정하도록 카메라레시피를 설정할 수 있다. Accordingly, the
도 8을 참조하면, 카메라레시피는, 번호판(10)의 정면으로부터 상하방향 및 좌우방향으로 카메라(30)의 각도를 설정할 수 있으며, 실제 촬영 시 카메라의 조건을 고려하여 상하방향으로 0° 내지 45°의 범위로 설정될 수 있으며, 좌우방향으로 -45° 내지 45°범위로 설정될 수 있으며, 카메라 조리개 값은 0.2 내지 10의 범위로 설정될 수 있다. 8, the camera recipe can set the angle of the
레시피 실행부(320)는, 레시피 생성부(310)에 의하여 생성된 번호레시피와 위치레시피와 환경레시피와 카메라레시피를 설정 순서에 따라 실행하여 가상번호판을 생성할 수 있다.The recipe execution unit 320 may generate a virtual license plate by executing the number recipe, the location recipe, the environment recipe, and the camera recipe generated by the
세부적으로, 번호레시피와 위치레시피를 순차적으로 실행하고 환경레시피 또는 카메라레시피를 실행하여 가상번호판을 생성할 수 있다. In detail, a virtual license plate may be generated by sequentially executing a number recipe and a location recipe and executing an environment recipe or a camera recipe.
즉, 레시피 실행부(320)는, 번호레시피, 위치레시피는 순차적으로 진행하고, 그 다음 환경레시피와 카메라레시피는 그 적용순서가 바뀔 수 있다. That is, the recipe execution unit 320 sequentially proceeds the number recipe and the location recipe, and then the environmental recipe and the camera recipe may change the order of application.
이하에서는, 레시피 실행부(320)의 각 레시피 실행 과정에 대하여 살펴보기로 한다. Hereinafter, each recipe execution process of the recipe execution unit 320 will be described.
먼저, 레시피 실행부(320)는, 번호레시피를 이용하여 생성할 번호판 규격 및 규칙에 따라 번호를 생성한다. First, the recipe execution unit 320 generates a number according to the license plate standard and rules to be generated using the number recipe.
이때, 레시피 실행부(320)는, 3D 번호판의 라벨링을 위하여 배치되어야 할 텍스트(번호 또는 문자 값)를 일련번호로 매핑하고 랜덤(random)함수에서 추출된 값과 매핑된 일련번호를 확인하여 라벨링된 값으로 번호판에 이름을 부여할 수 있다.At this time, the recipe execution unit 320 maps the text (number or character value) to be placed for labeling of the 3D license plate to a serial number, checks the value extracted from the random function and the mapped serial number, and labels You can give a name to the license plate with the set value.
표 3 내지 표 7은 텍스트 객체들 각각에 대한 랜덤함수에서 추출된 값과 매핑된 일련번호를 나타내고 있다. 이 중 표 3은 숫자 매핑값을(Random(0~9)) 나타내고, 표 4는 보통용 문자 매핑값을(Random(0~34)) 나타내며, 표 5는 운수용 문자 매핑값(Random(0~4))을 나타내며, 표 6은 지역 문자 매핑값(Random(0~15))을 나타내며, 표 7은 이들을 통해 생성된 비사업용 보통 번호판의 번호 생성결과를 나타내고 있다.Tables 3 to 7 show values extracted from the random function for each of the text objects and mapped serial numbers. Among them, Table 3 shows the numeric mapping values (Random(0~9)), Table 4 shows the normal character mapping values (Random(0~34)), and Table 5 shows the character mapping values for luck (Random(0~34)). ~ 4)), Table 6 shows local character mapping values (Random (0 to 15)), and Table 7 shows the number generation results of normal non-business license plates generated through these.
상기한 바에 따라 번호레시피를 실행하여 번호가 생성되면, 다음으로 레시피 실행부(320)는 도 9에 도시된 바와 같이 위치레시피를 실행하여 규격에 맞는 배경판을 지정하여 준비하고, 생성된 번호를 위치레시피를 이용하여 지정된 배경판의 영역에 맞게 배치한다. When the number is generated by executing the number recipe as described above, next, the recipe execution unit 320 executes the location recipe as shown in FIG. 9 to designate and prepare a background plate that meets the standard, Arrange according to the area of the designated background board using the location recipe.
이렇게 배경판에 번호가 배치되어 번호판이 생성되면, 레시피 실행부(320)는, 환경레시피를 실행하여 번호판에 광원에 따른 환경을 부여한다. When the license plate is generated by arranging numbers on the background plate in this way, the recipe executor 320 executes the environment recipe to give the license plate an environment according to the light source.
이때, 레시피 실행부(320)는, 태양 광원을 생성하여 번호판 정면에 배치한 후 -180° ~ 180° 사이의 Random값을 생성하여 좌우 광각을 설정하고, 태양 광원의 상하 광각을 0°~ 90° 사이의 Random값을 생성하여 설정하고, 태양 광원의 세기를 10,000 ~ 120,000 사이의 Random값을 생성하여 lux 단위로 설정한다.At this time, the recipe executor 320 creates a solar light source and places it in front of the license plate, then generates a random value between -180° and 180° to set the left and right wide angles, and sets the vertical wide angle of the solar light source to 0° to 90 degrees. Create and set a random value between degrees, and create a random value between 10,000 and 120,000 for the intensity of the sun light source and set it in lux unit.
또한, 레시피 실행부(320)는, 조명 광원1과 조명 광원2를 번호판 상단에 배치하고 광각이 아래로 향하도록 90° 각도로 배치하고, 조명 광원1의 세기를 100 ~ 800 사이의 Random값을 생성하여 Lumen 단위로 설정하고, 조명 광원2의 세기를 100 ~ 800 사이의 Random값을 생성하여 Lumen 단위로 설정한다. In addition, the recipe execution unit 320 arranges the
도 9는 레시피 실행부(320)가 도 9의 번호판에 환경레시피를 실행한 번호판 이미지를 나타내고 있다. 도 10을 참조하면, 환경레시피가 실행된 번호판은, 도시된 바와 같이 금속재질의 번호판이 광원의 방향 및 세기 등에 의하여 주위 색상보다 밝게 보이거나 어둡게 보이는 현상, 반사 및 명암 차이 등이 표현됨을 확인할 수 있다. 9 shows a license plate image in which the recipe execution unit 320 executes an environmental recipe on the license plate of FIG. 9 . Referring to FIG. 10, it can be seen that the license plate on which the environmental recipe has been executed expresses a phenomenon in which the license plate made of metal appears brighter or darker than the surrounding color depending on the direction and intensity of the light source, reflection, and contrast difference, as shown. there is.
한편, 실제 카메라에 의하여 촬영되는 번호판 이미지는 카메라의 위치가 정면 일정 위치에 고정되는 경우는 거의 드물며 다양한 위치의 카메라에서 촬영되며, 카메라 조리개 값과 같이 카메라의 조건 또한 다양하다고 볼 수 있다. On the other hand, the license plate image taken by the actual camera is rarely fixed at a certain frontal position, and is taken by cameras in various positions, and the conditions of the camera are also diverse, such as the camera aperture value.
이에, 레시피 실행부(320)는, 생성된 번호판 이미지를 카메라레시피를 실행하여 실제 카메라에 의하여 촬영되는 번호판 이미지에 대응하도록 한다.Accordingly, the recipe execution unit 320 executes the camera recipe on the generated license plate image to correspond to the license plate image captured by the actual camera.
도 11은 레시피 실행부(320)가 생성된 번호판 이미지를 카메라레시피를 이용한 상태를 나타내고 있다. 도 10을 참조하면, 카메라레시피가 실행된 번호판 이미지는 카메라 위치에 의하여 정면에서 바라보는 형상과는 다르게 나타나고, 날씨나 카메라 포커스 등을 고려하여 일부 이미지가 명확하게 보이지 않아, 실제 촬영된 번호판의 이미지와 거의 대응됨을 알 수 있다. 11 shows a state in which the recipe execution unit 320 uses the generated license plate image as a camera recipe. Referring to FIG. 10, the license plate image on which the camera recipe is executed appears different from the shape seen from the front depending on the camera position, and some images are not clearly visible in consideration of weather or camera focus, so the image of the license plate actually taken It can be seen that it corresponds almost to
한편, 레시피 실행부(320)는, 카메라 위치를 번호판 정면에 위치하고 카메라 앵글에 번호판 전체가 보이도록 거리를 조정하고, 카메라의 위치를 -45° ~ 45°사이의 Random값을 생성하여 번호판을 중심으로 좌우 각도로 회전하여 배치하고, 카메라의 위치를 0°~ 45°사이의 Random값을 생성하여 번호판을 중심으로 위쪽 각도로 회전하여 배치하고, 0.2~10 사이의 Random값을 생성하여 카메라 조리개를 설정한 카메라레시피를 실행할 수 있다. On the other hand, the recipe execution unit 320 locates the camera position in front of the license plate, adjusts the distance so that the entire license plate is visible to the camera angle, and generates a random value between -45 ° and 45 ° for the camera position to center the license plate. Rotate the camera at an angle to the left and right, create a random value between 0° and 45° for the position of the camera, rotate it at an upward angle around the license plate, and create a random value between 0.2 and 10 to adjust the camera aperture. The set camera recipe can be executed.
상기한 과정을 통해 번호판이 생성되면 레시피 실행부(320)는 상기한 레시피들이 적용된 번호판을 렌더링한다. When the license plate is generated through the above process, the recipe executor 320 renders the license plate to which the above recipes are applied.
이하에서는 학습번호판 생성부(400)에 대하여 살펴보기로 한다. Hereinafter, a look at the learning license
학습번호판 생성부(400)는, GAN(Generative Adversarial Network)을 이용하여 실제 촬영된 번호판을 학습하고, 학습된 결과를 이용하여 가상번호판 생성부(300)에 의하여 생성된 가상번호판을 실제 도메인과 유사하도록 변환하여 학습용 번호판을 생성하는 역할을 한다.The learning
세부적으로, 학습번호판 생성부(400)는, GAN을 이용한 번호판 도메인 학습을 위하여 생성된 3D 가상번호판(Z)을 실제 번호판과 유사하도록 만드는 생성자(Generator) G(z)와, G(z)가 변환시킨 가상번호판이 실제 번호판과 동일한지 판별하는 판별자(Discriminator) D(G(z))를 포함할 수 있다. In detail, the learning license
여기서, GAN은 간단하게 두가지 모델을 동시에 학습시키는 구조이다. G(Generator)라는 모델은 직접 볼 수 없는 진짜 데이터와 최대한 비슷하게 생긴 가짜 데이터를 만들려고 하고, D(Distriminator, 식별자 또는 감별자)라는 모델은 자신에게 주어진 데이터가 진짜 데이터인지 가짜 데이터인지 최대한 구분하려고 한다. Here, GAN is a structure that simply trains two models simultaneously. A model called G (Generator) tries to create fake data that looks as similar as possible to the real data that cannot be seen directly, and a model called D (Distriminator) tries to distinguish whether the data given to it is real or fake data as much as possible. do.
도 12를 참조하면, 학습번호판 생성부(400)는, 생성자(G)가 변환시킨 번호판을 판별자(D)가 실제 번호판으로 오판할 수 있도록 계속해서 3D 번호판을 실제와 유사하게 변환시키려고 학습을 반복하고, 판별자(D)는 계속해서 생성자 G가 만들어낸 번호판을 식별하려 학습을 반복하는 상호 적대적 경쟁학습이 발생된다. Referring to FIG. 12, the learning license
즉, 학습번호판 생성부(400)는, GAN을 통한 학습 목표를 생성자 G가 만든 변환된 3D 번호판 G(z)을 판별자 D가 실제 번호판이라고 착각할 수 있도록 변환된 번호판과 실제 번호판과의 편차(log(1-D(G(z))))를 낮추는 학습을 반복해서 진행한다. That is, the learning license
도 13 및 도 14를 참조하면, 도메인 학습을 위해서는 변환 전 이미지와 변환 후 이미지가 쌍(Pair)이 존재해야 하지만, 학습을 위해 3D 번호판 이미지는 대량으로 생성할 수 있지만 이에 대응하는 동일 번호의 실제 번호판 이미지를 구하는 것은 불가능하다. 13 and 14, for domain learning, a pair of images before conversion and after conversion must exist, but 3D license plate images can be generated in large quantities for learning, but the actual number corresponding to them It is impossible to obtain license plate images.
하지만, 라벨링은 되지 않았지만 학습에 필요할 정도의 불특정 다수의 실제 번호판 이미지는 수집할 수 있으므로, 적대적 생성망 중 Unpaired Image Translation를 사용하는 Cycle GAN을 이용함으로써 현실환경 도메인으로 변환시킬 수 있는 학습을 할 수 있다. However, since an unspecified number of actual license plate images necessary for learning can be collected even though they are not labeled, learning that can be converted to the real environment domain can be performed by using Cycle GAN using Unpaired Image Translation among adversarial generative networks. there is.
또한, 학습의 목적은 번호를 포함하여 완전히 새로운 번호판을 생성하는 것이 아니고, 임의로 생성한 라벨링된 3D 번호판의 번호를 유지하면서 도메인만 3D에서 현실환경으로 변환하는 것이므로, 변환이 되더라도 라벨링에 문제가 없어야 하며, 이는 Cycle GAN의 순환 일관성 손실 함수(Cycle Consistency Loss Function)로 해소될 수 있다.In addition, the purpose of learning is not to create a completely new license plate including the number, but to convert only the domain from 3D to the real environment while maintaining the number of the randomly generated 3D license plate, so even if it is converted, there should be no problem with labeling This can be solved by the Cycle Consistency Loss Function of Cycle GAN.
한편, 학습번호판 생성부(400)는, 번호판 도메인 적용을 위하여 번호판 도메인이 적용된 결과는 3D 번호판 생성 시 적용된 환경 및 카메라 레시피 결과에 따라 실제와 유사한 효과가 적용된 결과를 얻을 수 있게 된다. On the other hand, in the learning license
즉, 학습번호판 생성부(400)는, 도 15에 도시된 바와 같이 번호판 도메인 적용에 따른 광량에 따른 밝기 차이, 일그러짐과 노이즈, metal 재질에 따른 반사 등 실제 번호판과 유사한 효과가 적용된 결과를 얻을 수 있다. That is, the learning license
따라서, 학습번호판 생성부(400)는, 도 16에 도시된 바와 같이 번호판 도메인 학습된 결과를 바탕으로 3D로 만들어진 라벨링된 불특정 3D 번호판을 변환하여 현실환경과 유사한 대량의 신경망 학습 데이터, 즉 변환된 번호판을 생산할 수 있게 된다. Therefore, as shown in FIG. 16, the learning license
이하에서는 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성시스템을 이용한 번호인식 학습용 가상번호판 생성방법에 대하여 살펴보기로 한다.Hereinafter, a method for generating a virtual license plate for learning number recognition using a virtual license plate generation system for learning number recognition according to an embodiment of the present invention will be described.
도 17을 참조하면, 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성방법은, 번호판정보 수집부(100)가 차량들의 번호판정보를 수집하는 제1단계(S10)와, 객체 생성부(200)가 수집된 번호판정보로부터 번호판을 형성하는 3D 형태의 객체를 생성하는 제2단계(S20)와, 가상번호판 생성부(300)가 객체들을 조합하여 가상번호판을 생성하는 제3단계(S30)와, 학습번호판 생성부(400)가 GAN을 이용하여 실제 촬영된 번호판을 학습하고, 학습된 결과를 이용하여 가상번호판을 변환하여 학습용 번호판을 생성하는 제4단계(S40)를 포함할 수 있다.Referring to FIG. 17, the method for generating a virtual license plate for number recognition learning according to an embodiment of the present invention includes a first step (S10) of the license plate
세부적으로, 본 발명의 실시예에 따른 번호인식 학습용 가상번호판 생성방법은 도 18에 도시된 바와 같이, 제2단계에서 수집된 번호판정보를 통해 번호판을 형성하는 문자, 숫자 및 배경판에 대하여 3D형태의 객체를 생성한다. 그런 다음, 제3단계에서, 번호레시피, 위치레시피, 환경레시피 및 카메라레시피를 만들어 각 레시피를 이용하여 3D객체를 번호생성, 위치 배치, 환경조정, 카메라조정 순으로 실행한다. 이후 제4단계에서 도메인 학습 및 도메인을 적용하여 학습용 번호판을 생성한다.In detail, the virtual license plate generation method for learning number recognition according to an embodiment of the present invention, as shown in FIG. create an object of Then, in the third step, a number recipe, a location recipe, an environment recipe, and a camera recipe are created, and each recipe is used to execute 3D objects in the order of number generation, location arrangement, environment adjustment, and camera adjustment. Then, in the fourth step, a license plate for learning is generated by applying domain learning and domain.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.
10 : 번호판
21 : 태양 광원
22,23 : 조명광원
30 : 카메라
100 : 번호판정보 수집부
200 : 객체 생성부
300 : 가상번호판 생성부
310 : 레시피 생성부
311 : 번호생성부
312 : 위치생성부
313 : 환경생성부
314 : 카메라생성부
320 : 레시피 실행부
400 : 학습번호판 생성부10 : license plate
21: solar light source
22,23: lighting source
30: camera
100: license plate information collection unit
200: object creation unit
300: virtual license plate generation unit
310: recipe generating unit
311: number generation unit
312: location generating unit
313: environment creation unit
314: camera generation unit
320: recipe execution unit
400: learning license plate generation unit
Claims (15)
상기 번호판정보 수집부로부터 상기 번호판정보를 획득하고, 획득된 상기 번호판정보로부터 번호판을 형성하는 객체들을 생성하는 객체 생성부와;
상기 객체 생성부에 의하여 생성된 객체들을 조합하여 가상번호판을 생성하는 가상번호판 생성부와;
GAN(Generative Adversarial Network)을 이용하여 실제 촬영된 번호판을 학습하고, 학습된 결과를 이용하여 상기 가상번호판 생성부에 의하여 생성된 가상번호판을 실제 번호판과 유사하도록 변환하여 학습용 번호판을 생성하는 학습번호판 생성부;를 포함하되,
상기 객체 생성부는,
상기 번호판정보를 통하여 번호판을 형성하는 텍스트들과 배경판을 카메라 각도나 태양광의 위치에 따라 음영이 발생되는 입체적인 3D 형태를 갖는 객체들로 생성하고,
상기 학습번호판 생성부는,
생성된 가상번호판(Z)을 실제 번호판과 유사하도록 변환시키는 생성자(G(z))와, 상기 생성자(G(z))가 변환시킨 가상번호판이 실제 번호판과 동일한지 판별하는 판별자(D(G(z)))를 포함하여,
상기 생성자는 가상번호판을 상기 판별자가 실제 번호판으로 오판할 수 있도록 계속해서 가상번호판을 실제와 유사하게 변환시키려고 학습을 반복하고, 상기 판별자는 계속해서 상기 생성자가 만들어낸 가상번호판을 식별하려 학습을 반복하여 상기 생성자와 상기 판별자의 상호 경쟁학습이 발생되고,
상기 판별자는 상기 생성자가 변환시킨 가상번호판을 실제 번호판으로 판단하도록 변환된 가상번호판과 실제 번호판과의 편차(log(1-D(G(z))))를 낮추는 학습을 반복하며,
상기 가상번호판 생성부는,
상기 객체들을 조합하여 가상번호판을 만들기 위한 레시피를 생성하는 레시피 생성부와; 상기 레시피 생성부에 의하여 생성된 레시피들을 실행하여 가상번호판을 생성하는 레시피 실행부;를 포함하되,
상기 레시피 생성부는,
번호판 종류에 따라 생성될 수 있는 텍스트 객체들의 번호조합을 지정하여, 상기 텍스트 객체들을 조합하는 번호레시피를 생성하는 번호생성부와, 번호판 종류에 따라 배경판의 크기를 지정하고, 배경판에 배치될 텍스트 객체의 종류, 위치 및 볼륨을 지정하기 위한 위치레시피를 생성하는 위치생성부와, 광원의 방향 및 세기를 포함하는 환경을 설정하기 위한 환경레시피를 생성하는 환경생성부와, 카메라에 의하여 촬영되는 번호판 이미지에 대응하도록 카메라의 각도와 렌즈의 조리개값과 포커스를 포함하는 카메라조건을 무작위로 설정하여 카메라 이미지를 설정하기 위한 카메라레시피를 생성하는 카메라생성부를 포함하고,
상기 환경레시피는,
하나의 태양 광원과 차량번호판 등에 해당되는 하나 또는 복수개의 조명 광원을 포함하고, 상기 태양 광원은 번호판의 정면으로부터 상하방향 및 좌우방향으로 설정각도의 광각을 갖도록 설정되고, 상기 조명 광원은 번호판의 상부에 위치하여 상기 번호판의 정면 기준 90° 의 광각을 갖도록 설정되고,
상기 카메라생성부는,
번호판의 정면으로부터 상하방향 및 좌우방향으로 카메라의 설정각도를 갖도록 설정하고, 카메라렌즈의 조리개 값은 0.2 내지 10 범위로 설정되고,
상기 레시피 실행부는,
상기 번호레시피와 상기 위치레시피와 상기 환경레시피와 상기 카메라레시피를 설정순서에 따라 실행하되, 상기 번호레시피와 상기 위치레시피는 순차적으로 실행하고 다음으로 상기 환경레시피 또는 상기 카메라레시피를 실행하여 가상번호판을 생성하고,
상기 번호레시피를 이용하여 생성할 번호판 규격 및 규칙에 따라 번호를 생성하고, 라벨링을 위하여 텍스트를 일련번호로 매핑하고 랜덤(random)함수에서 추출된 값과 매핑된 일련번호를 확인하여 라벨링된 값으로 번호판에 이름을 부여하는 것을 특징으로 하는 번호인식 학습용 가상번호판 생성시스템.
a license plate information collection unit that collects license plate information of vehicles;
an object creation unit that obtains the license plate information from the license plate information collection unit and creates objects constituting a license plate from the obtained license plate information;
A virtual license plate generating unit for generating a virtual license plate by combining the objects created by the object generating unit;
Learning license plates that are actually photographed using GAN (Generative Adversarial Network), and using the learned results, convert the virtual license plates generated by the virtual license plate generation unit to be similar to real license plates to generate learning license plates. Including;
The object creation unit,
Through the license plate information, the texts and background plates forming the license plate are created as objects having a three-dimensional 3D shape in which shadows are generated according to the camera angle or the position of sunlight,
The learning license plate generation unit,
A generator (G(z)) converts the generated virtual license plate (Z) to be similar to a real license plate, and a discriminator (D( Including G(z)))
The generator continues to repeat learning to convert the virtual license plate to be similar to the real one so that the discriminator can misjudge it as a real license plate, and the discriminator continues to repeat learning to identify the virtual license plate created by the generator. Thus, mutual competitive learning between the generator and the discriminator occurs,
The discriminator repeats learning to lower the deviation (log(1-D(G(z)))) between the converted virtual license plate and the actual license plate to determine the virtual license plate converted by the generator as a real license plate,
The virtual license plate generating unit,
A recipe creation unit for generating a recipe for creating a virtual license plate by combining the objects; A recipe execution unit for executing the recipes generated by the recipe generation unit to generate a virtual license plate; including,
The recipe generator,
A number generation unit that creates a number recipe combining the text objects by designating a number combination of text objects that can be created according to the type of license plate, designating the size of the background plate according to the type of license plate, and A location creation unit that creates a location recipe for specifying the type, location, and volume of a text object; an environment creation unit that creates an environment recipe for setting an environment including the direction and intensity of a light source; A camera generator for generating a camera recipe for setting a camera image by randomly setting camera conditions including an angle of a camera and an aperture value and focus of a lens to correspond to a license plate image,
The environmental recipe,
It includes one solar light source and one or a plurality of illumination sources corresponding to the license plate, etc., the solar light source is set to have a wide angle of a set angle in vertical and horizontal directions from the front of the license plate, and the illumination light source is located on the top of the license plate. It is located at and set to have a wide angle of 90 ° based on the front of the license plate,
The camera generator,
The angle of the camera is set in the vertical and horizontal directions from the front of the license plate, and the aperture value of the camera lens is set in the range of 0.2 to 10,
The recipe execution unit,
The number recipe, the location recipe, the environment recipe, and the camera recipe are executed in the order of setting, but the number recipe and the location recipe are executed sequentially, and then the environment recipe or the camera recipe is executed to obtain a virtual license plate. create,
Create a number according to the license plate specifications and rules to be generated using the number recipe, map text to a serial number for labeling, and check the value extracted from the random function and the mapped serial number to obtain a labeled value. Virtual license plate generation system for number recognition learning, characterized in that for giving a name to the license plate.
상기 번호판정보는,
번호판의 배경과, 문자와 숫자의 크기 및 비율과, 배치위치에 대한 정보를 포함하는 것을 특징으로 하는 번호인식 학습용 가상번호판 생성시스템.
According to claim 1,
The license plate information,
A virtual license plate generation system for learning number recognition, characterized in that it includes information about the background of the license plate, the size and ratio of letters and numbers, and the placement position.
상기 객체 생성부는,
상기 객체들의 재질을 빛이 반사될 수 있는 소재로 설정하는 것을 특징으로 하는 번호인식 학습용 가상번호판 생성시스템.
According to claim 1,
The object creation unit,
Virtual license plate generation system for learning number recognition, characterized in that for setting the material of the objects to a material that can reflect light.
객체 생성부가 수집된 번호판정보로부터 번호판을 형성하는 객체들을 생성하는 제2단계와;
가상번호판 생성부가 객체들을 조합하여 가상번호판을 생성하는 제3단계와;
학습번호판 생성부가 GAN을 이용하여 실제 촬영된 번호판을 학습하고, 학습된 결과를 이용하여 가상번호판을 변환하여 학습용 번호판을 생성하는 제4단계;를 포함하되,
상기 제4단계에서 상기 학습번호판 생성부는,
생성된 가상번호판(Z)을 실제 번호판과 유사하도록 변환시키는 생성자(G(z))와, 상기 생성자(G(z))가 변환시킨 가상번호판이 실제 번호판과 동일한지 판별하는 판별자(D(G(z)))를 포함하여,
상기 생성자는 가상번호판을 상기 판별자가 실제 번호판으로 오판할 수 있도록 계속해서 가상번호판을 실제와 유사하게 변환시키려고 학습을 반복하고, 상기 판별자는 계속해서 상기 생성자가 만들어낸 가상번호판을 식별하려 학습을 반복하여 상기 생성자와 상기 판별자의 상호 경쟁학습이 발생되고,
상기 판별자는 상기 생성자가 변환시킨 가상번호판을 실제 번호판으로 판단하도록 변환된 가상번호판과 실제 번호판과의 편차(log(1-D(G(z))))를 낮추는 학습을 반복하며,
상기 제2단계에서 상기 객체 생성부는,
상기 번호판정보를 통하여 번호판을 형성하는 텍스트들과 배경판을 3D 형태를 갖는 객체들로 생성되고,
상기 제3단계는,
레시피 생성부를 통해 상기 객체들을 조합하여 가상번호판을 생성하기 위한 레시피를 생성하는 단계와, 레시피 실행부를 통해 상기 레시피 생성부에 의하여 생성된 레시피들을 실행하는 단계를 포함하되,
상기 레시피를 생성하는 단계는,
번호판 종류에 따라 생성될 수 있는 번호조합을 지정하여 텍스트 객체들을 조합하기 위한 번호레시피를 생성하고, 번호판 종류에 따라 배경판의 크기를 지정하며 배경판에 배치될 텍스트 객체의 종류, 위치 및 볼륨을 지정하기 위한 위치레시피를 생성하고, 광원의 방향 및 세기를 포함하는 환경을 설정하기 위한 환경레시피를 생성하고, 카메라에 의하여 촬영되는 번호판 이미지에 대응하도록 카메라의 각도와 렌즈의 조리개값과 포커스를 포함하는 카메라조건을 무작위로 설정하여 카메라 이미지를 설정하기 위한 카메라레시피를 생성하고,
상기 레시피를 실행하는 단계는,
상기 번호레시피를 이용하여 생성할 번호판 규격 및 규칙에 따라 번호를 생성하고, 라벨링을 위하여 텍스트를 일련번호로 매핑하고 랜덤(random)함수에서 추출된 값과 매핑된 일련번호를 확인하여 라벨링된 값으로 번호판에 이름을 부여하는 것을 특징으로 하는 번호인식 학습용 가상번호판 생성방법.A first step of collecting license plate information of vehicles by a license plate information collection unit;
a second step of generating objects constituting a license plate from the collected license plate information by an object creation unit;
A third step of generating a virtual license plate by combining objects with a virtual license plate generator;
A fourth step in which the learning license plate generator learns the license plate actually photographed using GAN and converts the virtual license plate using the learned result to generate a license plate for learning; including,
In the fourth step, the learning license plate generating unit,
A generator (G(z)) converts the generated virtual license plate (Z) to be similar to a real license plate, and a discriminator (D( Including G(z)))
The generator continues to repeat learning to convert the virtual license plate to be similar to the real one so that the discriminator can misjudge it as a real license plate, and the discriminator continues to repeat learning to identify the virtual license plate created by the generator. Thus, mutual competitive learning between the generator and the discriminator occurs,
The discriminator repeats learning to lower the deviation (log(1-D(G(z)))) between the converted virtual license plate and the actual license plate to determine the virtual license plate converted by the generator as a real license plate,
In the second step, the object creation unit,
Through the license plate information, the texts and background plates forming the license plate are created as objects having a 3D shape,
The third step is
Generating a recipe for generating a virtual license plate by combining the objects through a recipe creation unit, and executing the recipes generated by the recipe generation unit through a recipe execution unit,
The step of creating the recipe is,
Create number recipes for combining text objects by specifying number combinations that can be created according to license plate types, designate the size of background plates according to license plate types, and set the type, location, and volume of text objects to be placed on the background plates. Create a location recipe for designation, create an environment recipe for setting an environment including the direction and intensity of light sources, and include the angle of the camera and the aperture and focus of the lens to correspond to the license plate image captured by the camera. Randomly set the camera conditions to create a camera recipe to set the camera image,
Executing the recipe,
Create a number according to the license plate specifications and rules to be generated using the number recipe, map text to a serial number for labeling, and check the value extracted from the random function and the mapped serial number to obtain a labeled value. Virtual license plate generation method for number recognition learning, characterized in that for giving a name to the license plate.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210179461A KR102480582B1 (en) | 2021-12-15 | 2021-12-15 | Generating system of virtual license plate for number recognition learning and method of generating virtual license plate for number recognition learning using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210179461A KR102480582B1 (en) | 2021-12-15 | 2021-12-15 | Generating system of virtual license plate for number recognition learning and method of generating virtual license plate for number recognition learning using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102480582B1 true KR102480582B1 (en) | 2022-12-23 |
Family
ID=84536545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210179461A KR102480582B1 (en) | 2021-12-15 | 2021-12-15 | Generating system of virtual license plate for number recognition learning and method of generating virtual license plate for number recognition learning using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102480582B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160083226A (en) * | 2014-12-30 | 2016-07-12 | 순천향대학교 산학협력단 | Apparatus and method for recognizing license plate |
| KR20200120970A (en) * | 2019-04-03 | 2020-10-23 | 조선대학교산학협력단 | A method and apparatus for generating image using GAN based deep learning model |
| KR102272279B1 (en) | 2021-03-30 | 2021-07-02 | 케이에스아이 주식회사 | Method for recognizing vehicle license plate |
| KR20210147637A (en) * | 2020-05-29 | 2021-12-07 | 서울과학기술대학교 산학협력단 | Device and method for recognizing information on vehicle registration plate of object |
-
2021
- 2021-12-15 KR KR1020210179461A patent/KR102480582B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160083226A (en) * | 2014-12-30 | 2016-07-12 | 순천향대학교 산학협력단 | Apparatus and method for recognizing license plate |
| KR20200120970A (en) * | 2019-04-03 | 2020-10-23 | 조선대학교산학협력단 | A method and apparatus for generating image using GAN based deep learning model |
| KR20210147637A (en) * | 2020-05-29 | 2021-12-07 | 서울과학기술대학교 산학협력단 | Device and method for recognizing information on vehicle registration plate of object |
| KR102272279B1 (en) | 2021-03-30 | 2021-07-02 | 케이에스아이 주식회사 | Method for recognizing vehicle license plate |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460414B (en) | Generation method, device and the electronic equipment of training sample image | |
| KR101964282B1 (en) | 2d image data generation system using of 3d model, and thereof method | |
| CN101520904B (en) | Reality augmenting method with real environment estimation and reality augmenting system | |
| CN108256547A (en) | Generate the training image for the object recognition system based on machine learning | |
| Déziel et al. | Pixset: An opportunity for 3d computer vision to go beyond point clouds with a full-waveform lidar dataset | |
| CN113256778B (en) | Method, device, medium and server for generating vehicle appearance part identification sample | |
| CN104103081A (en) | Virtual multi-camera target tracking video material generation method | |
| CN111932673B (en) | Object space data augmentation method and system based on three-dimensional reconstruction | |
| CN106560835B (en) | A kind of guideboard recognition methods and device | |
| CN109271991A (en) | A kind of detection method of license plate based on deep learning | |
| CN104504744A (en) | License plate image composition simulating method and device | |
| CN109308722A (en) | A kind of spatial pose measuring system and method based on active vision | |
| US20050275717A1 (en) | Method and apparatus for testing stereo vision methods using stereo imagery data | |
| CN108805201A (en) | Destination image data set creation method and its device | |
| CN116342783B (en) | Live-action three-dimensional model data rendering optimization method and system | |
| KR102480582B1 (en) | Generating system of virtual license plate for number recognition learning and method of generating virtual license plate for number recognition learning using the same | |
| CN106127836A (en) | Identifying code Picture Generation Method and device | |
| CN109492522A (en) | Specific objective detection model training program, equipment and computer readable storage medium | |
| CN201374082Y (en) | Augmented reality system based on image unique point extraction and random tree classification | |
| CN111915672B (en) | Target labeling method and device based on 3D virtual driving scene | |
| TWI801717B (en) | A physical image generation method and device, device, non-transitory computer-readable storage medium and computer program product | |
| Zhao et al. | Research on intelligent recognition and control device of aviation line number | |
| Lim et al. | Enhancing Nighttime Vehicle Detection via Transformer-based Data Augmentation | |
| Duplevska et al. | The synthetic data application in the UAV recognition systems development | |
| Wang et al. | Synthesizing large-scale datasets for license plate detection and recognition in the wild |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |