KR102073971B1 - Vehicle enforcement system and method based on deep learning - Google Patents

Vehicle enforcement system and method based on deep learning Download PDF

Info

Publication number
KR102073971B1
KR102073971B1 KR1020190111829A KR20190111829A KR102073971B1 KR 102073971 B1 KR102073971 B1 KR 102073971B1 KR 1020190111829 A KR1020190111829 A KR 1020190111829A KR 20190111829 A KR20190111829 A KR 20190111829A KR 102073971 B1 KR102073971 B1 KR 102073971B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
model
deep learning
region
Prior art date
Application number
KR1020190111829A
Other languages
Korean (ko)
Inventor
박영
전성호
김종범
Original Assignee
(주)서광시스템
박영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)서광시스템, 박영 filed Critical (주)서광시스템
Priority to KR1020190111829A priority Critical patent/KR102073971B1/en
Application granted granted Critical
Publication of KR102073971B1 publication Critical patent/KR102073971B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G06K9/6251—
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G06K2209/15—
    • G06K2209/23—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

The present invention discloses a deep learning-based vehicle control system and a method thereof. The deep learning-based vehicle control system builds a vehicle detection model and a vehicle enlargement model together through deep learning based on a previously prepared learning image, uses the vehicle detection model and the vehicle enlargement model to detect or identify a vehicle from an inspection image photographing a control site, and utilizes the inspection image in which a vehicle candidate region is labeled to update the vehicle detection model and the vehicle enlargement model.

Description

딥러닝 기반의 차량 단속 시스템 및 방법{VEHICLE ENFORCEMENT SYSTEM AND METHOD BASED ON DEEP LEARNING}VEHICLE ENFORCEMENT SYSTEM AND METHOD BASED ON DEEP LEARNING

본 발명은 촬영장치의 실시간 영상을 이용하여 불법 주정차 차량을 단속하는 차량 단속 시스템에 관한 것으로서, 더욱 상세하게는 사전에 준비된 학습 이미지를 딥러닝하여 구축된 차량 검출 모델과 확대 모델을 함께 이용하여 신속히 불법 주정차 차량을 단속하는 딥러닝 기반의 차량 단속 시스템 및 방법에 관한 기술이다.The present invention relates to a vehicle crackdown system for cracking down illegal parking vehicles using real-time images of a photographing apparatus. More specifically, the present invention relates to a vehicle crackdown model and an enlarged model, which are built by deep learning a previously prepared training image. The present invention relates to a deep learning based vehicle crackdown system and method for cracking down illegal parking vehicles.

특허문헌 1은 검사 이미지에서 검지 영역을 설정하고, 검지 영역에 위치한 차량을 검출하며, 차량 검출에 따른 딥러닝 연산과 차량 검출의 소요시간을 단축시킬 수 있다.Patent Literature 1 sets a detection area in an inspection image, detects a vehicle located in the detection area, and shortens the time required for deep learning calculation and vehicle detection according to the vehicle detection.

종래에는 특허문헌 1과 같이 자동적으로 차량을 검출하기 위해 복수 개의 학습 이미지를 딥러닝하여 차량 검출 모델을 구축할 수 있다. 더욱 상세하게는 종래에는 복수의 학습 이미지를 입력받고, 각각의 학습 이미지별로 차량의 전체 영역(전체 외곽선)에 대응하는 레이블링값을 입력받으며, 레이블된(labeled) 학습 이미지를 딥러닝하여 차량 검출 모델을 구축할 수 있다.Conventionally, as shown in Patent Literature 1, a vehicle detection model can be constructed by deep learning a plurality of learning images to automatically detect a vehicle. More specifically, in the related art, a vehicle detection model is received by receiving a plurality of learning images, receiving a labeling value corresponding to an entire area (overall outline) of the vehicle for each learning image, and deep learning a labeled learning image. Can be built.

그러나 종래의 기술에는 다양한 문제점이 있다. 종래에는 차량의 모든 외관을 딥러닝하기 때문에, 차량 검출 모델의 구축시간이 증가되고, 차량 외관의 전체 구성이 많아 단속현장의 차량을 검출하는 과정에서 차량 오인식이 발생한다. 차량의 구성요소가 많으면 많을수록 딥러닝의 연산 복잡도와 차량 오인식률은 증가된다.However, there are various problems in the prior art. Conventionally, since all the exteriors of the vehicle are deeply run, the construction time of the vehicle detection model is increased, and the overall configuration of the exterior of the vehicle is large, so that the vehicle misrecognition occurs in the process of detecting the vehicle at the enforcement site. The more components a vehicle has, the more computational complexity and misrecognition of deep learning.

종래에는 차량의 모든 외관을 딥러닝하기 때문에, 차량번호판의 식별이 불가능한 차량도 검출되어 단속 효율이 감소되는 문제점이 있다. 예를 들어 종래에는 검사 이미지에서 앞에 위치한 차량으로 인해 뒤의 차량의 차량번호판이 안보여도 단속이 불가능한 뒤의 차량도 함께 검출한다.In the related art, since all the exteriors of the vehicle are deeply run, there is a problem in that a vehicle in which the license plate is impossible to be identified is also detected and the enforcement efficiency is reduced. For example, in the conventional inspection image, even after the vehicle license plate of the rear vehicle is not visible due to the vehicle located in front of the inspection image, it is also possible to detect the vehicle after the impossibility.

종래에는 단속현장의 지역 또는 배경을 고려하지 않은 학습 이미지로 차량 검출 모델을 구축하기 때문에, 단속현장의 차량을 검출하는 과정에서 차량 오인식이 발생할 수 있다. 예를 들어 지역마다 택시 차량의 색깔이 다를 수 있고, 지역 명칭이 포함된 차량번호판이 존재할 수 있으며, 지역마다 직선형 또는 기하 곡선형의 도로가 형성될 수 있고, 지역마다 조경이나 간판 또는 맨홀의 위치가 다르게 형성될 수 있는데, 종래에는 단속현장의 지역 또는 배경을 고려하지 않은 학습 이미지로 차량 검출 모델을 구축하였다.Conventionally, since a vehicle detection model is constructed using a learning image without considering the area or background of a crackdown site, vehicle misrecognition may occur in the process of detecting a vehicle at a crackdown site. For example, a taxi vehicle may have a different color, a license plate that includes the name of the area may exist, a straight or geometric curved road may be formed in each area, and the location of a landscape or signboard or manhole in each area. May be formed differently, in the related art, a vehicle detection model was constructed using a learning image that does not take into consideration the area or background of an enforcement site.

특허문헌 2는 차량번호인식 시스템에 관한 것으로서, 원본영상에서 차량번호판과 관련된 일부영역을 확대하고, 확대영상에서 이웃하는 화소값의 편차와 증감을 검사하여 확대영상 전체를 필터링하는 기술이 개시되어 있다.Patent document 2 relates to a vehicle number recognition system, and discloses a technique of enlarging a partial region related to a vehicle license plate in an original image, and filtering the entire enlarged image by checking deviation and increase or decrease of neighboring pixel values in the enlarged image. .

그러나 특허문헌 2는 일반적인 보간법 또는 필터링이 적용된 확대영상에 블러링(blurring)과 엘리어싱(aliasing) 현상이 발생하여 화질의 선명도가 저하될 수 있고, 화질의 선명도가 저하되어 차량번호를 인식하지 못하거나 오인식할 수 있는 문제점이 있다.However, Patent Document 2 shows that blurring and aliasing may occur in a magnified image to which general interpolation or filtering is applied, and thus the sharpness of the image quality may be degraded. There is a problem that can be mistaken.

한국등록특허 제10-1888381호Korea Patent Registration No. 10-1888381 한국등록특허 제10-1496390호Korean Patent Registration No. 10-1496390

상기 문제점을 해결하기 위하여 본 발명은 사전에 준비된 학습 이미지를 기반으로 딥러닝하여 차량 검출 모델과 차량 확대 모델을 함께 구축한다.In order to solve the above problems, the present invention builds a vehicle detection model and a vehicle expansion model together by deep learning based on previously prepared learning images.

본 발명은 차량번호판을 포함하고, 차량의 전면 또는 후면 부분만을 포함하는 차량 부분 영역이 레이블된 학습 이미지를 딥러닝하여 차량 검출 모델을 구축한다.The present invention builds a vehicle detection model by deep learning a learning image including a license plate and including a vehicle partial region including only the front or rear portion of the vehicle.

본 발명은 차량 후보 영역의 화소수가 설정된 개수보다 작으면 차량 확대 모델을 이용하여 차량 후보 영역을 초해상도 이미지로 변환하고, 설정된 개수보다 같거나 크면 초해상도 변환 과정을 생략한다.According to the present invention, when the number of pixels of the vehicle candidate region is smaller than the set number, the vehicle candidate region is converted into a super resolution image by using the vehicle enlargement model. When the number of pixels of the vehicle candidate region is larger than or equal to the set number, the super resolution conversion process is omitted.

본 발명은 단속현장의 지역 또는 배경을 고려하여 단속현장의 검사 이미지에서 차량 후보 영역을 레이블링하고, 차량 후보 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델과 확대 모델을 업데이트한다.The present invention updates a vehicle detection model and an enlarged model by labeling a vehicle candidate region in the inspection image of the enforcement site in consideration of an area or a background of the enforcement site, and deep learning the inspection image labeled with the vehicle candidate region.

상기의 해결하고자 하는 과제를 위한 본 발명의 실시예에 따른 딥러닝 기반의 차량 단속 시스템은, 단속현장을 촬영하는 촬영장치를 원격으로 제어하는 서버를 포함하고, 상기 서버는, 학습 이미지에서 차량 부분 영역을 레이블링하고, 차량 부분 영역에 해당하는 부분 이미지를 생성하며, 부분 이미지를 다운 샘플링하여 저해상도 이미지를 생성하고, 저해상도 이미지를 부분 이미지의 화소수만큼 키워낸 확대 이미지를 생성하는 이미지 처리부 및 상기 차량 부분 영역이 레이블된 학습 이미지를 딥러닝하여 차량 검출 모델을 구축하고, 부분 이미지와 확대 이미지를 기반으로 딥러닝하여 차량 확대 모델을 구축하는 학습모델 구축부를 포함하여, 상기 차량 검출 모델과 차량 확대 모델을 이용하여 단속현장의 불법 주정차 차량을 단속하는 것을 특징으로 한다.The deep learning-based vehicle control system according to an embodiment of the present invention for a problem to be solved includes a server for remotely controlling a photographing device for photographing the enforcement site, the server, the vehicle portion in the learning image The image processor and the vehicle to label the region, generate a partial image corresponding to the vehicle partial region, generate a low resolution image by downsampling the partial image, and generate an enlarged image in which the low resolution image is increased by the number of pixels of the partial image The vehicle detection model and the vehicle magnification model include a learning model constructing unit configured to deeply train a learning image labeled with a partial region and build a vehicle magnification model by deep learning based on the partial image and the magnification image. By using the to crack down on illegal parking vehicles at the crackdown site The.

상기 이미지 처리부는 차량번호판을 포함하고, 차량의 전면 또는 후면 부분을 포함하는 차량 부분 영역을 레이블링하는 것을 특징으로 할 수 있다.The image processor may include a vehicle license plate and label the vehicle partial region including the front or rear portion of the vehicle.

상기 학습모델 구축부는 학습 이미지에서 예측된 객체에 대한 화소의 위치값이 차량 부분 영역에 대한 화소의 위치값에 가까워지도록 가중치와 편향을 찾아내어 차량 검출 모델을 구축하는 것을 특징으로 할 수 있다.The learning model building unit may build a vehicle detection model by finding weights and deflections so that the position values of the pixels for the object predicted in the training image are closer to the position values of the pixels for the vehicle partial region.

상기 학습모델 구축부는 확대 이미지의 명암 손실을 예측한 예측값을 생성하고, 명암 손실의 예측값을 확대 이미지에 반영하여 화질이 개선된 개선 이미지를 생성하며, 개선 이미지의 화소값이 차량 부분 영역의 화소값에 가까워지도록 가중치와 편향을 찾아내어 차량 확대 모델을 구축하는 것을 특징으로 할 수 있다.The learning model construction unit generates a predicted value predicting the contrast loss of the enlarged image, generates an improved image having improved image quality by reflecting the predicted loss contrast of the enlarged image, and the pixel value of the enhanced image is the pixel value of the vehicle partial region. It may be characterized by building a vehicle magnification model by finding weights and deflections so as to be close to.

본 발명의 실시예에 따른 단속현장을 촬영하여 검사 이미지를 생성하는 촬영장치 및 검사 이미지를 통해 차량 단속을 수행하는 서버를 이용한 딥러닝 기반의 차량 단속 방법은, 상기 차량 검출 모델을 이용하여 검사 이미지에서 차량 후보 영역을 검출하는 단계; 상기 차량 후보 영역에서 후보번호를 식별하는 단계; 상기 차량 후보 영역에서 후보번호가 식별되면 촬영장치를 제어하여 단속 이미지를 획득하는 단계; 패턴인식 알고리즘과 단속 이미지를 이용하여 후보번호가 차량번호인지를 식별하는 단계; 상기 후보번호가 차량번호로 판별되면 검사 이미지에서 차량 후보 영역을 레이블링하는 단계 및 차량 후보 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트하는 단계를 포함하여, 상기 차량 검출 모델을 이용하여 차량번호판의 식별이 가능한 차량을 검출하는 것을 특징으로 한다.According to an embodiment of the present invention, a deep learning-based vehicle control method using a photographing apparatus for photographing an enforcement site and generating an inspection image and a server performing vehicle enforcement through an inspection image may include an inspection image using the vehicle detection model. Detecting a vehicle candidate region in the apparatus; Identifying a candidate number in the vehicle candidate area; If a candidate number is identified in the vehicle candidate region, controlling a photographing apparatus to obtain an interrupted image; Identifying whether the candidate number is a vehicle number using a pattern recognition algorithm and an interrupted image; Labeling the vehicle candidate region in the inspection image when the candidate number is determined as the vehicle number, and updating the vehicle detection model by deep learning the inspection image labeled with the vehicle candidate region by using the vehicle detection model. Characterized by detecting the vehicle license plate is characterized in that.

본 발명의 딥러닝 기반의 차량 단속 방법은, 상기 차량 후보 영역의 화소수가 설정된 개수보다 작으면 차량 확대 모델을 이용하여 차량 후보 영역을 초해상도 이미지로 변환하고, 설정된 개수보다 같거나 크면 초해상도 변환 과정을 생략하는 단계를 더 포함하는 것을 특징으로 할 수 있다.In the deep learning-based vehicle control method of the present invention, when the number of pixels of the vehicle candidate region is smaller than the set number, the vehicle candidate region is converted into a super resolution image by using a vehicle enlargement model. It may be characterized in that it further comprises the step of omitting the process.

본 발명의 딥러닝 기반의 차량 단속 방법은, 상기 차량 후보 영역에 차량이 미존재하면 차량 후보 영역을 배경 후보 영역으로 정의하고, 후속적으로 촬영된 단속 이미지에서도 차량이 미존재하면 배경 후보 영역을 배경 영역으로 정의하는 단계를 더 포함하고, 상기 레이블링하는 단계는 검사 이미지에서 배경 영역을 레이블링하며, 상기 업데이트하는 단계는 배경 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트하는 것을 특징으로 할 수 있다.In the deep learning-based vehicle cracking method of the present invention, if a vehicle does not exist in the vehicle candidate region, the vehicle candidate region is defined as a background candidate region, and if a vehicle does not exist in the subsequently captured image, the background candidate region is defined. The method may further include defining a background area, wherein the labeling may label the background area in the inspection image, and wherein the updating may include updating the vehicle detection model by deep learning the inspection image labeled with the background area. can do.

본 발명은 학습 이미지를 이용하여 차량 검출 모델과 차량 확대 모델을 함께 구축하여 시스템 효율 또는 학습 이미지의 수집 효율을 향상시킬 수 있다.The present invention can build a vehicle detection model and a vehicle magnification model together using the training image to improve the system efficiency or the efficiency of collecting the training image.

본 발명은 차량번호판을 포함하고, 차량의 전면 또는 후면 부분만을 포함하는 차량 부분 영역이 레이블된 학습 이미지를 딥러닝하여 차량 검출 모델을 구축함으로써, 차량 검출 모델의 구축시간과 차량 검출의 소요시간을 감소시킬 수 있고, 차량번호판의 식별이 가능한 차량 후보 영역만을 검출하여 단속 효율을 향상시킬 수 있다.The present invention provides a vehicle detection model including a license plate, and deep learning a learning image labeled with a vehicle partial region including only a front or rear portion of a vehicle, thereby constructing a vehicle detection model and a time required for vehicle detection. It is possible to reduce, and to detect only the vehicle candidate area which can identify the license plate, thereby improving the enforcement efficiency.

본 발명은 차량 후보 영역의 화소수가 설정된 개수보다 작으면 차량 확대 모델을 이용하여 차량 후보 영역을 초해상도 이미지로 변환함으로써, 차량번호 인식이 가능한 화소수를 확보할 수 있고, 차량번호 인식이 가능한 화소수를 확보하여 한 화면에서 단속할 수 있는 영역을 넓힐 수 있으며, 단속할 수 있는 영역이 넓어져 신속한 차량 단속을 제공할 수 있고, 화질 개선의 효과를 얻게 되어 차량번호의 오인식을 감소시킬 수 있다.According to the present invention, when the number of pixels of the vehicle candidate region is smaller than the set number, the vehicle candidate region is converted into a super resolution image using the vehicle enlargement model, so that the number of pixels that can recognize the vehicle number can be secured, and the number of the vehicle number can be recognized. By securing the number, the area that can be cracked on one screen can be widened. The area that can be cracked can be widened to provide fast vehicle crackdown, and the image quality improvement effect can be reduced, thereby reducing the misunderstanding of the vehicle number. .

본 발명은 단속현장의 지역 또는 배경을 고려하여 단속현장의 검사 이미지를 자동적으로 레이블링하고, 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델과 확대 모델을 업데이트함으로써, 차량을 검출하는 과정에서 차량 오인식을 감소시킬 수 있고, 차량번호를 식별하는 과정에서 차량번호의 인식률을 향상시킬 수 있다.The present invention automatically labels the inspection image of the enforcement site in consideration of the area or background of the enforcement site, and deeply runs the labeled inspection image to update the vehicle detection model and the enlarged model, thereby detecting vehicle misrecognition in the process of detecting the vehicle. The identification number of the vehicle number can be improved in the process of identifying the vehicle number.

도 1은 본 발명의 실시예에 따른 딥러닝 기반의 차량 단속 시스템을 도시한 블록도이다.
도 2는 도 1의 서버를 상세하게 도시한 블록도이다.
도 3은 고화질의 이미지를 다운 샘플링하여 저해상도의 이미지를 생성하는 예를 도시한 것이다.
도 4는 종래의 차량 전체 영역을 검출하는 화면과 본 발명의 차량 후보 영역을 검출하는 화면을 도시한 예이다.
도 5는 본 발명의 검사 이미지를 도시한 예이다.
도 6은 도 5의 제2 차량에 대한 차량 후보 영역과 제2 차량에 대한 초해상도 이미지를 도시한 예이다.
도 7은 본 발명의 실시예에 따른 딥러닝 기반의 차량 단속 방법을 도시한 흐름도이다.1 is a block diagram illustrating a deep learning based vehicle control system according to an exemplary embodiment of the present invention.
FIG. 2 is a detailed block diagram illustrating the server of FIG. 1.
3 illustrates an example of down sampling a high quality image to generate a low resolution image.
4 illustrates an example of a screen for detecting a conventional entire vehicle region and a screen for detecting a vehicle candidate region of the present invention.
5 is an example showing an inspection image of the present invention.
6 illustrates an example of a vehicle candidate region for a second vehicle and a super resolution image for the second vehicle of FIG. 5.
7 is a flowchart illustrating a deep learning-based vehicle control method according to an embodiment of the present invention.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present invention is not limited or limited to the embodiments.

딥러닝(deep learning) 기술은 사물이나 데이터를 군집화하거나 분류하는데 사용되는 기술이고, 수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯 컴퓨터가 데이터를 나누는 기술이다. 본 발명은 딥러닝 기술을 이용하여 차량을 검출하거나, 차량번호 인식이 가능한 화소수를 확보하고자 한다.Deep learning technology is a technology used to cluster or classify things or data, and it is a technology that computers divide data as humans distinguish things by finding patterns in a lot of data. The present invention seeks to secure a number of pixels that can detect a vehicle or recognize a vehicle number using a deep learning technology.

도 1은 본 발명의 실시예에 따른 딥러닝 기반의 차량 단속 시스템을 도시한 블록도로서, 차량 단속 시스템(10)은 촬영장치(100) 및 서버(200)를 포함한다. 촬영장치(100)는 단속현장의 검사 이미지를 생성하는 PTZ 카메라 또는 CCTV 카메라일 수 있다. CCTV 카메라는 PTZ 기능이 구비될 수 있다. PTZ 카메라는 팬(pan), 틸트(tilt) 및 줌(zoom) 등 PTZ 기능을 포함한다.1 is a block diagram illustrating a deep learning based vehicle control system according to an exemplary embodiment of the present invention, wherein the vehicle control system 10 includes a photographing apparatus 100 and a server 200. The photographing apparatus 100 may be a PTZ camera or a CCTV camera that generates an inspection image of an intermittent site. CCTV camera may be equipped with a PTZ function. PTZ cameras include PTZ functions such as pan, tilt and zoom.

촬영장치(100)는 단속위치별로 단속현장을 촬영할 수 있고, 설정된 주기로 단속현장을 촬영하여 검사 이미지를 생성할 수 있으며, 서버(200)의 제어에 따라 동작할 수 있고, 서버(200)와의 통신을 위한 통신수단 또는 촬영 동작을 위한 전원수단을 포함할 수 있다.The photographing apparatus 100 may photograph an interruption scene for each interruption position, photograph an interruption scene at a set cycle, generate a test image, operate under the control of the server 200, and communicate with the server 200. It may include a communication means for or a power supply means for the photographing operation.

서버(200)는 검사 이미지를 통해 차량 단속을 수행한다. 서버(200)는 촬영장치(100)의 동작을 원격 제어하여 불법 차량의 주정차를 단속할 수 있다. 촬영장치(100)는 단속현장별로 설치될 수 있고, 서버(200)는 복수의 촬영장치(100)를 제어할 수 있다.The server 200 controls the vehicle through the inspection image. The server 200 may control the stop of the illegal vehicle by remotely controlling the operation of the photographing apparatus 100. The photographing apparatus 100 may be installed for each intermittent site, and the server 200 may control the plurality of photographing apparatuses 100.

도 2는 도 1의 서버를 상세하게 도시한 블록도로서, 서버(200)는 입력부(210), 이미지 처리부(220), 학습모델 구축부(230), 차량 검출부(240), 초해상도 변환부(250), 차량 식별부(260), 차량 단속부(270), 통신부(280) 및 데이터베이스(290) 중 적어도 하나를 포함한다.FIG. 2 is a detailed block diagram of the server of FIG. 1. The server 200 includes an input unit 210, an image processor 220, a learning model builder 230, a vehicle detector 240, and a super resolution converter. And at least one of the vehicle identification unit 260, the vehicle control unit 270, the communication unit 280, and the database 290.

입력부(210)는 복수의 학습 이미지를 입력받고, 각각의 학습 이미지별로 차량 부분 영역에 대응하는 레이블링값을 입력받는다. 입력부(210)는 통신부(280), 데이터베이스(280) 또는 별도의 저장수단(미도시)으로부터 복수의 학습 이미지와 레이블링값을 수신할 수 있고, 관리자의 입력을 통해 레이블링값을 수신할 수 있다. 레이블링값은 화소의 좌표값으로서, 3개 이상의 화소 좌표값을 포함할 수 있다.The input unit 210 receives a plurality of learning images, and receives a labeling value corresponding to the vehicle partial region for each learning image. The input unit 210 may receive a plurality of learning images and labeling values from the communication unit 280, the database 280, or a separate storage unit (not shown), and may receive a labeling value through an input of an administrator. The labeling value is a coordinate value of a pixel and may include three or more pixel coordinate values.

이미지 처리부(220)는 학습 이미지에서 차량 부분 영역을 레이블링한다. 차량 부분 영역은 차량번호판을 포함하고, 차량의 전면 또는 후면 부분만을 포함한다. 차량 부분 영역은 사각형일 수 있다.The image processor 220 labels the vehicle partial region in the training image. The vehicle portion area includes a license plate and includes only the front or rear portion of the vehicle. The vehicle partial region may be rectangular.

승용차에서 차량 부분 영역은 전면 부분에서 프런트(front) 차량번호판, 보닛(bonnet), 프런트 펜더(fender), 라디에이터 그릴(radiator grille), 프런트 라이트(light), 프런트 범퍼(bumper) 또는 프런트 타이어(tire)를 포함할 수 있고, 후면 부분에서 리어 차량번호판, 트렁크(trunk), 리어 펜더, 리어 라이트, 리어 범퍼 또는 리어 타이어를 포함할 수 있다. 승용차에서 차량 부분 영역은 루프(roop), 윈도우 글라스(window glass), 도어(door) 또는 필러(pillar)를 미포함할 수 있다.In the passenger car, the vehicle part area in the front part is the front license plate, bonnet, front fender, radiator grille, front light, front bumper or front tire. And a rear license plate, trunk, rear fender, rear light, rear bumper or rear tire in the rear portion. In a passenger car, the vehicle partial region may not include a roof, window glass, door or pillar.

승용차에서 차량 부분 영역은 전면 부분에서 프런트 윈도우 글라스와 보닛 사이의 경계로부터 프런트 타이어까지일 수 있고, 후면 부분에서 리어 윈도우 글라스와 트렁크 사이의 경계로부터 리어 타이어까지일 수 있다. 트럭의 후면은 리어 윈도우 글라스가 없기 때문에, 트럭 후면에서 차량 부분 영역은 승용차의 레이블링 비율이 적용될 수 있다. 차량 부분 영역은 차종별로 설정될 수 있다.In a passenger car, the vehicle portion area may be from the boundary between the front window glass and the bonnet to the front tire at the front portion and from the boundary between the rear window glass and the trunk at the rear portion to the rear tire. Since the rear of the truck has no rear window glass, the vehicle portion area at the rear of the truck may be subject to the labeling ratio of the passenger car. The vehicle partial region may be set for each vehicle type.

도 3은 고화질의 이미지를 다운 샘플링하여 저해상도의 이미지를 생성하는 예를 도시한 것으로서, 이미지 처리부(220)는 차량 부분 영역에 해당하는 부분 이미지를 생성하고, 부분 이미지를 다운 샘플링(down sampling)하여 저해상도 이미지를 생성한다. 도 3에 도시된 바와 같이 다운 샘플링은 고해상도 이미지의 화소수를 감소시켜 축소시키는 것을 것을 의미한다.3 illustrates an example of generating a low resolution image by down sampling a high quality image, and the image processor 220 generates a partial image corresponding to a vehicle partial region, and downsamples a partial image. Create a low resolution image. As shown in FIG. 3, downsampling means reducing and reducing the number of pixels of a high resolution image.

이미지 처리부(220)는 저해상도 이미지를 고해상도의 부분 이미지의 화소수만큼 키워낸 확대 이미지를 생성한다. 확대 이미지는 저해상도 이미지의 화소값들 사이의 중간값을 추가하여 보간 처리된 이미지로서, 보간 처리에 의해 화질이 열화된 이미지이다.The image processor 220 generates an enlarged image in which the low resolution image is grown by the number of pixels of the high resolution partial image. The enlarged image is an image which is interpolated by adding an intermediate value between pixel values of the low resolution image, and is an image whose image quality is degraded by interpolation processing.

이미지 처리부(220)는 레이블된 학습 이미지, 부분 이미지 및 확대 이미지를 데이터베이스(290)에 저장하거나, 학습모델 구축부(230)에게 제공한다. 레이블된 학습 이미지는 차량 검출 모델을 생성하는데 활용되고, 부분 이미지와 확대 이미지는 차량 확대 모델을 생성하는데 활용된다.The image processor 220 stores the labeled training image, the partial image, and the enlarged image in the database 290 or provides the learning model builder 230. The labeled training image is used to generate the vehicle detection model, and the partial image and the magnified image are used to generate the vehicle magnification model.

본 발명은 학습 이미지를 이용하여 차량 검출 모델과 차량 확대 모델을 함께 구축하여 시스템 효율 또는 학습 이미지의 수집 효율을 향상시킬 수 있다.The present invention can build a vehicle detection model and a vehicle magnification model together using the training image to improve the system efficiency or the efficiency of collecting the training image.

차량 검출 모델은 학습 이미지의 차량 부분 영역을 학습하여 구축된 모델로서, 검사 이미지에서 차량 부분 영역에 대응하거나 유사한 차량 후보 영역을 자동적으로 검출하기 위해 사용되는 모델이다.The vehicle detection model is a model constructed by learning a vehicle partial region of the training image and is used to automatically detect a vehicle candidate region corresponding to or similar to the vehicle partial region in the inspection image.

차량 확대 모델은 부분 이미지를 정답세트로 설정하고, 확대 이미지를 입력세트로 설정하며, 입력세트와 정답세트 간의 손실 함수 또는 에러를 연산하는 방식으로 딥러닝하여 구축된 모델로서, 검사 이미지에서 차량 후보 영역의 화소수가 설정된 개수보다 작으면 차량 후보 영역의 화소수를 자동적으로 증가시키기 위해 사용되는 모델이다.The vehicle magnification model is a model built by deep learning by setting a partial image as a correct answer set, an enlarged image as an input set, and calculating a loss function or an error between the input set and the correct answer set. When the number of pixels in the area is smaller than the set number, the model is used to automatically increase the number of pixels in the vehicle candidate area.

학습모델 구축부(230)는 학습 이미지에서 예측된 객체에 대한 화소의 위치값이 차량 부분 영역에 대한 화소의 위치값에 가까워지도록 가중치(weight)와 편향(bias)을 찾아내어 차량 검출 모델을 구축할 수 있다.The learning model building unit 230 constructs a vehicle detection model by finding weights and biases so that the position values of the pixels for the object predicted in the training image are closer to the position values of the pixels for the vehicle partial region. can do.

학습 이미지에서 예측된 객체에 대한 화소의 위치값이 차량 부분 영역에 대한 화소의 위치값으로 가까워지는 방법은, 학습 이미지에서 차량과 배경을 구분 지을 수 있는 특징 이미지를 추출하고, 특징 이미지와 가중치 간의 행렬 곱 연산을 통해 학습 이미지에서 객체를 예측하며, 예측된 객체에 대한 화소의 위치값을 계산하고, 이때 예측된 객체에 대한 화소의 위치값이 부분 영역에 대한 화소의 위치값으로 가까워지도록 가중치와 편향을 조절한다. 특징 이미지를 추출하는 과정과 객체를 예측하는 과정에서는 차량과 배경을 구분하기 위해서 콘볼루션(convolution) 연산이 사용된다.The method in which the pixel position value of the predicted object in the training image approaches the pixel position position of the vehicle partial region extracts a feature image that distinguishes the vehicle and the background from the training image, and extracts the feature image and the weight. The matrix multiplication operation predicts the object in the training image and computes the position of the pixel relative to the predicted object, where the weights and weights are closer to the position of the pixel relative to the partial region. Adjust the deflection In the process of extracting feature images and predicting objects, a convolution operation is used to distinguish a vehicle from a background.

학습모델 구축부(230)는 확대 이미지의 명암 손실을 예측한 예측값을 생성하고, 명암 손실의 예측값을 확대 이미지에 반영하여 화질이 개선된 개선 이미지를 생성하며, 개선 이미지의 화소값이 차량 부분 영역의 화소값에 가까워지도록 가중치와 편향을 찾아내어 차량 확대 모델을 구축할 수 있다. 여기서 예측값 또는 화소값은 명암을 나타내는 값이다.The learning model building unit 230 generates a predicted value predicting the contrast loss of the enlarged image, generates an improved image having improved image quality by reflecting the predicted loss contrast of the enlarged image, and the pixel value of the enhanced image is the vehicle partial region. A vehicle magnification model can be constructed by finding weights and deflections so as to be closer to the pixel value of. Here, the predicted value or the pixel value is a value representing the contrast.

딥러닝 기반의 차량 단속 시스템(10)은 학습 이미지에 기반하여 차량 검출 모델과 차량 확대 모델을 함께 구축하고, 차량 검출 모델과 차량 확대 모델을 이용하여 단속현장의 불법 주정차 차량을 단속한다.The deep learning-based vehicle control system 10 builds a vehicle detection model and a vehicle enlargement model together based on the learning image, and uses the vehicle detection model and the vehicle enlargement model to crack down on illegal parking vehicles at the crackdown site.

차량 검출부(240)는 차량 검출 모델을 이용하여 검사 이미지에서 차량 후보 영역을 검출한다. 차량 후보 영역은 대부분 차량이 실제로 존재할 수 있고, 차량이 실제로 존재하면 차량 부분 영역이 된다. 차량 후보 영역은 차량 검출 모델에 의한 오인식에 의해 실제로 차량이 미존재할 수도 있다.The vehicle detector 240 detects a vehicle candidate region in the inspection image by using the vehicle detection model. The vehicle candidate area is mostly a vehicle, and if the vehicle is actually present, it becomes a vehicle partial region. The vehicle candidate region may not actually exist in the vehicle due to misrecognition by the vehicle detection model.

초해상도 변환부(250)는 차량 후보 영역의 화소수가 설정된 개수보다 작으면 차량 확대 모델을 이용하여 차량 후보 영역을 초해상도 이미지로 변환하고, 설정된 개수보다 같거나 크면 초해상도 변환 과정을 생략한다.If the number of pixels of the vehicle candidate region is smaller than the set number, the super resolution converting unit 250 converts the vehicle candidate region into a super resolution image using the vehicle enlargement model, and if the number is greater than or equal to the set number, the super resolution conversion process is omitted.

본 발명은 차량 후보 영역의 화소수가 설정된 개수보다 작으면 차량 확대 모델을 이용하여 차량 후보 영역을 초해상도 이미지로 변환함으로써, 차량번호 인식이 가능한 화소수를 확보할 수 있고, 차량번호 인식이 가능한 화소수를 확보하여 한 화면에서 단속할 수 있는 영역을 넓힐 수 있으며, 단속할 수 있는 영역이 넓어져 신속한 차량 단속을 제공할 수 있고, 화질 개선의 효과를 얻게 되어 차량번호의 오인식을 감소시킬 수 있다.According to the present invention, when the number of pixels of the vehicle candidate region is smaller than the set number, the vehicle candidate region is converted into a super resolution image using the vehicle enlargement model, so that the number of pixels that can recognize the vehicle number can be secured, and the number of the vehicle number can be recognized. By securing the number, the area that can be cracked on one screen can be widened. The area that can be cracked can be widened to provide fast vehicle crackdown, and the image quality improvement effect can be reduced, thereby reducing the misunderstanding of the vehicle number. .

차량 식별부(260)는 차량 후보 영역 또는 초해상도 이미지에서 후보번호를 식별한다. 후보번호는 차량번호일 수 있고, 차량 검출 모델에서 오인식한 차량 객체가 아닌 다른 객체의 번호일 수 있다.The vehicle identification unit 260 identifies the candidate number in the vehicle candidate region or the super resolution image. The candidate number may be a vehicle number or may be a number of an object other than a vehicle object which is misidentified by the vehicle detection model.

차량 단속부(270)는 차량 후보 영역에서 후보번호가 식별되면 촬영장치(100)를 제어하여 단속 이미지를 획득한다. 단속 이미지는 촬영장치(100)가 차량 후보 영역을 향하여 줌이 조정된 상태에서 촬영된 이미지이고, 검사 이미지보다 고해상도를 갖는다. 차량 단속부(270)는 줌이 조정된 상태에서 촬영한 단속 이미지를 획득하고, 단속 이미지의 일부를 잘라내어 주위배경, 차량 및 차량번호를 포함하는 3컷 이상의 정황정보를 생성할 수 있다. 촬영장치(100)는 중앙정렬 기능이 구비되어 차량 후보 영역으로 이동되면 단속대상의 차량을 화면의 중앙으로 정렬할 수 있다.When the candidate number is identified in the vehicle candidate area, the vehicle control unit 270 controls the photographing apparatus 100 to obtain an enforcement image. The intermittent image is an image photographed while the photographing apparatus 100 is zoomed toward the vehicle candidate region, and has a higher resolution than the inspection image. The vehicle enforcement unit 270 may acquire an image of the enforcement captured by the zoom-adjusted state, and may cut out a portion of the enforcement image to generate three or more context information including the surrounding background, the vehicle, and the vehicle number. When the photographing apparatus 100 is provided with a center alignment function and moved to the vehicle candidate region, the photographing apparatus 100 may align the vehicle to be controlled to the center of the screen.

차량 식별부(260)는 검사 이미지의 한 화면에서 단속할 수 있는 영역을 넓히기 위해 화질이 매우 떨어질 수 있기 때문에, 차량 후보 영역에 노출된 후보번호가 차량번호라고 단정 지을 수 없다. 즉 차량 후보 영역에 노출된 후보번호는 차량번호판에 노출된 차량번호 또는 차량이 아닌 객체에 노출된 번호일 수 있다. 예를 들어 객체에 노출된 번호는 배경에 해당되고, 간판에 노출된 번호, 전봇대 식별판에 노출된 번호 또는 지주에 부착된 스티커에 노출된 번호일 수 있다.The vehicle identification unit 260 may not be deemed that the candidate number exposed to the vehicle candidate area is the vehicle number because the image quality may be very poor in order to widen the area that can be controlled in one screen of the inspection image. That is, the candidate number exposed to the vehicle candidate region may be a vehicle number exposed on the license plate or a number exposed to an object other than the vehicle. For example, the number exposed to the object may correspond to a background, and may be a number exposed on a signboard, a number exposed on a power pole identification plate, or a number exposed on a sticker attached to a prop.

본 발명은 이미지에 노출된 객체가 차량인지 여부를 판별하기 위한 패턴인식 알고리즘을 사용한다. 패턴인식 알고리즘은 차량 부분 영역에 대응하는 차체, 헤드라이트, 범퍼의 패턴 또는 차량번호판에서 4자리 연속 숫자열의 패턴을 인식하는 알고리즘이다. 예를 들어 패턴인식 알고리즘을 차량번호판의 숫자와 문자 패턴을 인식하는 차량번호 패턴인식 알고리즘 또는 차량번호 패턴을 포함하여 차량 부분 영역의 패턴을 인식하는 차량 부분 영역 패턴인식 알고리즘이다.The present invention uses a pattern recognition algorithm for determining whether an object exposed to an image is a vehicle. The pattern recognition algorithm is an algorithm for recognizing a pattern of a car body, a headlight, a bumper, or a four-digit sequence of numbers in a license plate corresponding to a vehicle partial region. For example, the pattern recognition algorithm is a vehicle partial region pattern recognition algorithm for recognizing a pattern of a vehicle partial region including a vehicle number pattern recognition algorithm for recognizing a number and a letter pattern of a license plate or a vehicle number pattern.

본 발명은 패턴인식 알고리즘을 사용하여도 검사 이미지의 해상도가 낮아, 검사 이미지의 차량 후보 영역이 차량인지 여부를 정확하게 판별하기 어려울 수 있다. 따라서 본 발명은 검사 이미지보다 해상도가 높은 단속 이미지를 활용하여 차량 후보 영역에 실제로 차량이 존재하는지 검증할 수 있다.According to the present invention, even when the pattern recognition algorithm is used, the resolution of the inspection image is low, so it may be difficult to accurately determine whether the vehicle candidate region of the inspection image is a vehicle. Accordingly, the present invention can verify whether a vehicle actually exists in a vehicle candidate region by using an intermittent image having a higher resolution than the inspection image.

차량 식별부(260)는 패턴인식 알고리즘과 단속 이미지를 이용하여 실제로 차량 후보 영역에 차량이 존재하는지 식별하고, 이미지 처리부(220)는 차량 후보 영역에 차량이 존재하면 검사 이미지에서 차량 후보 영역을 레이블링하며, 학습모델 구축부(230)는 차량 후보 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트한다.The vehicle identification unit 260 identifies whether the vehicle actually exists in the vehicle candidate region by using the pattern recognition algorithm and the intermittent image, and the image processing unit 220 labels the vehicle candidate region in the inspection image when the vehicle exists in the vehicle candidate region. In addition, the learning model building unit 230 updates the vehicle detection model by deep learning the inspection image labeled the vehicle candidate region.

패턴인식 알고리즘과 단속 이미지를 이용하여 차량 후보 영역에 차량이 존재하는지 식별하는 이유는, 검사 이미지의 차량 후보 영역을 검증하기 위함이고, 사람의 개입이 없이 자동적으로 차량 후보 영역을 레이블링하기 위함이다.The reason for identifying whether the vehicle exists in the vehicle candidate region by using the pattern recognition algorithm and the intermittent image is to verify the vehicle candidate region of the inspection image and to label the vehicle candidate region automatically without human intervention.

차량 식별부(260)는 차량 후보 영역에 차량이 존재하면 단속 이미지에서 차량번호를 재식별하고, 검사 이미지와 단속 이미지 간의 차량번호가 일치하는지 판별할 수 있다.If there is a vehicle in the vehicle candidate region, the vehicle identification unit 260 may re-identify the vehicle number in the raid image, and may determine whether the vehicle number between the inspection image and the raid image coincides.

단속 이미지를 통해 차량번호를 재식별하는 이유는, 검사 이미지에서의 차량번호 식별이 재대로 이루어졌는지 확인하기 위함이다.The reason for re-identifying the vehicle number through the control image is to check whether the vehicle number identification in the inspection image is properly performed.

차량 식별부(260)는 차량 후보 영역에서 차량이 미존재하면 차량 후보 영역을 배경 후보 영역으로 정의할 수 있다. 검사 이미지와 단속 이미지를 획득하는 사이에 시간차가 발생할 수 있고, 사이의 시간에 차량이 움직일 수 있으므로, 한 번만 차량 후보 영역에서 차량이 미존재하였다고 차량 후보 영역을 배경 영역이라고 단정 지을 수 없다.The vehicle identification unit 260 may define the vehicle candidate region as the background candidate region when the vehicle does not exist in the vehicle candidate region. Since a time difference may occur between acquiring the inspection image and the intermittent image, and the vehicle may move in the time between, the vehicle candidate region cannot be called a background region because the vehicle does not exist in the vehicle candidate region only once.

차량 식별부(260)는 후속적으로 촬영된 단속 이미지에서도 차량이 미존재하면 배경 후보 영역을 배경 영역으로 정의하며, 이미지 처리부(220)는 검사 이미지에서 배경 영역을 레이블링하고, 학습모델 구축부(230)는 배경 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트할 수 있다.The vehicle identification unit 260 defines a background candidate area as a background area when the vehicle does not exist even in a subsequently captured image, and the image processing unit 220 labels the background area in the inspection image, and learn model construction unit ( 230 may update the vehicle detection model by deep learning the inspection image labeled with the background region.

차량 식별부(260)는 후속적인 검사 이미지에 대하여 소정의 횟수 동안 동일한 위치의 차량 후보 영역에서 번호를 미식별하면 차량 후보 영역을 배경 영역으로 정의하고, 이미지 처리부(220)는 검사 이미지에서 배경 영역을 레이블링한다. 학습모델 구축부(230)는 배경 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트한다.The vehicle identification unit 260 identifies the vehicle candidate region as the background region when the number is identified in the vehicle candidate region at the same position for a predetermined number of times for the subsequent inspection image, and the image processor 220 determines the background region in the inspection image. Label the. The learning model building unit 230 updates the vehicle detection model by deep learning the inspection image labeled with the background region.

본 발명은 단속현장의 지역 또는 배경을 고려하지 않은 학습 이미지를 이용하여 차량 검출 모델을 구축하면, 검사 이미지에서 차량을 검출할 때 배경을 차량으로 오인식할 수 있으므로, 이를 개선하기 위해 차량 검출 모델의 업데이트 과정이 필요한 것이다.According to the present invention, if a vehicle detection model is constructed using a learning image that does not take into consideration the area or background of an enforcement site, the background may be misrecognized when the vehicle is detected from the inspection image. The update process is necessary.

본 발명은 단속현장의 지역 또는 배경을 고려하여 단속현장의 검사 이미지를 자동적으로 레이블링하고, 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델과 확대 모델을 업데이트함으로써, 차량을 검출하는 과정에서 차량 오인식을 감소시킬 수 있고, 차량번호를 식별하는 과정에서 차량번호의 인식률을 향상시킬 수 있다.The present invention automatically labels the inspection image of the enforcement site in consideration of the area or background of the enforcement site, and deeply runs the labeled inspection image to update the vehicle detection model and the enlarged model, thereby detecting vehicle misrecognition in the process of detecting the vehicle. The identification number of the vehicle number can be improved in the process of identifying the vehicle number.

학습모델 구축부(230)는 사전에 준비된 학습 이미지로 딥러닝하는 과정 중 컨볼루션 레이어(convolution layer)를 통해 이미지의 특징이 추출 되었으면, 이미지의 사이즈를 줄이기 위한 서브 샘플링 과정을 수행할 수 있다. 서브 샘플링 과정이 수행되면 특징이 추출된 이미지의 사이즈가 줄어들어 연산에 들어가는 메모리가 줄어들고 속도가 빨라지지만, 이미지의 명암값 소실이 발생하여 오인식이 발생할 수 있으므로, 학습모델 구축부(230)는 레이블된 검사 이미지로 재학습을 위한 딥러닝을 수행하는 것이다.The learning model building unit 230 may perform a subsampling process to reduce the size of the image when the feature of the image is extracted through the convolution layer during the deep learning process with the prepared training image. When the subsampling process is performed, the size of the image from which the feature is extracted is reduced, which reduces memory and speeds up the calculation, but the loss of contrast of the image may occur, and thus misrecognition may occur. Deep learning for relearning with inspection images.

서브 샘플링은 일정영역의 특징값을 특정영역의 최대값 또는 평균값으로 대체하여 사이즈를 줄이는 방법이고, 다운 샘플링은 보간법을 사용하여 이미지의 사이즈를 줄이는 방법이므로, 서브 샘플링과 다운 샘플링은 이미지의 사이즈를 줄이는 방법에서 차이점이 있다.Subsampling is a method of reducing the size by replacing feature values of a certain area with a maximum or average value of a specific area. Since downsampling is a method of reducing an image size using interpolation, subsampling and downsampling reduce the size of an image. There is a difference in how it is reduced.

컨볼루션 레이어(convolution layer)를 진행하는 과정에서 처리 속도 또는 연산량을 감소시키기 위해 학습 이미지를 다운 샘플링할 수 있다. 다운 샘플링된 학습 이미지로 딥러닝을 수행하면 차량 후보 영역을 검출할 때 오인식이 발생할 수 있으므로, 학습모델 구축부(230)는 레이블된 검사 이미지로 재학습을 위한 딥러닝을 수행하는 것이다.During the process of the convolution layer, the training image may be down sampled to reduce the processing speed or the amount of computation. If deep learning is performed with the down-sampled learning image, misrecognition may occur when detecting a candidate vehicle area. Therefore, the learning model builder 230 performs deep learning for re-learning with a labeled inspection image.

도 4(a)는 종래의 차량 전체 영역을 검출하는 화면을 도시한 예이고, 도 4(b)는 본 발명의 차량 후보 영역을 검출하는 화면을 도시한 예로서, 종래에는 차량번호판의 식별이 가능한 차량뿐만 아니라 식별이 불가능한 차량을 검출하기 때문에, 단속 효율이 감소되는 문제점이 있다.4 (a) shows an example of a screen for detecting the entire area of a vehicle in the related art, and FIG. 4 (b) shows an example of a screen for detecting a vehicle candidate area of the present invention. Since the detection of not only possible vehicles but also unidentifiable vehicles, there is a problem in that the enforcement efficiency is reduced.

본 발명은 차량번호판을 포함하고, 차량의 전면 또는 후면 부분만을 포함하는 차량 부분 영역이 레이블된 학습 이미지를 딥러닝하여 차량 검출 모델을 구축함으로써, 차량 검출 모델의 구축시간과 차량 검출의 소요시간을 감소시킬 수 있고, 차량번호판의 식별이 가능한 차량 후보 영역만을 검출하여 단속 효율을 향상시킬 수 있다.The present invention provides a vehicle detection model including a license plate, and deep learning a learning image labeled with a vehicle partial region including only a front or rear portion of a vehicle, thereby constructing a vehicle detection model and a time required for vehicle detection. It is possible to reduce, and to detect only the vehicle candidate area which can identify the license plate, thereby improving the enforcement efficiency.

도 5는 본 발명의 검사 이미지를 도시한 예로서, 본 발명은 특허문헌 1과 같이 검사 이미지에서 검지 영역을 설정하고, 검지 영역에 위치한 차량을 검출하며, 차량 검출에 따른 딥러닝 연산과 차량 검출의 소요시간을 단축시킬 수 있다.5 is an example of an inspection image of the present invention. The present invention sets up a detection area in an inspection image, detects a vehicle located in the detection area, and detects a deep learning operation and vehicle detection according to the vehicle detection, as in Patent Document 1. This can shorten the time required.

차량 검출부(240)는 차량 검출 모델을 이용하여 검사 이미지에서 차량 후보 영역을 검출한다. 초해상도 변환부(250)는 차량 후보 영역의 화소수가 설정된 개수보다 작으면 차량 확대 모델을 이용하여 차량 후보 영역을 초해상도 이미지로 변환하고, 설정된 개수보다 같거나 크면 초해상도 변환 과정을 생략한다. The vehicle detector 240 detects a vehicle candidate region in the inspection image by using the vehicle detection model. If the number of pixels of the vehicle candidate region is smaller than the set number, the super resolution converting unit 250 converts the vehicle candidate region into a super resolution image using the vehicle enlargement model, and if the number is greater than or equal to the set number, the super resolution conversion process is omitted.

도 5를 참조하면 초해상도 변환부(250)는 촬영장치(100)와 제1 차량의 거리가 가깝고, 제1 차량에 대한 차량 후보 영역의 화소수가 설정된 개수보다 같거나 크기 때문에, 초해상도 변환 과정을 생략할 수 있다.Referring to FIG. 5, the super resolution converting unit 250 is a distance between the photographing apparatus 100 and the first vehicle, and the number of pixels of the vehicle candidate region for the first vehicle is equal to or larger than a set number, so that the super resolution converting process 250 is performed. Can be omitted.

도 6(a)는 도 5의 제2 차량에 대한 차량 후보 영역을 도시한 예이고, 도 6(b)는 제2 차량에 대한 초해상도 이미지를 도시한 예이다. 초해상도 변환부(250)는 촬영장치(100)와 제2 차량의 거리가 멀고, 제2 차량에 대한 차량 후보 영역의 화소수가 설정된 개수보다 작기 때문에, 도 6에 도시된 바와 같이 차량 확대 모델을 이용하여 제2 차량에 대한 차량 후보 영역을 초해상도 이미지로 변환할 수 있다. 예를 들어 본 발명은 도 6(b)에 도시된 바와 같이 차량 후보 영역을 초해상도 이미지로 변환하고, 초해상도 이미지에서 '00부 0000'를 인식할 수 있지만, 종래에는 보간법을 이용한 방식으로 이미지를 확대하여 본 발명보다 연산 속도가 느릴 수 있다. 또한 종래에는 보간법을 이용한 방식으로 이미지를 확대하여 '00부 0000'를 '00무 0000' 또는 '00우 0000'으로 오인식할 수 있다.FIG. 6A illustrates an example of a vehicle candidate region of the second vehicle of FIG. 5, and FIG. 6B illustrates an example of a super resolution image of the second vehicle. Since the super-resolution converter 250 is far from the photographing apparatus 100 and the second vehicle and the number of pixels of the vehicle candidate region for the second vehicle is smaller than the set number, the super-resolution converter 250 displays the vehicle enlargement model as shown in FIG. 6. The vehicle candidate region for the second vehicle may be converted into a super resolution image. For example, the present invention can convert the vehicle candidate region into a super resolution image as shown in FIG. 6 (b), and recognize '00 part 0000 'in the super resolution image, but conventionally an image using an interpolation method By expanding the operation speed may be slower than the present invention. In addition, in the related art, an image may be enlarged by using an interpolation method to misinterpret '00 part 0000 'as '00 nothing 0000' or '00 right 0000 '.

도 7은 본 발명의 실시예에 따른 딥러닝 기반의 차량 단속 방법을 도시한 흐름도로서, 차량 검출부(240)는 통신부(280)로부터 검사 이미지를 제공받고, 데이터베이스(290)로부터 차량 검출 모델을 제공받는다. 차량 검출부(240)는 차량 검출 모델을 이용하여 검사 이미지에서 차량 후보 영역을 검출한다. 차량 검출부(240)는 차량 후보 영역을 미검출하면 예비리스트와 후보리스트를 초기화한다.7 is a flowchart illustrating a deep learning based vehicle control method according to an exemplary embodiment of the present invention, wherein the vehicle detector 240 receives an inspection image from the communication unit 280 and provides a vehicle detection model from the database 290. Receive. The vehicle detector 240 detects a vehicle candidate region in the inspection image by using the vehicle detection model. The vehicle detector 240 initializes the preliminary list and the candidate list when the vehicle candidate area is not detected.

초해상도 변환부(250)는 차량 후보 영역의 화소수가 설정된 개수보다 작으면 차량 확대 모델을 이용하여 차량 후보 영역을 초해상도 이미지로 변환하고, 설정된 개수보다 같거나 크면 초해상도 변환 과정을 생략한다.If the number of pixels of the vehicle candidate region is smaller than the set number, the super resolution converting unit 250 converts the vehicle candidate region into a super resolution image using the vehicle enlargement model, and if the number is greater than or equal to the set number, the super resolution conversion process is omitted.

차량 식별부(260)는 차량 부분 영역 또는 초해상도 이미지에서 번호를 식별하고, 차량리스트를 참조하여 단속대상의 차량인지를 판별한다. 차량 단속부(270)는 단속대상의 차량으로 판별되면 촬영장치(100)를 제어하여 단속 이미지를 획득한다.The vehicle identification unit 260 identifies the number in the vehicle partial region or the super resolution image, and determines whether the vehicle is the subject of the crackdown by referring to the vehicle list. When the vehicle control unit 270 determines that the vehicle is to be controlled, the image control device 100 controls the photographing apparatus 100 to obtain an image of the control.

차량 식별부(260)는 패턴인식 알고리즘과 단속 이미지를 이용하여 실제로 차량 후보 영역에 차량이 존재하는지 식별하고, 이미지 처리부(220)는 차량 후보 영역에 차량이 존재하면 검사 이미지에서 차량 후보 영역을 레이블링하며, 학습모델 구축부(230)는 차량 후보 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트한다.The vehicle identification unit 260 identifies whether the vehicle actually exists in the vehicle candidate region by using the pattern recognition algorithm and the intermittent image, and the image processing unit 220 labels the vehicle candidate region in the inspection image when the vehicle exists in the vehicle candidate region. In addition, the learning model building unit 230 updates the vehicle detection model by deep learning the inspection image labeled the vehicle candidate region.

차량 식별부(260)는 차량 후보 영역에 차량이 존재하면 단속 이미지에서 차량번호를 재식별하고, 검사 이미지와 단속 이미지 간의 차량번호가 일치하는지 판별할 수 있다.If there is a vehicle in the vehicle candidate region, the vehicle identification unit 260 may re-identify the vehicle number in the raid image, and may determine whether the vehicle number between the inspection image and the raid image coincides.

차량 식별부(260)는 차량 후보 영역에서 차량이 미존재하면 차량 후보 영역을 배경 후보 영역으로 정의할 수 있다. 차량 식별부(260)는 후속적으로 촬영된 단속 이미지에서도 차량이 미존재하면 배경 후보 영역을 배경 영역으로 정의하며, 이미지 처리부(220)는 검사 이미지에서 배경 영역을 레이블링하고, 학습모델 구축부(230)는 배경 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트할 수 있다.The vehicle identification unit 260 may define the vehicle candidate region as the background candidate region when the vehicle does not exist in the vehicle candidate region. The vehicle identification unit 260 defines a background candidate area as a background area when the vehicle does not exist even in a subsequently captured image, and the image processing unit 220 labels the background area in the inspection image, and learn model construction unit ( 230 may update the vehicle detection model by deep learning the inspection image labeled with the background region.

10: 차량 단속 시스템 100: 촬영장치
200: 서버 210: 입력부
220: 이미지 처리부 230: 학습모델 구축부
240: 차량 검출부 250: 초해상도 변환부
260: 차량 식별부 270: 차량 단속부
280: 통신부 290: 데이터베이스10: vehicle control system 100: photographing device
200: server 210: input unit
220: image processing unit 230: learning model construction unit
240: vehicle detection unit 250: super resolution conversion unit
260: vehicle identification unit 270: vehicle control unit
280: communication unit 290: database

Claims (7)

단속현장을 촬영하는 촬영장치를 원격으로 제어하는 서버를 포함하는 딥러닝 기반의 차량 단속 시스템에 있어서,
상기 서버는,
학습 이미지에서 차량번호판을 포함하고 차량의 전면 또는 후면 부분을 포함하는 차량 부분 영역을 레이블링하고, 차량 부분 영역에 해당하는 부분 이미지를 생성하며, 부분 이미지를 다운 샘플링하여 저해상도 이미지를 생성하고, 저해상도 이미지를 부분 이미지의 화소수만큼 키워낸 확대 이미지를 생성하는 이미지 처리부 및
상기 차량 부분 영역이 레이블된 학습 이미지를 딥러닝하여 차량 검출 모델을 구축하고, 부분 이미지와 확대 이미지를 기반으로 딥러닝하여 차량 확대 모델을 구축하는 학습모델 구축부를 포함하여,
상기 학습 이미지에서 레이블된 차량 부분 영역을 이용하여 차량 검출 모델과 차량 확대 모델을 함께 구축이 가능하고, 차량 검출 모델과 차량 확대 모델을 이용하여 단속현장의 차량번호판의 식별이 가능한 불법 주정차 차량을 단속하는 것을 특징으로 하는 딥러닝 기반의 차량 단속 시스템.In a deep learning based vehicle control system including a server for remotely controlling a photographing device for photographing the enforcement site,
The server,
Label a vehicle partial region that includes the license plate and includes the front or rear portion of the vehicle in the training image, generate a partial image corresponding to the vehicle partial region, and downsample the partial image to produce a low resolution image, and a low resolution image. An image processing unit for generating an enlarged image in which is increased by the number of pixels of the partial image;
Including a learning model building unit for building a vehicle detection model by deep learning the learning image labeled the vehicle partial region, and building a vehicle enlargement model by deep learning based on the partial image and the enlarged image,
The vehicle detection model and the vehicle magnification model can be constructed together using the vehicle partial region labeled in the learning image, and the illegal parking vehicle that can identify the license plate of the crackdown site is cracked using the vehicle detection model and the vehicle magnification model. Deep learning-based vehicle control system, characterized in that. 삭제delete 제1항에 있어서,
상기 학습모델 구축부는 학습 이미지에서 예측된 객체에 대한 화소의 위치값이 차량 부분 영역에 대한 화소의 위치값에 가까워지도록 가중치와 편향을 찾아내어 차량 검출 모델을 구축하는 것을 특징으로 하는 딥러닝 기반의 차량 단속 시스템.The method of claim 1,
The learning model construction unit builds a vehicle detection model by finding weights and deflections so that the position values of the pixels for the object predicted in the training image are closer to the position values of the pixels for the vehicle partial region. Vehicle Enforcement System. 제1항에 있어서,
상기 학습모델 구축부는 확대 이미지의 명암 손실을 예측한 예측값을 생성하고, 명암 손실의 예측값을 확대 이미지에 반영하여 화질이 개선된 개선 이미지를 생성하며, 개선 이미지의 화소값이 차량 부분 영역의 화소값에 가까워지도록 가중치와 편향을 찾아내어 차량 확대 모델을 구축하는 것을 특징으로 하는 딥러닝 기반의 차량 단속 시스템.The method of claim 1,
The learning model construction unit generates a predicted value predicting the contrast loss of the enlarged image, generates an improved image with improved image quality by reflecting the predicted contrast loss on the enlarged image, and the pixel value of the enhanced image is the pixel value of the vehicle partial region. Deep learning based vehicle enforcement system, characterized in that to build a vehicle magnification model by finding the weight and the deflection to approach. 단속현장을 촬영하여 검사 이미지를 생성하는 촬영장치 및 검사 이미지를 통해 차량 단속을 수행하는 서버를 이용한 딥러닝 기반의 차량 단속 방법에 있어서,
차량번호판을 포함하고 차량의 전면 또는 후면 부분을 포함하는 차량 부분 영역이 레이블된 학습 이미지를 학습하여 구축된 차량 검출 모델을 이용하여 검사 이미지에서 차량 후보 영역을 검출하는 단계;
상기 차량 후보 영역에서 후보번호인지를 식별하는 단계;
상기 차량 후보 영역에서 후보번호로 식별되면 촬영장치를 제어하여 단속 이미지를 획득하는 단계;
패턴인식 알고리즘과 단속 이미지를 이용하여 후보번호가 차량번호인지를 식별하는 단계;
상기 후보번호가 차량번호로 판별되면 검사 이미지에서 차량 후보 영역을 레이블링하는 단계 및
차량 후보 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트하는 단계를 포함하고,
상기 서버는 차량 검출 모델을 이용하여 차량번호판의 식별이 가능한 차량을 검출하고, 검사 이미지보다 해상도가 높은 단속 이미지를 활용하여 차량 후보 영역에 실제로 차량이 존재하는지 검증하며,
상기 차량 후보 영역에 차량이 미존재하면 차량 후보 영역을 배경 후보 영역으로 정의하고, 후속적으로 촬영된 단속 이미지에서도 차량이 미존재하면 배경 후보 영역을 배경 영역으로 정의하는 단계를 더 포함하고,
상기 서버는 검사 이미지에서 배경 영역을 레이블링하고, 배경 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트하는 것을 특징으로 하는 딥러닝 기반의 차량 단속 방법.In the deep learning-based vehicle cracking method using a photographing device for photographing the enforcement site and the server to perform the vehicle enforcement through the inspection image,
Detecting a vehicle candidate region from the inspection image by using a vehicle detection model constructed by learning a learning image including a license plate and a vehicle partial region including a front or rear portion of the vehicle labeled;
Identifying a candidate number in the vehicle candidate area;
If the identification number is identified in the vehicle candidate area, controlling a photographing apparatus to obtain an interrupted image;
Identifying whether the candidate number is a vehicle number using a pattern recognition algorithm and an interrupted image;
If the candidate number is determined to be a vehicle number, labeling a vehicle candidate region in a test image;
Updating the vehicle detection model by deep learning an inspection image labeled a vehicle candidate region,
The server detects a vehicle that can be identified by a license plate using a vehicle detection model, and verifies whether a vehicle actually exists in a vehicle candidate area by using an intermittent image having a higher resolution than an inspection image.
Defining a vehicle candidate region as a background candidate region when the vehicle does not exist in the vehicle candidate region, and defining a background candidate region as a background region when the vehicle does not exist even in a subsequently captured image;
The server may label the background area in the inspection image and update the vehicle detection model by deep learning the inspection image labeled with the background area. 제5항에 있어서,
상기 차량 후보 영역의 화소수가 설정된 개수보다 작으면 차량 확대 모델을 이용하여 차량 후보 영역을 초해상도 이미지로 변환하고, 설정된 개수보다 같거나 크면 초해상도 변환 과정을 생략하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝 기반의 차량 단속 방법.The method of claim 5,
Converting the vehicle candidate region into a super resolution image by using a vehicle magnification model when the number of pixels of the vehicle candidate region is smaller than the set number, and omitting the super resolution conversion process when the number of pixels of the vehicle candidate region is larger than the set number. Deep learning based vehicle crackdown method. 삭제delete
KR1020190111829A 2019-09-10 2019-09-10 Vehicle enforcement system and method based on deep learning KR102073971B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190111829A KR102073971B1 (en) 2019-09-10 2019-09-10 Vehicle enforcement system and method based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190111829A KR102073971B1 (en) 2019-09-10 2019-09-10 Vehicle enforcement system and method based on deep learning

Publications (1)

Publication Number Publication Date
KR102073971B1 true KR102073971B1 (en) 2020-02-05

Family

ID=69514792

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190111829A KR102073971B1 (en) 2019-09-10 2019-09-10 Vehicle enforcement system and method based on deep learning

Country Status (1)

Country Link
KR (1) KR102073971B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102166776B1 (en) * 2020-04-29 2020-10-16 주식회사 서경산업 Service system for smart traffic managing on road
KR102166784B1 (en) * 2020-05-22 2020-10-16 주식회사 서경산업 System for cctv monitoring and managing on bicycle road
KR102171384B1 (en) 2020-03-04 2020-10-28 주식회사 문창 Object recognition system and method using image correction filter
KR102185500B1 (en) * 2020-06-02 2020-12-03 에스아이오티 주식회사 Detection and management system and management equipment having the same
KR102211734B1 (en) 2020-08-28 2021-02-03 주식회사 문창 Video surveillance device using image correction filter
KR102238629B1 (en) * 2020-10-13 2021-04-09 한국해양과학기술원 System and method for overcoming low visibility situation based on deep learning
KR102240127B1 (en) * 2020-10-13 2021-04-14 한국해양과학기술원 Surrounding situation monitoring device applying technology for overcoming low visibility situation based on deep learning
CN113221770A (en) * 2021-05-18 2021-08-06 青岛根尖智能科技有限公司 Cross-domain pedestrian re-identification method and system based on multi-feature hybrid learning
KR102316700B1 (en) * 2021-05-31 2021-10-25 주식회사 서경산업 Automated control system of bicycle
KR20220079479A (en) 2020-12-04 2022-06-13 주식회사 두원전자통신 Intelligent image analysis system for accuracy enhancement of object analysis by auto learning, estimation and distribution of object based on Deep Neural Network Algorithm
KR102418823B1 (en) 2022-04-12 2022-07-11 (주)테라테코 Deep learning-based illegal parking enforcement system using wide-area detection images
KR102662625B1 (en) 2024-01-17 2024-05-08 주식회사 아프로시스템즈 Variable multi-functional unmanned enforcement system by vehicle type and time zone using deep learning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961902B1 (en) * 2009-06-22 2010-06-10 숭실대학교산학협력단 Method for detecting vehicle number plate location of the illegalstopping and parking vehicle and system therefor
JP2012108689A (en) * 2010-11-17 2012-06-07 Nippon Hoso Kyokai <Nhk> Character region detecting apparatus and program thereof
KR101496390B1 (en) 2014-11-04 2015-02-27 주식회사 사라다 System for Vehicle Number Detection
KR101848019B1 (en) * 2016-12-27 2018-04-11 아주대학교산학협력단 Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area
KR101888381B1 (en) 2018-06-19 2018-08-14 (주)서광시스템 Vehicle enforcement system based on operating detecting area deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961902B1 (en) * 2009-06-22 2010-06-10 숭실대학교산학협력단 Method for detecting vehicle number plate location of the illegalstopping and parking vehicle and system therefor
JP2012108689A (en) * 2010-11-17 2012-06-07 Nippon Hoso Kyokai <Nhk> Character region detecting apparatus and program thereof
KR101496390B1 (en) 2014-11-04 2015-02-27 주식회사 사라다 System for Vehicle Number Detection
KR101848019B1 (en) * 2016-12-27 2018-04-11 아주대학교산학협력단 Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area
KR101888381B1 (en) 2018-06-19 2018-08-14 (주)서광시스템 Vehicle enforcement system based on operating detecting area deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
송태엽 외 3. 번호판 인식 향상을 위한 번호판 검출과 초해상도 융합 방법. 컴퓨터정보학회논문지 제16권제4호, 2011.04., pp. 54-60. 1부.* *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102171384B1 (en) 2020-03-04 2020-10-28 주식회사 문창 Object recognition system and method using image correction filter
KR102166776B1 (en) * 2020-04-29 2020-10-16 주식회사 서경산업 Service system for smart traffic managing on road
KR102166784B1 (en) * 2020-05-22 2020-10-16 주식회사 서경산업 System for cctv monitoring and managing on bicycle road
KR102185500B1 (en) * 2020-06-02 2020-12-03 에스아이오티 주식회사 Detection and management system and management equipment having the same
KR102211734B1 (en) 2020-08-28 2021-02-03 주식회사 문창 Video surveillance device using image correction filter
KR102238629B1 (en) * 2020-10-13 2021-04-09 한국해양과학기술원 System and method for overcoming low visibility situation based on deep learning
KR102240127B1 (en) * 2020-10-13 2021-04-14 한국해양과학기술원 Surrounding situation monitoring device applying technology for overcoming low visibility situation based on deep learning
KR20220079479A (en) 2020-12-04 2022-06-13 주식회사 두원전자통신 Intelligent image analysis system for accuracy enhancement of object analysis by auto learning, estimation and distribution of object based on Deep Neural Network Algorithm
CN113221770A (en) * 2021-05-18 2021-08-06 青岛根尖智能科技有限公司 Cross-domain pedestrian re-identification method and system based on multi-feature hybrid learning
KR102316700B1 (en) * 2021-05-31 2021-10-25 주식회사 서경산업 Automated control system of bicycle
KR102418823B1 (en) 2022-04-12 2022-07-11 (주)테라테코 Deep learning-based illegal parking enforcement system using wide-area detection images
KR102662625B1 (en) 2024-01-17 2024-05-08 주식회사 아프로시스템즈 Variable multi-functional unmanned enforcement system by vehicle type and time zone using deep learning

Similar Documents

Publication Publication Date Title
KR102073971B1 (en) Vehicle enforcement system and method based on deep learning
KR102054061B1 (en) Recognition method of Vehicle Licence Plate
CN110969160B (en) License plate image correction and recognition method and system based on deep learning
CN109145798B (en) Driving scene target identification and travelable region segmentation integration method
US20030190058A1 (en) Apparatus and method for measuring queue length of vehicles
CN109034047A (en) A kind of method for detecting lane lines and device
KR102089343B1 (en) Around view monitoring system and calibration method for around view cameras
JP2009048629A (en) Detecting method
JP6818626B2 (en) Vehicle type discrimination device, vehicle type discrimination method, and vehicle type discrimination system
CN109002830B (en) Method and device for classifying objects for vehicles
KR101178508B1 (en) Vehicle Collision Alarm System and Method
WO2021147055A1 (en) Systems and methods for video anomaly detection using multi-scale image frame prediction network
KR101705061B1 (en) Extracting License Plate for Optical Character Recognition of Vehicle License Plate
KR101911239B1 (en) The channel extension operation system for detecting illegally parked vehicles
JP6847709B2 (en) Camera devices, detectors, detection systems and mobiles
Abdagic et al. Counting traffic using optical flow algorithm on video footage of a complex crossroad
KR102489884B1 (en) Image processing apparatus for improving license plate recognition rate and image processing method using the same
CN116152758A (en) Intelligent real-time accident detection and vehicle tracking method
KR101370011B1 (en) Driving type auto traffic enforcement system and method for monitoring illegal stopping and parking vehicles using image stabilization and restoration method
CN110688876A (en) Lane line detection method and device based on vision
US11157755B2 (en) Image processing apparatus
JP2018073049A (en) Image recognition device, image recognition system, and image recognition method
KR101865958B1 (en) Method and apparatus for recognizing speed limit signs
Mir et al. Automated speed limit identification for efficient driving system
CN113743218B (en) License plate recognition method, license plate recognition device and computer readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant