KR102416066B1 - System and method for matching video - Google Patents

System and method for matching video Download PDF

Info

Publication number
KR102416066B1
KR102416066B1 KR1020210061761A KR20210061761A KR102416066B1 KR 102416066 B1 KR102416066 B1 KR 102416066B1 KR 1020210061761 A KR1020210061761 A KR 1020210061761A KR 20210061761 A KR20210061761 A KR 20210061761A KR 102416066 B1 KR102416066 B1 KR 102416066B1
Authority
KR
South Korea
Prior art keywords
image
bounding box
region
interest
overlap ratio
Prior art date
Application number
KR1020210061761A
Other languages
Korean (ko)
Inventor
정부은
최흥묵
윤정익
김영규
뉴엔탄하이
Original Assignee
유니셈 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니셈 (주) filed Critical 유니셈 (주)
Priority to KR1020210061761A priority Critical patent/KR102416066B1/en
Application granted granted Critical
Publication of KR102416066B1 publication Critical patent/KR102416066B1/en

Links

Images

Classifications

    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Image Analysis (AREA)

Abstract

According to an embodiment of the present invention, an unmanned enforcement system for a two-wheeled vehicle includes: a data acquisition module provided on a pole arm located at a first distance from a stop line of a crosswalk in the reverse driving direction and configured to acquire an image and speed-related data for the two-wheeled vehicle; an enforcement module configured to determine whether to wear a helmet, whether to violate speed, and whether to violate a signal based on the data acquired through the data acquisition module; and a control module configured to receive a judgment result through the enforcement module, manage and monitor the judgement result. Accordingly, the location of a corresponding two-wheeled vehicle object may be tracked through a low-quality image.

Description

영상 매칭 시스템 및 방법{SYSTEM AND METHOD FOR MATCHING VIDEO}Image matching system and method

본 발명은 영상 매칭 시스템 및 방법에 관한 것이다.The present invention relates to an image matching system and method.

종래의 교통법규 위반 감시시스템은 경찰관에 의한 인위적인 차량 단속과 감시 장치에 의한 무인 교통법규 위반 감시로 구분된다. 인위적인 차량 단속은 각 교차로나 도로에 경찰관이 배치되어 차량마다 검문검색을 실시하고 교통법규를 위반한 차량 정보를 경찰관이 소지한 무전기로 전달한다. 무인 교통법규 위반 감시는 자동차의 속도를 속도감지기로 인지하고 교통법규 상의 기준속도를 초과하는 차량에 대해서는 카메라를 작동하여 자동차를 촬영한다.The conventional traffic law violation monitoring system is divided into an artificial vehicle control by a police officer and an unmanned traffic law violation monitoring by a monitoring device. In the artificial vehicle crackdown, police officers are placed at each intersection or road to conduct checkpoints and search for each vehicle, and information on vehicles that violate traffic laws is transmitted to the police officer's walkie-talkie. Unmanned traffic law violation monitoring recognizes the speed of a vehicle with a speed sensor and operates a camera to take pictures of the vehicle that exceeds the standard speed under the traffic law.

하지만 차량과 달리 오토바이와 같은 이륜차는 번호판이 후방에만 부착되어 있는 경우가 많아 일반적인 카메라로는 단속에 어려움이 있다. 또한, 차량에 비해 번호판의 크기도 작아 이륜차의 번호 인식과 위치 추적을 동시에 하는데 어려움이 있었다.However, unlike vehicles, two-wheeled vehicles such as motorcycles often have a license plate attached only to the rear, so it is difficult to crack down with a general camera. In addition, the size of the license plate was smaller than that of the vehicle, so it was difficult to recognize the number and track the location of the two-wheeled vehicle at the same time.

따라서, 기존의 영상 또는 이미지에 존재하는 객체에 바운딩 박스를 설정한 후 해당 바운딩 박스를 분석함으로써 객체에 대한 정보를 획득하고, 바운딩 박스의 이동 여부를 파악하여 그 위치를 파악하는 기술을 이륜차 객체 추적에 그대로 적용할 경우, 이륜차의 번호 인식과 위치 추적에 대한 정확성이 떨어지는 문제가 발생한다.Therefore, after setting a bounding box on an object existing in an existing image or image, information about the object is obtained by analyzing the bounding box, and the technique of figuring out whether the bounding box is moving and determining its location is a two-wheeled vehicle object tracking technology. If applied as it is, there is a problem that the accuracy of number recognition and location tracking of two-wheeled vehicles is lowered.

대한민국 등록특허공보 10-1916832Republic of Korea Patent Publication No. 10-1916832

본 발명의 일 실시예는 고화질 영상에서 식별한 이륜차 객체의 식별번호를 저화질 영상에서 식별된 이륜차 객체에 부여한 후, 저화질 영상을 통해 해당 이륜차 객체의 위치를 추적하기 위한 영상 매칭 시스템을 제공하는 것을 목적으로 한다.An embodiment of the present invention provides an image matching system for assigning an identification number of a two-wheeled vehicle object identified in a high-quality image to a two-wheeled vehicle object identified in a low-quality image, and then tracking the position of the two-wheeled object through the low-resolution image do it with

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.On the other hand, the technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned are clearly to those of ordinary skill in the art to which the present invention belongs from the description below. can be understood

본 발명의 일 실시예에 따른 영상 매칭 시스템은, 제1 화질로 제1 영역 및 제2 영역에 대한 영상인 제1 영상을 획득하도록 구성되는 제1 영상 획득 모듈; 상기 제1 화질보다 낮은 화질인 제2 화질로 제1 영역 내지 제4 영역에 대한 영상인 제2 영상을 획득하도록 구성되는 제2 영상 획득 모듈; 및 상기 제1 영상 및 상기 제2 영상에서의 이륜차 객체 간의 겹침 비율을 기반으로 제1 영상 및 제2 영상에서의 이륜차 객체를 서로 매칭시키도록 구성되는 매칭 모듈을 포함한다.An image matching system according to an embodiment of the present invention includes: a first image acquisition module configured to acquire a first image that is an image for a first region and a second region with a first image quality; a second image acquiring module configured to acquire a second image, which is an image for the first to fourth regions, with a second image quality that is lower than the first image quality; and a matching module configured to match the motorcycle object in the first image and the second image to each other based on an overlap ratio between the motorcycle object in the first image and the second image.

상기 매칭 모듈은: 상기 제1 영상 및 상기 제2 영상을 수신하도록 구성되는 영상 수신부; 상기 제1 영상에 제1 관심 영역을 설정하고, 상기 제2 영상에서 상기 제1 관심 영역과 대응되는 영역에 제2 관심 영역을 설정하도록 구성되는 관심 영역 설정부; 상기 제1 관심 영역에서 이륜차 객체를 탐지하여 제1 바운딩 박스를 설정하고, 상기 제2 관심 영역에서 이륜차 객체를 탐지하여 제2 바운딩 박스를 설정하도록 구성되는 바운딩 박스 설정부; 상기 제1 바운딩 박스 각각에 서로 다른 식별번호를 부여하도록 구성되는 제1 식별번호 부여부; 상기 제2 관심 영역을 상기 제1 관심 영역의 크기에 대응되도록 크기를 조절한 후 이들을 서로 겹친 다음, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간의 겹침 비율을 산출하도록 구성되는 겹침 비율 산출부; 및 겹침 비율 산출부를 통해 산출된 겹침 비율을 기반으로, 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭시키도록 구성되는 매칭부를 포함할 수 있다.The matching module may include: an image receiving unit configured to receive the first image and the second image; a region of interest setting unit configured to set a first region of interest in the first image and set a second region of interest in a region corresponding to the first region of interest in the second image; a bounding box setting unit configured to detect a motorcycle object in the first region of interest to set a first bounding box, and detect a motorcycle object in the second region of interest to set a second bounding box; a first identification number granting unit configured to assign a different identification number to each of the first bounding boxes; an overlap ratio calculator configured to adjust the size of the second region of interest to correspond to the size of the first region of interest, overlap them, and then calculate an overlap ratio between the first bounding box and the second bounding box; and a matching unit configured to match the second bounding box having the highest overlap ratio with the specific first bounding box to the specific first bounding box based on the overlap ratio calculated through the overlap ratio calculating unit.

상기 매칭 모듈은: 상기 특정 제1 바운딩 박스와 매칭된 제2 바운딩 박스에 상기 특정 제1 바운딩 박스에 부여된 식별번호와 동일한 식별번호를 부여하도록 구성되는 제2 식별번호 부여부를 더 포함할 수 있다.The matching module may further include: a second identification number granting unit configured to assign the same identification number as the identification number assigned to the specific first bounding box to a second bounding box matched with the specific first bounding box .

상기 매칭부는: 상기 제2 바운딩 박스 중에서 상기 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 추출하도록 구성되는 바운딩 박스 추출 유닛; 상기 겹침 비율이 기 설정된 최소 겹침 비율을 초과하는지 여부를 판단하도록 구성되는 최소 겹침 비율 초과 여부 판단 유닛; 및 상기 최소 겹침 비율을 초과한 상기 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭하도록 구성되는 매칭 유닛을 포함할 수 있다.The matching unit may include: a bounding box extraction unit configured to extract a second bounding box having the highest overlap ratio with the specific first bounding box from among the second bounding boxes; a minimum overlap ratio exceeding or not judging unit, configured to determine whether the overlap ratio exceeds a preset minimum overlap ratio; and a matching unit, configured to match the second bounding box exceeding the minimum overlap ratio to the specific first bounding box.

상기 제1 관심 영역은: 상기 제1 영상 속에서, 정지선에서 역주행 방향으로 제1 거리만큼 떨어진 곳에서부터 상기 정지선에서 주행 방향으로 제2 거리만큼 떨어진 곳에 해당하는 영역이고, 상기 제2 관심 영역은: 상기 제2 영상 속에서, 정지선에서 역주행 방향으로 제1 거리만큼 떨어진 곳에서부터 상기 정지선에서 주행 방향으로 제2 거리만큼 떨어진 곳에 해당하는 영역일 수 있다.The first region of interest is: in the first image, a region corresponding to a distance away from the stop line by a first distance in the reverse driving direction by a second distance from the stop line in the driving direction, and the second region of interest includes: In the second image, it may be an area corresponding to a location separated by a second distance from the stop line in the driving direction from a first distance in the reverse driving direction from the stop line.

상기 제1 영상 획득 모듈 및 상기 제2 영상 획득 모듈은: 상기 정지선에서 역주행 방향으로 상기 제1 거리를 초과하는 거리만큼 떨어진 곳에 위치한 폴 암 상에 제공될 수 있다.The first image acquisition module and the second image acquisition module may be provided on a pole arm positioned apart from the stop line by a distance exceeding the first distance in a reverse running direction.

본 발명의 일 실시예에 따른 영상 매칭 방법은 (a) 제1 영상 획득 모듈을 통해 제1 화질로 제1 영역 및 제2 영역에 대한 영상인 제1 영상을 획득하는 단계; (b) 제2 영상 획득 모듈을 통해 상기 제1 화질보다 낮은 화질인 제2 화질로 제1 영역 내지 제4 영역에 대한 영상인 제2 영상을 획득하는 단계; 및 (c) 상기 매칭 모듈을 통해 상기 제1 영상 및 상기 제2 영상에서의 이륜차 객체 간의 겹침 비율을 기반으로 제1 영상 및 제2 영상에서의 이륜차 객체를 서로 매칭시키는 단계를 포함한다.An image matching method according to an embodiment of the present invention includes the steps of: (a) acquiring a first image that is an image of a first region and a second region with a first image quality through a first image acquisition module; (b) acquiring a second image, which is an image for the first to fourth regions, with a second image quality that is lower than the first image quality through a second image acquisition module; and (c) matching the motorcycle object in the first image and the second image to each other based on an overlap ratio between the motorcycle object in the first image and the second image through the matching module.

상기 (c) 단계는: (c-1) 영상 수신부를 통해 상기 제1 영상 및 상기 제2 영상을 수신하는 단계; (c-2) 관심 영역 설정부를 통해 상기 제1 영상에 제1 관심 영역을 설정하고, 상기 제2 영상에서 상기 제1 관심 영역과 대응되는 영역에 제2 관심 영역을 설정하는 단계; (c-3) 바운딩 박스 설정부를 통해 상기 제1 관심 영역에서 이륜차 객체를 탐지하여 제1 바운딩 박스를 설정하고, 상기 제2 관심 영역에서 이륜차 객체를 탐지하여 제2 바운딩 박스를 설정하는 단계; (c-4) 제1 식별번호 부여부를 통해 상기 제1 바운딩 박스 각각에 서로 다른 식별번호를 부여하는 단계; (c-5) 겹침 비율 산출부를 통해 상기 제2 관심 영역을 상기 제1 관심 영역의 크기에 대응되도록 크기를 조절한 후 이들을 서로 겹친 다음, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간의 겹침 비율을 산출하는 단계; 및 (c-6) 매칭부를 통해 상기 (c-5) 단계에서 산출된 겹침 비율을 기반으로, 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭시키는 단계를 포함할 수 있다.The step (c) includes: (c-1) receiving the first image and the second image through an image receiving unit; (c-2) setting a first region of interest in the first image through a region of interest setting unit, and setting a second region of interest in a region corresponding to the first region of interest in the second image; (c-3) setting a first bounding box by detecting a motorcycle object in the first region of interest through a bounding box setting unit, and setting a second bounding box by detecting a motorcycle object in the second region of interest; (c-4) assigning different identification numbers to each of the first bounding boxes through a first identification number assigning unit; (c-5) After adjusting the size of the second region of interest to correspond to the size of the first region of interest through an overlap ratio calculating unit, and overlapping them, the overlap ratio between the first bounding box and the second bounding box calculating ; and (c-6) matching the second bounding box having the highest overlap ratio with the specific first bounding box to the specific first bounding box based on the overlap ratio calculated in step (c-5) through the matching unit It may include the step of

상기 (c) 단계는: (c-7) 제2 식별번호 부여부를 통해 상기 특정 제1 바운딩 박스와 매칭된 제2 바운딩 박스에 상기 특정 제1 바운딩 박스에 부여된 식별번호와 동일한 식별번호를 부여하는 단계를 더 포함할 수 있다.The step (c) is: (c-7) giving the same identification number as the identification number assigned to the specific first bounding box to the second bounding box matched with the specific first bounding box through the second identification number assigning unit It may further include the step of

상기 (c-6) 단계는: (c-6-1) 바운딩 박스 추출 유닛을 통해 상기 제2 바운딩 박스 중에서 상기 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 추출하는 단계; (c-6-2) 최소 겹침 비율 초과 여부 판단 유닛을 통해 상기 겹침 비율이 기 설정된 최소 겹침 비율을 초과하는지 여부를 판단하는 단계; 및 (c-6-3) 매칭 유닛을 통해 상기 최소 겹침 비율을 초과한 상기 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭하는 단계를 포함할 수 있다.The step (c-6) includes: (c-6-1) extracting a second bounding box having the highest overlap ratio with the specific first bounding box from among the second bounding boxes through a bounding box extraction unit; (c-6-2) determining whether the overlap ratio exceeds a preset minimum overlap ratio through a minimum overlap ratio exceeding determination unit; and (c-6-3) matching the second bounding box exceeding the minimum overlap ratio to the specific first bounding box through a matching unit.

본 발명의 일 실시예에 따른 기록 매체는, 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 영상 매칭 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 기록 매체를 포함한다.A recording medium according to an embodiment of the present invention is a computer-readable recording medium, and includes a recording medium in which a program for executing the image matching method by a computer is recorded.

본 발명의 일 실시예에 따른 영상 매칭 시스템은 고화질 영상에서 식별한 이륜차 객체의 식별번호를 저화질 영상에서 식별된 이륜차 객체에 부여한 후, 저화질 영상을 통해 해당 이륜차 객체의 위치를 추적할 수 있다.The image matching system according to an embodiment of the present invention assigns the identification number of the two-wheeled vehicle object identified in the high-quality image to the two-wheeled object identified in the low-quality image, and then tracks the location of the two-wheeled object through the low-quality image.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.On the other hand, the effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be able

도 1은 본 발명의 일 실시예에 따른 영상 매칭 시스템(10)의 구성을 개략적으로 나타낸 도면이다.
도 2는 도로 상에 영상 매칭 시스템(10)이 설치된 모습을 나타낸 예시도이다.
도 3은 제1 영상 상에 제1 관심 영역(31) 및 제1 바운딩 박스(41)가 설정된 모습을 나타낸 도면이다.
도 4는 제2 영상 상에 제2 관심 영역(32) 및 제2 바운딩 박스(42)가 설정된 모습을 나타낸 도면이다.
도 5는 제1 바운딩 박스(41)가 설정된 제1 관심 영역(31)과 제2 바운딩 박스(42)가 설정된 제2 관심 영역(32)을 겹친 모습을 나타낸 도면이다.
도 6은 식별번호가 부여된 제2 바운딩 박스(42)가 이동하는 모습을 나타낸 도면이다.1 is a diagram schematically showing the configuration of an image matching system 10 according to an embodiment of the present invention.
2 is an exemplary view showing a state in which the image matching system 10 is installed on the road.
3 is a diagram illustrating a state in which the first region of interest 31 and the first bounding box 41 are set on the first image.
4 is a diagram illustrating a state in which a second region of interest 32 and a second bounding box 42 are set on a second image.
5 is a diagram illustrating a state in which the first region of interest 31 in which the first bounding box 41 is set and the second region of interest 32 in which the second bounding box 42 is set are overlapped.
6 is a view showing a state in which the second bounding box 42 to which an identification number is assigned moves.

본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Other advantages and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only this embodiment serves to complete the disclosure of the present invention, and to obtain common knowledge in the technical field to which the present invention pertains. It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.

만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다.Even if not defined, all terms (including technical or scientific terms) used herein have the same meaning as commonly accepted by common technology in the prior art to which this invention belongs.

일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.Terms defined by general dictionaries may be construed as having the same meaning as in the related description and/or in the text of the present application, and shall not be interpreted conceptually or excessively formally, even if not expressly defined herein. won't

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase.

명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.As used herein, 'comprise' and/or the various conjugations of this verb, eg, 'comprising', 'comprising', 'comprising', 'comprising', etc., refer to the stated composition, ingredient, component, A step, operation and/or element does not exclude the presence or addition of one or more other compositions, components, components, steps, operations and/or elements. As used herein, the term 'and/or' refers to each of the listed components or various combinations thereof.

한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다.Meanwhile, terms such as '~ unit', '~ group', '~ block', and '~ module' used throughout this specification may mean a unit that processes at least one function or operation. For example, it can mean software, a hardware component such as an FPGA or an ASIC.

그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.However, '~ part', '~ group', '~ block', and '~ module' are not meant to be limited to software or hardware. '~ unit', '~ group', '~ block', and '~ module' may be configured to reside in an addressable storage medium or to regenerate one or more processors.

따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.Accordingly, as an example, '~ part', '~ group', '~ block', and '~ module' are components such as software components, object-oriented software components, class components, and task components. fields, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and include variables.

구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.The functions provided within the components and '~part', '~gi', '~block', and '~module' are smaller than the number of components and '~bu', '~gi', '~block' ', '~modules' or may be further separated into additional components and '~parts', '~gi', '~blocks', and '~modules'.

이하, 본 명세서의 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings of the present specification.

도 1은 본 발명의 일 실시예에 따른 영상 매칭 시스템(10)의 구성을 개략적으로 나타낸 도면이다.1 is a diagram schematically showing the configuration of an image matching system 10 according to an embodiment of the present invention.

도 1을 참조하면, 영상 매칭 시스템(10)은 제1 영상 획득 모듈(100), 제2 영상 획득 모듈(200) 및 매칭 모듈(300)을 포함할 수 있다.Referring to FIG. 1 , the image matching system 10 may include a first image acquisition module 100 , a second image acquisition module 200 , and a matching module 300 .

도 2는 도로 상에 영상 매칭 시스템(10)이 설치된 모습을 나타낸 예시도이다.2 is an exemplary view showing a state in which the image matching system 10 is installed on a road.

도 2를 참조하면, 제1 영상 획득 모듈(100) 및 제2 영상 획득 모듈(200)은 정지선(12)에서 역주행 방향으로 제1 거리를 초과하는 거리만큼 떨어진 곳에 위치한 폴 암(11) 상에 제공될 수 있다.Referring to FIG. 2 , the first image acquisition module 100 and the second image acquisition module 200 are installed on the pole arm 11 located at a distance exceeding a first distance from the stop line 12 in the reverse running direction. can be provided.

매칭 모듈(300)의 경우 폴 암(11)의 기둥 상에 위치하는 것으로 도시되어 있으나, 제1 영상 획득 모듈(100) 및 제2 영상 획득 모듈(200)이 획득한 영상을 유선망 또는 무선망을 통해 수신할 수 있는 곳이라면 제한 없이 위치할 수 있다.In the case of the matching module 300, although it is shown as being positioned on the pole of the pole arm 11, the image acquired by the first image acquisition module 100 and the second image acquisition module 200 is connected to a wired network or a wireless network. It can be located without any restrictions as long as it can receive through.

도 1 및 도 2를 참조하면, 도로는 제1 영역(21) 내지 제4 영역(24)으로 구분될 수 있다.1 and 2 , a road may be divided into a first area 21 to a fourth area 24 .

보다 상세히 말하면, 제1 영역(21)은 정지선(12)으로부터 폴 암(11)의 위치 사이의 영역일 수 있다. 제2 영역(22)은 정지선(12)의 위치로부터 횡단보도 사이의 영역일 수 있다. 제3 영역(23)은 횡단보도가 위치한 영역일 수 있다. 제4 영역(24)은 제3 영역(23)에 해당하는 횡단보도의 타단으로부터 주행 방향으로 기 설정된 거리까지의 영역일 수 있으며, 일 예에 따르면 제3 영역(23)에 해당하는 횡단보도의 타단으로부터 주행 방향에 가장 근접하게 위치한 또 다른 횡단보도의 일단 사이의 영역일 수 있다.More specifically, the first region 21 may be a region between the stop line 12 and the position of the pole arm 11 . The second area 22 may be the area between the location of the stop line 12 and the crosswalk. The third area 23 may be an area in which a crosswalk is located. The fourth area 24 may be an area from the other end of the crosswalk corresponding to the third area 23 to a predetermined distance in the driving direction, and according to an example, the crosswalk corresponding to the third area 23 is It may be an area between one end of another crosswalk located closest to the driving direction from the other end.

제1 영상 획득 모듈(100)은 제1 화질로 제1 영역(21) 및 제2 영역(22)에 대한 영상인 제1 영상을 획득하도록 구성될 수 있다.The first image acquisition module 100 may be configured to acquire a first image that is an image of the first region 21 and the second region 22 with a first image quality.

예를 들어, 제1 영상 획득 모듈(100)은 9메가 픽셀의 해상도를 갖는 영상을 획득할 수 있는 영상 촬영 장치일 수 있으며, 이를 통해 이륜차 객체의 번호판을 인식할 수 있다. 즉, 제1 화질은 9메가 픽셀의 해상도일 수 있다. 다만, 이에 한정되지 않으며 이륜차 객체의 번호판을 인식할 수 있는 해상도라면 제한 없이 적용될 수 있다.For example, the first image acquisition module 100 may be an image photographing device capable of acquiring an image having a resolution of 9 megapixels, and through this, the license plate of the two-wheeled vehicle object may be recognized. That is, the first image quality may be a resolution of 9 megapixels. However, the present invention is not limited thereto, and any resolution capable of recognizing the license plate of the two-wheeled vehicle object may be applied without limitation.

제2 영상 획득 모듈(200)은 제2 화질로 제1 영역(21) 내지 제4 영역(24)에 대한 영상인 제2 영상을 획득하도록 구성될 수 있다.The second image acquisition module 200 may be configured to acquire a second image that is an image of the first region 21 to the fourth region 24 with a second image quality.

예를 들어, 제2 영상 획득 모듈(200)은 2메가 픽셀의 해상도를 갖는 영상을 획득할 수 있는 영상 촬영 장치일 수 있으며, 이를 통해 이륜차 객체의 위치를 인식할 수 있다. 즉, 제2 화질은 2메가 픽셀의 해상도일 수 있다. 다만, 이에 한정되지 않으며 제1 화질 이하의 해상도이면서 이륜차 객체의 위치를 인식할 수 있는 해상도라면 제한 없이 적용될 수 있다.For example, the second image acquisition module 200 may be an image photographing apparatus capable of acquiring an image having a resolution of 2 megapixels, and through this, the position of the two-wheeled vehicle object may be recognized. That is, the second image quality may be a resolution of 2 megapixels. However, the present invention is not limited thereto, and any resolution less than the first image quality and a resolution capable of recognizing the position of the two-wheeled vehicle object may be applied without limitation.

매칭 모듈(300)은 제1 영상 및 제2 영상에서의 이륜차 객체 간의 겹침 비율을 기반으로 제1 영상 및 제2 영상에서의 이륜차 객체를 서로 매칭시키도록 구성될 수 있다.The matching module 300 may be configured to match the motorcycle object in the first image and the second image to each other based on an overlap ratio between the motorcycle object in the first image and the second image.

매칭 모듈(300)은 영상 수신부(310), 관심 영역 설정부(320), 바운딩 박스 설정부(330), 제1 식별번호 부여부(340), 겹침 비율 산출부(350) 및 매칭부(360)를 포함할 수 있다.The matching module 300 includes an image receiving unit 310 , a region of interest setting unit 320 , a bounding box setting unit 330 , a first identification number granting unit 340 , an overlap ratio calculating unit 350 , and a matching unit 360 . ) may be included.

영상 수신부(310)는 제1 영상 획득 모듈(100)로부터 제1 영상을 수신하고, 제2 영상 획득 모듈(200)로부터 제2 영상을 수신하도록 구성될 수 있다.The image receiver 310 may be configured to receive a first image from the first image acquisition module 100 and receive a second image from the second image acquisition module 200 .

이를 위해 영상 수신부(310)는 제1 영상 획득 모듈(100) 및 제2 영상 획득 모듈(200)과 영상을 송수신 할 수 있는 공지의 유선망 또는 무선망으로 연결될 수 있다.To this end, the image receiver 310 may be connected to the first image acquisition module 100 and the second image acquisition module 200 through a known wired or wireless network capable of transmitting and receiving images.

도 3은 제1 영상 상에 제1 관심 영역(31) 및 제1 바운딩 박스(41)가 설정된 모습을 나타낸 도면이고, 도 4는 제2 영상 상에 제2 관심 영역(32) 및 제2 바운딩 박스(42)가 설정된 모습을 나타낸 도면이다.3 is a diagram illustrating a state in which the first region of interest 31 and the first bounding box 41 are set on the first image, and FIG. 4 is the second region of interest 32 and the second bounding box on the second image. It is a diagram showing a state in which the box 42 is set.

도 3 및 도 4를 참조하면, 관심 영역 설정부(320)는 제1 영상에 제1 관심 영역(31)을 설정하고, 제2 영상에서 상기 제1 관심 영역(31)과 대응되는 영역에 제2 관심 영역(32)을 설정하도록 구성될 수 있다.3 and 4 , the region of interest setting unit 320 sets a first region of interest 31 in a first image, and sets the first region of interest 31 in a second image to a region corresponding to the first region of interest 31 . 2 may be configured to establish a region of interest 32 .

예를 들어, 관심 영역 설정부(320)는 제1 영상 중에서 정지선(12)으로부터 역주행 방향으로 제1 거리만큼 떨어진 곳과 정지선(12)으로부터 주행 방향으로 제2 거리만큼 떨어진 곳의 사이 영역을 제1 관심 영역(31)으로 설정할 수 있다.For example, the region of interest setting unit 320 sets a region between a first distance from the stop line 12 in the reverse driving direction and a second distance away from the stop line 12 in the driving direction in the first image. One region of interest 31 may be set.

또한, 관심 영역 설정부(320)는 제2 영상 중에서 상기 제1 관심 영역(31)과 대응되는 영역인, 정지선(12)으로부터 역주행 방향으로 제1 거리만큼 떨어진 곳과 정지선(12)으로부터 주행 방향으로 제2 거리만큼 떨어진 곳의 사이 영역을 제2 관심 영역(32)으로 설정할 수 있다.In addition, the region of interest setting unit 320 is configured to set a region corresponding to the first region of interest 31 in the second image, a first distance from the stop line 12 in the reverse driving direction, and a driving direction from the stop line 12 . A region between the places separated by a second distance may be set as the second region of interest 32 .

바운딩 박스 설정부(330)는 제1 관심 영역(31)에서 이륜차 객체를 탐지하여 제1 바운딩 박스(41)를 설정하고, 제2 관심 영역(32)에서 이륜차 객체를 탐지하여 제2 바운딩 박스(42)를 설정하도록 구성될 수 있다.The bounding box setting unit 330 detects the motorcycle object in the first region of interest 31 to set the first bounding box 41, and detects the motorcycle object in the second region of interest 32 to detect a second bounding box ( 42) can be configured.

예를 들어, 바운딩 박스 설정부(330)에서는 영상을 입력 받고 이륜차 객체를 탐지하여 출력할 수 있는 객체 탐지 딥러닝 알고리즘이 실행될 수 있다.For example, the bounding box setting unit 330 may execute an object detection deep learning algorithm capable of receiving an image and detecting and outputting a two-wheeled vehicle object.

제1 식별번호 부여부(340)는 바운딩 박스 설정부(330)에 의해 설정된 제1 바운딩 박스(41) 각각에 서로 다른 식별번호를 부여하도록 구성될 수 있다.The first identification number granting unit 340 may be configured to assign different identification numbers to each of the first bounding boxes 41 set by the bounding box setting unit 330 .

예를 들어, 제1 관심 영역(31)에 복수 개의 제1 바운딩 박스(41)가 설정될 경우, 제1 식별번호 부여부(340)는 이들 각각에 서로 다른 식별번호를 부여함으로써 이들을 구분하도록 할 수 있다.For example, when a plurality of first bounding boxes 41 are set in the first region of interest 31 , the first identification number assigning unit 340 assigns different identification numbers to each to distinguish them. can

이때, 식별번호는 이륜차 객체의 번호판을 인식을 통해 획득한 이륜차의 번호일 수 있다.In this case, the identification number may be the number of the two-wheeled vehicle obtained by recognizing the license plate of the two-wheeled vehicle object.

도 5는 제1 바운딩 박스(41)가 설정된 제1 관심 영역(31)과 제2 바운딩 박스(42)가 설정된 제2 관심 영역(32)을 겹친 모습을 나타낸 도면이다.5 is a diagram illustrating a state in which the first region of interest 31 in which the first bounding box 41 is set and the second region of interest 32 in which the second bounding box 42 is set are overlapped.

도 5를 참조하면, 겹침 비율 산출부(350)는 제2 관심 영역(32)을 제1 관심 영역(31)의 크기에 대응되도록 크기를 조절한 후 이들을 서로 겹친(오버랩) 다음, 제1 바운딩 박스(41)와 제2 바운딩 박스(42) 간의 겹침 비율(오버랩 비율)을 산출하도록 구성될 수 있다.Referring to FIG. 5 , the overlap ratio calculator 350 adjusts the size of the second region of interest 32 to correspond to the size of the first region of interest 31 , and then overlaps them (overlaps), and then performs first bounding. It may be configured to calculate an overlap ratio (overlap ratio) between the box 41 and the second bounding box 42 .

일 예에 따르면, 도 5의 경우, 제1 바운딩 박스(41)와 제2 바운딩 박스(42)가 서로 겹쳐진 것을 확인할 수 있으며, 겹침 비율 산출부(350)는 이들 간의 겹침 비율로 0.6을 산출할 수 있다.According to an example, in the case of FIG. 5 , it can be confirmed that the first bounding box 41 and the second bounding box 42 overlap each other, and the overlap ratio calculator 350 calculates 0.6 as the overlap ratio between them. can

다른 예에 따르면, 제1 관심 영역(31)에 복수의 제1 바운딩 박스(41)가 존재하고 제2 관심 영역(32)에 복수의 제2 바운딩 박스(42)가 존재할 수 있으며, 겹침 비율 산출부(350)는 이 경우에도 각각의 제1 바운딩 박스(41)와 각각의 제2 바운딩 박스(42) 간의 겹침 비율을 산출할 수 있다. 이때, 특정 제1 바운딩 박스(41)는 복수의 제2 바운딩 박스(42)들 중에서 어느 하나의 제2 바운딩 박스(42)와의 겹침 비율이 다른 제2 바운딩 박스(42)들과의 겹침 비율보다 더 높게 산출될 수 있다.According to another example, a plurality of first bounding boxes 41 may exist in the first region of interest 31 and a plurality of second bounding boxes 42 may exist in the second region of interest 32 , and the overlap ratio is calculated. The unit 350 may also calculate an overlap ratio between each of the first bounding boxes 41 and each of the second bounding boxes 42 in this case. At this time, the specific first bounding box 41 has an overlap ratio with any one of the second bounding boxes 42 among the plurality of second bounding boxes 42 , which is higher than the overlap ratio with other second bounding boxes 42 . It can be calculated higher.

매칭부(360)는 겹침 비율 산출부(350)를 통해 산출된 겹침 비율을 기반으로, 특정 제1 바운딩 박스(41)와의 겹침 비율이 가장 높은 제2 바운딩 박스(42)를 상기 특정 제1 바운딩 박스(41)에 매칭시키도록 구성될 수 있다.The matching unit 360 sets the second bounding box 42 having the highest overlap ratio with the specific first bounding box 41 based on the overlap ratio calculated through the overlap ratio calculating unit 350 to the specific first bounding unit 360 . It can be configured to match box 41 .

일 예에 따르면, 도 5의 경우, 한 개의 제1 바운딩 박스(41)와 한 개의 제2 바운딩 박스(42)가 존재하며 이들 간의 겹침 비율로 0.6이 산출되었으므로, 매칭부(360) 도 5에 도시된 제1 바운딩 박스(41)와 제2 바운딩 박스(42)를 서로 매칭시킬 수 있다.According to an example, in the case of FIG. 5, one first bounding box 41 and one second bounding box 42 exist, and since 0.6 is calculated as an overlap ratio between them, the matching unit 360 is shown in FIG. The illustrated first bounding box 41 and the second bounding box 42 may be matched with each other.

다른 예에 따르면, 제1 관심 영역(31)에 복수의 제1 바운딩 박스(41)가 존재하고 제2 관심 영역(32)에 복수의 제2 바운딩 박스(42)가 존재할 경우, 겹침 비율 산출부(350)를 통해 각각의 제1 바운딩 박스(41)와 각각의 제2 바운딩 박스(42) 간의 겹침 비율을 산출하였으므로, 매칭부(360)는 복수의 제2 바운딩 박스(42) 중 특정 제1 바운딩 박스(41)와의 겹침 비율이 가장 높은 제2 바운딩 박스(42)를 상기 특정 제1 바운딩 박스(41)에 매칭시킬 수 있다. According to another example, when a plurality of first bounding boxes 41 exist in the first ROI 31 and a plurality of second bounding boxes 42 exist in the second ROI 32 , the overlap ratio calculator Since the overlap ratio between each of the first bounding boxes 41 and each of the second bounding boxes 42 was calculated through 350 , the matching unit 360 selects a specific first among the plurality of second bounding boxes 42 . The second bounding box 42 having the highest overlap ratio with the bounding box 41 may be matched to the specific first bounding box 41 .

매칭부(360)에 대해 보다 상세히 살펴보면 다음과 같다.The matching unit 360 will be described in more detail as follows.

매칭부(360)는 바운딩 박스 추출 유닛(361), 최소 겹침 비율 초과 여부 판단 유닛(362) 및 매칭 유닛(363)을 포함할 수 있다.The matching unit 360 may include a bounding box extraction unit 361 , a determining whether the minimum overlap ratio is exceeded, 362 , and a matching unit 363 .

바운딩 박스 추출 유닛(361)은 제2 바운딩 박스(42) 중에서 특정 제1 바운딩 박스(41)와의 겹침 비율이 가장 높은 제2 바운딩 박스(42)를 추출하도록 구성될 수 있다.The bounding box extraction unit 361 may be configured to extract the second bounding box 42 having the highest overlap ratio with the specific first bounding box 41 from among the second bounding boxes 42 .

최소 겹침 비율 초과 여부 판단 유닛(362)은 바운딩 박스 추출 유닛(361)을 통해 추출된 제2 바운딩 박스(42)에 대한 겹침 비율이 기 설정된 최소 겹침 비율을 초과하는지 여부를 판단하도록 구성될 수 있다.The minimum overlap ratio determination unit 362 may be configured to determine whether the overlap ratio for the second bounding box 42 extracted through the bounding box extraction unit 361 exceeds a preset minimum overlap ratio. Can be configured to .

예를 들어, 최소 겹침 비율은 0.5로 설정될 수 있으나, 이는 사용자의 설정에 따라 얼마든지 변경될 수 있다.For example, the minimum overlap ratio may be set to 0.5, but this may be freely changed according to a user's setting.

최소 겹침 비율은 제1 바운딩 박스(41)와 제2 바운딩 박스(42)를 매칭시킬 시 최소한의 최소한의 신뢰도 확보를 위한 것이다.The minimum overlap ratio is for securing the minimum reliability when matching the first bounding box 41 and the second bounding box 42 .

예를 들어, 제1 관심 영역(31)과 제2 관심 영역(32) 안에 실제로는 서로 다른 제1 이륜차 객체와 제2 이륜차 객체가 존재하나, 이륜차 객체 탐지 오류로 인해 제1 바운딩 박스(41)는 제1 이륜차 객체에만 설정되고 제2 바운딩 박스(42)는 제2 이륜차 객체에만 설정될 수 있다.For example, the first two-wheeled vehicle object and the second two-wheeled vehicle object actually exist in the first ROI 31 and the second ROI 32, but due to an error in detecting the two-wheeled vehicle object, the first bounding box 41 may be set only for the first two-wheeled vehicle object, and the second bounding box 42 may be set only for the second two-wheeled vehicle object.

이 경우 실제로는 서로 다른 이륜차 객체임에도 제1 바운딩 박스(41)와 제2 바운딩 박스(42) 간에 겹쳐지는 영역이 있을 경우, 매칭부(360)는 이들 바운딩 박스를 서로 매칭시키는 오류가 발생하게 된다.In this case, if there is an overlapping area between the first bounding box 41 and the second bounding box 42 even though they are actually different two-wheeled vehicle objects, the matching unit 360 causes an error in matching these bounding boxes with each other. .

따라서, 최소 겹침 비율 초과 여부 판단 유닛(362)을 통해 겹침 비율이 기 설정된 최소 겹침 비율을 초과하는지 여부를 판단함으로써 이러한 매칭 오류가 발생활 확률을 감소시킬 수 있다.Accordingly, the probability of occurrence of such a matching error can be reduced by determining whether the overlap ratio exceeds a preset minimum overlap ratio through the minimum overlap ratio exceeding determination unit 362 .

매칭 유닛(363)은 바운딩 박스 추출 유닛(361)을 통해 추출된 제2 바운딩 박스(42) 중에서 최소 겹침 비율을 초과한 제2 바운딩 박스(42) 만을 특정 제1 바운딩 박스(41)에 매칭하도록 구성될 수 있다.The matching unit 363 is configured to match only the second bounding box 42 exceeding the minimum overlap ratio among the second bounding boxes 42 extracted through the bounding box extraction unit 361 to a specific first bounding box 41. can be configured.

도 6은 식별번호가 부여된 제2 바운딩 박스(42)가 이동하는 모습을 나타낸 도면이다.6 is a view showing a state in which the second bounding box 42 to which an identification number is assigned moves.

도 1 및 도 6을 참조하면, 매칭 모듈(300)은 제2 식별번호 부여부(370)를 더 포함할 수 있다.1 and 6 , the matching module 300 may further include a second identification number assigning unit 370 .

제2 식별번호 부여부(370)는 특정 제1 바운딩 박스(41)와 매칭된 제2 바운딩 박스(42)에 특정 제1 바운딩 박스(41)에 부여된 식별번호와 동일한 식별번호를 부여하도록 구성될 수 있다.The second identification number granting unit 370 is configured to give the same identification number as the identification number given to the specific first bounding box 41 to the second bounding box 42 matched with the specific first bounding box 41 can be

즉, 제2 식별번호 부여부(370)를 통해 제2 영상에서 탐지된 이륜차 객체에 이륜차의 번호에 해당하는 식별번호를 부여함으로써, 번호가 확인된 이륜차 객체의 위치를 추적할 수 있다.That is, by assigning an identification number corresponding to the number of the two-wheeled vehicle to the two-wheeled object detected in the second image through the second identification number assigning unit 370 , the position of the two-wheeled object whose number has been confirmed may be tracked.

본 발명의 영상 매칭 시스템(10)은 제1 영상에서 식별한 이륜차 객체의 식별번호를 제2 영상에서 식별된 이륜차 객체에 부여한 후, 제2 영상에서의 해당 이륜차 객체의 위치를 추적할 수 있다.The image matching system 10 of the present invention may assign the identification number of the motorcycle object identified in the first image to the motorcycle object identified in the second image, and then track the location of the motorcycle object in the second image.

이를 통해, 제2 영상의 각 프레임 간의 시간 간격과 식별번호가 부여된 이륜차 객체의 위치를 기반으로, 이륜차 객체의 속도를 산출한 후 기준 속도 위반일 경우 해당 이륜차의 소유자에게 속도 위반 과태료를 부과하기 위한 데이터로 사용할 수 있다.Through this, the speed of the motorcycle object is calculated based on the time interval between each frame of the second image and the location of the motorcycle object to which the identification number is assigned. can be used as data for

또한, 신호등을 신호를 관리하는 장치로부터 획득한 신호등의 신호와 이륜차 객체의 위치를 기반으로, 이륜차 객체의 신호 위반 여부를 파악하여 해당 이륜차 소유자에게 신호 위반 과태료를 부과하기 위한 데이터로 사용할 수 있다.In addition, based on the signal of the traffic light obtained from the signal management device for the traffic light and the location of the two-wheeled vehicle object, it can be used as data to determine whether the two-wheeled vehicle object has violated the signal and to impose a signal violation fine to the corresponding two-wheeled vehicle owner.

본 발명의 일 실시예에 따른 영상 매칭 방법은 (a) 제1 영상 획득 모듈을 통해 제1 화질로 제1 영역 및 제2 영역에 대한 영상인 제1 영상을 획득하는 단계; (b) 제2 영상 획득 모듈을 통해 상기 제1 화질보다 낮은 화질인 제2 화질로 제1 영역 내지 제4 영역에 대한 영상인 제2 영상을 획득하는 단계; 및 (c) 상기 매칭 모듈을 통해 상기 제1 영상 및 상기 제2 영상에서의 이륜차 객체 간의 겹침 비율을 기반으로 제1 영상 및 제2 영상에서의 이륜차 객체를 서로 매칭시키는 단계를 포함한다.An image matching method according to an embodiment of the present invention includes the steps of: (a) acquiring a first image that is an image of a first region and a second region with a first image quality through a first image acquisition module; (b) acquiring a second image, which is an image for the first to fourth regions, with a second image quality that is lower than the first image quality through a second image acquisition module; and (c) matching the motorcycle object in the first image and the second image to each other based on an overlap ratio between the motorcycle object in the first image and the second image through the matching module.

상기 (c) 단계에 대해 보다 상세히 서술하면 다음과 같다.The step (c) is described in more detail as follows.

상기 (c) 단계는: (c-1) 영상 수신부를 통해 상기 제1 영상 및 상기 제2 영상을 수신하는 단계; (c-2) 관심 영역 설정부를 통해 상기 제1 영상에 제1 관심 영역을 설정하고, 상기 제2 영상에서 상기 제1 관심 영역과 대응되는 영역에 제2 관심 영역을 설정하는 단계; (c-3) 바운딩 박스 설정부를 통해 상기 제1 관심 영역에서 이륜차 객체를 탐지하여 제1 바운딩 박스를 설정하고, 상기 제2 관심 영역에서 이륜차 객체를 탐지하여 제2 바운딩 박스를 설정하는 단계; (c-4) 제1 식별번호 부여부를 통해 상기 제1 바운딩 박스 각각에 서로 다른 식별번호를 부여하는 단계; (c-5) 겹침 비율 산출부를 통해 상기 제2 관심 영역을 상기 제1 관심 영역의 크기에 대응되도록 크기를 조절한 후 이들을 서로 겹친 다음, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간의 겹침 비율을 산출하는 단계; 및 (c-6) 매칭부를 통해 상기 (c-5) 단계에서 산출된 겹침 비율을 기반으로, 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭시키는 단계를 포함할 수 있다.The step (c) includes: (c-1) receiving the first image and the second image through an image receiving unit; (c-2) setting a first region of interest in the first image through a region of interest setting unit, and setting a second region of interest in a region corresponding to the first region of interest in the second image; (c-3) setting a first bounding box by detecting a motorcycle object in the first region of interest through a bounding box setting unit, and setting a second bounding box by detecting a motorcycle object in the second region of interest; (c-4) assigning different identification numbers to each of the first bounding boxes through a first identification number assigning unit; (c-5) After adjusting the size of the second region of interest to correspond to the size of the first region of interest through an overlap ratio calculating unit, and overlapping them, the overlap ratio between the first bounding box and the second bounding box calculating ; and (c-6) matching the second bounding box having the highest overlap ratio with the specific first bounding box to the specific first bounding box based on the overlap ratio calculated in step (c-5) through the matching unit It may include the step of

또한, 상기 (c) 단계는: (c-7) 제2 식별번호 부여부를 통해 상기 특정 제1 바운딩 박스와 매칭된 제2 바운딩 박스에 상기 특정 제1 바운딩 박스에 부여된 식별번호와 동일한 식별번호를 부여하는 단계를 더 포함할 수 있다.In addition, the step (c) is: (c-7) the same identification number as the identification number assigned to the specific first bounding box to the second bounding box matched with the specific first bounding box through the second identification number granting unit It may further include the step of giving.

상기 (c-6) 단계에 대해 보다 상세히 서술하면 다음과 같다.The step (c-6) will be described in more detail as follows.

상기 (c-6) 단계는: (c-6-1) 바운딩 박스 추출 유닛을 통해 상기 제2 바운딩 박스 중에서 상기 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 추출하는 단계; (c-6-2) 최소 겹침 비율 초과 여부 판단 유닛을 통해 상기 겹침 비율이 기 설정된 최소 겹침 비율을 초과하는지 여부를 판단하는 단계; 및 (c-6-3) 매칭 유닛을 통해 상기 최소 겹침 비율을 초과한 상기 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭하는 단계를 포함할 수 있다.The step (c-6) includes: (c-6-1) extracting a second bounding box having the highest overlap ratio with the specific first bounding box from among the second bounding boxes through a bounding box extraction unit; (c-6-2) determining whether the overlap ratio exceeds a preset minimum overlap ratio through a minimum overlap ratio exceeding determination unit; and (c-6-3) matching the second bounding box exceeding the minimum overlap ratio to the specific first bounding box through a matching unit.

본 발명의 일 실시예에 따른 기록 매체는, 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 영상 매칭 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 기록 매체를 포함한다.A recording medium according to an embodiment of the present invention is a computer-readable recording medium, and includes a recording medium in which a program for executing the image matching method by a computer is recorded.

이상에서 실시예를 통해 본 발명을 설명하였으나, 위 실시예는 단지 본 발명의 사상을 설명하기 위한 것으로 이에 한정되지 않는다. 통상의 기술자는 전술한 실시예에 다양한 변형이 가해질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 특허청구범위의 해석을 통해서만 정해진다.Although the present invention has been described with reference to examples above, the above examples are merely for explaining the spirit of the present invention and are not limited thereto. Those skilled in the art will understand that various modifications may be made to the above-described embodiments. The scope of the present invention is determined only through interpretation of the appended claims.

10: 영상 매칭 시스템
11: 폴 암
12: 정지선
21: 제1 영역
22: 제2 영역
23: 제3 영역
24: 제4 영역
31: 제1 관심 영역
32: 제2 관심 영역
41: 제1 바운딩 박스
42: 제2 바운딩 박스
100: 제1 영상 획득 모듈
200: 제2 영상 획득 모듈
300: 매칭 모듈
310: 영상 수신부
320: 관심 영역 설정부
330: 바운딩 박스 설정부
340: 제1 식별번호 부여부
350: 겹침 비율 산출부
360: 매칭부
361: 바운딩 박스 추출 유닛
362: 최소 겹침 비율 초과 여부 판단 유닛
363: 매칭 유닛
370: 제2 식별번호 부여부10: video matching system
11: Pole Arm
12: stop line
21: first area
22: second area
23: third area
24: fourth area
31: first region of interest
32: second region of interest
41: first bounding box
42: second bounding box
100: first image acquisition module
200: second image acquisition module
300: matching module
310: video receiver
320: region of interest setting unit
330: bounding box setting unit
340: first identification number granting unit
350: overlap ratio calculator
360: matching unit
361: bounding box extraction unit
362: unit for determining whether the minimum overlap ratio is exceeded
363: matching unit
370: second identification number granting unit

Claims (11)

제1 화질로 제1 영역 및 제2 영역에 대한 영상인 제1 영상을 획득하도록 구성되는 제1 영상 획득 모듈;
상기 제1 화질보다 낮은 화질인 제2 화질로 제1 영역 내지 제4 영역에 대한 영상인 제2 영상을 획득하도록 구성되는 제2 영상 획득 모듈; 및
상기 제1 영상 및 상기 제2 영상에서의 이륜차 객체 간의 겹침 비율을 기반으로 제1 영상 및 제2 영상에서의 이륜차 객체를 서로 매칭시키도록 구성되는 매칭 모듈을 포함하고,
상기 매칭 모듈은:
상기 제1 영상 및 상기 제2 영상을 수신하도록 구성되는 영상 수신부;
상기 제1 영상에 제1 관심 영역을 설정하고, 상기 제2 영상에서 상기 제1 관심 영역과 대응되는 영역에 제2 관심 영역을 설정하도록 구성되는 관심 영역 설정부;
상기 제1 관심 영역에서 이륜차 객체를 탐지하여 제1 바운딩 박스를 설정하고, 상기 제2 관심 영역에서 이륜차 객체를 탐지하여 제2 바운딩 박스를 설정하도록 구성되는 바운딩 박스 설정부;
상기 제1 바운딩 박스 각각에 서로 다른 식별번호를 부여하도록 구성되는 제1 식별번호 부여부;
상기 제2 관심 영역을 상기 제1 관심 영역의 크기에 대응되도록 크기를 조절한 후 이들을 서로 겹친 다음, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간의 겹침 비율을 산출하도록 구성되는 겹침 비율 산출부; 및
겹침 비율 산출부를 통해 산출된 겹침 비율을 기반으로, 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭시키도록 구성되는 매칭부를 포함하는, 영상 매칭 시스템.
a first image acquisition module, configured to acquire a first image that is an image for the first region and the second region with a first image quality;
a second image acquisition module configured to acquire a second image that is an image for the first to fourth regions with a second image quality that is lower than the first image quality; and
a matching module configured to match the motorcycle object in the first image and the second image to each other based on an overlap ratio between the motorcycle object in the first image and the second image;
The matching module is:
an image receiving unit configured to receive the first image and the second image;
a region of interest setting unit configured to set a first region of interest in the first image and set a second region of interest in a region corresponding to the first region of interest in the second image;
a bounding box setting unit configured to detect a motorcycle object in the first region of interest to set a first bounding box, and detect a motorcycle object in the second region of interest to set a second bounding box;
a first identification number granting unit configured to assign a different identification number to each of the first bounding boxes;
an overlap ratio calculator configured to adjust the size of the second region of interest to correspond to the size of the first region of interest, overlap them, and then calculate an overlap ratio between the first bounding box and the second bounding box; and
Based on the overlap ratio calculated through the overlap ratio calculator, the second bounding box having the highest overlap ratio with the specific first bounding box includes a matching unit configured to match the specific first bounding box to the specific first bounding box, An image matching system .
 삭제delete 제1항에 있어서,
상기 매칭 모듈은:
상기 특정 제1 바운딩 박스와 매칭된 제2 바운딩 박스에 상기 특정 제1 바운딩 박스에 부여된 식별번호와 동일한 식별번호를 부여하도록 구성되는 제2 식별번호 부여부를 더 포함하는, 영상 매칭 시스템.
According to claim 1,
The matching module is:
Further comprising a second identification number granting unit configured to assign the same identification number as the identification number assigned to the specific first bounding box to a second bounding box matched with the specific first bounding box.
 제3항에 있어서,
상기 매칭부는:
상기 제2 바운딩 박스 중에서 상기 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 추출하도록 구성되는 바운딩 박스 추출 유닛;
상기 겹침 비율이 기 설정된 최소 겹침 비율을 초과하는지 여부를 판단하도록 구성되는 최소 겹침 비율 초과 여부 판단 유닛; 및
상기 최소 겹침 비율을 초과한 상기 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭하도록 구성되는 매칭 유닛을 포함하는, 영상 매칭 시스템.
4. The method of claim 3,
The matching unit:
a bounding box extraction unit configured to extract a second bounding box having the highest overlap ratio with the specific first bounding box from among the second bounding boxes;
a minimum overlapping ratio exceeding or not determining unit, configured to determine whether the overlapping ratio exceeds a preset minimum overlapping ratio; and
and a matching unit, configured to match the second bounding box exceeding the minimum overlap ratio to the specific first bounding box.
 제4항에 있어서,
상기 제1 관심 영역은:
상기 제1 영상 속에서, 정지선에서 역주행 방향으로 제1 거리만큼 떨어진 곳에서부터 상기 정지선에서 주행 방향으로 제2 거리만큼 떨어진 곳에 해당하는 영역이고,
상기 제2 관심 영역은:
상기 제2 영상 속에서, 정지선에서 역주행 방향으로 제1 거리만큼 떨어진 곳에서부터 상기 정지선에서 주행 방향으로 제2 거리만큼 떨어진 곳에 해당하는 영역인, 영상 매칭 시스템.
5. The method of claim 4,
The first region of interest is:
In the first image, it is an area corresponding to a place separated by a second distance from the stop line in the driving direction from a place away from the stop line by a first distance in the reverse running direction,
The second region of interest is:
In the second image, an area corresponding to a location separated by a first distance from the stop line in the reverse running direction by a second distance from the stop line in the running direction in the second image.
 제5항에 있어서,
상기 제1 영상 획득 모듈 및 상기 제2 영상 획득 모듈은:
상기 정지선에서 역주행 방향으로 상기 제1 거리를 초과하는 거리만큼 떨어진 곳에 위치한 폴 암 상에 제공되는, 영상 매칭 시스템.
6. The method of claim 5,
The first image acquisition module and the second image acquisition module include:
An image matching system provided on a pole arm located at a distance exceeding the first distance in a reverse running direction from the stop line.
 (a) 제1 영상 획득 모듈을 통해 제1 화질로 제1 영역 및 제2 영역에 대한 영상인 제1 영상을 획득하는 단계;
(b) 제2 영상 획득 모듈을 통해 상기 제1 화질보다 낮은 화질인 제2 화질로 제1 영역 내지 제4 영역에 대한 영상인 제2 영상을 획득하는 단계; 및
(c) 매칭 모듈을 통해 상기 제1 영상 및 상기 제2 영상에서의 이륜차 객체 간의 겹침 비율을 기반으로 제1 영상 및 제2 영상에서의 이륜차 객체를 서로 매칭시키는 단계를 포함하는, 영상 매칭 방법.
(a) acquiring a first image that is an image of the first region and the second region with a first image quality through a first image acquisition module;
(b) acquiring a second image that is an image of the first to fourth regions with a second image quality that is lower than the first image quality through a second image acquisition module; and
(c) matching the motorcycle object in the first image and the second image to each other based on the overlap ratio between the motorcycle object in the first image and the second image through a matching module.
 제7항에 있어서,
상기 (c) 단계는:
(c-1) 영상 수신부를 통해 상기 제1 영상 및 상기 제2 영상을 수신하는 단계;
(c-2) 관심 영역 설정부를 통해 상기 제1 영상에 제1 관심 영역을 설정하고, 상기 제2 영상에서 상기 제1 관심 영역과 대응되는 영역에 제2 관심 영역을 설정하는 단계;
(c-3) 바운딩 박스 설정부를 통해 상기 제1 관심 영역에서 이륜차 객체를 탐지하여 제1 바운딩 박스를 설정하고, 상기 제2 관심 영역에서 이륜차 객체를 탐지하여 제2 바운딩 박스를 설정하는 단계;
(c-4) 제1 식별번호 부여부를 통해 상기 제1 바운딩 박스 각각에 서로 다른 식별번호를 부여하는 단계;
(c-5) 겹침 비율 산출부를 통해 상기 제2 관심 영역을 상기 제1 관심 영역의 크기에 대응되도록 크기를 조절한 후 이들을 서로 겹친 다음, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간의 겹침 비율을 산출하는 단계; 및
(c-6) 매칭부를 통해 상기 (c-5) 단계에서 산출된 겹침 비율을 기반으로, 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭시키는 단계를 포함하는, 영상 매칭 방법.
8. The method of claim 7,
Step (c) is:
(c-1) receiving the first image and the second image through an image receiving unit;
(c-2) setting a first region of interest in the first image through a region of interest setting unit, and setting a second region of interest in a region corresponding to the first region of interest in the second image;
(c-3) setting a first bounding box by detecting a motorcycle object in the first region of interest through a bounding box setting unit, and setting a second bounding box by detecting a motorcycle object in the second region of interest;
(c-4) assigning different identification numbers to each of the first bounding boxes through a first identification number assigning unit;
(c-5) After adjusting the size of the second region of interest to correspond to the size of the first region of interest through an overlap ratio calculating unit, and overlapping them, the overlap ratio between the first bounding box and the second bounding box calculating ; and
(c-6) matching the second bounding box having the highest overlap ratio with the specific first bounding box to the specific first bounding box based on the overlap ratio calculated in step (c-5) through the matching unit An image matching method comprising the steps.
 제8항에 있어서,
상기 (c) 단계는:
(c-7) 제2 식별번호 부여부를 통해 상기 특정 제1 바운딩 박스와 매칭된 제2 바운딩 박스에 상기 특정 제1 바운딩 박스에 부여된 식별번호와 동일한 식별번호를 부여하는 단계를 더 포함하는, 영상 매칭 방법.
9. The method of claim 8,
Step (c) is:
(c-7) further comprising the step of giving an identification number identical to the identification number given to the specific first bounding box to a second bounding box matched with the specific first bounding box through a second identification number granting unit, How to match video.
 제9항에 있어서,
상기 (c-6) 단계는:
(c-6-1) 바운딩 박스 추출 유닛을 통해 상기 제2 바운딩 박스 중에서 상기 특정 제1 바운딩 박스와의 겹침 비율이 가장 높은 제2 바운딩 박스를 추출하는 단계;
(c-6-2) 최소 겹침 비율 초과 여부 판단 유닛을 통해 상기 겹침 비율이 기 설정된 최소 겹침 비율을 초과하는지 여부를 판단하는 단계; 및
(c-6-3) 매칭 유닛을 통해 상기 최소 겹침 비율을 초과한 상기 제2 바운딩 박스를 상기 특정 제1 바운딩 박스에 매칭하는 단계를 포함하는, 영상 매칭 방법.
10. The method of claim 9,
Step (c-6) is:
(c-6-1) extracting a second bounding box having the highest overlap ratio with the specific first bounding box from among the second bounding boxes through a bounding box extraction unit;
(c-6-2) determining whether the overlap ratio exceeds a preset minimum overlap ratio through a minimum overlap ratio exceeding determination unit; and
(c-6-3) matching the second bounding box exceeding the minimum overlap ratio to the specific first bounding box through a matching unit.
 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
상기 제7항 내지 제10항 중 어느 한 항에 따른 영상 매칭 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 기록 매체.
In a computer-readable recording medium,
A recording medium in which a program for executing the image matching method according to any one of claims 7 to 10 with a computer is recorded.
KR1020210061761A 2021-05-13 2021-05-13 System and method for matching video KR102416066B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210061761A KR102416066B1 (en) 2021-05-13 2021-05-13 System and method for matching video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210061761A KR102416066B1 (en) 2021-05-13 2021-05-13 System and method for matching video

Publications (1)

Publication Number Publication Date
KR102416066B1 true KR102416066B1 (en) 2022-07-06

Family

ID=82400672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210061761A KR102416066B1 (en) 2021-05-13 2021-05-13 System and method for matching video

Country Status (1)

Country Link
KR (1) KR102416066B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101178878B1 (en) * 2012-04-06 2012-08-31 주식회사 사라다 Object recognition and situation video search system and the image tractability system which uses this
KR101916832B1 (en) 2017-07-11 2018-11-08 강경수 Method and apparatus for detecting of object using the annotation bounding box
KR20190054703A (en) * 2017-11-14 2019-05-22 김민석 Method for correcting image quality taken by dual camera
KR102041734B1 (en) * 2018-12-13 2019-11-27 유니셈(주) System and method for enforcing traffic violation based on deep learning
KR20200044171A (en) * 2018-10-05 2020-04-29 재단법인대구경북과학기술원 Real-time object detection method and apparatus by deep learning network model
KR102161972B1 (en) * 2020-01-16 2020-10-06 유니셈(주) Apparatus for calculation about traffic volume by using distance between vehicles
KR102235018B1 (en) * 2019-06-21 2021-04-01 국방과학연구소 Apparatus for aligning multiple camera images having different resolutions and method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101178878B1 (en) * 2012-04-06 2012-08-31 주식회사 사라다 Object recognition and situation video search system and the image tractability system which uses this
KR101916832B1 (en) 2017-07-11 2018-11-08 강경수 Method and apparatus for detecting of object using the annotation bounding box
KR20190054703A (en) * 2017-11-14 2019-05-22 김민석 Method for correcting image quality taken by dual camera
KR20200044171A (en) * 2018-10-05 2020-04-29 재단법인대구경북과학기술원 Real-time object detection method and apparatus by deep learning network model
KR102041734B1 (en) * 2018-12-13 2019-11-27 유니셈(주) System and method for enforcing traffic violation based on deep learning
KR102235018B1 (en) * 2019-06-21 2021-04-01 국방과학연구소 Apparatus for aligning multiple camera images having different resolutions and method thereof
KR102161972B1 (en) * 2020-01-16 2020-10-06 유니셈(주) Apparatus for calculation about traffic volume by using distance between vehicles

Similar Documents

Publication Publication Date Title
CN102765365B (en) Pedestrian detection method based on machine vision and pedestrian anti-collision warning system based on machine vision
KR101971878B1 (en) Video surveillance system and method using deep-learning based car number recognition technology in multi-lane environment
US20100172543A1 (en) Multiple object speed tracking system
KR101742490B1 (en) System for inspecting vehicle in violation by intervention and the method thereof
CN105825185A (en) Early warning method and device against collision of vehicles
KR102491091B1 (en) Method for producing collection video clip and, integrated unmanned traffic control system for two/four wheeled vehicle therewith
KR102368127B1 (en) Traffic violation enforcement system for motor bicycle
WO2014172708A1 (en) Pedestrian right of way monitoring and reporting system and method
KR102001002B1 (en) Method and system for recognzing license plate based on deep learning
CN106503622A (en) A kind of vehicle antitracking method and device
KR101492473B1 (en) Context-aware cctv intergrated managment system with user-based
KR101665961B1 (en) Apparatus for providing image of vehicle and method thereof
CN110580808B (en) Information processing method and device, electronic equipment and intelligent traffic system
CN105046966A (en) System and method for automatically detecting illegal parking behaviors in drop-off areas
KR101584105B1 (en) Vehicle photographing apparatus based multilane and control method thereof
KR102429312B1 (en) Enforcement device and method thereof
KR102332517B1 (en) Image surveilance control apparatus
KR20190094658A (en) System and Method for Managing Vehicle Running Information
KR20100053318A (en) A sensing system of a lane offense cars using the corner data and sensing method using the same
JP2016021200A (en) Determination method, determination system and determination device
WO2016132769A1 (en) Imaging device, control method for imaging device, and control program
KR102526194B1 (en) Police enfoforcement system of illegal intervention vehicle by moving vehicle tracking
KR101570485B1 (en) System for monitoring illegal parking of camera blind spot
KR102416066B1 (en) System and method for matching video
KR102521567B1 (en) Apparatus and method for recogniaing illegal driving of two-sheeled vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant