KR102492290B1 - Drone image analysis system based on deep learning for traffic measurement - Google Patents
Drone image analysis system based on deep learning for traffic measurement Download PDFInfo
- Publication number
- KR102492290B1 KR102492290B1 KR1020210024020A KR20210024020A KR102492290B1 KR 102492290 B1 KR102492290 B1 KR 102492290B1 KR 1020210024020 A KR1020210024020 A KR 1020210024020A KR 20210024020 A KR20210024020 A KR 20210024020A KR 102492290 B1 KR102492290 B1 KR 102492290B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vehicle
- road
- deep learning
- vehicles
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 36
- 238000010191 image analysis Methods 0.000 title claims abstract description 21
- 238000005259 measurement Methods 0.000 title claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템에 관한 것으로, 보다 상세하게는 인공지능을 기반으로 한 도로 상황의 객체 검출을 통해 도로 차량 흐름 상황을 자동으로 분석하기 위한 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템에 관한 것으로, 드론에 부착된 카메라를 통해 도로 영상을 실시간으로 촬영하는 영상촬영부;와 딥러닝을 기반으로 하여 상기 수신된 도로 영상에서 상기 도로 상의 차량들을 자동으로 검출하는 차량검출부;와 상기 검출된 차량들의 이동거리를 픽셀 단위로 계산하는 거리계산부;와 상기 차량검출부와 동시에 상기 영상 내 도로의 차선을 기준으로 영상의 축척 정보를 계산하는 축척계산부; 및 상기 계산된 픽셀 단위의 차량의 이동거리 및 상기 영상의 축척 정보를 기반으로 상기 영상 내 도로의 차량들의 실제 이동속도를 계산하는 차량속도계산부;를 포함한다.The present invention relates to a deep learning-based drone image analysis system for traffic measurement, and more particularly, to a traffic measurement system for automatically analyzing road vehicle flow conditions through object detection of road conditions based on artificial intelligence. It relates to a deep learning-based drone image analysis system, comprising: a video capture unit that captures a road image in real time through a camera attached to a drone; and vehicles on the road from the received road image based on deep learning. A vehicle detection unit that automatically detects; and a distance calculation unit that calculates the moving distance of the detected vehicles in pixel units; and a scale calculator that simultaneously calculates scale information of the image based on the lanes of the road in the image along with the vehicle detection unit. ; and a vehicle speed calculation unit that calculates actual moving speeds of vehicles on the road in the image based on the calculated moving distance of the vehicle in units of pixels and scale information of the image.
Description
본 발명은 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템에 관한 것으로, 보다 상세하게는 인공지능을 기반으로 한 도로 상황의 객체 검출을 통해 도로 차량 흐름 상황을 자동으로 분석하기 위한 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템에 관한 것이다.The present invention relates to a deep learning-based drone image analysis system for traffic measurement, and more particularly, to a traffic measurement system for automatically analyzing road vehicle flow conditions through object detection of road conditions based on artificial intelligence. It is about a drone image analysis system based on deep learning.
도시를 중심으로 인구가 밀집되면서 도심 지역과 도심을 드나드는 자동차 전용도로의 교통량이 크게 증가 하였다. 도로별로 교통의 흐름을 실시간으로 파악하는 것은 시간대별로 특정 도로에 차량이 집중되는 것을 막고 운전자에게 다양한 효과적인 경로를 제공함으로써 도심 지역 전체의 효율적인 교통 흐름 전략을 세우는데 중요한 정보를 제공한다. As the population is concentrated around the city, the traffic volume in the downtown area and on the exclusive roads for automobiles going in and out of the city center has increased significantly. Understanding the traffic flow by road in real time provides important information for establishing an efficient traffic flow strategy for the entire downtown area by preventing vehicles from concentrating on a specific road at different times of the day and providing drivers with various effective routes.
현재 교통 정보를 취득하는 방법으로 CCTV를 이용한 교통 정보를 제공하기 위해 드론(drone)을 이용한 영상 수집 방법이 활용되고 있다. 드론은 CCTV와 달리 특정 위치에 국한되지 않고 유동적으로 광범위한 도로 구간을 관찰할 수 있는 장점이 있다. 특히 교통사고와 같은 돌발적인 상황으로 인한 교통 흐름의 변화를 즉각 관찰할 수 있으며, 상공에서 수직으로 도로를 촬영하기 때문에 모든 차선을 동일한 각도에서 관찰할 수 있는 장점이 있다. Currently, as a method of acquiring traffic information, a video collection method using a drone is being used to provide traffic information using CCTV. Unlike CCTV, drones have the advantage of being able to observe a wide range of road sections flexibly without being limited to a specific location. In particular, changes in traffic flow due to unexpected situations such as traffic accidents can be observed immediately, and since the road is photographed vertically from the sky, all lanes can be observed from the same angle.
한편, 효과적인 교통의 흐름을 관리하기 위해서는 도로 영상의 취득뿐만 아니라, 촬영된 영상의 분석 기술이 필요하다. 현재 운용 중인 대부분의 CCTV 영상이나 드론 영상은 사람이 일일이 모니터링하고 있다. 그러나 설치된 CCTV의 대수가 늘어날수록 더 많은 인력이 필요하게 되고 관찰자의 피로도가 증가할 뿐만 아니라 사람에 의한 관측은 주로 직관적으로 교통 상황을 파악하기 때문에 차량 흐름을 정량적으로 분석하는 데에 한계가 있다. On the other hand, in order to effectively manage the flow of traffic, not only the acquisition of road images, but also the analysis technology of captured images are required. Most of the CCTV images or drone images currently in operation are monitored individually by humans. However, as the number of installed CCTVs increases, more manpower is required, observer fatigue increases, and human observation mainly intuitively grasps the traffic situation, so there is a limit to quantitative analysis of vehicle flow.
또한, 고정된 높이에서 촬영된 CCTV 영상과 달리, 드론 영상은 촬영 시점과 위치에 따라 드론의 고도가 다르며, 심지어 영상 촬영 중에도 고도가 변하기도 한다. 실제 도로의 크기 대비 촬영된 영상의 비율(축적)이 영상마다 다르면 영상 내에서 차량의 위치가 단위 시간동안 동일한 픽셀 수만큼 이동하였더라도 실제 차량이 도로에서 이동한 거리는 다르기 때문에 차량 추적 결과를 바탕으로 정확한 교통의 흐름을 파악하기 위해서는 영상의 축적을 계산하는 것이 선행되어야 한다. 드론 영상의 축적 정보를 얻기 위해, 영상의 첫 프레임(Frame)에서 실제 도로의 크기 정보를 사전에 취득하고 촬영된 도로 영상의 전체 픽셀 수와 비교하여 영상의 축척을 구했다.In addition, unlike CCTV images recorded at a fixed height, drone images have different altitudes depending on the shooting time and location, and even change during video shooting. If the ratio (accumulation) of the captured image to the size of the actual road is different for each image, even if the location of the vehicle in the image moves by the same number of pixels per unit time, the distance the actual vehicle has moved on the road is different. In order to understand the flow of traffic, it is necessary to calculate the accumulation of images. In order to obtain accumulated information of the drone image, the size information of the actual road was obtained in advance in the first frame of the image, and the scale of the image was obtained by comparing it with the total number of pixels of the captured road image.
그러나 이미 정보를 갖고 있는 첫 프레임에 해당하는 위치가 고정되어 있기 때문에 드론의 촬영 반경이 제한되며, 새로운 곳을 촬영할 때마다 사전에 해당 도로 정보를 새롭게 취득해야 하는 단점이 있다. 도로 대신 차량들의 실제 크기의 평균을 사전에 계산하고, 영상에서 검출한 차량 영역의 픽셀 수와 비교하여 영상의 축척을 계산하였다. 이 방법들은 촬영 지역의 제약은 해결할 수 있지만, 차량의 크기가 경차에서부터 승합차, 버스, 화물 트럭에 이르기까지 다양하고 차량을 바운딩 박스 형태로 검출하기 때문에 차량의 평균 크기만으로 정확한 축적을 계산하는 것에는 한계가 있다.However, since the position corresponding to the first frame that already has information is fixed, the shooting radius of the drone is limited, and there is a disadvantage in that the corresponding road information must be newly acquired in advance whenever a new location is photographed. The average of the actual sizes of vehicles instead of the road was calculated in advance, and the scale of the image was calculated by comparing it with the number of pixels in the vehicle area detected from the image. Although these methods can solve the limitations of the shooting area, it is difficult to calculate an accurate scale only with the average size of the vehicle because the size of the vehicle varies from compact cars to vans, buses, and trucks, and the vehicles are detected in the form of a bounding box. There are limits.
본 발명은 이와 같은 문제점을 감안한 것으로서, 본 발명은 딥러닝 기술을 이용하여 드론 영상으로부터 차선 등의 도로 자체의 정보를 추출하여 축적을 자동으로 계산하고 도로 상의 차량을 검출함으로써 교통의 흐름 상황을 정량적으로 측정하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템을 제공하는 것이다.The present invention has taken this problem into account, and the present invention extracts road information such as lanes from drone images using deep learning technology, automatically calculates the accumulation, and detects vehicles on the road to quantitatively measure traffic flow conditions. It is to provide a deep learning-based drone image analysis system for measuring traffic volume.
본 발명의 실시예들에 따른 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템은 드론에 부착된 카메라를 통해 도로 영상을 실시간으로 촬영하는 영상촬영부;와 딥러닝을 기반으로 하여 상기 수신된 도로 영상에서 상기 도로 상의 차량들을 자동으로 검출하는 차량검출부;와 상기 검출된 차량들의 이동거리를 픽셀 단위로 계산하는 거리계산부;와 상기 차량검출부와 동시에 상기 영상 내 도로의 차선을 기준으로 영상의 축척 정보를 계산하는 축척계산부; 및 상기 계산된 픽셀 단위의 차량의 이동거리 및 상기 영상의 축척 정보를 기반으로 상기 영상 내 도로의 차량들의 실제 이동속도를 계산하는 차량속도계산부;를 포함한다.A deep learning-based drone image analysis system for measuring traffic volume according to embodiments of the present invention includes a video capture unit that captures road images in real time through a camera attached to a drone; and the received road based on deep learning. A vehicle detection unit that automatically detects vehicles on the road in the image; and a distance calculation unit that calculates the moving distance of the detected vehicles in pixel units; a scale calculation unit that calculates information; and a vehicle speed calculation unit that calculates actual moving speeds of vehicles on the road in the image based on the calculated moving distance of the vehicle in pixel units and scale information of the image.
본 발명의 실시 예들에 있어서, 상기 영상촬영부는, 상기 드론의 카메라를 통해서 상기 도로 상황과, 상기 도로의 위치, 도로의 방향, 도로위의 차선, 상기 도로 위의 차량 및 객체들을 실시간으로 촬영한다.In embodiments of the present invention, the image capture unit captures the road situation, the location of the road, the direction of the road, lanes on the road, and vehicles and objects on the road in real time through the camera of the drone. .
본 발명의 실시 예들에 있어서, 상기 차량검출부는 상기 드론으로부터 수신된 도로 영상을 실시간으로 입력으로 하여 딥러닝한 인공지능을 통해 상기 도로 상의 객체들과 차량들을 분리 인식하며, 상기 딥러닝 차량 검출 알고리즘을 기반으로 하여, 상기 도로 영상의 매 프레임에서 상기 도로 상의 차량 및 차량의 수를 자동으로 검출한다.In embodiments of the present invention, the vehicle detection unit separates and recognizes objects and vehicles on the road through deep learning artificial intelligence by taking the road image received from the drone as an input in real time, and the deep learning vehicle detection algorithm Based on, the vehicle and number of vehicles on the road are automatically detected in every frame of the road image.
본 발명의 실시 예들에 있어서, 상기 차량검출부는 상기 영상 내 차량들에 각각의 바운딩 박스 이미지 처리로 하이라이트(강조)하는 차량강조부;와 상기 영상 프레임 당, 상기 하이라이트(강조)된 상기 차량들의 각각의 움직임을 추적하는 차량추적부;를 포함한다. In embodiments of the present invention, the vehicle detection unit highlights (emphasizes) each vehicle in the image by processing a bounding box image; and each of the highlighted vehicles per image frame. It includes; vehicle tracking unit for tracking the movement of.
본 발명의 실시 예들에 있어서, 상기 바운딩 박스 이미지 처리는 상기 검출된 상기 영상 내 차량의 가로 방향과 세로 방향의 중심 좌표와, 상기 바운딩 박스 이미지의 가로길이(Width)와 세로길이(height) 및 신뢰도(Confidience score)로 구성되며, 상기 신뢰도는 검출하려는 객체가 상기 바운딩 박스 이미지 내에 위치할 확률을 나타내낸다.In the embodiments of the present invention, the bounding box image processing is performed by calculating the horizontal and vertical center coordinates of the vehicle in the detected image, the width and height of the bounding box image, and reliability (Confidence score), and the confidence level represents the probability that an object to be detected is located in the bounding box image.
본 발명의 실시 예들에 있어서, 상기 차량추적부는, t 시점의 상기 영상 프레임과 t+1 시점의 상기 영상 프레임에서의 검출된 상기 차량을 이미지를 이용해, 상기 바운딩 박스 이미지가 일정 영역만큼 겹쳐지게 되면, 동일한 상기 차량으로 간주함으로써 상기 차량의 움직임을 추적한다.In embodiments of the present invention, the vehicle tracking unit uses an image of the vehicle detected in the video frame at time t and the video frame at time t+1, and when the bounding box image overlaps by a certain area , track the movement of the vehicle by considering it as the same vehicle.
본 발명의 실시 예들에 있어서, 상기 거리계산부는, 영상 프레임 및 프레임 간 시간을 통해서, 상기 추적된 상기 차량들의 이동거리를 계산하여 픽셀 단위로 전처리(변환) 한다.In embodiments of the present invention, the distance calculation unit calculates the moving distances of the tracked vehicles through video frames and inter-frame time, and preprocesses (converts) them in pixel units.
본 발명의 실시 예들에 있어서, 상기 거리계산부는, 상기 영상의 프레임레이트(FPS) 정보와 상기 차량 추적 결과를 기반으로 하여, 두 개의 상기 프레임에서의 상기 동일 차량의 위치와 상기 두 프레임이 촬영된 시간 간격을 이용하여 계산하며, 상기 이동거리 
본 발명의 실시 예들에 있어서, 상기 축척계산부는, 상기 차량검출부에서 상기 영상 내 자동으로 차량을 검출하는 것과 동시에, 상기 드론 영상 내에서 차선들을 검출하는 차선검출부;와 상기 차선검출부로부터 검출된 상기 차선들의 영역을 블랙박스에서 검출되는 차선들과 같은 형태로 전처리(변환)하는 차선형태변환부; 상기 차선형태변환부로부터 전처리(변환)된 차선들의 가로 방향 좌표값을 이용하여 상기 차선들 사이의 간격들의 평균으로 상기 차선들의 폭을 도출하며, 상기 차선의 폭을 기준으로 하여 상기 영상의 축척을 계산하는 연산부;를 포함한다.In embodiments of the present invention, the scale calculation unit may include: a lane detection unit that detects lanes in the drone image at the same time as the vehicle detection unit automatically detects a vehicle in the image; and the lane detected by the lane detection unit. a lane shape conversion unit that pre-processes (converts) the area of the lanes into the same shape as the lanes detected by the black box; Using the horizontal coordinate values of the lanes preprocessed (converted) by the lane shape conversion unit, the width of the lanes is derived as the average of the intervals between the lanes, and the scale of the image is determined based on the width of the lanes It includes; an arithmetic unit for calculating.
본 발명의 실시 예들에 있어서, 상기 축척계산부는, 상기 매 프레임마다 축척 비율을 동일하게 유지할 수 있도록 m초 간격 주기로, 주기적으로 상기 영상의 축척 비율을 갱신하는 축척비율갱신부;를 더 포함한다.In embodiments of the present invention, the scale calculation unit may further include a scale ratio updating unit that periodically updates the scale ratio of the image at intervals of m seconds so as to maintain the same scale ratio for each frame.
본 발명의 실시 예들에 있어서, 상기 차량속도계산부는, 상기 차량검출부와 상기 축척계산부의 병렬 진행 결과로 얻은, 상기 검출된 차량 정보 및 축척 정보를 기반으로 상기 차량의 실제속도를 계산한다.In embodiments of the present invention, the vehicle speed calculation unit calculates the actual speed of the vehicle based on the detected vehicle information and scale information obtained as a result of parallel progress of the vehicle detection unit and the scale calculation unit.
본 발명의 실시 예들에 있어서, 상기 차량속도계산부는 상기 영상 내 i번째 차량의 실제 속도와 상기 차량이 이동한 거리 단위의 픽셀 수 및 축척 비율을 기반으로 하여 상기 차량의 실제속도를 계산한다.In embodiments of the present invention, the vehicle speed calculation unit calculates the actual speed of the vehicle based on the actual speed of the i-th vehicle in the image and the number of pixels in units of distance traveled by the vehicle and a scale ratio.
본 발명의 실시 예들에 있어서, 상기 차량속도계산부는, 상기 계산된 차량의 실제 속도와 상기 차량검출부로부터 검출된 차량의 수를 기반으로 상기 도로의 교통량을 예측하는 교통량판단부;를 더 포함한다.In embodiments of the present invention, the vehicle speed calculation unit, based on the calculated actual speed of the vehicle and the number of vehicles detected by the vehicle detection unit, a traffic amount determining unit for predicting the traffic volume of the road; further includes.
이상에서 설명한 바와 같은 딥러닝 기반의 드론 영상 분석 시스템 및 방법에 따르면 다음과 같은 효과가 있다.According to the deep learning-based drone image analysis system and method as described above, the following effects are obtained.
첫째, 드론에서 수신된 영상 프레임마다 축척 비율을 주기적으로 갱신함으로써 영상 축적 비율을 조절 및 규격화 할 수 있다.First, the video scaling ratio can be adjusted and standardized by periodically updating the scaling ratio for each video frame received from the drone.
둘째, 드론으로부터 수신된 영상을 입력으로 한 딥러닝을 기반으로, 차량 검출과 도로 영상 축척의 추정의 정확도, 도로 위 차량들의 평균 속도 측정의 정확도를 높일 수 있다.Second, based on deep learning using the image received from the drone as an input, it is possible to increase the accuracy of vehicle detection, road image scale estimation, and average speed measurement of vehicles on the road.
셋째, 드론 영상으로부터 도로 정보를 추출하여 축적을 자동으로 계산하고, 도로 상의 차량을 검출함으로써 교통의 흐름 상황을 정량적으로 측정할 수 있다.Third, it is possible to quantitatively measure traffic flow conditions by extracting road information from drone images, automatically calculating accumulation, and detecting vehicles on the road.
도 1은 본 발명의 구성도이다.
도 2는 본 발명의 구성하는 알고리즘을 나타낸 모식도이다.
도 3은 본 발명의 일실시 예에 따른 차량검출부이다.
도 4와 도 5는 본 발명의 일실시 예에 따른 차량 검출 모식도이다.
도6은 본 발명의 일실시 예에 따른, 축척계산부 및 차량속도계산부의 구성도이다.1 is a configuration diagram of the present invention.
2 is a schematic diagram showing the algorithm constituting the present invention.
3 is a vehicle detection unit according to an embodiment of the present invention.
4 and 5 are vehicle detection schematic diagrams according to an embodiment of the present invention.
6 is a configuration diagram of a scale calculator and a vehicle speed calculator according to an embodiment of the present invention.
첨부한 도면을 참조하여 본 발명의 실시 예들에 따른 딥러닝 기반의 드론 영상 분석 시스템에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.A deep learning-based drone image analysis system according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. Since the present invention can have various changes and various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific form disclosed, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure. In the accompanying drawings, the dimensions of the structures are shown enlarged than actual for clarity of the present invention, or reduced than actual in order to understand the schematic configuration.
또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Also, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. Meanwhile, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
도 1은 본 발명의 구성도이며, 도 2는 본 발명의 구성하는 알고리즘을 나타낸 모식도이다.1 is a configuration diagram of the present invention, and FIG. 2 is a schematic diagram showing an algorithm constituting the present invention.
도 1을 참고하면, 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템은 드론에 부착된 카메라를 통해 도로 영상을 실시간으로 촬영하는 영상촬영부(100);와 딥러닝을 기반으로 하여 상기 수신된 도로 영상에서 상기 도로 상의 차량들을 자동으로 검출하는 차량검출부(200);와 상기 검출된 차량들의 이동거리를 픽셀 단위로 계산하는 거리계산부(300);와 상기 차량검출부(100)와 동시에 상기 영상 내 도로의 차선을 기준으로 영상의 축척 정보를 계산하는 축척계산부(400); 및 상기 계산된 픽셀 단위의 차량의 이동거리 및 상기 영상의 축척 정보를 기반으로 상기 영상 내 도로의 차량들의 실제 이동속도를 계산하는 차량속도계산부(500);를 포함한다. 또한, 차량 검출부(100)에서 차량을 검출하고, 상기 차량 추적한 후, 픽셀 단위의 속도 측정함과 동시에 축척계산부(400)에서 상기 영상 내 도로 영역 검출하고, 상기 도로 영역 내 차선 검출하며, 상기 영상의 스케일 측정하는 일이 병렬로 진행된다. 그리고 차량속도계산부(500)에서 상기 두 흐름의 결과를 병합하여 실제 상기 차량의 속도를 계산한다.Referring to FIG. 1, the deep learning-based drone image analysis system for measuring traffic volume includes a
도 2를 참고하면, 여기서, 영상수신부(100)에서 상기 드론의 카메라를 통해서 상기 도로 상황과, 상기 도로의 위치, 도로의 방향, 도로위의 차선, 상기 도로 위의 차량 및 객체들을 실시간으로 촬영된 영상 데이터를 수신 받으면, 차량검출부(200)에서 딥러닝 기술을 이용하여 도로 상의 차량들을 검출(Object Detection)하고, 추적(tracker)기법을 이용하여 영상 내 차량의 움직임을 추적한다. 거리계산부(300)에서는 상기 차량의 이동거리를 픽셀 단위로 계산한다. 이와 함께, 축척계산부(400)에서는 영상 내 도로의 위치, 도로의 방향, 차선 검출 등 도로 정보 및 영상의 축척을 계산한다. 그런 다음, 차량속도계산부(500)에서 픽셀 단위의 차량의 이동거리와 영상의 축적 정보를 바탕으로 실제 차량의 이동속도를 계산한다. Referring to FIG. 2 , here, the
도 3은 본 발명의 일실시 예에 따른 차량검출부이다.3 is a vehicle detection unit according to an embodiment of the present invention.
도3을 참고하면, 차량검출부(200)는 상기 드론으로부터 수신된 도로 영상을 실시간으로 입력으로 하여 딥러닝한 인공지능을 통해 상기 도로 상의 객체들과 차량들을 분리 인식하며, 상기 딥러닝 차량 검출 알고리즘을 기반으로 하여, 상기 도로 영상의 매 프레임에서 상기 도로 상의 차량 및 차량의 수를 검출한다. 따라서 차량검출부(200)는 차량강조부(205)와 차량추적부(210)로 구성되어 있으며, 차량강조부(205)는 상기 영상 내 차량들에 각각의 바운딩 박스 이미지 처리로 하이라이트(강조)하며, 차량추적부(210)는 상기 영상 프레임 당, 상기 하이라이트(강조)된 상기 차량들의 각각의 움직임을 추적한다.Referring to FIG. 3, the
도 4와 도 5는 본 발명의 일실시 예에 따른 차량 검출 모식도이다.4 and 5 are vehicle detection schematic diagrams according to an embodiment of the present invention.
도 4를 참고하면, 파란색 박스는 오검출된 결과(차량이 아닌데 차량으로 판단)를 보여준다. 이러한 오검출 결과는 이후 수행되는 추적기를 통한 차량의 이동거리 측정 과정에서 거의 대부분 제거된다. 빨간색 상기 바운딩 박스의 경우, 상기 도로 영상 내 차량을 검출한 것으로, 상기 바운딩 박스는 상기 검출된 상기 영상 내 차량의 가로 방향과 세로 방향의 중심 좌표와, 상기 바운딩 박스 이미지의 가로길이(Width)와 세로길이(height) 및 신뢰도(Confidience score)로 구성된다. 여기서, 상기 신뢰도는 검출하려는 객체가 상기 바운딩 박스 이미지 내에 위치할 확률을 의미한다. 도 5를 참고하면, 차량추적부(200)는 상기 바운딩 박스 이미치 처리가 된 차량 영상을 기반으로 t 시점의 상기 영상 프레임과 t+1 시점의 상기 영상 프레임에서의 검출된 상기 차량을 이미지를 이용해, 상기 바운딩 박스 이미지가 일정 영역만큼 겹쳐지게 되면, 동일한 상기 차량으로 간주함으로써 상기 차량의 움직임을 추적한다. 따라서 상기 바운딩 박스 이미지가 일정 영역만큼 겹쳐지게 되면, 동일한 상기 차량으로 간주함으로써 동일 차량으로 인식된 것은 같은 색으로 표시된다. 이를 기반으로 거리계산부(300)는 영상 프레임 및 프레임 간 시간을 통해서, 상기 추적된 상기 차량들의 이동거리를 계산하여 픽셀 단위로 전처리(변환)한다. 여기서 상기 영상의 프레임레이트(FPS) 정보와 상기 차량 추적 결과를 기반으로 하여, 두 개의 상기 프레임에서의 상기 동일 차량의 위치와 상기 두 프레임이 촬영된 시간 간격을 이용하여 계산하며, 상기 이동거리 
수학식1 : 
도6은 본 발명의 일실시 예에 따른, 축척계산부 및 차량속도계산부의 구성도이다. 6 is a configuration diagram of a scale calculator and a vehicle speed calculator according to an embodiment of the present invention.
드론 영상은 촬영 고도에 따라 영상의 축적이 다르기 때문에 드론 영상에서 차량이 이동한 픽셀 단위의 이동거리를 실제 이동거리로 환산하기 위해서는 먼저 영상의 축척을 추정해야 한다. 이를 위해서는 영상 내에서 규격화된 크기의 특징이 있어야 하는데, 대부분의 국가에서는 도로의 종류에 따른 차선의 폭이 도로의 구조·시설 기준에 관한 규정으로 규격화 되어 있어, 상기 차선의 폭을 기준으로 축척의 폭을 계산한다.Since the accumulation of images in drone images differs depending on the shooting altitude, the scale of the images must be estimated first in order to convert the moving distance in pixel units that the vehicle has moved in the drone images to the actual moving distance. To this end, there must be a feature of a standardized size in the image. In most countries, the width of lanes according to road types is standardized in the regulations on road structure and facility standards, so that the scale Calculate the width.
도 6을 참고하면, 축척계산부(400)는 차선검출부(405)와 차선형태변환부(410)와 연산부(415) 및 축척비율갱신부(420)로 구성되어 있다. 차량검출부(100)에서 상기 영상 내 자동으로 차량을 검출하는 것과 동시에, 차선검출부(405)는 상기 드론 영상 내에서 차선들을 검출하며, 차선형태변환부(410)는 차선검출부(405)로부터 검출된 상기 차선들의 영역을 블랙박스에서 검출되는 차선들과 같은 형태로 전처리(변환)한다. 차선형태변환부(410)로부터 전처리(변환)된 차선들의 가로 방향 좌표값을 이용하여 상기 차선들 사이의 간격들의 평균으로 상기 차선들의 폭을 도출하며, 연산부(415)는 상기 차선의 폭을 기준으로 하여 상기 영상의 축척을 계산한다. 여기서, 축척계산부(400)는 상기 매 프레임마다 축척 비율을 동일하게 유지할 수 있도록 m초 간격 주기로, 주기적으로 상기 영상의 축척 비율을 갱신하는 축척비율갱신부(420);를 더 포함한다. Referring to FIG. 6 , the
좀 더 상세하게 설명하자면 드론은 촬영 중 바람 등 공기 환경의 변화에 따라 고도가 변할 수 있기 때문에 같은 비디오 안에서도 프레임마다 축척 비율이 바뀔 수 있다. 이런 특성을 반영하여 제안한 방법에서는 축척비율갱신부(420)에서 약 20초 간격으로 영상의 축적 비율을 갱신하였으며, 차량에 의해 차선이 가려지는 문제를 피하기 위해 20초 간격의 영상 프레임을 기준으로 인접한 영상 프레임들 중에서 영상 내 검출된 차량의 수가 가장 적은 프레임을 축척 갱신을 위한 프레임으로 사용하였다. To explain in more detail, the drone's altitude can change according to changes in the air environment such as wind during filming, so the scale ratio can change from frame to frame even within the same video. In the proposed method reflecting this characteristic, the scaling ratio of the image is updated at intervals of about 20 seconds in the scaling
차량속도계산부(500)의 경우, 차량검출부(100)와 상기 축척계산부(400)의 병렬 진행 결과로 얻은, 상기 검출된 차량 정보 및 축척 정보를 기반으로 상기 차량의 실제속도를 계산하며, 상기 영상 내 i번째 차량의 실제 속도와 상기 차량이 이동한 거리 단위의 픽셀 수 및 축척 비율을 기반으로 하여 상기 차량의 실제속도를 계산하며, 상기 계산된 차량의 실제 속도와 차량검출부(100)로부터 검출된 차량의 수를 기반으로 상기 도로의 교통량을 예측하는 교통량판단부(505);를 더 포함한다. In the case of the vehicle
이상에서 설명한 바와 같은 딥러닝 기반의 드론 영상 분석 시스템 및 방법에 따르면 다음과 같은 효과가 있다. 첫째, 드론에서 수신된 영상 프레임마다 축척 비율을 주기적으로 갱신함으로써 영상 축적 비율을 조절 및 규격화 할 수 있다. 둘째, 드론으로부터 수신된 영상을 입력으로 한 딥러닝을 기반으로, 차량 검출과 도로 영상 축척의 추정의 정확도, 도로 위 차량들의 평균 속도 측정의 정확도를 높일 수 있다. 셋째, 드론 영상으로부터 도로 정보를 추출하여 축적을 자동으로 계산하고, 도로 상의 차량을 검출함으로써 교통의 흐름 상황을 정량적으로 측정할 수 있다. 또한, 딥러닝 기술을 교통량 측정을 위한 드론 시스템에 적용하여, 드론 영상 자체의 정보 이외의 (기지국 정보, 검지기 정보 등) 추가적인 장비가 필요하지 않다.According to the deep learning-based drone image analysis system and method as described above, the following effects are obtained. First, the video scaling ratio can be adjusted and standardized by periodically updating the scaling ratio for each video frame received from the drone. Second, based on deep learning using the image received from the drone as an input, it is possible to increase the accuracy of vehicle detection, road image scale estimation, and average speed measurement of vehicles on the road. Third, it is possible to quantitatively measure traffic flow conditions by extracting road information from drone images, automatically calculating accumulation, and detecting vehicles on the road. In addition, by applying deep learning technology to the drone system for traffic measurement, additional equipment other than the information of the drone image itself (base station information, detector information, etc.) is not required.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술될 특허 청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the detailed description of the present invention described above has been described with reference to preferred embodiments of the present invention, those skilled in the art or those having ordinary knowledge in the art will find the spirit of the present invention described in the claims to be described later. And it will be understood that the present invention can be variously modified and changed without departing from the technical scope.
100: 영상수신부 200: 차량검출부
205: 차량강조부 210: 차량추적부
300: 거리계산부 400: 축척계산부
405: 차선검출부 410: 차선형태변환부
415: 연산부 420: 축척비율갱신부
500: 차량속도계산부 505: 교통량판단부100: image receiving unit 200: vehicle detection unit
205: vehicle emphasis unit 210: vehicle tracking unit
300: distance calculation unit 400: scale calculation unit
405: lane detection unit 410: lane shape conversion unit
415: calculation unit 420: scale ratio update unit
500: vehicle speed calculation unit 505: traffic volume determination unit
Claims (13)
딥러닝을 기반으로 하여 상기 영상촬영부에서 수신된 도로 영상에서 상기 도로 상의 차량들을 자동으로 검출하는 차량검출부;와
상기 검출된 차량들의 이동거리를 픽셀 단위로 계산하는 거리계산부;와
상기 차량검출부와 동시에 상기 도로 영상 내 도로의 차선을 기준으로 영상의 축척 정보를 계산하는 축척계산부; 및
상기 계산된 픽셀 단위의 차량의 이동거리 및 상기 영상의 축척 정보를 기반으로 상기 영상 내 도로의 차량들의 실제 이동속도를 계산하는 차량속도계산부;를 포함하며,
상기 축척계산부는, 차량에 의해 차선이 가려지는 문제를 피하기 위해 m초 간격의 도로 영상 프레임을 기준으로, 인접한 도로 영상 프레임들 중에서 도로 영상 프레임 내 검출된 차량의 수가 가장 적은 도로 영상 프레임을 축척 갱신을 위한 도로 영상 프레임으로 사용하여, 상기 도로 영상의 매 프레임마다 축척 비율을 동일하게 유지할 수 있도록 m초 간격 주기로, 주기적으로 상기 도로 영상의 축척 비율을 갱신하는 축척비율갱신부;를 더 포함하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.An image capture unit that captures road images in real time through a camera attached to a drone; and
A vehicle detection unit for automatically detecting vehicles on the road from the road image received from the image capturing unit based on deep learning; and
a distance calculation unit that calculates the moving distance of the detected vehicles in units of pixels; and
a scale calculation unit for calculating scale information of an image based on lanes of the road in the road image simultaneously with the vehicle detection unit; and
A vehicle speed calculation unit for calculating actual moving speeds of vehicles on the road in the image based on the calculated moving distance of the vehicle in pixel units and scale information of the image;
The scale calculation unit scales and updates the road image frame with the smallest number of vehicles detected in the road image frame among adjacent road image frames, based on the road image frame at intervals of m seconds, in order to avoid the problem of lanes being blocked by vehicles. A scale ratio updating unit that periodically updates the scale ratio of the road image at intervals of m seconds so that the same scale ratio can be maintained for each frame of the road image using a road image frame for Deep learning-based drone image analysis system for traffic measurement.
상기 영상촬영부는,
상기 드론의 카메라를 통해서 상기 도로 상황과,
상기 도로의 위치, 도로의 방향, 도로위의 차선, 상기 도로 위의 차량 및 객체들을 실시간으로 촬영하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.According to claim 1,
The imaging department,
The road situation through the camera of the drone,
A deep learning-based drone image analysis system for measuring traffic volume, characterized in that for capturing the location of the road, the direction of the road, lanes on the road, and vehicles and objects on the road in real time.
상기 차량검출부는,
상기 드론으로부터 수신된 도로 영상을 실시간으로 입력으로 하여 딥러닝한 인공지능을 통해 상기 도로 상의 객체들과 차량들을 분리 인식하며,
딥러닝 차량 검출 알고리즘을 기반으로 하여,
상기 도로 영상의 매 프레임에서 상기 도로 상의 차량 및 차량의 수를 자동으로 검출하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.According to claim 1,
The vehicle detection unit,
Using the road image received from the drone as an input in real time, objects and vehicles on the road are separately recognized through deep learning artificial intelligence,
Based on deep learning vehicle detection algorithm,
A deep learning-based drone image analysis system for measuring traffic volume, characterized in that for automatically detecting vehicles and the number of vehicles on the road in each frame of the road image.
상기 차량검출부는,
상기 도로 영상 내 차량들에 각각의 바운딩 박스 이미지 처리로 하이라이트(강조)하는 차량강조부;와
상기 도로 영상 프레임 당, 상기 하이라이트(강조)된 상기 차량들의 각각의 움직임을 추적하는 차량추적부;를 포함하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.According to claim 3,
The vehicle detection unit,
A vehicle highlighting unit for highlighting (emphasizing) vehicles in the road image by processing each bounding box image;
A deep learning-based drone image analysis system for measuring traffic volume, characterized in that it comprises a; vehicle tracking unit for tracking each movement of the highlighted (emphasized) vehicles per frame of the road image.
상기 바운딩 박스 이미지 처리는,
상기 검출된 상기 영상 내 차량의 가로 방향과 세로 방향의 중심 좌표와,
상기 바운딩 박스 이미지의 가로길이(Width)와 세로길이(height) 및 신뢰도(Confidience score)로 구성되며,
상기 신뢰도는 검출하려는 객체가 상기 바운딩 박스 이미지 내에 위치할 확률을 나타내는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.According to claim 4,
The bounding box image processing,
Center coordinates of the horizontal and vertical directions of the vehicle in the detected image;
Consisting of the width and height of the bounding box image, and the confidence score,
The reliability is a deep learning-based drone image analysis system for measuring traffic, characterized in that indicates the probability that the object to be detected is located in the bounding box image.
상기 차량추적부는,
t 시점의 상기 영상 프레임과 t+1 시점의 상기 영상 프레임에서의 검출된 상기 차량을 이미지를 이용해,
상기 바운딩 박스 이미지가 일정 영역만큼 겹쳐지게 되면,
동일한 상기 차량으로 간주함으로써 상기 차량의 움직임을 추적하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.According to claim 4,
The vehicle tracking unit,
Using the image of the vehicle detected in the video frame at time t and the video frame at time t+1,
When the bounding box images overlap by a certain area,
A deep learning-based drone image analysis system for measuring traffic, characterized in that tracking the movement of the vehicle by considering it as the same vehicle.
상기 거리계산부는,
영상 프레임 및 프레임 간 시간을 통해서,
상기 차량추적부로부터 추적된 차량들의 이동거리를 계산하여 픽셀 단위로 전처리(변환) 하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.According to claim 4,
The distance calculator,
Through video frames and inter-frame time,
A deep learning-based drone image analysis system for measuring traffic, characterized in that the moving distance of the vehicles tracked by the vehicle tracking unit is calculated and preprocessed (converted) in a pixel unit.
상기 거리계산부는,
상기 차량추적부에서 도출된 영상의 프레임레이트(FPS) 정보와 상기 차량 추적 결과를 기반으로 하여,
상기 t 시점의 상기 영상 프레임과 t+1 시점의 상기 영상 프레임에서의 두 개의 프레임에서 검출된 동일 차량의 위치와,
상기 두 개의 프레임이 촬영된 시간 간격을 이용하여 계산하며,
상기 이동거리
수학식1 :
(여기서,
The distance calculator,
Based on the frame rate (FPS) information of the image derived from the vehicle tracking unit and the vehicle tracking result,
the location of the same vehicle detected in two frames of the video frame at time t and the video frame at time t+1;
It is calculated using the time interval at which the two frames are photographed,
above travel distance
Equation 1:
(here,
상기 축척계산부는,
상기 차량검출부에서 상기 도로 영상 내 자동으로 차량을 검출하는 것과 동시에,
상기 드론 영상 내에서 차선들을 검출하는 차선검출부;와
상기 차선검출부로부터 검출된 상기 차선들의 영역을 블랙박스에서 검출되는 차선들과 같이 사각형 모양으로 전처리(변환)하는 차선형태변환부;
상기 차선형태변환부로부터 전처리(변환)된 차선들의 가로 방향 좌표값을 이용하여 상기 차선들 사이의 간격들의 평균으로 상기 차선들의 폭을 도출하며,
상기 차선의 폭을 기준으로 하여 상기 영상의 축척을 계산하는 연산부;를 포함하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.According to claim 1,
The scale calculator,
At the same time as the vehicle detection unit automatically detects the vehicle in the road image,
A lane detection unit for detecting lanes in the drone image; and
a lane shape conversion unit for pre-processing (converting) the area of the lanes detected by the lane detection unit into a rectangular shape like the lanes detected by the black box;
Deriving the width of the lanes as an average of intervals between the lanes using the horizontal coordinate values of the lanes preprocessed (converted) by the lane shape conversion unit;
A deep learning-based drone image analysis system for measuring traffic volume, comprising: a calculation unit for calculating a scale of the image based on the width of the lane.
상기 차량속도계산부는,
상기 도로 영상 내 i번째 차량의 실제 속도와 상기 차량이 이동한 거리 단위의 픽셀 수 및 축척 비율을 기반으로 하여 상기 차량의 실제속도를 계산하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.According to claim 1,
The vehicle speed calculator,
Deep learning-based drone image for measuring traffic volume, characterized in that the actual speed of the vehicle is calculated based on the actual speed of the i-th vehicle in the road image and the number of pixels and scale ratio in units of distance traveled by the vehicle analysis system.
상기 차량속도계산부는,
상기 계산된 차량의 실제 속도와 상기 차량검출부로부터 검출된 차량의 수를 기반으로 상기 도로의 교통량을 예측하는 교통량판단부;를 더 포함하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
According to claim 12,
The vehicle speed calculator,
Deep learning-based drone image analysis for measuring traffic volume further comprising: system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210024020A KR102492290B1 (en) | 2021-02-23 | 2021-02-23 | Drone image analysis system based on deep learning for traffic measurement |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210024020A KR102492290B1 (en) | 2021-02-23 | 2021-02-23 | Drone image analysis system based on deep learning for traffic measurement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220120211A KR20220120211A (en) | 2022-08-30 |
| KR102492290B1 true KR102492290B1 (en) | 2023-01-26 |
Family
ID=83114445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210024020A KR102492290B1 (en) | 2021-02-23 | 2021-02-23 | Drone image analysis system based on deep learning for traffic measurement |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102492290B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102616571B1 (en) * | 2022-12-15 | 2023-12-21 | 한국건설기술연구원 | System and method for providing road traffic information based on image analysis using artificial intelligence |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140031129A (en) * | 2012-08-30 | 2014-03-12 | (주)지에스엠솔루션 | Virtual face generating method of omni-directional image using user interaction |
| KR20160100788A (en) * | 2015-02-16 | 2016-08-24 | 한국전자통신연구원 | Apparatus and method for measuring speed of moving object |
| KR101800767B1 (en) | 2016-06-08 | 2017-11-24 | 주식회사 렌쥴리에듀테인먼트 | System for analyzing real-time traffic information based on mobile communication base station using drone |
| KR102039723B1 (en) * | 2017-11-30 | 2019-11-26 | 부경대학교 산학협력단 | Vehicle's behavior analyzing system using aerial photo and analyzing method using the same |
| KR102169910B1 (en) | 2018-11-13 | 2020-10-26 | 한국도로공사 | A vehicle driving behavior analysis system using images by uav |
| KR102197946B1 (en) * | 2018-11-30 | 2021-01-04 | (주)케이아이오티 | object recognition and counting method using deep learning artificial intelligence technology |
-
2021
- 2021-02-23 KR KR1020210024020A patent/KR102492290B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 박홍련외 1. UAV를 활용한 실시간 교통량 분석을 위한 딥러닝 기법의 적용. 한국측량학회지, 제38권제4호, 2020년도, pp.353-361. 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220120211A (en) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101647370B1 (en) | road traffic information management system for g using camera and radar | |
| KR100377067B1 (en) | Method and apparatus for detecting object movement within an image sequence | |
| Zheng et al. | A novel vehicle detection method with high resolution highway aerial image | |
| KR100459476B1 (en) | Apparatus and method for queue length of vehicle to measure | |
| KR100630088B1 (en) | Apparatus and method for supervising vehicle using optical flow | |
| EP0567059A1 (en) | Object recognition system and abnormality detection system using image processing | |
| CN104282020A (en) | Vehicle speed detection method based on target motion track | |
| EP2413304A1 (en) | Device for monitoring area around vehicle | |
| CN110255318B (en) | Method for detecting idle articles in elevator car based on image semantic segmentation | |
| KR102200204B1 (en) | 3-D Image Analyzing System Using CCTV Image | |
| JP2015090679A (en) | Vehicle trajectory extraction method, vehicle region extraction method, vehicle speed estimation method, vehicle trajectory extraction program, vehicle region extraction program, vehicle speed estimation program, vehicle trajectory extraction system, vehicle region extraction system, and vehicle speed estimation system | |
| KR102492290B1 (en) | Drone image analysis system based on deep learning for traffic measurement | |
| Yuliandoko et al. | Automatic vehicle counting using Raspberry pi and background subtractions method in the sidoarjo toll road | |
| KR20190134303A (en) | Apparatus and method for image recognition | |
| CN110316630B (en) | Deviation early warning method and system for installation angle of elevator camera | |
| KR100532058B1 (en) | Traffic information acquisition method and apparatus using camera calibration | |
| KR100751096B1 (en) | Velocity measuring apparatus and method using optical flow | |
| Nielsen et al. | Taking the temperature of pedestrian movement in public spaces | |
| Ao et al. | Detecting tiny moving vehicles in satellite videos | |
| KR102418344B1 (en) | Traffic information analysis apparatus and method | |
| CN114581863A (en) | Vehicle dangerous state identification method and system | |
| JP4697761B2 (en) | Queue detection method and queue detection apparatus | |
| JP4744789B2 (en) | Object identification method and object identification apparatus | |
| Long et al. | Automatic Vehicle Speed Estimation Method for Unmanned Aerial Vehicle Images. | |
| JP4055785B2 (en) | Moving object height detection method and apparatus, and object shape determination method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |