RU2486597C1 - Method of automatic classification of vehicles - Google Patents
Method of automatic classification of vehicles Download PDFInfo
- Publication number
- RU2486597C1 RU2486597C1 RU2012105146/11A RU2012105146A RU2486597C1 RU 2486597 C1 RU2486597 C1 RU 2486597C1 RU 2012105146/11 A RU2012105146/11 A RU 2012105146/11A RU 2012105146 A RU2012105146 A RU 2012105146A RU 2486597 C1 RU2486597 C1 RU 2486597C1
- Authority
- RU
- Russia
- Prior art keywords
- vehicle
- cameras
- xyt
- values
- vehicles
- Prior art date
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY
Изобретение относится к средствам автоматической классификации транспортных средств,The invention relates to means for the automatic classification of vehicles,
УРОВЕНЬ ТЕХНИКИBACKGROUND
Из описаний к опубликованным заявкам и патентам US 5446291 A, US 5750069, US 3748443, WO 2005017853 A1, US 2002140924 A1, US 6195019 B1, US 5107250 A, WO 03052457 A2, WO 03094128 A2, FR 2903519 A1, US 2010231720 Al, EP 0807914 A1, US 5809161 A, DE 4300650 A1, EP 2026246 A1, US 6185314 B1, WO 2008088409 A2, WO 2011000677 A1, WO 9516252 A1 и WO 03096300 A1, известны различные по своим функциональным возможностям и техническим особенностям системы, реализующие отдельные подходы к автоматической классификации транспортных средств, а также компоненты этих систем.From the descriptions of published applications and patents US 5446291 A, US 5750069, US 3748443, WO 2005017853 A1, US 2002140924 A1, US 6195019 B1, US 5107250 A, WO 03052457 A2, WO 03094128 A2, FR 2903519 A1, US 2010231720 Al, EP 0807914 A1, US 5809161 A, DE 4300650 A1, EP 2026246 A1, US 6185314 B1, WO 2008088409 A2, WO 2011000677 A1, WO 9516252 A1 and WO 03096300 A1, known for their different functional capabilities and technical features of the system that implement individual approaches to automatic classification of vehicles, as well as components of these systems.
При этом вышеупомянутые системы, известные из публикаций US 5446291 A, US 5750069 A, US 3748443 A, WO 2005017853 A1, US 2002140924 A1, US 6195019 B1, US 5107250 A, WO 03052457 A2, WO 03094128 A2, FR 2903519 A1, основаны па использовании технически сложного оборудования, - оптопар и дальномеров, датчиков давления шин, электрических датчиков, оптопар и растрового сканера профиля, лазерного сканера, сейсмодатчиков, датчиков температуры, - и притом, с помощью этих систем, как правило, невозможно определить число осей и высоту транспортных средств.Moreover, the aforementioned systems, known from publications US 5446291 A, US 5750069 A, US 3748443 A, WO 2005017853 A1, US 2002140924 A1, US 6195019 B1, US 5107250 A, WO 03052457 A2, WO 03094128 A2, FR 2903519 A1, are based on the use of technically sophisticated equipment - optocouplers and rangefinders, tire pressure sensors, electrical sensors, optocouplers and a raster profile scanner, laser scanner, seismic sensors, temperature sensors - and besides, using these systems it is usually impossible to determine the number of axles and the height of vehicles funds.
Упомянутые системы US 2010231720 A1, EP 0807914 A1, US 5809161 A, DE 4300650 A1, EP 2026246 A1, US 6185314 B1, WO 2008088409 A2, WO 2011000677 A1, WO 9516252 A1, WO 03096300 A1 не позволяют подсчитать количество осей транспортного средства, либо не определяют его высоту, либо неприменимы для автоматической классификации по иным причинам.The mentioned systems US 2010231720 A1, EP 0807914 A1, US 5809161 A, DE 4300650 A1, EP 2026246 A1, US 6185314 B1, WO 2008088409 A2, WO 2011000677 A1, WO 9516252 A1, WO 03096300 A1 do not allow to calculate the number of axles of the vehicle, or they do not determine its height, or are not applicable for automatic classification for other reasons.
Наиболее близким к изобретению аналогом, с точки зрения применяемых подходов, является классификатор, известный из международной публикации WO 03096300 А1. Он опирается, в основном, на соотношения радиусов шин и дисков. Однако, как было экспериментально установлено, для типичных транспортных средств, используемых на территории Российской Федерации, отсутствует достоверная корреляция между классами транспортных средств и радиусами шин и дисков, что не позволяет применять этот классификатор для автоматической классификации транспортных средств.The closest analogue to the invention, from the point of view of the approaches used, is a classifier known from the international publication WO 03096300 A1. It relies mainly on the ratio of the radii of tires and wheels. However, as was experimentally established, for typical vehicles used in the territory of the Russian Federation, there is no reliable correlation between the classes of vehicles and the radii of tires and wheels, which does not allow the use of this classifier for the automatic classification of vehicles.
СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION
Задача настоящего изобретения состоит в том, чтобы автоматически классифицировать транспортные средства с учетом критериев, принятых на территории Российской Федерации, с использованием типовых видеокамер, без необходимости применения сложного и нестандартного сенсорного оборудования.The objective of the present invention is to automatically classify vehicles according to the criteria adopted in the Russian Federation, using standard cameras, without the need for complex and non-standard sensor equipment.
Техническим результатом является высокоточная, полностью автономная (без участия человека) многокритериальная классификация транспортных средств (по высоте и количеству осей), а точнее - способ, обеспечивающий получение указанных результатов при его осуществлении.The technical result is a high-precision, fully autonomous (without human intervention) multicriteria classification of vehicles (in height and number of axles), or rather, a method that ensures the receipt of these results in its implementation.
В соответствии с настоящим изобретением в предлагаемом способе автоматической классификации транспортных средств (далее - способ, если из контекста не следует иное) используют цифровые оптико-электронные преобразователи на основе видеокамеры и средства цифровой обработки данных, непрерывно получают видеопоток с камеры, установленной сбоку от зоны наблюдения, компенсируют радиальную дисторсию кадров видеопотока, получая множество значений элементов видеопотока Pxyt где x - горизонтальная координата, y - вертикальная координата, t - временная координата; вычисляют экспоненциальное скользящее среднее (по времени) элементов видеопотока Bxyt; вычисляют коэффициент корреляции по координатам x, y D1(t) между Pxyt и Bxyt и определяют такие моменты времени tin, когда D1(t) становится больше предварительно заданного порогового значения L1, после чего определяют такие моменты времени tout, когда D1(t) становится меньше L1; вычисляют интегрированные и/или усредненные по времени Pxyt за период времени Т4 (период нахождения транспортного средства в поле зрения камеры) между моментами tin и tout для множества постоянных у, получая множество PT4(y); вычисляют разность D2(y, t) между Pxyt(y, t) и PT4(y) и находят такое ytop(t) (соответствующее профилю транспортного средства), при котором значения D2(y, t) превышают предварительно заданное пороговое значение L2; распознают эллиптические контуры на отдельных кадрах (подмножества Pxyt вида Pt(x, y)) видеопотока, соответствующих периоду Т4, определяют координаты центров эллипсов (Xc(t), Yc(t)), отбрасывают значения, вертикальная координата Yc(t) которых отличается на величину больше порогового значения L3 от усредненных значений, получая множество фильтрованных значений координат центров эллипсов (Xcf(t), Ycf(t)); применяют преобразование Хафа к Xcf(t), и по количеству максимумов в пространстве Хафа определяют количество осей транспортного средства; по значениям Ycf(t) и максимальному значению ytop за период Т4 определяют высоту транспортного средства.In accordance with the present invention, in the proposed method for the automatic classification of vehicles (hereinafter, the method, unless the context requires otherwise), digital optical-electronic converters based on a video camera and digital data processing means are used, and a video stream is continuously received from a camera mounted to the side of the observation zone compensate the radial distortion of the video stream of frames to obtain a plurality of values of the elements P xyt stream where x - horizontal coordinate, y - vertical coordinate, t - Vreme co-ordinate; calculate the exponential moving average (over time) of the elements of the video stream B xyt ; calculate the correlation coefficient at the coordinates x, y D 1 (t) between P xyt and B xyt and determine such times t in when D 1 (t) becomes greater than a predetermined threshold value L 1 , after which such moments t out when D 1 (t) becomes less than L 1 ; calculate integrated and / or time-averaged P xyt for the time period T 4 (the period the vehicle is in the camera’s field of view) between the moments t in and t out for the set of constants y, obtaining the set P T4 (y); calculate the difference D 2 (y, t) between P xyt (y, t) and P T4 (y) and find such y top (t) (corresponding to the vehicle profile) at which the values of D 2 (y, t) exceed previously predetermined threshold value L 2 ; recognize elliptical contours on separate frames (subsets of P xyt of the form P t (x, y)) of the video stream corresponding to the period T 4 , determine the coordinates of the centers of the ellipses (X c (t), Y c (t)), discard the values, the vertical coordinate Y c (t) of which differs by an amount greater than the threshold value L 3 from the averaged values, obtaining a set of filtered values of the coordinates of the centers of the ellipses (X cf (t), Y cf (t)); apply the Hough transform to X cf (t), and the number of axles of the vehicle is determined by the number of maxima in the Hough space; the values of Y cf (t) and the maximum value of y top for the period T 4 determine the height of the vehicle.
Таким образом, предлагаемый способ позволяет без участия человека и использования сложной техники определить все критерии, необходимые для отнесения транспортного средства к тому или иному классу, предусмотренного классификацией, принятой на территории Российской Федерации.Thus, the proposed method allows, without human intervention and the use of sophisticated technology, to determine all the criteria necessary for classifying a vehicle to one or another class provided for by the classification adopted on the territory of the Russian Federation.
В одной из предпочтительных форм воплощения положение образов колес транспортных средств на изображении определяют с использованием метода Виолы-Джонса.In one preferred embodiment, the position of the images of the wheels of the vehicles in the image is determined using the Viola-Jones method.
В другой предпочтительной форме воплощения дополнительную фильтрацию значений вертикальной координаты с учетом допустимого размера колес транспортных средств.In another preferred embodiment, the additional filtering of the values of the vertical coordinate, taking into account the permissible size of the wheels of vehicles.
В частной форме воплощения упомянутые камеры установлены на разном уровне по вертикали.In a particular embodiment, said cameras are mounted at different vertical levels.
В еще одной частной форме воплощения используют, по меньшей мере, две камеры, поля зрения которых, по меньшей мере, частично перекрываются.In yet another particular embodiment, at least two cameras are used whose field of view is at least partially overlapped.
В предпочтительной форме воплощения используют, по меньшей мере, две камеры, имеющие различную чувствительность сенсоров.In a preferred embodiment, at least two cameras having different sensitivity of the sensors are used.
В одной из предпочтительных форм воплощения используют, по меньшей мере, две камеры, при этом ориентируют их в продольной плоскости таким образом, чтобы оптические оси были направлены под углом навстречу друг другу, а боковые границы полей зрения камер пересекались вблизи границ зоны детекции, не выходя за ее пределы. Пересечение полей зрения камер формирует комбинированную зону детекции с такими параметрами, что видеопоток, получаемый отдельными камерами от объектов, находящихся ближе и дальше от зоны детекции, может быть отфильтрован в зависимости от того присутствует ли объект в комбинированной зоне детекции, или нет.In one preferred embodiment, at least two cameras are used, and they are oriented in the longitudinal plane so that the optical axes are angled towards each other and the side borders of the camera’s fields of view intersect near the borders of the detection zone without leaving beyond its bounds. The intersection of the cameras' field of view forms a combined detection zone with such parameters that the video stream received by individual cameras from objects closer and further from the detection zone can be filtered depending on whether the object is present in the combined detection zone or not.
В альтернативной предпочтительной форме воплощения используют, по меньшей мере, две камеры, при этом ориентируют одну из них под углом к горизонтали таким образом, чтобы граница поля зрения этой камеры располагалась вблизи границы зоны детекции, не выходя за ее пределы.In an alternative preferred embodiment, at least two cameras are used, while one of them is oriented at an angle to the horizontal so that the border of the field of view of this camera is located near the border of the detection zone, without going beyond it.
В одной из частных форм воплощения используют осветительный прибор для увеличения освещенности зоны детекции при недостатке освещенности.In one particular embodiment, a lighting device is used to increase the illumination of the detection zone with a lack of illumination.
Предлагаемый способ позволяет автоматически определять класс транспортных средств (ТС), проезжающих контрольный участок дорожной полосы, основываясь на измерении высоты и количества колесных осей ТС, при этом используются исключительно данные, полученные с видеокамер.The proposed method allows you to automatically determine the class of vehicles (vehicles) passing the control section of the road lane, based on measuring the height and number of wheel axles of the vehicle, using exclusively data obtained from video cameras.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF THE INVENTION
Как следует из вышеизложенного, предлагаемый способ состоит из семи основных этапов: (1) исправление радиальной дисторсии; (2) детекции въездов и/или выездов; (3) определение высоты транспортного средства; (4) детекции осей транспортного средства; (5) предварительный подсчет количества осей транспортного средства; (6) фильтрация результатов предварительного подсчета (статистическая обработка) и (7) окончательный подсчет количества осей транспортного средства. Вспомогательными этапами способа являются: сбор информации, модулирование-демодулирование сигналов, хранение данных, передача данных между узлами системы. Основные этапы будут более подробно описаны ниже, на примере частных форм воплощения, а особенности вспомогательных - хорошо известны средним специалистам в данной области техники и в пояснениях не нуждаются.As follows from the foregoing, the proposed method consists of seven main stages: (1) correction of radial distortion; (2) detection of entries and / or exits; (3) determining the height of the vehicle; (4) vehicle axle detection; (5) a preliminary calculation of the number of axles of the vehicle; (6) filtering the results of the preliminary calculation (statistical processing); and (7) the final calculation of the number of axles of the vehicle. Auxiliary steps of the method are: collecting information, modulating-demodulating signals, storing data, transferring data between nodes of the system. The main stages will be described in more detail below, by the example of particular forms of embodiment, and the features of the auxiliary ones are well known to those of ordinary skill in the art and do not need explanations.
ИСПРАВЛЕНИЕ РАДИАЛЬНОЙ ДИСТОРСИИCORRECTION OF RADIAL DISTORTION
Модель камеры с радиальным искажением будем задавать уравнениями, описывающими искажения двумерного изображения, получаемого ею, относительно двумерного изображения, которое было бы получено в тех же условиях идеальной камерой-обскурой. Модель радиальной дисторсии (см., например, Zhang Z. A Flexible New Technique for Camera Calibration // IEEE Trans. Pattern Anal. Mach. Intell. Washington, DC, USA: IEEE Computer Society, 2000. Vol.22, №11. P. 1330-1334) описывается следующей зависимостью координат точки на реальном снимке с дисторсией (xd, yd) от координат наWe will define the model of the camera with radial distortion by equations describing the distortions of the two-dimensional image obtained by it with respect to the two-dimensional image, which would be obtained under the same conditions by an ideal pinhole camera. Radial distortion model (see, for example, Zhang Z. A Flexible New Technique for Camera Calibration // IEEE Trans. Pattern Anal. Mach. Intell. Washington, DC, USA: IEEE Computer Society, 2000. Vol.22, No. 11. P. 1330-1334) is described by the following dependence of the coordinates of a point in a real image with a distortion (x d , y d ) on the coordinates on
идеальном снимке (xu,.yu):perfect shot (x u , .y u ):
В формуле (1) (xc, yv) - координаты центра радиального искажения, a ki - параметры дисторсии.In the formula (1) (x c , y v ) are the coordinates of the center of the radial distortion, ak i are the distortion parameters.
При известных параметрах дисторсии для каждого пикселя идеального изображения известны его координаты на регистрируемом (искаженном) изображении. Последовательно копируя соответствующие пикселы, получим восстановленное идеальное изображение, за исключением областей, в которых соответствующие координаты выходят за пределы искаженного изображения (Фиг.1).With known distortion parameters for each pixel of an ideal image, its coordinates on the recorded (distorted) image are known. By sequentially copying the corresponding pixels, we obtain a reconstructed ideal image, with the exception of areas in which the corresponding coordinates extend beyond the boundaries of the distorted image (Figure 1).
ДЕТЕКЦИЯ ВЪЕЗДОВ/ВЫЕЗДОВENTRY / EXIT DETECTION
Задача детекции въездов и выездов транспортных средств заключается в определении наличия ТС в поле зрения камеры на исследуемой (ближайшей, далее называем ее первой) полосе дороги.The task of detecting vehicle entrances and exits is to determine the presence of a vehicle in the camera’s field of view in the studied (nearest, hereinafter referred to as its first) lane.
Используемый в предлагаемом способе подход к детекции въезда-выезда базируется на геометрической модели сцены, представленной на Фиг.2 (буквами обозначены компоненты сцены: a - контрольная прямая, по пересечению которой определяем события; b - область дальних полос дороги; c - контрольная зона обнаружения прицепа, d - контрольная зона определения въезда-выезда, e - область первой полосы дороги). Событием (въездом или выездом) считается пересечение ТС воображаемой прямой, проходящей по центру кадра. Кадр разбивается на 2 части - область первой полосы (е) и область дальних полос (b). Для детекции события используегся только область первой полосы, поскольку в области дальних полос могут находиться ТС, проезжающие по любой другой (не интересующей нас) полосе.The approach to detecting entry-exit used in the proposed method is based on the geometric model of the scene shown in Figure 2 (the letters indicate the components of the scene: a is the control line, at the intersection of which we define events; b is the region of the far lanes of the road; c is the control detection zone trailer, d - control zone for determining the entry-exit, e - the area of the first lane). An event (entry or exit) is considered to be the intersection of the vehicle with an imaginary straight line passing through the center of the frame. The frame is divided into 2 parts - the region of the first lane (e) and the region of the far lanes (b). To detect an event, only the region of the first lane is used, since in the region of the far lanes there can be vehicles traveling along any other (not of interest to us) lane.
Применяется подход определения наличия ТС с использованием изображения фона, которое вычисляется путем применения к видеопотоку рекуррентного экспоненциального фильтра:An approach is used to determine the presence of vehicles using a background image, which is calculated by applying a recurrent exponential filter to the video stream:
В формуле (2) B(tn) - значение пиксела изображения фона в момент времени tn, F(tn) - значение соответствующего пиксела изображения с камеры в момент времени tn; α оценивается, исходя из длины максимального допустимого временного промежутка, а также из представлении о временном масштабе изменений истинного изображения фона.In the formula (2), B (t n ) is the value of the background image pixel at time t n , F (t n ) is the value of the corresponding image pixel from the camera at time t n ; α is estimated based on the length of the maximum allowable time period, as well as on the idea of the time scale of changes in the true background image.
Полученное таким образом изображение фона B(t, x, y) сравнивается с изображением с камеры F(t, x, y) по коэффициенту корреляции Пирсона;The background image B (t, x, y) thus obtained is compared with the camera image F (t, x, y) by the Pearson correlation coefficient;
В результате с помощью формулы (3) получаем временной ряд d(t), который далее анализируем на предмет наличия особенностей (т.е. интересующих нас событий), предварительно выполнив сглаживание для уменьшения уровня шума. Наличие объекта в данном случае соответствует низкому значению d(t).As a result, using formula (3), we obtain the time series d (t), which we further analyze for the presence of features (i.e., events of interest to us), after having performed smoothing to reduce the noise level. The presence of an object in this case corresponds to a low value of d (t).
При определении въезда-выезда по значению d(t) используется пороговый детектор с гистерезисом: въезд регистрируется при d(t)<h2, а выезд - при d(t)>h1, причем h2>h1.When determining the entry-exit by the value of d (t), a threshold detector with hysteresis is used: entry is recorded at d (t) <h 2 , and exit is recorded at d (t)> h 1 , and h 2 > h 1 .
Чтобы избежать нежелательного разрыва ТС на тягач и прицеп алгоритм определения въезда-выезда опирается на дополнительную контрольную зону (см. Фиг.2). В предположении о движении слева направо наличие объекта в этой контрольной зоне означает, что через некоторое время объект появится и в основной контрольной зоне (см. Фиг.2). Комбинируя данные с двух контрольных зон, получаем более устойчивые к прицепам критерии въезда и выезда: въезд регистрируется при появлении объекта в основной контрольной зоне, а выезд - при отсутствии объекта в обеих контрольных зонах.In order to avoid an undesirable break of the vehicle on the tractor and trailer, the algorithm for determining the entry-exit relies on an additional control zone (see Figure 2). Assuming movement from left to right, the presence of an object in this control zone means that after a while the object will appear in the main control zone (see Figure 2). Combining data from two control zones, we obtain entry and exit criteria that are more resistant to trailers: entry is registered when an object appears in the main control zone, and exit is recorded when there is no object in both control zones.
ОПРЕДЕЛЕНИЕ ВЫСОТЫHEIGHT DETERMINATION
Высота ТС определяется как расстояние от плоскости дороги до наивысшей точки ТС, принадлежащей корпусу либо жестко закрепленной на корпусе детали.Vehicle height is defined as the distance from the road plane to the highest point of the vehicle belonging to the body or rigidly fixed to the part body.
Задача определения высоты распадается на 2 части: определение вертикальных границ ТС на изображении и вычисление фактической высоты ТС на основании вертикальных границ.The task of determining the height falls into 2 parts: determining the vertical boundaries of the vehicle in the image and calculating the actual height of the vehicle based on the vertical boundaries.
Способ измерения высоты основан на сравнении текущего изображения с камеры с изображением, усредненным за время проезда ТС с предварительной фильтрацией градиентным фильтром. Перед обработкой из исходного видеопотока выделяется прямоугольный фрагмент, имеющий ширину порядка 1/5 полной ширины кадра. Поскольку каждое ТС обязательно проезжает через весь кадр, выделение фрагмента не влияет на качество результатов, но сокращает необходимый объем вычислений пропорционально отношению площади фрагмента к площади полного кадра. Градиентный фильтр работает по следующей схеме: на основе исходного изображения F(x, у) вычисляется аппроксимация вертикального градиента
В качестве поля индикатора наличия объекта O(x, y, t) используется модуль разности усредненного за время проезда (преобразованного градиентным фильтром) изображения и (преобразованного) изображения в текущий момент времени. При этом O(x, y, t) обновляется на каждом кадре, что позволяет в дальнейшем интегрировать пространственный сигнал f(y,t) во времени. Сам пространственный сигнал вычисляется как построчный максимум:
Вертикальные границы ТС на изображении вычисляются путем применения ранее описанного в данном разделе порогового детектора к fr(y).The vertical boundaries of the vehicle in the image are calculated by applying the threshold detector previously described in this section to f r (y).
Для получения высоты ТС в метрах по вертикальным границам на изображении используется геометрическая модель сцены, предполагающая горизонтальность оптической оси камеры и перпендикулярность ТС оптической оси. Схематически эта модель изображена на Фиг.3 (где 1 - дорога, 2 - камера, 3 - проективная плоскость, 4 - транспортное средство).To obtain the height of the vehicle in meters along the vertical boundaries of the image, a geometric model of the scene is used, assuming the horizontal optical axis of the camera and the perpendicularity of the optical axis of the vehicle. Schematically, this model is depicted in Figure 3 (where 1 is the road, 2 is the camera, 3 is the projective plane, 4 is the vehicle).
Пусть h0 - высота оптической оси камеры над землей (известный параметр), y1 и y2 - вертикальные границы ТС на изображении, h - искомая высота ТС. Положим также, что регистрируемое камерой изображение эквивалентно центральной проекции сцены на плоскость, перпендикулярную оптической оси камеры и находящуюся на расстоянии d0 от камеры. Получается следующая формула для h:Let h 0 be the height of the optical axis of the camera above the ground (a known parameter), y 1 and y 2 be the vertical boundaries of the vehicle in the image, and h is the desired height of the vehicle. We also assume that the image recorded by the camera is equivalent to the central projection of the scene onto a plane perpendicular to the optical axis of the camera and located at a distance d0 from the camera. The following formula for h is obtained:
В формуле (4) y0 - вертикальная координата линии горизонта на изображении.In the formula (4), y 0 is the vertical coordinate of the horizon line in the image.
Необходимо отметить, что определение нижней границы ТС происходит на основе координат колес, найденных на изображении методом Виолы-Джонса (Viola P., Jones М. Robust Real-time Object Detection // International Journal of Computer Vision. 2002).It should be noted that the determination of the lower boundary of the vehicle is based on the coordinates of the wheels found on the image by the Viola-Jones method (Viola P., Jones M. Robust Real-time Object Detection // International Journal of Computer Vision. 2002).
ДЕТЕКЦИЯ ОСЕЙ ТРАНСПОРТНОГО СРЕДСТВАAXIS VEHICLE DETECTION
Задача определения количества осей ТС непосредственно сводится к задаче поиска (или распознавания) всевозможных колес на каждом кадре видеопоследовательности между въездом и выездом ТС с последующим интегрированием результатов. Для увеличения надежности используются несколько методов поиска колес.The task of determining the number of axles of the vehicle directly reduces to the task of searching (or recognizing) all kinds of wheels on each frame of the video sequence between the entry and exit of the vehicle with subsequent integration of the results. To increase reliability, several methods of searching for wheels are used.
На Фиг.4, Фиг.5 и Фиг.6 проиллюстрировано несколько примеров изображений колес грузовых и легковых ТС. Примеры свидетельствуют о возможности статистически (при автоматическом режиме при наличии достаточно большой обучающей выборке) обучить детекторы колес для грузовых и легковых автомобилей, способных работать в достаточно широком диапазоне. Для построения статистических детекторов используется схема Виолы и Джонса (см. указ. соч.).In Fig. 4, Fig. 5 and Fig. 6, several examples of images of wheels of cargo and passenger vehicles are illustrated. The examples show the possibility of statistically (with automatic mode in the presence of a sufficiently large training sample) to train wheel detectors for trucks and cars that can operate in a fairly wide range. To construct statistical detectors, the Viola and Jones scheme is used (see the decree. Op.).
Альтернативно, для распознавания осей транспортного средства может быть использован подход, основанный на фильтрации эллиптических краев.Alternatively, an approach based on filtering elliptical edges can be used to recognize vehicle axles.
На Фиг.7 представлено исходное изображение зоны интереса поиска осей ТС.Figure 7 presents the original image of the zone of interest in the search for the axes of the vehicle.
Шаг 1. Найдем края на изображении, согласно подходу_Канни (Фиг.8).
Шаг 2. Удалим все ветвления на карте границ, после чего сегменты границ отфильтруем по размеру (удалим как слишком короткие, так и слишком длинные сегменты) (Фиг.9).Step 2. We will remove all the branches on the border map, after which we will filter the border segments by size (delete both too short and too long segments) (Fig. 9).
Шаг 3. Удалим точки сегментов краев, в окрестности которых кривизна сегмента выше порога. В качестве оценивателя кривизны будем использовать угол, образованный двухзвенной ломаной, состоящей из текущей точки, и двух точек, с порядковым номером по сегменту, отличающемся на небольшую константу. Повторно проведем фильтрацию по длине сегментов (Фиг.10).
Шаг 4. Удалим заведомо прямолинейные сегменты. Для этого вычислим эллипс инерции каждого сегмента и отбросим сегменты с эксцентриситетом эллипса инерции выше порога (Фиг.11).Step 4. We delete obviously straight-line segments. To do this, we calculate the inertia ellipse of each segment and discard the segments with the eccentricity of the inertia ellipse above the threshold (Fig. 11).
Шаг 5. Аппроксимируем каждый сегмент кривой второго порядка. Для этого будем решать систему вида:Step 5. We approximate each segment of the second-order curve. To do this, we will solve a system of the form:
Вычислим инварианты получившейся кривой второго порядка и отбросим сегменты, аппроксимация которых не соответствует эллипсу. Для оставшихся сегментов вычислим центр эллипса и радиус (как среднее арифметическое размеров полуосей). Отбросим сегменты со слишком большим и слишком маленьким радиусом. Результат работы алгоритма изображен на Фиг.12.We calculate the invariants of the resulting second-order curve and discard the segments whose approximation does not correspond to the ellipse. For the remaining segments, we calculate the center of the ellipse and the radius (as the arithmetic mean of the dimensions of the semiaxes). Drop segments with a radius too large and too small. The result of the algorithm is shown in Fig.12.
ПРЕДВАРИТЕЛЬНЫЙ ПОДСЧЕТ КОЛИЧЕСТВА ОСЕЙ ТРАНСПОРТНОГО СРЕДСТВА (СТАТИСТИЧЕСКАЯ ОБРАБОТКА)PRELIMINARY CALCULATION OF THE NUMBER OF AXES OF THE VEHICLE (STATISTICAL PROCESSING)
Детектирование колес позволяет обнаруживать колеса на статическом кадре без учета движения автомобиля. Это означает, что все кадры, на которых запечатлено проезжающее транспортное средство, обрабатываются независимо, и каждый раз колеса ищутся заново. Вместе с тем фактом, что модуль детектирования почти всегда дает несколько срабатываний на одном колесе, получается, что результатом детектирования является таблица колес, количество записей в которой во много раз превышает реальное количество колес (осей) у транспортного средства, и для вычисления последнего необходимо анализировать эту таблицу.Wheel detection allows you to detect wheels in a static frame without taking into account the movement of the car. This means that all frames on which a passing vehicle is captured are processed independently, and each time the wheels are searched again. Along with the fact that the detection module almost always produces several responses on one wheel, it turns out that the result of the detection is a table of wheels, the number of entries in which is many times higher than the actual number of wheels (axles) of the vehicle, and to calculate the latter, it is necessary to analyze this table.
Будем называть срабатыванием набор S=[x, y, t, r, w), где x - абсцисса центра колеса на кадре, y - ордината центра колеса на кадре, f - порядковый номер кадра, на котором произошло срабатывание, r - радиус колеса в пикселах, w - степень уверенности детектора (вес). Множество срабатываний K={Si} назовем набором.We call a set S = [x, y, t, r, w), where x is the abscissa of the center of the wheel on the frame, y is the ordinate of the center of the wheel on the frame, f is the ordinal number of the frame on which the operation occurred, r is the radius of the wheel in pixels, w is the confidence level of the detector (weight). The set of responses K = {S i } will be called a set.
На вход интегратору подается набор K, по которому требуется определить количество колес. Обозначим его через n и будем под Kj понимать подмножество срабатываний из K, соответствующих j-му колесу, где j принимает значения от 1 до n. Через K0 обозначим срабатывания из K, не попавшие ни в одно из Kj, т.е. ложные срабатывания.At the input to the integrator, set K is supplied, by which it is necessary to determine the number of wheels. We denote it by n and by K j we mean the subset of operations from K corresponding to the jth wheel, where j takes values from 1 to n. By K 0 we denote the triggering from K that did not fall into any of K j , i.e. false positives.
Задача свелась к задаче определения количества кластеров, образуемых данными в пространстве срабатываний. Заметим, что срабатывания из множества K0 не образуют единого кластера, т.к. ложные срабатывания могут происходить на любом кадре в любой позиции, и поэтому перед кластеризацией полезно отфильтровать их. Выделяются две фазы алгоритма: фильтрация данных и кластеризация.The problem boiled down to the problem of determining the number of clusters formed by data in the response space. Note that operations from the set K 0 do not form a single cluster, because false positives can occur on any frame in any position, and therefore it is useful to filter them out before clustering. Two phases of the algorithm are distinguished: data filtering and clustering.
ФИЛЬТРАЦИЯ РЕЗУЛЬТАТОВ ПРЕДВАРИТЕЛЬНОГО ПОДСЧЕТАFILTERING PRE-CALCULATION RESULTS
(СТАТИСТИЧЕСКАЯ ОБРАБОТКА)(STATISTICAL PROCESSING)
Метод фильтрации данных, применяемый в интеграторе, - это медианная фильтрация по двум параметрам: ординате центра колеса и радиусу колеса.The data filtering method used in the integrator is median filtering by two parameters: the ordinate of the center of the wheel and the radius of the wheel.
Транспортное средство движется прямолинейно, поэтому положение колеса x=x(t) - линейная функция. Это значит, что если в плоскости (x, t), которую мы далее будем называть xt -диаграммой отметить те точки, которые занимало колесо в течение проезда, получится прямая линия. Однако из-за того, детектор колес имеет некоторую пространственную толерантность, т.е. дает срабатывания и при небольших сдвигах окна поиска, на реальной xt - диаграмме полосы будут получаться размытыми.The vehicle moves in a straight line, therefore the position of the wheel x = x (t) is a linear function. This means that if in the plane (x, t), which we will continue to call the xt-diagram, we mark the points that the wheel occupied during the passage, we get a straight line. However, because of this, the wheel detector has some spatial tolerance, i.e. gives triggering even with small shifts of the search window, on a real xt - diagram, the stripes will be blurry.
ОКОНЧАТЕЛЬНЫЙ ПОДСЧЕТ КОЛИЧЕСТВА ОСЕЙ ТРАНСПОРТНОГО СРЕДСТВАFINAL CALCULATION OF THE NUMBER OF AXES OF THE VEHICLE
(СТАТИСТИЧЕСКАЯ ОБРАБОТКА)(STATISTICAL PROCESSING)
Рассмотрим xt - диаграмму с весами, т.е. будем считать, что каждое срабатывание вносит в интенсивность J(t, x) вклад, равный его весу:Consider the xt diagram with weights, i.e. we assume that each operation contributes to the intensity J (t, x) a contribution equal to its weight:
Применим к изображению J преобразование Хафа: Н=H(J). На изображении Н(а, b) (в некоторых целочисленных координатах (a, b) получится набор ярко светящихся областей. На Фиг.13 показаны реальная xt - диаграмма для фуры с пятью колесными осями и ее преобразование Хафа. Для того чтобы подсчитать количество колес, вычисляется количество локальных максимумов на H(J), больших некоторого порога.We apply the Hough transform to the image J: H = H (J). The image H (a, b) (in some integer coordinates (a, b) will produce a set of brightly glowing areas. Fig. 13 shows a real xt diagram for a truck with five wheel axles and its Hough transform. In order to calculate the number of wheels , the number of local maxima on H (J) greater than a certain threshold is calculated.
КЛЮЧЕВЫЕ КОМПОНЕНТЫ СИСТЕМЫ, ПРИМЕНЯЕМОЙ ДЛЯ РЕАЛИЗАЦИИ ПРЕДЛАГАЕМОГО СПОСОБАKEY COMPONENTS OF THE SYSTEM USED FOR THE IMPLEMENTATION OF THE SUGGESTED METHOD
Система для реализации предлагаемого способа включает, по меньшей мере, средства для преобразования электромагнитного излучения в цифровой сигнал (сенсорный блок) и средства цифровой обработки данных (блок цифровой обработки данных).A system for implementing the proposed method includes at least means for converting electromagnetic radiation into a digital signal (sensor unit) and means for digital data processing (digital data processing unit).
Сенсорный блок системы представляет собой набор из нескольких специализированных видеокамер с частично перекрывающимися полями зрения. Возможны несколько вариантов геометрии взаимного расположения камер, с использованием от 2 до 4 камер.The sensor unit of the system is a set of several specialized video cameras with partially overlapping fields of view. There are several options for the geometry of the relative positions of the cameras, using from 2 to 4 cameras.
Рассмотрим различные варианты 4-камерного сенсорного блока.Consider the various options for a 4-chamber sensor unit.
«Т-вариант» конфигурации видеокамер предполагает расположение трех видеокамер на одном уровне (~1 метр) и четвертой камеры на высоте ~2.5 метра (над средней из нижних). Оптические оси камер располагаются перпендикулярно плоскости борта транспортного средства (Фиг.14).The “T-variant” of the configuration of the cameras implies the location of three cameras at the same level (~ 1 meter) and the fourth camera at a height of ~ 2.5 meters (above the middle of the bottom). The optical axis of the cameras are perpendicular to the plane of the side of the vehicle (Fig).
«II-вариант» конфигурации видеокамер предполагает расположение двух видеокамер на одном уровне (~1 метр) и двух камер над нижними на высоте ~2.5 метра.The “II-variant” of the configuration of the cameras implies the location of two cameras on the same level (~ 1 meter) and two cameras above the lower ones at a height of ~ 2.5 meters.
Оптические оси камер располагаются перпендикулярно плоскости борта транспортного средства (Фиг.15).The optical axis of the cameras are perpendicular to the plane of the side of the vehicle (Fig.15).
«W-Вариант» конфигурации видеокамер предполагает расположение трех видеокамер на одном уровне (~1 метр) с минимальным смещением непосредственно одна над другой и четвертой камеры на высоте ~2.5 метра (над ними). Оптические оси нижних камер располагаются под углами 45, 90 и 135 градусов к плоскости борта транспортного средства (Фиг.16).The “W-Option” of the configuration of the cameras implies the location of three cameras at the same level (~ 1 meter) with a minimum offset directly above one another and the fourth camera at a height of ~ 2.5 meters (above them). The optical axis of the lower chambers are located at angles of 45, 90 and 135 degrees to the plane of the side of the vehicle (Fig.16).
В качестве двухкамерной конфигурации может быть «I» - конфигурация сенсорного блока, в которой две камеры расположены вертикально, оптические оси в горизонтальной плоскости перпендикулярны дороге, а в вертикальной ось нижняя камеры горизонтальна либо имеет небольшой наклон для оптимизации детального изображения ТС, тогда как ось верхней камеры имеет значительный уклон вверх для наиболее полного охвата диапазона высот.The two-chamber configuration may be “I” - the configuration of the sensor unit, in which two cameras are located vertically, the optical axes are horizontal in the horizontal plane perpendicular to the road, and the vertical axis of the lower camera is horizontal or has a slight slope to optimize the detailed image of the vehicle, while the axis of the upper The camera has a significant upward slope for the most complete coverage of the height range.
В качестве основной двухкамерной конфигурации используется конфигурация сенсорного блока, при которой камеры находятся по разные стороны от наблюдаемой полосы и направлены вдоль одной оси навстречу друг другу.As the main two-chamber configuration, the configuration of the sensor unit is used, in which the cameras are located on different sides of the observed band and are directed along one axis towards each other.
В зависимости от оптимальной конфигурации расположения камер определяется тип крепления. Возможны два основных типа крепления. При первом типе все камеры размещаются на отдельных металлических стойках, устанавливаемых на межполосном островке безопасности. При втором типе крепления нижние камеры крепятся непосредственно к заградительной решетке. При этом камера определения высоты транспортного средства крепится на выносном кронштейне к опорной колонне А со стороны, противоположной шкафу.Depending on the optimal configuration of the location of the cameras, the type of mount is determined. Two main types of mounting are possible. In the first type, all cameras are placed on separate metal racks installed on the inter-island security island. In the second type of attachment, the lower chambers are attached directly to the barrier grid. In this case, the vehicle height determination chamber is mounted on the remote bracket to the support column A from the side opposite the cabinet.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012105146/11A RU2486597C1 (en) | 2012-02-09 | 2012-02-09 | Method of automatic classification of vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012105146/11A RU2486597C1 (en) | 2012-02-09 | 2012-02-09 | Method of automatic classification of vehicles |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2486597C1 true RU2486597C1 (en) | 2013-06-27 |
Family
ID=48702407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2012105146/11A RU2486597C1 (en) | 2012-02-09 | 2012-02-09 | Method of automatic classification of vehicles |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2486597C1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116453075A (en) * | 2023-06-14 | 2023-07-18 | 山东省科学院海洋仪器仪表研究所 | Axle identification method and system based on image processing |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SU557405A1 (en) * | 1975-08-27 | 1977-05-05 | Государственный Дорожный Проектно-Изыскательский И Научно-Исследовательский Институт "Гипродорнии" | Device for measuring crew flow parameters |
US5446291A (en) * | 1993-02-15 | 1995-08-29 | Atlas Elektronik Gmbh | Method for classifying vehicles passing a predetermined waypoint |
US5750069A (en) * | 1995-12-30 | 1998-05-12 | Samsung Electronics Co., Ltd. | Method and apparatus for discriminating vehicle types |
JP2001283375A (en) * | 2000-03-31 | 2001-10-12 | Fujitsu Ltd | Vehicle sort measuring device |
WO2003096300A1 (en) * | 2002-05-07 | 2003-11-20 | Ages Arbeitsgemeinschaft Gebührenentrichtungs Sys Tem Gmbh & Co. Ohg | Method and device for the automatic classification of wheeled vehicles |
-
2012
- 2012-02-09 RU RU2012105146/11A patent/RU2486597C1/en active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SU557405A1 (en) * | 1975-08-27 | 1977-05-05 | Государственный Дорожный Проектно-Изыскательский И Научно-Исследовательский Институт "Гипродорнии" | Device for measuring crew flow parameters |
US5446291A (en) * | 1993-02-15 | 1995-08-29 | Atlas Elektronik Gmbh | Method for classifying vehicles passing a predetermined waypoint |
US5750069A (en) * | 1995-12-30 | 1998-05-12 | Samsung Electronics Co., Ltd. | Method and apparatus for discriminating vehicle types |
JP2001283375A (en) * | 2000-03-31 | 2001-10-12 | Fujitsu Ltd | Vehicle sort measuring device |
WO2003096300A1 (en) * | 2002-05-07 | 2003-11-20 | Ages Arbeitsgemeinschaft Gebührenentrichtungs Sys Tem Gmbh & Co. Ohg | Method and device for the automatic classification of wheeled vehicles |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116453075A (en) * | 2023-06-14 | 2023-07-18 | 山东省科学院海洋仪器仪表研究所 | Axle identification method and system based on image processing |
CN116453075B (en) * | 2023-06-14 | 2023-09-08 | 山东省科学院海洋仪器仪表研究所 | Truck wheel axle identification method and system based on image processing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10943131B2 (en) | Image based lane marking classification | |
US8472715B2 (en) | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus | |
CN106778593B (en) | Lane level positioning method based on multi-ground sign fusion | |
US7899211B2 (en) | Object detecting system and object detecting method | |
CN104509090B (en) | Vehicle-mounted pattern recognition device | |
US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
RU2698610C2 (en) | Method and processing unit for control over traffic monitoring system | |
US9047518B2 (en) | Method for the detection and tracking of lane markings | |
KR100459476B1 (en) | Apparatus and method for queue length of vehicle to measure | |
CN108596058A (en) | Running disorder object distance measuring method based on computer vision | |
JP6678552B2 (en) | Vehicle type identification device and vehicle type identification method | |
JP2018190082A (en) | Vehicle model discrimination device, vehicle model discrimination method, and vehicle model discrimination system | |
WO2002052523A1 (en) | Method and apparatus for monitoring vehicle | |
RU2486597C1 (en) | Method of automatic classification of vehicles | |
Satzoda et al. | Vision-based vehicle queue detection at traffic junctions | |
KR102492290B1 (en) | Drone image analysis system based on deep learning for traffic measurement | |
KR20070070671A (en) | Velocity measuring apparatus and method using optical flow | |
JP2013148354A (en) | Vehicle position calculation device | |
CN114255452A (en) | Target ranging method and device | |
CN110414357A (en) | A kind of front vehicles localization method based on vehicle type recognition | |
Ozawa | Image sensors in traffic and vehicle control | |
KR100261065B1 (en) | Vehicle classification method and apparatus using image analysis | |
CN106874842A (en) | A kind of automobile based on digital picture and curb distance detection method | |
Okarma et al. | Application of shape analysis techniques for the classification of vehicles | |
Wang et al. | Research on Vehicle Speed Estimation Algorithm with Traffic Camera |