RU2767281C1

RU2767281C1 - Method for intelligent processing of array of non-uniform images

Info

Publication number: RU2767281C1
Application number: RU2021106797A
Authority: RU
Inventors: Вячеслав Викторович Катин; Максим Александрович Чаровский; Владимир Юрьевич Лупанчук; Валерий Александрович Скиба; Александр Владимирович Зайцев; Дмитрий Валерьевич Данилочев; Александр Леонидович Шиховцев; Виктор Михайлович Лазарев; Иван Евгеньевич Стручков; Александр Викторович Кулак
Original assignee: Вячеслав Викторович Катин; Максим Александрович Чаровский; Владимир Юрьевич Лупанчук
Priority date: 2021-03-15
Filing date: 2021-03-15
Publication date: 2022-03-17

Abstract

FIELD: physics.

SUBSTANCE: invention relates to digital image processing. Technical result is achieved by the fact that when obtaining an array of inhomogeneous digital images, priority image processing is carried out in order to reduce the percentage of noise and eliminate signs of distortions. Processing of digital images is carried out sequentially by filtration methods with determination of boundaries of an object on a noisy image, increasing information content. Objects on the image are recognized on the processed digital image by splitting the processed image into streams. In each of the streams, after image convolution, pooling is performed with a filter window of size 3 × 3 pixels with extraction of especially bright features and complete pooling with window size 2 × 2 pixels and reverse process of image restoration to initial input size, after convolution reaches maximum 28 × 28 pixels.

EFFECT: reduction and removal of distortions in an array of non-uniform digital images with increase in information content and high accuracy of detecting target designation objects with further comparison of current images with a reference and distribution by classes.

1 cl, 2 dwg

Description

Изобретение относится к области обработки цифровых изображений, в частности, может применяться для выбора наиболее информативных изображений из массива неоднородных, уменьшения искажений с определением на данном изображении семантических объектов, интеллектуального восстановления локальных областей изображения с большими искажениями от информации изображений с меньшим шумом, а также для распределения изображений по классам.The invention relates to the field of digital image processing, in particular, it can be used to select the most informative images from an array of inhomogeneous ones, reduce distortion with the definition of semantic objects in a given image, intelligently restore local areas of an image with large distortions from image information with less noise, and also for distribution of images by classes.

Задача обработки изображений и распознавания характеризуется рядом факторов: внешние, связанные с разными условиями, зависящими от точки наблюдения, освещения, масштаба, перекрытия, сложности фона; внутренние - внутриклассовая изменчивость и деформация (различные формы объекта). В зависимости от вышеперечисленных факторов, для решения задач обработки и распознавания объектов на изображении применяются различные группы методов. При обработке изображений наиболее универсальными характерными признаками являются: форма, яркость (или цвет), текстура и др. Менее различимые для восприятия человеком - это спектральные, гистограммные, корреляционные и другие характеристики.The task of image processing and recognition is characterized by a number of factors: external, associated with different conditions depending on the observation point, lighting, scale, overlap, background complexity; internal - intra-class variability and deformation (different forms of the object). Depending on the above factors, various groups of methods are used to solve the problems of processing and recognizing objects in an image. When processing images, the most universal characteristic features are: shape, brightness (or color), texture, etc. Less distinguishable for human perception are spectral, histogram, correlation, and other characteristics.

Методы цветовых/яркостных фильтров можно применять в случаях, когда объект существенно отличается от фона, а освещение равномерно и не изменяется. Отделив такие объекты от фона, можно воспользоваться анализом геометрических признаков для принятия решений о классификации.Color/brightness filter methods can be used in cases where the object differs significantly from the background, and the lighting is uniform and does not change. By separating such features from the background, geometric feature analysis can be used to make classification decisions.

Если объект на фоне существенным образом не выделяется или имеет сложную окраску, то применение метода цветовых/яркостных фильтров не обеспечивает хорошего результата. В данном случае более эффективен метод выделения и анализа контуров с резким изменением градиента яркости.If the object does not stand out significantly against the background or has a complex color, then the use of the color / brightness filter method does not provide a good result. In this case, the method of selecting and analyzing contours with a sharp change in the brightness gradient is more efficient.

Если изображение имеет множество мелких деталей, то анализ контуров может быть затруднен. В этом случае примяют метод сопоставления с шаблоном. Данный метод применяется для поиска участков изображений, которые наиболее схожи с некоторым заданным шаблоном - конкретным объектом одного класса [1, стр. 6].If the image has a lot of fine detail, edge analysis can be difficult. In this case, the pattern matching method is adopted. This method is used to search for areas of images that are most similar to some given template - a specific object of the same class [1, p. 6].

Известно устройство обработки цифровых изображений и способ управления им (RU №2599260 С2, 2016 г.), содержащее датчик, выполненный с возможностью обнаружения перемещения устройства обработки цифровых изображений; процессор, выполненный с возможностью: определения перемещения устройства обработки цифровых изображений, того, поворачивается или переворачивается ли устройство обработки цифровых изображений, на основании сигнала обнаружения от датчика; и управления отображением первого и второго содержимого, при этом процессор управляет отдельным отображением первого содержимого или одновременным отображением первого и второго содержимого на основании определения перемещения устройства обработки цифровых изображений.A digital image processing device and a method for controlling it are known (RU No. 2599260 C2, 2016), comprising a sensor configured to detect movement of the digital image processing device; a processor configured to: determine whether the digital imaging device is moving, whether the digital imaging device is turning or flipping, based on a detection signal from the sensor; and controlling the display of the first and second contents, wherein the processor controls the separate display of the first content or the simultaneous display of the first and second contents based on the movement determination of the digital imaging device.

2. Устройство обработки цифровых изображений по п. 1, в котором процессор дополнительно выполнен с возможностью определения изменения расстояния между устройством обработки цифровых изображений и пользователем.2. The digital imaging apparatus of claim 1, wherein the processor is further configured to detect a change in distance between the digital imaging apparatus and the user.

3. Устройство обработки цифровых изображений по п. 2, в котором, если сокращается расстояние между устройством обработки цифровых изображений и пользователем, когда отдельно отображается первое содержимое, процессор дополнительно выполнен с возможностью выполнения одновременного отображения первого и второго содержимого.3. The digital imaging apparatus according to claim 2, wherein if the distance between the digital imaging apparatus and the user shortens when the first content is separately displayed, the processor is further configured to perform simultaneous display of the first and second contents.

4. Устройство обработки цифровых изображений по п. 2, в котором, если увеличивается расстояние между устройством обработки цифровых изображений и пользователем в то время, когда одновременно отображается первое и второе содержимое, процессор дополнительно выполнен с возможностью выполнения отдельного отображения первого содержимого.4. The digital imaging apparatus according to claim 2, wherein if the distance between the digital imaging apparatus and the user increases while the first and second contents are being simultaneously displayed, the processor is further configured to separately display the first contents.

5. Устройство обработки цифровых изображений по п. 1, дополнительно содержащее блок обработки манипуляций, выполненный с возможностью формирования сигнала манипуляции согласно пользовательской манипуляции, при этом в то время, когда одновременно отображаются первое и второе содержимое, отдельное отображение второго содержимого выполняется на основании сигнала манипуляции.5. The digital image processing apparatus according to claim 1, further comprising a manipulation processing unit configured to generate a manipulation signal according to a user manipulation, wherein at the time when the first and second contents are simultaneously displayed, separate display of the second contents is performed based on the manipulation signal. .

6. Устройство обработки цифровых изображений по п. 1, в котором первое содержимое представляет собой движущееся изображение, а второе содержимое представляет собой неподвижное изображение, снятое в то время, когда снимается движущееся изображение.6. The digital imaging apparatus according to claim 1, wherein the first content is a moving image and the second content is a still image captured while the moving image is being captured.

7. Устройство обработки цифровых изображений по п. 6, в котором процессор дополнительно выполнен с возможностью воспроизведения первого содержимого с момента времени, когда снято второе содержимое, выбранное пользователем.7. The digital imaging apparatus of claim 6, wherein the processor is further configured to reproduce the first content from the time when the second content selected by the user is captured.

8. Устройство обработки цифровых изображений по п. 1, в котором первое содержимое представляет собой движущееся изображение, а второе содержимое представляет собой карту, указывающую местоположение, в котором снято движущееся изображение, в то время, когда снимается движущееся изображение.8. The digital imaging apparatus according to claim 1, wherein the first content is a moving image and the second content is a map indicating a location where the moving image is captured at the time the moving image is captured.

9. Устройство обработки цифровых изображений по п. 8, в котором процессор дополнительно выполнен с возможностью выполнения отдельного отображения второго содержимого на основании сигнала манипуляции от пользователя.9. The digital imaging apparatus of claim 8, wherein the processor is further configured to perform separate display of the second content based on a manipulation signal from a user.

10. Способ управления устройством обработки цифровых изображений, содержащий этапы, на которых: обнаруживают перемещение устройства обработки цифровых изображений; определяют перемещение устройства обработки цифровых изображений, то, поворачивается или переворачивается ли устройство обработки цифровых изображений, на основании результата обнаружения; и выбирают режим отображения между отдельным отображением первого содержимого или одновременным отображением первого и второго содержимого на основании определения перемещения.10. A method for controlling a digital imaging device, comprising the steps of: detecting movement of the digital imaging device; determining the movement of the digital imaging apparatus, whether the digital imaging apparatus is rotated or flipped, based on the detection result; and selecting a display mode between displaying the first content separately or simultaneously displaying the first and second content based on the move determination.

11. Способ по п. 10, в котором определение перемещения выполняется посредством обнаружения изменения расстояния между устройством обработки цифровых изображений и пользователем.11. The method of claim 10, wherein the motion detection is performed by detecting a change in distance between the digital imaging device and the user.

12. Способ по п. 11, в котором выбор режима отображения содержит этап, на котором преобразуют режим отображения в одновременное отображение первого и второго содержимого, если сокращается расстояние между устройством обработки цифровых изображений и пользователем в то время, когда отдельно отображается первое содержимое.12. The method of claim 11, wherein selecting the display mode comprises converting the display mode to simultaneously displaying the first and second content if the distance between the digital imaging device and the user is shortened while the first content is being separately displayed.

13. Способ по п. 11, в котором выбор режима отображения содержит этап, на котором преобразуют режим отображения в отдельное отображение первого содержимого, если увеличивается расстояние между устройством обработки цифровых изображений и пользователем в то время, когда одновременно отображаются первое и второе содержимое.13. The method of claim 11, wherein the display mode selection comprises converting the display mode to separate display of the first content if the distance between the digital imaging device and the user increases at the time when the first and second content are simultaneously displayed.

14. Способ по п. 10, в котором: первое содержимое представляет собой движущееся изображение, а второе содержимое представляет собой неподвижное изображение, снятое в то время, когда снимается движущееся изображение, и способ дополнительно содержит этап, на котором: отображают первое содержимое с момента времени, когда снято второе содержимое, выбранное пользователем в то время, когда одновременно отображаются первое и второе содержимое.14. The method of claim 10, wherein: the first content is a moving image, and the second content is a still image captured at the time the moving image is captured, and the method further comprises: displaying the first content from the moment the time when the second content selected by the user is taken at the time when the first and second content are simultaneously displayed.

15. Способ по п. 10, в котором: первое содержимое представляет собой движущееся изображение, а второе содержимое представляет собой карту, указывающую местоположение, в котором снято движущееся изображение в то время, когда снимается движущееся изображение, и способ дополнительно содержит этап, на котором: преобразуют режим отображения в отдельное отображение второго содержимого на основании сигнала манипуляции от пользователя, когда одновременно отображаются первое и второе содержимое.15. The method of claim 10, wherein: the first content is a moving image, and the second content is a map indicating a location where the moving image is captured at the time the moving image is captured, and the method further comprises: : Convert the display mode to separate display of the second content based on the manipulation signal from the user when the first and second contents are displayed at the same time.

Известное устройство обработки цифровых изображений и способ управления им предназначены для обработки цифровых изображений, в неподвижном и движущемся состоянии с отображением первого и второго содержимого изображения.The known digital image processing device and method for controlling it are designed for processing digital images, in a stationary and moving state, with displaying the first and second image contents.

Недостатком указанного способа является то, что в нем не производится обработка более 45% зашумленного изображения. Обработка проходит процессором CPU, что для изображений больших разрешений с помехи и шумами потребует больших вычислительных затрат. Обработанное изображение всего лишь временно хранится в запоминающем устройстве.The disadvantage of this method is that it does not process more than 45% of the noisy image. Processing is carried out by the CPU, which for high-resolution images with interference and noise will require large computational costs. The processed image is only temporarily stored in the storage device.

Известен способ интеллектуального выбора ориентиров для повышения точности совмещения при слиянии изображений, полученных различными устройствами (RU №2014 140 480 А, 2016 г.) включающий систему для совмещения изображений, содержащая: модуль выявления признаков изображения, выполненный с возможностью идентификации внутренних ориентиров первого изображения; модуль совмещения и преобразования изображений, выполненный с возможностью вычисления преобразования совмещения с помощью процессора для совмещения второго изображения с первым изображением на основе поверхностных ориентиров с получением в результате совмещенного изображения; и модуль идентификации ориентиров, выполненный с возможностью наложения внутренних ориентиров на второе изображение с помощью преобразования совмещения, окружения каждого из наложенных ориентиров виртуальным объектом для идентификации соответствующих пар ориентиров в совмещенном изображении и совмещения второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами.A known method of intelligent selection of landmarks to improve the accuracy of alignment when merging images obtained by various devices (RU No. 2014 140 480 A, 2016) includes a system for combining images, containing: an image feature detection module, configured to identify internal landmarks of the first image; an image alignment and conversion module, configured to calculate an alignment transformation by the processor for aligning the second image with the first image based on the surface cues, resulting in a merged image; and a landmark identification module configured to superimpose internal landmarks on the second image using alignment transformation, surround each of the superimposed landmarks with a virtual object to identify corresponding pairs of landmarks in the aligned image, and superimpose the second image with the first image using the aligned image with identified landmarks.

2. Система по п. 1, в которой модуль идентификации ориентиров дополнительно выполнен с возможностью совмещения второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами путем преобразования идентифицированных ориентиров в совмещенном изображении во второе изображение с помощью преобразования совмещения.2. The system of claim 1, wherein the landmark identification module is further configured to superimpose the second image with the first image using the superimposed image with the identified landmarks by converting the identified landmarks in the superimposed image into the second image using the superposition transformation.

3. Система по п. 2, в которой модуль идентификации ориентиров дополнительно выполнен с возможностью использования операции, обратной для преобразования совмещения.3. The system of claim 2, wherein the landmark identification module is further configured to use the inverse operation of the alignment transform.

4. Система по п. 2, в которой модуль идентификации ориентиров дополнительно выполнен с возможностью совмещения второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами путем нежесткого совмещения второго изображения с первым изображением.4. The system of claim 2, wherein the landmark identification module is further configured to align the second image with the first image using the aligned image with the identified landmarks by non-rigidly aligning the second image with the first image.

5. Система по п. 1, в которой модуль идентификации ориентиров дополнительно выполнен с возможностью совмещения второго изображения с первым изображением с помощью поверхностных ориентиров и внутренних ориентиров.5. The system of claim 1, wherein the landmark identification module is further configured to align the second image with the first image using surface landmarks and internal landmarks.

6. Система по п. 1, в которой виртуальный объект включает в себя сферу.6. The system of claim. 1, in which the virtual object includes a sphere.

7. Система по п. 5, в которой виртуальный объект имеет задаваемые пользователем размеры.7. The system of claim 5, wherein the virtual object has user-defined dimensions.

8. Система по п. 1, в которой первое изображение и второе изображение формируются различными устройствами.8. The system of claim. 1, in which the first image and the second image are formed by different devices.

9. Способ совмещения изображений, включающий в себя: идентификацию внутренних ориентиров первого изображения; вычисление с помощью процессора преобразования совмещения для совмещения второго изображения с первым изображением на основе поверхностных ориентиров с получением в результате совмещенного изображения; наложение внутренних ориентиров на совмещенное изображение с помощью преобразования совмещения; окружение наложенных ориентиров виртуальным объектом для идентификации соответствующих пар ориентиров в совмещенном изображении; и совмещение второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами.9. The method of combining images, including: identification of internal landmarks of the first image; calculating by the registration transformation processor to register the second image with the first image based on the surface landmarks, resulting in a registration image; overlaying internal landmarks on the combined image using the registration transformation; surrounding the superimposed landmarks with a virtual object to identify corresponding pairs of landmarks in the combined image; and aligning the second image with the first image using the aligned image with the identified landmarks.

10. Способ по п. 9, в котором совмещение второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами включает в себя преобразование идентифицированных ориентиров в совмещенном изображении во второе изображение с помощью преобразования совмещения.10. The method of claim 9, wherein aligning the second image with the first image using the merged image with identified landmarks includes converting the identified pegs in the merged image to the second image using an alignment transform.

11. Способ по п. 10, в котором совмещение второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами включает в себя нежесткое совмещение (514) второго изображения с первым изображением.11. The method of claim 10, wherein aligning the second image with the first image using the align image with identified landmarks includes soft aligning (514) the second image with the first image.

12. Способ по п. 11, в котором нежесткое совмещение второго изображения с первым изображением включает в себя использование поверхностных ориентиров и внутренних ориентиров.12. The method of claim 11, wherein the non-rigid alignment of the second image with the first image includes the use of surface landmarks and internal landmarks.

13. Способ по п. 9, в котором окружение наложенных ориентиров виртуальным объектом включает в себя окружение наложенных ориентиров сферой.13. The method of claim 9, wherein surrounding the superimposed landmarks with a virtual object includes surrounding the superimposed landmarks with a sphere.

Известный способ предназначен для выявления признаков изображения, выполненный с возможностью идентификации внутренних ориентиров первого изображения с дальнейшим наложением на созданный виртуальный объект.The known method is designed to identify the features of the image, made with the possibility of identifying the internal landmarks of the first image with further overlay on the created virtual object.

Недостатком данного способа является то, что не рассматривается параллельно идентификация внутренних ориентиров второго изображения. Сравнение с дальнейшим наложением внутренних ориентиров идет на созданный виртуальный объект, а не на эталонный, который в свою очередь должен иметь ярко выраженные признаки для более точного сравнения и наложения ориентиров.The disadvantage of this method is that the identification of internal landmarks of the second image is not considered in parallel. Comparison with the further imposition of internal landmarks goes to the created virtual object, and not to the reference, which, in turn, must have pronounced features for a more accurate comparison and imposition of landmarks.

Наиболее близким по технической сущности к заявленному изобретению является способ улучшений цифровых изображений (RU №2 367 015 С1, 2009 г.). Способ улучшения цифровых изображений, включающий анализ параметров изображения с последующим извлечением яркостной компоненты, построение корректирующего фильтра и корректировку изображения, отличающийся тем, что корректировке подвергают изображения с искажениями, привнесенными предыдущими корректировками, без использования и анализа параметров оригинального изображения, при этом построение корректирующего фильтра производят по усредненному профилю проекции с построением набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках, корректировку изображения осуществляют, отбирая пиксели изображения в локальной области, примыкающей к граням, исключая при этом пиксели, находящиеся непосредственно на гранях, и корректируют отобранные участки при помощи построенного корректирующего фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.The closest in technical essence to the claimed invention is a method for improving digital images (RU No. 2 367 015 C1, 2009). A method for improving digital images, including analyzing image parameters with subsequent extraction of the brightness component, building a corrective filter and correcting the image, characterized in that images with distortions introduced by previous corrections are subjected to correction, without using and analyzing the parameters of the original image, while constructing a corrective filter is performed according to the average projection profile with the construction of a set of local projections of the image brightness in the direction determined by the gradient in the selected areas, the image is corrected by selecting the image pixels in the local area adjacent to the faces, excluding the pixels located directly on the faces, and the selected areas are corrected when using the constructed corrective filter with adjustment of the weight coefficients of the filter according to the local values of the gradient amplitude.

Известный способ предназначен для обработки изображений от искажений, корректировке подвергают изображения с искажениями, привнесенными предыдущими корректировками, без использования и анализа параметров оригинального изображения.The known method is intended for processing images from distortions, images with distortions introduced by previous adjustments are subjected to correction, without using and analyzing the parameters of the original image.

Недостатком данного способа является то, что при обработке изображений от искажений и шумов не представляется возможности сравнения с оригиналом эталоном изображения для более полного осведомления об информативности изображения наглядного устранения искажений для последующего детектирования объектов на изображении с высокой точностью.The disadvantage of this method is that when processing images from distortions and noises, it is not possible to compare with the original image standard for more complete awareness of the information content of the image, visual elimination of distortions for subsequent detection of objects in the image with high accuracy.

Цель изобретения заключается в уменьшении и удалении искажений в массиве неоднородных цифровых изображений с увеличением информативности и повышении точности детектирования объектов целеуказания с дальнейшим сравнением текущих изображений с эталоном.The purpose of the invention is to reduce and remove distortions in an array of non-uniform digital images with an increase in information content and an increase in the accuracy of detecting target designation objects with further comparison of current images with a standard.

Требуемый технический результат достигается тем, что при получении массива неоднородных цифровых изображений проводят первоочередную обработку изображений с целью уменьшения процента зашумленности и устранения признаков искажений. Обработку цифровых изображений производят последовательно методами фильтрации, определением границ объекта на зашумленном изображении увеличивая информативность. На обработанном цифровом изображении с помощью работы мультипоточной нейронной сети осуществляют распознавание объектов на изображении, путем разбиения данного обработанного изображения на потоки, где в каждом потоке определяются дескрипторы особых точек изображения методами ORB, BRISK, AKAZE. Работа в несколько потоков обеспечивает увеличения числа дескрипторов особых точек изображения, создавая более точные карты особых признаков объекта. В каждом из потоков после свертки изображения осуществляют пулинг с фильтрующим окном размера 3×3 пикселей с выделением особо ярких признаков и завершается пулингом с размером окна 2×2 пикселей и обратный процесс восстановления изображения до исходного входного размера, после того как свертка достигает максимума 28×28 пикселей.The required technical result is achieved by the fact that when receiving an array of non-uniform digital images, the images are processed first in order to reduce the percentage of noise and eliminate signs of distortion. Digital images are processed sequentially by filtering methods, by determining the boundaries of an object in a noisy image, increasing the information content. On the processed digital image, using the operation of a multi-threaded neural network, objects in the image are recognized by dividing this processed image into streams, where descriptors of singular points of the image are determined in each stream by the ORB, BRISK, AKAZE methods. Working in multiple threads provides an increase in the number of image feature point descriptors, creating more accurate maps of feature features. In each of the streams, after image convolution, pooling is performed with a 3×3 pixel filtering window with highlighting of especially bright features and ends with pooling with a window size of 2×2 pixels, and the reverse process of restoring the image to the original input size after convolution reaches a maximum of 28× 28 pixels.

В способе анализируют соседние пиксели, которые располагаются в прямоугольном окне вокруг выбранного пикселя; осуществляют поиск медианного значения и присваивают это значение пикселу; осуществляют шумоподавление с использованием двух основных морфологических операций: сужения (erosion) и расширения (dilation), а также их комбинаций - закрытие (closing) и раскрытие (opening); осуществляют многомасштабный анализ изображения; удаляют шум с изображения, не затрагивая значительно границы и детали объектов; выделяют структуру в многомерном массиве данных; задают значение порога для определения границ в данной точке изображения; рассчитывают градиент изображения; определяют пиксели, в которых достигается локальный максимум градиента в направлении вектора градиента; осуществляют подавление группы пикселей с минимальным коэффициентом яркости; вычисляют приближенное значение градиента яркости изображения для поиска границ Собеля (границ объекта); исключают шум и лишние детали на изображении; уменьшают контурную границу вокруг объекта; объединяют контурную границу вокруг объекта изображения воедино; устанавливают принадлежность распознанного объекта к классу объектов целеуказания на основании сравнительного анализа его контуров с заданным шаблоном на этапе идентификации графических образов; осуществляют интеллектуальную обработку изображений - запускают алгоритм мультипоточной нейронной сети: осуществляют многократный пулинг в потоках, обеспечивают неоднородную интенсивность свертки пулинга, выделяют карту признаков пулинга, вводят фильтр-окно в блоках Пулинга для осуществления скольжения по пикселям изображения, сравнивают полученные признаки между потоками, осуществляют свертку входного изображения; осуществляют признаковое описание изображения; осуществляют привязку к локальным особенностям -особым точкам; осуществляют комбинацию алгоритмов детектора FAST (Features from Accelerated Segment Test) и дескриптора BRIEF (Binary Robust Independent Elementary Features); распределяют изображения по классам; осуществляют поиск особых точек на нелинейной многомасштабной пирамиде; описывают дескрипторы по трем параметрам; осуществляют обратный процесс восстановления изображения до исходного входного размера, после того как свертка достигает максимума 28×28 пикселей.The method analyzes neighboring pixels, which are located in a rectangular window around the selected pixel; search for the median value and assign this value to the pixel; carry out noise reduction using two basic morphological operations: narrowing (erosion) and expansion (dilation), as well as their combinations - closing (closing) and opening (opening); perform multiscale image analysis; remove noise from the image without significantly affecting the boundaries and details of objects; allocate a structure in a multidimensional data array; set a threshold value for determining the boundaries at a given point in the image; calculate the gradient of the image; determine the pixels in which the local maximum of the gradient in the direction of the gradient vector is reached; carry out the suppression of a group of pixels with a minimum coefficient of brightness; calculate the approximate value of the brightness gradient of the image to search for Sobel boundaries (object boundaries); eliminate noise and unnecessary details in the image; reduce the contour border around the object; combine the contour border around the image object together; establish the belonging of the recognized object to the class of target designation objects on the basis of a comparative analysis of its contours with a given template at the stage of identification of graphic images; perform intelligent image processing - run a multithreaded neural network algorithm: perform multiple pooling in streams, provide a non-uniform pooling convolution intensity, extract a pooling feature map, introduce a filter window in the Pooling blocks to perform sliding over image pixels, compare the obtained features between streams, perform convolution input image; carry out an indicative description of the image; carry out binding to local features - singular points; carry out a combination of FAST (Features from Accelerated Segment Test) detector algorithms and BRIEF (Binary Robust Independent Elementary Features) descriptor; distribute images into classes; search for singular points on a nonlinear multiscale pyramid; describe descriptors by three parameters; carrying out the reverse process of restoring the image to the original input size after the convolution reaches a maximum of 28×28 pixels.

Сущность изобретения поясняется структурной схемой, где на фиг. 1 изображены:The essence of the invention is illustrated by a block diagram, where in Fig. 1 are shown:

1 - блок входящих изображений;1 - block of incoming images;

2 - блок линейного усреднения пикселей;2 - block of linear averaging of pixels;

3 - блок медианной фильтрации;3 - median filtering block;

4 - блок математической морфологии;4 - block of mathematical morphology;

5 - блок Гауссовского размытия;5 - Gaussian blur block;

6 - блок методов на основе вейвлет-преобразования;6 - block of methods based on wavelet transform;

7 - блок метода главных компонентов;7 - block of the principal components method;

8 - блок анизотропной диффузии;8 - anisotropic diffusion block;

9 - блок двойной пороговой фильтрации;9 - double threshold filtering unit;

10 - блок подавления группы пикселей с минимальным коэффициентом яркости;10 - block suppression of a group of pixels with a minimum brightness factor;

11 - блок поиск границ Собеля (градиентный подход);11 - block search for Sobel boundaries (gradient approach);

12 - блок детектирования границ оператором Кении;12 - border detection unit by the operator of Kenya;

13 - блок идентификации динамических объектов;13 - block for identifying dynamic objects;

14 - блок мультипоточной нейронной сети;14 - block of multithreaded neural network;

15 - блок BRISK;15 - BRISK block;

16 - блок метода ORB;16 - ORB method block;

17 - блок метода AKAZE;17 - AKAZE method block;

18 - блок-счетчик DISCRIPTION;18 - block counter DISCRIPTION;

19 - блок карты признаков;19 - feature map block;

20 - блок сравнения изображений;20 - image comparison block;

21 - блок эталонных изображений;21 - block of reference images;

22 - блок вывода изображения.22 - image output block.

Изобретение работает следующим образом:The invention works as follows:

В блок входящих изображений 1 одновременно и/или в разное время поступают изображения как с шумом, искажениями с низким разрешением, так и изображения без искажений с высоким разрешением.The block of incoming images 1 simultaneously and/or at different times receive both images with noise, distortions with low resolution, and images without distortions with high resolution.

В блоке линейного усреднения пикселей 2 для каждого пикселя анализируют соседние для него пиксели, которые располагаются в некотором прямоугольном окне вокруг этого пикселя. Чем больше размер окна, тем сильнее происходит усреднение. Самый простой вариант фильтрации - в качестве нового значения центрального пиксела необходиом выбрать среднее арифметическое соседних пикселей, значение которых отличается от значения центрального не более чем на значение величины порога. Чем больше величина порога, тем больше осуществляют усреднение.In the block of linear averaging of pixels 2, for each pixel, the pixels adjacent to it are analyzed, which are located in a certain rectangular window around this pixel. The larger the window size, the stronger the averaging occurs. The simplest filtering option is to choose the arithmetic mean of neighboring pixels as the new value of the central pixel, the value of which differs from the value of the central one by no more than the threshold value. The larger the threshold value, the more averaging is carried out.

Для каждого пиксела в некотором его окружении (окне) в блоке медианной фильтрации 3 осуществляют поиск медианного значения и присваивают его этому пикселу. Определение медианного значения - если массив пикселей отсортировать по их значению, медианой будет серединный элемент массива.For each pixel in some of its environment (window), median filtering block 3 searches for the median value and assigns it to this pixel. Definition of the median value - if the array of pixels is sorted by their value, the median will be the middle element of the array.

Медиану определяют по формуле [5, стр. 667-678]:The median is determined by the formula [5, pp. 667-678]:

где W - множество пикселей, среди которых осуществляют поиск медианы, f_i - значение яркостей цветных пикселей, f_i - значение черно-белых пикселей.where W is the set of pixels among which the median is searched, f _i is the brightness value of color pixels, f _i is the value of black and white pixels.

Для цветных изображений используется векторный медианный фильтр (VMF):For color images, a vector median filter (VMF) is used:

где F_i - значение пикселей в трехмерном цветовом пространстве, F_j - значение пикселей в черно белом пространстве, a d - произвольная метрика (например, евклидова). Однако в чистом виде медианный фильтр размывает мелкие детали, величина которых меньше размера окна для поиска медианы.where F _i - pixel value in three-dimensional color space, F _j - pixel value in black and white space, ad - arbitrary metric (for example, Euclidean). However, in its purest form, the median filter blurs fine details that are smaller than the size of the window for finding the median.

В блоке математической морфологии 4 осуществляют шумоподавление с использованием двух основных морфологических операций: сужения (erosion) и расширения (dilation), а также их комбинаций - закрытия (closing) и раскрытия (opening). Раскрытие (сначала сужение, потом расширение) убирает выступы на границах объектов, а закрытие (сначала расширение, потом сужение) заполняет области внутри и на границах. По исходному изображению I вычисляют новое изображение I', равное полу сумме открытия-закрытия и закрытия-открытия исходного изображения. Получим сглаженное изображение, не содержащее шум. Тогда изображение D, равное разнице I и I' содержит шум и детали объектов исходного изображения, размер которых меньше размера структурного элемента, примененного при морфологических операциях. Предполагается, что амплитуда сигнала шума меньше, чем у деталей объектов на изображении при этом обнуляют все значения в D, которые меньше значения величины порога, далее снова суммируют с В блоке Гауссовского размытия 5 осуществляют свертку изображения с функцией [6, стр. 79-82]:In the mathematical morphology block 4, noise reduction is performed using two basic morphological operations: narrowing (erosion) and expansion (dilation), as well as their combinations - closing (closing) and opening (opening). Opening (first narrowing, then widening) removes protrusions on the boundaries of objects, and closing (first widening, then narrowing) fills in the areas inside and on the borders. From the original image I, a new image I' is calculated, equal to half the sum of the open-close and close-open of the original image. We get a smooth image that does not contain noise. Then the image D equal to the difference between I and I' contains noise and details of the original image objects, the size of which is smaller than the size of the structural element used in morphological operations. It is assumed that the amplitude of the noise signal is less than that of the details of the objects in the image; at the same time, all values in D that are less than the threshold value are set to zero, then again summed with In the Gaussian blur block 5, the image is convolved with the function [6, pp. 79-82 ]:

где параметр А - обеспечивает нормировку,

- задает степень размытия, σ - параметр стандартной погрешности определяет ширину распределения, х, у - координаты пикселей. Фактически, это то же усреднение, только пиксель смешивается с окружающими по определенному закону, заданному функцией Гаусса.where parameter A - provides normalization,

- sets the degree of blurring, σ - the standard error parameter determines the width of the distribution, x, y - pixel coordinates. In fact, this is the same averaging, only the pixel is mixed with the surroundings according to a certain law, given by the Gaussian function.

Матричный фильтр, вычисленный по формуле (3), называется Гауссианом, чем больше его размер, тем сильнее размытие. Поскольку считается, что фильтр сепарабелен, то можно представить его в виде:The matrix filter calculated by formula (3) is called the Gaussian, the larger its size, the stronger the blur. Since the filter is considered to be separable, it can be represented as:

тогда свертку можно производить последовательно по строкам и по столбцам, что приводит к значительному ускорению работы метода при больших размерах фильтра. Вблизи границ (контуров на изображении) такой фильтр применять нельзя, чтобы не смазать детали изображения. Как следствие вдоль границ остается зашумленный контур.then the convolution can be performed sequentially in rows and columns, which leads to a significant acceleration of the method for large filter sizes. Near the borders (contours in the image), such a filter cannot be used, so as not to smear the details of the image. As a result, a noisy contour remains along the boundaries.

Модифицировать этот метод для лучшей адаптации к границам можно путем поиска в каждом окне наилучшего направления размытия (наличие границы), вычисляя производные по направлениям, и применяя в данном окне направленный Гауссиан вдоль найденной границы. В результате размытие осуществляется вдоль границ изображения, и зашумленного контура не будет.This method can be modified to better adapt to borders by searching each window for the best blur direction (the presence of a border), calculating derivatives with respect to directions, and applying a directed Gaussian along the found border in this window. As a result, blurring is carried out along the edges of the image, and there will be no noisy contour.

В блоке методов на основе вейвлет-преобразования 6 осуществляют многомасштабный анализ. Применительно к области шумоподавления удаляют шум с изображения, не затрагивая значительно границы и детали, что позволяет эффективно подавлять шумы со спектрами, отличными от белого.In the block of methods based on the wavelet transform 6, a multiscale analysis is carried out. With regard to the noise reduction area, noise is removed from the image without significantly affecting the boundaries and details, which makes it possible to effectively suppress noise with spectra other than white.

В блоке метод главных компонент 7 выделяют структуру в многомерном массиве данных, что применяется в основном для распознавания или для сжатия изображений. Метод главных компанент работает лучше всего для изображений с белым Гауссовским шумом. Метод предназначен для нахождения базисных векторов исследуемого многомерного пространства, которые наилучшим образом отражают расположение исходных данных в пространстве [7, стр. 55-58].In the principal component method block 7, a structure is distinguished in a multidimensional data array, which is mainly used for recognition or for image compression. Principal Component Method works best for images with white Gaussian noise. The method is designed to find the basis vectors of the studied multidimensional space, which best reflect the location of the initial data in space [7, pp. 55-58].

В блоке анизотропной диффузии 8 яркость каждого пикселя интерпретируют как значение температуры в данной точке изображения, таким образом, что все изображение представляется в виде карты температур. Шумоподавление производится путем выравнивания температур (фактически, интенсивностей пикселей) с помощью моделирования процесса теплопереноса [8, стр. 42-43]:In the anisotropic diffusion block 8, the brightness of each pixel is interpreted as a temperature value at a given point in the image, so that the entire image is represented as a temperature map. Noise reduction is performed by equalizing temperatures (actually, pixel intensities) by modeling the heat transfer process [8, pp. 42-43]:

где I_t - коэффициент температур карт признаков, с - коэффициент теплопроводности, ΔI - разность яркостей («температур») двух пикселей.where I _t is the temperature coefficient of the feature maps, c is the thermal conductivity coefficient, ΔI is the difference between the brightnesses (“temperatures”) of two pixels.

Коэффициент теплопроводности с зависит от градиента интенсивности изображения:The thermal conductivity coefficient c depends on the image intensity gradient:

где ∇I - градиент разности яркостей («температур») двух пикселей, k - количество пар пикселей.where ∇I is the gradient of the brightness difference ("temperatures") of two pixels, k is the number of pairs of pixels.

Так как на границах деталей объектов изображения, как правило, происходит значительное изменение яркости, коэффициент теплопроводности, определяемый по формуле (6), будет небольшим и, как следствие, перенос «тепла» через границу будет минимальным. В зашумленных областях изменение яркостей пикселей незначительно, поэтому такие области хорошо сглажены. По своей сути данный метод очень напоминает Гауссовское размытие.Since, as a rule, a significant change in brightness occurs at the boundaries of the details of image objects, the thermal conductivity coefficient determined by formula (6) will be small and, as a result, the transfer of "heat" through the boundary will be minimal. In noisy areas, the change in pixel brightness is insignificant, so such areas are well smoothed. At its core, this method is very similar to Gaussian blur.

В блоке двойной пороговой фильтрации 9 применяют порог, чтобы определить находится или нет граница в данной точке изображения. Чем меньше порог, тем больше границ будет находиться, более восприимчивым к шуму станет результат, выделяя лишние фрагменты изображения. Наоборот, высокий порог может не обработать слабые края или получить границу фрагментами. Выделение границ использует два порога фильтрации: если значение пикселя выше верхней границы - он принимает максимальное значение (граница считается достоверной), если ниже - пиксель подавляется, точки со значением, попадающим в диапазон между порогов, принимают фиксированное среднее значение.In the double threshold filtering block 9, a threshold is used to determine whether or not a border is located at a given point in the image. The lower the threshold, the more borders will be located, the result will become more susceptible to noise, highlighting unnecessary fragments of the image. Conversely, a high threshold may not process weak edges or get a border in fragments. Edge detection uses two filtering thresholds: if the pixel value is above the upper limit, it takes the maximum value (the limit is considered reliable), if it is lower, the pixel is suppressed, points with a value falling between the thresholds take a fixed average value.

В блоке подавления группы пикселей с минимальным коэффициентом яркости 10 определяют пиксели границ, в которых достигается локальный максимум градиента в направлении вектора градиента. Значение направления должно быть кратно 45° при этом осуществляют подавления группы пикселей с минимальным коэффициентом яркости.In the block for suppressing a group of pixels with a minimum brightness factor of 10, border pixels are determined in which a local gradient maximum is reached in the direction of the gradient vector. The direction value should be a multiple of 45°, while suppressing a group of pixels with a minimum brightness coefficient.

Принцип подавления проиллюстрирован на рисунке выше. Почти все пиксели в примере «имеют ориентацию вверх», поэтому значение градиента в этих точках будет сравнено с ниже- и вышерасположенными пикселями. Обведенные белым контуром пиксели останутся в результирующем изображении, остальные - будут подавлены.The suppression principle is illustrated in the figure above. Almost all of the pixels in the example are "up" so the gradient value at these points will be compared to the pixels below and above. The pixels outlined in white will remain in the resulting image, the rest will be suppressed.

В блоке поиска границ Собеля (градиентный подход) 11 вычисляют приближенное значение градиента яркости изображения для поиска границ Собеля (границы объекта целеуказания). Результатом применения оператора Собеля в каждой точке изображения является либо вектором градиента яркости в этой точке, либо его норма [9, стр. 153-160].In the Sobel boundaries search block (gradient approach) 11, an approximate value of the image brightness gradient is calculated to search for the Sobel boundaries (the boundaries of the target designation object). The result of applying the Sobel operator at each point of the image is either the vector of the brightness gradient at this point, or its norm [9, pp. 153-160].

В блоке детектирования границ оператором Кении 12 исключают шум и лишние детали на изображении, рассчитывают градиент изображения, делают края тонкими, связывают края в контур [10, стр. 22].In the border detection unit, the Kenya operator 12 eliminates noise and unnecessary details in the image, calculates the image gradient, makes the edges thin, and links the edges into a contour [10, p. 22].

В блоке идентификации динамических объектов 13 на этапе идентификации графических образов устанавливают принадлежности найденного динамического объекта к классу объектов целеуказания на основании сравнительного анализа его контуров с заданным шаблоном.In the block for identifying dynamic objects 13, at the stage of identifying graphic images, the found dynamic object is assigned to the class of target designation objects based on a comparative analysis of its contours with a given template.

В блоке 14 осуществляют алгоритм мультипоточной нейронной сети, основные этапы которой представлены в виде блоков на фиг. 2.In block 14, a multithreaded neural network algorithm is implemented, the main stages of which are presented in the form of blocks in Fig. 2.

В блоке BRISK (Binary Robust Invariant Scalable Keypoints) 15 осуществляют признаковое описание изображения, при этом осуществляют привязку к локальным особенностям - особым точкам. Отличается от остальных методов тем, что определяет наибольшее количество особых точек с цифровым шумом, при этом на фильтрацию образовавшихся ложных связей затрачивается значительное количество времени, хотя итоговая точность достаточно высока.In block BRISK (Binary Robust Invariant Scalable Keypoints) 15, an indicative description of the image is carried out, while linking to local features - singular points. It differs from other methods in that it determines the largest number of singular points with digital noise, while filtering the resulting false connections takes a significant amount of time, although the final accuracy is quite high.

В блоке метода ORB (Oriented FAST and Rotated BRIEF) 16 осуществляют комбинацию алгоритмов детектора FAST (Features from Accelerated Segment Test) и дескриптора BRIEF (Binary Robust Independent Elementary Features), обеспечивающего распознавание одинаковых участков изображения, которые сняты с разных точек (ракурсов). Дескриптор - описание особой точки в окрестности в виде числового или бинарного вектора определенных параметров изображения. Метод имеет лучшую скорость в вычислении особых точек и расчета их дескрипторов, что позволяет использовать его в задачах, где необходима обработка. Одной из таких задач является слежение за движущимся объектом. Наличие цифрового шума или размытие изображений ухудшает результат сравнения изображений.In the ORB (Oriented FAST and Rotated BRIEF) method block 16, the algorithms of the FAST (Features from Accelerated Segment Test) detector and the BRIEF (Binary Robust Independent Elementary Features) descriptor are combined, which provides recognition of the same image sections taken from different points (angles). Descriptor - a description of a singular point in the neighborhood as a numeric or binary vector of certain image parameters. The method has the best speed in calculating singular points and calculating their descriptors, which allows it to be used in tasks where processing is required. One of these tasks is tracking a moving object. The presence of digital noise or blurring of images degrades the result of image comparison.

В блоке AKAZE (Accelerated-KAZE) 17 осуществляют распределение изображения, при этом метод обладает низкой скоростью и не имеет большого количества особых точек, но обеспечивает высокую точность при сопоставлении изображений и дальнейшего распределения по группам.In the AKAZE (Accelerated-KAZE) 17 block, the image is distributed, while the method has a low speed and does not have a large number of special points, but provides high accuracy when comparing images and further distribution into groups.

В блоке 18 осуществляют поиск особых точек на нелинейной многомасштабной пирамиде и описывают дескрипторы по трем параметрам, обеспечивая высокую точность при сопоставлении изображений и дальнейшего их распределения по группам. Блок 18 является переменной для блока 14, в которой хранится количество дескрипторов после каждой свертки.In block 18, singular points are searched for on a non-linear multiscale pyramid and descriptors are described in three parameters, providing high accuracy when comparing images and their further distribution into groups. Block 18 is a variable for block 14 that stores the number of descriptors after each convolution.

В блок карты признаков 19 поступают обработанные изображения с дескрипторами.The feature map block 19 receives processed images with descriptors.

В блоке сравнения изображений 20 сравнивают эталонные изображения с обработанными.In the image comparison block 20, the reference images are compared with the processed ones.

В блоке эталонных изображений 21 хранятся исходные изображения.The reference image block 21 stores the original images.

В блоке вывода изображений 22 осуществляют вывод изображений, прошедшие проверку в блоке сравнения изображений.In the image output unit 22, images that have been checked in the image comparison unit are output.

На фиг. 2 изображены основные этапы многопоточной нейронной сети блока 14:In FIG. 2 shows the main stages of the multi-threaded neural network of block 14:

НачалоStart

23 - блок входных цифровых изображений;23 - block of input digital images;

24 - блок определения разрешения входного изображения по X и Y пиксельным осям;24 - block for determining the resolution of the input image along the X and Y pixel axes;

25 - блок логического распределения изображения по количествам потоков в зависимости от его разрешения;25 - block of the logical distribution of the image by the number of streams depending on its resolution;

26 - блок первого потока, включающий в себя копию изображения разрешением 256×256 пикселей с каналом интенсивности в 1 пиксель;26 - block of the first stream, including a copy of the image with a resolution of 256×256 pixels with an intensity channel of 1 pixel;

27 - блок свертки изображения 128×128 пикселей с интенсивностью канала в 16 пикселей;27 - image convolution block 128×128 pixels with a channel intensity of 16 pixels;

28 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков объекта после свертки 128×128 пикселей;28 - Image Pooling block with a 3×3 pixel filter with highlighting of particularly bright object feature maps after convolution 128×128 pixels;

29 - блок свертки изображения 64×64 пикселей с интенсивностью канала в 8 пикселей;29 - image convolution block 64×64 pixels with a channel intensity of 8 pixels;

30 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей;30 - image pooling block with a 3×3 pixel filter with highlighting of particularly bright object feature maps after convolution 64×64 pixels;

31 - блок Свертки изображения 64×64 пикселей с интенсивностью канала в 16 пикселей;31 - block Convolution image 64×64 pixels with a channel intensity of 16 pixels;

32 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей с каналом интенсивности 16 пикселей;32 - image pooling block with a 3×3 pixel filter with highlighting of particularly bright object feature maps after convolution of 64×64 pixels with an intensity channel of 16 pixels;

33 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 128×128 пикселей с интенсивностью канала 16 пикселей и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;33 - image pooling block with a 2×2 pixel filter with highlighting of especially bright feature maps of the object after convolution of 128×128 pixels with a channel intensity of 16 pixels and selected filter pooling features maps of 3×3 pixels;

34 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей с интенсивностью канала 8 пикселей и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;34 - Image Pooling block with a 2×2 pixel filter with highlighting of especially bright object feature maps after convolution of 64×64 pixels with a channel intensity of 8 pixels and selected 3×3 pixel filter pooling feature maps;

35 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей с интенсивностью канала 16 пикселей и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;35 - image pooling block with a 2×2 pixel filter with highlighting of especially bright object feature maps after convolution of 64×64 pixels with a channel intensity of 16 pixels and selected 3×3 pixel filter pooling feature maps;

36 - блок хранения данных особо выраженных признаков изображения после проведения пулинга фильтром размерностью 2×2 пикселей;36 - block for storing data of especially pronounced features of the image after pooling by a filter with a dimension of 2×2 pixels;

37 - блок хранения данных особо выраженных признаков изображения после проведения пулинга фильтром размерностью 3×3 пикселей;37 - block for storing data of especially pronounced features of the image after pooling by a filter with a dimension of 3×3 pixels;

38 - блок логического сопоставления количества особых точек изображения исходя из полученных данных пулинга фильтрами размерностью 3×3 и 2×2 пикселей. Если после сверки коэффициент количества ярко выраженных признаков (С_х,у) меньше 60% то запускается повторный процесс пулинга, а если С_х,у>60%, то изображение восстанавливается до его исходных размеров путем дискредитации и свертки;38 - block of logical comparison of the number of special points of the image based on the obtained pooling data with filters of 3×3 and 2×2 pixels. If, after verification, the coefficient of the number of pronounced features (С _{x, y} ) is less than 60%, then a repeated pooling process is started, and if С _{x, y} > 60%, then the image is restored to its original size by discrediting and convolution;

39 - блок определения количества потоков. При коэффициенте F>256×256 пикселей;39 - block for determining the number of threads. With a factor F>256×256 pixels;

40 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков изображения;40 - image pooling block with a 3×3 pixel filter with highlighting of especially bright image feature maps;

41 - блок Свертки изображения 128×128 пикселей с интенсивностью канала в 16 пикселей;41 - block Convolution image 128×128 pixels with a channel intensity of 16 pixels;

42 - блок Свертки изображения 64×64 пикселей с интенсивностью канала в 8 пикселей;42 - block Convolution image 64×64 pixels with a channel intensity of 8 pixels;

43 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков изображения;43 - image pooling block with a 3×3 pixel filter with highlighting of especially bright image feature maps;

44 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей с интенсивностью канала 8 пиксель и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;44 - image pooling block with a 2×2 pixel filter with highlighting of especially bright feature maps of the object after convolution of 64×64 pixels with a channel intensity of 8 pixels and selected filter pooling feature maps of 3×3 pixels;

45 - блок Свертки изображения 32×32 пикселей с интенсивностью канала в 16 пикселей;45 - block Image Convolution 32×32 pixels with a channel intensity of 16 pixels;

46 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков изображения;46 - image pooling block with a 3×3 pixel filter with highlighting of especially bright image feature maps;

47 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 32×32 пикселей с интенсивностью канала 16 пикселей и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;47 - image pooling block with a 2×2 pixel filter with highlighting of especially bright object feature maps after convolution of 32×32 pixels with a channel intensity of 16 pixels and selected 3×3 pixel filter pooling feature maps;

48 - блок Свертки изображения 28×28 пикселей с интенсивностью канала в 1 пиксель;48 - Image Convolution block 28×28 pixels with a channel intensity of 1 pixel;

49 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков изображения;49 - image pooling block with a 3×3 pixel filter with highlighting of especially bright image feature maps;

50 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 28×28 пикселей с интенсивностью канала 1 пиксель и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;50 - image pooling block with a 2×2 pixel filter with highlighting of especially bright feature maps of the object after convolution of 28×28 pixels with a channel intensity of 1 pixel and selected filter pooling feature maps of 3×3 pixels;

51 - блок хранения данных особо выраженных признаков изображения после проведения пулинга фильтром размерностью 3×3 пикселей;51 - block for storing data of especially pronounced features of the image after pooling by a filter with a dimension of 3×3 pixels;

52 - блок хранения данных особо выраженных признаков изображения после проведения пулинга фильтром размерностью 2×2 пикселей;52 - a block for storing data of especially pronounced features of the image after pooling by a filter with a dimension of 2×2 pixels;

53 - блок логического сопоставления количества особых точек изображения исходя из полученных данных пулинга фильтрами размерностью 3×3 и 2×2 пикселей. Если после сверки коэффициент количества ярко выраженных признаков C_x,y<70% то запускается повторный процесс пулинга, а если С_х,у>70%, то изображение восстанавливается до его исходных размеров путем дискредитации и свертки;53 - block of logical comparison of the number of feature points of the image based on the obtained pooling data with filters of 3×3 and 2×2 pixels. If, after verification, the coefficient of the number of pronounced features C _{x, y} <70%, then a repeated pooling process is started, and if C _{x, y} > 70%, then the image is restored to its original size by discrediting and convolution;

54 - блок дискредитации и свертки изображения с размерности 28×28 пикселей до 128×128 пикселей с каналом интенсивности 4 пикселя;54 - block for discrediting and convolution of an image from 28×28 pixels to 128×128 pixels with an intensity channel of 4 pixels;

55 - блок дискредитации и свертки изображения с размерности 128×128 пикселей до 256×256 пикселей с каналом интенсивности 4 пикселя;55 - block of discrediting and convolution of the image from the dimension of 128×128 pixels to 256×256 pixels with an intensity channel of 4 pixels;

56 - блок выходного обработанного изображения с определенными дескрипторами особых точек;56 - block of the output processed image with specific descriptors of key points;

Конец.End.

В блоке 14 многопоточную нейронную сеть делят на потоки 25, осуществляют многократный пулинг в потоках 28, 30, 32-35, 40, 43, 44, 46, 47, 49, 50, обеспечивают неоднородную интенсивность свертки пулинга 27, 29, 31, 41, 42, 45, 48, выделяют карту признаков пулинга, вводят фильтр-окно в блоки Пулинга для осуществления скольжения по пикселям изображения, сравнивают полученные признаки между потоками 38, осуществляют свертку входного изображения. Пулинг патча с размером окна 3×3 с выделением особо выраженных карт признака, повторный пулинг размером окна 2×2 пикселей в уже выделенных картах признака, свертку изображения и пулинг 3×3 и 2×2 пикселей при максимуме свертки до размера 28×28 пикселей с каналом в 1 пиксель. Активационная функция для каждого нейрона, содержащего пиксель - RELU, на выходном слое - Softmax. После того как свертка достигла минимального размера 28×28 пикселей осуществляют обратный процесс восстановления изображения до исходного входного размера 54, 55, при этом после каждой свертки отображается количество найденных дескрипторов в слоях. На выходном изображении дескрипторы объединяют воедино 56, что обеспечивает повышение качества изображения.In block 14, the multi-threaded neural network is divided into threads 25, multiple pooling is carried out in threads 28, 30, 32-35, 40, 43, 44, 46, 47, 49, 50, and pooling convolution intensity is non-uniform 27, 29, 31, 41 , 42, 45, 48, extract the pooling feature map, introduce a filter window into the Pooling blocks to perform sliding over image pixels, compare the obtained features between streams 38, convolve the input image. Patch pooling with 3x3 window size highlighting prominent feature maps, re-pooling 2x2 pixel window size in already selected feature maps, image convolution and 3x3 and 2x2 pixel pooling with maximum convolution up to 28x28 pixels with a channel of 1 pixel. Activation function for each neuron containing a pixel - RELU, on the output layer - Softmax. After the convolution has reached the minimum size of 28×28 pixels, the reverse process of restoring the image to the original input size of 54, 55 is carried out, while after each convolution the number of found descriptors in the layers is displayed. In the output image, the descriptors are merged 56 to improve the quality of the image.

Таким образом, в предлагаемом новом способе помимо перечисленных в ближайшем аналоге, используются следующие дополнительные действия:Thus, in the proposed new method, in addition to those listed in the closest analogue, the following additional steps are used:

1. Анализируют соседние пиксели, которые располагаются в прямоугольном окне вокруг выбранного пикселя.1. Analyze neighboring pixels, which are located in a rectangular window around the selected pixel.

2. Осуществляют поиск медианного значения и присваивают это значение пикселу.2. Search for the median value and assign this value to the pixel.

3. Осуществляют шумоподавление с использованием двух основных морфологических операций: сужения (erosion) и расширения (dilation), а также их комбинаций - закрытие (closing) и раскрытие (opening).3. Noise reduction is carried out using two main morphological operations: narrowing (erosion) and expansion (dilation), as well as their combinations - closing (closing) and opening (opening).

4. Осуществляют многомасштабный анализ изображения.4. Carry out multi-scale image analysis.

5. Удаляют шум с изображения, не затрагивая значительно границы и детали объектов; выделяют структуру в многомерном массиве данных.5. Remove noise from the image without significantly affecting the boundaries and details of objects; allocate a structure in a multidimensional data array.

6. Задают значение порога для определения границ в данной точке изображения; рассчитывают градиент изображения.6. Set the threshold value for determining the boundaries at a given point in the image; calculate the gradient of the image.

7. Определяют пиксели, в которых достигается локальный максимум градиента в направлении вектора градиента.7. Determine the pixels in which the local maximum of the gradient is reached in the direction of the gradient vector.

8. Осуществляют подавление группы пикселей с минимальным коэффициентом яркости; вычисляют приближенное значение градиента яркости изображения для поиска границ Собеля (границ объекта).8. Carry out the suppression of a group of pixels with a minimum coefficient of brightness; an approximate value of the image brightness gradient is calculated to search for Sobel boundaries (object boundaries).

9. Исключают шум и лишние детали на изображении.9. Eliminate noise and unnecessary details in the image.

10. Уменьшают контурную границу вокруг объекта.10. Reduce the contour border around the object.

11. Объединяют контурную границу вокруг объекта изображения воедино.11. Combine the contour border around the image object together.

12. Устанавливают принадлежность распознанного объекта к классу объектов целеуказания на основании сравнительного анализа его контуров с заданным шаблоном на этапе идентификации графических образов.12. It is established that the recognized object belongs to the class of target designation objects based on a comparative analysis of its contours with a given template at the stage of identifying graphic images.

13. Осуществляют интеллектуальную обработку изображений - запускают алгоритм мультипоточной нейронной сети: осуществляют многократный пулинг в потоках, обеспечивают неоднородную интенсивность свертки пулинга, выделяют карту признаков пулинга, вводят фильтр-окно в блоках Пулинга для осуществления скольжения по пикселям изображения, сравнивают полученные признаки между потоками, осуществляют свертку входного изображения.13. Intelligent image processing is carried out - the algorithm of the multithreaded neural network is launched: multiple pooling is carried out in the streams, non-uniform pooling convolution intensity is provided, a map of pooling features is extracted, a filter window is introduced in the Pooling blocks to perform sliding over image pixels, the obtained features are compared between streams, perform convolution of the input image.

14. Осуществляют признаковое описание изображения.14. Provide an indicative description of the image.

15. Осуществляют привязку к локальным особенностям - особым точкам.15. Bind to local features - special points.

16. Осуществляют комбинацию алгоритмов детектора FAST (Features from Accelerated Segment Test) и дескриптора BRIEF (Binary Robust Independent Elementary Features).16. A combination of FAST (Features from Accelerated Segment Test) detector algorithms and BRIEF (Binary Robust Independent Elementary Features) descriptor is implemented.

17. Распределяют изображения по классам.17. Distribute images into classes.

18. Осуществляют поиск особых точек на нелинейной многомасштабной пирамиде.18. Search for singular points on a non-linear multi-scale pyramid.

19. Описывают дескрипторы по трем параметрам.19. Describe descriptors by three parameters.

20. Осуществляют обратный процесс восстановления изображения до исходного входного размера, после того как свертка достигает максимума 28×28 пикселей.20. The reverse process of restoring the image to its original input size is carried out after the convolution reaches a maximum of 28×28 pixels.

Сравнительный анализ существенных признаков существующих способов обработки массива изображений и настоящего способа показывает, что предложенный способ, основанный на использовании дополнительных операций, связанных с анализом соседних пикселей, которые располагаются в некотором прямоугольном окне вокруг этого пикселя, осуществлением поиска медианного значения и присваивают его этому пикселу, шумоподавления с использованием двух основных морфологических операций: сужения (erosion) и расширения (dilation), а также их комбинаций - закрытия (closing) и раскрытия (opening), многомасштабного анализа изображения, удаления шумов с изображения, выделения структуры в многомерном массиве данных, что применяется в основном для распознавания или для сжатия изображений, выделяют пиксели, в которых достигается локальный максимум градиента в направлении вектора градиента, осуществляют подавления группы пикселей с минимальным коэффициентом яркости, вычисляют приближенное значение градиента яркости изображения для поиска границ Собеля (границы объекта целеуказания), исключают шум и лишние детали на изображении, рассчитывают градиент изображения, делают края тонкими, связывают края в контур, устанавливают принадлежность найденного динамического объекта к классу объектов целеуказания на основании сравнительного анализа его контуров с заданным шаблоном, осуществляют алгоритм мультипоточной нейронной сети: осуществляют многократный пулинг в потоках, обеспечивают неоднородную интенсивность свертки пулинга, выделяют карту признаков пулинга, вводят фильтр-окно в блоках Пулинга для осуществления скольжения по пикселям изображения, сравнивают полученные признаки между потоками, осуществляют свертку входного изображения; осуществляют признаковое описание изображения при этом привязывают к локальным особенностям - особым точкам, осуществляют комбинацию алгоритмов детектора FAST (Features from Accelerated Segment Test) и дескриптора BRIEF (Binary Robust Independent Elementary Features), обеспечивающего распознавание одинаковых участков изображения, осуществляют поиск особых точек на нелинейной многомасштабной пирамиде и описывают дескрипторы по трем параметрам, сравнивают эталонные изображения с обработанными отличается тем, что за счет интеллектуальной обработки массива неоднородных изображений обеспечивается увеличение информативности изображения и точности детектирования объектов с дальнейшим сравнением его с имеющимся эталоном изображения.A comparative analysis of the essential features of the existing methods for processing an array of images and the present method shows that the proposed method, based on the use of additional operations associated with the analysis of neighboring pixels, which are located in a certain rectangular window around this pixel, searching for a median value and assigning it to this pixel, noise reduction using two main morphological operations: narrowing (erosion) and expansion (dilation), as well as their combinations - closing (closing) and disclosure (opening), multi-scale image analysis, removal of noise from the image, structure extraction in a multidimensional data array, which is mainly used for image recognition or compression, select pixels in which a local gradient maximum is reached in the direction of the gradient vector, suppress a group of pixels with a minimum brightness coefficient, calculate an approximate value of the brightness gradient from images to search for Sobel boundaries (boundaries of the target designation object), eliminate noise and unnecessary details in the image, calculate the image gradient, make the edges thin, link the edges into a contour, establish whether the found dynamic object belongs to the class of target designation objects based on a comparative analysis of its contours with a given template , implement a multithreaded neural network algorithm: perform multiple pooling in the streams, provide a non-uniform pooling convolution intensity, extract a pooling feature map, introduce a filter window in the Pooling blocks to perform sliding over image pixels, compare the obtained features between streams, convolve the input image; carry out an indicative description of the image, while linking it to local features - singular points, performing a combination of the algorithms of the FAST (Features from Accelerated Segment Test) detector and the BRIEF (Binary Robust Independent Elementary Features) descriptor, which provides recognition of identical sections of the image, searching for singular points on a nonlinear multiscale pyramid and describe the descriptors in three parameters, compare the reference images with the processed ones.

Таким образом, достигается технический результат изобретения -уменьшение и удаление искажений в массиве неоднородных цифровых изображениях с увеличением информативности и повышение точности детектирования объектов с дальнейшим сравнением его с имеющимся эталоном изображения.Thus, the technical result of the invention is achieved - reduction and removal of distortions in an array of non-uniform digital images with an increase in information content and an increase in the accuracy of object detection with further comparison with the existing image standard.

Источники информации:Sources of information:

1. Никитенко А.А. Реконфигурируемая программная система для распознавания патологий по видео данным колоноскопии. ВКР по направлению подготовки 02.03.02. Томск: ТГУ, 2018. - 47 с.1. Nikitenko A.A. Reconfigurable software system for pathology recognition based on colonoscopy video data. WRC in the direction of preparation 02.03.02. Tomsk: TSU, 2018. - 47 p.

2. Дзанг Ин-ра (KR) Патент RU №2599260 С2, МПК H04N 5/225 «Устройство обработки цифровых изображений и способ управления им». 2014144440/07. Заяв. 28.03.2013. Опубл. 10.10.2016. Бюл. №15.2. Dzang In-ra (KR) Patent RU No. 2599260 C2, IPC H04N 5/225 "Digital image processing device and method for controlling it." 2014144440/07. App. 03/28/2013. Published 10.10.2016. Bull. No. 15.

3. Партасарати Виджай, Лин Муцинг, Крюкер Йохен (NL) Патент RU №2014140480 А, МПК G06T 7/00 «Интеллектуальный выбор ориентиров для повышения точности совмещения при слиянии изображений, полученных различными устройствами». 2014140480. Заяв. 01.03.2013. Опубл. 27.04.2016 Бюл. №12.3. Parthasarathy Vijay, Lin Mutsing, Kruker Yochen (NL) Patent RU No. 2014140480 A, IPC G06T 7/00 "Intelligent selection of landmarks to improve alignment accuracy when merging images obtained by different devices." 2014140480. App. 03/01/2013. Published 27.04.2016 Bull. No. 12.

4. Шмунк Д.В. Патент RU №2367015 С1, МПК G06K 9/40, G06T 5/00 «Способ улучшения цифровых изображений». 2008118846/09. Заяв. 12.05.2008. Опубл. 10.09.2009. Бюл. №25.4. Shmunk D.V. Patent RU No. 2367015 C1, IPC G06K 9/40, G06T 5/00 "Method for improving digital images". 2008118846/09. App. May 12, 2008. Published 09/10/2009. Bull. No. 25.

5. Червяков Н.И. Два метода адаптивной медианной фильтрации импульсного шума на изображениях / Червяков Н.И., Ляхов П.А., Оразаев А.Р. // Компьютерная оптика. - 2018. - Т. 42, №4. - с. 667-678.5. Chervyakov N.I. Two methods of adaptive median filtering of impulse noise in images / Chervyakov N.I., Lyakhov P.A., Orazaev A.R. // Computer optics. - 2018. - V. 42, No. 4. - from. 667-678.

6. Спектор А.А. Рекуррентная фильтрация гауссовских дискретных полей, наблюдаемых в гауссовских шумах // Радиотехника и электроника, 1994, №7. - с. 79-82.6. Spektor A.A. Recurrent filtering of Gaussian discrete fields observed in Gaussian noise // Radio engineering and electronics, 1994, no. 7. - from. 79-82.

7. Даджион Д., Мерсеро Р. Цифровая обработка многомерных сигналов. - М.: Мир, 1988. - с. 488.7. Dagion D., Mercereau R. Digital processing of multidimensional signals. - M.: Mir, 1988. - p. 488.

8. Прэтт У. Цифровая обработка изображений. Кн.2. - М.: Мир, 1982. - 480 с.8. Pratt W. Digital image processing. Book 2. - M.: Mir, 1982. - 480 p.

9. Кирсанов М.Н. Maple и Maplet. Решение задач механики / Кирсанов М.Н. - С-Пб.: изд-во «Лань», 2012. - 512 с.9. Kirsanov M.N. Maple and Maplet. Solution of problems of mechanics / Kirsanov M.N. - St. Petersburg: publishing house "Lan", 2012. - 512 p.

10. Местецкий Л.М. Математические методы распознавания образов. - М: МГУ, 2004. - 144 с.10. Mestetsky L.M. Mathematical methods of pattern recognition. - M: MGU, 2004. - 144 p.

Claims

A method for intelligent processing of an array of heterogeneous images, which consists in analyzing and processing digital images taking into account brightness features and filters, correcting images, recognizing objects in images, highlighting special common points (descriptors) between images, characterized in that neighboring pixels are analyzed, which are located in a rectangular window around the selected pixel; search for the median value and assign this value to the pixel; carry out noise reduction using two basic morphological operations: narrowing (erosion) and expansion (dilation), as well as their combinations - closing (closing) and disclosure (opening); perform multiscale image analysis; remove noise from the image without significantly affecting the boundaries and details of objects; allocate a structure in a multidimensional data array; set a threshold value for determining the boundaries at a given point in the image; calculate the gradient of the image; determine the pixels in which the local maximum of the gradient in the direction of the gradient vector is reached; carry out the suppression of a group of pixels with a minimum coefficient of brightness; calculate the approximate value of the brightness gradient of the image to search for Sobel boundaries (object boundaries); eliminate noise and unnecessary details in the image; reduce the contour border around the object; combine the contour border around the image object together; establish the belonging of the recognized object to the class of target designation objects on the basis of a comparative analysis of its contours with a given template at the stage of identification of graphic images; perform intelligent image processing - run a multithreaded neural network algorithm: perform multiple pooling in streams, provide a non-uniform pooling convolution intensity, extract a pooling feature map, introduce a filter window in the Pooling blocks to perform sliding over image pixels, compare the obtained features between streams, perform convolution input image; carry out an indicative description of the image; carry out binding to local features - special points; carry out a combination of FAST (Features from Accelerated Segment Test) detector algorithms and BRIEF (Binary Robust Independent Elementary Features) descriptor; distribute images into classes; search for singular points on a nonlinear multiscale pyramid; describe descriptors by three parameters; carrying out the reverse process of restoring the image to the original input size after the convolution reaches a maximum of 28×28 pixels.