EA030790B1 - Method for generating panoramic images from video stream of frames in real time mode - Google Patents
Method for generating panoramic images from video stream of frames in real time mode Download PDFInfo
- Publication number
- EA030790B1 EA030790B1 EA201692174A EA201692174A EA030790B1 EA 030790 B1 EA030790 B1 EA 030790B1 EA 201692174 A EA201692174 A EA 201692174A EA 201692174 A EA201692174 A EA 201692174A EA 030790 B1 EA030790 B1 EA 030790B1
- Authority
- EA
- Eurasian Patent Office
- Prior art keywords
- image
- current frame
- images
- coordinates
- frames
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 37
- 239000013598 vector Substances 0.000 claims abstract description 30
- 238000006073 displacement reaction Methods 0.000 claims abstract description 29
- 238000010586 diagram Methods 0.000 claims description 3
- 230000002380 cytological effect Effects 0.000 abstract 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005088 metallography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
Изобретение относится к обработке цифровых изображений, а более конкретно к способам формирования панорамных изображений из видеопотока кадров, полученных устройствами для цифровой видеосъемки (камерами, фотоаппаратами, в том числе используемыми совместно с оптическими микроскопами, эндоскопами и т.д.), в режиме реального времени.The invention relates to the processing of digital images, and more specifically to methods of forming panoramic images from a video stream of frames obtained by devices for digital video shooting (cameras, cameras, including those used in conjunction with optical microscopes, endoscopes, etc.), in real time .
Получение панорамных изображений является важной задачей во многих отраслях науки и техники: биологии, медицине (гистологии, цитологии, эндоскопии), материаловедении (металлографии, петрографии, минералогии) и т.д., так как дает возможность исследователю составить более полное представление об изучаемом объекте и уменьшить методическую составляющую погрешности при дальнейшем анализе изображений, что в конечном итоге позволяет получать более точные результаты исследования (диагностики).Obtaining panoramic images is an important task in many branches of science and technology: biology, medicine (histology, cytology, endoscopy), materials science (metallography, petrography, mineralogy), etc., as it allows the researcher to get a more complete picture of the object under study. and reduce the methodological component of the error in the further image analysis, which ultimately allows to obtain more accurate research results (diagnostics).
Из уровня техники известен способ обработки видеосигнала с цифровой камеры устройства, позволяющий получать панорамные изображения (US 20120257006) [1]. Способ реализован в устройстве, которое помимо прочих элементов включает в себя блок обработки видеосигнала и центральный процессор (ЦП). С помощью блока обработки видеосигнала выполняют интерполяцию пикселей, коррекцию координат, генерацию яркости цветового сигнала, настраивают баланс белого, корректируют экспозицию, сжимают видеопоток и преобразовывают его формат. В одном из вариантов реализации с помощью блока обработки видеосигнала выравнивают стороны смежных кадров. С помощью ЦП контролируют работу всех блоков схемы и осуществляют объединение изображений. Недостатком данного способа является то, что он подходит только для устройств получения кадров, оснащенных сенсорами направления движения и ускорения. Кроме этого, объединение кадров возможно только при движении устройства в горизонтальном направлении.In the prior art a method for processing a video signal from a digital camera of a device is known, which allows obtaining panoramic images (US 20120257006) [1]. The method is implemented in a device which, among other elements, includes a video signal processing unit and a central processing unit (CPU). Using the video signal processing unit, pixels are interpolated, coordinates are corrected, color signal brightness is generated, white balance is adjusted, exposure is adjusted, video stream is compressed, and its format is converted. In one embodiment, with the help of a video signal processing unit, the sides of adjacent frames are aligned. With the help of the CPU, they control the operation of all the blocks of the circuit and combine the images. The disadvantage of this method is that it is only suitable for frame acquisition devices equipped with motion and acceleration sensors. In addition, the frame integration is possible only when the device moves in a horizontal direction.
В патенте US 20090153647 A1 [2] панорамные изображения из видеопотока строят с помощью устройства, которое включает в себя микропроцессор, блок вычислений, блок бинаризации, блок оценки движения, RAM- и EEPROM-памяти. Способ получения панорамного изображения включает в себя следующие основные этапы: получение изображения; бинаризацию изображения; сравнение бинарного изображения текущего кадра с бинарным изображением предыдущего кадра и расчет среднего вектора смещения текущего кадра относительно предыдущего; "пришивку" текущего изображения к панораме, т.е. к результирующему изображению; обрезку изображения для получения прямоугольной панорамы.In US patent 20090153647 A1 [2], panoramic images from a video stream are constructed using a device that includes a microprocessor, a computing unit, a binarization unit, a motion estimation unit, RAM and EEPROM memory. The method of obtaining a panoramic image includes the following main steps: image acquisition; image binarization; comparing the binary image of the current frame with the binary image of the previous frame and calculating the average displacement vector of the current frame relative to the previous one; "stitching" the current image to the panorama, i.e. to the resulting image; crop the image to get a rectangular panorama.
В данном способе расчет вектора смещения осуществляется по бинарным изображениям, что в большинстве случаев сопряжено с большой вероятностью ошибки. Анализ бинарных изображений подходит для изображений с достаточным количеством контрастных элементов. Кроме того, операции сравнения изображений проводятся на центральном процессоре, который выполняет их в 3-4 раза медленнее, чем, например, процессор видеокарты.In this method, the offset vector is calculated from binary images, which in most cases is associated with a high probability of error. Analysis of binary images is suitable for images with a sufficient number of contrast elements. In addition, image comparison operations are performed on a central processor, which performs them 3-4 times slower than, for example, a video card processor.
Наиболее близким к заявленному изобретению является способ формирования составного (панорамного) изображения, в котором предложен оригинальный алгоритм определения последовательности объединения кадров в панорамное изображение (RU 2421814) [3]. Согласно этому способу анализируют входные изображения, поступающие в произвольном порядке и в произвольной ориентации, выявляя на каждом изображении множество особых точек, и определяют дескрипторы этих точек, выполняют попарное сравнение всех входных изображений путем расчета суммы квадратов разностей дескрипторов особых точек и нахождение совместимых особых точек, при этом формируют квадратно-симметричную таблицу, состоящую из количества совместимых особых точек для каждой пары изображений, выбирают первое изображение путем суммирования элементов строк таблицы и выбора изображения с тем порядковым номером, которому соответствует строка с максимальной суммой элементов, результирующее множество особых точек и дескрипторов формируют из множества особых точек и дескрипторов первого выбранного изображения, далее один за другим выбирают изображения, имеющие максимальное количество совместимых особых точек с результирующим множеством особых точек, восстанавливают параметры аффинного вращения/смещения между множеством совместимых особых точек выбранного изображения и результирующим множеством особых точек, найденные параметры аффинного вращения/смещения сохраняют в памяти, после чего результирующее множество особых точек дополняют совместимыми особыми точками и их дескрипторами данного выбранного изображения, предварительно подвергнутого найденному аффинному преобразованию, один за другим выбирают входные изображения и поочередно деформируют, используя сохраненные параметры аффинного вращения/смещения, затем преобразованное изображение включают в результирующее изображение путем нахождения оптимального шва, проходящего через расположенные на перекрывающихся участках пиксели, имеющие минимальные различия, при этом шов между объединенными изображениями заметен как можно меньше.Closest to the claimed invention is a method of forming a composite (panoramic) image, which proposed the original algorithm for determining the sequence of combining frames into a panoramic image (RU 2421814) [3]. According to this method, input images that arrive in an arbitrary order and in an arbitrary orientation are analyzed, identifying many special points on each image, and descriptors of these points are determined, pairwise comparison of all input images is performed by calculating the sum of squares of differences of special point descriptors and finding compatible special points, at the same time form a square-symmetric table consisting of the number of compatible singular points for each pair of images, choose the first image by sum the result of the set of special points and descriptors is formed from the set of special points and descriptors of the first selected image, then one after the other choose the image with the maximum number of compatible special points with the resulting set of singular points, restore the parameters of affine rotation / displacement between the set of compatible singular points of the selected iso The results and affine rotation / offset parameters found are saved in memory, after which the resulting set of special points is supplemented with compatible special points and their descriptors of this selected image, previously subjected to the found affine transformation, one by one, select the input images and alternately deform, using the saved affine rotation / offset parameters, then the transformed image is included in the resulting image by ahozhdeniya optimum suture that passes through overlapping portions disposed on the pixels having the minimum difference, the seam between the combined images visible as little as possible.
Данный способ имеет следующие недостатки:This method has the following disadvantages:
предложенный алгоритм формирования составного (панорамного) изображения предполагает первичное получение всего множества входных кадров, из которых формируется панорама, с их последующим объединением. Таким образом, данный алгоритм не позволяет строить панорамные изображения в режиме реального времени, когда процесс объединения текущего кадра с результирующим изображением непосредственно следует за операцией его получения через устройство ввода изображения;The proposed algorithm for the formation of a composite (panoramic) image involves the initial receipt of the entire set of input frames from which the panorama is formed, with their subsequent merging. Thus, this algorithm does not allow to build panoramic images in real time when the process of combining the current frame with the resulting image immediately follows the operation to obtain it through the image input device;
- 1 030790- 1 030790
производится попарное сравнение всех входных кадров, включая и те, которые могут не иметь общей области перекрытия друг с другом, что существенно увеличивает время построения панорамы.pairwise comparison of all input frames is made, including those that may not have a common overlap area with each other, which significantly increases the time to build a panorama.
Задачей настоящего изобретения является создание способа формирования панорамных изображений из видеопотока кадров, полученных устройствами для цифровой видеосъемки (камерами, фотоаппаратами, в том числе используемыми совместно с оптическими микроскопами, эндоскопами и т.д.), в режиме реального времени.The present invention is the creation of a method of forming panoramic images from a video stream of frames obtained by devices for digital video shooting (cameras, cameras, including those used in conjunction with optical microscopes, endoscopes, etc.) in real time.
Для решения поставленной задачи предложен способ формирования панорамных изображений из видеопотока кадров в режиме реального времени, в котором на изображениях кадров выявляют множества характерных элементов, изображение текущего кадра сравнивают с результирующим изображением, далее определяют координаты вектора смещения текущего кадра, и изображение текущего кадра сдвигают на рассчитанные координаты вектора смещения, далее рассчитывают границу области перекрытия и смещенное изображение текущего кадра добавляют к результирующему, при этом вокруг выявленных характерных элементов строят характерные прямоугольные области, при сравнении изображений на кадрах сравнивают множества характерных прямоугольных областей, при этом изображение текущего кадра сравнивают только с соседними опорными кадрами, входящими в результирующее изображение, и только в областях интереса изображений текущего и опорных кадров, рассчитывают величину средней интенсивности пикселей изображения текущего кадра, определяют координаты вектора смещения текущего кадра относительно соседних опорных кадров, за координаты векторов смещения между текущим и опорными кадрами принимают средние координаты смещения между всеми совместимыми характерными прямоугольными областями на изображениях текущего и опорных кадров с их последующим уточнением путем наложения ограничений на величину среднеквадратичного отклонения координат векторов смещения совместимых характерных прямоугольных областей и на величину разницы между координатами векторов смещения совместимых характерных прямоугольных областей и их средних значений, изображение текущего кадра сдвигают относительно изображений соседних опорных кадров и добавляют к результирующему изображению, операцию сравнения характерных прямоугольных областей изображений осуществляют на процессоре видеокарты.To solve this problem, a method of forming panoramic images from a video frame stream in real time mode is proposed in which multiple characteristic elements are detected on frame images, the image of the current frame is compared with the resulting image, then the coordinates of the displacement vector of the current frame are determined, and the image of the current frame is shifted by the coordinates of the displacement vector, then calculate the boundary of the overlap area and the offset image of the current frame is added to the resulting in addition, characteristic rectangular areas are built around the identified characteristic elements, when comparing images on frames, sets of characteristic rectangular areas are compared, while the image of the current frame is compared only with the neighboring reference frames included in the resulting image, and only in the areas of interest of the current and reference images frames, calculate the average pixel intensity of the image of the current frame, determine the coordinates of the displacement vector of the current frame relative to adjacent their reference frames, the coordinates of the displacement vectors between the current and reference frames, take the average coordinates of the displacement between all compatible characteristic rectangular areas on the images of the current and reference frames with their further refinement by imposing restrictions on the value of the standard deviation of the coordinates of the displacement vector compatible compatible rectangular areas and the value differences between the coordinates of displacement vectors of compatible characteristic rectangular regions and their mean values, from The image of the current frame is shifted relative to the images of the neighboring reference frames and added to the resulting image, the operation of comparing the characteristic rectangular areas of the images is performed on the video card processor.
В частном случае, при величине средней интенсивности пикселей текущего кадра больше заданной пользователем пороговой величины, в качестве характерной прямоугольной области текущего кадра используют всю область интереса текущего кадра.In the particular case, when the average pixel intensity of the current frame is greater than the user-defined threshold value, the entire area of interest of the current frame is used as the characteristic rectangular area of the current frame.
При реализации способа анализирует изображения последовательно захваченных кадров с произвольным направлением смещения друг относительно друга.When implementing the method, it analyzes images of successively captured frames with an arbitrary direction of displacement relative to each other.
Сущность заявленного способа заключается в следующем. В отличие от способа-прототипа, в заявленном способе в качестве объектов сравнения на изображениях выступают не дескрипторы особых точек, а характерные прямоугольные области, которые строят вокруг выявленных характерных элементов. Попиксельное сравнение характерных прямоугольных областей на процессоре видеокарты происходит в 3-4 раза быстрее, чем сравнение дескрипторов особых точек на ЦП. При этом изображение текущего кадра сравнивают только с соседними опорными изображениями и только в областях интереса этих кадров. Это позволяет существенно сократить количество операций сравнения изображений и, как следствие, ускорить работу алгоритма.The essence of the claimed method is as follows. Unlike the prototype method, in the claimed method, not descriptors of singular points, but characteristic rectangular areas, which are built around the identified characteristic elements, act as objects of comparison in the images. A pixel-by-pixel comparison of characteristic rectangular areas on a video card's processor is 3-4 times faster than a comparison of descriptors of special points on the CPU. At the same time, the image of the current frame is compared only with the neighboring reference images and only in the areas of interest of these frames. This allows to significantly reduce the number of image comparison operations and, as a result, speed up the operation of the algorithm.
Выбор сравниваемых характерных прямоугольных областей определяется величиной средней интенсивности пикселей изображения текущего кадра. Это позволяет для изображений с большим числом характерных элементов проводить сравнения не всех соответствующих им характерных прямоугольных областей, а ограничиться для этого всего лишь одной областью - областью интереса текущего кадра. При этом количество операций сравнения характерных прямоугольных областей, а значит и время расчета, уменьшается в несколько десятков раз. Далее определяют координаты вектора смещения текущего кадра относительно соседних опорных кадров. За координаты векторов смещения между текущим и опорными кадрами принимают средние координаты смещения между всеми совместными характерными прямоугольными областями на изображениях текущего и опорных кадров с их последующим уточнением путем наложения ограничений на величину среднеквадратичного отклонения координат векторов смещения совместимых характерных прямоугольных областей и на величину разницы между координатами векторов смещения совместимых характерных прямоугольных областей и их средних значений. Изображение текущего кадра сдвигают относительно изображений соседних опорных кадров. После этого рассчитывают границу области перекрытия, и смещенное изображение текущего кадра добавляют к результирующему. Операция сравнения характерных прямоугольных областей изображений осуществляется на процессоре видеокарты, что обеспечивает более высокую скорость расчетов, т.к. процессор видеокарты позволяет проводить операции попиксельного сравнения изображений в 3-4 раза быстрее, чем центральный процессор.The choice of compared characteristic rectangular areas is determined by the average intensity of the image pixels of the current frame. This allows for images with a large number of characteristic elements to make comparisons not all corresponding characteristic rectangular areas, but to limit it to just one area - the area of interest of the current frame. At the same time, the number of comparisons of characteristic rectangular areas, and hence the calculation time, decreases several dozen times. Next, determine the coordinates of the offset vector of the current frame relative to the adjacent reference frames. The coordinates of the displacement vectors between the current and reference frames are taken as the average coordinates of the displacement between all common characteristic rectangular areas on the images of the current and reference frames with their subsequent refinement by imposing restrictions on the magnitude of the standard deviation of the displacement vector coordinates of compatible characteristic rectangular areas and on the difference between the coordinates of the vectors displacements of compatible characteristic rectangular areas and their mean values. The image of the current frame is shifted relative to the images of the adjacent reference frames. After that, the overlap area boundary is calculated, and the offset image of the current frame is added to the resulting one. The operation of comparing the characteristic rectangular areas of images is carried out on the video card processor, which ensures a higher calculation speed, since The video card processor allows pixel-by-pixel image comparison operations 3-4 times faster than the central processor.
Технический результат от использования настоящего изобретения состоит в сокращении количества операций сравнения изображений и ускорении расчетов координат векторов смещения текущих кадров относительно опорных, что позволяет в целом ускорить работу алгоритма формирования панорамных изображений и реализовать его в режиме реального времени.The technical result from the use of the present invention consists in reducing the number of image comparison operations and speeding up calculations of the coordinates of the displacement vectors of the current frames relative to the reference frames, which makes it possible in general to speed up the operation of the panoramic image generation algorithm and implement it in real time.
Заявленный способ поясняется чертежами. На фиг. 1 представлена схема основных элементов уст- 2 030790The claimed method is illustrated by drawings. FIG. 1 shows a diagram of the main elements of the device; 2 030790
ройства, реализующих заявленный способ; на фиг. 2, 3 изображена блок-схема процесса получения панорамного изображения; на фиг. 4 представлена блок-схема алгоритма сравнения изображений двух кадров; на фиг. 5 изображены область интереса текущего кадра (C) и область интереса опорного кадра (Z); на фиг. 6 изображены координаты векторов смещения между совместимыми характерными элементами на изображениях текущего и опорного кадров (границы характерных прямоугольных областей не указаны); на фиг. 7 показан вектор смещения P текущего кадра относительно опорного; рассчитанная граница области перекрытия, по которой будет производиться объединение двух изображений (жирная линия); результирующее изображение после объединения двух кадров.the implementation of the claimed method; in fig. 2, 3 shows a flowchart of the process of obtaining a panoramic image; in fig. 4 shows a block diagram of the algorithm for comparing images of two frames; in fig. 5 shows the region of interest of the current frame (C) and the region of interest of the reference frame (Z); in fig. 6 shows the coordinates of displacement vectors between compatible characteristic elements on the images of the current and reference frames (the boundaries of the characteristic rectangular areas are not indicated); in fig. 7 shows the offset vector P of the current frame relative to the reference; the calculated boundary of the overlap area, which will be used to merge two images (bold line); the resulting image after combining the two frames.
Процесс функционирования устройства, реализующего заявленный способ и представленный на фиг. 1, управляется центральным процессором 2 (ЦП). Изображения кадров через устройство ввода изображения 1 (камеры, фотоаппараты, в том числе используемые совместно с оптическими микроскопами, эндоскопами и т.д.) и шину данных, попадают в процессор видеокарты 3, где и подвергаются анализу. В частности, процессор видеокарты 3 осуществляет преобразование изображений из формата RAW в формат RGB и поиск характерных элементов на изображениях. Характерными элементами на изображении могут являться особые точки, линии и характерные области. Несшитые кадры панорамного изображения сохраняются в буфере несшитых кадров 5, роль которого может выполнять оперативная память. Объединенное панорамное изображение сохраняется в устройстве хранения панорамного изображения 4 (реализуемое в виде носителя на жестких магнитных дисках или иного накопителя данных).The process of operation of the device that implements the claimed method and presented in FIG. 1, is controlled by a central processor 2 (CPU). Frame images via the image input device 1 (cameras, cameras, including those used in conjunction with optical microscopes, endoscopes, etc.) and data bus enter the processor of video card 3, where they are analyzed. In particular, the video card processor 3 converts images from the RAW format to the RGB format and searches for the characteristic elements in the images. Characteristic elements in the image may be special points, lines and characteristic areas. Unstitched frames of the panoramic image are stored in a buffer of unstitched frames 5, which can be performed by the RAM. The combined panoramic image is stored in the storage device of the panoramic image 4 (implemented as a carrier on hard magnetic disks or another data storage device).
При работе с оптическим микроскопом, снабженным камерой и автоматизированным столиком, вначале по заданной пользователем области сканирования производится расчет количества снимаемых кадров в этой области (Шаг 1, фиг. 2). Сканирование кадров производится слева направо и сверху вниз, при этом каждый последующий кадр имеет область перекрытия с предыдущим кадром. Зная размер области перекрытия кадров вдоль одной оси, например, оси X, которую обозначим через dx, размер стороны кадра kx и размер области сканирования Lx вдоль этой же оси, несложно найти количество перекрывающихся кадров Nx, которые предстоит снять, сканируя вдоль оси X:When working with an optical microscope equipped with a camera and an automated table, first, the number of shots taken in this area is calculated using a user-defined scanning area (Step 1, Fig. 2). Frames are scanned from left to right and from top to bottom, with each subsequent frame having an overlap area with the previous frame. Knowing the size of the frame overlap along one axis, for example, the X axis, which we denote by d x , the size of the frame side k x and the size of the scanning area L x along the same axis, it is easy to find the number of overlapping N x frames to be removed by scanning along X axis:
Аналогично производится расчет количества перекрывающихся кадров Ny, которые предстоит снять, сканируя вдоль оси Y. Тогда общее количество кадров, которое будет получено в результате сканирования, определится как произведение чисел Nx и Ny (Шаг 1, фиг. 2).Similarly, the number of overlapping frames N y is calculated, which is to be taken by scanning along the Y axis. Then the total number of frames that will be obtained as a result of the scan will be determined as the product of the numbers Nx and Ny (Step 1, Fig. 2).
При получении текущего кадра система при помощи оператора Собеля [4] осуществляет поиск на его изображении характерных элементов (точек, областей, линий, углов и пр.). В данном способе текущим кадром называется последний полученный системой кадр через устройство ввода изображения (фиг. 1). После этого по изображению текущего кадра производится расчет величины средней интенсивности пикселей Grad (Шаг 2, фиг. 2).When receiving the current frame, the system using the Sobel operator [4] searches for its image of characteristic elements (points, areas, lines, angles, etc.). In this method, the current frame is the last frame received by the system through the image input device (Fig. 1). After that, the image of the current frame is used to calculate the average pixel intensity Grad (Step 2, Fig. 2).
£тах(КрОрВ()£ max (K p O p B ( )
Grad = (2)Grad = (2)
где max(Ri, Gi? Bi) - максимальное значение интенсивности из интенсивностей 3-х цветовых каналов (R-red, G-green, B-blue) для i-го пикселя;where max (R i , G i? B i ) is the maximum intensity value from the intensities of 3 color channels (R-red, G-green, B-blue) for the i-th pixel;
M - общее количество пикселей на текущем кадре. Следует отметить, что вместо оператора Собеля может быть применен любой другой оператор, выделяющий характерные элементы на изображении.M is the total number of pixels in the current frame. It should be noted that instead of the Sobel operator, any other operator can be used, highlighting the characteristic elements in the image.
Фиг. 4 описывает алгоритм сравнения двух кадров. На шаге 3.1 на изображении текущего кадра выделяется область интереса текущего кадра (C) (фиг. 5), которая с вероятностью 100% попадает в область перекрытия с изображением на опорном кадре. В данном способе опорным кадром называется кадр, который имеет с текущим кадром общую область перекрытия. Область интереса текущего кадра - это область, которая с вероятностью 100% попадает в область перекрытия текущего кадра с опорным. Область интереса опорного кадра - область, которая имеет ненулевую вероятность попасть в область перекрытия опорного кадра с текущим. Размеры области интереса текущего кадра (C) рассчитываются, исходя из того, что размер области перекрытия кадров по всем осям (dx и dy) при автоматизированном сканировании устанавливается равным 3/4 длины кадра вдоль соответствующих осей (Lx и Ly): dx=3/4Lx и dy=3/4Ly. Если, к примеру, сканирование образца производится вдоль оси X, тогда размер области (C) вдоль оси X устанавливается равным: dx - W, а вдоль оси Y: dy- 2W, где W - величина погрешности в определении координат автоматизированного столика (фиг. 5). В результате на изображении текущего кадра выделяют область (C), которая с вероятностью 100% попадает в область перекрытия с опорным кадром. Область интереса опорного кадра (фиг. 5) - область (Z) - получают путем увеличения зоны перекрытия кадров на величину W слева: dx+W. В этой области вероятность попадания в область перекрытия с текущим кадром отлична от нуля.FIG. 4 describes an algorithm for comparing two frames. In step 3.1, on the image of the current frame, the area of interest of the current frame (C) (Fig. 5) is highlighted, which with a probability of 100% falls into the overlap area with the image on the reference frame. In this method, a reference frame is a frame that has a common overlap area with the current frame. The region of interest of the current frame is the region that with a probability of 100% falls into the region of overlap of the current frame with the reference one. The region of interest of the reference frame is an area that has a nonzero probability to fall into the region of overlap of the reference frame with the current one. The dimensions of the region of interest of the current frame (C) are calculated based on the fact that the size of the frame overlap region along all axes (dx and dy) with automated scanning is set equal to 3/4 of the frame length along the respective axes (L x and L y ): d x = 3 / 4L x and d y = 3 / 4L y . If, for example, a sample is scanned along the X axis, then the size of the region (C) along the X axis is set to: dx - W, and along the Y axis: dy- 2W, where W is the magnitude of the error in determining the coordinates of the automated table (FIG. five). As a result, an area (C) is selected on the image of the current frame, which with a probability of 100% falls into the overlap area with the reference frame. The area of interest of the reference frame (Fig. 5) - the area (Z) - is obtained by increasing the frame overlap zone by the value of W to the left: d x + W. In this region, the probability of hitting the overlap region with the current frame is non-zero.
На шаге 3.2 (фиг. 4) производится сравнение величины Grad (2) текущего кадра с заданной пороговой величиной - Grad0. Если Grad>Grad0, то производится поиск всей области интереса текущего кадра (C) в области интереса опорного кадра (Z) площадным методом (шаг. 3.3, фиг. 4). Для этого область (C) помещается в левый верхний угол области (Z) и рассчитывается разница в интенсивностях каналов RGBIn step 3.2 (Fig. 4), the magnitude of Grad (2) of the current frame is compared with a predetermined threshold value — Grad 0 . If Grad> Grad 0 , then the entire area of interest of the current frame (C) is searched in the area of interest of the reference frame (Z) by the areal method (step 3.3, Fig. 4). To do this, the region (C) is placed in the upper left corner of the region (Z) and the difference in the intensities of the RGB channels is calculated.
- 3 030790- 3 030790
соответственных пикселей (пикселей, находящихся на одинаковых местах в сравниваемых областях). После этого для каждой пары пикселей выбирается максимальное из трех значений разности интенсивностей по трем цветовым каналам: AI=max(AR,AG,AB) и все значения ΔΣ суммируются по всем соответственным пикселям: I ΣΔ. Величина I характеризует степень совпадения двух областей. Далее область (C) смещается на один пиксель вправо по области (Z) и снова рассчитывается величина I. Когда область (C) дойдет до правого края области (Z), она сместится на один пиксель вниз и пойдет в обратную сторону. В результате этого будет проведено сравнение области интереса (C) со всеми такими же по размеру областями (C"), находящимися в области (Z), и для каждой такой пары областей будет рассчитана величина I. Далее среди всех значений I выбирается минимальное значение: Imin=min(I). Если Imin<I0 (Io - заданный параметр), то области (C) и (C"), для которых I=Imin и Imin<I0 считаются совместимыми, т.е. совпавшими (Шаг 3.4, фиг. 4). Если величина Grad<Grad0, то переходят ко второму методу.corresponding pixels (pixels that are at the same places in the compared areas). After that, for each pair of pixels, the maximum of three values of the intensity difference is selected for the three color channels: AI = max (AR, AG, AB) and all ΔΣ values are summed over all respective pixels: I ΣΔ. The value of I characterizes the degree of coincidence of the two regions. Then the region (C) is shifted one pixel to the right along the region (Z) and the value I is calculated again. When the region (C) reaches the right edge of the region (Z), it will shift one pixel down and go in the opposite direction. As a result, the region of interest (C) will be compared with all the regions of the same size (C ") located in the region (Z), and the quantity I will be calculated for each such pair of regions. Then, among all the values of I, the minimum value is selected: I min = min (I). If I min <I 0 (Io is a given parameter), then the regions (C) and (C ") for which I = I min and I min <I 0 are considered compatible, i.e. . matched (Step 3.4, fig. 4). If the value of Grad <Grad 0 , then go to the second method.
Суть второго метода состоит в том, что вокруг каждого характерного элемента, найденного на изображении текущего кадра при помощи оператора Собеля, строится прямоугольник, таким образом, что характерный элемент оказывается вписанным в этот прямоугольник, т.е. длины сторон прямоугольника равны проекциям характерного элемента на оси X и Y декартовой системы координат (Шаг. 3.5, фиг. 4). Такой прямоугольник с вписанным в него характерным элементом будем далее называть характерной прямоугольной областью. В данном методе размер характерной прямоугольной области не может превышать 64x64 пикселя. Если размер характерного элемента более 64 пикселей хотя бы по одной координате, то такой элемент разбивается на несколько характерных элементов. Пусть в результате действия оператора Собеля найдено n характерных элементов и построено n характерных прямоугольных областей в области интереса текущего кадра (C). Далее производится сравнение каждой n-ой характерной прямоугольной области в области интереса текущего кадра со всеми возможными областями такого же размера в количестве n'', находящимися в области интереса опорного кадра (Z) аналогично тому, как это делалось в первом методе (Шаг 3.6, фиг. 4). В результате этого обнаруживаются q пар совместимых характерных прямоугольных областей (в первом способе обнаруживается 1 пара), для которых находятся разности их координат по осям X и Y: Δxh, Δyh, где h=1...q (фиг. 6, для наглядности разность координат указана не между характерными прямоугольными областями, а между вписанными в них характерными элементами). Далее производится проверка правильности найденных совместимых характерных пар прямоугольных областей (Шаг 3.7, фиг. 4). Для этого вначале проверяется верность следующих соотношений:The essence of the second method is that a rectangle is constructed around each characteristic element found in the image of the current frame using the Sobel operator, so that the characteristic element is inscribed in this rectangle, i.e. the lengths of the sides of the rectangle are equal to the projections of the characteristic element on the X and Y axes of the Cartesian coordinate system (Step. 3.5, Fig. 4). Such a rectangle with a characteristic element inscribed in it will be referred to as a characteristic rectangular area. In this method, the size of the characteristic rectangular area cannot exceed 64x64 pixels. If the size of the characteristic element is more than 64 pixels at least in one coordinate, then such an element is divided into several characteristic elements. Suppose that as a result of the Sobel operator action, n characteristic elements are found and n characteristic rectangular areas in the region of interest of the current frame (C) are constructed. Next, each n-th characteristic rectangular area in the region of interest of the current frame is compared with all possible regions of the same size in the number n '' that are in the region of interest of the reference frame (Z) in the same way as was done in the first method (Step 3.6, Fig. 4). As a result, q pairs of compatible characteristic rectangular areas are detected (in the first method, 1 pair is detected), for which the differences of their coordinates along the X and Y axes are found: Δx h , Δy h , where h = 1 ... q (Fig. 6, For clarity, the difference in coordinates is not indicated between the characteristic rectangular areas, but between the characteristic elements inscribed in them). Next, the correctness of the found compatible characteristic pairs of rectangular areas is checked (Step 3.7, Fig. 4). To do this, first verify the following relationships:
где и 4х* - средние значения разностей координат между совместимыми характерными прямоугольными элементами по осям X и Y, а ДХ и ДУ - заданные пользователем параметры. Если для какихто пар, хотя бы одно из неравенств (3) не выполняется, эти пары исключаются из рассмотрения, а величины^ и 4уа пересчитываются. Второе соотношение накладывает ограничение на среднеквадратичные отклонения величин Δxh и Δyh (S дх и 8ду соответственно) (Шаг 3.7, фиг. 4):where and 4 * are the average values of the difference in coordinates between the compatible characteristic rectangular elements along the X and Y axes, and the household characteristics and the remote control are the parameters specified by the user. If for some pairs, at least one of the inequalities (3) does not hold, these pairs are excluded from consideration, and the values of ^ and 4y and are recalculated. The second relation imposes a restriction on the standard deviations of Δx h and Δy h (S d x and 8d y, respectively) (Step 3.7, Fig. 4):
Здесь S дх0 и S ду0 - некоторые заданные пользователем параметры. Если оба неравенства выполняются, то за координаты вектора смещения P (фиг. 7) текущего кадра относительно опорного принимаются средние значения разности координат: и (Шаг 3.8., фиг. 4). Если хотя бы одно из неравенств (4)Here S d x0 and S d y0 are some user defined parameters. If both inequalities are satisfied, then the coordinates of the displacement vector P (Fig. 7) of the current frame relative to the reference one are taken as the average values of the difference of coordinates: and (Step 3.8., Fig. 4). If at least one of the inequalities (4)
не выполняется, то считается, что общая область перекрытия между текущим и опорным кадром не найдена. Текущий кадр, у которого не были найдены области перекрытия с соседними опорными кадрами, определяется как несшитый кадр и сохраняется в буфер несшитых кадров (Шаг 4, фиг. 2).not executed, it is considered that the common overlap area between the current and the reference frame was not found. The current frame, in which no overlap areas with adjacent reference frames were found, is defined as an unstitched frame and is saved to the unstitched frame buffer (Step 4, Fig. 2).
Фиг. 7 демонстрирует этап добавления текущего кадра к опорному. После расчета координат вектора P текущий кадр смещается относительно опорного на вектор P и рассчитываются координаты границы области перекрытия между текущим и опорным кадром, идущей по краю опорного кадра (жирная линия на фиг. 7). Далее область текущего кадра, находящаяся справа и сверху от границы области перекрытия присоединяется к опорному кадру и получается результирующее изображение (Шаг 5, фиг. 2) Если по окончании процесса построения панорамного изображения в буфере несшитых кадров остались несшитые кадры, то они вставляются в результирующее изображение на основании координат, полученных с автоматизированного столика во время их сканирования. (Шаг 6. фиг. 3). Результирующее изображение, полученное после окончания сшивки всех кадров, называется панорамным изображением. Оно сохраняется в памяти компьютера (Шаг 7, фиг. 3).FIG. 7 shows the step of adding the current frame to the reference frame. After calculating the coordinates of the vector P, the current frame is displaced relative to the reference one by the vector P, and the coordinates of the overlap area between the current and the reference frame running along the edge of the reference frame are calculated (bold line in Fig. 7). Then, the area of the current frame, located to the right and above the border of the overlap area, is attached to the reference frame and the resulting image is obtained (Step 5, Fig. 2). If at the end of the process of building the panoramic image, unstitched frames remain in the buffer of unstitched frames, they are inserted into the resulting image based on the coordinates obtained from the automated table during their scanning. (Step 6. Fig. 3). The resulting image obtained after the end of stitching of all frames is called a panoramic image. It is stored in the computer's memory (Step 7, Fig. 3).
Если процесс сшивки двух кадров происходит не на автоматизированном, а на механическом столике, предполагающем ручное перемещение образца, то в этом случае происходит получение двух по- 4 030790If the process of stitching two frames does not take place on an automated, but on a mechanical table, which involves manual movement of the sample, then in this case, two more samples will be received.
следовательных кадров через устройство ввода изображения. Первый из полученных кадров будет считаться опорным, а второй - текущим. В качестве области интереса текущего кадра выбирается центральная область кадра с длинами сторон Dx и Dy (по осям X и Y), которые рассчитываются по формулам:successive frames through the image input device. The first of the received frames will be considered the reference, and the second - the current one. As the region of interest of the current frame, the central region of the frame with the side lengths D x and D y (along the X and Y axes) is selected, which are calculated by the formulas:
Dx=kx/2-2W и Dy=ky/2-2W f (5) D x = k x / 2-2W and D y = k y / 2-2W f (5)
где kx и ky - длины сторон кадра вдоль осей X и Y, W - величина погрешности в определении координат столика. В качестве области интереса опорного кадра выбирается все изображение опорного кадра (фиг. 8, области интереса текущего и опорного кадров заштрихованы). В остальном алгоритм сравнения кадров остается прежним (Шаг 8, фиг. 2).where k x and k y are the lengths of the sides of the frame along the X and Y axes, W is the magnitude of the error in determining the coordinates of the table. As the region of interest of the reference frame, the entire image of the reference frame is selected (Fig. 8, the regions of interest of the current and reference frames are shaded). Otherwise, the frame comparison algorithm remains the same (Step 8, Fig. 2).
Таким образом, заявленный способ позволяет сократить количество операций сравнения изображений и ускорить расчет координат векторов смещения текущих кадров относительно опорных, что позволяет в целом ускорить работу алгоритма формирования панорамных изображений и реализовать его в режиме реального времени.Thus, the claimed method allows reducing the number of image comparison operations and speeding up the calculation of the coordinates of the displacement vector vectors relative to the reference frames, which makes it possible in general to speed up the operation of the panoramic image generation algorithm and implement it in real time.
Источники информации:Information sources:
1) US 20120257006 публ. 11.10.2012, патентообладатель Casio Computer Co., Ltd.;1) US20120257006 publ. 11.10.2012, patent holder Casio Computer Co., Ltd .;
2) US 20090153647 A1 публ. 18.06.2009, патентообладатель Nxp B.V.2) US 20090153647 A1 publ. 06/18/2009, patent holder Nxp B.V.
3) RU 2421814, публ. 10.01.2015, патентообладатель ФГБОУ ВПО "Южно-Российский государственный университет экономики и сервиса";3) RU 2421814, publ. January 10, 2015, patent holder of the South-Russian State University of Economics and Service;
4) Duda R., Hart P. Pattern Classification and Scene Analysis. - John Wiley and Sons, 1973. - P. 271-272.4) Duda R., Hart P. Pattern Classification and Scene Analysis. - John Wiley and Sons, 1973. - P. 271-272.
Claims (3)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016122251A RU2626551C1 (en) | 2016-06-07 | 2016-06-07 | Method for generating panoramic images from video stream of frames in real time mode |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EA201692174A1 EA201692174A1 (en) | 2017-12-29 |
| EA030790B1 true EA030790B1 (en) | 2018-09-28 |
Family
ID=59632310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EA201692174A EA030790B1 (en) | 2016-06-07 | 2016-11-28 | Method for generating panoramic images from video stream of frames in real time mode |
Country Status (2)
| Country | Link |
|---|---|
| EA (1) | EA030790B1 (en) |
| RU (1) | RU2626551C1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2706576C1 (en) * | 2019-03-21 | 2019-11-19 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | System and method of combining several video images into one panoramic video image |
| CN114848001A (en) * | 2022-04-24 | 2022-08-05 | 南京麦澜德医疗科技股份有限公司 | Ultrasonic wide-scene imaging method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6798923B1 (en) * | 2000-02-04 | 2004-09-28 | Industrial Technology Research Institute | Apparatus and method for providing panoramic images |
| US20090153647A1 (en) * | 2006-04-24 | 2009-06-18 | Nxp B.V. | Method and device for generating a panoramic image from a video sequence |
| RU2421814C2 (en) * | 2009-02-20 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method to generate composite image |
| US20120257006A1 (en) * | 2011-04-06 | 2012-10-11 | Casio Computer Co., Ltd. | Image processing device capable of generating wide-range image |
| US20130236122A1 (en) * | 2010-09-30 | 2013-09-12 | St-Ericsson Sa | Method and Device for Forming a Panoramic Image |
| US20140118700A1 (en) * | 2012-10-30 | 2014-05-01 | Donald S. Rimai | Method of making a panoramic print |
| US8717412B2 (en) * | 2007-07-18 | 2014-05-06 | Samsung Electronics Co., Ltd. | Panoramic image production |
-
2016
- 2016-06-07 RU RU2016122251A patent/RU2626551C1/en active
- 2016-11-28 EA EA201692174A patent/EA030790B1/en active IP Right Revival
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6798923B1 (en) * | 2000-02-04 | 2004-09-28 | Industrial Technology Research Institute | Apparatus and method for providing panoramic images |
| US20090153647A1 (en) * | 2006-04-24 | 2009-06-18 | Nxp B.V. | Method and device for generating a panoramic image from a video sequence |
| US8717412B2 (en) * | 2007-07-18 | 2014-05-06 | Samsung Electronics Co., Ltd. | Panoramic image production |
| RU2421814C2 (en) * | 2009-02-20 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method to generate composite image |
| US20130236122A1 (en) * | 2010-09-30 | 2013-09-12 | St-Ericsson Sa | Method and Device for Forming a Panoramic Image |
| US20120257006A1 (en) * | 2011-04-06 | 2012-10-11 | Casio Computer Co., Ltd. | Image processing device capable of generating wide-range image |
| US20140118700A1 (en) * | 2012-10-30 | 2014-05-01 | Donald S. Rimai | Method of making a panoramic print |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2626551C1 (en) | 2017-07-28 |
| EA201692174A1 (en) | 2017-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104685513B (en) | According to the high-resolution estimation of the feature based of the low-resolution image caught using array source | |
| CN109461174B (en) | Video target area tracking method and video plane advertisement implanting method and system | |
| EP3499414B1 (en) | Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification | |
| EP2023596A2 (en) | Apparatus and program for producing as panoramic image | |
| CN105960800A (en) | Image display device and image display system | |
| CN107346414B (en) | Pedestrian attribute identification method and device | |
| CN109313805A (en) | Image processing apparatus, image processing system, image processing method and program | |
| JP2017076909A (en) | Image processing device, image processing method and program | |
| JP2005309746A (en) | Method and program for tracking moving body, recording medium therefor, and moving body tracking device | |
| US9031355B2 (en) | Method of system for image stabilization through image processing, and zoom camera including image stabilization function | |
| CN104700355A (en) | Generation method, device and system for indoor two-dimension plan | |
| CN113160048A (en) | Suture line guided image splicing method | |
| JP2016509805A (en) | High frame rate of image stream | |
| EP2765555B1 (en) | Image evaluation device, image selection device, image evaluation method, recording medium, and program | |
| KR101321974B1 (en) | A method for combining image of moving object using optical flow method | |
| EA030790B1 (en) | Method for generating panoramic images from video stream of frames in real time mode | |
| US20030194149A1 (en) | Imaging apparatuses, mosaic image compositing methods, video stitching methods and edgemap generation methods | |
| CN103632131B (en) | Apparatus and method for extracting object | |
| RU2647645C1 (en) | Method of eliminating seams when creating panoramic images from video stream of frames in real-time | |
| JP6429483B2 (en) | Information processing apparatus, imaging apparatus, information processing system, information processing method, and program | |
| JP2002342758A (en) | Visual recognition system | |
| JP4886661B2 (en) | Camera parameter estimation apparatus and camera parameter estimation program | |
| US9721371B2 (en) | Systems and methods for stitching metallographic and stereoscopic images | |
| JP4387889B2 (en) | Template collation apparatus and method | |
| JP5702960B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Lapse of a eurasian patent due to non-payment of renewal fees within the time limit in the following designated state(s) |
Designated state(s): AM AZ BY KZ KG TJ TM RU |
|
| NF4A | Restoration of lapsed right to a eurasian patent |
Designated state(s): BY KZ |
|
| PC4A | Registration of transfer of a eurasian patent by assignment |