RU2216044C2

RU2216044C2 - Method and device for identifying genuine sets of patterns

Info

Publication number: RU2216044C2
Application number: RU98115384/09A
Authority: RU
Inventors: Клаус ШУЛЬЦЕ (DE) ШУЛЬЦЕ Клаус (DE); Клаус ШУЛЬЦЕ
Original assignee: ШУЛЬЦЕ Клаус, др.-инж.
Priority date: 1998-08-05
Filing date: 1998-08-05
Publication date: 2003-11-10

Abstract

FIELD: television engineering; authenticating sets of patterns. SUBSTANCE: brightness flags are determined for separate patterns out of set of patterns, converted into digital form, and compared with standard; in the process brightness flags are decorrelated by quasi- stochastic selection with respect to plurality of patterns. EFFECT: facilitated assessment and timekeeping of advertising messages, video clips, political speeches, and the like. 32 cl, 15 dwg

Description

Изобретение касается способа идентификации подлинных серий изображений, например рекламных сообщений, в котором для отдельных изображений из серий изображений отбираются, переводятся в цифровую форму и сравниваются с эталонным образцом признаки их яркости. The invention relates to a method for identifying genuine series of images, for example advertising messages, in which, for individual images, series of images are selected, digitized and compared with a reference sample, signs of their brightness.

Серии изображений, состоящие из множества образующих ряд и связанных между собой по смыслу отдельных кадров, должны идентифицироваться, например, в телевидении при каждой новой передаче. Такими сериями изображений могут быть рекламные сообщения, платные доклады, старые фильмы или видеоклипы и политические выступления, такие как, например, фрагменты предвыборной борьбы. Общим для всех перечисленных случаев является то, что распространение серий изображений ввиду оплаты, а также по правовым или статистическим причинам подлежит учету. Подлинность серий изображений означает при этом, что по своему содержанию эти изображения сохраняются в своем первоначальном виде, то есть все точки изображения по своей яркости и цветности являются уникальными и поэтому неизменными. При копировании на технически высококачественном оборудовании такое единственное в своем роде расположение не изменяется и не дополняется ни по одному параметру. Понятие "подлинный" относится, следовательно, и к скопированным сериям изображения. Series of images, consisting of many forming a series and interconnected by the meaning of individual frames, must be identified, for example, in television with each new transmission. Such series of images can be advertisements, paid reports, old films or video clips and political speeches, such as, for example, fragments of the election campaign. Common to all these cases is that the distribution of a series of images due to payment, as well as for legal or statistical reasons, is subject to accounting. The authenticity of the series of images means that in terms of their content these images are stored in their original form, that is, all points of the image in their brightness and color are unique and therefore unchanged. When copying on technically high-quality equipment, such a unique arrangement does not change and is not supplemented by any parameter. The concept of "true", therefore, refers to copied series of images.

Телевизионными станциями рекламные сообщения передаются, например, в такое время, которое представляет особый интерес для рекламодателей. Для рекламодателей важно убедиться, действительно ли его сообщение передавалось в назначенное время. Во время своего существования рекламное сообщение изменяет свой внешний вид, т.е. оно укорачивается, некоторые кадры изменяются или полностью заменяются. Такую новую серию изображений необходимо отличить от первоначальной версии. Television stations broadcast advertising messages, for example, at a time that is of particular interest to advertisers. It’s important for advertisers to make sure that their message was actually delivered at the appointed time. During its existence, an advertising message changes its appearance, i.e. it is shortened, some frames are changed or completely replaced. This new series of images must be distinguished from the original version.

Из заявки ФРГ 4309957 C1 известен способ идентификации подлинных серий изображений. При этом отдельные элементы изображения, так называемые точки изображения, формируются в группы или блоки, называемые кластерами, светимость или яркость которых преобразуется в цифровую форму и в качестве признаков сравнивается с признаками известных кадров или эталонных образцов. From the application of Germany 4309957 C1 known method for identifying genuine series of images. In this case, individual image elements, the so-called image points, are formed into groups or blocks called clusters, the luminosity or brightness of which is converted to digital form and compared with signs of known frames or reference samples as features.

В связи с необходимостью сжатия или уплотнения данных вероятность ошибочной идентификации относительно велика. Поэтому для снижения количества ошибочных идентификаций в известных способах производится сканирование нескольких, последовательно следующих кадров. При этом недостаток состоит в том, что следующие друг за другом кадры имеют, как правило, большое сходство, из-за чего обнаруженные признаки часто приводят к случайному сходству без наличия действительно схожих изображений. Эти, так называемые случайные ошибочные идентификации, правда, не обязательно отрицательно сказываются на идентификацию рекламного сообщения как такового, но ведут к большому объему данных, которые загружают вычислительное устройство. Due to the need to compress or compress data, the probability of erroneous identification is relatively high. Therefore, to reduce the number of erroneous identifications in the known methods, several, sequentially following frames are scanned. Moreover, the drawback is that the frames following one after another have, as a rule, a lot of similarities, because of which the detected features often lead to random similarities without the presence of really similar images. These so-called random erroneous identifications, however, do not necessarily adversely affect the identification of the advertising message as such, but lead to a large amount of data that load the computing device.

Задачей настоящего изобретения является поэтому уменьшение объема данных и снижение числа ошибочных идентификаций. The objective of the present invention is therefore to reduce the amount of data and reduce the number of erroneous identifications.

Согласно изобретению эта задача решается за счет того, что признаки декоррелируются их квазистохастическим отбором через несколько кадров (изображений). According to the invention, this problem is solved due to the fact that the features are decorrelated by their quasi-stochastic selection after several frames (images).

В результате того, что вместо отбора признаков соседних кадров признаки отбираются квазистохастическим способом, минуя несколько кадров, становится возможным пренебречь случайным сходством следующих друг за другом кадров, поскольку нарушаются связи последовательно следующих кадров. В результате снижается количество ошибочных идентификаций и связанный с ними и загружающий вычислительное устройство объем данных. As a result of the fact that instead of selecting features of neighboring frames, features are selected in a quasi-stochastic way, bypassing several frames, it becomes possible to neglect the random similarity of successive frames, since the connections of successively subsequent frames are broken. As a result, the number of erroneous identifications and the amount of data associated with them and loading the computing device are reduced.

Согласно предпочтительному варианту осуществления изобретения выбранные признаки отдельных кадров записываются в упорядоченной последовательности в запоминающее устройство карусели изображений, выполненное в виде регистра сдвига, и считываются квазистохастическим способом при выборочном обращении. Обращение к признакам происходит при этом при максимальном пропуске изображений. Одновременно обращаются и к признакам с максимальным интервалом между кадрами. Благодаря такой мере обеспечивается декорреляция признаков, так как разрушаются временные и пространственные связи. According to a preferred embodiment of the invention, the selected features of the individual frames are written in an ordered sequence to the image carousel memory, made in the form of a shift register, and are read in a quasi-stochastic manner during selective access. Appeal to the signs occurs with maximum skipping images. At the same time, they also apply to signs with a maximum interval between frames. Thanks to this measure, decorrelation of attributes is ensured, since temporal and spatial relationships are destroyed.

Согласно еще одному предпочтительному варианту осуществления изобретения проводится двухэтапная обработка способом, при котором осуществляют на первом этапе приблизительную и на втором точную идентификацию. По своему объему данных предварительная идентификация сокращена настолько, что она возможна в реальном масштабе времени. Она позволяет распознать рекламное сообщение без определения возможных искажений. Точная идентификация проводится лишь в том случае, когда в результате приблизительной идентификации серия изображений или рекламное сообщение будет соотнесено с имеющимся эталонным образцом. После этого точной идентификацией обеспечивается окончательная уверенность и вскрываются местные и временные искажения. According to another preferred embodiment of the invention, a two-stage processing is carried out in a manner in which an approximate and an accurate identification are carried out in the first stage. By its volume of data, preliminary identification is reduced so much that it is possible in real time. It allows you to recognize an advertising message without identifying possible distortions. Accurate identification is carried out only when, as a result of approximate identification, a series of images or an advertising message will be correlated with the existing reference sample. After that, accurate identification provides final confidence and reveals local and temporary distortions.

Согласно еще одному предпочтительному варианту осуществления способа для формирования признаков используют изменение яркости внутри кластера, образованного пространственно связанными точками изображения. According to another preferred embodiment of the method, a change in brightness within a cluster formed by spatially connected image points is used to form features.

В этом случае кластеры подвергаются дискретному косинусоидальному преобразованию. Один из коэффициентов низкочастотного чередования сокращается до своего знака и используется в качестве признака. Серия изображений делится на кванты времени одинаковой длительности, причем каждый квант представляет собой самостоятельную, коррелируемую единицу. Таким образом кадры одного кванта времени кодируются при экстремальном уплотнении данных. Идентификация или точнее приблизительная идентификация рекламного сообщения происходит лишь в том случае, когда отдельные промежутки времени идентифицируются при их правильной последовательности и правильном временном интервале. In this case, the clusters undergo a discrete cosine transformation. One of the coefficients of low-frequency alternation is reduced to its sign and is used as a sign. A series of images is divided into time quanta of the same duration, with each quantum representing an independent, correlated unit. Thus, frames of one time slot are encoded during extreme data compression. The identification or, more precisely, approximate identification of an advertising message occurs only when individual time intervals are identified with their correct sequence and correct time interval.

Изобретение касается также устройства для осуществления указанного способа. The invention also relates to a device for implementing this method.

Из заявки ФРГ 4309957 C1 известно устройство для осуществления способа идентификации подлинных серий изображений. Это устройство имеет тот недостаток, что возможен только разовый отбор признаков последовательно сменяющих друг друга кадров, в результате чего отобранные от кадров признаки коррелируются между собой и вызывают большое количество ошибочных идентификаций. From the application of Germany 4309957 C1 known device for implementing the method of identification of genuine series of images. This device has the disadvantage that only one-time selection of signs of successively replacing frames is possible, as a result of which the signs selected from the frames are correlated with each other and cause a large number of erroneous identifications.

Поэтому еще одной задачей настоящего изобретения является создание устройства, обеспечивающего возможность квазистохастического отбора признаков. Therefore, another objective of the present invention is to provide a device that allows quasi-stochastic selection of features.

Эта задача решается за счет того, что вход регистра сдвига, выполненного в виде запоминающего устройства, через преобразователь DCT (дискретного косинусоидального преобразования) подключен к видеодекодеру, содержащему конвертер растра/кластера, а выход подключен через коррелятор к опорной памяти с возможностью подачи серии изображений, поступающей с приемника на видеодекодер, на коррелятор в виде вектора признака и сравнения с эталонным образцом, хранимым в опорной памяти. This problem is solved due to the fact that the input of the shift register, made in the form of a storage device, is connected through a DCT (discrete cosine transform) converter to a video decoder containing a raster / cluster converter, and the output is connected through a correlator to the reference memory with the possibility of feeding a series of images, coming from the receiver to the video decoder, to the correlator in the form of a feature vector and comparison with a reference sample stored in the reference memory.

Благодаря применению регистра сдвига становится возможным простым способом производить квазистохастический отбор признаков, при этом декоррелируются признаки разных кадров (изображений). Thanks to the use of the shift register, it becomes possible in a simple way to make quasistochastic selection of features, while the attributes of different frames (images) are decorrelated.

Согласно еще одному предпочтительному варианту исполнения изобретения между преобразователем DCT и регистром сдвига предусмотрено ответвление в направлении к запоминающему устройству данных о точной идентификации, которое выполнено в виде регистра сдвига FIFO (first in, first out) (сначала ввод, сначала вывод) и в котором хранятся все признаки, характеризующие серию изображений. According to another preferred embodiment of the invention, a branch is provided between the DCT converter and the shift register in the direction to the memory of the exact identification data, which is made in the form of a shift register FIFO (first in, first out) and which stores all signs characterizing a series of images.

Благодаря применению регистра сдвига FIFO возможно проводить точную идентификацию лишь после проведенной в масштабе реального времени приблизительной идентификации. Thanks to the use of the FIFO shift register, it is possible to carry out accurate identification only after real-time approximate identification.

Другие подробные сведения об изобретении приводятся ниже в детальном описании и на приложенных чертежах, на которых наглядно представлены в качестве примера предпочтительные варианты осуществления изобретения. Other details of the invention are provided below in the detailed description and in the accompanying drawings, in which preferred embodiments of the invention are clearly shown as examples.

На чертежах изображено:
фиг.1 блок-схема устройства идентификации подлинных серий изображения,
фиг. 2 схема рекламных сообщений в виде серий изображений с отдельной, разложенной на отрезки времени серией изображений,
фиг.3 схема отрезка времени с признаками (яркости),
фиг.4 вектор признаков отрезка времени на фиг.3 в виде двоичного потока,
фиг. 5 пример, иллюстрирующий искажение, при котором продукт лишился определения "новый",
фиг. 6 пример, иллюстрирующий локальное искажение в пределах одного кадра, на котором изменено написание буквы (фрагмент),
фиг. 7 спектральные эталонные образцы в виде базисных изображений с минимально значимыми коэффициентами,
фиг. 8 варианты отдельных коэффициентов дискретного косинусоидального преобразования,
фиг.9 уплотнение данных о сигнале яркости в формате CCIR,
фиг. 10 плотность амплитудного распределения коэффициента любого кадра без Downsampling (сокращенная выборка),
фиг. 11 плотность амплитудного распределения коэффициента C₀₁ любого кадра с Downsampling,
фиг. 12 величина случайных соответствий серий изображений с эталонными образцами в сравнении с теоретически ожидаемым биномиальным распределением,
фиг.13 схема карусели изображений,
фиг.14 распределение случайных соответствий двоичных образцов при разных декоррелирующих действиях,
фиг. 15 эффект от декоррелирующих действий при превышении порога идентификации, фрагмент Фиг.14.The drawings show:
figure 1 is a block diagram of a device for identifying genuine series of images,
FIG. 2 is a diagram of advertising messages in the form of a series of images with a separate series of images decomposed into time intervals,
figure 3 diagram of a period of time with signs (brightness),
figure 4 vector signs of the length of time in figure 3 in the form of a binary stream,
FIG. 5 example, illustrating the distortion in which the product has lost the definition of "new",
FIG. 6 example, illustrating local distortion within the same frame on which the spelling of the letter (fragment) is changed,
FIG. 7 spectral reference samples in the form of basic images with minimally significant coefficients,
FIG. 8 options for individual discrete cosine transform coefficients,
FIG. 9 luminance signal data compression in CCIR format,
FIG. 10 the density of the amplitude distribution of the coefficient of any frame without Downsampling (reduced sampling),
FIG. 11 the density of the amplitude distribution of the coefficient C _{01 of} any frame with Downsampling,
FIG. 12 the value of random correspondences of series of images with reference samples in comparison with the theoretically expected binomial distribution,
13 is a diagram of an image carousel,
Fig.14 distribution of random matches of binary samples with different decorrelating actions,
FIG. 15 the effect of decorrelation actions when the identification threshold is exceeded, fragment of FIG.

Устройство для идентификации подлинных серий изображений 1 состоит из видеодекодера 2 с конвертером для растра/кластера, который своим входом 3 соединен с видеовыходом приемника 4. Выход видеодекодера 2 соединен с входом преобразователя DСТ 5. Выход преобразователя DCT 5 соединен со входом 6 карусели 7 изображений. Регистр 7 сдвига изображений связан своим выходом 8 со входом коррелятора 9. Коррелятор 9 соединен с опорной памятью 10. Коррелятор 9 связан и с анализатором 11 приблизительной идентификации. Между преобразователем DCT 5 и регистром 7 сдвига располагается регистр сдвига FIFO 12, связанный с анализатором 13 точной идентификации. Анализатором 11 приблизительной идентификации выполняется на первом этапе обработки сигнала приблизительная идентификация. Если анализатором 11 будет обнаружена серия 14 изображений, имеющая большое сходство с хранимым в опорной памяти 10 эталонным образцом, и если при этом с большой вероятностью (например, с вероятностью >90%) обнаруживается искомое рекламное сообщение или искомая серия изображений 14, то анализатор 13 точной идентификации получает сигнал от анализатора 11 приблизительной идентификации и на втором этапе обработки вступает в действие, используя хранимые в регистре сдвига FIFO 12 данные. Точная идентификация гарантирует окончательную уверенность и обнаруживает локальные и временные искажения. The device for identifying genuine series of images 1 consists of a video decoder 2 with a raster / cluster converter, which is connected via its input 3 to the video output of the receiver 4. The output of video decoder 2 is connected to the input of the DST 5 converter. The output of the DCT 5 converter is connected to the input 6 of the image carousel 7. The image shift register 7 is connected by its output 8 to the input of the correlator 9. The correlator 9 is connected to the reference memory 10. The correlator 9 is connected to the analyzer 11 of approximate identification. Between the DCT 5 and the shift register 7 is a shift register FIFO 12, associated with the analyzer 13 accurate identification. The approximate identification analyzer 11 performs an approximate identification at the first stage of signal processing. If the analyzer 11 detects a series of 14 images that closely resembles the reference sample stored in the reference memory 10, and if at the same time, with a high probability (for example, with a probability> 90%), the desired advertising message or the desired series of images 14 is detected, then the analyzer 13 of accurate identification receives a signal from the approximate identification analyzer 11 and, in the second processing step, takes effect using the data stored in the shift register FIFO 12. Accurate identification guarantees ultimate confidence and detects local and temporary distortions.

Из-за временного искажения (сокращения или изменения сцены) необходимо кодировать всю серию 14 изображений. Для этого целесообразно разбить серию 14 изображений на отрезки времени 15 длительностью, например, 2 секунды. Отрезки времени 15 представляют собой самостоятельные единицы, каждая из которых коррелируется отдельно. Идентификация (приблизительная) серии 14 изображений происходит в том случае, когда отдельные отрезки времени 15 идентифицируются при правильной последовательности и правильном временном интервале по отношению к анализатору 11, 13. При наличии временного искажения будут отсутствовать отдельные отрезки времени 15, в то время как остальные будут идентифицированы в ожидаемой последовательности. В ходе многочисленных опытов упомянутая продолжительность около 2 секунд была определена в качестве оптимальной, однако она может быть откорректирована с учетом того, что для рекламных сообщений или серий 14 изображений установлена предпочтительная продолжительность, и тогда отрезки времени 15 подбирают с таким расчетом, чтобы указанная продолжительность могла делиться без остатка на длительность этих отрезков. Пример: минимальная продолжительность рекламного сообщения 7 секунд, тогда продолжительность отдельного кванта времени 15 равна 1,75 секунды. В противном случае при корреляции останется без учета неделимый далее остаток. Due to temporary distortion (reduction or change of scene), it is necessary to encode the entire series of 14 images. To do this, it is advisable to divide a series of 14 images into segments of time 15 lasting, for example, 2 seconds. The time segments 15 are independent units, each of which is correlated separately. Identification (approximate) of a series of 14 images occurs when individual time slices 15 are identified with the correct sequence and time interval in relation to the analyzer 11, 13. If there is time distortion, there will be no separate time slices 15, while the rest will be identified in the expected sequence. In the course of numerous experiments, the mentioned duration of about 2 seconds was determined to be optimal, however, it can be adjusted taking into account the fact that the preferred duration is set for advertising messages or series of 14 images, and then the time intervals 15 are selected so that the indicated duration can divide without remainder by the duration of these segments. Example: the minimum duration of an advertising message is 7 seconds, then the duration of an individual time slot 15 is 1.75 seconds. Otherwise, the correlation will leave out the indivisible remainder.

Локальные искажения, т.е. изменения в пределах одного кадра 16 из серии 14 изображений, охватывают участок, выражаемый через точки изображения. На Фиг. 6 приведен пример, в котором изменено написание буквы (фрагмент). Значительные изменения занимают участок, равный 32x32 точки. При точной идентификации, т. е. при идентификации вероятно имеющихся локальных искажений, каждый кадр разбивается на участки примерно указанной величины, которые надлежит коррелировать (сравнивать) в обрабатывающем устройстве 13 в качестве самостоятельных единиц с соответствующими участками других кадров. Для кодирования одной группы точек изображения, т.е. одного кластера, используется переменная доля светимости или яркости в пределах одного кластера. Такая переменная доля указывает - совершенно в общем плане - на изменение яркости в пределах кластера в противоположность постоянной доле, яркость которой составляет среднюю величину. Изменение яркости может происходить разным образом: она может выступать как простой градиент с определенным направлением или как многократное чередование светлого с темным. Целесообразно, чтобы дискретное конусоидальное преобразование, выполняемое преобразователем DCT 5, использовалось для детектирования чередования светлого с темным. Такое дискретное косинусоидальное преобразование применяется также в известных алгоритмах уплотнения, например JPEG, MPEG, и поэтому встроено в высокоинтегрированные чипы, например Zoran 36050. При таких уплотнениях кадров кадр разбивается на кластеры (блоки) размером 8x8 точек (Raster to Clustar-Conversion)(преобразование растра/кластера), которые затем подвергаются двухразмерному дискретному косинусоидальному преобразованию. Таким способом получают частотный вид изображений. Local distortion i.e. changes within one frame 16 of the series of 14 images, cover the area expressed through the points of the image. In FIG. 6 shows an example in which the spelling of the letter (fragment) is changed. Significant changes occupy a 32x32 dots area. With accurate identification, i.e., with the identification of likely local distortions, each frame is divided into sections of approximately the specified size, which should be correlated (compared) in the processing device 13 as independent units with the corresponding sections of other frames. To encode one group of image points, i.e. single cluster, a variable fraction of luminosity or brightness within a single cluster is used. Such a variable fraction indicates - quite in general terms - a change in brightness within the cluster as opposed to a constant fraction, the brightness of which is average. The brightness can change in different ways: it can appear as a simple gradient with a certain direction or as a multiple alternation of light and dark. It is advisable that the discrete cone-shaped conversion performed by the DCT 5 is used to detect the alternation of light and dark. Such a discrete cosine transform is also used in well-known compression algorithms, such as JPEG, MPEG, and therefore is integrated into highly integrated chips, such as Zoran 36050. With such frame densifications, the frame is divided into clusters (blocks) of 8x8 pixels (Raster to Clustar-Conversion) (conversion raster / cluster), which are then subjected to a two-dimensional discrete cosine transform. In this way, a frequency view of the images is obtained.

После этого уплотнение в принципе состоит в том, что высокочастотные удельные доли сильно уплотняют или даже опускают. Спектральные эталонные образцы для отдельных коэффициентов C_nk называют базисными кадрами, минимально значимые из которых представлены на фиг.7. Верхний левый базисный кадр (коэффициент C₀₀) - при использовании в кластере 8x8 точек - обеспечивает постоянную долю, т.е. среднюю яркость кластера. Верхний правый базовый кадр (коэффициент C₀₁) служит для проверки того, в какой степени показанная характеристика яркости присутствует в исследуемом кластере. Следовательно, он обеспечивает самую нижнюю спектральную линию видеоинформации в соответствии с постоянной долей. Остальные базовые кадры на фиг.7 обеспечивают соответствующую информацию в другом направлении кадра. Базовые кадры для коэффициентов DCT более высокого порядка не приводятся, так как для данного изобретения они не имеют значения. Дискретное косинусоидальное преобразование характеризуется свойством, при котором существенная информация, распределенная в зоне подлинника между всеми вспомогательными значениями, после преобразования оказывается сконцентрированной в немногих компонентах, т.е. значительные энергетические доли приходятся на так называемые коэффициенты DC (постоянная доля) и на нижние коэффициенты АС (доли низкочастотного чередования).After this, the compaction basically consists in the fact that the high-frequency specific fractions strongly condense or even lower. Spectral reference samples for individual coefficients C _nk are called basic frames, the least significant of which are presented in Fig. 7. The upper left base frame (coefficient C ₀₀ ) - when using 8x8 dots in a cluster - provides a constant fraction, i.e. average brightness of the cluster. The upper right base frame (coefficient C ₀₁ ) serves to check to what extent the brightness characteristic shown is present in the cluster under study. Therefore, it provides the lowest spectral line of video information in accordance with a constant fraction. The remaining base frames in FIG. 7 provide relevant information in the other direction of the frame. Base frames for higher order DCT coefficients are not given, since they are not relevant to the present invention. A discrete cosine transformation is characterized by a property in which the essential information distributed in the original zone between all auxiliary values, after the conversion is concentrated in a few components, i.e. Significant energy fractions fall on the so-called DC coefficients (constant fraction) and on the lower AC coefficients (fractions of low-frequency alternation).

На фиг. 8 показано уменьшение энергии в коэффициентах АС более высокого порядка. Долю энергии, например, коэффициента C₀₁ целесообразно приблизительно удвоить, если по горизонтали и вертикали проводится децимальное сокращение. Под этим следует понимать усредненное объединение четырех, квадратно расположенных точек изображения в одну новую точку. Этот способ еще называется Downsampling - субдискретизация. Таким способом кластер размером 16x16 точек приводится к размеру 8x8 точек, к которому затем снова применяют дискретное косинусоидальное преобразование. Полученные теперь коэффициенты C_oi характеризуются, как правило, удвоенным эффектом по сравнению с коэффициентами, полученными из одного только подлинного кластера 8x8. Аппаратными средствами этот способ осуществляется частично обычным в телевидении пропуском строк, при котором изображения передаются полукадрами, строчками и в виде гребня. Если при этом рассматривать только полукадр, то будет присутствовать вертикальная субдискретизация. Горизонтальная субдискретизация может быть дополнительно получена при использовании чипов, имеющихся в продаже. На фиг.10 показана плотность амплитудного распределения коэффициента C_oi для любого кадра 16 без Downsampling. На фиг.11 показана плотность амплитудного распределения коэффициента Coi на фиг.10 с Downsampling. Более широкая кривая на Фиг. 11 указывает в цифровом выражении почти на двойную величину отклонения от среднего значения по сравнению с кривой на фиг.10.In FIG. Figure 8 shows the decrease in energy in higher-order AC coefficients. It is advisable to approximately double the energy fraction, for example, of the coefficient C ₀₁ , if decimal reduction is carried out horizontally and vertically. This should be understood as the averaged combination of four squarely located image points in one new point. This method is also called Downsampling - downsampling. In this way, a cluster of 16x16 pixels is reduced to a size of 8x8 points, to which a discrete cosine transformation is then applied again. The coefficients C _oi obtained now are usually characterized by a double effect compared to the coefficients obtained from a genuine 8x8 cluster alone. By hardware, this method is carried out in part by the usual line skipping in television, in which images are transmitted in half frames, lines and in the form of a comb. If only half frames are considered, then vertical downsampling will be present. Horizontal downsampling can be further obtained using commercially available chips. Figure 10 shows the density of the amplitude distribution of the coefficient C _oi for any frame 16 without Downsampling. FIG. 11 shows the amplitude distribution density of the Coi coefficient in FIG. 10 with Downsampling. The wider curve in FIG. 11 indicates in digital terms an almost double value of the deviation from the mean compared to the curve in FIG. 10.

После того, как все кадры 16 отрезка времени 15 разложены на кластеры размером 8x8 точек - после децимального сокращения ими являются блоки изображений или кластеры размером 16x16 точек - и преобразованы в спектральную область, самый нижний коэффициент активного чередования - им является C₀₁ или С₁₀ каждого кластера - подвергается дальнейшему уплотнению данных в результате того, что в дальнейшем используется только его знак. Следовательно, кластер размером 8x8 точек представляют в виде бита, указывающего знак коэффициента чередования. Благодаря такому приему полученный массив данных для отрезка времени 15 имеет следующие существенные преимущества: вся серия изображений оказывается закодированной при экстремальном уплотнении данных. Каждый бит является локальным признаком, который не зависит от модуляции сигналов изображения и от отношения сигнал/шум.After all frames 16 of time interval 15 are arranged in clusters of 8x8 pixels in size — after decimal reduction, they are image blocks or clusters of 16x16 pixels in size — and converted to the spectral region, the lowest active interleaving coefficient is C ₀₁ or C _{10 of} each cluster - is subjected to further data compression as a result of the fact that only its sign is used in the future. Therefore, a cluster of 8x8 pixels is represented as a bit indicating the sign of the rotation coefficient. Thanks to this technique, the resulting data array for time interval 15 has the following significant advantages: the entire series of images is encoded with extreme data compression. Each bit is a local feature that is independent of the modulation of the image signals and the signal-to-noise ratio.

Уплотнение данных о сигнале яркости формата CCIR, составляющего 768x576 точек, достигает сначала около 2•10³. При длительности отрезка времени, равной, например, 2 секундам, объем данных составляет все еще около 11 кбайтов. При обработке в масштабе реального времени нескольких тысяч рекламных сообщений такой объем данных был бы слишком велик. Поэтому приблизительную идентификацию применяют в качестве пригодного для реального времени способа идентификации серий изображений без оценки возможно происшедших искажений. Точная идентификация накладывается затем на приблизительную, являясь непригодным для реального времени способом, подтверждает ее результаты и позволяет проанализировать искажения. Приблизительная идентификация возможна уже при наличии около 16 признаков 17, 18 яркости на каждый кадр 16. Под признаком 17, 18 яркости следует понимать знаковый бит коэффициента DCT. Таким образом по определенной схеме от 1728 знаковых битов одного (полу) кадра отбирают соответственно 16 бит, т.е. два байта. При двухсекундной длительности отрезка времени 15 это составит 100 байтов на отрезок времени 15. Схема отбора исключает пространственную связь коэффициентов. Видеообъекты имеют, как правило, протяженность, включающую много кластеров. Для этих кластеров действуют с большой вероятностью одинаковые коэффициенты DCT. Признаки 17, 18 яркости, отобранные у этих кластеров, следовательно, не являются независимыми друг от друга и не улучшают качества идентификации. Связи разрушаются, когда посредством квазистохастического способа отбирают от кластеров, пo-возможности удаленных друг от друга, 16 признаков 17, 18 яркости. В данном случае поступают аналогично в отношении каждого кадра 16, и получают в целом цепочку данных длиной, например, 16•50=800 битов. Если допустить независимость отдельных битов, тогда появляется вероятность случайного соответствия двух таких двоичных комбинаций в к битов из N, возможных согласно биноминальному распределению:

где р - вероятность появления признака 17, 18 яркости.Compression of data on the luminance signal of the CCIR format, amounting to 768x576 pixels, first reaches about 2 • 10 ³ . With a length of time equal to, for example, 2 seconds, the amount of data is still about 11 kbytes. With real-time processing of several thousand advertising messages, this amount of data would be too large. Therefore, approximate identification is used as a real-time method for identifying series of images without evaluating possible distortions. Exact identification is then superimposed on the approximate, being unsuitable for real-time method, confirms its results and allows you to analyze distortion. Approximate identification is possible even if there are about 16 signs of

brightness

17, 18 for each frame 16. By

sign

17, 18 of brightness should be understood the sign bit of the DCT coefficient. Thus, according to a certain pattern, from 1628 symbol bits of one (semi) frame, 16 bits are selected, i.e. two bytes. With a two-second time interval of 15, this will be 100 bytes per time interval 15. The selection scheme eliminates the spatial relationship of the coefficients. Video objects have, as a rule, a length that includes many clusters. For these clusters, the same DCT coefficients are likely to operate.

Signs

17, 18 of brightness taken from these clusters, therefore, are not independent of each other and do not improve the quality of identification. Connections are destroyed when, by means of a quasistochastic method, 16 signs of

brightness

17, 18 are removed from the clusters, if possible remote from each other. In this case, they do the same with respect to each frame 16, and receive a whole data chain of length, for example, 16 • 50 = 800 bits. If we allow the independence of individual bits, then the probability of random matching of two such binary combinations of k bits from N, possible according to the binomial distribution, appears:

where p is the probability of the appearance of the sign of 17, 18 brightness.

В рассматриваемых случаях р=0,5, т.е. 0 и 1, являясь знаковыми битами коэффициента, вероятны в одинаковой степени. Тогда биноминальное распределение сведется к
b(k, N, p) = (^N)p^N.In the cases under consideration, p = 0.5, i.e. 0 and 1, being the sign bits of the coefficient, are equally probable. Then the binomial distribution is reduced to
b (k, N, p) = ( ^N ) p ^N.

Если задать нижний предел идентификации, равный 85%,

то все схожие элементы двух отрезков времени более 85% будут оцениваться как идентификация. Насколько такая идентификация действительно имеет отношение к подлинной идентификации серий изображений определяется контролем на достоверность, заложенным в программном обеспечении. В противном случае может иметь место случайное соответствие, так называемая ошибочная идентификация.If you set a lower identification limit of 85%,

then all similar elements of two time periods of more than 85% will be evaluated as identification. To what extent this identification is really related to the true identification of a series of images is determined by the reliability control inherent in the software. Otherwise, there may be a random match, the so-called erroneous identification.

Для предупреждения ошибочных идентификаций предусмотрено наличие регистра 7 сдвига. Регистр 7 сдвига представляет собой запоминающее устройство 19 в виде регистра сдвига, в котором записываются выбранные признаки 17, 18 яркости кадров 16 в упорядоченной последовательности. Назначение регистра 7 сдвига изображений состоит в такой обработке нескольких кадров 16, при которой образцы создаются не по последовательности кадров, а по квазислучайному образцу через несколько кадров 16. Происходит так называемое межкадровое кодирование. На Фиг.14 изображено распределение случайного соответствия таких межкадровых кодирований, причем обработка производилась через 2, 10 и 50 изображений. Кривая 1 показывает так называемое межкадровое кодирование, при котором признаки обрабатываются в последовательности кадров. На Фиг.15 в увеличенном виде изображен участок, находящийся выше порога идентификации, равного 85%. Через 40 мс признаки 17, 18 яркости нового изображения 20 вводятся в запоминающее устройство 19, в то время как "самое старое" изображение 21 выводится наружу на конце запоминающего устройства 19. Между двумя операциями актуализации запоминающего устройства 19 считываются квазистохастическим способом при выборочном обращении N-признаки 17, 18 яркости отрезка времени и подаются в коррелятор 9 для сравнения с эталонным образцом. При этом действуют так, чтобы не происходило вторичного считывания кластера кадра 16 при его нахождении в регистре 7 сдвига изображений. Обращение к признакам 17, 18 яркости происходит при максимальном пропуске кадров 16 и одновременно при соблюдении максимального интервала между кадрами 16. Благодаря такому действию достигается декорреляция признаков 17, 18 яркости, так как разрушаются временные и пространственные связи. Способ может осуществляться посредством следующих операций:
а) Серии 14 изображений разделяются на отрезки времени 15 длительностью по 1,5-2 секунды (в соответствии с задачей идентификации).To prevent erroneous identifications, a shift register 7 is provided. The shift register 7 is a storage device 19 in the form of a shift register in which the selected brightness signs 17, 18 of the frames 16 are recorded in an ordered sequence. The purpose of the image shift register 7 is to process several frames 16 in such a way that the samples are created not according to the sequence of frames, but according to a quasi-random sample after several frames 16. The so-called inter-frame coding takes place. On Fig shows the distribution of random matching such inter-frame encodings, and processing was performed through 2, 10 and 50 images. Curve 1 shows the so-called inter-frame coding in which features are processed in a sequence of frames. On Fig in an enlarged view shows a plot located above the identification threshold of 85%. After 40 ms, the luminance signs 17, 18 of the new image 20 are inputted into the storage device 19, while the “oldest” image 21 is output outward at the end of the storage device 19. Between the two operations of updating the storage device 19, they are read out in a quasi-stochastic way with selective N- signs 17, 18 of the brightness of the time interval and are supplied to the correlator 9 for comparison with the reference sample. At the same time, they act so that there is no secondary reading of the cluster of the frame 16 when it is in the image shift register 7. Appeal to the signs of brightness 17, 18 occurs with a maximum skip of frames 16 and at the same time observing the maximum interval between frames 16. Thanks to this action, decorrelation of the signs of brightness 17, 18 is achieved, since temporary and spatial connections are destroyed. The method can be carried out by the following operations:
a) A series of 14 images are divided into 15 time intervals of 1.5-2 seconds each (in accordance with the identification task).

б) Каждый кадр 16, согласно способу JPEG, разделяется на кластеры, причем предпочтительно применять вертикальную и горизонтальную субдискретизацию. Кластеры кадров подвергают дискретному косинусоидальному преобразованию и применяют знак минимально значимого коэффициента чередования в качестве признака 17, 18 яркости (предпочтительно C₀₁ или C₁₀).b) Each frame 16, according to the JPEG method, is divided into clusters, and it is preferable to use vertical and horizontal downsampling. Frame clusters are subjected to discrete cosine transform and the sign of the minimum significant rotation coefficient is used as a sign of brightness 17, 18 (preferably C ₀₁ or C ₁₀ ).

в) Из 1728 признаков 17, созданных согласно п.б) для каждого кадра 16, отбирается подмножество из около 800-1000 признаков 18 и для корреляции в реальном масштабе времени или точнее для приблизительной идентификации загружается в регистр 7 сдвига. Посредством декоррелирующего способа обращения отбирают около 800-1000 признаков 18 на 1 отрезок времени 15 и откладывают в виде вектора 22 признаков, присущих всему отрезку времени. Это соответствует приблизительно 16-32 битам на кадр. c) Of the 1728 features 17 created according to b) for each frame 16, a subset of about 800-1000 features 18 is selected and loaded into the shift register 7 for real-time correlation or, more precisely, for approximate identification. By means of a decorrelation method of treatment, about 800-1000 features 18 per 1 time interval 15 are selected and the signs of 22 characteristic of the entire time interval are postponed in the form of a vector 22. This corresponds to approximately 16-32 bits per frame.

г) Вектор признаков 22, полученный в п.в), обозначается как эталонный образец и впоследствии при работе сравнивается с тестовыми образцами, получаемыми непрерывно аналогичным образом на основе передаваемой программы, коррелятивно в виде связи EXNOR. При сходстве, превышающем заданное пороговое значение (например, 85%), идентификация принимается. Идентифицированные объекты, их степень сходства, заносятся вместе с точной отметкой времени кадра в банк данных, содержащий соответствующие зоны со всеми сравниваемыми эталонными образцами. d) The feature vector 22 obtained in item c) is designated as a reference sample and subsequently during operation it is compared with test samples obtained continuously in a similar way on the basis of the transmitted program, correlatively in the form of an EXNOR link. If the similarity exceeds a predetermined threshold value (for example, 85%), the identification is accepted. The identified objects, their degree of similarity, are entered together with the exact time stamp of the frame in a data bank containing the corresponding zones with all the compared reference samples.

д) Банк данных постоянно контролируется соответствующими программными средствами на взаимосвязь отрезков времени 15, которые идентифицировались при соблюдении надлежащего интервала между кадрами и при наличии достаточного сходства. В случае идентификации большинства отрезков времени 25 серии 14 изображений вся серия изображений считается идентифицированной. e) The data bank is constantly monitored by appropriate software for the interconnection of time intervals 15, which were identified if the appropriate interval between frames was observed and if there was sufficient similarity. In the case of identification of the majority of time periods of 25 series of 14 images, the entire series of images is considered identified.

е) Процесс идентификации согласно пп. г), д) протекает в реальном масштабе времени, вследствие чего идентификация серии изображений может быть продемонстрирована непосредственно после передачи серии изображений или рекламного сообщения. Затем все признаки 17 кадра, например, при длительности отрезка времени 2 с - это 86400 битов=10,8 кбайтов -, которые временно хранятся в регистре сдвига FIFO 12, подаются на точную идентификацию. Здесь происходит корреляция всех, разделенных на области кадров 16 всех отрезков времени 15 серии 14 изображений. Такое сравнение может проводиться с предварительно выбранными эталонными образцами, так как идентификация серии изображений собственно произошла. e) The identification process according to paragraphs. d), e) proceeds in real time, as a result of which the identification of a series of images can be demonstrated immediately after the transmission of a series of images or an advertising message. Then, all the signs of the 17th frame, for example, for a length of time of 2 s — 86400 bits = 10.8 kbytes — that are temporarily stored in the shift register FIFO 12, are sent for accurate identification. Here there is a correlation of all, divided into areas of frames 16 of all time intervals 15 of a series of 14 images. Such a comparison can be carried out with pre-selected reference samples, since the identification of a series of images actually occurred.

Подписи к фигурам
Фиг.2: 1 - рекламные сообщения, 2 - потеря Δt<2 c.Captions to figures
Figure 2: 1 - advertising messages, 2 - loss Δt <2 c.

Фиг.3: 1- изображения. Figure 3: 1 - image.

Фиг.10: 1 - без сокращенной выборки (Downsampling), 2 - частота появления, %, 3 - показатели DCT, 4 - величина отклонения от среднего значения. Figure 10: 1 - without a reduced sample (Downsampling), 2 - frequency of occurrence,%, 3 - DCT indicators, 4 - the amount of deviation from the average value.

Фиг.11: 1 - сокращенная выборка, 2h2v, 2 - частота появления, %, 3 - показатели DCT, 4 - величина отклонения от среднего значения, 5 - коэффициент C₀₁.11: 1 - a reduced sample, 2h2v, 2 - frequency of occurrence,%, 3 - DCT indicators, 4 - the deviation from the average value, 5 - coefficient C ₀₁ .

Фиг.12: 1- биномиальное распределение, 2 - с наличием карусели изображений, 3 - без карусели изображений. Fig: 1 - binomial distribution, 2 - with the presence of a carousel of images, 3 - without a carousel of images.

Фиг.13: 1 - считывание. Fig.13: 1 - reading.

Фиг.14: 1 - внутренний кадр, 2 - 2 межкадровых изображения, 3 - 10 межкадровых изображений, 4 - 50 межкадровых изображений. Fig: 1 - inner frame, 2 - 2 inter-frame images, 3 - 10 inter-frame images, 4 - 50 inter-frame images.

Фиг.15: 1 - внутренний кадр, 2 - 2 межкадровых изображения, 3 - 10 межкадровых изображений, 4 - 50 межкадровых изображений, 5 - порог идентификации, 80%. Fig: 1 - internal frame, 2 - 2 inter-frame images, 3 - 10 inter-frame images, 4 - 50 inter-frame images, 5 - identification threshold, 80%.

Claims

1. A method for identifying genuine series of images, in particular advertising messages, in which signs of brightness are determined for individual images from a series of images, they are converted to digital form and compared with a standard, characterized in that the signs (17, 18) of brightness are decorrelated by quasistochastic selection by many images (16).

2. The method according to p. 1, characterized in that the selected signs (17, 18) of brightness of individual images are recorded in an ordered sequence in the memory device (19) of the shift register (7) and are read in a quasi-stochastic manner with selective treatment.

3. The method according to p. 2, characterized in that the appeal to the signs (17, 18) of brightness occurs at the maximum possible skipping (23) of images (16).

4. The method according to p. 2 or 3, characterized in that the appeal to the signs (17,18) of brightness occurs at the maximum possible interval within the images (16).

5. The method according to one of paragraphs. 2-4, characterized in that after about 40 ms the signs (17, 18) of the brightness of the new image (20) are input into the storage device (19), and the signs (17, 18) of the brightness of the earliest image (21) are output at the end storage device (19).

6. The method according to one of paragraphs. 2-5, characterized in that the signs (17, 18) of brightness are supplied to the correlator (9) for comparison with the standard.

7. The method according to one of paragraphs. 2-6, characterized in that the series (14) of images is divided into time intervals (15) of constant duration.

8. The method according to p. 7, characterized in that each time interval (15) is an independent, correlated unit.

9. The method according to p. 7 or 8, characterized in that the series (14) of images is identified if individual time periods (15) are identified in the sequence corresponding to the reference series of images and in the time interval corresponding to the reference series of images.

10. The method according to one of paragraphs. 7-9, characterized in that the series (14) of images is divided into time intervals (15) with a duration of 1.5-2 s.

11. The method according to one of paragraphs. 7-10, characterized in that the duration of the time intervals (15) is chosen such that the duration of the series of images (14) can be divided without a remainder by the duration of the interval (15).

12. The method according to one of paragraphs. 1-11, characterized in that the images (16) are divided into many clusters formed by spatially interconnected image points.

13. The method according to p. 12, characterized in that for the formation of signs (17, 18) of brightness using a change in the brightness of the clusters.

14. The method according to p. 12 or 13, characterized in that the clusters are subjected to a discrete cosine transformation.

15. The method according to p. 14, characterized in that the discrete cosine transform coefficients are used as signs of brightness (17, 18).

16. The method according to p. 15, characterized in that as a sign of brightness (17, 18) use one of the coefficients of low-frequency alternation.

17. The method according to p. 16, characterized in that the coefficient of low-frequency alternation is limited by its sign and used as a sign of brightness (17, 18).

18. The method according to one of paragraphs. 12-17, characterized in that the cluster size is 8 • 8 image points.

19. The method according to one of paragraphs. 12-18, characterized in that the clusters are subjected to downsampling by decimally reducing their number horizontally and vertically.

20. The method according to p. 19, characterized in that the four located in the form of a square image points are combined into one new image point.

21. The method according to p. 20, characterized in that the cluster with a size of 16 • 16 points is reduced to a size of 8 • 8 points.

22. The method according to one of paragraphs. 1-21, characterized in that they carry out two-stage processing, in which at the first stage there is an approximate identification, and at the second stage - accurate identification.

23. The method according to p. 22, characterized in that the amount of data during approximate identification is reduced so that it becomes possible in real time.

24. The method according to p. 22 or 23, characterized in that for approximate identification of individual images (16) time intervals (15), signs of brightness (17, 18) are selected, loaded into the memory device (19) of the register (7) Shear for correlation in real time, selected decorrelation method of treatment and then processed in the form of vectors (22) of the characteristics of each time interval (15).

25. The method according to p. 24, characterized in that the vector (22) of the characteristics of the time interval (15) is compared with the corresponding standard in the form of an EXCLUSIVE-NOT-OR connection and, when identifying, is entered into a data bank containing the appropriate fields for all compared reference samples .

26. The method according to p. 25, characterized in that the data bank is constantly monitored by appropriate software for the presence of interconnected time periods (15) that were identified while observing the correct interval between images with sufficient similarity.

27. The method according to p. 26, characterized in that the series (14) of images is considered identified if most of the time segments (15) of this series (14) are identified.

28. The method according to one of paragraphs. 22-27, characterized in that the accurate identification is carried out only when the series (14) of images after approximate identification corresponds to the existing reference sample.

29. The method according to p. 28, characterized in that with accurate identification process all the signs (17, 18) of brightness, forming sections of the image.

30. A device for implementing the method according to one of paragraphs. 1-29, characterized in that the input (6) of the shift register (7), made in the form of a storage device (19), is connected through a DCT converter (5) to a video decoder (2) containing a raster / cluster converter, and the output is connected through the correlator (9) to the reference memory (10) with the possibility of feeding a series (14) of images coming from the receiver (4) to the video decoder (2), to the correlator (9) in the form of a vector (22) of signs and comparison with the reference stored in reference memory.

31. The device according to p. 30, characterized in that between the DCT converter (5) and the shift register (7), a branch is provided in the direction to the exact identification memory.

32. The device according to p. 31, characterized in that the storage device for accurate identification is made in the form of a shift register FIFO, which stores all the signs (17) of the brightness of the series (14) of images.