EA018349B1 - Способ видеоанализа - Google Patents

Abstract

В способе нахождения шаблонов движения в первом цифровом видеосигнале, причем первый цифровой видеосигнал, включающий в себя, по меньшей мере, опосредованно следующие друг за другом цифровые отдельные снимки, анализируется в реальном времени, для нахождения шаблонов движения в первом цифровом видеосигнале при возникновении больших движущихся количеств объектов в реальном времени предложено, что в первом отдельном снимке по меньшей мере одна первая изменяющая местоположение область переднего плана снабжается заданным количеством первых маркировок, что затем определяется относительное перемещение первых маркировок между первым отдельным снимком и следующим за ним вторым отдельным снимком, что затем с каждой первой маркировкой сопоставляется заданная первая окрестность, что первая и/или по меньшей мере одна вторая изменяющая местоположение область переднего плана снабжается заданным количеством вторых маркировок, что вторые маркировки, которые размещены внутри участков заданного количества пересекающихся первых окрестностей, удаляются, что затем определяется относительное перемещение первых и вторых маркировок между вторым отдельным снимком и следующим за ним третьим отдельным снимком, и что относительные перемещения первых и/или вторых маркировок выдаются как первый шаблон движения.

Description

Изобретение относится к способу нахождения шаблонов движения в первом цифровом видеосигнале согласно родовому понятию п. 1 формулы изобретения.

Известно отслеживание подвижных или изменяющих местоположение объектов внутри непрерывного во времени видеосигнала. Известные способы, прежде всего при наблюдении или анализе шаблонов движения больших движущихся количеств объектов, как, например, больших толп людей, имеют недостатки, заключающиеся в том, что они являются очень затратными и одновременно подверженными ошибкам. С помощью подобных известных способов нахождение шаблонов движения в первом цифровом видеосигнале в реальном времени, а потому, по существу, лишь с очень незначительной задержкой во времени по сравнению с возникновением события, является невозможным.

Публикация 2-Ό тезй-Ьазеб 8уп1ЬеИс ГгапзйдигаГюп оГ ап оЬ|сс1 тсйй осс1и8юи (ТОКЬИ е! а1.) описывает слежение за объектом, а также формирование сетевой структуры, которая покрывает объект. Публикация МиШ-регзоп 3Ό Ггаскшд тсйй рагбс1е ШГегегз ои уохе1з φΟΡΕΖ е! а1.) описывает 3-Ό способ слежения для одновременного слежения за людьми с помощью множества изображений камер.

Поэтому задачей изобретения является предложить способ вышеуказанного типа, с помощью которого могут быть преодолены названные недостатки, с помощью которого возможно нахождение шаблонов движения в первом цифровом видеосигнале при возникновении больших движущихся количеств объектов в реальном времени.

В соответствии с изобретением это решается признаками п. 1 формулы изобретения.

Тем самым возможно нахождение шаблонов движения в первом цифровом видеосигнале при возникновении больших движущихся количеств объектов в реальном времени. Тем самым возможна ЕИУ (электронная обработка данных)-ориентированная реализация соответствующего изобретению способа с допустимыми затратами на аппаратные средства. Тем самым особенно эффективно используются имеющиеся ресурсы аппаратных средств.

Изобретение также относится к способу видеоанализа согласно родовому понятию п.7 формулы изобретения.

Многочисленные сферы общественной жизни наблюдаются с помощью видеокамер, чтобы отпугнуть преступников или обнаружить преступников. Однако возрастающее число видеокамер несет с собой проблему, состоящую в том, что снятый подобным образом поток изображений уже не может быть оценен. Постоянное визуальное наблюдение всех камер, принимая во внимание тот факт, что на современном крупном объекте, таком как, например, международный аэропорт, установлены тысячи камер, чисто персонально невозможно выполнить. Однако большое количество камер приносит выигрыш в безопасности, только если полученные видеоданные сортируются или обрабатываются. Прежде всего, в релевантных для безопасности областях необходима постоянная сортировка и оценка видеоданных, чтобы гарантировать защиту людей и установок.

ИЗ 2005/089194 А1 описывает способ видеоанализа, при котором в каждом отдельном изображении (снимке) определяется изображение заднего плана, а также по отношению к нему изменяющая местоположение область переднего плана. Публикация Раз! апб КоЬизГ Васкдгоипб Ирбабпд... (Вйапбагкаг е! а1.) описывает способ, при котором проводится различие между изменяющим местоположение передним планом и задним планом.

Публикация МиШ-ГпГогтаГюп Ризюп Гог Зса1е Зе1есГюп ш КоЬизГ Тгаскшд (Х|аосрп еГ а1.) описывает расширенное устройство отслеживания сдвига среднего значения во взаимосвязи с так называемой интегральной проекцией, а также коэффициентом местоположения, который включает в себя экспоненциальную функцию.

Поэтому задачей изобретения является создание способа вышеназванного типа, с помощью которого можно преодолеть отмеченные недостатки, с помощью которого большое число видеокамер может контролироваться или управляться небольшим количеством операторов, и который нечувствителен к изменяющимся фонам или освещениям.

В соответствии с изобретением это достигается признаками п.7 формулы изобретения.

Тем самым видеоданные могут автоматически анализироваться и оцениваться, не требуя постоянного визуального контроля посредством, по меньшей мере, человекоподобного оператора. Тем самым внимание обслуживающего органа направляется на определенные области переднего плана, которые представляют собой объекты или предметы. Тем самым также сложные видеоустановки с большим количеством камер могут контролироваться или управляться небольшим количеством операторов. За счет постоянного определения фона (заднего плана) изменяющиеся фоны или изменения освещения распознаются и не приводят к ошибочным сообщениям касательно области переднего плана или объекта.

Изобретение также относится к компьютерному программному продукту, который может непосредственно загружаться во внутреннюю память компьютера и содержит сегменты кода программного обеспечения, с помощью которых выполняются этапы способа по одному из пп.1-14, когда компьютерный программный продукт выполняется на компьютере, а также к носителю данных с компьютерным программным продуктом, за счет чего возможна особенно эффективная реализация способа, соответствующего изобретению.

Изобретение также относится к установке обеспечения безопасности согласно соответствующему

- 1 018349 понятию пунктов формулы изобретения.

Задачей изобретения является создание установки обеспечения безопасности вышеназванного типа, с помощью которой можно избежать названных недостатков, с помощью которой большое число видеокамер могут контролироваться или управляться небольшим количеством операторов, и которая нечувствительна к изменяющимся фонам или освещениям.

В соответствии с изобретением это достигается признаками соответствующих пунктов формулы изобретения.

За счет этого можно просто и быстро определить точное положение ΡΤΖ-камеры, причем посредством ортогональности системы координат возможна оптическая калибровка изображения камеры.

Изобретение также относится к компьютерному программному продукту, который может непосредственно загружаться во внутреннюю память компьютера и содержит сегменты кода программного обеспечения, с помощью которых выполняются этапы способа по одному из соответствующих пунктов, когда компьютерный программный продукт выполняется на компьютере, а также к носителю данных с компьютерным программным продуктом по соответствующему пункту, за счет чего возможна особенно эффективная реализация способа, соответствующего изобретению.

Изобретение также относится к компоновке видеокамер, а также к установке обеспечения безопасности согласно родовому понятию соответствующих пунктов формулы изобретения.

Задачей изобретения является создание компоновки видеокамер или установки обеспечения безопасности вышеназванного типа, с помощью которых можно избежать названных недостатков, с помощью которых большое число видеокамер могут контролироваться или управляться небольшим количеством операторов, и которые нечувствительны к изменяющимся фонам или освещениям.

В соответствии с изобретением это достигается признаками соответствующих пунктов формулы изобретения.

Тем самым видеоданные могут автоматически анализироваться и оцениваться, не требуя постоянного визуального контроля посредством, по меньшей мере, человекоподобного оператора. Тем самым внимание обслуживающего органа направляется на определенные области переднего плана или объекты. Тем самым также сложные видеоустановки с большим количеством камер могут контролироваться или управляться небольшим количеством операторов. За счет постоянного определения заднего плана изменяющиеся задние фоны или изменения освещения распознаются и не приводят к ошибочным сообщениям касательно объекта.

Зависимые пункты формулы изобретения, которые как и независимые пункты формулы изобретения, одновременно образуют часть описания, касаются других предпочтительных вариантов выполнения изобретения.

Изобретение описывается более подробно со ссылками на приложенные чертежи, на которых в качестве примера представлены только предпочтительные формы выполнения. При этом показано следующее:

фиг. 1 - блок-схема компоновки видеокамер, соответствующей изобретению;

фиг. 2 - блок-схема предпочтительного варианта выполнения способа, соответствующего изобретению;

фиг. 3 - блок-схема администратора слежения;

фиг. 4 - блок-схема предпочтительного способа кодированного хранения отдельных видеокадров;

фиг. 5 - вид в плане компоновки видеокамер с тремя видеокамерами;

фиг. 6 - вид в плане компоновки видеокамер с десятью видеокамерами;

фиг. 7 - модель вида в плане согласно фиг. 6;

фиг. 8 - предпочтительный вид экрана модели и фиг. 9 - предпочтительное представление трехмерной модели компоновки видеокамер, соответствующей изобретению.

Заявленное изобретение касается способа видеоанализа, в частности, для видеонаблюдения, причем первый цифровой видеосигнал, включающий в себя, по меньшей мере, опосредованно следующие друг за другом цифровые отдельные изображения, анализируются в реальном времени, причем в каждом отдельном изображении определяется по меньшей мере одна область фона (заднего плана), причем по отношению к области заднего плана распознается по меньшей мере одна область переднего плана, изменяющая местоположение, и затем формируется первое сообщение и предпочтительно посылается в пункт контроля.

Тем самым видеоданные могут автоматически анализироваться и оцениваться, не требуя постоянного визуального контроля посредством, по меньшей мере, человекоподобного оператора. Тем самым внимание обслуживающего органа может направляться на определенные объекты. Тем самым также сложные видеоустановки с большим количеством видеокамер 1, 2, 16 могут контролироваться или управляться небольшим количеством операторов. За счет постоянного определения заднего плана изменяющиеся задние планы или изменения освещения распознаются и не приводят к ошибочным сообщениям касательно области переднего плана и/или объекта.

Соответствующий изобретению способ или соответствующая изобретению компоновка видеокамер

- 2 018349 или установка обеспечения безопасности предусмотрены для применения с цифровыми видеокамерами 1, 2, 16, причем может предусматриваться каждый тип видеокамеры 1, 2, 16, которая выдает цифровой видеосигнал. Под цифровым видеосигналом предпочтительно понимается, по существу, двоичный поток данных, который включает в себя последовательность следующих друг за другом цифровых отдельных изображений, которые также могут называться кадрами и при известных условиях содержат тональный сигнал. В соответствии с изобретением предусматривается распознавание переднего плана или предпочтительно изменяющей местоположение, следовательно, подвижной, появляющейся и исчезающей области переднего плана. Так как может быть предусмотрено также упорядочение распознанной области переднего плана в заданные категории и поэтому установление, идет ли речь в случае области переднего плана о человеке или, например, о багажном месте, или в последующем сведение множества обработанных в соответствии с изобретением видеосигналов в модель контролируемой области, предпочтительным образом предусматривается калибровка видеосигналов, формируемых видеокамерами. За счет калибровки видеосигналов возможно соотнесение точки на видеоизображении с точкой на плане контролируемой области.

Далее в качестве примера описывается предпочтительная калибровка видеосигналов. Линии, которые в реальном мире параллельны, пересекаются в фотографических отображениях в точках схода. Предпочтительным образом видеокамеры для применения в соответствии с изобретением ориентированы таким образом, что люди на отображении кажутся, по существу, прямостоящими, поэтому вектор вверх видеокамеры 1, 2, 16, лежит с ее вектором направления визирования, по существу, в вертикальной плоскости. Поэтому все вертикальные линии (колонны, дверные рамы и т.д.) отображения пересекаются в точке схода под отображением, так как видеокамеры 1, 2, 16, за счет расположения на потолке здания или на мачте, чаще все имеют слегка вперед наклоненное направление визирования. Эта точка схода называется исчезающий юг (уапшЫид 8ои1й).

Кроме того, в окружающей среде, созданной человеком, часто, прежде всего, в зданиях, встречаются прямоугольные (ортогональные) структуры. Помещения почти всегда являются практически прямоугольными. Если полы и стены имеют структурированную поверхность, то она также часто ориентирована параллельно или под прямым углом к стенам помещения. И эти в реальности параллельные линии пересекаются на отображении в точках схода, которые называются исчезающий восток (уапщЫид еа§1) и исчезающий запад (уапшЫид \\е51). Зная эти три точки схода, например, путем расчетов для калибровки видеосигнала, кроме того, необходимо знание трех фактических длин в направлении точек схода в диапазоне съемки, воспринимаемом видеокамерами 1, 2, 16. Последующая калибровка видеосигнала осуществляется предпочтительно с применением так называемого двойного отношения.

Как уже отмечено, может использоваться любой тип видеокамеры 1, 2, 16, причем особенно предпочтительным образом используются стационарные видеокамеры 1, 2, 16, или так называемые ΡΤΖкамеры 7, причем ΡΤΖ является сокращением от Ρηη-Τίΐΐ-Ζοοιη (панорамирование-наклонмасштабирование).

Подобные ΡΤΖ-камеры 7 являются качаемыми с помощью двигателя и имеют заданный диапазон масштабирования. Возможности установки механизмов качания и наклона, как правило, настолько точны, что предопределенные точки с помощью подобной ΡΤΖ-камеры 7 могут точно управляться. Подобные ΡΤΖ-камеры 7 калибруются таким образом, что, во-первых, определяется положение ΡΤΖ-камеры 7 в трехмерном пространстве по отношению к ортогональной системе координат. При этом предусмотрено, что ΡΤΖ-камера 7 последовательно ориентируется на исходную точку и на три конечные точки в пространстве, которые совместно образуют ортогональную систему координат с известными длинами между началом и конечными точками, причем соответственно измеряются три относительных угла между ориентацией на начальную точку и одну из трех конечных точек, и из этих относительных углов определяется положение ΡΤΖ-камеры 7 в трехмерном пространстве по отношению к ортогональной системе координат.

Это определение положения ΡΤΖ-камеры 7 осуществляется согласно геометрическим или тригонометрическим расчетам. Здесь следует упомянуть, что положение ΡΤΖ-камеры находится в точке пересечения трех торов, которые образуются вращением соответствующего сегмента круга относительно одной из трех расположенных ортогонально друг к другу осей ортогональной системы координат. Так как это с точки зрения способа является очень затратным, предпочтительно предусматривается, что вместо пересечения трех торов - положение ΡΤΖ-камеры 7 определяется в трехмерном пространстве по отношению к ортогональной системе координат посредством пересечения параллелей на вспомогательной сферической поверхности, центром которой является начальная точка. Это является возможным, так как оси вращения трех торов одновременно также являются осями ортогональной системы координат. Тем самым можно быстро и без больших затрат определить положение ΡΤΖ-камеры 7 по отношению к ортогональной системе координат.

В соответствующем изобретению способе в каждом отдельном снимке (кадре) определяется по меньшей мере одна область заднего плана, а также первая изменяющая местоположение область переднего плана, причем первая изменяющая местоположение область переднего плана включает в себя все части снимка, которые не соотнесены с областью заднего плана. А поэтому те, которые внутри перекры

- 3 018349 ваемой первым видеосигналом последовательности двигаются таким образом, что они, ввиду поясняемого далее особенно предпочтительного выполнения соответствующего изобретению способа, не могут быть соотнесены с областью заднего плана. При этом предусмотрено, что анализируются значения, которые принял каждый отдельный пиксель изображения камеры в пределах определяемого промежутка времени в прошлом.

В соответствующем изобретению способе, при котором отдельные кадры обрабатываются с заданным числом пикселей, причем каждый пиксель имеет по меньшей мере одно значение, в частности одно значение шкалы серого и/или одно значение цвета, поэтому особенно предпочтительно, что значение первого пикселя первого кадра сравнивается с заданным количеством значений сравнения, что первому пикселю сопоставляется значение первого значения сравнения из заданного количества значений сравнения, если значение первого пикселя лежит внутри заданного диапазона допусков вокруг первого значения сравнения, что частота появления первого значения сравнения на заданную первую величину повышается и что значение сравнения с наивысшей частотой появления сопоставляется с областью заднего плана. Тем самым определяется динамический задний план, который является стабильным относительно медленно по времени протекающих изменений или относительно статистически часто появляющихся изменений. Подобным образом генерируемый или определяемый задний план является стабильным по отношению к изменяющимся в течение времени суток условиям освещения. Кроме того, слегка изменяющиеся области, такие как качаемое ветром дерево, распознаются как задний план и не приводят к предупредительной сигнализации пункта контроля.

Для каждого пикселя кадра создается возможность сохранять и поддерживать заданное количество значений сравнения и их частоту появления. Далее в качестве примера это количество описывается как равное пяти.

Если новый кадр или отдельное изображение видеосигнала предоставляется для обработки посредством соответствующего изобретению способа, значение каждого пикселя сравнивается предпочтительно с пятью значениями сравнения. Если значение лежит внутри заданного диапазона допусков вокруг одного из предпочтительно пяти значений сравнения, то это значение сопоставляется с данным сохраненным значением сравнения. Как только подходящее сохраненное значение сравнения найдено, способ прерывается и другие значения сравнения более не проверяются.

Если текущее значение пикселя может быть сопоставлено сохранному значению сравнения, то частота появления этого значения сравнения повышается на заданную первую величину, например на один. Тем самым те сохраненные значения сравнения после множества кадров получают наибольшую частоту появления, которые чаще были лучшей аппроксимацией текущего значения пикселя. В предположении, что в видеопоследовательности или видеосигнале чаще всего те значения пикселя появляются на конкретном месте, которые принадлежат области заднего плана отдельного снимка (а не к подвижным или изменяющим местоположение областям переднего плана и/или объектам), теперь то сохраненное значение для этого пикселя обладает наибольшей частотой появления, которое ближе всего соответствует цвету заднего плана и/или его градации серого.

Предпочтительным образом предусмотрено, что, если значение первого пикселя лежит вне заданных диапазонов допусков вокруг значений сравнения, то значению сравнения с наименьшей частотой появления сопоставляется значение первого пикселя. Тем самым может достигаться постоянное согласование значений сравнения с изменяющимся содержанием видеосигнала.

Согласно особенно предпочтительному выполнению изобретения предусмотрено, что задано максимальное значение в качестве верхней границы частоты появления. Если частота появления сохраненного значения сравнения превышает это максимальное значение, то частота появления устанавливается на максимальное значение. Эта мера определяет, таким образом, скорость обучения, так как вновь появившийся в видеосигнале объект требует нескольких кадров или отдельных снимков, чтобы частоту появления относящегося к нему сохраненного значения сравнения привести на максимальное значение и тем самым это сохраненное значение устанавливать как задний план.

Кроме того, предпочтительно предусмотрено, что частота появления каждого значения сравнения после заданного числа следующих друг за другом отдельных снимков снижается на заданную вторую величину. Тем самым соответствующим изобретению способом обеспечивается постоянное доучивание. Заданное число следующих друг за другом отдельных снимков, равное трем, например, означало бы, что при каждом третьем поступающем кадре частота появления всех сохраненных значений сравнения снижается на вторую величину, например, на один. Тем самым частота появления каждого значения сравнения, которая была на максимальном значении и поэтому декларировалась как задний план или область заднего плана, постоянно сокращается до частоты появления, равной нулю, если она больше не обновляется.

В дальнейшем развитии соответствующего изобретению способа, при котором регистрируется второй отдельный снимок в заданном временном интервале после первого отдельного снимка, предпочтительно для определения изменяющей местоположение области переднего плана предусмотрено, что область заднего плана первого отдельного снимка вычитается из области заднего плана второго отдельного снимка, и полученная таким образом разность сопоставляется, по меньшей мере, с первой изменяющей

- 4 018349 местоположение областью переднего плана.

Добавленный к области съемки объект, который вначале будет распознаваться как часть области переднего плана, с продолжением видеосигнала, спустя определенный интервал времени будет распознаваться как задний план или как часть области заднего плана. Для распознавания того, добавлен ли такой объект к области съемки или удален, предпочтительно предусмотрено, что соответствующий изобретению способ многократно, например двукратно, параллельно выполняется, причем предусмотрены соответственно различные первые величины. Поэтому при обоих параллельно выполняемых способах изменения распознаются или определяются с различной скоростью. Поэтому предусматривается быстро обучаемый и медленно обучаемый способ. Тем самым также возможно сопоставление относительно того, добавляется ли объект к области съемки или удаляется. Если объект должен удаляться, то при медленно обучаемом способе он еще будет соотнесен с областью переднего плана, в то время как эта область в быстро обучаемом способе уже сопоставлена с задним планом. Если объект должен добавляться, то в медленно обучаемом способе он еще не соотносится с областью переднего плана, а соответствующая область еще определяется как область заднего плана, в то время как объект в быстро обучаемом способе уже соотнесен с областью переднего плана.

Особенно предпочтительно при этом предусмотрено, что оцениваются все пиксели, которые размещены внутри геометрической структуры, например прямоугольника, вокруг распознанной области переднего плана. Тем самым может выполняться непосредственное сравнение с окружающей областью заднего плана, за счет чего может снижаться вероятность ошибок способа.

Фиг. 2 показывает блок-схему особенно предпочтительного выполнения вышеописанного способа.

В дальнейшей последовательности должны распознаваться внутри обнаруженной области переднего плана отдельные, в особенности физические, относящиеся к одному и тому же объекты, такие как люди, транспортные средства или подвижные предметы, как, например, чемоданы или багажные тележки, и распознанные объекты, описываемые посредством видеопоследовательности или, как описывается далее, также посредством нескольких видеосигналов или видеопоследовательностей различных видеокамер 1, 2, 16, отслеживаются. Распознавание объекта и/или отслеживание уже определенных или распознанных объектов в видеосигнале называется слежением. Для этого предусмотрены способы слежения или так называемые устройства слежения. Предпочтительно предусмотрено, что объекты, изменяющие местоположение внутри области переднего плана, распознаются посредством устройства отслеживания сдвига среднего значения и/или их перемещения отслеживаются посредством устройства отслеживания сдвига среднего значения или устройства отслеживания оптического потока, причем также могут предусматриваться или применяться и другие устройства слежения и способы слежения.

Чтобы объединить преимущества различных устройств слежения или способов слежения, предусмотрен так называемый администратор слежения, который связывает вместе результаты параллельно осуществляемых способов слежения и определяет конечный результат слежения. При этом, в частности, предусмотрено, что из группы задаваемых устройств слежения выбирается некоторое количество устройств слежения для отслеживания перемещения первого объекта, изменяющего местоположение, что затем перемещение по меньшей мере одного первого объекта, изменяющего местоположение, отслеживается каждым из выбранных устройств слежения, и определяется результат слежения, что для каждого устройства слежения определяется вероятность ошибки и что затем результаты слежения устройств слежения с низкими вероятностями ошибок сводятся в один результат слежения.

Фиг. 3 показывает блок-схему последовательности действий подобного администратора слежения. В качестве первого этапа выбираются применяемые устройства слежения, причем для выбора используются существовавшие до сих пор, а поэтому достигнутые к данному моменту времени при осуществляющемся уже способе, производительность и/или вероятность ошибки. Дополнительно отдается предпочтение устройствам слежения, которые уже обработали определенное количество предыдущих кадров, чтобы повысить надежность устройства слежения.

На следующем этапе запускаются этапы обработки отдельных устройств слежения, причем они могут выполняться параллельно по времени или последовательно друг за другом. Результатом этапов обработки являются η наборов объектов, которые теперь должны быть сведены в соответствующий отдельный конечный результат; это осуществляется с помощью следующих этапов.

В зависимости от устройств слежения различные вводы данных могут оказывать влияние на эффективность и надежность способа слежения, что может привести к ошибочным результатам; примером является слишком высокая плотность людей при использовании устройства отслеживания сдвига среднего значения. Чтобы противодействовать этому, предпочтительно для каждого устройства слежения определяются параметры, посредством которых возможно определить вероятность ошибки, которая относится ко всей области съемки или только к участку изображения. При слишком высокой предварительно определенной вероятности ошибки, области, отличающиеся таким образом, не применяются для результата этого устройства слежения. Если вероятность ошибки оставалась бы равномерно высокой для определенного временного интервала, то вся обработка этого устройства слежения останавливается для заданного промежутка времени.

После этого этапа отдельные объекты различных устройств слежения исследуются, чтобы опреде

- 5 018349 лить вероятность того, что они представляют один и тот же физический объект. Если определяется заданная вероятность того, что речь идет о том же самом физическом объекте, эти объекты сводятся к единому объекту. Объединенные таким образом объекты применяются как вводимое множество данных для рабочего потока, который применяется для временного сопоставления объектов, то есть для определения, какие найденные объекты в предыдущем кадре сопоставимы с найденными объектами в текущем кадре.

Как изложено выше, может предусматриваться любое устройство слежения или любой способ слежения. Далее более подробно описываются только два особенно предпочтительных устройства слежения: устройство отслеживания сдвига среднего значения и так называемое устройство отслеживания оптического потока в соответствующих особенно предпочтительных вариантах выполнения.

Основные свойства устройства отслеживания сдвига среднего значения известны специалисту. Устройство отслеживания сдвига среднего значения в соответствии с предпочтительным выполнением применяется к так называемым разностным изображениям. При этом речь идет об отдельных снимках, которые не имеют области заднего плана или которые имеют только распознанные области переднего плана или, если предусмотрено, также фактически изображают. Подобные разностные изображения имеют высокий контраст, что для устройства отслеживания сдвига среднего значения является предпочтительным и приводит к незначительным ошибкам устройства отслеживания сдвига среднего значения.

К появляющимся на разностном изображении областям переднего плана применяется алгоритм кластеризации сдвига среднего значения, чтобы локализовать центры (или центры тяжести) отдельных областей переднего плана и таким образом определить физически относящиеся к одному и тому же объекты. При этом для ядер или блоков с заданным числом пикселей, которые соответственно включают в себя, по меньшей мере, участками область переднего плана, определяются вектора или градиенты, которые указывают в направлении наибольшей яркости (светлоты). Таким образом, на разностном изображении могут распознаваться и отслеживаться отдельные объекты. Так как обычное устройство отслеживания сдвига среднего значения является очень трудоемким и тем самым медленно действующим, предпочтительно предусмотрено применять его с использованием так называемого интегрального изображения. За счет этого, в ином случае требующее больших затрат времени вычисление отдельных градиентов существенно ускоряется, благодаря чему создается возможность соответствующий изобретению способ выполнять с допустимыми затратами в реальном времени.

Известные устройства отслеживания сдвига среднего значения имеют недостаток, заключающийся в том, что все пиксели имеют одинаковое пороговое значение. Для определения градиентов, однако, является предпочтительным, если пиксели в середине ядра взвешиваются сильнее, чем таковые в краевой области. Поэтому известно, что пиксели внутри ядра взвешиваются. Однако взвешивание с помощью обычной функции взвешивания связано с недостатком, заключающимся в том, что затем предпочтительное для обработки в реальном времени применение интегрального изображения становится невозможным. Поэтому в дальнейшем развитии изобретения предпочтительно предусмотрено, что каждое ядро или блок взвешивается с помощью по меньшей мере одной заданной экспоненциальной функции. Экспоненциальные функции являются функциями, которые подобны сами себе в соответственно различных диапазонах значений, так что затем определение градиентов по интегральному изображению является возможным. За счет взвешивания с помощью экспоненциальной функции можно комбинировать преимущества применения интегрального изображения с преимуществами отдельных пикселей внутри ядра.

Как изложено выше, посредством устройства отслеживания сдвига среднего значения определяются соответственно вектора или градиенты, которые указывают в направлении наибольшей яркости. Вектора или градиенты имеют при этом конечную точку, причем при идеальном поведении устройства отслеживания сдвига среднего значения конечные точки всех соотносимых с объектом векторов должны сходиться в центре или центре тяжести, за счет чего затем возможно соотнесение отдельных частичных областей области переднего плана с определенным объектом. Однако при реальных условиях, при фактически реализованном устройстве отслеживания сдвига среднего значения, очень редко происходит подобная фокусировка конечных точек векторов в одной точке. Скорее эти конечные точки векторов размещены в области вокруг центра или центра тяжести. Но из-за этого может происходить ошибочное соотнесение отдельных блоков с объектом. Оказалось, что точность соответствующего изобретению способа может быть заметно повышена, если конечной точке определенного для каждого блока вектора сопоставлена заданная вторая окрестность, и эти вторые окрестности также обрабатываются посредством способа или устройства отслеживания сдвига среднего значения, причем могут предусматриваться вышеописанные предпочтительные выполнения способа отслеживания сдвига среднего значения. Устройство отслеживания сдвига среднего значения применяется при этом к первому промежуточному изображению, которое построено только из - при необходимости с перекрытием на участках - вторых окрестностей. В предпочтительной реализации соответствующего изобретению способа в форме компьютерного программного продукта может быть предпочтительным образом предусмотрено, что это первое промежуточное изображение не представляется и не выдается фактически визуально, а только описывается математически и/или виртуально существует в форме заданных распределений памяти в компьютере. За счет этого может достигаться то, что определенные таким образом конечные точки векторов существен

- 6 018349 но лучше сходятся и достигается заметно лучшее сопоставление отдельных первоначальных изображений с изменяющим местоположением объектом. Тем самым заметно улучшается производительность устройства отслеживания сдвига среднего значения.

Устройство отслеживания оптического потока характеризует собой способ, который не пытается, как устройство отслеживания сдвига среднего значения, изолированно отслеживать отдельные объекты, а анализирует так называемый оптический поток. Тем самым этим способом, также, прежде всего, в ситуациях, в которых ввиду информационной плотности в изображении распознавание отдельных объектов/персон более невозможно, все еще можно распознать направления движения. Кроме того, в некоторых ситуациях не представляет интереса отслеживать каждый отдельный объект. Устройства отслеживания оптического потока особенно предпочтительны при оценке и отслеживании человеческих потоков. Как уже отмечено выше, известные устройства слежения имеют недостаток, заключающийся в том, что с их помощью отыскание шаблонов движения в первом цифровом видеосигнале в реальном времени, и поэтому, по существу, лишь с очень незначительной относительно появления события задержкой по времени, невозможно. Поэтому изобретение также относится к способу нахождения шаблонов движения в первом цифровом видеосигнале, причем первый цифровой видеосигнал, включающий в себя, по меньшей мере, опосредованно друг за другом следующие цифровые отдельные снимки, анализируется в реальном времени, причем в первом отдельном снимке по меньшей мере одна первая изменяющая местоположение область переднего плана снабжается заданным количеством первых маркировок, причем затем определяется относительное перемещение первых маркировок между первым отдельным снимком и следующим за ним вторым отдельным снимком, причем затем с каждой первой маркировкой сопоставляется заданная первая окрестность, причем первая и/или по меньшей мере одна вторая изменяющая местоположение область переднего плана снабжается заданным количеством вторых маркировок, причем вторые маркировки, которые размещены внутри областей пересечения заданного количества пересекающихся первых окрестностей, удаляются, причем затем определяется относительное перемещение первых и вторых маркировок между вторым отдельным снимком и следующим за ним третьим отдельным снимком, и причем относительные перемещения первых и/или вторых маркировок выдаются как первый шаблон движения. Тем самым возможно нахождение шаблонов движения в первом цифровом видеосигнале при появлении больших движущихся количеств объектов в реальном времени. Тем самым возможна ΕΌν-ориентированная реализация соответствующего изобретению способа с допустимыми затратами на аппаратные средства. Тем самым особенно эффективно используются имеющиеся ресурсы аппаратных средств.

При этом в качестве шаблонов движения предпочтительно понимаются направление, скорость и, при необходимости, ускорение изменяющего местоположение объекта.

В соответствующем изобретению способе на области переднего плана, которые в первом отдельном снимке распознаны как изменяющие местоположение, наносятся маркировки. Предпочтительным образом предусмотрено, что области переднего плана, вследствие вышеописанного способа распознаются. Однако также может быть предусмотрено, что поскольку первая видеокамера направлена на начальную область, которая с высокой вероятностью является источником происхождения всех появляющихся в видеосигнале подвижных объектов или областей переднего плана, например, шлюзом для пропускания людей, можно отказаться от отдельно реализуемого распознавания изменяющих местоположение областей переднего плана, и все области в этой начальной области снабжаются маркировками.

На первом отдельном снимке первые маркировки размещаются в заданном распределении, причем далее обрабатываются только первые маркировки, которые размещены на изменяющей местоположение области переднего плана. В соответствии с изобретением может быть предусмотрено, что маркировки распределены в каждой заданной форме по меньшей мере на одной первой области переднего плана. Предпочтительным образом предусмотрено, что первые и/или вторые маркировки размещены в форме предпочтительно равномерного или заданным образом взвешенно распределенного растра, причем особенно предпочтительно предусмотрены фрагменты изображения, в которых следует учитывать появление подвижных или изменяющих местоположение объектов или областей переднего плана, снабжать более плотным растром маркировок.

В соответствии с изобретением предусмотрено, что определяется относительное перемещение первых маркировок между первым отдельным снимком и следующим за ним вторым отдельным снимком, причем особенно предпочтительно предусмотрено, что относительные перемещения первых и/или вторых маркировок определяется посредством способа оценки, особенно для определения оптического потока в первом видеосигнале, предпочтительно устройства отслеживания оптического потока, в частности Ногп-8сйипк-способа или Капайс-Епсаз-ТотазЕспособа.

Сдвинутым таким образом маркировкам далее ставится в соответствие первая окрестность, которая выполнена как предпочтительно взвешенный прямоугольник, в частности как квадрат, или как предпочтительно взвешенная поверхность конического сечения, в частности как круг или эллипс. На следующем этапе способа обработанный таким образом отдельный снимок вновь снабжается вторыми маркировками описанным образом, причем, однако, новые вторые маркировки размещаются на областях переднего плана, только если на соответствующем месте, на котором предусмотрена вторая маркировка, не имеется

- 7 018349 участка с заданным количеством перерывающихся или пересекающихся первых окрестностей. Поэтому если вторая маркировка должна быть расположена на изменяющей местоположение области переднего плана, но это место уже покрыто участком, например, из трех первых окрестностей, то эта вторая маркировка не устанавливается. Затем соответствующий изобретению способ повторяется с самого начала для последующего отдельного снимка, в форме цикла.

Предпочтительным образом предусмотрено, что для каждой маркировки и каждого вычисленного относительного перемещения определяется статистика ошибок, и маркировки, у которых статистика ошибок превышает заданный предел, удаляются.

Кроме того, предпочтительно учитывается величина относительного перемещения, и маркировки, у которых относительное перемещение падает ниже заданной меры, удаляются. За счет этого может быть достигнуто то, что не перемещающиеся маркировки, например, такие, которые были установлены ошибочно, отбраковываются, и трудозатраты при выполнении способа могут поддерживаться невысокими. Дополнительно предпочтительным образом регистрируется возраст каждой из маркировок в заданном интервале времени или по заданному количеству следующих друг за другом отдельных снимков, и маркировки, у которых возраст превышает заданный предел, например 50 следующих друг за другом отдельных снимков, удаляются. Также за счет этого может достигаться постоянная регенерация обработанных маркировок, и трудозатраты при выполнении способа могут поддерживаться невысокими.

Для оценки определенных шаблонов движения предпочтительно предусмотрено, что, по меньшей мере, второй отдельный снимок разделяется на заданным образом располагаемые сегменты заданной формы и величины, что оцениваются, по меньшей мере, первые шаблоны движения внутри каждого сегмента и что для каждого сегмента определяется шаблон движения сегмента. Для этого, по меньшей мере, второй отдельный снимок, предпочтительно все последующие отдельные снимки, заданным образом сегментируются, причем сегменты задаются по форме и величине. Предпочтительным образом сегменты согласовываются с ожидаемым содержимым изображения. Поэтому в областях, в которых не приходится рассчитывать на области переднего плана или объекты, которые могли бы представить интерес для наблюдателя, будут располагаться большие сегменты, а в областях, которые должны анализироваться по возможности точно, размещается множество малых областей. Внутри каждого подробного сегмента предпочтительно устанавливается гистограмма направления, на которую наносится каждое определенное направление движения, предпочтительно оцененное или взвешенное. Тем самым может предотвращаться то, что несколько больших направлений движения давали бы шаблон движения сегмента, который не воспроизводит действительные направления движения. За счет этого возможна быстрая и дифференцированная оценка процессов движения в первом видеосигнале.

Из первого шаблона движения и/или из шаблонов движения сегментов определяется предпочтительно по меньшей мере один главный шаблон движения. Для этого также может быть предусмотрено, что устанавливается гистограмма направления, на которую наносится каждый шаблон движения сегмента, предпочтительно оцененный или взвешенный. Тем самым может определяться глобальный главный шаблон движения. Кроме того, предпочтительно предусмотрено целенаправленно искать определенные направления движения или объекты с определенными направлениями движения в видеосигнале, например объекты, которые двигаются против главного шаблона движения, поэтому являются очень быстрыми (бегут) и/или, например, на эскалаторе перемещаются против направления движения. Подобные отклоняющиеся шаблоны движения допускают подозрение касательно релевантной для безопасности ситуации.

Особенно предпочтительным образом предусмотрено, что описанные способы реализованы как компьютерные программные продукты, которые могут непосредственно загружаться во внутреннюю память компьютера или сохраняются на носителе данных и содержат сегменты кода программного обеспечения, с помощью которого выполняются этапы соответствующих изобретению способов, когда компьютерный программный продукт выполняется на компьютере. При этом компьютером является любое устройство, которое содержит соответствующий микропроцессор, микроконтроллер и/или цифровой процессор сигналов (И8Р), а также необходимые блоки памяти и/или шину данных. При этом может быть предусмотрено, что микроконтроллер и/или цифровой процессор сигналов (И8Р) выполнены на так называемом устройстве программируемой логики (РЬИ) или программируемой пользователем вентильной матрице (РРСЛ). Наряду с обычными персональными компьютерами или большими вычислительными машинами, при этом также предусматривается выполнение компьютеров как так называемых встроенных систем.

Изобретение также относится к компоновке видеокамер по меньшей мере с одной первой и одной второй видеокамерами 1, 2, причем первая и вторая видеокамеры 1, 2, по меньшей мере, частично снимают ту же самую область, причем первая видеокамера 1 подключена к первому блоку 3 обработки данных, а вторая видеокамера 2 подключена к второму блоку 4 обработки данных, в частности, включающим в себя по меньшей мере один цифровой процессор сигналов, для распознавания заднего плана и/или изменяющей местоположение области переднего плана и/или объекта. Подобная компоновка видеокамер особенно хорошо подходит для реализации соответствующего изобретению способа, так как каждой видеокамере 1, 2 соответствует блок 3, 4 обработки данных. Связанная с реализацией соответствующего

- 8 018349 изобретению способа высокая вычислительная мощность может, таким образом, обеспечиваться предоставлением отдельных блоков 3, 4, 8 обработки данных. При этом также калибровка отдельных видеокамер 1, 2, 7, 16 осуществляется с помощью блоков 1, 2, 8 обработки данных.

В дальнейшем развитии изобретения предпочтительно предусмотрено, что первый и второй блоки

3, 4 обработки данных подключены к первому центральному блоку 5 обработки данных для формирования модели 18 снимаемых первой и второй видеокамерами 1, 2 областей, причем дополнительно может быть предпочтительно предусмотрено, что первый центральный блок 5 обработки данных подключен к запоминающему устройству 6 данных. Тем самым данные, которые определяются отдельными видеокамерами 1, 2, 7, 16, могут объединяться в простой и наглядной модели 18.

Фиг. 1 показывает блок-схему особенно предпочтительного соответствующего устройства, причем предусмотрены и представлены еще дополнительные узлы. Первая и вторая видеокамеры 1, 2 подключены соответственно к первому и второму блокам 3, 4 обработки данных. Кроме того, предусмотрена ΡΤΖкамера 7, которая подключена к третьей установке 8 обработки данных, которая, наряду с реализацией соответствующего изобретению способа, также может быть предусмотрена для калибровки и управления ΡΤΖ-камерой 7. Дополнительно к показанным трем видеокамерам 1, 2, 7, может предусматриваться любое заданное количество других видеокамер 16. Кроме того, могут быть предусмотрены, наряду с описанными видеокамерами 1, 2, 7, 16, также видеокамеры 1, 2, 7, 16, которые уже включают в себя блоки 3,

4, 8 обработки данных. Кроме того, могут быть предусмотрены так называемые мобильные блоки контроля, которые соответственно содержат по меньшей мере одну видеокамеру 1, 2, 7, 16, а также один блок 3, 4, 8 обработки данных и запоминающее устройство 6 данных, и только считываются, когда это обусловлено событием, например террористической атакой. Дополнительно может быть предусмотрена каждая комбинация вышеописанных компоновок различных видеокамер 1, 2, 7, 16, например комбинация из статических видеокамер 1, 2 и ΡΤΖ-камеры 7.

Блоки 3, 4, 7 обработки данных отдельных видеокамер 1, 2, 7, 16 подключены к центральному блоку 5 обработки данных.

В этой связи может быть предусмотрено, что по меньшей мере два цифровых видеосигнала, которые соответственно сопоставлены, по меньшей мере, частично перекрывающейся области съемки, сводятся в модель 18 всей описываемой видеосигналами области 15 съемки, и что модель 18 выдается, в частности отображается, причем особенно предпочтительным образом может быть предусмотрено, что модель 18 создается как трехмерная модель 19. Для сведения полученных отдельными видеокамерами 1, 2, 7, 16 видеосигналов или, в частности, информации, являются ли области изображения областью заднего плана или областью переднего плана, а также отслеживания обнаруженных объектов в пределах области съемки, перекрываемой одной из нескольких видеокамер 1, 2, 7, 16, предпочтительной является калибровка отдельных видеокамер 1, 2, 7, 16. Кроме того, необходима глобальная система координат, чтобы отдельные видеосигналы или выделенные либо полученные из них данные объединить в единственную модель 18. Тем самым пользователю подобной компоновки видеокамер дается возможность быстро и интуитивно сориентироваться в контролируемом видеокамерами пространстве, причем пользователь всегда получает данные, которые с высокой вероятностью представляют интерес для пользователя.

В первом центральном блоке 5 обработки данных из данных отдельных блоков 3, 4, 8 обработки данных формируется модель 18 всей контролируемой видеокамерами 1, 2, 7, 16 области. Фиг. 5 показывает компоновку из трех видеокамер 1, 2, 16 в схематичном представлении, причем наряду с видеокамерами 1, 2, 16 также представлены их области 15 съемки, а также помеченные границы 20 здания. Фиг. 6 показывает компоновку с десятью видеокамерами 1, 2, 16, причем двойной стрелкой 17 обозначены соответственно перекрывающиеся области съемки. По причинам наглядности полное обозначение всех двойных стрелок не приводится. Наряду с первой и второй видеокамерами 1, 2, другим видеокамерам 16 на фиг. 5 и 6 присвоена единая ссылочная позиция 16. Фиг. 7 показывает модель 18 компоновки по фиг. 6, причем вместо отдельных видеокамер 1, 2, 16, согласно виду в плане на фиг. 6 соответственно показаны изображения, снимаемые соответствующими видеокамерами 1, 2, 16.

Модель 18, созданная посредством центрального блока 5 обработки данных, сохраняется в запоминающем устройстве 6 данных, причем по причинам безопасности может предусматриваться кодированное хранение соответствующих данных. На фиг. 4 показан ход выполнения предпочтительного способа для кодированного сохранения отдельных видеокадров.

Центральный блок 5 обработки данных и запоминающее устройство 6 данных связаны с сервером 9 приложений, который полученные данные подготавливает для обработки пользователем и связан с пользовательским интерфейсом 10 или мобильным интерфейсом 11. Посредством мобильного интерфейса 11 возможен доступ к системе, например, для передвигающегося охранника. Тем самым возможно видеотехническое слежение за целевым объектом непосредственно командой доступа, например, специальным подразделением полиции.

Пользовательский интерфейс 10 поставляет данные в некоторый блок для так называемого представления 12 события. Такое представление приведено в качестве примера на фиг. 8. На символически изображенном экране показаны видеокамеры 1, 2, 16 согласно представлению на фиг. 7, при этом посредством представления 12 события видеосигналы, которые включают в себя события, распознанные

- 9 018349 посредством соответствующего изобретению способа, представляются централизованным образом в увеличенном виде. Кроме того, это обеспечивает возможность целенаправленного и интуитивного слежения за целевым объектом в области, которая контролируется несколькими видеокамерами 1, 2, 16. Показанные на экранном представлении согласно фиг. 8 изображения отдельных видеокамер представлены на месте вида в плане контролируемой области, в которой размещены видеокамеры 1, 2, 16 или которую они снимают.

При этом в одном выполнении изобретения, при котором создаются модель вида в плане и трехмерная модель 19, предусмотрено, что как модель вида в плане, так и трехмерная модель 19, по существу, отображают одновременно и что посредством выбора одного из по меньшей мере двух цифровых видеосигналов в модели вида в плане или в трехмерной модели 19 выбирается видеосигнал в модели вида в плане и в трехмерной модели 19. При этом может, например, предусматриваться, что за счет выбора видеокамеры 1, 2, 16 в трехмерной модели 19, например, посредством мыши или посредством касания соответствующего участка сенсорного экрана также выбирается изображение той же самой видеокамеры 1, 2, 16 в модели вида в плане и на центральном отображении представляется в увеличенном виде. За счет этого возможна особенно быстрая и интуитивная работа. Тем самым большое количество видеокамер 1, 2, 16 могут контролироваться небольшим числом пользователей. Кроме того, за счет этого для пользователей требуется лишь незначительное время обучения.

К пользовательскому интерфейсу 10 также подключен блок 13 для представления трехмерного отображения или трехмерной модели 19 контролируемой области. Фиг. 9 показывает в качестве примера такое представление. При этом пользователю дается возможность быстро и интуитивно ориентироваться в контролируемом пространстве. Это является, прежде всего, предпочтительным или важным в случае компоновок видеокамер или установок обеспечения безопасности, при которых очень большое количество видеокамер 1, 2, 16 должно контролироваться ограниченным числом операторов, а также при использовании персонала, который недостаточно знаком с пространственными условиями, как это имеет место при задействовании полицейских подразделений в ходе борьбы с преступниками.

Дополнительно существует возможность того, что к пользовательскому интерфейсу 10 подключен блок 14 для статистического или судебного анализа определенных данных. Тем самым существует дополнительная возможность обратить внимание на чрезвычайные или необычные события или манеры поведения.

В дальнейшем развитии вышеописанного соответствующего изобретению способа в этой связи может быть предусмотрено, что по меньшей мере два цифровых видеосигнала, которые соответственно сопоставлены перекрывающимся, по меньшей мере, на участках области 15 съемки, объединяются в модель 18 всей описываемой посредством видеосигналов области 15 съемки, и что модель 18 выдается, в частности отображается, причем особенно предпочтительно может быть предусмотрено, что модель 18 создается как трехмерная модель 19. Для объединения определенных отдельными видеокамерами 1, 2, 16 видеосигналов, или особенно информации о том, являются ли области изображения областью заднего плана и/или областью переднего плана, а также отслеживания обнаруженных объектов в пределах области 15 съемки, перекрываемой несколькими видеокамерами 1, 2, 16, предпочтительной является калибровка отдельных видеокамер 1, 2, 16. Кроме того, необходима глобальная система координат, чтобы отдельные видеосигналы или выделенные или полученные из них данные объединить в единственную модель 18. Тем самым пользователю подобной компоновки видеокамер дается возможность быстро и интуитивно сориентироваться в контролируемом видеокамерами пространстве, причем пользователь всегда получает данные, которые с высокой вероятностью представляют интерес для пользователя.

Изобретение также относится к установке для обеспечения безопасности, которая содержит соответствующую изобретению компоновку видеокамер и/или применяет соответствующий изобретению способ, причем, в частности, предусмотрено, что подобная установка для обеспечения безопасности содержит по меньшей мере один датчик, выбранный из группы: фотоэлемент, датчик движения, датчик ударного шума, датчик вибрации, контактный датчик, инфракрасный датчик. Предпочтительным образом при этом может быть предусмотрено, что по меньшей мере один датчик подключен к центральному блоку обработки данных, посредством чего данные, полученные датчиками, также могут учитываться при формировании модели.

Другие соответствующие изобретению формы выполнения содержат только часть описанных признаков, причем может предусматриваться каждая комбинация признаков, в частности, также из различных описанных форм выполнения.

Claims (17)

1. ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Способ нахождения шаблонов движения в первом цифровом видеосигнале, причем первый цифровой видеосигнал, включающий в себя, по меньшей мере, опосредованно следующие друг за другом цифровые отдельные снимки, анализируется в реальном времени, причем в первом отдельном снимке по меньшей мере одна первая изменяющая местоположение область переднего плана снабжается множеством первых маркировок, причем затем определяется относительное перемещение первых маркировок между первым отдельным снимком и следующим за ним вторым снимком, причем затем с каждой перемещающейся первой маркировкой сопоставляется заданная первая окрестность во втором снимке, причем в обработанном таким образом втором снимке первая изменяющая местоположение область переднего плана и/или по меньшей мере одна вторая изменяющая местоположение область переднего плана снабжается множеством вторых маркировок, причем вторые маркировки, которые размещены внутри участков заданного множества пересекающихся первых окрестностей, удаляются, затем определяется относительное перемещение первых и вторых маркировок между вторым отдельным снимком и следующим за ним третьим отдельным снимком, причем относительные перемещения первых и/или вторых маркировок выдаются как первый шаблон движения.
2. 2. Способ по п.1, отличающийся тем, что первые и/или вторые маркировки размещены в форме предпочтительно равномерного или заданным образом взвешенно распределенного растра.
3. 3. Способ по п.1 или 2, отличающийся тем, что относительные перемещения первых и/или вторых маркировок определяются посредством способа оценки.
4. 4. Способ по пп.1, 2 или 3, отличающийся тем, что первая окрестность выполнена как прямоугольник, в частности квадрат, или как поверхность конического сечения, в частности как круг или эллипс.
5. 5. Способ по любому из пп.1-4, отличающийся тем, что, по меньшей мере, второй отдельный снимок разделяется на заданным образом располагаемые сегменты заданной формы и величины, что оцениваются, по меньшей мере, первые шаблоны движения внутри каждого сегмента и что для каждого сегмента определяется шаблон движения сегментов.
6. 6. Способ по любому из пп.1-5, отличающийся тем, что, по меньшей мере, из первого шаблона движения и/или из шаблонов движения сегментов определяется по меньшей мере один первый главный шаблон движения.
7. 7. Способ видеоанализа, в котором первый цифровой видеосигнал, включающий в себя, по меньшей мере, опосредованно следующие друг за другом цифровые отдельные снимки, анализируется в реальном времени, причем в каждом отдельном снимке определяется по меньшей мере одна область заднего плана, причем в каждом отдельном снимке по отношению к области заднего плана распознается по меньшей мере одна область переднего плана, изменяющая местоположение, и затем формируется первое, касающееся области переднего плана, сообщение и предпочтительно посылается в пункт контроля, причем по меньшей мере один первый изменяющий местоположение объект, который является частью первой изменяющей местоположение области переднего плана, распознается посредством устройства отслеживания сдвига среднего значения, и его перемещения отслеживаются посредством устройства отслеживания сдвига среднего значения, причем к области переднего плана применяется алгоритм кластеризации сдвига среднего значения, и затем блоки, включающие в себя заданное число пикселей, обрабатываются согласно способу сдвига среднего значения с применением интегрального изображения, при этом отдельные блоки взвешиваются с помощью по меньшей мере одной заданной экспоненциальной функции.
8. 8. Способ по п.7, отличающийся тем, что отдельные снимки имеют заданное число пикселей, каждый пиксель имеет по меньшей мере одно значение, в частности одно значение шкалы серого и/или одно значение цвета, значение первого пикселя первого отдельного снимка сравнивается с заданным количеством значений сравнения, при этом с первым пикселем сопоставляется значение первого значения сравнения из заданного количества значений сравнения, если значение первого пикселя лежит внутри заданного диапазона допусков вокруг первого значения сравнения, частота появления первого значения сравнения повышается на заданную первую величину и значение сравнения с наивысшей частотой появления сопоставляется с областью заднего плана.
9. 9. Способ по п.8, отличающийся тем, что если значение первого пикселя лежит вне заданного диапазона допусков вокруг значений сравнения, то со значением сравнения с самой низкой частотой появления сопоставляется значение первого пикселя.
10. 10. Способ по п.9, отличающийся тем, что второй отдельный снимок снимается в заданном временном интервале после первого отдельного снимка, при этом область заднего плана первого отдельного снимка вычитается из области заднего плана второго отдельного снимка, и сформированная таким образом разность сопоставляется, по меньшей мере, первой изменяющей местоположение областью переднего плана.
11. 11. Способ по пп.8, 9 или 10, отличающийся тем, что частота появления каждого значения сравнения после заданного количества последовательных отдельных снимков снижается на заданную вторую величину.

    - 11 018349
12. 12. Способ по любому из пп.7-11, отличающийся тем, что из группы задаваемых устройств слежения выбирается некоторое количество устройств слежения для отслеживания перемещения первого объекта, изменяющего местоположение, что затем перемещение по меньшей мере одного первого объекта, изменяющего местоположение, отслеживается каждым из выбранных устройств слежения и определяется результат слежения, что для каждого устройства слежения определяется вероятность ошибки и что затем результаты слежения устройств слежения с низкими вероятностями ошибок сводятся в один результат слежения.
13. 13. Способ по любому из пп.7-12, отличающийся тем, что посредством устройства отслеживания сдвига среднего значения для определения центра и/или центра тяжести по меньшей мере одного изменяющего местоположение объекта для отдельных блоков определяется соответственно вектор, который указывает в направлении области вокруг центра или центра тяжести, причем с каждой конечной точкой определенного для каждого блока вектора сопоставлена заданная вторая окрестность, эти вторые окрестности размещаются в первом промежуточном изображении, и к этому первому промежуточному изображению применяется устройство отслеживания сдвига среднего значения.
14. 14. Способ по любому из пп.7-13, отличающийся тем, что по меньшей мере два цифровых видеосигнала, которые соответственно сопоставлены с перекрывающейся, по меньшей мере, на участках областью (15) съемки, объединяются в модель (18) всей описываемой посредством видеосигналов области (15) съемки, и модель (18) выдается, в частности отображается.
15. 15. Способ по п.13, отличающийся тем, что модель (18) создается как трехмерная модель (19) и/или как модель вида в плане.
16. 16. Способ по п.15, отличающийся тем, что создается модель вида в плане и трехмерная модель (19), при этом как модель вида в плане, так и трехмерная модель (19), по существу, одновременно отображаются, и посредством выбора одного из по меньшей мере двух цифровых видеосигналов в модели вида в плане или в трехмерной модели (19) выбирается видеосигнал в модели вида в плане и в трехмерной модели (19).
17. 17. Способ по любому из пп.1-6, отличающийся тем, что по меньшей мере одна изменяющая местоположение область переднего плана распознается посредством способа по любому из пп.7-16.