EA028632B1

EA028632B1 - Способ и система отображения данных с видеокамеры

Info

Publication number: EA028632B1
Application number: EA201500497A
Authority: EA
Inventors: Егор Петрович Сучков; Мурат Казиевич Алтуев; Сергей Александрович Добриков; Роман Валерьевич Калинин; Игорь Игоревич Фаломкин
Original assignee: Общество с ограниченной ответственностью "Ай Ти Ви групп"
Priority date: 2015-06-04
Filing date: 2015-06-04
Publication date: 2017-12-29
Also published as: EA201500497A1

Abstract

Изобретение относится к системам видеонаблюдения и к компьютерным системам, в частности к обработке графической и иной видеоинформации для отображения в компьютерных системах. Технический результат от данного технического решения заключается в улучшении наглядности видеоинформации для оператора безопасности, что повышает скорость реагирования оператора видеонаблюдения на ситуации, возникающие в процессе видеонаблюдения с объектами видеонаблюдения. Способ отображения данных с видеокамеры включает в себя следующие шаги: получают видеоизображение по крайней мере с одной видеокамеры; определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге; задают на карте помещения графическое обозначение, обозначающее неподвижный объект; производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве, и происходит задание связей между ними; преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.

Description

Техническое решение относится к системам видеонаблюдения и к компьютерным системам, в частности к обработке графической и иной видеоинформации для отображения в компьютерных системах.

Уровень техники

Самая главная причина использования систем видеонаблюдения - это стремление повысить уровень безопасности людей и защищенности объектов частной собственности. Применение камер позволило достигнуть большого успеха в обеспечении безопасности: даже сам факт присутствия камер видеонаблюдения на объекте может отпугнуть преступника. Но если преступление все же имело место быть, то имеющиеся записи с камер помогут оказать помощь в поимке и опознании злоумышленника. Желание защитить частную собственность и свою семью требует применения самых современных систем безопасности.

Но обеспечение безопасности не единственная область применения систем видеонаблюдения. Большая и малая промышленность все больше нуждается в надежных и автоматизированных средствах контроля и управления технологическими процессами. При помощи системы видеонаблюдения становится возможным контролировать и управлять многими технологическими и производственными процессами, особенно теми, где нет прямого контроля человеком.

Системы видеонаблюдения все больше используются в различных отраслях. Они применяются больницами для постоянного наблюдения за тяжелобольными пациентами, образовательными учреждениями для контроля студентов и учеников, магазинами для наблюдения за покупателями и пресечения попыток краж, муниципальными властями и УВД для наблюдения в общественных местах, в транспорте, местах отдыха и развлечений, банковскими структурами и т.д.

Одной из главных задач современных систем видеонаблюдения становится решение проблемы, заключающейся в том, что в огромном потоке видеоданных очень сложно отследить информацию, которая является непосредственно важной для пользователя такой системы (информация о перемещении людей на охраняемой территории, изменении местоположения неодушевленных объектов на охраняемой территории и т.д.).

Известно изобретение КИ 2012101736, Способ и система видеолокации, ЗАО ИНТЕГРА-С (КИ), опубликовано 27.07.2013. В данном изобретении описаны способ и система видеолокации, которые могут быть использованы для охраны помещений, автомобилей и других объектов. Способ видеолокации, содержащий получение видеоизображения при помощи по меньшей мере одной поворотной видеокамеры, запись его на компьютер, имеющий манипулятор типа мышь и воспроизведение на мониторе, отличающийся тем, что в памяти компьютера внесено изображение охраняемого объекта в формате 3Ό, с координатами всех элементов охраняемого объекта, также в памяти компьютера занесены координаты поворотной видеокамеры, а изображение, полученное с поворотной видеокамеры, накладывается на изображение в формате 3Ό, при этом оператор устанавливает курсор манипулятора на любую точку охраняемого объекта, а компьютер выдает команду на поворот оси поворотной видеокамеры на эту точку. При использовании данного изобретения не предполагается корректное отображение видеоизображения объектов на карте помещения.

Сущность технического решения

Данное техническое решение направлено на устранение недостатков, присущих существующим изобретениям.

Технический результат от данного технического решения заключается в улучшении наглядности видеоинформации для оператора безопасности, что повышает скорость реагирования оператора видеонаблюдения на ситуации, возникающие в процессе видеонаблюдения с объектами видеонаблюдения.

Данный технический результат достигается за счет того, что одновременно отображаются видеоизображение с видеокамеры и карта помещения с привязкой видеоизображения к определенным неподвижным объектам наблюдения в поле зрения видеокамеры на одном или более устройствах отображения информации и отображении поля зрения видеокамеры на карте помещения.

Способ отображения данных с видеокамеры включает в себя следующие шаги: получают видеоизображение по крайней мере с одной видеокамеры; определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге; задают на карте помещения графическое обозначение, обозначающее неподвижный объект; производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве, и происходит задание связей между ними; преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.

Заданные в процессе калибровки связи между не менее четырьмя парами точек, характеризующих местоположение определенного объекта на карте помещения и на кадре полученного видеоизображения, можно редактировать и/или удалять.

Местоположение неподвижных объектов в поле зрения видеокамеры может определяться при по- 1 028632 мощи видеоаналитики, встроенной в видеосервер.

Местоположение неподвижных объектов в поле зрения видеокамеры могут определять при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.

Местоположение неподвижных объектов в поле зрения видеокамеры, могут визуализировать для пользователя путем отображения видеоданных поверх карты помещения на экране монитора.

Для трехмерной карты помещения возможно изменение наклона плоскости карты.

Для карты помещения возможно автоматическое и ручное масштабирование, смещение.

Возможно изменение прозрачности изображения на карте помещения.

В качестве условных обозначений на карте помещения могут быть отображены видеокамеры, и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц и/или номеров автомобилей.

Поле зрения видеокамеры может отображаться на карте помещения в виде области, отличной по цвету и/или прозрачности от остальной карты помещения и/или ограниченной от остальной карты помещения.

Данное техническое решение может быть выполнено в виде системы отображения данных с видеокамеры, включающей: одно или более устройство обработки команд, одно или более устройство хранения данных, одну или более программ, где одна или более программ хранятся на одном или более устройстве хранения данных и исполняются на одном и более процессоре, причем одна или более программ включает следующие инструкции: получают видеоизображение по крайней мере с одной видеокамеры; определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге; задают на карте помещения графическое обозначение, обозначающее неподвижный объект; производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве и происходит задание связей между ними; преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.

Местоположение неподвижных объектов в поле зрения видеокамеры может определяться при помощи видеоаналитики, встроенной в видеосервер.

Местоположение неподвижных объектов в поле зрения видеокамеры могут визуализировать для пользователя путем отображения видеоданных поверх карты помещения на экране монитора.

Краткое описание чертежей

Фиг. 1 - выбор точек на кадре видеоизображения и карте помещения, характеризующих местоположение объекта в пространстве;

фиг. 2 - пример использования перспективного преобразования;

фиг. 3 - интерфейс объектов привязки, карта и видеоизображения, получаемые с видеокамер;

фиг. 4 - пример реализации режима погружения в работе;

фиг. 5 - пример отображения поля зрения видеокамеры на карте помещения;

фиг. 6 - блок-схема одного из вариантов реализации способа отображения данных с видеокамеры.

Подробное описание технического решения

Данное техническое решение в различных своих вариантах осуществления может быть выполнено в виде способа, реализуемого на компьютере, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.

В некоторых вариантах реализации техническое решение может быть реализовано в виде распределенной компьютерной системы.

- 2 028632

В данном техническом решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, чётко определённую последовательность операций (действий, инструкций).

Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).

Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (ΗΌΌ), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (33Ό), оптические приводы.

Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании данного технического решения.

Калибровка камеры - это задача получения внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятым ею. Калибровка камеры часто используется на начальном этапе решения многих задач компьютерного зрения и в особенности дополненной реальности. Кроме того, калибровка камеры помогает исправлять дисторсию на фотографиях и видео.

Карта - план объекта видеонаблюдения, который доступен для просмотра оператором видеонаблюдения. На карте обычно указывается расположение видеокамер и других объектов. Обычно карта обладает некоторой интерактивностью - на ней отображается текущее состояние видеокамер, оператор может производить какие-либо действия.

Привязка видеоизображения к карте - автоматизированный процесс указания на карте области, наблюдаемой видеокамерой. Выбирается взаимное расположение изображения и карты, при котором контуры объектов совпадают.

В настоящем техническом решении предлагается способ отображения данных с видеокамеры включает в себя следующие шаги: получают видеоизображение по крайней мере с одной видеокамеры; определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге; задают на карте помещения графическое обозначение, обозначающее неподвижный объект; производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве, и происходит задание связей между ними; преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.

Это становится возможным благодаря реализации режима погружения на карте, повышающего интерактивность наблюдения. Он позволяет более наглядно представить передвижение объектов в реальном пространстве. В режиме погружения полупрозрачное видеоизображение отображается вместе с картой помещения, и неподвижные предметы в кадре (мебель, двери и др.) совмещаются со своими обозначениями на ней. Привязывается конкретная видеокамера к определенной карте помещения. Согласно предлагаемому техническому решению способ отображения данных с видеокамеры включает следующие шаги.

Получают видеоизображение по крайней мере с одной видеокамеры.

В некоторых вариантах реализации технического решения видеокамер может быть две и более; видеокамеры могут быть установлены в более чем одном помещении. При этом для каждой камеры может соответствовать своя карта помещения (то есть в каждом помещении установлена только одна видеокамера), либо несколько видеокамер установлено в одном помещении и используется карта этого помещения с возможностью переключаться между видеокамерами (см. фиг. 5).

Определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге.

В качестве объектов могут выступать различные предметы мебели, офисная и бытовая техника, а также двери, подоконники и прочие предметы, имеющие объемно-пространственную структуру.

В некоторых вариантах реализации технического решения местоположение неподвижных объектов в поле зрения видеокамеры могут определять при помощи видеоаналитики, встроенной видеосервер.

В некоторых вариантах реализации технического решения местоположение неподвижных объектов в поле зрения видеокамеры могут определять при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары

Задают на карте помещения графическое обозначение, обозначающее неподвижный объект.

В некоторых вариантах реализации технического решения в устройство хранения информации может быть заранее загружена карта помещения с отмеченными на ней объектами. В качестве условных

- 3 028632 обозначений на карте помещения могут быть отображены видеокамеры (см. фиг. 5), и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц и/или номеров автомобилей. Поле зрения видеокамеры может отображаться на карте помещения в виде области, отличной по цвету и/или прозрачности от остальной карты помещения, и/или ограниченной от остальной карты помещения (см. фиг. 5).

Производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве и происходит задание связей между ними.

Калибровка камеры - это задача получения внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятым ею. Как правило, для представления 20-координат точки на плоскости используется вектор-столбец вида [« ν 1] а для задания положения 3О-точки в мировых координатах - ¹ -¹

Нужно отметить, что эти выражения записаны в расширенной нотации однородных координат, которая является самой распространённой в робототехнике и задачах трансформации твёрдых тел. В частности, в модели камеры-обскуры матрица камеры используется для проецирования точек трёхмерного пространства на плоскость изображения

где Ζο - произвольный масштабный коэффициент

В предлагаемом техническом решении совпадение положения изображений предметов с их положением на карте помещения будет только для тех видеокамер, для которых выполнена привязка к карте помещения (калибровка).

Предлагается по входному набору соответствующих точек с изображения обзорной камеры и карты построить такие матрицы, которые позволят так откалибровать камеру, чтобы изображение с камеры можно было совместить с изображением объектов на карте.

Искомые матрицы называются матрицей переноса и матрицей поворота.

Матрица поворота имеет размерность [3x3], а матрица переноса размерность [3x1].

Для того чтобы можно было однозначно восстановить вышеуказанные матрицы необходимо передать минимум 4 пары соответствующих точек с карты и обзорной камеры, чем больше таких соответствий будет передано тем точнее будут восстановлены матрицы поворота и переноса и, соответственно, тем точнее будет изображение с обзорной камеры наложено на карту. Под парой соответствующих точек понимается одна точка с карты, координаты которой имеют размерность 3: (х; у; ζ), и соответствующая ей точка с обзорной камеры, координаты которой имеют размерность 2: (и; ν).

Минимально необходимо задать 4 пары точек привязки видео к карте. Указывается пара точек - одна на карте, другая на кадре видеоизображения. Обе точки должны указывать положение одного и того же предмета (например, угла комнаты). Всего надо задать четыре пары таких точек. На фиг. 1 показан пример выбора подобных точек на кадре видеоизображения и карте помещения.

Изображение в обзорной камере формируется из трехмерной сцены проекцией на изображение с камеры, используя перспективное преобразование (как на фиг. 2) или = Α [Κ\ί]Μ' (1)

	и		‘Л о с,-	Гц Г12 г 13 ί!
8	υ	—	0 Л е,	Г21 /'22 ί'23 Ъ
	.1.		0 0 1	. ί'31 Οί2 ^Γ33 Λϊ _

X

У

Ζ где (X; Υ; Ζ) - координаты в трехмерном пространстве, (и; ν) - соответствующие координаты на изображении, (2)

- 4 028632

матрица камеры или матрица внутренних параметров. Данная матрица может быть рассчитана алгоритмом автоматически или быть передана в качестве входной. В данной матрице Гх; Гу - фокальные расстояния камеры, сх; су - ее главная точка,

	Οί О₂ г₁₃		б
п =	Οί Г22 Оз	, т =	^2
	. Οι 02 Оз .

матрицы поворота и переноса, соответственно подлежащие восстановлению. При восстановлении матриц К и Т возникает РпР полная задача, которая в предложенном алгоритме решается с помощью метода Левенберга-Марквардта, сутью которого в применении к данному алгоритму является следующее: искать функцию отображения трехмерных точек с карты на двухмерные точки изображения, как функцию с минимальной ошибкой репроекции или, другими словами, функцию, для которой сумма квадратов расстояний от восстановленных до реальных точек наблюдения минимальна. Преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.

Одним из возможных вариантов использования данного технического решения является режим погружения.

На фиг. 3 изображен интерфейс объектов привязки, карта и видеоизображения, получаемые с видеокамер, установленных в различных точках наблюдения (один из возможных примеров реализации технического решения).

В режиме погружения можно перемещаться между камерами, выбирая любую камеру из текущей области видимости. Таким образом, переходить от одной камеры к другой можно, не выходя из режима погружения, что удобно, когда требуется проследить за передвижением какого-либо объекта.

В режиме погружения видеоизображение с выбранной видеокамеры отображается поверх изображения карты. При этом на основе заранее заданной привязки подбирается такой ракурс, при котором объекты наблюдения на видеоизображении и карте будут совпадать. На фиг. 4 изображен пример реализации режима погружения в работе. Оператор видит карту и наложенное на нее видео. Зачастую на реальных объектах видеонаблюдения изображение с видеокамер однотипное - это могут быть практически одинаковые помещения (например, коридоры офисного здания), одинаковое изображение периметра объекта и т.д. Если в области видимости какой-либо камеры происходит тревожная ситуация, оператору сложно определить, где именно эта камера находится. Если же камеры размещены на карте и есть возможность оперативно посмотреть видео с привязкой к местности, то задача определения реального положения видеокамеры заметно упрощается. Кроме того, оператор можно следить за тревожной ситуацией в режиме погружения, используя несколько камер. Пример: на одной из камер замечен движущийся человек. Оператор переходит в режим погружения по этой камере. Так как она привязана к карте, то оператор может примерно определить траекторию движения человека и определить, в поле зрения какой камеры он появится после выхода из поля зрения текущей камеры. Поэтому оператор может прямо в режиме погружения переключиться на эту камеру и продолжать наблюдение.

В режиме погружения видеоизображение с выбранной видеокамеры отображается поверх изображения карты. Если были созданы связи между видеоизображением и картой, то будет подобран такой ракурс, при котором объекты наблюдения на видеоизображении и карте будут совпадать.

Поле зрения видеокамеры может отображаться на карте помещения в виде области, отличной по цвету и/или прозрачности от остальной карты помещения, и/или ограниченной от остальной карты помещения. На фиг. 5 изображен один из примеров реализации подобного решения.

На фиг. 6 изображена блок-схема одного из вариантов реализации способа отображения данных с видеокамеры.

Специалисту в данной области, очевидно, что конкретные варианты реализации данного технического решения были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущности объема технического решения.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ

1. Способ отображения данных с видеокамеры, характеризующийся тем, что получают видеоизображение по крайней мере с одной установленной в помещении видеокамеры; определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге;

задают на карте помещения графическое обозначение, обозначающее неподвижный объект; производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве, и происходит задание связей между ними;

преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.
2. Способ по п.1, характеризующийся тем, что заданные в процессе калибровки связи между не менее четырьмя парами точек, характеризующих местоположение определенного объекта на карте помещения и на кадре полученного видеоизображения, можно редактировать и/или удалять.
3. Способ по п.1, характеризующийся тем, что местоположение неподвижных объектов в поле зрения видеокамеры может определяться при помощи видеоаналитики, встроенной в видеосервер.
4. Способ по п.1, характеризующийся тем, что местоположение неподвижных объектов в поле зрения видеокамеры могут определять при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.
5. Способ по п.1, характеризующийся тем, что местоположение неподвижных объектов в поле зрения видеокамеры могут визуализировать для пользователя путем отображения видеоданных поверх карты помещения на экране монитора.
6. Способ по п.1, характеризующийся тем, что карта помещения может быть двухмерной.
7. Способ по п.1, характеризующийся тем, что карта помещения может быть трехмерной.
8. Способ по п.7, характеризующийся тем, что для трехмерной карты помещения возможно изменение наклона плоскости карты.
9. Способ по п.7, характеризующийся тем, что для карты помещения возможно автоматическое и ручное масштабирование, смещение.
10. Способ по п.7, характеризующийся тем, что возможно изменение прозрачности изображения на карте помещения.
11. Способ по п.1, характеризующийся тем, что в качестве условных обозначений на карте помещения могут быть отображены видеокамеры, и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц и/или номеров автомобилей.
12. Способ по п.1, характеризующийся тем, что поле зрения видеокамеры может отображаться на карте помещения в виде области, отличной по цвету и/или прозрачности от остальной карты помещения и/или ограниченной от остальной карты помещения.
13. Система отображения данных с видеокамеры на карте, содержащая по крайней мере один блок получения данных от видеокамер;

по крайней мере одно устройство обработки команд; по крайней мере одно устройство хранения данных;

одну или более компьютерных программ, загружаемых по крайней мере в одно вышеупомянутое устройство хранения данных и выполняемых по крайней мере на одном вышеупомянутом устройстве обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа отображения данных с видеокамеры на карте по любому из пп.1-12.
14. Машиночитаемый носитель данных, содержащий исполняемые одним или более процессором машиночитаемые инструкции, которые при их исполнении реализуют выполнение способа отображения данных с видеокамеры на карте по любому из пп.1-12.