EA028632B1 - Method and system of displaying data from video camera - Google Patents
Method and system of displaying data from video camera Download PDFInfo
- Publication number
- EA028632B1 EA028632B1 EA201500497A EA201500497A EA028632B1 EA 028632 B1 EA028632 B1 EA 028632B1 EA 201500497 A EA201500497 A EA 201500497A EA 201500497 A EA201500497 A EA 201500497A EA 028632 B1 EA028632 B1 EA 028632B1
- Authority
- EA
- Eurasian Patent Office
- Prior art keywords
- video
- map
- room
- video camera
- location
- Prior art date
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
Техническое решение относится к системам видеонаблюдения и к компьютерным системам, в частности к обработке графической и иной видеоинформации для отображения в компьютерных системах.The technical solution relates to video surveillance systems and computer systems, in particular to the processing of graphic and other video information for display in computer systems.
Уровень техникиState of the art
Самая главная причина использования систем видеонаблюдения - это стремление повысить уровень безопасности людей и защищенности объектов частной собственности. Применение камер позволило достигнуть большого успеха в обеспечении безопасности: даже сам факт присутствия камер видеонаблюдения на объекте может отпугнуть преступника. Но если преступление все же имело место быть, то имеющиеся записи с камер помогут оказать помощь в поимке и опознании злоумышленника. Желание защитить частную собственность и свою семью требует применения самых современных систем безопасности.The main reason for using video surveillance systems is the desire to increase the level of people's safety and the security of private property. The use of cameras made it possible to achieve great success in ensuring security: even the very fact of the presence of video surveillance cameras at the facility can scare away the criminal. But if the crime still took place, then the available camera recordings will help to assist in the capture and identification of the attacker. The desire to protect private property and your family requires the use of state-of-the-art security systems.
Но обеспечение безопасности не единственная область применения систем видеонаблюдения. Большая и малая промышленность все больше нуждается в надежных и автоматизированных средствах контроля и управления технологическими процессами. При помощи системы видеонаблюдения становится возможным контролировать и управлять многими технологическими и производственными процессами, особенно теми, где нет прямого контроля человеком.But security is not the only field of application for video surveillance systems. Big and small industries are increasingly in need of reliable and automated means of control and process control. Using a video surveillance system, it becomes possible to control and manage many technological and industrial processes, especially those where there is no direct control by a person.
Системы видеонаблюдения все больше используются в различных отраслях. Они применяются больницами для постоянного наблюдения за тяжелобольными пациентами, образовательными учреждениями для контроля студентов и учеников, магазинами для наблюдения за покупателями и пресечения попыток краж, муниципальными властями и УВД для наблюдения в общественных местах, в транспорте, местах отдыха и развлечений, банковскими структурами и т.д.Video surveillance systems are increasingly used in various industries. They are used by hospitals for constant monitoring of seriously ill patients, educational institutions for monitoring students and pupils, shops for monitoring customers and preventing theft, municipal authorities and air traffic control for monitoring in public places, in transport, places of recreation and entertainment, banking institutions, etc. .d.
Одной из главных задач современных систем видеонаблюдения становится решение проблемы, заключающейся в том, что в огромном потоке видеоданных очень сложно отследить информацию, которая является непосредственно важной для пользователя такой системы (информация о перемещении людей на охраняемой территории, изменении местоположения неодушевленных объектов на охраняемой территории и т.д.).One of the main tasks of modern video surveillance systems is solving the problem of the fact that in a huge stream of video data it is very difficult to track information that is directly important for the user of such a system (information about the movement of people in a protected area, the location of inanimate objects in a protected area and etc.).
Известно изобретение КИ 2012101736, Способ и система видеолокации, ЗАО ИНТЕГРА-С (КИ), опубликовано 27.07.2013. В данном изобретении описаны способ и система видеолокации, которые могут быть использованы для охраны помещений, автомобилей и других объектов. Способ видеолокации, содержащий получение видеоизображения при помощи по меньшей мере одной поворотной видеокамеры, запись его на компьютер, имеющий манипулятор типа мышь и воспроизведение на мониторе, отличающийся тем, что в памяти компьютера внесено изображение охраняемого объекта в формате 3Ό, с координатами всех элементов охраняемого объекта, также в памяти компьютера занесены координаты поворотной видеокамеры, а изображение, полученное с поворотной видеокамеры, накладывается на изображение в формате 3Ό, при этом оператор устанавливает курсор манипулятора на любую точку охраняемого объекта, а компьютер выдает команду на поворот оси поворотной видеокамеры на эту точку. При использовании данного изобретения не предполагается корректное отображение видеоизображения объектов на карте помещения.Known invention KI 2012101736, the Method and system of video location, ZAO INTEGRA-S (KI), published 07/27/2013. The present invention describes a video location method and system that can be used to protect premises, cars and other objects. A video location method comprising obtaining a video image using at least one PTZ camera, recording it to a computer having a mouse type mouse and playing it on a monitor, characterized in that the image of the protected object in 3Ό format is entered in the computer’s memory with the coordinates of all elements of the protected object , the coordinates of the PTZ camera are also recorded in the computer’s memory, and the image obtained from the PTZ camera is superimposed on the image in the 3Ό format, while the operator set moves the manipulator cursor to any point of the protected object, and the computer gives a command to rotate the axis of the PTZ camera to this point. When using the present invention, it is not intended to correctly display a video image of objects on a room map.
Сущность технического решенияThe essence of the technical solution
Данное техническое решение направлено на устранение недостатков, присущих существующим изобретениям.This technical solution is aimed at eliminating the disadvantages inherent in existing inventions.
Технический результат от данного технического решения заключается в улучшении наглядности видеоинформации для оператора безопасности, что повышает скорость реагирования оператора видеонаблюдения на ситуации, возникающие в процессе видеонаблюдения с объектами видеонаблюдения.The technical result of this technical solution is to improve the visibility of the video information for the security operator, which increases the response speed of the CCTV operator to situations that arise during video surveillance with video surveillance objects.
Данный технический результат достигается за счет того, что одновременно отображаются видеоизображение с видеокамеры и карта помещения с привязкой видеоизображения к определенным неподвижным объектам наблюдения в поле зрения видеокамеры на одном или более устройствах отображения информации и отображении поля зрения видеокамеры на карте помещения.This technical result is achieved due to the fact that at the same time the video image from the video camera and the room map are displayed with the video image tied to certain fixed objects of observation in the field of view of the camera on one or more information display devices and the field of view of the video camera on the room map.
Способ отображения данных с видеокамеры включает в себя следующие шаги: получают видеоизображение по крайней мере с одной видеокамеры; определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге; задают на карте помещения графическое обозначение, обозначающее неподвижный объект; производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве, и происходит задание связей между ними; преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.The method of displaying data from a video camera includes the following steps: receive a video image from at least one video camera; determining at least one fixed object and its location on the frame of the video image obtained in the previous step; set on the room map a graphic designation denoting a fixed object; calibrate at least one of the aforementioned video cameras, during which at least four pairs of points on the aforementioned map and a frame of the resulting video image characterizing the location of the above object in space are determined, and the relationships between them are set; they transform the location of a specific object from the frame coordinate system to the room map coordinate system using the relationships specified in the previous step, and combine the resulting image from the video camera with a graphic designation marking a fixed object on the room map.
Заданные в процессе калибровки связи между не менее четырьмя парами точек, характеризующих местоположение определенного объекта на карте помещения и на кадре полученного видеоизображения, можно редактировать и/или удалять.The connection between at least four pairs of points that characterize the location of a particular object on the room map and on the frame of the received video image specified during calibration can be edited and / or deleted.
Местоположение неподвижных объектов в поле зрения видеокамеры может определяться при по- 1 028632 мощи видеоаналитики, встроенной в видеосервер.The location of stationary objects in the field of view of a video camera can be determined using the power of video analytics built into a video server.
Местоположение неподвижных объектов в поле зрения видеокамеры могут определять при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.The location of stationary objects in the field of view of a video camera can be determined using sensors that fix various parts of the spectrum, such as visible, thermal, and / or sensors that are different in principle from a video camera, such as radars.
Местоположение неподвижных объектов в поле зрения видеокамеры, могут визуализировать для пользователя путем отображения видеоданных поверх карты помещения на экране монитора.The location of stationary objects in the field of view of the video camera can be visualized for the user by displaying video data on top of the room map on the monitor screen.
Для трехмерной карты помещения возможно изменение наклона плоскости карты.For a three-dimensional room map, it is possible to change the inclination of the map plane.
Для карты помещения возможно автоматическое и ручное масштабирование, смещение.For a room map, automatic and manual scaling, offset are possible.
Возможно изменение прозрачности изображения на карте помещения.It is possible to change the transparency of the image on the room map.
В качестве условных обозначений на карте помещения могут быть отображены видеокамеры, и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц и/или номеров автомобилей.As symbols on the room map, cameras, and / or relays, and / or devices of access control and / or access control systems, and / or fire and security alarm devices, and / or recognition sites for faces and / or car numbers can be displayed.
Поле зрения видеокамеры может отображаться на карте помещения в виде области, отличной по цвету и/или прозрачности от остальной карты помещения и/или ограниченной от остальной карты помещения.The field of view of the video camera can be displayed on the room map in the form of an area different in color and / or transparency from the rest of the room map and / or limited from the rest of the room map.
Данное техническое решение может быть выполнено в виде системы отображения данных с видеокамеры, включающей: одно или более устройство обработки команд, одно или более устройство хранения данных, одну или более программ, где одна или более программ хранятся на одном или более устройстве хранения данных и исполняются на одном и более процессоре, причем одна или более программ включает следующие инструкции: получают видеоизображение по крайней мере с одной видеокамеры; определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге; задают на карте помещения графическое обозначение, обозначающее неподвижный объект; производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве и происходит задание связей между ними; преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.This technical solution can be made in the form of a video camera data display system, including: one or more command processing devices, one or more data storage devices, one or more programs, where one or more programs are stored on one or more data storage devices and executed on one or more processors, and one or more programs includes the following instructions: receive a video image from at least one video camera; determining at least one fixed object and its location on the frame of the video image obtained in the previous step; set on the room map a graphic designation denoting a fixed object; calibrate at least one of the aforementioned video cameras, during which at least four pairs of points are determined on the aforementioned map and the frame of the resulting video image characterizing the location of the above object in space and the connections between them are set; they transform the location of a specific object from the frame coordinate system to the room map coordinate system using the relationships specified in the previous step, and combine the resulting image from the video camera with a graphic designation marking a fixed object on the room map.
Заданные в процессе калибровки связи между не менее четырьмя парами точек, характеризующих местоположение определенного объекта на карте помещения и на кадре полученного видеоизображения, можно редактировать и/или удалять.The connection between at least four pairs of points that characterize the location of a particular object on the room map and on the frame of the received video image specified during calibration can be edited and / or deleted.
Местоположение неподвижных объектов в поле зрения видеокамеры может определяться при помощи видеоаналитики, встроенной в видеосервер.The location of stationary objects in the field of view of a video camera can be determined using video analytics built into the video server.
Местоположение неподвижных объектов в поле зрения видеокамеры могут определять при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.The location of stationary objects in the field of view of a video camera can be determined using sensors that fix various parts of the spectrum, such as visible, thermal, and / or sensors that are different in principle from a video camera, such as radars.
Местоположение неподвижных объектов в поле зрения видеокамеры могут визуализировать для пользователя путем отображения видеоданных поверх карты помещения на экране монитора.The location of fixed objects in the field of view of the video camera can be visualized for the user by displaying video data on top of the room map on the monitor screen.
Для трехмерной карты помещения возможно изменение наклона плоскости карты.For a three-dimensional room map, it is possible to change the inclination of the map plane.
Для карты помещения возможно автоматическое и ручное масштабирование, смещение.For a room map, automatic and manual scaling, offset are possible.
Возможно изменение прозрачности изображения на карте помещения.It is possible to change the transparency of the image on the room map.
В качестве условных обозначений на карте помещения могут быть отображены видеокамеры, и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц и/или номеров автомобилей.As symbols on the room map, cameras, and / or relays, and / or devices of access control and / or access control systems, and / or fire and security alarm devices, and / or recognition sites for faces and / or car numbers can be displayed.
Поле зрения видеокамеры может отображаться на карте помещения в виде области, отличной по цвету и/или прозрачности от остальной карты помещения и/или ограниченной от остальной карты помещения.The field of view of the video camera can be displayed on the room map in the form of an area different in color and / or transparency from the rest of the room map and / or limited from the rest of the room map.
Краткое описание чертежейBrief Description of the Drawings
Фиг. 1 - выбор точек на кадре видеоизображения и карте помещения, характеризующих местоположение объекта в пространстве;FIG. 1 - selection of points on the video frame and the room map characterizing the location of the object in space;
фиг. 2 - пример использования перспективного преобразования;FIG. 2 - an example of the use of perspective transformation;
фиг. 3 - интерфейс объектов привязки, карта и видеоизображения, получаемые с видеокамер;FIG. 3 - interface of the binding objects, map and video images received from video cameras;
фиг. 4 - пример реализации режима погружения в работе;FIG. 4 - an example of the implementation of the immersion mode;
фиг. 5 - пример отображения поля зрения видеокамеры на карте помещения;FIG. 5 is an example of displaying a camera’s field of view on a room map;
фиг. 6 - блок-схема одного из вариантов реализации способа отображения данных с видеокамеры.FIG. 6 is a flowchart of one embodiment of a method for displaying data from a video camera.
Подробное описание технического решенияDetailed description of the technical solution
Данное техническое решение в различных своих вариантах осуществления может быть выполнено в виде способа, реализуемого на компьютере, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.This technical solution in its various embodiments can be made in the form of a method implemented on a computer, in the form of a system or computer-readable medium containing instructions for performing the aforementioned method.
В некоторых вариантах реализации техническое решение может быть реализовано в виде распределенной компьютерной системы.In some embodiments, the technical solution may be implemented as a distributed computer system.
- 2 028632- 2 028632
В данном техническом решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, чётко определённую последовательность операций (действий, инструкций).In this technical solution, a system means a computer system, a computer (electronic computer), CNC (numerical control), PLC (programmable logic controller), computerized control systems and any other devices that can perform a given, well-defined sequence of operations (actions instructions).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).By a command processing device is meant an electronic unit or an integrated circuit (microprocessor) that executes machine instructions (programs).
Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (ΗΌΌ), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (33Ό), оптические приводы.The command processing device reads and executes machine instructions (programs) from one or more data storage devices. Hard drives (ΗΌΌ), flash memory, ROM (read-only memory), solid state drives (33Ό), optical drives can act as storage devices.
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.A program is a sequence of instructions intended for execution by a control device of a computer or a device for processing commands.
Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании данного технического решения.Below we will consider some terms that will be used later in the description of this technical solution.
Калибровка камеры - это задача получения внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятым ею. Калибровка камеры часто используется на начальном этапе решения многих задач компьютерного зрения и в особенности дополненной реальности. Кроме того, калибровка камеры помогает исправлять дисторсию на фотографиях и видео.Camera calibration is the task of obtaining the internal and external parameters of the camera from the available photos or videos captured by it. Camera calibration is often used at the initial stage of solving many tasks of computer vision and especially augmented reality. In addition, camera calibration helps correct distortion in photos and videos.
Карта - план объекта видеонаблюдения, который доступен для просмотра оператором видеонаблюдения. На карте обычно указывается расположение видеокамер и других объектов. Обычно карта обладает некоторой интерактивностью - на ней отображается текущее состояние видеокамер, оператор может производить какие-либо действия.Map - a plan of a video surveillance object that is available for viewing by a video surveillance operator. The map usually indicates the location of cameras and other objects. Usually the card has some interactivity - it displays the current status of the cameras, the operator can perform any action.
Привязка видеоизображения к карте - автоматизированный процесс указания на карте области, наблюдаемой видеокамерой. Выбирается взаимное расположение изображения и карты, при котором контуры объектов совпадают.Binding a video image to a map is an automated process of indicating on a map the area observed by a video camera. The relative position of the image and the map is selected, in which the contours of the objects coincide.
В настоящем техническом решении предлагается способ отображения данных с видеокамеры включает в себя следующие шаги: получают видеоизображение по крайней мере с одной видеокамеры; определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге; задают на карте помещения графическое обозначение, обозначающее неподвижный объект; производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве, и происходит задание связей между ними; преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.The present technical solution proposes a method for displaying data from a video camera, which includes the following steps: receive a video image from at least one video camera; determining at least one fixed object and its location on the frame of the video image obtained in the previous step; set on the room map a graphic designation denoting a fixed object; calibrate at least one of the aforementioned video cameras, during which at least four pairs of points on the aforementioned map and a frame of the resulting video image characterizing the location of the above object in space are determined, and the relationships between them are set; they transform the location of a specific object from the frame coordinate system to the room map coordinate system using the relationships specified in the previous step, and combine the resulting image from the video camera with a graphic designation marking a fixed object on the room map.
Это становится возможным благодаря реализации режима погружения на карте, повышающего интерактивность наблюдения. Он позволяет более наглядно представить передвижение объектов в реальном пространстве. В режиме погружения полупрозрачное видеоизображение отображается вместе с картой помещения, и неподвижные предметы в кадре (мебель, двери и др.) совмещаются со своими обозначениями на ней. Привязывается конкретная видеокамера к определенной карте помещения. Согласно предлагаемому техническому решению способ отображения данных с видеокамеры включает следующие шаги.This is made possible thanks to the implementation of the immersion mode on the map, which increases the interactivity of observation. It allows you to more clearly imagine the movement of objects in real space. In immersion mode, a translucent video image is displayed along with the room map, and stationary objects in the frame (furniture, doors, etc.) are combined with their designations on it. A specific video camera is tied to a specific room map. According to the proposed technical solution, the method of displaying data from a video camera includes the following steps.
Получают видеоизображение по крайней мере с одной видеокамеры.Receive video from at least one camcorder.
В некоторых вариантах реализации технического решения видеокамер может быть две и более; видеокамеры могут быть установлены в более чем одном помещении. При этом для каждой камеры может соответствовать своя карта помещения (то есть в каждом помещении установлена только одна видеокамера), либо несколько видеокамер установлено в одном помещении и используется карта этого помещения с возможностью переключаться между видеокамерами (см. фиг. 5).In some embodiments of the technical solution of video cameras, there may be two or more; camcorders can be installed in more than one room. At the same time, each camera can have its own room map (that is, only one video camera is installed in each room), or several video cameras are installed in the same room and a map of this room is used with the ability to switch between video cameras (see Fig. 5).
Определяют по крайней мере один неподвижный объект и его местоположение на кадре видеоизображения, полученного на предыдущем шаге.At least one fixed object and its location on the frame of the video image obtained in the previous step are determined.
В качестве объектов могут выступать различные предметы мебели, офисная и бытовая техника, а также двери, подоконники и прочие предметы, имеющие объемно-пространственную структуру.Various objects of furniture, office and household appliances, as well as doors, window sills and other objects having a three-dimensional structure can act as objects.
В некоторых вариантах реализации технического решения местоположение неподвижных объектов в поле зрения видеокамеры могут определять при помощи видеоаналитики, встроенной видеосервер.In some embodiments of the technical solution, the location of stationary objects in the field of view of the video camera can be determined using video analytics, an integrated video server.
В некоторых вариантах реализации технического решения местоположение неподвижных объектов в поле зрения видеокамеры могут определять при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радарыIn some embodiments of the technical solution, the location of stationary objects in the field of view of the video camera can be determined using sensors that fix various parts of the spectrum, such as visible, thermal, and / or sensors, different in principle from a video camera, such as radars
Задают на карте помещения графическое обозначение, обозначающее неподвижный объект.On the room map, a graphic designation denotes a fixed object.
В некоторых вариантах реализации технического решения в устройство хранения информации может быть заранее загружена карта помещения с отмеченными на ней объектами. В качестве условныхIn some embodiments of the technical solution, a room map with objects marked on it may be preloaded into the information storage device. As conditional
- 3 028632 обозначений на карте помещения могут быть отображены видеокамеры (см. фиг. 5), и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц и/или номеров автомобилей. Поле зрения видеокамеры может отображаться на карте помещения в виде области, отличной по цвету и/или прозрачности от остальной карты помещения, и/или ограниченной от остальной карты помещения (см. фиг. 5).- 3,028,632 symbols on the room map can be displayed video cameras (see Fig. 5), and / or relays, and / or devices for access control and / or control systems, and / or fire and security alarm devices, and / or recognition posts persons and / or car numbers. The field of view of the video camera can be displayed on the room map in the form of an area different in color and / or transparency from the rest of the room map, and / or limited from the rest of the room map (see Fig. 5).
Производят калибровку по крайней мере одной вышеуказанной видеокамеры, в процессе которой определяют не менее четырех пар точек на вышеупомянутых карте и кадре полученного видеоизображения, характеризующих местоположение вышеуказанного объекта в пространстве и происходит задание связей между ними.At least one of the aforementioned video cameras is calibrated, during which at least four pairs of points are determined on the aforementioned map and the frame of the obtained video image characterizing the location of the above object in space and the connections between them are set.
Калибровка камеры - это задача получения внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятым ею. Как правило, для представления 20-координат точки на плоскости используется вектор-столбец вида [« ν 1] а для задания положения 3О-точки в мировых координатах - 1 -1 Camera calibration is the task of obtaining the internal and external parameters of the camera from the available photos or videos captured by it. As a rule, to represent the 20-coordinates of a point on a plane, a column vector of the form ["ν 1] is used, and to set the position of a 3О-point in world coordinates - 1 - 1
Нужно отметить, что эти выражения записаны в расширенной нотации однородных координат, которая является самой распространённой в робототехнике и задачах трансформации твёрдых тел. В частности, в модели камеры-обскуры матрица камеры используется для проецирования точек трёхмерного пространства на плоскость изображенияIt should be noted that these expressions are written in an extended notation of homogeneous coordinates, which is the most common in robotics and the problems of transformation of solids. In particular, in the pinhole camera model, the camera matrix is used to project points of three-dimensional space onto the image plane
где Ζο - произвольный масштабный коэффициентwhere Ζο is an arbitrary scale factor
В предлагаемом техническом решении совпадение положения изображений предметов с их положением на карте помещения будет только для тех видеокамер, для которых выполнена привязка к карте помещения (калибровка).In the proposed technical solution, the coincidence of the position of the images of objects with their position on the room map will be only for those cameras for which a reference has been made to the room map (calibration).
Предлагается по входному набору соответствующих точек с изображения обзорной камеры и карты построить такие матрицы, которые позволят так откалибровать камеру, чтобы изображение с камеры можно было совместить с изображением объектов на карте.It is proposed to construct matrices based on the input set of corresponding points from the image of the survey camera and map that will allow the camera to be calibrated so that the image from the camera can be combined with the image of objects on the map.
Искомые матрицы называются матрицей переноса и матрицей поворота.The required matrices are called the transfer matrix and the rotation matrix.
Матрица поворота имеет размерность [3x3], а матрица переноса размерность [3x1].The rotation matrix has the dimension [3x3], and the transfer matrix the dimension [3x1].
Для того чтобы можно было однозначно восстановить вышеуказанные матрицы необходимо передать минимум 4 пары соответствующих точек с карты и обзорной камеры, чем больше таких соответствий будет передано тем точнее будут восстановлены матрицы поворота и переноса и, соответственно, тем точнее будет изображение с обзорной камеры наложено на карту. Под парой соответствующих точек понимается одна точка с карты, координаты которой имеют размерность 3: (х; у; ζ), и соответствующая ей точка с обзорной камеры, координаты которой имеют размерность 2: (и; ν).In order to be able to unambiguously restore the above matrices, it is necessary to transfer at least 4 pairs of corresponding points from the map and the overview camera, the more such correspondences will be transmitted, the more accurately the rotation and transfer matrices will be restored and, accordingly, the more accurately the image from the overview camera will be superimposed on the map . By a pair of corresponding points we mean one point from the map whose coordinates are of dimension 3: (x; y; ζ), and the corresponding point from the survey camera, whose coordinates are of dimension 2: (u; ν).
Минимально необходимо задать 4 пары точек привязки видео к карте. Указывается пара точек - одна на карте, другая на кадре видеоизображения. Обе точки должны указывать положение одного и того же предмета (например, угла комнаты). Всего надо задать четыре пары таких точек. На фиг. 1 показан пример выбора подобных точек на кадре видеоизображения и карте помещения.As a minimum, you need to set 4 pairs of video attachment points to the map. A pair of points is indicated - one on the map, the other on the video frame. Both points must indicate the position of the same object (for example, the corner of a room). In total, four pairs of such points must be specified. In FIG. Figure 1 shows an example of the selection of such points on a video frame and a room map.
Изображение в обзорной камере формируется из трехмерной сцены проекцией на изображение с камеры, используя перспективное преобразование (как на фиг. 2) или = Α [Κ\ί]Μ' (1)The image in the survey camera is formed from a three-dimensional scene by projection onto the image from the camera using a perspective transformation (as in Fig. 2) or = Α [Κ \ ί] Μ '(1)
XX
УAt
Ζ где (X; Υ; Ζ) - координаты в трехмерном пространстве, (и; ν) - соответствующие координаты на изображении, (2)Ζ where (X; Υ; Ζ) are the coordinates in three-dimensional space, (and; ν) are the corresponding coordinates in the image, (2)
- 4 028632- 4,028,632
матрица камеры или матрица внутренних параметров. Данная матрица может быть рассчитана алгоритмом автоматически или быть передана в качестве входной. В данной матрице Гх; Гу - фокальные расстояния камеры, сх; су - ее главная точка,camera matrix or matrix of internal parameters. This matrix can be calculated automatically by the algorithm or transmitted as input. In this matrix Gx; Gu are the focal distances of the camera, cx; su is her main point
матрицы поворота и переноса, соответственно подлежащие восстановлению. При восстановлении матриц К и Т возникает РпР полная задача, которая в предложенном алгоритме решается с помощью метода Левенберга-Марквардта, сутью которого в применении к данному алгоритму является следующее: искать функцию отображения трехмерных точек с карты на двухмерные точки изображения, как функцию с минимальной ошибкой репроекции или, другими словами, функцию, для которой сумма квадратов расстояний от восстановленных до реальных точек наблюдения минимальна. Преобразуют местоположение определенного объекта из системы координат кадра в систему координат карты помещения, используя связи, заданные на предыдущем шаге, и совмещают изображение с видеокамеры с графическим обозначением, отмечающим неподвижный объект на карте помещения.rotation and transfer matrices, respectively, to be restored. When the matrices K and T are restored, the RPP arises a complete problem, which in the proposed algorithm is solved using the Levenberg-Marquardt method, the essence of which as applied to this algorithm is as follows: look for a function to display three-dimensional points from a map onto two-dimensional image points, as a function with minimal error reprojections or, in other words, a function for which the sum of the squares of the distances from the reconstructed to the actual observation points is minimal. They transform the location of a specific object from the frame coordinate system to the room map coordinate system using the connections specified in the previous step and combine the image from the video camera with a graphic designation marking a fixed object on the room map.
Одним из возможных вариантов использования данного технического решения является режим погружения.One of the possible uses of this technical solution is the dive mode.
На фиг. 3 изображен интерфейс объектов привязки, карта и видеоизображения, получаемые с видеокамер, установленных в различных точках наблюдения (один из возможных примеров реализации технического решения).In FIG. 3 shows the interface of the binding objects, a map and video images obtained from video cameras installed at various observation points (one of the possible examples of the implementation of the technical solution).
В режиме погружения можно перемещаться между камерами, выбирая любую камеру из текущей области видимости. Таким образом, переходить от одной камеры к другой можно, не выходя из режима погружения, что удобно, когда требуется проследить за передвижением какого-либо объекта.In immersion mode, you can move between cameras, choosing any camera from the current field of view. Thus, you can switch from one camera to another without leaving the immersion mode, which is convenient when you need to track the movement of an object.
В режиме погружения видеоизображение с выбранной видеокамеры отображается поверх изображения карты. При этом на основе заранее заданной привязки подбирается такой ракурс, при котором объекты наблюдения на видеоизображении и карте будут совпадать. На фиг. 4 изображен пример реализации режима погружения в работе. Оператор видит карту и наложенное на нее видео. Зачастую на реальных объектах видеонаблюдения изображение с видеокамер однотипное - это могут быть практически одинаковые помещения (например, коридоры офисного здания), одинаковое изображение периметра объекта и т.д. Если в области видимости какой-либо камеры происходит тревожная ситуация, оператору сложно определить, где именно эта камера находится. Если же камеры размещены на карте и есть возможность оперативно посмотреть видео с привязкой к местности, то задача определения реального положения видеокамеры заметно упрощается. Кроме того, оператор можно следить за тревожной ситуацией в режиме погружения, используя несколько камер. Пример: на одной из камер замечен движущийся человек. Оператор переходит в режим погружения по этой камере. Так как она привязана к карте, то оператор может примерно определить траекторию движения человека и определить, в поле зрения какой камеры он появится после выхода из поля зрения текущей камеры. Поэтому оператор может прямо в режиме погружения переключиться на эту камеру и продолжать наблюдение.In immersion mode, video from the selected camcorder is displayed on top of the map image. At the same time, on the basis of a predetermined reference, a view is selected in which the objects of observation in the video image and the map coincide. In FIG. 4 shows an example of the implementation of the immersion mode in operation. The operator sees the card and the video superimposed on it. Often, on real objects of video surveillance, the image from the cameras is the same type - it can be almost the same rooms (for example, corridors of an office building), the same image of the perimeter of the object, etc. If an alarming situation occurs in the field of view of any camera, it is difficult for the operator to determine where exactly this camera is located. If the cameras are placed on the map and it is possible to quickly see the video with reference to the terrain, then the task of determining the real position of the video camera is greatly simplified. In addition, the operator can monitor the alarm situation in the dive mode using several cameras. Example: on one of the cameras a moving person is seen. The operator enters diving mode on this camera. Since it is tied to a map, the operator can approximately determine the trajectory of a person’s movement and determine which camera will appear in the field of view after leaving the field of view of the current camera. Therefore, the operator can directly switch to this camera in diving mode and continue monitoring.
В режиме погружения видеоизображение с выбранной видеокамеры отображается поверх изображения карты. Если были созданы связи между видеоизображением и картой, то будет подобран такой ракурс, при котором объекты наблюдения на видеоизображении и карте будут совпадать.In immersion mode, video from the selected camcorder is displayed on top of the map image. If the connections between the video image and the map were created, then the angle will be selected in which the objects of observation in the video image and the map will coincide.
Поле зрения видеокамеры может отображаться на карте помещения в виде области, отличной по цвету и/или прозрачности от остальной карты помещения, и/или ограниченной от остальной карты помещения. На фиг. 5 изображен один из примеров реализации подобного решения.The field of view of the video camera can be displayed on the room map in the form of an area that is different in color and / or transparency from the rest of the room map, and / or limited from the rest of the room map. In FIG. 5 depicts one example of the implementation of such a solution.
На фиг. 6 изображена блок-схема одного из вариантов реализации способа отображения данных с видеокамеры.In FIG. 6 shows a flowchart of one embodiment of a method for displaying data from a video camera.
Специалисту в данной области, очевидно, что конкретные варианты реализации данного технического решения были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущности объема технического решения.To a person skilled in the art, it is obvious that specific embodiments of this technical solution have been described here for purposes of illustration, various modifications are permissible without departing from the scope and essence of the technical solution.
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EA201500497A EA028632B1 (en) | 2015-06-04 | 2015-06-04 | Method and system of displaying data from video camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EA201500497A EA028632B1 (en) | 2015-06-04 | 2015-06-04 | Method and system of displaying data from video camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EA201500497A1 EA201500497A1 (en) | 2016-12-30 |
| EA028632B1 true EA028632B1 (en) | 2017-12-29 |
Family
ID=57672147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EA201500497A EA028632B1 (en) | 2015-06-04 | 2015-06-04 | Method and system of displaying data from video camera |
Country Status (1)
| Country | Link |
|---|---|
| EA (1) | EA028632B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2701985C1 (en) * | 2018-12-06 | 2019-10-02 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | System and method of searching objects on trajectories of motion on plan of area |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
| US20080211910A1 (en) * | 2006-07-18 | 2008-09-04 | Wolfgang Niem | Surveillance Camera, Method For Calibrating the Surveillance Camera, and Use of the Surveillance Camera |
| US20110153198A1 (en) * | 2009-12-21 | 2011-06-23 | Navisus LLC | Method for the display of navigation instructions using an augmented-reality concept |
| RU131210U1 (en) * | 2012-08-21 | 2013-08-10 | Общество с ограниченной ответственностью "Ай-кэмп инжиниринг" | SYSTEM OF ENGINEERING EQUIPMENT OF BUILDINGS, MONITORING AND MANAGEMENT |
| US20140092013A1 (en) * | 2000-07-24 | 2014-04-03 | Qualcomm Incorporated | Video-based image control system |
-
2015
- 2015-06-04 EA EA201500497A patent/EA028632B1/en active IP Right Revival
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140092013A1 (en) * | 2000-07-24 | 2014-04-03 | Qualcomm Incorporated | Video-based image control system |
| US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
| US20080211910A1 (en) * | 2006-07-18 | 2008-09-04 | Wolfgang Niem | Surveillance Camera, Method For Calibrating the Surveillance Camera, and Use of the Surveillance Camera |
| US20110153198A1 (en) * | 2009-12-21 | 2011-06-23 | Navisus LLC | Method for the display of navigation instructions using an augmented-reality concept |
| RU131210U1 (en) * | 2012-08-21 | 2013-08-10 | Общество с ограниченной ответственностью "Ай-кэмп инжиниринг" | SYSTEM OF ENGINEERING EQUIPMENT OF BUILDINGS, MONITORING AND MANAGEMENT |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2701985C1 (en) * | 2018-12-06 | 2019-10-02 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | System and method of searching objects on trajectories of motion on plan of area |
Also Published As
| Publication number | Publication date |
|---|---|
| EA201500497A1 (en) | 2016-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2495970B1 (en) | Display image switching device and display method | |
| EP3024227B1 (en) | Image processing apparatus and image processing method | |
| CN106664349B (en) | System for automatically defining user experience or system behavior related to scene image content | |
| JP3989523B2 (en) | Automatic photographing method and apparatus | |
| JP6055823B2 (en) | Surveillance camera control device and video surveillance system | |
| US10482659B2 (en) | System and method for superimposing spatially correlated data over live real-world images | |
| KR101871764B1 (en) | Industrial infrastructure management platform building system based on virtual reality | |
| WO2016013298A1 (en) | Image processing apparatus, monitor system, image processing method, and program | |
| US9934585B2 (en) | Apparatus and method for registering images | |
| US11765312B2 (en) | Image processing apparatus, image processing apparatus control method, and non-transitory computer-readable storage medium | |
| US20150304568A1 (en) | Field display system, field display method, and field display program | |
| WO2014182898A1 (en) | User interface for effective video surveillance | |
| JP6512793B2 (en) | Imaging device, surveillance camera system, control method and program for imaging device | |
| CN110765999A (en) | Temperature measurement processing method and device and thermal imaging equipment | |
| CN111429194B (en) | User track determination system, method, device and server | |
| CN110244923B (en) | Image display method and device | |
| JP2006086714A (en) | Supervisory camera apparatus | |
| EA028632B1 (en) | Method and system of displaying data from video camera | |
| RU2679200C1 (en) | Data from the video camera displaying method and system | |
| JP6842968B2 (en) | Monitoring system | |
| CN110313172A (en) | Information processing equipment and method | |
| WO2020241034A1 (en) | Monitoring system and monitoring method | |
| JP2021197572A (en) | Camera control apparatus and program | |
| KR20220115223A (en) | Method and apparatus for multi-camera calibration | |
| JP7493793B2 (en) | Image orientation method, image orientation device, image orientation system, and image orientation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Lapse of a eurasian patent due to non-payment of renewal fees within the time limit in the following designated state(s) |
Designated state(s): AM AZ BY KZ KG TJ TM RU |
|
| NF4A | Restoration of lapsed right to a eurasian patent |
Designated state(s): AM AZ BY KZ KG TJ TM RU |