EA038293B1 - Method and system for detecting troubling events during interaction with a self-service device - Google Patents

Method and system for detecting troubling events during interaction with a self-service device Download PDF

Info

Publication number
EA038293B1
EA038293B1 EA201990408A EA201990408A EA038293B1 EA 038293 B1 EA038293 B1 EA 038293B1 EA 201990408 A EA201990408 A EA 201990408A EA 201990408 A EA201990408 A EA 201990408A EA 038293 B1 EA038293 B1 EA 038293B1
Authority
EA
Eurasian Patent Office
Prior art keywords
human
person
image
data
interaction
Prior art date
Application number
EA201990408A
Other languages
Russian (ru)
Other versions
EA201990408A1 (en
Inventor
Александр Викторович БАЛАШОВ
Дмитрий Георгиевич ДАВИДОВ
Original Assignee
Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to RU2019103861A priority Critical patent/RU2713876C1/en
Application filed by Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) filed Critical Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк)
Publication of EA201990408A1 publication Critical patent/EA201990408A1/en
Publication of EA038293B1 publication Critical patent/EA038293B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms

Abstract

The invention relates in general to the field of video image analysis. A method for detecting troubling events during interaction with a self-service device comprises the steps of obtaining data from a video surveillance camera characterizing an image of one figure of a person situated in the vicinity of a self-service device; conducting an analysis of the obtained data using a machine learning model, during the course of which the obtained images are processed in order to detect keypoints of the figure of a person; analyzing the keypoints detected in the preceding step in order to determine the pose assumed by the figure of a person; determining the pose of the figure of a person in a sitting, crouching or squatting position; analyzing the interaction of the figure of a person in the detected position with the self-service device; determining the duration of the detected interaction. The technical result is an increase in the accuracy of detection of troubling events, which is achieved by using machine learning models to analyse the poses of a person during interaction with a self-service device within a given time interval.

Description

Область техникиTechnology area

Представленное техническое решение относится в общем к области анализа видеоизображений для выявления тревожных событий при взаимодействии с устройствами самообслуживания (далее УС), а в частности к способам и системам выявления тревожных событий при взаимодействии с банкоматами.The presented technical solution refers in general to the field of video image analysis for detecting alarming events when interacting with self-service devices (hereinafter CS), and in particular to methods and systems for detecting alarming events when interacting with ATMs.

Уровень техникиState of the art

В настоящее время существует проблема оперативной и качественной обработки видеоданных на предмет анализа совершения противоправных действий в отношении банковского имущества или с целью совершения мошеннических действий, в частности при взаимодействии с банкоматами или платежными терминалами. Широкое распространение в свое время получил принцип использования внешних вычислительных устройств, устанавливаемых в отсек для приема карт банкоматов для считывания данных платежных карт. Также существуют методы физического воздействия на банкоматы с целью доступа к содержимому кассет с наличностью. Так или иначе все данные события обуславливаются соответствующими характерными действиями, совершаемыми злоумышленниками, которые попадают в объект камер наблюдения, однако при осуществлении мониторинга с помощью сотрудников службы безопасности подчас бывает недостаточно, чтобы оперативно и точно выявить факт совершения того или иного тревожного события, которые с большой долей вероятности приведут к порче или краже ценного имущества.Currently, there is a problem of prompt and high-quality processing of video data for the analysis of illegal actions in relation to bank property or for the purpose of committing fraudulent actions, in particular when interacting with ATMs or payment terminals. The principle of using external computing devices installed in the compartment for accepting cards of ATMs for reading payment card data was widespread at one time. There are also methods of physical impact on ATMs in order to access the contents of cash cassettes. One way or another, all these events are caused by the corresponding characteristic actions performed by intruders who fall into the object of surveillance cameras, however, when monitoring with the help of security personnel, it is sometimes not enough to quickly and accurately identify the fact of committing one or another alarming event, which with a large more likely to lead to damage or theft of valuable property.

Существуют различные методы анализа видеоданных, например, внутри отделений банка, которые позволяют выявить нестандартное и/или опасное поведение посетителей, которое может свидетельствовать о вероятности наступления тревожных или критических событий. Такие подходы, как правило, основываются на распознавании поз посетителей, а также их перемещении, чтобы классифицировать на основании существующих моделей поведения фактор наступления того или иного события, тревожного или критического.There are various methods for analyzing video data, for example, inside bank branches, which allow us to identify non-standard and / or dangerous behavior of visitors, which may indicate the likelihood of alarming or critical events. Such approaches, as a rule, are based on the recognition of the postures of visitors, as well as their movement in order to classify the factor of the onset of an event, alarming or critical, based on existing patterns of behavior.

Из уровня техники известно решение для анализа поведения посетителей на основании применения моделей машинного обучения, которые осуществляют определение отклонения от нормы поведения, например, выявление нестандартных или противозаконных действий на основании обработки изображений, получаемых с камер видеонаблюдения (US 20160005050, дата публикации: 07.01.2016).From the prior art, a solution is known for analyzing the behavior of visitors based on the use of machine learning models that determine deviations from the norm of behavior, for example, the detection of non-standard or illegal actions based on the processing of images received from CCTV cameras (US 20160005050, publication date: 07.01.2016 ).

Из другого решения известна система наблюдения за положением рук пользователя, осуществляющего взаимодействие с банкоматом, на предмет выявления различного рода противоправных действий (WO 2012178202, дата публикации: 27.12.2012). Анализ положения и перемещения рук осуществляется на основании построения цифровой скелетной модели кистей, что позволяет построить и отследить перемещение пальцев для анализа того или иного события.From another solution, a system for monitoring the position of the hands of a user interacting with an ATM is known for detecting various kinds of illegal actions (WO 2012178202, publication date: 27.12.2012). The analysis of the position and movement of the hands is carried out on the basis of the construction of a digital skeletal model of the hands, which makes it possible to construct and track the movement of fingers for the analysis of a particular event.

Существенным недостатком известных решений является недостаточная точность определения определенного типа положений фигуры человека, в частности когда человек находится в согнутом, сидячем или полусидячем положении в определенный временной диапазон вблизи УС, что позволяет явно осуществить классификацию события как тревожного.A significant drawback of the known solutions is the lack of accuracy in determining a certain type of position of a human figure, in particular when a person is in a bent, seated or semi-seated position in a certain time range near the US, which allows clearly classifying an event as alarming.

Раскрытие изобретенияDisclosure of invention

Решаемой технической проблемой или технической проблемой с помощью предлагаемого подхода является создание нового эффективного метода выявления тревожных событий при взаимодействии пользователей с УС, например, в банке.The technical problem or technical problem to be solved using the proposed approach is the creation of a new effective method for identifying alarming events when users interact with the RS, for example, in a bank.

Техническим результатом является повышение точности выявления тревожных событий, которое достигается за счет применения моделей машинного обучения для анализа поз человека при его взаимодействии с УС в заданный временной промежуток.The technical result is to improve the accuracy of detecting alarming events, which is achieved through the use of machine learning models for analyzing human postures when interacting with the EOS in a given time period.

Дополнительным техническим результатом является повышение эффективности реагирования системы на факт возникновения тревожного события.An additional technical result is an increase in the efficiency of the system's response to the fact of an alarming event.

В предпочтительном варианте осуществления заявлен способ выявления тревожных событий при взаимодействии с УС, выполняемый с помощью по меньшей мере одного вычислительного устройства, содержащий этапы, на которых получают данные по меньшей мере с одной камеры видеонаблюдения, характеризующие изображение по меньшей мере одной фигуры человека, находящегося вблизи УС;In a preferred embodiment, a method is claimed for detecting alarming events when interacting with a control system, performed using at least one computing device, comprising the steps of obtaining data from at least one CCTV camera characterizing the image of at least one figure of a person in the vicinity US;

выполняют анализ полученных данных с помощью модели машинного обучения, в ходе которого осуществляют обработку полученных изображений для выявления ключевых точек фигуры человека;analyzing the data obtained using a machine learning model, during which the obtained images are processed to identify the key points of the human figure;

выполняют анализ ключевых точек для определения позы, принятой фигурой человека;analysis of key points is performed to determine the posture taken by the human figure;

осуществляют определение позы фигуры человека, находящейся в сидячем, согнутом или присевшем положении;determine the posture of a human figure in a sitting, bent or crouching position;

выполняют анализ наличия взаимодействия фигуры человека в выявленном положении с УС;analyzing the presence of the interaction of the human figure in the identified position with the US;

определяют временной интервал выявленного взаимодействия; и если временной интервал больше установленного порогового значения, то идентифицируют наличие тревожного события при работе с УС.determine the time interval of the identified interaction; and if the time interval is greater than the set threshold value, then the presence of an alarm event is identified when operating with the DC.

В одном из частных вариантов осуществления способа дополнительно фиксируется изображение, получаемое с камеры УС.In one of the particular embodiments of the method, the image obtained from the US camera is additionally captured.

В другом частном варианте осуществления способа дополнительно фиксируются данные, получаеIn another particular embodiment of the method, data is additionally recorded, receiving

- 1 038293 мые от датчиков УС.- 1 038293 from the US sensors.

В другом частном варианте осуществления способа получаемое изображение с камер видеонаблюдения анализируется на предмет распознавания личности человека, находящегося вблизи УС.In another particular embodiment of the method, the resulting image from the CCTV cameras is analyzed for identifying the identity of a person who is near the CD.

В другом частном варианте осуществления способа получаемое изображение с камер видеонаблюдения анализируется на предмет наличия элементов, закрывающих лицо человека, осуществляющего взаимодействие с УС.In another particular embodiment of the method, the resulting image from the CCTV cameras is analyzed for the presence of elements that cover the face of the person interacting with the CD.

В другом частном варианте осуществления способа анализ позы человека осуществляется с помощью построения графического скелета фигуры человека с помощью модели машинного обучения.In another particular embodiment of the method, the analysis of a person's posture is carried out by constructing a graphical skeleton of a human figure using a machine learning model.

В другом частном варианте осуществления способа определение позы осуществляются с помощью анализа углов между ключевыми точками цифрового скелета фигуры человека.In another particular embodiment of the method, posture is determined by analyzing the angles between key points of the digital skeleton of a human figure.

В другом частном варианте осуществления способа выполняется построение векторов между ключевыми точками для осуществления анализа углов между ними.In another particular embodiment of the method, vectors are constructed between key points to analyze the angles between them.

В другом частном варианте осуществления способа при выявлении тревожного события осуществляет его передачу по каналу связи на пульт оперативного реагирования и/или активацию сигнализации.In another particular embodiment of the method, upon detection of an alarm event, it transmits it via a communication channel to the rapid response console and / or activates the alarm.

В другом частном варианте осуществления способа дополнительно осуществляется блокировка доступа в помещение, в котором установлено УС.In another particular embodiment of the method, access to the room in which the CD is installed is additionally blocked.

В другом частном варианте осуществления способа при идентификации тревожного события формируется уведомление, содержащее, по меньшей мере, изображение фигуры человека вблизи УС, время и адрес фиксации события.In another particular embodiment of the method, upon identification of an alarm event, a notification is generated containing at least an image of a human figure near the CD, the time and address of the event fixation.

В другом частном варианте осуществления способа уведомление передается по каналам передачи данных по меньшей мере на одно удаленное устройство.In another particular embodiment of the method, the notification is transmitted over data transmission channels to at least one remote device.

Указанный технический результат также достигается за счет осуществления системы выявления тревожных событий при взаимодействии с УС, которая содержит по меньшей мере один процессор и средство хранения данных, содержащее машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором, обеспечивают получение данных по меньшей мере от одной камеры видеонаблюдения, характеризующие изображение по меньшей мере одной фигуры человека, находящегося вблизи УС;The specified technical result is also achieved by implementing a system for detecting alarms when interacting with a control system, which contains at least one processor and a data storage medium containing machine-readable instructions, which, when executed by at least one processor, provide data from at least one video surveillance camera, characterizing the image of at least one figure of a person located near the US;

выполнение анализа полученных данных с помощью модели машинного обучения, в ходе которого осуществляют обработку полученных изображений для выявления ключевых точек фигуры человека;analyzing the data obtained using a machine learning model, during which the received images are processed to identify the key points of the human figure;

выполнения анализа ключевых точек для определения позы, принятой фигурой человека;performing analysis of key points to determine the posture taken by the human figure;

осуществление определения позы фигуры человека, находящейся в сидячем, согнутом или присевшем положении;the implementation of the determination of the posture of a human figure in a sitting, bent or crouched position;

выполнение анализа наличия взаимодействия фигуры человека в выявленном положении с УС;analysis of the presence of the interaction of the human figure in the identified position with the US;

определение временного интервала выявленного взаимодействия; и если временной интервал больше установленного порогового значения, то идентификации наличия тревожного события при работе с УС.determination of the time interval of the identified interaction; and if the time interval is greater than the set threshold value, then identifying the presence of an alarm event when working with the DC.

В одном из частных вариантов реализации системы при идентификации тревожного события формируется уведомление, содержащее, по меньшей мере, изображение фигуры человека вблизи УС, время и адрес фиксации события.In one of the particular embodiments of the system, upon identification of an alarm event, a notification is generated containing at least an image of a human figure near the US, the time and address of the event fixation.

В другом частном варианте реализации системы уведомление передается по каналам передачи данных по меньшей мере на одно удаленное устройство.In another particular embodiment of the system, the notification is transmitted via data transmission channels to at least one remote device.

Описание чертежейDescription of drawings

Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания изобретения и прилагаемых чертежей, на которых фиг. 1 иллюстрирует общую схему взаимодействия элементов заявленного решения;Features and advantages of the present technical solution will become apparent from the following detailed description of the invention and the accompanying drawings, in which: FIG. 1 illustrates the general scheme of interaction of the elements of the claimed solution;

фиг. 2 иллюстрирует процесс выполнения заявленного способа;fig. 2 illustrates the process of performing the claimed method;

фиг. 3 иллюстрирует модель цифрового скелета;fig. 3 illustrates a digital skeleton model;

фиг. 4 иллюстрирует построение цифрового скелета на основе реального изображения;fig. 4 illustrates the construction of a digital skeleton based on a real image;

фиг. 5 иллюстрирует схематичный пример анализа времени нахождения человека в выявленной позе при работе с УС;fig. 5 illustrates a schematic example of the analysis of the time spent by a person in the identified posture when working with the control system;

фиг. 6 иллюстрирует пример работы обмена данными между элементами системы.fig. 6 illustrates an example of the operation of data exchange between system elements.

Осуществление изобретенияImplementation of the invention

Ниже будут описаны понятия и термины, необходимые для понимания данного технического решения.Below will be described the concepts and terms necessary to understand this technical solution.

В данном техническом решении под системой подразумевается, в том числе компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную четко определенную последовательность операций (действий, инструкций).In this technical solution, the system means, including a computer system, a computer (electronic computer), CNC (numerical control), PLC (programmable logic controller), computerized control systems and any other devices capable of performing a given, well-defined sequence operations (actions, instructions).

Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).A command processing device means an electronic unit or an integrated circuit (microprocessor) that executes machine instructions (programs).

Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одногоThe command processor reads and executes machine instructions (programs) from one

- 2 038293 или более устройств хранения данных. В роли устройства хранения данных могут выступать, но не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.- 2,038293 or more storage devices. The role of data storage devices can be, but are not limited to, hard disks (HDD), flash memory, ROM (read only memory), solid state drives (SSD), optical drives.

Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.A program is a sequence of instructions intended for execution by a computer control device or a command processing device.

Как представлено на фиг. 1, в общем случае автоматизированная система (100) включает в себя установленное УС (110), которое находится в зоне работы одной или нескольких видеокамер (120). Информация, в частности видеопоток, получаемый от камеры (120), передается на удаленный сервер (130) с помощью выбранного протокола передачи данных, например TCP/IP, WLAN, или другой пригодный тип связи, не ограничиваясь. В качестве камер видеонаблюдения (иногда видеокамер) могут применяться различные типы камер, в частности PTZ-камеры, IP-камеры, стационарные антивандальные камеры, камера кругового обзора и т.п., не ограничиваясь.As shown in FIG. 1, in the general case, the automated system (100) includes an installed CD (110), which is located in the area of operation of one or more video cameras (120). The information, in particular the video stream received from the camera (120), is transmitted to the remote server (130) using the selected data transmission protocol, for example, TCP / IP, WLAN, or other suitable type of communication, but not limited to. Various types of cameras can be used as video surveillance cameras (sometimes video cameras), in particular PTZ cameras, IP cameras, stationary anti-vandal cameras, a circular view camera, etc., but not limited to.

На сервер (130) информация может также передаваться от систем мониторинга состояния УС, например, от встроенных в УС датчиков вибрации, температуры, гироскопа, а также данные с биометрической системы УС (встроенная камера, сканер сетчатки глаза, микрофон и т.п.). Данная информация может использоваться для дополнительного анализа ситуации, возникающей вблизи УС (110).Information can also be transmitted to the server (130) from systems for monitoring the state of the US, for example, from vibration, temperature, gyroscope sensors built into the US, as well as data from the biometric US system (built-in camera, retina scanner, microphone, etc.) ... This information can be used for additional analysis of the situation arising near the EOS (110).

Также система (100) включает в себя систему сигнализации (140), которая в общем случае включает в себя датчик блокировки дверей (141) в помещение, где установлено УС (110) и/или средство звукового оповещения (142). Дополнительно система сигнализации (140) может включать в себя другие устройства, которые будут использоваться в случае наступления тревожного события. Датчик блокировки дверей (141) связывается соответствующим каналом передачи данных непосредственно с дверью (143), установленной в зоне размещения УС (110).Also, the system (100) includes an alarm system (140), which generally includes a door lock sensor (141) to the room where the CD (110) and / or sound notification (142) is installed. Additionally, the alarm system (140) may include other devices that will be used in the event of an alarm event. The door lock sensor (141) is connected by the corresponding data transmission channel directly with the door (143) installed in the area of the US (110).

Работа системы (100) заключается в получении изображений фигур людей, находящихся в области (111) взаимодействия с УС (110), которая впоследствии обрабатывается с помощью аналитического модуля, построенного на базе одной или нескольких моделей машинного обучения, для обеспечения процесса распознавания позы, принимаемой человеком (10), взаимодействующим с УС (110), для вынесения суждения о вероятности совершения того или иного противоправного действия.The operation of the system (100) consists in obtaining images of the figures of people in the area (111) of interaction with the EOS (110), which is subsequently processed using an analytical module built on the basis of one or more machine learning models to ensure the process of recognizing the posture taken a person (10) interacting with the CS (110) to make a judgment about the likelihood of committing a particular illegal action.

Способ выявления тревожного события (200), реализуемый в ходе осуществления представленного решения, заключается в выполнении следующих последовательных вычислительных этапов. На первом этапе (201) с одной или нескольких камер видеонаблюдения (120) получается видеопоток, который характеризует наличие одной или нескольких фигур людей (10), находящихся в зоне (111) расположения УС (110).A method for detecting an alarming event (200), implemented in the course of implementing the presented solution, consists in performing the following sequential computational steps. At the first stage (201), a video stream is obtained from one or more CCTV cameras (120), which characterizes the presence of one or more figures of people (10) located in the zone (111) of the location of the US (110).

Полученный видеопоток с камеры (120) передается на сервер (130) для его дальнейшей обработки. На сервере (130) с помощью аналитического модуля выполняется покадровый разбор полученного видеопотока для целей анализа поз людей (10), осуществляющих взаимодействие с УС (110). Анализ видеопотока осуществляется с помощью модели машинного обучения, например с помощью модели OpenPose. С помощью модели OpenPose на этапе (202) осуществляется определение ключевых точек на полученных изображениях (кадрах), извлеченных из видеопотока. Модель машинного обучения OpenPose выполняет обработку полученных кадров и на выходе формирует JSON-файл с координатами х/у в пикселях, а также вероятностную характеристику для каждой ключевой точки. В качестве вероятностной характеристики понимается вероятность корректного нахождения ключевых точек относительно их принадлежности цифровому скелету. Пример такого алгоритма раскрыт в статье Cao et al. OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields опубликовано: 18.12.2018.The received video stream from the camera (120) is transmitted to the server (130) for further processing. On the server (130), using the analytical module, a frame-by-frame parsing of the received video stream is performed for the purposes of analyzing the poses of people (10) interacting with the US (110). The video stream is analyzed using a machine learning model such as the OpenPose model. Using the OpenPose model, at step (202), key points are determined on the obtained images (frames) extracted from the video stream. The OpenPose machine learning model processes the received frames and, at the output, generates a JSON file with x / y coordinates in pixels, as well as a probabilistic characteristic for each key point. As a probabilistic characteristic, we understand the probability of correctly finding key points relative to their belonging to the digital skeleton. An example of such an algorithm is disclosed in the article by Cao et al. OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields published: 12-18-2018.

Этап (202) осуществляется с помощью построения цифрового скелета человека по каждому входному изображению. Пример общего вида цифрового скелета представлен на фиг. 3. На основании алгоритма модели OpenPose осуществляется построение пиксельных координат для каждой фигуры человека (10) на кадрах, полученных с камер наблюдения (120). Дополнительно OpenPose использует фреймворк глубокого обучения Caffe, который способен переключаться во время вычислений между графическим и центральным процессором, что дает прирост в производительности. В основе работы OpenPose лежит обучение моделей с помощью сверточной нейронной сети (СНС - англ. Convolutional Neural Network, CNN).Step (202) is performed by building a digital human skeleton for each input image. An example of a general view of a digital skeleton is shown in FIG. 3. Based on the OpenPose model algorithm, pixel coordinates are constructed for each human figure (10) on frames received from surveillance cameras (120). Additionally, OpenPose uses the Caffe deep learning framework, which is able to switch between GPU and CPU during computations, resulting in a performance boost. OpenPose is based on training models using a Convolutional Neural Network (CNN).

Модель принимает на вход цветное изображение размером w-h, а на выходе выдает расположения ключевых точек каждого объекта наблюдения. Определение ключевых точек происходит в три этапа. Первые 10 слоев обучающей выборки (VGGNet) используются для создания карты особенных точек для исходного изображения. СНС использует две ветви: первая предсказывает карту (S) множества точек на человеческом теле (плечо, рука, и т.д.), вторая множество векторов (L), которые содержат степень разницы между частями тела. (S)-карта и (Ь)-вектора анализируются для создания ключевых точек для всех людей (10) на изображении.The model accepts a color image of size w-h as input, and outputs the location of the key points of each object of observation at the output. Determination of key points occurs in three stages. The first 10 layers of the training sample (VGGNet) are used to create a map of the feature points for the original image. The SNN uses two branches: the first predicts a map (S) of a set of points on the human body (shoulder, arm, etc.), the second a set of vectors (L) that contain the degree of difference between body parts. (S) -map and (b) -vectors are analyzed to create key points for all people (10) in the image.

Далее на этап (203) по координатам фигуры человека (10) на полученных кадрах с помощью модели OpenPose выполняется определение ключевых точек тела для распознавания позы, принимаемой человеком (10). По координатам ключевых точек строится вектор, на основании которого производится расчет угла между векторами бедро-голень и бедро-позвоночник, и если упомянутый угол меньше заданного иNext, at step (203), according to the coordinates of the human figure (10), on the obtained frames using the OpenPose model, key points of the body are determined to recognize the pose taken by the person (10). The coordinates of the key points are used to construct a vector, on the basis of which the angle between the vectors thigh-lower leg and thigh-spine is calculated, and if the mentioned angle is less than the specified one and

- 3 038293 при этом человек (10) в данной позе находится вблизи УС (110), то формируется оповещение о наличии тревожного события, факт наличия которого также записывается в хранилище данных, например базу данных.- 3 038293 while the person (10) in this position is near the US (110), then a notification about the presence of an alarm event is generated, the fact of the presence of which is also recorded in the data store, for example, a database.

Входными данными для анализа наличия тревожного события по анализируемым данным является кадр в формате .PNG и JSON файл, содержащий двумерные координаты всех ключевых точек фигур людей (10), обнаруженных OpenPose на базе цифрового скелета, а также вероятностную характеристику для каждой ключевой координаты в диапазоне от 0 до 1. Пример структуры JSON-файла { version: 1.1, people:[ {The input data for analyzing the presence of an alarm event based on the analyzed data is a frame in .PNG format and a JSON file containing two-dimensional coordinates of all key points of human figures (10) detected by OpenPose on the basis of a digital skeleton, as well as a probabilistic characteristic for each key coordinate in the range from 0 to 1. Example of JSON file structure {version: 1.1, people: [{

pose_keypoints_2d:[169.449,147.875,0.734807,127.885,254.116,0.078005,...] } ], part_candidates:[ {pose_keypoints_2d: [169.449,147.875,0.734807,127.885,254.116,0.078005, ...]}], part_candidates: [{

0:[169.449,147.875,0.734807,127.885,254.116,0.078005], l:[270.113,210.873,0.476116],0: [169.449,147.875,0.734807,127.885,254.116,0.078005], l: [270.113,210.873,0.476116],

2:[302.885,103.86,0.266788],2: [302.885,103.86,0.266788],

3:[127.885,254.116,0.078005],3: [127.885,254.116,0.078005],

4:[283.015,332.986,0.665039],4: [283.015,332.986,0.665039],

5:[346.876,213.112,0.321377,172.104,221.875,0.554128],5: [346.876,213.112,0.321377,172.104,221.875,0.554128],

6:[],6: [],

7:[],7: [],

8:[],eight:[],

9:[],nine:[],

10:[],ten:[],

H:[],H: [],

12:[],12:[],

13:[],13:[],

14:[182.112,131.880,0.563214],14: [182.112,131.880,0.563214],

15:[203.867,130,0.686417],15: [203.867,130,0.686417],

16:[],16:[],

17:[258.116,124.853,0.77654] }17: [258.116,124.853,0.77654]}

] }]}

Новые файлы OpenPose обрабатывают поступающие данные в итеративном режиме. В случае появления нового *json файла алгоритмом распознавания осуществляет считывание из него результатов работы OpenPose - если фигур людей обнаружено не было, файл и соответствующий кадр удаляются, в противном случае начинается обработка, представляющая собой несколько этапов.New OpenPose files process the incoming data in an iterative manner. If a new * json file appears, the recognition algorithm reads the results of OpenPose work from it - if no human figures were found, the file and the corresponding frame are deleted, otherwise processing begins, which is in several stages.

Для задействованных ключевых точек обнаруженных фигур (10) проверяется, чтобы значение вероятности превышало установленное пороговое значение, например 0.4, что позволяет отсекать подавляющее количество ложных срабатываний. При этом пороговое значение может варьироваться в зависимости от освещенности зоны обзора камер (120), места установки камер (120), а также пороговое значение может задаваться отдельно для конкретной обрабатываемой координаты. Поскольку в захватываемых камерами (120) областях могут присутствовать окна, то алгоритм проверяет, что каждая попавшая в кадр фигура (10) не находится за территорией места установки УС (110), например за территорией отделения банка. На фиг. 4 представлен пример построения цифрового скелета на основании полученного изображения.For the involved key points of the detected figures (10), it is checked that the probability value exceeds the set threshold value, for example, 0.4, which makes it possible to cut off the overwhelming number of false positives. In this case, the threshold value can vary depending on the illumination of the viewing area of the cameras (120), the location of the cameras (120), and also the threshold value can be set separately for a specific processed coordinate. Since there may be windows in the areas captured by cameras (120), the algorithm checks that each figure (10) that gets into the frame is not outside the territory of the US installation site (110), for example, outside the territory of a bank branch. FIG. 4 shows an example of building a digital skeleton based on the obtained image.

Далее вычисляются углы между ключевыми точками цифрового скелета (ЛБедро, ЛКолено, ЛЩиколотка), (ПБедро, ПКолено, ПЩиколотка), (Шея, СредняяЧастьБедра, ПКолено) и (Шея, СредняяЧастьБедра, ЛКолено). Если все четыре угла находятся в промежутке от 0 до 120°, то алгоритм определяет,Next, the angles are calculated between the key points of the digital skeleton (LHigh, LKeleno, LKeleno), (LHigh, PKKeleno, PKeleno), (Neck, Middle Part of the Thigh, PKKeleno) and (Neck, Middle Part of the Thigh, LKeleno). If all four angles are in the range from 0 to 120 °, then the algorithm determines,

- 4 038293 что фигура находится в сидячем, присевшем или согнутом положении.- 4 038293 that the figure is in a sitting, squatting or bent position.

Дополнительно может фиксироваться иное положение фигур, которые может являться нестандартным и также фиксироваться с помощью заявленного решения. Для обнаружения лежачих фигур задаются области кадра, соответствующие полу места расположения (111) УС (110), а также определяются векторы, задающие плоскость пола (предполагается, что лежащий человек будет стараться расположиться вдоль стен, а не под произвольным углом - последний случай сложно определим в двумерных координатах). Фигура считается находящейся в лежачем положении, если обе точки СредняяЧастьБедра и Шея находятся в пределах области (111), и угол между указанными точками и одним из векторов (2) не превышает 10°. Также фигура считается лежащей, если точки ЛЩиколотка и ПЩиколотка расположены выше точки Шея. После определения позы на этапе (203) далее осуществляется анализ временного интервала (204), в течение которого человек (10) в выявленной позе осуществляет взаимодействие с УС (110). На фиг. 5 представлен схематичный пример анализа кадров с выявленной позой человека (10) в течение определенного временного интервала Т. Если происходит определение того, что человек (10) в установленной позе осуществляет взаимодействие с УС (110) более заданного временного промежутка Т (временного порога), то на этапе (205) алгоритм выносит суждение о наличии тревожного события.Additionally, a different position of the figures can be fixed, which can be non-standard and can also be fixed using the stated solution. To detect recumbent figures, the frame areas corresponding to the floor of the location (111) of the US (110) are set, and vectors that define the floor plane are determined (it is assumed that the lying person will try to position himself along the walls, and not at an arbitrary angle - the latter case is difficult to determine in two-dimensional coordinates). The figure is considered to be in the supine position if both points of the MidHip and Neck are within the area (111), and the angle between the indicated points and one of the vectors (2) does not exceed 10 °. Also, the figure is considered to be lying if the points LAnkle and PAnkle are located above the Neck point. After determining the pose at step (203), the analysis of the time interval (204) is carried out, during which the person (10) interacts with the US (110) in the identified pose. FIG. 5 shows a schematic example of the analysis of frames with the identified posture of a person (10) during a certain time interval T. then at step (205), the algorithm makes a judgment about the presence of an alarm event.

По факту фиксации тревожного события на этапе (205) на сервере (130) осуществляется формирование соответствующей записи, которая может включать идентификатор (ID) события, номер учреждения установки УС, номер видеокамеры, зафиксировавшей событие, время/дату инцидента, наименование тревожного события, изображение, зафиксированное видеокамерой наблюдения.Upon the fact of fixing an alarm event at step (205), a corresponding record is formed on the server (130), which may include the event identifier (ID), the number of the institution of the US installation, the number of the video camera that recorded the event, the time / date of the incident, the name of the alarm event, the image recorded by a surveillance video camera.

Далее более детально будет рассмотрена программно-аппаратная составляющая заявленного решения, представленная на фиг. 6. Как указывалось, выше, помимо информации, получаемой от камеры или камер наблюдения (120), также на сервер может передаваться информация, получаемая непосредственно от устройств, установленных в УС (110). В качестве таких устройств могут быть различные типы датчиков и сенсоров, реагирующих на возникающее внешнее воздействие. Также может анализироваться биометрическая информация лиц, взаимодействующих с УС (110), в частности их изображение, получаемое от видеокамеры, встроенной в УС (110). Данные, полученные от УС (110) и видеокамеры (120), передаются по каналу передачи данных на сервер (130). Поступившая от устройств (110, 120) информация передается для дальнейшего анализа графической информации (видеопотока) в аналитический модуль для определения позы (131). Аналитический модуль (131), построенный на базе алгоритмов машинного обучения, содержит модуль определения ключевых точек (1311) и модуль определения позы (1312) фигуры человека на кадрах с камеры наблюдения.Next, the hardware and software component of the claimed solution, presented in FIG. 6. As mentioned above, in addition to the information received from the camera or surveillance cameras (120), information received directly from the devices installed in the CD (110) can also be transmitted to the server. As such devices can be various types of sensors and sensors that respond to the emerging external influence. The biometric information of persons interacting with the US (110) can also be analyzed, in particular, their image received from a video camera built into the US (110). The data received from the US (110) and the video camera (120) are transmitted via the data transmission channel to the server (130). The information received from the devices (110, 120) is transmitted for further analysis of the graphic information (video stream) to the analytical module for determining the pose (131). The analytical module (131), built on the basis of machine learning algorithms, contains a module for determining key points (1311) and a module for determining the pose (1312) of a human figure in frames from a surveillance camera.

Модуль (1311) может осуществлять свою работу с помощью алгоритма модели OpenPose. Данные с камеры наблюдения (120) могут передаваться с помощью известных протоколов передачи потокового видео, например RTSP, RTMP. Модуль (1312) выполняет классификацию позы фигуры человека (10), а также анализирует время нахождения человека (10) в данной позе при работе с УС (110). Также модуль (1312) учитывает разметку зон нахождения (111) УС (110) с привязкой к номеру УС (110), а также дополнительно может учитываться номер отделения, в котором оно установлено. Отдельно выделяются зеркальные области и прозрачные объекты, находящиеся вне контролируемой зоны, например окна, стеклянные двери, чтобы исключить данные области из анализа для снижения ложноположительных инцидентов. Разметка зон выполняется в пикселях по двум осям X и Y. Точкой отсчета с координатами (0,0) считается левый верхний угол кадров, транслируемых с камер (120). Околобанкоматные зоны (111) учитываются при подсчете времени Т нахождения в них человека (10) и коррелируются с событиями с других источников в модуле корреляции (151) системы сбора и анализа событий (150) (ССАС).Module (1311) can do its work using the OpenPose model algorithm. The data from the surveillance camera (120) can be transmitted using well-known video streaming protocols, for example, RTSP, RTMP. The module (1312) classifies the posture of the human figure (10), and also analyzes the time spent by the person (10) in this pose when working with the US (110). Also, the module (1312) takes into account the marking of the zones of the location (111) of the US (110) with reference to the US number (110), and also the number of the department in which it is installed can be additionally taken into account. Mirror areas and transparent objects outside the controlled area, such as windows, glass doors, are separately highlighted to exclude these areas from analysis to reduce false positive incidents. The zones are marked in pixels along the two axes X and Y. The reference point with coordinates (0,0) is the upper left corner of the frames broadcast from cameras (120). The near-bank zones (111) are taken into account when calculating the time T of a person's stay in them (10) and are correlated with events from other sources in the correlation module (151) of the event collection and analysis system (150) (ССАС).

Из аналитического модуля (131) обработанные данные о выявленных тревожных событиях совместно с идентифицирующей их информацией передаются в базу данных (132) (Время/дата, номер отделения, номер банкомата, тип тревожного события, изображение), которая выполняет долгосрочное хранение выявленных инцидентов и служит источником данных для консоли (133).From the analytical module (131), the processed data on the identified alarm events, together with their identifying information, are transferred to the database (132) (Time / date, branch number, ATM number, type of alarm event, image), which performs long-term storage of identified incidents and serves data source for the console (133).

Консоль (133) представляет собой программное решение для работы с выявленными инцидентами. Логика агрегации инцидентов в консоли (133) подразумевает объединение нескольких тревожных событий в один инцидент (только для отображения), который будет включать данные самого первого тревожного события при объединении, а фотографии всех объединенных событий. Для агрегации предусмотрены различные временные интервалы. При появлении нового тревожного события оно будет проверено на возможность объединения с уже существующими элементами за выбранный период. Модуль (131) также осуществляет отправку упомянутых данных в ССАС (150) (англ. SIEM - Security information and event management). Отправка осуществляется по протоколу syslog. CCAC (150) может выполняться на базе отдельного сервера, связанного с сервером (130).The console (133) is a software solution for dealing with identified incidents. The logic for aggregating incidents in the console (133) implies combining several alarm events into one incident (for display only), which will include data from the very first alarm event when combined, and photographs of all combined events. Different time intervals are provided for aggregation. When a new alarm event appears, it will be checked for the possibility of combining with already existing elements for the selected period. Module (131) also sends the mentioned data to SSAC (150) (SIEM - Security information and event management). Sending is carried out using the syslog protocol. CCAC (150) can run on a separate server associated with server (130).

Дополнительно с помощью анализа изображений может также анализироваться дополнительный тип информации, попадающий в поле зрения камер (120). Например, может анализироваться наличие в кадре посторонних предметов и/или инструментов, с помощью которых могут быть совершены противоправные действия, например режущее оборудование, баллоны, провода и т.п. Также может происходить фиксация посторонних действий непосредственно с УС (110) или в его близости, например наличие дыма, искр, открытого пламени и т.п.Additionally, using image analysis, an additional type of information that falls into the field of view of cameras can also be analyzed (120). For example, the presence of foreign objects and / or tools in the frame can be analyzed, with the help of which illegal actions can be committed, for example, cutting equipment, cylinders, wires, etc. There may also be a fixation of extraneous actions directly from the US (110) or in its vicinity, for example, the presence of smoke, sparks, open flames, etc.

- 5 038293- 5 038293

Система (150) представляет собой типовое решение и состоит, как правило, из трех модулей - коннекторы (осуществляющие сбор данных), менеджер (выполняет прием и корреляцию событий) и база данных (осуществляет долгосрочное хранение). В представленном решении в модуль корреляции (151) ССАС (150) поступают события из следующих источников информации: датчиков УС (110), модели анализа позы фигуры человека (130) и от биометрического модуля (134).System (150) is a typical solution and consists, as a rule, of three modules - connectors (collecting data), manager (receiving and correlating events), and database (performing long-term storage). In the presented solution, the correlation module (151) CCAC (150) receives events from the following information sources: US sensors (110), models for analyzing the posture of a human figure (130) and from the biometric module (134).

Биометрический модуль (134) представляет собой платформу для анализа биометрических признаков, получаемых с помощью средств УС (110), например камеры или микрофона. Модуль (134) включает в себя модуль распознавания лица (1341) и модуль распознавания сокрытия лица (1342). Модули (1341, 1342) могут выполняться на базе одной или нескольких моделей машинного обучения, например представлять собой искусственную нейронную сеть, алгоритм случайного леса и т.п.The biometric module (134) is a platform for the analysis of biometric features obtained by means of the US (110), for example, a camera or a microphone. The module (134) includes a face recognition module (1341) and a face hiding recognition module (1342). Modules (1341, 1342) can be executed based on one or more machine learning models, for example, they can be an artificial neural network, a random forest algorithm, etc.

С помощью модуля (1341) выполняется распознавание личности человека (10), находящегося в зоне фиксации камеры УС (110). Такой подход позволяет получить дополнительную информацию для прогнозирования возможности наступления тревожного события. Например, при выявлении лица, которое находится в розыске, или лица, который был уличен/осужден в противоправных действиях по отношению к имуществу банка. Анализ и реагирование на данный вид информации может осуществляться с помощью сравнения получаемых данных с данными, хранящимися во внешней или внутренней базе данных, например, с помощью оперативной отправки через систему ССАС (150) биометрических данных на пульт (160) для осуществления реагирования на факт распознавания той или иной личности человека (10) около УС (110). Модуль (1342) предназначен для анализа наличия людей возле УС (110) в скрывающих лицо элементах, например шарфы, маски, шлем и т.п. Фиксация данной информации может являться дополнительным параметром для принятия оперативного решения при анализе возможности наступления тревожного события.With the help of the module (1341), the identity of a person (10) located in the fixation zone of the US camera (110) is performed. This approach allows you to obtain additional information to predict the possibility of an alarming event. For example, when identifying a person who is on the wanted list, or a person who has been caught / convicted of illegal actions in relation to the property of the bank. Analysis and response to this type of information can be carried out by comparing the received data with data stored in an external or internal database, for example, by promptly sending biometric data through the CCAS system (150) to the console (160) to respond to the fact of recognition this or that person's personality (10) about US (110). The module (1342) is designed to analyze the presence of people near the US (110) in the elements that hide the face, for example, scarves, masks, a helmet, etc. Fixing this information can be an additional parameter for making an operational decision when analyzing the possibility of an alarming event.

После обработки событий модуль корреляции (151) передает информацию о событиях в БД событий (152) для долгосрочного хранения и построения отчетности. При возникновении тревожного события ССАС (150) отправляет оповещение ответственным лицам, например, на пульт оперативного реагирования (160) внутренних служб или в систему сигнализации (140), которая связана с управлением контроля доступа в помещение, в частности датчиком блокировки дверей (141).After processing the events, the correlation module (151) transmits information about events to the event database (152) for long-term storage and reporting. When an alarm event occurs, the CCAS (150) sends an alert to responsible persons, for example, to the emergency response panel (160) of internal services or to the alarm system (140), which is associated with the control of access control to the room, in particular, the door lock sensor (141).

Например, событие является тревожным, когда в модуль корреляции (151) поступает событие от датчика вибрации, установленного в УС (110), и событие от модели анализа позы (131), зафиксировавшей, что человек сидит около УС (110) продолжительное время. При этом идентификаторы такого события, как время, номер банкомата и номер отделения установки банкомата, должны совпадать, что необходимо для целей однозначной корреляции поступающих данных для фиксации действительности возникновения тревожного события.For example, an event is alarming when the correlation module (151) receives an event from a vibration sensor installed in the DC (110), and an event from the posture analysis model (131), which recorded that a person sits near the DC (110) for a long time. In this case, the identifiers of such an event as the time, the ATM number and the number of the ATM installation department must match, which is necessary for the purpose of unambiguous correlation of the incoming data to record the reality of the occurrence of an alarm event.

Правила корреляции для идентификации тревожных событий могут устанавливаться для каждого УС (110) отдельно. Например, можно установить список заданных идентификаторов тревожного события, которые при их возникновении и совпадении с заданным шаблоном будут явно идентифицировать факт его возникновения. Таким идентификаторами могут быть: тип позы человека (10) около УС (110) или номер зоны около УС (111), сигналы от конкретных датчиков УС (110) либо наличие посторонних предметов в кадре, получаемых с камер наблюдения (120), временной интервал фиксации человека (10) в заданной позе и т.п.Correlation rules for identifying alarming events can be set for each DC (110) separately. For example, you can set a list of predefined alarm event identifiers, which, when they occur and match a predefined pattern, will clearly identify the fact of its occurrence. Such identifiers can be: the type of a person's posture (10) near the US (110) or the zone number near the US (111), signals from specific US sensors (110) or the presence of foreign objects in the frame received from surveillance cameras (120), the time interval fixing a person (10) in a given position, etc.

На фиг. 7 представлен пример общего вида вычислительного устройства (300), которое обеспечивает реализацию представленного решения. Например, сервер (130), ССАС (150) и программно-аппаратная составляющая УС (110) могут быть сформированы на базе вычислительного устройства (300).FIG. 7 shows an example of a general view of a computing device (300) that provides an implementation of the presented solution. For example, the server (130), the CCAC (150) and the hardware and software component of the CD (110) can be formed on the basis of the computing device (300).

В общем виде устройство (300) содержит объединенные общей шиной информационного обмена один или несколько процессоров (301), средства памяти, такие как ОЗУ (302) и ПЗУ (303), интерфейсы ввода/вывода (304), устройства ввода/вывода (305), и устройство для сетевого взаимодействия (306).In general, the device (300) contains one or more processors (301) united by a common bus of information exchange, memory means such as RAM (302) and ROM (303), input / output interfaces (304), input / output devices (305 ), and a device for networking (306).

Процессор (301) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. Под процессором или одним из используемых процессоров в системе (300) также необходимо учитывать графический процессор, например GPU NVIDIA или Graphcore, тип которых также является пригодным для полного или частичного выполнения способа (100), а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах.The processor (301) (or multiple processors, multi-core processor, etc.) can be selected from a range of devices currently widely used, for example, from manufacturers such as Intel ™, AMD ™, Apple ™, Samsung Exynos ™, MediaTEK ™ , Qualcomm Snapdragon ™, etc. Under the processor or one of the processors used in the system (300), it is also necessary to take into account a graphics processor, for example, NVIDIA GPU or Graphcore, the type of which is also suitable for full or partial execution of the method (100), and can also be used for training and applying machine learning models in various information systems.

ОЗУ (302) представляет собой оперативную память и предназначено для хранения исполняемых процессором (301) машиночитаемых инструкций для выполнение необходимых операций по логической обработке данных. ОЗУ (302), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом в качестве ОЗУ (302) может выступать доступный объем памяти графической карты или графического процессора.RAM (302) is a random access memory and is intended for storing computer-readable instructions executed by the processor (301) for performing the necessary operations for logical data processing. RAM (302), as a rule, contains executable instructions of the operating system and corresponding software components (applications, software modules, etc.). In this case, the available memory of the graphics card or graphics processor can act as RAM (302).

ПЗУ (303) представляет собой одно или более устройств постоянного хранения данных, например жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.ROM (303) is one or more persistent storage devices such as a hard disk drive (HDD), solid state data storage device (SSD), flash memory (EEPROM, NAND, etc.), optical storage media (CD-R / RW, DVD-R / RW, BlueRay Disc, MD), etc.

- 6 038293- 6 038293

Для организации работы компонентов системы (300) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (304). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь, PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.To organize the operation of system components (300) and to organize the operation of external connected devices, various types of I / O interfaces (304) are used. The choice of appropriate interfaces depends on the specific design of the computing device, which can be, but are not limited to, PCI, AGP, PS / 2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS / Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232, etc.

Для обеспечения взаимодействия пользователя с вычислительной системой (300) применяются различные средства (305) В/В информации, например клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.To ensure user interaction with the computing system (300), various means (305) I / O information are used, for example, a keyboard, display (monitor), touch display, touch pad, joystick, mouse manipulator, light pen, stylus, touch panel, trackball , speakers, microphone, augmented reality, optical sensors, tablet, light indicators, projector, camera, biometric identification (retina scanner, fingerprint scanner, voice recognition module), etc.

Средство сетевого взаимодействия (306) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например интранет, интернет, ЛВС и т.п. В качестве одного или более средств (306) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др. Дополнительно могут применяться также средства спутниковой навигации в составе системы (300), например GPS, ГЛОНАСС, BeiDou, Galileo.The means of networking (306) provides data transmission via an internal or external computer network, for example, an intranet, the Internet, a LAN, etc. One or more means (306) may be used, but not limited to: Ethernet card, GSM modem, GPRS modem, LTE modem, 5G modem, satellite communication module, NFC module, Bluetooth and / or BLE module, Wi-Fi module and etc. Additionally, satellite navigation means can also be used as part of the system (300), for example, GPS, GLONASS, BeiDou, Galileo.

Конкретный выбор элементов устройства (300) для реализации различных программно-аппаратных архитектурных решений может варьироваться с сохранением обеспечиваемого требуемого функционала.The specific choice of elements of the device (300) for the implementation of various software and hardware architectural solutions can vary while maintaining the required functionality provided.

Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.The submitted application materials disclose preferred examples of the implementation of the technical solution and should not be construed as limiting other, particular examples of its implementation, not going beyond the scope of the claimed legal protection, which are obvious to specialists in the relevant field of technology.

Claims (15)

ФОРМУЛА ИЗОБРЕТЕНИЯCLAIM 1. Способ выявления тревожных событий при взаимодействии с устройством самообслуживания (УС), выполняемый с помощью по меньшей мере одного вычислительного устройства, содержащий этапы, на которых получают данные по меньшей мере с одной камеры видеонаблюдения, характеризующие изображение по меньшей мере одной фигуры человека, находящегося вблизи УС;1. A method for detecting alarming events when interacting with a self-service device (US), performed with the help of at least one computing device, comprising the steps of obtaining data from at least one CCTV camera, characterizing the image of at least one figure of a person located near the US; выполняют анализ полученных данных с помощью модели машинного обучения, в ходе которого осуществляют обработку полученных изображений для выявления ключевых точек фигуры человека;analyzing the data obtained using a machine learning model, during which the obtained images are processed to identify the key points of the human figure; выполняют анализ ключевых точек, выявленных на предыдущем шаге, для определения позы, принятой фигурой человека;analyze the key points identified in the previous step to determine the pose taken by the human figure; осуществляют определение позы фигуры человека, находящейся в сидячем, согнутом или присевшем положении;determine the posture of a human figure in a sitting, bent or crouching position; выполняют анализ наличия взаимодействия фигуры человека в выявленном положении с УС;analyzing the presence of the interaction of the human figure in the identified position with the US; определяют временной интервал выявленного взаимодействия, причем если временной интервал больше установленного заранее порогового значения, то идентифицируют наличие тревожного события при работе с УС.determine the time interval of the detected interaction, and if the time interval is greater than a predetermined threshold value, then the presence of an alarm event is identified when working with the control system. 2. Способ по п.1, характеризующийся тем, что дополнительно фиксируется изображение, получаемое с камеры УС.2. The method according to claim 1, characterized in that the image obtained from the US camera is additionally recorded. 3. Способ по п.2, характеризующийся тем, что дополнительно фиксируются данные, получаемые от датчиков УС.3. The method according to claim 2, characterized in that the data received from the US sensors are additionally recorded. 4. Способ по п.1, характеризующийся тем, что получаемое изображение с камер видеонаблюдения анализируется на предмет распознавания личности человека, находящегося вблизи УС.4. The method according to claim 1, characterized in that the resulting image from the CCTV cameras is analyzed for identifying the identity of a person who is near the US. 5. Способ по п.1, характеризующийся тем, что получаемое изображение с камер видеонаблюдения анализируется на предмет наличия элементов, закрывающих лицо человека, осуществляющего взаимодействие с УС.5. The method according to claim 1, characterized in that the resulting image from the surveillance cameras is analyzed for the presence of elements that cover the face of the person interacting with the US. 6. Способ по п.1, характеризующийся тем, что анализ позы человека осуществляется с помощью построения графического скелета фигуры человека с помощью модели машинного обучения.6. The method according to claim 1, characterized in that the analysis of a person's posture is carried out by constructing a graphical skeleton of a human figure using a machine learning model. 7. Способ по п.6, характеризующийся тем, что определение позы осуществляются с помощью анализа углов между ключевыми точками цифрового скелета фигуры человека.7. The method according to claim 6, characterized in that the determination of the pose is carried out by analyzing the angles between the key points of the digital skeleton of the human figure. 8. Способ по п.7, характеризующийся тем, что выполняется построение векторов между ключевыми точками для осуществления анализа углов между ними.8. The method according to claim 7, characterized in that vectors are constructed between key points to analyze the angles between them. 9. Способ по п.1, характеризующийся тем, что при выявлении тревожного события осуществляет его передачу по каналу связи на пульт оперативного реагирования и/или активацию сигнализации.9. The method according to claim 1, characterized in that when an alarm event is detected, it is transmitted via a communication channel to a rapid response console and / or alarm is activated. 10. Способ по п.9, характеризующийся тем, что дополнительно осуществляется блокировка доступа в помещение, в котором установлено УС.10. The method according to claim 9, characterized in that the access to the room in which the CD is installed is additionally blocked. 11. Способ по п.1, характеризующийся тем, что при идентификации тревожного события формируется уведомление, содержащее, по меньшей мере, изображение фигуры человека вблизи УС, время и ад-11. The method according to claim 1, characterized in that when identifying an alarm event, a notification is generated containing at least an image of a human figure near the US, time and - 7 038293 рес фиксации события.- 7 038293 rescription of the event. 12. Способ по п.11, характеризующийся тем, что уведомление передается по каналам передачи данных по меньшей мере на одно удаленное устройство.12. The method according to claim 11, characterized in that the notification is transmitted over data transmission channels to at least one remote device. 13. Система выявления тревожных событий при взаимодействии с устройством самообслуживания (УС), содержащая по меньшей мере один процессор и средство хранения данных, содержащее машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором, обеспечивают получение данных по меньшей мере от одной камеры видеонаблюдения, характеризующих изображение по меньшей мере одной фигуры человека, находящего вблизи УС;13. A system for detecting alarms when interacting with a self-service device (SD), containing at least one processor and data storage means containing machine-readable commands, which, when executed by at least one processor, provide data from at least one CCTV camera , characterizing the image of at least one figure of a person who is near the US; выполнение анализа полученных данных с помощью модели машинного обучения, в ходе которого осуществляют обработку полученных изображений для выявления ключевых точек фигуры человека;analyzing the data obtained using a machine learning model, during which the received images are processed to identify the key points of the human figure; выполнения анализа ключевых точек для определения позы, принятой фигурой человека;performing analysis of key points to determine the posture taken by the human figure; осуществление определения позы фигуры человека, находящейся в сидячем, согнутом или присевшем положении;the implementation of the determination of the posture of a human figure in a sitting, bent or crouched position; выполнение анализа наличия взаимодействия фигуры человека в выявленном положении с УС;analysis of the presence of the interaction of the human figure in the identified position with the US; определение временного интервала выявленного взаимодействия; и если временной интервал больше установленного порогового значения, то идентификации наличия тревожного события при работе с УС.determination of the time interval of the identified interaction; and if the time interval is greater than the set threshold value, then identifying the presence of an alarm event when working with the DC. 14. Система по п.13, характеризующаяся тем, что при идентификации тревожного события формируется уведомление, содержащее, по меньшей мере, изображение фигуры человека вблизи УС, время и адрес фиксации события.14. The system according to claim 13, characterized in that upon identification of an alarm event, a notification is generated containing at least an image of a human figure near the CD, the time and address of fixing the event. 15. Система по п.14, характеризующаяся тем, что уведомление передается по каналам передачи данных по меньшей мере на одно удаленное устройство.15. The system of claim 14, wherein the notification is transmitted over data transmission channels to at least one remote device.
EA201990408A 2019-02-12 2019-02-27 Method and system for detecting troubling events during interaction with a self-service device EA038293B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019103861A RU2713876C1 (en) 2019-02-12 2019-02-12 Method and system for detecting alarm events when interacting with self-service device

Publications (2)

Publication Number Publication Date
EA201990408A1 EA201990408A1 (en) 2021-06-30
EA038293B1 true EA038293B1 (en) 2021-08-05

Family

ID=69625447

Family Applications (1)

Application Number Title Priority Date Filing Date
EA201990408A EA038293B1 (en) 2019-02-12 2019-02-27 Method and system for detecting troubling events during interaction with a self-service device

Country Status (3)

Country Link
EA (1) EA038293B1 (en)
RU (1) RU2713876C1 (en)
WO (1) WO2020167155A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881898B (en) * 2020-09-27 2021-02-26 西南交通大学 Human body posture detection method based on monocular RGB image
CN112257568A (en) * 2020-10-21 2021-01-22 中国人民解放军国防科技大学 Intelligent real-time supervision and error correction system and method for individual soldier queue actions
RU2770862C1 (en) * 2021-05-20 2022-04-22 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Method and device for recording troubling events on a service vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080251578A1 (en) * 2007-04-10 2008-10-16 Jansing Nicholas E Atm security system and method of use
CN101609581A (en) * 2008-06-16 2009-12-23 云南正卓信息技术有限公司 The anomalous video warning device of ATM
CN103873825A (en) * 2014-02-28 2014-06-18 北京航科威视光电信息技术有限公司 ATM (automatic teller machine) intelligent monitoring system and method
US9204823B2 (en) * 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
CN105913559A (en) * 2016-04-06 2016-08-31 南京华捷艾米软件科技有限公司 Motion sensing technique based bank ATM intelligent monitoring method
CN107219925A (en) * 2017-05-27 2017-09-29 成都通甲优博科技有限责任公司 Pose detection method, device and server

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2268497C2 (en) * 2003-06-23 2006-01-20 Закрытое акционерное общество "ЭЛВИИС" System and method for automated video surveillance and recognition of objects and situations
JP6447234B2 (en) * 2015-02-26 2019-01-09 沖電気工業株式会社 Terminal monitoring apparatus, terminal monitoring method and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080251578A1 (en) * 2007-04-10 2008-10-16 Jansing Nicholas E Atm security system and method of use
CN101609581A (en) * 2008-06-16 2009-12-23 云南正卓信息技术有限公司 The anomalous video warning device of ATM
US9204823B2 (en) * 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
CN103873825A (en) * 2014-02-28 2014-06-18 北京航科威视光电信息技术有限公司 ATM (automatic teller machine) intelligent monitoring system and method
CN105913559A (en) * 2016-04-06 2016-08-31 南京华捷艾米软件科技有限公司 Motion sensing technique based bank ATM intelligent monitoring method
CN107219925A (en) * 2017-05-27 2017-09-29 成都通甲优博科技有限责任公司 Pose detection method, device and server

Also Published As

Publication number Publication date
RU2713876C1 (en) 2020-02-07
WO2020167155A1 (en) 2020-08-20
EA201990408A1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
RU2713876C1 (en) Method and system for detecting alarm events when interacting with self-service device
CN103839373B (en) A kind of unexpected abnormality event Intelligent Recognition alarm device and warning system
US8139817B2 (en) Face image log creation
US20140369566A1 (en) Perimeter Image Capture and Recognition System
WO2018116488A1 (en) Analysis server, monitoring system, monitoring method, and program
CN105427421A (en) Entrance guard control method based on face recognition
CN107133608A (en) Identity authorization system based on In vivo detection and face verification
CN105913528A (en) Method and device for processing access control data, method and device for access control
Sokolova et al. A fuzzy model for human fall detection in infrared video
CN108875833B (en) Neural network training method, face recognition method and device
CN109167971A (en) Intelligent region monitoring alarm system and method
KR20190046351A (en) Method and Apparatus for Detecting Intruder
WO2020168960A1 (en) Video analysis method and apparatus
CN111627139A (en) Library face recognition and temperature measurement integrated safety door and detection method
JP6729793B2 (en) Information processing apparatus, control method, and program
JP6702045B2 (en) Monitoring device
CN107368728A (en) Visualize alarm management system and method
KR102316799B1 (en) Method and system for recognizing object and environment
US20210364356A1 (en) System and method for using artificial intelligence to enable elevated temperature detection of persons using commodity-based thermal cameras
CN101814134A (en) Intelligent flame detection method based on computer vision monitoring technology
EP3109837A1 (en) System and method of smart incident analysis in control system using floor maps
CN110533889B (en) Sensitive area electronic equipment monitoring and positioning device and method
CN112132048A (en) Community patrol analysis method and system based on computer vision
KR101515214B1 (en) Identification method using face recognition and entrance control system and method thereof using the identification method
WO2019220589A1 (en) Video analysis device, video analysis method, and program