RU2670079C1 - System and method for remote control of a cooking module - Google Patents

System and method for remote control of a cooking module Download PDF

Info

Publication number
RU2670079C1
RU2670079C1 RU2017136734A RU2017136734A RU2670079C1 RU 2670079 C1 RU2670079 C1 RU 2670079C1 RU 2017136734 A RU2017136734 A RU 2017136734A RU 2017136734 A RU2017136734 A RU 2017136734A RU 2670079 C1 RU2670079 C1 RU 2670079C1
Authority
RU
Russia
Prior art keywords
video surveillance
data
cooking
information processing
processing device
Prior art date
Application number
RU2017136734A
Other languages
Russian (ru)
Inventor
Александр Владимирович Кузьмин
Original Assignee
Общество С Ограниченной Ответственностью "Русхолтс"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Русхолтс" filed Critical Общество С Ограниченной Ответственностью "Русхолтс"
Priority to RU2017136734A priority Critical patent/RU2670079C1/en
Application granted granted Critical
Publication of RU2670079C1 publication Critical patent/RU2670079C1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00Cooking-vessels
    • A47J27/08Pressure-cookers; Lids or locking devices specially adapted therefor
    • A47J27/088Pressure-cookers; Lids or locking devices specially adapted therefor adapted to high-frequency heating
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00Heating by electric, magnetic or electromagnetic fields
    • H05B6/64Heating using microwaves

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Image Analysis (AREA)

Abstract

FIELD: video surveillance.SUBSTANCE: invention relates to a system for remote control of the operation of at least one cooking module having a chamber with cooking surface (1) comprising: video surveillance device (2) configured for video-recording working surface (1) of said chamber and transmitting obtained video surveillance data to information processing device (3), at least one information processing device (3) configured to receive and process, using OpenCV library algorithms, video surveillance data from the video surveillance device connected to monitor (4) for displaying processed video surveillance data. System also comprises remote server (5) configured to receive and store data from at least one information processing device (3), and remote device (6) for displaying data stored on remote server (5).EFFECT: said information processing device (3) is configured to output the processed video surveillance data to monitor (4), to collect statistical data on the use of the cooking module for a given period and transfer the processed video surveillance data and statistical data to remote server (5).7 cl, 1 dwg

Description

Изобретение относится к области удаленного контроля оборудования для приготовления пищи, в частности к системе и способу удаленного контроля по меньшей мере одного модуля приготовления пищи.The invention relates to the field of remote monitoring of cooking equipment, in particular to a system and method for remote monitoring of at least one cooking module.

УРОВЕНЬ ТЕХНИКИBACKGROUND

В настоящее время все большее распространение получают системы фото- и видеоконтроля за различными областями человеческой деятельности. Такая потребность существует и в сфере торговли, в частности торговли пищевыми продуктами на автозаправочных станциях (АЗС), сетях быстрого питания и прочих заведениях общественного питания.Currently, photo and video control systems for various areas of human activity are becoming more widespread. Such a need exists in the field of trade, in particular trade in food products at gas stations (gas stations), fast food chains and other catering establishments.

Одной из услуг, предоставляемых большинством АЗС своим клиентам, является торговля пищевыми продуктами быстрого питания, например гамбургерами и хот-догами. При этом приготовление (обжаривание, разогревание) отдельных компонентов такого «фастфуда» происходит непосредственно на АЗС, например, с помощью специальных модулей приготовление пищи. Таким модулем является, например, гриль-модуль для обжаривания сосисок, предназначенных для приготовления хот-догов. One of the services provided by most gas stations to their customers is the sale of fast food products, such as hamburgers and hot dogs. At the same time, the preparation (frying, heating) of the individual components of such a “fast food” takes place directly at the gas station, for example, using special cooking modules. Such a module is, for example, a grill module for frying sausages intended for cooking hot dogs.

Одной из проблем, связанных с продажей хот-догов на АЗС, является малый объем продаж, вызванный несоблюдением норм выкладки сосисок на жарочную поверхность гриль-модуля. Персонал АЗС опасается выкладывать на гриль сразу много сосисок, поскольку непроданные готовые сосиски подлежат списанию. Вместе с тем, нахождение на жарочной поверхности слишком малого количества сосисок отрицательно сказывается на желании клиентов приобрести хот-дог, что еще более снижает объем продаж. Таким образом, имеется необходимость осуществлять контроль за соблюдением норм выкладки сосисок на гриль на каждой АЗС, что при использовании стандартных средств является крайне неэффективным, принимая во внимания количество АЗС, входящих в одну сеть. Аналогичная проблема существует и в других заведениях общественного питания.One of the problems associated with the sale of hot dogs at gas stations is the low sales volume due to non-compliance with the norms for laying sausages on the frying surface of the grill module. The gas station staff is afraid to lay on the grill many sausages at once, since unsold ready-made sausages are subject to cancellation. However, the presence on the frying surface of too few sausages negatively affects the desire of customers to purchase a hot dog, which further reduces sales. Thus, there is a need to monitor compliance with the rules for laying out sausages on the grill at each gas station, which is extremely inefficient when using standard tools, taking into account the number of gas stations included in one network. A similar problem exists in other catering establishments.

Для решения указанной проблем требуется создание автоматизированной системы для удаленного контроля за состоянием жарочной поверхности гриль-модуля вышеупомянутого типа.To solve these problems, it is necessary to create an automated system for remote monitoring of the state of the frying surface of the grill module of the aforementioned type.

Сами по себе устройства для обжаривания пищевых продуктов, в частности сосисок, широко известны из уровня техники. Так, например, из патента РФ № 2092094 (опубликован 10.10.1997) известно устройство для обжаривания пищевых продуктов, содержащее приводной механизм и установленные на основании с возможностью вращения вокруг своей оси носители продукта, выполненные в виде металлических роликов. В указанном документе не раскрыто каких-либо средств фото- или видеоконтроля за приготовлением пищевых продуктов, позволяющих, в частности, удаленно наблюдать за продуктами, размещенными на жарочной поверхности.Devices for frying foodstuffs per se, in particular sausages, are well known in the art. So, for example, from the patent of the Russian Federation No. 2092094 (published on 10.10.1997), a device for frying food products is known, comprising a drive mechanism and product carriers made in the form of metal rollers mounted on the base with the possibility of rotation around its axis. This document does not disclose any means of photo or video control over the preparation of food products, allowing, in particular, to remotely monitor products placed on the frying surface.

Также известен патент РФ № 2400121 (опубликован 27.09.2010), в котором описано устройство приготовления пищи (например, гриль), содержащий первую и вторую плиты, а также средство распознавания размещенного на нем пищевого продукта, подлежащего приготовлению. В указанном документе раскрыт способ, предусматривающий возможность определения размеров и идентификации расположенных на гриле продуктов по их толщине. Вместе с тем, в данном техническом решении не предусмотрены средства фото- или видеонаблюдения за жарочной поверхностью гриля и средства обработки данных, полученных путем такого наблюдения, которые позволили бы осуществлять удаленный контроль за состоянием жарочной поверхности устройства приготовления пищи. Also known is the patent of the Russian Federation No. 2400121 (published on September 27, 2010), which describes a cooking device (for example, a grill) containing the first and second plates, as well as a recognition tool placed on it of the food product to be cooked. In this document, a method is disclosed providing for the possibility of determining the size and identification of products located on the grill by their thickness. At the same time, this technical solution does not provide means for photo or video surveillance of the frying surface of the grill and means for processing data obtained by such observation that would allow remote monitoring of the condition of the frying surface of the cooking device.

Средства видеонаблюдения за готовящимися продуктами известны, например, из патента РФ № 110892 (опубликован 27.11.2011), выбранного заявителем в качестве ближайшего аналога изобретения. В указанном документе раскрыта микроволновая печь, содержащая камеру для приготовления пищи и/или разогрева готовых пищевых продуктов, в которой имеется устройство видеонаблюдения, выполненное с возможностью взаимодействия с удаленным устройством обработки информации, например персональным компьютером. Указанная печь также оснащена электронным устройством для демонстрации изображений, экран которого расположен на наружной поверхности дверцы печи. Пользователь может наблюдать процесс приготовления блюда либо непосредственно на экране, размещенном на дверце печи, либо на удаленном устройстве, взаимодействующем с камерой. Такое техническое решение позволяет получать данные видеонаблюдения только от одного устройства приготовления пищи и не предусматривает средств, позволяющих собирать данные с нескольких устройств приготовления пищи, а также собирать статистические данные о работе таких устройств за определенный период времени.Means of video surveillance of products being prepared are known, for example, from RF patent No. 110892 (published on November 27, 2011) selected by the applicant as the closest analogue of the invention. In this document, a microwave oven is disclosed, comprising a camera for cooking and / or heating finished foods, in which there is a video surveillance device configured to interact with a remote information processing device, for example, a personal computer. The specified oven is also equipped with an electronic device for displaying images, the screen of which is located on the outer surface of the oven door. The user can observe the cooking process either directly on the screen placed on the oven door, or on a remote device that interacts with the camera. This technical solution allows you to receive video surveillance data from only one cooking device and does not provide means to collect data from several cooking devices, as well as to collect statistics on the operation of such devices for a certain period of time.

Исходя из вышеизложенного имеется потребность в системе и способе удаленного контроля по меньшей мере одного модуля приготовления пищи, позволяющих автоматически осуществлять в реальном времени контроль за приготовлением пищи на одном и более модулях приготовления пищи, а также получать статистические данные о работе каждого модуля приготовления пищи в течение заданного периода времени, в чем и состоит выявленная техническая проблема. Based on the foregoing, there is a need for a system and method for remote monitoring of at least one cooking module, allowing automatic real-time monitoring of cooking on one or more cooking modules, as well as obtaining statistics on the operation of each cooking module during a given period of time, which is what the identified technical problem consists of.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

С учетом выявленной проблемы задача, решаемая изобретением, состоит в том, чтобы предложить систему и способ удаленного контроля по меньшей мере одного модуля приготовления пищи, позволяющие автоматически осуществлять в реальном времени контроль за приготовлением пищи на одном и более модулях приготовления пищи, а также получать статистические данные о работе каждого модуля приготовления пищи в течение заданного периода времени. In view of the identified problem, the problem solved by the invention is to propose a system and method for remote monitoring of at least one cooking module, allowing automatic real-time monitoring of cooking on one or more cooking modules, as well as obtaining statistical data on the operation of each cooking module for a given period of time.

Указанная проблема решена посредством системы удаленного контроля работы по меньшей мере одного модуля приготовления пищи, имеющего камеру с рабочей поверхностью для приготовления пищи, включающей в себя:This problem is solved by means of a remote control system for the operation of at least one cooking module having a camera with a working surface for cooking, including:

устройство видеонаблюдения, размещенное внутри камеры модуля приготовления пищи и выполненное с возможностью осуществления непрерывной видеосъемки в реальном времени рабочей поверхности указанной камеры и передачи полученных данных видеонаблюдения устройству обработки информации, a video surveillance device located inside the camera of the cooking module and configured to continuously record in real time the working surface of the specified camera and transmit the received video surveillance data to the information processing device,

по меньшей мере одно устройство обработки информации, выполненное с возможностью приема и обработки данных видеонаблюдения от устройства видеонаблюдения, соединенное с монитором для отображения обработанных данных видеонаблюдения, отличающейся тем, что система дополнительно содержит:at least one information processing device configured to receive and process video surveillance data from a video surveillance device connected to a monitor for displaying processed video surveillance data, characterized in that the system further comprises:

удаленный сервер, выполненный с возможностью приема и хранения данных от по меньшей мере одного устройства обработки информации, и  a remote server configured to receive and store data from at least one information processing device, and

удаленное устройство отображения данных, хранящихся на удаленном сервере; a remote device for displaying data stored on a remote server;

и тем, что устройство обработки информации выполнено с возможностью выбора с заданной периодичностью кадров из данных видеонаблюдения, и с возможностью получения данных из библиотеки компьютерного зрения с открытым исходным кодом (OpenCV) для осуществления с их помощью:and the fact that the information processing device is configured to select frames from video surveillance data with a given periodicity, and to receive data from an open source code library of computer vision (OpenCV) for implementation with their help:

регулирования яркости, контрастности и цвета выбранных кадров с получением контрастного изображения, распознавания присутствующих на указанном контрастном изображении объектов и их сравнения с эталонными объектами, хранящимися в базе данных эталонных объектов устройства обработки информации для определения соответствия или несоответствия распознаваемого объекта эталонному объекту, и, в случае соответствия распознаваемого объекта эталонному объекту, определения времени нахождения объекта, на рабочей поверхности камеры модуля для приготовления пищи; adjusting the brightness, contrast and color of the selected frames to obtain a contrast image, recognition of objects present on the specified contrast image and their comparison with reference objects stored in the database of reference objects of the information processing device to determine whether the recognized object matches or does not match the reference object, and, in the case correspondence of the recognized object to the reference object, determining the time spent by the object on the working surface of the camera module for cooking;

при этом указанное устройство обработки информации выполнено с возможностью вывода на монитор обработанных данных видеонаблюдения, сбора статистических данных об использовании модуля приготовления пищи в течение заданного периода и передачи обработанных данных видеонаблюдения и статистических данных на удаленный сервер.wherein said information processing device is configured to output processed video surveillance data to a monitor, collect statistics on the use of a cooking module for a predetermined period, and transmit processed video surveillance data and statistics to a remote server.

Таким образом, система согласно изобретению, позволяет осуществлять непрерывный контроль в реальном времени за работой по меньшей мере одного модуля приготовления пищи, как по месту размещения этого модуля, так и удаленно. Кроме того, система позволяет собирать статистические данные о работе каждого модуля приготовления пищи в течение заданного периода времени. Thus, the system according to the invention allows continuous monitoring in real time of the operation of at least one cooking module, both at the location of this module and remotely. In addition, the system allows you to collect statistics on the operation of each cooking module for a given period of time.

Благодаря указанной системе, в частности, появляется возможность контролировать соблюдение норм выкладки пищевых продуктов на жарочную поверхность, повысить эффективность использования рабочей поверхности модуля приготовления пищи и, соответственно, увеличить объем продаж. Thanks to this system, in particular, it becomes possible to monitor compliance with the norms for laying out food products on a frying surface, increase the efficiency of using the working surface of the cooking module and, accordingly, increase sales.

Согласно варианту осуществления изобретения, рабочая поверхность камеры модуля приготовления пищи представляет собой жарочную поверхность.According to an embodiment of the invention, the working surface of the cooking module chamber is a frying surface.

Согласно варианту осуществления изобретения, жарочная поверхность выполнена с возможностью приготовления сосисок, при этом эталонным объектом является сосиска.According to an embodiment of the invention, the frying surface is arranged to make sausages, wherein the reference object is a sausage.

Согласно варианту осуществления изобретения, обработанные данные, полученные в результате обработки в устройстве обработки информации и выведенные на монитор и удаленное устройство отображения, представляют собой изображение, содержащее обработанные данные видеонаблюдения с наложением информации о степени готовности каждого объекта, соответствующего эталонному объекту, причем информация о степени готовности указанных объектов представлена на изображении с помощью разных цветов.According to an embodiment of the invention, the processed data obtained by processing in the information processing device and displayed on the monitor and the remote display device is an image containing the processed video surveillance data with information on the degree of readiness of each object corresponding to the reference object, and information on the degree of the readiness of these objects is represented in the image using different colors.

Согласно варианту осуществления изобретения, заданный период сбора статистических данных составляет один день.According to an embodiment of the invention, the predetermined period for collecting statistical data is one day.

Настоящим изобретением также предложен способ удаленного контроля работы по меньшей мере одного модуля приготовления пищи с применением вышеупомянутой системы, включающий в себя этапы, на которых:The present invention also provides a method for remotely monitoring the operation of at least one cooking module using the aforementioned system, comprising the steps of:

осуществляют устройством видеонаблюдения непрерывную съемку рабочей поверхности камеры по меньшей мере одного модуля для приготовления пищи;carry out by the video surveillance device continuous shooting of the working surface of the camera of at least one cooking module;

подают данные видеонаблюдения на устройство обработки информации; provide video surveillance data to the information processing device;

выбирают кадры данных видеонаблюдения, с заданной периодичностью, для последующей обработки с применением данных библиотеки компьютерного зрения с открытым исходным кодом (OpenCV) в ходе которой:select frames of video surveillance data, with a given periodicity, for subsequent processing using data from the computer vision library with open source code (OpenCV) during which:

- регулируют яркость, контрастность и цвет выбранных кадров с получением контрастного изображения;- adjust the brightness, contrast and color of the selected frames to obtain a contrast image;

- определяют границы всех светлых объектов, присутствующих на контрастном изображении с получением изображения, на котором обозначены границы указанных светлых объектов, являющихся распознаваемыми объектами;- determine the boundaries of all light objects present in the contrast image to obtain an image on which the boundaries of the specified light objects that are recognizable objects are indicated;

- определяют крайние точки распознаваемых объектов по двум осям и рассчитывают длину и диаметр распознаваемых объектов;- determine the extreme points of recognized objects along two axes and calculate the length and diameter of recognized objects;

- сравнивают длину, диаметр и цвет распознаваемых объектов с соответствующими параметрами эталонных объектов, хранящимися в базе данных эталонных объектов устройства обработки информации;- compare the length, diameter and color of the recognized objects with the corresponding parameters of the reference objects stored in the database of reference objects of the information processing device;

- в случае соответствия указанных параметров распознаваемого объекта соответствующим параметрам эталонного объекта считают объект соответствующим эталонному объекту;- if the specified parameters of the recognized object correspond to the corresponding parameters of the reference object, the object is considered to correspond to the reference object;

- закрепляют объект, соответствующий эталонному объекту, за определенной зоной рабочей поверхности приготовления пищи;- fix the object corresponding to the reference object, for a specific area of the working surface of the cooking;

- определяют время нахождения указанного объекта в указанной зоне;- determine the time spent by the specified object in the specified zone;

отображают на мониторе обработанные данные видеонаблюдения;display processed video surveillance data on the monitor;

направляют обработанные данные видеонаблюдения на удаленный сервер; send the processed video surveillance data to a remote server;

собирают статистические данные об использовании модуля приготовления пищи в течение заданного периода и направляют их на удаленный сервер;collecting statistics on the use of the cooking module for a given period and sending them to a remote server;

отображают информацию, хранящуюся на сервере, посредством удаленного устройства отображения информации.display information stored on the server through a remote information display device.

Согласно варианту осуществления изобретения, обработанные данные, полученные в результате обработки в устройстве обработки информации выводят на монитор и удаленное устройство отображения в виде изображения, содержащего обработанные данные видеонаблюдения с наложением информации о степени готовности каждого объекта, соответствующего эталонному объекту, причем информацию о степени готовности указанных объектов представляют на изображении с помощью разных цветов. According to an embodiment of the invention, the processed data obtained by processing in the information processing device is output to a monitor and a remote display device in the form of an image containing processed video surveillance data with information on the degree of readiness of each object corresponding to the reference object, and information on the degree of readiness of these objects are represented in the image using different colors.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

Далее изобретение будет описано более подробно со ссылкой на прилагаемую фигуру, на которой показана структурная схема системы удаленного контроля модуля приготовления пищи согласно изобретению.The invention will now be described in more detail with reference to the accompanying figure, which shows a block diagram of a remote control system for a cooking module according to the invention.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF THE INVENTION

Система удаленного контроля работы модуля приготовления пищи согласно изобретению, показанная на фиг. 1, включает в себя по меньшей мере один модуль приготовления пищи, имеющий камеру, в которой находится рабочая поверхность 1, предназначенная для размещения на ней и приготовления продуктов питания. The remote control system of the cooking module according to the invention shown in FIG. 1 includes at least one cooking module having a chamber in which there is a work surface 1, intended for placement on it and cooking food.

Рабочая поверхность 1 может представлять собой жарочную поверхность, в частности роликовую жарочную поверхность (гриль) для обжаривания сосисок, которая сама по себе известна.The work surface 1 may be a frying surface, in particular a roller frying surface (grill) for frying sausages, which is itself known.

Внутри камеры модуля приготовления пищи размещено устройство 2 видеонаблюдения, представляющее собой, например, видеокамеру, выполненную с возможностью осуществления непрерывной видеосъемки в реальном времени рабочей поверхности 1 указанной камеры модуля для приготовления пищи и передачи полученных данных видеонаблюдения устройству 3 обработки информации, например, персональному компьютеру или любому другому устройству, выполненному с возможностью приема данных и их последующей обработки. Inside the camera of the cooking module there is a video surveillance device 2, which is, for example, a video camera configured to continuously record in real time the working surface 1 of the camera module for cooking and transmitting the received video data to an information processing device 3, for example, a personal computer or any other device configured to receive data and their subsequent processing.

Связь между устройством видеонаблюдения и устройством обработки информации может быть осуществлена с применением проводного соединения или беспроводным способом.The connection between the video surveillance device and the information processing device can be carried out using a wired connection or wirelessly.

Система согласно изобретению также включает в себя монитор 4, соединенный с устройством 3 обработки информации, и предназначенный для отображения обработанных данных видеонаблюдения. The system according to the invention also includes a monitor 4 connected to the information processing device 3 and designed to display the processed video surveillance data.

Таким образом, на мониторе 4 пользователь может в реальном времени наблюдать за поверхностью приготовления пищи и расположенными на ней продуктами.Thus, on the monitor 4, the user can in real time observe the cooking surface and the products located on it.

Кроме того, система согласно изобретению включает в себя удаленный сервер 5, выполненный с возможностью приема и хранения данных от по меньшей мере одного устройства 3 обработки информации и соединенный с удаленным устройством 6 отображения хранящихся на сервере 5 данных. In addition, the system according to the invention includes a remote server 5, configured to receive and store data from at least one information processing device 3 and connected to a remote display device 6 for displaying data stored on the server 5.

Согласно изобретению, система может включать в себя множество модулей приготовления пищи. Например, на каждой из АЗС, входящей в состав сети АЗС может находиться по меньшей мере один модуль приготовления пищи, оснащенный устройством 2 видеонаблюдения и соединенный с устройством 3 обработки информации. При этом, обработанные данные видеонаблюдения с каждого модуля, после соответствующей обработки в устройстве 3 обработки информации, поступают на удаленный сервер 5 и могут отображаться на удаленном устройстве 6 отображения данных. Таким образом, на удаленном устройстве 6 отображения данных пользователь, осуществляющий контроль за всеми входящими в систему модулями приготовления пищи, может в реальном времени наблюдать за состоянием поверхности 1 приготовления пищи каждого из модулей приготовления пищи. According to the invention, the system may include multiple cooking modules. For example, at each of the gas stations included in the gas station network, there can be at least one cooking module equipped with a video surveillance device 2 and connected to an information processing device 3. At the same time, the processed video surveillance data from each module, after corresponding processing in the information processing device 3, is sent to the remote server 5 and can be displayed on the remote data display device 6. Thus, on the remote data display device 6, a user monitoring all the cooking modules included in the system can in real time monitor the state of the cooking surface 1 of each of the cooking modules.

Обработка данных видеонаблюдения в устройстве 3 обработки информации предусматривает выполнение ряда операций, которые более подробно описаны ниже при рассмотрении способа удаленного контроля модуля приготовления пищи согласно изобретению.The processing of video surveillance data in the information processing device 3 involves a series of operations, which are described in more detail below when considering a method for remote monitoring of a cooking module according to the invention.

Способ удаленного контроля работы по меньшей мере одного модуля приготовления пищи с применением вышеописанной системы включает в себя следующие этапы.A method for remotely monitoring the operation of at least one cooking module using the above system includes the following steps.

Осуществляют устройством 2 видеонаблюдения непрерывную съемку рабочей поверхности 1 камеры по меньшей мере одного модуля для приготовления пищи и подают данные видеонаблюдения на устройство 3 обработки информации, в котором выбирают кадры данных видеонаблюдения, с заданной периодичностью, для последующей обработки с применением данных библиотеки компьютерного зрения с открытым исходным кодом (OpenCV). Video surveillance device 2 carries out continuous shooting of the working surface 1 of the camera of at least one cooking module and video surveillance data is supplied to information processing device 3, in which video surveillance data frames are selected at a specified frequency for subsequent processing using open-vision computer data source code (OpenCV).

Запись видеопотока может осуществляться с периодичностью в диапазоне от 1 до 20 кадров в секунду. Время обработки данных зависит от производительности системы и может составлять, например, 1-5 секунд на один кадр. The video stream can be recorded at intervals ranging from 1 to 20 frames per second. The processing time depends on the system performance and can be, for example, 1-5 seconds per frame.

В ходе указанной обработки: During the specified processing:

- регулируют яркость, контрастность и цвет выбранных кадров с получением контрастного изображения;- adjust the brightness, contrast and color of the selected frames to obtain a contrast image;

- определяют границы всех светлых объектов, присутствующих на контрастном изображении с получением изображения, на котором обозначены границы указанных светлых объектов, являющихся распознаваемыми объектами;- determine the boundaries of all light objects present in the contrast image to obtain an image on which the boundaries of the specified light objects that are recognizable objects are indicated;

- определяют крайние точки распознаваемых объектов по двум осям и рассчитывают длину и диаметр распознаваемых объектов;- determine the extreme points of recognized objects along two axes and calculate the length and diameter of recognized objects;

- сравнивают длину, диаметр и цвет распознаваемых объектов с соответствующими параметрами эталонных объектов, хранящимися в базе данных эталонных объектов устройства обработки информации;- compare the length, diameter and color of the recognized objects with the corresponding parameters of the reference objects stored in the database of reference objects of the information processing device;

- в случае соответствия указанных параметров распознаваемого объекта соответствующим параметрам эталонного объекта считают объект соответствующим эталонному объекту;- if the specified parameters of the recognized object correspond to the corresponding parameters of the reference object, the object is considered to correspond to the reference object;

- закрепляют объект, соответствующий эталонному объекту, за определенной зоной рабочей поверхности камеры модуля приготовления пищи;- fix the object corresponding to the reference object, for a certain area of the working surface of the chamber of the cooking module;

- определяют время нахождения указанного объекта в указанной зоне.- determine the time spent by the specified object in the specified zone.

Технология применения алгоритмов библиотеки OpenCV для обработки изображений сама по себе широко известна из уровня техники и в настоящей заявке подробно не описана. The technology for using the OpenCV library algorithms for image processing is itself widely known in the art and is not described in detail in this application.

Обработанные данные видеонаблюдения отображают на мониторе 4, а также направляют обработанные данные видеонаблюдения на удаленный сервер 5, связанный с удаленным устройством 6 отображения информации, на котором также отображают указанные данные. The processed video surveillance data is displayed on the monitor 4, and also the processed video surveillance data is sent to a remote server 5 connected to the remote information display device 6, on which the indicated data is also displayed.

Таким образом, обработанные данные видеонаблюдения отображаются как на мониторе 4, размещенном по месту приготовления пищи, благодаря чему состояние жарочной поверхности и степень готовности сосисок могут контролироваться непосредственно персоналом АЗС, так и на удаленном устройстве 6 отображения информации, что обеспечивает возможность удаленного контроля за состоянием жарочной поверхности каждого из модулей приготовления пищи, входящего в систему согласно изобретению. Thus, the processed video surveillance data is displayed both on the monitor 4 located at the place of cooking, so that the state of the cooking surface and the degree of preparedness of sausages can be directly controlled by the gas station staff, and on the remote information display device 6, which allows remote monitoring of the state of the cooking the surface of each of the cooking modules included in the system according to the invention.

Согласно варианту осуществления изобретения, обработанные данные, полученные в результате обработки в устройстве обработки информации, могут отображаться на мониторе 4 и на удаленном устройстве 6 отображения в виде изображения, содержащего обработанные данные видеонаблюдения с наложением информации о степени готовности каждого объекта, соответствующего эталонному объекту, причем информацию о степени готовности указанных объектов представляют на изображении с помощью разных цветов.According to an embodiment of the invention, the processed data obtained as a result of processing in the information processing device can be displayed on the monitor 4 and on the remote display device 6 in the form of an image containing processed video surveillance data with information on the degree of readiness of each object corresponding to the reference object, and information on the degree of readiness of these objects is presented in the image using different colors.

Так, например, в случае, если пищевым продуктом является сосиска, а рабочей поверхностью 1 – роликовая жарочная поверхность, картинка, отображаемая на мониторе, представляет собой изображение жарочной поверхности с расположенными на ней сосисками.So, for example, if the food product is a sausage, and the working surface 1 is a roller frying surface, the picture displayed on the monitor is an image of a frying surface with sausages located on it.

На жарочной поверхности одновременно могут находиться сосиски, имеющий различный состав и, соответственно, цвет. Таким образом, по цвету сосисок на жарочной поверхности можно определить сколько сосисок конкретного типа находится на ней в каждый момент времени. On the frying surface, there may simultaneously be sausages having a different composition and, accordingly, color. Thus, by the color of the sausages on the frying surface, you can determine how many sausages of a particular type are on it at any given time.

Информация о степени готовности каждой сосиски может быть представлена в виде цвета контура сосиски. Так, например, зеленый цвет контура может обозначать готовность сосиски, голубой – сосиску, недавно помещенную на жарочную поверхность и имеющую низкую степень готовности, а красный – сосиску, находящуюся на жарочной поверхности слишком длительное время, непригодную для употребления и, следовательно, подлежащую списанию. Кроме того, желтым цветом может быть обозначен контур сосисок, которые находятся на поверхности чуть больше времени, чем это необходимо для их полной готовности, но менее того времени, при котором они подлежат списанию. В этом случае желтый цвет является индикатором того, что отмеченную сосиску нужно использовать для приготовления хот-дога в первую очередь.Information about the degree of readiness of each sausage can be represented as the color of the outline of the sausage. So, for example, the green color of the contour can indicate the readiness of the sausage, the blue - the sausage, recently placed on the frying surface and having a low degree of readiness, and the red - the sausage located on the frying surface for too long, unsuitable for consumption and, therefore, to be discarded. In addition, the outline of sausages that are on the surface a little longer than necessary for their full readiness, but less than the time at which they are to be written off, can be marked in yellow. In this case, the yellow color is an indicator that the marked sausage should be used to prepare the hot dog in the first place.

Кроме того, около каждого пищевого продукта приведена числовая информация, отображающая время его нахождения на жарочной поверхности в секундах и/или минутах. In addition, numerical information is shown near each food product, showing the time spent on the cooking surface in seconds and / or minutes.

В соответствии со способом согласно настоящему изобретению, собирают статистические данные об использовании каждого входящего в систему модуля приготовления пищи в течение заданного периода и направляют их на удаленный сервер 5. In accordance with the method according to the present invention, statistics are collected on the use of each cooking module included in the system for a given period and sent to a remote server 5.

Статистические данные могут включать в себя время работы модуля приготовления пищи, в частности его рабочей поверхности 1 и, соответственно, время простоя, т.е. время, в течение которого на рабочей поверхность не было обнаружено ни одного объекта, соответствующего эталонному объекту. Кроме того, статистические данные могут включать сведения об общем количестве пищевых продуктов, соответствующих эталонным объектам, которые находились на рабочей поверхности за определенный период времени, например за один день, позволяя, таким образом, пользователю получать сведения о дневном обороте продукции.Statistical data may include the operating time of the cooking module, in particular its working surface 1 and, accordingly, the downtime, i.e. the time during which not a single object corresponding to the reference object was found on the working surface. In addition, statistics may include information on the total amount of food products corresponding to the reference objects that were on the working surface for a certain period of time, for example, one day, thus allowing the user to receive information about the daily turnover of products.

Согласно варианту осуществления изобретения, период сбора статистических данных составляет один день. Специалисту очевидно, что техническое решение согласно изобретению позволяет осуществлять сбор статистических данных за любой желаемый период времени, например за час или месяц.According to an embodiment of the invention, the period for collecting statistics is one day. It will be apparent to those skilled in the art that the technical solution according to the invention allows the collection of statistics for any desired period of time, for example an hour or a month.

Благодаря предложенному изобретению, появляется возможность осуществлять непрерывный контроль в реальном времени за работой по меньшей мере одного модуля приготовления пищи, как по месту размещения этого модуля, так и удаленно. Кроме того, система позволяет собирать статистические данные о работе каждого модуля приготовления пищи в течение заданного периода времени, контролировать соблюдение норм выкладки пищевых продуктов на жарочную поверхность, повышая тем самым эффективность использования рабочей поверхности модуля приготовления пищи. Thanks to the proposed invention, it becomes possible to continuously monitor in real time the operation of at least one cooking module, both at the location of this module and remotely. In addition, the system allows you to collect statistical data on the operation of each cooking module for a given period of time, to monitor compliance with the norms for laying out food products on a frying surface, thereby increasing the efficiency of using the working surface of the cooking module.

Необходимо понимать, что описанные выше для примера варианты осуществления изобретения не ограничивают объем настоящего изобретения. После ознакомления с настоящим описанием специалисты в данной области техники могут предложить множество изменений и дополнений к описанным вариантам осуществления и их отдельным признакам, без отступления от объема патентной защиты изобретения, определяемой нижеследующей формулой изобретения.It should be understood that the above-described exemplary embodiments of the invention do not limit the scope of the present invention. After reading the present description, specialists in the art can propose many changes and additions to the described embodiments and their individual features, without departing from the scope of patent protection of the invention defined by the following claims.

Claims (28)

1. Система удаленного контроля работы по меньшей мере одного модуля приготовления пищи, имеющего камеру с рабочей поверхностью (1) для приготовления пищи, включающая в себя:1. A remote control system for the operation of at least one cooking module having a camera with a working surface (1) for cooking, including: устройство видеонаблюдения (2), размещенное внутри камеры модуля приготовления пищи и выполненное с возможностью осуществления непрерывной видеосъемки в реальном времени рабочей поверхности (1) указанной камеры и передачи полученных данных видеонаблюдения устройству (3) обработки информации, a video surveillance device (2) located inside the camera of the cooking module and configured to continuously record in real time the working surface (1) of the specified camera and transmit the obtained video surveillance data to the information processing device (3), по меньшей мере одно устройство (3) обработки информации, выполненное с возможностью приема и обработки данных видеонаблюдения от устройства видеонаблюдения, соединенное с монитором (4) для отображения обработанных данных видеонаблюдения, отличающаяся тем, что система дополнительно содержит:at least one information processing device (3) configured to receive and process video surveillance data from a video surveillance device connected to a monitor (4) for displaying processed video surveillance data, characterized in that the system further comprises: удаленный сервер (5), выполненный с возможностью приема и хранения данных от по меньшей мере одного устройства (3) обработки информации, и  a remote server (5), configured to receive and store data from at least one information processing device (3), and удаленное устройство (6) отображения данных, хранящихся на удаленном сервере (5); remote device (6) display data stored on the remote server (5); и тем, что устройство (3) обработки информации выполнено с возможностью выбора с заданной периодичностью кадров из данных видеонаблюдения, и с возможностью получения данных из библиотеки компьютерного зрения с открытым исходным кодом (OpenCV) для осуществления с их помощью:and the fact that the information processing device (3) is configured to select frames from video surveillance data with a given periodicity, and to receive data from an open source computer vision library (OpenCV) to implement them: регулирования яркости, контрастности и цвета выбранных кадров с получением контрастного изображения, распознавания присутствующих на указанном контрастном изображении объектов и их сравнения с эталонными объектами, хранящимися в базе данных эталонных объектов устройства обработки информации для определения соответствия или несоответствия распознаваемого объекта эталонному объекту, и, в случае соответствия распознаваемого объекта эталонному объекту, определения времени нахождения объекта, на рабочей поверхности камеры модуля для приготовления пищи; adjusting the brightness, contrast and color of the selected frames to obtain a contrast image, recognition of objects present on the specified contrast image and their comparison with reference objects stored in the database of reference objects of the information processing device to determine whether the recognized object matches or does not match the reference object, and, in the case correspondence of the recognized object to the reference object, determining the time spent by the object on the working surface of the camera module for cooking; при этом указанное устройство (3) обработки информации выполнено с возможностью вывода на монитор (4) обработанных данных видеонаблюдения, сбора статистических данных об использовании модуля приготовления пищи в течение заданного периода и передачи обработанных данных видеонаблюдения и статистических данных на удаленный сервер (5).wherein said information processing device (3) is configured to output processed video surveillance data to a monitor (4), collect statistics on the use of a cooking module for a given period, and transmit processed video surveillance data and statistical data to a remote server (5). 2. Система по п. 1, отличающаяся тем, что рабочая поверхность (1) камеры модуля приготовления пищи представляет собой жарочную поверхность. 2. The system according to claim 1, characterized in that the working surface (1) of the chamber of the cooking module is a frying surface. 3. Система по п. 2, отличающаяся тем, что жарочная поверхность выполнена с возможностью приготовления сосисок, при этом эталонным объектом является сосиска.3. The system according to p. 2, characterized in that the frying surface is made with the possibility of cooking sausages, while the reference object is a sausage. 4. Система по любому из пп. 1-3, отличающаяся тем, что обработанные данные, полученные в результате обработки в устройстве (3) обработки информации и выведенные на монитор (4) и удаленное устройство (6) отображения, представляют собой изображение, содержащее обработанные данные видеонаблюдения с наложением информации о степени готовности каждого объекта, соответствующего эталонному объекту, причем информация о степени готовности указанных объектов представлена на изображении с помощью разных цветов.4. The system according to any one of paragraphs. 1-3, characterized in that the processed data obtained as a result of processing in the information processing device (3) and displayed on the monitor (4) and the remote display device (6) is an image containing the processed video surveillance data with degree information overlay the readiness of each object corresponding to the reference object, and information on the degree of readiness of these objects is presented in the image using different colors. 5. Система по любому из пп. 1-3, отличающаяся тем, что заданный период сбора статистических данных составляет один день.5. The system according to any one of paragraphs. 1-3, characterized in that the predetermined period for collecting statistical data is one day. 6. Способ удаленного контроля работы по меньшей мере одного модуля приготовления пищи с применением системы по любому из пп. 1-5, включающий в себя этапы, на которых:6. A method for remotely monitoring the operation of at least one cooking module using the system according to any one of claims. 1-5, which includes stages in which: осуществляют устройством (2) видеонаблюдения непрерывную съемку рабочей поверхности (1) камеры по меньшей мере одного модуля для приготовления пищи;carry out the device (2) video surveillance continuous shooting of the working surface (1) of the camera of at least one module for cooking; подают данные видеонаблюдения на устройство (3) обработки информации; provide video surveillance data to the information processing device (3); выбирают кадры данных видеонаблюдения, с заданной периодичностью, для последующей обработки с применением данных библиотеки компьютерного зрения с открытым исходным кодом (OpenCV) в ходе которой:select frames of video surveillance data, with a given periodicity, for subsequent processing using data from the computer vision library with open source code (OpenCV) during which: - регулируют яркость, контрастность и цвет выбранных кадров с получением контрастного изображения;- adjust the brightness, contrast and color of the selected frames to obtain a contrast image; - определяют границы всех светлых объектов, присутствующих на контрастном изображении с получением изображения, на котором обозначены границы указанных светлых объектов, являющихся распознаваемыми объектами;- determine the boundaries of all light objects present in the contrast image to obtain an image on which the boundaries of the specified light objects that are recognizable objects are indicated; - определяют крайние точки распознаваемых объектов по двум осям и рассчитывают длину и диаметр распознаваемых объектов;- determine the extreme points of recognized objects along two axes and calculate the length and diameter of recognized objects; - сравнивают длину, диаметр и цвет распознаваемых объектов с соответствующими параметрами эталонных объектов, хранящимися в базе данных эталонных объектов устройства обработки информации;- compare the length, diameter and color of the recognized objects with the corresponding parameters of the reference objects stored in the database of reference objects of the information processing device; - в случае соответствия указанных параметров распознаваемого объекта соответствующим параметрам эталонного объекта считают объект соответствующим эталонному объекту;- if the specified parameters of the recognized object correspond to the corresponding parameters of the reference object, the object is considered to correspond to the reference object; - закрепляют объект, соответствующий эталонному объекту, за определенной зоной рабочей поверхности камеры модуля приготовления пищи;- fix the object corresponding to the reference object, for a certain area of the working surface of the chamber of the cooking module; - определяют время нахождения указанного объекта в указанной зоне;- determine the time spent by the specified object in the specified zone; - отображают на мониторе (4) обработанные данные видеонаблюдения;- display the processed video surveillance data on the monitor (4); - направляют обработанные данные видеонаблюдения на удаленный сервер (5); - send the processed video surveillance data to a remote server (5); - собирают статистические данные об использовании модуля приготовления пищи в течение заданного периода и направляют их на удаленный сервер (5);- collect statistics on the use of the cooking module for a given period and send them to a remote server (5); - отображают информацию, хранящуюся на сервере (5), посредством удаленного устройства (6) отображения информации.- display information stored on the server (5), through a remote device (6) display information. 7. Способ по п. 6, в котором обработанные данные, полученные в результате обработки в устройстве обработки информации, выводят на монитор (4) и удаленное устройство (6) отображения в виде изображения, содержащего обработанные данные видеонаблюдения с наложением информации о степени готовности каждого объекта, соответствующего эталонному объекту, причем информацию о степени готовности указанных объектов представляют на изображении с помощью разных цветов.7. The method according to claim 6, in which the processed data obtained as a result of processing in the information processing device is output to a monitor (4) and a remote display device (6) in the form of an image containing processed video surveillance data with information on the degree of readiness of each the object corresponding to the reference object, and information about the degree of readiness of these objects is represented in the image using different colors.
RU2017136734A 2017-10-18 2017-10-18 System and method for remote control of a cooking module RU2670079C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2017136734A RU2670079C1 (en) 2017-10-18 2017-10-18 System and method for remote control of a cooking module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2017136734A RU2670079C1 (en) 2017-10-18 2017-10-18 System and method for remote control of a cooking module

Publications (1)

Publication Number Publication Date
RU2670079C1 true RU2670079C1 (en) 2018-10-17

Family

ID=63862524

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017136734A RU2670079C1 (en) 2017-10-18 2017-10-18 System and method for remote control of a cooking module

Country Status (1)

Country Link
RU (1) RU2670079C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262919A1 (en) 2021-06-14 2022-12-22 Fki Fast Food Teknik A/S Method and system for monitoring a cooking state of a food item

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559882B1 (en) * 1999-09-02 2003-05-06 Ncr Corporation Domestic appliance
CN101504158A (en) * 2008-07-30 2009-08-12 郭恒勋 Microwave oven without microwave radiation and its operation and control method
RU2400121C2 (en) * 2005-03-15 2010-09-27 Инодис Корпорейшн Device and method for cooking with recognition of food
RU110892U1 (en) * 2011-06-20 2011-11-27 Евгений Александрович Патыков HOUSEHOLD MICROWAVE FURNACE EQUIPPED WITH A CCTV DEVICE
RU2468732C2 (en) * 2007-09-07 2012-12-10 Бургер Кинг Корпорейшн Automatic cabinet oven for cooking batches of different food products
CN103327148A (en) * 2013-06-28 2013-09-25 惠州Tcl移动通信有限公司 Screen backlight brightness adjusting implementation method based on mobile terminal and mobile terminal

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559882B1 (en) * 1999-09-02 2003-05-06 Ncr Corporation Domestic appliance
RU2400121C2 (en) * 2005-03-15 2010-09-27 Инодис Корпорейшн Device and method for cooking with recognition of food
RU2468732C2 (en) * 2007-09-07 2012-12-10 Бургер Кинг Корпорейшн Automatic cabinet oven for cooking batches of different food products
CN101504158A (en) * 2008-07-30 2009-08-12 郭恒勋 Microwave oven without microwave radiation and its operation and control method
RU110892U1 (en) * 2011-06-20 2011-11-27 Евгений Александрович Патыков HOUSEHOLD MICROWAVE FURNACE EQUIPPED WITH A CCTV DEVICE
CN103327148A (en) * 2013-06-28 2013-09-25 惠州Tcl移动通信有限公司 Screen backlight brightness adjusting implementation method based on mobile terminal and mobile terminal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262919A1 (en) 2021-06-14 2022-12-22 Fki Fast Food Teknik A/S Method and system for monitoring a cooking state of a food item

Similar Documents

Publication Publication Date Title
CN109151378A (en) A kind of carryout monitoring system
CN113194792B (en) System and method for training cooking utensil, positioning food and determining cooking progress
US10796138B2 (en) Intra-facility activity analysis device, intra-facility activity analysis system, and intra-facility activity analysis method
US10445693B2 (en) Goods monitoring device, goods monitoring system, and goods monitoring method
US20210030199A1 (en) Augmented reality-enhanced food preparation system and related methods
CN106371337B (en) Intelligent cooking control method, intelligent kitchen control system and smart kitchen systems
US11339971B2 (en) Oven with automatic control of pan elevation
US10818006B2 (en) Commodity monitoring device, commodity monitoring system, and commodity monitoring method
US20220284684A1 (en) Augmented reality feedback of inventory for an appliance
CN110717448A (en) Dining room kitchen intelligent management system
US20200357083A1 (en) Computer-assisted quality control for commercial kitchen
MXPA04002088A (en) Diagnostic data interchange.
CN108665134A (en) Device and method for monitoring food preparation
RU2670079C1 (en) System and method for remote control of a cooking module
US10628792B2 (en) Systems and methods for monitoring and restocking merchandise
CN110333748A (en) It is a kind of for monitoring the customer query system and method for plant growth
EP3502569A1 (en) Method and device for optimising a baking process
CN107122926A (en) Method and its system that cooking food remotely places an order
JP2018010372A (en) Facility management support device and facility management support method
WO2001059736A9 (en) System and method of facilities and operations monitoring and remote management support
US20240029020A1 (en) Food processing system
WO2022025282A1 (en) Learning control system
CN109124301A (en) A kind of unmanned intelligent kitchen system and its operating method
US20220343239A1 (en) Fried food display management apparatus and fried food display management method
US20180300802A1 (en) Facility imaging device, facility image collecting device, facility image storage device, facility image output control device, facility operation support device, user terminal device, and facility operation support method