RU2748581C1 - System for automatic generation of scripted video clip with presence of defined object or group of objects on screen - Google Patents
System for automatic generation of scripted video clip with presence of defined object or group of objects on screen Download PDFInfo
- Publication number
- RU2748581C1 RU2748581C1 RU2020112838A RU2020112838A RU2748581C1 RU 2748581 C1 RU2748581 C1 RU 2748581C1 RU 2020112838 A RU2020112838 A RU 2020112838A RU 2020112838 A RU2020112838 A RU 2020112838A RU 2748581 C1 RU2748581 C1 RU 2748581C1
- Authority
- RU
- Russia
- Prior art keywords
- data
- video
- unit
- scenario
- photo
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
Изобретение относится к системам создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов за счет системы идентификации. Система предназначена для формирования видеоролика, снятого в местах оказания развлекательных услуг, проведения культурно-массовых и спортивных мероприятий, с изначально заданным сценарием. Цель создания видеороликов - сохранение впечатлений от участия в соревнованиях, от посещения определенного места, повышение популярности места, на территории которого был создан видеоролик.The invention relates to systems for creating a scenario video with the presence of a given object or a group of objects in the frame due to the identification system. The system is designed to form a video, filmed in places of entertainment services, cultural and sports events, with an initially set scenario. The purpose of creating videos is to preserve the impressions of participating in competitions, from visiting a certain place, increasing the popularity of the place on the territory of which the video was created.
Настоящее изобретение является техническим развитием системы для автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов с возможностью автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов (Патент RU2683499C1), содержащей: блок съемки, включающий, по крайней мере, одно устройство записи первичных видеоданных; модуль хранения информации, включающий блок для хранения первичных видеоданных; блок идентификации заданного объекта или группы объектов в первичных видеоданных; блок ввода информации о заданном объекте или группе объектов для их идентификации; блок извлечения релевантных видеоданных с присутствием в кадре заданного объекта или группы объектов, причем под релевантными видеоданными понимаются видеофрагменты с присутствием в кадре заданного объекта, вырезанные по меткам, установленным блоком идентификации из первичных видеоданных; блок обработки релевантных видеоданных; по крайней мере, один сценарный шаблон, включающий набор данных для работы блока съемки, блока извлечения релевантных видеоданных и блока обработки релевантных видеоданных, причем каждое устройство записи первичных видеоданных из блока съемки работает по данным сценарного шаблона, в котором данными сценарного шаблона в части работы блока съемки являются данные, задающие, в частности, план кадра, глубину резкости, геометрию кадра, поле зрения объектива, движение камеры, приближение и удаление заданного объекта в кадре; причем блок извлечения релевантных видеоданных включает программное обеспечение, которое позволяет по меткам, установленным блоком идентификации, и данным сценарного шаблона вырезать видеофрагменты с присутствием в кадре заданного объекта из первичных видеоданных, в котором данными сценарного шаблона в части формирования релевантных видеоданных являются данные, которые задают, в частности, местоположение заданного объекта в кадре, длину видеофрагмента, количество видеофрагментов, синхронизацию кадров; причем блок обработки релевантных видеоданных включает программное обеспечение, которое позволяет формировать сценарные видеоролики, используя релевантные данные, сформированные блоком извлечения, и данные сценарного шаблона, в котором данными сценарного шаблона в части работы блока обработки являются, в частности, данные, задающие вид монтажа, ритм монтажа, продолжительность монтажного эпизода, последовательность планов и кадров, цветокоррекцию, концентрацию внимания в кадре на определенных объектах съемки, добавление графических спецэффектов, совмещение кадра с данными телеметрической системы; при этом модуль хранения информации дополнительно включает блок хранения релевантных видеоданных, блок хранения сценарных шаблонов, блок хранения сценарных видеороликов. Блок обработки релевантных видеоданных может быть выполнен с возможностью формирования сценарных видеороликов на основании релевантных видеоданных и данных сценарного шаблона. Блок идентификации может включать электронное устройство с уникальным идентификатором. Система может дополнительно содержать блок передачи сценарных видеороликов, по меньшей мере, одним из следующих способов: онлайн трансляция, запись на носитель, передача через интернет, в частности через социальные сети. Блок ввода информации может быть выполнен с возможностью выбора способа передачи сценарного видеоролика блоком передачи и/или с возможностью выбора сценарного шаблона. Блок съемки может дополнительно включать телеметрическую систему. Система может формировать сценарный видеоролик в режиме реального времени.The present invention is a technical development of a system for automatically creating a scenario video with the presence of a given object or a group of objects in the frame with the possibility of automatically creating a scenario video with the presence of a given object or a group of objects in the frame (Patent RU2683499C1), containing: a shooting unit, including at least , one device for recording primary video data; an information storage module comprising a unit for storing primary video data; a unit for identifying a given object or a group of objects in the primary video data; block for inputting information about a given object or group of objects for their identification; a unit for extracting relevant video data with the presence of a given object or a group of objects in the frame, and by the relevant video data we mean video fragments with the presence of a given object in the frame, cut out according to the marks set by the identification unit from the primary video data; a processing unit for relevant video data; at least one scenario template, including a data set for the operation of the shooting unit, the relevant video data extraction unit and the relevant video data processing unit, and each device for recording the primary video data from the shooting unit works according to the scenario template data, in which the scenario template data in the part of the unit operation shooting is data defining, in particular, the plan of the frame, the depth of field, the geometry of the frame, the field of view of the lens, the movement of the camera, the approach and removal of a given object in the frame; moreover, the block for extracting the relevant video data includes software that allows, according to the marks set by the identification block and the data of the scenario template, to cut out video fragments with the presence of a given object in the frame from the primary video data, in which the data of the scenario template in the part of generating the relevant video data are data that specify in particular, the location of a given object in the frame, the length of the video clip, the number of video clips, frame synchronization; moreover, the relevant video data processing unit includes software that allows generating scenario videos using the relevant data generated by the extraction unit and scenario template data, in which the scenario template data in terms of the processing unit operation is, in particular, data specifying the type of editing, rhythm editing, the duration of the editing episode, the sequence of shots and shots, color correction, concentration of attention in the frame at certain shooting objects, adding graphic special effects, combining the frame with the data of the telemetric system; wherein the information storage module additionally includes a storage unit for relevant video data, a storage unit for scenario templates, and a storage unit for scenario videos. The relevant video data processing unit can be configured to generate scenario videos based on the relevant video data and scenario template data. The identification unit may include an electronic device with a unique identifier. The system may further comprise a unit for transmitting scenario videos in at least one of the following ways: online broadcasting, recording on a medium, transmission via the Internet, in particular via social networks. The information input unit can be configured to select a method for transmitting a scenario video by a transmission unit and / or to select a scenario template. The survey unit can additionally include a telemetry system. The system can form a scenario video in real time.
В данную систему заложены, но не реализованы возможности дальнейших совершенствований, связанных, в частности, с автоматическим созданием сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов с использованием материала, созданного или привлечённого самим пользователем.This system includes, but not implemented, the possibilities of further improvements, associated, in particular, with the automatic creation of a scenario video with the presence of a given object or a group of objects in the frame using material created or attracted by the user himself.
Задачей изобретения являлось дополнение и изменение известной системы для устранения вышеуказанных недостатков.The object of the invention was to supplement and modify the known system to eliminate the above disadvantages.
Технический результат – расширение возможностей пользователя влиять на конечный результат.The technical result is to expand the user's ability to influence the final result.
Указанная задача решается системой для автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов с возможностью автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов, содержащей: модуль хранения информации, включающий блок для хранения первичных фото- и видеоданных; блок идентификации заданного объекта или группы объектов в первичных видеоданных; блок ввода информации о заданном объекте или группе объектов для их идентификации; блок извлечения релевантных фото- и видеоданных с присутствием в кадре заданного объекта или группы объектов, причем под релевантными видеоданными понимаются фото- и видеофрагменты с присутствием в кадре заданного объекта, вырезанные по меткам, установленным блоком идентификации из первичных фото- и видеоданных; блок обработки релевантных фото- и видеоданных; по крайней мере, один сценарный шаблон, включающий набор данных для работы блока извлечения релевантных фото- и видеоданных и блока обработки релевантных фото- и видеоданных, причем блок для хранения первичных фото- и видеоданных содержит ролики, созданные по данным по меньшей мере одного сценарного шаблона, в которых данными сценарного шаблона в части работы блока съемки являются данные, задающие, в частности, план кадра, глубину резкости, геометрию кадра, поле зрения объектива, движение камеры, приближение и удаление заданного объекта в кадре; причем блок извлечения релевантных видеоданных включает программное обеспечение, которое позволяет по меткам, установленным блоком идентификации, и данным сценарного шаблона вырезать видеофрагменты с присутствием в кадре заданного объекта из первичных видеоданных, в котором данными сценарного шаблона в части формирования релевантных фото- и видеоданных являются данные, которые задают, в частности, местоположение заданного объекта в кадре, длину фото- и видеофрагмента, количество фото- и видеофрагментов, синхронизацию кадров; причем блок обработки релевантных фото- и видеоданных включает программное обеспечение, которое позволяет формировать сценарные видеоролики, используя релевантные данные, сформированные блоком извлечения, и данные сценарного шаблона, в котором данными сценарного шаблона в части работы блока обработки являются, в частности, данные, задающие вид монтажа, ритм монтажа, продолжительность монтажного эпизода, последовательность планов и кадров, цветокоррекцию, концентрацию внимания в кадре на определенных объектах съемки, добавление графических спецэффектов, совмещение кадра с данными телеметрической системы; при этом модуль хранения информации дополнительно включает блок хранения релевантных фото- и видеоданных, блок хранения сценарных шаблонов, блок хранения сценарных видеороликов, которая, согласно предложению дополнительно содержит: по меньшей мере один связанный с блоком идентификации блок сбора информации о клиенте, включающей один или несколько показателей из следующих: местонахождение по GPS, Glonass или косвенным признакам, личные данные, касающиеся пола или возраста, или профиля в социальных сетях, доступ к фото- и видеоданным на устройстве пользователя или в базе данных пользователя, физическое состояния пользователя; по меньшей мере, один связанный с блоком извлечения релевантных данных блок подсъёмов, выполненных пользователем, при этом блок извлечения релевантных данных выполнен с возможностью выбора подсъема, исходя из привязки к объекту, которая может включать, но не ограничиваться местом или брендом, или личностью, или событием, или временем, или погодными условиями, или эмоциями, или праздниками, или трендами.This problem is solved by the system for automatically creating a scenario video with the presence of a given object or a group of objects in the frame with the possibility of automatically creating a scenario video with the presence of a given object or a group of objects in the frame, containing: an information storage module, including a block for storing primary photo and video data; a unit for identifying a given object or a group of objects in the primary video data; block for inputting information about a given object or group of objects for their identification; a unit for extracting relevant photo and video data with the presence of a given object or a group of objects in the frame, and by the relevant video data are meant photo and video fragments with the presence of a given object in the frame, cut out according to the marks set by the identification unit from the primary photo and video data; processing unit for relevant photo and video data; at least one scenario template, including a data set for the operation of the unit for extracting relevant photo and video data and the unit for processing relevant photo and video data, and the unit for storing the primary photo and video data contains clips created according to the data of at least one scenario template , in which the data of the scenario template in the part of the operation of the shooting unit are data specifying, in particular, the plan of the frame, the depth of field, the geometry of the frame, the field of view of the lens, the movement of the camera, the approach and removal of a given object in the frame; moreover, the block for extracting relevant video data includes software that allows, according to the marks set by the identification block and the data of the scenario template, to cut out video fragments with the presence of a given object in the frame from the primary video data, in which the data of the scenario template in terms of forming the relevant photo and video data is data, which set, in particular, the location of a given object in the frame, the length of the photo and video fragment, the number of photo and video fragments, frame synchronization; moreover, the processing unit of relevant photo and video data includes software that allows you to generate scenario videos using the relevant data generated by the extraction unit and scenario template data, in which the scenario template data in part of the processing unit operation is, in particular, data defining the view editing, the rhythm of editing, the duration of the editing episode, the sequence of plans and frames, color correction, concentration of attention in the frame at certain shooting objects, adding graphic special effects, combining the frame with the data of the telemetric system; wherein the information storage module additionally includes a storage unit for relevant photo and video data, a storage unit for scenario templates, a storage unit for scenario videos, which, according to the proposal, further comprises: at least one client information collection unit associated with the identification unit, including one or more indicators of the following: location by GPS, Glonass or indirect indications, personal data relating to gender or age, or profile in social networks, access to photo and video data on the user's device or in the user's database, the user's physical condition; at least one sub-subtraction unit associated with the relevant data extractor unit, performed by the user, the relevant data extractor unit being configured to select sub-subtraction based on an object binding, which may include but not be limited to place or brand, or personality, or an event, or time, or weather conditions, or emotions, or holidays, or trends.
Как и в прототипе блок обработки релевантных видеоданных может быть выполнен с возможностью формирования сценарных видеороликов на основании релевантных фото- и видеоданных и данных сценарного шаблона.As in the prototype, the relevant video data processing unit can be configured to generate scenario videos based on the relevant photo and video data and scenario template data.
Блок идентификации может включать электронное устройство с уникальным идентификатором.The identification unit may include an electronic device with a unique identifier.
Система может дополнительно содержать блок передачи сценарных видеороликов, по меньшей мере, одним из следующих способов: онлайн трансляция, запись на носитель, передача через интернет, в частности через социальные сети.The system may additionally contain a block for transmitting scenario videos in at least one of the following ways: online broadcasting, recording on a medium, transmission via the Internet, in particular via social networks.
Блок ввода информации может быть выполнен с возможностью выбора способа передачи сценарного видеоролика блоком передачи и/или с возможностью выбора сценарного шаблона.The information input unit can be configured to select a method for transmitting a scenario video by a transmission unit and / or to select a scenario template.
Блок съемки может дополнительно включать телеметрическую систему.The survey unit can additionally include a telemetry system.
Система может формировать сценарный видеоролик в режиме реального времени.The system can generate a scenario video in real time.
Система может дополнительно содержать блок разграничения прав пользователей, содержащий сведения о, по меньшей мере, двух категориях пользователей: создатель шаблона, пользователь шаблона, где создатель шаблона — это тот пользователь, которому разрешается создавать, редактировать и модернизировать шаблоны, а пользователь шаблона — имеет возможность использовать шаблон в создании своего видеоконтента, а также делится полученным результатом и шаблоном, комментировать шаблон и пр. Другие категории пользователей, например «Бизнес-аккаунт» или «user-аккаунт» могут отличаться как условиями использования системы, так и функционалом, который предоставляется системой.The system may additionally contain a block for differentiating user rights, containing information about at least two categories of users: the creator of the template, the user of the template, where the creator of the template is the user who is allowed to create, edit and update templates, and the user of the template has the ability use the template in creating your video content, and also share the result and the template, comment on the template, etc. Other categories of users, for example, "Business account" or "user-account" may differ both in the terms of use of the system and in the functionality provided by the system ...
Предложенное изобретение поясняется графическим материалом.The proposed invention is illustrated by graphic material.
На чертеже представлена общая схема системы автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов.The drawing shows a general diagram of a system for automatically creating a scenario video with the presence of a given object or a group of objects in the frame.
Под термином «сценарный шаблон» в данном описании понимается набор данных для работы определенных блоков системы, которые определяют сюжет и художественный стиль сценарного видеоролика.The term "scenario template" in this description means a set of data for the operation of certain blocks of the system, which determine the plot and artistic style of the scenario video.
Под терминами «объект» в данном описании подразумевается движущийся или стационарный объект, который интересен пользователю и присутствие которого он хочет запечатлеть в видеоролике. Это может быть сам пользователь, если цель сценарного видеоролика, например, является сохранение впечатлений от полученной развлекательной услуги. Это может быть машина, когда территорией оказания развлекательных услуг является гоночная трасса. Это может быть участник соревнований, например в случае проведения спортивных мероприятий. Это может музей, театр, участок городской или сельской местности, другая локация, в которой находится или побывал пользователь, или хотел бы побывать.The terms "object" in this description means a moving or stationary object that is of interest to the user and whose presence he wants to capture in the video. This may be the user himself, if the purpose of the scenario video, for example, is to preserve the impressions of the received entertainment service. It may be a car when the entertainment area is the racetrack. This can be a competitor, for example in the case of sports events. This can be a museum, theater, urban or rural area, another location that the user is or has visited, or would like to visit.
Под термином «потребитель» в данном описании понимается человек, который получает определенным способом готовый сценарный видеоролик, сформированный предложенной системой.The term "consumer" in this description means a person who receives in a certain way a finished script video generated by the proposed system.
Термином «пользователь» в данном описании понимается потребитель, способный влиять на работу системы. The term "user" in this description refers to a consumer who can influence the operation of the system.
Под термином «подсъём» в данном описании понимается фото- или видеоконтент, изготовителем которого является пользователь (потребитель).The term "submission" in this description means photo or video content, the manufacturer of which is the user (consumer).
Предложенная система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов содержит следующие блоки:The proposed system for automatic creation of a scenario video with the presence of a given object or a group of objects in the frame contains the following blocks:
Блок подсъёмов 1, выполненных пользователем (потребителем). Данный блок содержит массив фото- и видеоматериалов, ассоциированных с конкретным пользователем – автором и/или владельцем этих материалов. Lifting block 1, performed by the user (consumer). This block contains an array of photo and video materials associated with a specific user - the author and / or owner of these materials.
Блок сьемки (1), включающий, по крайней мере, одно устройство записи первичных фото- и видеоданных. В качестве устройств первичных фото- и видеоданных возможно использование стандартных фото- и видеокамер, видеокамер с разным фокусным расстоянием, управляемых видеокамер, в том числе установленных на беспилотных летательных аппаратах с дистанционным управлением. Преимущественно множество видеокамер различного вида работают по данным сценарного шаблона. К данным сценарного шаблона в части работы блока съемки относятся, в частности, данные, задающие план кадра, глубину резкости, геометрию кадра, поле зрения объектива, движение камеры, приближение и удаление заданного объекта в кадре и др. Блок съемки может дополнительно включать телеметрическую систему. В состав телеметрической системы, как правило, включены датчики, установленные на заданном объекте и формирующие данные о его состоянии. Например, в случае авто- и мотогонок телеметрическая система включает датчики, установленные на транспортном средстве и пилоте, которые в ходе заезда фиксируют данные состояния транспортного средства (скорость передвижения, расход топлива, время прохождения пути и др.) и пилота (например сердечный ритм). Наличие динамики данных телеметрической системы в итоговом сценарном видеоролике определенно повышает интерес потребителя к нему и его зрелищность.Recording unit (1), including at least one device for recording primary photo and video data. As devices for primary photo and video data, it is possible to use standard photo and video cameras, video cameras with different focal lengths, controlled video cameras, including those installed on remotely controlled unmanned aerial vehicles. Mostly, many video cameras of various types work according to the scenario template. The data of the scenario template in terms of the operation of the shooting unit includes, in particular, data defining the frame plan, depth of field, frame geometry, lens field of view, camera movement, approaching and removing a given object in the frame, etc. The shooting unit may additionally include a telemetric system ... The telemetry system, as a rule, includes sensors installed at a given object and forming data on its state. For example, in the case of auto and motorcycle races, the telemetry system includes sensors installed on the vehicle and the pilot, which, during the race, record the data of the vehicle state (speed, fuel consumption, travel time, etc.) and the pilot (for example, heart rate) ... The presence of the dynamics of the telemetric system data in the final scenario video definitely increases the consumer's interest in it and its entertainment.
Блок ввода информации (2) о заданном объекте для его идентификации. Преимущественно блок ввода информации содержит интерфейс, с помощью которого пользователь предложенной системы вводит данные, позволяющие идентифицировать заданный объект. Например, это может быть ФИО человека, профиль в социальной сети, логин. Блок ввода информации может быть выполнен с возможностью выбора сценарного шаблона. Преимущественно система включает множество сценарных шаблонов и потребитель имеет возможность выбрать тот, который ему более интересен в плане сюжета, художественного стиля и цены. Блок ввода информации может быть выполнен с возможностью выбора способа передачи сценарного видеоролика потребителю. Способы могут быть различными, в частности, онлайн трансляция сценарного видеоролика, запись сценарного видеоролика на носитель (флешкарту, диск), передача сценарного видеоролика через интернет и социальные сети.Block for entering information (2) about a given object for its identification. Advantageously, the information input unit contains an interface by means of which the user of the proposed system enters data allowing to identify a given object. For example, it can be a person's full name, profile on a social network, login. The information input unit can be configured to select a scenario template. Mainly, the system includes many scenario templates and the consumer has the opportunity to choose the one that is more interesting to him in terms of plot, art style and price. The information input unit can be configured to select the method for transmitting the scenario video to the consumer. The methods can be different, in particular, online broadcasting of a scenario video, recording a scenario video on a medium (flash card, disk), transfer of a scenario video via the Internet and social networks.
Блок идентификации (3) заданного объекта в первичных видеоданных. Блок идентификации включает устройства и программное обеспечение, которые позволяют распознавать и определять местоположение заданного объекта на первичных фото- и видеоданных и ставить определенные метки. Работа данного блока может быть основана на различных способах идентификации заданного объекта. В частности, блок идентификации может включать электронное устройство с уникальным идентификатором, беспроводная связь с которым позволяет определять местоположение заданного объекта. Примером такого электронного устройства может быть электронный браслет, который надевают человеку. В случае мотогоночных соревнований такое электронное устройство устанавливают на машине. Другим примером такого электронного устройства может быть личный телефон заданного человека, на который заранее устанавливают специальную программу. Определив координаты заданного объекта в определенный момент времени, блок идентификации ставит метки на первичных фото- и видеоданных, снятых в данный момент времени камерами, в зоне которых были расположены данные координаты. Работа блока идентификации может быть также основана на идентификации личности по биометрическим параметрам в первичных видеоданных.Identification unit (3) of a given object in the primary video data. The identification unit includes devices and software that allow you to recognize and determine the location of a given object on the primary photo and video data and put certain marks. The operation of this block can be based on various methods of identifying a given object. In particular, the identification unit can include an electronic device with a unique identifier, wireless communication with which makes it possible to determine the location of a given object. An example of such an electronic device would be an electronic bracelet that is worn by a person. In the case of motorcycle racing, such an electronic device is installed on the machine. Another example of such an electronic device can be a personal telephone of a given person, on which a special program is installed in advance. Having determined the coordinates of a given object at a certain moment in time, the identification unit puts marks on the primary photo and video data taken at a given moment by cameras in the area of which these coordinates were located. The work of the identification unit can also be based on the identification of a person by biometric parameters in the primary video data.
Блок извлечения релевантных данных (4) с присутствием в кадре заданного объекта включает программное обеспечение, которое позволяет по меткам, установленным блоком идентификации, и данным сценарного шаблона, вырезать или извлекать видеофрагменты (возможно, фотофрагментов) с присутствием в кадре заданного объекта из первичных видеоданных. К данным сценарного шаблона в части формирования релевантных фото- и видеоданных, в частности, относятся данные, которые задают местоположение заданного объекта в кадре, длину видеофрагмента, количество видеофрагментов, синхронизацию кадров и др. The unit for extracting relevant data (4) with the presence of a given object in the frame includes software that allows, using the marks set by the identification unit and the script template data, to cut or extract video fragments (possibly photo fragments) with the presence of a given object in the frame from the primary video data. The data of the scenario template in terms of the formation of relevant photo and video data, in particular, includes data that specify the location of a given object in the frame, the length of the video fragment, the number of video fragments, frame synchronization, etc.
Блок обработки релевантных фото- и видеоданных (5), включает программное обеспечение, которое позволяет формировать сценарные видеоролики, используя релевантные данные, сформированные блоком извлечения, и данные сценарного шаблона. К данным сценарного шаблона в части работы блока обработки (5), в частности, относятся: данные задающие вид монтажа, ритм монтажа, продолжительность монтажного эпизода, последовательность планов и кадров, цветокоррекцию, концентрацию внимания в кадре на определенных объектах съемки, добавление графических спецэффектов, совмещение кадра с данными телеметрической системы и др.The unit for processing relevant photo and video data (5) includes software that allows you to generate scenario videos using the relevant data generated by the extraction unit and scenario template data. The data of the scenario template in terms of the work of the processing unit (5), in particular, includes: data defining the type of editing, the rhythm of the editing, the duration of the editing episode, the sequence of plans and frames, color correction, concentration of attention in the frame on certain shooting objects, the addition of graphic special effects, frame alignment with telemetry data, etc.
Модуль хранения информации, представляет собой одно или несколько устройств, например серверов. Модуль хранения информации содержит несколько блоков, в том числе блок хранения первичных фото- и видеоданных (6), блок хранения релевантных фото- и видеоданных (7), блок хранения сценарных шаблонов (8), блок хранения сценарных видеороликов (9). An information storage module is one or more devices, such as servers. The information storage module contains several blocks, including a storage unit for primary photo and video data (6), a storage unit for relevant photo and video data (7), a storage unit for scenario templates (8), and a storage unit for scenario videos (9).
Блок (6) содержит информацию с устройств записи первичных видеоданных. В качестве устройств первичных фото- и видеоданных возможно использование стандартных видеокамер, видеокамер с разным фокусным расстоянием, управляемых видеокамер, в том числе установленных на беспилотных летательных аппаратах с дистанционным управлением. Видеокамеры различного вида работают, преимущественно, по данным сценарного шаблона. К данным сценарного шаблона, в части работы устройств первичных видеоданных, относятся, в частности, данные, задающие план кадра, глубину резкости, геометрию кадра, поле зрения объектива, движение камеры, приближение и удаление заданного объекта в кадре и др. Блок (6) может включать данные от телеметрической системы. В состав телеметрической системы, как правило, включены датчики, установленные на заданном объекте и формирующие данные о его состоянии. Например, в случае авто- и мотогонок телеметрическая система включает датчики, установленные на транспортном средстве и пилоте, которые в ходе заезда фиксируют данные состояния транспортного средства (скорость передвижения, расход топлива, время прохождения пути и др.) и пилота (например сердечный ритм). Наличие динамики данных телеметрической системы в итоговом сценарном видеоролике определенно повышает интерес потребителя к нему и его зрелищность.Block (6) contains information from devices for recording primary video data. As devices for primary photo and video data, it is possible to use standard video cameras, video cameras with different focal lengths, controlled video cameras, including those installed on remotely controlled unmanned aerial vehicles. Camcorders of various types work mainly according to the scenario template. The data of the scenario template, in terms of the operation of primary video data devices, includes, in particular, the data defining the frame plan, depth of field, frame geometry, lens field of view, camera movement, approach and removal of a given object in the frame, etc. Block (6) may include data from a telemetry system. The telemetry system, as a rule, includes sensors installed at a given object and forming data on its state. For example, in the case of auto and motorcycle races, the telemetry system includes sensors installed on the vehicle and the pilot, which, during the race, record the data of the vehicle state (speed, fuel consumption, travel time, etc.) and the pilot (for example, heart rate) ... The presence of the dynamics of the telemetric system data in the final scenario video definitely increases the consumer's interest in it and its entertainment.
Предложенная система может дополнительно содержать блок передачи сценарных видеороликов (10). Блок передачи выполнен с возможностью передачи готового сценарного видеоролика потребителю, по меньшей мере, одним из следующих способов: онлайн трансляция, запись на носитель, передача через интернет, в частности через социальные сети.The proposed system may additionally contain a block for the transmission of scenario videos (10). The transmission unit is configured to transmit the finished scenario video to the consumer in at least one of the following ways: online broadcast, recording on a medium, transmission via the Internet, in particular via social networks.
Система также содержит блок (11) сбора информации о клиенте, блок (12) разграничения прав пользователей.The system also contains a block (11) for collecting information about the client, a block (12) for differentiating user rights.
Блоки, входящие в предложенную систему, взаимодействуют на различных этапах и передают информацию друг другу посредством различных технологий: кабеля, интернета, беспроводного соединения и др. По необходимости на определенных этапах информация шифруется для ее сохранности и недоступности его для неавторизированных пользователей системы.The blocks included in the proposed system interact at various stages and transmit information to each other through various technologies: cable, Internet, wireless connection, etc. If necessary, at certain stages, information is encrypted for its safety and inaccessibility for unauthorized users of the system.
Предложенная система работает следующим образом.The proposed system works as follows.
Потребитель или пользователь системы через блок ввода информации (2) вводит данные о заданном объекте и при возможности выбирает способ передачи ему готового сценарного видеоролика. Если предложенная система содержит несколько сценарных шаблонов, то пользователь выбирает интересный ему сценарный шаблон из какого-то множества. Блок идентификации (3) получает от блоков (2) и (11) информацию, необходимую для идентификации заданного объекта, распознает и определяет местоположение заданного объекта на первичных видеоданных и ставит определенные метки. Далее блок извлечения (4) по меткам и в соответствии с данными сценарного шаблона формирует набор релевантных фото- и видеоданных с присутствием в кадре заданного объекта, а также фото- и видеоданные из блоков (1), которые передает в блок хранения релевантных видеоданных (7). Далее блок обработки (5) монтирует сценарный видеоролик, используя релевантные данные, сформированные блоком извлечения (4), и данные сценарного шаблона, и сохраняет готовый сценарный видеоролик в блоке хранения сценарных видеороликов (9). Далее блок передачи (10) передает готовый сценарный видеоролик потребителю выбранным способом.The consumer or user of the system, through the information input unit (2), enters data about a given object and, if possible, selects the method of transmitting the finished script video to it. If the proposed system contains several scenario templates, then the user chooses an interesting scenario template from a set. The identification unit (3) receives from the units (2) and (11) the information necessary to identify a given object, recognizes and determines the location of a given object on the primary video data, and puts certain marks. Further, the extraction unit (4), according to the marks and in accordance with the data of the scenario template, forms a set of relevant photo and video data with the presence of a given object in the frame, as well as photo and video data from blocks (1), which is transferred to the storage unit of relevant video data (7 ). Next, the processing unit (5) assembles the scenario video using the relevant data generated by the extraction unit (4) and the scenario template data, and stores the finished scenario video in the scenario video storage unit (9). Further, the transmission unit (10) transmits the finished script video to the consumer in the selected way.
Дополнительно пользователь может идентифицироваться в блоке (12), в результате чего может получить дополнительные полномочия на участие в создании видеоролика.Additionally, the user can be identified in block (12), as a result of which he can receive additional powers to participate in the creation of a video clip.
Предложенная система может быть выполнена с возможностью формирования сценарного видеоролика в режиме онлайн, что особенно актуально при трансляции спортивных и иных мероприятий.The proposed system can be made with the ability to form a scenario video online, which is especially important when broadcasting sports and other events.
Новые признаки системы открывают неограниченные возможности для её использования. При этом регистрация и авторизация пользователей возможна любым способом, например, через чат-бот, в котором происходит диалог с клиентом. В процессе регистрации, например, собирается база клиентов для последующей работы с ними. Полученные видео ролики могут быть размещены в социальные сети или отправлены в мессенджеры, при этом аналитика, полученная в ходе исследования движения видео, например, показы в социальных сетях пользователя или на видео-портале, например, «youtube», может быть использована в различных целях, например, для продвижения товаров на рынке и увеличения их продаж или продвижения мероприятия, места, события и т.д. Примером продвижения товара может быть организация конкурса для пользователей системы, когда пользователи, участвуют в акции от производителя товара, путем использования системы, например, сканируя QR-код, размещенный на упаковке товара мобильным телефоном. Затем, регистрируясь в системе (любым известным способом), например, взаимодействуя с чат-ботом, пользователь изготавливает видеоролик и скачивает его или размещает в социальных сетях. С размещенным роликом пользователя взаимодействуют другие пользователи, путем, например, просмотра или распространения видео. В процессе взаимодействия с видео, пользователю, который разместил видео изначально присваиваются, например, баллы активности. Чем выше баллы/рейтинг пользователя, тем больше его шанс победить в соревновании и получить приз. При этом каждый новый пользователь может также участвовать в конкурсе, например, проходя тот же путь, что и первый пользователь.New features of the system open up unlimited possibilities for its use. At the same time, registration and authorization of users is possible in any way, for example, through a chat bot, in which a dialogue with a client takes place. During the registration process, for example, a customer base is collected for subsequent work with them. The resulting video clips can be posted on social networks or sent to messengers, while analytics obtained during the study of video traffic, for example, impressions on the user's social networks or on a video portal, for example, "youtube", can be used for various purposes , for example, to promote products on the market and increase their sales or to promote an event, place, event, etc. An example of promoting a product can be organizing a competition for users of the system, when users participate in a promotion from a manufacturer of a product by using the system, for example, by scanning a QR code placed on the packaging of a product with a mobile phone. Then, by registering in the system (in any known way), for example, interacting with a chatbot, the user makes a video and downloads it or posts it on social networks. Other users interact with the posted video of the user, for example, by watching or distributing the video. In the process of interacting with the video, the user who posted the video is initially assigned, for example, activity points. The higher the scores / rating of the user, the greater his chance of winning the competition and getting a prize. In this case, each new user can also participate in the competition, for example, following the same path as the first user.
В путешествии, туристическом походе и т.п. пользователь посредством сканирования QR-кода или путем поиска доступных к созданию шаблонов видео переходит к созданию видео, производит съемку на свое устройство, далее следуя инструкциям загружает созданного видео и получает готовый видео контент с данной локации, далее пользователь может поделится этим контентом любым доступным способом, например: путем отправки видео или ссылки на видео в мессенджеры, соцсети и прочее.When traveling, hiking, etc. the user, by scanning the QR code or by searching for video templates available for creation, proceeds to create a video, takes pictures on his device, then following the instructions downloads the created video and receives the finished video content from this location, then the user can share this content in any available way, for example: by sending a video or a link to a video in instant messengers, social networks, etc.
Claims (22)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020112838A RU2748581C1 (en) | 2020-04-02 | 2020-04-02 | System for automatic generation of scripted video clip with presence of defined object or group of objects on screen |
| PCT/RU2021/050073 WO2021201724A1 (en) | 2020-04-02 | 2021-03-18 | System for automatically creating a scripted video clip |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020112838A RU2748581C1 (en) | 2020-04-02 | 2020-04-02 | System for automatic generation of scripted video clip with presence of defined object or group of objects on screen |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2748581C1 true RU2748581C1 (en) | 2021-05-27 |
Family
ID=76034079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020112838A RU2748581C1 (en) | 2020-04-02 | 2020-04-02 | System for automatic generation of scripted video clip with presence of defined object or group of objects on screen |
Country Status (2)
| Country | Link |
|---|---|
| RU (1) | RU2748581C1 (en) |
| WO (1) | WO2021201724A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2009133474A (en) * | 2007-02-08 | 2011-03-20 | Бихейвиэрл Рикогнишн Системз, Инк. (Us) | BEHAVIOR RECOGNITION SYSTEM |
| US20140214885A1 (en) * | 2013-01-31 | 2014-07-31 | Electronics And Telecommunications Research Institute | Apparatus and method for generating evidence video |
| RU2015109072A (en) * | 2012-09-12 | 2016-11-10 | Авиджилон Фортресс Корпорейшн | METHOD FOR DETECTING HUMAN OBJECTS IN VIDEO (OPTIONS) |
| US20180033153A1 (en) * | 2015-02-20 | 2018-02-01 | Panasonic Intellectual Property Management Co., Ltd. | Tracking assistance device, tracking assistance system, and tracking assistance method |
| RU2683499C1 (en) * | 2018-03-15 | 2019-03-28 | Антон Владимирович Роженков | System for automatic creation of scenario video clip with preset object or group of objects presence in frame |
-
2020
- 2020-04-02 RU RU2020112838A patent/RU2748581C1/en active
-
2021
- 2021-03-18 WO PCT/RU2021/050073 patent/WO2021201724A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2009133474A (en) * | 2007-02-08 | 2011-03-20 | Бихейвиэрл Рикогнишн Системз, Инк. (Us) | BEHAVIOR RECOGNITION SYSTEM |
| RU2015109072A (en) * | 2012-09-12 | 2016-11-10 | Авиджилон Фортресс Корпорейшн | METHOD FOR DETECTING HUMAN OBJECTS IN VIDEO (OPTIONS) |
| US20140214885A1 (en) * | 2013-01-31 | 2014-07-31 | Electronics And Telecommunications Research Institute | Apparatus and method for generating evidence video |
| US20180033153A1 (en) * | 2015-02-20 | 2018-02-01 | Panasonic Intellectual Property Management Co., Ltd. | Tracking assistance device, tracking assistance system, and tracking assistance method |
| RU2683499C1 (en) * | 2018-03-15 | 2019-03-28 | Антон Владимирович Роженков | System for automatic creation of scenario video clip with preset object or group of objects presence in frame |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021201724A1 (en) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2683499C1 (en) | System for automatic creation of scenario video clip with preset object or group of objects presence in frame | |
| US20190197789A1 (en) | Systems & Methods for Variant Payloads in Augmented Reality Displays | |
| US10817560B2 (en) | Method and system for logging and processing data relating to an activity | |
| CN103620600B (en) | Method and apparatus for enabling virtual tags | |
| CN110140138A (en) | The determination of the content-data of local device, transimission and storage | |
| KR101661407B1 (en) | Content activation via interaction-based authentication, systems and method | |
| US20150103097A1 (en) | Method and Device for Implementing Augmented Reality Application | |
| US9047320B2 (en) | Music recommendation system, information processing device, and information processing method | |
| CN108701207A (en) | For face recognition and video analysis to identify the personal device and method in context video flowing | |
| CN111177451A (en) | Tourist attraction photo album automatic generation system and method based on face recognition | |
| CN105122789A (en) | Digital platform for user-generated video synchronized editing | |
| CN107533685A (en) | Personalized context suggestion engine | |
| CN103513890A (en) | Method and device for interaction based on image and server | |
| CN108960892B (en) | Information processing method and device, electronic device and storage medium | |
| WO2014048105A1 (en) | Human-machine interaction data processing method and apparatus | |
| CN110717102A (en) | Method, device and server for guiding amusement of amusement park | |
| US11615134B2 (en) | Systems and methods for generating targeted media content | |
| CN110377574B (en) | Picture collaborative processing method and device, storage medium and electronic device | |
| CN105046630A (en) | image tag add system | |
| CN106205434A (en) | A kind of intelligent guide system for realizing travel at one's own expense | |
| CN110427499B (en) | Method and device for processing multimedia resources, storage medium and electronic device | |
| CN114629950B (en) | Intelligent tourism service method, storage medium and server | |
| TWI603227B (en) | Method and system for remote management of virtual message for a moving object | |
| RU2748581C1 (en) | System for automatic generation of scripted video clip with presence of defined object or group of objects on screen | |
| CN110162691A (en) | Topic recommendation, method for running, device and machinery equipment in online content service |