BG112977A - METHOD AND SYSTEM FOR INTERACTIVE INCORPORATION OF 2D/3D VIRTUAL VISUAL FORMS IN A 360o LIVE VIDEO STREAMING - Google Patents
METHOD AND SYSTEM FOR INTERACTIVE INCORPORATION OF 2D/3D VIRTUAL VISUAL FORMS IN A 360o LIVE VIDEO STREAMING Download PDFInfo
- Publication number
- BG112977A BG112977A BG112977A BG11297719A BG112977A BG 112977 A BG112977 A BG 112977A BG 112977 A BG112977 A BG 112977A BG 11297719 A BG11297719 A BG 11297719A BG 112977 A BG112977 A BG 112977A
- Authority
- BG
- Bulgaria
- Prior art keywords
- virtual
- degree
- module
- forms
- real time
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
Description
МЕТОД И СИСТЕМА ЗА ИНТЕРАКТИВНО ВГРАЖДАНЕMETHOD AND SYSTEM FOR INTERACTIVE BUILT - IN
НА 2D/3D ВИРТУАЛНИ ВИЗУАЛНИ ФОРМИ ВOF 2D / 3D VIRTUAL VISUAL FORMS IN
360° ВИДЕО ПОТОК НА ЖИВО360 ° LIVE VIDEO FLOW
ОБЛАСТ НА ТЕХНИКАТАFIELD OF THE INVENTION
[0001] Изобретението се отнася до метод и система за интерактивно вграждане на 2D/3D виртуални визуални форми в 360 видео поток на живо и може да намери приложение в областта на развлекателната индустрия, телевизионна реклама, по-специално при 360 излъчване на живо на телевизионни формати и предавания, музикални и спортни събития, конференции, както и в областта на образованието, теле-медицината и други.The invention relates to a method and system for interactive embedding of 2D / 3D virtual visual forms in 360 live video streaming and can find application in the field of entertainment industry, television advertising, in particular in 360 live television broadcasting. formats and programs, music and sports events, conferences, as well as in the field of education, telemedicine and others.
ПРЕДШЕСТВАЩО СЪСТОЯНИЕ НА ТЕХНИКАТАBACKGROUND OF THE INVENTION
[0002] В областта на телевизионното производство са известни редица методи и системи, чрез които се осигуряма вграждане на визуални форми в традиционното видео, по-специално видео с фиксирано поле на видимост. Най-често вграждане на визуални форми се извършва под формата на предварително растеризирани изображения или информация, във фиксираното поле, разположено обикновенно в долната третина на изображението. Такъв метод на вграждане на визуални форми в двуизмерно видео изображение се прилага успешно и при стрийминг на 2D видео потоци, например при излъчване на предавания на живо.In the field of television production, a number of methods and systems are known for providing the incorporation of visual forms into traditional video, in particular fixed field of view video. Most often, embedding of visual forms is done in the form of pre-rasterized images or information, in a fixed field, usually located in the lower third of the image. Such a method of embedding visual forms in a two-dimensional video image has also been successfully applied to streaming 2D video streams, for example when broadcasting live broadcasts.
[0003] Описаният метод има ограничено приложение, например в областта на рекламата, доколкото визуалните форми са фронтално фиксирани към обектива на камерата, и практически не представляват част от заснетото пространство. В резултат на това, във фиксираното поле преминава предварително записан текст, информация, която има сравнително статичен характер и по тази причина не осигурява необходимото въздействие, включително потребителите не получават необходимите маркери, благодарение на които да запомнят поднесената информация.The described method has a limited application, for example in the field of advertising, insofar as the visual forms are frontally fixed to the camera lens, and practically do not form part of the captured space. As a result, pre-recorded text passes into the fixed field, information that is relatively static and therefore does not provide the necessary impact, including users do not receive the necessary markers to memorize the submitted information.
[0004] Друг недостатък на известният метод е обстоятелството, че виртуалната форма се вгражда само в гледната точка на наблюдаващия, т.е. на зрителя. Това предопределя ограниченото прилагане и въздействие на рекламни и други визуални форми, доколкото методът не позволява пространствено наблюдение на живо от големи групи зрители, например излъчвана на живо тв шоу програма, като визуалните форми не могат да бъдат разположени на произволни позиции в 360 градусовото пространство.Another disadvantage of the known method is the fact that the virtual form is embedded only in the point of view of the observer, ie. of the viewer. This predetermines the limited application and impact of advertising and other visual forms, as the method does not allow spatial observation live by large groups of viewers, such as a live TV show, and visual forms cannot be located at random positions in 360-degree space.
[0005] Известен е още метод на добавена реалност, при който през камерата на комуникационно устройство /телефон, таблет/ се наблюдава изображение от реалния свят, към което може да се добавят виртуални елементи. Методът на добавена реалност е особенно подходящ за индивидуално наблюдение и се прилага в областта на развлекателната индустрия, интерактивните игри и рекламната дейност, където виртуални визуални форми се вграждат в реалната среда, заобикаляща наблюдаващия. В този случай се постига надграждане и обогатяване на реалната среда където се случва наблюдението без тя да бъде подменяна.Another method of augmented reality is known, in which a real-world image is observed through the camera of a communication device / telephone, tablet /, to which virtual elements can be added. The augmented reality method is particularly suitable for individual observation and is applied in the field of entertainment industry, interactive games and advertising, where virtual visual forms are embedded in the real environment surrounding the observer. In this case, upgrading and enrichment of the real environment where the observation takes place is achieved without replacing it.
[0006] Известни са системи за композиране на 2D/3D виртуални визуални форми като Autodesk Flame https://www.autodesk.com/products/fiame/ и Adobe After Effects https://www.adobe.com/bg/products/aftereffects.html. Те ПОЗВОЛЯВат композиране на виртуални елементи в 360 градусова среда, но не позволяват приемане на 360 градусов видео поток в реално време, както и стрийминг на живо на композираните изображения в 360 градусова среда.Systems for composing 2D / 3D virtual visual forms such as Autodesk Flame https://www.autodesk.com/products/fiame/ and Adobe After Effects https://www.adobe.com/bg/products/ are known. aftereffects.html. They allow the composing of virtual elements in a 360-degree environment, but do not allow the reception of 360-degree video stream in real time, as well as live streaming of composite images in a 360-degree environment.
[0007] Известна е патентна публикация US20170192496, в която е описан метод за придобиване и обработване на информация за движение на тяло, включващ заснемане на движение на тяло, облечено в костюм, в който за целите на улавяне на движения на тялото са разположени множество сензори за позициониране, при което всеки от множеството сензори за позициониране покрива позиция на свързана област на тялото, като всеки сензор за позициониране е интегриран в специално оформен текстилен тунел, разположен върху свързаното тяло. Методът включва действие за получаване на набор от данни за ниво на сензора от множеството сензори за позициониране като поредица от измервания на позицията, наблюдавани за определен период от време, след което се събират поредица от данни за положението на тялото, наблюдавани през определения период от време, последвано от комбиниране на набора от данни за положение на ниво сензор и данни за положението на телесно ниво с помощта на филтър за генериране на изходен поток на движение на тялото. Методът продължава с изобразяване на данни от изображение на виртуално представяне на потребител, носещ костюма за заснемане на движение. Описано е примерно изпълнение на метода за асоцииране на информация за позициите на части от тялото в пространството, с виртуално създаден герой или виртуално присъствие на човек във VR среда.Patent publication US20170192496 is known, which describes a method for acquiring and processing body motion information, comprising capturing the motion of a body wearing a suit in which a plurality of sensors are located for the purpose of capturing body movements. for positioning, wherein each of the plurality of positioning sensors covers a position of a connected area of the body, each positioning sensor being integrated in a specially shaped textile tunnel located on the connected body. The method includes the step of obtaining a sensor level data set from the plurality of positioning sensors as a series of position measurements observed over a period of time, after which a series of body position data observed over the specified period of time is collected. , followed by combining the sensor-level position data set and the body-level position data using a filter to generate an output flow of body motion. The method continues by displaying data from an image of a virtual representation of a user wearing a motion capture suit. An exemplary implementation of the method for associating information about the positions of body parts in space with a virtually created character or a virtual human presence in a VR environment is described.
[0008] Известна е патентна публикация US20170372525, в която са описани метод и система за платформа за виртуално съдържание с разширена добавена реалност, чрез които по същество се създават възможности за добавянето на рекламни форми в приложения за добавена реалност (AR). Добавена реалност се използва от приложения показващи реалния свят през камера на телефон или друго мобилно устройство, като се добавят виртуални елементи.Patent publication US20170372525 is known, which describes a method and system for an augmented augmented virtual content platform, which essentially provide opportunities for adding advertising forms in augmented reality (AR) applications. Augmented reality is used by applications showing the real world through a camera on a phone or other mobile device, adding virtual elements.
ТЕХНИЧЕСКА СЪЩНОСТ НА ИЗОБРЕТЕНИЕТОSUMMARY OF THE INVENTION
[0009] Предвид на изложеното до тук известно състояние на техниката в разглежданата област, задача на изобретението е да бъдат предложени метод и система за интерактивно вграждане на 2D/3D виртуални визуални форми в 360° видео поток на живо.In view of the prior art set forth in the art, it is an object of the invention to provide a method and system for interactively embedding 2D / 3D virtual visual forms in 360 ° live video streaming.
[0010] Задачата се решава с метод за за интерактивно вграждане на 2D/3D виртуални визуални форми в 360° видео поток на живо, при който по същество към видео изображение, създадено от 360° VR камера, излъчваща в реално време се композира /наслагва/ виртуалното присъствие в реално време върху споменатото 360° градуса видеоизображение на живо.The problem is solved by a method for interactive embedding of 2D / 3D virtual visual forms in a 360 ° live video stream, in which a substantially real-time video image created by a 360 ° VR camera is composed / superimposed. / virtual real-time presence on said 360 ° live video image.
[0011] Методът за интерактивно вграждане на 2D/3D виртуални визуални форми в 360° видео поток на живо включва обработка на видео поток от 360 градусова камера, излъчваща в реално време и събиране на цифрови данни от различни сензори в реално време.The method for interactively embedding 2D / 3D virtual visual forms in a 360 ° live video stream includes processing a video stream from a 360 degree camera broadcasting in real time and collecting digital data from various sensors in real time.
[0012] Съгласно изобретението в изчислително устройство, съдържащо моду ли за генериране на виртуални форми се композират 360 градусови виртуални форми в реално време, които се наслагват, вграждат върху видео потока от 360° VR камера, при което се кодират и дистрибутират посредством платформа към системи за наблюдение на виртуална реалност и 360 градусово видео.According to the invention, in a computing device comprising a module for generating virtual forms, 360-degree real-time virtual forms are composed, which are superimposed, embedded on the video stream from a 360 ° VR camera, whereby they are encoded and distributed via a platform to virtual reality monitoring systems and 360 degree video.
[0013] Съгласно едно вариантно изпълнение на метода композираните вирту ални форми са 3D и се анимират и визуализират от сензорни данни в реално време.According to a variant embodiment of the method, the composite virtual shapes are 3D and are animated and visualized from real-time sensory data.
[0014] Съгласно едно изпълнение на метода се използват сензори за позицио ниране, за налягане, температура, звук и др. параметриAccording to one embodiment of the method, positioning, pressure, temperature, sound and the like sensors are used. parameters
[0015] Съгласно едно вариантно изпълнение на метода виртуалните форми са 360 градусови 3D форми, генерирани от предварително подготвени анимация и модели.According to a variant embodiment of the method, the virtual shapes are 360 degree 3D shapes generated by pre-prepared animations and models.
[0016] Съгласно едно вариантно изпълнение на метода композираните вир туални форми се възпроизвеждат от предварително растеризирани 360 градусови изображения и анимирани виртуални форми.According to a variant embodiment of the method, the composite virtual forms are reproduced from pre-rasterized 360-degree images and animated virtual forms.
[0017] Задачата на изобретението се решава и със система за приложение на метода, състояща се от 360 градусови камери, излъчващи видео поток и множество сензори, свързани с модул за събиране и обработка на цифрови данни от сензорите в реално време.The object of the invention is also solved by a system for applying the method, consisting of 360-degree cameras emitting a video stream and a plurality of sensors connected to a module for collecting and processing digital data from the sensors in real time.
[0018] Съгласно изобретението 360 градусовите камери, излъчващи видео поток на живо са свързани с модул за композиране на 360 градусови виртуални форми в реално време, а модулът за събиране и обработка на цифрови данни от сензорите в реално време е свързан с модул за анимиране и визуализиране на 360 градусови 3D виртуални форми от сензорни данни в реално време, при което към модул са свързани още модул за генериране на 3D виртуални форми в реално време от предварително подготвени анимации и модели и модул за възпроизвеждане на предварително растеризирани 360 градусови изображения и анимация на виртуални форми, а модул 2 е свързан с енкодер и платформа за дистрибутиране на 360 градусово видео потоци в реално време, като платформата е свързана със системи за наблюдение.According to the invention, the 360-degree cameras broadcasting the live video stream are connected to a module for composing 360-degree virtual forms in real time, and the module for collecting and processing digital data from the sensors in real time is connected to an animation module and visualization of 360-degree 3D virtual shapes from real-time sensor data, in which a module for generating 3D virtual shapes in real time from pre-prepared animations and models and a module for reproducing pre-rasterized 360-degree images and animation of virtual forms, and module 2 is connected to an encoder and a platform for distributing 360-degree video streams in real time, as the platform is connected to surveillance systems.
[0019] Методът и системата, обект на изобретението позволяват реализирането на широк набор от вариантни изпълнения, при които вграждането в реално време на предварително композирани 2D/3D виртуални форми позволява да се приложи качествено нов, иновативен подход за поднасяне на информация, включително нов канал на предлагане на рекламни продукти и услуги.The method and the system object of the invention allow the realization of a wide range of variant embodiments, in which the real-time embedding of pre-composed 2D / 3D virtual forms allows to apply a qualitatively new, innovative approach to presenting information, including a new channel. of offering advertising products and services.
[0020] Методът и системата, обект на изобретението са особенно ефективни за приложение в областта на рекламата, по-специално при 360° излъчване на живо на телевизионни формати и предавания, музикални и спортни събития, конференции и други. Методът и системата създават 360° обгръщаща виртуална реалност (VR), която напълно подменя заобикалящата среда, като при предавания на живо дава възможност на голяма група зрители да наблю дават едновременно излъчвания сигнал, композиран с вградени в него виртуални форми и елементи.The method and system object of the invention are particularly effective for application in the field of advertising, in particular in 360 ° live broadcasting of television formats and programs, music and sports events, conferences and the like. The method and the system create a 360 ° enveloping virtual reality (VR), which completely replaces the surrounding environment, allowing live broadcasts to watch a large group of viewers simultaneously broadcast a signal composed of built-in virtual forms and elements.
[0021] Предложеният метод позволява добавяне на 360° градуса видео изображение на живо /от 360° VR камера/ и композиране на виртуалното присъствие в реално време върху това 360° градуса видео-изображение на живо.The proposed method allows adding a 360 ° live video image (from a 360 ° VR camera) and composing the real-time virtual presence on this 360 ° live video image.
По този начин се създава възможност за интерактивно визуализиране в реално време на визуални форми, при които чрез следене движенията на тяло /например известен актьор с характерни движения или жестове/, системата визуализира виртуално генериран герой, чието движение се наслагва върху 360° видео поток в реално време, на живо, при което в реално време се визаулизират визуални форми. При това изпълнение се използват известни системи, съдържащи множество сензори за позициониране, като например системи от моушън кепчър (motion capture), следящи в реално време позицията на различни части от движещо се тяло.This allows for interactive real-time visualization of visual forms, in which by tracking body movements (for example, a famous actor with characteristic movements or gestures), the system visualizes a virtually generated character whose movement is superimposed on a 360 ° video stream in real-time, live, in which visual forms are visualized in real time. This embodiment uses known systems containing a plurality of positioning sensors, such as motion capture systems, which monitor in real time the position of various parts of a moving body.
[0022] Предложеният метод позволява също така използване в областта на науката, образованието, медицината и други области. Чрез система от сензори, в реално време, върху 360° видео поток се визуализират цифрови данни от сензори, като например сензор за температура, налягане, звук и др. По този начин данни, обикновено невидими за човешкото възприятие могат да бъдат вграждани под формата на 2D/3D виртуални визуални форми в реално време. Така например обектите на изобретението /метод и система/ могат да се използват успешно в областта на обучение по медицина и особено добре в теле-медицината, като върху излъчван на живо 360° видео поток се визуализират данни за състоянието на пациент в реално време, като например температура, кръвно налягане и др.The proposed method also allows use in the field of science, education, medicine and other fields. Through a system of sensors, in real time, digital data from sensors, such as a sensor for temperature, pressure, sound, etc., are visualized on a 360 ° video stream. In this way, data usually invisible to human perception can be embedded in the form of 2D / 3D virtual visual forms in real time. For example, the objects of the invention (method and system) can be used successfully in the field of medical education and especially well in telemedicine, by displaying data on the patient's condition in real time on a 360 ° live video stream, such as for example temperature, blood pressure, etc.
ОПИСАНИЕ НА ПРИЛОЖЕНИТЕ ЧЕРТЕЖИDESCRIPTION OF THE DRAWINGS ATTACHED
[0023] Методът и система за интерактивно вграждане на 2D/3D виртуални визуални форми в 360° видео поток на живо съгласно изобретението са представени по-подробно с помощта на придружаващите описанието чертежи, където:The method and system for interactively embedding 2D / 3D virtual visual forms in a 360 ° live video stream according to the invention are presented in more detail by means of the accompanying drawings, in which:
- фиг. 1 представя блокова схема на система за интерактивно вграждане на 2D/3D виртуални визуални форми в 360° видео поток на живо съгласно съгласно изобретението.- fig. 1 shows a block diagram of a system for interactive embedding of 2D / 3D virtual visual forms in a 360 ° live video stream according to the invention.
- фиг.2- представя разгъната схема на изпълнение на метода, представляваща алгоритъм за интерактивно вграждане на 2D/3D виртуални визуални форми в 360° видео поток на живо съгласно изобретението.- Fig. 2 - shows an expanded scheme of implementation of the method, representing an algorithm for interactive embedding of 2D / 3D virtual visual forms in a 360 ° live video stream according to the invention.
ПРИМЕРНО ИЗПЪЛНЕНИЕ НА ИЗОБРЕТЕНИЕТОEXAMPLE EMBODIMENT OF THE INVENTION
[0024] По-нататък в описанието са описани примерни изпълнения на методът и системата за вграждане на виртуални визуални форми върху 360° видео поток на живо. Описанието е представено в този обем, за да даде възможност на специалист с умения в областта да възпроизведе и използва различните вариантни изпълнения. Описанията на конкретни устройства, модули и приложения са представени само като примери. Различни модификации и варианти на примерите могат да изглеждат очевидни за специалистите в областта и да са базирани на общите принципи, дефинирани тук, като могат да бъдат приложени към други примери и приложения, без при това да се отклоняват от духа и обхвата на различните изпълнения.Hereinafter, exemplary embodiments of the method and system for embedding virtual visual forms on a 360 ° live video stream are described. The description is presented in this volume to enable a person skilled in the art to reproduce and use the various embodiments. Descriptions of specific devices, modules and applications are presented as examples only. Various modifications and variations of the examples may seem obvious to those skilled in the art and be based on the general principles defined herein, and may be applied to other examples and applications without departing from the spirit and scope of the various embodiments.
[0025] Използваните в описанието на изрази едно изпълнение, изпълнение, един пример или подобни означава, че определен признак на метода, операция, система, модул или характеристика, описани във връзка с изпълнението са включени в поне едно изпълнение на настоящото изобре тение. По този начин, използването на изрази от вида в едно изпълнение или подобни в описанието могат, но не е задължително да се отнасят към едно и също изпълнение на метода или системата.As used herein, one embodiment, embodiment, example, or the like means that a particular feature of the method, operation, system, module, or feature described in connection with the embodiment is included in at least one embodiment of the present invention. Thus, the use of expressions of the type in one embodiment or the like in the description may, but need not, refer to the same embodiment of the method or system.
[0026] Представената тук на фиг.2 разгъната схема на алгоритъм за интерактивно вграждане на 2D/3D виртуални визуални форми в 360° видео поток на живо включва логическа последователност на изпълняваните опера ции. Като такъв, изобразеният ред и последователно провеждани операции са характерни за едно изпълнение на представения метод. Могат да бъдат създадени и приложени и други операции и методи, които по функция, логика или ефект са еквивалентни на една или повече операции от представеният тук метод. В допълнение, използваният формат и символи във приложените фигури са предназначени да предоставят и обяснят логическите етапи на метода, като трябва да се разбират, че не ограничават обхвата на метода.The expanded diagram of an algorithm for interactively embedding 2D / 3D virtual visual forms in a 360 ° live video stream presented here in FIG. 2 includes a logical sequence of operations performed. As such, the depicted order and successive operations are characteristic of one embodiment of the presented method. Other operations and methods may be created and implemented that are equivalent in function, logic, or effect to one or more operations of the method presented herein. In addition, the format and symbols used in the attached figures are intended to provide and explain the logical steps of the method, and it should be understood that they do not limit the scope of the method.
[0027] На фиг. 1 е представена блокова схема на система за интерактивно вграждане на 2D/3D виртуални визуални форми в 360° видео поток на живо, както и основните елементи и средата, в която работи изобретението.In FIG. 1 shows a block diagram of a system for interactive embedding of 2D / 3D virtual visual forms in a 360 ° live video stream, as well as the main elements and the environment in which the invention operates.
[0028] Системата получава сигнал от една или повече 360°VR камери 1, с параметри и технически възможности да заснемат 360° градусово видео, като камерите 1 са свързани към модул 2 за композиране на 360° градусови виртуални форми в реално време, който е разположен в изчислително устройство, непоказано на фигурите. Системата може да получава информация от цифрови сензори 3, разположени върху тяло и свързани към модул 4 за събиране и калкулация на цифрови данни от различни сензори в реално време, който е разположен в споменатото изчислително устройство. Модулът 4 е свързан към модул 5 за анимиране и визуализиране на 360° градусови 2D/3D виртуални форми от сензорни данни в реално време. Модулът 5 е разположен в изчислителното устройство и е свързан към модула 2 за композиране на 360° градусови виртуални форми в реално време.The system receives a signal from one or more 360 ° VR cameras 1, with parameters and technical capabilities to capture 360 ° video, the cameras 1 being connected to a module 2 for composing 360 ° real-time virtual forms, which is located in a computing device not shown in the figures. The system can receive information from digital sensors 3 located on a body and connected to a module 4 for collecting and calculating digital data from various real-time sensors, which is located in said computing device. The module 4 is connected to the module 5 for animation and visualization of 360 ° 2D / 3D virtual forms of sensory data in real time. The module 5 is located in the computing device and is connected to the module 2 for composing 360 ° degree virtual shapes in real time.
[0029] Системата включва още и модул 9, предназначен за генериране на 360° градусови виртуални форми в реално време, като генерирането им се извършва от предварително подготвени анимация и модели. Модулът 9 е разположен в изчислителното устройство и е свързан към модула 2 за композиране на 360° градусови виртуални форми в реално време.The system also includes a module 9 designed to generate 360 ° degree virtual forms in real time, generated by pre-prepared animations and models. The module 9 is located in the computing device and is connected to the module 2 for composing 360 ° degree virtual forms in real time.
[0030] Системата включва още и модул 10, предназначен за възпроизвеждане на предварително растеризирани 360° градусови изображения и анимация на виртуални форми. Модулът 10 е разположен в изчислително устройство и свързан към модула 2 за композиране на 360 градусови виртуални форми в реално време.The system further includes a module 10 for reproducing pre-rasterized 360 ° degree images and animating virtual shapes. The module 10 is located in a computing device and connected to the module 2 for composing 360-degree virtual forms in real time.
[0031] Модулът 2 за композиране на 360 градусови виртуални форми в реално време е свързан към енкодер 6, който е свързан от своя страна с платформа 7 за дистрибутиране на 360° VR видео потоци в реално време. Платформата 7 разпространява сигнала към системи за наблюдение на VR и 360 градусово изображение.The module 2 for composing 360-degree real-time virtual forms is connected to an encoder 6, which in turn is connected to a platform 7 for distributing 360 ° VR real-time video streams. The platform 7 transmits the signal to VR and 360 degree image monitoring systems.
[0032] Описаната система работи по следният начин: 360° VR камери 1 заснемат 360 градуса изображение и посредством 360° градуса видео поток подават изображението към модула 2 за композиране на 360 градусови виртуални форми в реално време. От цифровите сензори 3 се събират и калкулират цифрови данни в модула 4 за събиране и калкулиране на цифрови данни от различни сензори в реално време, който подава данни към модула 5 за анимиране и визуализиране на 360 градусови 3D виртуални форми от сензорни данни в реално време.The described system works as follows: 360 ° VR cameras 1 capture a 360 degree image and by means of a 360 ° video stream feed the image to the module 2 for composing 360 degree virtual forms in real time. From the digital sensors 3, digital data is collected and calculated in the module 4 for collecting and calculating digital data from various real-time sensors, which feeds data to the module 5 for animating and visualizing 360-degree 3D virtual forms of real-time sensor data.
[0033] При едно изпълнение на системата съгласно изобретението, модулът 5 за анимиране и визуализиране на 360 градусови 3D виртуални форми от сензорни данни в реално време подава 360 градусова 3D виртуална форма към модул 2 за композиране на 360 градусови виртуални форми в реално време. Генерираното в модул 2 финално 360 градусово изображение с виртуални форми се подава към енкодера 6, който трансформира 360 градуса изображение в IP стрийм и го подава към платформата 7 за дистрибутиране на 360 VR видео поток в реално време. Платформата 7 за дистрибутиране на 360° VR видео поток в реално време дистрибутира и подава към системите за наблюдение 8 на VR и 360° градусово видео, което може да бъде наблюдава но от голям брой зрители и потребители.In one embodiment of the system according to the invention, the module 5 for animating and visualizing 360-degree 3D virtual forms from real-time sensor data supplies a 360-degree 3D virtual form to a module 2 for composing 360-degree virtual forms in real time. The final 360 degree virtual shape image generated in module 2 is fed to the encoder 6, which transforms the 360 degree image into an IP stream and feeds it to the platform 7 for distributing 360 VR real-time video streaming. The platform 7 for distributing 360 ° VR video stream in real time distributes and delivers to the monitoring systems 8 of VR and 360 ° video video, which can be watched by a large number of viewers and users.
[0034] При друго изпълнение на системата съгласно изобретението модулът 9 за генериране на 360 градусови 3D виртуални форми в реално време от предварително подготвени анимация и модели подава към модул 2 за композиране на 360 градусови виртуални форми в реално време. Генерираното в модул 2 финално 360 градусово изображение с 3D виртуални форми се подава към енкодера 6, който трансформира 360 градуса изображение в IP стрийм и го подава към платформата 7 за дистрибутиране на 360 VR видео поток в реално време, която дистрибутира и подава към системите за наблюдение 8 на VR и 360° градусово видео, което може да бъде наблюдава -но от голям брой зрители и потребители.In another embodiment of the system according to the invention, the module 9 for generating 360-degree 3D virtual forms in real time from pre-prepared animations and models is fed to the module 2 for composing 360-degree virtual forms in real time. The final 360 degree image with 3D virtual shapes generated in module 2 is fed to the encoder 6, which transforms a 360 degree image into an IP stream and feeds it to the platform 7 for distribution of 360 VR real-time video streaming, which distributes and feeds to the systems. VR 8 surveillance and 360 ° video, which can be watched by a large number of viewers and users.
[0035] При едно вариантно изпълнение на системата съгласно изобретението модулът 10 за възпроизвеждане на предварително растеризирани 360 градусови изображения и анимация на виртуални форми подава данни към модул 2 за композиране на 360 градусови виртуални форми в реално време. Генерираното в модул 2 финално композирано 360 градусово изображение с 3D виртуални форми се подава към енкодера 6, който трансформира 360 градуса изображение в IP стрийм и го подава към платформата 7 за дистрибутиране на 360 VR видео поток в реално време, която дистрибутира и подава към системите за наблюдение 8 на VR и 360° градусово видео, което може да бъде наблюдавано от голям брой зрители и потребители.In a variant embodiment of the system according to the invention, the module 10 for reproducing pre-rasterized 360-degree images and animation of virtual forms feeds data to the module 2 for composing 360-degree virtual forms in real time. The finally composed 360 degree image with 3D virtual shapes generated in module 2 is fed to the encoder 6, which transforms a 360 degree image into an IP stream and feeds it to the platform 7 for distributing 360 VR video stream in real time, which it distributes and feeds to the systems. for VR 8 surveillance and 360 ° video, which can be watched by a large number of viewers and users.
[0036] Както вече беше описано по-горе, към модулът 2 за композиране на виртуални форми в реално време са свързани модул 5, модул 9 и модули 10, като всеки от тях може да генерира различни по характер и структура виртуални форми. Начинът на свързването им към модул 2 позволява в него да бъдат композирани поотделно съответно 3D виртуални форми от сензорни данни или 2D/3D виртуални форми от предварително подготвени анимация и модели или възпроизвеждане на предварително растеризирани 360 градусови изображения и анимация.As already described above, a module 5, a module 9 and modules 10 are connected to the module 2 for composing virtual forms in real time, each of which can generate different in form and structure virtual forms. The way they are connected to module 2 allows 3D virtual forms of sensor data or 2D / 3D virtual forms of pre-prepared animation and models or reproduction of pre-rasterized 360-degree images and animation to be composed separately.
[0037] В зависимост от конкретно изпълняваното задание или приложение на метода, в модулът 2 се композират 360 градусови виртуални форми в реално време, представляващи комбинация от споменатите виртуални форми, генерирани в модулите 5, 9 и 10.Depending on the specific task or application of the method, 360-degree real-time virtual shapes are composed in module 2, representing a combination of said virtual shapes generated in modules 5, 9 and 10.
[0038] Описаната до тук система позволява реализирането на метода за интерактивно вграждане на 2D/3D виртуални визуални форми в 360° видео поток на живо в следната последователност: като начало се извършва обработка 11 на видео поток от 360 градусова (VR виртуална реалност) камера.The system described so far allows the implementation of the method for interactive embedding of 2D / 3D virtual visual forms in a 360 ° live video stream in the following sequence: as a start, processing 11 of a 360 degree (VR virtual reality) video video stream is performed. .
Едновременно с това се извършва събиране и калкулация 12 /обработване/ на цифрови данни от различни сензори в реално време. На база на събраната по този начин информация и данни в реално време, чрез модул 5 се извършва анимиране и визуализиране 13 на 360 градусови 3D виртуални форми от сензорни данни в реално време.At the same time, digital data is collected and calculated 12 from various sensors in real time. Based on the information and data collected in this way in real time, through module 5 animation and visualization 13 of 360 degree 3D virtual forms of sensory data in real time is performed.
[0036] Съгласно едно вариантно изпълнение на метода, в зависимост от конкретното приложение, чрез модул 9 се извършва генериране 14 на 360 градусови 3D виртуални форми в реално време, в случая - от предварително подготвени анимации и модели.According to a variant embodiment of the method, depending on the specific application, 14 to 360-degree 3D virtual forms are generated in real time by the module 9, in this case from pre-prepared animations and models.
[0037] Съгласно друго вариантно изпълнение на метода, в зависимост от конкретното приложение, чрез модул 10 се извършва възпроизвеждане 15 на предварително растеризирани 360 градусови изображения и анимации на виртуални форми.According to another variant embodiment of the method, depending on the specific application, the pre-rasterized 360-degree images and animations of virtual shapes are reproduced by the module 10.
[0038] Създадената по този начин база от виртуални форми позволява композиране 16 в модул 2 на 360 градусови виртуални форми в реално време, при което композираните виртуални форми в реално време се наслагват върху обработеният видео поток от 360 градусова камера /виртуална реалност/, след което се извършва кодиране 17, последвано от дистрибутиране 18 на 360 градусова виртуална реалност видео потоци в реално време чрез платформата 7, която е свързана със системите за • · · ···· · · Ίο............The virtual shape base thus created allows composition 16 in module 2 of 360-degree real-time virtual shapes, wherein the composite real-time virtual shapes are superimposed on the processed video stream from a 360-degree camera (virtual reality), after which encryption 17 is performed, followed by the distribution 18 of 360 degree virtual reality video streams in real time through the platform 7, which is connected to the systems for • · · ···· · · Ίο .......... ..
наблюдение 8, в резултат на което се реализира наблюдение 19 на виртуална реалност (VR) и 360 градусово видео.observation 8, as a result of which virtual reality (VR) observation and 360-degree video are realized.
[0039] Описаните признаци и елементи на метода и системата, обект на изобретението могат да бъдат комбинирани по всеки един подходящ начин, в едно или повече изпълнения. В описанието са представени специфични подробности, като например софтуерни модули, мрежови транзакции, заявки към бази данни, структури от бази данни, хардуерни модули, хардуерни схеми и др. изпълнения на изобретението. Специалистът в областта може да признае, че изобретението може да се прилага без един или повече от специфичните признаци или детайли или с други методи, компоненти, материали и т.н. В определени изпълнения, когато се използват добре известните елементи или операции, те не са показани или описани подробно, за да се избегнат неясни аспекти на изобретението.The described features and elements of the method and system object of the invention may be combined in any suitable manner, in one or more embodiments. The description presents specific details, such as software modules, network transactions, database queries, database structures, hardware modules, hardware circuits, and more. embodiments of the invention. One skilled in the art will recognize that the invention may be practiced without one or more of the specific features or details or with other methods, components, materials, and the like. In certain embodiments, when well-known elements or operations are used, they are not shown or described in detail to avoid obscure aspects of the invention.
Claims (4)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BG112977A BG67359B1 (en) | 2019-08-01 | 2019-08-01 | METHOD AND SYSTEM FOR INTERACTIVE INCORPORATION OF 2D/3D VIRTUAL VISUAL FORMS IN A 360o LIVE VIDEO STREAMING |
| GB2011383.3A GB2590749A (en) | 2019-08-01 | 2020-07-23 | Method and system for interactive embedding of virtual 2D shapes and 3D forms in 360° live video stream |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BG112977A BG67359B1 (en) | 2019-08-01 | 2019-08-01 | METHOD AND SYSTEM FOR INTERACTIVE INCORPORATION OF 2D/3D VIRTUAL VISUAL FORMS IN A 360o LIVE VIDEO STREAMING |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BG112977A true BG112977A (en) | 2019-11-15 |
| BG67359B1 BG67359B1 (en) | 2021-07-30 |
Family
ID=72339326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BG112977A BG67359B1 (en) | 2019-08-01 | 2019-08-01 | METHOD AND SYSTEM FOR INTERACTIVE INCORPORATION OF 2D/3D VIRTUAL VISUAL FORMS IN A 360o LIVE VIDEO STREAMING |
Country Status (2)
| Country | Link |
|---|---|
| BG (1) | BG67359B1 (en) |
| GB (1) | GB2590749A (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150206349A1 (en) | 2012-08-22 | 2015-07-23 | Goldrun Corporation | Augmented reality virtual content platform apparatuses, methods and systems |
| EP3061092B1 (en) * | 2013-10-24 | 2022-06-22 | Visible Ink Television Ltd. | Motion tracking system |
| US9704298B2 (en) * | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
| US10623636B2 (en) * | 2015-08-17 | 2020-04-14 | C360 Technologies, Inc. | Generating objects in real time panoramic video |
| US10324522B2 (en) | 2015-11-25 | 2019-06-18 | Jakob Balslev | Methods and systems of a motion-capture body suit with wearable body-position sensors |
| US20170286993A1 (en) * | 2016-03-31 | 2017-10-05 | Verizon Patent And Licensing Inc. | Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World |
| US10621784B2 (en) * | 2017-09-29 | 2020-04-14 | Sony Interactive Entertainment America Llc | Venue mapping for virtual reality spectating of live events |
-
2019
- 2019-08-01 BG BG112977A patent/BG67359B1/en unknown
-
2020
- 2020-07-23 GB GB2011383.3A patent/GB2590749A/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| BG67359B1 (en) | 2021-07-30 |
| GB2590749A (en) | 2021-07-07 |
| GB202011383D0 (en) | 2020-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10582191B1 (en) | Dynamic angle viewing system | |
| US10609308B2 (en) | Overly non-video content on a mobile device | |
| Kim et al. | Vrsa net: Vr sickness assessment considering exceptional motion for 360 vr video | |
| CN106648083B (en) | Enhanced playing scene synthesis control method and device | |
| RU2621644C2 (en) | World of mass simultaneous remote digital presence | |
| US9143699B2 (en) | Overlay non-video content on a mobile device | |
| US8022965B2 (en) | System and method for data assisted chroma-keying | |
| US10049496B2 (en) | Multiple perspective video system and method | |
| CN110727341A (en) | Event augmentation based on augmented reality effects | |
| JPWO2016009865A1 (en) | Information processing apparatus and method, display control apparatus and method, playback apparatus and method, program, and information processing system | |
| CN102340690A (en) | Interactive television program system and realization method | |
| CN105894571B (en) | Method and device for processing multimedia information | |
| CN115118880A (en) | XR virtual shooting system based on immersive video terminal is built | |
| BG112977A (en) | METHOD AND SYSTEM FOR INTERACTIVE INCORPORATION OF 2D/3D VIRTUAL VISUAL FORMS IN A 360o LIVE VIDEO STREAMING | |
| CN105893452B (en) | Method and device for presenting multimedia information | |
| JP6559375B1 (en) | Content distribution system, content distribution method, and content distribution program | |
| JP2020162084A (en) | Content distribution system, content distribution method, and content distribution program | |
| JP2009519539A (en) | Method and system for creating event data and making it serviceable | |
| CA2983741C (en) | Method of video enhancement | |
| WO2002104009A1 (en) | Method and system for combining video with spatio-temporal alignment | |
| US9479713B2 (en) | Method of video enhancement | |
| JP7344084B2 (en) | Content distribution system, content distribution method, and content distribution program | |
| US20230215119A1 (en) | Systems and methods for parametric capture of live-streaming events | |
| WO2019078038A1 (en) | Advertisement system | |
| KR20120131425A (en) | Interactive advertisement authoring device and interactive advertisement authoring method |