BG62114B1

BG62114B1 - Метод и система за вграждане на изображение във видеопоток

Info

Publication number: BG62114B1
Application number: BG100879A
Authority: BG
Inventors: Haim Kreitman; Dan Bar-El; Yoel Amir; Ehud Tirosh
Original assignee: Scidel Technologies Ltd.
Priority date: 1994-03-14
Filing date: 1996-10-01
Publication date: 1999-02-26
Also published as: NO963811D0; CZ265396A3; ATE211872T1; NO963811L; HU9602444D0; KR100260786B1; IL108957A0; RU2108005C1; CA2179031A1; IL108957A; CN1087549C; WO1995025399A1; PL316621A1; AU692529B2; CN1144588A; DE69524946D1; HU220409B; CA2179031C; EP0750819A1; MX9604084A

Description

(54) МЕТОД И СИСТЕМА ЗА ВГРАЖДАНЕ НА ИЗОБРАЖЕНИЕ ВЪВ ВИДЕОПОТОК

Област на техниката

Изобретението се отнася до смесване на подготвено изображение с видеосигнал.

Предшестващо състояние на техниката

Спортните арени обикновено имат зона за игра, където се провежда спектакълът, зона с места, където седи публиката, както и някаква стена, разделяща двете зони. Обикновено стената е поне частично покрита с реклами на фирмите, спонсориращи спектакъла. Когато спектакълът се заснема, рекламите на стената се снимат като част от спортната арена. Рекламите не могат да се представят на публиката отвън по друг начин освен чрез заснемане от телевизионните камери.

Познати са системи, които смесват предварително определени реклами във видео на спортна арена. Една от системите има оператор, който определя набелязаната повърхнина на арената. Тогава системата синхронизира набелязаната повърхнина и смесва предварително определената реклама със съответстващата на повърхнината съставна на видеопотока. Когато камерата престане да визира повърхнината, системата изгубва набелязаната повърхнина и операторът трябва отново да укаже коя повърхнина следва да се използва.

Тази система работи в реално време.

Познати са и други системи, които извършват същата операция, но не в реално време.

Известни са други системи за смесване на данни с последователни видеоизображения. Те включват вграждане на изображение между видеосцени, наслагване на изображението на определено място от телекадъра (като знакът на телевизионния канал) и дори електронно вграждане на изображението като “подмяна” на конкретно набелязана дъска за обяви. Последното се извършва, като се използват техники като например цветната модулация.

Известни са апарат и метод за промяна на видеоизображения така, че да стане възможно добавянето на рекламни изображения към част от първоначално излъченото изображение. Операторът избира на кое място в уловеното изображение ще се вгражда рекламното изображение. Системата от US 5 264 933 може също да вгражда изображения в избрани основни зони на излъчване в отговор на звукови сигнали, като типични изрази на коментаторите /1/.

Известни са процедура и устройство за модифициране на зона в последователни изображения. Изображенията показват недеформируема набелязана зона, която в близост има регистърни означения. Системата търси регистърните означения и ги използва за определяне местоположението на зоната. Предварително подготвено изображение може да се наложи върху зоната. Регистърните означения се откриват лесно (като кръстчета или други графични изображения) във или в близост до набелязаната зона. Системата произвежда уловеното изображение на много резолюции и използва резолюциите в процеса на идентифицирането му /2/.

Техническа същност

Целта на изобретението е да се осигури система и метод за смесване на изображения, като например реклами, с видеопоток на действие, случващо се в рамките на относително непроменящо се пространство. Такова пространство може да бъде игрище или корт, сцена или стая, а мястото обикновено се избира преди действието, например игра или шоупрограма. Изображенията се “вграждат” в избраната повърхнина на фоновото пространство, като терминът “вграждат” означава, че изображенията се смесват в частта на видеопотока, показваща избраната повърхнина.

По-специално изобретението използва априори информация, касаеща фоновото пространство за промяна на видеопотока така, че да включи изображението в определеното фоново пространство. Системата и методът работят независимо от това кое перспективно изображение на фоновото пространство е показано във видеопотока.

Съгласно предпочитания вариант на изобретението системата има уловител на видеокадри и система за вграждане на изобра жения. Кадроуловителят улавя единичен кадър от видеосигнала за единица време. Системата за вграждане на изображения буквално вгражда рекламното изображение в кадъра на предварително избрана съставна на набелязаната повърхнина на фоновото пространство, ако съставната е показана в кадъра. За определяне местоположението на съставната за получаване на вграждане, системата за вграждане на изображението разполага с: а) плосък модел на засечените повърхнини на фоновото пространство, и б) маска на изображението, указваща съставната на плоския модел, в която изображението ще се смесва. Чрез модела системата за вграждане на изображения установява дали и къде се намира съставната в кадъра.

Също така съгласно предпочитания вариант на изобретението системата включва и работна станция, където могат да се проектират изображението и маската, която указва набелязаната повърхнина.

Освен това, идентификацията за предпочитане включва и а) разглеждане на кадъра и отделяне на характеристики от засечените повърхнини, и б) определяне перспективното преобразуване между модела и отделените характеристики.

Също така разглеждането и отделянето включва и създаване на фонова маска и надфонова маска (маска за преден план). Фоновата маска указва местоположенията на интересуващите ни характеристики на фоновите елементи в кадъра и се използва за отделяне на тези характеристики. Надфоновата маска се образува от надфоновите елементи на кадъра, които трябва да останат непроменени.

Допълнително съгласно предпочитания вариант на изобретението вграждането включва следните етапи; а) трансформиране на изображението, маска на изображението и, по желание, блендмаска с преобразуване в перспектива, и б) смесване на преобразуваното изображение, маска на изображението и допълнителна блендмаска с кадъра и с надфоновата маска. Надфоновата маска, както се посочи по-горе, означава кои места на информацията на предния план да не се препокриват от трансформираното изображение.

Системата за предпочитане включва и сравнителна таблица за превръщане между множеството цветове на кадъра в един от цветовете на интересуващите ни характеристики, цветовете на фоновите елементи и цвета, указващ елементите на предния план. Сравнителната таблица се съставя при задаване от страна на потребителя на съответните цветове. Ако съответните цветове престанат да означават интересуващите ни характеристики и фоновите елементи (обикновено поради леки промени), потребителят може да зададе нови цветове, които да означават желаните елементи и в този случай сравнителната таблица се коригира.

По-нататък съгласно предпочитания вариант на изобретението сравнителната таблица се използва за създаване на фонови и надфонови маски на кадъра, указващи местоположението на интересуващите характеристики, на фоновите елементи и на елементите от предния план на кадъра.

Съгласно примерния вариант на изобретението характеристиките са линии. В един от вариантите те се взимат с Hough-трансформация, а в друг от вариантите - чрез определяне ъглите на линейните сегменти. Интересуващите ни пиксели се избират и областта е отворена. Областта се разделя и се избира секторът с най-голяма активност. Избраният сектор се уголемява и разделя. Процесът се повтаря, докато е необходимо.

Също така, съгласно предпочитан вариант на изобретението системата проектира изведените характеристики в асимптотична функция за определяне кои от характеристиките са перспективни версии на паралелните линии.

По-нататък съгласно примерния вариант на изобретението фоновото пространство е спортна арена с маркирани върху нея линии. Системата има модел на спортна арена и е желателно да има списък на правоъгълниците в модела и местоположението на връхните им точки. Системата извършва следните операции:

а) избира две вертикални и две хоризонтални линии от извлечение характеристики и определя пресечните им точки;

б) от връхните точки на всички правоъгълници на модела генерира трансформационна матрица спрямо характеристичните пресечни точки;

в) трансформира модела чрез всяка тран сформационна матрица;

г) използвайки фоновите елементи на фоновата маска, стикова преобразувания модел с кадъра;

д) прави избор на трансформационна матрица, която най-добре отговаря на характеристиките на кадъра.

Съгласно примерния вариант на изобретението за намаляване броя на линиите в кадъра, необходими за идентифициране на спортната площадка, могат да се използват възможностите на камерата. Този вариант може да наложи извършването на следните действия: приемане или снемане на координатите на комплект от камери, представяне на текуща трансформационна матрица като производна на матриците за координати, наклоняване, обръщане и увеличаване на картината и впоследствие определяне стойностите за наклоняването, обръщането и увеличаването й, определяне на камерата, изчислила стойностите за наклоняване, обръщане и увеличаване и съхраняване на информацията и повтаряне на действията за приемане, представяне и идентифициране, когато има ново отделяне във видеото.

Всеки кадър във видеопотока вече може да се третира като подобен на предишния или като част от новия профил, взет от идентифицираната камера.

Описание на приложените фигури

Изобретението се пояснява с приложените фигури, от които:

фигура 1 представлява блок-схема, илюстрираща система за вграждане на изображения във видеопоток, изградена и действаща съгласно предпочитания вариант на изобретението;

фигура 2 - схематична илюстрация на игра на тенис, използвана като пример за обяснение действието на системата от фиг.1;

фигура 3 - модел на тенискорт, служещ за разбиране действието на системата от фиг. 1;

фигура 4а - изображение за вграждане; фигура 4б - зонална маска за изображението на фиг.4а и модела на фиг.З;

фигура 4в - бленд-маска за изображението на фиг.4а и модела на фиг.З;

фигура 5 - блок-схема, изобразяваща елементите на блока за вграждане на изображе ние - част от системата от фиг. 1;

фигура 6 - нагледно описание на примерен видеокадър, в който изображението от фиг.4а трябва да се вгради;

фигура 7 - нагледно описание на фонова маска, генерирана от видеокадъра на фиг.б;

фигура 8 - блок-схема, илюстрираща действието на блока за идентификация на характеристиките - част от блока за вграждане на изображение от фиг.5;

фигура 9а - поточна схема, илюстрираща метода за снемане на характеристика;

фигура 9б - нагледно описание на съставна на фоновата маска, улесняващо разбирането на метода от фиг.9а;

фигура 9в - нагледно описание на хистограма от подсектори на фоновата маска от фиг.9б, улесняващо разбирането на метода от фиг.9а;

фигура 10 - блок-схема, илюстрираща действието на блока за перспективна идентификация - част от блока за вграждане на изображения от фиг.5;

фигура 11а - пресечни точки на снетите характеристики от фиг. 7;

фигура 116 - нагледно описание на перспективни успоредни линии, пресичащи се в различни точки поради грешки в изчисленията;

фигура 12а и 126 - гномонни проекции, служещи за разбиране действието на блока за перспективна идентификация от фиг. 10;

фигура 12в - графична илюстрация на примерна функция, служеща за гномонните проекции от фиг. 12а и 12б;

фигура 13 - подробна блок-схема, илюстрираща действията на фиг. 10;

фигура 14а и 146 - изясняване действията от фиг. 13;

фигура 15 - илюстрира използването на трансформационните матрици;

фигура 16 - изясняване процеса на стиковане между четириъгълниците и геометричния модел, поясняващ действията на фиг. 13;

фигура 17 - блок-схема, илюстрираща действието на блоковете за трансформация и смесване на блока за вграждане на изображение на фиг.5;

фигура 18 - блок-схема, илюстрираща метода за корекция за осъвременяване на сравнителната таблица, използвана от блока за вграждане на изображение на фиг.5;

фигура 19 - схема на параметрите на камерата;

фигура 20 - поточна схема, илюстрираща действията на трансформационната матрица, когато са известни или изчислими параметрите на камерата на фиг. 19;

фигура 21 - схема на таблица, изясняваща процеса, показан на фиг.20;

фигура 22 - поточна схема, илюстрираща метод на действие, когато параметрите на камерата са известни или изчислими.

Примерно изпълнение

На фиг.1 е показана система за смесване на изображения, като реклами, с видеопоток, чието действие се извършва в относително непроменящо се фоново пространство. Изображенията се вграждат в избрана повърхнина на фоновото пространство. Системата се описва в контекста на видеозапис на игра на тенис, показан на фиг.2, към която има отпратки.

Ясно е, че изобретението се отнася за всички обстоятелства, при които повърхнините, където се извършва действието са известни априори и са разграничими.

Системата на изобретението принципно се състои от уловител на видеокадри 10 за преобразуване на входяща видеосерия, като например игра на тенис, във видеокадри, работна станция 12 за проектиране на изображения, като например реклами, за вграждане в избрана повърхнина, като например тенискорт, виждаща се на видеокадъра, система за вграждане на изображения 14 за смесване на видеокадъра с желаното изображение, контролна компютърна система 16 за управляване на действията и гарантиране достъпа на оператор до системата за вграждане на изображения 14 и монитор за възпроизвеждане 18.

Контролната компютърна система 16 по принцип се състои от главен процесор (CPU) 20, клавиатура 22, мишка 24, диск 26, флопидисково устройство за външна памет 27 и монитор 28. Мониторът 28 принципно се управлява от графичен адаптер, който е част от главния процесор 20. Работната станция 12 принципно има също флопидисково устройство за външна памет като устройство 27.

Контролната компютърна система 16 и системата за вграждане на изображение 14 осъ ществяват обмен чрез системна шина 29. Работната станция и контролната компютърна система осъществяват обмен чрез външна памет.

Видеосерията може да се получи от какъвто и да е източник, като видеокасета, сателитна връзка, микровълни или друг вид видеокомуникация и др. Ако серията е подадена от сателит, системата няма контрол върху скоростта на излъчването. Следователно, системата за вграждане на изображение 14 трябва да работи със скоростта на сателитния видеопоток - около 30 ms от кадър до кадър. Ако серията се получава от видеолента, системата може да контролира скоростта и да работи на желаната скорост.

Обикновено видеосерията се произвежда на мястото на провеждане на играта. Както може да се види на фиг.2, за тенистурнирите има две телевизионни камери 30, които наблюдават действието на тенискорта 32. Местоположението на телевизионните камери 30 обикновено е фиксирано.

Кортът 32 е разделен на две чрез мрежа 34. Всяка половина има множество зони 36, оцветени в светлозелено, разграничени чрез множество линии 38, боядисани в бяло. Външната зона на корта 40 е оцветена в тъмнозелено.

В действителност линиите 38 са успоредни и перпендикулярни линии. Тъй като камерите 30 увеличават образа повече изпод ъгъл, отколкото отгоре, изображенията на действията, които те получават, са видени в перспектива. Следователно, в изходящото от камерите 30 изображение, успоредните линии 38 като че ли се съединяват в безкрайността. Ъгълът на перспективата на изходящия видеосигнал се променя в зависимост от ъгъла, от който камерите 30 снимат, и от степента на увеличение.

Съгласно изобретението се вгражда изображение 42, като думата IMAGE, на желано място от избраната фонова повърхнина за всички ъгли на перспективата и за всяко увеличение. За тенискортове възможното местоположение е който и да било правоъгълник в едната половина на тенискорта 32, определена от четири линии 38. Както е показано на фиг.2, изображението 42 няма да пречи на действията на играчите 44, ще изглежда като че ли изображението 42 е нарисувано на повърхността на корта.

Тъй като в действителност формата на корта 32 и местоположението на линиите 38 върху корта 32 не се променят, ако системата за вграждане на изображения има модел на игрището, включително и мястото, на което ще се вгради изображението, и ако може да определи поне ъгъла на заснемане и степента на увеличение, тя ще може да вгради изображението във видеосерия така, че да изглежда, че изображението се намира на желаното място. За да направи това, системата за вграждане на изображение допълнително се нуждае от информация за цвета на корта така, както се вижда от камерите. Тези цветове могат да се променят с промяната на осветлението (дневна светлина или изкуствено осветление).

На фиг.З допълнително е илюстриран геометричен модел 50 на тенискорта, а на фиг. 4А, 4Б и 4В са дадени данните, които подготвя видеооператора.

Видеооператорът работи на работната станция 12, същата като работна станция BLAZE, произведена от Scitex Corporation Ltd. от Херзлия, Израел, която разполага с геометричен модел 50 на тенискорта 32, гледан отгоре. Моделът 50 е възпроизведен в мащаб корт 32, указващ елементите, които трябва да се разпознаят от системата за вграждане на изображения 14, а именно линиите 38. Други игрища могат да имат кръгове или други добре дефинирани криви. Други идентифицируеми елементи са пресечните точки 54 на линиите 38.

Видеооператорът проектира изображението 42 (фиг. 4А), което трябва да се вгради и определя къде точно да го разположи на модела. На фиг.З са показани няколко възможни положения 52. Тогава видеооператорът подготвя маска за разположението на изображението 56 (фиг. 46), за да определи къде точно в модела 50 трябва да се разположи изображението 42. Маската 56 е светла на мястото в модел 50, където трябва да се постави изображение 42 и тъмна в останалата си част.

Тъй като изображението 42 трябва да бъде с ярки цветове, може да се реши да не се вгражда самото изображение, а негова версия с по-убити цветове, така че да не се пречи на играта на корта 32. Следователно, видеоопе раторът може да подготви и бленд-маска 58 (фиг.4в), указваща как изображението 42 трябва да се смеси с цвета на корта 32 на мястото на вграждане, както е указано от маската за местоположение 56. Бленд-маската 58 може да е която и да е подходяща маска, като други познати в областта. На фиг. 4в маска 58 има четири зони 59, всяка една означаваща поемането на различно количество цвят от корта, където външната зона 59 обикновено поема много повече от цвета на корта, отколкото във вътрешните части.

Както е показано на фиг. 1 и 2 данните за вграждането, образувани от геометричния модел 50, изображението 42, маската за местоположението на изображението 56 и допълнителната бленд-маска 58 обикновено се подготвят преди съответната тениссреща и се подават на системата за вграждане на изображение 14, обикновено чрез външна памет за вграждане във входящата видеосерия, когато се провежда мачът.

Повечето видеосерии на предаваните на живо по телевизията мачове започват със стартиране на оперативната серия, за да могат операторите на местните станции да синхронизират системите си към входящата серия. Същото се прави и при видеозапис.

При изобретението стартирането на видеоданните се улавя от кадроуловителя 10 и се подава първо на контролната компютърна система 16. Видеооператорът на работната станция избира кадъра с най-ясно изображение на игрището и го използва за подаване на информация за калибриране, както е описано по-долу. Информацията за калибриране се използва от системата за вграждане на изображение 14 за определяне на корта 32 и неговите характеристики, като линиите 38. В описания вариант калибровъчната информация включва цветовете на интересуващите ни характеристики във фона, като линиите на игрището, самото игрище (корт 32) и полето извън игрището (външната част на корта 40). Останалите цветове, които могат да се получат, се определят като цветове на предния план. При други игрища може да са необходими по-малко или повече характеристики за определянето им и следователно - по-малко или повече цветове.

Видеооператорът на работната станция с мишката 24 и клавиатурата 22 извършва калибровката на цветовете. Това може да се извърши по много начини, един от които ще бъде описан тук. Върху текущия кадър на контролния монитор 28 се налага четирицветен слой. Първоначално четирицветния слой се състои само от един цвят - прозрачен. При това текущият кадър първоначално се вижда.

Операторът указва пикселите, описващи една от трите характеристики, линиите 38, вътрешното поле на игрището 36 и външното поле на игрището 40. Когато избере пикселът, намиращите се в наложения слой пиксели, които съответстват на пикселите в текущия кадър, се оцветяват еднакво в съответния цвят, с което покриват съответните им пиксели в текущия кадър. Избраният цвят се съхранява. Процесът се повтаря за всичките три зони. На всички неизбрани цветове им се подава четвърти преобразуван цвят.

Ако операторът одобри получения четирицветен слой, се съставя сравнителна таблица между избраните от текущия кадър цветове и преобразуваните цветове.

По желание, контролната компютърна система 16 може да съхрани пикселите, които е избрал операторът за по-нататъшна употреба в корекционен цикъл на сравнителната таблица, описан по-долу под фиг. 18.

Контролната компютърна система 16 предоставя данните за кадъра, състоящи се от сравнителната таблица и използваните за изграждането на сравнителната таблица пиксели на системата за вграждане на изображения 14. Системата 14 използва гореописаните данни за кадъра за определяне на желаните характеристики във всеки кадър на входящия видеосигнал.

На фиг.5 са показани основните елементи на системата за вграждане на изображение 14. Чрез фиг. 6 и 7 може да се разбере действието на системата 14.

Системата 14 се състои от блок за разпознаване на характеристики 60 (фиг.5) за определяне кои характеристики на корта 32 са налице във всеки входящ видеокадър, както и блок за идентификация на перспектива 62 за определяне на ъгъла на заснемане и степента на увеличение на действащата камера 30, както и за определяне на подходящата трансформация на перспективата между модела 50 и входящия видеокадър. Системата 14 има и трансформатор 64 за трансформиране на данните за вграждане от повърхнината на модела в повърхнината на изображението и смесител 66 за смесване на данни за перспективно вграждане в текущия видеокадър и, следователно, за вграждане на изображение 42 върху корта 32.

Както е описано подробно по-долу, блокът за определяне на характеристиките 60 използва сравнителната таблица за създаване на фонова маска на входящия кадър, указвайки кои части от кадъра имат интересуващите ни възможни фонови характеристики и кои са частите в преден план и, следователно, не трябва да се променят при бъдещи операции. На фиг. 6 и 7 е показан примерен изходящ кадър 68 и съответната му фонова маска 70.

Входящият кадър 68 на фиг. 6 има двама играчи 44 на корта 32. Фоновата маска 70 на фиг. 7 показва зоните на четирите цвята. Зоните, отбелязани с 1-4, са съответно зоните на цвета на линиите, на цвета на вътрешния корт, на цвета на външния корт и останалите цветове. Забелязва се, че зоните на играчите 44 са маркирани с фонов цвят 4 и покриват други важни зони, като тези на белите линии 1.

От фоновата маска 70 блок 60 (фиг.5) извежда характеристиките на игрището. Интересните характеристики за тенискортовете са линиите 38. Блокът за определяне на перспектива 62 сравнява изведените характеристики с тези на модела 50 и генерира от тях трансформационна матрица.

Чрез трансформационна матрица преобразувателят 64 превръща данните за вграждане на изображението, например изображението 42, което ще се вгражда, маската за местоположението на изображението 56 и блендмаската 58 в перспективата на входящия видеокадър.

Накрая, използвайки маската за местоположението на преобразуваното изображение 56 и фоновата маска 70, смесителят 66 вгражда перспективната версия на изображението 42 в желаните фонови части на входящия видеокадър. Така, ако играчите се движат по частта на корта 32, където е вградено изображението 42, ще изглежда, че те се движат по вграденото изображение. По желание, трансформираната бленд-маска може да се използва за смесване на изображението 42 с цветовете на игрището, върху което е вградено изображението 42.

На фиг. 8 е изобразено действието на блока за определяне на характеристиките 60. Във фаза 72 блок 60 използва сравнителна таблица за преобразуване на входящия видеокадър от многоцветен кадър до четирицветна картина, наречена фонова маска 70. В частност, за тенискорта 32 сравнителната таблица подава първата стойност за пикселите с цвета на линиите 38, втората стойност - за пикселите на вътрешната част на игрището 36, третата стойност - за пикселите с цвета на външната част на игрището и четвъртата стойност (указваща пикселите на предния план) - за останалите пиксели (фиг. 7). Сравнителната таблица може да се използва в който и да е от многото методи, познати в тази област.

Фоновата маска 70 не само определя кои пиксели съответстват на интересуващия ни фон, но обхваща и интересуващи ни характеристики, като линиите 38. Така във фаза 74, блокът за определяне на характеристиките 60 има фонова маска 70 за извеждане на интересуващите ни характеристики. Обикновено, макар и не непременно, сравнителната таблица е разчетена да осигури характеристики с една цветова стойност.

Например за тениссреща, извеждането включва прегледа на онези пиксели от фоновата маска 70, които имат първата стойност и извеждането от тях на правите сегменти. Например фаза 74 може да се осъществи чрез трансформация на Hough при работа върху фоновата маска 70. Трансформациите на Hough са описани на стр. 121-126 в “Цифрова обработка на картини”, II издание, т. 2, Азриел Розенфелд и Авинаш Как, Академик прес, 1982, която е приложена тук като литература.

Резултатът е масив от линейни параметри, всеки един от които описва един прав сегмент във фоновата маска 70. Линейните параметри за всеки сегмент съдържат коефициентите на линейните уравнения, които ги описват, както и претеглената стойност, указваща броя на пикселите, включени в сегмента.

Алтернативен метод за извеждане е показан на фиг. 9а, 96 и 9в, чието кратко описа ние е дадено по-долу. Както е показано на фиг. 9а, методът започва с първия пиксел 69 (фиг. 96) на фоновата маска 70 с един интересуващ ни цвят (в този пример - бял) и проверява в съседната област 75 за определяне местоположението на белите пиксели (защриховани). За да се получи това, той разпределя областта 75 на сектори 71-74 с предварително определени размери и прави хистограма за разпределението на белите пиксели във всеки сектор. На фиг. 9в е показана хистограмата за сектори 71-74 на фиг. 96. Като следващ сектор за търсене се избира този с най-висок максимум (сектор 73).

В следващата фаза се определя нова област 78, която се състои от избрания сектор 73 и продължението му. Цялата област 78 е два пъти по-голяма от област 75. Тази нова област 78 се дели на четири сектора 76 и процесът се повтаря.

Този процес продължава, докато един от следните критерии не бъде изпълнен:

1. Секторът да е достатъчно тесен, за да се определи като права линия.

2. В хистограмата да няма висок максимум.

Ако се изпълни първото условие, коефициентите на правата линия се съхраняват и пикселите, образуващи първата линия, се “оцветяват” за получаване на “останалия цвят” и така се отстраняват от търсенето.

Процесът за извеждане на характеристики генерира масив от възможни характеристики, който съдържа действителните характеристики и правите линии.

На фиг. 10 е показано принципното действие на блока за определяне на перспективата 62 от фиг.5. Фиг. 11 и 116 помагат при разбиране на действието на блок 62, а на фиг. 13 са описани подробно функциите на блок 62, например на тенискорта 32, а на фиг. 12а, 126, 12в, 14а и 146 са описани действията от фиг. 13.

Използвайки априори информация, блок 62 във фаза 80 обработва масива на възможните характеристики и определя кои от тях са вероятно интересуващите ни. Във фаза 82 блок 62 избира минимален брой характеристики от останалите действителни характеристики и прави опит да ги стикова с характеристиките на модел 50. Процесът се повтаря толкова често, колкото е необходимо, докато се намери съответствието. Във фаза 84 стикованите характеристики се използват за генериране на трансформационна матрица М, преобразуваща модела в характеристиките на входящия видеокадър.

В примера на тенискорта 32 фаза 80 използва факта, че линиите 38 на модела 50 са успоредни в две направления (вертикално и хоризонтално) и че в перспектива (както и във входящия видеокадър) линиите, които са успоредни в действителността, се пресичат в крайна точка. Това е показано на фиг.11а, в която всички изведени линейни сегменти, представлявани от плътни линии, са удължени от пунктирани линии. Линиите в перспектива, които в действителност съответстват на успоредните линии, например псевдопаралелните линии 90, се пресичат в точка 91, далеч извън краищата 92 на кадъра. Всички останали пресечни точки, означени с 94, се явяват в зоната, очертана от краищата 92 или в близост до краищата.

Както е показано на фиг.116, поради грешки в дигитализацията, може да се определи, че продълженията на псевдопаралелните линии не се пресичат в една точка. В действителност те могат да се пресекат в три много отдалечени една от друга точки 96.

Авторите установяват, че, тъй като перспективните успоредни линии се срещат в безкрайността, проекцията на изведените линии върху асимптотна функция ще направи пресечните им точки да са в близост една до друга. Ето защо, съгласно избрания вариант на изобретението, изведените линейни сегменти се проектират върху двумерна асимптотна функция. Една от тези проекции се нарича “гномонна проекция” и е описана на стр. 258, 259 и 275 в “Зрението на робота”, Бертолд Клаус Пол Хори, МИТ прес, Кембридж, Масачузетс, 1986, цитирана като литература. Примери за гномонна проекция са дадени на фиг. 12а и 126.

При гномонната проекция точка 100 на равнината XY 102 се проектира в точка 100' на полусфера 104. Линия 106 в равнината XY се проектира в голяма дъга 106ч на полусфера 104, т.е. дъга от голям кръг на сфера. Началото е изобразено от южния полюс 109, а безк райността е изобразена от екватора 108. Така всяка група 110 (фиг. 126) точки в близост до екватора 108 представлява пресечната точка на псевдопаралелни линии и следователно линиите, които имат точки, минаващи през група 110, са успоредни линии.

На фиг. 126 е изобразено множество от големи дъги, означени с номера 120а-120е, съответстващи на случайно избрани линейни сегменти (непоказани). Тези три дъги 120а-120в имат пресечни точки 122, които образуват група 110а в близост до екватора 108. Дъгите 120г120е също се пресичат близо до екватора, но в група 1106. Всички големи дъги се пресичат една друга, но другите им пресечни точки са разположени по-близо до южния полюс 109, отколкото до екватора 108.

Във фаза 130 (фиг. 13) гномонната проекция се използва за съставяне на масив от големи дъги от масива от праволинейни сегменти, генериран при снемането на характеристиките (фаза 74, фиг.8).

Във фаза 132 зоната около екватор 108 се претърсва за откриване на всички пресечни точки 122. На всяка пресечна точка се дава стойност V, която е функция от масива W на линейните сегменти, които се пресичат и Zкоординатата на пресечна точка 122. В уравнение 1 е посочен пример на функция V_k

V = W * W * f (Z _к ) (1) к линия 1 линия 2 ^v прес. точки' ^v ' където f(Z_npecTo4kH) е която и да е функция с крива, подобна на крива 134 на фиг. 12в, характеризираща се с това, че повечето точки получават ниски стойности и само приближаващите се до екватора точки 108 (Z=l) приемат стойности, близки до 1. Например, f(Z . ) може да бъде Z⁵.

Във фаза 136 малка област около всяка пресечна точка 122 се претърсва за други пресечни точки. Ако такива бъдат открити, тази пресечна точка и другите открити пресечни точки се съхраняват като група 110 (фиг. 136). Група 110 също се дефинира като група, чиято стойност на f(Z_{npec точки}) е над предопределения праг. Следователно група 110 може да съдържа само една пресечна точка. На фиг. 126 има три групи 110а-110в, едната от които група 110в съдържа само една пресечна точка 122.

След като бъдат открити всички точки, местоположението на всяка група 110 се определя чрез намиране на “център на тежестта” на точките в групата. Масата на група 110 е сумата от стойностите V_k на точките в групата.

Във фаза 138 се избират двете групи с $ най-голяма маса. Например на фиг.12б се избират групи 110а и 1106.

Във фаза 140 се приема, че една група представлява “хоризонтални” линии. Също и във фаза 140 се приема, че правите сегменти, съответстващи на линиите на двете избрани групи, са означени съответно “хоризонтални” или “вертикални”.

Във фаза 142 се прави преглед на “вертикалните” и “хоризонталните” линии и се избират двете най-тежки вертикални и двете найтежки хоризонтални линии, където е получено определението “най-тежко” от стойностите W.. Избраните линии, означени със 146, са пока- 20 зани на фиг. 14а за линиите на фиг. 11а. Във фаза 144 пресечните точки, означени с А, В, С и D на четирите избрани линии, се определят и съхраняват. Както е показано на фиг. 14а, избраните линии могат да се пресичат извън 25 кадъра.

Фази 130-144 са действията, необходими за определяне на действителните характеристики във видеопотока (фаза 80 на фиг. 10).

Изходящата информация от фаза 144 са харак- ^υтеристиките, които трябва да се стиковат с модела. Останалите фази стиковат характеристиките с модела и определят преобразуването (фази 82 и 84 на фиг. 10) като комплекс от операции.

Стандартният тенискорт има пет вертикални линии и четири хоризонтални линии. Тъй като не е възможно да се направи разграничение между двете половини на корта, от значение са само три хоризонтални линии. Броят на отделните четириъгълници, които могат да се образуват при избора на две от три хоризонтални линии (три възможни комбинации), е тридесет. Тридесетте четириъгълника могат да 45 се ориентират в четири посоки и образуват общо 120 четириъгълника.

Във фаза 150 се избира един от 120 правоъгълника в геометричния модел 50 чрез избиране на четирите му ъгли, означени с А’, В’, 50 С’ и D’ (фиг. 146). Както можете да видите, това не е правилното стиковане.

Във фаза 152 се определя матрица М, която осъществява преобразуването от четирите точки D’, В’, С’ и D’ на модела (фиг. 146) в четирите точки D, В, С и D на видеокадъра (фиг. 14а). Матрицата М може да се представи като наслагване на последователни преобразувания, както е показано на фиг. 15.

Фиг. 15 показва три четириъгълника 180, 182 и 184. Четириъгълник 180 е четириъгълника модел ABCD, показан в равнина ΧΥ, четириъгълник 182 - единичен квадрат с точки (0,1), (1,1), (0,0) и (1,0) в равнината TS, а четириъгълник 184 - четириъгълника в перспектива 184 в равнината UV.

Преобразуването М от четириъгълника модел 180 в четириъгълник от перспективата 184 може да се представи чрез наслагване на две преобразувания, пренасяне и скалиране на матрица Т от четириъгълник 180 в единичен квадрат 182 и перспективната матрица Р от единичния квадрат 182 до четириъгълник 184. При хомогенни координати матрица Т има следния вид т=

S, 00

S,0 т_ж Т_у1 (2) където Sx и Sv са мащабни фактори в направления X и Y, съответно Тх и Ту са транслационните фактори X и Y. Sx, Sy, Тх и Ту се определят от уравнението (х, у, 1)*Т = (s, t, 1) (3) за четирите координати (х, у, 1) на четириъгълника 180 и четирите координати (s, t, 1) за единичния квадрат 182.

При хомогенни координати матрица Р приема вида

Елементите на матрица Р се определят чрез решаване на следното уравнение (s, t, 1) * Р = (u, v, w) (5) където (и, v, w) са четирите известни координати на точки А. В, С и D на четириъгълник 184, както е показано на фиг. 15, a w е винаги определено.

Да приемем, че аЗЗ = 1, тогава Р може да се изчисли, както следва:

От (s,t, 1)=(0,0,1) определяме, че а31=и_ю (6) a32 = V_op

От (s,t,lj = (1,0,1) определяме, че:

al 1 + аЗ 1 = U_w(a 13 + 1) => al 1 = U₁₀(al3 + 1) - U_M <⁷> al2 + a32 = V_|0(al3 + 1) => al2 = V₁₀(al3 + 1) - V_MOr (s,₉l) = (0,1,1) определяме, че:

а21 + аЗ 1 = U₀₁(a23 + 1) => а21 = U₀₁(a23 + 1) - U_M (8) a22 + a32 = V_0|(a23 + 1) => a22 = V_0|(a23 + 1) - V_wOr (s,t, 1) = (1,1,1) определяме, че:

all +a21 + a31 =U„(al3 + a23 + 1) · (9) al2 + a22 + a32 = V_t|(al3 + a23 + 1)

От уравнения 7-9, две уравнения c две неизвестни, а13 и а23 се получава следното ai3(U,₀ - U„) + a23(U₀, - U„) = U„ + U_M - U,„ - U₀₁al3(V,₀ - V„) + a23(V₀, - V„) = V„ + V_M- V„- V₀₁ < 1 θ>

След като се определят а13 и а23, останалите елементи могат да се получат от уравнения 7 и 8.

Трансформационната или картираща матрица М е матрица, получена от умножението на матрици Т и Р, а именно

М = Т*Р (11)

Във фаза 154 линиите 38 на модел 50 се проектират върху видеокадър чрез проекционната матрица М. Получава се изменен кадър 156 (фиг. 16) с Is на местата, където са разположени пикселите на преобразувания модел и 0s навсякъде другаде. Както може да се види, точки А’, В’, С’ и D’ съвпадат с точки А, В, С и D съответно. Но останалата част на геометричния модел не съвпада.

Във фаза 158 измененият кадър е в отношение XOR спрямо фоновата маска 70 (фиг.7). Фазата XOR генерира 0 в два случая:

а) когато пикселите на изменения кадър 156 имат стойност 1, а пикселите на видеокадъра са с цвета на линиите на игрището, и б) когато пикселите на изменения кадър 156 имат стойност 0, а пикселите на видеокадъра са с 5 цвят, който не принадлежи на линиите. В останалите случаи генерираната стойност е 0.

Във фази 160 и 161 се изброяват пикселите със стойност 1 и стойността се обвързва с трансформационната матрица М.

След определяне на всички матрици М във фаза 162 се избира матрицата с най-малко тегло. Тъй като има възможност да не се намери съответствие, например на видеолентата тече реклама, а телевизионните камери 30 показват публиката и др., във фаза 164 теглото на избраната матрица се засича спрямо установения праг. Ако е над тази стойност, тогава матрицата не се преобразува. В противен слу20 чай избраната матрица се определя като трансформационна матрица М. Матриците не се преобразуват и в случай, че се провалят пробните резултати в някои от предходните фази.

На фиг. 17 е показан работният режим 25 на трансформатор 64 и смесител 66 от фиг.5.

Трансформаторът 64 използва трансформационна матрица М за изкривяване на всяко изображение 42, зоналната маска на изображението 56 и бленд-маската 58 в равнината на видеокадъра (фаза 170). Той също така привежда в AND изкривената зонална маска спрямо фоновата маска 70, с което се генерира разрешителна маска. Разрешителната маска опре35 деля онези пиксели от видеокадъра, които са фонови пиксели и се намират в зоната на изображението. Именно в тези пиксели ще се вгради изображението.

Смесителят 66 комбинира изкривеното 4θ изображение с видеокадъра в съгласие с блендмаската и разрешителната маска. Формулата, използвана за всеки пиксел (х, у), е

Изход(х,у) = 3(х,у)*изображение(х,у)+(1-Р(х,у)*видео(х,у) (12) р(х,у) = а(х,у)*Р(х,у) (13) където изход (х,у) е стойността на пиксела на изходящия кадър, изображение (х,у) и видео (х,у) са стойностите, съответно във вграденото изображение 42 и видеокадъра, а(х,у) е стойността в бленд-маската 58 и Р(х,у) стойността в разрешителната маска.

Горното описание приема, че сравнител ната таблица, която е произвела фоновата мас ка 70, се запазва вярна, докато продължава играта. Ако осветлението се смени, което обикновено става при игрите на открито, цветове те във видеосерията могат да се променят и в резултат на това фоновата маска 70 вече няма да показва правилно фоновите елементи. Ето защо, корекционната процедура може да се извършва периодично. Корекционната процедура е изложена подробно на фиг. 18.

Забелязва се, че в процеса на калибриране, операторът избира тестови зони, указващи интересуващите го елементи от фона, като линиите на игрището и външното и вътрешно поле на корта. Тези тестови зони се съхраняват, както и техните цветови стойности.

След като веднъж се определи матрицата за калибриране на видеокадъра, местоположението на тестовите зони се преобразува от равнината на видеокадъра за равнината на геометричния модел, като се използва обратната матрица на матрицата М. По-късно, когато е необходима калибровка, тестовите зони се превръщат в текущи равнини на видеокадъра. Избират се изкривените тестови зони, които се намират в текущия видеокадър, и областите им се опробват. Изчисляват се цветовите характеристики на всяка област, например чрез хистограми, и резултатът се сравнява с характеристиките на съхранената зона. Ако има съществена промяна в цветовете, сравнителната таблица се коригира и въпросните точки се преобразуват в геометричен модел и се съхраняват.

Изобретението е приложимо както за описания процес, така и за каквато и да било ситуация, при която фоновата информация е известна и не се променя. Гореописаните процеси могат да се подобрят по многобройни начини чрез съпровождане и установяване параметрите на камерата, както е посочено по-долу.

Когато има информация за положението, ъглите на въртене и увеличението, осъществявани от всяка камера (определени външно или вътрешно от системата), горните работни фази могат да се скъсят, тъй като се намалява броят на свободните градуси на перспективната матрица Р.

По-специално, перспективната матрица Р съдържа информация относно разположението, ъгъла на въртене и увеличението на използваната камера. Тази информация може да бъде снета и перспективната матрица Р, или, аналогично, трансформационната матрица М, може да се предефинира като функция от параметрите на всяка камера.

На фиг. 19 е показана камерата и параметрите й. Местоположението й е означено с вектор 171 с координати (х,у,х) от начало 0 на Χ,Υ,Ζ координатна система 172. Камерата се върти, накланя и обръща около основните си оси U, V и W, както е показано от стрелки 173, 174 и 175 съответно. Лещите на камерата могат да увеличават изображението по оста V, както е показано от стрелка 176.

Ако приемем, че камерата не се върти и че коефициентът на камерата (коефициентът между ширината и височината на пиксела в изображението, което камерата произвежда) определя квадратни пиксели, параметрите на перспективната матрица Р могат да се зададат като функция на местоположението (x,y,z) на камерата и нейното накланяне, обръщане и увеличение. Приема се, че камерата не променя местоположението си от кадър до кадър, а просто променя ъгъла на наклона и обръщането си или степента на увеличение.

На фиг. 20, 21 и 22 е показан метод за определяне и използване параметрите на камерата. На фиг.20, когато във видеопотока се направи профил, целият процес на определяне на перспектива (фаза 180), както е указано на фиг. 10, се извършва върху първия кадър от новия отсек. Във фаза 180 се получават елементите a(i,j) на перспективната матрица Р. Процесът продължава в две направления:

а) трансформационната матрица Т се определя, като се започва от фаза 154 на фиг.13;

б) координатите на камерата (x,y,z) се снемат (фаза 184) от матрицата Р, както е посочено в раздел 3.4, от “Триизмерно компютърно изображение - геометрична гледна точка”, Оливър Фаугерас, МИТ прес, 1993 г. Книгата е включена като ползвана литература.

След като се снемат координатите на камерата (x,y,z), се правят две проверки (фази 186 и 188), както следва:

Условие 186: Камерата не трябва да се върти в посока 174. Въртене има, когато елементът а_|3 не е равен на нула.

Условие 188: Коефициентът на камерата (AR) определя квадратни пиксели (напр. AR=1).

Ако едно от двете условия не е изпълнено, останалата част от съкратения процес се нулира.

Ако и двете условия са изпълнени, тогава, така, както е посочено в “Триизмерно компютърно изображение...”, матрица Р може да се представи (фаза 190) като произведение на следните матрици:

а) увеличение (f) - матрицата за проектиране на фокусната равнина на камерата;

б) пренасяне - матрицата за пренасяне от началото на координатната система до изчислената позиция на камерата (x,y,z);

в) изместване (а) - матрицата за въртене около оста U през ъгъл а;

г) обръщане (Θ) - матрицата за въртене около оста W през ъгъл Θ.

Със стойностите на увеличението, пренасянето, изместването и обръщането първата камера е напълно калибрирана (фаза 192) и нейните параметри се вграждат в таблица 194 на идентифицираните камери (показани на фиг.21). Другите камери се идентифицират и регистрират в таблица 194, както е посочено по-долу.

Съкратеният процес на изчисление, описан по отношение на фиг.22, се извършва във всички кадри. Кадърът се изследва (фаза 196) за определяне подобието му спрямо предните кадри, като се използват α, θ и f. Подобието се измерва чрез коефициент на съвпадение, т.е. процентът на успешно отнесените към модела интересуващи ни пиксели в кадъра, установен чрез изчислената матрица. Ако се получи добро подобие, изчислената матрица може да се използва за процеса на вграждане, описан по отношение на фиг. 17. Ако коефициентът на съвпадение е малък, възможно е този кадър да е заснет от друга камера от таблица 194.

За да се открие другата камера, кадърът трябва да се разгледа и една линия от него трябва да се идентифицира. След това точка от идентифицираната линия като пресечна точка с друга линия трябва също да се идентифицира (фаза 198). Идентифицираната линия обикновено се оказва “най-силната” линия.

Във фаза 200 се определя стойност на съвпадение за всяка една от изброените в таблица 194 камери, както следва.

Идентифицираната линия и точка се свързват с линия и точка на геометричния модел и за тази връзка се определя перспективна матрица, която преобразува линията и точката от модела в идентифицираните линия и точка. Тъй като всяка перспективна матрица Р е функция на координатите (x,y,z) на разглежданата камера (които са известни) и изместването (а), обръщането (Θ) и увеличението f (неизвестни), получената перспективна матрица Р може да се определи от стойностите на изместване, обръщане и увеличение, които могат да се изчислят, приемайки, че идентифицираните линия и точка съвпадат правилно с линията и точката на модела.

В метода на фиг. 10 трансформационната матрица М се определя от перспективната .матрица Р и геометричният модел се преобразува чрез матрица М в равнината на изображението в кадъра. Линиите на модела се стиковат с линиите на изображението и се получава стойност на съвпадение.

Процесът на обвързване на линия и точка от модела с идентифицирана линия и точка чрез генериране на перспективна матрица Р от известните координати на камерата, линиите и точките и определянето на стойност на съвпадение се повтаря за всяка комбинация на линия и точка в геометричния модел. Ако стойностите на съвпадение се окажат значително помалко от 1, указвайки, че съвпадението е лошо, процесът на съвпадение с идентифицираните линия и точка, описан по-горе, се повтаря за друга камера, чиито координати (x,y,z) са известни.

Най-високият изчислен коефициент на съвпадение за всяка камера се въвежда в колона, означена с 202 на таблица 194 (фиг. 21). Във фаза 204 се избира камерата с най-голям коефициент 202 и ако коефициентът е по-голям от предварително определения праг, перспективната му матрица Р се използва за вграждането на изображение на фиг. 17. Ако стойността на най-високия коефициент в колона 202 е по-ниска от прага, за заснемане на текущите кадри не е използвана нито една от познатите камери. Процесът на фиг. 10 трябва да се извърши, след което да се премине към процеса на фиг.20 за идентифициране на камерата.

За специалистите в областта е ясно, че изобретението не се ограничава само до посочения частен случай. Обхватът на изобретението е определен от претенциите.

Claims

Патентни претенции

1. Метод за вграждане на изображение, характеризиращ се с вграждане на изображение в едно избрано изображение от множество видеокадри, представляващи поток от действия върху фоново пространство, като фоновото пространство е с равна повърхност и се заснема поне от една видеокамера, характеризиращ се с това, че се генерира независим от множеството видеокадри модел на непроменящите се повърхнини, като моделът изобразява геометричните характеристики на повърхнината, който се използва за вграждане на изображението в кадрите, като фазата на използване включва и фаза на перспективно изкривяване на модела.
2. Метод съгласно претенция 1, характеризиращ се с това, че геометричните характеристики се състоят поне от една група линии и дъги.
3. Метод съгласно претенция 2, характеризиращ се с това, че има и фаза за указване на равнинна връзка между отделните линии и дъги.
4. Метод съгласно претенция 1, характеризиращ се с това, че представянето е равнинно-векторно.
5. Апарат за вграждане на изображение в едно избрано изображение от множество видеокадри, представляващи поток от действия върху фоново пространство, като фоновото пространство е с равна повърхност и се заснема поне от една видеокамера, състоящ се от средства за генериране на модел на непроменяща се повърхност на избран единичен кадър измежду множеството видеокадри, като моделът съдържа изображение на геометричните характеристики на повърхнината и средства за използване на модела за вграждане на изображение в кадрите, както и средства за перспективна деформация на модела.
6. Апарат съгласно претенция 5, характеризиращ се с това, че геометричните характеристики съставляват поне една група линии и дъги.
7. Апарат съгласно претенция 6, характеризиращ се с това, че разполага и със средства за определяне равнинната връзка между отделните линии и дъги.
8. Апарат съгласно претенция 5, характеризиращ се с това, че изображението е равнинно-векторно.
9. Метод за вграждане на изображение в избрано измежду множество видеокадри, представляващи поток от действия върху фоново пространство, характеризиращ се с това, че пространството има постоянна равна повърхност и се заснема поне от една камера, характеризиращ се с това, че се генерира модел на една от постоянните повърхности, който е изображение на геометричните характеристики на повърхнината и се използва за перспективна деформация на изображението за поставянето му в перспективата на избрания кадър, след което се съставя фонова маска на избрания кадър, като кадърът съдържа поне една съставна от неподвижната повърхност, като фоновата маска определя зоните, които подлежат на промяна, както и зоните на избрания кадър и непроменящите се полета, след което се смесва изкривеното изображение с избраната съставна на променящите се зони и се вгражда изображението в избрания кадър.
10. Метод съгласно претенция 9, характеризиращ се с това, че генерирането на модела се извършва независимо от множеството видеокадри.
11. Метод съгласно претенция 9, характеризиращ се с това, че се използва модел и избрана променяща се зона за съставяне на трансформационна матрица и тази трансформационна матрица изкривява изображението в перспектива.
12. Метод съгласно претенция 9, характеризиращ се с това, че преди използването му се съставя маска за местоположението на изображението спрямо модела, като маската за местоположението се деформира с изображението.
13. Метод съгласно претенция 12, характеризиращ се с това, че смесването извършва наслагването на деформираната маска за местоположение и променящата се зона на фоновата маска, с което се получава разрешител на маска, дефинираща пикселите в кадъра, където се вграждат съответните пиксели на изображението.
14. Метод съгласно претенция 13, характеризиращ се с това, че се създава деформирана в перспектива бленд-маска, определяща стойностите на прозрачност, и че впоследствие се извършва смесване на изображението, разрешителната маска и бленд-маската, с което изображението се вгражда с желаните стойности за цвят.
15. Метод съгласно претенция 14, характеризиращ се с това, че смесването се състои в определяне на стойност на цвета за всеки пиксел (х, у), където стойността на цвета за пиксел (х, у) = β(χ,ν) *изображение (х,у)+(1 -β (х,у) *кадър(х,у) където β(χ,ν) = а(х,у)*Р(х,у) където а(х,у) и Р(х,у) са стойностите на бленд-маската и разрешителната маска за пиксела (х,у) и където изображение (х,у) е указаната стойност на изображението за пиксел (х,у), кадъра (х,у) е указаната стойност на променливата зона.
16. Система за вграждане на изображение в избрано измежду множество видеокадри, представляващи поток от действия върху фоново пространство, характеризираща се с това, че пространството има постоянна равна повърхност и се заснема поне от една камера, състояща се от средства за генериране на модел на една от постоянните повърхнини, като моделът е изображение на геометричните характеристики на повърхнината, средства за използване на модела за перспективна деформация на изображението за поставянето му в перспективата на избрания кадър, средства за съставяне на фонова маска на избрания кадър, като кадърът съдържа поне една съставна от неподвижната повърхност, фоновата маска определя зоните, които подлежат на промяна, както и зоните на избрания кадър и непроменящите се полета и средства за смесване на изкривеното изображение с избраната съставна на променящите се зони и вграждане на изображението в избрания кадър.
17. Система съгласно претенция 16, характеризираща се с това, че генерирането на модела се извършва независимо от множест вото видеокадри.
18. Система съгласно претенция 17, характеризираща се с това, че се използват средства за използване на модела и избрана променяща се зона за съставяне на трансформационна матрица и тази трансформационна матрица изкривява изображението в перспектива.
19. Система съгласно претенция 16, характеризираща се с това, че се използват средства, с които се съставя маска за местоположението на изображението спрямо модела, като маската за местоположението се деформира с изображението.
20. Система съгласно претенция 19, характеризираща се с това, че освен средствата за смесване разполага и със средства за наслагване на деформираната маска за местоположение и променящата се зона на фоновата маска, с което се получава разрешителна маска, дефинираща пикселите в кадъра, където се вграждат съответните пиксели на изображението.
21. Система съгласно претенция 20, характеризираща се с това, че разполага със средства за производство на деформирана в перспектива бленд-маска, определяща стойностите на прозрачност и че с тези средства впоследствие се извършва смесване на изображението, разрешителната маска и бленд-маската, с което изображението се вгражда с желаните стойности за цвят.
22. Система съгласно претенция 21, характеризираща се с това, че разполага със средства за смесване и задаване на стойност на цвета за всеки пиксел (х,у), където стойността на цвета за пиксел (х,у) = β (х,у) *изображение (х,у)+(1 -β (х,у) ’кадър (х.у) където р(х,у) = а(х,у)*Р(х,у) където а(х,у) и Р(х,у) са стойностите на бленд-маската и разрешителната маска за пиксела (х,у) и където изображение (х,у) е указаната стойност на изображението за пиксел (х,у), кадъра (х,у) е указаната стойност на променливата зона.