BG62114B1 - Метод и система за вграждане на изображение във видеопоток - Google Patents

Метод и система за вграждане на изображение във видеопоток Download PDF

Info

Publication number
BG62114B1
BG62114B1 BG100879A BG10087996A BG62114B1 BG 62114 B1 BG62114 B1 BG 62114B1 BG 100879 A BG100879 A BG 100879A BG 10087996 A BG10087996 A BG 10087996A BG 62114 B1 BG62114 B1 BG 62114B1
Authority
BG
Bulgaria
Prior art keywords
image
mask
model
frame
perspective
Prior art date
Application number
BG100879A
Other languages
English (en)
Other versions
BG100879A (bg
Inventor
Haim Kreitman
Dan Bar-El
Yoel Amir
Ehud Tirosh
Original Assignee
Scidel Technologies Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scidel Technologies Ltd. filed Critical Scidel Technologies Ltd.
Publication of BG100879A publication Critical patent/BG100879A/bg
Publication of BG62114B1 publication Critical patent/BG62114B1/bg

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrotherapy Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Endoscopes (AREA)
  • Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

(54) МЕТОД И СИСТЕМА ЗА ВГРАЖДАНЕ НА ИЗОБРАЖЕНИЕ ВЪВ ВИДЕОПОТОК
Област на техниката
Изобретението се отнася до смесване на подготвено изображение с видеосигнал.
Предшестващо състояние на техниката
Спортните арени обикновено имат зона за игра, където се провежда спектакълът, зона с места, където седи публиката, както и някаква стена, разделяща двете зони. Обикновено стената е поне частично покрита с реклами на фирмите, спонсориращи спектакъла. Когато спектакълът се заснема, рекламите на стената се снимат като част от спортната арена. Рекламите не могат да се представят на публиката отвън по друг начин освен чрез заснемане от телевизионните камери.
Познати са системи, които смесват предварително определени реклами във видео на спортна арена. Една от системите има оператор, който определя набелязаната повърхнина на арената. Тогава системата синхронизира набелязаната повърхнина и смесва предварително определената реклама със съответстващата на повърхнината съставна на видеопотока. Когато камерата престане да визира повърхнината, системата изгубва набелязаната повърхнина и операторът трябва отново да укаже коя повърхнина следва да се използва.
Тази система работи в реално време.
Познати са и други системи, които извършват същата операция, но не в реално време.
Известни са други системи за смесване на данни с последователни видеоизображения. Те включват вграждане на изображение между видеосцени, наслагване на изображението на определено място от телекадъра (като знакът на телевизионния канал) и дори електронно вграждане на изображението като “подмяна” на конкретно набелязана дъска за обяви. Последното се извършва, като се използват техники като например цветната модулация.
Известни са апарат и метод за промяна на видеоизображения така, че да стане възможно добавянето на рекламни изображения към част от първоначално излъченото изображение. Операторът избира на кое място в уловеното изображение ще се вгражда рекламното изображение. Системата от US 5 264 933 може също да вгражда изображения в избрани основни зони на излъчване в отговор на звукови сигнали, като типични изрази на коментаторите /1/.
Известни са процедура и устройство за модифициране на зона в последователни изображения. Изображенията показват недеформируема набелязана зона, която в близост има регистърни означения. Системата търси регистърните означения и ги използва за определяне местоположението на зоната. Предварително подготвено изображение може да се наложи върху зоната. Регистърните означения се откриват лесно (като кръстчета или други графични изображения) във или в близост до набелязаната зона. Системата произвежда уловеното изображение на много резолюции и използва резолюциите в процеса на идентифицирането му /2/.
Техническа същност
Целта на изобретението е да се осигури система и метод за смесване на изображения, като например реклами, с видеопоток на действие, случващо се в рамките на относително непроменящо се пространство. Такова пространство може да бъде игрище или корт, сцена или стая, а мястото обикновено се избира преди действието, например игра или шоупрограма. Изображенията се “вграждат” в избраната повърхнина на фоновото пространство, като терминът “вграждат” означава, че изображенията се смесват в частта на видеопотока, показваща избраната повърхнина.
По-специално изобретението използва априори информация, касаеща фоновото пространство за промяна на видеопотока така, че да включи изображението в определеното фоново пространство. Системата и методът работят независимо от това кое перспективно изображение на фоновото пространство е показано във видеопотока.
Съгласно предпочитания вариант на изобретението системата има уловител на видеокадри и система за вграждане на изобра жения. Кадроуловителят улавя единичен кадър от видеосигнала за единица време. Системата за вграждане на изображения буквално вгражда рекламното изображение в кадъра на предварително избрана съставна на набелязаната повърхнина на фоновото пространство, ако съставната е показана в кадъра. За определяне местоположението на съставната за получаване на вграждане, системата за вграждане на изображението разполага с: а) плосък модел на засечените повърхнини на фоновото пространство, и б) маска на изображението, указваща съставната на плоския модел, в която изображението ще се смесва. Чрез модела системата за вграждане на изображения установява дали и къде се намира съставната в кадъра.
Също така съгласно предпочитания вариант на изобретението системата включва и работна станция, където могат да се проектират изображението и маската, която указва набелязаната повърхнина.
Освен това, идентификацията за предпочитане включва и а) разглеждане на кадъра и отделяне на характеристики от засечените повърхнини, и б) определяне перспективното преобразуване между модела и отделените характеристики.
Също така разглеждането и отделянето включва и създаване на фонова маска и надфонова маска (маска за преден план). Фоновата маска указва местоположенията на интересуващите ни характеристики на фоновите елементи в кадъра и се използва за отделяне на тези характеристики. Надфоновата маска се образува от надфоновите елементи на кадъра, които трябва да останат непроменени.
Допълнително съгласно предпочитания вариант на изобретението вграждането включва следните етапи; а) трансформиране на изображението, маска на изображението и, по желание, блендмаска с преобразуване в перспектива, и б) смесване на преобразуваното изображение, маска на изображението и допълнителна блендмаска с кадъра и с надфоновата маска. Надфоновата маска, както се посочи по-горе, означава кои места на информацията на предния план да не се препокриват от трансформираното изображение.
Системата за предпочитане включва и сравнителна таблица за превръщане между множеството цветове на кадъра в един от цветовете на интересуващите ни характеристики, цветовете на фоновите елементи и цвета, указващ елементите на предния план. Сравнителната таблица се съставя при задаване от страна на потребителя на съответните цветове. Ако съответните цветове престанат да означават интересуващите ни характеристики и фоновите елементи (обикновено поради леки промени), потребителят може да зададе нови цветове, които да означават желаните елементи и в този случай сравнителната таблица се коригира.
По-нататък съгласно предпочитания вариант на изобретението сравнителната таблица се използва за създаване на фонови и надфонови маски на кадъра, указващи местоположението на интересуващите характеристики, на фоновите елементи и на елементите от предния план на кадъра.
Съгласно примерния вариант на изобретението характеристиките са линии. В един от вариантите те се взимат с Hough-трансформация, а в друг от вариантите - чрез определяне ъглите на линейните сегменти. Интересуващите ни пиксели се избират и областта е отворена. Областта се разделя и се избира секторът с най-голяма активност. Избраният сектор се уголемява и разделя. Процесът се повтаря, докато е необходимо.
Също така, съгласно предпочитан вариант на изобретението системата проектира изведените характеристики в асимптотична функция за определяне кои от характеристиките са перспективни версии на паралелните линии.
По-нататък съгласно примерния вариант на изобретението фоновото пространство е спортна арена с маркирани върху нея линии. Системата има модел на спортна арена и е желателно да има списък на правоъгълниците в модела и местоположението на връхните им точки. Системата извършва следните операции:
а) избира две вертикални и две хоризонтални линии от извлечение характеристики и определя пресечните им точки;
б) от връхните точки на всички правоъгълници на модела генерира трансформационна матрица спрямо характеристичните пресечни точки;
в) трансформира модела чрез всяка тран сформационна матрица;
г) използвайки фоновите елементи на фоновата маска, стикова преобразувания модел с кадъра;
д) прави избор на трансформационна матрица, която най-добре отговаря на характеристиките на кадъра.
Съгласно примерния вариант на изобретението за намаляване броя на линиите в кадъра, необходими за идентифициране на спортната площадка, могат да се използват възможностите на камерата. Този вариант може да наложи извършването на следните действия: приемане или снемане на координатите на комплект от камери, представяне на текуща трансформационна матрица като производна на матриците за координати, наклоняване, обръщане и увеличаване на картината и впоследствие определяне стойностите за наклоняването, обръщането и увеличаването й, определяне на камерата, изчислила стойностите за наклоняване, обръщане и увеличаване и съхраняване на информацията и повтаряне на действията за приемане, представяне и идентифициране, когато има ново отделяне във видеото.
Всеки кадър във видеопотока вече може да се третира като подобен на предишния или като част от новия профил, взет от идентифицираната камера.
Описание на приложените фигури
Изобретението се пояснява с приложените фигури, от които:
фигура 1 представлява блок-схема, илюстрираща система за вграждане на изображения във видеопоток, изградена и действаща съгласно предпочитания вариант на изобретението;
фигура 2 - схематична илюстрация на игра на тенис, използвана като пример за обяснение действието на системата от фиг.1;
фигура 3 - модел на тенискорт, служещ за разбиране действието на системата от фиг. 1;
фигура 4а - изображение за вграждане; фигура 4б - зонална маска за изображението на фиг.4а и модела на фиг.З;
фигура 4в - бленд-маска за изображението на фиг.4а и модела на фиг.З;
фигура 5 - блок-схема, изобразяваща елементите на блока за вграждане на изображе ние - част от системата от фиг. 1;
фигура 6 - нагледно описание на примерен видеокадър, в който изображението от фиг.4а трябва да се вгради;
фигура 7 - нагледно описание на фонова маска, генерирана от видеокадъра на фиг.б;
фигура 8 - блок-схема, илюстрираща действието на блока за идентификация на характеристиките - част от блока за вграждане на изображение от фиг.5;
фигура 9а - поточна схема, илюстрираща метода за снемане на характеристика;
фигура 9б - нагледно описание на съставна на фоновата маска, улесняващо разбирането на метода от фиг.9а;
фигура 9в - нагледно описание на хистограма от подсектори на фоновата маска от фиг.9б, улесняващо разбирането на метода от фиг.9а;
фигура 10 - блок-схема, илюстрираща действието на блока за перспективна идентификация - част от блока за вграждане на изображения от фиг.5;
фигура 11а - пресечни точки на снетите характеристики от фиг. 7;
фигура 116 - нагледно описание на перспективни успоредни линии, пресичащи се в различни точки поради грешки в изчисленията;
фигура 12а и 126 - гномонни проекции, служещи за разбиране действието на блока за перспективна идентификация от фиг. 10;
фигура 12в - графична илюстрация на примерна функция, служеща за гномонните проекции от фиг. 12а и 12б;
фигура 13 - подробна блок-схема, илюстрираща действията на фиг. 10;
фигура 14а и 146 - изясняване действията от фиг. 13;
фигура 15 - илюстрира използването на трансформационните матрици;
фигура 16 - изясняване процеса на стиковане между четириъгълниците и геометричния модел, поясняващ действията на фиг. 13;
фигура 17 - блок-схема, илюстрираща действието на блоковете за трансформация и смесване на блока за вграждане на изображение на фиг.5;
фигура 18 - блок-схема, илюстрираща метода за корекция за осъвременяване на сравнителната таблица, използвана от блока за вграждане на изображение на фиг.5;
фигура 19 - схема на параметрите на камерата;
фигура 20 - поточна схема, илюстрираща действията на трансформационната матрица, когато са известни или изчислими параметрите на камерата на фиг. 19;
фигура 21 - схема на таблица, изясняваща процеса, показан на фиг.20;
фигура 22 - поточна схема, илюстрираща метод на действие, когато параметрите на камерата са известни или изчислими.
Примерно изпълнение
На фиг.1 е показана система за смесване на изображения, като реклами, с видеопоток, чието действие се извършва в относително непроменящо се фоново пространство. Изображенията се вграждат в избрана повърхнина на фоновото пространство. Системата се описва в контекста на видеозапис на игра на тенис, показан на фиг.2, към която има отпратки.
Ясно е, че изобретението се отнася за всички обстоятелства, при които повърхнините, където се извършва действието са известни априори и са разграничими.
Системата на изобретението принципно се състои от уловител на видеокадри 10 за преобразуване на входяща видеосерия, като например игра на тенис, във видеокадри, работна станция 12 за проектиране на изображения, като например реклами, за вграждане в избрана повърхнина, като например тенискорт, виждаща се на видеокадъра, система за вграждане на изображения 14 за смесване на видеокадъра с желаното изображение, контролна компютърна система 16 за управляване на действията и гарантиране достъпа на оператор до системата за вграждане на изображения 14 и монитор за възпроизвеждане 18.
Контролната компютърна система 16 по принцип се състои от главен процесор (CPU) 20, клавиатура 22, мишка 24, диск 26, флопидисково устройство за външна памет 27 и монитор 28. Мониторът 28 принципно се управлява от графичен адаптер, който е част от главния процесор 20. Работната станция 12 принципно има също флопидисково устройство за външна памет като устройство 27.
Контролната компютърна система 16 и системата за вграждане на изображение 14 осъ ществяват обмен чрез системна шина 29. Работната станция и контролната компютърна система осъществяват обмен чрез външна памет.
Видеосерията може да се получи от какъвто и да е източник, като видеокасета, сателитна връзка, микровълни или друг вид видеокомуникация и др. Ако серията е подадена от сателит, системата няма контрол върху скоростта на излъчването. Следователно, системата за вграждане на изображение 14 трябва да работи със скоростта на сателитния видеопоток - около 30 ms от кадър до кадър. Ако серията се получава от видеолента, системата може да контролира скоростта и да работи на желаната скорост.
Обикновено видеосерията се произвежда на мястото на провеждане на играта. Както може да се види на фиг.2, за тенистурнирите има две телевизионни камери 30, които наблюдават действието на тенискорта 32. Местоположението на телевизионните камери 30 обикновено е фиксирано.
Кортът 32 е разделен на две чрез мрежа 34. Всяка половина има множество зони 36, оцветени в светлозелено, разграничени чрез множество линии 38, боядисани в бяло. Външната зона на корта 40 е оцветена в тъмнозелено.
В действителност линиите 38 са успоредни и перпендикулярни линии. Тъй като камерите 30 увеличават образа повече изпод ъгъл, отколкото отгоре, изображенията на действията, които те получават, са видени в перспектива. Следователно, в изходящото от камерите 30 изображение, успоредните линии 38 като че ли се съединяват в безкрайността. Ъгълът на перспективата на изходящия видеосигнал се променя в зависимост от ъгъла, от който камерите 30 снимат, и от степента на увеличение.
Съгласно изобретението се вгражда изображение 42, като думата IMAGE, на желано място от избраната фонова повърхнина за всички ъгли на перспективата и за всяко увеличение. За тенискортове възможното местоположение е който и да било правоъгълник в едната половина на тенискорта 32, определена от четири линии 38. Както е показано на фиг.2, изображението 42 няма да пречи на действията на играчите 44, ще изглежда като че ли изображението 42 е нарисувано на повърхността на корта.
Тъй като в действителност формата на корта 32 и местоположението на линиите 38 върху корта 32 не се променят, ако системата за вграждане на изображения има модел на игрището, включително и мястото, на което ще се вгради изображението, и ако може да определи поне ъгъла на заснемане и степента на увеличение, тя ще може да вгради изображението във видеосерия така, че да изглежда, че изображението се намира на желаното място. За да направи това, системата за вграждане на изображение допълнително се нуждае от информация за цвета на корта така, както се вижда от камерите. Тези цветове могат да се променят с промяната на осветлението (дневна светлина или изкуствено осветление).
На фиг.З допълнително е илюстриран геометричен модел 50 на тенискорта, а на фиг. 4А, 4Б и 4В са дадени данните, които подготвя видеооператора.
Видеооператорът работи на работната станция 12, същата като работна станция BLAZE, произведена от Scitex Corporation Ltd. от Херзлия, Израел, която разполага с геометричен модел 50 на тенискорта 32, гледан отгоре. Моделът 50 е възпроизведен в мащаб корт 32, указващ елементите, които трябва да се разпознаят от системата за вграждане на изображения 14, а именно линиите 38. Други игрища могат да имат кръгове или други добре дефинирани криви. Други идентифицируеми елементи са пресечните точки 54 на линиите 38.
Видеооператорът проектира изображението 42 (фиг. 4А), което трябва да се вгради и определя къде точно да го разположи на модела. На фиг.З са показани няколко възможни положения 52. Тогава видеооператорът подготвя маска за разположението на изображението 56 (фиг. 46), за да определи къде точно в модела 50 трябва да се разположи изображението 42. Маската 56 е светла на мястото в модел 50, където трябва да се постави изображение 42 и тъмна в останалата си част.
Тъй като изображението 42 трябва да бъде с ярки цветове, може да се реши да не се вгражда самото изображение, а негова версия с по-убити цветове, така че да не се пречи на играта на корта 32. Следователно, видеоопе раторът може да подготви и бленд-маска 58 (фиг.4в), указваща как изображението 42 трябва да се смеси с цвета на корта 32 на мястото на вграждане, както е указано от маската за местоположение 56. Бленд-маската 58 може да е която и да е подходяща маска, като други познати в областта. На фиг. 4в маска 58 има четири зони 59, всяка една означаваща поемането на различно количество цвят от корта, където външната зона 59 обикновено поема много повече от цвета на корта, отколкото във вътрешните части.
Както е показано на фиг. 1 и 2 данните за вграждането, образувани от геометричния модел 50, изображението 42, маската за местоположението на изображението 56 и допълнителната бленд-маска 58 обикновено се подготвят преди съответната тениссреща и се подават на системата за вграждане на изображение 14, обикновено чрез външна памет за вграждане във входящата видеосерия, когато се провежда мачът.
Повечето видеосерии на предаваните на живо по телевизията мачове започват със стартиране на оперативната серия, за да могат операторите на местните станции да синхронизират системите си към входящата серия. Същото се прави и при видеозапис.
При изобретението стартирането на видеоданните се улавя от кадроуловителя 10 и се подава първо на контролната компютърна система 16. Видеооператорът на работната станция избира кадъра с най-ясно изображение на игрището и го използва за подаване на информация за калибриране, както е описано по-долу. Информацията за калибриране се използва от системата за вграждане на изображение 14 за определяне на корта 32 и неговите характеристики, като линиите 38. В описания вариант калибровъчната информация включва цветовете на интересуващите ни характеристики във фона, като линиите на игрището, самото игрище (корт 32) и полето извън игрището (външната част на корта 40). Останалите цветове, които могат да се получат, се определят като цветове на предния план. При други игрища може да са необходими по-малко или повече характеристики за определянето им и следователно - по-малко или повече цветове.
Видеооператорът на работната станция с мишката 24 и клавиатурата 22 извършва калибровката на цветовете. Това може да се извърши по много начини, един от които ще бъде описан тук. Върху текущия кадър на контролния монитор 28 се налага четирицветен слой. Първоначално четирицветния слой се състои само от един цвят - прозрачен. При това текущият кадър първоначално се вижда.
Операторът указва пикселите, описващи една от трите характеристики, линиите 38, вътрешното поле на игрището 36 и външното поле на игрището 40. Когато избере пикселът, намиращите се в наложения слой пиксели, които съответстват на пикселите в текущия кадър, се оцветяват еднакво в съответния цвят, с което покриват съответните им пиксели в текущия кадър. Избраният цвят се съхранява. Процесът се повтаря за всичките три зони. На всички неизбрани цветове им се подава четвърти преобразуван цвят.
Ако операторът одобри получения четирицветен слой, се съставя сравнителна таблица между избраните от текущия кадър цветове и преобразуваните цветове.
По желание, контролната компютърна система 16 може да съхрани пикселите, които е избрал операторът за по-нататъшна употреба в корекционен цикъл на сравнителната таблица, описан по-долу под фиг. 18.
Контролната компютърна система 16 предоставя данните за кадъра, състоящи се от сравнителната таблица и използваните за изграждането на сравнителната таблица пиксели на системата за вграждане на изображения 14. Системата 14 използва гореописаните данни за кадъра за определяне на желаните характеристики във всеки кадър на входящия видеосигнал.
На фиг.5 са показани основните елементи на системата за вграждане на изображение 14. Чрез фиг. 6 и 7 може да се разбере действието на системата 14.
Системата 14 се състои от блок за разпознаване на характеристики 60 (фиг.5) за определяне кои характеристики на корта 32 са налице във всеки входящ видеокадър, както и блок за идентификация на перспектива 62 за определяне на ъгъла на заснемане и степента на увеличение на действащата камера 30, както и за определяне на подходящата трансформация на перспективата между модела 50 и входящия видеокадър. Системата 14 има и трансформатор 64 за трансформиране на данните за вграждане от повърхнината на модела в повърхнината на изображението и смесител 66 за смесване на данни за перспективно вграждане в текущия видеокадър и, следователно, за вграждане на изображение 42 върху корта 32.
Както е описано подробно по-долу, блокът за определяне на характеристиките 60 използва сравнителната таблица за създаване на фонова маска на входящия кадър, указвайки кои части от кадъра имат интересуващите ни възможни фонови характеристики и кои са частите в преден план и, следователно, не трябва да се променят при бъдещи операции. На фиг. 6 и 7 е показан примерен изходящ кадър 68 и съответната му фонова маска 70.
Входящият кадър 68 на фиг. 6 има двама играчи 44 на корта 32. Фоновата маска 70 на фиг. 7 показва зоните на четирите цвята. Зоните, отбелязани с 1-4, са съответно зоните на цвета на линиите, на цвета на вътрешния корт, на цвета на външния корт и останалите цветове. Забелязва се, че зоните на играчите 44 са маркирани с фонов цвят 4 и покриват други важни зони, като тези на белите линии 1.
От фоновата маска 70 блок 60 (фиг.5) извежда характеристиките на игрището. Интересните характеристики за тенискортовете са линиите 38. Блокът за определяне на перспектива 62 сравнява изведените характеристики с тези на модела 50 и генерира от тях трансформационна матрица.
Чрез трансформационна матрица преобразувателят 64 превръща данните за вграждане на изображението, например изображението 42, което ще се вгражда, маската за местоположението на изображението 56 и блендмаската 58 в перспективата на входящия видеокадър.
Накрая, използвайки маската за местоположението на преобразуваното изображение 56 и фоновата маска 70, смесителят 66 вгражда перспективната версия на изображението 42 в желаните фонови части на входящия видеокадър. Така, ако играчите се движат по частта на корта 32, където е вградено изображението 42, ще изглежда, че те се движат по вграденото изображение. По желание, трансформираната бленд-маска може да се използва за смесване на изображението 42 с цветовете на игрището, върху което е вградено изображението 42.
На фиг. 8 е изобразено действието на блока за определяне на характеристиките 60. Във фаза 72 блок 60 използва сравнителна таблица за преобразуване на входящия видеокадър от многоцветен кадър до четирицветна картина, наречена фонова маска 70. В частност, за тенискорта 32 сравнителната таблица подава първата стойност за пикселите с цвета на линиите 38, втората стойност - за пикселите на вътрешната част на игрището 36, третата стойност - за пикселите с цвета на външната част на игрището и четвъртата стойност (указваща пикселите на предния план) - за останалите пиксели (фиг. 7). Сравнителната таблица може да се използва в който и да е от многото методи, познати в тази област.
Фоновата маска 70 не само определя кои пиксели съответстват на интересуващия ни фон, но обхваща и интересуващи ни характеристики, като линиите 38. Така във фаза 74, блокът за определяне на характеристиките 60 има фонова маска 70 за извеждане на интересуващите ни характеристики. Обикновено, макар и не непременно, сравнителната таблица е разчетена да осигури характеристики с една цветова стойност.
Например за тениссреща, извеждането включва прегледа на онези пиксели от фоновата маска 70, които имат първата стойност и извеждането от тях на правите сегменти. Например фаза 74 може да се осъществи чрез трансформация на Hough при работа върху фоновата маска 70. Трансформациите на Hough са описани на стр. 121-126 в “Цифрова обработка на картини”, II издание, т. 2, Азриел Розенфелд и Авинаш Как, Академик прес, 1982, която е приложена тук като литература.
Резултатът е масив от линейни параметри, всеки един от които описва един прав сегмент във фоновата маска 70. Линейните параметри за всеки сегмент съдържат коефициентите на линейните уравнения, които ги описват, както и претеглената стойност, указваща броя на пикселите, включени в сегмента.
Алтернативен метод за извеждане е показан на фиг. 9а, 96 и 9в, чието кратко описа ние е дадено по-долу. Както е показано на фиг. 9а, методът започва с първия пиксел 69 (фиг. 96) на фоновата маска 70 с един интересуващ ни цвят (в този пример - бял) и проверява в съседната област 75 за определяне местоположението на белите пиксели (защриховани). За да се получи това, той разпределя областта 75 на сектори 71-74 с предварително определени размери и прави хистограма за разпределението на белите пиксели във всеки сектор. На фиг. 9в е показана хистограмата за сектори 71-74 на фиг. 96. Като следващ сектор за търсене се избира този с най-висок максимум (сектор 73).
В следващата фаза се определя нова област 78, която се състои от избрания сектор 73 и продължението му. Цялата област 78 е два пъти по-голяма от област 75. Тази нова област 78 се дели на четири сектора 76 и процесът се повтаря.
Този процес продължава, докато един от следните критерии не бъде изпълнен:
1. Секторът да е достатъчно тесен, за да се определи като права линия.
2. В хистограмата да няма висок максимум.
Ако се изпълни първото условие, коефициентите на правата линия се съхраняват и пикселите, образуващи първата линия, се “оцветяват” за получаване на “останалия цвят” и така се отстраняват от търсенето.
Процесът за извеждане на характеристики генерира масив от възможни характеристики, който съдържа действителните характеристики и правите линии.
На фиг. 10 е показано принципното действие на блока за определяне на перспективата 62 от фиг.5. Фиг. 11 и 116 помагат при разбиране на действието на блок 62, а на фиг. 13 са описани подробно функциите на блок 62, например на тенискорта 32, а на фиг. 12а, 126, 12в, 14а и 146 са описани действията от фиг. 13.
Използвайки априори информация, блок 62 във фаза 80 обработва масива на възможните характеристики и определя кои от тях са вероятно интересуващите ни. Във фаза 82 блок 62 избира минимален брой характеристики от останалите действителни характеристики и прави опит да ги стикова с характеристиките на модел 50. Процесът се повтаря толкова често, колкото е необходимо, докато се намери съответствието. Във фаза 84 стикованите характеристики се използват за генериране на трансформационна матрица М, преобразуваща модела в характеристиките на входящия видеокадър.
В примера на тенискорта 32 фаза 80 използва факта, че линиите 38 на модела 50 са успоредни в две направления (вертикално и хоризонтално) и че в перспектива (както и във входящия видеокадър) линиите, които са успоредни в действителността, се пресичат в крайна точка. Това е показано на фиг.11а, в която всички изведени линейни сегменти, представлявани от плътни линии, са удължени от пунктирани линии. Линиите в перспектива, които в действителност съответстват на успоредните линии, например псевдопаралелните линии 90, се пресичат в точка 91, далеч извън краищата 92 на кадъра. Всички останали пресечни точки, означени с 94, се явяват в зоната, очертана от краищата 92 или в близост до краищата.
Както е показано на фиг.116, поради грешки в дигитализацията, може да се определи, че продълженията на псевдопаралелните линии не се пресичат в една точка. В действителност те могат да се пресекат в три много отдалечени една от друга точки 96.
Авторите установяват, че, тъй като перспективните успоредни линии се срещат в безкрайността, проекцията на изведените линии върху асимптотна функция ще направи пресечните им точки да са в близост една до друга. Ето защо, съгласно избрания вариант на изобретението, изведените линейни сегменти се проектират върху двумерна асимптотна функция. Една от тези проекции се нарича “гномонна проекция” и е описана на стр. 258, 259 и 275 в “Зрението на робота”, Бертолд Клаус Пол Хори, МИТ прес, Кембридж, Масачузетс, 1986, цитирана като литература. Примери за гномонна проекция са дадени на фиг. 12а и 126.
При гномонната проекция точка 100 на равнината XY 102 се проектира в точка 100' на полусфера 104. Линия 106 в равнината XY се проектира в голяма дъга 106ч на полусфера 104, т.е. дъга от голям кръг на сфера. Началото е изобразено от южния полюс 109, а безк райността е изобразена от екватора 108. Така всяка група 110 (фиг. 126) точки в близост до екватора 108 представлява пресечната точка на псевдопаралелни линии и следователно линиите, които имат точки, минаващи през група 110, са успоредни линии.
На фиг. 126 е изобразено множество от големи дъги, означени с номера 120а-120е, съответстващи на случайно избрани линейни сегменти (непоказани). Тези три дъги 120а-120в имат пресечни точки 122, които образуват група 110а в близост до екватора 108. Дъгите 120г120е също се пресичат близо до екватора, но в група 1106. Всички големи дъги се пресичат една друга, но другите им пресечни точки са разположени по-близо до южния полюс 109, отколкото до екватора 108.
Във фаза 130 (фиг. 13) гномонната проекция се използва за съставяне на масив от големи дъги от масива от праволинейни сегменти, генериран при снемането на характеристиките (фаза 74, фиг.8).
Във фаза 132 зоната около екватор 108 се претърсва за откриване на всички пресечни точки 122. На всяка пресечна точка се дава стойност V, която е функция от масива W на линейните сегменти, които се пресичат и Zкоординатата на пресечна точка 122. В уравнение 1 е посочен пример на функция Vk
V = W * W * f (Z к ) (1) к линия 1 линия 2 v прес. точки' v ' където f(ZnpecTo4kH) е която и да е функция с крива, подобна на крива 134 на фиг. 12в, характеризираща се с това, че повечето точки получават ниски стойности и само приближаващите се до екватора точки 108 (Z=l) приемат стойности, близки до 1. Например, f(Z . ) може да бъде Z5.
Във фаза 136 малка област около всяка пресечна точка 122 се претърсва за други пресечни точки. Ако такива бъдат открити, тази пресечна точка и другите открити пресечни точки се съхраняват като група 110 (фиг. 136). Група 110 също се дефинира като група, чиято стойност на f(Znpec точки) е над предопределения праг. Следователно група 110 може да съдържа само една пресечна точка. На фиг. 126 има три групи 110а-110в, едната от които група 110в съдържа само една пресечна точка 122.
След като бъдат открити всички точки, местоположението на всяка група 110 се определя чрез намиране на “център на тежестта” на точките в групата. Масата на група 110 е сумата от стойностите Vk на точките в групата.
Във фаза 138 се избират двете групи с $ най-голяма маса. Например на фиг.12б се избират групи 110а и 1106.
Във фаза 140 се приема, че една група представлява “хоризонтални” линии. Също и във фаза 140 се приема, че правите сегменти, съответстващи на линиите на двете избрани групи, са означени съответно “хоризонтални” или “вертикални”.
Във фаза 142 се прави преглед на “вертикалните” и “хоризонталните” линии и се избират двете най-тежки вертикални и двете найтежки хоризонтални линии, където е получено определението “най-тежко” от стойностите W.. Избраните линии, означени със 146, са пока- 20 зани на фиг. 14а за линиите на фиг. 11а. Във фаза 144 пресечните точки, означени с А, В, С и D на четирите избрани линии, се определят и съхраняват. Както е показано на фиг. 14а, избраните линии могат да се пресичат извън 25 кадъра.
Фази 130-144 са действията, необходими за определяне на действителните характеристики във видеопотока (фаза 80 на фиг. 10).
Изходящата информация от фаза 144 са харак- υ теристиките, които трябва да се стиковат с модела. Останалите фази стиковат характеристиките с модела и определят преобразуването (фази 82 и 84 на фиг. 10) като комплекс от операции.
Стандартният тенискорт има пет вертикални линии и четири хоризонтални линии. Тъй като не е възможно да се направи разграничение между двете половини на корта, от значение са само три хоризонтални линии. Броят на отделните четириъгълници, които могат да се образуват при избора на две от три хоризонтални линии (три възможни комбинации), е тридесет. Тридесетте четириъгълника могат да 45 се ориентират в четири посоки и образуват общо 120 четириъгълника.
Във фаза 150 се избира един от 120 правоъгълника в геометричния модел 50 чрез избиране на четирите му ъгли, означени с А’, В’, 50 С’ и D’ (фиг. 146). Както можете да видите, това не е правилното стиковане.
Във фаза 152 се определя матрица М, която осъществява преобразуването от четирите точки D’, В’, С’ и D’ на модела (фиг. 146) в четирите точки D, В, С и D на видеокадъра (фиг. 14а). Матрицата М може да се представи като наслагване на последователни преобразувания, както е показано на фиг. 15.
Фиг. 15 показва три четириъгълника 180, 182 и 184. Четириъгълник 180 е четириъгълника модел ABCD, показан в равнина ΧΥ, четириъгълник 182 - единичен квадрат с точки (0,1), (1,1), (0,0) и (1,0) в равнината TS, а четириъгълник 184 - четириъгълника в перспектива 184 в равнината UV.
Преобразуването М от четириъгълника модел 180 в четириъгълник от перспективата 184 може да се представи чрез наслагване на две преобразувания, пренасяне и скалиране на матрица Т от четириъгълник 180 в единичен квадрат 182 и перспективната матрица Р от единичния квадрат 182 до четириъгълник 184. При хомогенни координати матрица Т има следния вид т=
S, 00
S,0 тж Ту1 (2) където Sx и Sv са мащабни фактори в направления X и Y, съответно Тх и Ту са транслационните фактори X и Y. Sx, Sy, Тх и Ту се определят от уравнението (х, у, 1)*Т = (s, t, 1) (3) за четирите координати (х, у, 1) на четириъгълника 180 и четирите координати (s, t, 1) за единичния квадрат 182.
При хомогенни координати матрица Р приема вида
Елементите на матрица Р се определят чрез решаване на следното уравнение (s, t, 1) * Р = (u, v, w) (5) където (и, v, w) са четирите известни координати на точки А. В, С и D на четириъгълник 184, както е показано на фиг. 15, a w е винаги определено.
Да приемем, че аЗЗ = 1, тогава Р може да се изчисли, както следва:
От (s,t, 1)=(0,0,1) определяме, че а31=ию (6) a32 = Vop
От (s,t,lj = (1,0,1) определяме, че:
al 1 + аЗ 1 = Uw(a 13 + 1) => al 1 = U10(al3 + 1) - UM <7> al2 + a32 = V|0(al3 + 1) => al2 = V10(al3 + 1) - VM Or (s,9l) = (0,1,1) определяме, че:
а21 + аЗ 1 = U01(a23 + 1) => а21 = U01(a23 + 1) - UM (8) a22 + a32 = V0|(a23 + 1) => a22 = V0|(a23 + 1) - Vw Or (s,t, 1) = (1,1,1) определяме, че:
all +a21 + a31 =U„(al3 + a23 + 1) · (9) al2 + a22 + a32 = Vt|(al3 + a23 + 1)
От уравнения 7-9, две уравнения c две неизвестни, а13 и а23 се получава следното ai3(U,0 - U„) + a23(U0, - U„) = U„ + UM - U,„ - U01 al3(V,0 - V„) + a23(V0, - V„) = V„ + VM- V„- V01 < 1 θ>
След като се определят а13 и а23, останалите елементи могат да се получат от уравнения 7 и 8.
Трансформационната или картираща матрица М е матрица, получена от умножението на матрици Т и Р, а именно
М = Т*Р (11)
Във фаза 154 линиите 38 на модел 50 се проектират върху видеокадър чрез проекционната матрица М. Получава се изменен кадър 156 (фиг. 16) с Is на местата, където са разположени пикселите на преобразувания модел и 0s навсякъде другаде. Както може да се види, точки А’, В’, С’ и D’ съвпадат с точки А, В, С и D съответно. Но останалата част на геометричния модел не съвпада.
Във фаза 158 измененият кадър е в отношение XOR спрямо фоновата маска 70 (фиг.7). Фазата XOR генерира 0 в два случая:
а) когато пикселите на изменения кадър 156 имат стойност 1, а пикселите на видеокадъра са с цвета на линиите на игрището, и б) когато пикселите на изменения кадър 156 имат стойност 0, а пикселите на видеокадъра са с 5 цвят, който не принадлежи на линиите. В останалите случаи генерираната стойност е 0.
Във фази 160 и 161 се изброяват пикселите със стойност 1 и стойността се обвързва с трансформационната матрица М.
След определяне на всички матрици М във фаза 162 се избира матрицата с най-малко тегло. Тъй като има възможност да не се намери съответствие, например на видеолентата тече реклама, а телевизионните камери 30 показват публиката и др., във фаза 164 теглото на избраната матрица се засича спрямо установения праг. Ако е над тази стойност, тогава матрицата не се преобразува. В противен слу20 чай избраната матрица се определя като трансформационна матрица М. Матриците не се преобразуват и в случай, че се провалят пробните резултати в някои от предходните фази.
На фиг. 17 е показан работният режим 25 на трансформатор 64 и смесител 66 от фиг.5.
Трансформаторът 64 използва трансформационна матрица М за изкривяване на всяко изображение 42, зоналната маска на изображението 56 и бленд-маската 58 в равнината на видеокадъра (фаза 170). Той също така привежда в AND изкривената зонална маска спрямо фоновата маска 70, с което се генерира разрешителна маска. Разрешителната маска опре35 деля онези пиксели от видеокадъра, които са фонови пиксели и се намират в зоната на изображението. Именно в тези пиксели ще се вгради изображението.
Смесителят 66 комбинира изкривеното 4θ изображение с видеокадъра в съгласие с блендмаската и разрешителната маска. Формулата, използвана за всеки пиксел (х, у), е
Изход(х,у) = 3(х,у)*изображение(х,у)+(1-Р(х,у)*видео(х,у) (12) р(х,у) = а(х,у)*Р(х,у) (13) където изход (х,у) е стойността на пиксела на изходящия кадър, изображение (х,у) и видео (х,у) са стойностите, съответно във вграденото изображение 42 и видеокадъра, а(х,у) е стойността в бленд-маската 58 и Р(х,у) стойността в разрешителната маска.
Горното описание приема, че сравнител ната таблица, която е произвела фоновата мас ка 70, се запазва вярна, докато продължава играта. Ако осветлението се смени, което обикновено става при игрите на открито, цветове те във видеосерията могат да се променят и в резултат на това фоновата маска 70 вече няма да показва правилно фоновите елементи. Ето защо, корекционната процедура може да се извършва периодично. Корекционната процедура е изложена подробно на фиг. 18.
Забелязва се, че в процеса на калибриране, операторът избира тестови зони, указващи интересуващите го елементи от фона, като линиите на игрището и външното и вътрешно поле на корта. Тези тестови зони се съхраняват, както и техните цветови стойности.
След като веднъж се определи матрицата за калибриране на видеокадъра, местоположението на тестовите зони се преобразува от равнината на видеокадъра за равнината на геометричния модел, като се използва обратната матрица на матрицата М. По-късно, когато е необходима калибровка, тестовите зони се превръщат в текущи равнини на видеокадъра. Избират се изкривените тестови зони, които се намират в текущия видеокадър, и областите им се опробват. Изчисляват се цветовите характеристики на всяка област, например чрез хистограми, и резултатът се сравнява с характеристиките на съхранената зона. Ако има съществена промяна в цветовете, сравнителната таблица се коригира и въпросните точки се преобразуват в геометричен модел и се съхраняват.
Изобретението е приложимо както за описания процес, така и за каквато и да било ситуация, при която фоновата информация е известна и не се променя. Гореописаните процеси могат да се подобрят по многобройни начини чрез съпровождане и установяване параметрите на камерата, както е посочено по-долу.
Когато има информация за положението, ъглите на въртене и увеличението, осъществявани от всяка камера (определени външно или вътрешно от системата), горните работни фази могат да се скъсят, тъй като се намалява броят на свободните градуси на перспективната матрица Р.
По-специално, перспективната матрица Р съдържа информация относно разположението, ъгъла на въртене и увеличението на използваната камера. Тази информация може да бъде снета и перспективната матрица Р, или, аналогично, трансформационната матрица М, може да се предефинира като функция от параметрите на всяка камера.
На фиг. 19 е показана камерата и параметрите й. Местоположението й е означено с вектор 171 с координати (х,у,х) от начало 0 на Χ,Υ,Ζ координатна система 172. Камерата се върти, накланя и обръща около основните си оси U, V и W, както е показано от стрелки 173, 174 и 175 съответно. Лещите на камерата могат да увеличават изображението по оста V, както е показано от стрелка 176.
Ако приемем, че камерата не се върти и че коефициентът на камерата (коефициентът между ширината и височината на пиксела в изображението, което камерата произвежда) определя квадратни пиксели, параметрите на перспективната матрица Р могат да се зададат като функция на местоположението (x,y,z) на камерата и нейното накланяне, обръщане и увеличение. Приема се, че камерата не променя местоположението си от кадър до кадър, а просто променя ъгъла на наклона и обръщането си или степента на увеличение.
На фиг. 20, 21 и 22 е показан метод за определяне и използване параметрите на камерата. На фиг.20, когато във видеопотока се направи профил, целият процес на определяне на перспектива (фаза 180), както е указано на фиг. 10, се извършва върху първия кадър от новия отсек. Във фаза 180 се получават елементите a(i,j) на перспективната матрица Р. Процесът продължава в две направления:
а) трансформационната матрица Т се определя, като се започва от фаза 154 на фиг.13;
б) координатите на камерата (x,y,z) се снемат (фаза 184) от матрицата Р, както е посочено в раздел 3.4, от “Триизмерно компютърно изображение - геометрична гледна точка”, Оливър Фаугерас, МИТ прес, 1993 г. Книгата е включена като ползвана литература.
След като се снемат координатите на камерата (x,y,z), се правят две проверки (фази 186 и 188), както следва:
Условие 186: Камерата не трябва да се върти в посока 174. Въртене има, когато елементът а|3 не е равен на нула.
Условие 188: Коефициентът на камерата (AR) определя квадратни пиксели (напр. AR=1).
Ако едно от двете условия не е изпълнено, останалата част от съкратения процес се нулира.
Ако и двете условия са изпълнени, тогава, така, както е посочено в “Триизмерно компютърно изображение...”, матрица Р може да се представи (фаза 190) като произведение на следните матрици:
а) увеличение (f) - матрицата за проектиране на фокусната равнина на камерата;
б) пренасяне - матрицата за пренасяне от началото на координатната система до изчислената позиция на камерата (x,y,z);
в) изместване (а) - матрицата за въртене около оста U през ъгъл а;
г) обръщане (Θ) - матрицата за въртене около оста W през ъгъл Θ.
Със стойностите на увеличението, пренасянето, изместването и обръщането първата камера е напълно калибрирана (фаза 192) и нейните параметри се вграждат в таблица 194 на идентифицираните камери (показани на фиг.21). Другите камери се идентифицират и регистрират в таблица 194, както е посочено по-долу.
Съкратеният процес на изчисление, описан по отношение на фиг.22, се извършва във всички кадри. Кадърът се изследва (фаза 196) за определяне подобието му спрямо предните кадри, като се използват α, θ и f. Подобието се измерва чрез коефициент на съвпадение, т.е. процентът на успешно отнесените към модела интересуващи ни пиксели в кадъра, установен чрез изчислената матрица. Ако се получи добро подобие, изчислената матрица може да се използва за процеса на вграждане, описан по отношение на фиг. 17. Ако коефициентът на съвпадение е малък, възможно е този кадър да е заснет от друга камера от таблица 194.
За да се открие другата камера, кадърът трябва да се разгледа и една линия от него трябва да се идентифицира. След това точка от идентифицираната линия като пресечна точка с друга линия трябва също да се идентифицира (фаза 198). Идентифицираната линия обикновено се оказва “най-силната” линия.
Във фаза 200 се определя стойност на съвпадение за всяка една от изброените в таблица 194 камери, както следва.
Идентифицираната линия и точка се свързват с линия и точка на геометричния модел и за тази връзка се определя перспективна матрица, която преобразува линията и точката от модела в идентифицираните линия и точка. Тъй като всяка перспективна матрица Р е функция на координатите (x,y,z) на разглежданата камера (които са известни) и изместването (а), обръщането (Θ) и увеличението f (неизвестни), получената перспективна матрица Р може да се определи от стойностите на изместване, обръщане и увеличение, които могат да се изчислят, приемайки, че идентифицираните линия и точка съвпадат правилно с линията и точката на модела.
В метода на фиг. 10 трансформационната матрица М се определя от перспективната .матрица Р и геометричният модел се преобразува чрез матрица М в равнината на изображението в кадъра. Линиите на модела се стиковат с линиите на изображението и се получава стойност на съвпадение.
Процесът на обвързване на линия и точка от модела с идентифицирана линия и точка чрез генериране на перспективна матрица Р от известните координати на камерата, линиите и точките и определянето на стойност на съвпадение се повтаря за всяка комбинация на линия и точка в геометричния модел. Ако стойностите на съвпадение се окажат значително помалко от 1, указвайки, че съвпадението е лошо, процесът на съвпадение с идентифицираните линия и точка, описан по-горе, се повтаря за друга камера, чиито координати (x,y,z) са известни.
Най-високият изчислен коефициент на съвпадение за всяка камера се въвежда в колона, означена с 202 на таблица 194 (фиг. 21). Във фаза 204 се избира камерата с най-голям коефициент 202 и ако коефициентът е по-голям от предварително определения праг, перспективната му матрица Р се използва за вграждането на изображение на фиг. 17. Ако стойността на най-високия коефициент в колона 202 е по-ниска от прага, за заснемане на текущите кадри не е използвана нито една от познатите камери. Процесът на фиг. 10 трябва да се извърши, след което да се премине към процеса на фиг.20 за идентифициране на камерата.
За специалистите в областта е ясно, че изобретението не се ограничава само до посочения частен случай. Обхватът на изобретението е определен от претенциите.

Claims (22)

  1. Патентни претенции
    1. Метод за вграждане на изображение, характеризиращ се с вграждане на изображение в едно избрано изображение от множество видеокадри, представляващи поток от действия върху фоново пространство, като фоновото пространство е с равна повърхност и се заснема поне от една видеокамера, характеризиращ се с това, че се генерира независим от множеството видеокадри модел на непроменящите се повърхнини, като моделът изобразява геометричните характеристики на повърхнината, който се използва за вграждане на изображението в кадрите, като фазата на използване включва и фаза на перспективно изкривяване на модела.
  2. 2. Метод съгласно претенция 1, характеризиращ се с това, че геометричните характеристики се състоят поне от една група линии и дъги.
  3. 3. Метод съгласно претенция 2, характеризиращ се с това, че има и фаза за указване на равнинна връзка между отделните линии и дъги.
  4. 4. Метод съгласно претенция 1, характеризиращ се с това, че представянето е равнинно-векторно.
  5. 5. Апарат за вграждане на изображение в едно избрано изображение от множество видеокадри, представляващи поток от действия върху фоново пространство, като фоновото пространство е с равна повърхност и се заснема поне от една видеокамера, състоящ се от средства за генериране на модел на непроменяща се повърхност на избран единичен кадър измежду множеството видеокадри, като моделът съдържа изображение на геометричните характеристики на повърхнината и средства за използване на модела за вграждане на изображение в кадрите, както и средства за перспективна деформация на модела.
  6. 6. Апарат съгласно претенция 5, характеризиращ се с това, че геометричните характеристики съставляват поне една група линии и дъги.
  7. 7. Апарат съгласно претенция 6, характеризиращ се с това, че разполага и със средства за определяне равнинната връзка между отделните линии и дъги.
  8. 8. Апарат съгласно претенция 5, характеризиращ се с това, че изображението е равнинно-векторно.
  9. 9. Метод за вграждане на изображение в избрано измежду множество видеокадри, представляващи поток от действия върху фоново пространство, характеризиращ се с това, че пространството има постоянна равна повърхност и се заснема поне от една камера, характеризиращ се с това, че се генерира модел на една от постоянните повърхности, който е изображение на геометричните характеристики на повърхнината и се използва за перспективна деформация на изображението за поставянето му в перспективата на избрания кадър, след което се съставя фонова маска на избрания кадър, като кадърът съдържа поне една съставна от неподвижната повърхност, като фоновата маска определя зоните, които подлежат на промяна, както и зоните на избрания кадър и непроменящите се полета, след което се смесва изкривеното изображение с избраната съставна на променящите се зони и се вгражда изображението в избрания кадър.
  10. 10. Метод съгласно претенция 9, характеризиращ се с това, че генерирането на модела се извършва независимо от множеството видеокадри.
  11. 11. Метод съгласно претенция 9, характеризиращ се с това, че се използва модел и избрана променяща се зона за съставяне на трансформационна матрица и тази трансформационна матрица изкривява изображението в перспектива.
  12. 12. Метод съгласно претенция 9, характеризиращ се с това, че преди използването му се съставя маска за местоположението на изображението спрямо модела, като маската за местоположението се деформира с изображението.
  13. 13. Метод съгласно претенция 12, характеризиращ се с това, че смесването извършва наслагването на деформираната маска за местоположение и променящата се зона на фоновата маска, с което се получава разрешител на маска, дефинираща пикселите в кадъра, където се вграждат съответните пиксели на изображението.
  14. 14. Метод съгласно претенция 13, характеризиращ се с това, че се създава деформирана в перспектива бленд-маска, определяща стойностите на прозрачност, и че впоследствие се извършва смесване на изображението, разрешителната маска и бленд-маската, с което изображението се вгражда с желаните стойности за цвят.
  15. 15. Метод съгласно претенция 14, характеризиращ се с това, че смесването се състои в определяне на стойност на цвета за всеки пиксел (х, у), където стойността на цвета за пиксел (х, у) = β(χ,ν) *изображение (х,у)+(1 -β (х,у) *кадър(х,у) където β(χ,ν) = а(х,у)*Р(х,у) където а(х,у) и Р(х,у) са стойностите на бленд-маската и разрешителната маска за пиксела (х,у) и където изображение (х,у) е указаната стойност на изображението за пиксел (х,у), кадъра (х,у) е указаната стойност на променливата зона.
  16. 16. Система за вграждане на изображение в избрано измежду множество видеокадри, представляващи поток от действия върху фоново пространство, характеризираща се с това, че пространството има постоянна равна повърхност и се заснема поне от една камера, състояща се от средства за генериране на модел на една от постоянните повърхнини, като моделът е изображение на геометричните характеристики на повърхнината, средства за използване на модела за перспективна деформация на изображението за поставянето му в перспективата на избрания кадър, средства за съставяне на фонова маска на избрания кадър, като кадърът съдържа поне една съставна от неподвижната повърхност, фоновата маска определя зоните, които подлежат на промяна, както и зоните на избрания кадър и непроменящите се полета и средства за смесване на изкривеното изображение с избраната съставна на променящите се зони и вграждане на изображението в избрания кадър.
  17. 17. Система съгласно претенция 16, характеризираща се с това, че генерирането на модела се извършва независимо от множест вото видеокадри.
  18. 18. Система съгласно претенция 17, характеризираща се с това, че се използват средства за използване на модела и избрана променяща се зона за съставяне на трансформационна матрица и тази трансформационна матрица изкривява изображението в перспектива.
  19. 19. Система съгласно претенция 16, характеризираща се с това, че се използват средства, с които се съставя маска за местоположението на изображението спрямо модела, като маската за местоположението се деформира с изображението.
  20. 20. Система съгласно претенция 19, характеризираща се с това, че освен средствата за смесване разполага и със средства за наслагване на деформираната маска за местоположение и променящата се зона на фоновата маска, с което се получава разрешителна маска, дефинираща пикселите в кадъра, където се вграждат съответните пиксели на изображението.
  21. 21. Система съгласно претенция 20, характеризираща се с това, че разполага със средства за производство на деформирана в перспектива бленд-маска, определяща стойностите на прозрачност и че с тези средства впоследствие се извършва смесване на изображението, разрешителната маска и бленд-маската, с което изображението се вгражда с желаните стойности за цвят.
  22. 22. Система съгласно претенция 21, характеризираща се с това, че разполага със средства за смесване и задаване на стойност на цвета за всеки пиксел (х,у), където стойността на цвета за пиксел (х,у) = β (х,у) *изображение (х,у)+(1 -β (х,у) ’кадър (х.у) където р(х,у) = а(х,у)*Р(х,у) където а(х,у) и Р(х,у) са стойностите на бленд-маската и разрешителната маска за пиксела (х,у) и където изображение (х,у) е указаната стойност на изображението за пиксел (х,у), кадъра (х,у) е указаната стойност на променливата зона.
BG100879A 1994-03-14 1996-10-01 Метод и система за вграждане на изображение във видеопоток BG62114B1 (bg)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL10895794A IL108957A (en) 1994-03-14 1994-03-14 Video sequence imaging system
PCT/US1995/002424 WO1995025399A1 (en) 1994-03-14 1995-02-27 A system for implanting an image into a video stream

Publications (2)

Publication Number Publication Date
BG100879A BG100879A (bg) 1997-12-30
BG62114B1 true BG62114B1 (bg) 1999-02-26

Family

ID=11065923

Family Applications (1)

Application Number Title Priority Date Filing Date
BG100879A BG62114B1 (bg) 1994-03-14 1996-10-01 Метод и система за вграждане на изображение във видеопоток

Country Status (22)

Country Link
US (2) US5491517A (bg)
EP (1) EP0750819B1 (bg)
JP (1) JPH09510336A (bg)
KR (1) KR100260786B1 (bg)
CN (1) CN1087549C (bg)
AT (1) ATE211872T1 (bg)
AU (1) AU692529B2 (bg)
BG (1) BG62114B1 (bg)
BR (1) BR9507057A (bg)
CA (1) CA2179031C (bg)
CZ (1) CZ286248B6 (bg)
DE (1) DE69524946D1 (bg)
HU (1) HU220409B (bg)
IL (1) IL108957A (bg)
LV (1) LV11716B (bg)
NO (1) NO963811L (bg)
NZ (1) NZ282275A (bg)
PL (1) PL176135B1 (bg)
RU (1) RU2108005C1 (bg)
TW (1) TW367452B (bg)
WO (1) WO1995025399A1 (bg)
ZA (1) ZA951403B (bg)

Families Citing this family (190)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5903317A (en) * 1993-02-14 1999-05-11 Orad Hi-Tech Systems Ltd. Apparatus and method for detecting, identifying and incorporating advertisements in a video
NZ271237A (en) * 1993-10-27 1996-09-25 Princeton Video Image Inc Electronic billboard insertion of images into broadcast video stream
IL109487A (en) * 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
EP1098527A1 (en) * 1994-11-04 2001-05-09 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and decoding apparatus
US5726716A (en) * 1995-03-07 1998-03-10 Nec Corporation Perspective representation system for displaying portions of an original picture in a displayable picture
US6047130A (en) * 1995-04-24 2000-04-04 Environmental Protection Systems, Inc. Apparatus and method for portrait photography
JPH11507797A (ja) * 1995-06-16 1999-07-06 プリンストン ビデオ イメージ,インコーポレイテッド 合成基準画像を用いる適応形オクルージョンを用いた映像内へのリアルタイム挿入システムおよび方法
US5892554A (en) * 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
US5912700A (en) * 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
GB9514313D0 (en) * 1995-07-13 1995-09-13 Beattie Robert J Live-ads
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
GB2305050A (en) 1995-09-08 1997-03-26 Orad Hi Tec Systems Ltd Determining the position of a television camera for use in a virtual studio employing chroma keying
US9530150B2 (en) * 1996-01-19 2016-12-27 Adcension, Llc Compensation model for network services
US6264560B1 (en) 1996-01-19 2001-07-24 Sheldon F. Goldberg Method and system for playing games on a network
US5823879A (en) * 1996-01-19 1998-10-20 Sheldon F. Goldberg Network gaming system
US20090012864A1 (en) * 2007-07-02 2009-01-08 Goldberg Sheldon F Compensation model for network services
GB2312582A (en) * 1996-01-19 1997-10-29 Orad Hi Tech Systems Limited Insertion of virtual objects into a video sequence
WO1997041683A1 (en) 1996-04-29 1997-11-06 Princeton Video Image, Inc. Audio enhanced electronic insertion of indicia into video
JP2947170B2 (ja) * 1996-05-29 1999-09-13 日本電気株式会社 線対称図形整形装置
WO1997047130A1 (es) * 1996-06-04 1997-12-11 Rafael Calvo Beca Plato virtual movil
SE506544C2 (sv) * 1996-06-20 1998-01-12 Telia Ab Anordning och metod för generering av digitala reklamskyltar
US6075542A (en) * 1996-07-29 2000-06-13 Eastman Kodak Company Method of combining two digital images
US5897220A (en) * 1996-08-30 1999-04-27 American Alpha Inc. Automatic photograph booth for forming sketches
US5696995A (en) * 1996-08-30 1997-12-09 Huang; Sming Automatic photography booth
US6229904B1 (en) * 1996-08-30 2001-05-08 American Alpha, Inc Automatic morphing photography booth
GB9619117D0 (en) * 1996-09-12 1996-10-23 Pandora Int Ltd Digital image processing
US5917553A (en) * 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
JPH10145674A (ja) 1996-11-12 1998-05-29 Sony Corp ビデオ信号処理装置及びビデオ信号処理方法
JP3480648B2 (ja) * 1996-11-12 2003-12-22 ソニー株式会社 ビデオ信号処理装置及びビデオ信号処理方法
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
RU99110735A (ru) * 1996-11-27 2001-03-10 Принстон Видео Имидж Вставка изображения в видеопотоки с применением комбинации физических датчиков и распознавания образов
ATE223132T1 (de) * 1996-12-20 2002-09-15 Princeton Video Image Inc Aufsatzgerät für gezielte elektronische einblendung von zeichen in videosignale
US6072537A (en) * 1997-01-06 2000-06-06 U-R Star Ltd. Systems for producing personalized video clips
US5953077A (en) * 1997-01-17 1999-09-14 Fox Sports Productions, Inc. System for displaying an object that is not visible to a camera
US6252632B1 (en) 1997-01-17 2001-06-26 Fox Sports Productions, Inc. System for enhancing a video presentation
JPH10232940A (ja) * 1997-02-20 1998-09-02 Sony Corp コーナ検出装置及びコーナ検出方法
US6209028B1 (en) 1997-03-21 2001-03-27 Walker Digital, Llc System and method for supplying supplemental audio information for broadcast television programs
AU6882998A (en) * 1997-03-31 1998-10-22 Broadband Associates Method and system for providing a presentation on a network
US7490169B1 (en) 1997-03-31 2009-02-10 West Corporation Providing a presentation on a network having a plurality of synchronized media types
US7143177B1 (en) 1997-03-31 2006-11-28 West Corporation Providing a presentation on a network having a plurality of synchronized media types
US7412533B1 (en) 1997-03-31 2008-08-12 West Corporation Providing a presentation on a network having a plurality of synchronized media types
GB9712724D0 (en) * 1997-06-18 1997-08-20 Holmes Steven Method and apparatus for interaction with broadcast television content
US6011595A (en) * 1997-09-19 2000-01-04 Eastman Kodak Company Method for segmenting a digital image into a foreground region and a key color region
US6061088A (en) * 1998-01-20 2000-05-09 Ncr Corporation System and method for multi-resolution background adaptation
US6750919B1 (en) 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
US6258418B1 (en) 1998-06-24 2001-07-10 Ronald A. Rudder Method for producing diamond-tiled cooking utensils and other workpieces for durable stick-resistant surfaces
RU2157054C2 (ru) 1998-09-04 2000-09-27 Латыпов Нурахмед Нурисламович Способ создания видеопрограмм (варианты) и система для осуществления способа
US6266100B1 (en) 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
US6229550B1 (en) 1998-09-04 2001-05-08 Sportvision, Inc. Blending a graphic
GB2344714A (en) * 1998-09-22 2000-06-14 Orad Hi Tec Systems Ltd Method and apparatus for creating real digital video effects
US6525780B1 (en) * 1998-12-18 2003-02-25 Symah Vision, Sa “Midlink” virtual insertion system
US20010017671A1 (en) * 1998-12-18 2001-08-30 Pierre Pleven "Midlink" virtual insertion system and methods
US11109114B2 (en) 2001-04-18 2021-08-31 Grass Valley Canada Advertisement management method, system, and computer program product
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6381362B1 (en) * 1999-04-08 2002-04-30 Tata America International Corporation Method and apparatus for including virtual ads in video presentations
US6466275B1 (en) * 1999-04-16 2002-10-15 Sportvision, Inc. Enhancing a video of an event at a remote location using data acquired at the event
ES2158797B1 (es) * 1999-08-12 2002-04-01 Nieto Ramon Rivas Dispositivo generador multiuso y/o multidestino de los contenidos en modulos o paneles publicitarios, informativos u ornamentaltes y similatres, que quedan integrados en las imagenes retransmitidas y/o filmadas.
US7996878B1 (en) * 1999-08-31 2011-08-09 At&T Intellectual Property Ii, L.P. System and method for generating coded video sequences from still media
AU1250501A (en) * 1999-09-10 2001-04-10 Quokka Sports, Inc. A system for distributing and delivering multiple streams of multimedia data
JP4427140B2 (ja) * 1999-09-28 2010-03-03 株式会社東芝 オブジェクト映像表示装置
US7010492B1 (en) 1999-09-30 2006-03-07 International Business Machines Corporation Method and apparatus for dynamic distribution of controlled and additional selective overlays in a streaming media
US8341662B1 (en) 1999-09-30 2012-12-25 International Business Machine Corporation User-controlled selective overlay in a streaming media
US7075556B1 (en) * 1999-10-21 2006-07-11 Sportvision, Inc. Telestrator system
US7230653B1 (en) * 1999-11-08 2007-06-12 Vistas Unlimited Method and apparatus for real time insertion of images into video
US6335765B1 (en) * 1999-11-08 2002-01-01 Weather Central, Inc. Virtual presentation system and method
BRPI0015403B1 (pt) * 1999-11-08 2018-02-27 Vistas Unlimited, Inc. Método e aparelho para a inserção em tempo real de imagens em vídeo
CA2394341A1 (en) * 1999-12-13 2001-06-14 Princeton Video Image, Inc. 2-d/3-d recognition and tracking algorithm for soccer application
US6573945B1 (en) * 2000-01-12 2003-06-03 General Instrument Corporation Logo insertion on an HDTV encoder
IL134182A (en) 2000-01-23 2006-08-01 Vls Com Ltd Method and apparatus for visual lossless pre-processing
US6909438B1 (en) 2000-02-04 2005-06-21 Sportvision, Inc. Video compositor
US6593973B1 (en) * 2000-03-21 2003-07-15 Gateway, Inc. Method and apparatus for providing information in video transitions
JP2001283079A (ja) * 2000-03-28 2001-10-12 Sony Corp 通信サービス方法とその装置、通信端末装置、通信システム、広告宣伝方法
KR20000054304A (ko) * 2000-06-01 2000-09-05 이성환 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그제어방법
US6753929B1 (en) * 2000-06-28 2004-06-22 Vls Com Ltd. Method and system for real time motion picture segmentation and superposition
JP3564701B2 (ja) * 2000-09-01 2004-09-15 オムロン株式会社 画像印刷装置および方法
US7319479B1 (en) 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
JP2007189730A (ja) * 2000-12-27 2007-07-26 Casio Comput Co Ltd 画像加工システム、光源、撮像装置、及び、画像加工プログラム
KR20010035174A (ko) * 2001-01-10 2001-05-07 엄장필 컴퓨터 중독 방지 시스템
JP4596201B2 (ja) * 2001-02-01 2010-12-08 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6856323B2 (en) * 2001-04-09 2005-02-15 Weather Central, Inc. Layered image rendering
US20020149698A1 (en) * 2001-04-17 2002-10-17 Bowden Raymond E. Scoreboard tied to players
US7224403B2 (en) * 2001-04-17 2007-05-29 Bowden Raymond E Televised scoreboard or statistics presentation with colors corresponding to players' uniforms
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
US7231651B2 (en) * 2001-06-18 2007-06-12 Ta-Ching Pong System and method for insertion and modification of advertisements
KR20030002919A (ko) * 2001-07-02 2003-01-09 에이알비전 (주) 방송 영상에서의 실시간 이미지 삽입 시스템
KR100387901B1 (ko) * 2001-07-03 2003-06-18 에이알비전 (주) 카메라 센서를 이용한 이미지 추적 및 삽입 시스템
US7206434B2 (en) 2001-07-10 2007-04-17 Vistas Unlimited, Inc. Method and system for measurement of the duration an area is included in an image stream
US6905733B2 (en) * 2001-07-24 2005-06-14 University Of Pittsburgh Irreversible immobilization of enzymes into polyurethane coatings
GB0120134D0 (en) * 2001-08-17 2001-10-10 Nokia Corp Improvements in or relating to communication networks and methods of distributing information around the network
DE10140902A1 (de) * 2001-08-21 2003-03-27 Klaus Saitzek Sportbande
US7019764B2 (en) * 2001-09-20 2006-03-28 Genesis Microchip Corporation Method and apparatus for auto-generation of horizontal synchronization of an analog signal to digital display
WO2003036557A1 (en) * 2001-10-22 2003-05-01 Intel Zao Method and apparatus for background segmentation based on motion localization
US7341530B2 (en) * 2002-01-09 2008-03-11 Sportvision, Inc. Virtual strike zone
KR20030090372A (ko) * 2002-05-23 2003-11-28 주식회사 밀리오네어즈 디지털 방송 중계를 위한 광고 교체 방법 및 그 장치
US20040002896A1 (en) * 2002-06-28 2004-01-01 Jenni Alanen Collection of behavior data on a broadcast data network
US20040100563A1 (en) 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
US20040116183A1 (en) * 2002-12-16 2004-06-17 Prindle Joseph Charles Digital advertisement insertion system and method for video games
BRPI0408791B8 (pt) 2003-03-27 2016-04-19 Milliken & Co artigo de poliuretano de cor preta e métodos para produzir o mesmo
US20040194127A1 (en) * 2003-03-28 2004-09-30 Eastman Kodak Company Method and system for modifying digital cinema frame content
US20040194123A1 (en) * 2003-03-28 2004-09-30 Eastman Kodak Company Method for adapting digital cinema content to audience metrics
US20040194128A1 (en) * 2003-03-28 2004-09-30 Eastman Kodak Company Method for providing digital cinema content based upon audience metrics
US7116342B2 (en) * 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
SE0302065D0 (sv) * 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
GB2408164A (en) * 2003-11-12 2005-05-18 Alastair Breward Controlling a dynamic display apparatus
US7171024B2 (en) * 2003-12-01 2007-01-30 Brickstream Corporation Systems and methods for determining if objects are in a queue
JP2005184458A (ja) * 2003-12-19 2005-07-07 Canon Inc 映像信号処理装置
CA2553481C (en) * 2004-01-20 2012-06-12 Thomson Licensing Television production technique
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7590310B2 (en) 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
US9210312B2 (en) 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US20050270372A1 (en) * 2004-06-02 2005-12-08 Henninger Paul E Iii On-screen display and privacy masking apparatus and method
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
US7639892B2 (en) * 2004-07-26 2009-12-29 Sheraizin Semion M Adaptive image improvement
US7903902B2 (en) 2004-07-26 2011-03-08 Sheraizin Semion M Adaptive image improvement
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
CN100337473C (zh) * 2004-09-30 2007-09-12 中国科学院计算技术研究所 运动视频的全景图合成方法
US7526142B2 (en) * 2005-02-22 2009-04-28 Sheraizin Vitaly S Enhancement of decompressed video
US7451041B2 (en) * 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
GB0510793D0 (en) * 2005-05-26 2005-06-29 Bourbay Ltd Segmentation of digital images
FR2875038B1 (fr) * 2005-06-29 2007-04-06 Leo Vision Soc Par Actions Sim Procede pour tracer des objets graphiques virtuels sur des images d'un terrain notamment un terrain de jeu pour un evenement sportif
US20070035665A1 (en) * 2005-08-12 2007-02-15 Broadcom Corporation Method and system for communicating lighting effects with additional layering in a video stream
IL170320A (en) * 2005-08-17 2010-04-29 Orad Hi Tec Systems Ltd System and method for managing the visual effects insertion in a video stream
KR100703704B1 (ko) 2005-11-02 2007-04-06 삼성전자주식회사 동적 영상물 자동 생성 장치 및 방법
US7596536B2 (en) 2005-12-01 2009-09-29 Exent Technologies, Ltd. System, method and computer program product for dynamically measuring properties of objects rendered and/or referenced by an application executing on a computing device
US8629885B2 (en) 2005-12-01 2014-01-14 Exent Technologies, Ltd. System, method and computer program product for dynamically identifying, selecting and extracting graphical and media objects in frames or scenes rendered by a software application
US20070296718A1 (en) * 2005-12-01 2007-12-27 Exent Technologies, Ltd. Dynamic resizing of graphics content rendered by an application to facilitate rendering of additional graphics content
US7596540B2 (en) 2005-12-01 2009-09-29 Exent Technologies, Ltd. System, method and computer program product for dynamically enhancing an application executing on a computing device
US20070160123A1 (en) * 2006-01-11 2007-07-12 Gillespie Richard P System for isolating an object in a broadcast signal
WO2008010203A2 (en) 2006-07-16 2008-01-24 Seambi Ltd. System and method for virtual content placement
US8098330B2 (en) * 2006-07-28 2012-01-17 International Business Machines Corporation Mapping of presentation material
US20080117333A1 (en) * 2006-11-17 2008-05-22 Disney Enterprises, Inc. Method, System And Computer Program Product For Video Insertion
US10885543B1 (en) 2006-12-29 2021-01-05 The Nielsen Company (Us), Llc Systems and methods to pre-scale media content to facilitate audience measurement
US8572642B2 (en) 2007-01-10 2013-10-29 Steven Schraga Customized program insertion system
US9363576B2 (en) 2007-01-10 2016-06-07 Steven Schraga Advertisement insertion systems, methods, and media
FR2912026B1 (fr) * 2007-01-29 2010-03-12 Cineact Procede de generation d'un signal de modification et d'une sequence infographique, signal source, sequence infographique, procede et dispositif de diffusion et systeme de gestion correspondants
ATE497679T1 (de) * 2007-02-19 2011-02-15 Axis Ab Verfahren zur korrektur von hardware- fehlausrichtungen bei einer kamera
US8335345B2 (en) * 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US8988609B2 (en) 2007-03-22 2015-03-24 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
GB2452546B (en) * 2007-09-07 2012-03-21 Sony Corp Video processing system and method
RU2443070C1 (ru) * 2007-12-13 2012-02-20 Суппонор Ой Способ изменения содержания телевизионного изображения
US8281334B2 (en) * 2008-03-31 2012-10-02 Microsoft Corporation Facilitating advertisement placement over video content
US8109829B1 (en) * 2008-04-10 2012-02-07 Acme Embedded Solutions Inc. Compositing device for combining visual content
GB0809631D0 (en) * 2008-05-28 2008-07-02 Mirriad Ltd Zonesense
US8477246B2 (en) * 2008-07-11 2013-07-02 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for augmenting video content
WO2010052709A1 (en) * 2008-11-06 2010-05-14 Artivision Technologies Ltd. System and method for enriching video data
US8175413B1 (en) * 2009-03-05 2012-05-08 Google Inc. Video identification through detection of proprietary rights logos in media
US8553982B2 (en) * 2009-12-23 2013-10-08 Intel Corporation Model-based play field registration
TWI423154B (zh) * 2009-12-30 2014-01-11 Univ Nat Chi Nan Book Inventory Management System and Its Method
US8884741B2 (en) * 2010-02-24 2014-11-11 Sportvision, Inc. Tracking system
DK3340610T3 (da) * 2010-09-20 2023-02-20 Fraunhofer Ges Forschung Fremgangsmåde til adskillelse af baggrunden og forgrunden i et motiv samt fremgangsmåde til erstatning af en baggrund på billeder i et motiv
JP2012156797A (ja) * 2011-01-26 2012-08-16 Sony Corp 画像処理装置及び画像処理方法
US8941685B1 (en) * 2011-03-08 2015-01-27 Google Inc. Showing geo-located information in a 3D geographical space
JP4977255B1 (ja) * 2011-03-31 2012-07-18 株式会社ナナオ 表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム
US9215383B2 (en) 2011-08-05 2015-12-15 Sportsvision, Inc. System for enhancing video from a mobile camera
US10089550B1 (en) 2011-08-17 2018-10-02 William F. Otte Sports video display
US8538233B2 (en) * 2011-08-24 2013-09-17 Disney Enterprises, Inc. Automatic camera identification from a multi-camera video stream
US8970666B2 (en) * 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
US9584736B2 (en) 2011-09-23 2017-02-28 Disney Enterprises, Inc. Automatic repositioning of video elements
US8805007B2 (en) 2011-10-13 2014-08-12 Disney Enterprises, Inc. Integrated background and foreground tracking
JP5362052B2 (ja) * 2012-01-24 2013-12-11 Eizo株式会社 表示装置、画像処理装置、画像領域検出方法及びコンピュータプログラム
EP2765766A1 (en) * 2013-02-08 2014-08-13 PIXarithmic GmbH Hard key control panel for a video processing apparatus
CN105191287B (zh) * 2013-03-08 2019-06-21 迪基特阿雷纳股份公司 替换视频流中的对象的方法及计算机程序
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
US9514381B1 (en) 2013-03-15 2016-12-06 Pandoodle Corporation Method of identifying and replacing an object or area in a digital image with another object or area
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
CN105284122B (zh) 2014-01-24 2018-12-04 Sk 普兰尼特有限公司 用于通过使用帧聚类来插入广告的装置和方法
JP2017510167A (ja) * 2014-02-07 2017-04-06 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム
CN104618745B (zh) * 2015-02-17 2017-08-01 北京影谱科技股份有限公司 一种在视频中动态植入广告的装置
EP3094082A1 (en) * 2015-05-13 2016-11-16 AIM Sport Vision AG Digitally overlaying an image with another image
TWI546772B (zh) * 2015-11-18 2016-08-21 粉迷科技股份有限公司 影像疊層處理方法與系統
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
US10290119B2 (en) 2016-09-15 2019-05-14 Sportsmedia Technology Corporation Multi view camera registration
CN106548446B (zh) 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
DE102016119637A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag Fernsehübertragungssystem zur Erzeugung angereicherter Bilder
DE102016119639A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen
DE102016119640A1 (de) * 2016-10-14 2018-04-19 Uniqfeed Ag System zur Erzeugung angereicherter Bilder
KR102019299B1 (ko) * 2017-06-30 2019-09-06 강동민 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법
RU2673966C1 (ru) * 2017-10-23 2018-12-03 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ идентификации кадров в потоке мультимедийных данных
US11010946B2 (en) 2017-12-21 2021-05-18 Rovi Guides, Inc. Systems and method for dynamic insertion of advertisements
US10922871B2 (en) 2018-01-19 2021-02-16 Bamtech, Llc Casting a ray projection from a perspective view
US11842572B2 (en) * 2018-06-21 2023-12-12 Baseline Vision Ltd. Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation
CN111866301B (zh) * 2019-04-30 2022-07-05 阿里巴巴集团控股有限公司 数据的处理方法、装置及设备
CN110121034B (zh) 2019-05-09 2021-09-07 腾讯科技(深圳)有限公司 一种在视频中植入信息的方法、装置、设备及存储介质
US11336949B2 (en) 2019-06-07 2022-05-17 Roku, Inc. Content-modification system with testing and reporting feature
CN111986133B (zh) * 2020-08-20 2024-05-03 叠境数字科技(上海)有限公司 一种应用于子弹时间的虚拟广告植入方法
CN112488063B (zh) * 2020-12-18 2022-06-14 贵州大学 一种基于多阶段聚合Transformer模型的视频语句定位方法
CN113988906B (zh) * 2021-10-13 2024-05-28 咪咕视讯科技有限公司 广告投放方法、装置及计算设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2566934B1 (fr) * 1984-06-29 1987-05-07 Giraud Daniel Procede d'affichage d'informations telles que par exemple des messages publicitaires sur un certain nombre de panneaux a elements d'affichage disposes dans un lieu de manifestations sportives et systeme pour la mise en oeuvre d'un tel procede
US5099331A (en) * 1987-09-04 1992-03-24 Texas Instruments Incorporated Apparatus for overlaying a displayed image with a second image
US4907086A (en) * 1987-09-04 1990-03-06 Texas Instruments Incorporated Method and apparatus for overlaying a displayable image with a second image
JPH01296785A (ja) * 1988-05-24 1989-11-30 Fujitsu Ltd 画像重畳装置
JP3138264B2 (ja) * 1988-06-21 2001-02-26 ソニー株式会社 画像処理方法及び装置
GB8822062D0 (en) * 1988-09-20 1988-10-19 Quantel Ltd Video processing
US4947256A (en) * 1989-04-26 1990-08-07 The Grass Valley Group, Inc. Adaptive architecture for video effects
US5279954A (en) * 1989-06-30 1994-01-18 Board Of Regents Of The University Of Nebraska And Bionebraska Exopeptidase catalyzed site-specific bonding of supports, labels and bioactive agents to proteins
FR2661061B1 (fr) * 1990-04-11 1992-08-07 Multi Media Tech Procede et dispositif de modification de zone d'images.
ATE181631T1 (de) * 1991-07-19 1999-07-15 Princeton Video Image Inc Fernsehanzeigen mit ausgewählten eingeblendeten zeichen
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
US5436672A (en) * 1994-05-27 1995-07-25 Symah Vision Video processing system for modifying a zone in successive images

Also Published As

Publication number Publication date
NO963811D0 (no) 1996-09-11
CZ265396A3 (cs) 1999-08-11
ATE211872T1 (de) 2002-01-15
NO963811L (no) 1996-11-14
HU9602444D0 (en) 1996-11-28
KR100260786B1 (ko) 2000-07-01
IL108957A0 (en) 1994-06-24
RU2108005C1 (ru) 1998-03-27
CA2179031A1 (en) 1995-09-21
IL108957A (en) 1998-09-24
CN1087549C (zh) 2002-07-10
WO1995025399A1 (en) 1995-09-21
PL316621A1 (en) 1997-01-20
AU692529B2 (en) 1998-06-11
CN1144588A (zh) 1997-03-05
DE69524946D1 (de) 2002-02-14
HU220409B (hu) 2002-01-28
CA2179031C (en) 2005-05-10
EP0750819A1 (en) 1997-01-02
MX9604084A (es) 1997-12-31
ZA951403B (en) 1996-01-10
US5731846A (en) 1998-03-24
EP0750819B1 (en) 2002-01-09
LV11716B (en) 1997-08-20
NZ282275A (en) 1997-03-24
PL176135B1 (pl) 1999-04-30
BG100879A (bg) 1997-12-30
EP0750819A4 (en) 1998-12-30
CZ286248B6 (cs) 2000-02-16
BR9507057A (pt) 1997-09-02
HUT75487A (en) 1997-05-28
TW367452B (en) 1999-08-21
US5491517A (en) 1996-02-13
AU1933495A (en) 1995-10-03
JPH09510336A (ja) 1997-10-14
LV11716A (lv) 1997-02-20

Similar Documents

Publication Publication Date Title
BG62114B1 (bg) Метод и система за вграждане на изображение във видеопоток
CN106462944B (zh) 高分辨率全景vr生成器及方法
US20170180680A1 (en) Object following view presentation method and system
US9749526B2 (en) Imaging system for immersive surveillance
CN1213602C (zh) 快速数字平移角倾变焦距的视频设备
EP0758515B1 (en) Improved chromakeying system
US6738073B2 (en) Camera system with both a wide angle view and a high resolution view
JP3644688B2 (ja) ビデオ画像におけるビルボードの自動電子式置換方法および装置
US4463380A (en) Image processing system
US20070248283A1 (en) Method and apparatus for a wide area virtual scene preview system
US20060165310A1 (en) Method and apparatus for a virtual scene previewing system
WO2012046371A1 (ja) 画像表示装置および画像表示方法
JP2006162692A (ja) 講義コンテンツ自動作成システム
US6400832B1 (en) Processing image data
KR102138333B1 (ko) 파노라마 영상 생성 장치 및 방법
JP2003319351A (ja) サービス提供システム、放送装置および方法、受信装置および方法、記録媒体、並びにプログラム
KR20000054304A (ko) 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그제어방법
US11900635B2 (en) Organic camera-pose mapping
US11823410B1 (en) Video match moving system and method
JP7447403B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
MXPA96004084A (en) A system for implanting an image into a video stream
JP2005234680A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体