BG67302B1 - Интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери - Google Patents

Abstract

Основното приложение на предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери е основно, но не и единствено в областта на модата, търговията, рекламата и забавленията. Предлаганата система позволява реклама на целеви продукти, включително и чрез способа на къстъмизираната реклама, позволяваща потенциалния клиент да се види как би изглеждал в съответния рекламиран предлаган артикул, както и в комбинация от един или повече рекламирани и/или налични артикули, като на база изкуствен интелект, системата предлага на клиента най-добрия размер, модел, цвят дреха, отговаряща на спецификата на неговата фигура и желание. Предлаганата система позволява и осъществяване на покупка на харесан от потребителя артикул, както и неговото заплащане и доставка, включително и без намеса на служител от търговския обект и независимо от часа на осъществяване на избора и покупката, както и производителя или доставчика.

Description

Област на техниката

Мултимедийно интерактивно устройство

Предшестващо състояние на техниката

Опитите за създаване на компютърно-базирани системи за подпомагане на избора на клиентите при покупка на дрехи и аксесоари бележи своето развитие с масовизацията на компютърната техника, и особено след появата на цветните CRT монитори и графичните операционни системи. Чрез процеса на подпомагане на избора на клиента, търговците си гарантират увеличаване на обемите на продажбите и намаляване на върнатите стоки, а клиентите получават по-висока степен на удовлетвореност от своята покупка.

Основните подходи за реализация на компютърно подпомаган избор на клиенти при покупка на дрехи и аксесоари, и по-специално в частта визуализация на избрания продукт и как той би стоял на конкретния клиент, са основно насочени към:

1. Визуализация на снимка на дреха (със или без манекен) (Източници. http://www2.hm.com/bg bg/index.html, http://www.explosi.bg/)

2. Визуализация на снимка на дреха, насложена като неподвижна позиция и съчетана с видеопоток от камера или снимка на лицето, при което клиентът се „напасва“ върху снимката, за да види как ще изглежда (Източник: https://www.youtube.com/watch?v=5TZmQPdhpak, http://zugara.com/virtual-dressing-room- technology/virtual-dressing-room-kiosk, https://www.youtube.com/watch?v=L9EwtGUTNzO)

3. Качване на потребителска снимка, при което системата прави морфинг на частите на тялото, за да замени главата и видимите части на съществуваща снимка с манекен

4. Визуализация на ЗД модел на дреха с опция за разглеждане/завъртане от клиента (Източник: https://www.magictoolbox.com/magic360/)

5. Изграждане на типов компютърно генериран аватар, който се „облича“ с компютърно генерирани дрехи - изцяло в компютърна среда (Източник: https://www.yotube.com/watch7v—ZDJsZla9SYQ, https://www.voutube.com/watch?v=^:mWO InW-Zvs)

6. Изграждане на къстъмизиран (на база тип тяло) компютърно генериран аватар, който се „облича с компютърно генерирани дрехи - изцяло в компютърна среда (източник: http://www.trimirror.com/en/about/)

7. Изграждане на къстъмизиран (с реално измерени или въведени данни на клиента) компютърно генериран аватар, който се „облича“ с компютърно генерирани дрехи - изцяло в компютърна среда (Източник: https://www.youtube.com/watch?v=DMladTwgHoI)

8. Генериране и наслагване на компютърно генерирана дреха върху видеопоток от камера с изображение на клиента на база силует на тялото на клиента (в контролирана среда) (Източник: https://www.youtube.com/watch?v=BD4TCfECxsU&feature^::=voutu.be)

BG 67302 Bl

9. Генериране и наслагване на компютърно генерирана дреха върху видеопоток от камера с изображение на клиента на база виртуален скелет на клиента, получен от дълбочинни камери (в контролирана среда) (Източник: https://www.youtube.com/watch?v=libvnklT4vQ)

10. Генериране и наслагване на компютърно генерирана дреха върху видеопоток от камера с изображение на клиента на база силует на тялото на клиента (в неконтролирана среда) (Източник: https://www.youtube.com/watch?v=u a-jFzQFgQ)

11. Генериране и наслагване на компютърно генерирана дреха върху видеопоток от камера с изображение на клиента на база виртуален скелет на клиента, получен от дълбочинни камери (в неконтролирана среда) (източник: https://www.youtube.com/watch?v=gz5ynrfJSDM, https ://www.youtube.com/watch?v=IB2iutoT4Eo, https://www.voutube.com/watch7v—h3vP3hdwf6I).

И въпреки, че на база посочените подходи съществуват редица комерсиални решения, към момента нито едно от тях не решава проблема с реалистичността на изобразяваната дреха, така, че клиентът да има усещането, че се вижда с реално облечена дреха върху себе си.

Основните проблеми на съществуващите решения са свързани с това, че клиентът не може да се види от всички страни (решения, свързани с подход 1, 2 и 3), симулацията оставя усещане за компютърна игра, а не за реално пробване на дрехи (решения, свързани с подход 4, 5, 6 и 7), или наличието на съществено разминаване между движението на клиента и компютърно генерираната дреха (решения, свързани с подход 8,9,10 и 11), както и липсата на реалистичност на поведението на дрехата, съобразно спецификата на конкретната фигура на клиента (решения, свързани с подход 1, 2, 3, 4, 5, 8, 9, 10 и 11).

Друг ключов аспект на проблематиката е свързан с отчитането на реалните физически данни на клиента, с оглед правилната визуализация на компютърно генерираната дреха или аксесоар, вкл. и за определяне на подходящия размер дреха или аксесоар. Основните подходи за измерване на физическите обмерни данни на клиента са свързани с използване на:

1. Физически средства за асистирано или самостоятелно контактно измерване

2. Средства за изчисляване на предполагаеми размери на база двумерно фотографско изображение (снимка)

3. Средства за безконтактно измерване на размерите на тялото чрез създаване на ЗД цифров модел

Въпреки напредване на технологията за безконтактни измервания, най-точни остават т.нар. контактни измервания, тъй като алтернативните методи се характеризират с определено ниво на математическо приближение, екстраполиране и моделиране, както и с наличието на грешки при измерването, дължащи се на конкретната използвана технология.

Що се отнася до измерването чрез ЗД моделиране, основните подходи са свързани с използването на:

1. Фотограметрични способи, базирани на висококачествени фотографски изображения

2. Създаване на ЗД дълбочинна карта чрез използване на един или повече дълбочинни сензори (тип ΚΟΒΩ, ToF или друга приложима технология).

За да се постигне висока точност на създавания ЗД модел, посочените подходи изискват използването на множество сензори или камери, осъществяващо поредица от множество снимки, обработени с подходящи алгоритми за създаване на относително точни ЗД модели. Този подход обикновено изисква определен период от време и не позволява създаване и проследяване на ЗД модела на човека в реално време.

BG 67302 Bl

Техническа същност на изобретението

Представената интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери решава редица технически проблеми, стояли дълго време пред работещите в областта и способства за удовлетворяване на отдавна съществуваща потребност, породена от предшестващи подходи и решения, свързани с изграждане на компютърно асистирани системи за безконтактно изпробване на дрехи и аксесоари.

Въпреки, че в своята комплексност няма аналогично решение на предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, най-близките решения и компоненти, свързани с отделни аспекти на системата са както следва:

1. По отношение на подхода за визуализация на избрания продукт и как той би стоял на конкретния клиент, като част от системите за реализация на компютърно подпомаган избор на клиенти при покупка на дрехи и аксесоари, най-близките решения са свързани с генериране и наслагване на компютърно генерирана дреха върху видеопоток от камера с изображение на клиента на база виртуален скелет на клиента, получен от дълбочинни камери (в неконтролирана среда). Основният проблем на съществуващите решения е, че те използват предимно самостоятелни дълбочинни сензори (тип. MS Kinect или аналогични), които са създадени и оптимизирани за целите на компютърни игрови конзоли (напр. MS Xbox) и поради тази причина се характеризират със специфичен обхват на действие (0,80 m - 4,00 m. Източник: https://blogs.msdn.microsoft.com/ kinectforwindows/2012/01 /20/пеагmode-what-it-is-and-isnt/), ограничен ъгъл на заснемане на обектите (43° по вертикала и 57° по хоризонтала източник: https://msdn.microsoft.com/en-us/librarv/iil31033.aspx), което рефлектира в изключително високи стойности на грешка при измерването по координата Z с увеличаване на дистанцията (източник. Maimone, А., Fuchs, F. Encumbrance-free telepresence system with real-time 3D capture and display using commodity depth cameras. https://www.researchgate.net/publication/221221196 Encumbrance-free tele-presence system_with realtime 3D_capture_and_display_using_commodity_depth_cameras фиг. 5). Следва да се отбележи, че въпреки, че в практиката съществуват и решения, които използват дълбочинни камери, разположени над пода (на таван), тези системи отново се характеризират със заснемане в една единствена равнина, а тяхното използване е насочено към охранителна дейност в затворени пространства (източник: Gasparrini, S., Cippitelli, Е., Spinsante, S., Gambi, Е. A Depth-Based Fall Detection System Using a Kinect® Sensor. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3958279/).

В тази насока, предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, въвежда нов подход, съчетаващ система от дълбочинни камери, най-малкото една от която е разположена над пода (на тавана), което позволява заснемане минимум от две равнини, като задължително едната от тях е поглед отгоре и служи като компенсаторна за координата Z на фронтално разположената дълбочинна камера. Възприемането на подобен подход позволява да се приложи специфичен компенсаторен

BG 67302 Bl подход, който позволява чрез система от специфични параметри да се компенсират допусканите грешки при измерването на дълбочинни камери в едно от измеренията (основно Z), което от своя страна позволява изграждане на акуратен ЗД модел и виртуален скелет на заснемания субект.

2. По отношение на безконтактното измерване на тялото, най-близкото решение до предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, е използването на средства за безконтактно измерване на размерите на тялото чрез създаване на ЗД цифров модел чрез способите на ЗД сканирането. Обикновено този подход се характеризира с използването на голям брой оптични (източник: http://www.aniwaa.com/3d-bodv-scanning/) и дълбочинни камери (източник: https://www.artec3d.com/3d: scanner/shapifybooth), лазерни измервания (източник: https://ww.youtube.com/watch?v= AzBlzxUgrg) или използване на комбинация от сензори и въртяща се платформа (източник: http://www.styku.com/). Освен това, предлагания подход изисква време (мин. 10 s) за създаване на модела и осъществяване на измерванията (източник: https://www.artec3d.com/3d-scanner/shapifvbooth).

В тази насока, предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, въвежда нов подход, надграждащ възприетия от Microsoft подход за създаване на виртуален скелет (източник: https://msdn.microsoft.com/en-us/library/iil31025.aspx) като чрез използване на система от дълбочинни камери, като поне една от нея е разположена над пода (на тавана) се елиминират грешките при дълбочинното измерване и последващото генериране на т.нар. „виртуален скелет“. За разлика от аналогичните решения за безконтактно измерване, изграждането на виртуален скелет чрез използване на система от дълбочинни камери, като поне една от нея е разположена над пода (на тавана) позволява да се осъществи неговото генериране и проследяване в реално време (до 30 кадъра в секунда - източник: https://i.stack.imgur.com/OQiI4.pnghttps://stackoverflow.com/questions/12978415/all-frames-from-kinect-at-30fps), което от своя страна позволява осъществяване на антропометрично измерване на установени антропометрични съотношения между ключови точки в скелетната конструкция и ключови точки на физическото тяло, с отчитане на контурните измервания на дълбочинните камери по оси X и Y.

Техническата същност на предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, се заключва във визуализация на компютърно генерирана виртуална дреха, наложена върху входящ видеопоток с висока резолюция, като генерирания слой цифрова информация се създава чрез използване на адаптиран инструментариум на добавена реалност и на база къстъмизиран (с безконтактно измерени данни на клиента) компютърно генериран невидим аватар, който се „облича“ с компютърно генерирани дрехи, отчитащи спецификата на материята и нейното поведение, като напасването на компютърно генерираните слоеве, вкл. и добавената реалност, се базира на унифициран виртуален скелет, получен от множество дълбочинни камери, като поне една от тях е разположена над пода (виртуалния скелет служи и като маркер за добавена реалност).

Интерактивната система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери за

BG 67302 Bl компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, включва в себе си най-малко: камера за висококачествено видео заснемане 3, поставена на нивото на човешкото зрение и заснемаща пространството пред интерактивната инсталация, свързана през компютърна система 5 с устройство за визуализиране 6 на заснеманото пространство пред интерактивната инсталация, при запазване на реалното съотношение между съставните части на заснетите обекти, система от поне две дълбочинни камери, като първата камера 2 е разположена в близост до камерата за висококачествено видео заснемане 3 на пространството пред интерактивната инсталация и е насочена в същата посока на заснемане като нея, а втората камера 1 е разположена така, че да позволява заснемане на целева област с поглед отгоре, като системата от дълбочинни камери през специализиран хардуерен и/или софтуерен модул 4 е свързан с компютърна система 5 за обработка на входящите потоци информация от камерите, рендериране на ЗД модела на избран или избрани от клиента артикули, тяхното обединяване в единен видеопоток за визуализация на свързаното устройство за визуализация 5, в реално време или с не повече от 0,033 s закъснение. Системата от минимум две дълбочинни камери, като минимум една от тях (елемент 2) е разположена в близост до камерата за камера за висококачествено видео заснемане (елемент 3) на пространството пред интерактивната инсталация и е насочена в същата посока на заснемане като нея, и минимум една от тях (елемент 1) е разположена така, че да позволява заснемане на целева област с поглед отгоре, като постъпващата информация от дълбочинните камери (елемент 1 и 2) постъпва в специализиран хардуерен и/или софтуерен модул (елемент 4), в който чрез прилагане на специално разработен за целта алгоритъм, се изчисляват реалните позиции на ключови точки от човешката анатомия чрез елиминиране на грешките при измерването с дълбочинните камери, като на тази основа модула (елемент 4) позволява безконтактно измерване на различни визуално видими части на човешката анатомия, включително и за определяне на обмерни данни на клиента. Тези ключови точки от човешката анатомия се използват и в качеството на специализирани маркери за координиране и визуализиране на компютърно генерирани обекти, включително, но не само в рамките на добавената, виртуалната, смесената и другите видове реалности, създадени с помощта на устройства с локална, разпределена или отдалечена изчислителна мощ, независимо от типа на изчислителното устройство (CPU, GPU или друга приложима), технологията на използване (микропроцесорна, нанотехнология или друга приложима) и архитектурата на самото изчислително устройство (RISC, CISC или друга приложима).

Същевременно с това, предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, позволява съчетаване на многослойни видео потоци и компютърно генерирани изображения, вкл. и прозрачни такива, позволяващи визуализацията на реалистичното поведение на избрани дрехи и аксесоари върху реалната фигура на конкретния потребител, което се реализира и чрез създаване на къстьмизиран прозрачен компютърен аватар, чрез адаптиране на базисен аватар, изграден на статистическа антропометрична информация, чрез безконтактно отчитане на формата и ключови размери на реалното човешко тяло, вкл. и ключови обмерни данни, чрез използване на представената в претенция 2 компонента на интерактивната инсталация.

BG 67302 Bl

Пояснение на приложената фигура

Фигура 1 представя взаимовръзка между отделните елементи на интерактивната система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери.

Примери за изпълнение на изобретението

Предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, представлява сложна компонента система, която включва в себе си най-малко: камера за висококачествено видео заснемане 3, поставена на нивото на човешкото зрение и заснемаща пространството пред интерактивната инсталация, свързана през компютърна система 5 с устройство за визуализиране 6 на заснеманото пространство пред интерактивната инсталация, при запазване на реалното съотношение между съставните части на заснетите обекти, система от поне две дълбочинни камери, като първата камера 2 е разположена в близост до камерата за висококачествено видео заснемане 3 на пространството пред интерактивната инсталация и е насочена в същата посока на заснемане като нея, а втората камера 1 е разположена така, че да позволява заснемане на целева област с поглед отгоре, като системата от дълбочинни камери през специализиран хардуерен и/или софтуерен модул 4 е свързан с компютърна система 5 за обработка на входящите потоци информация от камерите, рендериране на ЗД модела на избран или избрани от клиента артикули, тяхното обединяване в единен видеопоток за визуализация на свързаното устройство за визуализация 5, в реално време или с не повече от 0,033 s закъснение.

Приложение (използване) на изобретението

Предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, може да бъде изградена основно, но не само под формата на самостоятелно стояща инсталация, като отделни нейни компоненти могат да бъдат вградени както в основното тяло на инсталацията, така и в помещението, в което е разположена. Използването на стандартни компоненти с общо целево и/или специализирано приложение, които се произвеждат от повече от един производител и се предлагат за свободна продажба на дребно, позволяват безпроблемното изграждане и функциониране в неконтролирана среда на предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери.

Основното приложение на предлаганата интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери е основно, но не и единствено в областта на модата, търговията, рекламата и забавленията. Предлаганата система може да се разположи като част от магазинна мрежа или под формата на свободно стояща инсталация извън физически магазин, като нейното основно предназначение е да рекламира определени целеви продукти, вкл. и чрез способа на къстъмизираната реклама, позволяваща потенциалния клиент да се види как би изглеждал в съответния рекламиран артикул, както и в комбинация от един или повече рекламирани и/или налични артикули, като визуализацията се осъществява чрез фотореалистичен образ в реално време. На база наличния изкуствен интелект, системата предлага на клиента най-добрия размер дреха, отговаряща на спецификата на неговата фигура, като освен това позволява визуализация на това как той би изглеждал при избор на различен размер от предлаганите артикули. Предлаганата система позволява и осъществяване на покупка на харесан от потребителя артикул, както и неговото заплащане и доставка, вкл. и без намеса на служител от търговския обект и независимо от часа на осъществяване на избора и покупката.

Claims (1)

1. Интерактивна система за компютърно асистирано безконтактно изпробване на дрехи и аксесоари чрез адаптиране на инструментариума на добавената реалност и използване на система от дълбочинни камери, характеризираща се с това, че включва в себе си най-малко: камера за висококачествено видео заснемане (3), поставена на нивото на човешкото зрение и заснемаща пространството пред интерактивната инсталация, свързана през компютърна система (5) с устройство за визуализиране (6) на заснеманото пространство пред интерактивната инсталация, при запазване на реалното съотношение между съставните части на заснетите обекти, система от поне две дълбочинни камери, като първата камера (2) е разположена в близост до камерата за висококачествено видео заснемане (3) на пространството пред интерактивната инсталация и е насочена в същата посока на заснемане като нея, а втората камера (1) е разположена така, че да позволява заснемане на целева област с поглед отгоре, като системата от дълбочинни камери през специализиран хардуерен и/или софтуерен модул (4) е свързан с компютърна система (5) за обработка на входящите потоци информация от камерите, рендериране на 3Д модела на избран или избрани от клиента артикули, тяхното обединяване в единен видеопоток за визуализация на свързаното устройство за визуализация (5), в реално време или с не повече от 0,033 s закъснение