HU0400894A2 - Method and device 3d digital photograph drawing - Google Patents

Abstract

A találmány tárgya olyan eljárás háromdimenziós digitális felvételek létrehozására, amely során a leképezendő térbeli tárgyat legalább egy irányból megvilágítják, a megvilágított tárgyról egymáshoz és a tárgyhoz képest rögzített helyzetű digitális felvevőgépekkel egyidejűleg legalább két irányból, felvevőgépenként kis időközzel legalább kettő kétdimenziós felvételt készítenek, a leképezendő megvilágított tárgyra az egyik felvétellel egyidőben geometrikus mintázatot vetítve az egyes tárgypontok képét a különböző nézőpontú, egyidejű kétdimenziós felvételeken a vetített geometrikus mintázat alapján azonosítják, a pont képének elmozdulása és a felvevőgépek pontos helyzete alapján a pont háromdimenziós kordinátáit kiszámítják, majd a háromdimenziós képpontokból önmagában ismert képfeldolgozó algoritmussal ipari standardoknak megfelelő textúráit poligonhálót leíró fájlt állítanak elő. A találmányhoz tartozik továbbá az azt megvalósító berendezés, melynek egy előnyös megvalósításánál egymáshoz képest rögzített helyzetű 2 digitális fényképezőgép(C1, C2), 2 szórt fényű fényforrásul, B2), és 2 vetítő (Α1, A2), továbbá 1 web-kamera(D), jelzőlámpa(E), belső tárolóegység (G), belső vezérlőegység(H), és négyállású portkapcsoló(l) van védőburkolatban (F) összeépítve, amely áramforrás! csatlakozóponttal (L) és legalább két, számítógép csatlakoztatására alkalmas kimenettel (J,K) van ellátva, amelyeken át a rendszerhez számítógép kapcsolódik. ( Jellemző ábra i A fi %/{ ÍA'·.

Description

Eljárás és berendezés háromdimenziós digitális felvételek létrehozására

A találmány tárgya eljárás és berendezés háromdimenziós digitális felvételek létrehozására, előnyösen emberi fej, arc háromdimenziós digitális leképezésére.

A nem sík felületekkel határolt, esetleg szabálytalan térbeli alakzatok digitalizálására bonyolult drága és nagy rendszerigényű megoldások ismertek.

A 220 729 lajstromszámú magyar szabadalom leírásában ismertetett eljárás és berendezés élesmegvilágítású, körbejárt tárgy profiljairól nyert vonalas információ alapján textúráit, térhatású számítógépes modellt ad. Mivel sok felvétel készül, a rendszernek nagytömegű részadatot kell kezelnie, a feltételezett háttérrendszernek nagynak kell lennie.

Ismertek egyéb kereskedelmi forgalomban kapható lézerfénnyel működő térszkennerek, ezek használatát befolyásolja, hogy lassúak, drágák , továbbá egy élő szervezet (pl emberi fej) szkennelésénél kellemetlen és félelmet kelt a koncentrált fényforrás.

Olyan eljárást keresünk, amely az emberi látáshoz hasonlóan, néhány egyidejű kétdimenziós felvétel analízisével reprodukálja a tébeli információt. Közismert, hogy a térlátás kulcsa, hogy agyunk egy térbeli Ppont és környezetének két nézőpontú képein a Ppontot azonosítani képes, és a “felvevők” távolsága és P környezetének kétféle képe, azaz hosszúsági és szélességi információk (kétdimenziós) összekapcsolásával képes a P mélységét (harmadik dimenziót) megbecsülni.

Az egyes kétdimenziós felvételek gépi elemzése megoldottnak tekinthető. Ahhoz, hogy síkbeli adatokból való számítással térbeli Ppont kordinátáit megadhassuk, döntő kérdés, hogyan lehetséges meghatározni, hogy mindegyik felvételen ugyanazon P pont képét tűzzük ki.

Ennek a megközelítésnek elméleti matematikai modelljét elemzi Changming Sun A Fást Stereo Matching Method(Digital Image Computing: Techniques and Applications, 1997) és Multi-Resolution Stereo Using Maximum-Surface Techniques(Digital Image Computing: Techniques and Applications, 1999) publikációiban. Az ismertetett elmélet megállapítja, hogy a képpontok azonosítását lehetővé teszi, ha mintázatot vetítenek a tárgyra. A mesterséges mintázat jellemző elemeit szín, intenzitás alapján könnyű a különböző nézőpontokból készített képeken is felismerni, és ezáltal a mesterséges mintázat könnyen azonosítható jellemző pontjainak folytonos környezete is jól azonosíthatóvá válik.

Normál fényforrások , elterjedt digitális felvevőgépek és elektronikai eszközök valamint számítógép csatolásával olyan szoftvervezérelt eljárást és berendezést akarunk előállítani, mely a kiindulási tárgyról - előnyösen emberi fejről - a “stereo matching” elv felhasználásával - néhány jól megválasztott kétdimenziós felvétel digitális adatai alapján rövid idő alatt valósághű háromdimenziós ponthalmaz adatait tudja generálni, tehát háromdimenziós felvételt készít, amely alapján szükség szerint a rendelkezésre álló képszerkesztő eljárásokkal képernyőn megjeleníthető textúráit térhálót vagy kézzelfogható térbeli modell előállítására alkalmas, ipari standardoknak megfelelő adatfájlt hozhatunk létre.

« · • ·» · · «*

Eljárás és berendezés 3D digitális felvételek készítésére ««»«

A találmány szerinti eljárás lényege, hogy a leképezendő térbeli tárgyat legalább egy irányból megvilágítjuk, a megvilágított tárgyról egymáshoz és a tárgyhoz képest rögzített helyzetű digitális felvevőgépekkel egyidejűleg legalább két irányból, felvevőgépenként kis időközzel legalább kettő kétdimenziós felvételt készítünk, a háromdimenziósképpontok térkordinátáit a kétdimenziós felvételek elemzésével kiszámítjuk; a háromdimenziós képpontokból önmagában ismert képfeldolgozó algoritmussal poligonhálót állítunk elő; majd a poligonhálót az eredeti felvételekről vett képinformáció alapján textúráljuk , ahol a leképezendő megvilágított tárgyra az egyik felvétellel egyidőben geometrikus mintázatot vetítünk; a készített felvételeket az egyes felvevőgépekre jellemző kallibrációs adatok alapján színre és alakra korrigáljuk; az egyes tárgypontok képét a különböző nézőpontú , egyidejű kétdimenziós felvételeken a vetített geometrikus mintázat alapján azonosítjuk, a pont képének elmozdulása és a felvevőgépek pontos helyzete alapján a pont háromdimenziós kordinátáit kiszámítjuk.

A találmányhoz tartozó berendezésnek a leképezendő tárgyat legalább egy irányból megvilágító eszköze; a tárgyra mintázatot vetítő készüléke, a megvilágított tárgyról egyidejűleg legalább két különböző látószögből digitális felvételeket készítő, egymáshoz képest rögzített és ismert elhelyezkedésű felvevőgépe; az egyes felvevőgépekre jellemző kallibrációs adatokat tároló belső tároló egysége; a leképezendő tárgy, megvilágító eszköz, vetítő és a felvevőgépek egymáshoz viszonyított helyzetét beállító pozícionáló készüléke; valamint a pozícionáló készülék, megvilágító eszköz, vetítő és a felvevőgépek működését és az adattovábbítást szinkronizáló egysége van, ahol a felvevőgépek által készített kétdimenziós felvételeket tároló, azokat az egyes felvevögépekre jellemző kallibrációs adatok alapján színre és alakra korrigáló, az egyes tárgypontok képét a különböző nézőpontú , egyidejű kétdimenziós felvételeken a vetített geometrikus mintázat alapján azonosító, a pont képének elmozdulása és a felvevőgépek pontos helyzete alapján a pont háromdimenziós kordinátáit kiszámító, a háromdimenziós képpontokból poligonhálót előállító, majd a poligonhálót a mintázatlan felvételekről vett képinformáció alapján textúráló eszköze van.

Adott esetben a készülék megvalósítható nyílt állványrendszeren rögzített alkotóelemek elektronikus csatolásával (az adott elrendezés alkalmi kallibrációja mellett), vagy a kallibrálandó alkotóelemek állandó egybeépítésével (gyártáskor végzett kallibrációval).

Az alkalmazásoktól, a leképezendő test átlagos bonyolultságától, a test méretétől függően kell elhelyezni a kétdimenziós felvételeket készítő felvevőgépeket. A felbontás pontossága és a szükséges számítási idő határozza meg a felvevőgépek és a fényforrások számát. A felvevőgépek csaknem egyszerre, egy adott pillanatban készítik a felvételt, így az elmozdulás nem lehet jelentős. Ha több felvevőgépet használunk,akkor egy-egy képpont koordinátáit több nézőpontpárból is előállíthatjuk, ezért a pontok számított pontossága akár 10-szer jobb lesz, mint a mért pontok egyenkénti pontossága. Becslésekkel belátható, hogy egy emberi fej minden látószögből jó minőségű lefényképezéséhez hat, csak az archoz két telvevőgép (pl digitális fényképezőgép) elegendő.

4.X.Eljárás és berendezés 3D digitális felvételek készítésére

Ha a tárgyra - itt arcra - a fényszűrők és/vagy mikrofilmek segítségével különböző színű és mintázatú ábrákat a vetítünk, akkor a kétdimenziós-s fényképeken is felismerhető ábrák jelennek meg. A jól megválasztott geometrikus mintázat jellemző elemeit egy számítógép matematikai operátorokkal modellezett algoritmus alapján automatikusan felismerheti, így egy pont kölönböző nézeteit ez alapján azonosíthatja. A találmány szerinti berendezés felvevőgépeivel gyors egymásutánban 2 sorozat felvétel készül, melyek közül az egyikben színes mintázatot vetítjük a fejre, míg a másikban mintázat nélküli képek készülnek. A mintázott kép lesz az alapja a “szereo matching azonosításnak és távolság számításnak, míg a mintázat nélküli kép a képszerkesztő eljárásnál a textúra-információt biztosítja. A képek felvétele között maximum fél másodperc telik el, így az azonos nézőpontból készült képek - a mintázattól eltekintve - azonosnak tekinthetők ; a lámpák, felvevők, a vetítők vezérlését és szinkronizált működését számítógép biztosítja.

A felépített rendszer hardver egységei a kétdimenziós-s fényképeket adják át a szoftver modulnak, melyek több ilyen (a digitális fényképezőgépek számától függő számú) képpárból számítják ki a térbeli x,y,z koordinátákat. A szoftver modul minden háromdimenziós pontot több nézőpontból származó kétdimenziós pontból értékel ki.

Kiviteli példa

Egymáshoz képest rögzített helyzetű 2 digitális fényképezőgép, 2 szórt fényű fényforrás, és 2 vetítő , továbbá 1 web-kamera, jelzőlámpa, belső vezérlőegység, belső tárolóegység és négyállású portkapcsoló van védőburkolatban összeépítve, amely áramforrás! csatlakozóponttal és legalább két, számítógép csatlakoztatására alkalmas kimenettel van ellátva, amelyeken át a rendszerhez számítógép kapcsolódik.

A berendezést ábrán keresztül ismertetjük részletesebben:

.ábra. a találmány szerinti berendezés egy - arc felvételéhez előnyös - kétfelvevős kiviteli alakjának rajza

Az ábrázolt berendezés egymáshoz képest rögzített helyzetű összetevői a következők:

A1,A2 vetítők : a kívánt időközben geometriai mintázatot -jellemzően színes vagy fekete-fehér csíkokat- vetítenek az alakzatra; B1,B2: szórt fényű fényforrások - a tárgy (előnyösen arc) megvilágításához ; C1,C2: digitális fényképezőgépek - kétdimenziós színes felvétel párokat készítenek kis időkülönbséggel; D: web kamera -a fej precíz elhelyezését “középre-állítását” biztosítja ; E: jelzőlámpa - bemozgásjelző, a web-kamerával csatolt; F: védőburkolat, azaz ház; G: belső tároló - a kallibrációt azaz a felvevők fizikai tulajdonságai, valamint a fényforrások, felvevők, tárgy egymáshoz képesti helyzetéből adódó készülékjellemzőket rögzíti; H: vezérlő egység végrehajtja a számítógép parancsait; I: számítógéppel összeköttetést biztosító négyállású port kapcsoló különböző állásaiban a G belső tároló vagy D web kamera vagy C1 egyik digitális fényképezőgép vagy C2 másik digitális fényképezőgép és a számítógép közti adatkapcsolatot

-í.

•Xas *·.

Eljárás és berendezés 3D digitális felvételek készítésére választja ki ; J: vezérlőkapcsolat a számítógéphez ; K: adatkapcsolat a számítógéphez; I kapcsolón keresztül a lehetséges portokról; L: védőburkolat; N: főkapcsoló az áramforrás felé ; M: transzformátor - az áramforrás 120 vagy 220 V feszültségét alakítja át kisebb feszültségre

A példa szerinti készülék működtetése:

0. N főkapcsoló bekapcsolása - minden pillanatban aktív a J vezérlőkapcsolaton át a H vezérlő egység és valamelyik egység a K adatkapcsolaton keresztül, és világítanak B1 és B2 fényforrások.

1. aktív a G belső tároló - kalibrációs adatok letöltése

2. aktív a D web kamera - alakzat vagy személy elhelyezése, beállítása visszacsatolásban a számítógép képernyőjén a helyes pozíció ellenőrzése, miközben a kallibrációnak nem megfelelő vagy elmozduló pozíciónál a külső E jelzőlámpa jelez

3. tényleges fényképezés - fényképezőgépenként 2 kép készítése kis időközzel, elsőnél A1 és A2 vetítők is működnek, a C1 és C2 fényképezőgépek színkronizáltan dolgoznak

4. aktív Kadatkapcsolat a C1 fényképezőgépről, a tárolt 2 utolsó fénykép letöltése

5. aktív Kadatkapcsolat a C2 fényképezőgépről, a tárolt 2 utolsó fénykép letöltése

6. a számítógép elvégzi a kétdimenziós fényképek számítógépes feldolgozását

Képfeldolgozás menete:

Bemenő adat: 2 mintázott és 2 mintázatlan kép pontjai + kallibrációs adatok;

I. , Színkorrekció

Fényképek azonos színűre hozása a belső tárolóban található adatok segítségével (Ugyanis a kereskedelmi forgalomban kapható fényképezőgépek nem azonos színt adnak, még azonos feltételek között sem).

II. Geometriai korrekció

Fényképek azonos alakúra hozása a belső tárolóban található adatok segítségével (Ugyanis a két vagy több fényképezőgép saját fokuszálási tulajdonságai különböznek,és egymáshoz viszonyított fizikail pozíciójuk is befolyásolja a későbbi pontazonosító algoritmust).

A korrekciós adatok az adott szerkezetre jellemző adatokból állnak, melyeket a készülék összeszerelésekor -kalibrációjánál- kell megadni, előnyös esetben a belső tárolóban rögzíteni.

A geometriai számításoknál a felvételekből dolgozik az algoritmus, a mintázatlan képeket - a textúrát - a képszerkesztésnél használjuk.

III. Háttér leválasztás és adott színű kitakarás

Az algoritmus a mintázott képeken az éles konturokat(nagy kontrasztokat) megkeresi, s így automatikusan megtalálja az alakzat külső határát.

Szükséges lehet valamilyen részlet kitakarása -például arc leképezése esetében lényegtelen, sőt zavaró a ruházat, háttér .Ezeket egy nem használt színnel egyszínűre átszinezzük.

IV. , “Stereo matching”elemzés, harmadik koordináták számítása

A mintázat segítségével soronként /szegmensenként azonosítja az algoritmus, és párba állítja • · · ·· ··«· ·· « ··«· < · · • · ···· ··· • · · · ·

Eljárás és berendezés 3D digitális felvételek készítésére képpontokat, az ismert koordináták és a nézőpontok helyzete alapján a harmadik koordinátát kiszámoljuk, így egy háromdimenziós (rendezetlen) képponthalmazt kapunk.

V. háromdimenziós ponthalmazból, és a mintázatlan képről vett színinformáció alapján ismert képszerkesztő eljárással ipari standardoknak megfelelő textúráit poligonhálót állítunk elő kimenet: háromdimenziós ponthalmaz adatai, illetve arra illesztett textúráit poligonhálót leíró fájl

Az ismertetett eljárás és berendezés az eddig leírt eljárásokhoz képest jóval kevesebb adatból - tehát kisebb kapacitású háttérgéppel és rövidebb idő alatt végrehajtott számításokkal valósághű háromdimenziós ponthalmaz adatait generálja, tehát háromdimenziós felvételt készít.

Előnyösen alkalmazható és olcsó eszközzé válhat minden olyan esetben, ahol a digitalizáció tervezhetővé és reprodukálhatóvá teszi az eddig egyszeri emberi tevékenységet: pl egy plasztikai sebészeti beavatkozás előkészítésénél . Az előállított adatfájl alapján valódi térbeli modellek vagy térbeli műalkotások készíthetők , továbbá a tárgy digitalizált képe tetszőleges digitális környezetbe áthelyezhető, amiáltal képillusztrációként vagy animációs alapformaként is továbbhasználható.

Eljárás és berendezés 3D digitális felvételek készítésére

Claims (3)

1. Eljárás háromdimenziós digitális felvételek létrehozására, amely során a leképezendő térbeli tárgyat legalább egy irányból megvilágítjuk, a megvilágított tárgyról egymáshoz és a tárgyhoz képest rögzített helyzetű digitális felvevőgépekkel egyidejűleg legalább két irányból, felvevőgépenként kis időközzel legalább kettő kétdimenziós felvételt készítünk, a kétdimenziós felvételek elemzésével háromdimenziósképpontok térkordinátáit számítjuk ki; a háromdimenziós képpontokból önmagában ismert képfeldolgozó algoritmussal poligonhálót állítunk elő; majd a poligonhálót az eredeti felvételekről vett színinformáció alapján textúráljuk azzal jellemezve, hogy a leképezendő megvilágított tárgyra az egyik felvétellel egyidőben geometrikus mintázatot vetítünk; a készített felvételeket az egyes felvevőgépekre jellemző kallibrációs adatok alapján színre és alakra korrigáljuk; az egyes tárgypontok képét a különböző nézőpontú , egyidejű kétdimenziós felvételeken a vetített geometrikus mintázat alapján azonosítjuk, a pont képének elmozdulása és a felvevőgépek pontos helyzete alapján a pont háromdimenziós kordinátáit kiszámítjuk.

2. Berendezés az 1.igénypont szerinti eljárás megvalósítására, amelynek a leképezendő tárgyat legalább egy irányból megvilágító eszköze; a tárgyra mintázatot vetítő készüléke, a megvilágított tárgyról egyidejűleg legalább két különböző látószögből digitális felvételeket készítő, egymáshoz képest rögzített és ismert elhelyezkedésű felvevőgépe; az egyes felvevőgépekre jellemző kallibrációs adatokat tároló belső tároló egysége, a leképezendő tárgy, megvilágító eszköz, vetítő és a felvevőgépek egymáshoz viszonyított helyzetét beállító pozícionáló készüléke; valamint a pozícionáló készülék, megvilágító eszköz, vetítő és a felvevőgépek működését és az adattovábbítást szinkronizáló egysége van, azzal jellemezve, hogy a felvevőgépek által készített kétdimenziós felvételeket tároló, azokat az az egyes felvevőgépekre jellemző kallibrációs adatok alapján színre és alakra korrigáló, az egyes tárgypontok képét a különböző nézőpontú , egyidejű kétdimenziós felvételeken a vetített geometrikus mintázat alapján azonosító, a pont képének elmozdulása és a felvevőgépek pontos helyzete alapján a pont háromdimenziós kordinátáit kiszámító, a háromdimenziós képpontokból poligonhálót előállító, majd a poligonhálót a mintázatlan felvételekről vett képinformáció alapján textúráié eszköze van.

3. Az 2.igénypont szerinti berendezés azzal jellemezve, hogy védőburkolatban(L) egymáshoz képest rögzített helyzetű 2 digitális fényképezőgép(C1 ,C2), 2 szórt fényű fényforrás(B1 ,B2) és 2 vetítő (A1,A2), továbbá 1 web-kamera(D), jelzőlámpa(E), belső vezérlőegység(F), belső tárolóegység(G) és négyállású portkapcsoló(l) van összeépítve, amely áramforrási csatlakozóponttal(L) valamint főkapcsolóval(N) és legalább két, számítógép csatlakoztatására alkalmas kimenettel (J,K) van ellátva, melyeken a rendszerhez az eljárás lépéseit vezérlő és végrehajtó számítógép kapcsolódik.