CZ303499B6

CZ303499B6 - Bodove interpolacní zpusob analýzy obrazových sekvencí prostorove se menícího objektu

Info

Publication number: CZ303499B6
Application number: CZ20100916A
Authority: CZ
Inventors: Cíž@Radim; Ríha@Kamil; Beneš@Radek; Závodná@Eva
Original assignee: Vysoké ucení technické v Brne
Priority date: 2010-12-09
Filing date: 2010-12-09
Publication date: 2012-10-24
Also published as: CZ2010916A3

Abstract

Bodove interpolacní zpusob analýzy obrazových sekvencí prostorove se menícího objektu, zahrnující následující kroky: a) nejprve se obrazová sekvence o N snímcích objektu nacte do výpocetní jednotky propojené se zobrazovací jednotkou a vstupním zarízením, b) nacež se v referencním snímku obrazové sekvence pres vstupní zarízení zadá typ hledané interpolacní krivky a alespon jedna podoblast vhodná ke sledování prostorových zmen objektu, c) v každé ze zadaných podoblastí výpocetní jednotka nalezne význacné body mající vysoký jasový gradient vzhledem ke svému okolí, d) výpocetní jednotka proloží význacné body interpolacní krivkou typu zadaného v kroku b), e) v každém dalším snímku obrazové sekvence výpocetní jednotka nalezne nové pozice puvodne vybraných význacných bodu a provede se krok d), f) zmeny prubehu interpolacních krivek zjištené pro jednotlivé snímky s ohledem na referencní snímek se zobrazí na zobrazovací jednotce.

Description

Oblast techniky

Vynález se týká bodově interpolačního způsobu analýzy obrazových sekvencí prostorově se měnícího objektu na základě sledování postupných změn interpolačních křivek proložených význačnými body majícími vysoký jasový gradient.

io

Dosavadní stav techniky

Dosud se při analýze obrazových sekvencí prostorově se měnících objektů vždy vybral jeden snímek, zachycující jeden mezní stav prostorově se měnícího objektu, a poté druhý snímek zachyeuis jící druhý mezní stav prostorově se měnícího objektu. V prvním snímku i ve druhém vybraném snímku se vždy přes vstupní zařízení vyznačily okraje sledovaného objektu a tyto okraje se pak porovnaly. Dosavadní postupy tedy neumožňovaly automatické průběžné sledování změn, byly pracné, časově náročné a v případě nevhodného výběru snímků podávaly nedostatečné nebo chybné výsledky.

Podstata vynálezu

Tyto nevýhody odstraňuje bodově interpolační způsob analýzy obrazových sekvencí prostorově se měnícího objektu, zahrnující následující kroky:

a) nejprve se obrazová sekvence o jV snímcích objektu načte do výpočetní jednotky propojené se zobrazovací jednotkou a vstupním zařízením, jo b) načež se v referenčním snímku obrazové sekvence přes vstupní zařízení zadá typ hledané interpolační křivky a alespoň jedna podobnost vhodná ke sledování prostorových změn objektu,

c) v každé ze zadaných podoblastí výpočetní jednotka nalezne význačné body mající vysoký jasový gradient vzhledem ke svému okolí,

d) výpočetní jednotka proloží význačné body interpolační křivkou typu zadaného v kroku b),

e) v každém dalším snímku obrazové sekvence výpočetní jednotka nalezne nové pozice původ4i) né vybraných význačných bodů a provede se krok d),

f) změny průběhu interpolačních křivek zjištěné pro jednotlivé snímky s ohledem na referenční snímek se zobrazí na zobrazovací jednotce.

V případě, že kontury sledovaného objektu mají na snímcích kruhový, elipsovitý nebo jiný uzavřený tvar, je výhodné, když v kroku b) se jako typ hledané interpolační křivky zadá uzavřená interpolační křivka a v kroku f) se na zobrazovací jednotce zobrazí graf znázorňující změny plochy vymezené interpolační křivkou v závislosti na čase nebo pořadí snímku. V tomto provedení se s výhodou v kroku b) vybere prstencovitá podoblast.

V případě, že kontury sledovaného objektu mají na snímcích tvar trubice v podélném řezu nebo obecné tvoří tyto kontury dvojici otevřených křivek, se s výhodou v kroku b) zadají alespoň dvě podoblasti a jako typ hledané interpolační křivky se zadá dvojice otevřených interpolačních křivek, v kroku d) se nalezené význačné body v každé podoblasti proloží otevřenou interpolační křivkou, načež se nalezne osa získané dvojice interpolačních křivek, na které se v pravidelných rozestupech uspořádají kolmice, čímž se získají dvojice průsečíků každé kolmice s interpolačními křivkami, a zobrazení v kroku f) se provede formou grafu znázorňujícího závislost vzájemných vzdáleností jednotlivých dvojic těchto průsečíků na čase nebo pořadí snímku. V tomto provedení se s výhodou v kroku b) vyberou dvě pásovité podoblasti.

Nová pozice původně vybraných význačných bodů se v kroku e) s výhodou nalezne analýzou optického toku.

io Přehled obrázku na výkrese

Vynález je dále popsán pomocí příkladného provedení schematicky znázorněného na obr. 1 vývojovým diagramem.

Popis příkladných provedení

Z vývojového diagramu znázorněného na obr. 1 je zřejmé, že nejprve se do systému přivede digitální obrazová sekvence, například video sekvence získaná při vyšetřování objektu sonogra20 fem, přičemž obrazová sekvence sestává z N snímků, pořízených nejlépe s konstantním vzájemným časovým odstupem.

Při snímání tzv. volnou rukou, kdy dochází ke změnám pozice snímače vůči snímanému objektu, natočení snímače, přitlačení a podobně, vzniká Často mezi dvěma snímky translační pohyb, který má být zjištěn a v obrazové sekvenci následně potlačen geometrickou transformací obrazu.

Kompenzace pohybu je založena na vyhledání významných bodů, jejichž pozice je sledována v průběhu video sekvence. K určení pohybu významných bodů je využito metody optického toku dle návrhu Lucase a Kanadeho [2], jejíž základní princip vyjadřuje rovnice

E_xii + EyV + Ei ~ 0, 2.1 . _c se „ 3E dE kde E_x , Ey *— a E^ — .

^{ox oy} Je uvažováno jisté okolí bodu, proto je pro každý bod k dispozici n rovnic a« parciálních derivací E_xnt E_x,„ E,„ a dvě neznámé u, v, které reprezentují pohybový vektor ve zkoumaném bodě Cr. y) a Čase /. Na základě nalezeného pohybového vektoru pro celý obraz je provedena translace obrazu.

Lokální analýza pohybuje prováděna ve více bodech obrazu. Tím je získáno množství lokálních pohybových vektorů, které reprezentují pohyb jednotlivých bodů ve dvojici snímků. Lokální pohybové vektory vytvářejí pohybové pole. které se vyznačuje následujícími vlastnostmi:

převážná část všech vektoru vykazuje čistě translační pohyb způsobený pohybem sondy, jistá množina vektorů je ovlivněna lokálním pohybem části objektu ve scéně.

Každý vektor pohybu ve vektorovém poli obrazu je výsledkem superpozice až n dílčích pohybů

Ui = u_řl + u_i2 + ·· + u_in. 2.2

Pohyb (translační pohyb vzniklý při snímání) bývá shodný po všechny vektory vektorového pole. Mnohdy jsou přítomné i další lokální pohyby '>^uin, kteréjsou při kompenzaci pohybu

považovány za nežádoucí, tzv. rušivé pohyby, jejichž vliv na výpočet výsledného pohybového vektoru celého snímkuje nutné potlačit.

Pro analýzu prostorových změn sledovaného objektu je nutno vyhodnotit lokální pohyb částí objektu, k čemuž jsou využity význačné body v obrazové sekvenci prostorově se měnící části objektu.

V referenčním snímku, kterýje nejlépe prvním snímkem video sekvence neboje alespoň následně považován za první snímek video sekvence, jsou operátorem zvoleny hranice oblasti, jejíž ío geometrické vlastnosti mají být analyzovány v průběhu času. Aby bylo možné vyhodnotit geometrické změny v závislosti na čase, a tedy v průběhu video sekvence, je nutné sledovat určité objekty (body), resp. jejich pohyb během snímání. Tyto body reprezentují určitý útvar (přímka, křivka, plocha), kterýje dále analyzován podle jeho povahy a typu vyšetření. Kvalitních výsledků je možné dosáhnout pouze při sledování význačných bodů, které vykazují velké jasové změny (vysoký gradient).

Operátor podle tvaru sledovaného prostorově se měnícího objektu, jak je zobrazen na snímcích videosekvence, určí typ, resp. počet křivek, kterými budou následně vyhledané význačné body proloženy, tedy zda se budou v dané sekvenci sledovat a vyhodnocovat změny jedné uzavřené interpolační křivky nebo změny dvou otevřených interpolačních křivek, dále operátor vyznačí v referenčním snímku podoblasti, v nichž mají být detekovány význačné body. Sledovaná podoblast může být označena například prstencem (pro uzavřenou interpolační křivku kruhového tvaru) nebo dvojicí pásů o zadané šířce (pro dvojici otevřených interpolačních křivek), případné formou jiné masky vhodného tvaru, v jejíž oblasti se mají vyhledat význačné body (které jsou pak proloženy uzavřenou interpolační křivkou) nebo dvojicí masek vhodných tvarů, v jejichž oblastech se mají vyhledat význačné body (detekované význačné body pod každou z dvojice masek jsou pak proloženy vždy jednou otevřenou interpolační křivkou, čímž se získá dvojice otevřených interpolačních křivek).

?o Pro detekci význačných bodů se využije následující postup:

Nejdříve je vypočten Hessian H(f(x,y)) obrazové funkce f(x,y), což představuje matici druhých derivací:

Í3²f ax² ag \dyz ag\ dxy dy²J

2.3

Poté je započítáno určité okolí Sfp) každé souřadnice ve výsledných druhých derivacích obrazové funkce. Toto může být zapsáno jako

M(x,y) Z_j dx² Z-t dxy s(p) Stp) \ Z-1 dyx Za dy² )

5(P)

2.2

Ve výsledku je tedy pro každý pixel v obraze dána matice 2x2. Pro tuto matici jsou pak vypočteny tzv. vlastní hodnoty sloužící k vyšetření, zda se v daném obrazovém bodě vyskytuje tzv. roh nebo ne ve smyslu postupů představených v Shí, J.; Thomasi, C.: Good features to track in 9th

IEEE Conference on Computer Vision and Petitem Recognition, Springer 1994 [1], Metoda označuje pixel jako bod vhodný pro sledování, jestliže menší vlastní hodnota ze dvou je větší než danv práh. Práh je stanoven jako součin ručně zadané prahovací konstanty a nejvyšší menší vlastCZ 303499 B6 ní hodnoty nalezené v daném obraze. Prahované potenciální rohy jsou poté redukovány další procedurou, která odstraňuje význačné body nashromážděné v oblastech, kde je euklidovská vzdálenost mezi jednotlivými význačnými body menší než daný práh.

Pro sledování stěny trubice, například stěny cévy, v příčném řezu, nebo jiných objektu, jejichž kontury na snímcích mají kruhovitý, elipsovitý, nebo jiný uzavřený tvar, se použije s výhodou uzavřená interpolační křivka. Po jejím nalezení výpočetní jednotka vypočte obsah plochy vymezené touto uzavřenou interpolační křivkou v referenčním snímku. Pro následující snímek sekvence se naleznou nové pozice význačných bodů pomocí analýzy optického toku, nejlépe metodou in Lucase-Kanadeho. Nově nalezené význačné body se opět proloží uzavřenou interpolační křivkou a provede se výpočet obsahu plochy vymezené touto novou interpolační křivkou. Postup se pak opakuje pro každý další snímek sekvence. Alternativně je také možné nalézt střed uzavřené interpolační křivky, kterým se pak vede soustava přímek s rovnoměrným úhlovým rozestupem a měří se vzdálenost dvojic průsečíků každé přímky s interpolační uzavřenou křivkou. Získané hodnoty is se zobrazí zobrazovací jednotkou například ve formě grafu, do kterého jsou vyneseny hodnoty vypočtené pro jednotlivé snímky v závislosti na čase nebo pořadí snímku.

Pro sledování stěny trubice, například stěny cévy, v podélném řezu nebo i jiných objektů, je možné použít dvojicí otevřených interpolačních křivek. Po jejich nalezení v referenčním snímku jo výpočetní jednotka určí osu této dvojice interpolačních otevřených křivek, načež se na tuto osu spustí v pravidelných rozestupech kolmice a pro každou z kolmic se zjisti vzájemná vzdálenost jejich průsečíků s křivkami. Pro následující snímek sekvence se naleznou nové pozice význačných bodů pomocí analýzy optického toku, nejlépe metodou Lucase-Kanadeho. Nově nalezené význačné body se opět proloží dvěma otevřenými interpolačními křivkami, nalezne se jejich osa, na kterou se v pravidelných rozestupech spustí kolmice a opět se zjistí vzdálenosti dvojic průsečíků každé kolmice s interpolačními otevřenými křivkami. Postup se pak opakuje pro každý další snímek sekvence, případně pro vybranou sadu po sobě následujících snímků videosekvence. Získané hodnoty se zobrazí zobrazovací jednotkou například ve formě grafu, do kterého jsou vyneseny hodnoty vypočtené pro jednotlivé snímky v závislosti na čase nebo pořadí snímku, při30 čemž počet kolmic odpovídá počtu průběhů vynesených do grafu. Alternativně je možné sledovat změny obsahu plochy vymezené dvojicí otevřených křivek v předem pevně stanoveném úseku a do grafu vynést vypočtené hodnoty obsahu plochy.

Časová osa měření je jednoznačně dána snímkovací frekvencí (EPS) dané video sekvence, proto je vynesení hodnot do grafu triviální úlohou přepočtu frekvence a pořadí snímku na časový údaj a přiřazení konkrétních výsledků z jednotlivých snímků příslušnému času. Z uvedeného grafu lze pak analyzovat prostorové změny objektu v závislosti na čase. To umožňuje například v případě sledování změn artérie nebo jiné části kardiovaskulárního systému vyhodnotit elasticitu změn artérie nebo jiné části kardiovaskulárního systému vyhodnotit elasticitu cévní stěny v dané oblastí) ti. případně srdeční cyklus v přímé souvislostí s krevním tlakem.

Ačkoli byl způsob analýzy popsán zejména na základě video sekvence získané ze sonografu, je možné získat digitální sekvence zachycující prostorové změny objektů nejenom v závislosti na čase, ale například na prostorové souřadnici nebo i jiným způsobem, například metodou magne15 tické rezonance či jiných tomografických metod.

Způsob podle vynálezu je použitelný v humánním i veterinárním lékařství pro vyhodnocování stavu kardiovaskulárního systému, případně pro analýzu obrazových sekvencí získaných sledováním jiných objektů prostorově se měnících v závislosti na čase. nebo v závislosti na jiném para50 metru. Rovněž je způsob použitelný v průmyslu při sledování průběžně prostorově se měnících objektů, pokud jsou tyto změny zaznamenatelné pomocí digitálních obrazových sekvencí. Například se může jednat o sledování objektů nasnímaných v řezech pomocí rentgenové, ultrazvukové, seismické tomografie a podobně.

-4CZ 303499 B6

Odkazy na literaturu:

[1] Shi, J.; Thomasi, , C.: Good features to track in 9th IEEE Conference on Computer Vision and Pattern Recognition, Springer 1994.

[2] Lucas, B„ and Kanadě, T. An Iterative Image Registration Technique with an Application to Stereo Vission in Proč. of 7th International Joint Conference on Artificial Intelligence (IJCAI), pp. 674-679, 1981.

Claims

PATENTOVÉ NÁROKY

1. Bodově interpolační způsob analýzy obrazových sekvencí prostorově se měnícího objektu, zahrnující následující kroky:

20 a) nejprve se obrazová sekvence o N snímcích objektu načte do výpočetní jednotky propojené se zobrazovací jednotkou a vstupním zařízením,

b) načež se v referenčním snímku obrazové sekvence přes vstupní zařízení zadá typ hledané interpolační křivky a alespoň jedna podoblast vhodná ke sledování prostorových změn obje25 ktu, vyznačující se tím, že

c) v každé ze zadaných podoblastí výpočetní jednotka nalezne význačné body mající vysoký

30 jasový gradient vzhledem ke svému okolí,

d) výpočetní jednotka proloží význačné body interpolační křivkou typu zadaného v kroku b),

e) v každém dalším snímku obrazové sekvence výpočetní jednotka nalezne nové pozice původ35 ně vybraných význačných bodů a provede se krok d),

f) změny průběhu interpolačních křivek zjištěné projednotlivé snímky s ohledem na referenční snímek se zobrazí na zobrazovací jednotce.

40
2. Bodově interpolační způsob podle nároku 1, vyznačující se tím, že v kroku b) se jako typ hledané interpolační křivky zadá uzavřená interpolační křivka a v kroku f) se na zobrazovací jednotce zobrazí graf znázorňující změny plochy vymezené interpolační křivkou v závislosti na čase nebo pořadí snímku.

45
3. Bodově interpolační způsob podle nároku 2, vyznačující se tím, že v kroku b) se vybere prstencovitá podoblast.
4. Bodově interpolační způsob podle nároku 1, vyznačující se tím, že v kroku b) se zadají alespoň dvě podoblasti a jako typ hledané interpolační křivky se zadá dvojice otevřených

50 interpolačních křivek, v kroku d) se nalezené význačné body v každé podoblasti proloží otevřenou interpolační křivkou, načež se nalezne osa získané dvojice interpolačních křivek, na které se v pravidelných rozestupech uspořádají kolmice, čímž se získají dvojice průsečíků každé kolmice s interpolačními křivkami, a zobrazení v kroku f) se provede formou grafu znázorňujícího závislost vzájemných vzdáleností jednotlivých dvojic těchto průsečíků načase nebo pořadí snímků.
5. Bodově interpolační způsob podle nároku 4, vyznačující se tím, že v kroku b) se vyberou dvě pásovité podoblasti.
6. Bodově distanční způsob podle kteréhokoli z předcházejících nároků, vyznačující se t í m , že nová pozice původně vybraných význačných bodů se v kroku e) nalezne analýzou optického toku.

o

1 výkres

-6QZ 303499 B6

Obrazová data (video sekvence ze sonogratu)

N = počet snímků sekvence í

Poloautomatická detekce význačných bodů

Jedna uzavřená kftvka

Dvě neuzavřené křivky

Proloženi význačných bodů uzavřenou křivkou

Proloženi význačných bodů dvěma | neuzavřenými křivkami i

Výpočet plochy vymezené uzavřenou křivkou

Výpočet průběžných vzdáleností mezi křivkami

Uloženi vypočtených hodnot pro první snímek i ’ 2,3,4 ... N

Výpočet plochy j vymezené uzavřenou I křivkou_j

I

Výpočet průběžných vzdáleností mezi křivkami

Uloženi vypočtených hodnot pro i-tý snímek

Obr. 1