CZ2010916A3 - Bodove interpolacní zpusob analýzy obrazových sekvencí prostorove se menícího objektu - Google Patents

Abstract

Bodove interpolacní zpusob analýzy obrazových sekvencí prostorove se menícího objektu, zahrnující následující kroky: a) nejprve se obrazová sekvence o N snímcích objektu nacte do výpocetní jednotky propojené se zobrazovací jednotkou a vstupním zarízením, b) nacež se v referencním snímku obrazové sekvence pres vstupní zarízení zadá typ hledané interpolacní krivky a alespon jedna podoblast vhodná ke sledování prostorových zmen objektu, c) v každé ze zadaných podoblastí výpocetní jednotka nalezne význacné body mající vysoký jasový gradient vzhledem ke svému okolí, d) výpocetní jednotka proloží význacné body interpolacní krivkou typu zadaného v kroku b), e) v každém dalším snímku obrazové sekvence výpocetní jednotka nalezne nové pozice puvodne vybraných význacných bodu a provede se krok d), f) zmeny prubehu interpolacních krivek zjištené pro jednotlivé snímky s ohledem na referencní snímek se zobrazí na zobrazovací jednotce.

Description

Oblast techniky

Vynález se týká bodově interpolačního způsobu analýzy obrazových sekvencí prostorově se měnícího objektu na základě sledování postupných změn interpolačních křivek proložených význačnými body majícími vysoký jasový gradient.

Dosavadní stav techniky

Dosud se při analýze obrazových sekvencí prostorově se měnících objektů vždy vybral jeden snímek, zachycující jeden mezní stav prostorově se měnícího objektu, a poté druhý snímek zachycující druhý mezní stav prostorově se měnícího objektu. V prvním snímku i ve druhém vybraném snímku se vždy přes vstupní zařízení vyznačily okraje sledovaného objektu a tyto okraje se pak porovnaly. Dosavadní postupy tedy neumožňovaly automatické průběžné sledování změn, byly pracné, časově náročné a v případě nevhodného výběru snímků podávaly nedostatečné nebo chybné výsledky.

Podstata vynálezu

Tyto nevýhody odstraňuje bodově interpolační způsob analýzy obrazových sekvencí prostorově se měnícího objektu, zahrnující následující kroky:

a) nejprve se obrazová sekvence o N snímcích objektu načte do výpočetní jednotky propojené se zobrazovací jednotkou a vstupním zařízením,

b) načež se v referenčním snímku obrazové sekvence přes vstupní zařízení zadá typ hledané interpolační křivky a alespoň jedna podoblast vhodná ke sledování prostorových změn objektu,

c) v každé ze zadaných podoblastí výpočetní jednotka nalezne význačné body mající vysoký jasový gradient vzhledem ke svému okolí,

d) výpočetní jednotka proloží význačné body interpolační křivkou typu zadaného v kroku b),

e) v každém dalším snímku obrazové sekvence výpočetní jednotka nalezne nové pozice původně vybraných význačných bodů a provede se krok d),

f) změny průběhu interpolačních křivek zjištěné pro jednotlivé snímky s ohledem na referenční snímek se zobrazí na zobrazovací jednotce.

•	• · · • · · · • ·	• « · •	·· • · • ♦
• · • ··	• · • · · · · ♦ ·	•	• · ··

V případě, že kontury sledovaného objektu mají na snímcích kruhový, elipsovitý nebo jiný uzavřený tvar, je výhodné, když v kroku b) se jako typ hledané interpolační křivky zadá uzavřená interpolační křivka a v kroku f) se na zobrazovací jednotce zobrazí graf znázorňující změny plochy vymezené interpolační křivkou v závislosti na čase nebo pořadí snímku. V tomto provedení se s výhodou v kroku b) vybere prstencovitá podoblast.

V případě, že kontury sledovaného objektu mají na snímcích tvar trubice v podélném řezu nebo obecně tvoří tyto kontury dvojici otevřených křivek, se s výhodou v kroku b) zadají alespoň dvě podoblasti a jako typ hledané interpolační křivky se zadá dvojice otevřených interpolačních křivek, v kroku d) se nalezené význačné body v každé podoblasti proloží otevřenou interpolační křivkou, načež se nalezne osa získané dvojice interpolačních křivek, na které se v pravidelných rozestupech uspořádají kolmice, čímž se získají dvojice průsečíků každé kolmice s interpolačními křivkami, a zobrazení v kroku f) se provede formou grafu znázorňujícího závislost vzájemných vzdáleností jednotlivých dvojic těchto průsečíků na čase nebo pořadí snímku. V tomto provedení se s výhodou v kroku b) vyberou dvě pásovité podoblasti.

Nová pozice původně vybraných význačných bodů se v kroku e) s výhodou nalezne analýzou optického toku.

Přehled obrázků na výkresech

Vynález je dále popsán pomocí příkladného provedení schematicky znázorněného na obr. 1 vývojovým diagramem.

Popis příkladných provedení

Z vývojového diagramu znázorněného na obr. 1 je zřejmé, že nejprve se do systému přivede digitální obrazová sekvence, například video sekvence získaná při vyšetřování objektu sonografem, přičemž obrazová sekvence sestává z N snímků, pořízených nejlépe s konstantním vzájemným časovým odstupem.

Při snímání tzv. volnou rukou, kdy dochází ke změnám pozice snímače vůči snímanému objektu, natočení snímače, přitlačení a podobně, vzniká často mezi dvěma snímky translační pohyb, který má být zjištěn a v obrazové sekvenci následně potlačen geometrickou transformací obrazu.

··* ·

-3Kompenzace pohybu je založena na vyhledání významných bodů, jejichž pozice je sledována v průběhu video sekvence. K určení pohybu významných bodů je využito metody optického toku dle návrhu Lucase a Kanadeho [2], jejíž základní princip vyjadřuje rovnice

E_xu + E_yv + E_t = 0, 2.1 kde E_x =^,E_y = aE_t = ½½. Je uvažováno jisté okolí bodu, proto je pro každý bod k dispozicí n rovnic a n parciálních derivací E_xn,E_yn,E_tn a dvě neznámé u, v, které reprezentují pohybový vektor ve zkoumaném bodě (x,y) a čase t. Na základě nalezeného pohybového vektoru pro celý obraz je provedena translace obrazu.

Lokální analýza pohybu je prováděna ve více bodech obrazu. Tím je získáno množství lokálních pohybových vektorů, které reprezentují pohyb jednotlivých bodů ve dvojici snímků. Lokální pohybové vektory vytvářejí pohybové pole, které se vyznačuje následujícími vlastnostmi:

- převážná část všech vektorů vykazuje čistě translační pohyb způsobený pohybem sondy,

- jistá množina vektorů je ovlivněna lokálním pohybem části objektu ve scéně.

Každý vektor pohybu ve vektorovém poli obrazu je výsledkem superpozice až n dílčích pohybů

Uj =Uíi+ u_i2 +- + u_in. 2.2

Pohyb u_tl (translační pohyb vzniklý při snímání) bývá shodný pro všechny vektory vektorového pole. Mnohdy jsou přítomné i další lokální pohyby u_i2, které jsou při kompenzaci pohybu považovány za nežádoucí, tzv. rušivé pohyby, jejichž vliv na výpočet výsledného pohybového vektoru celého snímku je nutné potlačit.

Pro analýzu prostorových změn sledovaného objektu je nutno vyhodnotit lokální pohyb částí objektu, k čemuž jsou využity význačné body v obrazové sekvenci prostorově se měnící Části objektu.

V referenčním snímku, který je nejlépe prvním snímkem video sekvence nebo je alespoň následně považován za první snímek video sekvence, jsou operátorem

-4zvoleny hranice oblasti, jejíž geometrické vlastnosti mají být analyzovány v průběhu času. Aby bylo možné vyhodnotit geometrické změny v závislosti na čase, a tedy v průběhu video sekvence, je nutné sledovat určité objekty (body), resp. jejich pohyb během snímání. Tyto body reprezentují určitý útvar (přímka, křivka, plocha), který je dále analyzován podle jeho povahy a typu vyšetření. Kvalitních výsledků je možné dosáhnout pouze při sledování význačných bodů, které vykazují velké jasové změny (vysoký gradient).

Operátor podle tvaru sledovaného prostorově se měnícího objektu, jak je zobrazen na snímcích videosekvence, určí typ, resp. počet křivek, kterými budou následně vyhledané význačné body proloženy, tedy zda se budou v dané sekvenci sledovat a vyhodnocovat změny jedné uzavřené interpolační křivky nebo změny dvou otevřených ínterpolačních křivek, dále operátor vyznačí v referenčním snímku podoblasti, v nichž mají být detekovány význačné body. Sledovaná podoblast může být označena například prstencem (pro uzavřenou interpolační křivku kruhového tvaru) nebo dvojicí pásů o zadané šířce (pro dvojici otevřených ínterpolačních křivek), případné formou jiné masky vhodného tvaru, v jejíž oblasti se mají vyhledat význačné body (které jsou pak proloženy uzavřenou interpolační křivkou) nebo dvojicí masek vhodných tvarů, v jejichž oblastech se mají vyhledat význačné body (detekované význačné body pod každou z dvojice masek jsou pak proloženy vždy jednou otevřenou interpolační křivkou, čímž se získá dvojice otevřených ínterpolačních křivek).

Pro detekci význačných bodů se využije následující postup:

Nejdříve je vypočten Hessian H(f(x,yý) obrazové funkce což představuje matici druhých derivací:

fd²f a²A dx² dxy d²f d²f

2.3 \3yx dy'²J

Poté je započítáno určité okolí S(p) každé souřadnice ve výsledných druhých derivacích obrazové funkce. Toto může být zapsáno jako

2.2 • ··· • a a a* * * ·· ·· a a · ·a a a a ·· · ·* a ·a a a · · · · aa • aa aa ··· ···· ·····

- 5Ve výsledku je tedy pro každý pixel v obraze dána matice 2*2. Pro tuto matici jsou pak vypočteny tzv. vlastní hodnoty sloužící k vyšetření, zda se v daném obrazovém bodě vyskytuje tzv. roh nebo ne ve smyslu postupů představených v Shi, J.; Tomáši, C.: Good features to track in Pt/i IEEE Conference on Compuíer Vision and Pattem Recognition, Springer 1994 [1], Metoda označuje pixel jako bod vhodný pro sledování, jestliže menší vlastní hodnota ze dvou je větší než daný práh. Práh je stanoven jako součin ručně zadané prahovací konstanty a nej vyšší menší vlastní hodnoty nalezené v daném obraze. Prahované potenciální rohy jsou poté redukovány další procedurou, která odstraňuje význačné body nashromážděné v oblastech, kde je euklidovská vzdálenost mezi jednotlivými význačnými body menší než daný práh.

Pro sledování stěny trubice, například stěny cévy, v příčném řezu, nebo jiných objektů, jejichž kontury na snímcích mají kruhovitý, elipsovitý, nebo jiný uzavřený tvar, se použije s výhodou uzavřená interpolační křivka. Po jejím nalezení výpočetní jednotka vypočte obsah plochy vymezené touto uzavřenou interpolační křivkou v referenčním snímku. Pro následující snímek sekvence se naleznou nové pozice význačných bodů pomocí analýzy optického toku, nejlépe metodou LucaseKanadeho. Nově nalezené význačné body se opět proloží uzavřenou interpolační křivkou a provede se výpočet obsahu plochy vymezené touto novou interpolační křivkou. Postup se pak opakuje pro každý další snímek sekvence. Alternativně je také možné nalézt střed uzavřené interpolační křivky, kterým se pak vede soustava přímek s rovnoměrným úhlovým rozestupem a měří se vzdálenost dvojic průsečíků každé přímky s interpolační uzavřenou křivkou. Získané hodnoty se zobrazí zobrazovací jednotkou například ve formě grafu, do kterého jsou vyneseny hodnoty vypočtené pro jednotlivé snímky v závislosti na čase nebo pořadí snímku.

Pro sledování stěny trubice, například stěny cévy, v podélném řezu nebo i jiných objektů, je možné použít dvojici otevřených interpolačních křivek. Po jejich nalezení v referenčním snímku výpočetní jednotka určí osu této dvojice interpolačních otevřených křivek, načež se na tuto osu spustí v pravidelných rozestupech kolmice a pro každou z kolmic se zjistí vzájemná vzdálenost jejich průsečíků s křivkami. Pro následující snímek sekvence se naleznou nové pozice význačných bodů pomocí analýzy optického toku, nejlépe metodou LucaseKanadeho. Nově nalezené význačné body se opět proloží dvěma otevřenými interpolačními křivkami, nalezne se jejich osa, na kterou se v pravidelných *· • « · * * ·· · ·· ·· · * · • · · • ·· ·· rozestupech spustí kolmice a opět se zjistí vzdálenosti dvojic průsečíků každé kolmice s interpolačními otevřenými křivkami. Postup se pak opakuje pro každý další snímek sekvence, případně pro vybranou sadu po sobě následujících snímků videosekvence. Získané hodnoty se zobrazí zobrazovací jednotkou například ve formě grafu, do kterého jsou vyneseny hodnoty vypočtené pro jednotlivé snímky v závislosti na čase nebo pořadí snímku, přičemž počet kolmic odpovídá počtu průběhů vynesených do grafu. Alternativně je možné sledovat změny obsahu plochy vymezené dvojicí otevřených kňvek v předem pevně stanoveném úseku a do grafu vynést vypočtené hodnoty obsahu plochy.

Časová osa měření je jednoznačně dána snímkovací frekvencí (FPS) dané video sekvence, proto je vynesení hodnot do grafu triviální úlohou přepočtu frekvence a pořadí snímku na časový údaj a přiřazení konkrétních výsledků z jednotlivých snímků příslušnému času. Z uvedeného grafu lze pak analyzovat prostorové změny objektu v závislosti na čase. To umožňuje například v případě sledování změn artérie nebo jiné části kardiovaskulárního systému vyhodnotit elasticitu cévní stěny v dané oblasti, případně srdeční cyklus v přímé souvislosti s krevním tlakem.

Ačkoli byl způsob analýzy popsán zejména na základě video sekvence získané ze sonografu, je možné získat digitální sekvence zachycující prostorové změny objektů nejenom v závislosti na čase, ale například na prostorové souřadnici nebo i jiným způsobem, například metodou magnetické rezonance či jiných tomografických metod.

Způsob podle vynálezu je použitelný v humánním i veterinárním lékařství pro vyhodnocování stavu kardiovaskulárního systému, případně pro analýzu obrazových sekvencí získaných sledováním jiných objektů prostorově se měnících v závislosti na čase, nebo v závislosti na jiném parametru. Rovněž je způsob použitelný v průmyslu při sledování průběžně prostorově se měnících objektů, pokud jsou tyto změny zaznamenatelné pomocí digitálních obrazových sekvencí. Například se může jednat o sledování objektů nesnímaných v řezech pomocí rentgenové, ultrazvukové, seismické tomografie a podobně.

• 4·« · *4 · v ·	• »4 4 4 4 4 4 4	4 »4 4 4 4 · 4 4*
4 · ·	4 4	• 4 *
44 4 44		4 4 4 44

Odkazy na literaturu:

[1] Shi, J.; Tomáši, C.: Good features to track in 9th IEEE Conference on Computer Vision and Pattern Recognition, Springer 1994.

[2] Lucas, B., and Kanadě, T. An Iterative Image Registration Technique with an Application to Stereo Vision in Proč, of 7th International Joint Conference on Artificial Intelligence (IJCAI), pp. 674-679, 1981.

	♦ ···	•
	•	** · ·	• *
	•
	• ·	< · ·
	• ·	• ·
I · ·		··· ····	• ·

Claims (6)

1. PATENTOVÉ NÁROKY

   1. Bodově interpolační způsob analýzy obrazových sekvencí prostorově se měnícího objektu, zahrnující následující kroky:

   a) nejprve se obrazová sekvence o N snímcích objektu načte do výpočetní jednotky propojené se zobrazovací jednotkou a vstupním zařízením,

   b) načež se v referenčním snímku obrazové sekvence přes vstupní zařízení zadá typ hledané interpolační křivky a alespoň jedna podoblast vhodná ke sledování prostorových změn objektu,

   c) v každé ze zadaných podoblastí výpočetní jednotka nalezne význačné body mající vysoký jasový gradient vzhledem ke svému okolí,

   d) výpočetní jednotka proloží význačné body interpolační křivkou typu zadaného v kroku b),

   e) v každém dalším snímku obrazové sekvence výpočetní jednotka nalezne nové pozice původně vybraných význačných bodů a provede se krok d),

   f) změny průběhu interpolačních křivek zjištěné pro jednotlivé snímky s ohledem na referenční snímek se zobrazí na zobrazovací jednotce.
2. 2. Bodově interpolační způsob podle nároku 1, vyznačující se tím, že v kroku b) se jako typ hledané interpolační křivky zadá uzavřená interpolační křivka a v kroku f) se na zobrazovací jednotce zobrazí graf znázorňující změny plochy vymezené interpolační křivkou v závislosti na čase nebo pořadí snímku.
3. 3. Bodově interpolační způsob podle nároku 2, vyznačující se tím, že v kroku b) se vybere prstencovitá podoblast.
4. 4. Bodově interpolační způsob podle nároku 1, vyznačující se tím, že v kroku b) se zadají alespoň dvě podoblasti a jako typ hledané interpolační křivky se zadá dvojice otevřených interpolačních křivek, v kroku d) se nalezené význačné body v každé podoblasti proloží otevřenou interpolační křivkou, načež se nalezne osa získané dvojice interpolačních křivek, na které se v pravidelných rozestupech uspořádají kolmice, čímž se získají dvojice průsečíků každé kolmice s interpolačními křivkami, a zobrazení v kroku f) se provede formou grafu

   9 9*99 1 · * 99 9 9 9 9 e · « 9 • · · 9 9 9 ♦ · * 9 9 M 1· l9 9 ··· 1«

   znázorňujícího závislost vzájemných vzdáleností jednotlivých dvojic těchto průsečíků na čase nebo pořadí snímku.
5. 5. Bodově interpolační způsob podle nároku 4, vyznačující se tím, že v kroku b) se vyberou dvě pásovité podoblasti.
6. 6. Bodově distanční způsob podle kteréhokoli z předcházejících nároků, vyznačující se tím, že nová pozice původně vybraných význačných bodů se v kroku e) nalezne analýzou optického toku.