CZ303512B6

CZ303512B6 - Bodove distancní zpusob analýzy obrazových sekvencí prostorove se menícího objektu

Info

Publication number: CZ303512B6
Application number: CZ20100915A
Authority: CZ
Inventors: Cíž@Radim; Ríha@Kamil; Beneš@Radek; Závodná@Eva
Original assignee: Vysoké ucení technické v Brne
Priority date: 2010-12-09
Filing date: 2010-12-09
Publication date: 2012-10-31
Also published as: CZ2010915A3

Abstract

Bodove distancní zpusob analýzy obrazových sekvencí prostorove se menícího objektu, zahrnuje podle rešení následující kroky: a) nejprve se obrazová sekvence o N snímcích objektu nacte do výpocetní jednotky propojené se zobrazovací jednotkou a vstupním zarízením, b) nacež se v referencním snímku obrazové sekvence pres vstupní zarízení zadají alespon dve podoblasti vhodné ke sledování prostorových zmen objektu, c) v každé ze zadaných podoblastí výpocetní jednotka nalezne alespon jeden význacný bod mající vysoký jasový gradient vzhledem ke svému okolí, d) výpocetní jednotka vypocte težište význacných bodu v každé podoblasti a následne zjistí vzájemnou euklidovskou vzdálenost vypoctených težišt, e) v každém dalším snímku obrazové sekvence se nalezne nová pozice puvodne vybraných význacných bodu a provede se krok d), f) vzdálenosti zjištené pro jednotlivé snímky se zobrazí na zobrazovací jednotce.

Description

Bodově distanční způsob analýzy obrazových sekvencí prostorově se měnícího objektu

Oblast techniky

Vynález se týká bodově distančního způsobu analýzy obrazových sekvencí prostorově se měnícího objektu na základě sledování změn pozic význačných bodů majících vysoký jasový gradient.

Dosavadní stav techniky

Dosud se při analýze obrazových sekvencí prostorově se měnících objektů vždy vybral jeden snímek, zachycující jeden mezní stav prostorově se měnícího objektu, a poté druhý snímek zachycující druhý mezní stav prostorově se měnícího objektu. V prvním snímku i ve druhém vybraném snímku se vždy pres vstupní zařízení vyznačily okraje sledovaného objektu a tyto okraje se pak porovnaly. Dosavadní postupy tedy neumožňovaly automatické průběžné sledování změn, byly pracně, časově náročné a v případě nevhodného výběru snímků podávaly nedostatečné nebo chybné výsledky.

Podstata vynálezu

Tyto nedostatky jsou do značné míry odstraněny navrženým bodově distančním způsobem podle vynálezu pro analýzu obrazových sekvencí prostorově se měnícího objektu, zahrnujícím následující kroky:

a) nejprve se obrazová sekvence o N snímcích objektu načte do výpočetní jednotky propojené se zobrazovací jednotkou a vstupním zařízením,

b) načež se v referenčním snímku obrazové sekvence přes vstupní zařízení zadají alespoň dvě podoblasti vhodné ke sledování prostorových změn objektu,

c) v každé ze zadaných podoblastí výpočetní jednotka nalezne alespoň jeden význačný bod mající vysoký jasový gradient vzhledem ke svému okolí,

d) výpočetní jednotka vypočte těžiště význačných bodů v každé podoblasti a následně zjistí vzájemnou euklidovskou vzdálenost vypočtených těžišť,

e) v každém dalším snímku obrazové sekvence se nalezne nová pozice původně vybraných význačných bodů a provede se krok d),

t) vzdálenosti zjištěné pro jednotlivé snímky se zobrazí na zobrazovací jednotce.

Zobrazení v kroku f) se s výhodou provede formou grafu znázorňujícího závislost zjištěných vzdáleností na čase nebo pořadí snímku.

Počet význačných bodů, které mají být nalezeny v každé podoblasti, může být zadáván přes vstupní zařízení v návaznosti na krok b), což zvyšuje flexibilitu využití způsobu podle vynálezu pro analýzu obrazových sekvencí různého druhu a různé kvality.

Nová pozice původně vybraných význačných bodů se v kroku e) s výhodou nalezne analýzou optického toku, zejména metodou dle Lucase a Kandeho.

Byla nalezena spolehlivá technika pro ohraničení pomyslného řezu sledovaným objektem, která je odolná vůči nežádoucím, přesto poměrně běžným jevům ve snímaných ultrazvukových video

- 1 CZ 303512 B6 sekvencích v B-módu. Mezi tyto jevy patří zejména ty, které způsobují globální pohyb v obraze, tedy např. změna pozice sonografické sondy vůči analyzovanému objektu, její natočení, posun, přitlačení apod. Při zpracování je využito přímého zpracování obrazu v B-módu za účelem sledování hraníc sledovaného objektu a analyzování jejich změn v čase (v ultrazvukové video sekvenci). Tato závislost (geometrické parametry na čase nebo na čísle snímku ve video sekvenci) může být následně použita pro různé analýzy. Například v případě, že sledovaným objektem je artérie, je možno výsledky způsobu podle vynálezu využít pro analýzy vztahující se ke krevnímu tlaku a elasticitě artérie.

Hlavní výhody prezentovaného způsobu spočívají ve faktu, že nepotřebuje nastavení mnoha parametrů. Je automatický, vysoce přesný a spolehlivý pro různé kvality obrazu. Hranice sledovaného objektu, ať už uvnitř zařízení nebo v lidském nebo zvířecím těle, nejsou na snímcích obvykle příliš zřetelné, což dělá detekci velmi obtížnou. Způsob podle vynálezu nezávisí na jasně viditelné hranici, což zvyšuje její spolehlivost. Navíc může analyzovat změny objektu, i když se snímač pohybuje (přičemž tento pohyb zapříčiňuje celkový pohyb v obraze).

Přehled obrázku na výkrese

Vynález je dále popsán pomocí příkladného provedení schematicky znázorněného na obr. 1 vývojovým diagramem.

Příklady provedení vynálezu

Z vývojového diagramu znázorněného na obr. 1 je zřejmé, že nejprve se do systému přivede digitální obrazová sekvence, například video sekvence získaná při vyšetřování objektu sonografem, přičemž obrazová sekvence sestává z N snímků, pořízených nejlépe s konstantním vzájemným časovým odstupem.

Při snímání tzv. volnou rukou, kdy dochází ke změnám pozice snímače vůči snímanému objektu, natočení snímače, přitlačení a podobně, vzniká často mezi dvěma snímky translační pohyb, který má být zjištěn a v obrazové sekvenci následně potlačen geometrickou transformací obrazu.

Kompenzace pohybu je založena na vyhledání významných bodů, jejichž pozice je sledována v průběhu video sekvence. K určení pohybu významných bodů je využito metody optického toku dle návrhu Lucase a Kanadeho, jejíž základní princip vyjadřuje rovnice (2.1).

E_xu + E_yv + E, ~ 0, 2.1, r, dE „ dE c_x = —, E_v — — a E_t = —.

kde ^dx 3y dt Je uvažováno jisté okolí bodu, proto je pro každý bod k dispozici n rovnic a n parciálních derivací E_xn, E_v„, E_tn a dvě neznámé u, v, které reprezentují pohybový vektor ve zkoumaném bodě (x, y) a čase t. Na základě nalezeného pohybového vektoru pro celý obraz je provedena translace obrazu.

Lokální analýza pohybuje prováděna ve více bodech obrazu. Tím je získáno množství lokálních pohybových vektorů, které reprezentují pohyb jednotlivých bodů ve dvojící snímků. Lokální pohybové vektory vytvářejí pohybové pole, které se vyznačuje následujícími vlastnostmi:

- převážná část všech vektorů vykazuje čistě translační pohyb způsobený pohybem sondy,

- jistá množina vektorů je ovlivněna lokálním pohybem části objektu ve scéně.

_ 7 .

Každý vektor pohybu ^ui ve vektorovém poli obrazuje výsledkem superpozice až n dílčích pohybů u_f = u_ťl + u_i2 + - + u_in.

2.2.

Pohyb ^uíi (translační pohyb vzniklý při snímání) bývá shodný pro všechny vektory vektorového pole. Mnohdy jsou přítomné i další lokální pohyby ^ui2> —>^uini které jsou při kompenzaci pohybu považovány za nežádoucí, tzv. rušivé pohyby, jejichž vliv na výpočet výsledného pohybového vektoru celého snímkuje nutné potlačit.

Pro analýzu prostorových změn sledovaného objektu je nutno vyhodnotit lokální pohyb částí objektu, k Čemuž jsou využity význačné body v obrazové sekvenci prostorově se měnící části objektu.

V referenčním snímku, který je nejlépe prvním snímkem video sekvence neboje alespoň následně považován za první snímek video sekvence, jsou operátorem zvoleny hranice oblasti, jejíž geometrické vlastnosti mají být analyzovány v průběhu času. Aby bylo možné vyhodnotit geometrické změny v závislosti na čase, a tedy v průběhu video sekvence, je nutné sledovat určité objekty (body), resp. jejich pohyb během snímání. Tyto body reprezentují určitý útvar (přímka, křivka, plocha), který je dále analyzován podle jeho povahy a typu vyšetření. Kvalitních výsledků je možné dosáhnout pouze při sledování význačných bodů, které vykazují velké jasové změny (vysoký gradient).

Operátor konkrétně zvolí dvě podoblasti, v nichž je následně vyhledán zadaný počet význačných bodů (vždy jeden bod nebo více). Každá daná podoblast je zvolena v referenčním snímku volbou jednoho bodu, velikost podoblastí je nadefinována předem zadání počtu bodů v podoblasti provádí operátor neboje rovněž nastaveno předem.

Pro detekci význačných bodů se využije následující postup:

Nejdříve je vypočten Hessian H(f(x,y)) obrazové funkce f(x,y), což představuje matici druhých derivací:

D²f dx² d²f \dyx dxy d²f dy²J

2.3

Poté je započítáno určité okolí S(p) každé souřadnice ve výsledných druhých derivacích obrazové funkce. Toto může být zapsáno jako

2.2

Ve výsledku je tedy pro každý pixel v obraze dána matice 2x2. Pro tuto matici jsou pak vypočteny tzv. vlastní hodnoty sloužící k vyšetření, zda se v daném obrazovém bodě vyskytuje tzv. roh nebo ne ve smyslu postupů představených v Shi, J.; Tomáši, C.: Good features to track in 9th IEEE Conference on Computer Vision and Pattern Recognition, Springer 1994. Metoda označuje pixel jako bod vhodný pro sledování, jestliže menší vlastní hodnota ze dvou je větší než daný

-3CZ 303512 B6 práh. Práh je stanoven jako součin ručně zadané prahovací konstanty a nejvyšší menší vlastní hodnoty nalezené v daném obraze. Prahované potenciální rohy jsou poté redukovány další procedurou (připadající v úvahu pakliže je povoleno detekovat v definované oblasti více než jeden význačný bod), která odstraňuje význačné body nashromážděné v oblastech, kde je euklidovská vzdálenost mezi jednotlivými význačnými body menší než daný práh.

Tak jsou pro každou podoblast referenčního snímku zjištěny souřadnice těžiště skupiny nalezených význačných bodů, v případě jediného význačného bodu v každé podoblasti odpovídají souřadnice těžiště přímo souřadnicím význačného bodu. Následně se vypočte vzájemná vzdálenost těžišť význačných bodů. Vypočtená vzdálenost se uloží jako výsledná hodnota pro referenční (první) snímek.

V následujícím (druhém) snímku video sekvence se určí nové pozice původně vybraných význačných bodů pomocí analýzy optického toku, nejlépe metodou Lucase-Kanadeho, a zjistí nová vzájemná euklidovská vzdálenost sledovaných význačných bodů.

Tento postup se poté opakuje pro všechny následující snímky videosekvence, případně pro vybranou sadu po sobě následujících snímků videosekvence. Zjištěné vzdálenosti význačných bodů, případně těžišť význačných bodů se vynesou do grafu znázorňujícího změny vzdálenosti význačných bodů v závislosti na čase. Časová osa měření je jednoznačně dána snímkovací frekvencí (FPS) dané video sekvence, proto je vynesení hodnot do grafu triviální úlohou přepočtu frekvence a pořadí snímku na časový údaj a přiřazení konkrétních výsledků z jednotlivých snímků příslušnému času. Z uvedeného grafu lze pak analyzovat prostorové změny objektu v závislosti na čase. To umožňuje například v případě sledování změn artérie nebo jiné části kardiovaskulárního systému vyhodnotit elasticitu cévní stěny v dané oblasti, případně srdeční cyklus v přímé souvislosti s krevním tlakem.

Ačkoli byl způsob popsán zejména na základě video sekvence získané ze sonografu, je možné získat digitální sekvence zachycující prostorové změny objektů nejenom v závislosti na čase, ale například na prostorové souřadnici i jiným způsobem, například metodou magnetické rezonance či jiných tomografických metod.

Způsob podle vynálezu je použitelný v humánním i veterinárním lékařství pro vyhodnocování stavu kardiovaskulárního systému, případně pro analýzu obrazových sekvencí získaných sledováním jiných prostorově se měnících orgánů, prostorově se měnících, a to ve smyslu v závislosti na čase, nebo v závislosti na jiném parametru, například na prostorové souřadnici. Rovněž je způsob použitelný v průmyslu při sledování průběžně prostorově se měnících objektů, pokud jsou tyto změny zaznamenatelné pomocí digitálních obrazových sekvencí. Například se může jednat o sledování objektů nasnhnaných v řezech pomocí rentgenové, ultrazvukové, seismické tomografie a podobně.

Claims

PATENTOVÉ NÁROKY

5 1. Bodově distanční způsob analýzy obrazových sekvencí prostorově se měnícího objektu, zahrnující následující kroky:

a) nejprve se obrazová sekvence o N snímcích objektu načte do výpočetní jednotky propojené se zobrazovací jednotkou a vstupním zařízením,

b) načež se v referenčním snímku obrazové sekvence přes vstupní zařízení zadají alespoň dvě podoblasti vhodné ke sledování prostorových změn objektu, vyznačující se tím, že

c) v každé ze zadaných podoblastí výpočetní jednotka nalezne alespoň jeden význačný bod mající vysoký jasový gradient vzhledem ke svému okolí,

d) výpočetní jednotka vypočte těžiště význačných bodů v každé podoblasti a následně zjistí

20 vzájemnou euklidovskou vzdálenost vypočtených těžišť,

e) v každém dalším snímku obrazové sekvence se nalezne nová pozice původně vybraných význačných bodů a provede se krok d),

25 f) vzdálenosti zj i štěně pro jednotlivé snímky se zobrazí na zobrazovací jednotce.
2. Bodově distanční způsob podle nároku 1, v y z n ač u j í c í se tí m , že zobrazení v kroku f) se provede formou grafu znázorňujícího závislost zjištěných vzdáleností na čase nebo pořadí snímku.
3. Bodově distanční způsob podle kteréhokoli z předcházejících nároků, vyznačující se tím, že počet význačných bodů, které mají být nalezeny v každé podoblasti, je zadáván pres vstupní zařízení v návaznosti na krok b).

35 4. Bodově distanční způsob podle kteréhokoli z předcházejících nároků, vyznačující se tím, že nová pozice původně vybraných význačných bodů se v kroku e) nalezne analýzou optického toku.