CZ2014132A3 - Bezkontaktní snímání pohybu dolních končetin v prostoru s využitím senzorů Kinect - Google Patents

Abstract

Vynález se týká bezkontaktního snímacího systému využívajícího hloubkových senzorů Kinect pro snímání pohyblivého objektu. Objekt, člověk, se pohybuje v prostoru chodby po dráze cca 10 m. Pro zvýšení přesnosti snímání hloubkových map je využíváno více senzorů Kinect. Senzory (1) jsou umístěny na začátku místnosti (chodby) ve výšce 0,5 – 1 m nad zemí v opačných rozích a nasměrovány pro snímání roviny (4). Senzory (2) jsou umístěny do stejné výšky na protilehlou stranu místnosti (chodby) a jsou nasměrovány pro snímání roviny snímání (4).

Description

Oblast techniky

Zařízení se týká technického provedení bezkontaktního snímače pohybu dolních končetin v prostoru založeného na systému dvou, resp. čtyř, senzorů Kinect.

Dosavadní stav techniky

Při snímání pohybu objektu bezkontaktním kamerovým systémem je výhodné převést snímaný obraz sledovaného objektu na model, tvořený body na přesně definovaných místech objektu a tím objekt reprezentovat. Úloha sledování pohybu se tak podstatně zjednoduší. Pro následné vyhodnocování pohybu objektu jsou sledovány jen tyto (zajímavé) body objektu.

K definici zajímavých bodů objektu lze přistoupit zejména dvěma způsoby. Jedním z těchto způsobů je umístění pomocných značek (tzv. markérů) na povrch objektu. Tyto markéry poté definují zajímavé body sledovaného objektu.

Využití markérů s sebou nese výhodu větší přesnosti, díky tomu, že markéry lze ve snímaném obrazu snadno identifikovat. Povrch markérů musí být reflexní podstaty vůči spektru, ve kterém jsou snímány (např. ve viditelném spektru, IR nebo UV). Umístění markérů je dáno metodikou snímání objektu, která je specifická pro konkrétní cíl měření. Před provedením měření je nutné dbát na správné umístění markérů a kontrolu jejich pozic. V určitých fázích měření pohybu objektu budou z podstaty pohybu některé markéry zakryty, popřípadě mohou z povrchu sledovaného objektu odpadnout. Tím bude do měření zanesena chyba.

Druhým způsob definice zajímavých bodů na povrchu objektu je založen na zpracování nasnímaných obrazových dat. Pro tento účel je předem stanoven parametrický model reprezentovaný kostrou předpokládaného sledovaného objektu. Prvním krokem zpracování nasnímaných obrazových dat je jejich segmentace pro oddělení objektu od pozadí. Ke zjednodušení tohoto procesu je výhodné využít vzdálenosti jednotlivých obrazových bodů od snímače (hloubkové mapy) získané hloubkovým senzorem. Dalším krokem je identifikace parametrů modelu v segmentovaných datech. Tím je určena poloha zajímavých bodů na povrchu sledovaného objektu.

Omezené rozlišení hloubkového senzoru a šum v nasnímaných datech způsobují chyby při identifikaci parametrů modelu snímaného objektu.

Podstata technického řešení

Výše uvedené nedostatky odstraňuje předkládané technické řešení. Zde se předpokládá využití senzoru Kinect, specializovaného pro snímání osob. Senzor Kinect snímá hloubkové mapy. Na základě nasnímaných hloubkových map senzor identifikuje parametry modelu osoby (kostru objektu). Získaný model (kostra) je dále využit pro analýzu pohybu.

Podstatou předkládaného řešení je kontinuální bezkontaktní snímání pohyblivého objektu tak, aby v každou chvíli byla k dispozici informace o poloze zajímavých bodů objektu v prostoru s tím, že je uvažováno rozměrové omezení prostoru, ve kterém snímání objektu probíhá. Předpokládá se, že objekt, člověk, se pohybuje v prostoru úzké chodby cca 1 až 2 m široké po dráze cca 10 m.

« 6

K nasnímání dostatečně dlouhé dráhy pohybujícího se objektu (člověka) cca 10 m nemá senzor Kinect dostatečnou hloubkovou přesnost. Přesnost měření senzorem Kinect klesá s narůstající vzdáleností snímaného objektu od senzoru (Dutta, T. Evaluation of the Kinect sensor for 3-D kinematic measurement in the workplace. Appl. Ergonom. 2012, Sv. 43,4.).

Pro zvýšení přesnosti snímání hloubkových map je využito dvou senzorů Kinect - jednoho pro pohled zepředu a jednoho pro pohled zezadu. Při nedostatečné přesnosti zadního senzoru (tj. objekt je od senzoru příliš vzdálený) je využito dat z předního senzoru a naopak (diferenční snímání).

Další zlepšením navrženého řešení je využití dvou senzorů Kinect pro snímání zepředu a dvou senzorů Kinect pro snímání zezadu. Tím je dosaženo vyšší přesnosti v rovině snímání a současně je možné zachytit větší prostor kolem snímaného objektu a tedy i markéry na straně objektu a tím zlepšit přesnost modelu.

Přehled obrázků na výkresech

Konkrétní příklady provedení jsou znázorněny na připojených výkresech, kde:

a) Obrázek 1 je navržené schéma bezkontaktního snímání pohybu objektu (člověka) založeném na systému čtyř senzorů Kinect.

b) Obrázek 2 je navržené schéma alternativního umístění senzorů bezkontaktního snímání pohybu objektu (člověka) založeném na systému čtyř senzorů Kinect.

c) Obrázek 3 je navržené základní schéma bezkontaktního snímání pohybu objektu (člověka) založeném na principu diferenčního snímání.

Příklady provedení vynálezu

Příklad navrženého schématu je na Obrázek 1. Zde č. 1 značí dvojici předních senzorů Kinect, č. 2dvojici zadních senzorů Kinect, č. 3 - optické dráhy snímání objektu (člověka) senzory, č. 4 - rovina snímání objektu (člověka), č. 5 - pohybující se objekt (člověk) a č. 6 - směr pohybu objektu (člověka).

Senzory 1 jsou umístěny na začátku místnosti (chodby) ve výšce cca 0,5 - 1 m nad zemí v opačných rozích a nasměrovány tak, aby byly schopny snímat rovinu 4. Senzory 2 jsou umístěny do stejné výšky na protilehlou stranu místnosti (chodby) a opět nasměrovány tak, aby byly schopny snímat rovinu snímání 4.

Příklad alternativního navrženého schématu je na Obrázek 2. Zde č. 1 značí dvojici předních senzorů Kinect, č. 2 - dvojici zadních senzorů Kinect, č. 3 - optické dráhy snímání objektu (člověka) senzory, č. 4 - rovina snímání objektu (člověka), č. 5 - pohybující se objekt (člověk) a č. 6 - směr pohybu objektu (člověka).

Senzory 1 jsou umístěny na začátku místnosti (chodby) ve výšce cca 1,5 - 2,5 m nad zemí v opačných rozích a nasměrovány tak, aby byly schopny snímat rovinu 4. Senzory 2 jsou umístěny do stejné výšky na protilehlou stranu místnosti (chodby) a opět nasměrovány tak, aby byly schopny snímat rovinu snímání 4.

Příklad základního principu diferenčního snímání je na Obrázek 3. Zde č. 1 značí přední senzor Kinect, č. 2 - zadní senzor Kinect, č. 3 - optické dráhy snímání objektu (člověka) senzory, č. 4 - rovina snímáni objektu (člověka), č. 5 - pohybující se objekt (člověk) a č. 6 - směr pohybu objektu (člověka).

• # »

Senzor 1 je umístěn na začátku místnosti (chodby) ve výšce cca 0,5 - 1 m nad zemí uprostřed stěny a nasměrován tak, aby byl schopen snímat rovinu 4. Senzor 2 je umístěn do stejné výšky na protilehlou stranu místnosti (chodby) a opět nasměrován tak, aby byl schopen snímat rovinu snímání 4.

Předpokládaný snímaný prostor je následujících rozměrů (délka x šířka x výška): 8-10 m χ 1,5-3 m x 3-4 m.

Senzory 1 i 2 jsou připojeny k záznamovému a vyhodnocovacímu zařízení (počítači), který provádí jak záznam, tak následnou analýzu pohybu.

Objekt (člověk) 5 se pohybuje ve směru šipky 6 od senzorů 2 směrem k senzorům 1. Po celou dobu pohybu je snímán senzory 1 a 2. Díky symetrii uspořádání měřicího systému je pohyb objektu (člověka) možný i opačným směrem.

Vyhodnocovací jednotka sestavuje model objektu (člověka) z dat té dvojice senzorů 1 nebo 2, které mají vzhledem ke vzdálenosti od objektu 5 vyšší přesnost, tj. z těch, které jsou blíže. Jinými slovy, ve chvíli, kdy přesnost senzorů 2 je nedostatečná k vyhodnocení pohybu (objekt se vzdálil za polovinu délky chodby), budou použita data ze senzorů 1 a analogicky při pohybu opačným směrem.

Průmyslová využitelnost

Zařízení je primárně určeno pro vyšetřování pacientů s protézou (případně ortézou) dolní končetiny. Jedná se o vyšetření kontrolující kvalitu provedení protézy a stím spojené její správné nasazení a nastavení. Kvalita se objektivně zjišťuje na základě vyhodnocování snímků pohybu pacienta s danou protézou.

Vyšetření spočívá ve vyhodnocení pohybu sestaveného modelu objektu, který je získán na základě naměřených obrazových dat (hloubkových map). Model obsahuje informaci o kvalitě chůze s danou protézou (ortézou). Po nasnímání dat je průběh pohybu pacienta s protézou vyhodnocen pomocí výpočetní techniky. Vyhodnocení může probíhat buď off-line po nasnímání celého průběhu chůze nebo on-líne přímo v záznamovém a vyhodnocovacím zařízení (počítači).

Vzhledem k tomu, že umístění zařízení pro snímání pohybu bude v budovách, kde je možné využívat jen stísněné prostory, je systém koncipován tak, aby ho bylo možné využít právě v takovýchto prostorách, kde je často k dispozici právě jen úzká chodba. Důležité pro vyšetření pacienta je potřeba nasnímat dostatečně dlouhý úsek, který se může pohybovat od cca 5 do 10 m.

Využití senzorů Kinect je obecně vhodné v úzkém prostoru daném šířkou cca 1 - 2 m a délkou cca 10 m díky jeho jednoduchosti ovládání, komerční dostupnosti a přesnosti v daném měřítku snímání.

Claims (2)

1. PATENTOVÉ NÁROKY

   1. Zařízení pro bezkontaktní snímání pohybu dolních končetin člověka v prostoru, vyznačující se tím, že pro snímání pohybu člověka využívá minimálně dvou hloubkových senzorů Kinect symetricky umístěných v prostoru proti sobě a v takové vzdálenosti, aby bylo možné snímat vzdálenost a zaznamenávat pohyb člověka, který se pohybuje v prostoru mezi nimi a to směrem od jednoho hloubkového senzoru ke druhému, přičemž snímaný člověk může tvořit překážku ve viditelnosti jednoho hloubkového senzoru na druhý.
2. 2. Zařízení pro bezkontaktní snímání pohybu dolních končetin člověka v prostoru dle nároku 1, vyznačující se tím, že využívá dvojici hloubkových senzorů Kinect pro snímání člověka zepředu a dvojici hloubkových senzorů Kinect pro snímání člověka zezadu, přičemž vzdálenost mezi dvojicemi hloubkových senzorů je větší, než stejně velká vzdálenost mezi jednotlivými hloubkovými senzory Kinect každé dvojice hloubkových senzorů.