CZ306519B6

CZ306519B6 - Způsob poskytnutí překladu televizního vysílání do znakové řeči a zařízení k provádění tohoto způsobu

Info

Publication number: CZ306519B6
Application number: CZ2015-628A
Authority: CZ
Inventors: Zdeněk Krňoul
Original assignee: Západočeská Univerzita V Plzni
Priority date: 2015-09-15
Filing date: 2015-09-15
Publication date: 2017-02-22
Also published as: CZ2015628A3

Abstract

Způsob poskytnutí překladu televizního vysílání do znakové řeči je proveden tak, že alespoň jedna osoba zadává posloupnost klíčových slov a/nebo příkazů přes hardwarové rozhraní (3) do převodníku (4). Tím vytváří překlad vysílání do znakového jazyka ve formě transkripce obsahující příkazy, které jsou převedeny na časovou posloupnost číselných identifikátorů glos znaků, doprovázených textem vyjádřenou notací glosy v daném notačním systému a identifikátorem řídicí instrukce. Transkripce je po odvysílání zdrojem (1) přijímána přijímačem (2) společně s daty vysílání a je převedena pomocí druhého převodníku (4´) a grafického modelu lidské postavy na obraz znakující postavy (5), který je zobrazitelný společně s obrazem vysílání. Je výhodné, pokud přijímač (2) před zobrazením pozdrží data vysílání o konstantní dobu nezbytnou pro vytvoření obrazu znakující postavy (5). Zařízení využitelné pro popsaný způsob obsahuje výpočetní jednotku s pamětí a vstupní člen pro příjem televizního vysílání a je uzpůsobeno k příjmu překladu vysílání do znakového jazyka ve formě transkripce.

Description

Způsob poskytnutí překladu televizního vysílání do znakové řeči a zařízení k provádění tohoto způsobu

Oblast techniky

Vynález se týká způsobu doplnění obrazu znakující postavy na obrazovku televizního diváka. Zařízení umožňuje zaznamenat překlad vysílání do znakového jazyka formou transkripce, která je přenesena k televiznímu divákovi a převod transkripce v televizním zařízení na animaci grafického modelu znakující lidské postavy zobrazené na obrazovce společně s obrazem vysíláním.

Dosavadní stav techniky

V mnoha zemích je ze zákona předepsána povinnost poskytovatelů televizního vysílání eliminovat diskriminaci, která je způsobena lidem (televizním divákům) jejich hendikepem. Podobně i sluchově postiženým občanům je určeno právo na doplňování doprovodných titulků nebo tlumočení do znakového jazyka k televiznímu vysílaní. Znakový jazyk je komunikační prostředek představovaný vizuálními gesty, která jsou složena z pohybu trupu, rukou, tvaru rukou a výrazu tváře a úst komunikující osoby. Znakové jazyky mají vlastní zásobu slov (znaků) a gramatiku. V současné době překlad z mluveného jazyka do znakového jazyka poskytují překladatelé do znakové řeči pohybem svého těla. Tito překladatelé jsou buď slyšící osoby a znakový jazyk se naučili jako druhý jazyk, nebo nativní mluvčí znakového jazyka (neslyšící), kteří umějí číst a překládají z textu a mluvený jazyk se naučil jako svůj druhý jazyk.

V současné době jsou vybrané pořady televizního vysílání doplňovány o simultánní překlad do znakového jazyka. Tento překlad je ve formě video obrazu znakující osoby zachycený nejčastěji video kamerou a vložením tohoto obrazu do obrazu hlavního pořadu. Vložení do obrazu bývá často provedeno na straně poskytovatele vysílání a video obraz znakující osoby se stává součástí obrazu vysílání pro všechny televizní diváky. Tento vložený obraz má menší rozměr než rozměr obrazu hlavního vysílání, často je umístěn do rohu obrazovky tak, aby minimálně zakrýval důležité části obrazu vysílaného pořadu, popř. se jeho pozice mění během pořadu.

Jiným typem televizního vysílání jsou v současné době pořady přímo vyrobené a vysílané pro sluchově postižené diváky. V tomto případě nedochází k doplňování video obrazu znakující osoby do obrazu vysílání, ale pořad přímo obsahuje komunikaci osob ve znakovém jazyce.

Jinou a méně častou variantou je přenos video obrazu zachycující vysílání ve znakovém jazyku samostatně jako druhá obrazová stopa vysílání, například jako součást DVB MPEG-2 transport streamu daného pořadu. Samostatný přenos video obrazu, sice v dané datové kompresi, má přesto vyšší datový tok, může zachycovat podobu skutečné osoby v daném a divákem nezměnitelném pohledu. Naopak video obraz vytvořen uměle v přijímači za pomoci grafického modelu lidské postavy tyto nedostatky odstraňuje.

„Znakující avatar“ (signing avatar) je počítačový program vytvářející video obraz pohybující se lidské postavy uměle za použití grafického modelu lidské postavy často trojrozměrného (3D). Program podle změny parametrů modelu generuje animaci (video obraz), která věrně napodobuje osobu komunikující znakovou řečí. Tímto způsobem získaný video obraz může nahradit video obraz skutečné znakující osoby získaný video kamerou. Sluchově postižené osoby komunikující znakovým jazykem vnímají tuto animaci zrakem a rozumějí promlouvanému obsahu.

Je obecně známé, že pohyb tohoto modelu je odvozen z předem daných animačních parametrů. Za běhu se změnou hodnot těchto parametrů mění i tvar modelu „póza postavy“ a tedy je vytvořen pohyb znakujícího avatara (tzv. pohybová data). Typ a rozmístění parametrů jsou obecně známé. Parametry jsou zvoleny tak, aby dobře modelovaly pohyb lidského těla, nejčastěji jde o čísel

- 1 CZ 306519 B6 ná vyjádření posunu a otočení řídících bodů a kloubů modelu lidské kostry (pohyb pokožky na povrchu obličeje v místě úponů mimických svalů aj.).

Pohybová data pro znakujícího avatara je možné vytvořit ručně nebo automaticky. Pokud jsou pohybová data vytvořena ručně, pak jde o animaci vytvořenou člověkem (animátorem) často s použitím běžně dostupného software. Jedna z možností získání pohybových dat automaticky je jejich umělé vytvoření podle předem vytvořených pravidel, například pravidlo pro pohyb ruky doprava určuje správná pohybová data. Druhou známou možností je získání pohybových dat z automatického sledování pohybu člověka (motion capture). V tomto případě jsou pohybová data odvozena z pohybu měřeného na člověku za pomoci jedné a více video kamer často speciálních pro snímání 3D prostoru (hloubkový senzor nebo snímání v infračerveném světle), a/nebo speciálních mechanických senzorů měřících ohnutí částí těla. Pro účely automatického sledování pohybu osoby komunikující znakovým jazykem je vhodné použít kombinaci pro sledování pohybu paží, tvaru rukou a tvaru obličeje (handshape tracking, body pose tracking, motion body capture, facial tracking).

Oproti známým způsobům je výhodné nepřenášet ze zdroje vysílání k přijímači tyto pohybová data, ale vytvářet je uměle až v přijímači, neboť pohybová data jsou vázaná na fyzickou podobu použitého grafického modelu (tedy především odlišné proporce těla zdrojového modelu (popř. sledovaného člověka) a grafického modelu) a bez další transformace (character animation retargeting) je nelze využít pro libovolné grafické modely.

Syntéza znakového jazyka je postup, který automaticky převádí mluvený jazyk do znakového jazyka ve formě uměle vytvořeného obrazu podobného obrazu skutečné znakující osoby. Vstupem je obvykle text zachycující promluvu mluveného jazyka. Pokud je vstupem akustický signál, je nejprve tento signál převeden na text pomocí automatického rozpoznávání řeči. Syntéza znakové řeči dále využívá strojový překlad tohoto textu do znakového jazyka a výstup poskytuje často znakující avatar. Syntéza znakového jazyka je prováděna na straně zdroje vysílání a/nebo na straně přijímače například z textové a/nebo zvukové stopy vysílání. V obou případech je syntéza znakového jazyka nepřesná především z důvodu chyb překladu a není vhodné pro vysílání ji v současné době využívat.

Znakové jazyky z principu jejich vzniku nemají psanou formu. Současný výzkumu znakových jazyků (například lingvistika) poskytuje transkripční zápisy, které slouží jako umělá forma psané formy popř. jako forma pro zachycení jejich překladu z mluveného jazyka. Transkripční zápisy mají textovou nebo piktografickou podobu. Zápisy často využívají pro zachycení významu promluvy ve znakovém jazyce glosy, například promluva v mluveném jazyce „... dát knihu“ je zapsáno glosou „DÁT KNIHU“ a/nebo symboly; například použitím transkripce HamNoSys (Hamburský notační systém) nebo SignWriting.

Jsou známé automatické postupy, které generují pohybová data pro znakujícího avatara z takovýchto transkripcí. Tyto postupy jsou vyvinuty s cílem co nejpřesněji převést daný transkripční zápis na pohybová data odpovídající pohybům znakující osoby.

Podstata vynálezu

Podstatou vynálezu je způsob poskytnutí překladu televizního vysílání do znakové řeči. Způsob je prováděn pomocí zdroje na straně provozovatele digitálního vysílání a pomocí přijímače na straně televizního diváka nebo poskytovatele vysílání. Poskytovatelem vysílání se rozumí například poskytovatel kabelového vysílání, který šíří vysílání od provozovatele vysílání dále k televiznímu divákovi kabelového vysílání. Zdroj vysílání poskytuje překlad vysílání do znakového jazyka. Tento překlad je proveden tak, že alespoň jedna osoba zadává posloupnost klíčových slov a/nebo příkazů přes hardwarové rozhraní do převodníku příkazů na transkripci tak, že vytváří

-2CZ 306519 B6 překlad vysílání do znakového jazyka ve formě transkripce. Hardwarovým rozhraním může být například mikrofon, klávesnice a myš.

Není tedy přenášen standardní video obraz znakující osoby poskytující tímto překlad vysílání, ale televizní vysílání je na straně zdroje doplněno o informace zachycující překlad vysílání postačující pro umělé vytvoření video obrazu znakující postavy v přijímači.

Oproti známým způsobům vynález uvažuje tyto informace ve formě transkripce, nikoli záznam obrazu a/nebo pohybu osoby nebo použitím syntézy znakového jazyka. Transkripce jednoho znaku znakového jazyka má podobu kombinace identifikátoru glosy znakového jazyka, transkripčních symbolů a doplňujících řídících instrukcí. Transkripce jsou člověkem vytvářeny popsaným způsobem souběžně se sledováním obrazu a zvuku vysílání, ke kterému je překlad vytvářen. Tímto způsobem vzniká nová časově synchronizovaná stopa vysílání určená k odvysílání.

Transkripce je po odvysílání zdrojem přijímána přijímačem společně s daty vysílání a je převedena pomocí druhého převodníku a grafického modelu lidské postavy na obraz znakující postavy, který je zobrazitelný společně s obrazem vysílání.

Ve výhodném provedení přijímač před zobrazením pozdrží data vysílání o konstantní dobu nezbytnou pro vytvoření obrazu znakující postavy. Tím je zajištěna přesná časová synchronizace vysílání a obrazu znakující postavy.

Transkripce mohou být přeneseny skrytě prostřednictvím vysílání, zejména jako součást teletextové stránky teletextového servisu. To znamená, že transkripce jsou s výhodou přenášeny prostřednictvím běžného vysílání skrytě pro ostatní televizní přijímače - ať již jako zmíněná součást teletextové služby, případně DVB datového servisu, nebo kombinací DVB a internetu.

Transkripce je v přijímači na vyžádání diváka použita pro vytvoření video obrazu znakující postavy, který mu poskytuje dané vysílání ve znakovém jazyce. Video obraz znakující postavy je vytvořen v přijímači uměle za pomoci grafického modelu lidské postavy (znakujícího avatara), modulu řízení a transkripce. Transkripce jsou v přijímači přijímány postupně, souběžně s daty televizního vysílání. Ihned po přijetí modul řízení převede informaci z transkripce na pohybová data a modul znakujícího avatara převede pohybová data na video obraz znakující postavy. Krátké časové zpoždění této konverze způsobené jejími vyššími výpočetními nároky na přijímač může být kompenzováno uvedeným časovým pozdržením vysílání v přijímači o konstantní dobu.

Souvisejícím vynálezem je zařízení pro příjem televizního vysílání obsahujícího překlad do znakové řeči. Toto zařízení je zejména využitelné pro shora popsaný způsob poskytnutí překladu televizního vysílání do znakové řeči. Zařízení obsahuje výpočetní jednotku s pamětí a vstupní člen pro příjem televizního vysílání. Vstupním členem je například anténa nebo anténní konektor, apod. Zařízení je uzpůsobeno k příjmu překladu vysílání do znakového jazyka ve formě transkripce. Toto zařízení může být obsaženo v televizním přijímači, nebo v set top boxu, počítač s možností příjmu televizního vysílání apod. Konstrukce zařízení obsahuje přijímací členy (např. tuner a anténu, nebo vstupy pro příjem vysílání) a paměť potřebnou pro vytvoření obrazu znakující postavy včetně jeho časové synchronizace s vysíláním. Zařízení je uzpůsobeno k reprodukci televizního vysílání (tzn. zpravidla opatřeno obrazovkou a reproduktory) nebo je k takovému zařízení připojitelné přes obrazové a zvukové výstupy.

Vynález využívá překlad vysílání do znakového jazyka vytvořený člověkem (tlumočníkem znakového jazyka) a nikoli strojem prováděný překlad zvukových a/nebo textových dat vysílaného pořadu. Vynález využívá pro vytvoření tohoto překladu transkripci, která je formou příkazů do počítače člověkem zadávána hlasem a přes počítačovou klávesnici a myš a nikoli překlad vytvořený člověkem založený na záznamu pohybu jeho těla při znakování. Například člověk zadá do zařízení svým hlasem příkaz „dát knihu“, zařízení zjeho hlasu identifikuje glosu „DÁT KNIHU“, na obrazovce se mu ukáže daná glosa a symbolický zápis této glosy v daném notačním

-3 CZ 306519 B6 systému, člověk volitelně přes klávesnici a myš zápis upřesní a připojí další instrukce, například „ID TAZACÍ“, „IDARTIKULACE“ aj. Tento postup je opakován, dokud není vytvořena transkripce celého vysílání.

Objasnění výkresů

Příkladné provedení navrhovaného řešení je popsáno s odkazem na výkresy, na kterých je na obr. 1 - schéma poskytnutí překladu do znakové řeči.

Příklad uskutečnění vynálezu

Příkladné provedení způsobu překladu televizního vysílání do znakové řeči je realizováno pomocí zdroje 1 vysílání na straně provozovatele digitálního vysílání a pomocí přijímače 2 vysílání na straně televizního diváka. Zdroj 1 vysílání je určen pro vytváření transkripcí zachycující překlad vysílání do znakového jazyka. Tyto transkripce zadává přes hardwarové rozhraní 3 do převodníku 4 překladatel znakového jazyka hlasovými příkazy, které jsou převedeny na časovou posloupnost číselných identifikátorů glos znaků, doprovázených textem vyjádřenou notací glosy v Hamburském notačním systému (HamNoSys) a identifikátorem řídící instrukce.

Transkripce jsou časově synchronizovány s vysíláním a přenášeny prostřednictvím teletextové služby podobně jako doprovodné titulky. Obraz a zvuk přenesený ze zdroje 1 vysílání je na straně přijímače 2 vysílání doplněn o obraz znakující postavy 5 vytvořený z transkripce a zobrazený v rohu obrazovky.

Přijímač 2 v tomto příkladu přestavuje set-top-box opatřený digitálním tunerem, vstupním členem v podobě antény a HDMI výstupem propojeným na HDMI vstup běžného televizního přijímače. Přijímač 2 přijímá data televizního vysílání, čte transkripce z teletextové služby, opožďuje obraz a zvuk vysílání o 20 sekund, vytváří pohybová data pro grafický model lidské postavy (animaci), vytváří obraz znakující postavy pomocí znakujícího avatara a se správnou časovou synchronizací zobrazuje obraz znakující postavy překrývající v pravém dolním rohu obrazovky obraz vysílání.

Claims

PATENTOVÉ NÁROKY

1. Způsob poskytnutí překladu televizního vysílání do znakové řeči, který je prováděn pomocí zdroje (1) na straně provozovatele digitálního vysílání a pomocí přijímače (2) na straně televizního diváka nebo poskytovatele vysílání, kde zdroj (1) vysílání poskytuje překlad vysílání do znakového jazyka, přičemž tento překlad je proveden tak, že alespoň jedna osoba zadává posloupnost klíčových slov a/nebo příkazů přes hardwarové rozhraní (3) do převodníku (4) a překlad je na straně televizního diváka nebo poskytovatele vysílání pomocí převodníku (4') a grafického modelu lidské postavy převeden na obraz znakující postavy (5), který je zobrazitelný společně s obrazem vysílání, vyznačující se tím, že

-4CZ 306519 B6 překlad vysílání do znakového jazyka je ve formě transkripce obsahující příkazy, které jsou převedeny na časovou posloupnost číselných identifikátorů glos znaků, doprovázených textem vyjádřenou notací glosy v daném notačním systému a identifikátorem řídící instrukce, přičemž transkripce je po odvysílání zdrojem (1) přijímána přijímačem (2) společně s daty vysílání.
2. Způsob poskytnutí překladu televizního vysílání do znakové řeči podle nároku 1, vyznačující se tím, že přijímač (2) před zobrazením pozdrží data vysílání o konstantní dobu nezbytnou pro vytvoření obrazu znakující postavy (5).
3. Způsob poskytnutí překladu televizního vysílání do znakové řeči podle nároku 1, vyznačující se tím, že transkripce jsou přeneseny skrytě prostřednictvím vysílání, zejména jako součást teletextové stránky teletextového servisu.
4. Zařízení pro příjem televizního vysílání obsahujícího překlad do znakové řeči, zejména využitelné pro způsob poskytnutí překladu televizního vysílání do znakové řeči podle některého z nároků 1 až 3, obsahující výpočetní jednotku s pamětí, vstupní člen pro příjem televizního vysílání, vyznačující se tím, že dále obsahuje

- modul řízení pro převod informace z transkripce na pohybová data;

- modul znakujícího avatara pro převod pohybových dat na video obraz znakující postavy.