BE1030666B1

BE1030666B1 - Handbeweging- of handposeherkenning voor smartglasses

Info

Publication number: BE1030666B1
Application number: BE20225516A
Authority: BE
Inventors: Jan Dheeden; Bruno Dheedene; Benoit Quirynen; Dario Vuljanic; Dalibor Kofjac
Original assignee: Rods&Cones Holding Bv
Priority date: 2022-06-28
Filing date: 2022-06-28
Publication date: 2024-01-30
Also published as: BE1030666A1

Abstract

De huidige uitvinding betreft een verbeterde werkwijze voor het beheren van audio-intake, en in het bijzonder het inschakelen daarvan, tijdens videoconferenties voor een medische gebruiker in een steriele ruimte.

Description

1 BE2022/5516

HANDBEWEGING- OF HANDPOSEHERKENNING VOOR SMARTGLASSES

TECHNISCH DOMEIN

De uitvinding heeft betrekking op een verbeterde werkwijze van het beheren van videoconferenties op een handenvrije wijze.

STAND DER TECHNIEK

Bij medische ingrepen, en andere procedures in een steriele omgeving (zoals bepaalde handelingen in een clean room en gelijkaardige situaties), wordt steeds meer nadruk gelegd op contactloos ageren, en moet door de aanwezige personen zo veel mogelijk vermeden worden om te interageren met andere objecten, in het bijzonder met hun handen, gezien deze steriel moeten blijven om op een later moment bepaalde handelingen uit te voeren.

In een medische omgeving, moet gerekend worden dat een chirurg reeds een geruime tijd voor de procedure begint steriel moet zijn, en vervolgens niet meer mag interageren met zaken die niet steriel zijn. Echter, in de huidige operatiekamers staan onder meer een groot aantal medische instrumenten waarmee geïnterageerd kan worden, maar dit brengt de steriliteit in gevaar.

Daarnaast wordt bij medische ingrepen steeds vaker beroep gedaan op experts uit meerdere gebieden, zeker bij complexe ingrepen. Echter, deze kunnen moeilijk allen fysiek aanwezig zijn door de beperkte ruimte in een OK, maar evenzeer omdat elke extra persoon de steriliteit verder in gevaar brengt, en ook de voorbereiding voor elke procedure veel omslachtiger en langer maakt.

Een oplossing waar steeds vaker naar teruggegrepen wordt is videoconferencing, waarbij de experts de persoon (of personen) die fysiek aanwezig is in de steriele ruimte kunnen assisteren en raad geven. In deze toepassing wordt daarbij ook vaak beroep gedaan op smart glasses of andere draagbare toestellen met één of meerdere beeldsensoren, zodat de persoon ter plaatse zijn handen vrij heeft, en de remote experts een gelijkaardig beeld hebben als de persoon ter plaatse, en zo onderling beter kunnen afstemmen. Hierbij is het ook voordelig dat ze de persoon ter plaatse duidelijk kunnen aansturen door het sterk overlappende gezichtsveld tussen de beeldsensor (wat de remote experts zien) en het zicht van de persoon ter plaatse.

2 BE2022/5516

Het blijft echter een probleem om de videoconferentie te configureren, gezien dit in eerste instantie door de persoon in de steriele omgeving dient te gebruiken, die toegang heeft tot de instrumentatie en ook overzicht heeft wie nodig is bij de videoconferentie.

Eén van de problemen die erkend worden in deze context, is de moeilijkheid voor het handenvrij beheren van de videoconferentie en randapparatuur voor de (medische) gebruiker in de steriele ruimte. Specifiek zit een moeilijkheid in het feit dat audio intake, en specifiek voice command (spraakcommando's), in sommige omstandigheden - tijdelijk — uitgeschakeld moeten worden om te vermijden dat ongeautoriseerde gebruikers bepaalde apparatuur of de videoconferentie kunnen manipuleren hiermee, of er conflicten zijn met omgevingsgeluid. Anderzijds is er ook de wens voor de persoon ter plaatse om diens stem (en/of ander omgevingsgeluid) niet langer te delen in de videoconferentie, hetzij om de andere partijen niet te storen, hetzij om privacy-redenen, hetzij omdat de persoon ter plaatse zich hier ongemakkelijk bij voelt.

In bovenstaande situatie is het echter vervolgens niet mogelijk voor de gebruiker ter plaatse om voice command terug in te schakelen, gezien de gebruiker ter plaatse handenvrij moet werken, en voice command uitgeschakeld is. Een optie bestaat er in een zogenaamde circulation nurse of andere persoon die wel zijn handen kan gebruiken, in te schakelen om audio intake, en zo ook voice command, terug in te schakelen. Een ander alternatief is te proberen de wens om dit terug in te schakelen kenbaar te maken aan een remote gebruiker die een bepaalde hoeveelheid controle heeft over de videoconferentie en dit terug kan inschakelen, bijvoorbeeld via vooraf afgesproken signalen. Zo wordt er echter afgehangen van deze remote gebruiker en diens controle over de videoconferentie, wat niet wenselijk is.

In WO2022/035910 wordt een systeem en werkwijze beschreven voor het houden van videoconferenties in medische toepassingen, waarbij hoofdbewegingen gebruikt worden om bepaalde menukeuzes en andere manipulaties te activeren. Dit is echter niet wenselijk gezien tijdens een operatie veel simpele hoofdbewegingen al gebruikt worden, en het gebruik van complexere hoofdbewegingen alles nodeloos moeilijker maat. Bovendien beïnvloedt dit de positionering van het hoofd van de gebruiker ter plaatse, terwijl diens gezichtsveld bij voorkeur stabiel gehouden moet worden, of het nu is om zelf een goed overzicht te behouden op elk moment, of om de remote gebruikers een stabiel en continu zicht te blijven geven.

3 BE2022/5516

De huidige uitvinding beoogt een oplossing te vinden voor tenminste enkele van bovenvermelde problemen, en voorziet een intuïtieve, eenvoudige werkwijze die een persoon toestaat om handenvrij een videoconferentie te beheren.

SAMENVATTING VAN DE UITVINDING

De uitvinding betreft een verbeterde werkwijze voor het beheren van een videoconferentie tussen een medische gebruiker die zich in een steriele ruimte bevindt, bij voorkeur tijdens een medische behandeling in de steriele ruimte, en één of meerdere remote gebruikers, waarbij de gebruiker in de steriele ruimte een draagbare, handenvrije beeldsensor draagt, waarbij een tweede, bij voorkeur stationaire, beeldsensor voorzien is in de steriele ruimte, de tweede beeldsensor deelnemend in de videoconferentie, en waarbij een microfoon voorzien is in de steriele ruimte, bij voorkeur op de draagbare handenvrije beeldsensor, de microfoon deelnemend in de videoconferentie, de werkwijze omvattende volgende stappen.

De werkwijze omvat volgende stappen: a. het delen van video-input van de draagbare, handenvrije beeldsensor in de videoconferentie; b. het delen van audio-input van de microfoon in de videoconferentie; c. optioneel het delen van additionele video- en/of audio-input van één of meerdere van de remote gebruikers in de videoconferentie; d. het uitschakelen van audio-intake via de microfoon of het uitgeschakeld zijn van audio-intake via de microfoon, waarbij de audio-input van de microfoon niet gedeeld wordt over de videoconferentie wanneer de audio-intake via de microfoon uitgeschakeld is; e. het detecteren van een handbeweging of handpose met de tweede beeldsensor; f. het herkennen van een voorafbepaalde handbeweging of voorafbepaalde handpose in de door de tweede beeldsensor gedetecteerde handbeweging of handpose; g. het inschakelen van de audio-intake via de microfoon bij herkenning van de voorafbepaalde handbeweging of de voorafbepaalde handpose met de tweede beeldsensor, waarbij de audio-input van de microfoon gedeeld wordt over de videoconferentie wanneer de audio-intake via de microfoon ingeschakeld is.

4 BE2022/5516

Bij voorkeur is de draagbare, handenvrije beeldsensor deel van een hoofdgedragen toestel (HMD of head-mounted device), en in het bijzonder van smartglasses.

Door aan de hand van handbewegingen en/of handposes te werken, waarbij voorafbepaalde (voorgeprogrammeerde) bewegingen/poses geassocieerd zijn aan een bepaalde actie, hier in het bijzonder het inschakelen van audio-intake via de microfoon in de steriele ruimte, is de persoon ter plaatse in staat gesteld om dit terug in te schakelen zonder zijn of haar handen te gebruiken, en daarbij bijvoorbeeld steriliteit te verbreken.

Het dient opgemerkt te worden dat niet alle deelnemende apparaten/instrumenten in de videoconferentie ook effectief gedeeld worden in de videoconferentie. Zo kan bijvoorbeeld data van een bepaald instrument passief beschikbaar zijn in de videoconferentie, maar slechts op verzoek van een gebruiker (tijdelijk) gedeeld worden, of wordt een bepaalde audio-feed gebruikt om de videoconferentie aan te sturen via spraakcommando's, zonder dat deze audio-feed effectief beluisterd kan worden in de videoconferentie. Daarnaast is het natuurlijk ook mogelijk om bepaalde feeds van deelnemende apparaten/instrumenten expliciet uit te sluiten van gedeeld worden in de videoconferentie.

Hierbij dient het opgemerkt te worden dat de toepassing van de werkwijze niet noodzakelijk beperkt is tot een medische context, maar ook daarbuiten kan gebruikt worden, zoals in clean rooms of andere contexten waar manueel contact met objecten ongewenst is, moeilijk of onmogelijk is, of vermeden moet worden, maar ook in toepassingen waarin dit wel mogelijk is, zoals een ‘normale’ videoconferentie. Ook in deze contexten zijn de voordelen van de huidige uitvinding van toepassing.

BESCHRIJVING VAN DE FIGUREN

Figuur 1 toont een schematische opstelling van een steriele ruimte met gebruikers, instrumenten, en de remote gebruikers, volgens een uitvoeringsvorm van de uitvinding.

Figuur 2 geeft een schematische voorstelling van de grafische presentatie weergegeven bij een remote gebruiker die deelneemt aan een videoconferentie, volgens een uitvoeringsvorm van de uitvinding.

GEDETAILLEERDE BESCHRIJVING

Tenzij anders gedefinieerd hebben alle termen die gebruikt worden in de beschrijving van de uitvinding, ook technische en wetenschappelijke termen, de betekenis zoals 5 ze algemeen begrepen worden door de vakman in het technisch veld van de uitvinding. Voor een betere beoordeling van de beschrijving van de uitvinding, worden de volgende termen expliciet uitgelegd. “Een”, ”de” en “het” refereren in dit document aan zowel het enkelvoud als het meervoud tenzij de context duidelijk anders veronderstelt. Bijvoorbeeld, “een segment” betekent een of meer dan een segment.

Wanneer “ongeveer” of “rond” in dit document gebruikt wordt bij een meetbare grootheid, een parameter, een tijdsduur of moment, en dergelijke, dan worden variaties bedoeld van +/-20% of minder, bij voorkeur +/-10% of minder, meer bij voorkeur +/-5% of minder, nog meer bij voorkeur +/-1% of minder, en zelfs nog meer bij voorkeur +/-0.1% of minder dan en van de geciteerde waarde, voor zoverre zulke variaties van toepassing zijn in de beschreven uitvinding. Hier moet echter wel onder verstaan worden dat de waarde van de grootheid waarbij de term “ongeveer” of “rond” gebruikt wordt, zelf specifiek wordt bekendgemaakt.

De termen “omvatten”, “omvattende”, “bestaan uit”, “bestaande uit”, “voorzien van”, “bevatten”, “bevattende”, “behelzen”, “behelzende”, “inhouden”, “inhoudende” zijn synoniemen en zijn inclusieve of open termen die de aanwezigheid van wat volgt aanduiden, en die de aanwezigheid niet uitsluiten of beletten van andere componenten, kenmerken, elementen, leden, stappen, gekend uit of beschreven in de stand der techniek.

Instrumenten/toestellen die deelnemen aan de videoconferentie delen een eigen data-feed (video, audio en/of andere) die beschikbaar gesteld wordt in de videoconferentie, en al of niet gevisualiseerd, afgespeeld of weergegeven wordt op een andere manier, en/of ontvangen de data-feed van de videoconferentie, typisch vanuit een server, en spelen deze af (visueel, auditief en/of andere). In wat volgt zal duidelijk blijken of een instrument/toestel eigen data-feed deelt en/of de data-feed van de videoconferentie ontvangt, wat vaak ook logisch volgt uit het type instrument/toestel. Tenzij anders aangegeven mag uitgegaan worden dat data- creërende instrumenten/toestellen (bvb. elektrocardiograaf, endoscoop, camera,

6 BE2022/5516 microfoon, etc.) de eigen, gecreëerde data-feeds delen met de videoconferentie en optioneel ook de data-feed van de videoconferentie ontvangen, en dat instrumenten/toestellen die niet overduidelijk eigen data creëren (bvb. beeldscherm, geluidsinstallatie) enkel de data-feed van de videoconferentie ontvangen.

De termen “handgebaren”, “handbewegingen” en “handposes” zijn in wat volgt gebruikt als synoniemen voor de eenvoud tenzij expliciet anders aangegeven, waarbij zowel specifieke sequenties van handpositioneringen (bewegingen/gebaren) als enkelvoudige positioneringen (poses) worden beschouwd als deel uitmakend hiervan.

Het citeren van numerieke intervallen door de eindpunten omvat alle gehele getallen, breuken en/of reële getallen tussen de eindpunten, deze eindpunten inbegrepen.

In een eerste aspect een werkwijze voor het beheren van een videoconferentie volgens conclusie 1. Een algemene context wordt onder meer geschetst in

PCT/EP2021/087293, waarin een specifieke methodologie voor het handenvrij opzetten en beheren van videoconferenties in een medische context beschreven is, maar de huidige methode is hier niet toe beperkt. Het gebruik van videoconferenties in een medische context gebeurt steeds vaker, onder meer omdat dit het mogelijk maakt om expertise van heel veel bronnen op een zeer eenvoudige manier beschikbaar te maken, zonder gebonden te zijn aan geografische nabijheid, vereisten naar steriliteit, bewegingsruimte, voorbereiding, etc., voor de andere deelnemers. Zo kunnen specialisten op elk aspect (tijdelijk) ingeschakeld worden tijdens een medische procedure, zonder grote impact op deze specialisten of op de locatie zelf.

Alleen al op vlak van de reductie van gevaar voor een patiënt door vermindering van aanwezig personeel, is dit ongelofelijk waardevol.

Zoals al besproken, biedt de huidige uitvinding aanzienlijke voordelen in de context van een medische aangelegenheid waar de gebruiker die de handenvrije beeldsensor draagt, enkel via stemcommando’s kan interageren met de beeldsensor, alsook met veel andere instrumenten. In de praktijk bleek dat tijdens videoconferenties, hier nieuwe problemen mee gepaard gingen, onder meer in grotere operatiekwartieren waar een aantal andere instrumenten deel uitmaken van de videoconferentie, in de zin dat output daarvan gedeeld wordt in de videoconferentie, en/of in de zin dat input vanuit de videoconferentie daarop geactueerd wordt. Een aantal van de instrumenten in de steriele ruimte, waaronder vaak ook de beeldsensoren zelf (zoals bijvoorbeeld in de vorm van smartglasses), hebben steeds meer de mogelijkheid om met

7 BE2022/5516 spraakcommando's aangestuurd te worden. Bijkomend is het echter mogelijk om instrumenten die deelnemen aan de videoconferentie, via deze link ook aan te sturen.

Dit kan dan ook voor instrumenten die zelf geen spraakcommando-functionaliteit hebben, door de functionaliteit te integreren in de videconferentie zelf, bij voorkeur waarbij dit gelimiteerd is tot audio-input die langs de microfoon in de steriele ruimte wordt opgepikt, om zo te vermijden dat remote gebruikers onbeperkt deze mogelijkheid hebben.

Bij een herkend commando voor een bepaald instrument (opgepikt door de microfoon), wordt via de videoconferentie-link naar het instrument een aan het herkende commando geassocieerde actie gecommuniceerd waarop het instrument actueert.

Remote gebruikers, al of niet met bepaalde controle over zaken in de videoconferentie (zoals beschreven in bovengenoemde aanvrage) hebben in veel gevallen ook de mogelijkheid om verbaal te communiceren met de andere gebruikers in de videoconferentie, en in het bijzonder met de gebruiker ter plaatse. Zo kan de gebruiker ter plaatse een koptelefoon of oordopjes dragen, maar vaak is er een geluidsinstallatie aanwezig in de steriele ruimte, al of niet geïntegreerd in een ander instrument. Op die manier is het voor de remote gebruikers ook mogelijk om rechtstreeks instrumenten aan te sturen die spraakcommando's gebruiken.

Daarnaast kan er ook gecommuniceerd worden met iedereen aanwezig in de steriele ruimte, die niet noodzakelijk aan de videoconferentie deelneemt.

In sommige situaties, zij het uit privacy-redenen, ter concentratie, of eenvoudigweg omdat het delen van de audio uit de steriele ruimte niet gewenst is, wordt de audio- intake via de microfoon in de steriele ruimte uitgeschakeld.

Bijkomend wil de gebruiker ter plaatse in sommige omstandigheden de mogelijkheid uitschakelen dat andere partijen via spraakcommando's instrumenten ter plaatse aansturen, zonder echter de audio in de steriele ruimte uit te schakelen. Dit kan eenvoudig gebeuren door alle audio-intake uit te schakelen via de microfoon in de steriele ruimte.

In dergelijke situaties is het voor de gebruiker ter plaatse, wiens handen spreekwoordelijk gebonden zĳn, om dit terug in te schakelen, gezien spraakcommando's rekenen op audio-intake via de microfoon, wat uitgeschakeld is, en ze ook niet manueel instellingen kunnen wijzigen.

Om hierbij niet overgeleverd te zijn aan een remote gebruiker die kan raden dat dit terug ingeschakeld moet worden (als een remote gebruiker deze mogelijkheid zelfs al heeft), heeft het systeem volgens de uitvinding een verbetering toegepast van het

8 BE2022/5516 detecteren en herkennen van een handbeweging met een tweede beeldsensor, ook deelnemend in de videoconferentie, en op basis van het al of niet herkennen, automatisch audio-intake via de microfoon terug in te schakelen.

Het herkennen gebeurt via herkenningsalgoritmes die de gedetecteerde beelden analyseren en vergelijken met de voorafbepaalde handbewegingen en/of handposes.

Typisch wordt een bepaalde drempel ingesteld van de mate van herkenning. Onder deze drempel beschouwt het algoritme de gedetecteerde handbeweging/handpose als niet overeenkomend met de voorafbepaalde, en is de herkenningsstap niet voldaan, waardoor de audio-intake uitgeschakeld blijft.

Het spreekt voor zich dat andere handbewegingen en/of handposes kunnen voorgeprogrammeerd zĳn met andere gevolgen (bijvoorbeeld volume verhogen/verlagen, het veranderen van een focus in de videoconferentie naar een andere feed, etc.).

De voorafbepaalde handbeweging of handpose is opgeslagen in een database, toegankelijk voor een server via dewelke de videoconferentie gehouden wordt, en wordt vergeleken met gedetecteerde handbewegingen of handposes. Bij voorkeur worden er gelaagde detectiemethodes worden toegepast, om de computationele last te verlagen, en niet constant vergelijkingen uit te voeren met gecapteerde beelden van de beeldsensoren. Zo kan in eerste instantie gezocht worden naar handen met voldoende zichtbaarheid, en met verdere voorwaarden zoals al of niet stationair zijn daarvan, afhankelijk of de voorafbepaalde trigger een beweging of een pose is. Enkel indien deze voorwaarden voldaan zijn, wordt overgegaan tot de vergelijking met de voorafbepaalde handbeweging of handpose. Er kunnen nog verdere voorwaarden opgelegd worden, zoals een minimale periode van stationair zijn van de hand/de handen.

In bepaalde uitvoeringsvormen zijn meerdere microfoons voorzien in of rond de steriele ruimte, bijvoorbeeld op één of meerdere van medische (beeldvormende) instrumenten die deelnemen aan de videoconferentie.

In een voorkeurdragende uitvoeringsvorm is de microfoon geïntegreerd in de draagbare, handenvrije beeldsensor, en de microfoon en de draagbare, handenvrije beeldsensor bij voorkeur deel uitmaken van smartglasses.

9 BE2022/5516

Het gebruik van smartglasses in operatiezalen is steeds meer in opmars, gezien de enorme voordelen hieraan gekoppeld. Voor de remote gebruikers kan er quasi vanuit het oogpunt van een chirurg of andere medische gebruiker gekeken worden naar de operatie, wat problemen van perspectief sterk verlicht. Bovendien kunnen smartglasses van meerdere camera's voorzien zijn, een ingebouwde microfoon, geluidsinstallatie, etc. om alle communicatie-opties naar en van remote gebruikers mogelijk te maken.

In een voorkeurdragende uitvoeringsvorm is de tweede beeldsensor voorzien aan of op een beeldscherm in de steriele ruimte, waarbij het beeldscherm minstens een gedeelte van een visuele presentatie van de videoconferentie weergeeft.

Door de tweede beeldsensor expliciet te voorzien op het beeldscherm in de steriele ruimte, dat deelneemt aan de videoconferentie, is het eenvoudiger voor de gebruiker ter plaatse om een duidelijk zichtbaar handgebaar te vertonen naar de tweede beeldsensor toe, die stationair is, en vaak op een strategische plaats opgesteld is.

Deze is bij voorkeur gericht naar de zone waar de patiënt typisch gepositioneerd is.

In verder voorkeurdragende uitvoeringsvormen kunnen meerdere tweede beeldsensoren voorzien worden, gespreid over de steriele ruimte, bij voorkeur opnieuw gericht naar een gemeenschappelijke zone waar een patiënt typisch gepositioneerd is, zodat de medische gebruiker uit meerdere perspectieven kan gecapteerd worden en het eenvoudiger is om naar minstens één van de tweede beeldsensoren de handbeweging of handpose kenbaar te maken, zonder dat de medische gebruiker zijn of haar positie drastisch moet aanpassen, of zich specifiek moet richten naar een enkelvoudige tweede beeldsensor. Bovendien is het op deze manier ook mogelijk om meervoudige bevestiging te krijgen van het herkennen van de handbeweging of handpose, vanuit meerdere perspectieven.

In een voorkeurdragende uitvoeringsvorm, omvat de werkwijze volgende stappen: - het detecteren van een handbeweging of handpose met de draagbare, handenvrije beeldsensor; en - het herkennen van een voorafbepaalde handbeweging of voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose;

10 BE2022/5516 waarbij het inschakelen van de audio-intake gebeurt bij herkenning van de voorafbepaalde handbeweging of de voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose

Bijkomend kan de draagbare beeldsensor ook gebruikt worden om het handgebaar te detecteren, en op basis van de beelden van de draagbare beeldsensor deze te herkennen en de audio-intake in te schakelen. Dit is in het bijzonder nuttig voor situaties waarin de medisch gebruiker zich niet kan positioneren zodanig dat de tweede beeldsensor het handgebaar kan detecteren.

In een voorkeurdragende uitvoeringsvorm omvat de werkwijze volgende stappen: - het detecteren van een handbeweging of handpose met de draagbare, handenvrije beeldsensor; en - het herkennen van een voorafbepaalde handbeweging of voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose; waarbij het inschakelen van de audio-intake gebeurt bij substantieel gelijktijdige herkenning van de voorafbepaalde handbeweging of de voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose en in de door de tweede beeldsensor gedetecteerde handbeweging of handpose.

De bovenstaande uitvoeringsvorm biedt een hogere graad van zekerheid dat het inschakelen gewenst is, door te eisen dat de gedetecteerde handbeweging of handpose simultaan waargenomen wordt in de tweede en de handenvrije beeldsensor. Op die manier is het waarschijnlijker dat het handgebaar een bewuste actie betreft van de gebruiker ter plaatse, gezien het handgebaar specifiek in het gezichtsveld van beide beeldsensoren moet uitgevoerd worden. De bijkomende voorwaarde zorgt er typisch ook voor dat er vanuit twee verschillende perspectieven naar het handgebaar gekeken wordt, wat de betrouwbaarheid van de match met de voorafbepaalde handbeweging of handpose en de gedetecteerde versie ervan aanzienlijk verhoogt.

In een voorkeurdragende uitvoeringsvorm, is een geluidsinstallatie voorzien in of nabij de steriele ruimte, voor het afspelen van audio in de steriele ruimte, waarbij de geluidsinstallatie gekoppeld is in de videoconferentie voor het afspelen van audio uit de videoconferentie.

11 BE2022/5516

Het gebruik van de geluidsinstallatie in de videoconferentie levert een aantal voordelen op naar communicatie toe, zodat met alle aanwezigen in en rond de steriele ruimte kan gecommuniceerd worden, maar levert anderzijds de eerder vernoemde complicatie op dat remote gebruikers via spraakcommando's instrumenten in en rond de steriele ruimten zouden kunnen aansturen. Zoals gezegd, door het uitschakelen van audio-intake van de microfoon in de steriele ruimte, kan dit onmogelijk gemaakt worden, met de provisie van de uitvinding om dit handenvrij terug in te schakelen.

In een verder voorkeurdragende uitvoeringsvorm, kan het inschakelen van de audio- intake via de microfoon niet geactiveerd worden via spraakcommando of stemherkenning.

Zoals aangegeven, zijn er veel situaties geluidsinstallaties aanwezig in de steriele ruimte, die deelnemen aan de videoconferentie. Om te vermijden dat remote gebruikers spraakcommando's kunnen geven aan instrumenten en toestellen in de steriele ruimte, kunnen spraakcommando's per definitie uitgeschakeld zijn.

In een voorkeurdragende uitvoeringsvorm, is de draagbare, handenvrije beeldsensor aanstuurbaar via spraakcommando's wanneer audio-intake via de microfoon ingeschakeld is.

In bepaalde variaties worden spraakcommando's wel toegelaten, maar enkel als audio-intake via de microfoon ingeschakeld is. Dit biedt onder meer het voordeel dat remote gebruikers de lokale instrumenten wel kunnen aansturen indien een geluidsinstallatie aanwezig is (die deelneemt aan de videoconferentie), en ze op die manier via de microfoon ter plaatse commando's kunnen geven. Anderzijds, bij afwezigheid van een geluidsinstallatie in de steriele ruimte, is verzekerd dat remote gebruikers de lokale instrumenten niet kunnen aansturen, wat voordelen biedt naar de controle van het personeel ter plaatse, zodat de instrumenten geen conflicterende of ongewenste commando's kunnen krijgen.

In een verder voorkeurdragende uitvoeringsvorm, omvat de werkwijze volgende stappen: - het delen van additionele audio-input van één of meerdere van de remote gebruikers in de videoconferentie; en

12 BE2022/5516 - het aansturen van de draagbare, handenvrije beeldsensor via spraakcommando of stemherkenning toegepast op de additionele audio-input, bij voorkeur waarbij het aansturen van de beeldsensor via de additionele audio-input enkel mogelijk is wanneer audio-intake via de microfoon ingeschakeld is.

In een verder voorkeurdragende uitvoeringsvorm, omvat het aansturen van de beeldsensor minstens het manipuleren van focus en contrast van de beeldsensor.

Voor een remote gebruiker is de feed van de beeldsensoren in de steriele ruimte (kan in principe een handenvrije, draagbare beeldsensor zijn, of een tweede beeldsensor) de voornaamste manier om inzage te kijken in wat in de steriele ruimte gebeurt.

Door de remote gebruikers de mogelijkheid te bieden om via spraakcommando de beeldsensor aan te sturen, krijgen deze meer opties om te interageren met de procedure in de steriele ruimte, maar kan de gebruiker ter plaatse dit naar wens nog steeds deactiveren.

Belangrijke parameters die gemanipuleerd kunnen worden voor de beeldsensoren zijn onder meer contrast, focus, maar evengoed zoom, bijkomende belichting, of zelfs oriëntatie (bvb. tweede beeldsensor op een pivoteerbare voet).

In een voorkeurdragende uitvoeringsvorm, is minstens één bijkomende video-input gedeeld in de videoconferentie, de bijkomende video-input afkomstig van een medisch beeldvormend instrument.

Video-input van medisch beeldvormende instrumenten in de videoconferentie kan zeer relevante bijkomende informatie voorzien aan de remote gebruikers. Deze kunnen deze informatie bovendien veel dynamischer benutten dan de persoon ter plaatse, die typisch handenvrij moet werken, terwijl de remote gebruikers de info kunnen bewerken, voorzien van annotaties, etc.

In een voorkeurdragende uitvoeringsvorm, wordt audio-input en/of video-input van de draagbare, handenvrije beeldsensor en de remote gebruikers via een intermediaire server uitgewisseld tussen de medische gebruiker en de remote gebruikers tijdens de videoconferentie, bij voorkeur via een selective forwarding unit (SFU) server. Hierbij vindt het herkennen van de voorafbepaalde handbeweging of de voorafbepaalde handpose plaats op de intermediaire server, aan de hand van een voorgeprogrammeerde signaaldatabase omvattende handbewegingen en/of

13 BE2022/5516 handposes en daaraan geassocieerde acties, waarbij de acties het manipuleren van de audio-input en/of video-input in de videoconferentie betreft.

Het gebruik van een voorgeprogrammeerde signaaldatabase laat toe om ook andere handbewegingen en handposes op te nemen en acties te associëren hieraan.

Bijkomend is het voorzien van een intermediaire server ook veel voordeliger qua gebruikte bandbreedte. De problemen met peer-to-peer-communicatie beginnen met gesprekken met meerdere partijen. In een scenario met meerdere partijen moet elke deelnemer zijn of haar data naar alle andere deelnemers sturen. Als we aannemen dat er n deelnemers in het gesprek zijn, moet dezelfde datastroom n-1 keer naar de n-1 deelnemers worden verzonden. Dit vereist een aanzienlijke hoeveelheid bandbreedte. Bovendien zijn er ook aanzienlijke rekenkosten voor elk clientapparaat, omdat het dezelfde stream meerdere keren moet coderen. In de praktijk werkt directe peer-to-peer communicatie goed als het aantal gespreksdeelnemers laag is.

Een server, bij voorkeur een centrale SFU-server, is hier dus essentieel om meerdere beeldschermen te kunnen connecteren met het draagbaar apparaat van de persoon in de steriele omgeving op een efficiënte manier. De SFU-server laat toe om de datastroom van één deelnemer uit de n deelnemers slechts één keer te verzenden naar de SFU-server, waarna de SFU-server deze informatie bezorgt aan de n-1 andere deelnemers. Een extra scherm toevoegen gaat zo uitermate efficiënt, omdat de SFU-server zelf de hoeveelheid data kan controleren zodat de bandbreedte niet overschreden wordt. Het gevaar op een tekort aan bandbreedte is dus veel kleiner, waardoor het systeem betrouwbaarder wordt voor de gebruikers.

In een voorkeurdragende uitvoeringsvorm, is de draagbare, handenvrije beeldsensor geïntegreerd in smartglasses, de smartglasses verder omvattende een beeldscherm, waarbij het beeldscherm van de smartglasses de videoconferentie weergeeft.

In een voorkeurdragende uitvoeringsvorm, gebeurt het herkennen van de voorafbepaalde handbeweging of de voorafbepaalde handpose op basis van het vergelijken van de gedetecteerde handbeweging of handpose met een handbewegings- of handposemodel dat met een driedimensionaal model is en/of minstens twee verschillende perspectiefaanzichten omvat op een driedimensionale handbeweging of handpose.

14 BE2022/5516

Door met verschillende perspectieven en/of een 3D model te werken voor de herkenning, wordt verzekerd dat de herkenning onafhankelijk gebeurt van de oriëntatie van de gebruiker ter plaatse. Zo kunnen handposes en handbewegingen ook herkend worden langs de achterzijde, zonder de gebruiker ter plaatse te dwingen zich te heroriënteren, of dienst hand in vreemde bochten te dwingen.

Bijkomend kan verzekerd worden dat een bepaald gewicht gegeven wordt aan bepaalde perspectieven, en/of bepaalde perspectieven uitgesloten, zodat er niet foutief een herkenning gebeurt op basis van een zeer generisch aanzicht (bvb. het beeld van de zijkant van de hand waar weinig pose in te detecteren valt, kan gemakkelijk overeenkomen voor een groot aantal variaties).

In sommige uitvoeringsvormen kunnen meerdere tweede beeldsensoren voorzien zijn in de steriele ruimte, typisch allen gericht naar een centrale, gemeenschappelijke zone (operatietafel bijvoorbeeld). Door met meerdere tweede beeldsensoren te werken, kan verzekerd worden dat minstens één een goed zicht heeft op de handbeweging/handpose van de gebruiker ter plaatse, die gematcht kan worden aan een perspectief (van het driedimensionaal model), opnieuw zonder de gebruiker ter plaatse te dwingen om de oriëntatie van zijn of haar hand tijdens de beweging of pose in gedachten te houden. Zo kan er ook gebruik gemaakt worden van de meerdere perspectieven om een hogere graad van zekerheid te hebben bij de herkenning, zodat de vereiste drempel voor confirmatie van herkenning behaald wordt. Door bovendien voorafbepaalde gewichten te geven aan de perspectieven, kan objectiever beslist worden of de graad van zekerheid van herkenning voldoende is om de audio-intake terug in te schakelen. Zo kan een metriek opgesteld worden waarbij een drempelzekerheid X nodig is om de herkenning te confirmeren, waarbij een perspectief N een gewicht Yn krijgt en een perspectief M een gewicht Yu krijgt, en de graad van zekerheid van herkenning voor het bepaald perspectief N dan Zy is, en voor perspectief M dit Zu is. Indien Yn'Zn + Ym'Zm = X, beschouwt het systeem de handbeweging of handpose als herkend, en wordt audio-intake ingeschakeld. Indien nog extra perspectieven beschikbaar zijn, kunnen deze natuurlijk ook opgenomen worden in bovenstaande berekening, met bijvoorbeeld ook nog verschillende X- waarden, afhankelijk van het aantal perspectieven (bij voorkeur X niet lineair stijgend met het aantal perspectieven).

In een verder voorkeurdragende uitvoeringsvorm, omvat de werkwijze volgende stappen:

15 BE2022/5516 - het detecteren van een handbeweging of handpose met de draagbare, handenvrije beeldsensor; en - het herkennen van een voorafbepaalde handbeweging of voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose.

Het inschakelen van de audio-intake gebeurt bij substantieel gelijktijdige herkenning van de voorafbepaalde handbeweging of de voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose en in de door de tweede beeldsensor gedetecteerde handbeweging of handpose.

Het inschakelen van de audio-intake gebeurt daarbij bij substantieel gelijktijdige herkenning van de voorafbepaalde handbeweging of de voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose en in de door de tweede beeldsensor gedetecteerde handbeweging of handpose. Hierbij komt de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose overeen met een eerste perspectiefaanzicht van het handbewegings- of handsposemodel, en de door de tweede beeldsensor gedetecteerde handbeweging of handpose komt overeen met een tweede perspectiefaanzicht van het handbewegings- of handposemodel, verschillend van het eerste perspectiefaanzicht.

Het gebruik van beeldmateriaal uit de handenvrije beeldsensor om de herkenning verder te verzekeren kan zoals hierboven beschreven met een bepaald model geregeld worden, zodat een drempelwaarde geaggregeerd moet bereikt worden qua herkenning om deze te confirmeren.

In een voorkeurdragende uitvoeringsvorm kunnen de remote gebruikers bijkomende visuele output voorzien op de grafische presentatie. De remote gebruikers nemen typisch deel aan de videoconferentie via een elektronisch toestel met beeldscherm en inputmechanismen, zoals touchscreen, keyboard, muis, joystick en/of andere, en kunnen via de inputmechanismen annotaties voorzien op de grafische presentatie.

Anderzijds kunnen de remote gebruikers bijkomende visuele output voorzien, zoals via het delen van een scherm van hun pc, laptop of andere, het delen van een bestand, en/of via een eigen beeldsensor (webcam en dergelijk).

In een voorkeurdragende uitvoeringsvorm delen de instrumenten waarvan de output gedeeld wordt in de videoconferentie, de output via een draadloze verbinding, bij voorkeur via Wi-Fi. Hiertoe wordt bij voorkeur een WAP of wireless access point

16 BE2022/5516 voorzien in de steriele omgeving, via hetwelke de instrumenten hun output via Wi-Fi rechtstreeks kunnen delen met de deelnemers aan de videoconferentie. Dit vermijdt dat de output van de instrumenten langs een lokale server moet lopen.

In een voorkeurdragende uitvoeringsvorm kunnen remote gebruikers augmented reality content voorzien in de gedeelde visuele output voor het markeren van objecten en/of zones in de visuele output, waarbij genoemde augmented reality content verankerd wordt aan het gemarkeerde object en/of zone, en waarbij bij beweging van het gemarkeerde object en/of zone, de positie van de augmented reality content aangepast wordt op basis van genoemde beweging.

Remote gebruikers kunnen via het annoteren van bepaalde beelden met augmented reality content (hierna annotatie genoemd), ervoor opteren dat deze annotaties verankerd zijn aan een bepaalde positie of object in het beeld (bijvoorbeeld locatie van of voor een incisie), en niet statisch zijn (i.e. verankerd op een bepaalde pixel).

Het systeem is hierbij geconfigureerd om de locatie/positie van de annotatie op te slaan, met alle relevante data daarbij opgeslagen. Het is daarbij het doel dat, bij verandering van standpunt van de beeldsensor die het geannoteerde beeld capteert, de relatieve positie behouden blijft, en de annotatie dus meebeweegt naarmate het beeld beweegt. Zo wordt verzekerd dat bij minder stabiele beeldsensoren, de annotatie zijn gewenste betekenis of doel blijft behouden.

Het aanpassen van de positie van de augmented reality content in de weergegeven visuele output kan op meerdere wijzen bereikt worden. Enerzijds kan dit door gebruik te maken van gyroscopen en dergelijke systemen, die de verandering in oriëntatie/positie van de beeldsensor kunnen bepalen, en waardoor op basis daarvan de positie van de augmented reality content kan herberekend worden. Alternatief of aanvullend kan ook geopteerd worden voor objectherkenning. Door bij het plaatsen van de annotatie, de zone daarrond, of zelfs het volledige beeld in acht te nemen, kan dit vergeleken worden met beelden uit nieuwe standpunten, en aan de hand daarvan kan de positie van de annotatie geüpdatet worden.

In het bijzonder de combinatie van de twee bovenstaande kan nuttig zijn, waarbij de objectherkenning bij voorkeur gebruikt wordt als finetuning op de ‘loggere’ herberekening op basis van determinatie van aangepaste oriëntatie/positie via gyroscopen en aanverwante sensoren.

De augmented reality content kan vele vormen aannemen, zoals tekst, tekens, een sequentie van beelden, etc. Er kunnen één of meerdere verschillende annotaties verankerd worden aan een object/positie, terwijl bijkomend ook niet-verankerde

17 BE2022/5516 annotaties kunnen toegevoegd worden (die een vaste positie in de weergave van het beeld krijgen, bijvoorbeeld voor algemene opmerkingen).

In wat volgt, wordt de uitvinding beschreven a.d.h.v. niet-limiterende voorbeelden die de uitvinding illustreren, en die niet bedoeld zijn of geïnterpreteerd mogen worden om de omvang van de uitvinding te limiteren.

VOORBEELDEN

Figuur 1 toont een schematische configuratie van de actoren in een videoconferentie.

In of rond de steriele ruimte (100), in dit geval een operatiezaal, is een operatietafel (120) centraal gepositioneerd. Een medische gebruiker zoals een chirurg (110) is aanwezig, en draagt smartglasses (112) die een draagbare, handenvrije beeldsensor omvatten. De smartglasses (112) deelt en ontvangt data in de videoconferentie.

Daarnaast omvat de steriele ruimte (100) een aantal medische instrumenten (140) die deelnemen aan de videoconferentie en een bepaalde data-output (video, audio en/of andere) delen daarin, en optioneel ook ontvangen. Daarnaast zijn er een aantal tweede beeldsensoren (130, 130’) voorzien in de steriele ruimte (100), georiënteerd met hun gezichtsveld (130, 130”) op de operatietafel (120) in dit geval, met het oog om bewegingen en/of poses van de hand (111) van de medische gebruiker (110) op te vangen. Ook een geluidsinstallatie (150) is voorzien.

De voorgenoemde toestellen (112, 130, 130’, 140, 150) delen en/of ontvangen data in de videoconferentie over een intermediaire server (200), waarlangs ook remote gebruikers (301, 302, 303) data kunnen delen en ontvangen in de videoconferentie.

In veel gevallen kunnen enkelzijde pijlen ook dubbelzijdig worden, indien vanuit de videoconferentie data (bvb. instructies) wordt gedeeld naar de toestellen.

Het is hiernaast natuurlijk mogelijk dat bijkomende medische instrumenten of andere types toestellen aanwezig zijn in de steriele ruimte (100) die niet deelnemen aan de videoconferentie. Deze zijn echter niet weergegeven op de Figuur.

Figuur 2 toont een schematische weergave van de grafische presentatie zichtbaar voor een remote gebruiker die deelneemt aan een videoconferentie.

De grafische presentatie (1) wordt weergegeven op een beeldscherm van een elektronisch toestel van de remote gebruiker, bijvoorbeeld een laptop, tablet of pc, voorzien van muis, joystick, toetsenbord, touchscreen, of andere als

18 BE2022/5516 inputmechanismen. De presentatie (1) kan hierbij eventueel gemaximaliseerd worden, of in een ander formaat weergegeven op het beeldscherm.

De grafische presentatie (1) omvat een aantal secties (2a, 2b), waaronder een vergrote sectie (2a), en een aantal ‘gewone’ secties (2b). Elk van de secties (2a, 2b) staat voor een remote gebruiker, al of niet zichtbaar weergegeven via een eigen beeldsensor, of een beeldvormend instrument.

In dit geval geeft de vergrote sectie (2a) de visuele output weer van een beeldsensor met zoomlens op het draagbare apparaat van de gebruiker ter plaatse, zoals ook te zien is in een label (3) in genoemde vergrote sectie (2a). Ook de andere secties (2b) zijn voorzien van dergelijke labels (3). In de grafische presentatie (1) zijn hier een anesthesist aanwezig, zichtbaar in het label (3) van de bovenste sectie (2b), en de visuele output van een centrale camera op het handenvrij toestel van de gebruiker ter plaatse. Ten slotte is ook de visuele output van een echografisch apparaat beschikbaar via de videoconferentie in de onderste sectie (2b).

De remote gebruiker (anesthesist in dit geval), kan naargelang wensen kiezen welke visuele output hij wil visualiseren in de vergrote sectie (2a), bijvoorbeeld door touch- interactie met de sectie die de visuele output van de centrale camera weergeeft.

Op de grafische presentatie (1) is eveneens een actie-werkbalk (4) voorzien voor het controleren of manipuleren van de gedeelde visuele output, in het bijzonder deze in de vergrote sectie (2a). Veelal wordt dit mogelijk gemaakt via iconen (4a-4g) in de werkbalk, die kunnen ingesteld worden naargelang de wens van de gebruikers.

In dit geval heeft de werkbalk (4) de mogelijkheid voor het aansturen van een lamp (4a) op de beeldsensor van de gebruiker ter plaatse, kan hij de grafische presentatie maximaliseren in zijn scherm (4b), kan hij een foto nemen (4c) van het beeld in de vergrote sectie (2a), kan het geluidsniveau van de videoconferentie aangepast worden (4d), wordt de levensduur van de batterij van de beeldsensor van de gebruiker ter plaatse weergegeven (4e), kunnen instellingen gewijzigd worden (4f), kan ook de verbindingssterkte weergegeven worden (4g), en kunnen ten slotte annotaties voorzien worden, zowel statisch (4h) als verankerd (4). Het dient natuurlijk beseft te worden dat voorgaande slechts een voorbeeld is, en dat bijkomende functionaliteiten kunnen voorzien worden, zoals contrast aanpassen, inzoomen, het aanpassen van de oriëntatie van de beeldsensor, etc.

19 BE2022/5516

Ten slotte zijn op de vergrote sectie (2a) twee vormen van annotaties voorzien, een verankerde (5a), die zal meebewegen met de zone waarop ze afgebeeld is, en een stationaire (5b), die substantieel op dezelfde positie in de vergrote sectie (2a) zal blijven staan.

Het is verondersteld dat de huidige uitvinding niet beperkt is tot de uitvoeringsvormen die hierboven beschreven zijn en dat enkele aanpassingen of veranderingen aan de beschreven voorbeelden kunnen toegevoegd worden zonder de toegevoegde conclusies te herwaarderen. Bijvoorbeeld, de huidige uitvinding werd beschreven met verwijzing naar medische procedures, maar het mag duidelijk zijn dat de uitvinding kan toegepast worden op bvb. gevaarlijke operaties, zoals het ontmantelen van explosieven of onderhoud in omgevingen met hoge radioactiviteit, onderhoud van diepzee-systemen, moeilijk toegankelijke systemen of apparatuur en andere. In elk van deze situaties zou de expertise van meerdere personen extreem voordelig uitkomen, maar is dit ofwel onmogelijk, ofwel een te hoog bijkomend risico.

Claims

20 BE2022/5516 CONCLUSIES

1. Werkwijze voor het beheren van een videoconferentie tussen een medische gebruiker die zich in een steriele ruimte bevindt, bij voorkeur tijdens een medische behandeling in de steriele ruimte, en één of meerdere remote gebruikers, waarbij de gebruiker in de steriele ruimte een draagbare, handenvrije beeldsensor draagt, bij voorkeur op het hoofd, en bij voorkeur de beeldsensor deel uitmakend van smartglasses, waarbij een tweede, bij voorkeur stationaire, beeldsensor voorzien is in de steriele ruimte, de tweede beeldsensor deelnemend in de videoconferentie, en waarbij een microfoon voorzien is in de steriele ruimte, bij voorkeur op de draagbare handenvrije beeldsensor, de microfoon deelnemend in de videoconferentie, de werkwijze omvattende volgende stappen:

a. het delen van video-input van de draagbare, handenvrije beeldsensor in de videoconferentie;

b. het delen van audio-input van de microfoon in de videoconferentie;

c. optioneel het delen van additionele video- en/of audio-input van één of meerdere van de remote gebruikers in de videoconferentie;

d. het uitschakelen van audio-intake via de microfoon of het uitgeschakeld zijn van audio-intake via de microfoon, waarbij de audio- input van de microfoon niet gedeeld wordt over de videoconferentie wanneer de audio-intake via de microfoon uitgeschakeld is;

e. het detecteren van een handbeweging of handpose met de tweede beeldsensor;

f. het herkennen van een voorafbepaalde handbeweging of voorafbepaalde handpose in de door de tweede beeldsensor gedetecteerde handbeweging of handpose;

g. het inschakelen van de audio-intake via de microfoon bij herkenning van de voorafbepaalde handbeweging of de voorafbepaalde handpose met de tweede beeldsensor, waarbij de audio-input van de microfoon gedeeld wordt over de videoconferentie wanneer de audio-intake via de microfoon ingeschakeld is.

2. Werkwijze volgens de voorgaande conclusie 1, waarbij de microfoon geïntegreerd is in de draagbare, handenvrije beeldsensor, en de microfoon en de draagbare, handenvrije beeldsensor bij voorkeur deel uitmaken van smartglasses.

21 BE2022/5516

3. Werkwijze volgens één van de voorgaande conclusies 1 of 2, waarbij de tweede beeldsensor voorzien is aan of op een beeldscherm in de steriele ruimte, waarbij het beeldscherm minstens een gedeelte van een visuele presentatie van de videoconferentie weergeeft.

4. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 3, omvattende een stap van het detecteren van een handbeweging of handpose met de draagbare, handenvrije beeldsensor, en een stap van het herkennen van een voorafbepaalde handbeweging of voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose, waarbij het inschakelen van de audio-intake gebeurt bij herkenning van de voorafbepaalde handbeweging of de voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose.

5. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 4, omvattende een stap van het detecteren van een handbeweging of handpose met de draagbare, handenvrije beeldsensor, en een stap van het herkennen van een voorafbepaalde handbeweging of voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose, waarbij het inschakelen van de audio-intake gebeurt bij substantieel gelijktijdige herkenning van de voorafbepaalde handbeweging of de voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose en in de door de tweede beeldsensor gedetecteerde handbeweging of handpose.

6. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 5, waarbij een geluidsinstallatie voorzien is in of nabij de steriele ruimte, voor het afspelen van audio in de steriele ruimte, waarbij de geluidsinstallatie gekoppeld is in de videoconferentie voor het afspelen van audio uit de videoconferentie.

7. Werkwijze volgens de voorgaande conclusie 6, waarbij het inschakelen van de audio-intake via de microfoon niet kan geactiveerd worden via spraakcommando of stemherkenning.

22 BE2022/5516

8. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 7, waarbij de draagbare, handenvrije beeldsensor aanstuurbaar is via spraakcommando's wanneer audio-intake via de microfoon ingeschakeld is.

9. Werkwijze volgens de voorgaande conclusie 8, omvattende een stap van het delen van additionele audio-input van één of meerdere van de remote gebruikers in de videoconferentie, en omvattende een stap van het aansturen van de draagbare, handenvrije beeldsensor via spraakcommando of stemherkenning toegepast op de additionele audio-input, bij voorkeur waarbij het aansturen van de beeldsensor via de additionele audio-input enkel mogelijk is wanneer audio-intake via de microfoon ingeschakeld is.

10. Werkwijze volgens één van de voorgaande conclusies 8 of 9, waarbij het aansturen van de beeldsensor minstens het manipuleren van focus en contrast van de beeldsensor omvat.

11. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 10, waarbij minstens één bijkomende video-input gedeeld is in de videoconferentie, de bijkomende video-input afkomstig van een medisch beeldvormend instrument.

12. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 11, waarbij audio-input en/of video-input van de draagbare, handenvrije beeldsensor en de remote gebruikers via een intermediaire server wordt uitgewisseld tussen de medische gebruiker en de remote gebruikers tijdens de videoconferentie, bij voorkeur via een selective forwarding unit (SFU) server, en waarbij het herkennen van de voorafbepaalde handbeweging of de voorafbepaalde handpose plaatsvindt op de intermediaire server, aan de hand van een voorgeprogrammeerde signaaldatabase omvattende handbewegingen en/of handposes en daaraan geassocieerde acties, waarbij de acties het manipuleren van de audio-input en/of video-input in de videoconferentie betreft.

13. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 12, waarbij de draagbare, handenvrije beeldsensor geïntegreerd is in smartglasses, verder omvattende een beeldscherm, waarbij het beeldscherm van de smartglasses de videoconferentie weergeeft.

23 BE2022/5516

14. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 13, waarbij het herkennen van de voorafbepaalde handbeweging of de voorafbepaalde handpose gebeurt op basis van het vergelijken van de gedetecteerde handbeweging of handpose met een handbewegings- of handposemodel dat met een driedimensionaal model is en/of minstens twee verschillende perspectiefaanzichten omvat op een driedimensionale handbeweging of handpose.

15. Werkwijze volgens de voorgaande conclusies 5 en 14, waarbij het inschakelen van de audio-intake gebeurt bij substantieel gelijktijdige herkenning van de voorafbepaalde handbeweging of de voorafbepaalde handpose in de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose en in de door de tweede beeldsensor gedetecteerde handbeweging of handpose, waarbij de door de draagbare, handenvrije beeldsensor gedetecteerde handbeweging of handpose overeenkomt met een eerste perspectiefaanzicht van het handbewegings- of handposemodel, en de door de tweede beeldsensor gedetecteerde handbeweging of handpose overeenkomt met een tweede perspectiefaanzicht van het handbewegings- of handposemodel, verschillend van het eerste perspectiefaanzicht.