BE1029715B1

BE1029715B1 - Geautomatiseerde kalibratie van hoofdgedragen handenvrije camera

Info

Publication number: BE1029715B1
Application number: BE20215674A
Authority: BE
Inventors: Benoit Quirynen; Dario Vuljanic; Jan Dheedene; Bruno Dheedene; Dalibor Kofjac
Original assignee: Rods&Cones Holding Bv
Priority date: 2021-08-25
Filing date: 2021-08-25
Publication date: 2023-03-28
Also published as: BE1029715A1; US11950001B2; US20230067410A1; EP4142298A1

Abstract

De huidige uitvinding betreft een verbeterd hoofdgedragen apparaat met automatische kalibratie van een beeldsensor, alsook van een gebruik daarvan, en een werkwijze voor het automatisch kalibreren van een beeldsensor van een dergelijk apparaat.

Description

GEAUTOMATISEERDE KALIBRATIE VAN HOOFDGEDRAGEN HANDENVRIJE

CAMERA

TECHNISCH DOMEIN

De uitvinding neeft betrekking op hoofdgedragen apparaten met een beeldsensor of camera, zoals smariglasses, headsets met een camera, maar eveneens hoofddeksels waarop een (al of niet aîfneembare) camera of cameramodule voorzien is. De

Uitvinding heeft specifiek verder betrekking op het automatisch focusseren van deze camera, en de kalibratie van de operationele parameters van de camera, zoals focuslengte, sluitertijd, lensvertekening, camerahoek, etc, en zoekt naar sen geautomatiseerde en handenvrije manier van het uitvoeren van een kalibratie, zoals onder meer tijdens gebruik in een chirurgische operatie, maar evenzeer bij andere processen waarbij een gebruiker zijn handen niet mag of kan gebruiken om de beeldsensor te kalibreren.

STAND DER TECHNIEK in de stand der techniek worden hoofdgedragen {head-mounted) beeldsensorapparaten, zoals bijvoorbeeld smart glasses, meer en meer aangewend om gevoelige operaties uit te voeren, soms met externe begeleiding. Deze systemen hebben één of meerdere beeldsensoren (camera’s), die in de loop der jaren steeds gesofisticeerder zijn geworden, en veel functionaliteiten hebben bijgewonnen, Zo kunnen deze beeldsensoren opereren onder een zeer brede range aan operationele parameters, zoals focusafstand, sluitertijd, resolutie (beeldkwaliteit), kleurbalans, ondersteuning in belichting, etc.

Veelal hebben dergslijke apparaten ook nog een eigen beeldscherm. Zo kan de gebruiker zelf soms op bepaalde zaken inzoomen of uitzoomen, bepaalde beelden (in een bepaald perspectief} bewaren, en andere operaties, en deze beelden dan later hergebruiken, tijdens een ander deel van de operatie, Daarnaast kunnen externe begeleiders deze beelden ook aanwenden ter opvolging, of ter specifieke begeleiding, door bijvoorbeeld opmerkingen te geven, of visusel aan te duiden en de bewerkte beelden weer te geven aan de gebruiker.

In deze zeer diverse toepassingen, is het dan ook noodzakelijk om een flexibele beeldsensor te hebben, die eenvoudig, snel en accuraat beelden kan capteren in verschillende configuraties (belichting, focuslengte, resolutie, etc). door de

© BE2021/5674 bijkomende moellijkheid dat in sommige situaties het onmogelijk is om de handen hiervoor te gebruiken, of zeer nadelig (in gevaar brengen steriliteit tijdens een operatie}, moet gezocht worden naar andere oplossingen. Zo kan onder meer via voice control gewerkt worden, maar vaak is dit dan weer aan andere problemen onderhevig {opnieuw bij het voorbeeld van een medische Ingreep, wordt er vaak met mondmaskers gewerkt, waardoor de stem vervormd of verzwakt kan worden en hel systeem deze mogelijk niet herkent). Bovendien is het in dergelijke gevallen ook nodig om voorafgaande alle juiste ‘signalen’ te kennen, gezien elk systeem typisch een andere trigger heeft om bepaalde acties uit te voeren.

De huidige uitvinding beoogt sen oplossing te vinden voor tenminste enkele van bovenvermelde problemen.

SAMENVATTING VAN DE UITVINDING

De uitvinding betreft sen verbeterd hoofdgedragen apparaat met sen sensorsysieem voor het detecteren van translatie on rotatie van het hoofdgedragen apparaat, sen beeldsensor voor het capteren van beelden.

Het apparaat is geconfigureerd om automatisch bepaalde operationele parameters van de beeldsensor te kalibreren onder bepaalde voorwaarden. Deze voorwaarden komen neer op het stilhouden van het hoofd van de drager (en dus het stilhouden van het apparaat zelf) gedurende een bepaalde tijd.

In het bijzonder betreft de uitvinding een hoofdgedragen apparaat volgens één van de conclusies 1 tot en met 14.

In een tweede aspect betreft de uitvinding sen gebruik van een hoofogedragen apparaat volgens het eerste aspect bij een medische handeling, door een medische professional.

Bijkomende mogelijke gebruiken zijn herstellingswerken op moeilijk bereikbare locaties {hoogtewerken, afgelegen plekken, etc), waarbij gebruikers niet alle aspecten van hun taak volledig dienen te beheersen, door de mogelijkheid van remote assistance via het apparaat op basis van de beelden dat het capteert.

In een derde aspect betrefi de uitvinding een werkwijze voor beeldvorming met een hoofdgedragen apparaal volgens het eersie aspect, waarbij het kalibreren van de beeldsensor uitgevoerd wordt onder bepaalde voorwaarden.

BESCHRIJVING VAN DE FIGUREN

Figuur 1 toont een uitvoeringsvorm van een hoofdgedragen apparaat volgens de

Uitvinding in de vorm van smart glasses met een beeldscherm, waarbij alle componenten voorzien zijn op het hoofdgedragen apparaal.

Figuur 2 toont een uitvoeringsvorm van een hoofdgedragen apparaat volgens de

Uitvinding in de vorm van smart glasses met een beeldscherm, en sen externe conirole-senheid die bedraad verbonden is met de smart glasses.

Figuur 3 toont een uitvoeringsvorm van een hoofdgedragen apparaat volgens de uitvinding in de vorm van smart glasses met een beeldscherm, waarbij alle componenten voorzien zijn op het hoofdgedragen apparaat, en een externe controle- eenheid die draadloos verbonden is met de smart glasses.

GEDETAILLEERDE BESCHRIJVING

Tenzij anders gedefinieerd hebben alle termen die gebruikt worden in de beschrijving van de uitvinding, ook technische en wetenschappeliike termen, de betekenis zoals ze algemeen begrepen worden door de vakman in het technisch veld van de uitvinding. Voor een betere beoordeling van de beschrijving van de uitvinding, worden de volgende termen expliciet uitgelegd. “Een”, ”de” en “het” refereren in dit document aan zowel het enkelvoud als het meervoud tenzij de context duidelijk anders veronderstelt. Bijvoorbeeld, “een segment” betekent een of meer dan een segment.

Wanneer “ongeveer” of “rond” in dit document gebruik! wordt bij sen meetbare grootheid, een parameler, een tijdsduur of moment, en dergelijke, dan worden variaties bedoeld van +/-20% of minder, bij voorkeur +/-10% of minder, meer bij voorkeur +/-5% of minder, nog meer bij voorkeur +/-1% of minder, en zelfs nog meer bij voorkeur +/-0.1% of minder dan en van de geciieerde waarde, voor zoverre zulke variaties van toepassing zijn in de beschreven uitvinding. Hier moet echter wel onder verstaan worden dat de waarde van de grootheid waarbij de term “ongeveer” of “rond” gebruikt wordt, zelf specifiek wordt bekendgemaakt.

* BE2021/5674

De termen “omvallen”, “omvallende”, “beslaan uit”, “bestaande uit”, “voorzien van”, “bevallen”, ‘bevattende’, “behelzen”, “behelzende’, “inhouden”, “inhoudende” zijn synoniemen en zijn inclusieve of open lermen die de aanwezigheid van wat volgt aanduiden, en die de aanwezigheid niet uitsluiten of beletten van andere componenten, kenmerken, slementen, leden, stappen, gekend uit of beschreven in de stand der techniek.

De term “beeldsensor” betreft elke elektrische of elektronische component geschikt voor het capteren van informatie die gebruikt kan worden voor beeldvorming, zoals

CCD of CMOS sensoren, en betreft typisch een camera (digitaal of analoog).

Het citeren van numerieke intervallen door de eindpunten omvat alle gehele getallen, breuken en/of rale getallen tussen de eindpunten, deze eindpunten inbegrepen.

In een eerste aspect betreft de uitvinding een verbeterd hoofdgedragen apparaat met een sensorsysteem voor het detecteren van transiatie en rotatie van het hoofdgedragen apparaat en een beeldsensor voor het captaren van beelden.

Het apparaat is geconfigureerd om automatisch bepaalde operationele parameters van de beeldsensor te kalibreren onder bepaalde voorwaarden. Deze voorwaarden komen neer op het stiihouden van het hoofd van de drager (en dus het stilhouden van het apparaat zelf} gedurende een bepaalde tijd.

Hoofdgedragen beeldvormingsapparaten, zoals bijvoorbeeld smart glasses en aanverwanten, worden meer en meer gebruikt voor handelingen waar remote assistance of monitoring aangewend wordt om de gebruiker(s} ter plaatse te ondersteunen. Het remote aspect kan zijn door beperkte ruimte, grote afstand, moeilijke toegankelijkheid of andere fysieke belemmeringen {zoals steriliteitsvereiste tijdens medische ingrepen, fysieke beperkingen van een persoon die remote meevolgt}, maar kan evenzeer praktisch zijn en heeft als verdere voordelen dat er bijzonder veel lijd en kosten mee gespaard wordt {onder meer qua transport en voorbereiding).

Deze remote assistance en monitoring valt met beeldkwaliteit. De gebruikers op afstand leren namelijk op de beelden die ter plaatise gecapteerd worden door het mobiele hoofdgedragen apparaat, en dis beschikbaar gesteld worden aan de gebruikers op afstand. Bij veel van deze handelingen is de scherpte en duidelijkheid van de beelden een cruciaal onderdeel. Het kan bijvoorbeeld gaan over medische ingrepen, waar een team van dokters op afstand bepaalde onderdelen van een

3 BE2021/5674 ingreep overziet en bijstuurt, en hiervoor zeer nauwkeurige beelden nodig hebben, gezien de schaal waarop vaak geopereerd wordt, bijvoorbeeld voor een craniotomie.

Evenzeer kunnen industriële toepassingen in acht genomen worden, zoals technisch onderhoud/installatie/etc. van bepaalds toestellen. In elk van deze gevallen is het belangrijk dat de remote gebruikers een duidelijk beeld krijgen op de scène. Waar dit voor de gebruiker ter plaatse natuurlijk geregeld wordt door het oog, gebeurt dit niet voor de beeldsensor waarmee de remote gebruikers beelden krijgen. Omdat het zoals gezegd niet altijd mogelijk, evident of aangeraden is dat de gebruiker ter plaatse manueel deze aanpassing of kalibratie opstart, wordt gekeken naar andere mechanismen, namelijk het stilhouden van het hoofdgedragen apparaat, wat duldt op het stilhouden van het hoofd van de gebruiker ter plaatse, en wordt dit gebruikt als trigger voor het kalibreren van de beeldsensor.

Het sil houden van het hoofdgedragen apparaat wordt gedetecteerd door het sensorsysteem in het apparaat, waarbij stilhouden beschouwd wordt als de iranslatie van hel apparaat over een bepaalde tijd die onder een voorafbepaaldes transiatiedrempelwaarde van 2.0 cm blijft. Hierbij wordt rekening gehouden met een absolute translatie over die tijd, dus een positieverschil dat maximaal 2.6 cm bedraagt tussen de twee meest extreme posities van het apparaat in die tijd. Merk op dat in sommige gevallen, deze transiatiedrempelwaarde hoger kan ingesteld worden, zoals bijvoorbeeld 5.0 cm, 4.0 cm, 3.0 cm of nog hogere waarden. Bij voorkeur wordt deze echter lager ingesteld, zoals 1.0 cm, 0.5 cm, 0.25 cm of lager.

Verder kan een gebruiker ook instellen dat de voorwaarde om onder de translatiedrempelwaarde te blijven, niet van toepassing is, bijvoorbeeld in omgevingen waar translatie niet kan vermeden worden (bvb. bij werken op een torenkraan, waar een lichaamseigen beweging op zit). In nog andere versies kan de translatie ten opzichte van een extern object (ander elektronisch toestel bedraad of draadloos verbonden aan apparaat) gebruikt worden, die dan onder een transiatiedrempelwaarde moet blijven.

In een tweede voorwaarde, wordt stilhouden beschouwd als de rotatie van het apparaat over de bepaalde tijd, dis onder een voorafbepaalde rotatiedrempelwaarde blijft van 10.0°. Opnieuw beireft de gedetecteerde rotatie over een bepaalde tijd hier het verschii in rotatie tussen de twee meest extremale posities in de bepaalde tijd (bvb. een sorste extremale positie is X° gedraaid ten opzichte van startpositie over een bepaalde as, de tweede is Y° gedraaid in de andere zin over de bepaalde as, resulteert in een totale rotatie over die tijdsduur van X°+Y°}. Opnieuw kan dit aangepast worden naargelang de toepassing (zoals aangegeven, in situaties met

Alternatief kan ook weer gewerkt worden met een relatieve rotatie ten opzichte van een extern element (elektronisch toestel, zoals smartphone of toegewijd fiosstel hiervoor}. Op die manier worden ook externe bewegingen, zoals bij een bewegende ondergrond, gecompenseerd.

Het dient begrepen te worden dai de uitvinding kan uitgebreid worden naar de toepassing van slechts één van belde voorwaarden. Dit kan bijvoorbeeld van nut zijn in situaties waar ongewenste bewegingen of rotaties moëiliik of niet te weerstaan/voorspellen zijn (zoals gezegd, op een torenkraan of hoog gebouw).

Nog alternatief kunnen voorwaarden omtrent versnelling (transiationeei of rotalioneel} opgelegd worden, waarbij het stilhouden van het apparaal gedurende een bepaalde tijd inhoudt dat er geen transiationels versnelling optreedt boven een voorafbepaalde transiationele Vversnellingsdrempelwaarde en/oï dat er geen hoekversnelling optreedt boven een voorafbepaalde hoekversnellingsdrempelwaarde.

De transiationele snelheidsdrempelwaarde bedraagt hierbij bij voorkeur ongeveer 10.0 cm/s2, bij verdere voorkeur ongeveer 5.0 cm/s, bij nog verdere voorkeur 2.5 cm/s?, en bij nog verders voorkeur 1.0 cm/s2.

De rotationele snelheldsdrempelwaarde bedraagt hierbij bij voorkeur ongeveer 10.07/82, bij verdere voorkeur ongeveer 5.0°/s2, bij nog verdere voorkeur 2.5°/s82, en bij nog verdere voorkeur 1.0°%/s2.

Door gebruik te maken van een externe component, kan de relatieve beweging of versnelling van het hoofd vaak beter gedetecteerd worden, gezien algemene bewegingen van het lichaam gecompenseerd worden. Zo kan tijdens het rijden in een auto een beweging of versnelling plaaisvinden van het hoofd, die echter enkel het gevolg is van de totale verplaatsing van het lichaam, Door rekening te houden met een externe component, die gedragen wordt door de gebruiker, kan deze bijdrage gecompenseerd worden om zo de effectieve beweging te bepalen, De bepaling van de beweging/versnelling ten opzichte van de externe component kan op meerdere wijzen, onder meer door op de externe componeni ook de beweging/versnelling te detecteren, en het verschil te bepalen, of door te werken met een baken, waardoor het hoofdgedragen apparaat rechtstreeks de beweging/versnelling ten opzichte van het baken kan bepaald worden.

7 BE2021/5674

In een uitvosringsvorm van het hoofdgedragen apparaat, kan alternatief of aanvullend de snelheid (translationeel! en/of rotationeel) gebruikt worden om te bepalen of het hoofdgedragen apparaat stijgehouden wordt (en daaropvolgend sen kalibratie moet plaalsvinden)}, volgens dezelfde principes als hierboven beschreven.

Dit wordt gecontroleerd door te kijken of de transiationele en/of rotationele snelheid onder een voorafbepaalde transiationele en/of rotationsle snelheidsdrempelwaarde bijft. De transiationeles snelheidsdrempelwaarde bedraagt hierbij bij voorkeur ongeveer 5.0 cm/s, bij verdere voorkeur ongeveer 2.5 cm/s, bij nog verdere voorkeur 1.0 cm/s, en bij nog verdere voorkeur 0.5 cm/s.

De rotationeie snelheldsdrempelwaarde bedraagt hierbij bij voorkeur ongeveer 5.0°/s, bij verdere voorkeur ongeveer 2.5°/s, bij nog verdere voorkeur 1.0°/s, en bij nog verdere voorkeur 0.5°/s,

Het sensorsysteem kan hiertoe uitgerust zijn met een aantal componenten geschikt om translationele bewegingen en/ot rotationele bewegingen te detecteren, maar alternatief of aanvullend ook voor translationele en/of rotationele snelheden en/of versnellingen te detecteren. Het sensorsysteem zal typisch één of meerdere accelerometers en/of gyroscopen omvallen. In dis zin kan een accelerometer en gyroscoop gebruikt worden om een versnelling te detecteren, en van daaruit de beweging/rotatie te berekenen.

De beeldsensor is typisch weg van de gebruiker gericht wanneer deze gedragen wordt, hoewel in sommige gevallen deze bewssgbaar gemonteerd is op het apparaat.

Bij sommige toepassingen, zoals bijvoorbeeld smart glasses, kunnen meerdere beeldsensoren voorzien zijn, waarbij minstens één van de beeldsensoren gekalibreerd kan worden zoals beschreven in dit document. In voel situaties komt het gecapteerde beeld van de beeldsensor voor een substantieel deel overeen met het zicht van de gebruiker die het apparaat op zijn of haar hoofd draagt.

Door het apparaat te configureren om automatisch de parameters van de beeldsensor te kalibreren bij detectie van het ‘stilhouden’ van het apparaat (in teit het stilhouden van het hoofd}, laat dit toe aan de gebruiker om, zonder zijn handen te gebruiken en intuïtief, de gecapteerde beslden van de beeldsensor te optimaliseren. Bij stilhouden van het hoofd gedurende een bepaalde periode, is dit een teken dat de gebruiker (drager van het apparaat), de huidige positie relevant vindt, en dat hij of zij de scène van de op dat moment gecapteerde beelden waarschijnlijk grondig aan het bekijken is. Om die reden is het dan ook nuttig en voordelig om het systeem op zo'n momenten

© BE2021/5674 automatisch de parameters te laten kalibreren waarmee de beelden gecapteerd, en dus later gevormd, worden. De gebruiker moet hierdoor niet meer actief tussenbeide komen, en bijvoorbeeld de steriliteit, zijn concentratie of zijn veiligheid in gevaar brengen.

Om te vermijden dat het systeem te pas en te onpas de parameter kalibreert, wordt een minimale ijd ingesteld voor het stilhouden, voordat dit als dusdanig erkend wordt en een kalibratie triggert. Opnieuw kan deze tijdsduur ook aangepast worden naargelang de omstandigheden. Waar tijdsdruk minder relevant is, of waar fe vaak kalibreren ongewenst is, kan de tijdsduur hoger gezet worden, op bijvoorbeeld 5.0 seconden of meer, zoals 6.0 s, 7.0 s, 8.0 s, 98.0 s, 10.0 s, 15.0 s of hoger. Indien gewenst, kan deze ook lager gezet worden, zoals na 0.5 s, 1.0 soï1.5 s.

Eén van de voornaamste parameters die gekalibreerd worden, is de brandpuntsafstand, waarmee bepaald wordt op welke afstand de besldsensor scherp gesteld wordt. In een belangrijke toepassing hiervan, namelijk de medische sector, is het belangrijk dat snel en handenvrij kan geschakeld worden iussen verschillende focusafstanden voor remote gebruikers, om snelle en correcte feedback of instructies te geven. Bij voorkeur worden deze instructies of feedback ook via het hoofdgedragen apparaat gegeven, zoals via een ingebouwde speaker daarin. Alternatief kan er ook een geluidinstallatie extern voorzien worden op ter plaatse de locatie van de gebruiker die het apparaat draagt.

In een voorkeurdragende uitvoeringsvorm omvat het kalibreren het automatisch vinden van een sluitertijd en/ot een brandpuntsaïstand geschikt voor de omstandigheden, op basis van detectie van invallend licht (omgevingslicht) en afstand tot het deel van de scène waar de focus op ligt.

In gen voorkeurdragende uitvoeringsvorm betreft het apparaat een smart glass.

Alternatieve uitvoeringen kunnen echter ook voorzien zijn in de vorm van een helm, headset of hoofdband zijn, of als modulaire componenten die daaraan bevestigd worden. in een = voorkeurdragende = uitvoeringsvorm betreft de vooralbepaalde translatiedrempelwaarde 0.5 cm, bij verdere voorkeur 0.25 cm, of 0.1 cm of zelfs 0.05 cm.

€ 9 BE2021/5674

In een voorkeurdragende Uitvoeringsvorm betreft de vooralbepaalde rotatiedrempelwaarde hoogstens 2.5°, bij verdere voorkeur 1.0°, 0.5°, of zelfs 0.25° of 00°.

Bij voorkeur worden belde voorwaarden toegepast, zowel een transiatiedrempelwaarde als sen rotatiedrempe!lwaarde.

Bij bovenstaande drempelwaarden, zowel qua beweging, snelheid, als versnelling wordt bij voorkeur een uiimiddeling of een andere verwerking uitgevoerd door het apparaat om natuurlijke trilliingen en minimale bewegingen te Nieren, om te vermijden dat door deze kleine bewegingen de drempelwaarde overschreden zou worden. Zo kan er bijvoorbeeld uitgemiddeld worden over een vooraïbepaalde tid om te bepalen of er effectief beweging/snelheid en/of versnelling gedetecteerd is of niet. Onder dergelijke vibraties, trillingen en minimale ongewenste bewegingen, kan het apparaat dus detecteren dat er geen overschrijding is van een drempelwaarde, en overgaan tot het kalibreren van de parameters van de beeldsensor. in een voorkeurdragende uiivoeringsvorm is het apparaat geconfigureerd om het kalibreren uit te voeren indien de gedetecteerde translatie onder de voorafbepaalde transiatiecrempelwaarde en de gedetecteerde rotatis onder de voorafbepaalde rotatiedrempelwaarde liggen gedurende minstens de voorafhepaalde tijdsduur, volgend op de detectie van een voorafbepaalde bewegingssequentie van het hooïdgedragen apparaat, de detectie uitgevoerd door het sensorsysteem van het hoofdgedragen apparaat.

In een voorkeurdragende uitvoeringsvorm is hat apparaat geconfigureerd om geen volgende kalibratie uit te voeren vooraleer door het sensorsysteem een translatie en/of rotatie van het hoofdgedragen apparaat is gedetecteerd die minstens de voorafbepaalde transiatiedrempelwaarde en/of de voorafbepaalde rotatiedrempelwaarde overschrijdt.

In een voorkeurdragende uitvoeringsvorm is hat apparaat geconfigureerd om geen volgende kalibratie uit te voeren vooraleer door het sensorsysteem translatie en/oï rotatie van het hoofdgedragen apparaat is gedstecteerd die minstens sen voorafbepaalde bewegingsdrempelwaarden overschriidt, de bewegingsdrempelwaarden minstens twee keer hoger dan de voorafbepaalde translatiedrempelwaarde en rotatiedrempelwaarde.

19 BE2021/5674

De term “vooraïbepaaide bewegingssequentie” verwijst naar een trigger voor het systeem om te verifiëren of er binnen de voorafbepaalde tiidsduur al of niel beweging (beweging/versnelling/snelheid) ontreedt. Deze trigger kan een bepaalde beweging zijn die de gebruiker ‘bewust’ uitvoert (bijvoorbeeld knikken, schudden, cirkelvormig figuur maken, of andere patronen, al of niel meer complex}, maar kan evenzeer simpelweg ‘een beweging’ zijn die de vooralbepaalde drempelwaardes overschrijdt (of bij voorkeur deze drempelwaarden minstens overschrijdt met een factor twee of hoger, zoals 3, 4, 5 of hoger, om te garanderen dat het over een effectieve beweging gaat). Op die manier wordt vermeden dat het systeem blijft kalibreren na een eerdere kalibratie wanneer het hooïd gedurende langere tijd stilgehouden wordt, zonder dat hier reden toe is, zoals een nieuws beweging/positia/ete. Een specifieke beweginassequentie biedt het voordeel dat de gebruiker dit tegelijk bewust en zeer eenvoudig kan aansturen en dat onnodige kalibraties vermeden worden. Door te opteren voor ‘een beweging’ die de drempelwaardes overschrijdt, zal er vaker gekalibreerd worden, maar is er geen bewuste handeling nodig van de gebruiker, die op die manier ook zijn volledige concentratie kan vestigen op zijn taak.

In een voorkeurdragende uitvoeringsvorm omvat het sensorsysleem minstens één gyroscoop. Een gyroscoop kan gebruikt worden om de hoeksnelheid en oriëntatie van het hoofdgedragen apparaat te meten, en kan op die manier aangewend worden om de verandering hiervan te bepalen over de tijd, om zo te bepalen of de drempelwaarden overschreden worden en de parameters van de beeldsensor al of niet moet gekalibreerd worden. In bepaalde uitvoeringsvormen kunnen twee of drie gyroscopen voorzien worden, waarbij de gyroscopen voorzien worden om rotatie ten opzichte van drie onderling onafhankelijke assen te meten.

In een voorkeurdragende uitvoeringsvorm omvat het sensorsysteem minstens één accelerometer. Een accelerometer wordt hierbij gebruikt om de versnelling (en daaruit volgend snelheid en/of positie) van het hoofdgedragen apparaat te meten, en de verandering van de transiationele karakteristieken van het apparaat over de tijd, om zo te bepalen of de drempelwaarden overschreden worden, en de parameters van de beeldsensor al of niet moet gekalibreerd worden. In bepaalds uitvoeringsvormen kunnen twee of drie accelerometers voorzien worden, waarbij de accelerometers voorzien worden om de lranslalioneie versnelling langs drie onderling onafhankelijke assen te meten.

ij BE2021/5674

In een voorkeurdragende uitvoeringsvorm omvat het sensorsysteem minstens één magnetometer, typisch voor het bepalen van een referentie-oriéntatis van hel systeem. In bepaalde uitvoeringsvormen kunnen twee of drie magnetometers voorzien worden, bij voorkeur telkens minstens één magnetometer langs elk van de drie onderling onaîfhankeliike assen.

In een voorkeurdragende uitvoeringsvorm omvalt het apparaat een beeldscherm voor het weergeven van beelden, waarbij een processoreenheid het beeldscherm aanstuurt, en het beeldscherm gepositioneerd kan worden om de beelden weer te geven zichtbaar voor een gebruiker die het hooïfdgedragen apparaat op zijn hoofd draagt.

De processorcenneid kan voorzien worden in het apparaat zelf, of op een externe conirole-eenheid die bedraad of draadloos verbonden is met het hoofdgedragen apparaat, en geconfigureerd is voor het aansturen van het apparaat. Een voordeel van de implementatie van de processoreenheid op het apparaat, is de compaciheid daarvan, en de mogelijkheid tot het weglaten van een bedrade verbinding (cie mogelijk hinderlijk kan zijn} of het weglaten van draadioze communicatie- componenten in het apparaat, om dit zo licht mogelijk te maken.

Het voorzien van de processoreenheid op een externe controle-eenheid of pocket unit (bijvoorbeeld een gsm, smartphone, dedicated device hiervoor, etc.) heeft als voordeel dat het gewicht van het hoofdgedragen apparaat gereducserd wordt. Dit laat ook toe om andere zaken, zoals energievoorziening, aan de externe controle- eenheid uit te besteden, wal ook gen sterke invloed heeft op het gewicht van het apparaat.

Bil voorkeur is de verbinding tussen externe controle-senheid en het hoofdgedragen apparaat bedraad, gezien dit energievoorziening toelaat langs dezelfde verbinding, alsook gewicht uilspaart doordat geen draadloze communicatie-componenten voorzien moeten worden (wat vaak ook energetisch meer belastend is).

Bij voorkeur is het beeldscherm geconfigureerd voor het weergeven van de door de beeldsensor gecapteerde beelden. Deze beelden kunnen bijvoorbeeld verder bewerkt, geannoteerd of gewijzigd zijn door de gebruiker of externe partijen (bijvoorbeeld remote gebruikers}. Dit laat onder meer vergroten of verkleinen toe van de beelden, markeren van bepaalde elementen of zones, toevoegen van annotaties (instructies, etc} en andere zaken, die de gebruiker ter plaatse kunnen helpen bij het uitoefenen van diens taken.

1 BE2021/5674

In de meest voorkeurdragende uitvoeringsvorm zijn de componenten met verwerkingsvermogen (processoren en dergelijk) allen voorzien op de externe controle-eenheid, om op die manier zoveel mogelijk het gewicht van het op het hoofd gedragen apparaat te reduceren, alsook de hitte-ontwikkeling die opireedt bij zware operaties. Als daarnaast ook de energievoorziening vanuit de controle-seenheid gebeurt, zorgt dit er voor dat slechts een gereduceerd deel van de stroom langs de bedrade verbinding naar het apparaat moet, wat een meer efficiënt gebruik van de energie toelaat, en ook de vereisten voor deze kabel lager legt.

Het reduceren van het gewicht (en verder draagcomfort) van het hoofdgedragen apparaat is des te belangrijker gezien de huidige toepassing focus legt op het silhouden van het hoofd tijdens de operatie, waarbij het stilhouden onder sen bepaalde bewegingsdrempel het kalibreren van de operationele parameters teweegbrengt. Veel handelingen waar remote assistance/monitoring relevant is, duren vaak lang, zoals bijvoorbeeld medische ingrepen. Zeker in zo’n geval is het cruciaal dat een gebruiker gedurende die lange tijd ook bewust kan handelen, en het kalibreren gericht kan aansturen.

In een voorkeurdragende uitvoeringsvorm, omvat het apparaat verder een externe controle-eenheid, de externe controle-senheid bedraad of draadloos, bij voorkeur bedraad, in communicatie met het hoofdgedragen apparaat, en bij voorkeur omvaltende een processoreenheld voor het aansturen van het hoofogedragen apparaat; waarbij de externe controle-senheid een energiebron omvat voor het voorzien van energie aan het hoofdgedragen apparaat en waarbij het hoofdgedragen apparaal geen energiebron omval.

In een voorkeurdragende uitvoeringsvorm worden de parameters opgeslagen op een geheugenelement, bij voorkeur deel uitmakend van een externe controle-eenheid, de externe conirole-eenheid bedraad of draadloos in communicatie met het hoofdgedragen apparaat en geconfigureerd voor het aansturen van het hoofdgedragen apparaat, en waarbij de externe contirole-eenheid verder een processoreenheid omvat geconfigureerd voor het opvragen van de opgeslagen parameters en voor het aan de beeldsensor opleggen van de opgeslagen parameters.

Bij voorkeur bevindt het geheugensiement zich op een externe controle-eenheid in de lijn van het uitbesteden van zoveel mogelijk gegevensverwerkingtaken en andere aan de externe eenheid, alsook het reduceren van het gewicht in het hoofdgedragen

13 BE2021/5674 apparaat. In het bijzonder in combinatie met een processoreenheid In de externe controle-senheid, is het van groot nut om ook geheugenelementen daar te voorzien.

In variaties daarop bevindt minstens één en bij voorkeur alle geheugenelementen zich op het hoofdgedragen apparaat, bij verdere voorkeur samen met minstens één processoreenheid in verbinding met de geheugenslementen.

In een tweede aspect betreft de uitvinding het gebruik van het hoofdgedragen apparaat volgens één of meer van de uitvoeringsvormen volgens het eerste aspect, door een medische professional (dokter, anesthesist, verpleger, etc.) tijdens een operatieve behandeling. Verdere toepassingen zijn bijvoorbeeld bij interventies op locatie {bijvoorbeeld bij ambulance, maar evenzeer politie, technische interventies, brandweer, etc). De voordelen van een vereenvoudigde autokalibratie van een hoofdgedragen apparaat in deze tospassing, zijn duidelijk en reeds besproken, namelijk onder meer het bewaren van steriliteit, alsook het vermijden van een impact op de concentratie van de drager.

In een derde aspect betreft de uitvinding een werkwijze voor beeldvorming met een hoofdgedragen apparaat volgens het eerste aspect van de uitvinding, waarbij de parameters waaronder de bseldsensor van het hoofdgedragen apparaat automatisch gekalibreerd worden, wanneer het hoofdgedragen apparaat gedurende minstens sen voorafbepaalde tijdsduur, waarbij de voorafbepaalde tijdsduur minstens 2.0 s bedraagt, detecteert dat de translatie van het hoofdgedragen apparaat onder een voorafbepaalde translatiedrempelwaarde ligt en de rotatie van het hoofdgecragen apparaat onder een vooralbepaalde rotatiedrempelwaarde ligt, waarbij de voorafbepaalde transiatiedremnelwaarde hoogstens 2.0 cm bedraagt, en waarbij de voorafbepaalde rotatiedrempelwaarde hoogstens 10.0° bedraagt, waarbij het automatisch kalibreren uitgevoerd wordt op basis van de scène gecapleerd door de beeldsensor; bij voorkeur waarbij de vooralbepaalde translatiedrempelwaarde hoogstens 1.0 cm bedraagt, en waarbij de voorafbepaalde rotatiedrempelwaarde hoogstens 5.0° bedraagt, en bij verders voorkeur hoogstens 0.5 cm en 2.5°; of zelfs 0.25 cm en 1.0°; of zelfs 0.1 cm en 0.5°.

De bijhorende voordelen zijn gelijkaardig aan deze beschreven voor het apparaat van de uitvinding.

18 BE2021/5674

In wat volat, wordt de uitvinding beschreven a.d.h.v. niet-limiterende voorbeelden die de uitvinding illustreren, en die niet bedoeld zijn of geïnterpreteerd mogen worden om de omvang van de uitvinding te limiteren.

Figuur 1 geeft sen mogelijke uilvoeringsvorm van de uitvinding weer, in de vorm van smart glasses (1), omvallende een houder met een beeldscherm (2), en waarbij een camera of beeldsensor (3) voorzien is op de brug lussen de twee glazen (5). Een aantal elektronische componenten {4} zijn ingewerkt in de brij op diverse plaalsen, zoals onder meer op de houder, maar ook in de oren van de bril.

Figuur 2 geeft een mogelijke variatie hierop weer, waarbij sen aantal elektronische componenten in een externe controle-eenheid (6), in dit geval een smartphone, voorzien zijn, die bedraad (7) verbonden is met de smart glasses (1). Een aantal van de elektronische componenten zijn hierbij niet langer voorzien in de smart-glasses maar de functionaliteit daarvan wordt gedragen door de externe controle-cenheid.

Dit omvat typisch energievoorziening (balterij}, processor, etc.

Figuur 3 geeft een adaptatie weer van de versie uit Figuur 2, waarbij de communicatie tussen smart glasses en externe controle-eenheid draadloos is, door voorziening van draadloze communicatie-componenten in de smart glasses en in de externe controle- eenheid.

Het is verondersteld dat de huidige uitvinding niet beperkt is tot de uitvoeringsvormen die hierboven beschreven zijn en dat enkele aanpassingen of veranderingen aan de beschreven voorbeelden kunnen toegevoegd worden zonder de toegevoegde conclusies te herwaarderen. Bijvoorbeeld, de huidige uitvinding werd beschreven met verwijzing naar medische ingrepen, maar het mag duidelijk zijn dat de uitvinding kan toegepast worden op bv. bomonimanteling of onderhouds- of reparatiewerken in moeilijk toegankelijke gebieden {(hoogiewerker, ruimtestation, faciliteit in Poolgebied, etc).

Claims

CONCLUSIES BE2021/5674

1. Hoofdgedragen apparaat omvallende minstens een sensorsysteem voor het detecteren van translatie en rotaties van het hoofdgedragen apparaat, een beeldsensor voor het capteren van beelden; waarbij het apparaal geconfigureerd is voor het automatisch kalibreren van parameters waaronder de beeldsensor opereert, wanneer de gedetecteerde translatie onder een voorafbepaalde translatiedrempelwaarde en de gedetecteerde rotatie onder een vooraïbepaalde rotatiedrempelwaarde blijven gedurende minstens een voorafbepaalde tijdsduur; waarbij de voorafbepaalde tijdsduur minstens 2.0 s, en bij voorkeur minstens

4.0 s, bedraagt; waarbij de voorafbepaalde transiatiedrempelwaarde hoogstens 1.0 cm bedraagt, en waarbij de voorafbepaalde rotatiedrempelwaarde hoogsiens

5.0° bedraagt; en waarbij het automatisch kalibreren uitgevoerd wordt op basis van de scène gecanteerd door de beeldsensor; bij voorkeur waarbij de voorafbepaalde translatiedrempelwaarde hoogstens

0.5 cm bedraagt, en waarbij de voorafbepaalde rotatiedrempelwaarde hoogstens 2.5° bedraagt.

2. Hoofdgedragen apparaat volgens de voorgaande conclusie 1, waarbij het kalibreren het automatisch vinden van sluitertijd en het instellen van brandpuntsafstand omvat.

3. Hoofdgedragen apparaat volgens gen van de voorgaande conclusies 1 of 2, waarbij het apparaat een smart glass is.

4. Hoofdgedragen apparaat volgens één van de voorgaande conclusies 1 tot en met 3, waarbij de voorafbepaalde translatiedrempelwaarde hoogstens 0.25 cm bedraagt, en waarbij de voorafbepaalde rotatiedrempelwaarde hoogstens

1.0° bedraagt.

5. Hoofdgedragen apperaat volgens één van de voorgaande conclusies 1 tot en met 4, waarbij het apparaat geconfigureerd is om het kalibreren uit te voeren indien de = gedetecteerde translatie onder de voorafbepaalde transiatiedrempelwaarde en de gedetecteerde rolalie onder de

. U ‚ BE2021/5674 voorafbepaalde rotatiedrempelwaarde liggen gedurende minstens de voorafbepaalde tijdsduur, volgend op de detectie van een voorafbepaalde bewegingssequentie van het hoofdgedragen apparaat, de detectie uitgevoerd door het sensorsysteem van het hoofdgedragen apparaal.

6. Hoofdgedragen apparaat volgens één van de voorgaande conclusies 1 tot en met 5, waarbij het sensorsysteem minstens één gyroscoop omval.

7. Hoofdgedragen apparaat volgens één van de voorgaande conclusies 1 tot en met 8, waarbii het sensorsysteem minstens één accsleromeler omvat.

8. Hoofdgedragen apparaat volgens één van de voorgaande conclusies 1 tot en met 7, waarbij het apparaat geconfigureerd is om geen volgende kalibratie uit te voeren vooralger door het sensorsysteem gen translatie en/of rotatie van het hoofdgedragen apparaat is gedetecteerd die minstens de voorafbepaalde translatiedrempelwaarde en/of de voorafbepaalde rotatiedrempelwaarde overschrijdt.

9. Hooïdgedragen apparaat volgens de voorgaande conclusie 8, waarbij het apparaat geconfigureerd is om geen volgende kalibratie uit te voeren vooralser door het sensorsysteem translatie en/of rotatie van het hoofdgedragen apparaat is gedetecteerd die minstens een voorafbepaalde bewegingsdrempelwaarden overschrijdi, de bewegingsdrempelwaarden minstens twee keer hoger dan de voorafbepaalde transiatiedrempelwaarde en rolatiedrempelwaarde.

10. Hoofdgedragen apparaat volgens één van de voorgaande conciusies 1 tot en met 9, verder omvattende een beeldscherm voor het weergeven van beelden, waarbij een processoreenheid het beeldscherm aanstuurt, en het beeldscherm gepositioneerd kan worden om de beelden weer te geven zichtbaar voor een gebruiker die het hoofdgedragen apparaat op zijn hoofd draagt; bij voorkeur waarbij de processoreenheid omvat is in een externe controle- eenheid, bedraad of draadloos in communicatie met het hoofdgedragen apparaat en geconfigureerd voor het aansturen van het hoofdgedragen apparaat.

11. Hoofdgedragen apparaat volgens de voorgaande conclusies 10, waarbij nePE2021/5674 beeldscherm geconfigureerd is voor het weergeven van door de beeldsensor gecanteerde beelden.

12. Hoofdgedragen apparaat volgens één van de voorgaande conclusies 1 tot en met 11, verder omvattende een externe controle-eenheid, de externe controle-senheid bedraad of draadloos, bij voorkeur bedraad, in communicatie met het hoofdgedragen apparaat, en bij voorkeur omvattende cen processoreenheid voor het aansturen van het hoofdgedragen apparaat; waarbij de externe controie-eenheid sen energiebron omvat voor het voorzien van energie aan het hoofdgedragen apparaat en waarbij het hoofdgedragen apparaat geen energiebron omvat.

13. Hoofdgedragen apparaat volgens één van de voorgaande conclusies 1 tot en met 12, waarbij de parameters opgeslagen worden op een gsheugsnelement, bij voorkeur deel uitmakend van sen externe controle-eenheid, de externe controle-eenheld bedraad of draadloos in communicatie met het hoofdgedragen apparaat en geconfigureerd voor het aansturen van het hoofdgedragen apparaat, en waarbij de externe controle-eenheid verder sen processoreenheid omvat geconfigureerd voor het opvragen van de opgeslagen parameters en voor het aan de beeldsensor opleggen van de opgeslagen parameters.

14. Hoofdgedragen apparaat volgens de voorgaande conclusies 12 en 13, waarbij het geheugenelement deel uitmaakt van de externe controle-eenheid.

15. Hoofdgedragen apparaat volgens één van de voorgaande conclusies 1 tot en met 14, waarbij het sensorsysiem één of meerdere magnetometers omval.

16. Gebruik van een hoofdgedragen apparaat volgens één van de voorgaande conclusies 1 tot en met 15 door een medische professional bij een operatieve behandeling.

17. Werkwijze voor beeldvorming met een hoofdgedragen apparaat volgens één van de voorgaande conclusies 1 tot en met 15, waarbij de parameters waaronder de beeldsensor van het hoofdgedragen apparaat automatisch gekalibreerd worden, wanneer het hoofdgedragen apparaat gedurende minstens een voorafbepaalde tijdsduur, waarbij 12015874 voorafbepaalde tijdsduur minstens 2.0 s bedraagt, detecteert dat de translatie van het hoofdgedragen apparaat onder een voorafbepaalde translatiedrempelwaarde ligt en de rotatie van het hoofdgedragen apparaat onder een voorafbepaailde rotatiedrempelwaarde ligt, waarbij de vooralbepaalde translatiedrempelwaarde hoogstens 1.0 cm bedraagt, en waarbij de voorafbepaalde rotatiedrempelwaarde hoogstens 5.0° bedraagt, waarbij het automatisch kalibreren uitgevoerd wordt op basis van de scène gecanteerd door de beeldsensor; bij voorkeur waarbij de voorafbepaalde translatiedrempelwaarde hoogstens 0.5 cm bedraagt, en waarbij de voorafbepaalde rotatiedrempelwaarde hoogstens 2.5° bedraagt.