BE1030488B1 - Werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie - Google Patents
Werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie Download PDFInfo
- Publication number
- BE1030488B1 BE1030488B1 BE20225321A BE202205321A BE1030488B1 BE 1030488 B1 BE1030488 B1 BE 1030488B1 BE 20225321 A BE20225321 A BE 20225321A BE 202205321 A BE202205321 A BE 202205321A BE 1030488 B1 BE1030488 B1 BE 1030488B1
- Authority
- BE
- Belgium
- Prior art keywords
- person
- screen
- sterile environment
- input
- portable device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004891 communication Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 6
- 239000004984 smart glass Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 8
- 230000011664 signaling Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000036512 infertility Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
De huidige uitvinding betreft een werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie met externe, remote gebruikers op contactloze wijze in een steriele omgeving, waarbij input van een beeldsensor in de steriele omgeving en input van de remote gebruiker weergegeven worden in de videoconferentie.
Description
1 BE2022/5321
WERKWIJZE VOOR HET KOPPELEN VAN ÉÉN OF MEERDERE BEELDSCHERMEN
AAN EEN VIDEOCONFERENTIE
TECHNISCH DOMEIN
De uitvinding heeft betrekking op een werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie met externe, remote gebruikers op contactloze wijze in een steriele omgeving, waarbij input van een beeldsensor in de steriele omgeving en input van de remote gebruiker weergegeven worden in de videoconferentie.
STAND DER TECHNIEK
Bij medische ingrepen, en andere procedures in een steriele omgeving (zoals bepaalde handelingen in een clean room en gelijkaardige situaties), wordt steeds meer nadruk gelegd op contactloos ageren, en moet door de aanwezige personen zo veel mogelijk vermeden worden om te interageren met andere objecten, in het bijzonder met hun handen, gezien deze steriel moeten blijven om op een later moment bepaalde handelingen uit te voeren.
In een medische omgeving, moet gerekend worden dat een chirurg reeds een geruime tijd voor de procedure begint steriel moet zijn, en vervolgens niet meer mag interageren met zaken die niet steriel zijn. Er wordt een steriele zone afgebakend rond de patiënt in een operatiekamer (OK), die de steriele personen niet mogen verlaten en die andere niet-steriele personen niet mogen betreden.
Daarnaast wordt bij medische ingrepen steeds vaker beroep gedaan op experts uit meerdere gebieden, zeker bij complexe ingrepen. Echter, deze kunnen moeilijk allen fysiek aanwezig zijn door de beperkte ruimte in een OK, maar evenzeer omdat elke extra persoon de steriliteit verder in gevaar brengt, en ook de voorbereiding voor elke procedure veel omslachtiger en langer maakt.
Een oplossing waar steeds vaker naar teruggegrepen wordt is videoconferencing, waarbij de experts de persoon (of personen) die fysiek aanwezig is in de steriele ruimte kunnen assisteren en raad geven. In deze toepassing wordt daarbij ook vaak beroep gedaan op smart glasses of andere draagbare toestellen met één of meerdere beeldsensoren, zodat de persoon ter plaatse zijn handen vrij heeft, en de remote
2 BE2022/5321 experts een gelijkaardig beeld hebben als de persoon ter plaatse, en zo onderling beter kunnen afstemmen. Hierbij is het ook voordelig dat ze de persoon ter plaatse duidelijk kunnen aansturen door het sterk overlappende gezichtsveld tussen de beeldsensor (wat de remote experts zien) en het zicht van de persoon ter plaatse.
Het blijft echter een probleem voor andere personen in het OK, in het bijzonder de niet-steriele personen zoals onder andere assistentes, verpleegsters, studenten, om te kunnen meevolgen met de videoconferentie, aangezien zij de assistentie van de remote expert niet kunnen zien en de niet-steriele personen de afgebakende steriele zone niet mogen betreden. Ook personen aanwezig in de afgebakende steriele zone kunnen moeite ondervinden met het volgen van de adviezen van de remote expert en bijgevolg het verloop van de ingreep, aangezien zij aangewezen zijn op de communicatie van de persoon met de beeldsensor. Enkel de remote expert en de persoon in de steriele omgeving met de beeldsensor hebben een duidelijk overzicht van de videoconferentie.
De conversatie tussen de remote expert en de chirurg via een luidspreker door het
OK laten horen is een optie, maar dit is een ontoereikende oplossing aangezien de remote gebruiker in vele gevallen visuele aanduidingen geeft, waarbij hij aantekeningen maakt op het beeld van de videoconferentie. Indien enkel audio beschikbaar zou zijn, zou de videoconferentie voor andere personen onvoldoende duidelijk zijn.
De huidige uitvinding beoogt een oplossing te vinden voor tenminste enkele van bovenvermelde problemen, en voorziet een intuïtieve, eenvoudige werkwijze die een persoon toestaat om handenvrij een beeldscherm te koppelen aan de videoconferentie, waarbij het beeldscherm de input krijgt van de remote expert en de beeldsensor van de chirurg.
SAMENVATTING VAN DE UITVINDING
Een werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie tussen een persoon in een steriele omgeving en één of meerdere remote gebruikers, waarbij de persoon in de steriele omgeving een draagbaar, handenvrij apparaat draagt, bij voorkeur op het hoofd van de persoon voorzien, bij voorkeur een set van smart glasses, waarbij het apparaat een beeldsensor omvat,
3 BE2022/5321 waarbij het draagbaar apparaat verbonden is met de remote gebruiker, de werkwijze omvattende volgende stappen: a. het voorzien van één of meerdere beeldschermen in of rond de steriele omgeving, waarbij het beeldscherm aangestuurd wordt door middel van een processor en een netwerkmodule, en de processor en de netwerkmodule geschikt zijn voor het opereren van een webbrowser en het weergeven van de webbrowser op het aangestuurde beeldscherm; b. het genereren van een optisch leesbare representatie, bij voorkeur een
QR-code, waarbij de optisch leesbare representatie weergegeven wordt op het beeldscherm;
C. het met de beeldsensor van het draagbaar apparaat inlezen en verwerken van de optisch leesbare representatie vóór het starten van de videoconferentie, waarbij het draagbaar apparaat van de persoon in de steriele omgeving start in een scanmodus, of tijdens de videoconferentie, waarbij de remote gebruiker het draagbaar apparaat van op afstand in de scanmodus plaatst, waarbij het beeldscherm waarvan de optisch leesbare representatie ingelezen is, gekoppeld wordt aan de videoconferentie; d. het weergeven van input van het draagbaar apparaat, op de één of meer gekoppelde beeldschermen;
Hierbij wordt een Selective Forwarding Unit (SFU) server voorzien in een communicatiearchitectuur tussen het draagbaar apparaat en één of meerdere beeldschermen, waarbij het draagbaar apparaat van de persoon in de steriele omgeving en één of meerdere beeldschermen verbonden zijn met de SFU-server, waarbij de SFU-server data van het draagbaar apparaat ontvangt en verwerkt en waarbij de SFU-server de verwerkte data van het draagbaar apparaat zendt naar één of meerdere beeldschermen, de data van het draagbaar apparaat omvattende de input van de beeldsensor en de input van het feedbackscherm.
BESCHRIJVING VAN DE FIGUREN
Figuur 1 en 2 tonen een schematische weergave van de communicatiearchitectuur tussen de verschillende partijen tijdens de videoconferentie.
GEDETAILLEERDE BESCHRIJVING
Tenzij anders gedefinieerd hebben alle termen die gebruikt worden in de beschrijving van de uitvinding, ook technische en wetenschappelijke termen, de betekenis zoals
4 BE2022/5321 ze algemeen begrepen worden door de vakman in het technisch veld van de uitvinding. Voor een betere beoordeling van de beschrijving van de uitvinding, worden de volgende termen expliciet uitgelegd. “Een”, “de” en “het” refereren in dit document aan zowel het enkelvoud als het meervoud tenzij de context duidelijk anders veronderstelt. Bijvoorbeeld, “een segment” betekent een of meer dan een segment.
Wanneer “ongeveer” of “rond” in dit document gebruikt wordt bij een meetbare grootheid, een parameter, een tijdsduur of moment, en dergelijke, dan worden variaties bedoeld van +/-20% of minder, bij voorkeur +/-10% of minder, meer bij voorkeur +/-5% of minder, nog meer bij voorkeur +/-1% of minder, en zelfs nog meer bij voorkeur +/-0.1% of minder dan en van de geciteerde waarde, voor zoverre zulke variaties van toepassing zijn in de beschreven uitvinding. Hier moet echter wel onder verstaan worden dat de waarde van de grootheid waarbij de term “ongeveer” of “rond” gebruikt wordt, zelf specifiek wordt bekendgemaakt.
De termen “omvatten”, “omvattende”, “bestaan uit”, “bestaande uit”, “voorzien van”, “bevatten”, “bevattende”, “behelzen”, “behelzende”, “inhouden”, “inhoudende” zijn synoniemen en zijn inclusieve of open termen die de aanwezigheid van wat volgt aanduiden, en die de aanwezigheid niet uitsluiten of beletten van andere componenten, kenmerken, elementen, leden, stappen, gekend uit of beschreven in de stand der techniek.
Hetciteren van numerieke intervallen door de eindpunten omvat alle gehele getallen, breuken en/of reële getallen tussen de eindpunten, deze eindpunten inbegrepen.
In een eerste aspect betreft de uitvinding een werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie tussen een persoon in een steriele omgeving en één of meerdere remote gebruikers, waarbij de persoon in de steriele omgeving een draagbaar, handenvrij apparaat draagt, bij voorkeur op het hoofd van de persoon voorzien, bij voorkeur een set van smart glasses, waarbij het apparaat een beeldsensor omvat, waarbij het draagbaar apparaat verbonden is met de remote gebruiker, de werkwijze omvattende volgende stappen: a. het voorzien van één of meerdere beeldschermen in of rond de steriele omgeving, waarbij het beeldscherm aangestuurd wordt door middel van een processor en een netwerkmodule, en de processor en de netwerkmodule geschikt zijn voor het opereren van een webbrowser en het weergeven van de webbrowser op het aangestuurde beeldscherm; b. het genereren van een optisch leesbare representatie, bij voorkeur een
QR-code, waarbij de optisch leesbare representatie weergegeven wordt op het 5 beeldscherm;
C. het met de beeldsensor van het draagbaar apparaat inlezen en verwerken van de optisch leesbare representatie vóór het starten van de videoconferentie, waarbij het draagbaar apparaat van de persoon in de steriele omgeving start in een scanmodus, of tijdens de videoconferentie, waarbij de remote gebruiker het draagbaar apparaat van op afstand in de scanmodus plaatst, waarbij het beeldscherm waarvan de optisch leesbare representatie ingelezen is, gekoppeld wordt aan de videoconferentie; d. het weergeven van input van het draagbaar apparaat, op de één of meer gekoppelde beeldschermen.
Hierbij wordt een Selective Forwarding Unit (SFU) server voorzien in een communicatiearchitectuur tussen het draagbaar apparaat en één of meerdere beeldschermen, waarbij het draagbaar apparaat van de persoon in de steriele omgeving en één of meerdere beeldschermen verbonden zijn met de SFU-server, waarbij de SFU-server data van het draagbaar apparaat ontvangt en verwerkt en waarbij de SFU-server de verwerkte data van het draagbaar apparaat zendt naar één of meerdere beeldschermen, de data van het draagbaar apparaat omvattende de input van de beeldsensor en de input van het feedbackscherm
Zoals reeds vermeld biedt deze werkwijze het voordeel dat de persoon ter plaatse in de steriele omgeving via het draagbaar apparaat één of meerdere beeldschermen kan koppelen aan de videoconferentie tussen de persoon in de steriele omgeving en de remote gebruiker, waarbij in vele gevallen toch beeldschermen beschikbaar zijn in de operatiekamer die niet gebruikt worden. Het draagbaar apparaat is draadloos, bij voorkeur via een Wi-Fi-router, verbonden. Om een beeldscherm te koppelen aan de videoconferentie tussen de persoon ter plaatse in de steriele omgeving en de remote gebruiker, zal via het gekozen beeldscherm een webbrowser geopend worden. Dit is enkel mogelijk indien het scherm verbonden is met een computer, waarbij de computer minstens een processor en een netwerkmodule omvat.
Aangezien de personen aanwezig in de afgebakende steriele zone, zo weinig mogelijk mogen interageren met andere objecten, kunnen zij de webbrowser niet bedienen.
Hiervoor bedient een verpleegkundige of assistent die zich buiten de afgebakende steriele zone bevindt, bij voorkeur een circulatieverpleegkundige, de webbrowser via
6 BE2022/5321 de computer. Via de webbrowser zal de circulatieverpleegkundige naar een vooraf gekende website gaan, waarbij een externe connectie opgezet wordt, bij voorkeur via een Wi-Fi-router of een ethernetverbinding, waarna de website een optisch leesbare representatie (QR-codes en dergelijke) genereert. De representaties kunnen op twee manieren ingelezen worden, namelijk vóór het starten van de videoconferentie of tijdens de videoconferentie. Wanneer de persoon in de steriele omgeving zijn draagbaar apparaat activeert, wordt dit apparaat standaard opgestart in een scanmodus. Hij kan dus, indien nodig, voorafgaand de start van de videoconferentie de representatie zonder handen, met behulp van zijn draagbaar apparaat, inlezen en het beeldscherm zo koppelen aan de videoconferentie.
Aangezien de videoconferentie nog niet begonnen is, wordt een wachtportaal voorzien waarbij de persoon in de steriele omgeving kan wachten tot de remote gebruiker zich ook geconnecteerd heeft. In dit wachtportaal worden verdere toestellen getoond die aan eenzelfde netwerk geconnecteerd zijn en deel uitmaken van dezelfde groepering, dit kan bijvoorbeeld een tweede camera zijn die een overzicht op de operatiekamer weergeeft. Het wachtportaal zal een connectiviteitsstatus tonen van deze toestellen. Indien een toestel niet geconnecteerd is, wordt dit visueel weergegeven. Bij de start van de videoconferentie wordt nu op het beeldscherm de feed van het draagbaar apparaat weergegeven. De remote gebruikers in de videoconferentie krijgen via hun beeldscherm een grafische presentatie te zien, omvattende meerdere secties. Hierbij worden de input van de remote gebruikers in de videoconferentie, de persoon in de steriele omgeving en bijvoorbeeld een beeldvormend instrument afzonderlijk gevisualiseerd in één van de secties.
Bij voorkeur bestaat de input van het draagbaar apparaat uit de feed van de beeldsensor en de input van een geïntegreerd feedbackscherm, waarbij het feedbackscherm in verbinding staat met de remote gebruiker en waarop de remote gebruiker informatie, zoals onder andere foto's, video's, chatberichten of aantekeningen kan tonen.
Indien de persoon in de steriele omgeving geen beeldscherm koppelde bij de start van de videoconferentie, maar dit pas wenst nadat de videoconferentie al van start is gegaan, kan het apparaat in een scanmodus geplaatst worden door de remote gebruiker. De remote gebruiker kan namelijk een controle verwerven over het draagbaar apparaat van de persoon in de steriele omgeving en bijgevolg ook de videoconferentie. Dit is uitermate voordelig om interactie met objecten door de persoon in de steriele omgeving te vermijden en zo de sterilisatie op het allerhoogste
7 BE2022/5321 niveau te houden. Deze controle door de remote gebruiker omvat minstens het manipuleren van focus (in- en uitzoomen), contrast aanpassen en annoteren van de gedeelde visuele output. Een actie van een remote gebruiker op één of meerdere van de gedeelde visuele outputs wordt zichtbaar op de visuele presentatie van de videoconferentie die gedeeld wordt tussen de remote gebruikers en de persoon in de steriele omgeving. Op deze manier kunnen de remote gebruikers op een eenvoudige en duidelijke manier feedback en instructies doorgeven aan de persoon ter plaatse (alsook onder elkaar delen, en verder werken op elkaars annotaties). Deze acties van de remote gebruiker zullen zichtbaar worden op het feedbackscherm op het draagbaar apparaat, waardoor de persoon in de steriele omgeving duidelijke communicatie ontvangt. Bijkomende functionaliteiten kunnen overgedragen worden aan de remote gebruikers, die al of niet deels of volledig worden afgenomen van de persoon in de steriele omgeving, gezien deze geen manuele manipulaties meer kunnen/mogen ondernemen ten opzichte van de handenvrije beeldsensor zonder de steriliteit in gedrang te brengen. Door expliciet de controle af te nemen, kan deze beperking duidelijker in de verf gezet worden, en de neiging van de persoon ter plaatse om deze te schenden gereduceerd worden. Een belangrijke stap bestaat uit het blokkeren van de scanmodus nadat een optisch leesbare representatie ingelezen en verwerkt is door de persoon in de steriele ruimte. Door deze functionaliteit te blokkeren, loopt men tijdens een procedure niet het gevaar dat de beeldsensor bijkomende participanten en/of instrumenten uitnodigt, bijvoorbeeld door per ongeluk één van de andere optische leesbare codes in de operatieruimte te capteren.
Dit kan leiden tot bijkomende druk op de teleconferentie, en zelfs mogelijk problemen met connectie veroorzaken, maar vergt het ook extra verwerkingscapaciteit van de beeldsensor, terwijl het cruciaal is dat deze zo veel mogelijk capaciteit besteed aan het optimaliseren van de verbindingen, en in het bijzonder de visuele output die gedeeld wordt vanuit de beeldsensor. Bovendien wordt zo verhinderd dat ongewenste personen uitgenodigd worden tijdens een procedure, waardoor de persoon in de steriele omgeving een verhoogde bewegingsvrijheid heeft.
Bij voorkeur kunnen één of meerdere van de remote gebruikers het inlezen en verwerken terug toelaten op eenvoudige wijze, zoals een hiertoe voorzien icoon in de grafische presentatie van de videoconferentie. Een mogelijkheid bestaat ook voor de remote gebruikers om de video feed te kunnen pauzeren. Op deze manier kunnen remote gebruikers op eenvoudige wijze annotaties maken in een gepauzeerd beeld, of het stilstaande beeld liften en gebruiken als een afzonderlijke gedeelde visuele output in situaties waar meer perspectieven nodig zijn dan beeldsensoren voorhanden (of waarin oudere beelden nodig zijn). Ten slotte kan dit ook zijn nut
8 BE2022/5321 hebben ter latere analyse van de procedure. Ook kan de remote gebruiker een sectie van de grafische presentatie selecteren als focus, waarbij de visuele output van de geselecteerde sectie vergroot wordt weergegeven in de grafische presentatie. Bij voorkeur kan elke remote gebruiker dit, of alternatief slechts een subset hiervan (die een hogere machtiging hebben, en hierbij mogelijk ook andere privileges, zoals stilzetten van beelden, uitnodigen van andere remote gebruikers, etc.).
De videoconferentie kan ook opgenomen worden, indien gewenst. Bij beëindiging van de videoconferentie worden eventuele parameters weergegeven, zoals bijvoorbeeld duur van de videoconferentie of een link naar een opname.
Tijdens de videoconferentie kunnen remote gebruikers via het annoteren van bepaalde beelden met augmented reality content (hierna annotatie genoemd), ervoor opteren dat deze annotaties verankerd zijn aan een bepaalde positie of object in het beeld (bijvoorbeeld locatie van of voor een incisie), en niet statisch zijn (i.e. verankerd op een bepaalde pixel). Het systeem is hierbij geconfigureerd om de locatie/positie van de annotatie op te slaan, met alle relevante data daarbij opgeslagen. Het is daarbij het doel dat, bij verandering van standpunt van de beeldsensor die het geannoteerde beeld capteert, de relatieve positie behouden blijft, en de annotatie dus meebeweegt naarmate het beeld beweegt. Zo wordt verzekerd dat bij minder stabiele beeldsensoren, de annotatie zijn gewenste betekenis of doel blijft behouden. Het aanpassen van de positie van de augmented reality content in de weergegeven visuele output kan op meerdere wijzen bereikt worden. Enerzijds kan dit door gebruik te maken van gyroscopen en dergelijke systemen, die de verandering in oriëntatie/positie van de beeldsensor kunnen bepalen, en waardoor op basis daarvan de positie van de augmented reality content kan herberekend worden. Alternatief of aanvullend kan ook geopteerd worden voor objectherkenning.
Door bij het plaatsen van de annotatie, de zone daarrond, of zelfs het volledige beeld in acht te nemen, kan dit vergeleken worden met beelden uit nieuwe standpunten, en aan de hand daarvan kan de positie van de annotatie geüpdatet worden.
In het bijzonder de combinatie van de twee bovenstaande kan nuttig zijn, waarbij de objectherkenning bij voorkeur gebruikt wordt als finetuning op de ‘loggere’ herberekening op basis van determinatie van aangepaste oriëntatie/positie via gyroscopen en aanverwante sensoren.
De augmented reality content kan vele vormen aannemen, zoals tekst, tekens, een sequentie van beelden, etc. Er kunnen één of meerdere verschillende annotaties verankerd worden aan een object/positie, terwijl bijkomend ook niet-verankerde annotaties kunnen toegevoegd worden (die een vaste positie in de weergave van het beeld krijgen, bijvoorbeeld voor algemene opmerkingen).
9 BE2022/5321
Aan de hand van de bovenstaande werkwijze, wordt het mogelijk voor één of meerdere personen in de operatiekamer om op een duidelijke en handige manier de videoconferentie mee te volgen op een beeldscherm, zonder de steriliteit in het gedrang te brengen, waarbij het beeldscherm de input van het draagbaar apparaat weergeeft en bijgevolg alles wat de persoon in de steriele omgeving ziet, inclusief de input van de remote gebruiker.
Bijkomend lost de uitvinding problemen op bij peer-to-peer-communicatie met gesprekken met meerdere partijen. In een scenario met meerdere partijen moet elke deelnemer zijn of haar data naar alle andere deelnemers sturen. Als we aannemen dater n deelnemers in het gesprek zijn, moet dezelfde datastroom n-1 keer naar de n-1 deelnemers worden verzonden. Dit vereist een aanzienlijke hoeveelheid bandbreedte. Bovendien zijn er ook aanzienlijke rekenkosten voor elk clientapparaat, omdat het dezelfde stream meerdere keren moet coderen. In de praktijk werkt directe peer-to-peer communicatie goed als het aantal gespreksdeelnemers laag is.
Een server, bij voorkeur een centrale SFU-server, is hier dus essentieel om meerdere beeldschermen te kunnen connecteren met het draagbaar apparaat van de persoon in de steriele omgeving op een efficiënte manier. De SFU-server laat toe om de datastroom van één deelnemer uit de n deelnemers slechts één keer te verzenden naar de SFU-server, waarna de SFU-server deze informatie bezorgt aan de n-1 andere deelnemers. Een extra scherm toevoegen gaat zo uitermate efficiënt, omdat de SFU-server zelf de hoeveelheid data kan controleren zodat de bandbreedte niet overschreden wordt. Het gevaar op een tekort aan bandbreedte is dus veel kleiner, waardoor het systeem betrouwbaarder wordt voor de gebruikers.
In een voorkeurdragende uitvoeringsvorm is het draagbaar apparaat van de persoon in de steriele omgeving geïntegreerd in een handenvrij toestel omvattende een beeldsensor en een feedbackscherm, waarbij het feedbackscherm de input van één of meerdere remote gebruikers weergeeft, waarbij de persoon in de steriele omgeving het feedbackscherm te zien krijgt en waarbij de input van het — feedbackscherm en de input van de beeldsensor samen weergegeven worden op de één of meer gekoppelde beeldschermen.
Een belangrijk aspect van de communicatie is de feedback die de remote gebruiker geeft op bovenstaand genoemd feedbackscherm, ingebouwd in de set van smart glasses. Via dit feedbackscherm is de remote gebruiker in staat om onder andere foto’s, video's, chatberichten of aantekeningen op het beeld aan de persoon in de steriele omgeving ter plaatse te tonen, waarbij de persoon in de steriele omgeving
10 BE2022/5321 de set van smart glasses niet moet aanraken om de steriliteit niet in gevaar te brengen.
In een voorkeurdragende uitvoeringsvorm wordt het draagbaar apparaat van de persoon in de steriele omgeving rechtstreeks (peer-to-peer) via een communicatieprotocol, bij voorkeur via WebRTC, verbonden is met de remote gebruiker en waarbij de koppeling tussen het draagbaar apparaat en één of meerdere beeldschermen tot stand komt na het inlezen van de optisch leesbare representatie, via een server, bij voorkeur via de SFU-server, via een communicatieprotocol, bij voorkeur via WebRTC.
Peer-to-peer-communicatie via Web Real Time Communication (WebRTC) veronderstelt directe uitwisseling van media-inhoud tussen twee webbrowsers.
WebRTC is een open-source communicatieprotocol en geschikt voor applicaties voor real-time communicatie van, audio, video of tekst tussen meerdere partijen via een peer-to-peer protocol. Het grote voordeel van WebRTC is dat protocol ondersteund wordt in alle moderne webbrowsers, waardoor er geen noodzaak is voor het installeren van plugins of systeemeigen apps. Enkel een ondersteuning in de webbrowser is noodzakelijk, maar dit vormt geen probleem zolang met een standaard webbrowser gewerkt wordt. Twee partijen of peers (bijvoorbeeld het draagbare apparaat en de remote gebruiker) kunnen met elkaar verbinding maken op twee verschillende manieren. Ofwel maken ze beide deel uit van hetzelfde systeemnetwerk, waardoor geen server nodig is, en een directe verbinding kan opgezet worden. Ofwel, in het meest waarschijnlijke scenario, maken ze geen deel uit van hetzelfde systeemnetwerk, waardoor wel een signalling server nodig is.
Signalling is een proces waarin beide partijen tot een overeenkomst (handshake) komen. Een signalling server die hier de voorkeur geniet, is een "Session Traversal
Utilities for NAT server (STUN) server. De STUN-server wordt aangesproken door de twee partijen en vraagt bepaalde informatie op van de beide partijen, onder andere of de partijen zich achter een Netwerk Adress Translation (NAT) of firewall bevinden, wat hun publiek IP-adres is, welk type firewall er wordt gebruikt. De STUN-server communiceert de informatie terug en laat zo de partijen toe om een directe peer-to- peer verbinding op te zetten.
Helaas is de puur directe uitwisseling niet altijd mogelijk, omdat een browser zich achter een symmetrische NAT kan bevinden, waarbij enkel connecties gemaakt kunnen worden tussen partijen die in het verleden eens geconnecteerd geweest zijn.
Hierdoor worden WebRTC-applicaties gedwongen om een ander type server te
11 BE2022/5321 gebruiken voor het doorsturen van mediagegevens tussen browsers op het openbare internet, meer bepaald Traversal Using Relays around NAT (TURN) servers. De TURN- server zal als relay-server functioneren en de ontvangen data simpelweg doorsturen.
Dit leidt vanzelfsprekend tot een extra schakel in de datastroom en ook hogere bedrijfskost. Bijgevolg is de TURN-server enkel te gebruiken indien geen directe connectie kan gemaakt worden, na signalling naar de STUN-server.
In een voorkeurdragende uitvoeringsvorm wordt na het inlezen van de optisch leesbare representatie op het beeldscherm, het beeldscherm onderdeel wordt van een groep toestellen, waarbij de toestellen onder andere het draagbaar apparaat, een tweede camera in de operatiekamer en/of één of meerdere beeldschermen omvatten, waarbij de toestellen deel uitmaken van eenzelfde netwerk als het beeldscherm, waarbij alle beeldschermen in het netwerk eenzelfde input weergeven.
Zoals reeds vermeld, zijn in een operatiekamer meestal meerdere toestellen aanwezig, waarbij deze toestellen verbonden zijn met een netwerk, bijvoorbeeld via
Wi-Fi. Dit kan bijvoorbeeld een tweede camera zijn die een overzicht van de operatiekamer weergeeft. Indien deze toestellen deel uitmaken van hetzelfde netwerk als het draagbare apparaat, kunnen ze gegroepeerd worden. Wanneer een beeldscherm via een QR-code ingelezen wordt door het draagbaar apparaat van de persoon in de steriele ruimte, zal dit beeldscherm automatisch deel uitmaken van de groepering.
In een voorkeurdragende uitvoeringsvorm wordt een status van de toestellen, waarbij de toestellen deel uitmaken van een groep en waarbij de status onder andere een verbindingstoestand omvat, op één of meerdere gekoppelde beeldschermen weergeven. Wanneer een beeldscherm via een QR-code ingelezen wordt, zal dit beeldscherm automatisch deel uitmaken van de groepering en zal de status van de andere toestellen zichtbaar zijn op het beeldscherm.
In een voorkeurdragende uitvoeringsvorm is de remote gebruiker en het draagbaar apparaat van de persoon in de steriele omgeving verbonden met een cloud, waarbij de cloud wordt beheerd door een administrator, waarbij de cloud data opvraagt en opslaat van de remote gebruiker en van het draagbaar apparaat van de persoon in de steriele omgeving.
12 BE2022/5321
Een cloud wordt beschikbaar gesteld en communiceert met het draagbaar apparaat en de remote gebruiker. De cloud kan gebruikt worden als host en kan data, bijvoorbeeld voorkeuren of paramaters opslaan, waarbij deze parameters kunnen opgevraagd worden bij een volgende sessie.
In een voorkeurdragende uitvoeringsvorm bedient de persoon in de steriele omgeving één of meerdere beeldschermen via handgebaren, waarbij specifieke handgebaren gelinkt zijn met een bepaalde actie op het beeldscherm.
In een voorkeurdragende uitvoeringsvorm weergeeft het gekoppelde beeldscherm een grafische presentatie, omvattende meerdere secties, omvattende de input van de remote gebruiker, de input van het draagbaar apparaat van de persoon in de steriele ruimte en eventueel input van een beeldvormend instrument.
In wat volgt, wordt de uitvinding beschreven a.d.h.v. niet-limiterende voorbeelden die de uitvinding illustreren, en die niet bedoeld zijn of geïnterpreteerd mogen worden om de omvang van de uitvinding te limiteren.
VOORBEELDEN
VOORBEELD 1:
Figuur 1 en 2 tonen een schematische weergave van de communicatiearchitectuur tussen de verschillende partijen tijdens de videoconferentie.
De architectuur voorziet een directe peer-to-peer connectie via WebRTC (9) tussen het draagbaar apparaat van de persoon in de steriele omgeving (1) en de remote gebruiker (2) via een signalling server, bij voorkeur een STUN-server (5), of een
TURN-server (6). Bij het inlezen van een grafische representatie op een beeldscherm (3) door het draagbaar apparaat (1), wordt een connectie gemaakt met een SFU- server (7) die het beeldscherm (3) koppelt aan de videoconferentie en alle input van het draagbaar apparaat (1) doorstuurt via WebRTC. Een administrator (4) beheert het systeem via een cloud (8).
Claims (8)
1. Een werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie tussen een persoon in een steriele omgeving en één of meerdere remote gebruikers, waarbij de persoon in de steriele omgeving een draagbaar, handenvrij apparaat draagt, bij voorkeur op het hoofd van de persoon voorzien, bij voorkeur een set van smart glasses, waarbij het apparaat een beeldsensor omvat, waarbij het draagbaar apparaat verbonden is met de remote gebruiker, de werkwijze omvattende volgende stappen:
a. het voorzien van één of meerdere beeldschermen in of rond de steriele omgeving, waarbij het beeldscherm aangestuurd wordt door middel van een processor en een netwerkmodule, en de processor en de netwerkmodule geschikt zijn voor het opereren van een webbrowser en het weergeven van de webbrowser op het aangestuurde beeldscherm;
b. het genereren van een optisch leesbare representatie, bij voorkeur een QR-code, waarbij de optisch leesbare representatie weergegeven wordt op het beeldscherm;
c. het met de beeldsensor van het draagbaar apparaat inlezen en verwerken van de optisch leesbare representatie vóór het starten van de videoconferentie, waarbij het draagbaar apparaat van de persoon in de steriele omgeving start in een scanmodus, of tijdens de videoconferentie, waarbij de remote gebruiker het draagbaar apparaat van op afstand in de scanmodus plaatst, waarbij het beeldscherm waarvan de optisch leesbare representatie ingelezen is, gekoppeld wordt aan de videoconferentie;
d. het weergeven van input van het draagbaar apparaat, op de één of meer gekoppelde beeldschermen; met het kenmerk, dat een Selective Forwarding Unit (SFU) server voorzien wordt in een communicatiearchitectuur tussen het draagbaar apparaat en één of meerdere beeldschermen, waarbij het draagbaar apparaat van de persoon in de steriele omgeving en één of meerdere beeldschermen verbonden zijn met de SFU-server, waarbij de SFU-server data van het draagbaar apparaat ontvangt en verwerkt en waarbij de SFU-server de verwerkte data van het draagbaar apparaat zendt naar één of meerdere beeldschermen, de data van het draagbaar apparaat omvattende de input van de beeldsensor en de input van het feedbackscherm.
14 BE2022/5321
2. Werkwijze volgens de voorgaande conclusie 1, met het kenmerk, dat het draagbaar apparaat van de persoon in de steriele omgeving geïntegreerd is in een handenvrij toestel omvattende een beeldsensor en een feedbackscherm, waarbij het feedbackscherm de input van één of meerdere remote gebruikers weergeeft, waarbij de persoon in de steriele omgeving het feedbackscherm te zien krijgt en waarbij de input van het feedbackscherm en de input van de beeldsensor samen weergegeven worden op de één of meer gekoppelde beeldschermen.
3. Werkwijze volgens één der voorgaande conclusies 1-2, met het kenmerk, dat het draagbaar apparaat van de persoon in de steriele omgeving rechtstreeks (peer-to-peer) via een communicatieprotocol, bij voorkeur via WebRTC, verbonden is met de remote gebruiker en waarbij de koppeling tussen het draagbaar apparaat en één of meerdere beeldschermen tot stand komt na het inlezen van de optisch leesbare representatie, via een server, bij voorkeur via de SFU-server, via een communicatieprotocol, bij voorkeur via WebRTC.
4, Werkwijze volgens één der voorgaande conclusies 1-3, met het kenmerk, dat, na het inlezen van de optisch leesbare representatie op het beeldscherm, het beeldscherm onderdeel wordt van een groep toestellen, waarbij de toestellen onder andere het draagbaar apparaat, een tweede camera in de operatiekamer en/of één of meerdere beeldschermen omvatten, waarbij de toestellen deel uitmaken van eenzelfde netwerk als het beeldscherm, waarbij alle beeldschermen in het netwerk eenzelfde input weergeven.
5. Werkwijze volgens één der voorgaande conclusies 1-4, met het kenmerk, dat een status van de toestellen, waarbij de toestellen deel uitmaken van een groep en waarbij de status onder andere een verbindingstoestand omvat, op één of meerdere gekoppelde beeldschermen weergeven wordt.
6. Werkwijze volgens één der voorgaande conclusies 1-5, met het kenmerk, dat de remote gebruiker en het draagbaar apparaat van de persoon in de steriele omgeving verbonden zijn met een cloud, waarbij de cloud wordt beheerd door een administrator, waarbij de cloud data opvraagt en opslaat van de remote gebruiker en van het draagbaar apparaat van de persoon in de steriele omgeving.
15 BE2022/5321
7. Werkwijze volgens één der voorgaande conclusies 1-6, met het kenmerk, dat de persoon in de steriele omgeving één of meerdere beeldschermen bedient via handgebaren, waarbij specifieke handgebaren gelinkt zijn met een bepaalde actie op het beeldscherm.
8. Werkwijze volgens één der voorgaande conclusies 1-7, met het kenmerk, dat het gekoppelde beeldscherm een grafische presentatie weergeeft, omvattende meerdere secties, omvattende de input van de remote gebruiker, de input van het draagbaar apparaat van de persoon in de steriele ruimte en eventueel input van een beeldvormend instrument.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BE20225321A BE1030488B1 (nl) | 2022-04-29 | 2022-04-29 | Werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BE20225321A BE1030488B1 (nl) | 2022-04-29 | 2022-04-29 | Werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BE1030488A1 BE1030488A1 (nl) | 2023-11-27 |
| BE1030488B1 true BE1030488B1 (nl) | 2023-12-04 |
Family
ID=81975063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BE20225321A BE1030488B1 (nl) | 2022-04-29 | 2022-04-29 | Werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie |
Country Status (1)
| Country | Link |
|---|---|
| BE (1) | BE1030488B1 (nl) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251483A1 (en) * | 2010-04-12 | 2011-10-13 | Inneroptic Technology, Inc. | Image annotation in image-guided medical procedures |
| US20160085922A1 (en) * | 2013-11-22 | 2016-03-24 | Spinal Generations, Llc | System and method for identifying a medical device |
| US20170242480A1 (en) * | 2014-10-06 | 2017-08-24 | Koninklijke Philips N.V. | Docking system |
| US20190206004A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Interactive surgical systems with condition handling of devices and data capabilities |
-
2022
- 2022-04-29 BE BE20225321A patent/BE1030488B1/nl active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251483A1 (en) * | 2010-04-12 | 2011-10-13 | Inneroptic Technology, Inc. | Image annotation in image-guided medical procedures |
| US20160085922A1 (en) * | 2013-11-22 | 2016-03-24 | Spinal Generations, Llc | System and method for identifying a medical device |
| US20170242480A1 (en) * | 2014-10-06 | 2017-08-24 | Koninklijke Philips N.V. | Docking system |
| US20190206004A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Interactive surgical systems with condition handling of devices and data capabilities |
Non-Patent Citations (2)
| Title |
|---|
| JALALINIYA SHAHRAM ET AL: "Designing Wearable Personal Assistants for Surgeons: An Egocentric Approach", IEEE PERVASIVE COMPUTING, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 14, no. 3, 1 July 2015 (2015-07-01), pages 22 - 31, XP011662336, ISSN: 1536-1268, [retrieved on 20150630], DOI: 10.1109/MPRV.2015.61 * |
| SAUER IGOR M. ET AL: "Mixed Reality in Visceral Surgery : Development of a Suitable Workflow and Evaluation of Intraoperative Use-cases", ANNALS OF SURGERY., vol. 266, no. 5, 1 November 2017 (2017-11-01), US, pages 706 - 712, XP055848942, ISSN: 0003-4932, Retrieved from the Internet <URL:https://d1wqtxts1xzle7.cloudfront.net/54430495/Sauer_Queisner_et_al_-_2017_-_Mixed_Reality_Surgery.pdf?1505379154=&response-content-disposition=inline;+filename=Mixed_Reality_in_Visceral_Surgery_Develo.pdf&Expires=1633613327&Signature=Ey3YuUTLp0RcYWc94sjbCLpB26I~j4g36u3hHeDgSWuZVgzfXRfu-OJo03HhKyRWh> DOI: 10.1097/SLA.0000000000002448 * |
Also Published As
| Publication number | Publication date |
|---|---|
| BE1030488A1 (nl) | 2023-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10257463B2 (en) | Multifunctional conferencing systems and methods | |
| CN105897551B (zh) | 用于表现电子聊天会话中的参与者的情绪的方法和系统 | |
| US9800831B2 (en) | Conveying attention information in virtual conference | |
| JP6200483B2 (ja) | 画像処理システム、画像処理方法、および画像処理プログラム | |
| Muensterer et al. | Google Glass in pediatric surgery: an exploratory study | |
| US7877445B2 (en) | Collaboration server, collaboration system, and method and program for collaboration server and system, for reducing network traffic | |
| US20090146775A1 (en) | Method for determining user reaction with specific content of a displayed page | |
| US20160018888A1 (en) | Indication of eye tracking information during real-time communications | |
| WO2016119034A1 (pt) | Sistema, equipamento e processo para a realização e documentação de procedimento profissional assistido à distância em tempo real | |
| US12008752B2 (en) | Automated scan of common ailments so that a consistent image can be given to a doctor for analysis | |
| Howgego et al. | The rules for online clinical engagement in the COVID era | |
| BE1030488B1 (nl) | Werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie | |
| BE1028937B1 (nl) | Contactloos configureren van een videoconferentie in steriele omgevingen | |
| CN114785977A (zh) | 使用计算机视觉控制视频数据内容 | |
| US20220382571A1 (en) | User guidance from gaze information during a communication session while viewing a webpage | |
| WO2014169024A2 (en) | Protecting patient information in virtual medical consulations | |
| Georganas | Multimedia Applications Development: Experiences | |
| CN113966599B (zh) | 实时通信会话的功能的动态修改 | |
| BE1030666B1 (nl) | Handbeweging- of handposeherkenning voor smartglasses | |
| JPWO2020183727A1 (ja) | 診察手帳システム、患者端末及び制御方法 | |
| JP4239970B2 (ja) | 情報端末装置 | |
| NL2025686B1 (en) | Dynamic modification of functionality of a real-time communications session | |
| JP2020064380A (ja) | コミュニケーションシステムおよびプログラム | |
| JP6921436B2 (ja) | 診察手帳システム、患者端末及び制御方法 | |
| KR20240054091A (ko) | 수술영상을 촬영하는 촬영 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Patent granted |
Effective date: 20231204 |