BE1030488B1 - METHOD FOR LINKING ONE OR MULTIPLE DISPLAYS TO A VIDEO CONFERENCE - Google Patents
METHOD FOR LINKING ONE OR MULTIPLE DISPLAYS TO A VIDEO CONFERENCE Download PDFInfo
- Publication number
- BE1030488B1 BE1030488B1 BE20225321A BE202205321A BE1030488B1 BE 1030488 B1 BE1030488 B1 BE 1030488B1 BE 20225321 A BE20225321 A BE 20225321A BE 202205321 A BE202205321 A BE 202205321A BE 1030488 B1 BE1030488 B1 BE 1030488B1
- Authority
- BE
- Belgium
- Prior art keywords
- person
- screen
- sterile environment
- input
- portable device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004891 communication Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 6
- 239000004984 smart glass Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 8
- 230000011664 signaling Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000036512 infertility Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Abstract
De huidige uitvinding betreft een werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie met externe, remote gebruikers op contactloze wijze in een steriele omgeving, waarbij input van een beeldsensor in de steriele omgeving en input van de remote gebruiker weergegeven worden in de videoconferentie.The present invention concerns a method for connecting one or more displays to a video conference with external, remote users in a contactless manner in a sterile environment, wherein input from an image sensor in the sterile environment and input from the remote user are displayed in the video conference. .
Description
1 BE2022/53211 BE2022/5321
WERKWIJZE VOOR HET KOPPELEN VAN ÉÉN OF MEERDERE BEELDSCHERMENMETHOD FOR CONNECTING ONE OR MULTIPLE DISPLAYS
AAN EEN VIDEOCONFERENTIEAT A VIDEO CONFERENCE
TECHNISCH DOMEINTECHNICAL DOMAIN
De uitvinding heeft betrekking op een werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie met externe, remote gebruikers op contactloze wijze in een steriele omgeving, waarbij input van een beeldsensor in de steriele omgeving en input van de remote gebruiker weergegeven worden in de videoconferentie.The invention relates to a method for linking one or more displays to a video conference with external, remote users in a contactless manner in a sterile environment, wherein input from an image sensor in the sterile environment and input from the remote user are displayed in the video conference.
STAND DER TECHNIEKSTATE OF THE TECHNOLOGY
Bij medische ingrepen, en andere procedures in een steriele omgeving (zoals bepaalde handelingen in een clean room en gelijkaardige situaties), wordt steeds meer nadruk gelegd op contactloos ageren, en moet door de aanwezige personen zo veel mogelijk vermeden worden om te interageren met andere objecten, in het bijzonder met hun handen, gezien deze steriel moeten blijven om op een later moment bepaalde handelingen uit te voeren.During medical interventions and other procedures in a sterile environment (such as certain actions in a clean room and similar situations), increasing emphasis is placed on contactless handling, and the persons present should avoid interacting with other objects as much as possible , in particular with their hands, as they must remain sterile to perform certain actions at a later time.
In een medische omgeving, moet gerekend worden dat een chirurg reeds een geruime tijd voor de procedure begint steriel moet zijn, en vervolgens niet meer mag interageren met zaken die niet steriel zijn. Er wordt een steriele zone afgebakend rond de patiënt in een operatiekamer (OK), die de steriele personen niet mogen verlaten en die andere niet-steriele personen niet mogen betreden.In a medical environment, it must be assumed that a surgeon must be sterile for a considerable time before the procedure begins, and then may no longer interact with items that are not sterile. A sterile zone is defined around the patient in an operating room (OR), which sterile persons are not allowed to leave and which other non-sterile persons are not allowed to enter.
Daarnaast wordt bij medische ingrepen steeds vaker beroep gedaan op experts uit meerdere gebieden, zeker bij complexe ingrepen. Echter, deze kunnen moeilijk allen fysiek aanwezig zijn door de beperkte ruimte in een OK, maar evenzeer omdat elke extra persoon de steriliteit verder in gevaar brengt, en ook de voorbereiding voor elke procedure veel omslachtiger en langer maakt.In addition, experts from multiple areas are increasingly being called upon for medical interventions, especially in the case of complex interventions. However, it is difficult for all of these to be physically present due to the limited space in an OR, but also because each additional person further compromises sterility and also makes the preparation for each procedure much more cumbersome and longer.
Een oplossing waar steeds vaker naar teruggegrepen wordt is videoconferencing, waarbij de experts de persoon (of personen) die fysiek aanwezig is in de steriele ruimte kunnen assisteren en raad geven. In deze toepassing wordt daarbij ook vaak beroep gedaan op smart glasses of andere draagbare toestellen met één of meerdere beeldsensoren, zodat de persoon ter plaatse zijn handen vrij heeft, en de remoteA solution that is increasingly being used is videoconferencing, where experts can assist and advise the person (or persons) physically present in the sterile room. In this application, smart glasses or other wearable devices with one or more image sensors are often used, so that the person on site has his hands free and the remote
2 BE2022/5321 experts een gelijkaardig beeld hebben als de persoon ter plaatse, en zo onderling beter kunnen afstemmen. Hierbij is het ook voordelig dat ze de persoon ter plaatse duidelijk kunnen aansturen door het sterk overlappende gezichtsveld tussen de beeldsensor (wat de remote experts zien) en het zicht van de persoon ter plaatse.2 BE2022/5321 experts have a similar picture as the person on site, and can therefore coordinate better with each other. It is also advantageous that they can clearly control the person on site due to the strongly overlapping field of view between the image sensor (what the remote experts see) and the view of the person on site.
Het blijft echter een probleem voor andere personen in het OK, in het bijzonder de niet-steriele personen zoals onder andere assistentes, verpleegsters, studenten, om te kunnen meevolgen met de videoconferentie, aangezien zij de assistentie van de remote expert niet kunnen zien en de niet-steriele personen de afgebakende steriele zone niet mogen betreden. Ook personen aanwezig in de afgebakende steriele zone kunnen moeite ondervinden met het volgen van de adviezen van de remote expert en bijgevolg het verloop van de ingreep, aangezien zij aangewezen zijn op de communicatie van de persoon met de beeldsensor. Enkel de remote expert en de persoon in de steriele omgeving met de beeldsensor hebben een duidelijk overzicht van de videoconferentie.However, it remains a problem for other people in the operating room, especially non-sterile people such as assistants, nurses, students, among others, to be able to follow along with the video conference, as they cannot see the assistance of the remote expert and the non-sterile persons are not allowed to enter the demarcated sterile zone. Persons present in the demarcated sterile zone may also experience difficulty in following the advice of the remote expert and therefore the course of the procedure, as they are dependent on the person's communication with the image sensor. Only the remote expert and the person in the sterile environment with the image sensor have a clear overview of the video conference.
De conversatie tussen de remote expert en de chirurg via een luidspreker door hetThe conversation between the remote expert and the surgeon via a loudspeaker through the
OK laten horen is een optie, maar dit is een ontoereikende oplossing aangezien de remote gebruiker in vele gevallen visuele aanduidingen geeft, waarbij hij aantekeningen maakt op het beeld van de videoconferentie. Indien enkel audio beschikbaar zou zijn, zou de videoconferentie voor andere personen onvoldoende duidelijk zijn.Sounding OK is an option, but this is an inadequate solution as in many cases the remote user provides visual cues, annotating the video conference image. If only audio were available, the video conference would not be sufficiently clear to other people.
De huidige uitvinding beoogt een oplossing te vinden voor tenminste enkele van bovenvermelde problemen, en voorziet een intuïtieve, eenvoudige werkwijze die een persoon toestaat om handenvrij een beeldscherm te koppelen aan de videoconferentie, waarbij het beeldscherm de input krijgt van de remote expert en de beeldsensor van de chirurg.The present invention aims to solve at least some of the above problems, and provides an intuitive, simple method that allows a person to connect a display hands-free to the video conference, where the display receives input from the remote expert and the image sensor from the surgeon.
SAMENVATTING VAN DE UITVINDINGSUMMARY OF THE INVENTION
Een werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie tussen een persoon in een steriele omgeving en één of meerdere remote gebruikers, waarbij de persoon in de steriele omgeving een draagbaar, handenvrij apparaat draagt, bij voorkeur op het hoofd van de persoon voorzien, bij voorkeur een set van smart glasses, waarbij het apparaat een beeldsensor omvat,A method of connecting one or more displays to a video conference between a person in a sterile environment and one or more remote users, wherein the person in the sterile environment wears a portable, hands-free device, preferably mounted on the person's head , preferably a set of smart glasses, where the device includes an image sensor,
3 BE2022/5321 waarbij het draagbaar apparaat verbonden is met de remote gebruiker, de werkwijze omvattende volgende stappen: a. het voorzien van één of meerdere beeldschermen in of rond de steriele omgeving, waarbij het beeldscherm aangestuurd wordt door middel van een processor en een netwerkmodule, en de processor en de netwerkmodule geschikt zijn voor het opereren van een webbrowser en het weergeven van de webbrowser op het aangestuurde beeldscherm; b. het genereren van een optisch leesbare representatie, bij voorkeur een3 BE2022/5321 where the portable device is connected to the remote user, the method comprising the following steps: a. providing one or more screens in or around the sterile environment, whereby the screen is controlled by means of a processor and a network module , and the processor and the network module are suitable for operating a web browser and displaying the web browser on the controlled display; b. generating an optically readable representation, preferably one
QR-code, waarbij de optisch leesbare representatie weergegeven wordt op het beeldscherm;QR code, where the optically readable representation is displayed on the screen;
C. het met de beeldsensor van het draagbaar apparaat inlezen en verwerken van de optisch leesbare representatie vóór het starten van de videoconferentie, waarbij het draagbaar apparaat van de persoon in de steriele omgeving start in een scanmodus, of tijdens de videoconferentie, waarbij de remote gebruiker het draagbaar apparaat van op afstand in de scanmodus plaatst, waarbij het beeldscherm waarvan de optisch leesbare representatie ingelezen is, gekoppeld wordt aan de videoconferentie; d. het weergeven van input van het draagbaar apparaat, op de één of meer gekoppelde beeldschermen;C. reading and processing the optically readable representation with the image sensor of the portable device before starting the video conference, where the portable device of the person in the sterile environment starts in a scanning mode, or during the video conference, where the remote user remotely places the portable device into scanning mode, whereby the screen from which the optically readable representation has been read is linked to the video conference; d. displaying input from the portable device, on the one or more associated displays;
Hierbij wordt een Selective Forwarding Unit (SFU) server voorzien in een communicatiearchitectuur tussen het draagbaar apparaat en één of meerdere beeldschermen, waarbij het draagbaar apparaat van de persoon in de steriele omgeving en één of meerdere beeldschermen verbonden zijn met de SFU-server, waarbij de SFU-server data van het draagbaar apparaat ontvangt en verwerkt en waarbij de SFU-server de verwerkte data van het draagbaar apparaat zendt naar één of meerdere beeldschermen, de data van het draagbaar apparaat omvattende de input van de beeldsensor en de input van het feedbackscherm.Here, a Selective Forwarding Unit (SFU) server is provided in a communication architecture between the wearable device and one or more displays, where the wearable device of the person in the sterile environment and one or more displays are connected to the SFU server, where the SFU server receives and processes data from the portable device and wherein the SFU server sends the processed data from the portable device to one or more displays, the data from the portable device including the input from the image sensor and the input from the feedback screen.
BESCHRIJVING VAN DE FIGURENDESCRIPTION OF THE FIGURES
Figuur 1 en 2 tonen een schematische weergave van de communicatiearchitectuur tussen de verschillende partijen tijdens de videoconferentie.Figures 1 and 2 show a schematic representation of the communication architecture between the different parties during the video conference.
GEDETAILLEERDE BESCHRIJVINGDETAILED DESCRIPTION
Tenzij anders gedefinieerd hebben alle termen die gebruikt worden in de beschrijving van de uitvinding, ook technische en wetenschappelijke termen, de betekenis zoalsUnless otherwise defined, all terms used in the description of the invention, including technical and scientific terms, have the meanings as follows
4 BE2022/5321 ze algemeen begrepen worden door de vakman in het technisch veld van de uitvinding. Voor een betere beoordeling van de beschrijving van de uitvinding, worden de volgende termen expliciet uitgelegd. “Een”, “de” en “het” refereren in dit document aan zowel het enkelvoud als het meervoud tenzij de context duidelijk anders veronderstelt. Bijvoorbeeld, “een segment” betekent een of meer dan een segment.4 BE2022/5321 they are generally understood by those skilled in the technical field of the invention. For a better appreciation of the description of the invention, the following terms are explicitly explained. “A”, “the” and “het” in this document refer to both the singular and the plural unless the context clearly suggests otherwise. For example, “a segment” means one or more than one segment.
Wanneer “ongeveer” of “rond” in dit document gebruikt wordt bij een meetbare grootheid, een parameter, een tijdsduur of moment, en dergelijke, dan worden variaties bedoeld van +/-20% of minder, bij voorkeur +/-10% of minder, meer bij voorkeur +/-5% of minder, nog meer bij voorkeur +/-1% of minder, en zelfs nog meer bij voorkeur +/-0.1% of minder dan en van de geciteerde waarde, voor zoverre zulke variaties van toepassing zijn in de beschreven uitvinding. Hier moet echter wel onder verstaan worden dat de waarde van de grootheid waarbij de term “ongeveer” of “rond” gebruikt wordt, zelf specifiek wordt bekendgemaakt.When “about” or “around” is used in this document for a measurable quantity, a parameter, a period of time or moment, or the like, variations of +/-20% or less are meant, preferably +/-10% or less, more preferably +/-5% or less, even more preferably +/-1% or less, and even more preferably +/-0.1% or less than and of the quoted value, to the extent that such variations from are applicable in the described invention. However, this must be understood to mean that the value of the quantity for which the term “approximately” or “around” is used is itself specifically disclosed.
De termen “omvatten”, “omvattende”, “bestaan uit”, “bestaande uit”, “voorzien van”, “bevatten”, “bevattende”, “behelzen”, “behelzende”, “inhouden”, “inhoudende” zijn synoniemen en zijn inclusieve of open termen die de aanwezigheid van wat volgt aanduiden, en die de aanwezigheid niet uitsluiten of beletten van andere componenten, kenmerken, elementen, leden, stappen, gekend uit of beschreven in de stand der techniek.The terms “comprise”, “comprising”, “consist of”, “consisting of”, “providing”, “containing”, “containing”, “containing”, “containing”, “containing”, “containing” are synonyms and are inclusive or open terms that indicate the presence of what follows, and do not exclude or preclude the presence of other components, features, elements, members, steps, known or described in the prior art.
Hetciteren van numerieke intervallen door de eindpunten omvat alle gehele getallen, breuken en/of reële getallen tussen de eindpunten, deze eindpunten inbegrepen.Quoting numerical intervals through the endpoints includes all integers, fractions, and/or real numbers between the endpoints, including these endpoints.
In een eerste aspect betreft de uitvinding een werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie tussen een persoon in een steriele omgeving en één of meerdere remote gebruikers, waarbij de persoon in de steriele omgeving een draagbaar, handenvrij apparaat draagt, bij voorkeur op het hoofd van de persoon voorzien, bij voorkeur een set van smart glasses, waarbij het apparaat een beeldsensor omvat, waarbij het draagbaar apparaat verbonden is met de remote gebruiker, de werkwijze omvattende volgende stappen: a. het voorzien van één of meerdere beeldschermen in of rond de steriele omgeving, waarbij het beeldscherm aangestuurd wordt door middel van een processor en een netwerkmodule, en de processor en de netwerkmodule geschikt zijn voor het opereren van een webbrowser en het weergeven van de webbrowser op het aangestuurde beeldscherm; b. het genereren van een optisch leesbare representatie, bij voorkeur eenIn a first aspect, the invention concerns a method for linking one or more displays to a video conference between a person in a sterile environment and one or more remote users, wherein the person in the sterile environment wears a portable, hands-free device, preferably provided on the person's head, preferably a set of smart glasses, wherein the device comprises an image sensor, wherein the wearable device is connected to the remote user, the method comprising the following steps: a. providing one or more screens in or around the sterile environment, wherein the display is controlled by means of a processor and a network module, and the processor and the network module are suitable for operating a web browser and displaying the web browser on the controlled display; b. generating an optically readable representation, preferably one
QR-code, waarbij de optisch leesbare representatie weergegeven wordt op het 5 beeldscherm;QR code, where the optically readable representation is displayed on the screen;
C. het met de beeldsensor van het draagbaar apparaat inlezen en verwerken van de optisch leesbare representatie vóór het starten van de videoconferentie, waarbij het draagbaar apparaat van de persoon in de steriele omgeving start in een scanmodus, of tijdens de videoconferentie, waarbij de remote gebruiker het draagbaar apparaat van op afstand in de scanmodus plaatst, waarbij het beeldscherm waarvan de optisch leesbare representatie ingelezen is, gekoppeld wordt aan de videoconferentie; d. het weergeven van input van het draagbaar apparaat, op de één of meer gekoppelde beeldschermen.C. reading and processing the optically readable representation with the image sensor of the portable device before starting the video conference, where the portable device of the person in the sterile environment starts in a scanning mode, or during the video conference, where the remote user remotely places the portable device into scanning mode, whereby the screen from which the optically readable representation has been read is linked to the video conference; d. displaying input from the portable device on the one or more linked displays.
Hierbij wordt een Selective Forwarding Unit (SFU) server voorzien in een communicatiearchitectuur tussen het draagbaar apparaat en één of meerdere beeldschermen, waarbij het draagbaar apparaat van de persoon in de steriele omgeving en één of meerdere beeldschermen verbonden zijn met de SFU-server, waarbij de SFU-server data van het draagbaar apparaat ontvangt en verwerkt en waarbij de SFU-server de verwerkte data van het draagbaar apparaat zendt naar één of meerdere beeldschermen, de data van het draagbaar apparaat omvattende de input van de beeldsensor en de input van het feedbackschermHere, a Selective Forwarding Unit (SFU) server is provided in a communication architecture between the wearable device and one or more displays, where the wearable device of the person in the sterile environment and one or more displays are connected to the SFU server, where the SFU server receives and processes data from the portable device and wherein the SFU server sends the processed data from the portable device to one or more displays, the data from the portable device including the input from the image sensor and the input from the feedback screen
Zoals reeds vermeld biedt deze werkwijze het voordeel dat de persoon ter plaatse in de steriele omgeving via het draagbaar apparaat één of meerdere beeldschermen kan koppelen aan de videoconferentie tussen de persoon in de steriele omgeving en de remote gebruiker, waarbij in vele gevallen toch beeldschermen beschikbaar zijn in de operatiekamer die niet gebruikt worden. Het draagbaar apparaat is draadloos, bij voorkeur via een Wi-Fi-router, verbonden. Om een beeldscherm te koppelen aan de videoconferentie tussen de persoon ter plaatse in de steriele omgeving en de remote gebruiker, zal via het gekozen beeldscherm een webbrowser geopend worden. Dit is enkel mogelijk indien het scherm verbonden is met een computer, waarbij de computer minstens een processor en een netwerkmodule omvat.As already mentioned, this method offers the advantage that the person on site in the sterile environment can link one or more screens via the portable device to the video conference between the person in the sterile environment and the remote user, where in many cases screens are still available. in the operating room that are not being used. The portable device is connected wirelessly, preferably via a Wi-Fi router. To link a screen to the video conference between the person on site in the sterile environment and the remote user, a web browser will be opened via the selected screen. This is only possible if the screen is connected to a computer, where the computer comprises at least a processor and a network module.
Aangezien de personen aanwezig in de afgebakende steriele zone, zo weinig mogelijk mogen interageren met andere objecten, kunnen zij de webbrowser niet bedienen.Since people present in the demarcated sterile zone are allowed to interact as little as possible with other objects, they cannot operate the web browser.
Hiervoor bedient een verpleegkundige of assistent die zich buiten de afgebakende steriele zone bevindt, bij voorkeur een circulatieverpleegkundige, de webbrowser viaFor this purpose, a nurse or assistant who is outside the demarcated sterile zone, preferably a circulation nurse, operates the web browser via
6 BE2022/5321 de computer. Via de webbrowser zal de circulatieverpleegkundige naar een vooraf gekende website gaan, waarbij een externe connectie opgezet wordt, bij voorkeur via een Wi-Fi-router of een ethernetverbinding, waarna de website een optisch leesbare representatie (QR-codes en dergelijke) genereert. De representaties kunnen op twee manieren ingelezen worden, namelijk vóór het starten van de videoconferentie of tijdens de videoconferentie. Wanneer de persoon in de steriele omgeving zijn draagbaar apparaat activeert, wordt dit apparaat standaard opgestart in een scanmodus. Hij kan dus, indien nodig, voorafgaand de start van de videoconferentie de representatie zonder handen, met behulp van zijn draagbaar apparaat, inlezen en het beeldscherm zo koppelen aan de videoconferentie.6 BE2022/5321 the computer. The circulation nurse will use the web browser to go to a previously known website, where an external connection is set up, preferably via a Wi-Fi router or an Ethernet connection, after which the website generates an optically readable representation (QR codes and the like). The representations can be read in two ways, namely before starting the video conference or during the video conference. When the person in the sterile environment activates their wearable device, the device will start up in a scanning mode by default. If necessary, he can read the representation without hands before the start of the video conference, using his portable device, and thus link the screen to the video conference.
Aangezien de videoconferentie nog niet begonnen is, wordt een wachtportaal voorzien waarbij de persoon in de steriele omgeving kan wachten tot de remote gebruiker zich ook geconnecteerd heeft. In dit wachtportaal worden verdere toestellen getoond die aan eenzelfde netwerk geconnecteerd zijn en deel uitmaken van dezelfde groepering, dit kan bijvoorbeeld een tweede camera zijn die een overzicht op de operatiekamer weergeeft. Het wachtportaal zal een connectiviteitsstatus tonen van deze toestellen. Indien een toestel niet geconnecteerd is, wordt dit visueel weergegeven. Bij de start van de videoconferentie wordt nu op het beeldscherm de feed van het draagbaar apparaat weergegeven. De remote gebruikers in de videoconferentie krijgen via hun beeldscherm een grafische presentatie te zien, omvattende meerdere secties. Hierbij worden de input van de remote gebruikers in de videoconferentie, de persoon in de steriele omgeving en bijvoorbeeld een beeldvormend instrument afzonderlijk gevisualiseerd in één van de secties.Since the video conference has not yet started, a waiting portal is provided where the person can wait in the sterile environment until the remote user has also connected. In this waiting portal, further devices are shown that are connected to the same network and are part of the same grouping, this could be, for example, a second camera that provides an overview of the operating room. The watch portal will show a connectivity status of these devices. If a device is not connected, this is displayed visually. At the start of the video conference, the feed from the portable device is now displayed on the screen. The remote users in the video conference see a graphical presentation on their screen, comprising several sections. The input from the remote users in the video conference, the person in the sterile environment and, for example, an imaging instrument are visualized separately in one of the sections.
Bij voorkeur bestaat de input van het draagbaar apparaat uit de feed van de beeldsensor en de input van een geïntegreerd feedbackscherm, waarbij het feedbackscherm in verbinding staat met de remote gebruiker en waarop de remote gebruiker informatie, zoals onder andere foto's, video's, chatberichten of aantekeningen kan tonen.Preferably, the input of the wearable device consists of the feed from the image sensor and the input from an integrated feedback screen, wherein the feedback screen is connected to the remote user and on which the remote user can display information, such as photos, videos, chat messages or notes. can show.
Indien de persoon in de steriele omgeving geen beeldscherm koppelde bij de start van de videoconferentie, maar dit pas wenst nadat de videoconferentie al van start is gegaan, kan het apparaat in een scanmodus geplaatst worden door de remote gebruiker. De remote gebruiker kan namelijk een controle verwerven over het draagbaar apparaat van de persoon in de steriele omgeving en bijgevolg ook de videoconferentie. Dit is uitermate voordelig om interactie met objecten door de persoon in de steriele omgeving te vermijden en zo de sterilisatie op het allerhoogsteIf the person in the sterile environment did not connect a screen at the start of the video conference, but only wishes to do so after the video conference has already started, the device can be placed in a scanning mode by the remote user. The remote user can gain control over the person's portable device in the sterile environment and therefore also the video conference. This is extremely advantageous to avoid interaction with objects by the person in the sterile environment and thus ensure sterilization at the highest possible level.
7 BE2022/5321 niveau te houden. Deze controle door de remote gebruiker omvat minstens het manipuleren van focus (in- en uitzoomen), contrast aanpassen en annoteren van de gedeelde visuele output. Een actie van een remote gebruiker op één of meerdere van de gedeelde visuele outputs wordt zichtbaar op de visuele presentatie van de videoconferentie die gedeeld wordt tussen de remote gebruikers en de persoon in de steriele omgeving. Op deze manier kunnen de remote gebruikers op een eenvoudige en duidelijke manier feedback en instructies doorgeven aan de persoon ter plaatse (alsook onder elkaar delen, en verder werken op elkaars annotaties). Deze acties van de remote gebruiker zullen zichtbaar worden op het feedbackscherm op het draagbaar apparaat, waardoor de persoon in de steriele omgeving duidelijke communicatie ontvangt. Bijkomende functionaliteiten kunnen overgedragen worden aan de remote gebruikers, die al of niet deels of volledig worden afgenomen van de persoon in de steriele omgeving, gezien deze geen manuele manipulaties meer kunnen/mogen ondernemen ten opzichte van de handenvrije beeldsensor zonder de steriliteit in gedrang te brengen. Door expliciet de controle af te nemen, kan deze beperking duidelijker in de verf gezet worden, en de neiging van de persoon ter plaatse om deze te schenden gereduceerd worden. Een belangrijke stap bestaat uit het blokkeren van de scanmodus nadat een optisch leesbare representatie ingelezen en verwerkt is door de persoon in de steriele ruimte. Door deze functionaliteit te blokkeren, loopt men tijdens een procedure niet het gevaar dat de beeldsensor bijkomende participanten en/of instrumenten uitnodigt, bijvoorbeeld door per ongeluk één van de andere optische leesbare codes in de operatieruimte te capteren.7 BE2022/5321 level. This control by the remote user includes at least manipulating focus (zooming in and out), adjusting contrast and annotating the shared visual output. An action by a remote user on one or more of the shared visual outputs becomes visible on the visual presentation of the video conference shared between the remote users and the person in the sterile environment. In this way, remote users can provide feedback and instructions to the person on site in a simple and clear way (as well as share among themselves and continue working on each other's annotations). These actions by the remote user will be visible on the feedback screen on the wearable device, providing clear communication to the person in the sterile environment. Additional functionalities can be transferred to the remote users, who may or may not be partially or completely taken from the person in the sterile environment, as they can no longer perform manual manipulations with respect to the hands-free image sensor without compromising sterility . By explicitly taking away control, this limitation can be highlighted more clearly and the tendency of the person on the spot to violate it can be reduced. An important step consists of blocking the scan mode after an optically readable representation has been read and processed by the person in the sterile room. By blocking this functionality, there is no risk that the image sensor will invite additional participants and/or instruments during a procedure, for example by accidentally capturing one of the other optically readable codes in the operating room.
Dit kan leiden tot bijkomende druk op de teleconferentie, en zelfs mogelijk problemen met connectie veroorzaken, maar vergt het ook extra verwerkingscapaciteit van de beeldsensor, terwijl het cruciaal is dat deze zo veel mogelijk capaciteit besteed aan het optimaliseren van de verbindingen, en in het bijzonder de visuele output die gedeeld wordt vanuit de beeldsensor. Bovendien wordt zo verhinderd dat ongewenste personen uitgenodigd worden tijdens een procedure, waardoor de persoon in de steriele omgeving een verhoogde bewegingsvrijheid heeft.This can lead to additional pressure on the teleconference, and even possibly cause connection problems, but it also requires additional processing capacity of the image sensor, while it is crucial that it devotes as much capacity as possible to optimizing the connections, and in particular the visual output shared from the image sensor. In addition, this prevents unwanted persons from being invited during a procedure, giving the person increased freedom of movement in the sterile environment.
Bij voorkeur kunnen één of meerdere van de remote gebruikers het inlezen en verwerken terug toelaten op eenvoudige wijze, zoals een hiertoe voorzien icoon in de grafische presentatie van de videoconferentie. Een mogelijkheid bestaat ook voor de remote gebruikers om de video feed te kunnen pauzeren. Op deze manier kunnen remote gebruikers op eenvoudige wijze annotaties maken in een gepauzeerd beeld, of het stilstaande beeld liften en gebruiken als een afzonderlijke gedeelde visuele output in situaties waar meer perspectieven nodig zijn dan beeldsensoren voorhanden (of waarin oudere beelden nodig zijn). Ten slotte kan dit ook zijn nutPreferably, one or more of the remote users can allow reading and processing again in a simple manner, such as an icon provided for this purpose in the graphical presentation of the video conference. There is also an option for remote users to pause the video feed. In this way, remote users can easily annotate a paused image, or lift the still image and use it as a separate shared visual output in situations where more perspectives are needed than available image sensors (or where older images are needed). Finally, this can also be useful
8 BE2022/5321 hebben ter latere analyse van de procedure. Ook kan de remote gebruiker een sectie van de grafische presentatie selecteren als focus, waarbij de visuele output van de geselecteerde sectie vergroot wordt weergegeven in de grafische presentatie. Bij voorkeur kan elke remote gebruiker dit, of alternatief slechts een subset hiervan (die een hogere machtiging hebben, en hierbij mogelijk ook andere privileges, zoals stilzetten van beelden, uitnodigen van andere remote gebruikers, etc.).8 BE2022/5321 for later analysis of the procedure. The remote user can also select a section of the graphical presentation as focus, whereby the visual output of the selected section is displayed enlarged in the graphical presentation. Preferably, each remote user can do this, or alternatively only a subset of these (which have higher authority, and may also have other privileges, such as freezing images, inviting other remote users, etc.).
De videoconferentie kan ook opgenomen worden, indien gewenst. Bij beëindiging van de videoconferentie worden eventuele parameters weergegeven, zoals bijvoorbeeld duur van de videoconferentie of een link naar een opname.The video conference can also be recorded, if desired. When the video conference ends, any parameters are displayed, such as the duration of the video conference or a link to a recording.
Tijdens de videoconferentie kunnen remote gebruikers via het annoteren van bepaalde beelden met augmented reality content (hierna annotatie genoemd), ervoor opteren dat deze annotaties verankerd zijn aan een bepaalde positie of object in het beeld (bijvoorbeeld locatie van of voor een incisie), en niet statisch zijn (i.e. verankerd op een bepaalde pixel). Het systeem is hierbij geconfigureerd om de locatie/positie van de annotatie op te slaan, met alle relevante data daarbij opgeslagen. Het is daarbij het doel dat, bij verandering van standpunt van de beeldsensor die het geannoteerde beeld capteert, de relatieve positie behouden blijft, en de annotatie dus meebeweegt naarmate het beeld beweegt. Zo wordt verzekerd dat bij minder stabiele beeldsensoren, de annotatie zijn gewenste betekenis of doel blijft behouden. Het aanpassen van de positie van de augmented reality content in de weergegeven visuele output kan op meerdere wijzen bereikt worden. Enerzijds kan dit door gebruik te maken van gyroscopen en dergelijke systemen, die de verandering in oriëntatie/positie van de beeldsensor kunnen bepalen, en waardoor op basis daarvan de positie van de augmented reality content kan herberekend worden. Alternatief of aanvullend kan ook geopteerd worden voor objectherkenning.During the video conference, by annotating certain images with augmented reality content (hereinafter referred to as annotation), remote users can choose to have these annotations anchored to a certain position or object in the image (for example, location of or in front of an incision), and not be static (i.e. anchored to a particular pixel). The system is configured to store the location/position of the annotation, with all relevant data stored there. The aim is that, when the position of the image sensor that captures the annotated image changes, the relative position is maintained, and the annotation therefore moves as the image moves. This ensures that with less stable image sensors, the annotation retains its desired meaning or purpose. Adjusting the position of the augmented reality content in the displayed visual output can be achieved in several ways. On the one hand, this can be done by using gyroscopes and similar systems, which can determine the change in orientation/position of the image sensor, and on this basis the position of the augmented reality content can be recalculated. Alternatively or additionally, object recognition can also be opted for.
Door bij het plaatsen van de annotatie, de zone daarrond, of zelfs het volledige beeld in acht te nemen, kan dit vergeleken worden met beelden uit nieuwe standpunten, en aan de hand daarvan kan de positie van de annotatie geüpdatet worden.By taking the area around it, or even the entire image into account when placing the annotation, this can be compared with images from new viewpoints, and based on this the position of the annotation can be updated.
In het bijzonder de combinatie van de twee bovenstaande kan nuttig zijn, waarbij de objectherkenning bij voorkeur gebruikt wordt als finetuning op de ‘loggere’ herberekening op basis van determinatie van aangepaste oriëntatie/positie via gyroscopen en aanverwante sensoren.In particular, the combination of the above two can be useful, whereby object recognition is preferably used as fine-tuning over the 'more cumbersome' recalculation based on determination of adjusted orientation/position via gyroscopes and related sensors.
De augmented reality content kan vele vormen aannemen, zoals tekst, tekens, een sequentie van beelden, etc. Er kunnen één of meerdere verschillende annotaties verankerd worden aan een object/positie, terwijl bijkomend ook niet-verankerde annotaties kunnen toegevoegd worden (die een vaste positie in de weergave van het beeld krijgen, bijvoorbeeld voor algemene opmerkingen).The augmented reality content can take many forms, such as text, characters, a sequence of images, etc. One or more different annotations can be anchored to an object/position, while additionally non-anchored annotations can be added (which have a fixed position in the display of the image, for example for general comments).
9 BE2022/53219 BE2022/5321
Aan de hand van de bovenstaande werkwijze, wordt het mogelijk voor één of meerdere personen in de operatiekamer om op een duidelijke en handige manier de videoconferentie mee te volgen op een beeldscherm, zonder de steriliteit in het gedrang te brengen, waarbij het beeldscherm de input van het draagbaar apparaat weergeeft en bijgevolg alles wat de persoon in de steriele omgeving ziet, inclusief de input van de remote gebruiker.Using the above method, it becomes possible for one or more people in the operating room to follow the video conference on a screen in a clear and convenient way, without compromising sterility, whereby the screen accepts the input from displays the wearable device and therefore everything the person sees in the sterile environment, including the input from the remote user.
Bijkomend lost de uitvinding problemen op bij peer-to-peer-communicatie met gesprekken met meerdere partijen. In een scenario met meerdere partijen moet elke deelnemer zijn of haar data naar alle andere deelnemers sturen. Als we aannemen dater n deelnemers in het gesprek zijn, moet dezelfde datastroom n-1 keer naar de n-1 deelnemers worden verzonden. Dit vereist een aanzienlijke hoeveelheid bandbreedte. Bovendien zijn er ook aanzienlijke rekenkosten voor elk clientapparaat, omdat het dezelfde stream meerdere keren moet coderen. In de praktijk werkt directe peer-to-peer communicatie goed als het aantal gespreksdeelnemers laag is.Additionally, the invention solves problems in peer-to-peer communication with multi-party conversations. In a multi-party scenario, each participant must send his or her data to all other participants. If we assume that there are n participants in the call, the same data stream must be sent n-1 times to the n-1 participants. This requires a significant amount of bandwidth. In addition, there is also a significant computational cost for each client device as it must encode the same stream multiple times. In practice, direct peer-to-peer communication works well when the number of conversation participants is low.
Een server, bij voorkeur een centrale SFU-server, is hier dus essentieel om meerdere beeldschermen te kunnen connecteren met het draagbaar apparaat van de persoon in de steriele omgeving op een efficiënte manier. De SFU-server laat toe om de datastroom van één deelnemer uit de n deelnemers slechts één keer te verzenden naar de SFU-server, waarna de SFU-server deze informatie bezorgt aan de n-1 andere deelnemers. Een extra scherm toevoegen gaat zo uitermate efficiënt, omdat de SFU-server zelf de hoeveelheid data kan controleren zodat de bandbreedte niet overschreden wordt. Het gevaar op een tekort aan bandbreedte is dus veel kleiner, waardoor het systeem betrouwbaarder wordt voor de gebruikers.A server, preferably a central SFU server, is therefore essential here to be able to connect multiple displays to the person's portable device in the sterile environment in an efficient manner. The SFU server allows the data stream of one participant out of n participants to be sent to the SFU server only once, after which the SFU server delivers this information to the n-1 other participants. Adding an extra screen is extremely efficient, because the SFU server itself can control the amount of data so that the bandwidth is not exceeded. The risk of bandwidth shortage is therefore much smaller, making the system more reliable for users.
In een voorkeurdragende uitvoeringsvorm is het draagbaar apparaat van de persoon in de steriele omgeving geïntegreerd in een handenvrij toestel omvattende een beeldsensor en een feedbackscherm, waarbij het feedbackscherm de input van één of meerdere remote gebruikers weergeeft, waarbij de persoon in de steriele omgeving het feedbackscherm te zien krijgt en waarbij de input van het — feedbackscherm en de input van de beeldsensor samen weergegeven worden op de één of meer gekoppelde beeldschermen.In a preferred embodiment, the wearable device of the person in the sterile environment is integrated into a hands-free device comprising an image sensor and a feedback screen, wherein the feedback screen displays input from one or more remote users, wherein the person in the sterile environment uses the feedback screen. and where the input from the feedback screen and the input from the image sensor are displayed together on the one or more linked screens.
Een belangrijk aspect van de communicatie is de feedback die de remote gebruiker geeft op bovenstaand genoemd feedbackscherm, ingebouwd in de set van smart glasses. Via dit feedbackscherm is de remote gebruiker in staat om onder andere foto’s, video's, chatberichten of aantekeningen op het beeld aan de persoon in de steriele omgeving ter plaatse te tonen, waarbij de persoon in de steriele omgevingAn important aspect of communication is the feedback that the remote user provides on the above-mentioned feedback screen, built into the set of smart glasses. Through this feedback screen, the remote user is able to show photos, videos, chat messages or notes on the image to the person in the sterile environment on site, whereby the person in the sterile environment
10 BE2022/5321 de set van smart glasses niet moet aanraken om de steriliteit niet in gevaar te brengen.10 BE2022/5321 should not touch the set of smart glasses so as not to endanger sterility.
In een voorkeurdragende uitvoeringsvorm wordt het draagbaar apparaat van de persoon in de steriele omgeving rechtstreeks (peer-to-peer) via een communicatieprotocol, bij voorkeur via WebRTC, verbonden is met de remote gebruiker en waarbij de koppeling tussen het draagbaar apparaat en één of meerdere beeldschermen tot stand komt na het inlezen van de optisch leesbare representatie, via een server, bij voorkeur via de SFU-server, via een communicatieprotocol, bij voorkeur via WebRTC.In a preferred embodiment, the wearable device of the person in the sterile environment is connected directly (peer-to-peer) to the remote user via a communication protocol, preferably via WebRTC, and wherein the link between the wearable device and one or more screens is created after reading the optically readable representation, via a server, preferably via the SFU server, via a communication protocol, preferably via WebRTC.
Peer-to-peer-communicatie via Web Real Time Communication (WebRTC) veronderstelt directe uitwisseling van media-inhoud tussen twee webbrowsers.Peer-to-peer communication via Web Real Time Communication (WebRTC) presupposes direct exchange of media content between two web browsers.
WebRTC is een open-source communicatieprotocol en geschikt voor applicaties voor real-time communicatie van, audio, video of tekst tussen meerdere partijen via een peer-to-peer protocol. Het grote voordeel van WebRTC is dat protocol ondersteund wordt in alle moderne webbrowsers, waardoor er geen noodzaak is voor het installeren van plugins of systeemeigen apps. Enkel een ondersteuning in de webbrowser is noodzakelijk, maar dit vormt geen probleem zolang met een standaard webbrowser gewerkt wordt. Twee partijen of peers (bijvoorbeeld het draagbare apparaat en de remote gebruiker) kunnen met elkaar verbinding maken op twee verschillende manieren. Ofwel maken ze beide deel uit van hetzelfde systeemnetwerk, waardoor geen server nodig is, en een directe verbinding kan opgezet worden. Ofwel, in het meest waarschijnlijke scenario, maken ze geen deel uit van hetzelfde systeemnetwerk, waardoor wel een signalling server nodig is.WebRTC is an open-source communication protocol and suitable for applications for real-time communication of audio, video or text between multiple parties via a peer-to-peer protocol. The big advantage of WebRTC is that the protocol is supported in all modern web browsers, so there is no need to install plugins or native apps. Only support in the web browser is necessary, but this is not a problem as long as a standard web browser is used. Two parties or peers (for example, the wearable device and the remote user) can connect to each other in two different ways. Or they are both part of the same system network, so no server is required and a direct connection can be set up. Or, in the most likely scenario, they are not part of the same system network, which means a signaling server is needed.
Signalling is een proces waarin beide partijen tot een overeenkomst (handshake) komen. Een signalling server die hier de voorkeur geniet, is een "Session TraversalSignaling is a process in which both parties reach an agreement (handshake). A preferred signaling server here is a "Session Traversal
Utilities for NAT server (STUN) server. De STUN-server wordt aangesproken door de twee partijen en vraagt bepaalde informatie op van de beide partijen, onder andere of de partijen zich achter een Netwerk Adress Translation (NAT) of firewall bevinden, wat hun publiek IP-adres is, welk type firewall er wordt gebruikt. De STUN-server communiceert de informatie terug en laat zo de partijen toe om een directe peer-to- peer verbinding op te zetten.Utilities for NAT server (STUN) server. The STUN server is addressed by the two parties and requests certain information from both parties, including whether the parties are behind a Network Address Translation (NAT) or firewall, what their public IP address is, what type of firewall there is. is used. The STUN server communicates the information back and thus allows the parties to set up a direct peer-to-peer connection.
Helaas is de puur directe uitwisseling niet altijd mogelijk, omdat een browser zich achter een symmetrische NAT kan bevinden, waarbij enkel connecties gemaakt kunnen worden tussen partijen die in het verleden eens geconnecteerd geweest zijn.Unfortunately, purely direct exchange is not always possible, because a browser can be behind a symmetric NAT, whereby connections can only be made between parties that have been connected in the past.
Hierdoor worden WebRTC-applicaties gedwongen om een ander type server teThis forces WebRTC applications to use a different type of server
11 BE2022/5321 gebruiken voor het doorsturen van mediagegevens tussen browsers op het openbare internet, meer bepaald Traversal Using Relays around NAT (TURN) servers. De TURN- server zal als relay-server functioneren en de ontvangen data simpelweg doorsturen.11 BE2022/5321 to forward media data between browsers on the public Internet, in particular Traversal Using Relays around NAT (TURN) servers. The TURN server will function as a relay server and simply forward the received data.
Dit leidt vanzelfsprekend tot een extra schakel in de datastroom en ook hogere bedrijfskost. Bijgevolg is de TURN-server enkel te gebruiken indien geen directe connectie kan gemaakt worden, na signalling naar de STUN-server.This naturally leads to an extra link in the data flow and also higher operating costs. Consequently, the TURN server can only be used if a direct connection cannot be made, after signaling to the STUN server.
In een voorkeurdragende uitvoeringsvorm wordt na het inlezen van de optisch leesbare representatie op het beeldscherm, het beeldscherm onderdeel wordt van een groep toestellen, waarbij de toestellen onder andere het draagbaar apparaat, een tweede camera in de operatiekamer en/of één of meerdere beeldschermen omvatten, waarbij de toestellen deel uitmaken van eenzelfde netwerk als het beeldscherm, waarbij alle beeldschermen in het netwerk eenzelfde input weergeven.In a preferred embodiment, after reading the optically readable representation on the screen, the screen becomes part of a group of devices, wherein the devices include, among other things, the portable device, a second camera in the operating room and/or one or more screens, where the devices are part of the same network as the screen, where all screens in the network display the same input.
Zoals reeds vermeld, zijn in een operatiekamer meestal meerdere toestellen aanwezig, waarbij deze toestellen verbonden zijn met een netwerk, bijvoorbeeld viaAs already mentioned, an operating room usually has several devices, where these devices are connected to a network, for example via
Wi-Fi. Dit kan bijvoorbeeld een tweede camera zijn die een overzicht van de operatiekamer weergeeft. Indien deze toestellen deel uitmaken van hetzelfde netwerk als het draagbare apparaat, kunnen ze gegroepeerd worden. Wanneer een beeldscherm via een QR-code ingelezen wordt door het draagbaar apparaat van de persoon in de steriele ruimte, zal dit beeldscherm automatisch deel uitmaken van de groepering.WiFi. This could, for example, be a second camera that provides an overview of the operating room. If these devices are part of the same network as the portable device, they can be grouped together. When a screen is read via a QR code by the portable device of the person in the sterile room, this screen will automatically become part of the grouping.
In een voorkeurdragende uitvoeringsvorm wordt een status van de toestellen, waarbij de toestellen deel uitmaken van een groep en waarbij de status onder andere een verbindingstoestand omvat, op één of meerdere gekoppelde beeldschermen weergeven. Wanneer een beeldscherm via een QR-code ingelezen wordt, zal dit beeldscherm automatisch deel uitmaken van de groepering en zal de status van de andere toestellen zichtbaar zijn op het beeldscherm.In a preferred embodiment, a status of the devices, where the devices are part of a group and where the status includes, among other things, a connection state, is displayed on one or more linked screens. When a screen is read via a QR code, this screen will automatically become part of the grouping and the status of the other devices will be visible on the screen.
In een voorkeurdragende uitvoeringsvorm is de remote gebruiker en het draagbaar apparaat van de persoon in de steriele omgeving verbonden met een cloud, waarbij de cloud wordt beheerd door een administrator, waarbij de cloud data opvraagt en opslaat van de remote gebruiker en van het draagbaar apparaat van de persoon in de steriele omgeving.In a preferred embodiment, the remote user and the person's wearable device in the sterile environment are connected to a cloud, the cloud being managed by an administrator, the cloud requesting and storing data from the remote user and the person's wearable device the person in the sterile environment.
12 BE2022/532112 BE2022/5321
Een cloud wordt beschikbaar gesteld en communiceert met het draagbaar apparaat en de remote gebruiker. De cloud kan gebruikt worden als host en kan data, bijvoorbeeld voorkeuren of paramaters opslaan, waarbij deze parameters kunnen opgevraagd worden bij een volgende sessie.A cloud is made available and communicates with the wearable device and the remote user. The cloud can be used as a host and can store data, for example preferences or parameters, whereby these parameters can be retrieved during a subsequent session.
In een voorkeurdragende uitvoeringsvorm bedient de persoon in de steriele omgeving één of meerdere beeldschermen via handgebaren, waarbij specifieke handgebaren gelinkt zijn met een bepaalde actie op het beeldscherm.In a preferred embodiment, the person in the sterile environment operates one or more screens via hand gestures, where specific hand gestures are linked to a certain action on the screen.
In een voorkeurdragende uitvoeringsvorm weergeeft het gekoppelde beeldscherm een grafische presentatie, omvattende meerdere secties, omvattende de input van de remote gebruiker, de input van het draagbaar apparaat van de persoon in de steriele ruimte en eventueel input van een beeldvormend instrument.In a preferred embodiment, the linked display displays a graphical presentation comprising multiple sections, including the input from the remote user, the input from the portable device of the person in the sterile room and optionally input from an imaging instrument.
In wat volgt, wordt de uitvinding beschreven a.d.h.v. niet-limiterende voorbeelden die de uitvinding illustreren, en die niet bedoeld zijn of geïnterpreteerd mogen worden om de omvang van de uitvinding te limiteren.In what follows, the invention is described by means of: non-limiting examples that illustrate the invention and are not intended or should be construed to limit the scope of the invention.
VOORBEELDENEXAMPLES
VOORBEELD 1:EXAMPLE 1:
Figuur 1 en 2 tonen een schematische weergave van de communicatiearchitectuur tussen de verschillende partijen tijdens de videoconferentie.Figures 1 and 2 show a schematic representation of the communication architecture between the different parties during the video conference.
De architectuur voorziet een directe peer-to-peer connectie via WebRTC (9) tussen het draagbaar apparaat van de persoon in de steriele omgeving (1) en de remote gebruiker (2) via een signalling server, bij voorkeur een STUN-server (5), of eenThe architecture provides a direct peer-to-peer connection via WebRTC (9) between the wearable device of the person in the sterile environment (1) and the remote user (2) via a signaling server, preferably a STUN server (5 ), or a
TURN-server (6). Bij het inlezen van een grafische representatie op een beeldscherm (3) door het draagbaar apparaat (1), wordt een connectie gemaakt met een SFU- server (7) die het beeldscherm (3) koppelt aan de videoconferentie en alle input van het draagbaar apparaat (1) doorstuurt via WebRTC. Een administrator (4) beheert het systeem via een cloud (8).TURN server (6). When a graphic representation on a screen (3) is read by the portable device (1), a connection is made with an SFU server (7) that links the screen (3) to the video conference and all input from the portable device (1) forwards via WebRTC. An administrator (4) manages the system via a cloud (8).
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BE20225321A BE1030488B1 (en) | 2022-04-29 | 2022-04-29 | METHOD FOR LINKING ONE OR MULTIPLE DISPLAYS TO A VIDEO CONFERENCE |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BE20225321A BE1030488B1 (en) | 2022-04-29 | 2022-04-29 | METHOD FOR LINKING ONE OR MULTIPLE DISPLAYS TO A VIDEO CONFERENCE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BE1030488A1 BE1030488A1 (en) | 2023-11-27 |
| BE1030488B1 true BE1030488B1 (en) | 2023-12-04 |
Family
ID=81975063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BE20225321A BE1030488B1 (en) | 2022-04-29 | 2022-04-29 | METHOD FOR LINKING ONE OR MULTIPLE DISPLAYS TO A VIDEO CONFERENCE |
Country Status (1)
| Country | Link |
|---|---|
| BE (1) | BE1030488B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251483A1 (en) * | 2010-04-12 | 2011-10-13 | Inneroptic Technology, Inc. | Image annotation in image-guided medical procedures |
| US20160085922A1 (en) * | 2013-11-22 | 2016-03-24 | Spinal Generations, Llc | System and method for identifying a medical device |
| US20170242480A1 (en) * | 2014-10-06 | 2017-08-24 | Koninklijke Philips N.V. | Docking system |
| US20190206004A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Interactive surgical systems with condition handling of devices and data capabilities |
-
2022
- 2022-04-29 BE BE20225321A patent/BE1030488B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251483A1 (en) * | 2010-04-12 | 2011-10-13 | Inneroptic Technology, Inc. | Image annotation in image-guided medical procedures |
| US20160085922A1 (en) * | 2013-11-22 | 2016-03-24 | Spinal Generations, Llc | System and method for identifying a medical device |
| US20170242480A1 (en) * | 2014-10-06 | 2017-08-24 | Koninklijke Philips N.V. | Docking system |
| US20190206004A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Interactive surgical systems with condition handling of devices and data capabilities |
Non-Patent Citations (2)
| Title |
|---|
| JALALINIYA SHAHRAM ET AL: "Designing Wearable Personal Assistants for Surgeons: An Egocentric Approach", IEEE PERVASIVE COMPUTING, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 14, no. 3, 1 July 2015 (2015-07-01), pages 22 - 31, XP011662336, ISSN: 1536-1268, [retrieved on 20150630], DOI: 10.1109/MPRV.2015.61 * |
| SAUER IGOR M. ET AL: "Mixed Reality in Visceral Surgery : Development of a Suitable Workflow and Evaluation of Intraoperative Use-cases", ANNALS OF SURGERY., vol. 266, no. 5, 1 November 2017 (2017-11-01), US, pages 706 - 712, XP055848942, ISSN: 0003-4932, Retrieved from the Internet <URL:https://d1wqtxts1xzle7.cloudfront.net/54430495/Sauer_Queisner_et_al_-_2017_-_Mixed_Reality_Surgery.pdf?1505379154=&response-content-disposition=inline;+filename=Mixed_Reality_in_Visceral_Surgery_Develo.pdf&Expires=1633613327&Signature=Ey3YuUTLp0RcYWc94sjbCLpB26I~j4g36u3hHeDgSWuZVgzfXRfu-OJo03HhKyRWh> DOI: 10.1097/SLA.0000000000002448 * |
Also Published As
| Publication number | Publication date |
|---|---|
| BE1030488A1 (en) | 2023-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10728501B2 (en) | Multifunctional conferencing systems and methods | |
| CN105897551B (en) | For showing the method and system of the mood of the participant in electronic chat session | |
| JP6200483B2 (en) | Image processing system, image processing method, and image processing program | |
| US7877445B2 (en) | Collaboration server, collaboration system, and method and program for collaboration server and system, for reducing network traffic | |
| US20160373691A1 (en) | Conveying attention information in virtual conference | |
| EP2042969A1 (en) | Method for determining user reaction with specific content of a displayed page. | |
| US20160018888A1 (en) | Indication of eye tracking information during real-time communications | |
| WO2016119034A1 (en) | System, equipment and method for performing and documenting in real-time a remotely assisted professional procedure | |
| Howgego et al. | The rules for online clinical engagement in the COVID era | |
| BE1030488B1 (en) | METHOD FOR LINKING ONE OR MULTIPLE DISPLAYS TO A VIDEO CONFERENCE | |
| BE1028937B1 (en) | CONTACT-LESS CONFIGURATION OF A VIDEO CONFERENCE IN STERILE ENVIRONMENTS | |
| WO2023278253A1 (en) | Automated scan of common ailments so that a consistent image can be given to a doctor for analysis | |
| CN114785977A (en) | Controlling video data content using computer vision | |
| US20220382571A1 (en) | User guidance from gaze information during a communication session while viewing a webpage | |
| JP6641722B2 (en) | Management system, communication system, and information transmission method | |
| JP2022536453A (en) | Dynamically changing the capabilities of real-time communication sessions | |
| BE1030666B1 (en) | HAND MOVEMENT OR HAND POSE RECOGNITION FOR SMARTGLASSES | |
| WO2020183727A1 (en) | Medical examination notebook system, patient terminal, and control method | |
| WO2014169024A2 (en) | Protecting patient information in virtual medical consulations | |
| JP4239970B2 (en) | Information terminal equipment | |
| NL2025686B1 (en) | Dynamic modification of functionality of a real-time communications session | |
| JP2020064380A (en) | Communication system and program | |
| JP6921436B2 (en) | Examination notebook system, patient terminal and control method | |
| WO2024042817A1 (en) | Information providing device and information providing method | |
| JP2022185252A (en) | Remote conference system server and remote conference system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Patent granted |
Effective date: 20231204 |