BE1029593B1 - Methoden voor verbeterd camerazicht in studio-toepassingen - Google Patents

Abstract

De uitvinding heeft betrekking op een studiodisplay-omgeving en/of toepassingen daarvan, waarbij gebruik wordt gemaakt van een display (bijvoorbeeld LED-display) waarop beelden of video worden getoond, die worden opgenomen door één of meer camera's. De uitvinding heeft voorts betrekking op werkwijzen en systemen voor verbeterd camerabeeld in dergelijke studiodisplay-omgevingen en/of toepassingen.

Description

METHODEN VOOR VERBETERD CAMERAZICHT BE2022/5007

IN STUDIO-TOEPASSINGEN

Technisch veld

De uitvinding heeft betrekking op een studio display omgeving en/of toepassingen daarvan, waarbij gebruik wordt gemaakt van een display (bijvoorbeeld LED-display) waarop beelden of video worden getoond, die worden opgenomen door één of meer camera's. In het bijzonder heeft de uitvinding betrekking op werkwijzen voor verbeterd camerabeeld (zicht op de camera) in dergelijke studio display omgevingen en/of toepassingen.

Achtergrond van de uitvinding

Zoals nog vermeld in de Amerikaanse octrooiaanvrage publicatie US2020/0388210, getiteld "ACOUSTIC STUDIO LED SCREEN" en gepubliceerd op 10 december 2020 van dezelfde aanvrager, vertonen bestaande displays, beide met gebruik van lichtgevende (bijv. LED of OLED) of reflecterende technologieën (bijv. LCD) die worden gebruikt voor studiotoepassingen, dat wil zeggen binnen bijvoorbeeld een omroepomgeving, in het algemeen gebreken op het uiteindelijke scherm (resulterend uit een camera-opname) dat door het publiek of de gebruiker wordt gezien.

Vaak wordt dan een ingewikkelde en omslachtige manipulatie uitgevoerd om beelden weer acceptabel te maken voor de kijker, terwijl slechts een loutere aanvaardbaarheid wordt geboden door een gebrek aan betere beschikbaarheid. In genoemde eerdere aanvrage is echter reeds een robuuste en eenvoudige oplossing beschreven met betrekking tot het sync-banding-principe, d.w.z.

Vertical Sync Update zoals beschreven in [0057]-[0060], waarbij een synchronisatie wordt verschaft door middel van een programmeerbare update tijdstip van nieuwe binnenkomende beelden of het synchronisatiesignaal waarmee nieuwe beelden worden gescand. Het programmeerbare aspect houdt in dat het zodanig kan geprogrammeerd worden dat een bepaalde hoeveelheid tijd wordt gewacht totdat beelden worden getoond of weergegeven.

De uitvinding zoals beschreven in US2020/0388210 van dezelfde aanvrager, omvat het idee om het begin van het beeld (op het display) te verplaatsen om zogenaamde banding of banding-effecten te vermijden en zo te verzekeren dat het beeld in het zichtbaarheidsvenster staat (d.w.z. een deel of band gezien op de camera) van de sluiter (opening) tijd van de camera. In de techniek bekende banding, is het effect dat banding of banden op de camera verschijnen bij het opnemen van een display beeld (op de achtergrond). Bij het kijken naar bijvoorbeeld het nieuws of sport op tv BE2022/5007 achter de spreker of journalist is een (LED)scherm gemonteerd met daarop video of beeld, dan is het gebruikelijk dat het scherm achterin de video of beeld met banding effecten laat zien. Bij een

LED-scherm bijvoorbeeld wordt dit banding-fenomeen (hoofdzakelijk) veroorzaakt doordat het

PWM-signaal (pulse-width modulation) van het beeld dat op het display wordt weergegeven, met name doordat de sluiter (opening) tijd van de camera kan ingaan op verschillende posities van de

PWM (d.w.z. bij lager vermogen/helderheid versus hoger vermogen/helderheid), waardoor afwisselend helderdere en donkerdere beelden worden weergegeven, wat resulteert in beelden die worden weergegeven met banden met lichtere en donkerdere stroken of delen.

Zoals hierboven vermeld, worden camera's gebruikt voor opnames in de studio. In het geval van een studio-opname-gebeuren dat open is voor het publiek, worden studioscènes ook door het publiek opgevangen. Een hoogwaardige weergave voor beide camera's, vandaar remote viewer b.v. thuis, en publiek, dus live studiokijker, kan in dit opzicht een hele uitdaging zijn. Er is behoefte aan een studio display omgeving met verbeterde hoogwaardige eigenschappen voor het specifieke doel van opname- en weergavetoepassingen.

Doel van de uitvinding

Het doel van de uitvinding is het verbeteren van het camerabeeld en/of publiekszicht in een studio display omgeving en/of toepassingen.

Samenvatting van de uitvinding

Volgens een eerste aspect van de uitvinding wordt een werkwijze verschaft voor het verbeteren van het samenspel van een lichtbrondisplay met een camera die het beeld opneemt dat wordt weergegeven door het lichtbrondisplay, waarbij de werkwijze de stappen omvat van: (i) het ontvangen van een lichtbrondisplay-ingangssignaal; (ii) het ontvangen van één of meer waarden die een programmeerbare offset vertegenwoordigen (van het lichtbrondisplay-ingangssignaal of het beeld dat wordt weergegeven op het lichtbrondisplay) met betrekking tot de werking van de camera met een sluiter en bijbehorende sluitertijd; en (iii) het toepassen van het lichtbrondisplay- ingangssignaal op het lichtbrondisplay, gebaseerd op de één of meer programmeerbare offsetwaarden. Voorafgaand aan stap (iii) kan een tussenstap worden voorzien voor het ontvangen van een signaal dat verband houdt met de werking van de camera. Het lichtbrondisplay B E2022/5007 bijvoorbeeld een Light Emitting Diode (LED) display.

De één of meer programmeerbare offset-waarden kunnen worden geselecteerd om het samenspel van het lichtbrondisplay met de camera te verbeteren teneinde de energie-efficiëntie te verbeteren en/of banding-effecten te verminderen.

Het signaal dat betrekking heeft op de werking van de camera is bijvoorbeeld een synchronisatiesignaal, bij voorkeur op het moment dat de camerasluiter opent, of het signaal dat verschijnt op het moment dat de camerasluiter sluit.

In een uitvoeringsvorm is één van de één of meer programmeerbare offsetwaarden een programmeerbare start en, in stap (iii) wordt het lichtbrondisplay-ingangssignaal op de lichtbrondisplay toegepast vanaf (d.w.z. na of bij) de programmeerbare start, zijnde vanaf (d.w.z. na of op) het moment dat de camerasluiter opent.

In een uitvoeringsvorm is één van de één of meer programmeerbare offsetwaarden een programmeerbare stop en, in stap (iii) wordt het lichtbrondisplay-ingangssignaal op de lichtbrondisplay toegepast vóór of tot de programmeerbare stop, zijnde vóór of tot de tijd dat de sluiter van de camera sluit.

In een uitvoeringsvorm is één van de één of meer programmeerbare offsetwaarden een programmeerbare blanco-tijd en, in stap (iii) wordt het lichtbrondisplay-ingangssignaal op de lichtbrondisplay toegepast, na of vóór de programmeerbare blanco-tijd, d.w.z. buiten de programmeerbare blanco-tijd, zijnde tijdens de openingstijd van de camerasluiter, d.w.z. na of op het moment dat de camerasluiter opent, en vóór of tot het moment dat de camerasluiter sluit.

Volgens een uitvoeringsvorm wordt een werkwijze verschaft voor het automatisch optimaal bepalen van de één of meer programmeerbare offsetwaarden van elk aspect of uitvoeringsvorm hierboven in relatie tot de start (of het begin) en de lengte van de openingstijd van de camerasluiter en/of het automatisch bepalen van de start en lengte van de openingstijd van de camerasluiter (om de energie-efficiëntie te verbeteren en/of om banding-effecten te verminderen) (voor verder gebruik in de werkwijze van het eerste aspect of één van de uitvoeringsvormen daarvan). Het optimaal bepalen van de één of meer programmeerbare offsetwaarden betekent hier bepalen voor een bepaald doel en op een zo goed mogelijke, realiseerbare of haalbare manier. Het bepalen van de start en lengte van de openingstijd van de camerasluiter betekent hier te weten komen (of kennis krijgen van), terwijl deze parameters in feite vaste instellingen zijn die reeds vastgelegd zijn ma 2022/9007 niet altijd bekend zijn. De werkwijze omvat (na een stap van het initialiseren van de waarden, bijvoorbeeld door middel van vooraf bepaalde waarden) de volgende stappen: (i) het weergeven van een beeld; (ii) het (geleidelijk) wijzigen van de één of meer programmeerbare offsetwaarden en/of de start en lengte van de openingstijd van de sluiter; (iii) het analyseren van de opname van het beeld op de camera overeenkomstig stap (iii) van het eerste aspect voor elk van de één of meer programmeerbare offsetwaarden en/of de start en lengte tijdens het (geleidelijk) wijzigen daarvan in (ii); en (iv) het gebruiken van deze analyse voor het bepalen van geschikte programmeerbare offsetwaarden en/of start en lengte van de openingstijd van de camerasluiter.

Volgens een uitvoeringsvorm, wordt voorzien in een werkwijze voor het automatisch bepalen van begin en lengte van de sluiteropeningstijd van een camera in een (studio)omgeving of opstelling, bestaande uit een display en de camera die beelden van het display opneemt, waarbij de werkwijze volgende stappen omvat: (i) het weergeven van een beeld met gedefinieerde AAN-tijd; (ii) het (geleidelijk) wijzigen van de positie van de AAN-tijd door middel van een programmeerbare timing; (iii) het analyseren van de opname van het beeld op de camera voor elk van de posities tijdens het (geleidelijk) wijzigen daarvan in (ii); en (iv) het gebruiken van deze analyse om te bepalen wanneer de sluiteropeningstijd van de camera begint en wanneer deze eindigt. Volgens een verdere uitvoeringsvorm heeft het beeld een vooraf bepaald aantal PWM-cycli en omvat de werkwijze verder de stap van (v) het gebruiken, om (indien gewenst) de uitvoer van het beeld (voor helderheid en grijstinten) binnen het openingsvenster te maximaliseren, van één of meer van de volgende stappen: (a) het verhogen of verlagen van het vooraf bepaald aantal PWM-cycli; (b) het wijzigen van de klok van de PWM-cycli; (c) het wijzigen van de bit-diepte, d.w.z. het verhogen of verlagen van het aantal bits van de PWM-cycli, en/of (d) het gebruiken van een klok met dynamische frequentie voor de PWM-cycli, waarbij een dergelijke klok met dynamische frequentie met een frequentiepatroon heeft dat gerelateerd is aan de gevoeligheid van het menselijk oog.

Volgens een uitvoeringsvorm van het eerste aspect, heeft de uitvinding betrekking op een werkwijze voor het verbeteren van het samenspel van een lichtbrondisplay met een camera die het beeld opneemt dat wordt weergegeven door de lichtbrondisplay, waarbij de werkwijze omvat: (i) het ontvangen van een lichtbrondisplay-ingangssignaal; (ii) het ontvangen van een synchronisatiesignaal gerelateerd aan de camera; (iii) het ontvangen van een waarde die een programmeerbare vertraging vertegenwoordigt ten opzichte van het synchronisatiesignaal en (BF2022/5007 het toepassen van het lichtbrondisplay-ingangssignaal op het lichtbrondisplay, vóór de programmeerbare vertragingswaarde ten opzichte van het synchronisatiesignaal gerelateerd aan de camera. Het lichtbrondisplay kan een Light Emitting Diode (LED) display zijn. De 5 programmeerbare vertragingswaarde kan worden geselecteerd om het samenspel van de lichtbrondisplay met de camera te verbeteren teneinde de energie-efficiëntie te verbeteren.

Volgens een uitvoeringsvorm wordt een werkwijze verschaft voor het verbeteren van het samenspel van een lichtbrondisplay met een camera die het beeld opneemt dat wordt weergegeven door de lichtbrondisplay, waarbij de werkwijze omvat: (i) het ontvangen van een lichtbrondisplay- ingangssignaal; (ii) het ontvangen van een synchronisatiesignaal gerelateerd aan de camera; (iii) het ontvangen van een waarde die een programmeerbare blanco-tijd vertegenwoordigt ten opzichte van het synchronisatiesignaal; en (iv) het toepassen van het lichtbrondisplay-ingangssignaal op het lichtbrondisplay, na of vóór de programmeerbare blanco-tijd van het lichtbrondisplay- ingangssignaal ten opzichte van het synchronisatiesignaal gerelateerd aan de camera. Nogmaals, het lichtbrondisplay kan een Light Emitting Diode (LED) display zijn. De programmeerbare blanco- tijdwaarde kan worden geselecteerd om het samenspel van de lichtbrondisplay met de camera te verbeteren om banding-effecten te verminderen en/of de energie-efficiëntie te verbeteren.

Volgens een tweede aspect van de uitvinding, wordt een werkwijze verschaft voor het definiëren van display(driver)parameters van een lichtbrondisplay in een context met een camera die het beeld opneemt dat wordt weergegeven door de lichtbrondisplay waarbij de lichtbron wordt aangestuurd door PWM (driver) in relatie tot een gegeven openingstijd van de camerasluiter, waarbij de werkwijze (na een stap van het initialiseren van de display(driver)parameters bijv. door middel van vooraf bepaalde waarden) omvat: (i) het wijzigen (bijv. verhogen of verlagen) van één of meer van

PWM (driver)parameters geselecteerd uit de groep van: het aantal PWM-cycli, de klok van de PWM- cycli, de bit-diepte, d.w.z. het aantal bits van de PWM-cycli; en/of (ii) het introduceren van een klok met dynamische frequentie voor de PWM-cycli (met een frequentiepatroon dat gerelateerd is aan de gevoeligheid van het menselijk oog), om (indien gewenst) de output van het beeld (voor helderheid en grijstinten) te maximaliseren binnen de openingstijd van de camerasluiter. Eventueel maakt deze werkwijze deel uit van de werkwijze van het eerste aspect of één van de uitvoeringsvormen daarvan, waarbij in het bijzonder wordt verwezen naar de uitvoeringsvorm waarbij een werkwijze wordt verschaft voor het automatisch optimaal bepalen van één of me 2202/5007 programmeerbare offsetwaarden en/of het automatisch bepalen van de start en lengte van de openingstijd van de camerasluiter, zoals hierboven aangegeven.

Volgens een uitvoeringsvorm wordt een werkwijze verschaft voor het definiëren van de openingstijd van een sluiter van een camera die een beeld van een display opneemt, waarbij het beeld een vooraf bepaald aantal PWM-cycli heeft, waarbij de werkwijze ten minste één van de volgende stappen omvat: (a) het verhogen of verlagen van het vooraf bepaald aantal PWM-cycli; (b) het wijzigen van de klok van de PWM-cycli; (c) het wijzigen van de bit-diepte, d.w.z. het verhogen of verlagen van het aantal bits van de PWM-cycli; en/of (d) het gebruiken van een klok met dynamische frequentie voor de PWM-cycli, waarbij een dergelijke klok met dynamische frequentie een frequentiepatroon heeft dat gerelateerd is aan de gevoeligheid van het menselijk oog.

Volgens een derde aspect, wordt voorzien in een (studio)opstelling, omvattende ten minste één lichtbrondisplay, en ten minste één camera ingericht voor het opnemen van het door het ten minste één lichtbrondisplay weergegeven beeld; waarbij het lichtbrondisplay is aangepast (bijv. ontvangen waarden) voor het toepassen van één van de werkwijzen van het eerste en tweede aspect van de uitvinding.

Volgens een vierde aspect, wordt een werkwijze verschaft voor het toewijzen van inhoud die moet worden weergegeven op een lichtbrondisplay die niet zichtbaar is voor een eerste camera in een (studio)omgeving of (studio)opstelling zoals in het derde aspect, omvattende de opnamebeelden van de eerste camera die worden weergegeven door de lichtbrondisplay, waarbij de eerste camera een sluiter omvat met een sluiteropeningstijd, waarbij de werkwijze omvat: buiten de sluiteropeningstijd, wordt op de lichtbrondisplay de inhoud weergegeven en zijnde bijvoorbeeld video of beelden, tekst of grafische afbeeldingen, of (infrarood)markeringen.

De inhoud kan zichtbaar zijn voor het menselijk oog, of voor een tweede camera met een andere sluiteropeningstijd dan de eerste camera. De inhoud die op het lichtbrondisplay moet worden weergegeven, kan worden gevoed vanuit een externe videobron of vanuit een interne niet-vluchtige gegevensopslag op het display. Tijdens de sluiteropeningstijd van de eerste camera kan andere inhoud worden weergegeven op het lichtbrondisplay. Naast de inhoud en/of andere inhoud kan verdere inhoud worden weergegeven op het lichtbrondisplay dat alleen zichtbaar is, b.v. voor e&-2022/5007 infraroodcamera.

Volgens een uitvoeringsvorm wordt een werkwijze verschaft voor het definiëren van op een display te tonen inhoud in een (studio)omgeving/opstelling omvattende een camera die een deel van de inhoud van het display opneemt, waarbij de camera een sluiter omvat met een sluiteropeningstijd, waarbij , buiten de sluiteropeningstijd, het display een ander deel van de inhoud toont dat niet zichtbaar is voor de camera, en dat bijvoorbeeld video of beelden, tekst of tekeningen of (infrarood) markeringen is.

Nogmaals, het andere deel van de inhoud kan zichtbaar zijn voor het menselijk oog, of voor een andere camera die ofwel een andere sluiteropeningstijd heeft, ofwel een infraroodcamera is. En ook hier kan de inhoud die op het display wordt weergegeven, worden gevoed vanuit een externe videobron of vanuit een interne niet-vluchtige gegevensopslag op het display.

Volgens een uitvoeringsvorm, wordt een werkwijze verschaft voor het definiëren van inhoud die kan worden bekeken in een (studio)omgeving/opstelling omvattende een camera die een deel van de inhoud van een display opneemt, waarbij de camera een sluiter omvat met een sluiteropeningstijd, waarbij de werkwijze de stappen omvat van (i) tijdens de sluiteropeningstijd, het tonen van een deel van de inhoud op het display dat door de camera kan worden bekeken; en (ii) buiten de sluiteropeningstijd, het tonen van een ander deel van de inhoud op het display dat niet door de camera kan worden bekeken, en bijvoorbeeld door een publiek (menselijk oog) kan worden gezien, of anders om zichtbaar te zijn voor een andere b.v. infrarood camera.

De inhoud kan bijvoorbeeld bestaan uit (bewegende/stilstaande) beelden, tekst of grafische afbeeldingen, of (infrarood)markeringen.

Volgens een verder aspect, wordt een vermeerderde (studio)opstelling verschaft, omvattende ten minste één lichtbrondisplay, en ten minste één camera die is ingericht voor het opnemen van het door het ten minste één lichtbrondisplay weergegeven beeld; waarbij de lichtbrondisplay is aangepast (bijvoorbeeld waarden ontvangen) voor het toepassen van één van de werkwijzen van het eerste, tweede en derde aspect van de uitvinding.

Volgens een vijfde aspect, wordt een werkwijze verschaft voor automatische kleuraanpassing LOL 02215007 een gewenst niveau van een camera in een (studio)omgeving of (studio)opstelling zoals in het derde aspect omvattende een lichtbrondisplay en de camera die beelden opneemt van de lichtbrondisplay, waarbij de werkwijze de stappen omvat van: (i) het tonen van een R/G/B- testpatroon op de lichtbrondisplay; (ii) het aanpassen van de R/G/B-intensiteiten van de camera (tijdens het analyseren van de opname van het R/G/B-testpatroon op de camera) met de individuele en respectievelijke R/G/B van het R/G/B-test patroon op de lichtbrondisplay; (iii) het meten van de

R/G/B-intensiteiten van de camera van de daaropvolgende (door de camera) opgenomen R/G/B- testpatronen die worden weergegeven op de lichtbrondisplay; en herhalen van (ii) totdat de R/G/B- intensiteiten op het gewenste niveau zijn (bekend van de lichtbrondisplay).

Volgens een zesde aspect, wordt voorzien in een werkwijze voor kleurkalibratie in de tijd, uitgevoerd door een verwerkingssysteem van een (light-emitterend) display, gebaseerd op light-emitterende elementen (LEE's), in een (studio)omgeving of (studio)opstelling zoals in derde aspect, omvattende een camera die beelden opneemt van het display, waarbij de camera een sluiter omvat met een sluiteropeningstijd, waarbij de werkwijze omvat e het uitvoeren van een kleurmeting van een hoeveelheid LEE's van het display; e het bepalen van kleurruimtewaarden voor de kleurmeting van de hoeveelheid LEE's; e het definiëren voor de hoeveelheid LEE's van een eerste set doelkleuren in kleurruimtewaarden; e het definiëren voor de hoeveelheid LEE's van een tweede set doelkleuren in kleurruimtewaarden; s het berekenen van een eerste kalibratiematrix gebaseerd op de gemeten kleuren en op de eerste set doelkleuren, voor tijdens de sluiteropeningstijd; e het berekenen van een tweede kalibratiematrix gebaseerd op de gemeten kleuren en op de tweede set doelkleuren, voor buiten de sluiteropeningstijd; * het definiëren van een matrixfactor (voor tijd), die selectief wordt gekozen in relatie tot de sluiteropeningstijd, als een (reëel/geheel) getal; e het berekenen van een uiteindelijke kalibratiematrix, gedefinieerd door de eerste en tweede kalibratiematrix, die elk worden gewogen op basis van de matrixfactor.

Het (light-emitterend) display is bijvoorbeeld een lichtbrondisplay waarbij de light-emitterende 2922/9007 elementen (LEE's) b.v. licht-emitterende dioden of LED's zijn. Het lichtbrondisplay is dan een LED- display.

Volgens een verder aspect, wordt voorzien in een werkwijze voor kleurkalibratie in de tijd, uitgevoerd door een verwerkingssysteem van een (light-emitterend) display, gebaseerd op light- emitterende elementen (LEE's), in een (studio)omgeving of (studio)opstelling zoals in het derde aspect, omvattende een multi-camerasysteem met meerdere camera's die beelden opnemen van het display, waarbij de meerdere camera's elk een sluiter met een sluiteropeningstijd omvatten, waarbij de werkwijze omvat e het uitvoeren van een kleurmeting van een hoeveelheid LEE's van het display; * het bepalen van kleurruimtewaarden voor de kleurmeting van de hoeveelheid LEE's; e het definiëren voor de hoeveelheid LEE's van een eerste set doelkleuren in kleurruimtewaarden; e het definiëren voor de hoeveelheid LEE's van ten minste een tweede set doelkleuren in kleurruimtewaarden; s het berekenen van een eerste kalibratiematrix gebaseerd op de gemeten kleuren en op de eerste set doelkleuren, voor tijdens de sluiteropeningstijd van één van de meerdere camera's; e het berekenen van ten minste een tweede kalibratiematrix gebaseerd op de gemeten kleuren en op de ten minste tweede set doelkleuren, voor tijdens de sluiteropeningstijd van een andere van de meerdere camera's; * het definiëren van een matrixfactor (voor tijd), die selectief wordt gekozen in relatie tot de sluiteropeningstijd van elk van de meerdere camera's, als een (reéel/geheel) getal; e het berekenen van een uiteindelijke kalibratiematrix, gedefinieerd door de eerste en ten minste tweede kalibratiematrix, die elk worden gewogen op basis van de matrixfactor.

Korte beschrijving van de tekeningen

Figuur 1 illustreert het aspect van verticale sync-update in relatie tot camerasluitertijd in overeenstemming met de stand-van-techniek.

Figuur 2 illustreert een uitvoeringsvorm met verdere indicaties voor het illustreren van het verticale 2922/9007 sync-updateaspect.

Figuur 3 toont een uitvoeringsvorm in alternatieve weergave van Figuur 2 in het tijdsdomein.

Figuur 4 toont een gewijzigde versie van de uitvoeringsvorm in alternatieve weergave van Figuur 2 in het tijdsdomein.

Figuur 5 toont een uitvoeringsvorm voor het illustreren van het verticale sync-updateaspect waarin de programmeerbare stop is voorzien, in overeenstemming met de uitvinding.

Figuur 6 toont een uitvoeringsvorm in alternatieve weergave van Figuur 5 in het tijdsdomein, met expliciete stop, volgens de uitvinding.

Figuur 7 toont een uitvoeringsvorm in het tijdsdomein, die geprogrammeerde blanco-tijd illustreert (geen geprogrammeerde vertraging), in overeenstemming met de uitvinding.

Figuur 8 toont een uitvoeringsvorm voor het illustreren van enkele opties om de lengte van de camerasluiter-openingstijd te definiëren, in overeenstemming met de uitvinding.

Figuur 9 toont speciale 2-bit versus standaard 3-bit klokweergave, waarbij de speciale 2-bit klok rekening houdt met de gevoeligheidscurve van het menselijk oog, in overeenstemming met de uitvinding.

Figuur 10 toont een uitvoeringsvorm in het tijdsdomein, die geen geprogrammeerde blanco-tijd, noch geprogrammeerde vertraging illustreert, in overeenstemming met de uitvinding.

Figuur 11 toont een uitvoeringsvorm die het verticale sync-updateaspect illustreert waarin een programmeerbare start en stop wordt voorzien, en waarbij inhoud wordt getoond die zichtbaar ofwel niet-zichtbaar is voor de camera, in overeenstemming met de uitvinding.

Figuur 12 toont een uitvoeringsvorm van overeenkomstige alternatieve weergave in het tijdsdomein van Figuur 11, in overeenstemming met de uitvinding.

Figuur 13 toont een uitvoeringsvorm in het tijdsdomein, die een 2-camerasysteem illustreert, in overeenstemming met de uitvinding.

Figuur 14 toont een uitvoeringsvorm in het tijdsdomein, die sync-banding aanpassing illustreert, in overeenstemming met de uitvinding.

Figuur 15 toont een uitvoeringsvorm van de werkwijze voor automatische kleuraanpassing in tijdsdomeinweergave, in overeenstemming met de uitvinding.

Figuur 16 toont een uitvoeringsvorm in het tijdsdomein, die het principe illustreert van kalibratiesets en tijdafhankelijke kalibratie, in overeenstemming met de uitvinding.

Figuur 17 toont een uitvoeringsvorm in het tijdsdomein van het principe van kalibratiesets BE2022/5007 tijdsafhankelijke kalibratie bij een 2-camerasysteem, in overeenstemming met de uitvinding.

Gedetailleerde beschrijving van de uitvinding

Deze uitvinding omvat een aanvullende beschrijving met betrekking tot het sync-banding-principe (Vertical Sync Update) zoals vermeld in US octrooiaanvrage publicatie US2020/0388210, getiteld "ACOUSTIC STUDIO LED SCREEN" en gepubliceerd op 10 december 2020. Voor sommige aspecten van de onderhavige uitvinding hieronder, wordt ook verwezen naar andere eerdere aanvragen van dezelfde aanvrager, waaronder bijvoorbeeld WO2019/215219 A1, getiteld “STANDALONE LIGHT-

EMITTING ELEMENT DISPLAY TILE AND METHOD” en gepubliceerd op 14 november 2019, en

US2020/0286424, getiteld “REAL-TIME DEFORMABLE AND TRANSPARENT DISPLAY” en gepubliceerd op 10 september 2020. Wanneer dit relevant lijkt voor één van de aspecten van de onderhavige uitvinding, zal deze verwijzing in het bijzonder en expliciet hieronder worden gemaakt.

Als algemene instelling voor de onderhavige uitvinding wordt rekening gehouden met een studiodisplay-omgeving en/of toepassingen daarvan, wat inhoudt dat we een display hebben (bijv.

LED-display) waarop beelden of video worden getoond, die worden opgenomen door een camera.

De camera heeft een ingebouwd sluitersysteem met sluiteropeningstijd. Daarom wordt slechts een deel van de beelden of video door de camera gezien (in de tijd} (niet in de ruimte). Als uitbreiding, kan in plaats van slechts één, voor de onderhavige uitvinding ook worden gedacht aan een multi- camerasysteem.

Er worden werkwijzen voorgesteld voor een verbeterd camerabeeld in studiodisplaytoepassingen, voor een beter samenspel van display met camera, die beelden of video opneemt die worden weergegeven. Bovendien wordt voorzien in werkwijzen voor kleurkalibratie in de tijd, uitgevoerd door een verwerkingssysteem van een display (bijvoorbeeld LED-display) in een studio-omgeving die één of meer camera's omvat die beelden van een dergelijk display opnemen. Hiermee wordt een verbeterde prestatie bereikt bij het maken van beeld, films, televisieshows of andere soorten uitzendingen, waaronder ook real-time evenementen, in het bijzonder met betrekking tot opname- en zichttoepassingen.

Figuur 1 illustreert het aspect van verticale sync-update in relatie tot camerasluitertijd 2022/5007 overeenstemming met de stand-van-techniek, zoals geëxtraheerd uit de US octrooiaanvrage

US2020/0388210. In overeenstemming met wat is gespecificeerd in paragraaf [0059] van deze aanvrage, toont Figuur 2 een uitvoeringsvorm met verdere indicaties voor het illustreren van het verticale sync-updateaspect. Wederom wordt een scherm of display 200 getoond, waarbij de beelden of video data binnenkomen of verticaal worden gescand van boven naar beneden 201, en waarbij de sluitertijd van de camera zodanig kan worden gedefinieerd dat slechts een deel of een strook van het gehele scherm wordt gezien op camera 202. Het deel of strook 203 zoals gezien op camera vanwege sluitertijd wordt ook in het bijzonder aangegeven. We ontvangen de Incoming Sync 204 en vertragen (programmeerbaar via Programmed delay 205) de start van het genereren van het beeld (wat de start is van de PWM-generatie in het geval van LED-schermen) zodat het in lijn is met (de start van) de sluiteropeningstijd. De start van de PWM (van het op het display weer te geven beeld) die samenvalt met de start (of het begin) van de sluiteropeningstijd (van de camera) kan worden aangeduid als een synchronisatie die is geïmplementeerd van die starts of signalen die daarmee verband houden. Vandaar de aanduiding van Programmed sync 206 in Figuur 2. Om specifiek de evolutie in de tijd aan te geven, wordt pijl 207 gegeven. Nu we het probleem van banding hebben opgelost door middel van synchronisatie, noemen we deze oplossing soms ook sync banding (aanpassing).

Naast Figuur 2 is een uitvoeringsvorm met alternatieve weergave in het tijdsdomein (of tijdverdelingsweergave) weergegeven in Figuur 3, waarbij het signaal van de videobron, de evolutie (in de tijd) op de camera, en de output van het display allemaal worden gegeven in functie van de tijd (vooruitgaand met de pijl 307). Voor een beeld, Image A, gegeven bij Sync-signaal 306 (of synchronisatiesignaal) van de videofeed of bron 301 om te worden weergegeven, wordt een bepaalde tijd gewacht, Programmed delay 302 (of geprogrammeerde vertraging) genaamd, totdat

Image A inderdaad wordt weergegeven op het display 303. De geprogrammeerde vertraging 302 is de hoeveelheid tijd totdat de zichttijd 305 op camera 304 actief wordt, of met andere woorden wanneer de openingstijd van de camerasluiter begint. De zichttijd 305 op camera 304 is bovendien actief gedurende de gehele openingstijd van de camerasluiter (of anders gezegd, de zichttijd 305 op camera 304 komt overeen met de openingstijd van de camerasluiter of de camerasluiter- openingstijd). Bij het Sync-signaal 306' wordt even later een nieuwe Image B gegeven, die na het passeren van de geprogrammeerde vertraging 302' weer op het display 303 kan worden weergegeven. De Image A kan op het display 303 blijven staan totdat Image B moet word&-2022/5007 getoond. Het proces van het ontvangen van videobeelden, programmeerbare vertragingen en het tonen van die beelden kan op deze manier verder gaan. Er wordt niet expliciet meegegeven hoe lang de beelden, b.v. Image A worden weergegeven op het display 303, echter, hier wordt aangenomen dat ze volledig worden weergegeven, wat goed genoeg is om banding-effecten te voorkomen. Opgemerkt wordt dat de aanduidingen van videofeed of bron 301, camera 304 en display 303 in feite de respectievelijke tijdlijnen zijn (die de evolutie in de tijd geven) van deze bron 301 of apparaten 303, 304.

Opgemerkt wordt dat in Figuur 3, Image A op onze tijdlijn in feite Image A-1 zou moeten zijn, omdat we de toekomst niet kunnen voorspellen, en hiermee een framevertraging wordt geïmpliceerd. Op het moment dat Image A getoond gaat worden, is na ontvangst van het (verticale) Sync-signaal niet alles van Image A direct klaar om getoond te worden (onafgezien van het feit of de sluiter van de camera open is of niet). Daarom kunnen we dit interpreteren als een soort beeld- of framevertraging op zich. Om er zeker van te zijn dat alle inhoud klaar is om getoond te worden, verwijzen we beter eerst naar Image A-1, en wanneer Image A volledig is gepasseerd, kunnen we Image A tonen. Dit leidt ons naar de gewijzigde illustratie zoals in de getoonde uitvoeringsvorm van Figuur 4, welke beelden weergeeft op respectievelijk Sync-signaal 406, 406" afkomstig van de videofeed of bron 401, om te worden weergegeven op het display 403 na een geprogrammeerde vertraging 402, 402', en om te worden bekeken op camera 404 tijdens de zichttijd 405, d.w.z. wanneer de camerasluiter open is. Om specifiek de evolutie in de tijd aan te geven, is pijl 407 gegeven.

Terwijl wordt verwezen naar de basis van de oorspronkelijke aanvraag US2020/0388210, wordt het aspect van verticale sync-update in relatie tot de camerasluitertijd nu uitgebreid met een verdere beschrijving van de huidige uitvinding, waarbij verschillende nieuwe aspecten worden benadrukt (6 in totaal), weergegeven door dienovereenkomstige karakteristieke kenmerken. 1. Geprogrammeerde of programmeerbare stop

Zoals bijvoorbeeld duidelijk wordt weergegeven in Figuur 3, wordt het beeld b.v. Image A van het display 303 alleen gezien op camera 304 tijdens de sluiteropeningstijd 305. Bijgevolg wordt, wanneer de sluiter sluit, het beeld nog steeds weergegeven, hoewel niet gezien door de camera

304. Dit kan worden gezien als een nogal inefficiënte manier van het tonen van beelden op h2E2022/5007 display 303 enerzijds en het gebruiken of tonen ervan op de camera 304 anderzijds. We lijken wat beeldverspilling te hebben (d.w.z. beeld dat niet wordt gebruikt of gezien) tijdens de sluiter(sluiting)tijd van de camera 304.

Er bestaan displays waarin we de aan/uit-status van elke pixel afzonderlijk kunnen regelen. Dit betekent dat pixels niet alleen kunnen worden geprogrammeerd om na een bepaalde tijd of vertraging in de aan-status te starten (zoals beschreven in US2020/0388210), maar ze kunnen ook worden geprogrammeerd om na een tijdje of ander/verdere hoeveelheid tijd in de uit-status te gaan. Daarom kunnen we, in het algemeen bij gebruik van PWM, volgens een aspect van de uitvinding, naast het implementeren van een programmeerbare start, ook een programmeerbare stop of einde hebben.

Figuur 5 toont een verdere uitvoeringsvorm voor het illustreren van het verticale sync-updateaspect waarin de programmeerbare stop is aangebracht. Bij de Incoming Sync 504 stellen we de start van het genereren van het beeld uit tot waar de camerasluiter opent, en dit met een geprogrammeerde vertraging 505 van tijd. We genereren dan alleen het beeld voor de totale lengte of duur van de camerasluiter-openingstijd, d.w.z. binnen deel of strook 503 dat op de camera wordt gezien vanwege de sluitertijd, beginnend bij de geprogrammeerde synchronisatie 506 en eindigend bij het begin van de geprogrammeerde vertraging 508 tot eind. Om specifiek de evolutie in de tijd aan te geven, is pijl 507 gegeven. Het beeld wordt niet meer getoond of gegenereerd op het display wanneer de sluiter (weer) sluit, dus bij programmeerbare stop of einde. De start en duur van de openingstijd van de camerasluiter kan worden verkregen als invoerinformatie uit de camera- instellingen. Dit kan zowel handmatig als automatisch gebeuren wanneer de camerafeed ook wordt gebruikt als invoer voor een processor, hetgeen verder zal worden besproken in een apart aspect van de uitvinding.

Naast Figuur 5 is in Figuur 6 een uitvoeringsvorm met alternatieve weergave in het tijdsdomein weergegeven (dit keer met expliciete stop). Om een beeld, Image A, van de videofeed of bron 601 weer te geven, wordt een bepaalde tijd, geprogrammeerde vertraging 602 genoemd, gewacht totdat de vorige Image A-1 op het display 603 wordt weergegeven. Opnieuw wordt de evolutie in de tijd aangegeven, hier door pijl 607. De geprogrammeerde vertraging 602 is de hoeveelheid tijd totdat de zichttijd 605 op camera 604 actief wordt, of met andere woorden wanneer de openingstij 2922/9007 van de camerasluiter begint. In overeenstemming met de beschrijving van Figuur 5, wordt Image A- 1 nu alleen getoond tijdens de zichttijd 605 op camera 604, wat betekent tijdens de camerasluiter- openingstijd. Telkens wanneer de camerasluiter sluit, wordt Image A-1 niet langer weergegeven.

Bijgevolg is er een expliciete stop voor het tonen van Image A-1. Bovendien begint bij deze stop de geprogrammeerde vertraging 608 voordat een nieuw beeld, Image A, wordt getoond. lets later tijdens de geprogrammeerde vertraging 608 tijd, wordt bij het synchronisatiesignaal 606' nog een

Image B gegeven door de bron 601. Image A is nu volledig gepasseerd en kan daarom op het display 603 worden weergegeven nadat de volledige geprogrammeerde vertraging 608 tijd is verstreken.

Image A blijft op het display 603 staan, opnieuw zolang de zichttijd 605" op camera 604 actief is. Het proces van het ontvangen van videobeelden, programmeerbare vertragingen en het tonen van die beelden kan op deze manier verder gaan. Opgemerkt wordt dat de geprogrammeerde vertraging 608 aanzienlijk groter is dan de geprogrammeerde vertraging 602, terwijl een vertraging voor het tonen van het beeld nu niet alleen is geprogrammeerd voor het begin van het zicht op de camera 604, maar ook wanneer het beeld niet langer kan worden gezien op de camera 604 vanwege het sluiten van de sluitertijd. Een verdere displaytijdlijn 603" is afgebeeld in Figuur 6 voor het illustreren van een voorbeeld van PWM-grijswaardengeneratie 609 voor de display-LED's, voor overeenkomstig beeld, b.v. Image A-1, getoond tijdens de zichttijd 605 op camera 604.

Als alternatief kunnen we, volgens een aspect van de uitvinding, een geprogrammeerde blanco invoeren in plaats van een geprogrammeerde vertraging voor de aan/uit-status, bijvoorbeeld wanneer een display wordt gebruikt waarbij controle van de aan/uit-status van elke pixel afzonderlijk niet haalbaar is of niet de voorkeur. Nogmaals, verwijzend naar bijvoorbeeld Figuur 3, wordt het beeld van het scherm alleen op de camera gezien tijdens de sluiteropeningstijd. Dus als de sluiter sluit, wordt het beeld nog steeds weergegeven, maar niet gezien door of op de camera.

De pixels kunnen niet worden geprogrammeerd om te beginnen aan de aan-status, of te stoppen uit de uit-status. We lijken wat beeldverspilling te hebben (d.w.z. beeld dat niet wordt gebruikt of gezien) tijdens de sluitertijd van de camera, wat kan worden gezien als verspilling van stroom of energieverbruik.

De oplossing van het hebben van een geprogrammeerde blanco wordt nu beschreven met Figuur 7.

Opnieuw wordt de evolutie in tijd aangegeven, hier door pijl 707. Image A wordt gegeven bij Sync-

signaal 706 van de videofeed of bron 701 om te worden getoond. In dit geval begint het display 705E2022/5007 dat PWM-cycli weergeeft, zijn beeld te genereren wanneer het Sync-signaal 706 komt. Vanaf dat moment 711 tot het begin van de sluiteropeningstijd 705 wordt er niets meer gezien op camera 704. Om stroom of energie te besparen wanneer het beeld niet wordt gebruikt of gezien op camera 704, en dus de pixels niet verlicht zijn, zonder ze uit te schakelen, kunnen de pixels zogenaamd ge- blanked worden (d.w.z. ingesteld op 0). Daarom wordt de PWM of beeld ge-blanked 712, wat betekent dat het tijdelijk op O wordt gezet. In het geval dat er bijvoorbeeld een LED-display wordt gebruikt, zou dit betekenen dat de PWM-generatie van de LED's wordt uitgeschakeld (of de aan/uit- functie van de pixels wordt uitgeschakeld), totdat de sluiter van de camera opent (of de camersluiter-openingstijd 705 begint}, en wanneer de camerasluiter terug sluit (of de camerasluiter- openingstijd 705 stopt). In plaats van een programmeerbare vertraging, kunnen we nu verwijzen naar een programmeerbare of geprogrammeerde blanco 710 tijd waarin de pixels worden ge- blanked of onderdrukt, en dit in het bijzonder tijdens de camerasluiter-sluitingstijd, d.w.z. overal of elk moment buiten de zichttijd 705 op camera 704.

Opgemerkt wordt dat de bovenstaande aspecten van de uitvinding (inclusief de basis ervan zoals beschreven in US2020/0388210) van toepassing zijn op elk gebruikt beeldscherm dat een pixel meerdere keren 'oplicht' in één beeld of frame, en dus niet noodzakelijk gerelateerd zijn aan een display dat zijn beelden genereert met PWM-cycli. 2. Hoe bepalen we de lengte van de camerasluiter-openingstijd?

Als de camerasluitertijd varieert, kunnen we de stoplocatie wijzigen. Maar als we de sluiteropeningstijd wel kennen, is het ook de vraag hoe de lengte voor die tijd te bekomen of te definiëren, in het licht van het displaysignaal voor het beeld dat op de camera moet worden gezien.

Als oplossing worden nu enkele opties (4 in totaal) om de (maximaal mogelijke) lengte (als functie van het displaybeeld door de camera te worden gezien) van de sluiteropeningstijd 805 van de camera 804 te definiëren nu besproken samen met Figuur 8. Met de (maximaal mogelijke) lengte wordt bedoeld dat we proberen om (wanneer gewenst) de output van het beeld (voor helderheid en grijstinten) binnen het sluiter-openingsvenster 805 te maximaliseren. Als voorbeeld wordt gedacht aan een LED-display en we hebben wel een programmeerbare start en stop voor het weergeven van het beeld op het display. Een beeld wordt gegeven bij Sync-signaal 806 van BF2022/5007 videofeed of bron 801 dat moet worden getoond. Wederom wordt de evolutie in de tijd aangegeven, hier door pijl 807. De geprogrammeerde vertraging 802, 808 is de tijd (vóór programmeerbare start en na stop) totdat de zichttijd 805 op camera 804 (weer) actief wordt.

Verschillende displaytijdlijnen 803', 803", 803" zijn afgebeeld die voorbeelden Ex1, Ex2, Ex3 van

PWM-grijswaardengeneratie 809 vertegenwoordigen voor de display-LED's voor het overeenkomstige beeld dat wordt weergegeven tijdens de zichttijd 805 op camera 804. We beginnen met de bespreking van de verschillende opties rekening houdend met displaylijn 803', met een vooraf bepaald aantal PWM-cycli die (bijna) passen in het tijdsbestek van de camerasluiter- openingstijd 805. — Optie 1: Het aantal PWM-cycli wijzigen o we kunnen het aantal PWM-cycli verhogen of verlagen tijdens de camerasluiter- openingstijd o hierdoor ontstaan meer of minder PWM-pieken — Optie 2: De PWM-klok wijzigen o we houden het aantal PWM-cycli hetzelfde, maar we veranderen de klok van de PWM- generatie o dit resulteert in verbreding of vernauwing van PWM-pieken — Optie 3: PWM-bit-diepte wijzigen o we veranderen het aantal bits om de PWM-cycli te genereren o dit resulteert in hogere of lagere PWM-pieken — Optie 4: Gebruik van een speciale PWM-klok (niet getoond in Figuur 8) o een speciale PWM-klok is bijvoorbeeld gebaseerd op een principe voor het genereren van grijstinten waarbij rekening wordt gehouden met de gevoeligheid van het menselijk oog, dat eerder is beschreven in US2020/0388210 van dezelfde aanvrager. In het bijzonder kan worden verwezen naar FIG. 18 daarvan, waarin een uitvoeringsvorm wordt getoond voor het illustreren van het aspect van grijsschaalklok in relatie tot PWM, en waarin wordt geconcludeerd dat "standalone of een combinatie van een gamma- opzoektabel en modulatie van de grijsschaalklok in frequentie tijdens PWM-cyclus kan je wiskundig meer dan 24 bit 'grijze' schalen geven als je het in een lineair frequentietijdsdomein ziet”. Door zo'n speciale PWM-klok te gebruiken (die een hogere frequentie vertegenwoordigt voor de lage lichten waar het menselijk oog het meeër2922/9007 gevoelig is voor incrementele verandering in kleur of grijstinten - en vice versa een lagere frequentie voor de hoge lichten), kunnen we meer grijstinten bereiken en geven de indruk dat we een grotere bit-diepte hebben voor hetzelfde aantal bits (zie Figuur 9).

Met behulp van zo'n speciale PWM-klok wordt hierbij ook een voorbeeld van PWM- grijswaardengeneratie (voor LED's) voorgesteld. o Bv. met minder gebruikte bits de indruk hebben dat er meer bits aanwezig zijn, door rekening te houden met de gevoeligheid van het menselijk oog

Met Figuur 9 wordt duidelijk weergegeven dat we met 2-bit doen wat we normaal met 3-bit zouden doen. De speciale 2-bits klok houdt rekening met de gevoeligheidscurve van het menselijk oog, die een hogere frequentie voor de lage lichten (beginstadia) en een lagere frequentie voor de hoge lichten (eindstadia) vertegenwoordigt.

Opgemerkt wordt dat het hier besproken principe van het definiëren van de (maximaal mogelijke) lengte van de camerasluiter-openingstijd (inclusief de verschillende opties daarvoor zoals hierboven gegeven) ook kan worden toegepast wanneer er geen geprogrammeerde stop gedefinieerd is, zoals het geval is in eerdere US2020/0388210. Dit kan echter een kleine invloed hebben op de helderheid en potentiële stabiliteit vanuit het oogpunt van de camera, vanwege randeffecten op het sluitpunt van de camerasluiter-openingstijd. 3. Wat kan er buiten de camerasluiter-openingstijd worden gedaan?

Wanneer we de beelden continu op het display zouden tonen, d.w.z. zonder een geprogrammeerde vertraging of programmeerbare blanco-tijd te gebruiken zoals hierboven beschreven, zien we duidelijk zoals weergegeven in Figuur 10 dat de openingstijd van de camerasluiter slechts voor een deel overlapt met het beeld, waardoor de camera alleen dit deel van het beeld dat is gegenereerd (of weergegeven op het scherm) ziet tijdens die specifieke sluiteropeningstijd. Wederom wordt de evolutie in de tijd aangegeven, hier door pijl 1007. Een beeld wordt gegeven bij Sync-signaal 1006 van de videofeed of bron 1001 om te tonen. Het beeld wordt alleen getoond tijdens de zichttijd 1005 op camera 1004, dus tijdens de camerasluiter-openingstijd. Het scherm 1003", dat PWM-cycli weergeeft, begint zijn beeld te genereren wanneer het Sync-signaal 1006 komt, maar hier wordt de

PWM of het beeld niet ge-blanked of onderdrukt wanneer de camerasluiter gesloten is, zoals 2022/5007

Figuur 7.

Zoals hierboven beschreven, is het echter mogelijk om een deel van het beeld uit te stellen of te onderdrukken, zodat alleen het deel dat op de camera wordt gezien, ook op het scherm wordt weergegeven (zie Figuur 6 en 7). Of we nu het hele beeld op het display laten staan of niet, de vraag is in ieder geval, wat we kunnen doen met dit ogenschijnlijk verspild beeld, verkwiste vertraging of onderdrukking. Kunnen we er een bepaalde nieuwe functie aan toekennen, zodat het geen verlies meer lijkt?

Met de hierboven beschreven aspecten van de uitvinding (inclusief eerdere aanvrage

US2020/0388210), hebben we manieren vastgesteld om banding op camerasystemen te voorkomen, evenals werkwijzen beschreven om alleen beelden weer te geven die ‘zichtbaar’ zijn voor of kunnen worden gezien op de camera. Het ‘zichtbaar’ zijn betekent hier dat de ‘ogen’ (= sluiter) van de camera alleen open zijn tijdens de sluiteropeningstijd van de camera.

Volgens een verder aspect van de uitvinding, wanneer de 'ogen' alleen open zijn voor een (eerste) camera tijdens de sluiteropeningstijd, betekent dit dat tijdens de andere tijd, d.w.z. de sluitersluitingstijd, alternatieve inhoud kan worden getoond of weergegeven op het display dat niet zichtbaar is voor de (eerste) camera, maar in plaats daarvan is dergelijke alternatieve inhoud zichtbaar voor bijv. het menselijk oog, een publiek, of mogelijk zelfs voor een andere (tweede) camera met een andere sluiteropeningstijd (dan de eerste camera) die de oorspronkelijke (eerste) camerasluiter-openingstijd niet - of slechts gedeeltelijk - overlapt.

Om in de praktijk ook alternatieve inhoud te tonen buiten de (eerste) camerasluiter-openingstijd, die voor iedereen behalve de (eerste) camera zichtbaar mag zijn, kan dit als volgt worden geregeld: (i) we verdubbelen (intern in de receiver card) bijv. eerst de frequentie, (ii) we kunnen het beeld van de originele stream tonen op het display voor de (eerste) camera, en (iii) we kunnen alternatieve inhoud tonen van bijv. niet-vluchtig geheugen aanwezig in het display. Wat betreft (i) kan het ook nodig zijn om de frequentie te verdrievoudigen of te verviervoudigen, afhankelijk van het aantal verschillende soorten inhoud dat we willen tonen. Er is geen bepaalde volgorde van verschijnen met betrekking tot (ii) of (iii), dus (iii) kan ook eerst gaan in plaats van (ii).

Wat zou de alternatieve inhoud kunnen zijn? Of, hoe kan de alternatieve inhoud worden bepaald? 3.1 Tekst of grafische afbeeldingen

De receiver card van het display kan worden geprogrammeerd (FPGA) voor het genereren van (grafische) afbeeldingen op het display. Deze afbeeldingen kunnen bijvoorbeeld tekst, logo's, markeringen zijn. In het geval dat de PWM-generatie (of aan-tijd van de pixels in het display) buiten het openingstijdvenster van de camerasluiter is, kunnen deze afbeeldingen niet door de camera worden gezien, maar bijvoorbeeld door het menselijk oog (waarvoor we geen sluitertijd beschouwen, gewoon een iris die opent en sluit in functie van de helderheid, dus er is integratie — d.w.z. het menselijk oog integreert na verloop van tijd) Toepassingsvoorbeelden kunnen zijn: a) Tekstoverlay: dit type tekst kan bijvoorbeeld de (te) gesproken tekst zijn die acteurs moeten zeggen in het geval van een studio-installatie of opstelling, of het kan worden gezien als een soort van auto-queue voor een presentator tijdens televisie-uitzendingen (bijv. iemand die de weersvoorspelling presenteert). b) Tekst- of grafische overlay: in dit geval kan worden gekozen voor tekst of (grafische) afbeeldingen die bijvoorbeeld scores of statistieken tijdens een live (e-)sportevenement kunnen aangeven. c) Tekst of (grafische) afbeeldingen mogen ook worden gebruikt voor lokale branding (bijvoorbeeld de kleinere sponsors tijdens een gesponsord evenement), logo's die zichtbaar moeten zijn voor het publiek, maar niet (noodzakelijkerwijs) op camera 3.2 Lokaal opgeslagen in display

Met lokaal opgeslagen in display wordt bijvoorbeeld bedoeld dat de op het display te tonen alternatieve inhoud kan worden opgevraagd in (lokaal) niet-vluchtig geheugen of dataopslag die deel uitmaakt van of geïntegreerd is in het display. Voor dit specifieke kenmerk kunnen we ook verwijzen naar eerdere octrooiaanvrage WO2019/215219 A1 van dezelfde aanvrager, met betrekking tot een op zichzelf staand licht-emitterend element-displaytegel en -methode waarin wordt beschreven dat "de besturingsmodule van het displaysysteem bestaat uit … een opslagmodule, meer in het bijzonder een niet-vluchtige dataopslagmodule waarin bijv. videobestanden en/of afbeeldingen worden opgeslagen”. Met andere woorden, grafische afbeeldingen, tekst of (bewegende/stilstaande) beelden kunnen lokaal worden opgeslagen in het besturingssysteem van het beeldscherm, en deze kunnen worden geactiveerd om te worden weergegeven in overeenstemming met wat hierboven is beschreven in paragraaf 3, in het bijzond 2E 2922/9007 met betrekking tot paragraaf 3.1, evenals mogelijk vertrouwen op het controle- en gegevensopslagsysteem zoals beschreven in WO2019/215219 Al of door gebruik te maken van een extern commando. 3.3 Markeringen voor b.v. schermuitlijning

Markers kunnen als alternatieve inhoud worden voorzien, bijvoorbeeld om te worden gebruikt voor schermuitlijning. Dit kan in de vorm van tekst of (grafische) afbeeldingen zijn zoals beschreven in paragraaf 3.1, maar het kan ook zijn dat dergelijke markeringen niet zichtbaar zijn voor het menselijk oog (zoals bijvoorbeeld vermeld in paragraaf 3.1). Het idee van markeringen wordt ook besproken in eerdere octrooiaanvrage US2020/0286424 van dezelfde aanvrager, met betrekking tot een real- time vervormbaar en transparant display waarbij volgens een uitvoeringsvorm "meer technische ruimte beschikbaar komt om extra knooppunten te voorzien tussen de bestaande LED of pixel knooppunten van de LED-matrix en biedt hiermee extra functionaliteit. … De extra knooppunten kunnen ook worden voorzien van infrarood licht-emitterende elementen, of zogenaamde actieve markeringen die gebruikt worden in een optisch volgsysteem.” Verder wordt in US2020/0286424 verwezen naar het mogelijk "toevoegen van lokale infraroodmarkeringen. Dergelijke infraroodmarkeringen kunnen worden geïnterpreteerd door een verwerkingssysteem waarbij feedback wordt gegeven aan de matrixverwerkingszijde om R, G en B te bepalen.” Het kan ook zijn dat de markeringen bijvoorbeeld wel door het publiek te zien zijn, maar niet door de camera.

Dergelijke markeringen kunnen bijvoorbeeld ook worden gebruikt voor hoekcorrectie enz.

Figuur 11 toont een uitvoeringsvorm die het verticale sync-updateaspect illustreert waarin een programmeerbare start 1106 en stop 1109 is voorzien. Wederom wordt een scherm of display 1100 getoond, waarbij de beelden of video data binnenkomen of verticaal worden gescand van boven naar beneden 1101. Om specifiek de evolutie in de tijd aan te geven, wordt pijl 1107 gegeven.

Tijdens de zichttijd 1103 van de camera, d.w.z. binnen het deel of strook tussen programmeerbare start en stop, wordt het beeld met gezichten 1110 getoond op het scherm 1100 gezien op de camera. Buiten dit deel of strook wordt ook alternatieve of verdere inhoud 1111, 1112, 1113 getoond op het display 1100, en dus niet zichtbaar voor de camera. Bij de Incoming Sync 1004, vertragen we de start van het genereren van het beeld met gezichten 1110 tot waar de camerasluiter opent, en dit voor een geprogrammeerde vertraging 1105 van tijd, gedurende welke de alternatieve inhoud 1111, 1112 die op het scherm 1100 wordt weergegeven, niet ‘gezien! word: 2922/5007 door de camera vanwege de gesloten sluitertijd. Na het programmeerbare einde 1109, d.w.z. wanneer de sluiter (weer) sluit, tijdens deel of strook 1108, wordt op het display 1100 verdere inhoud 1113 getoond, die niet door de camera wordt ‘gezien’. Bij wijze van voorbeeld is hier de alternatieve inhoud die niet zichtbaar is voor (of niet ‘gezien’ door) de camera b.v. een markering 1111, een logo 1112 of overlay-tekst 1113.

Naast Figuur 11 is een uitvoeringsvorm met alternatieve weergave in het tijdsdomein afgebeeld in

Figuur 12. Opnieuw wordt de evolutie in de tijd aangegeven, hier door pijl 1207. Een beeld wordt gegeven bij Sync-signaal 1206 van de videofeed of bron 1201 om getoond worden. Het beeld omvat het beeld met gezichten 1110 evenals de alternatieve inhoud 1111, 1112, 1113 zoals in Figuur 11.

Het beeld met gezichten 1110 wordt alleen getoond tijdens de zichttijd 1205 op camera 1204, dus tijdens de camerasluiter-openingstijd. Het display 1203', dat PWM-cycli vertegenwoordigt, begint zijn beeld te genereren wanneer het Sync-signaal 1206 komt, hoewel eerst alleen de alternatieve inhoud 1111, 1112 wordt weergegeven die niet door de camera wordt ‘gezien’. De PWM 1211 voor de alternatieve inhoud 1111, 1112 niet 'gezien' door de camera, wordt weergegeven op de displaytijdlijn 1203' voordat de camerasluiter opent. Tijdens zichttijd 1205 op camera 1204 wordt de PWM 1210 voor het beeld met gezichten 1110 door de camera ‘gezien’. Ten slotte, wanneer de camerasluiter (weer) wordt gesloten (en voordat het volgende Sync-signaal verschijnt), wordt de

PWM 1213 voor de alternatieve inhoud 1113 die niet door de camera wordt 'gezien' ook weergegeven op de displaytijdlijn 1203". 3.4 Een andere (tweede) camera of multi-camerasysteem

Het kan ook mogelijk zijn om alternatieve inhoud aan te bieden die bijvoorbeeld - hoewel niet zichtbaar voor de eerste camera - zichtbaar is voor een tweede camera met een andere sluiteropeningstijd dan de eerste camera. Met verschillende sluiteropeningstijd voor de tweede camera wordt bedoeld ofwel helemaal niet, ofwel gedeeltelijk overlappend met de eerste camerasluiter-openingstijd. Meerdere (alternatieve) content-items zouden respectievelijk toepasbaar kunnen zijn voor (corresponderende) meerdere camera's in een multi-camerasysteem, waarbij elke camera een bepaalde sluiteropeningstijd heeft waarin ten minste één van de (alternatieve) content-items kan worden gezien. Dit in het bijzonder bij gebruik van één display, zodat meerdere inhoud die op het display wordt weergegeven door meerdere camera's kan worden bekeken, volgens het systeem zoals hierboven beschreven, b.v. gerelateerd aan camera's die e&-2022/5007 andere sluiteropeningstijd hebben. Het gebruik van meerdere beeldschermen bij een dergelijk multi-camerasysteem is echter niet uitgesloten.

Het hebben van een systeem met 2 camera's zou in feite kunnen worden gezien of geïnterpreteerd als een uitbreiding van het bovenstaande aspect waarbij slechts één camera wordt gebruikt, door naast de eerste een tweede camera toe te voegen.

Een uitvoeringsvorm van het 2-camerasysteem in tijdsdomeinweergave is afgebeeld in Figuur 13.

Opnieuw wordt de evolutie in de tijd aangegeven, hier door pijl 1307. Een beeld wordt gegeven bij

Sync-signaal 1306 van videofeed of bron 1301 om getoond te worden. Ook hier omvat het beeld het beeld met gezichten 1110 en de alternatieve inhoud 1111, 1112, 1113 zoals in Figuur 11. Het beeld met gezichten 1110 wordt alleen getoond tijdens de zichttijd 1305 van de eerste camera (Camera 1) (zoals afgebeeld op de cameratijdlijn 1304), wat betekent tijdens de sluiteropeningstijd van de eerste camera. Het display 1303", dat PWM-cycli vertegenwoordigt, begint zijn beeld te genereren wanneer het Sync-signaal 1306 komt, hoewel eerst alleen de alternatieve inhoud 1111, 1112 wordt weergegeven die door geen van de 2 camera's wordt 'gezien'. De PWM 1311 voor de alternatieve inhoud 1111, 1112 die door geen van de camera's wordt 'gezien', wordt weergegeven op de displaytijdlijn 1303' voordat de eerste camerasluiter wordt geopend. Tijdens zichttijd 1305 van de eerste camera (Camera 1), wordt de PWM 1310 voor het beeld met gezichten 1110 ‘gezien’ door de eerste camera (Camera 1). Nadat de eerste camerasluiter (weer) gesloten is, gaat de tweede camerasluiter open. Zoals weergegeven op de displaytijdlijn 1303', wordt de PWM 1313 voor de alternatieve inhoud 1113 niet 'gezien' door de eerste camera (Camera 1), maar is alleen zichtbaar op de tweede camera (Camera 2) tijdens de bijbehorende zichttijd 1315.

Zoals weergegeven in Figuur 13, veronderstellen we dat de tweede camera een andere sluiteropeningstijd 1315 heeft dan de eerste camera. Bovendien overlappen de respectievelijke sluiteropeningstijden van de 2 camera's hier niet, maar worden ze als zogenaamd exclusief beschouwd. Indien de sluiteropeningstijden van meerdere camera’s exclusief zijn ten opzichte van elkaar (wat betekent dat ze elkaar niet overlappen in de tijd), wordt het duidelijk dat hetzelfde displaysysteem kan worden gebruikt voor het weergeven van beelden die door de eerste camera ‘gezien! kunnen worden (Camera 1), maar niet door de tweede camera (Camera 2), en vice versa.

Uit Figuur 13 wordt ook duidelijk dat het eerste deel van het beeld, d.w.z. de alternatieve inhoud 1111, 1112 bestaande uit logo en marker, alleen kan worden ‘gezien’ door een andere (bijvoorbeeld menselijke) kijker en niet door één van de 2 camera’s. Inbegrepen in het aspect van de uitvinding is het afleiden van meerdere combinaties uit het gegeven 2-camerasysteemvoorbeeld.

Verder wordt opgemerkt dat het beeld dat op de tweede camera (Camera 2) wordt gezien, ook kan worden genomen van een aparte (andere) videostream (indien beschikbaar) dan die weergegeven in Figuur 13, of kan worden afgeleid van de originele videostream 1301 zoals getoond in Figuur 13, of het kan zelfs van het scherm zelf worden genomen, waarin het bijvoorbeeld lokaal wordt opgeslagen (bijvoorbeeld in het besturingssysteem van het scherm zoals beschreven in eerdere octrooiaanvrage WO2019/215219 A1 van dezelfde aanvrager). 4. Hoe automatisch het begin en de lengte van de openingstijd van de camerasluiter bepalen?

Veronderstel de situatie dat we een videobron hebben voor het leveren van beelden aan een display welke worden opgenomen door een camera. Zoals we reeds weten, zal de camera door het ingebouwde sluitersysteem en bijbehorende sluitertijd niet de hele tijd het beeld zien. Dus in het geval van één enkel beeld dat bijvoorbeeld wordt beschouwd, wordt slechts een deel - in de tijd - van dat beeld dat op het scherm wordt getoond, op de camera gezien. De sluitertijd van de camera kan worden verstrekt door een operator of samen met de camera-instellingen worden gegeven, maar het is ook mogelijk dat we er geen details over hebben.

In dat geval wordt, om het begin en de lengte van de camerasluiter-openingstijd te kennen, wordt nu, volgens een verder aspect van de uitvinding, een werkwijze verschaft om deze op geautomatiseerde wijze te bepalen.

Als we het begin en de lengte van de camerasluiter-openingstijd kennen, betekent dit ook dat we weten wanneer/waar de (PWM) start van het beeld moet worden gepositioneerd om de juiste programmeerbare timing te hebben (bijv. vertraging of blanco-tijd) om banding-effecten te voorkomen. We hebben eerder (met de bespreking van Figuur 1 in overeenstemming met de stand-

van-techniek en geëxtraheerd uit eerdere aanvrage US2020/0286424) verwezen naar zogenaamde 2922/9007 sync-banding (aanpassing) als een synchronisatie-oplossing om banding-effecten te vermijden.

Met de werkwijze voor het automatisch bepalen van het begin en de lengte van de camerasluiter- openingstijd, kunnen we dus ook een werkwijze definiëren voor sync-banding aanpassing, of anders gezegd voor het automatisch aanpassen van sync-banding.

Als onderdeel van de oplossing voor deze werkwijzen verwijzen we niet alleen naar het gebruik van een (eerste) videostream voor het leveren van beelden aan het beeldscherm, maar maken we ook gebruik van een (tweede) videostream die we aansluiten op het camerasysteem terwijl de (tweede) videostream niet wordt gebruikt om voor weergave, maar voor controle of aanpassing (in het bijzonder positioneringsaanpassing van de (PWM) start van het beeld te zien op camera, of, meer algemeen gesproken, voor sync-banding aanpassing).

Als alternatief kan het systeem gebruik maken van het (eerste) hoofdvideokanaal om alle aanpassingen te maken, maar omwille van eenvoudige redenering gaan we ervan uit dat het besturingssysteem van het display een testpatroongenerator heeft voor het genereren van eenvoudige testpatronen (die we zou kunnen gebruiken als virtueel (tweede) videokanaal). Terwijl de besproken oplossing of werkwijze niet beperkt is tot het gebruik van een testpatroon, verwijzen we er voor de duidelijkheid en uitleg liever naar.

Beschouw de camera die naar het display of scherm kijkt en het daarop getoonde beeld opneemt.

De videostream voor het aanleveren van beelden aan het display kan ook wel worden aangeduid als primaire (video)ingang. We gaan uit van een camerasysteem waarbij de camera-uitgang is aangesloten (bijvoorbeeld bekabeld of draadloos geconnecteerd) op de (display)processor met secundaire (video) ingang, zijnde de output beelden (of video) van de camera. We gaan ook uit van een (video)circuit voor het analyseren van de beelden van de secundaire ingang.

Een uitvoeringsvorm van de werkwijze voor sync-banding aanpassing in tijdsdomeinweergave is afgebeeld in Figuur 14. Opnieuw wordt de evolutie in de tijd aangegeven, hier door pijl 1407. Een beeld wordt gegeven bij Sync-signaal 1406 van de videofeed of bron 1401, beschouwd als primaire ingang voor het display, om getoond te worden. De cameratijdlijn 1404 wordt afgebeeld samen met zijn zichttijd 1405 of camerasluiter-openingstijd. De displaytijdlijn 1420, representeert de pii =2022/9007 cyclus van het beeld, een vooraf gedefinieerd beeld, b.v. testpatroon (verschoven in/over de tijd zoals aangegeven door pijlen 20, 21, 22) totdat het volledig binnen de camerasluiter-openingstijd 1405 valt, die kan worden bepaald door analyse van de camera-uitgang 1430, beschouwd als secundaire ingang voor het display. De verwijzing naar een vooraf gedefinieerd beeld wordt gemaakt om te voorkomen dat er bijvoorbeeld een zwart scherm wordt weergegeven, wat het natuurlijk nogal moeilijk maakt om de hier beschreven aanpassing uit te voeren.

Vervolgens kan de werkwijze de volgende stappen omvatten: — Stap 1: het weergeven van een willekeurig beeld met gedefinieerde AAN-tijd (of PWM-tijd), wat betekent wanneer b.v. LED's zo worden opgelicht dat het willekeurige beeld op het display te zien is. We beginnen bij voorkeur met smalle PWM-tijd zoals b.v. weergegeven in

Figuur 14, waarin slechts één PWM-cyclus (vandaar smalle PWM-tijd) per beeld wordt gegeven. — Stap 2: geleidelijk veranderen van timing of positie in de tijd van de AAN-tijd of PWM-cyclus met behulp van het principe van programmeerbare timing (bijv. vertraging of blanco-tijd) zoals bekend van hierboven (inclusief verwijzing naar eerdere US2020/0286424). — Stap 3: analyse van het camera-uitgangsbeeld (beeld zoals weergegeven op het display en gezien door de camera) voor elk van de posities tijdens de geleidelijke verandering daarvan in stap 2. Deze analyse van het camera-uitgangsbeeld wordt schematisch geïllustreerd door de camerasignaaltijdlijn in Figuur 14. Opgemerkt wordt dat de 'vorm' (hier rechthoekig) van het camerasignaal afhankelijk is van de inhoud (bijv. testsignaal) die op het display wordt weergegeven. Bovendien wordt opgemerkt dat de intensiteit op de camera zal veranderen wanneer de AAN-tijd of PWM-tijd volledig in het sluiter-openingsvenster schuift. Bijgevolg, het verschil in hoogte tussen camera-uitgangen 31, 32 waarbij camera-uitgang 32 duidelijk het sterkste signaal is en hiermee PWM-cyclus 23 volledig binnen de camera-zichttijd 1405 valt. — Stap 4: met behulp van deze camerametingen en het verplaatsen of geleidelijk veranderen van timings, wordt het mogelijk om te bepalen wanneer (verwijzend naar timing) / waar (verwijzend naar positie in de tijd) de zogenaamde sync-band (d.w.z. synchronisatie van displaybeeld start met sluiteropening start) begint, of anders wanneer/waar de camerasluiter-openingstijd begint en wanneer/waar deze eindigt.

— Stap 5: gebruik één of meer van de opties om de (maximaal mogelijke) lengte van de 2022/5007 sluiteropeningstijd van de camera te definiëren zoals eerder beschreven onder paragraaf 2, om (indien gewenst) de output van het beeld (voor helderheid en grijstinten) in het openingsvenster te maximaliseren. 5. Automatische kleuraanpassing

We weten uit ervaring dat de kleuren van een beeld dat op het scherm wordt weergegeven, niet noodzakelijk dezelfde zijn als de kleuren die worden gezien door de camera die het beeld van het scherm opneemt.

We hebben eerder naar dit probleem verwezen in octrooiaanvrage US2020/0388210, in [0089] onder verwijzing naar FIG. 14 daarin zoals kort beschreven in [0047]. Hiermee hebben we ook een oplossing voorgesteld zoals beschreven in [0091] terwijl we de schermzijde of de LED-display of LED- wall zelf aanpassen.

In dezelfde octrooiaanvrage US2020/0388210, bespraken we in [0064] - [0066] ook het aspect van de stroom (I) instelling voor de individuele kleuren (in plaats van PWM-afstemming) voor het bereiken van het vereiste kleurenspectrum of de lichtoutput.

En verder van US2020/0388210, zijn de illustraties in FIG. 15A en 15B, en FIG. 16, waarnaar respectievelijk in [0048] en [0049] wordt verwezen, gebaseerd op het principe van metamerisme.

Naast de eerder in US2020/0388210 verschafte oplossingen, kan een verdere kleuraanpassing automatisch worden uitgevoerd wanneer de camera op het beeldscherm wordt aangesloten, zoals voorgesteld met de onderhavige uitvinding.

Overeenkomstig een aspect van de uitvinding, beschrijven wij hierbij een werkwijze voor het (verder) instellen van de kleurgevoeligheid van de camera op gewenste niveaus, toe te passen ter verbetering van de nauwkeurigheid. Opgemerkt wordt met name dat de camera nu wordt aangesloten op het display. Ook wordt nogmaals opgemerkt dat banding-effecten typisch optreden wanneer de camerasluiter-openingstijd niet in lijn is met (de start van) het (PWM )-signaal of beef 2922/9007 dat op het display wordt getoond.

De werkwijze bestaat uit een snelle poging om de primaire kleurversterking van het scherm aan te passen om te matchen met de gewenste output van de camera (in tegenstelling tot het uitvoeren van een spectrale analyse zoals beschreven met de oplossing die eerder werd geboden in

US2020/0388210). Zoals reeds vermeld, is het algemeen bekend dat de kleurgevoeligheid van de camera niet noodzakelijk gelijk is aan of hetzelfde is in vergelijking met het scherm dat zijn licht uitstraalt.

Een uitvoeringsvorm van de werkwijze voor automatische kleuraanpassing in tijdsdomeinweergave is afgebeeld in Figuur 15. Opnieuw wordt de evolutie in de tijd aangegeven, hier door pijl 1507. Een beeld wordt gegeven bij Sync-signaal 1506 van de videofeed of bron 1501 om getoond te worden.

De displaytijdlijn 1520 en camerasignaaltijdlijn 1530 zijn hier ook afgebeeld. Voor elke beeld dat wordt weergegeven, kunnen de (R/G/B) kleuren aan de displayzijde (één voor één) worden aangepast om de gewenste (R/G/B) kleurintensiteiten voor de camera-uitvoer te bereiken. Met andere woorden, de automatische kleuraanpassing op de camera wordt uitgevoerd door aanpassing aan de displayzijde. De automatische manier om dit te doen wordt mogelijk gemaakt door de camera te verbinden met het display, en zo een feedbackloop te creëren.

Veronderstel opnieuw de camera die naar het beeldscherm (nu daarmee verbonden) kijkt en het daarop getoonde beeld opneemt. De videostream voor het aanleveren van beelden aan het beeldscherm kan ook wel worden aangeduid als primaire (video)ingang. We gaan weer uit van een camerasysteem waarbij de camera-uitgang wordt aangesloten op de (display)processor met secundaire (video)ingang, zijnde de output beelden (of video) van de camera. We gaan ook weer uit van een (video)circuit voor het analyseren van de beelden van de secundaire ingang. We nemen verder aan dat de gewenste R/G/B-signaaluitgangsrelatie bekend is voor de camera. Bijv. voor

D3200 kleurtemperatuur moet de zuivere R (rood) 90% zijn, G (groen) 60% en B (blauw) 15% zijn uitgezonden door het scherm, zoals geïllustreerd voor het eerste beeld op de displaytijdlijn 1520 in

Figuur 15. De camera-signaaluitvoer 1530 verschilt van de display-intensiteiten zodat de gewenste en juiste kleuren worden waargenomen door iemand die naar de camera-uitgang kijkt, hetzij direct (op camera) of indirect (bijvoorbeeld uitgezonden).

De werkwijze kan verder de volgende stappen omvatten: — Stap 1: het (opeenvolgend) tonen van het R/G/B-testpatroon op het display (met behulp van een vaste set gewenste richtpunten (al dan niet gekalibreerd) op het display; dit kan een set richtpunten zijn die nodig is voor menselijk oog nauwkeurigheid) — Stap 2: de R/G/B-intensiteiten van de camera aanpassen (tijdens analyse van de camerasignaal-uitvoer) met de individuele en respectievelijke R/G/B uit het R/G/B- testpatroon — Stap 3: meten van intensiteiten van de daaropvolgende R/G/B-beelden afkomstig van camera (via camerasignaal) — Stap 4: stap 2 herhalen totdat de R/G/B-intensiteiten het gewenste niveau hebben (bekend van het display)

Volgens een uitvoeringsvorm kan, in plaats van de kleur aan te passen, de camerafeedback worden gebruikt om de geometrie aan te passen (bijv. het beeld rechttrekken of uitlijnen) zodat het op het scherm getoonde beeld overeenkomt met het gewenste beeld dat op de camera moet gezien worden, en vice versa. Dit kan een geometrische warper zijn zoals bekend in de techniek, in de verwerking (kan niet 100% in tegels worden gedaan).

Volgens een verdere uitvoeringsvorm kan, in plaats van het aanpassen van kleur of geometrie, de camerafeedback worden gebruikt voor het corrigeren van helderheid en kleurvariatie onder een hoek.

Dit kan bijvoorbeeld voorkomen bij het gebruik van een gebogen display zoals b.v. in eerdere octrooiaanvrage US2020/0388210, in [0084] en FIG. 11 hierbij besproken.

In het geval dat bijvoorbeeld een gebogen LED-scherm wordt gebruikt, kunnen de helderheid en/of kleuren varièren naargelang de positie van de afzonderlijke pixels in het scherm, in relatie tot de camera. Het feit dat het scherm gebogen is, kan een aanzienlijke invloed hebben op de kleuren en helderheid die worden waargenomen (door een camera of het menselijk oog) vanuit een bepaalde positie, dus onder een bepaalde hoek, in vergelijking met b.v. kijken of opnemen van een flatscreen, vanuit dezelfde positie (wat automatisch leidt tot een andere kijkhoek).

In een andere eerdere octrooiaanvrage US2020/0286424 hebben we een kalibratiewerkwijze voor kijkhoekcompensatie beschreven, in het bijzonder in [0009] en [0047] daarvan. 6. Tijdsafhankelijke kalibratie

We hebben hierboven gezien en besproken dat er - vanwege de camerasluiter-openingstijd - een ‘periode’ in een frame (of meerdere frames) is, of in een beeld zoals we eerder vermeldden, waarin de camera ‘de PWM- of pixel AAN-tijd ziet ' van het beeld dat op het display wordt getoond, en we weten nu ook dat gedurende die andere tijd (dus buiten de camerasluiter-openingstijd), de camera ‘niets ziet’. Wanneer de camera echter 'niets ziet', is het mogelijk dat het menselijk oog (bijvoorbeeld verwijzend naar het publiek in een studio-omgeving) nog steeds ziet, en het is zelfs mogelijk dat het menselijk oog de volledige duur van het frame ziet en de kleuren integreert na verloop van tijd in het frame.

De vraag is echter, wanneer zowel de camera als het menselijk oog gedurende een bepaalde periode zien, of ze beide de beelden (of video of inhoud in het algemeen) correct zien. En zo niet, hoe een correctie of kalibratie moet worden uitgevoerd om de juiste weergave te krijgen van de beelden zoals we die willen zien (als publiek met onze ogen), en zoals te zien op de camera.

De hier voorgestelde oplossing, volgens een aspect van de uitvinding, betreft het instellen van de juiste kleuren (in (x, y, Y) ruimte) voor op camera en het menselijk oog op hetzelfde moment en gebruik makend van met dezelfde set LED's.

Opgemerkt wordt dat deze instelling zelfs lokaal kan worden gedaan voor een deel van het display of scherm, en dus niet noodzakelijkerwijs volledig voor het ganse display of scherm.

Dit basisprincipe van de voorgestelde oplossing kan op de één of andere manier gerelateerd zijn aan een kalibratiewerkwijze zoals eerder beschreven in octrooiaanvrage US2020/0286424 van dezelfde aanvrager (zie bijv. [0008] - [0012] hierin}, in het bijzonder de inhoudsafhankelijke kalibratie die daarin wordt beschreven inclusief de wiskunde (met behulp van matrices) die daarvoor word: 2922/5007 gebruikt. Soortgelijke wiskunde (met behulp van matrices) kan nu opnieuw worden toegepast met verwijzing naar of met behulp van nu de factor tijd. Daarom wordt de oplossing tijd- (of timing-) afhankelijke kalibratie genoemd. Het uiteindelijke idee met betrekking tot kalibratie is om - niet alleen - de kalibratie dynamisch te wijzigen, afhankelijk van de inhoud (ter verbetering van de visuele waarneming), maar ook dynamisch in de tijd (binnen één frame of meerdere frames).

Zoals vele malen eerder geïllustreerd en vermeld, beschouwen we in het algemeen het geval van één enkel frame voor het beschrijven van zowel probleem als oplossing met (verschillende aspecten van) de onderhavige uitvinding.

We verwijzen echter ook naar het mogelijke gebruik van meerdere frames, terwijl we, in het geval dat we de kalibratie niet in één enkel frame kunnen doen, de integratie over meerdere frames mogelijk willen gebruiken. In zo'n geval is het zelfs mogelijk dat we per frame in een set van meerdere frames, we (afwisselend) dezelfde of verschillende (inhouds)afhankelijke kalibratie toepassen. Het gebruik van meerdere frames kan nodig zijn als de sluitertijd langer is dan één frame.

Een uitvoeringsvorm van de werkwijze voor tijdsafhankelijke kalibratie in tijdsdomeinweergave is afgebeeld in Figuur 16. Opnieuw wordt de evolutie in de tijd aangegeven, hier door pijl 1607. Een beeld wordt gegeven bij Sync-signaal 1606 van de videofeed of source 1601 dat moet worden getoond. Het beeld wordt alleen op de camera getoond tijdens de zichttijd 1605 zoals aangegeven op de cameratijdlijn 1604, wat betekent tijdens de camerasluiter-openingstijd ook aangeduid als ts.

Het display 1603", dat PWM-cycli voorstelt, begint zijn beeld te genereren wanneer het Sync-signaal 1606 komt, en toont eerst inhoud gedurende een tijd ta die niet kan worden 'gezien' door de camera. De PWM 1611 voor deze inhoud die niet door de camera wordt 'gezien', wordt weergegeven op de displaytijdlijn 1603' voordat de camerasluiter wordt geopend. Tijdens de camerasluiter-openingstijd ts, wordt de PWM 1610 voor het beeld ‘gezien’ door de camera. Ten slotte, wanneer de camerasluiter weer wordt gesloten en voordat het volgende Sync-signaal verschijnt, gedurende een tijd tb, wordt de PWM 1613 voor verdere inhoud die niet zichtbaar is voor de camera, ook weergegeven op de displaytijdlijn 1603".

Het principe van de oplossing wordt als volgt verder beschreven. Men kalibreert met een andere 2922/5007 set kalibratieparameters (weergegeven door matrix M2) tijdens de camerasluiter-openingstijd ts.

Opgemerkt wordt dat kalibratie of kalibreren hier betekent, het veranderen van de primaire kleuren, zodat de 'camera' de gewenste kleurset 'ziet'. Hierbij kan bijvoorbeeld worden verwezen naar eerdere aspecten van de uitvinding in paragraaf 5 met betrekking tot automatische kleuraanpassing, als een mogelijk systeem om de juiste kleuren voor op camera in te stellen.

Binnen het sluiter-openingstijdvenster ts stellen we de kalibratiematrix in op M2. Dit kan b.v. een instelling met primaire zijn naar rec709 en wit-punt van D32, zoals 'gezien' door de camera.

Buiten het sluiter-openingstijdvenster ta en tb stellen we de kalibratiematrix in op M1.

We veronderstellen dat de gebruiker (menselijk oog) de volledige duur van het frame of beeld ziet, en dus

Muser = M2 x ts + M1 x (ta + tb)

We gaan ervan uit dat bijv. de gebruiker of menselijke kijker PAL-kleuren primaire op D65 wil zien.

Aangezien we M2 al hebben ingesteld en we Muser willen hebben (wat we willen dat de menselijke kijker ziet), kan M1 eenvoudig worden berekend: M1= (Muser — M2 x ts) / (ta + tb)

Een uiteindelijke kalibratieformule (met matrices) die zowel inhouds- als tijdsafhankelijke kalibratie omvat, zou bijvoorbeeld kunnen zijn:

Mfinal = Ta.Ma + (1 — Ta).Mb

Waarin: * Mfinal is de uiteindelijke kalibratiematrix * Ta=Oof1 afhankelijk van de positie in het frame (d.w.z. Ta is tijdsafhankelijk deel) e Ma=F.MA1+(1-F).MB1 * Mb=F.MA2 + (1-F).MB2 * Ma, Mb zijn kalibratiematrices die worden berekend voor inhoudsafhankelijke kalibratie e Fis het inhoudsafhankelijke deel, de zogenaamde Factor

* MA1, MA2, MB1, MB2 individuele kalibratiematrices die worden gebruikt voor BE2022/5007 inhoudsafhankelijke kalibratieberekening van Ma, Mb

Gebruikmakend van het inhoudsafhankelijke deel F, in plaats van te 'morphen' tussen 2 matrices en in het geval dat we niet veel (bijv. FPGA) hardware willen toevoegen, kunnen we een zogenaamde harde switch aan de hardware toevoegen om de berekening vast te leggen op ofwel Ma of Mb afhankelijk van de timing Ta. Daarom is een uitvoeringsvorm om deze kalibratie functioneel te maken het hergebruiken van b.v. het inhoudsafhankelijke kalibratieproces waarbij de inhoudsafhankelijke factor F-berekening wordt vervangen door een tijdsafhankelijke factor Ta- berekening, waarbij Ta ofwel Ma of Mb kiest, afhankelijk van de huidige tijd binnen het frame, d.w.z. bijvoorbeeld Ta=1 wanneer in ts Ma= M2 en Ta=0 in ta of tb Mb=M1.

Hoe houden we rekening met tijdafhankelijke kalibratie zoals hierboven besproken met behulp van traditionele, kant-en-klare Macroblock LED-drivers voor een LED-display?

Een oplossing kan zijn dat we de programmeerbare vertraging gebruiken en de interne framefrequentie verdubbelen, ook wel framevermenigvuldiging genoemd (vandaar een eerste en tweede deel) in vergelijking met de inkomende synchronisatiefrequentie. We zorgen ervoor dat het openingstijdvenster van de camerasluiter zich alleen in het eerste deel van de dubbele frequentie bevindt en passen de kalibratie-set toe die voor de camera (M2) moet worden gebruikt. Voor het andere of tweede deel van de dubbele frequentie gebruiken we de andere kalibratie-set (M1).

Door tijdsafhankelijke kalibratie toe te passen bij gebruik van meer dan één camera, bijvoorbeeld 2 camera's of een systeem met meerdere camera's, kan de wiskunde als volgt worden afgeleid.

Een uitvoeringsvorm van de werkwijze voor tijdsafhankelijke kalibratie met 2 camera's in tijdsdomeinweergave is weergegeven in Figuur 17, waarin b.v. 3 kalibratiesets |, II en Ill bepaald door de matrices MI, MII en MIII kunnen worden gedefinieerd voor het berekenen van de tijdsafhankelijke kalibratie. De evolutie in de tijd wordt aangegeven, hier door pijl 1707. Bij Sync- signaal 1706 wordt een beeld gegeven van de videofeed of bron 1701 om getoond te worden. Het beeld wordt respectievelijk alleen weergegeven op de eerste camera (Cameral) tijdens de overeenkomstige zichttijd 1705, en alleen op de tweede camera (Camera2) tijdens BF2022/5007 overeenkomstige zichttijd 1715, zoals aangegeven op de cameratijdlijn 1704. Het display 1703", dat

PWM-cycli voorstelt, begint zijn beeld te genereren wanneer het Sync-signaal 1706 komt, en toont eerst inhoud die door geen van de 2 camera's kan worden 'gezien'. De PWM 1711 voor deze content die niet ‘gezien’ wordt door de camera, vormt een basis voor de kalibratiematrix MI. Tijdens zichttijd 1705 van de eerste camera (Camera 1) wordt de PWM 1710 voor het beeld door de camera ‘gezien’ en vormt de basis voor de kalibratiematrix MII. Nadat de eerste camerasluiter (weer) gesloten is, gaat de tweede camerasluiter open. Zoals weergegeven op de displaytijdlijn 1703", wordt de PWM 1713 niet 'gezien' door de eerste camera (Camera 1), maar is alleen zichtbaar op de tweede camera (Camera 2) tijdens de bijbehorende zichttijd 1715, en vormt een basis voor de kalibratiematrix MIII.

Claims (18)

35 BE2022/5007 Conclusies

1. Een werkwijze voor het verbeteren van het samenspel van een lichtbrondisplay met een camera die het beeld opneemt dat wordt weergegeven door de lichtbrondisplay, waarbij de werkwijze de stappen omvat van: (i) het ontvangen van een lichtbrondisplay- ingangssignaal; (ii) het ontvangen van één of meer waarden die een programmeerbare offset vertegenwoordigen ten opzichte van de werking van de camera met een sluiter en bijbehorende sluitertijd; en (iii) het toepassen van het lichtbrondisplay-ingangssignaal op de lichtbrondisplay, gebaseerd op de één of meer programmeerbare offsetwaarden, waarbij de één of meer programmeerbare offsetwaarden automatisch optimaal bepaald zijn in relatie tot de start en lengte van de camerasluiter-openingstijd en/of de start en lengte van de camerasluiter-openingstijd automatisch bepaald zijn, door middel van het toepassen van de volgende stappen: (a) het weergeven van een beeld; (b} het wijzigen van de één of meer programmeerbare offsetwaarden en/of de start en lengte van de sluiteropeningstijd; (c} het analyseren van de opname van het beeld op de camera in overeenstemming met stap (iii) hierboven voor elk van de één of meer programmeerbare offsetwaarden en/of de start en lengte tijdens het wijzigen daarvan in (b); en (d) het gebruiken van deze analyse voor het bepalen van geschikte programmeerbare offsetwaarden en/of start en lengte van de camerasluiter-openingstijd.

2. De werkwijze volgens conclusie 1, waarbij voorafgaand aan stap (iii) een tussenstap wordt voorzien voor het ontvangen van een signaal dat gerelateerd is aan de werking van de camera.

3. De werkwijze volgens conclusie 1, waarbij de lichtbrondisplay een Lichtemitterende Diode (LED)-display is.

4. De werkwijze volgens conclusie 1, waarbij de één of meer programmeerbare offsetwaarden worden geselecteerd om het samenspel van de lichtbrondisplay met de camera te verbeteren teneinde de energie-efficiëntie te verbeteren en/of banding- effecten te verminderen.

5. De werkwijze volgens conclusie 2, waarbij het signaal dat gerelateerd is aan de werking van de camera een synchronisatiesignaal is, bij voorkeur op het moment dat de

36 BE2022/5007 camerasluiter opent, of het signaal dat verschijnt op het moment dat de camerasluiter sluit.

6. De werkwijze volgens conclusie 1, waarbij één van de één of meer programmeerbare offsetwaarden een programmeerbare start is en in stap (iii) het lichtbrondisplay- ingangssignaal op de lichtbrondisplay wordt toegepast vanaf de programmeerbare start, zijnde vanaf het moment dat de camerasluiter wordt geopend.

7. De werkwijze volgens conclusie 1, waarbij één van de één of meer programmeerbare offsetwaarden een programmeerbare stop is en in stap (iii) het lichtbrondisplay- ingangssignaal op de lichtbrondisplay wordt toegepast tot de programmeerbare stop, zijnde totdat de camerasluiter sluit.

8. De werkwijze volgens conclusie 1, waarbij één van de één of meer programmeerbare offsetwaarden een programmeerbare blanco-tijd is en in stap (iii) het lichtbrondisplay- ingangssignaal op de lichtbrondisplay wordt toegepast, na of vóór de programmeerbare blanco-tijd, zijnde tijdens de openingstijd van de camerasluiter.

9. Een opstelling, omvattende ten minste één lichtbrondisplay, en ten minste één camera ingericht voor het opnemen van het beeld weergegeven door de ten minste één lichtbrondisplay; waarbij de lichtbrondisplay is aangepast voor het toepassen van één van de werkwijzen 1 tot 8.

10. Een werkwijze voor het toewijzen van op een lichtbrondisplay te tonen inhoud die niet zichtbaar is voor een eerste camera in een omgeving of opstelling volgens conclusie 9, omvattende opnamebeelden van de eerste camera weergegeven door de lichtbrondisplay, waarbij de eerste camera een sluiter omvat met een sluiteropeningstijd, waarbij de werkwijze omvat: buiten de sluiteropeningstijd, wordt de inhoud op de lichtbrondisplay weergegeven en zijnde bijvoorbeeld video of beelden, tekst of grafische afbeeldingen of markeringen.

11. De werkwijze volgens conclusie 10, waarbij de inhoud zichtbaar is voor het menselijk oog, of voor een tweede camera met een andere sluiteropeningstijd dan de eerste camera.

12. De werkwijze volgens conclusie 10 of 11, waarbij de inhoud die op de lichtbrondisplay moet worden weergegeven, wordt gevoed vanuit een externe videobron of vanuit een interne niet-vluchtige gegevensopslag op de display.

37 BE2022/5007

13. De werkwijze volgens één van de conclusies 10 tot 12, waarbij tijdens de sluiteropeningstijd van de eerste camera, andere inhoud wordt weergegeven op de lichtbrondisplay.

14. De werkwijze volgens één van de conclusies 10 tot 13, waarbij naast de inhoud en/of andere inhoud, verdere inhoud wordt weergegeven op de lichtbrondisplay dat alleen zichtbaar is voor een infraroodcamera.

15. Een werkwijze voor automatische kleuraanpassing tot een gewenst niveau van een camera in een omgeving of opstelling volgens conclusie 9, omvattende een lichtbrondisplay en de camera die beelden opneemt van de lichtbrondisplay, waarbij de werkwijze de stappen omvat van: (i) het tonen van een R/G/B-testpatroon op de lichtbrondisplay; (ii) het aanpassen van de R/G/B-intensiteiten van de camera met de individuele en respectieve R/G/B uit het R/G/B-testpatroon op de lichtbrondisplay; (iii) het meten van de R/G/B- intensiteiten van de camera van daaropvolgende opgenomen R/G/B-testpatronen die worden getoond op de lichtbrondisplay; en het herhalen van (ii) totdat de R/G/B- intensiteiten op het gewenste niveau zijn.

16. Werkwijze voor kleurkalibratie in de tijd, uitgevoerd door een verwerkingssysteem van een display, gebaseerd op licht-emitterende elementen (LEE's), in een omgeving of opstelling volgens conclusie 9, omvattende een camera die beelden opneemt van het display, waarbij de camera een sluiter omvat met een sluiteropeningstijd, waarbij de werkwijze omvat: — het uitvoeren van een kleurmeting van een hoeveelheid LEE's van het display; — het bepalen van kleurruimtewaarden voor de kleurmeting van de hoeveelheid LEE's; — het definiëren voor de hoeveelheid LEE's van een eerste set doelkleuren in kleurruimtewaarden; — het definiëren voor de hoeveelheid LEE's van een tweede set doelkleuren in kleurruimtewaarden; — het berekenen van een eerste kalibratiematrix op basis van de gemeten kleuren en op de eerste set doelkleuren, voor tijdens de sluiteropeningstijd; — het berekenen van een tweede kalibratiematrix op basis van de gemeten kleuren en op de tweede set doelkleuren, voor buiten de sluiteropeningstijd; — het definiëren van een matrixfactor, die selectief wordt gekozen in relatie tot de sluiteropeningstijd, als een getal;

38 BE2022/5007 — het berekenen van een uiteindelijke kalibratiematrix, gedefinieerd door de eerste en tweede kalibratiematrix, die elk worden gewogen op basis van de matrixfactor.

17. Werkwijze voor kleurkalibratie in de tijd, uitgevoerd door een verwerkingssysteem van een display, gebaseerd op licht-emitterende elementen (LEE's), in een omgeving of opstelling volgens conclusie 9, omvattende een multi-camerasysteem met meerdere camera's die beelden opnemen van het display, waarbij de meerdere camera's elk een sluiter met een sluiteropeningstijd omvatten, waarbij de werkwijze omvat — het uitvoeren van een kleurmeting van een hoeveelheid LEE's van het display; — het bepalen van kleurruimtewaarden voor de kleurmeting van de hoeveelheid LEE's; — het definiëren voor de hoeveelheid LEE's van een eerste set doelkleuren in kleurruimtewaarden; — het definiëren voor de hoeveelheid LEE's van ten minste een tweede set doelkleuren in kleurruimtewaarden; — het berekenen van een eerste kalibratiematrix op basis van de gemeten kleuren en op de eerste set doelkleuren, voor tijdens de sluiteropeningstijd van één van de meerdere camera's; — het berekenen van ten minste een tweede kalibratiematrix op basis van de gemeten kleuren en op ten minste een tweede set doelkleuren, voor tijdens de sluiteropeningstijd van een andere van de genoemde meerdere camera's; — het definiëren van een matrixfactor, die selectief wordt gekozen in relatie tot de sluiteropeningstijd van elk van de meerdere camera's, als een getal; — het berekenen van een uiteindelijke kalibratiematrix, gedefinieerd door de eerste en ten minste tweede kalibratiematrix, die elk worden gewogen op basis van de matrixfactor.

18. Een werkwijze voor het definiëren van displayparameters van een lichtbrondisplay in een context met een camera die het beeld opneemt dat wordt weergegeven door de lichtbrondisplay, waarbij de lichtbron wordt aangestuurd door PWM in relatie tot een gegeven camerasluiter-openingstijd, waarbij de werkwijze omvat: (i) het wijzigen van één of meer PWM-parameters geselecteerd uit de groep van: het aantal PWM-cycli, de klok van de PWM-cycli, de bit-diepte, d.w.z. het aantal bits van de PWM-cycli; en/of (ii) het

39 BE2022/5007 introduceren van een klok met dynamische frequentie voor de PWM-cycli, om de uitvoer van het beeld binnen de camerasluiter-openingstijd te maximaliseren.