CA3231259A1 - Systeme de suivi d'acteurs sur au moins une scene de spectacle - Google Patents

Systeme de suivi d'acteurs sur au moins une scene de spectacle Download PDF

Info

Publication number
CA3231259A1
CA3231259A1 CA3231259A CA3231259A CA3231259A1 CA 3231259 A1 CA3231259 A1 CA 3231259A1 CA 3231259 A CA3231259 A CA 3231259A CA 3231259 A CA3231259 A CA 3231259A CA 3231259 A1 CA3231259 A1 CA 3231259A1
Authority
CA
Canada
Prior art keywords
actors
camera
morphic
neuro
motorized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CA3231259A
Other languages
English (en)
Inventor
Maurice REBIFFE
Christian Jean Jacques HUBERT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xyzed
Original Assignee
Xyzed
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xyzed filed Critical Xyzed
Publication of CA3231259A1 publication Critical patent/CA3231259A1/fr
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V21/00Supporting, suspending, or attaching arrangements for lighting devices; Hand grips
    • F21V21/14Adjustable mountings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • G01S3/7865T.V. type tracking systems using correlation of the live video image with a stored image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/145Housing details, e.g. position adjustments thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21WINDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2131/00Use or application of lighting devices or systems not provided for in codes F21W2102/00-F21W2121/00
    • F21W2131/40Lighting for industrial, commercial, recreational or military use
    • F21W2131/406Lighting for industrial, commercial, recreational or military use for theatres, stages or film studios
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21WINDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2131/00Use or application of lighting devices or systems not provided for in codes F21W2102/00-F21W2121/00
    • F21W2131/40Lighting for industrial, commercial, recreational or military use
    • F21W2131/407Lighting for industrial, commercial, recreational or military use for indoor arenas

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Système de suivi d'acteurs sur une scène de spectacle, comportant : ? - une pluralité de projecteurs (22A-22F), ? - au moins une lyre motorisée (24, 26) à entraînement axial direct pour le support et le déplacement omnidirectionnel d'un ensemble comprenant : ?. un ensemble d'acquisition d'images formé de caméras couleur et neuro-morphique ayant un objectif commun, ?. un miroir dichroïque, ? - un module de traitement d'images (28, 32) pour recevoir de la caméra neuro-morphique des images événementielles des acteurs afin d'en déterminer les coordonnées et pour recevoir de la caméra couleur des images visibles de ces acteurs permettant si nécessaire de les identifier, et ? - un écran de visualisation (28A) pour afficher une image visible de chacun des acteurs obtenue par la caméra couleur et pour permettre l'affectation par un opérateur à un terminal de commande (30) ou un média-serveur (32) des projecteurs déterminés à des acteurs identifiés sur la scène, afin d'assurer un suivi automatique par les projecteurs des déplacements respectifs de ces acteurs identifiés.

Description

Description Titre de l'invention : SYSTEME DE SUIVI D'ACTEURS SUR AU MOINS UNE SCENE DE
SPECTACLE
Domaine Technique La présente invention se rapporte au domaine du suivi d'objets ou d'être vivants et elle concerne plus particulièrement un système de suivi d'acteurs sur une ou plusieurs scènes de spectacle à partir de l'image visuelle et sonore de ces acteurs.
Technique antérieure Le suivi d'objets ou d'êtres vivants, humains ou animaux, en déplacement sur une scène de spectacle est un problème difficile à résoudre. Les systèmes basés sur la seule reconnaissance d'images pour assurer un tel suivi de ces différents acteurs ne sont guère performants car particulièrement sensibles aux conditions d'éclairage de la scène. C'est notamment le cas du cirque lorsque les acteurs à suivre sont très nombreux et évoluent simultanément sur plusieurs pistes, au sol comme dans les airs, et où les méthodes de vision et reconnaissance classiques ne parviennent pas à appréhender valablement toutes leurs évolutions.
Exposé de l'invention La présente invention propose de s'affranchir de ces conditions d'éclairage et de pallier les inconvénients précités avec un dispositif simple permettant un suivi d'acteurs évoluant sur plusieurs scènes pouvant former un grand volume de suivi (tracking) sans contraintes excessives.
Ces buts sont atteints avec un système de suivi d'acteurs sur une scène de spectacle, comportant :
- une pluralité de projecteurs lumière ou vidéo pour suivre le déplacement des acteurs sur la scène, - au moins une lyre motorisée ayant au moins deux axes de rotation à
entrainement axial direct pour le support et le déplacement omnidirectionnel d'un ensemble comprenant :
2 . un ensemble d'acquisition d'images formé d'une caméra couleur et d'une caméra neuro-morphique, et ayant un objectif commun, pour recevoir des images des acteurs évoluant sur la scène, et . un miroir dichroïque séparant et dirigeant l'image recueillie au travers de l'objectif commun, d'une part vers la caméra couleur et d'autre part vers la caméra neuro-morphique, - un module de traitement d'images pour recevoir de la caméra neuro-morphique des images évènementielles des acteurs évoluant sur la scène afin d'en déterminer les coordonnées et pour recevoir de la caméra couleur des images visibles de ces acteurs permettant si nécessaire de les identifier, et - un écran de visualisation pour afficher une image visible de chacun des acteurs évoluant sur la scène obtenue par la caméra couleur et pour permettre l'affectation par un opérateur à un terminal de commande ou un média-serveur des projecteurs lumière ou vidéo déterminés à des acteurs identifiés sur la scène, afin d'assurer un suivi automatique par les projecteurs lumière ou vidéo des déplacements respectifs de ces acteurs identifiés.
Ainsi, la réception d'images évènementielles par la caméra neuro-morphique associée à la réception d'images visibles par la caméra couleur, ces deux caméras étant montées sur une lyre omnidirectionnelle motorisée permet la localisation, l'identification et le suivi des acteurs par les projecteurs lumière ou vidéo avec une grande facilité.
De préférence, la lyre motorisée comporte outre un module de diodes infrarouges pour illuminer le volume de la scène.
Avantageusement, le système de suivi comporte en outre des identifiants infrarouge destinés à être portés par chacun des acteurs.
De préférence, il comporte en outre un projecteur de matrice pour réaliser une calibration des caméras couleur et neuro-morphique de façon à définir un volume de suivi.
Avantageusement, la lyre motorisée comporte en outre un module d'alimentation et de commande ainsi qu'un module de communication de données filaire, radio ou lumière.
L'invention se rapporte aussi à un procédé de suivi d'acteurs sur une scène de spectacle comportant :
- orienter vers la scène au moins une lyre motorisée supportant un ensemble d'acquisition d'images formé d'une caméra couleur et d'une caméra neuro-morphique, et ayant un objectif commun,
3 - obtenir une image évènementielle de chacun des acteurs présents sur la scène par la caméra neuro-morphique et obtenir une image visible de chacun des acteurs évoluant sur la scène par la caméra couleur, - identifier les acteurs et déterminer les coordonnées de chacun d'entre eux à partir de leur image évènementielle et de leur image visible, - afficher sur un écran de visualisation une image visible de chacun des acteurs évoluant sur la scène pour permettre l'affectation par un opérateur à un terminal de commande ou un média-serveur de projecteurs lumière ou vidéo déterminés à des acteurs identifiés sur la scène, afin d'assurer un suivi automatique par les projecteurs lumière ou vidéo des déplacements respectifs de ces acteurs identifiés.
De préférence, le procédé comporte en outre illuminer le volume de la scène au moyen d'un module de diodes infrarouges intégré à la lyre motorisée pour créer des contrastes de lumière sur chacun des acteurs et faciliter leur identification par la caméra neuro-morphique ou encore l'horodatage des coordonnées et leur transmission à une machinerie de décor ou une console son.
Avantageusement, il est prévu une première étape préalable de calibration des caméras couleur et neuro-morphique au moyen d'un projecteur de matrice définissant un volume de suivi.
De préférence, l'identification des acteurs peut être assurée par une reconnaissance faciale à
partir des images issues de la caméra couleur ou par un identifiant infrarouge porté par chacun des acteurs et analysé par la caméra neuro-morphique.
Brève description des dessins Les caractéristiques et avantages de la présente invention ressortiront mieux de la description suivante, faite à titre indicatif et non limitatif, en regard des dessins annexés sur lesquels :
[Fig. 1] la figure 1 est une vue schématique d'une scène de spectacle comportant un système de suivi d'acteurs selon l'invention, [Fig. 2] la figure 2 est une vue d'une lyre motorisée du système de suivi d'acteurs de la figure 1, [Fig. 3A-3B] la figure 3A-3B illustre un exemple de deux caméras co-axées et un exemple d'un module de diodes infrarouges supportés par la lyre motorisée de la figure 2, et
4 [Fig. 4] la figure 4 montre les différentes étapes du procédé de suivi d'acteurs selon l'invention.
Description des modes de réalisation Pour permettre le suivi d'acteurs se déplaçant sur une ou plusieurs scènes de spectacle, l'invention se propose de monter une caméra couleur et une caméra neuro-morphique dans un support motorisé à deux ou de préférence trois axes de rotation (Tilt, Pan, Roll), perpendiculaires deux à deux, de type lyre et de les associer à plusieurs projecteurs de spectacle externe pour détecter et suivre en temps réel avec ces projecteurs le déplacement lip .. des différents acteurs apparaissant sur la scène. L'identification des acteurs est assurée de préférence par une reconnaissance d'identité issue des images des caméras mais le recours à des identifiants infrarouges de type tag portés par chacun des acteurs est aussi envisagé.
La figure 1 illustre un exemple de chapiteau de cirque 10 comportant deux pistes de spectacle 10A, 10B susceptible de recevoir des acteurs, par exemple deux clowns 12, 14 et un animal avec un ballon 16 sur la première piste et un trapéziste 18 sur la seconde piste.
Conformément à l'invention, un système 20 de suivi de ces différents acteurs est disposé
sous le chapiteau 10. Il est formé de plusieurs projecteurs lumière ou vidéo 22A-22F, d'au moins une lyre motorisée 24, 26 en liaison filaire, radio ou lumière avec un module externe de traitement d'images 28 intégrant un écran de visualisation 28A et un terminal de commande 30, typiquement une console lumière chargée de la commande du déplacement des projecteurs lumière et pouvant être munie de son propre écran de visualisation. Lorsque les projecteurs sont des projecteurs vidéo, la commande de leur déplacement est assurée non pas par la console lumière mais par un média-serveur 32 (classiquement associé à au moins un écran de visualisation) qui peut être un serveur multimédia vidéo ou un lecteur multimédia muni d'un contrôleur vidéo en liaison bidirectionnelle avec les projecteurs vidéo et qui peut alors éventuellement intégrer le module de traitement d'images 28.
On rappellera qu'avec un projecteur lumière, l'ombre de la personne ou l'objet est projetée et l'impact du faisceau de lumière apparait à l'arrière de cette personne ou cet objet alors qu'avec un projecteur vidéo seule la surface impactée (par exemple tout ou partie de la silhouette d'un acteur) est éclairée, aucune ombre n'étant projetée. Par liaison radio, on entend une liaison sans fil de type WiFi ou analogue et par liaison lumière, une liaison sans fil de type LiFi. Le choix de l'une ou l'autre de ces technologies de communication dépend essentiellement de la configuration (mécanique comme électrique) du chapiteau.
5 Le module de traitement d'images 28 et son écran 28A peut être tout type d'ordinateur ou de calculateur à microprocesseur pourvu des logiciels de traitement d'images appropriés y compris une reconnaissance faciale (en cas de détection d'identification) et connus de l'homme de l'art.
Les projecteurs lumière ou vidéo 22A-22F mis en uvre dans l'invention sont des composants connus en soi qu'il n'est donc pas nécessaire de décrire en détail.
On notera seulement qu'un projecteur lumière comporte une source de lumière blanche à
lampes ou LEDs qui traverse une roue de gobos pour délivrer une pluralité de faisceaux de lumière d'effets différents au travers d'un objectif de sortie équipé d'un zoom et d'un focus, et qu'un lo projecteur vidéo comporte au moins une source lumière laser et un moteur de projection et il peut toutefois comporter aussi une fibre optique pour assurer le transport de la lumière blanche de la source lumière laser au moteur de projection. La source lumière laser est par exemple une source lumière laser RGB telle que connue de la demande W02016/113490 ou de la demande W02016/156759, l'une et l'autre déposées au nom de la demanderesse et permettant de concentrer différents faisceaux de lumière issus de diodes lasers en un point focal déterminé en sortie de cette source lumière laser. Le moteur de projection est organisé
classiquement autour d'un modulateur de lumière, d'un prisme et d'un bloc optique comportant notamment des lentilles de projection assurant zoom et focus et formant l'objectif du projecteur. Le modulateur de lumière est classiquement une matrice DMD
(digital micromirror device) mais d'autres configurations peuvent aussi être utilisées comme une matrice LCD, Lcos ou D-ILA et des matrices tri-LCD ou tri-DMD. En pratique, tout type de vidéo projecteur peut être mis en oeuvre dans l'invention.
Comme le montre la figure 2, la lyre motorisée 24,26 avantageusement portable (son poids est inférieur à 30Kg) et destinée à recevoir dans un cadre support 302 un ensemble d'acquisition d'images et éventuellement un module de diodes infrarouges, comporte deux bras 304, 306 en forme de L ayant chacun une première et une seconde extrémités, la première extrémité 304A du premier bras 304 étant reliée à une base 300 au niveau d'un premier axe vertical de rotation (axe horizontal Pan 308) et la seconde extrémité 304B
du premier bras 304 étant reliée à la première extrémité 306A du second bras 306 au niveau d'un deuxième axe horizontal de rotation (axe vertical Tilt 310) perpendiculaire au premier axe vertical de rotation 308, la seconde extrémité 306B du second bras 306 étant reliée au cadre support 302 au niveau d'un troisième axe vertical de rotation perpendiculaire au deuxième axe horizontal de rotation (axe Roll 310) et coaxial (dans sa position de repos) au premier axe vertical de rotation 308. Chaque axe de rotation 308,
6 310, 312 est motorisé par un ensemble moteur-réducteur (par exemple 314) en prise directe avec cet axe de rotation (entrainement axial direct), c'est à dire sans poulie ou courroie générateur de vibrations (d'à-coups lors des accélérations ou décélérations) et d'hystérésis (ou backlash) importants. Les moteurs sont typiquement des moteurs de type pas à pas ou par exemple à courant continu sans balais avantageusement pourvus d'un frein électromagnétique et les réducteurs sont des ensembles de moto-réduction à
très haute précision de type réducteur elliptique de la société Harmonic Drive par exemple dont la précision est avantageusement comprise entre 15 et 30 Arc seconde (soit entre 0.004 et 0.0083 ). La plage de déplacement des axes de rotation est typiquement de 380 sur l'axe Pan , de 270 sur l'axe Tilt et de 1800 sur l'axe roll qui permet un passage d'un mode paysage à un mode portrait et inversement.
Bien entendu, si cette configuration en L de la lyre motorisée est privilégiée, une configuration plus classique et symétrique en U est aussi envisageable. Dans ce cas, une seule des deux extrémités du bras en U est de préférence motorisée, l'autre pouvant alors être montée en roue libre sur un simple axe de rotation non motorisé.
La figure 3A-3B montre plus précisément l'ensemble d'acquisition d'images formé des deux caméras dites co-axées supportées par la lyre motorisée et comportant une caméra couleur 34 et une caméra neuro-morphique 36 recevant toutes deux des images au travers d'un miroir dichroïque 38 disposé à 45 derrière un objectif commun 40 assurant zoom et focus ainsi qu'un filtrage passe-bande dont la bande passante est variable pour permettre une optimisation du contraste. Le miroir dichroïque reçoit l'image de l'objet qui d'une part le traversant va se diriger vers cette caméra couleur 34 et d'autre part renvoyé
perpendiculairement à cet axe optique va se diriger vers la caméra neuro-morphique 36.
Pour laisser passer l'image visible vers la caméra couleur, le miroir dichroïque comporte une bande de longueur d'ondes de transmission comprise entre 400 et 700 nm et pour réfléchir l'image infrarouge vers la caméra neuro-morphique une bande de longueur d'ondes de réjection comprise entre 700 et 900 nm. La commande de ces zoom et focus de l'objectif commun peut être gérée par un module d'alimentation et de commande 316 nécessaire à
l'alimentation en tension et la commande du déplacement de la lyre motorisée sur ses différents axes selon des protocoles de transfert de données connus comme RS485, DMX512, Art-Net ou PSN (Position Stage Net). Sur la figure a également été
représenté
dans la base de la lyre motorisée un module de communication de données filaire, radio ou lumière 318 assurant une liaison filaire ou une liaison sans fil radio ou lumière avec le
7 module externe de traitement d'images 28 et le terminal de commande 30 ou le média-serveur 32.
La lyre motorisée qu'elle soit à simple (en L) ou double (en U) bras réalise un parfait équilibre des masses avec un centre de gravité qui permet de supporter des poids élevés (de 20 à plus de 100Kg) sans bras de levier importants et donc permet ainsi d'assurer un parfait asservissement mécanique sans vibrations et avec une précision de placement, une qualité de mouvement et une répétabilité exceptionnelles. Cette structure équilibrée permet à la lyre motorisée d'être utilisée en toute position, suspendue ou maintenue déportée latéralement, ou encore posée sur sa base au sol. On se référera avantageusement à la demande FR20 01934 déposée au nom de la demanderesse.
La caméra couleur 34 mis en oeuvre dans l'invention est connue en soi et il n'est donc pas nécessaire de la décrire en détail. Notons seulement qu'elle comporte au moins un capteur (une caméra couleur à trois capteurs RVB est aussi possible) qui peut être à
technologie CMOS ou EMCCD (voir par exemple les caméras couleurs de la série 1K-M de la société
Toshiba). L'analyse des images visibles issues de cette caméra permet, par exemple au moyen d'un logiciel de reconnaissance d'identité (ou facial) connu en soi, une identification de chacun des acteurs.
La caméra neuro-morphique 36 est aussi connue en soi et est par exemple décrite dans la demande W02020/120782 au nom de la société PropheseeC). Elle présente la particularité
de permettre l'identification et le suivi d'objet sur la base d'une matrice de capteurs d'évènements (event-based sensor) qui délivre de façon asynchrone et au-delà
d'un seuil prédéterminé des évènements en fonction des variations dans les paramètres (intensité, luminance, réflectance) de la lumière reçue sur cette matrice de capteurs. En ne traitant sur chaque image qu'une faible quantité d'information, elle bénéficie d'une latence de traitement négligeable par rapport à une caméra conventionnelle et peut traiter 20000 images par seconde quand une caméra conventionnelle en traite seulement 200. Elle permet donc une détection en toutes circonstances grâce à sa réponse temporelle de l'ordre de microsecondes et sa dynamique exceptionnelle de détection de lumière de 120dB

comparer au 40dB d'une caméra conventionnelle). Lorsque l'identification des acteurs n'est pas réalisée par la caméra couleur, la caméra neuro-morphique peut s'en charger par une analyse de l'image évènementielle ou plus simplement en recueillant les informations issues des tags IR portés par chacun d'entre eux (et illustré à la figure 1 par le point noir sur chaque personne, animal ou objet). Ces tags IR sont typiquement des émetteurs IR (800 à
8 974nm de longueur d'ondes) séquencés à des fréquences différentes comprises entre 2 et 20KHz pour différencier chacun des tags.
Afin de créer en toutes circonstances un évènement détectable pour la caméra neuro-morphique, notamment un objet stationnaire ou quasi stationnaire a priori indétectable (car non générateur d'évènements en dessous du seuil prédéterminé), la caméra neuro-morphique est avantageusement munie de moyens spécifiques d'action sur l'objectif commun 40 comme ceux connus de la demande W02021/089216.
De façon alternative et comme le montre la figure 3A-3B, une illumination infrarouge de la scène peut être créée par un module de diodes infrarouges 42 comportant un ensemble 420 de diodes lasers ou de diodes électroluminescentes (LED) dont les faisceaux parallèles de lumière infrarouge sont renvoyés sur une lentille de focalisation 422 avant de traverser un objectif de sortie à zoom 424. Ce module intégré à la lyre motorisée 24, 26 éclaire tout le volume de la scène, de façon à créer des contrastes de lumière sur chacun des acteurs impactés par cette illumination afin de mieux les démarquer de leur environnement et faciliter le traitement des images et notamment une éventuelle identification des acteurs par la caméra neuro-morphique. Cette illumination permet de détecter les objets mobiles non munis de tags IR, comme des éléments de décor ou des intervenants externes.
Le fonctionnement opérationnel de l'invention illustré par les différentes étapes du procédé
de la figure 4 sera maintenant décrit en se référant à l'exemple de la figure 1 qui montre deux pistes d'un chapiteau de cirque sous lequel est monté un système de suivi selon l'invention comportant deux lyres motorisées 24, 26 et un ensemble de 6 projecteurs.
Préalablement à ce fonctionnement opérationnel, il est bien entendu procédé à
une étape de calibration de l'ensemble d'acquisition d'images. Celle-ci s'effectue classiquement au moyen d'un projecteur de matrice connu en soi projetant un choix de grilles, traits ou points ou tout autre graphisme (via une roue de plusieurs gobos) afin de déterminer le volume (programmable par exemple en mode portrait ou paysage et dans un ratio 16/9, 16/10, 4/3 ou autre selon la configuration du chapiteau) dans lequel les acteurs évolueront (typiquement ce projecteur de matrice peut être l'un des projecteurs lumière ou vidéo). Par volume, on entend les dimensions de la scène en X (largeur de la scène), Y
(hauteur de la scène) et Z (profondeur de la scène) qui peuvent être calculées automatiquement en plaçant un tag IR à chaque angle du périmètre, c'est à dire à la fois en fond (arrière-scène) et en bord (avant-scène) de scène et à différentes hauteurs. La caméra neuro-morphique saisi ces points de référence et le module de traitement d'images calcule automatiquement le volume.
9 Dans une première étape 400, il est procédé à l'orientation de la lyre motorisée vers la piste où vont apparaitre les acteurs à suivre. Cette orientation de la lyre motorisée (correspondant à des angles de Pan , Tilt et Roll ) qui est commandée directement depuis terminal de commande 30, implique bien évidemment celle de l'objectif commun 40 des caméras et éventuellement celle du module de diodes infrarouges (s'il est présent), que la lyre supporte vers la piste choisie par l'opérateur. Cette commande répond au choix d'une orientation (cette orientation peut avantageusement être mémorisée) effectué
par l'opérateur au moyen d'un simple joystick ou d'un trackball associé à l'écran de visualisation du terminal de commande (ou éventuellement à l'écran de visualisation avantageusement tactile 28A). Lorsque les deux pistes vont être animées et que le système de suivi comporte deux lyres motorisées comme illustré, il est approprié d'orienter la première lyre motorisée 24 vers la première piste 10A et la seconde lyre motorisée 26 vers la seconde piste 10B
mais, lorsqu'un grand nombre d'acteurs se présentent sur une même piste, il peut au contraire être approprié de diriger les deux lyres motorisées vers cette seule première piste.
Par contre, si le système de suivi ne comporte qu'une seule lyre motorisée, celle-ci peut être alternativement orientée vers la première puis vers la seconde piste selon les besoins du spectacle (c'est par exemple le cas où un premier artiste joue sur la première scène pendant qu'un second se prépare sur la seconde).
On notera que lorsque plusieurs lyres motorisées fonctionnent conjointement par exemple pour former un plus grand volume de suivi, il est avantageux de désigner l'une comme maitre et les autres comme esclaves pour faciliter le passage d'acteurs d'une zone de suivi à
une autre sans interruption de leur suivi entre ces deux zones.
Dans une deuxième étape 402, la caméra neuro-morphique 36 par une analyse d'images basée sur des évènements asynchrones va obtenir une image évènementielle de chacun des acteurs présents dans son champ de vision déterminé par l'orientation de la lyre, et la caméra couleur 34 (dont l'orientation est aussi celle de la lyre) va obtenir une image visible de la scène avec chacun des acteurs pour un affichage sur l'écran de visualisation 28A. Dans une étape suivante 404, via le module de traitement d'images 28 (ou le média-serveur 32 s'il incorpore ce module) et en recourant à un logiciel de reconnaissance d'images connu en soi, des coordonnées précises de chacun de ces acteurs sont déterminées et chacun des acteurs identifié en recourant au logiciel de reconnaissance facial ou à
défaut au moyen du tag infrarouge que peuvent porter ces acteurs.
Dans une nouvelle étape 406, ces coordonnées sont horodatées avec les images visibles obtenues par la caméra couleur 34 et communiquées au terminal de commande 30 ou au
10 média-serveur 32 lorsque celui-ci est présent. Cette obtention d'une image visible de l'objet permet en outre à l'opérateur de confirmer la présence des acteurs et de les situer précisément sur la ou les pistes de spectacles après avoir été détectés et identifiés (éventuellement via leurs tags) par la caméra neuro-morphique 36.
L'association de l'image visible et de l'image évènementielle permet également au module de traitement d'images de réaliser un parfait silhouettage (détourage de l'image) des acteurs qui permet aux projecteurs dans l'étape finale 408 de les suivre automatiquement sur une piste ou lors d'un passage d'une piste à une autre.
Ce suivi de l'étape finale est commandé par l'opérateur posté devant le terminal de commande 30 ou devant le média-serveur 32 qui va dédier (affecter individuellement, préférentiellement à l'écran de visualisation associé au terminal ou au média serveur, mais un recours à l'écran tactile 28A est aussi possible) un ou plusieurs projecteurs pour suivre les acteurs préalablement identifiés lors de leur déplacement sur la piste.
Lorsque les projecteurs sont de simples projecteurs lumière, les informations de positionnement permettant ce suivi sont envoyées à ces projecteurs lumière depuis le terminal de commande 30 et lorsque ces projecteurs sont des projecteurs vidéo ces informations de positionnement et le silhouettage des acteurs lors de leur déplacement sont envoyées à ces projecteurs vidéo depuis le média-serveur 32. On notera que ces informations peuvent également être communiquées à une machinerie manipulant des éléments de décor ou encore à une console son assurant la spatialisation du son.

Claims

Revendications [Revendication 1] Système de suivi d'acteurs sur une scène de spectacle, comportant :
- une pluralité de projecteurs lumière ou vidéo (22A-22F) pour suivre le déplacement des acteurs sur la scène, - au moins une lyre motorisée (24, 26) ayant au moins deux axes de rotation à
entrainement axial direct pour le support et le déplacement omnidirectionnel d'un ensemble comprenant :
. un ensemble d'acquisition d'images formé d'une caméra couleur (34) et d'une caméra neuro-morphique (36), et ayant un objectif commun (40), pour recevoir des images des acteurs évoluant sur la scène, . un miroir dichroïque (38) séparant et dirigeant l'image recueillie au travers de l'objectif commun, d'une part vers la caméra couleur et d'autre part vers la caméra neuro-morphique, et - un module de traitement d'images (28, 32) pour recevoir de la caméra neuro-morphique des images évènementielles des acteurs évoluant sur la scène afin d'en déterminer les coordonnées et pour recevoir de la caméra couleur des images visibles de ces acteurs permettant si nécessaire de les identifier, et - un écran de visualisation (28A) pour afficher une image visible de chacun des acteurs évoluant sur la scène obtenue par la caméra couleur et pour permettre l'affectation par un opérateur à un terminal de commande (30) ou un média-serveur (32) des projecteurs lumière ou vidéo déterminés à des acteurs identifiés sur la scène, afin d'assurer un suivi automatique par les projecteurs lumière ou vidéo des déplacements respectifs de ces acteurs identifiés.
[Revendication 2] Système de suivi selon la revendication 1, dans lequel la lyre motorisée comporte outre un module de diodes infrarouges (42) pour illuminer le volume de la scène.
[Revendication 3] Système de suivi selon la revendication 1 ou la revendication 2, comportant en outre des identifiants infrarouge destinés à être portés par chacun des acteurs.
[Revendication 4] Système de suivi selon la revendication 3, dans lequel les identifiants infrarouge sont des émetteurs IR séquencés à des fréquences différentes comprises entre 2 et 20KHz.

[Revendication 5] Système de suivi selon l'une quelconque des revendications 1 à 4, comportant plusieurs lyres motorisées et dans lequel pour faciliter le suivi entre plusieurs zones, une première lyre motorisée est une lyre maitre et les autres lyres motorisées sont des lyres esclaves.
[Revendication 6] Système de suivi selon l'une quelconque des revendications 1 à 5, comportant en outre un projecteur de matrice pour réaliser une calibration des caméras couleur et neuro-morphique de façon à définir un volume de suivi.
[Revendication 7] Système selon l'une quelconque des revendications 1 à 6, dans lequel la lyre motorisée comporte en outre un module d'alimentation et de commande (316) ainsi qu'un module de communication de données filaire, radio ou lumière (318).
[Revendication 8] Procédé de suivi d'acteurs sur une scène de spectacle comportant :
- orienter vers la scène au moins une lyre motorisée (24, 26) supportant un ensemble d'acquisition d'images formé d'une caméra couleur (34) et d'une caméra neuro-morphique (36), et ayant un objectif commun (40), - obtenir une image évènementielle de chacun des acteurs présents sur la scène par la caméra neuro-morphique et obtenir une image visible de chacun des acteurs évoluant sur la scène par la caméra couleur, - identifier les acteurs et déterminer les coordonnées de chacun d'entre eux à partir de leur image évènementielle et de leur image visible, - afficher sur un écran de visualisation (28A) une image visible de chacun des acteurs évoluant sur la scène pour permettre l'affectation par un opérateur à un terminal de commande (30) ou un média-serveur (32) de projecteurs lumière ou vidéo déterminés (22A - 22F) à des acteurs identifiés sur la scène, afin d'assurer un suivi automatique par les projecteurs lumière ou vidéo des déplacements respectifs de ces acteurs identifiés.
[Revendication 9] Procédé de suivi selon la revendication 8, comportant en outre illuminer le volume de la scène au moyen d'un module de diodes infrarouges (42) intégré à
la lyre motorisée pour créer des contrastes de lumière sur chacun des acteurs et faciliter leur identification par la caméra neuro-morphique.
[Revendication 10] Procédé de suivi selon la revendication 8, comportant en outre l'horodatage des coordonnées et leur transmission à une machinerie de décor ou une console son.
[Revendication 11] Procédé de suivi selon la revendication 8, comportant en outre une première étape préalable de calibration des caméras couleur et neuro-morphique au moyen d'un projecteur de matrice définissant un volume de suivi.

[Revendication 12] Procédé de suivi selon l'une quelconque des revendications 8 à 11, dans lequel l'identification des acteurs est assurée par une reconnaissance faciale à partir des images issues de la caméra couleur.
[Revendication 13] Procédé de suivi selon l'une quelconque des revendications 8 à 11, dans lequel l'identification des acteurs est assurée par un identifiant infrarouge porté par chacun des acteurs et analysé par la caméra neuro-morphique.
[Revendication 14] Procédé de suivi selon la revendication 13, dans lequel chacun des identifiants infrarouges est un émetteur IR séquencé à une fréquence différente comprise entre 2 et 20kHz.
[Revendication 15] Procédé de suivi selon l'une quelconque des revendications 8 à 14, dans lequel l'affectation des projecteurs lumière ou vidéo aux différents acteurs est effectuée par l'opérateur au moyen d'un simple joystick ou d'un trackball du terminal de commande ou du média-serveur.
CA3231259A 2021-09-09 2022-08-30 Systeme de suivi d'acteurs sur au moins une scene de spectacle Pending CA3231259A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR2109435A FR3126799B1 (fr) 2021-09-09 2021-09-09 Système de suivi d’acteurs sur au moins une scène de spectacle
FRFR2109435 2021-09-09
PCT/FR2022/051627 WO2023037061A1 (fr) 2021-09-09 2022-08-30 Système de suivi d'acteurs sur au moins une scène de spectacle

Publications (1)

Publication Number Publication Date
CA3231259A1 true CA3231259A1 (fr) 2023-03-16

Family

ID=78049433

Family Applications (1)

Application Number Title Priority Date Filing Date
CA3231259A Pending CA3231259A1 (fr) 2021-09-09 2022-08-30 Systeme de suivi d'acteurs sur au moins une scene de spectacle

Country Status (3)

Country Link
CA (1) CA3231259A1 (fr)
FR (1) FR3126799B1 (fr)
WO (1) WO2023037061A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117156641B (zh) * 2023-09-18 2024-03-08 上海领路人科技股份有限公司 一种基于景观灯光控制系统的直流载波通讯装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6079862A (en) * 1996-02-22 2000-06-27 Matsushita Electric Works, Ltd. Automatic tracking lighting equipment, lighting controller and tracking apparatus
EP2753060A3 (fr) * 2013-01-07 2016-01-20 Cast Group Of Companies Inc. Système et procédé pour commander des fixations sur la base de données de suivi
FR3031568B1 (fr) 2015-01-12 2018-11-16 Xyzed Source de lumiere a diodes pour projecteur
FR3034497B1 (fr) 2015-04-03 2020-02-07 Xyzed Source de lumiere monochromatique a diodes
WO2016198556A1 (fr) * 2015-06-09 2016-12-15 Feeney Liam Système et procédé de suivi visuel
FR3045263B1 (fr) * 2015-12-11 2017-12-08 Thales Sa Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
WO2020120782A1 (fr) 2018-12-13 2020-06-18 Prophesee Procédé de suivi d'objets dans une scène
US20220245914A1 (en) * 2019-05-16 2022-08-04 Prophesee Method for capturing motion of an object and a motion capture system
US11303811B2 (en) 2019-11-05 2022-04-12 Fotonation Limited Event-sensor camera

Also Published As

Publication number Publication date
FR3126799A1 (fr) 2023-03-10
FR3126799B1 (fr) 2024-05-24
WO2023037061A1 (fr) 2023-03-16

Similar Documents

Publication Publication Date Title
EP0511101B1 (fr) Procédé de modélisation d'un système de prise de vues et procédé et système de réalisation de combinaisons d'images réelles et d'images de synthèse
EP3045936A1 (fr) Système de détection d'ambiance avec optique télécentrique
EP3278163B1 (fr) Système d'imagerie de profondeur
US9557630B1 (en) Projection system with refractive beam steering
EP3045935A1 (fr) Système de détection avec ensemble à filtre en dôme
US9398223B2 (en) Shared-field image projection and capture system
CA2761786A1 (fr) Procede et systeme d'inspection a distance d'une structure
CA3231259A1 (fr) Systeme de suivi d'acteurs sur au moins une scene de spectacle
EP2791914A1 (fr) Système de tournage de film vidéo
US20190098229A1 (en) Near-infrared video compositing
US20130271596A1 (en) Systems and Methods for Sample Inspection and Review
EP3519763B1 (fr) Dispositif de vision industrielle
TW201805594A (zh) 立體三角測量的系統和方法
CN104285442B (zh) 用于可携带的图像投影仪的具有双色激光二极管的激光模块
FR2832282A1 (fr) Systeme audiovisuel modulaire avec modules concatenables pour mettre en presence une scene locale et une scene distante
US10674096B2 (en) Near-infrared video compositing
FR2739192A1 (fr) Dispositif de veille panoramique optronique a grande vitesse
EP1152617B1 (fr) Procédé et dispositif interactifs de diffusion d'images émises par une caméra vidéo mobile
FR3064082A1 (fr) Procede et dispostif de projection optique
WO2023037062A1 (fr) Dispositif de detection et suivi d'objets dans une zone d'interet
FR3116404A1 (fr) Dispositif de positionnement et suivi d’objets se déplaçant sur une scène
WO2008081115A2 (fr) Procede et dispositif pour la realisation de prises de vues a l'aide d'une pluralite de capteurs optoelectroniques
EP3123235B1 (fr) Systeme de veille optronique a champ optique variable
FR3140824A3 (fr) Dispositif lumineux pour véhicule automobile
FR3138961A1 (fr) Procédé de traitement d’une image infrarouge par fusion de plusieurs traitements de l’image infrarouge