FR2947979A1 - Dispositif de composition video - Google Patents

Dispositif de composition video Download PDF

Info

Publication number
FR2947979A1
FR2947979A1 FR0954789A FR0954789A FR2947979A1 FR 2947979 A1 FR2947979 A1 FR 2947979A1 FR 0954789 A FR0954789 A FR 0954789A FR 0954789 A FR0954789 A FR 0954789A FR 2947979 A1 FR2947979 A1 FR 2947979A1
Authority
FR
France
Prior art keywords
video
videos
reformatting
command
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR0954789A
Other languages
English (en)
Inventor
Gerard Briand
Pascal Gautron
Jean-Eudes Marvie
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to FR0954789A priority Critical patent/FR2947979A1/fr
Priority to PCT/EP2010/059403 priority patent/WO2011003807A1/fr
Publication of FR2947979A1 publication Critical patent/FR2947979A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)

Abstract

L'invention concerne un dispositif de composition vidéo comprenant - des moyens de rendu (2) destinés à composer une vidéo à partir d'une pluralité de vidéos reçues, - des moyens d'interface (7) recevant des informations relatives à la composition des dites vidéos et transmettant une première commande aux moyens de rendu (2), Selon l'invention, le dispositif comprend - des moyens de reformatage (410) recevant en entrée ladite pluralité de vidéos et destinés à reformater ladite pluralité de vidéos, et à transmettre ladite pluralité de vidéos reformatées auxdits moyens de rendu (2) à travers au moins un bus de données (5, 6), lesdits moyens d'interface (7) transmettant une seconde commande aux moyens de reformatage (410), ladite seconde commande étant destinée à contrôler les moyens de reformatage (410) de ladite pluralité de vidéos de manière à diminuer la quantité de données transmises sur le au moins un bus de données (5, 6).

Description

L'invention concerne un dispositif de composition vidéo. Dans le domaine de la post-production, l'utilisation de plateformes informatiques banalisées de type ordinateur est répandue, au détriment de plateformes dédiées, faites de matériel spécialisé.
Les plateformes informatiques conduisent en effet à plus de flexibilité et bénéficient d'un marché de masse, donc de coûts intéressants. Dans le monde de la production temps-réel, l'utilisation de plateformes dédiées est encore privilégiée pour des raisons notamment de bande passante insuffisante dans les plateformes informatiques disponibles sur le marché. En effet, composer de la vidéo en temps réel est extrêmement coûteux en terme de ressources de calcul et de bande passante sur les bus, et les composants et architectures actuels sont sous-dimensionnés pour répondre à ces contraintes. Il est actuellement impossible de véhiculer plus de deux flux HD sur un bus PCI express et ceci limite donc les possibilités de composition. Un exemple de système selon l'art antérieur est représenté en figure 1. Ce système comprend une carte mère 9 reliée par un bus PCI express 5 à une carte d'acquisition vidéo 10 et par un bus PCI express 6 à une carte graphique 2. Cette dernière est connectée à des moyens d'affichage 3 par l'intermédiaire d'une connexion de type S-vidéo, HDMI ou DVI. Les moyens d'affichage peuvent être des moyens distants interfacés par des moyens de diffusion, par exemple télévisuels. Les cartes 2, 9 et 10 sont de préférence des cartes pouvant être insérées dans un ordinateur personnel (pour personal computer en anglais).
La carte graphique 3 comprend au moins un processeur graphique (GPU) 210 ainsi qu'une mémoire graphique 220 de type RAM (acronyme anglais de Random Access Memory ou équivalent. La carte mère 9 comprend au moins un processeur (CPU) 101, commercialisé par exemple par la société Intel de type Pentium et ses deux composants associés 103 (Northbridge) et 104 (southbridge). Ces deux composants sont par exemple respectivement commercialisés sous la référence 82975X MCH et 82801 GR ICH7R de la société Intel. La carte mère 9 comprend également une mémoire 901 de type RAM destinée à enregistrer au moins les données vidéo reçues de la carte d'acquisition 10 et à contenir les instructions de code aptes à aire fonctionner le processeur 101 ainsi que les variables et constantes nécessaires à l'exécution de ce programme ainsi qu'une mémoire 902 de type ROM (acronyme anglais de read only memory ) destinée à contenir les instructions de code nécessaires lors du démarrage du processeur 101. Une interface utilisateur 8 est également connectée à la fois à la carte mère 9 ainsi qu'à la carte graphique 2. Ceci est une vue schématique. L'interface utilisateur est en fait un programme dont le code est enregistré en mémoire 901. Cette interface utilisateur est de préférence affichée sur un écran (non représenté) qui est par exemple l'écran de l'ordinateur personnel comprenant les cartes 2, 9 et 10. Un utilisateur pilote alors cette interface et transmet des commandes et des données à la carte graphique 3. La carte d'acquisition vidéo 10 comprend un module d'acquisition 402 qui reçoit en entrée une pluralité de flux vidéo (vidéol,...,vidéo n), et sort en sortie une pluralité de flux vidéo transmis par l'intermédiaire du bus 5 à la carte mère 9. Cette carte remplit essentiellement un rôle de synchronisation des flux vidéo entrant avec le système informatique qui les prend en charge au travers des bus PCI express. Ce module est constitué de mémoire de type FIFO (acronyme anglais de First ln First Out ), dont l'entrée se fait au rythme de l'horloge vidéo d'entrée et dont la sortie se fait au rythme de l'horloge du bus PCI express. Lorsque les flux vidéo sont de type haute définition MD), il est impossible de transférer plus de deux flux entre la carte d'acquisition 10 et la carte mère 9 en temps réel. Il en est de même entre la carte mère 9 et la carte graphique 2. Ainsi, un tel système ne permet pas à la carte graphique 2 de composer une sortie vidéo comprenant une pluralité de vidéo haute définition, ou du moins plus de deux vidéo haute définition. En effet, une image haute définition requiert un débit de 3Gb/s. Dans une application de mélangeur telle que réalisée par exemple sur la carte graphique, il est souhaitable de pouvoir mélanger jusqu'à 6 vidéos, ce qui peut impliquer des débits de 18Gbit/s. Les bus internes des plateformes informatiques tels que les bus PCI express 5 et 6 ne permettent pas un tel débit. Une solution envisageable est de compresser les flux vidéos sur la carte d'acquisition. Cependant, ceci introduit des traitements lourds monopolisant des ressources de calcul, introduit des délais supplémentaires et dégrade la qualité des signaux vidéo.
L'invention propose de pallier à ce manque de ressources en proposant un dispositif de composition vidéo comprenant - des moyens de rendu destinés à composer une vidéo à partir d'une pluralité de vidéos reçues, - des moyens d'interface recevant des informations relatives à la composition des dites vidéos et transmettant une première commande aux moyens de rendu, Selon l'invention, le dispositif comprend - des moyens de reformatage recevant en entrée ladite pluralité de vidéos et destinés à reformater ladite pluralité de vidéos, et à transmettre ladite pluralité de vidéos reformatées auxdits moyens de rendu à travers au moins un bus de données, lesdits moyens d'interface transmettant une seconde commande aux moyens de reformatage, ladite seconde commande étant destinée à contrôler les moyens de reformatage de ladite pluralité de vidéos de manière à diminuer la quantité de données transmises sur le au moins un bus de données.
Ainsi, l'usage d'une plateforme informatique standard peut permettre de transporter de la vidéo à un débit compatible avec les exigences de la composition vidéo et avantageusement lorsqu'il s'agit de composition vidéo 25 temps réel. Contrairement aux idées jusqu'alors admises, l'invention permet avantageusement de décharger le processeur graphique. En effet, l'état de l'art profite avantageusement des capacités du processeur graphique pour lui assigner toutes les tâches de composition et ceci a pour conséquence de 30 devoir véhiculer des volumes importants de données sur les bus informatiques. Les inventeurs, contrairement aux idées reçus, ont de manière inventive pensé qu'un traitement de la vidéo en amont de la composition permettrait de réduire le débit requis sur les bus informatiques et permettrait donc de pouvoir véhiculer plus de flux vidéo. Ceci va à l'encontre des idées 20 préconçues où les capacités des processeurs graphiques sont exploitées pleinement, en faisant effectuer certaines tâches par d'autres modules.
Avantageusement, ladite seconde commande comprend une information relative à la taille de chaque vidéo dans la vidéo recomposée, - ledit au moins un bus de données ayant une bande passante connue des moyens de reformatage, les moyens de reformatage reformatent ladite pluralité de vidéos en fonction de ladite information et d'un débit de consigne dudit bus.
Préférentiellement, les moyens de reformatage comprennent des moyens de filtrage.
Préférentiellement, les moyens de reformatage comprennent des 15 moyens de rognage. Préférentiellement, les moyens de rognage sont contrôlés par les moyens d'interface.
Selon un mode de réalisation préféré, les moyens de rognage sont 20 contrôlés de manière automatique par des moyens de détection des zones de saillance de chaque vidéo de la pluralité de vidéos.
Avantageusement, la première commande comprend des informations relatives à la taille finale de chaque vidéo d'entrée dans la vidéo composée 25 par les moyens de rendu.
Avantageusement, la première commande comprend des instructions relatives à l'agrandissement ou à la réduction d'au moins une des vidéos d'entrée. L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles : 30 - La figure 1 représente un dispositif selon un mode de réalisation selon l'art antérieur, - la figure 2 représente un dispositif selon un mode de réalisation préféré de l'invention, - La figure 3 représente un moyen de reformatage selon un mode préféré de réalisation de l'invention, - La figure 4 représente un filtre utilisé dans les moyens de reformatage selon un mode préféré de réalisation de l'invention, - La figure 5 représente le procédé mis en oeuvre dans les moyens de reformatage, selon un mode de réalisation préféré, - La figure 6 représente une image vidéo obtenue, selon un mode de réalisation préféré de l'invention, 15 La figure 2 représente un dispositif 1 selon un mode de réalisation préféré de l'invention dans lequel l'invention est avantageusement mise en oeuvre dans une plateforme électronique de type ordinateur personnel et basé sur des composants électroniques commercialisés par la société Intel. 20 Cet exemple de réalisation n'est nullement limitatif et l'invention peut également être réalisée dans d'autres types de plateformes basées sur des composants différents. Les éléments communs d'une figure à l'autre portent les mêmes références. 25 Ce système comprend une carte mère 1 reliée par un bus PCI express 5 à une carte d'acquisition vidéo 4 et par un bus PCI express 6 à une carte graphique 2. Cette dernière est connectée à des moyens d'affichage 3 par l'intermédiaire d'une connexion de type S-vidéo, HDMI ou DVI. Les moyens 30 d'affichage peuvent être des moyens distants interfacés par des moyens de diffusion, par exemple télévisuels. Les cartes 1, 2 et 4 sont de préférence des cartes pouvant être insérées dans un ordinateur personnel (pour personal computer en anglais). 10 La carte graphique 2 comprend au moins un processeur graphique (GPU) 210 ainsi qu'une mémoire graphique 230 de type RAM. La carte mère 1 comprend au moins un processeur (CPU) 101, commercialisé par exemple par la société Intel de type Pentium et ses deux composants associés 103 (Northbridge) et 104 (southbridge). Ces deux composants sont par exemple respectivement commercialisés sous la référence 82975X MCH et 82801 GR ICH7R de la société Intel. La carte mère 1 comprend également une mémoire 102 de type RAM destinée à enregistrer au moins les données vidéo reçues de la carte d'acquisition 4 et à contenir les instructions de code aptes à faire fonctionner le processeur 101 ainsi que les variables et constantes nécessaires à l'exécution de ce programme ainsi qu'une mémoire 105 de type ROM (acronyme anglais de read only memory ) destinée à contenir les instructions de démarrage du CPU 101.
Une interface utilisateur 7 est connectée à la fois à la carte mère 1 ainsi qu'à la carte graphique 2 et à la carte d'acquisition vidéo 4. Ceci est une vue schématique. L'interface utilisateur est en fait un programme dont le code est enregistré en mémoire 105. Cette interface utilisateur est de préférence affichée sur un écran (non représenté) qui est par exemple l'écran de l'ordinateur personnel comprenant les cartes 1, 2 et 4. Un utilisateur pilote alors cette interface et transmet des commandes et des données à la carte graphique 3 et surtout à la carte d'acquisition vidéo 4. L'interface graphique transmet notamment une première commande à la carte graphique 2 et une seconde commande à la carte graphique 4.
La première commande est relative au rendu final de la pluralité de vidéos d'entrée et donne au moins une information relative à la taille finale de chaque vidéo d'entrée dans le rendu final. Notamment, cette commande peut contenir des instructions relatives au redimensionnement, aussi bien à l'agrandissement qu'à la diminution, d'au moins une des vidéos d'entrée. Ceci peut par exemple être le cas lorsqu'une vidéo d'entrée est en format simple définition (par exemple 720 pixels par 576 lignes ou 720 pixels par 480 lignes) et que l'on souhaite afficher dans le rendu final cette vidéo en haute définition (1080 pixels par 1920 pixels). Dans ce cas, le processeur graphique fait une extrapolation et ceci évite de transférer sur les bus internes 5 et 6 des vidéos exigeant une trop grande bande passante.
La seconde commande est relative à un rendu intermédiaire, permettant de diminuer la quantité de données sur les bus internes 5 et 6. Elle permet de modifier et plus particulièrement de diminuer la taille des vidéos entrantes, notamment lorsqu'elles sont au format haute définition, de manière à obtenir une taille intermédiaire entre la taille en entrée de la carte d'acquisition 4 et la taille en sortie de la carte graphique 2.
La carte d'acquisition vidéo 4 comprend un module d'acquisition 420 et un module de reformatage 410. Elle reçoit également en entrée une pluralité de flux vidéo (vidéol,...,vidéo n), et sort en sortie une pluralité de flux vidéo reformatés transmis par l'intermédiaire du bus 5 à la carte mère 1.
L'invention est particulièrement mise en oeuvre dans les moyens de reformatage 410 de la carte d'acquisition 4. Les moyens de reformatage reçoivent en entrée une pluralité de flux vidéos, dont 5 sont représentés à titre non limitatif sur la figure 2. La carte d'acquisition 4 reçoit également de l'interface utilisateur une seconde commande, comme indiqué précédemment, permettant le contrôle des moyens de reformatage 410. Cette interface utilisateur permet de paramétrer la taille des vidéos et le centrage ou rognage de ces vidéos de manière à ce qu'elles nécessitent moins de bande passante sur le bus PCI express 5 par l'intermédiaire de cette seconde commande.
Les moyens de reformatage sont décrits en référence aux figures 3 et 4 de manière non limitative. Selon la figure 3, les moyens de reformatage 410 comprennent un ensemble de filtres 4101 à 410n, un filtre étant nécessaire pour chaque entrée vidéo. La sortie de chaque filtre est connectée à une entrée d'un multiplexeur 411. Chaque filtre reçoit en entrée les commandes issues de l'interface utilisateur 7. Les vidéos d'entrée peuvent être visualisées par l'opérateur sur des écrans de contrôle généralement disponibles dans l'infrastructure de studio, mais l'interface utilisateur peut aussi intégrer un monitoring logiciel de chaque vidéo d'entrée. La composition en cours de préparation par l'opérateur est généralement visualisée au travers d'une voie composition spécialisée, appelée prévisualisation , pour laquelle un écran est dédié et permet à l'opérateur d'ajuster sa composition avant de l'envoyer sur antenne . Cette prévisualisation peut aussi être intégrée à l'interface utilisateur et utiliser l'écran de l'ordinateur.
Les filtres 4101 à 410n sont des filtres bidirectionnels décrits en référence à la figure 4.
Chaque filtre comprend une mémoire tampon 4111 en entrée destinée à recevoir les vidéos en entrée. Cette mémoire tampon a pour capacité au moins une ligne de l'image vidéo pleine résolution, haute définition.
Chaque filtre bidimensionnel est décomposé en deux filtres indépendants mis en cascade. Le premier est purement vertical et permet le redimensionnement de l'image dans sa hauteur, il est constitué des lignes à retard 4130, 4140, 4150, 4160 (représentées), des multiplieurs 4131, 4141, 4151, 4161, des additionneurs 4122, 4132, 4142, 4152 et de la mémoire 4113 pour le sous-échantillonnage. Le second est purement horizontal et permet le redimensionnement de l'image dans sa largeur, il est constitué des registre à retard 4170, 4180, 4190 (représentées), des multiplieurs 4116, 4171, 4117, 4181, 4191 et des additionneurs 4172, 4118, 4182, 4192. Le sous-échantillonnage en pixel est intégré au module de rognage comportant lui-même un tampon de stockage. Chaque ligne sortant du tampon 4111 est transmise à une première ligne à retard 4120, puis à une succession de lignes à retard 4130, 4140, 4150, 4160 (représentées) et à une pluralité de lignes à retard non représentées. La sortie de chaque ligne à retard 4120, 4130, 4140, 4150, 4160 est respectivement connectée à un multiplieur dont le coefficient de multiplication provient d'un module de contrôle 4114. Le module de contrôle reçoit les commandes de l'interface utilisateur 7 représentée en figure 2. Lorsque l'interface utilisateur transmet une commande demandant une diminution de résolution de l'image vidéo d'entrée, le module de contrôle 4114 transmet une commande aux différents multiplieurs 4121, 4131, 4141, 4151, 4161. Prenons l'exemple d'une diminution de la taille de l'image par 4. Lorsque par exemple, l'utilisateur demande de diminuer la taille de l'image par 4, il l'indique par le biais de l'interface utilisateur au module de contrôle 4114. Ce module de contrôle va alors transmettre aux multiplieurs 4121, 4131, 4141, 4151, 4161 effectuant un filtrage ligne, l'ordre de sélectionner une ligne sur deux par ligne de l'image. Puis le module de contrôle va également contrôler le filtrage colonne et transmettre aux multiplieurs 4116, 4171, 4117, 4181, 4191, l'ordre de sélectionner un pixel sur deux dans chaque ligne sélectionnée. Des additionneurs 4122, 4132, 4142, 4152, 4162 en sortie des multiplieurs 4121, 4131, 4141, 4151, 4161 permettent de reconstituer la trame ainsi que des additionneurs 4172, 4118, 4182, 4192 en sortie des multiplieurs 4116, 4171, 4117, 4181, 4191. Par ailleurs, une mémoire tampon 4113 permet de temporiser les données en sortie des additionneurs 4122, 4132, 4142, 4152, 4162 avant le filtrage colonne. La qualité du filtrage souhaitée va déterminer la largeur des filtres à mettre en place. Une largeur de filtre impliquant dix coefficients en horizontal et vertical permet d'obtenir une bonne qualité de filtrage convenant aux applications professionnelles. Cela impliquera neuf lignes à retard, neuf registres, vingt multiplieurs et 18 additionneurs.
La module de contrôle 4114 contrôle également des moyens de rognage 4115. Les moyens de rognage permettent de ne garder qu'une partie de l'image. Le rognage est compatible avec le filtrage. Il est possible que l'utilisateur transmette à la fois une commande de filtrage (par exemple une diminution par 4 de la taille de l'image) et une commande de rognage, par sélection, de type graphique par exemple, d'une partie de l'image. Il est également possible que l'utilisateur ne spécifie qu'une commande de rognage. Dans ce dernier cas, les multiplexeurs laissent passer tous les pixels de l'image. La commande de rognage peut se faire de façon manuelle par le biais de l'interface graphique. Il est d'ailleurs à noter que dans le monde de la production, différents effets artistiques sont utilisés et les producteurs privilégient la sélection manuelle des zones de l'image à conserver. L'utilisateur sélectionne alors de manière manuelle une zone de l'image qu'il souhaite voir afficher. Ceci se fait de manière très simple, par exemple en utilisant une souris commandant l'interface graphique et en étirant une zone de l'image. Cette manipulation peut être effectuée itérativement sur les différentes vidéos d'entrée. Cependant, dans d'autres modes de réalisation avantageux, il peut être envisagé une sélection automatique des zones à conserver. Pour cela, les moyens de contrôle 4114 peuvent recevoir une commande de rognage de la part de l'utilisateur mais cette commande ne spécifie pas la zone de l'image à conserver. Cette commande peut en outre spécifier la taille souhaitée, en terme de longueur par largeur. Les moyens de rognage sont alors chargés de sélectionner une partie de l'image correspondant à cette taille. De manière avantageuse, cette zone est centrée sur des zones d'intérêt ou de saillance. Différents algorithmes de détection de ces zones de saillance sont connus de l'homme du métier et par exemple décrits dans les demandes de brevet Européenne EP 1695288 déposée au nom de la société Thomson Licensing et publiée le 30 juin 2005. Les moyens de filtrage et de contrôle 4114 comportent alors des moyens de détection des zones de saillance (non représentés).
En fonction de la bande passante admissible sur le bus 5 ou débit de consigne, l'utilisateur est contraint de respecter certaines règles de reformatage et le système ne l'autorise pas à transmettre des commandes de reformatage donnant un débit trop important sur le bus 5. Ces contraintes sont bien entendu également conditionnées par le nombre de vidéos en entrée.
Ainsi, lorsque l'utilisateur sélectionne trois vidéos, le système lui autorise plus de débit pour chacune de ces vidéos que lorsqu'il sélectionne 5 ou 6 vidéos. L'interface utilisateur est donc paramétrée, et limitée par les performances souhaitées en terme de débit.
Si l'utilisateur transmet une commande de filtrage et rognage aux vidéos qu'il a sectionnées et que ces commandes conduisent à un débit inférieur au débit de consigne du bus, il en est informé et peut diminuer la sévérité du filtrage et/ou du rognage.
Inversement, si le débit est supérieur au débit de consigne, il ne peut transmettre ces commandes. On constate donc que le reformatage dépend à la fois des commandes transmises pour chaque vidéo d'entrée mais également du débit de consigne du bus.
La sortie vidéo de chaque moyen de filtrage 4101, 4102,.., 410n, est reliée à un multiplexeur 411, qui transmet les différents flux vidéo reformatés à la carte mère 1 par l'intermédiaire du bus PCI express 5. Ce multiplexage exploite le protocole d'échange de la norme PCI Express, chaque sortie de filtre 4101, 4102,.., 410n occupe alternativement le bus PCI express 5 pour ainsi constituer un multiplexage temporel. Les vidéos ainsi réduites sont transmises de la carte d'acquisition 4 vers la carte mère 1 et enregistrées dans la mémoire 102 de la carte mère 1. Les données sont ensuite transférées de la mémoire 102 vers la carte graphique 2 au travers du bus PCI express 6 et transférées dans la mémoire graphique 230 de type RAM. Le processeur graphique (GPU) 210 effectue le rendu de la vidéo pour l'affichage. Pour effectuer la composition de la scène, le processeur graphique 210 utilise un graphe de scène décrivant une scène composée de surfaces représentant l'arrangement des flux vidéo. Pour chacune des surfaces correspondant à un flux vidéo, un noeud spécifique du graphe est ajouté contenant les informations permettant de retrouver le flux dans la mémoire graphique, ainsi que de traiter le flux vidéo. Les flux vidéo sont plaqués sur les surfaces de la scène composée par le processeur graphique.
La figure 5 représente un procédé selon un mode préféré de réalisation de l'invention.
Lors d'une étape El, on fait une acquisition vidéo. Cette acquisition vidéo est par exemple faite par le biais de caméra. La vidéo peut également être reçue par un réseau. Lors d'une étape E2, un utilisateur transmet des commandes de reformatage. Ces commandes de reformatage peuvent introduire du filtrage, du rognage, chacun séparément, l'un ou l'autre ou une combinaison des deux. Lors d'une étape E3, chaque flux est reformaté en fonction de la commande reçue.
Chaque flux peut recevoir une commande différente. En effet, il est possible qu'une vidéo soit plus importante pour le compositeur de l'image, et qu'il souhaite lui donner plus d'importance ne la filtrant moins ou en lui donnant une place plus importante dans la composition finale. Lors d'une étape E4, les flux reformatés sont multiplexés pour être transmis à la carte mère 1 lors d'une étape E5 par l'intermédiaire du bus PCI express 5. Ensuite, lors d'une étape E6, les flux multiplexés sont enregistrés dans la mémoire 102 de la carte mère 1. Ces flux sont ensuite transmis à la carte graphique 2 lors d'une étape E7 et enregistrés dans la mémoire graphique 230. Lors d'une étape E8, le processeur graphique 210 effectue la composition graphique et le rendu final en fonction des commandes d'un utilisateur (réalisateur) transmises par l'intermédiaire de l'interface graphique 7. Pour effectuer la composition de la scène, le processeur graphique 210 utilise un graphe de scène décrivant une scène composée de surfaces représentant l'arrangement des flux vidéo. Pour chacune des surfaces correspondant à un flux vidéo, un noeud spécifique du graphe est ajouté contenant les informations permettant de retrouver le flux dans la mémoire graphique, ainsi que de traiter le flux vidéo. Les flux vidéo sont plaqués sur les surfaces de la scène composée par le processeur graphique.
Lors d'une étape E9, le rendu final est transmis aux moyens d'affichage 3, qui peuvent d'ailleurs être distants.
La figure 6 représente une vue schématisée du rendu final comprenant trois vidéos reformatées V"2, V"3. Le compositeur final effectue le rendu comme expliqué précédemment en choisissant l'emplacement des différentes vidéos dans le rendu final. Il peut par exemple, comme indiqué sur cette figure, incruster ces trois vidéos dans une image comprenant un présentateur de journal télévisuel. L'invention ne se limite pas aux modes de réalisation décrits précédemment.
En particulier, elle concerne également un dispositif dont la carte graphique est intégrée à la carte mère. Pour des raisons de compatibilité avec les plateformes existantes, l'invention est décrite dans le cadre d'une architecture classique de type ordinateur personnel comprenant une carte mère.
Par ailleurs, la carte graphique 2 constitue ce qui est communément appelé des moyens de rendu. Cette carte graphique permet effectivement, en outre, le rendu des données destinées à des moyens de visualisation.20

Claims (8)

  1. Revendications1. Dispositif de composition vidéo comprenant - des moyens de rendu (2) destinés à composer une vidéo à partir d'une pluralité de vidéos reçues, - des moyens d'interface (7) recevant des informations relatives à la composition des dites vidéos et transmettant une première commande aux moyens de rendu (2), caractérisé en ce qu'il comprend - des moyens de reformatage (410) recevant en entrée ladite pluralité de vidéos et destinés à reformater ladite pluralité de vidéos, et à transmettre ladite pluralité de vidéos reformatées auxdits moyens de rendu (2) à travers au moins un bus de données (5, 6), lesdits moyens d'interface (7) transmettant une seconde commande aux moyens de reformatage (410), ladite seconde commande étant destinée à contrôler les moyens de reformatage (410) de ladite pluralité de vidéos de manière à diminuer la quantité de données transmises sur le au moins un bus de données (5, 6).
  2. 2. Dispositif selon la revendication 1 caractérisé en ce que - ladite seconde commande comprend une information relative à la taille de chaque vidéo dans la vidéo recomposée, - ledit au moins un bus de données (5, 6) ayant une bande passante connue des moyens de reformatage (410), les moyens de reformatage (410) reformatent ladite pluralité de vidéos en fonction de ladite information et d'un débit de consigne dudit bus.
  3. 3. Dispositif selon l'une des revendications précédentes caractérisé en ce que lesdits moyens de reformatage (410) comprennent des moyens de filtrage (4101, 4102, 410n).
  4. 4. Dispositif selon l'une des revendications précédentes caractérisé en ce que les moyens de reformatage (410) comprennent des moyens de rognage (4115).
  5. 5. Dispositif selon la revendication 4 caractérisé en ce que lesdits moyens de rognage (4115) sont contrôlés par lesdits moyens d'interface (7).
  6. 6. Dispositif selon la revendication 4 caractérisé en ce que lesdits moyens 10 de rognage (4115) sont contrôlés de manière automatique par des moyens de détection des zones de saillance de chaque vidéo de ladite pluralité de vidéos.
  7. 7. Dispositif selon la revendication 2 caractérisé en ce que ladite première 15 commande comprend des informations relatives à la taille finale de chaque vidéo d'entrée dans la vidéo composée par les moyens de rendu.
  8. 8. Dispositif selon la revendication 7 caractérisé en ce que ladite première 20 commande comprend des instructions relatives à l'agrandissement ou à la réduction d'au moins une desdites vidéos d'entrée. 25
FR0954789A 2009-07-09 2009-07-09 Dispositif de composition video Withdrawn FR2947979A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR0954789A FR2947979A1 (fr) 2009-07-09 2009-07-09 Dispositif de composition video
PCT/EP2010/059403 WO2011003807A1 (fr) 2009-07-09 2010-07-01 Dispositif de composition de vidéo

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0954789A FR2947979A1 (fr) 2009-07-09 2009-07-09 Dispositif de composition video

Publications (1)

Publication Number Publication Date
FR2947979A1 true FR2947979A1 (fr) 2011-01-14

Family

ID=41470339

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0954789A Withdrawn FR2947979A1 (fr) 2009-07-09 2009-07-09 Dispositif de composition video

Country Status (2)

Country Link
FR (1) FR2947979A1 (fr)
WO (1) WO2011003807A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508940A (en) * 1994-02-14 1996-04-16 Sony Corporation Of Japan And Sony Electronics, Inc. Random access audio/video processor with multiple outputs
WO1999052277A1 (fr) * 1998-04-03 1999-10-14 Avid Technology, Inc. Systeme d'edition video multi-courant utilisant des donnees video non comprimees pour l'execution de rendu en temps reel et pour l'acceleration de rendu non temps reel
FR2842320A1 (fr) * 2002-07-12 2004-01-16 Thomson Licensing Sa Dispositif de traitement de donnees multimedia
US20060215765A1 (en) * 2005-03-25 2006-09-28 Cherng-Daw Hwang Split screen video in a multimedia communication system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1544792A1 (fr) 2003-12-18 2005-06-22 Thomson Licensing S.A. Dispositif et procédé pour la création d'une cartographie des caractéristiques saillantes d'une image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508940A (en) * 1994-02-14 1996-04-16 Sony Corporation Of Japan And Sony Electronics, Inc. Random access audio/video processor with multiple outputs
WO1999052277A1 (fr) * 1998-04-03 1999-10-14 Avid Technology, Inc. Systeme d'edition video multi-courant utilisant des donnees video non comprimees pour l'execution de rendu en temps reel et pour l'acceleration de rendu non temps reel
FR2842320A1 (fr) * 2002-07-12 2004-01-16 Thomson Licensing Sa Dispositif de traitement de donnees multimedia
US20060215765A1 (en) * 2005-03-25 2006-09-28 Cherng-Daw Hwang Split screen video in a multimedia communication system

Also Published As

Publication number Publication date
WO2011003807A1 (fr) 2011-01-13

Similar Documents

Publication Publication Date Title
US9578224B2 (en) System and method for enhanced monoimaging
US8553109B2 (en) Concurrent image processing for generating an output image
US20140219634A1 (en) Video preview creation based on environment
US20200186887A1 (en) Real-time broadcast editing system and method
EP3005296B1 (fr) Fusion de plusieurs flux vidéo
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
FR2842320A1 (fr) Dispositif de traitement de donnees multimedia
CN104869381B (zh) 一种图像处理系统、方法及装置
US9307147B1 (en) Architecture for video, fast still and high quality still picture processing
EP2984815A1 (fr) Fusion de plusieurs flux video
US20170078351A1 (en) Capture and sharing of video
US20210314665A1 (en) Media capture and distribution
FR2795279A1 (fr) Procede et dispositif de commutation de programmes de television numerique
US20080155113A1 (en) Device, system and method for remotely processing multimedia stream
FR2947979A1 (fr) Dispositif de composition video
KR102029604B1 (ko) 실시간 방송 편집 시스템 및 편집 방법
FR2664779A1 (fr) Procede de traitement d'un signal video.
EP3637765A1 (fr) Optimisation d'un sous-échantillonnage intervenant avant le codage d'images en compression
TWI538519B (zh) 視訊影像之擷取裝置
EP2487898A1 (fr) Procédé d'affichage d'une mosaïque vidéo personnalisée et réceptacle audiovisuel correspondant
FR2828054A1 (fr) Procede et dispositif de codage d'une scene
EP1515566B1 (fr) Dispositif et procédé de traitement de données vidéo et graphiques
TWI812003B (zh) 影像預覽方法及預覽系統
CN115225928B (zh) 一种多类型音视频混播系统及方法
EP1738349B1 (fr) Procede et systeme de construction volatile d'une image a afficher sur un systeme d'affichage a partir d'une pluralite d'objets

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20110331