FR3094599A1 - Procédé, terminal et système de captation d'un signal audio et d'un signal vidéo d'un participant à une réunion, et système de traitement de flux de données issus de la réunion. - Google Patents
Procédé, terminal et système de captation d'un signal audio et d'un signal vidéo d'un participant à une réunion, et système de traitement de flux de données issus de la réunion. Download PDFInfo
- Publication number
- FR3094599A1 FR3094599A1 FR1903431A FR1903431A FR3094599A1 FR 3094599 A1 FR3094599 A1 FR 3094599A1 FR 1903431 A FR1903431 A FR 1903431A FR 1903431 A FR1903431 A FR 1903431A FR 3094599 A1 FR3094599 A1 FR 3094599A1
- Authority
- FR
- France
- Prior art keywords
- terminal
- participant
- meeting
- participants
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005236 sound signal Effects 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 title claims description 36
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005111 flow chemistry technique Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 11
- 238000003672 processing method Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
L'invention concerne un procédé de captation d'un signal audio et d'un signal vidéo d'un premier participant à une réunion comprenant une pluralité de participants comprenant au moins ledit premier participant et un autre participant, mis en œuvre par un terminal dudit premier participant, le procédé comprend l'acquisition, via une caméra avant dudit terminal, d'un signal vidéo dudit premier participant, la détermination à partir du signal vidéo acquis, si ledit premier participant est un orateur, et dans le cas d'une détermination positive, la transmission à un serveur d'un flux de données obtenus à partir d'un signal audio capté par un micro dudit terminal. Figure pour l'abrégé: Figure 2
Description
1. Domaine de l'invention
L'invention concerne les systèmes d'enregistrement de données audio et vidéo émises au cours d'une réunion entre plusieurs participants, notamment pour réaliser un résumé du contenu de la réunion.
2. Art Antérieur
Il existe des systèmes permettant d'enregistrer le contenu d'une réunion à laquelle plusieurs personnes participent, par exemple pour réaliser un résumé ou compte-rendu de la réunion qui est diffusé ultérieurement aux participants de la réunion.
Par exemple, le document US10171908B1 décrit un système dans lequel les flux audio des participants à une réunion sont enregistrés via le téléphone mobile de chaque participant et transmis à un serveur. Le serveur traite ensuite les flux audio reçus de manière asynchrone par rapport au moment où les flux audio ont été générés, pour déterminer quel flux audio correspond à quel participant à la réunion. Dans ce document, l'identification du participant en train de parler dans un flux audio reçu est réalisé à partir d'une analyse du niveau d'intensité du signal audio (plus le niveau d'intensité du signal est faible, plus la probabilité que le terminal ayant émis le signal audio soit le terminal du participant en train de parler est faible, et inversement) et/ou à partir d'un profil vocal des participants de la réunion.
Le serveur sauvegarde ensuite chaque flux audio reçu d'un participant en train de parler en association avec l'identité du participant, convertit en texte le contenu des flux audio enregistrés et génère un compte-rendu de la réunion à l'aide des textes obtenus.
Il apparaît que la méthode décrite dans US10171908B1 reste relativement complexe à mettre en œuvre, notamment elle nécessite des ressources de bande passante car tous les téléphones mobiles qui détectent un signal audio envoient un flux audio vers le serveur. De plus, elle nécessite un traitement des flux audio reçus pour identifier le participant effectivement en train de parler à un moment donné. En effet, selon cette technique de l'art antérieur, un téléphone mobile peut envoyer un flux audio au serveur même si le participant auquel le téléphone mobile appartient n'est pas en train de parler. De plus, l'identification d'un participant sur la base d'un niveau d'intensité du signal audio reste difficile lorsque les deux participants sont assis très proche l'un à côté de l'autre, et/ou que l'un d'entre eux parle beaucoup plus fort. De plus, l'autre moyen d'identification d'un participant nécessite la création au préalable d'une base de profils vocaux. Rien n'empêche selon cette alternative que deux participants aient une même signature vocale.
Il existe donc un besoin d'améliorer l'état de la technique.
3. Exposé de l'invention
L'invention vient améliorer l'état de la technique. Elle concerne, à cet effet, un procédé de captation d'un signal audio et d'un signal vidéo d'un premier participant à une réunion comprenant une pluralité de participants comprenant au moins ledit premier participant et un autre participant, mis en œuvre par un terminal dudit premier participant, le procédé comprend:
- l'acquisition, via une caméra avant dudit terminal, d'un signal vidéo dudit premier participant,
- la détermination à partir du signal vidéo acquis, si ledit premier participant est un orateur,
- dans le cas d'une détermination positive, la transmission à un serveur d'un flux de données obtenus à partir d'un signal audio capté par un micro dudit terminal.
Le procédé selon l'invention permet ainsi d'identifier l'orateur de manière plus fiable que l'art antérieur. En effet, la détermination si l'utilisateur est un orateur est réalisée par le terminal à l'aide au moins de la vidéo captée par le terminal filmant le premier participant.
Lorsqu'il est déterminé que le premier participant est l'orateur, un flux de données est transmis au serveur, par exemple pour générer un résumé de la réunion ou obtenir des informations additionnelles relatives aux informations données par l'orateur.
Le flux de données peut correspondre au signal audio capté par le micro. Dans ce cas, le serveur traite les données audio du signal audio, par exemple pour convertir en texte les paroles de l'orateur.
Le flux de données peut aussi correspondre à un flux textuel issu d'une conversion parole vers texte mise en œuvre par le terminal à partir du signal audio capté par le micro.
Avantageusement, le flux de données du participant n'est envoyé au serveur que lorsque le participant est détecté comme orateur. Les ressources réseau pour la transmission sont ainsi optimisées, aucun flux inutile n'est transmis au serveur. De plus, les traitements de flux audio pour identifier l'orateur au niveau du serveur sont évités. Le fonctionnement du serveur est ainsi amélioré et celui-ci dispose de plus de ressources de calculs par exemple pour générer un résumé de la réunion en temps réel, ou bien identifier des éléments clés du discours de l'orateur, par exemple identifier des entités nommés par l'orateur, par exemple un nom, un lieu, etc.. Dans ce dernier cas, par exemple, des informations complémentaires relatives aux entités nommées peuvent être recherchées par le serveur de traitement et transmises aux terminaux de la réunion connectés au serveur de sorte que ceux-ci affichent aux participants les informations obtenues. En alternative, ces informations peuvent-être transmises à un écran placé dans la salle de réunion et connecté au serveur de traitement.
Selon un mode particulier de réalisation de l'invention, la détermination si ledit premier participant est un orateur est réalisée par la détection dans des images de la vidéo que la bouche dudit premier participant est en mouvement.
Selon un autre mode particulier de réalisation de l'invention, dans le cas d'une détermination que ledit premier participant est un orateur, la vidéo acquise est également transmise au serveur.
L'invention concerne également un terminal adapté pour mettre en œuvre le procédé de captation selon l'un quelconque des modes particuliers de réalisation de l'invention décrits ci-dessus. Un tel terminal est notamment configuré pour:
- acquérir, via une caméra avant dudit terminal, un signal vidéo d'un participant placé devant la caméra avant du terminal,
- déterminer à partir du signal vidéo acquis, si ledit participant est un orateur,
- dans le cas d'une détermination positive, transmettre à un serveur, un flux de données obtenus à partir d'un signal audio capté par un micro dudit terminal.
L'invention concerne également un système de captation de données audio et des données vidéo d'une réunion comprenant une pluralité de participants comprenant au moins un premier participant et un autre participant. Un tel système de captation comprend:
- au moins deux terminaux configurés pour mettre en œuvre le procédé de captation selon l'un quelconque des modes particuliers de réalisation cités ci-dessus, et
- une table de réunion portant au moins deux indicateurs de placement, chaque indicateur de placement indiquant un emplacement où placer un des au moins deux terminaux sur la table, chaque indicateur de placement étant positionné sur la table à une première distance prédéterminée par rapport à un bord de la table, ledit bord faisant directement face à un participant auquel appartient ledit terminal destiné à être placé sur ledit indicateur de placement, et,
- lesdits au moins deux indicateurs de placement étant séparés l'un de l'autre par une deuxième distance prédéterminée.
Un tel système de captation est avantageux en ce qu'il permet une mise en œuvre du procédé de captation décrit selon l'un quelconque des modes particuliers de réalisation décrits dans des conditions optimales. En effet, grâce aux indicateurs de placement de la table de réunion, les participants sont guidés pour placer leur terminal sur la table à un emplacement permettant une bonne acquisition de la vidéo et du son du participant.
Notamment, les interférences entre terminaux captant le son sont limitées car le terminal est dirigé vers le participant auquel il appartient et à une distance optimale de lui pour bien capter le son.
Selon un mode particulier de réalisation de l'invention, la première distance prédéterminée est sensiblement égale à 30cm.
Selon un autre mode particulier de réalisation de l'invention, la deuxième distance prédéterminée est sensiblement égale à 70cm.
Selon les modes particuliers de réalisation de l'invention décrits ici, de telles valeurs de distance permettent d'assurer une bonne qualité de l'acquisition de la vidéo et du son du participant auquel le terminal appartient. Notamment, la première distance permet d'assurer que la vidéo acquise par le terminal permettra une bonne détection du visage du participant. De plus, la première distance permet à l'utilisateur de tout de même pouvoir interagir avec son terminal tout en ayant un bon positionnement de son bras.
La deuxième distance permet d'assurer une bonne captation du son du participant sans trop d'interférences avec d'autres participants voisins. Idéalement, le participant se place entre deux indicateurs de placement, de sorte qu'il puisse choisir de placer son terminal au niveau d'un indicateur placé à sa gauche ou à sa droite, selon sa préférence. De plus, le terminal n'étant pas placé directement face à lui, le participant n'est pas gêné par son terminal.
Les valeurs de distance décrites ici sont simplement illustratives. Des variations autour de ces distances sont possibles. De plus, elles sont données pour des participants placés assis autour de la table de réunion, les sièges et la table ayant une hauteur standard (environ 75cm pour la table et environ 45cm pour l'assise).
Dans le cas de hauteur non standard, d'autres valeurs sont possibles, par exemple dans le cas de table de réunion haute.
La distance d1 doit permettre la détection de la prise de parole du participant filmé par la caméra. Par exemple, elle doit permettre de capter au moins le bas de son visage pour détecter les mouvements de sa bouche.
Selon un mode particulier de réalisation de l'invention, les au moins deux indicateurs de placement sont des supports de terminaux configurés pour recevoir chacun un terminal, et la table comprend au moins deux logements dans lesquels lesdits supports de terminaux sont respectivement montés.
Selon ce mode particulier de réalisation de l'invention, chaque participant peut placer son terminal sur un support dédié à proximité de lui. Idéalement, le participant s'installe de manière légèrement décalée latéralement par rapport au support et pas directement en face, de sorte à bénéficier de l'espace devant lui pour placer ses mains, ou prendre des notes.
Selon un autre mode particulier de réalisation de l'invention, lorsqu'un terminal est placé sur un support de terminal et met en œuvre le procédé de captation selon l'un quelconque des modes particuliers de réalisation décrit ci-dessus, l'axe longitudinal d'une partie support dudit support de terminal fait un angle non nul par rapport à un plan horizontal de la table. .
Ce mode particulier de réalisation de l'invention permet d'améliorer l'identification de l'orateur au cours de la réunion. En particulier, le système de l'art antérieur décrit dans US10171908 est amélioré car l'arrangement proposé selon ce mode particulier de réalisation de l'invention permet de pouvoir utiliser la caméra avant du terminal placé sur le support de terminal.
Par exemple, l'angle est sensiblement égal à 45°.
Selon ce mode particulier de réalisation de l'invention décrit ici, une telle valeur d'angle permet d'assurer une bonne qualité de l'acquisition de la vidéo et du son du participant auquel le terminal appartient.
Selon un autre mode particulier de réalisation de l'invention, les supports de terminaux sont montés mobiles en rotation par rapport au plan horizontal de la table.
Selon ce mode particulier de réalisation de l'invention, les supports peuvent ainsi être placés à l'horizontal, dans une position de rangement, lorsqu'ils ne sont pas utilisés. La table présente alors une surface plane au niveau des supports. Les supports étant ainsi rangés, des objets peuvent être posés par-dessus, par exemple un ordinateur, des feuilles, ....
L'invention concerne également un système de traitement de flux de données issus d'une réunion comprenant une pluralité de participants comprenant au moins deux participants, le système comprenant:
- un système de captation selon l'un quelconque des modes particuliers de réalisation décrits ci-dessus,
- un serveur de traitement de flux audio configuré pour traiter au moins un flux de données reçu en provenance d'un terminal d'un participant de la pluralité de participants.
Selon un mode particulier de réalisation de l'invention, le serveur de traitement est en outre configuré pour générer un résumé de la réunion à partir dudit au moins un flux de données reçu en provenance d'un terminal d'un participant de la pluralité de participants.
Selon un autre mode particulier de réalisation de l'invention, le serveur de traitement est en outre configuré pour :
- identifier au moins une entité nommée par l'orateur à partir dudit au moins un flux de données reçu en provenance d'un terminal d'un participant de la pluralité de participants,
- transmettre au moins une information relative à ladite entité identifiée aux terminaux dudit système de captation.
L'invention concerne aussi un procédé de traitement de flux de données issus d'une réunion comprenant une pluralité de participants comprenant au moins deux participants, mis en œuvre par un serveur. Un tel procédé de traitement comprend selon des modes particuliers de réalisation de l'invention le traitement d'au moins un flux de données reçu en provenance d'un terminal d'un participant de la pluralité de participants, la génération d'un résumé de la réunion à partir dudit au moins un flux de données reçu et/ou l'identification d'au moins une entité nommée par l'orateur à partir dudit au moins un flux de données reçu et la transmission d'au moins une information relative à ladite entité identifiée aux terminaux des participants à la réunion.
L'invention concerne également une table de réunion telle que celle décrite dans le système de captation selon l'un quelconque des modes particuliers de réalisation de l'invention.
L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de captation selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n’importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de traitement selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n’importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
Selon encore un autre aspect, un support d'enregistrement ou support d'informations lisible par un ordinateur est proposé, qui comprend des instructions de l'un quelconque des programmes d'ordinateur tels que mentionnés ci-dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire de type Read-Only Memory (ROM), par exemple un CD- ROM ou une ROM de circuit microélectronique, une mémoire flash montée sur un support de stockage amovible, tel qu’une clé USB, ou encore une mémoire de masse magnétique de type Hard-Disk Drive (HDD) ou Solid-State Drive (SSD), ou une combinaison de mémoires fonctionnant selon une ou plusieurs technologies d’enregistrement de données. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. En particulier, le programme d’ordinateur proposé peut être téléchargé sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Le procédé de captation ou le procédé de traitement selon l'invention peut donc être mis en œuvre de diverses manières, notamment sous forme matérielle ou sous forme logicielle, ou être mise en œuvre sous forme d’une combinaison d’éléments matériels et logiciels.
4. Liste des figures
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :
5. Description d'un mode de réalisation de l'invention
La figure 1 illustre un système de traitement de flux audio issus d'une réunion comprenant une pluralité de participants, selon un mode particulier de réalisation de l'invention. Le système est illustré ici dans le cas où la réunion comprend deux participants, on comprendra que cet exemple n'est pas limitatif, et que plus de deux participants sont possibles.
Le système illustré en figure 1 comprend notamment un système (1) de captation de données audio et des données vidéo de la réunion. Un tel système de captation comprend, selon l'exemple décrit ici, au moins deux terminaux (12) appartenant respectivement à un participant (2) à la réunion. De tels terminaux sont par exemple des terminaux mobiles, tels que des smartphones (pour téléphone intelligent en anglais). Les terminaux (12) sont configurés pour mettre en œuvre le procédé de captation selon l'un quelconque des modes particuliers de réalisation qui seront décrits plus loin en relation avec la figure 2. Pour cela, chaque terminal (12) comprend notamment une caméra avant (121) apte à filmer le participant (2) placé devant la caméra, un micro (120) adapté pour capter le son émis par ce même participant lorsque celui-ci s'exprime au cours de la réunion, et un écran (122) adapté pour afficher au participant la vidéo capturée par la caméra et/ou des informations relatives à la réunion reçues d'un serveur de traitement (10).
Les terminaux (12) sont également adaptés pour établir une liaison de communication (15) avec un réseau de communication (14) de sorte à pouvoir échanger des données avec le serveur de traitement (10) configuré pour traiter au moins des flux audio issus de la réunion. Le réseau de communication (14) peut être tout de réseau de communication sans fil, réseau mobile (3G, 4G, 5G, etc...), ou un réseau local de type Wifi par exemple, Wimax, etc...
Le système de captation comprend également une table de réunion (11) autour de laquelle les participants à la réunion s'installent. Selon le mode particulier de réalisation décrit ici, chaque participant (2) à la réunion dispose d'un terminal (12) qui va établir une connexion avec le serveur de traitement (10) et enregistrer le son émis par le participant au cours de la réunion de sorte que le flux audio correspondant soit transmis au serveur (10) pour traitement. Ainsi, le terminal (12) joue le rôle de micro pour le participant (2). Afin que le son soit correctement enregistré par le terminal (12), i.e. par exemple que le flux audio est un niveau sonore suffisant, ou que les interférences entre participants parlant en même temps soient limitées, ou bien éviter d'enregistrer le son émis par un autre participant, il est préférable que le terminal (12) du participant soit positionné sur la table (11) dans une zone prédéterminée par rapport au participant (2) qui sera enregistré par le terminal (12).
Avantageusement, la table (11) comprend donc au moins deux indicateurs de placement (110). Chaque indicateur de placement (110) indique à un participant un emplacement optimal sur la table où placer son terminal (12) pour que le son soit correctement enregistré. De plus, un tel emplacement permet également d'assurer une mise en œuvre du procédé de captation décrit plus loin en référence avec la figure 2 par le terminal (12) de manière optimale.
Selon une variante, l'indicateur de placement peut être une croix tracée sur la table à une position prédéterminée par rapport au placement du participant autour de la table (11). Selon cette variante, le participant (2) à la réunion dispose alors son terminal (12) sur un support de terminal mobile qu'il place sur la croix tracée sur la table (11).
Toutefois, selon cette variante, chaque participant doit apporter avec lui à la réunion un support de terminal qu'il n'a pas forcément. Une alternative est que les supports de terminaux peuvent être prévus pour la réunion, mais cela nécessite une organisation au préalable, et souffre d'un risque de vol de supports de terminaux.
Selon une autre variante, les indicateurs de placement (110) de la table (11) sont alors des supports de terminaux intégrés à la table (11). Autrement dit, des supports de terminaux mobiles sont montés dans la table (11). Cette variante est décrite ci-dessous en relation avec les figures 5A-5C et 6.
La figure 5A illustre un support de terminal (50) intégré à une table, selon un mode particulier de réalisation de l'invention. Un tel support de terminal (50) comprend une base (520) et une partie support (510) destinée à recevoir le terminal. La base (520) et la partie support (510) sont montées pivotante de sorte que le support de terminal (50) puisse passer d'une position d'utilisation (illustrée en figure 5A) dans laquelle l'axe longitudinal de la partie support (510) fait un angle "a" non nul par rapport au plan "P" de la table tel qu'illustré en figure 5B, à une position de rangement dans laquelle l'axe longitudinal de la partie support (510) est aligné avec le plan de la table, telle qu'illustrée en figure 5C. Dans cette position de rangement, la surface supérieure de la base (520) et la surface supérieure de la partie support (510) sont dans un même plan correspondant sensiblement au plan P de la table (11).
Le support de terminal (50) est monté sur la table (11) dans un logement (51) ménagé dans la table. Le logement (51) a sensiblement la forme du support de terminal lorsque celui-ci est en position de rangement. La hauteur du logement (H) est sensiblement égale à l'épaisseur du support de terminal lorsque celui-ci est en position de rangement. Ainsi, en position de rangement, le support de terminal ne gêne pas l'utilisation classique de la table (11), par exemple des documents, des objets peuvent être placés sur la table et sur le support.
Le logement (51) comprend également de manière avantageuse une cavité (52) ménagée sur le bord recevant le haut de la partie support (510) lorsque le support est en position de rangement. Cette cavité (52) permet une meilleure préhension de la partie support (510) pour passer le support de terminal (50) en position d'utilisation.
Comme illustré en relation avec la figure 6, les indicateurs de placement (110) ou supports de terminaux (50) selon la variante de réalisation sont positionnés sur la table à une première distance d1 prédéterminée par rapport au bord de la table qui fait directement face au participant (2) auquel appartient le terminal destiné à être placé au niveau de l'indicateur de placement (110). Lorsque la table est rectangulaire, les indicateurs de placement (110) sont séparés l'un de l'autre par une deuxième distance d2 prédéterminée. Le participant se place devant la table entre deux indicateurs de placement.
Lorsque les indicateurs de placement correspondent à des supports de terminaux intégrés à la table, la première distance et la deuxième distance sont mesurées par rapport au centre de la base du support (50).
Des exemples de valeurs de distances d1 et d2 sont données en figure 6, les valeurs sont exprimées en mm. De telles valeurs ne sont pas exhaustives, de légères variations autour de ces valeurs sont permises sans impacter la réalisation de l'invention.
En référence avec la figure 1, le système de traitement de flux audio comprend également le serveur de traitement (10) configuré pour mettre en œuvre le procédé de traitement de flux audio d'une réunion comprenant une pluralité de participants, qui sera décrit ultérieurement en référence avec la figure 3 selon un mode particulier de réalisation de l'invention.
Selon un mode particulier de réalisation de l'invention, le système de traitement de flux audio peut comprendre un écran (13) apte à communiquer avec le serveur (10) pour recevoir des données relatives à la réunion et les afficher.
La figure 2 illustre des étapes d'un procédé de captation d'un signal audio et d'un signal vidéo d'un participant à une réunion comprenant une pluralité de participants, selon un mode particulier de réalisation de l'invention. Par exemple, le procédé est mis en œuvre par un terminal (12) d'un participant (2) du système décrit en relation avec la figure 1.
Par exemple, le procédé de captation est mis en œuvre via une application dédiée à un service de réunion installée sur le terminal (12), le service de réunion étant fourni par un opérateur gérant le serveur de traitement (10) et fournissant aux participants à la réunion différents services relatifs à la réunion. Selon le mode particulier de réalisation décrit ici, le terminal (12) est installé sur un support de terminal (50) ou au niveau d'un indicateur de placement (110) et l'utilisateur du terminal (12) est placé entre deux indicateurs de placement ou supports de terminal tel qu'illustré en figure 6.
Lors d'une étape E21, au démarrage de la réunion, le terminal (12) établit une connexion avec le serveur de traitement (10) via le réseau de communication (14).
Lors d'une étape E22, une vidéo de l'utilisateur du terminal (12) est acquise par la caméra placée sur la face avant du terminal (12), la face avant du terminal correspondant à la face sur laquelle l'utilisateur peut interagir via un clavier placé sur cette face ou un écran tactile placé sur cette face. Au cours de l'étape E22, le son émis est également capté par le microphone du terminal (12).
Lors d'une étape E24, le terminal (12) détermine à partir de la vidéo acquise, si l'utilisateur filmé par la caméra du terminal (12) est un orateur de la réunion. Autrement dit, le terminal (12) détermine si l'utilisateur filmé est en train de parler. Selon un mode particulier de réalisation de l'invention, une telle détermination est réalisée par analyse des images de la vidéo. En particulier, les images de la vidéo sont analysées en temps réel afin de détecter la bouche de l'utilisateur et si la bouche détectée est en mouvement. Si c'est le cas, il est déterminé que l'utilisateur filmé est en train de parler.
En variante, pour déterminer si l'utilisateur est en train de parler, le terminal (12) peut également prendre en compte le niveau sonore du son capté par le micro. Par exemple, deux indicateurs de détection de prise de parole peuvent être utilisés: un indicateur positionné en fonction de l'analyse des images de la vidéo et un indicateur positionné en fonction de l'analyse du son capté par le micro. Par exemple, lorsque le niveau sonore du son capté par le micro est supérieur à un seuil, l'indicateur du son est positionné à une valeur indiquant une prise de parole. Les deux indicateurs peuvent ensuite être combinés, pour déterminer si l'utilisateur filmé est en train de parler. Par exemple, les deux indicateurs doivent indiquer une prise de parole. Selon une autre variante, l'analyse des images n'est mise en œuvre que lorsque l'indicateur du son est positionné à une valeur indiquant une prise de parole. Dans ce cas, l'analyse des images permet de confirmer ou non la détection à partir du son.
Lorsqu'au cours de l'étape E24, il est déterminé que l'utilisateur est en train de parler, le procédé passe alors à l'étape E25 au cours de laquelle le terminal (12) transmet au serveur de traitement (10) le flux audio capté par le micro du terminal (12). Le flux audio capté correspond alors au son émis par l'utilisateur filmé lors de sa prise de parole. Ce flux audio est transmis au serveur (10) avec un identifiant de l'utilisateur, par exemple un identifiant de son terminal (12) ou son nom. Ainsi, le serveur (10) connait l'identité de l'orateur et n'a pas besoin de la déterminer. L'identifiant peut avoir été fourni au serveur (10) lors de l'établissement de la connexion entre le terminal (12) et le serveur (10). Dans ce cas, le serveur (10) a mémorisé l'identifiant avec le port de connexion associé au terminal (12) par exemple.
Selon un mode particulier de réalisation de l'invention, la vidéo est également transmise au serveur (10) au cours de l'étape E25. Le serveur (10) peut ainsi également traiter les données vidéo de l'orateur. Le procédé passe ensuite à l'étape E26.
Si au cours de l'étape E24, il est déterminé que l'utilisateur n'est pas en train de parler. Le procédé passe directement à l'étape E26, au cours de laquelle le terminal (12) reçoit des données relatives à la réunion en cours en provenance du serveur (10). Par exemple, de telles données peuvent correspondre à des informations additionnelles relatives à des entités nommées dans le discours d'un des orateurs de la réunion, ou bien à une transcription du discours de l'orateur, ou encore une traduction du discours de l'orateur... De telles données sont obtenues par le serveur (10) à partir d'une détection d'éléments clés dans le discours de l'orateur courant. Cette détection est basée notamment sur les flux audio des orateurs reçues par le serveur (10) et transmis respectivement par le terminal de chaque orateur.
Lorsque des données relatives à la réunion sont reçues par le terminal (12), lors d'une étape 27, le terminal (12) affiche à l'utilisateur les données reçues.
Selon un autre mode particulier de réalisation de l'invention, lors de l'étape E25, le flux transmis au serveur (10) est un flux textuel issu d'une conversion parole vers texte réalisée par le terminal (12) lui-même à partir du flux audio capté par le terminal (12).
Cet autre mode particulier de réalisation de l'invention évite au serveur (10) de réaliser la transcription.
Lors d'une étape E28, il est déterminé si la réunion est terminée. Par exemple, lorsque la réunion prend fin, l'utilisateur du terminal (12) ferme l'application dédiée ou appuie sur un bouton fin de réunion sur l'application dédiée. Ceci transmet un signal de fin de réunion au terminal (12). Dans ce cas, lors d'une étape E29, le terminal (12) arrête la capture de la vidéo et du son.
Si le terminal (12) ne reçoit pas de signal de fin, il poursuit la capture de la vidéo et du son de l'utilisateur lors de l'étape E22.
La figure 3 illustre des étapes d'un procédé de traitement de flux audio d'une réunion comprenant une pluralité de participants, selon un mode particulier de réalisation de l'invention. Par exemple, le procédé de traitement est mis en œuvre par le serveur (10) de la figure 1.
Lors d'une étape E30, les terminaux (12) participant à la réunion établissent une connexion avec le serveur (10) via le réseau de communication (14). Par exemple, le serveur (10) mémorise un identifiant de l'utilisateur de chaque terminal (12) en associant avec la connexion établie avec ce terminal.
Lors d'une étape E31, le serveur (10) reçoit un flux de données (texte ou audio), en provenance d'un terminal (12) d'un utilisateur participant à la réunion. Ce flux de données est mémorisé par le serveur (10).
Lorsque le flux de données est un flux audio, lors d'une étape E32, le serveur (10) réalise une conversion parole vers texte du discours de l'orateur enregistré par le flux audio reçu.
Selon un mode particulier de réalisation de l'invention, à partir du texte issu de la conversion ou du flux textuel reçu le cas échéant, le serveur (10) identifie au moins une entité nommée par l'orateur. Par exemple, il peut s'agit d'un nom, d'un lieu, d'un événement, etc...
Au cours de l'étape E33, lorsqu'une entité a été identifiée, le serveur (10) recherche des informations relatives à cette entité, par exemple dans un annuaire, sur des pages Internet, dans une base de données, etc...
Lors d'une étape E34, le serveur (10) transmet aux terminaux participant à la réunion des données relatives à la réunion à afficher sur leurs écrans. Selon un mode particulier de réalisation de l'invention, de telles données peuvent être les informations relatives à l'entité identifiée. Selon un autre mode particulier de réalisation de l'invention, de telles données peuvent aussi correspondre au texte issu du flux audio de l'orateur.
En variante, les données relatives à la réunion sont transmises à un écran (13) placé dans la salle de réunion et affichées par cet écran.
Lors d'une étape E35, le serveur (10) détermine si la réunion est terminée ou non. Par exemple, lorsque tous les terminaux ont mis fin à leur connexion avec le serveur (10), le serveur détermine que la réunion est terminée.
Si ce n'est pas le cas, le procédé passe à l'étape E31 de réception d'un flux de données en provenance d'au moins un terminal participant à la réunion.
Il est bien évident que plusieurs flux de données peuvent être reçus simultanément par le serveur (10), par exemple lorsque plusieurs participants parlent en même temps. Toutefois, grâce au procédé de captation décrit précédemment, et à l'arrangement particulier du système de captation décrit ci-dessus, contrairement à l'art antérieur, le serveur (10) sait quel flux de données correspond à quel orateur.
Selon un mode particulier de réalisation de l'invention, au cours de la réunion ou bien à l'issue de la réunion, le serveur (10) génère un résumé de la réunion à partir des flux de données reçus en provenance des terminaux des participants à la réunion.
La figure 4 illustre de manière schématique la structure d'un terminal (12) configuré pour mettre en œuvre le procédé de captation selon un mode particulier de réalisation de l'invention.
Selon un mode particulier de réalisation de l'invention, les étapes du procédé de captation sont mises en œuvre par des instructions de programme d'ordinateur. Pour cela, le terminal (12) a l'architecture classique d'un téléphone mobile évolué et comprend notamment une mémoire MEM, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé de captation tel que décrit ci-dessus, lorsque le programme est exécuté par le processeur PROC. Le programme d'ordinateur correspond par exemple à une application de service de réunion téléchargée et installée sur le terminal (12).
A l'initialisation, les instructions de code du programme d'ordinateur PG sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en œuvre les étapes du procédé de captation décrit ci-dessus, selon les instructions du programme d'ordinateur PG.
Le terminal (12) comprend également une caméra CAM, un microphone MIC et un écran AFF.
Classiquement, le terminal (12) comprend également une interface de communication COM permettant d'établir des communications avec un réseau de communication.
La figure 7 illustre de manière schématique la structure d'un serveur (10) configuré pour mettre en œuvre le procédé de traitement selon l'un quelconque des modes particuliers de réalisation de l'invention décrits précédemment.
Selon un mode particulier de réalisation de l'invention, les étapes du procédé de traitement sont mises en œuvre par des instructions de programme d'ordinateur. Pour cela, le serveur (10) a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM7, une unité de traitement UT7, équipée par exemple d'un processeur PROC7, et pilotée par le programme d'ordinateur PG7 stocké en mémoire MEM7. Le programme d'ordinateur PG7 comprend des instructions pour mettre en œuvre les étapes du procédé de traitement tel que décrit ci-dessus, lorsque le programme est exécuté par le processeur PROC7.
A l'initialisation, les instructions de code du programme d'ordinateur PG7 sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROC7. Le processeur PROC7 de l'unité de traitement UT7 met notamment en œuvre les étapes du procédé de traitement décrit ci-dessus, selon les instructions du programme d'ordinateur PG7.
Le serveur (10) comprend également une interface de communication COM7 permettant d'établir des communications avec un réseau de communication.
La figure 5B, décrite ci-dessus, illustre une table (11) comprenant une pluralité de supports de terminal (50) intégrés à la table, selon un mode particulier de réalisation de l'invention. On comprend bien qu'une telle table peut être utilisée pour d'autres usages que le système de captation décrit ci-dessus. Notamment, la table (11) équipée de la pluralité de supports (50) de terminaux peut être utilisée indépendamment du serveur (10) et des terminaux particuliers (12). Une telle table (11) peut par exemple être utilisée dans le cas d'une conférence audio ou d'une visioconférence dans laquelle chaque participant utilise un terminal mobile placé sur un support (50) qui sert de micro et d'écran à son utilisateur, et éventuellement de caméra dans le cas d'une visioconférence.
Claims (15)
- Procédé de captation d'un signal audio et d'un signal vidéo d'un premier participant à une réunion comprenant une pluralité de participants comprenant au moins ledit premier participant et un autre participant, mis en œuvre par un terminal (12) dudit premier participant, le procédé comprend:
- acquisition (E22), via une caméra avant dudit terminal, d'un signal vidéo dudit premier participant,
- détermination (E24) à partir du signal vidéo acquis, si ledit premier participant est un orateur,
- dans le cas d'une détermination positive, transmission (E25) à un serveur d'un flux de données obtenus à partir d'un signal audio capté par un micro dudit terminal. - Procédé de captation selon la revendication 1, dans lequel la détermination si ledit premier participant est un orateur est réalisée par la détection dans des images de la vidéo que la bouche dudit premier participant est en mouvement.
- Procédé de captation selon l'une quelconque des revendications 1 ou 2, comprenant en outre dans le cas d'une détermination que ledit premier participant est un orateur, la transmission de la vidéo acquise audit serveur.
- Terminal d'un participant à une réunion comprenant une pluralité de participants comprenant au moins ledit participant et un autre participant, le terminal est configuré pour:
- acquérir, via une caméra avant dudit terminal, un signal vidéo dudit premier participant,
- déterminer à partir du signal vidéo acquis, si ledit premier participant est un orateur,
- dans le cas d'une détermination positive, transmettre à un serveur, un flux de données obtenus à partir d'un signal audio capté par un micro dudit terminal. - Programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de captation selon l’une quelconque des revendications 1 à 3, lorsque ledit programme est exécuté par un processeur.
- Système de captation de données audio et des données vidéo d'une réunion comprenant une pluralité de participants comprenant au moins un premier participant et un autre participant, le système de captation comprenant:
- au moins deux terminaux configurés pour mettre en œuvre le procédé de captation selon l'une quelconque des revendications 1 à 3,
- une table de réunion portant au moins deux indicateurs de placement, chaque indicateur de placement indiquant un emplacement où placer un des au moins deux terminaux sur la table, chaque indicateur de placement étant positionné sur la table à une première distance prédéterminée par rapport à un bord de la table, ledit bord faisant directement face à un participant auquel appartient ledit terminal destiné être placé sur ledit indicateur de placement, et,
- lesdits au moins deux indicateurs de placement étant séparés l'un de l'autre par une deuxième distance prédéterminée. - Système de captation selon la revendication 6, dans lequel la première distance prédéterminée est sensiblement égale à 30cm.
- Système de captation selon la revendication 6, dans lequel la deuxième distance prédéterminée est sensiblement égale à 70cm.
- Système de captation selon la revendication 6, dans lequel:
- les au moins deux indicateurs de placement sont des supports de terminaux configurés pour recevoir chacun un terminal, et
- la table comprend au moins deux logements dans lesquels lesdits supports de terminaux sont respectivement montés. - Système de captation selon la revendication 9, dans lequel lorsqu'un terminal est placé sur support de terminal et met en œuvre le procédé de captation selon l'une quelconque des revendications 1 à 3, l'axe longitudinal d'une partie support dudit support de terminal fait un angle non nul par rapport à un plan horizontal de la table.
- Système de captation selon la revendication 10, dans lequel ledit angle est sensiblement égal à 45°.
- Système de captation selon la revendication 10, dans lequel:
- lesdits supports de terminaux sont montés mobiles en rotation par rapport au plan horizontal de la table. - Système de traitement de flux de données issus d'une réunion comprenant une pluralité de participants comprenant au moins deux participants, le système comprenant:
- un système de captation selon l'une quelconque des revendications 6 à 12,
- un serveur de traitement de flux de données configuré pour traiter au moins un flux de données reçu en provenance d'un terminal d'un participant de la pluralité de participants. - Système de traitement de flux de données selon la revendication 13, dans lequel le serveur de traitement est en outre configuré pour générer un résumé de la réunion à partir dudit au moins un flux de données reçu en provenance d'un terminal d'un participant de la pluralité de participants.
- Système de traitement de flux de données selon l'une quelconque des revendications 13 ou 14, dans lequel le serveur de traitement est en outre configuré pour :
- identifier au moins une entité nommée par l'orateur à partir dudit au moins un flux de données reçu en provenance d'un terminal d'un participant de la pluralité de participants,
- transmettre au moins une information relative à ladite entité identifiée aux terminaux dudit système de captation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1903431A FR3094599B1 (fr) | 2019-04-01 | 2019-04-01 | Procédé, terminal et système de captation d'un signal audio et d'un signal vidéo d'un participant à une réunion, et système de traitement de flux de données issus de la réunion. |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1903431A FR3094599B1 (fr) | 2019-04-01 | 2019-04-01 | Procédé, terminal et système de captation d'un signal audio et d'un signal vidéo d'un participant à une réunion, et système de traitement de flux de données issus de la réunion. |
| FR1903431 | 2019-04-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3094599A1 true FR3094599A1 (fr) | 2020-10-02 |
| FR3094599B1 FR3094599B1 (fr) | 2022-07-08 |
Family
ID=67514867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1903431A Active FR3094599B1 (fr) | 2019-04-01 | 2019-04-01 | Procédé, terminal et système de captation d'un signal audio et d'un signal vidéo d'un participant à une réunion, et système de traitement de flux de données issus de la réunion. |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3094599B1 (fr) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120062729A1 (en) * | 2010-09-10 | 2012-03-15 | Amazon Technologies, Inc. | Relative position-inclusive device interfaces |
| WO2016201765A1 (fr) * | 2015-06-16 | 2016-12-22 | 中兴通讯股份有限公司 | Procédé et dispositif de commande d'enregistrement |
| US10171908B1 (en) | 2015-07-27 | 2019-01-01 | Evernote Corporation | Recording meeting audio via multiple individual smartphones |
| US20190088153A1 (en) * | 2017-09-19 | 2019-03-21 | Minerva Project, Inc. | Apparatus, user interface, and method for authoring and managing lesson plans and course design for virtual conference learning environments |
-
2019
- 2019-04-01 FR FR1903431A patent/FR3094599B1/fr active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120062729A1 (en) * | 2010-09-10 | 2012-03-15 | Amazon Technologies, Inc. | Relative position-inclusive device interfaces |
| WO2016201765A1 (fr) * | 2015-06-16 | 2016-12-22 | 中兴通讯股份有限公司 | Procédé et dispositif de commande d'enregistrement |
| US10171908B1 (en) | 2015-07-27 | 2019-01-01 | Evernote Corporation | Recording meeting audio via multiple individual smartphones |
| US20190088153A1 (en) * | 2017-09-19 | 2019-03-21 | Minerva Project, Inc. | Apparatus, user interface, and method for authoring and managing lesson plans and course design for virtual conference learning environments |
Non-Patent Citations (2)
| Title |
|---|
| "Method and System to detect when a face-to-face meeting is occurring, recording actions and share among participants", IP.COM JOURNAL, IP.COM INC., WEST HENRIETTA, NY, US, 25 July 2018 (2018-07-25), XP013179488, ISSN: 1533-0001 * |
| DAR-SHYANG LEE ET AL: "Portable meeting recorder", PROCEEDINGS ACM MULTIMEDIA 2002. 10TH. INTERNATIONAL CONFERENCE ON MULTIMEDIA. JUAN-LES-PINS, FRANCE, DEC. 1 - 6, 2002; [ACM INTERNATIONAL MULTIMEDIA CONFERENCE], ACM, NEW YORK, NY, 1 December 2002 (2002-12-01), pages 493 - 502, XP058387549, ISBN: 978-1-58113-620-3, DOI: 10.1145/641007.641111 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3094599B1 (fr) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2901372B1 (fr) | Utilisation d'empreintes digitales numériques, pour associer des données à un mot | |
| US11019306B2 (en) | Combining installed audio-visual sensors with ad-hoc mobile audio-visual sensors for smart meeting rooms | |
| EP1856901B1 (fr) | Procede et systeme d'information des participants a une conversation telephonique | |
| FR2931330A1 (fr) | Procede et systeme d'enregistrement automatique d'une session de communication | |
| WO2008035008A1 (fr) | Procede de transfert d'un flux audio entre plusieurs terminaux | |
| FR3094599A1 (fr) | Procédé, terminal et système de captation d'un signal audio et d'un signal vidéo d'un participant à une réunion, et système de traitement de flux de données issus de la réunion. | |
| EP1763163A1 (fr) | Dispositif et procédé d'obtention automatisée d'informations relatives aux audiences de programmes transmis par un réseau de communication | |
| FR3011426A1 (fr) | Procede et dispositif de transmission d'au moins une partie d'un signal lors d'une session de visioconference | |
| FR3079951A1 (fr) | Procede d'expertise a distance | |
| EP3336709A1 (fr) | Procédé d'utilisation d'un poste de travail étendu, et système d'utilisation d'un poste de travail étendu associé | |
| WO2019110913A1 (fr) | Traitement de données d'une séquence vidéo pour un zoom sur un locuteur détecté dans la séquence | |
| EP2064855B1 (fr) | Procede de communication entre plusieurs terminaux | |
| EP2545437B1 (fr) | Procédé et système de prise de contrôle à distance d'un écran d'affichage | |
| EP1989845B1 (fr) | Gestion d'une communication entre un système de télécommunications et un serveur | |
| EP3185123A1 (fr) | Procédé de gestion de ressources sur un terminal | |
| FR3101725A1 (fr) | Procédé de détection de la position de participants à une réunion à l’aide des terminaux personnels des participants, programme d’ordinateur correspondant. | |
| EP4287602A1 (fr) | Procédé de fourniture de données audio, dispositif, système, et programme d'ordinateur associés | |
| WO2017212124A1 (fr) | Système et procédé de communication vocale de type push-to-talk entre plusieurs utilisateurs d'un réseau de télécommunications | |
| FR3130437A1 (fr) | Procédé et dispositif de sélection d’un capteur audio parmi une pluralité de capteurs audio | |
| FR3020541A1 (fr) | Procede et dispositif de traitement de signaux multimedia, terminal, programme d'ordinateur et support de stockage correspondants. | |
| EP3949317A1 (fr) | Procédé de modification d'un contenu multimedia | |
| WO2022106767A1 (fr) | Optimisation du declenchement de communications telephoniques | |
| FR3018027A1 (fr) | Procede et dispositif de decouverte des capacites de communication relatives a un utilisateur d'un terminal | |
| FR2990821A1 (fr) | Procedes et systemes pour l'acces a une conference electronique | |
| FR3079321A1 (fr) | Procede et dispositif de traitement de donnees d' un environnement de realite virtuelle en mode accessibilite |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20201002 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |