FR3117659A1 - Procédé et dispositif d’enrichissement sonore, procédé de fourniture de service de réalité sonore augmentée, et périphérique de reproduction - Google Patents

Procédé et dispositif d’enrichissement sonore, procédé de fourniture de service de réalité sonore augmentée, et périphérique de reproduction Download PDF

Info

Publication number
FR3117659A1
FR3117659A1 FR2012983A FR2012983A FR3117659A1 FR 3117659 A1 FR3117659 A1 FR 3117659A1 FR 2012983 A FR2012983 A FR 2012983A FR 2012983 A FR2012983 A FR 2012983A FR 3117659 A1 FR3117659 A1 FR 3117659A1
Authority
FR
France
Prior art keywords
sound
real
augmented
virtual
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR2012983A
Other languages
English (en)
Inventor
Christian Gregoire
Cyril Plapous
Nicolas Pellen
Thierry Martinez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Priority to FR2012983A priority Critical patent/FR3117659A1/fr
Publication of FR3117659A1 publication Critical patent/FR3117659A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stereophonic System (AREA)

Abstract

Procédé et dispositif d’enrichissement sonore, procédé de fourniture de service de réalité sonore augmentée, et périphérique de reproduction L'invention concerne l’enrichissement sonore et la fourniture de service de réalité sonore augmentée. En particulier, l’invention concerne des périphériques de reproduction de réalité augmentée tels que des casques de réalité augmentée ou des enceintes connectées permettant la mise en œuvre d’une réalité sonore augmentée. Un objet de l’invention est un procédé d’enrichissement sonore comportant une génération d’un son virtuel généré en fonction d’un son réel d’un environnement sonore réel, le son virtuel étant apte à être reproduit en superposition du son réel. Ainsi, ce n’est plus seulement l’environnement visuel réel qui est augmenté d’une information visuelle ou sonore mais l’environnement sonore lui-même qui est augmenté d’une information sonore virtuelle. Par exemple, un son réel sera identifié et l’information concernant l’identification de ce son réel sera ajoutée à l’environnement sonore : tel que la source du son, le type de son, etc. Figure pour l’abrégé : Figure 1

Description

Procédé et dispositif d’enrichissement sonore, procédé de fourniture de service de réalité sonore augmentée, et périphérique de reproduction
L'invention concerne l’enrichissement sonore et la fourniture de service de réalité sonore augmentée. En particulier, l’invention concerne des périphériques de reproduction de réalité augmentée tels que des casques de réalité augmentée ou des enceintes connectées permettant la mise en œuvre d’une réalité sonore augmentée.
État de la technique
Le principe de la réalité augmentée consiste à combiner le réel avec des éléments virtuels de façon transparente pour l’utilisateur. Par exemple, la réalité augmentée est obtenue par superposition d’éléments virtuels sur un environnement réel. Ces éléments virtuels sont produits par des traitements notamment mis en œuvre par un système informatique.
Aujourd’hui, la réalité augmentée évoque surtout la réalité visuelle augmentée pour la majeure partie du public. Cette réalité visuelle augmentée a fait l’objet de nombreuses recherches ayant aboutis à divers produits allant de lunettes ou casques de réalité visuelle augmentée : GoogleglassTM, HoloLensTMà diverses applications : jeux vidéo tels que PokemonGoTM, applications professionnelles… La réalité augmentée visuelle permet d’incruster alors de manière réaliste des objets virtuels dans une séquence d’images. Ces éléments virtuels ou ajouts d’informations visuelles sont reproduit, notamment, par un écran transparent positionné devant les yeux de l’utilisateur.
En revanche, en ce qui concerne le son ou la musique, les projets autour de la réalité sonore augmentée son beaucoup plus rares. Sur le modèle de la réalité visuelle augmentée, la réalité sonore augmenté enrichi un environnement sonore déjà présent avec des objets sonores virtuels telles que des informations pertinentes pour l’auditeur.
Par exemple, le dispositif captera la position de la tête de l’auditeur afin d’adapter les contenus sonores à ajouter en fonction de ce que l’auditeur regarde. Dans ce cas, la vue et l’ouïe doivent être synchronisées pour permettre à l’auditeur de recevoir l’information sonore de réalité augmentée correspondant à l’objet qu’il regarde.
Ainsi, ImayanaTMest un produit de visite virtuelle mobile en réalité augmentée. Il propose un parcours pédestre dans une ville historique, en l’occurrence Bordeaux propose non seulement une réalité visuelle augmentée proposant des images du Bordeaux du XVIIIe à partir de la position du piéton mais aussi une réalité sonore augmentée en réanimant des statues présentes à proximité de l’utilisateur, celles-ci raconteront alors le passé de la ville.
La société BOSETMquant à elle a dévoilé en 2018 des lunettes de réalité augmentée se concentrant sur l’audio point fort de cette firme. Leur idée était de venir palier à l’absence du son dans la réalité augmentée en augmentant ce que l’utilisateur entend et non ce que l’utilisateur voie en proposant d’apporter une information supplémentaire (par rapport à l’environnement réel) non plus visuelle mais audio.
Néanmoins, le point de départ de la réalité augmentée qu’elle soit visuelle ou sonore reste limité à ce que l’utilisateur regarde ou du moins sa position dans l’environnement réel, c’est-à-dire à l’environnement réel visuel.
Un des buts de la présente invention est d'apporter des améliorations par rapport à l'état de la technique.
Un objet de l’invention est un procédé d’enrichissement sonore comportant une génération d’un son virtuel généré en fonction d’un son réel d’un environnement sonore réel, le son virtuel étant apte à être reproduit en superposition du son réel.
Ainsi, ce n’est plus seulement l’environnement visuel réel qui est augmenté d’une information visuelle ou sonore mais l’environnement sonore lui-même qui est augmenté d’une information sonore virtuelle. Par exemple, un son réel sera identifié et l’information concernant l’identification de ce son réel sera ajoutée à l’environnement sonore : tel que la source du son, par exemple un « nom d’oiseaux », « nom de personne», « type d’objet source »… ; le type de son, par exemple « chant d’oiseaux », « accident », « claquement de porte », « bris de glace », « aboiement »… ; etc.
Avantageusement, la génération du son virtuel comporte une conversion audio conversion audio d’au moins un contenu fonction du son réel.
Ainsi, le procédé d’enrichissement peut utiliser une base de données existante dans lequel des sons sont associé à des contenus non audio, par exemple des contenus textuels ou images. En outre, l’avantage d’une base de données dans laquelle les sons sont associés à des contenus textuels allant d’un simple nom à un texte comportant un ou plusieurs paragraphes est qu’elle est moins volumineuse qu’une base de données de contenus audio.
Avantageusement, la génération du son virtuel comporte une identification du son réel par reconnaissance sonore.
Avantageusement, la génération du son virtuel est fonction d’une commande d’interaction avec l’environnement sonore réel.
Ainsi, l’utilisateur ne sera pas pollué par des informations audio virtuelles systématiques mais les obtiendra uniquement sur demande. Cela évitera des surcouts en termes de calcul de la part du procédé d’enrichissement et des erreurs humaines liées à une surcharge sonore virtuelle.
Avantageusement, le son virtuel comporte des données de spatialisation fonction d’une position d’une source sonore du son réel, les données de spatialisation permettant une reproduction spatialisée du son virtuel.
Ainsi, le son virtuel est synchronisé avec la position de la source sonore dont il est fonction permettant à l’utilisateur de mieux associer l’information virtuelle supplémentaire à la source sonore. Cela permettra éventuellement d’éviter des erreurs humaines liées à l’association de l’information sonore virtuelle à la mauvaise source sonore ou des retards de réactions humaines en raison du temps nécessaire à l’utilisateur pour positionner la source sonore identifiée par le son virtuel.
Un autre objet de l’invention est un dispositif d’enrichissement sonore comportant un générateur d’un son virtuel en fonction d’un son réel d’un environnement sonore réel, le son virtuel étant apte à être reproduit en superposition du son réel.
Un objet de l’invention est également un procédé de fourniture d’un service de réalité sonore augmentée comportant une reproduction d’un son virtuel en superposition d’un son réel de l’environnement réel, le son virtuel étant généré en fonction d’un son réel d’un environnement sonore réel.
Avantageusement, le procédé de fourniture comporte une spatialisation du son virtuel en fonction d’une position d’une source sonore du son réel.
Avantageusement, le procédé de fourniture comporte :
- un mixage du son virtuel généré et du son réel, et
- une reproduction du son mixé.
Avantageusement, selon une implémentation de l'invention, les différentes étapes du procédé selon l'invention sont mises en œuvre par un logiciel ou programme d'ordinateur, ce logiciel comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un dispositif faisant partie d’un dispositif d’enrichissement sonore et/ou d’un périphérique de reproduction de réalité sonore augmentée et étant conçus pour commander l'exécution des différentes étapes de ce procédé.
L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé d’enrichissement et/ou d’un procédé de fourniture de service de réalité sonore augmentée lorsque ledit programme est exécuté par un processeur.
Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet ou code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée ou dans n'importe quelle autre forme souhaitable.
Un objet de l’invention est encore un périphérique de reproduction de réalité sonore augmentée comportant au moins un haut-parleur reproduisant un son virtuel en superposition d’un son réel, le son virtuel étant généré en fonction d’un son réel d’un environnement sonore réel.
Avantageusement, le périphérique de reproduction comporte au moins un capteur sonore captant au moins le son réel de l’environnement.
Avantageusement, le périphérique de reproduction est un dispositif parmi les suivants :
- un casque de réalité sonore augmentée comportant au moins deux haut-parleurs implémentés sur le casque pour être placés au niveau des oreilles d’un utilisateur portant le casque ; et
- une enceinte connectée.
Avantageusement, le casque comportant au moins deux capteurs sonores implémentés sur le casque pour être placés au niveau des oreilles d’un utilisateur portant le casque, un capteur sonore captant le son réel perçu par une oreille de l’utilisateur portant le casque.
Avantageusement, le casque comporte, lorsque les haut-parleurs recouvrent les oreilles empêchant toute perception directe par l’utilisateur de l’environnement sonore réel, un mixeur sonore agrégeant au moins un son réel de l’environnement sonore réel avec le son virtuel généré en fonction d’un des sons réels de l’environnement réel.
Les caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description, faite à titre d'exemple, et des figures s’y rapportant qui représentent :
, un schéma simplifié d’un procédé d’enrichissement sonore selon l’invention,
, une architecture de réalité sonore augmentée selon l’invention,
, un schéma simplifié de procédé de fourniture de service de réalité sonore augmentée selon l’invention,
, un schéma simplifié des procédés d’enrichissement sonore et de fourniture de service de réalité sonore selon l’invention,
, un schéma simplifié d’un premier mode de réalisation d’un casque de réalité sonore augmentée selon l’invention,
, un schéma simplifié d’un deuxième mode de réalisation d’un casque de réalité sonore augmentée selon l’invention,
, un schéma simplifié d’un mode de réalisation d’une enceinte de réalité sonore augmentée selon l’invention.

Claims (15)

  1. Procédé d’enrichissement sonore comportant une génération d’un son virtuel généré en fonction d’un son réel d’un environnement sonore réel, le son virtuel étant apte à être reproduit en superposition du son réel.
  2. Procédé d’enrichissement sonore selon l’une quelconque des revendications précédentes, dans lequel la génération du son virtuel comporte une conversion audio d’au moins un contenu fonction du son réel.
  3. Procédé d’enrichissement sonore selon l’une quelconque des revendications précédentes, dans lequel la génération du son virtuel comporte une identification du son réel par reconnaissance sonore.
  4. Procédé d’enrichissement sonore selon l’une quelconque des revendications précédentes, dans lequel la génération du son virtuel est fonction d’une commande d’interaction avec l’environnement sonore réel.
  5. Procédé d’enrichissement sonore selon l’une quelconque des revendications précédentes, dans lequel le son virtuel comporte des données de spatialisation fonction d’une position d’une source sonore du son réel, les données de spatialisation permettant une reproduction spatialisée du son virtuel.
  6. Dispositif d’enrichissement sonore comportant un générateur d’un son virtuel en fonction d’un son réel d’un environnement sonore réel, le son virtuel étant apte à être reproduit en superposition du son réel.
  7. Procédé de fourniture d’un service de réalité sonore augmentée comportant une reproduction d’un son virtuel en superposition d’un son réel de l’environnement réel, le son virtuel étant généré en fonction d’un son réel d’un environnement sonore réel.
  8. Procédé de fourniture d’un service de réalité sonore augmentée selon la revendication précédente dans lequel le procédé de fourniture comporte une spatialisation du son virtuel en fonction d’une position d’une source sonore du son réel.
  9. Procédé de fourniture d’un service de réalité sonore augmentée selon l’une quelconques des revendications 7 ou 8 dans lequel le procédé de fourniture comporte :
    - un mixage du son virtuel généré et du son réel, et
    - une reproduction du son mixé.
  10. Programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé d’enrichissement selon l’une quelconque des revendications 1 à 5 et/ou d’un procédé de fourniture de service de réalité sonore augmentée selon l’une quelconque des revendications 7 à 9 lorsque ledit programme est exécuté par un processeur.
  11. Périphérique de reproduction de réalité sonore augmentée comportant au moins un haut-parleur reproduisant un son virtuel en superposition d’un son réel, le son virtuel étant généré en fonction d’un son réel d’un environnement sonore réel.
  12. Périphérique de reproduction de réalité sonore augmentée selon la revendication précédente, dans lequel le périphérique de reproduction comporte au moins un capteur sonore captant au moins le son réel de l’environnement.
  13. Périphérique de reproduction de réalité sonore augmentée selon l’une quelconque des revendications précédentes, dans lequel le périphérique de reproduction est un dispositif parmi les suivants :
    - un casque de réalité sonore augmentée comportant au moins deux haut-parleurs implémentés sur le casque pour être placés au niveau des oreilles d’un utilisateur portant le casque ; et
    - une enceinte connectée.
  14. Périphérique de reproduction de réalité sonore augmentée selon la revendication précédente, dans lequel le casque comportant au moins deux capteurs sonores implémentés sur le casque pour être placés au niveau des oreilles d’un utilisateur portant le casque, un capteur sonore captant le son réel perçu par une oreille de l’utilisateur portant le casque.
  15. Périphérique de reproduction de réalité sonore augmentée selon l’une quelconque des revendications 13 ou 14, dans lequel le casque comporte, lorsque les haut-parleurs recouvrent les oreilles empêchant toute perception directe par l’utilisateur de l’environnement sonore réel, un mixeur sonore agrégeant au moins un son réel de l’environnement sonore réel avec le son virtuel généré en fonction d’un des sons réels de l’environnement réel.
FR2012983A 2020-12-10 2020-12-10 Procédé et dispositif d’enrichissement sonore, procédé de fourniture de service de réalité sonore augmentée, et périphérique de reproduction Withdrawn FR3117659A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR2012983A FR3117659A1 (fr) 2020-12-10 2020-12-10 Procédé et dispositif d’enrichissement sonore, procédé de fourniture de service de réalité sonore augmentée, et périphérique de reproduction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2012983 2020-12-10
FR2012983A FR3117659A1 (fr) 2020-12-10 2020-12-10 Procédé et dispositif d’enrichissement sonore, procédé de fourniture de service de réalité sonore augmentée, et périphérique de reproduction

Publications (1)

Publication Number Publication Date
FR3117659A1 true FR3117659A1 (fr) 2022-06-17

Family

ID=76159453

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2012983A Withdrawn FR3117659A1 (fr) 2020-12-10 2020-12-10 Procédé et dispositif d’enrichissement sonore, procédé de fourniture de service de réalité sonore augmentée, et périphérique de reproduction

Country Status (1)

Country Link
FR (1) FR3117659A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180210951A1 (en) * 2016-06-28 2018-07-26 Microsoft Technology Licensing, Llc Audio augmented reality system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180210951A1 (en) * 2016-06-28 2018-07-26 Microsoft Technology Licensing, Llc Audio augmented reality system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HÃ RMÃ AKI ET AL: "Augmented Reality Audio for Mobile and Wearable Appliances", JAES, AES, 60 EAST 42ND STREET, ROOM 2520 NEW YORK 10165-2520, USA, vol. 52, no. 6, 1 June 2004 (2004-06-01), pages 618 - 639, XP040507102 *
HANNES GAMPER: "Enabling technologies for audio augmented reality systems", PHD THESIS, 2 May 2014 (2014-05-02), XP055698410, Retrieved from the Internet <URL:https://core.ac.uk/download/pdf/80711759.pdf> [retrieved on 20200526] *

Similar Documents

Publication Publication Date Title
EP3424229B1 (fr) Systèmes et procédés de réglage audio spatial
TWI496480B (zh) 偕同一可攜式電子裝置用於產生多頻道音訊之系統和方法
CN104871069B (zh) 眼镜设备和用于控制眼镜设备的方法、音频设备和用于提供音频信号的方法以及显示设备
FR3059191B1 (fr) Dispositif a casque audio perfectionne
US10154360B2 (en) Method and system of improving detection of environmental sounds in an immersive environment
US10325614B2 (en) Voice-based realtime audio attenuation
JPWO2015125626A1 (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
WO2021143574A1 (fr) Lunettes à réalité augmentée, procédé de mise en œuvre de ktv à base de lunettes à réalité augmentée, et support
US11721355B2 (en) Audio bandwidth reduction
CN114422935B (zh) 音频处理方法、终端及计算机可读存储介质
EP3603076B1 (fr) Procédé de sélection d&#39;au moins une partie d&#39;image à télécharger par anticipation pour restituer un flux audiovisuel
EP2009891A2 (fr) Transmission de signal audio dans un système de conference audio immersive
EP4138381A1 (fr) Procédé et dispositif de lecture vidéo
US20240046914A1 (en) Assisted speech
FR3117659A1 (fr) Procédé et dispositif d’enrichissement sonore, procédé de fourniture de service de réalité sonore augmentée, et périphérique de reproduction
CN111696566B (zh) 语音处理方法、装置和介质
JP7397883B2 (ja) 環境に基づく通信データの提示
US12003954B2 (en) Audio system and method of determining audio filter based on device position
KR102111990B1 (ko) 웨어러블 장치를 이용한 컨텐츠 제어 방법, 장치 및 시스템
US20220322024A1 (en) Audio system and method of determining audio filter based on device position
WO2022254135A1 (fr) Procédé de communication en réalite mixte, système de communication, programme d&#39;ordinateur et support d&#39;informations
CN115941838A (zh) 实现移动端耳机模式进行双录的方法及系统
CN114999128A (zh) 虚实场景中的提醒方法、装置、系统及相关设备
JP2020056907A (ja) クラウド音声変換システム
KR20220025345A (ko) 동영상 내 자막의 음성화 제공 방법 및 장치

Legal Events

Date Code Title Description
PLSC Publication of the preliminary search report

Effective date: 20220617

ST Notification of lapse

Effective date: 20220808