ES2351330A1 - Method and system to represent the presence of objects in binaural acoustic information (Machine-translation by Google Translate, not legally binding) - Google Patents
Method and system to represent the presence of objects in binaural acoustic information (Machine-translation by Google Translate, not legally binding) Download PDFInfo
- Publication number
- ES2351330A1 ES2351330A1 ES201031108A ES201031108A ES2351330A1 ES 2351330 A1 ES2351330 A1 ES 2351330A1 ES 201031108 A ES201031108 A ES 201031108A ES 201031108 A ES201031108 A ES 201031108A ES 2351330 A1 ES2351330 A1 ES 2351330A1
- Authority
- ES
- Spain
- Prior art keywords
- objects
- scene
- signals
- subset
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000003909 pattern recognition Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 11
- 238000002604 ultrasonography Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Heart & Thoracic Surgery (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Vascular Medicine (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
Método y sistema para representar la presencia de objetos en información acústica binaural.Method and system to represent the presence of objects in binaural acoustic information.
La presente invención pertenece al campo técnico de las tecnologías de la información y las comunicaciones para el desarrollo de sistemas que mejoran la calidad de vida de las personas con discapacidad.The present invention belongs to the technical field of information and communications technologies for the development of systems that improve the quality of life of People with disabilities.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
En la actualidad hay una gran cantidad de trabajos relacionados con la percepción binaural que abordan tanto el problema de localización de la fuente de los eventos acústicos, como la construcción de un sistema de realidad aumentada de audio que combina la percepción acústica de la escena con otras señales generadas por el sistema. Sin embargo, las señales generadas por estos sistemas no son más que la reproducción de señales pregrabadas anteriormente por lo que no contienen información útil para el oyente.There are currently a lot of works related to binaural perception that address both the problem of location of the source of acoustic events, like building an augmented reality audio system which combines the acoustic perception of the scene with other signals generated by the system. However, the signals generated by these systems are nothing more than the reproduction of prerecorded signals previously so they don't contain useful information for the listener.
La patente WO2010012478 A2 presenta un sistema para generar señales binaurales que simulan la localización de una fuente de eventos acústicos (no de objetos no sonoros). Dicha localización se obtiene mediante arrays de micrófonos. Sin embargo, este sistema sólo simula de forma binaural fuentes de eventos acústicos, es decir, realiza modificaciones a las señales percibidas por un array de micrófonos para acondicionarlas a la percepción binaural. En ningún caso genera señales de forma artificial con información adicional.WO2010012478 A2 presents a system to generate binaural signals that simulate the location of a source of acoustic events (not of non-sound objects). Bliss Location is obtained by micro array arrays. But nevertheless, This system only simulates binaural event sources acoustics, that is, makes modifications to the perceived signals by an array of microphones to condition them to perception binaural In no case generates signals artificially with Additional Information.
Por otro lado, en la actualidad existen numerosos estudios relacionados con la detección automática de objetos a partir de secuencias de vídeos recogidas de una o varias cámaras. Sin embargo, estos estudios no se han integrado en sistemas de realidad aumentada de audio.On the other hand, there are currently numerous studies related to the automatic detection of objects from sequences of videos collected from one or more cameras However, these studies have not been integrated into systems. Augmented reality audio.
Es por tanto deseable un método y un sistema que integre la información que reciba por distintas fuentes de información, de forma que partiendo de la detección de objetos en una escena, pueda formar una realidad aumentada del audio de dicha escena, añadiendo a las señales acústicas que se producen en el medio, unas señales acústicas binaurales generadas automáticamente que simulan la emisión artificial de eventos acústicos por parte de los objetos de la escena.It is therefore desirable a method and a system that integrate the information you receive from different sources of information, so starting from the detection of objects in a scene, can form an augmented reality of the audio of said scene, adding to the acoustic signals that occur in the medium, automatically generated binaural acoustic signals that simulate the artificial emission of acoustic events by The objects of the scene.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
La presente invención resuelve los problemas existentes en el estado de la técnica mediante un método y sistema capaz de representar acústicamente, mediante señales binaurales, la presencia de objetos detectados automáticamente, y de codificar dicha información mediante señales acústicas binaurales. Estas señales se reproducirán a través de unos auriculares con el fin de generar, en el oyente, la sensación de que dichos objetos están emitiendo dichos sonidos desde su localización real. Esta información acústica se añadirá de forma complementaria a la señal binaural de los eventos acústicos que se produzcan en la escena.The present invention solves the problems existing in the state of the art through a method and system capable of acoustically representing, through binaural signals, the presence of automatically detected objects, and of coding said information by means of binaural acoustic signals. These signals will be played through headphones in order to generate, in the listener, the feeling that these objects are emitting said sounds from their real location. This acoustic information will be added in a complementary way to the signal binaural of the acoustic events that occur in the scene.
El método para representar la presencia de objetos en información acústica binaural, comprende las siguientes etapas:The method to represent the presence of objects in binaural acoustic information, includes the following stages:
- a)to)
- obtener señales de vídeo de una escena;get video signals from a scene;
- b)b)
- capturar imágenes de la escena a partir de las señales de vídeo obtenidas;capture images of the scene from of the video signals obtained;
- c)C)
- captar las señales que emiten unos sensores de presencia situados en la escena analizada;pick up the signals emitted by presence sensors located in the analyzed scene;
- d)d)
- extraer un conjunto de características de las imágenes capturadas por las señales de vídeo, comprendiendo dicha extracción la detección de contornos de los objetos presentes en las imágenes;extract a set of features of the images captured by the video signals, comprising said extraction the detection of contours of the present objects in the pictures;
- e)and)
- extraer un conjunto de características de las señales captadas por los sensores de presencia;extract a set of features of the signals captured by the presence sensors;
- f)F)
- seleccionar un subconjunto de características a partir de las características extraídas en las etapas d y e;select a subset of characteristics from the characteristics extracted in the stages d and e;
- g)g)
- segmentar cada una de las imágenes capturadas obteniendo los objetos presentes en la escena a partir de la detección de contornos realizado en la etapa d junto con una pluralidad de reglas previamente almacenadas en una base de datos del sistema;segment each of the images captured obtaining the objects present in the scene from of contour detection performed in stage d together with a plurality of rules previously stored in a database of the system;
- h)h)
- detectar mediante un reconocimiento de patrones el tipo de cada objeto presente en la escena analizada a partir del subconjunto de características seleccionadas y de una pluralidad de patrones previamente almacenados en una base de datos del sistema;detect by recognition of patterns the type of each object present in the analyzed scene at from the subset of selected features and a plurality of patterns previously stored in a database of the system;
- i)i)
- estimar el tamaño de cada uno de los objetos detectados a partir del subconjunto de características seleccionadas y de una relación de tamaños del tipo de objeto detectado previamente almacenada en una base de datos del sistema;estimate the size of each of the objects detected from the subset of features selected and of a relation of sizes of the object type previously detected stored in a database of system;
- j)j)
- estimar la distancia a la que se encuentra cada uno de los objetos detectados a partir del subconjunto de características seleccionadas, del tamaño estimado de dicho objeto, del tipo de objeto detectado y de la distancia focal y la ampliación de las cámaras; en el caso de que los sensores de presencia estén situados en una buena posición, la información que ofrezcan permitirá mejorar la precisión de la estimación realizada;estimate the distance at which find each of the objects detected from the subset of selected features, of estimated size of said object, the type of object detected and the distance focal and magnification of the cameras; in the case that presence sensors are located in a good position, the information they offer will improve the accuracy of the estimate made;
- k)k)
- localizar cada uno de los objetos de la escena a partir del subconjunto de características seleccionadas, de la distancia a la que se encuentra, de su tamaño y la distancia focal y la ampliación de las cámaras; la localización de un objeto queda fijada al definir la distancia a la que se encuentra el objeto (estimada en el paso anterior) y las posiciones vertical y horizontal de dicho objeto; una vez segmentados los objetos en la escena (etapa g), las posiciones vertical y horizontal se obtienen mediante relaciones trigonométricas utilizando la información sobre la posición del objeto en la imagen, la distancia al objeto estimada y el enfoque (distancia focal y ampliación) de las cámaras; en el caso de que los sensores de presencia estén situados en una buena posición, la información que nos ofrecen permitirá mejorar la precisión de la estimación realizada;locate each of the objects of the scene from the subset of selected features, of the distance you are from, its size and distance focal and magnification of the cameras; the location of an object is set when defining the distance at which the object is (estimated in the previous step) and the vertical positions and horizontal of said object; once the objects are segmented in the scene (stage g), the vertical and horizontal positions are obtained through trigonometric relationships using information on the position of the object in the image, the distance to the object estimated and the focus (focal length and magnification) of the cameras; in case the presence sensors are located in a good position, the information they offer will allow us to improve precision of the estimate made;
- l)l)
- generar señales acústicas binaurales con frecuencia y amplitud variable en función del tipo de objeto detectado, de su tamaño, de la distancia a la que se encuentra y de su localización;generate binaural acoustic signals with variable frequency and amplitude depending on the type of object detected, of its size, of the distance at which it is located and of its location;
- m)m)
- capturar señales acústicas en la escena mediante una pluralidad de micrófonos omnidireccionales;capture acoustic signals in the scene by a plurality of omnidirectional microphones;
- n)n)
- combinar las señales acústicas binaurales generadas con las señales acústicas capturadas en la escena;combine the acoustic signals binaurals generated with the acoustic signals captured in the scene;
- o)or)
- emitir las señales acústicas combinadas.emit the acoustic signals combined.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
Preferentemente, los sensores de presencia se seleccionan entre:Preferably, the presence sensors are select between:
- \bullet?
- ultrasonidos;ultrasound;
- \bullet?
- infrarrojos;infrared;
- \bullet?
- láser.To be.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
En el caso de sensores de presencia de ultrasonidos, se emite un pulso de una señal acústica y dependiendo del retardo de la señal de eco, se estima la distancia del sensor al objeto u objetos de la escena. En el caso de sensores de presencia basados en láser, el funcionamiento es similar pero en este caso se utilizan pulsos de luz en lugar de señales acústicas, consiguiendo un mayor alcance. En el caso de sensores de infrarrojos, se permiten detectar la presencia de objetos que se sitúan entre el emisor y el receptor de infrarrojos. En presencia de un objeto se produce un corte en la señal visual que se detectaría en el receptor de infrarrojos.In the case of presence sensors of ultrasound, a pulse of an acoustic signal is emitted and depending of the echo signal delay, the distance from the sensor to the object or objects of the scene. In the case of presence sensors based on laser, the operation is similar but in this case it they use pulses of light instead of acoustic signals, getting Greater reach In the case of infrared sensors, they are allowed detect the presence of objects that are located between the emitter and the infrared receiver In the presence of an object a cut in the visual signal that would be detected in the receiver of infrared
Preferentemente, la extracción de un conjunto de características de las señales captadas por los sensores de presencia comprende la extracción del retardo de la señal de eco, de la potencia de la señal de eco y la presencia o ausencia de la señal infrarroja en el caso de que los sensores de presencia comprendan infrarrojos.Preferably, the extraction of a set of characteristics of the signals captured by the sensors presence includes the extraction of the echo signal delay, from the strength of the echo signal and the presence or absence of the signal infrared in case presence sensors understand infrared
Preferentemente, la selección de un subconjunto de características se realiza mediante LDA (Linear Discriminant Analysis) a partir de las características extraídas de las imágenes capturadas por las señales de vídeo y de las señales captadas por los sensores de presencia. También puede realizarse la selección del subconjunto de características mediante árboles de decisión.Preferably, the selection of a subset of features is done using LDA (Linear Discriminant Analysis) from the characteristics extracted from the images captured by video signals and signals captured by Presence sensors You can also make the selection of subset of features through decision trees.
Preferentemente, el reconocimiento de patrones comprende calcular la distancia entre el subconjunto de características seleccionadas y cada patrón almacenado en la base de datos del sistema, obteniéndose como tipo de objeto detectado aquel cuyo patrón ofrezca una menor distancia con el subconjunto de características.Preferably, pattern recognition comprises calculating the distance between the subset of selected characteristics and each pattern stored in the base of system data, obtaining as the type of object detected that whose pattern offers a smaller distance with the subset of features.
El sistema para representar la presencia de objetos en información acústica binaural, comprende:The system to represent the presence of objects in binaural acoustic information, includes:
- \bullet?
- una pluralidad de cámaras de vídeo configuradas para obtener señales de vídeo de una escena;a plurality of cameras of video configured to obtain video signals from a scene;
- \bullet?
- una pluralidad de sensores de presencia situados en la escena analizada configurados para emitir unas señales;a plurality of sensors of presence located in the analyzed scene configured to emit some signs;
\newpage\ newpage
- \bullet?
- un módulo de extracción de características que comprende:an extraction module of Features that includes:
- \circ\ circ
- un módulo de extracción de características de las secuencias de vídeo configurado para capturar imágenes de la escena a partir de las señales de vídeo obtenidas y para extraer un conjunto de características de las imágenes capturadas por las señales de vídeo, comprendiendo dicha extracción la detección de contornos de los objetos presentes en las imágenes;an extraction module of video stream features set to capture images of the scene from the video signals obtained and to extract a set of features from the images captured by video signals, said extraction comprising the detection of contours of the objects present in the images;
- \circ\ circ
- un módulo de extracción de características de los sensores de presencia configurado para captar las señales que emiten los sensores de presencia y para extraer un conjunto de características de las señales captadas por los sensores de presencia;an extraction module of presence sensor characteristics configured to capture the signals emitted by the presence sensors and to extract a set of characteristics of the signals captured by the sensors of presence;
- \circ\ circ
- un módulo de selección de características configurado para seleccionar un subconjunto de características a partir de las características extraídas de las secuencias de vídeo y de los sensores de presencia;a selection module of features configured to select a subset of characteristics from the characteristics extracted from the video sequences and presence sensors;
- \bullet?
- un módulo de caracterización de los objetos de la escena que comprende:a characterization module of the objects of the scene that includes:
- \circ\ circ
- un módulo de segmentación y clasificación del tipo de objetos presentes en la escena configurado para segmentar cada una de las imágenes capturadas obteniendo los objetos presentes en la escena a partir de la detección de contornos y de una pluralidad de reglas previamente almacenadas en una base de datos del sistema, y para detectar, mediante un reconocimiento de patrones, el tipo de cada objeto presente en la escena analizada a partir del subconjunto de características seleccionadas y de una pluralidad de patrones previamente almacenados en una base de datos del sistema;a segmentation module and classification of the type of objects present in the configured scene to segment each of the captured images obtaining the objects present in the scene from contour detection and of a plurality of rules previously stored in a database of system data, and to detect, by recognizing patterns, the type of each object present in the analyzed scene at from the subset of selected features and a plurality of patterns previously stored in a database of the system;
- \circ\ circ
- un módulo de estimación del tamaño configurado para estimar el tamaño de cada uno de los objetos detectados a partir del subconjunto de características seleccionadas y de una relación de tamaños del tipo de objeto detectado previamente almacenada en una base de datos del sistema;a size estimation module configured to estimate the size of each of the objects detected from the subset of selected features and of a size ratio of the type of object detected previously stored in a system database;
- \circ\ circ
- un módulo de estimación de la distancia a la que se encuentra cada objeto configurado para estimar la distancia a la que se encuentra cada uno de los objetos detectados a partir del subconjunto de características seleccionadas, del tamaño estimado de dicho objeto, del tipo de objeto detectado y de la distancia focal y la ampliación de las cámaras;a module for estimating the distance at which each object configured to estimate is located the distance at which each of the objects is detected from the subset of features selected, of the estimated size of said object, of the type of object detected and focal length and the extension of cameras;
- \circ\ circ
- un módulo de localización de los objetos configurado para localizar cada uno de los objetos de la escena a partir del subconjunto de características seleccionadas, de la distancia a la que se encuentra, de su tamaño y de la distancia focal y la ampliación de las cámaras;a module for locating objects configured to locate each of the objects in the scene from the subset of selected features, of the distance to which it is located, its size and distance focal and magnification of the cameras;
- \bullet?
- una pluralidad de micrófonos omnidireccionales configurados para capturar señales acústicas en la escena;a plurality of microphones omnidirectional configured to capture acoustic signals in the scene;
- \bullet?
- un módulo que representa acústicamente la presencia de objetos en la escena que comprende:a module that represents acoustically the presence of objects in the scene that understands:
- \circ\ circ
- un módulo que codifica información en señales binaurales configurado para generar señales acústicas binaurales con frecuencia y amplitud variable en función del tipo de objeto detectado, de su tamaño, de la distancia a la que se encuentra y de su localización;a module that encodes information in binaural signals configured to generate acoustic signals binaurals with variable frequency and amplitude depending on the type of object detected, of its size, of the distance at which it find and its location;
- \circ\ circ
- un módulo de combinación de señales configurado para combinar las señales acústicas binaurales generadas con las señales acústicas capturadas en la escena.a combination module of signals configured to combine binaural acoustic signals generated with the acoustic signals captured in the scene.
- \bullet?
- una pluralidad de auriculares configurados para emitir las señales acústicas combinadas.a plurality of headphones configured to emit the combined acoustic signals.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
Preferentemente, los sensores de presencia se seleccionan entre:Preferably, the presence sensors are select between:
- \bullet?
- ultrasonidos;ultrasound;
- \bullet?
- infrarrojos;infrared;
- \bullet?
- láser.To be.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
Preferentemente, el módulo de extracción de características de los sensores de presencia comprende la extracción de un conjunto de características de las señales captadas por los sensores de presencia, comprendiendo la extracción del retardo de la señal de eco, de la potencia de la señal de eco y la presencia o ausencia de la señal infrarroja en el caso de que los sensores de presencia comprendan infrarrojos.Preferably, the extraction module of Characteristics of presence sensors include extraction of a set of characteristics of the signals captured by the presence sensors, including delay extraction from the echo signal, the power of the echo signal and the presence or absence of the infrared signal in case the sensors presence understand infrared.
Preferentemente, el módulo de selección de características está configurado para realizar la selección del subconjunto de características mediante LDA (Linear Discriminant Analysis) a partir de las características extraídas de las secuencias de vídeo y de los sensores de presencia.Preferably, the module for selecting features is configured to make the selection of the subset of features using LDA (Linear Discriminant Analysis) from the features extracted from the Video sequences and presence sensors.
No obstante, la selección del subconjunto de características también puede realizarse mediante árboles de decisión.However, the subset selection of features can also be done using trees decision.
Preferentemente, el módulo de segmentación y clasificación del tipo de objetos presentes en la escena está configurado para realizar un reconocimiento de patrones, comprendiendo dicho reconocimiento, calcular la distancia entre el subconjunto de características seleccionadas y cada patrón almacenado en la base de datos del sistema, obteniéndose como tipo de objeto detectado aquel cuyo patrón ofrezca una menor distancia con el subconjunto de características.Preferably, the segmentation module and classification of the type of objects present in the scene is configured to perform pattern recognition, comprising said recognition, calculate the distance between the subset of selected features and each pattern stored in the system database, obtained as a type of object detected the one whose pattern offers a smaller distance with the subset of features.
El problema que resuelve esta invención es la representación acústica binaural de objetos presentes en la escena combinando las señales acústicas de la propia escena con unas señales acústicas generadas tras el procesado de las secuencias de vídeo recogidas con una o varias cámaras de vídeo y tras el procesado de la información captada por varios sensores de presencia. La invención abre expectativas a personas con discapacidad visual: permitiría desarrollar sistemas de percepción binaural que suplieran parcialmente esta discapacidad, incluso llegando al desarrollo de videojuegos accesibles para personas ciegas.The problem that solves this invention is the binaural acoustic representation of objects present in the scene combining the acoustic signals of the scene itself with some acoustic signals generated after the processing of the sequences of video collected with one or several video cameras and after the processing of the information captured by several sensors presence. The invention opens expectations to people with visual impairment: it would allow to develop perception systems binaural that partially replace this disability, including reaching the development of accessible video games for people blind
La invención propuesta podría mejorar la interacción de las personas ciegas con los entornos urbanos. Por ejemplo, en una estación de tren podría ser posible que se perciba acústicamente la presencia de algunos objetos como papeleras, bolsas, mesas o personas.The proposed invention could improve the interaction of blind people with urban environments. By example, in a train station it might be possible to perceive acoustically the presence of some objects such as bins, Bags, tables or people.
A continuación, para facilitar la comprensión de la invención, a modo ilustrativo pero no limitativo se describirá una realización de la invención que hace referencia a una serie de figuras.Then, to facilitate the understanding of the invention, by way of illustration but not limitation, will be described an embodiment of the invention that refers to a series of figures.
La figura 1 muestra el diagrama de bloques de la realización preferida del sistema propuesto.Figure 1 shows the block diagram of the preferred embodiment of the proposed system.
La realización preferente de la invención presenta el diagrama de bloques mostrado en la figura 1. Los módulos que forman esta realización son los siguientes:The preferred embodiment of the invention presents the block diagram shown in figure 1. The modules that form this embodiment are the following:
- \bullet?
- El primer módulo consiste en un módulo de extracción de características 2 de las señales de vídeo obtenidas con una o varias cámaras de vídeo 1 y de las señales de los sensores de presencia 3. Este módulo comprende:The first module consists of a feature extraction module 2 of the video signals obtained with one or several video cameras 1 and the signals of presence sensors 3. This module includes:
- \circ\ circ
- un módulo de extracción de características de las secuencias de vídeo 4. En primer lugar, las secuencias de vídeo se obtienen de una o varias cámaras de vídeo 1 situadas en posiciones similares a la localización de los ojos de una persona. Estas señales de vídeo se digitalizan en secuencias de, al menos, 10 fotogramas por segundo. Para cada uno de los fotogramas obtenidos, se extrae un conjunto de características. Las características principales serían el posicionamiento de las partículas tras realizar un filtrado de partículas y la detección de bordes mediante cambios bruscos en el color, brillo o textura;an extraction module of characteristics of video sequences 4. First, the Video sequences are obtained from one or several video cameras 1 located in positions similar to the location of the eyes of a person. These video signals are digitized in sequences of, At least 10 frames per second. For each of the frames obtained, a set of characteristics is extracted. The main features would be the positioning of the particles after filtering particles and the Edge detection by sudden changes in color, brightness or texture;
- \circ\ circ
- un módulo de extracción de características de las señales de los sensores de presencia 5. Por otro lado, se recogen varias señales de varios sensores de presencia 3, extrayendo las principales características de dichas señales. Los sensores de presencia 3 pueden incorporar diferentes tecnologías como ultrasonidos, infrarrojos o láser. En el caso de ultrasonidos, el mecanismo de funcionamiento se basa en la emisión de un pulso de una señal acústica y en la recepción del eco de dicha señal. Dependiendo del retardo del eco, se estima la distancia del sensor al objeto u objetos de la escena. Los sensores basados en láser tienen un funcionamiento similar pero en este caso utilizan pulsos de luz en lugar de señales acústicas, consiguiendo un mayor alcance. Para hacer un análisis de una escena y detectar todos los posibles objetos presentes, se debe hacer un barrido en vertical y horizontal. Los sensores de infrarrojos permiten detectar la presencia de objetos que se sitúan entre el emisor y el receptor de infrarrojos. En presencia de un objeto se produce un corte en la señal visual que se detecta en el receptor de infrarrojos,an extraction module of characteristics of the presence sensor signals 5. By On the other hand, several signals are collected from several presence sensors 3, extracting the main characteristics of said signals. The presence sensors 3 can incorporate different technologies as ultrasound, infrared or laser. In the case of ultrasound, The operating mechanism is based on the emission of a pulse of an acoustic signal and the echo reception of said signal. Depending on the echo delay, the sensor distance is estimated to the object or objects of the scene. Laser based sensors they have a similar operation but in this case they use pulses of light instead of acoustic signals, getting a greater range. To make an analysis of a scene and detect all possible objects present, a vertical scan should be done and horizontal. Infrared sensors allow detecting the presence of objects that are located between the sender and the receiver of infrared In the presence of an object a cut occurs in the visual signal that is detected in the infrared receiver,
- \circ\ circ
- un módulo de selección de características 6. Después de obtener las características de las secuencias de vídeo y de las señales de presencia, se combinan ambos vectores de características con el fin de obtener un único vector. Esta combinación de características tiene el objetivo de reducir la dimensionalidad mediante técnicas de análisis lineal discriminante o árboles de decisión.a selection module of characteristics 6. After obtaining the characteristics of the video sequences and presence signals, both are combined feature vectors in order to obtain a single vector. This combination of features aims to reduce the dimensionality using discriminant linear analysis techniques or decision trees.
- \bullet?
- El segundo módulo consiste en un módulo de caracterización de los objetos de la escena 7. Este módulo comprende:The second module consists of a characterization module of the objects in scene 7. This module understands:
- \circ\ circ
- un módulo de segmentación y clasificación del tipo de objetos presentes en la escena 8. Según las dimensiones y la forma de cada objeto se puede detectar el tipo de objeto que es (papelera, mesa, o una persona, por ejemplo). La detección del tipo de objeto consiste en un reconocimiento de patrones que, partiendo de las características obtenidas en los módulos de extracción de características 4, 5, decide el tipo de objeto. Este sistema puede estar basado, por ejemplo, en mezclas de gaussianas (modelos Bayesianos) o redes neuronales;a segmentation module and classification of the type of objects present in scene 8. According to The dimensions and shape of each object can be detected type of object that is (trash, table, or a person, for example). The object type detection consists of a recognition of patterns that, based on the characteristics obtained in the feature extraction modules 4, 5, decides the type of object. This system may be based, for example, on mixtures of Gaussians (Bayesian models) or neural networks;
- \circ\ circ
- un módulo de estimación del tamaño 9 de los objetos. Conociendo el tipo de objeto y las relaciones de tamaño entre los diferentes objetos de la escena se puede hacer una estimación del tamaño del objeto. Para este módulo es muy importante la información proporcionada por los sensores de presencia de largo alcance como los láseres;a size estimation module 9 of the objects. Knowing the type of object and the relationships of size between the different objects in the scene you can make a Object size estimation. For this module it is very important the information provided by the long presence sensors reach like lasers;
- \circ\ circ
- un módulo de estimación de la distancia a la que se encuentra cada objeto 10. Conociendo el tipo de objeto, una estimación de su tamaño, la distancia focal y la ampliación (el enfoque) de las cámaras y las dimensiones del objeto percibidas por las cámaras se puede estimar la distancia al objeto detectado mediante relaciones trigonométricas,a module for estimating the distance at which each object is 10. Knowing the type of object, an estimate of its size, focal length and magnification (focus) of cameras and object dimensions perceived by the cameras you can estimate the distance to the object detected by trigonometric relationships,
- \circ\ circ
- un módulo de localización de los objetos 11. A partir de las características extraídas de las secuencias de fotogramas (mediante técnicas como, por ejemplo, el filtro de partículas o el filtro de Kalman) y de la información de los sensores de presencia se puede localizar la presencia de objetos en la escena. Esta información, junto con la información de la distancia al objeto (obtenida en el módulo anterior), permite posicionar completamente al objeto. La evolución de esta posición a lo largo del tiempo nos pueda dar información sobre el movimiento de dicho objeto. Mientras el análisis de las secuencias de vídeo permiten obtener estimaciones groseras de la localización y de la distancia a cada uno de los objetos de la escena en todas las situaciones posibles, los sensores de presencia permiten hacer estimaciones más fiables pero sólo cuando la localización del objeto, en relación con los sensores de presencia, es apropiada.a module for locating objects 11. From the characteristics extracted from the frame sequences (using techniques such as the particle filter or Kalman filter) and information Presence sensors can locate the presence of objects In the scene. This information, together with the information of the distance to the object (obtained in the previous module), allows position the object completely. The evolution of this position to over time you can give us information about the movement of said object. While analyzing the video sequences allow to obtain gross estimates of the location and the distance to each of the objects in the scene in all possible situations, presence sensors allow to make more reliable estimates but only when the location of the object, in relation to the presence sensors, is appropriate.
- \bullet?
- Finalmente, el tercer módulo representa acústicamente la presencia de objetos en la escena 12. Este módulo comprende:Finally, the third module acoustically represents the presence of objects in scene 12. This module includes:
- \circ\ circ
- un módulo que codifica información en señales binaurales 13. Las características de los objetos se codifican en señales binaurales de la siguiente manera:a module that encodes information in binaural signals 13. The characteristics of the objects are encode in binaural signals as follows:
- \sqbullet\ sqbullet
- El tamaño del objeto y el tipo del objeto determinarán la frecuencia o frecuencias de la señal generada, pudiendo asociar segmentos de audio (con voz o música) a la presencia de un determinado objeto.Object size and type of the object will determine the frequency or frequencies of the signal generated, being able to associate audio segments (with voice or music) to the presence of a certain object.
- \sqbullet\ sqbullet
- La distancia estimada al objeto se puede codificar mediante la intensidad de la señal binaural generada, y también, mediante la mayor o menor cadencia de los pitidos, en el caso de que la señal generada sea intermitente.The estimated distance to object can be encoded by signal strength binaural generated, and also, by the greater or lesser cadence of the beeps, in case the generated signal is intermittent.
- \sqbullet\ sqbullet
- La localización aproximada del objeto se codificará mediante la oportuna excitación de las señales binaurales, introduciendo las modificaciones y retardos necesarios entre una y otra señal: la percibida con uno u otro oído.The approximate location of the object will be coded by the appropriate excitation of the signals binaural, introducing the necessary modifications and delays between one and another signal: the one perceived with one or the other ear.
- \sqbullet\ sqbullet
- Finalmente, la movilidad del objeto se representa mediante variaciones de la frecuencia en coherencia con los cambios de la localización del objeto.Finally, the mobility of object is represented by frequency variations in Consistency with changes in the location of the object.
- \circ\ circ
- un módulo de combinación de señales 14. Las señales generadas artificialmente se deben añadir a los eventos acústicos que se produzcan en la escena (capturados por dos micrófonos omnidireccionales 15 situados en la posición de los oídos de una persona) dando lugar a un sistema de realidad aumentada de audio que genera señales binaurales por dos auriculares 16.a combination module of signals 14. Artificially generated signals must be added to the acoustic events that occur in the scene (captured by two omnidirectional microphones 15 located in the position of the ears of a person) giving rise to an augmented reality system audio that generates binaural signals by two headphones 16.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
Una vez descrita de forma clara la invención, se hace constar que las realizaciones particulares anteriormente descritas son susceptibles de modificaciones de detalle siempre que no alteren el principio fundamental y la esencia de la invención.Once the invention has been clearly described, notes that the particular realizations above described are subject to modifications of detail provided that do not alter the fundamental principle and the essence of the invention.
Claims (10)
- a)to)
- obtener señales de vídeo de una escena;get video signals from a scene;
- b)b)
- capturar imágenes de la escena a partir de las señales de vídeo obtenidas;capture images of the scene from of the video signals obtained;
- c)C)
- captar las señales que emiten unos sensores de presencia (3) situados en la escena analizada;pick up the signals emitted by presence sensors (3) located in the analyzed scene;
- d)d)
- extraer un conjunto de características de las imágenes capturadas por las señales de vídeo, comprendiendo dicha extracción la detección de contornos de los objetos presentes en las imágenes;extract a set of features of the images captured by the video signals, comprising said extraction the detection of contours of the present objects in the pictures;
- e)and)
- extraer un conjunto de características de las señales captadas por los sensores de presencia (3);extract a set of features of the signals captured by the presence sensors (3);
- f)F)
- seleccionar un subconjunto de características a partir de las características extraídas en las etapas d y e;select a subset of characteristics from the characteristics extracted in the stages d and e;
- g)g)
- segmentar cada una de las imágenes capturadas obteniendo los objetos presentes en la escena a partir de la detección de contornos realizado en la etapa d junto con una pluralidad de reglas previamente almacenadas en una base de datos del sistema;segment each of the images captured by obtaining the objects present in the scene from contour detection performed in stage d together with a plurality of rules previously stored in a database of the system;
- h)h)
- detectar mediante un reconocimiento de patrones el tipo de cada objeto presente en la escena analizada a partir del subconjunto de características seleccionadas y de una pluralidad de patrones previamente almacenados en una base de datos del sistema;detect by recognition of patterns the type of each object present in the analyzed scene at from the subset of selected features and a plurality of patterns previously stored in a database of the system;
- i)i)
- estimar el tamaño de cada uno de los objetos detectados a partir del subconjunto de características seleccionadas y de una relación de tamaños del tipo de objeto detectado previamente almacenada en una base de datos del sistema;estimate the size of each of the objects detected from the subset of features selected and of a relation of sizes of the object type previously detected stored in a database of system;
- j)j)
- estimar la distancia a la que se encuentra cada uno de los objetos detectados a partir del subconjunto de características seleccionadas, del tamaño estimado de dicho objeto, del tipo de objeto detectado y de la distancia focal y ampliación de las cámaras;estimate the distance at which find each of the objects detected from the subset of selected characteristics, of the estimated size of said object, the type of object detected and the focal length and camera expansion;
- k)k)
- localizar cada uno de los objetos de la escena a partir del subconjunto de características seleccionadas, de la distancia a la que se encuentra, de su tamaño y la distancia focal y ampliación de las cámaras;locate each of the objects of the scene from the subset of selected features, of the distance you are, your size and the distance focal and magnification of the cameras;
- l)l)
- generar señales acústicas binaurales con frecuencia y amplitud variable en función del tipo de objeto detectado, de su tamaño, de la distancia a la que se encuentra y de su localización;generate binaural acoustic signals with variable frequency and amplitude depending on the type of object detected, of its size, of the distance at which it is located and of its location;
- m)m)
- capturar señales acústicas en la escena mediante una pluralidad de micrófonos omnidireccionales (15);capture acoustic signals in the scene through a plurality of omnidirectional microphones (fifteen);
- n)n)
- combinar las señales acústicas binaurales generadas con las señales acústicas capturadas en la escena;combine the acoustic signals binaurals generated with the acoustic signals captured in the scene;
- o)or)
- emitir las señales acústicas combinadas.emit the acoustic signals combined.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
- \bullet?
- ultrasonidos;ultrasound;
- \bullet?
- infrarrojos;infrared;
- \bullet?
- láser.To be.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
infrarrojos.3. Method for representing the presence of objects in binaural acoustic information, according to any of the preceding claims, characterized in that the extraction of a set of characteristics of the signals captured by the presence sensors (3), comprises the extraction of the delay of the echo signal, of the power of the echo signal and the presence or absence of the infrared signal in case the presence sensors understand
infrared
- \bullet?
- una pluralidad de cámaras de vídeo (1) configuradas para obtener señales de vídeo de una escena;a plurality of cameras of video (1) configured to obtain video signals from a scene;
- \bullet?
- una pluralidad de sensores de presencia (3) situados en la escena analizada configurados para emitir unas señales;a plurality of sensors of presence (3) located in the analyzed scene configured for emit some signals;
- \bullet?
- un módulo de extracción de características (2) que comprende:an extraction module of features (2) comprising:
- \circ\ circ
- un módulo de extracción de características de las secuencias de vídeo (4) configurado para capturar imágenes de la escena a partir de las señales de vídeo obtenidas y para extraer un conjunto de características de las imágenes capturadas por las señales de vídeo, comprendiendo dicha extracción la detección de contornos de los objetos presentes en las imágenes;an extraction module of video stream characteristics (4) configured to capture scene images from video signals obtained and to extract a set of characteristics of the images captured by video signals, said said extraction the detection of contours of the objects present in the images;
- \circ\ circ
- un módulo de extracción de características de los sensores de presencia (5) configurado para captar las señales que emiten los sensores de presencia (3) y para extraer un conjunto de características de las señales captadas por los sensores de presencia (3);an extraction module of presence sensor characteristics (5) configured to to capture the signals emitted by the presence sensors (3) and to extract a set of characteristics of the signals captured by presence sensors (3);
- \circ\ circ
- un módulo de selección de características (6) configurado para seleccionar un subconjunto de características a partir de las características extraídas de las secuencias de vídeo y de los sensores de presencia (3);a selection module of features (6) configured to select a subset of characteristics from the characteristics extracted from the video sequences and presence sensors (3);
- \bullet?
- un módulo de caracterización de los objetos de la escena (7) que comprende:a characterization module of the objects of the scene (7) comprising:
- \circ\ circ
- un módulo de segmentación y clasificación del tipo de objetos presentes en la escena (8) configurado para segmentar cada una de las imágenes capturadas obteniendo los objetos presentes en la escena a partir de la detección de contornos y de una pluralidad de reglas previamente almacenadas en una base de datos del sistema, y para detectar mediante un reconocimiento de patrones el tipo de cada objeto presente en la escena analizada a partir del subconjunto de características seleccionadas y de una pluralidad de patrones previamente almacenados en una base de datos del sistema;a segmentation module and classification of the type of objects present in the scene (8) configured to segment each of the captured images obtaining the objects present in the scene from the detection of contours and a plurality of rules previously stored in a system database, and to detect through pattern recognition the type of each object present in the scene analyzed from the subset of selected characteristics and a plurality of patterns previously stored in a system database;
- \circ\ circ
- un módulo de estimación del tamaño (9) configurado para estimar el tamaño de cada uno de los objetos detectados a partir del subconjunto de características seleccionadas y de una relación de tamaños del tipo de objeto detectado previamente almacenada en una base de datos del sistema;a size estimation module (9) configured to estimate the size of each of the objects detected from the subset of selected features and of a size ratio of the type of object detected previously stored in a system database;
- \circ\ circ
- un módulo de estimación de la distancia a la que se encuentra cada objeto (10) configurado para estimar la distancia a la que se encuentra cada uno de los objetos detectados a partir del subconjunto de características seleccionadas, del tamaño estimado de dicho objeto, del tipo de objeto detectado y de la distancia focal y ampliación de las cámaras;a module for estimating the distance at which each object (10) is set to estimate the distance at which each of the objects is detected from the subset of features selected, of the estimated size of said object, of the type of object detected and focal length and extension of cameras;
- \circ\ circ
- un módulo de localización de los objetos (11) configurado para localizar cada uno de los objetos de la escena a partir del subconjunto de características seleccionadas, de la distancia a la que se encuentra, de su tamaño y de la distancia focal y la ampliación de las cámaras;a module for locating objects (11) configured to locate each of the objects of the scene from the subset of selected features, of the distance to which it is located, its size and the focal length and magnification of the cameras;
- \bullet?
- una pluralidad de micrófonos omnidireccionales (15) configurados para capturar señales acústicas en la escena;a plurality of microphones omnidirectional (15) configured to capture acoustic signals In the scene;
- \bullet?
- un módulo que representa acústicamente la presencia de objetos en la escena (12) que comprende:a module that represents acoustically the presence of objects in the scene (12) that understands:
- \circ\ circ
- un módulo que codifica información en señales binaurales (13) configurado para generar señales acústicas binaurales con frecuencia y amplitud variable en función del tipo de objeto detectado, de su tamaño, de la distancia a la que se encuentra y de su localización;a module that encodes information in binaural signals (13) configured to generate signals Binaural acoustics with variable frequency and amplitude depending on the type of object detected, its size, the distance at which It is located and its location;
- \circ\ circ
- un módulo de combinación de señales (14) configurado para combinar las señales acústicas binaurales generadas con las señales acústicas capturadas en la escena.a combination module of signals (14) configured to combine the acoustic signals binaurals generated with the acoustic signals captured in the scene.
- \bullet?
- una pluralidad de auriculares (16) configurados para emitir las señales acústicas combinadas.a plurality of headphones (16) configured to emit the acoustic signals combined.
\newpage\ newpage
- \bullet?
- ultrasonidos;ultrasound;
- \bullet?
- infrarrojos;infrared;
- \bullet?
- láser.To be.
\vskip1.000000\baselineskip\ vskip1.000000 \ baselineskip
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201031108A ES2351330A1 (en) | 2010-07-20 | 2010-07-20 | Method and system to represent the presence of objects in binaural acoustic information (Machine-translation by Google Translate, not legally binding) |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201031108A ES2351330A1 (en) | 2010-07-20 | 2010-07-20 | Method and system to represent the presence of objects in binaural acoustic information (Machine-translation by Google Translate, not legally binding) |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2351330A1 true ES2351330A1 (en) | 2011-02-03 |
Family
ID=43479168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201031108A Pending ES2351330A1 (en) | 2010-07-20 | 2010-07-20 | Method and system to represent the presence of objects in binaural acoustic information (Machine-translation by Google Translate, not legally binding) |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2351330A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2523340C2 (en) * | 2012-11-13 | 2014-07-20 | Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича" | Method for acoustic representation of spatial information for users |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5097326A (en) * | 1989-07-27 | 1992-03-17 | U.S. Philips Corporation | Image-audio transformation system |
| GB2378301A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Personal object recognition system for visually impaired persons |
| US20080058894A1 (en) * | 2006-08-29 | 2008-03-06 | David Charles Dewhurst | Audiotactile Vision Substitution System |
-
2010
- 2010-07-20 ES ES201031108A patent/ES2351330A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5097326A (en) * | 1989-07-27 | 1992-03-17 | U.S. Philips Corporation | Image-audio transformation system |
| GB2378301A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Personal object recognition system for visually impaired persons |
| US20080058894A1 (en) * | 2006-08-29 | 2008-03-06 | David Charles Dewhurst | Audiotactile Vision Substitution System |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2523340C2 (en) * | 2012-11-13 | 2014-07-20 | Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича" | Method for acoustic representation of spatial information for users |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tapu et al. | Wearable assistive devices for visually impaired: A state of the art survey | |
| US10045120B2 (en) | Associating audio with three-dimensional objects in videos | |
| US9749738B1 (en) | Synthesizing audio corresponding to a virtual microphone location | |
| US20180103248A1 (en) | Motion Sensor | |
| JP6017854B2 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
| JP7347597B2 (en) | Video editing device, video editing method and program | |
| KR20150021522A (en) | Method and device for implementing stereo imaging | |
| CN107949866A (en) | Image processing apparatus, image processing system and image processing method | |
| CN106651873B (en) | One kind detecting glasses based on RGB-D camera and stereosonic visually impaired people's zebra stripes | |
| JP2006251596A (en) | Support device for visually handicapped person | |
| KR20210025835A (en) | Wearable device using stereo camera and infrared sensor for the visually impaired | |
| WO2022179453A1 (en) | Sound recording method and related device | |
| CN105761235A (en) | Vision auxiliary method converting vision information to auditory information | |
| JP2015194915A (en) | Moving body tracking apparatus, moving body tracking method, moving body tracking system, and camera | |
| JP6822571B2 (en) | Terminal device, risk prediction method, program | |
| Vorapatratorn et al. | Fast obstacle detection system for the blind using depth image and machine learning. | |
| Minhas et al. | X-EYE: A bio-smart secure navigation framework for visually impaired people | |
| Nagarajan et al. | Role of object identification in sonification system for visually impaired | |
| WO2015198284A1 (en) | Reality description system and method | |
| ES2351330A1 (en) | Method and system to represent the presence of objects in binaural acoustic information (Machine-translation by Google Translate, not legally binding) | |
| US20230103650A1 (en) | System and method for providing scene information | |
| JP2005295181A (en) | Voice information generating apparatus | |
| Saad et al. | End-to-end driver distraction recognition using novel low lighting support dataset | |
| WO2023069988A1 (en) | Anchored messages for augmented reality | |
| Kandoth et al. | Dhrishti: a visual aiding system for outdoor environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FC2A | Grant refused |
Effective date: 20111028 |