DE102019219908B4 - Verfahren zur fotografischen Erfassung eines Ohrs - Google Patents
Verfahren zur fotografischen Erfassung eines Ohrs Download PDFInfo
- Publication number
- DE102019219908B4 DE102019219908B4 DE102019219908.9A DE102019219908A DE102019219908B4 DE 102019219908 B4 DE102019219908 B4 DE 102019219908B4 DE 102019219908 A DE102019219908 A DE 102019219908A DE 102019219908 B4 DE102019219908 B4 DE 102019219908B4
- Authority
- DE
- Germany
- Prior art keywords
- camera
- user
- ear
- recordings
- procedure according
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012937 correction Methods 0.000 claims abstract description 8
- 230000001960 triggered effect Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 3
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000002329 infrared spectrum Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241000746998 Tragus Species 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/65—Housing parts, e.g. shells, tips or moulds, or their manufacture
- H04R25/658—Manufacture of housing parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/77—Design aspects, e.g. CAD, of hearing aid tips, moulds or housings
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Acoustics & Sound (AREA)
- Studio Devices (AREA)
Abstract
Verfahren zur fotografischen Erfassung eines Ohrs (32) eines Nutzers unter Nutzung einer durch den Nutzer handgeführten Kamera (1, 2, 4), wobei verfahrensgemäß- der Nutzer angewiesen wird, manuell die Kamera (1, 2, 4) zur Erfassung seines Gesichts (12) in eine Startposition zu positionieren,- mittels der Kamera (1, 2, 4) das Gesicht (12) des Nutzers erfasst wird,- in Abhängigkeit von der Erfassung des Gesichts (12) ein Korrekturbedarf für die Startposition ermittelt wird,- gegebenenfalls der Nutzer angewiesen wird, die Startposition in Abhängigkeit des Korrekturbedarfs zu verändern,- der Nutzer angewiesen wird, die Kamera (1, 2, 4) manuell in eine Zielposition, in der die Kamera (1, 2, 4) zur Aufnahme des Ohrs (32) des Nutzers ausgerichtet ist, zu bewegen,- ein Schätzwert für eine aktuelle Position der Kamera (1, 2, 4) ermittelt wird,- bei Zusammenfallen der aktuellen Position mit der Zielposition eine Anzahl von fotografischen Aufnahmen ausgelöst wird, und- anhand der Anzahl von fotografischen Aufnahmen eine Tiefeninformation über das Ohr (32) des Nutzers abgeleitet wird.
Description
- Die Erfindung betrifft ein Verfahren zur fotografischen Erfassung eines Ohrs. Des Weiteren betrifft die Erfindung eine Kamera, die dazu eingerichtet ist, das Verfahren durchzuführen.
- Die Kenntnis der anatomischen Eigenschaften eines Ohrs einer spezifischen Person ist insbesondere für die Anpassung von Hörinstrumenten, insbesondere Hörhilfegeräten, im Folgenden kurz als „Hörgeräte“ bezeichnet, von Vorteil. Üblicherweise sucht eine Person mit Bedarf für einen solches Hörgerät einen Hörgeräteakustiker oder Audiologen auf, der nach Auswahl eines geeigneten Hörgeräte-Modells häufig eine Anpassung auf die Anatomie der entsprechenden Person vornimmt. Beispielsweise wird insbesondere bei einem hinter dem Ohr zu tragenden Hörgerät die Länge eines Hörerverbindungsmittels - beispielsweise eines Schallschlauchs oder eines Lautsprecherkabels - an die Größe der Ohrmuschel angepasst oder insbesondere für ein in dem Ohr zu tragendes Hörgerät eine sogenannte Otoplastik erstellt. Ebenso kann eine geeignete Größe für ein entsprechendes Ohrstück (häufig auch als „eardome“ bezeichnet) ausgewählt werden.
- Um den Besuch beim Hörgeräteakustiker zu vermeiden sowie gegebenenfalls auch eine vergleichsweise aufwändige sowie kostenintensive Anpassung eines Hörgeräts durch einen Hörgeräteakustiker vermeiden zu können, entwickelt sich derzeit auch ein Markt für nicht oder nur in geringem Ausmaß anpassbare Hörgeräte oder auch für eine Anpassung per „Fernwartung“. In letzterem Fall ist meist eine Art Videokonferenz mit einem Hörgeräteakustiker erforderlich, bei der dieser das Ohr der Person, d. h. also des (künftigen) Hörgeräteträgers, in Augenschein nehmen kann. Beispielsweise ist aus
EP 1 703 770 A1 bekannt, dass ein Hörgeräteträger mit einer Kamera ein Bild seines Ohrs erstellt und ihm anschließend in diesem Bild ein Hörgerät in einer bestimmungsgemäßen Trageposition an seinem Ohr simuliert dargestellt wird. Ebenso kann, für den Fall, dass der Hörgeräteträger ein Hörgerät trägt, anhand dieses Bildes der korrekte Sitz des Hörgeräts überprüft werden. - Gemäß
WO 2019/129709 A1 wird ein Verfahren zur Bestimmung einer dreidimensionalen Form eines Einsatzes zum Einsetzen in ein Ohr bereitgestellt. Das Verfahren umfasst das Empfangen von Bilddaten, die einem zweidimensionalen Bild eines Ohrs entsprechen, das Verarbeiten der Bilddaten, um mindestens ein biometrisches Merkmal des Ohrs zu messen, wobei das mindestens eine biometrische Merkmal eine dreidimensionale Form von mindestens einem Teil des Ohrs anzeigt, und das Bestimmen einer dreidimensionalen Form eines Einsatzes zum Einsetzen in das Ohr durch Abgleichen des mindestens einen biometrischen Merkmals mit einer aus einer Mehrzahl von vorgespeicherten dreidimensionalen Formen. Jede vorgespeicherte dreidimensionale Form entspricht einem entsprechenden Ohr. - Gemäß
US 2017/0318380 A1 umfassen ein Verfahren und ein System zur Größenanpassung eines Ohrstücks das Anbringen einer Kalibrierungsvorrichtung in der Nähe des Ohrs eines Benutzers. Der Benutzer hält eine Bilderfassungsvorrichtung so, dass die Bilderfassungsvorrichtung auf das Ohr des Benutzers gerichtet ist. Der Benutzer berührt und hält dann einen beliebigen Bereich des Touchscreen-Displays und lässt das Touchscreen-Display los, um die Bildaufnahmevorrichtung zu aktivieren und ein Bild des Ohrs des Benutzers und der Kalibrierungsvorrichtung aufzunehmen. Das aufgenommene Bild wird dann analysiert und eine Ohrstückgröße wird basierend auf der Analyse des Bildes bestimmt. - Der Erfindung liegt die Aufgabe zugrunde, bessere Möglichkeiten zur Anpassung von Hörgeräten bereitzustellen.
- Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Des Weiteren wird diese Aufgabe erfindungsgemäß gelöst durch eine Kamera mit den Merkmalen des Anspruchs 10. Vorteilhafte und teils für sich erfinderische Weiterentwicklungen und Ausführungsformen der Erfindung sind in den Unteransprüchen und der nachfolgenden Beschreibung dargelegt.
- Das erfindungsgemäße Verfahren dient zur fotografischen Erfassung eines Ohrs eines Nutzers - beispielsweise eines Hörgeräteträgers - unter Nutzung einer durch den Nutzer handgeführten Kamera. Verfahrensgemäß wird dabei der Nutzer zunächst angewiesen, manuell die Kamera zur Erfassung seines Gesichts in eine Startposition zu positionieren (d. h. in diese Startposition zu bringen). Diese Startposition ist vorzugsweise frontal zum Gesicht des Nutzers ausgerichtet und kann deshalb auch als „Selfie-Position“ bezeichnet werden. Mittels der Kamera wird in dieser Startposition das Gesicht des Nutzers erfasst, vorzugsweise indem eine fotografische Aufnahme von dem Gesicht getätigt wird. In Abhängigkeit von der Erfassung des Gesichts wird ein Korrekturbedarf für die Startposition ermittelt und gegebenenfalls - d. h. falls Korrekturbedarf besteht - der Nutzer angewiesen, die Startposition in Abhängigkeit des Korrekturbedarfs zu verändern. Mit anderen Worten wird anhand des erfassten Gesichts ermittelt, ob die Kamera in ihrer Startposition korrekt (insbesondere bestimmungsgemäßen) gegenüber dem Gesicht des Nutzers ausgerichtet ist. Anschließend wird der Nutzer angewiesen, die Kamera manuell - vorzugsweise entlang einer vorgegebenen Bahn, beispielsweise näherungsweise einer Kreisbahn, indem er die Kamera mit ausgestrecktem Arm führt - in eine Zielposition, in der die Kamera zur Aufnahme des Ohrs des Nutzers ausgerichtet ist, zu bewegen. Vorzugsweise während der Nutzer die Kamera in die Zielposition bewegt, wird daraufhin ein Schätzwert für eine aktuelle Position der Kamera ermittelt und bei Zusammenfallen der aktuellen Position mit der Zielposition eine Anzahl von fotografischen Aufnahmen ausgelöst. Anhand dieser Anzahl von fotografischen Aufnahmen wird anschließend eine Tiefeninformation über das Ohr des Nutzers abgeleitet.
- Vorzugsweise wird also eine Art 3D-Karte des Ohrs des Nutzers aus den fotografischen Aufnahmen erstellt.
- Das vorstehend beschriebene Verfahren ermöglicht einem Nutzer, beispielsweise für die Anpassung eines Hörgeräts auf einfache Weise fotografische Aufnahmen zu erstellen, die mit hoher Wahrscheinlichkeit auch sein Ohr abbilden, ohne dass der Nutzer die Aufnahmen selbst auslösen und dabei die Kamera auch selbst ausrichten braucht. Zusätzlich wird auch ein hoher Informationsgehalt, der sich aus der Tiefeninformation ergibt auf entsprechende einfache Weise ermöglicht.
- In einer zweckmäßigen Verfahrensvariante wird der Schätzwert für die aktuelle Position der Kamera mittels Positionierungssensoren, die der Kamera zugeordnet sind, ermittelt. Vorzugsweise werden als solche Positionierungssensoren Beschleunigungssensoren und/oder vergleichbare Sensoren, zum Beispiel gyroskopischen Sensoren herangezogen. In diesem Fall wird der Schätzwert vorzugsweise ausgehend von der Startposition anhand einer mittels solcher Sensoren erfassbaren Positionsänderung bestimmt. Beispielweise können auch mehrere unterschiedliche Sensoren zu einem inertialen Messsystem kombiniert werden. Beispielsweise kann auch ein Erdmagnetfeld-Sensor zur absoluten Positionsbestimmung herangezogen werden.
- In einer bevorzugten Weiterbildung der vorstehend beschriebenen Verfahrensvariante wird, wenn aufgrund des Schätzwertes eine Annäherung der aktuellen Position die Zielposition ermittelt wird, mittels der Kamera eine Zahl fotografischer Aufnahmen ausgelöst und diese Zahl von Aufnahmen dahingehend analysiert, ob das Ohr des Nutzers in der oder zumindest einer der gegebenenfalls mehreren Aufnahmen enthalten ist. Ist letzteres der Fall, wird insbesondere davon ausgegangen, dass die Zielposition erreicht ist und die vorstehend beschriebene Anzahl von fotografischen Aufnahmen ausgelöst.
- In einer zweckmäßigen Fortführung der vorstehend beschriebenen Weiterbildung wird die Zahl von Aufnahmen insbesondere zur Bestimmung, ob die Zielposition erreicht ist, dahingehend analysiert, ob die Kamera mit ihrer optischen Achse im Wesentlichen (optional näherungsweise oder exakt) senkrecht zu einer Sagittalebene ausgerichtet ist und dabei insbesondere auch in einer das Ohr des Nutzers schneidenden Frontalebene liegend angeordnet ist. Optional kann dabei als Zielposition aber auch ein Bereich angenommen werden, der bis zu 10 Grad ventral oder dorsal gegen die Frontalebene angestellt ist. Dies kann bspw. zweckmäßig sein, um die Tiefeninformation aus mehreren unter einem Winkel zueinander stehenden Aufnahmen zu generieren.
- In einer alternativen oder optional auch zusätzlichen Verfahrensvariante werden während der Bewegung der Kamera in Richtung auf die Zielposition mittels der Kamera fotografische Aufnahmen ausgelöst und diese Aufnahmen dahingehend analysiert, ob das Ohr des Nutzers in Aufnahmen enthalten ist. In diesem Fall wird also der Schätzwert für die aktuelle Position der Kamera „optisch“ insbesondere mittels Bilderkennungsverfahren ermittelt. Das Erreichen der Zielposition wird hierbei analog zu dem vorstehend beschriebenen Verfahrensvarianten bzw. Weiterbildungen detektiert, nämlich wenn das Ohr in wenigstens einer der Aufnahmen enthalten ist und vorzugsweise auch erfasst werden kann, dass die optische Achse der Kamera wie vorstehend beschrieben ausgerichtet ist.
- In einer bevorzugten Verfahrensvariante wird als Kamera ein Smartphone eingesetzt das wenigstens eine Kamera, vorzugsweise wenigstens eine Frontkamera umfasst. Die Anweisungen an den Nutzer zur Ausrichtung und zur Bewegung der Kamera werden hierbei vorzugsweise akustisch und/oder mittels des Bildschirms des Smartphones ausgegeben.
- Vorzugsweise wird, wenn die Zielposition der Kamera erreicht ist, der Nutzer angewiesen, die Kamera in dieser Position zu halten oder gegebenenfalls in dem vorstehend beschriebenen Zielbereich der Zielposition - bevorzugt unter Ausgabe von entsprechenden Anweisungen - geringfügig zu bewegen.
- In einer zweckmäßigen Verfahrensvariante wird - vorzugsweise zusätzlich zum sichtbaren Spektralbereich - zumindest ein Anteil des Infrarotspektrums, insbesondere der nahinfrarote Spektralbereich, erfasst und zur Erstellung der Tiefeninformation in der Anzahl der Aufnahmen des Ohrs herangezogen. Optional wird hierbei der entsprechende Anteil des Infrarotspektrums mittels ein- und desselben Sensors erfasst. Alternativ wird der entsprechende Anteil des Spektrums mit einem zusätzlichen Sensor, der vorzugsweise ausschließlich zur Erfassung dieses Anteils eingerichtet ist, erfasst. Beispielsweise kann die Tiefeninformation durch Auswertung der jeweiligen Fokuslagen des sichtbaren Spektralbereichs und des Infrarotspektrums abgeleitet werden.
- In einer weiteren zweckmäßigen Verfahrensvariante werden zusätzlich zu der Tiefeninformation aus der Anzahl der Aufnahmen des Ohrs auch geometrische Grö-ßeninformationen über das Ohr abgeleitet. Beispielsweise wird hierbei ein Durchmesser des Gehörgangs, eine Größe der Pinna, der Helix, der Anthelix, des Tragus und/oder des Antitragus ermittelt. Dies erfolgt insbesondere durch Merkmalsextraktion aus der oder der jeweiligen Aufnahme. Eine derartige Merkmalsextraktion ist bspw. aus Anwar AS, Ghany KK, Elmahdy H (2015), Human ear recognition using geometrical features extraction, Procedia Comput Sci 65:529-537, bekannt.
- In einer zweckmäßigen Verfahrensvariante werden die Anzahl der Aufnahmen des Ohrs, die Tiefeninformation und/oder Größeninformationen anschließend an einen Hörgerätedatendienst übermittelt. Bei diesem Hörgerätedatendienst handelt es sich beispielsweise um eine Datenbank eines Hörgeräteakustikers, Audiologen und/oder Hörgeräte-Herstellers, auf der die entsprechenden Daten zumindest zwischengespeichert werden und beispielsweise zur gegebenenfalls späteren Analyse durch den Hörgeräteakustiker, insbesondere zur Anpassung eines Hörgeräts, dienen.
- In einer zweckmäßigen Verfahrensvariante wird insbesondere für den Fall, dass mehrere Aufnahmen des Ohrs getätigt werden, automatisch oder durch Auswahl durch den Nutzer eine Aufnahme ausgewählt und zur Übermittlung und/oder Analyse herangezogen.
- In einer optionalen Verfahrensvariante wird zumindest eine der Aufnahmen genutzt, um den Sitz eines (während der Aufnahme getragenen) Hörgeräts am Ohr durch einen entsprechenden Spezialisten, insbesondere den Hörgeräteakustiker, nach Übermittlung der entsprechenden Daten überprüfen zu lassen.
- Weiter optional kann anhand der Bilder auch eine farbliche Abstimmung eines an den Nutzer anzupassenden Hörgeräts erfolgen. Auch kann zweckmäßigerweise eine Simulation eines Hörgeräts im Tragezustand am Ohr des Nutzers angezeigt werden, so dass der Nutzer sich selbst ein Bild von seinem Aussehen mit Hörgerät bilden kann.
- Die erfindungsgemäße Kamera, bei der sich vorzugsweise das vorstehend beschriebene Smartphone handelt, umfasst ein Steuergerät, das dazu eingerichtet ist, dass vorstehend beschriebene Verfahren insbesondere in Interaktion mit dem Nutzer automatisch durchzuführen.
- Die vorstehend beschriebenen Positionierungssensoren sind hierbei vorzugsweise Teil der Kamera, insbesondere des Smartphones selbst.
- In einer zweckmäßigen Ausführung ist das Steuergerät (auch als „Controller“ bezeichnet) zumindest im Kern durch einen Mikrocontroller mit einem Prozessor und einem Datenspeicher gebildet, in dem die Funktionalität zur Durchführung des erfindungsgemäßen Verfahrens in Form einer Betriebssoftware (Firmware oder Applikation, bspw. eine Smartphone-App) programmtechnisch implementiert ist, so dass das Verfahren - insbesondere in Interaktion mit dem Nutzer - bei Ausführung der Betriebssoftware in dem Mikrocontroller automatisch durchgeführt wird. Grundsätzlich kann der Controller im Rahmen der Erfindung alternativ aber auch durch ein nicht-programmierbares elektronisches Bauteil, z.B. einen ASIC, gebildet sein, in dem die Funktionalität zur Durchführung des erfindungsgemäßen Verfahrens mit schaltungstechnischen Mitteln implementiert ist.
- Die Konjunktion „und/oder“ ist hier und im Folgenden insbesondere derart zu verstehen, dass die mittels dieser Konjunktion verknüpften Merkmale sowohl gemeinsam als auch als Alternativen zueinander ausgebildet sein können.
- Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:
-
1 in einem schematischen Ablaufdiagramm einen Ablauf eines Verfahrens zur fotografischen Erfassung eines Ohrs eines Nutzers mittels einer handgeführten Kamera, -
2 in einer schematischen Darstellung die Kamera in einer Startposition, -
3 in einer schematischen Darstellung die Kamera während einer Bewegung zu einer Zielposition, -
4 in einer schematischen Darstellung die Kamera in einer Zielposition bei der fotografischen Erfassung des Ohrs, und -
5 in einer schematischen Darstellung eine Merkmalsextraktion, die auf einer fotografischen Aufnahme des Ohrs durchgeführt wird. - Einander entsprechende Teile sind in allen Figuren stets mit gleichen Bezugszeichen versehen.
- In
1 ist schematisch ein Verfahren zur fotografischen Erfassung eines Ohrs eines Nutzers mittels einer in2-4 dargestellten Kamera 1 dargestellt. Die Kamera 1 ist dabei durch ein Smartphone 2 mit einer - im dargestellten Ausführungsbeispiel zwei (Bild-) Sensoren umfassenden - Front-Kamera 4 (oder: „Selfie-Kamera“) gebildet. Zu Beginn des Verfahrens wird - auf einen Start einer entsprechenden, das Verfahren ausführenden App durch den Nutzer hin - in einem ersten Verfahrensschritt 10 der Nutzer angewiesen - konkret über einen akustisch ausgegebenen Befehl -, die Kamera 1 in eine Startposition zu bringen. Die Startposition ist dabei derart vorgegeben, dass der Nutzer eine frontale Aufnahme seines Gesichts 12 erstellen kann. Deshalb wird die Startposition auch als „Selfie-Position“ bezeichnet. - In einem zweiten Verfahrensschritt 20 analysiert das Smartphone 2 eine mittels der Front-Kamera 4 erstellte Aufnahme des Gesichts 12 und ermittelt daraus, ob ein Korrekturbedarf hinsichtlich der Startposition besteht, beispielsweise ob der Nutzer das Smartphone 2 etwas höher, weiter links oder weiter rechts halten sollte. Ist dies der Fall, gibt das Smartphone 2 eine entsprechende Anweisung akustisch, optional auch durch entsprechende Anzeige auf einem Display oder Bildschirm 22 des Smartphones 2 aus.
- In einem nachfolgenden Verfahrensschritt 30 weist das Smartphone 2 den Nutzer an, das Smartphone 2 am ausgestreckten Arm (zur Erfassung des z. B. rechten Ohrs 32; s.
4 ) in einer kreisförmigen Bewegung nach rechts zu bewegen (s.3 ). Das Smartphone 2 überwacht mittels seiner - üblicherweise vorhandenen - Positionierungssensoren, beispielsweise Beschleunigungssensoren, ob die Bewegung „richtig“, d. h. ohne unerwünschte Abweichungen des Smartphones 2 von einer theoretischen Bewegungskurve nach unten oder nach oben, bewegt wird. Anhand dieser Positionierungssensoren ermittelt das Smartphone 2 also einen Schätzwert einer aktuellen Position des Smartphones 2 gegenüber dem Kopf des Nutzers. Nähert sich die aktuelle Position des Smartphones 2 einer Zielposition, die derart vorgegeben ist, dass eine fotografische Erfassung des rechten Ohrs 32 möglich ist, an, löst das Smartphone 2 eine Zahl von Aufnahmen durch die Front-Kamera 4 aus. - In einem weiteren Verfahrensschritt 40 analysiert das Smartphone 2 mittels eines Bilderkennungsverfahrens die Zahl von Aufnahmen dahingehend, ob das rechte Ohr 32 in einer, konkret zumindest der letzten Aufnahme enthalten ist. Erkennt das Smartphone 2 das Ohr 32, analysiert das Smartphone 2, ob ein gewünschter Aufnahmewinkel erreicht ist, bspw. ob die optische Achse der Front-Kamera 4 etwa in einer Frontalebene liegend, mithin frontal auf das Ohr 32 „blickend“ ausgerichtet ist. Diese Ausrichtung ist charakteristisch für die Zielposition des Smartphones 2.
- Erkennt das Smartphone 2, dass es in der Zielposition angeordnet ist, weist es in einem Verfahrensschritt 50 den Nutzer an das Smartphone 2 still zu halten und löst die Front-Kamera 4 zur Aufnahme wenigstens eines, vorzugsweise mehrerer Bilder des Ohrs 32 aus (vgl.
4 ). - Die Front-Kamera 4 ist auch zur Erfassung von nahinfraroter Strahlung eingerichtet und nutzt in einem nachfolgenden Verfahrensschritt 60 die erfasste nahinfrarote Strahlung zur Erstellung einer Tiefenkarte des Ohrs 32. Außerdem führt das Smartphone 2 eine in
5 näher dargestellte Merkmalsextraktion auf zumindest einem der Bilder des Ohrs 32 durch. Dabei identifiziert das Smartphone 2 mehrere signifikante Punkte 62 am Ohr 32 und nutzt diese, um Größeninformationen über das Ohr 32 zu gewinnen. - In einem nachfolgenden Verfahrensschritt 70 werden die Bilder des Ohrs 32, die Tiefeninformation und die Größeninformationen an einen Hörgerätedatendienst, bspw. an eine Datenbank eines Hörgeräteakustikers versendet.
- Der Gegenstand der Erfindung ist nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Vielmehr können weitere Ausführungsformen der Erfindung von dem Fachmann aus der vorstehenden Beschreibung abgeleitet werden.
- Bezugszeichenliste
-
- 1
- Kamera
- 2
- Smartphone
- 4
- Front-Kamera
- 10
- Verfahrensschritt
- 12
- Gesicht
- 20
- Verfahrensschritt
- 22
- Bildschirm
- 30
- Verfahrensschritt
- 32
- Ohr
- 40
- Verfahrensschritt
- 50
- Verfahrensschritt
- 60
- Verfahrensschritt
- 62
- Punkt
- 70
- Verfahrensschritt
Claims (10)
- Verfahren zur fotografischen Erfassung eines Ohrs (32) eines Nutzers unter Nutzung einer durch den Nutzer handgeführten Kamera (1, 2, 4), wobei verfahrensgemäß - der Nutzer angewiesen wird, manuell die Kamera (1, 2, 4) zur Erfassung seines Gesichts (12) in eine Startposition zu positionieren, - mittels der Kamera (1, 2, 4) das Gesicht (12) des Nutzers erfasst wird, - in Abhängigkeit von der Erfassung des Gesichts (12) ein Korrekturbedarf für die Startposition ermittelt wird, - gegebenenfalls der Nutzer angewiesen wird, die Startposition in Abhängigkeit des Korrekturbedarfs zu verändern, - der Nutzer angewiesen wird, die Kamera (1, 2, 4) manuell in eine Zielposition, in der die Kamera (1, 2, 4) zur Aufnahme des Ohrs (32) des Nutzers ausgerichtet ist, zu bewegen, - ein Schätzwert für eine aktuelle Position der Kamera (1, 2, 4) ermittelt wird, - bei Zusammenfallen der aktuellen Position mit der Zielposition eine Anzahl von fotografischen Aufnahmen ausgelöst wird, und - anhand der Anzahl von fotografischen Aufnahmen eine Tiefeninformation über das Ohr (32) des Nutzers abgeleitet wird.
- Verfahren nach
Anspruch 1 , wobei der Schätzwert für die aktuelle Position der Kamera (1, 2, 4) mittels der Kamera (1, 2, 4) zugeordneter Positionierungssensoren, insbesondere Beschleunigungssensoren, ermittelt wird. - Verfahren nach
Anspruch 2 , wobei, wenn aufgrund des Schätzwerts eine Annäherung der aktuellen Position an die Zielposition ermittelt wird, mittels der Kamera (1, 2, 4) eine Zahl fotografischer Aufnahmen ausgelöst wird und diese Zahl von Aufnahmen dahingehend analysiert werden, ob das Ohr (32) des Nutzers in zumindest einer Aufnahme enthalten ist. - Verfahren nach
Anspruch 3 , wobei die Zahl von Aufnahmen dahingehend analysiert wird, ob die Kamera (1, 2, 4) mit ihrer optischen Achse im Wesentlichen senkrecht zu einer Sagittalebene, insbesondere in einer das Ohr (32) des Nutzers schneidenden Frontalebene liegend, ausgerichtet ist. - Verfahren nach
Anspruch 1 , wobei während der Bewegung der Kamera (1, 2, 4) in Richtung auf die Zielposition mittels der Kamera (1, 2, 4) fotografische Aufnahmen ausgelöst werden und diese Aufnahmen dahingehend analysiert werden, ob das Ohr (32) des Nutzers in den Aufnahmen enthalten ist. - Verfahren nach einem der
Ansprüche 1 bis5 , wobei als Kamera (1) ein wenigstens eine Kamera (4) umfassendes Smartphone (2) eingesetzt wird. - Verfahren nach einem der
Ansprüche 1 bis6 , wobei mittels der Kamera (1, 2, 4) zumindest ein Anteil des infraroten Spektrums, insbesondere der nahinfrarote Spektralbereich, erfasst und zur Erstellung der Tiefeninformation in der Anzahl der Aufnahmen des Ohrs (32) herangezogen wird. - Verfahren nach einem der
Ansprüche 1 bis7 , wobei aus der Anzahl der Aufnahmen des Ohrs (32) geometrische Größeninformationen über das Ohr (32) abgeleitet werden. - Verfahren nach einem der
Ansprüche 1 bis8 , wobei die Anzahl der Aufnahmen des Ohrs (32), die Tiefeninformation und/oder, in Verbindung mit demAnspruch 8 , die Größeninformationen an einen Hörgerätedatendienst übermittelt werden. - Kamera (1, 2) mit einem Steuergerät, das dazu eingerichtet ist, das Verfahren nach einem der
Ansprüche 1 bis9 durchzuführen.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019219908.9A DE102019219908B4 (de) | 2019-12-17 | 2019-12-17 | Verfahren zur fotografischen Erfassung eines Ohrs |
CN202011484392.5A CN112995499A (zh) | 2019-12-17 | 2020-12-16 | 用于对耳朵进行照相采集的方法 |
US17/124,742 US20210185223A1 (en) | 2019-12-17 | 2020-12-17 | Method and camera for photographic recording of an ear |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019219908.9A DE102019219908B4 (de) | 2019-12-17 | 2019-12-17 | Verfahren zur fotografischen Erfassung eines Ohrs |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102019219908A1 DE102019219908A1 (de) | 2021-06-17 |
DE102019219908B4 true DE102019219908B4 (de) | 2023-12-07 |
Family
ID=76084724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102019219908.9A Active DE102019219908B4 (de) | 2019-12-17 | 2019-12-17 | Verfahren zur fotografischen Erfassung eines Ohrs |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210185223A1 (de) |
CN (1) | CN112995499A (de) |
DE (1) | DE102019219908B4 (de) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11297260B1 (en) * | 2020-11-20 | 2022-04-05 | Donald Siu | Techniques for capturing video in landscape mode by a handheld device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1703770A1 (de) | 2005-03-14 | 2006-09-20 | GN ReSound A/S | Vorrichtung zur Hörgeräteanbringung mit Kamera |
US20170318380A1 (en) | 2010-01-06 | 2017-11-02 | Harman International Industries, Incorporated | Image capture and earpiece sizing system and method |
WO2019129709A1 (en) | 2017-12-29 | 2019-07-04 | Snugs Earphones Ltd | Ear insert shape determination |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1661507A1 (de) * | 2004-11-24 | 2006-05-31 | Phonak Ag | Verfahren zur dreidimensionale Bilderfassung des äu eren Gehörgangs |
EP1729231A1 (de) * | 2005-06-01 | 2006-12-06 | Oticon A/S | Anordung und Verfahren zum Anpassen eines Hörgerätes |
WO2011022409A1 (en) * | 2009-08-17 | 2011-02-24 | Verto Medical Solutions, LLC | Ear sizing system and method |
US9049983B1 (en) * | 2011-04-08 | 2015-06-09 | Amazon Technologies, Inc. | Ear recognition as device input |
US9076048B2 (en) * | 2012-03-06 | 2015-07-07 | Gary David Shubinsky | Biometric identification, authentication and verification using near-infrared structured illumination combined with 3D imaging of the human ear |
US8900125B2 (en) * | 2012-03-12 | 2014-12-02 | United Sciences, Llc | Otoscanning with 3D modeling |
WO2013149645A1 (en) * | 2012-04-02 | 2013-10-10 | Phonak Ag | Method for estimating the shape of an individual ear |
US20150382123A1 (en) * | 2014-01-16 | 2015-12-31 | Itamar Jobani | System and method for producing a personalized earphone |
US9613200B2 (en) * | 2014-07-16 | 2017-04-04 | Descartes Biometrics, Inc. | Ear biometric capture, authentication, and identification method and system |
EP2986029A1 (de) * | 2014-08-14 | 2016-02-17 | Oticon A/s | Verfahren und System zur Modellierung einer maßgefertigten Otoplastik |
DE102016216054A1 (de) * | 2016-08-25 | 2018-03-01 | Sivantos Pte. Ltd. | Verfahren und Einrichtung zur Einstellung eines Hörhilfegeräts |
US10089521B2 (en) * | 2016-09-02 | 2018-10-02 | VeriHelp, Inc. | Identity verification via validated facial recognition and graph database |
CN108810693B (zh) * | 2018-05-28 | 2020-07-10 | Oppo广东移动通信有限公司 | 一种可穿戴设备及其设备控制装置、方法 |
-
2019
- 2019-12-17 DE DE102019219908.9A patent/DE102019219908B4/de active Active
-
2020
- 2020-12-16 CN CN202011484392.5A patent/CN112995499A/zh active Pending
- 2020-12-17 US US17/124,742 patent/US20210185223A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1703770A1 (de) | 2005-03-14 | 2006-09-20 | GN ReSound A/S | Vorrichtung zur Hörgeräteanbringung mit Kamera |
US20170318380A1 (en) | 2010-01-06 | 2017-11-02 | Harman International Industries, Incorporated | Image capture and earpiece sizing system and method |
WO2019129709A1 (en) | 2017-12-29 | 2019-07-04 | Snugs Earphones Ltd | Ear insert shape determination |
Non-Patent Citations (1)
Title |
---|
Anwar AS, Ghany KK, Elmahdy H (2015), Human ear recognition using geometrical features extraction, Procedia Comput Sci 65:529-537 |
Also Published As
Publication number | Publication date |
---|---|
US20210185223A1 (en) | 2021-06-17 |
CN112995499A (zh) | 2021-06-18 |
DE102019219908A1 (de) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017005897A1 (de) | System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses | |
DE102018102194A1 (de) | Elektronische Einrichtung, Informationsverarbeitungsverfahren und Programm | |
CN107018316B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
DE102013215516A1 (de) | Röntgengerät und Verfahren zum Steuern eines Röntgengeräts | |
DE102020116951A1 (de) | System zur unterstützung von fernarbeit | |
DE102005016233B4 (de) | Verfahren und Vorrichtung bezüglich der Datenübermittlung bei der Herstellung von Zahnersatzteilen | |
CN116912666A (zh) | 用于生成头部相关传递函数滤波器的布置 | |
EP1590714B1 (de) | Projektion von synthetischer information | |
EP3635478B1 (de) | Verfahren, vorrichtungen und computerprogramm zum bestimmen eines nah-durchblickpunktes | |
DE112017006537T5 (de) | Chirurgische lupe | |
DE102020211408A1 (de) | Schweißinformations-Bereitstellungsvorrichtung | |
EP1910999A1 (de) | Verfahren und anordnung zur bestimmung der relativen lage eines ersten objektes bezüglich eines zweiten objektes, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium | |
EP3565276B1 (de) | Verfahren zum betrieb eines hörgeräts und hörgerät | |
EP3830796A1 (de) | Verfahren und datenverarbeitungssystem zur synthese von bildern | |
EP3422087A1 (de) | Verfahren zur korrektur von zentrierparametern und/oder einer achslage sowie entsprechendes computerprogramm und verfahren | |
DE102019219908B4 (de) | Verfahren zur fotografischen Erfassung eines Ohrs | |
EP2998694A9 (de) | Verfahren und vorrichtung zum bestimmen der 3d-koordinaten eines objekts | |
DE112019003962T5 (de) | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und informationsverarbeitungssystem | |
EP4143628A1 (de) | Computerimplementiertes verfahren zur bestimmung von zentrierparametern für mobile endgeräte, mobiles endgerät und computerprogramm | |
WO2017220667A1 (de) | Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers | |
CN110519526A (zh) | 曝光时长控制方法、装置、存储介质及电子设备 | |
DE112018003820T5 (de) | Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm | |
DE102014105011B4 (de) | System zur Visualisierung des Sichtfeldes einer optischen Vorrichtung | |
WO2009033491A1 (de) | Vorrichtung und verfahren zur steuerung eines elektronischen apparates durch gesten, insbesondere von kopf und oberkörper | |
DE102021208260A1 (de) | Verfahren zum Ermitteln der nötigen oder idealen Länge eines Kabels bei einem Hörgerät |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division |