DE102019219908B4 - Verfahren zur fotografischen Erfassung eines Ohrs - Google Patents

Verfahren zur fotografischen Erfassung eines Ohrs Download PDF

Info

Publication number
DE102019219908B4
DE102019219908B4 DE102019219908.9A DE102019219908A DE102019219908B4 DE 102019219908 B4 DE102019219908 B4 DE 102019219908B4 DE 102019219908 A DE102019219908 A DE 102019219908A DE 102019219908 B4 DE102019219908 B4 DE 102019219908B4
Authority
DE
Germany
Prior art keywords
camera
user
ear
recordings
procedure according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102019219908.9A
Other languages
English (en)
Other versions
DE102019219908A1 (de
Inventor
Thomas Hempel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Priority to DE102019219908.9A priority Critical patent/DE102019219908B4/de
Priority to CN202011484392.5A priority patent/CN112995499A/zh
Priority to US17/124,742 priority patent/US20210185223A1/en
Publication of DE102019219908A1 publication Critical patent/DE102019219908A1/de
Application granted granted Critical
Publication of DE102019219908B4 publication Critical patent/DE102019219908B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/65Housing parts, e.g. shells, tips or moulds, or their manufacture
    • H04R25/658Manufacture of housing parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/77Design aspects, e.g. CAD, of hearing aid tips, moulds or housings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Studio Devices (AREA)

Abstract

Verfahren zur fotografischen Erfassung eines Ohrs (32) eines Nutzers unter Nutzung einer durch den Nutzer handgeführten Kamera (1, 2, 4), wobei verfahrensgemäß- der Nutzer angewiesen wird, manuell die Kamera (1, 2, 4) zur Erfassung seines Gesichts (12) in eine Startposition zu positionieren,- mittels der Kamera (1, 2, 4) das Gesicht (12) des Nutzers erfasst wird,- in Abhängigkeit von der Erfassung des Gesichts (12) ein Korrekturbedarf für die Startposition ermittelt wird,- gegebenenfalls der Nutzer angewiesen wird, die Startposition in Abhängigkeit des Korrekturbedarfs zu verändern,- der Nutzer angewiesen wird, die Kamera (1, 2, 4) manuell in eine Zielposition, in der die Kamera (1, 2, 4) zur Aufnahme des Ohrs (32) des Nutzers ausgerichtet ist, zu bewegen,- ein Schätzwert für eine aktuelle Position der Kamera (1, 2, 4) ermittelt wird,- bei Zusammenfallen der aktuellen Position mit der Zielposition eine Anzahl von fotografischen Aufnahmen ausgelöst wird, und- anhand der Anzahl von fotografischen Aufnahmen eine Tiefeninformation über das Ohr (32) des Nutzers abgeleitet wird.

Description

  • Die Erfindung betrifft ein Verfahren zur fotografischen Erfassung eines Ohrs. Des Weiteren betrifft die Erfindung eine Kamera, die dazu eingerichtet ist, das Verfahren durchzuführen.
  • Die Kenntnis der anatomischen Eigenschaften eines Ohrs einer spezifischen Person ist insbesondere für die Anpassung von Hörinstrumenten, insbesondere Hörhilfegeräten, im Folgenden kurz als „Hörgeräte“ bezeichnet, von Vorteil. Üblicherweise sucht eine Person mit Bedarf für einen solches Hörgerät einen Hörgeräteakustiker oder Audiologen auf, der nach Auswahl eines geeigneten Hörgeräte-Modells häufig eine Anpassung auf die Anatomie der entsprechenden Person vornimmt. Beispielsweise wird insbesondere bei einem hinter dem Ohr zu tragenden Hörgerät die Länge eines Hörerverbindungsmittels - beispielsweise eines Schallschlauchs oder eines Lautsprecherkabels - an die Größe der Ohrmuschel angepasst oder insbesondere für ein in dem Ohr zu tragendes Hörgerät eine sogenannte Otoplastik erstellt. Ebenso kann eine geeignete Größe für ein entsprechendes Ohrstück (häufig auch als „eardome“ bezeichnet) ausgewählt werden.
  • Um den Besuch beim Hörgeräteakustiker zu vermeiden sowie gegebenenfalls auch eine vergleichsweise aufwändige sowie kostenintensive Anpassung eines Hörgeräts durch einen Hörgeräteakustiker vermeiden zu können, entwickelt sich derzeit auch ein Markt für nicht oder nur in geringem Ausmaß anpassbare Hörgeräte oder auch für eine Anpassung per „Fernwartung“. In letzterem Fall ist meist eine Art Videokonferenz mit einem Hörgeräteakustiker erforderlich, bei der dieser das Ohr der Person, d. h. also des (künftigen) Hörgeräteträgers, in Augenschein nehmen kann. Beispielsweise ist aus EP 1 703 770 A1 bekannt, dass ein Hörgeräteträger mit einer Kamera ein Bild seines Ohrs erstellt und ihm anschließend in diesem Bild ein Hörgerät in einer bestimmungsgemäßen Trageposition an seinem Ohr simuliert dargestellt wird. Ebenso kann, für den Fall, dass der Hörgeräteträger ein Hörgerät trägt, anhand dieses Bildes der korrekte Sitz des Hörgeräts überprüft werden.
  • Gemäß WO 2019/129709 A1 wird ein Verfahren zur Bestimmung einer dreidimensionalen Form eines Einsatzes zum Einsetzen in ein Ohr bereitgestellt. Das Verfahren umfasst das Empfangen von Bilddaten, die einem zweidimensionalen Bild eines Ohrs entsprechen, das Verarbeiten der Bilddaten, um mindestens ein biometrisches Merkmal des Ohrs zu messen, wobei das mindestens eine biometrische Merkmal eine dreidimensionale Form von mindestens einem Teil des Ohrs anzeigt, und das Bestimmen einer dreidimensionalen Form eines Einsatzes zum Einsetzen in das Ohr durch Abgleichen des mindestens einen biometrischen Merkmals mit einer aus einer Mehrzahl von vorgespeicherten dreidimensionalen Formen. Jede vorgespeicherte dreidimensionale Form entspricht einem entsprechenden Ohr.
  • Gemäß US 2017/0318380 A1 umfassen ein Verfahren und ein System zur Größenanpassung eines Ohrstücks das Anbringen einer Kalibrierungsvorrichtung in der Nähe des Ohrs eines Benutzers. Der Benutzer hält eine Bilderfassungsvorrichtung so, dass die Bilderfassungsvorrichtung auf das Ohr des Benutzers gerichtet ist. Der Benutzer berührt und hält dann einen beliebigen Bereich des Touchscreen-Displays und lässt das Touchscreen-Display los, um die Bildaufnahmevorrichtung zu aktivieren und ein Bild des Ohrs des Benutzers und der Kalibrierungsvorrichtung aufzunehmen. Das aufgenommene Bild wird dann analysiert und eine Ohrstückgröße wird basierend auf der Analyse des Bildes bestimmt.
  • Der Erfindung liegt die Aufgabe zugrunde, bessere Möglichkeiten zur Anpassung von Hörgeräten bereitzustellen.
  • Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Des Weiteren wird diese Aufgabe erfindungsgemäß gelöst durch eine Kamera mit den Merkmalen des Anspruchs 10. Vorteilhafte und teils für sich erfinderische Weiterentwicklungen und Ausführungsformen der Erfindung sind in den Unteransprüchen und der nachfolgenden Beschreibung dargelegt.
  • Das erfindungsgemäße Verfahren dient zur fotografischen Erfassung eines Ohrs eines Nutzers - beispielsweise eines Hörgeräteträgers - unter Nutzung einer durch den Nutzer handgeführten Kamera. Verfahrensgemäß wird dabei der Nutzer zunächst angewiesen, manuell die Kamera zur Erfassung seines Gesichts in eine Startposition zu positionieren (d. h. in diese Startposition zu bringen). Diese Startposition ist vorzugsweise frontal zum Gesicht des Nutzers ausgerichtet und kann deshalb auch als „Selfie-Position“ bezeichnet werden. Mittels der Kamera wird in dieser Startposition das Gesicht des Nutzers erfasst, vorzugsweise indem eine fotografische Aufnahme von dem Gesicht getätigt wird. In Abhängigkeit von der Erfassung des Gesichts wird ein Korrekturbedarf für die Startposition ermittelt und gegebenenfalls - d. h. falls Korrekturbedarf besteht - der Nutzer angewiesen, die Startposition in Abhängigkeit des Korrekturbedarfs zu verändern. Mit anderen Worten wird anhand des erfassten Gesichts ermittelt, ob die Kamera in ihrer Startposition korrekt (insbesondere bestimmungsgemäßen) gegenüber dem Gesicht des Nutzers ausgerichtet ist. Anschließend wird der Nutzer angewiesen, die Kamera manuell - vorzugsweise entlang einer vorgegebenen Bahn, beispielsweise näherungsweise einer Kreisbahn, indem er die Kamera mit ausgestrecktem Arm führt - in eine Zielposition, in der die Kamera zur Aufnahme des Ohrs des Nutzers ausgerichtet ist, zu bewegen. Vorzugsweise während der Nutzer die Kamera in die Zielposition bewegt, wird daraufhin ein Schätzwert für eine aktuelle Position der Kamera ermittelt und bei Zusammenfallen der aktuellen Position mit der Zielposition eine Anzahl von fotografischen Aufnahmen ausgelöst. Anhand dieser Anzahl von fotografischen Aufnahmen wird anschließend eine Tiefeninformation über das Ohr des Nutzers abgeleitet.
  • Vorzugsweise wird also eine Art 3D-Karte des Ohrs des Nutzers aus den fotografischen Aufnahmen erstellt.
  • Das vorstehend beschriebene Verfahren ermöglicht einem Nutzer, beispielsweise für die Anpassung eines Hörgeräts auf einfache Weise fotografische Aufnahmen zu erstellen, die mit hoher Wahrscheinlichkeit auch sein Ohr abbilden, ohne dass der Nutzer die Aufnahmen selbst auslösen und dabei die Kamera auch selbst ausrichten braucht. Zusätzlich wird auch ein hoher Informationsgehalt, der sich aus der Tiefeninformation ergibt auf entsprechende einfache Weise ermöglicht.
  • In einer zweckmäßigen Verfahrensvariante wird der Schätzwert für die aktuelle Position der Kamera mittels Positionierungssensoren, die der Kamera zugeordnet sind, ermittelt. Vorzugsweise werden als solche Positionierungssensoren Beschleunigungssensoren und/oder vergleichbare Sensoren, zum Beispiel gyroskopischen Sensoren herangezogen. In diesem Fall wird der Schätzwert vorzugsweise ausgehend von der Startposition anhand einer mittels solcher Sensoren erfassbaren Positionsänderung bestimmt. Beispielweise können auch mehrere unterschiedliche Sensoren zu einem inertialen Messsystem kombiniert werden. Beispielsweise kann auch ein Erdmagnetfeld-Sensor zur absoluten Positionsbestimmung herangezogen werden.
  • In einer bevorzugten Weiterbildung der vorstehend beschriebenen Verfahrensvariante wird, wenn aufgrund des Schätzwertes eine Annäherung der aktuellen Position die Zielposition ermittelt wird, mittels der Kamera eine Zahl fotografischer Aufnahmen ausgelöst und diese Zahl von Aufnahmen dahingehend analysiert, ob das Ohr des Nutzers in der oder zumindest einer der gegebenenfalls mehreren Aufnahmen enthalten ist. Ist letzteres der Fall, wird insbesondere davon ausgegangen, dass die Zielposition erreicht ist und die vorstehend beschriebene Anzahl von fotografischen Aufnahmen ausgelöst.
  • In einer zweckmäßigen Fortführung der vorstehend beschriebenen Weiterbildung wird die Zahl von Aufnahmen insbesondere zur Bestimmung, ob die Zielposition erreicht ist, dahingehend analysiert, ob die Kamera mit ihrer optischen Achse im Wesentlichen (optional näherungsweise oder exakt) senkrecht zu einer Sagittalebene ausgerichtet ist und dabei insbesondere auch in einer das Ohr des Nutzers schneidenden Frontalebene liegend angeordnet ist. Optional kann dabei als Zielposition aber auch ein Bereich angenommen werden, der bis zu 10 Grad ventral oder dorsal gegen die Frontalebene angestellt ist. Dies kann bspw. zweckmäßig sein, um die Tiefeninformation aus mehreren unter einem Winkel zueinander stehenden Aufnahmen zu generieren.
  • In einer alternativen oder optional auch zusätzlichen Verfahrensvariante werden während der Bewegung der Kamera in Richtung auf die Zielposition mittels der Kamera fotografische Aufnahmen ausgelöst und diese Aufnahmen dahingehend analysiert, ob das Ohr des Nutzers in Aufnahmen enthalten ist. In diesem Fall wird also der Schätzwert für die aktuelle Position der Kamera „optisch“ insbesondere mittels Bilderkennungsverfahren ermittelt. Das Erreichen der Zielposition wird hierbei analog zu dem vorstehend beschriebenen Verfahrensvarianten bzw. Weiterbildungen detektiert, nämlich wenn das Ohr in wenigstens einer der Aufnahmen enthalten ist und vorzugsweise auch erfasst werden kann, dass die optische Achse der Kamera wie vorstehend beschrieben ausgerichtet ist.
  • In einer bevorzugten Verfahrensvariante wird als Kamera ein Smartphone eingesetzt das wenigstens eine Kamera, vorzugsweise wenigstens eine Frontkamera umfasst. Die Anweisungen an den Nutzer zur Ausrichtung und zur Bewegung der Kamera werden hierbei vorzugsweise akustisch und/oder mittels des Bildschirms des Smartphones ausgegeben.
  • Vorzugsweise wird, wenn die Zielposition der Kamera erreicht ist, der Nutzer angewiesen, die Kamera in dieser Position zu halten oder gegebenenfalls in dem vorstehend beschriebenen Zielbereich der Zielposition - bevorzugt unter Ausgabe von entsprechenden Anweisungen - geringfügig zu bewegen.
  • In einer zweckmäßigen Verfahrensvariante wird - vorzugsweise zusätzlich zum sichtbaren Spektralbereich - zumindest ein Anteil des Infrarotspektrums, insbesondere der nahinfrarote Spektralbereich, erfasst und zur Erstellung der Tiefeninformation in der Anzahl der Aufnahmen des Ohrs herangezogen. Optional wird hierbei der entsprechende Anteil des Infrarotspektrums mittels ein- und desselben Sensors erfasst. Alternativ wird der entsprechende Anteil des Spektrums mit einem zusätzlichen Sensor, der vorzugsweise ausschließlich zur Erfassung dieses Anteils eingerichtet ist, erfasst. Beispielsweise kann die Tiefeninformation durch Auswertung der jeweiligen Fokuslagen des sichtbaren Spektralbereichs und des Infrarotspektrums abgeleitet werden.
  • In einer weiteren zweckmäßigen Verfahrensvariante werden zusätzlich zu der Tiefeninformation aus der Anzahl der Aufnahmen des Ohrs auch geometrische Grö-ßeninformationen über das Ohr abgeleitet. Beispielsweise wird hierbei ein Durchmesser des Gehörgangs, eine Größe der Pinna, der Helix, der Anthelix, des Tragus und/oder des Antitragus ermittelt. Dies erfolgt insbesondere durch Merkmalsextraktion aus der oder der jeweiligen Aufnahme. Eine derartige Merkmalsextraktion ist bspw. aus Anwar AS, Ghany KK, Elmahdy H (2015), Human ear recognition using geometrical features extraction, Procedia Comput Sci 65:529-537, bekannt.
  • In einer zweckmäßigen Verfahrensvariante werden die Anzahl der Aufnahmen des Ohrs, die Tiefeninformation und/oder Größeninformationen anschließend an einen Hörgerätedatendienst übermittelt. Bei diesem Hörgerätedatendienst handelt es sich beispielsweise um eine Datenbank eines Hörgeräteakustikers, Audiologen und/oder Hörgeräte-Herstellers, auf der die entsprechenden Daten zumindest zwischengespeichert werden und beispielsweise zur gegebenenfalls späteren Analyse durch den Hörgeräteakustiker, insbesondere zur Anpassung eines Hörgeräts, dienen.
  • In einer zweckmäßigen Verfahrensvariante wird insbesondere für den Fall, dass mehrere Aufnahmen des Ohrs getätigt werden, automatisch oder durch Auswahl durch den Nutzer eine Aufnahme ausgewählt und zur Übermittlung und/oder Analyse herangezogen.
  • In einer optionalen Verfahrensvariante wird zumindest eine der Aufnahmen genutzt, um den Sitz eines (während der Aufnahme getragenen) Hörgeräts am Ohr durch einen entsprechenden Spezialisten, insbesondere den Hörgeräteakustiker, nach Übermittlung der entsprechenden Daten überprüfen zu lassen.
  • Weiter optional kann anhand der Bilder auch eine farbliche Abstimmung eines an den Nutzer anzupassenden Hörgeräts erfolgen. Auch kann zweckmäßigerweise eine Simulation eines Hörgeräts im Tragezustand am Ohr des Nutzers angezeigt werden, so dass der Nutzer sich selbst ein Bild von seinem Aussehen mit Hörgerät bilden kann.
  • Die erfindungsgemäße Kamera, bei der sich vorzugsweise das vorstehend beschriebene Smartphone handelt, umfasst ein Steuergerät, das dazu eingerichtet ist, dass vorstehend beschriebene Verfahren insbesondere in Interaktion mit dem Nutzer automatisch durchzuführen.
  • Die vorstehend beschriebenen Positionierungssensoren sind hierbei vorzugsweise Teil der Kamera, insbesondere des Smartphones selbst.
  • In einer zweckmäßigen Ausführung ist das Steuergerät (auch als „Controller“ bezeichnet) zumindest im Kern durch einen Mikrocontroller mit einem Prozessor und einem Datenspeicher gebildet, in dem die Funktionalität zur Durchführung des erfindungsgemäßen Verfahrens in Form einer Betriebssoftware (Firmware oder Applikation, bspw. eine Smartphone-App) programmtechnisch implementiert ist, so dass das Verfahren - insbesondere in Interaktion mit dem Nutzer - bei Ausführung der Betriebssoftware in dem Mikrocontroller automatisch durchgeführt wird. Grundsätzlich kann der Controller im Rahmen der Erfindung alternativ aber auch durch ein nicht-programmierbares elektronisches Bauteil, z.B. einen ASIC, gebildet sein, in dem die Funktionalität zur Durchführung des erfindungsgemäßen Verfahrens mit schaltungstechnischen Mitteln implementiert ist.
  • Die Konjunktion „und/oder“ ist hier und im Folgenden insbesondere derart zu verstehen, dass die mittels dieser Konjunktion verknüpften Merkmale sowohl gemeinsam als auch als Alternativen zueinander ausgebildet sein können.
  • Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:
    • 1 in einem schematischen Ablaufdiagramm einen Ablauf eines Verfahrens zur fotografischen Erfassung eines Ohrs eines Nutzers mittels einer handgeführten Kamera,
    • 2 in einer schematischen Darstellung die Kamera in einer Startposition,
    • 3 in einer schematischen Darstellung die Kamera während einer Bewegung zu einer Zielposition,
    • 4 in einer schematischen Darstellung die Kamera in einer Zielposition bei der fotografischen Erfassung des Ohrs, und
    • 5 in einer schematischen Darstellung eine Merkmalsextraktion, die auf einer fotografischen Aufnahme des Ohrs durchgeführt wird.
  • Einander entsprechende Teile sind in allen Figuren stets mit gleichen Bezugszeichen versehen.
  • In 1 ist schematisch ein Verfahren zur fotografischen Erfassung eines Ohrs eines Nutzers mittels einer in 2-4 dargestellten Kamera 1 dargestellt. Die Kamera 1 ist dabei durch ein Smartphone 2 mit einer - im dargestellten Ausführungsbeispiel zwei (Bild-) Sensoren umfassenden - Front-Kamera 4 (oder: „Selfie-Kamera“) gebildet. Zu Beginn des Verfahrens wird - auf einen Start einer entsprechenden, das Verfahren ausführenden App durch den Nutzer hin - in einem ersten Verfahrensschritt 10 der Nutzer angewiesen - konkret über einen akustisch ausgegebenen Befehl -, die Kamera 1 in eine Startposition zu bringen. Die Startposition ist dabei derart vorgegeben, dass der Nutzer eine frontale Aufnahme seines Gesichts 12 erstellen kann. Deshalb wird die Startposition auch als „Selfie-Position“ bezeichnet.
  • In einem zweiten Verfahrensschritt 20 analysiert das Smartphone 2 eine mittels der Front-Kamera 4 erstellte Aufnahme des Gesichts 12 und ermittelt daraus, ob ein Korrekturbedarf hinsichtlich der Startposition besteht, beispielsweise ob der Nutzer das Smartphone 2 etwas höher, weiter links oder weiter rechts halten sollte. Ist dies der Fall, gibt das Smartphone 2 eine entsprechende Anweisung akustisch, optional auch durch entsprechende Anzeige auf einem Display oder Bildschirm 22 des Smartphones 2 aus.
  • In einem nachfolgenden Verfahrensschritt 30 weist das Smartphone 2 den Nutzer an, das Smartphone 2 am ausgestreckten Arm (zur Erfassung des z. B. rechten Ohrs 32; s. 4) in einer kreisförmigen Bewegung nach rechts zu bewegen (s. 3). Das Smartphone 2 überwacht mittels seiner - üblicherweise vorhandenen - Positionierungssensoren, beispielsweise Beschleunigungssensoren, ob die Bewegung „richtig“, d. h. ohne unerwünschte Abweichungen des Smartphones 2 von einer theoretischen Bewegungskurve nach unten oder nach oben, bewegt wird. Anhand dieser Positionierungssensoren ermittelt das Smartphone 2 also einen Schätzwert einer aktuellen Position des Smartphones 2 gegenüber dem Kopf des Nutzers. Nähert sich die aktuelle Position des Smartphones 2 einer Zielposition, die derart vorgegeben ist, dass eine fotografische Erfassung des rechten Ohrs 32 möglich ist, an, löst das Smartphone 2 eine Zahl von Aufnahmen durch die Front-Kamera 4 aus.
  • In einem weiteren Verfahrensschritt 40 analysiert das Smartphone 2 mittels eines Bilderkennungsverfahrens die Zahl von Aufnahmen dahingehend, ob das rechte Ohr 32 in einer, konkret zumindest der letzten Aufnahme enthalten ist. Erkennt das Smartphone 2 das Ohr 32, analysiert das Smartphone 2, ob ein gewünschter Aufnahmewinkel erreicht ist, bspw. ob die optische Achse der Front-Kamera 4 etwa in einer Frontalebene liegend, mithin frontal auf das Ohr 32 „blickend“ ausgerichtet ist. Diese Ausrichtung ist charakteristisch für die Zielposition des Smartphones 2.
  • Erkennt das Smartphone 2, dass es in der Zielposition angeordnet ist, weist es in einem Verfahrensschritt 50 den Nutzer an das Smartphone 2 still zu halten und löst die Front-Kamera 4 zur Aufnahme wenigstens eines, vorzugsweise mehrerer Bilder des Ohrs 32 aus (vgl. 4).
  • Die Front-Kamera 4 ist auch zur Erfassung von nahinfraroter Strahlung eingerichtet und nutzt in einem nachfolgenden Verfahrensschritt 60 die erfasste nahinfrarote Strahlung zur Erstellung einer Tiefenkarte des Ohrs 32. Außerdem führt das Smartphone 2 eine in 5 näher dargestellte Merkmalsextraktion auf zumindest einem der Bilder des Ohrs 32 durch. Dabei identifiziert das Smartphone 2 mehrere signifikante Punkte 62 am Ohr 32 und nutzt diese, um Größeninformationen über das Ohr 32 zu gewinnen.
  • In einem nachfolgenden Verfahrensschritt 70 werden die Bilder des Ohrs 32, die Tiefeninformation und die Größeninformationen an einen Hörgerätedatendienst, bspw. an eine Datenbank eines Hörgeräteakustikers versendet.
  • Der Gegenstand der Erfindung ist nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Vielmehr können weitere Ausführungsformen der Erfindung von dem Fachmann aus der vorstehenden Beschreibung abgeleitet werden.
  • Bezugszeichenliste
  • 1
    Kamera
    2
    Smartphone
    4
    Front-Kamera
    10
    Verfahrensschritt
    12
    Gesicht
    20
    Verfahrensschritt
    22
    Bildschirm
    30
    Verfahrensschritt
    32
    Ohr
    40
    Verfahrensschritt
    50
    Verfahrensschritt
    60
    Verfahrensschritt
    62
    Punkt
    70
    Verfahrensschritt

Claims (10)

  1. Verfahren zur fotografischen Erfassung eines Ohrs (32) eines Nutzers unter Nutzung einer durch den Nutzer handgeführten Kamera (1, 2, 4), wobei verfahrensgemäß - der Nutzer angewiesen wird, manuell die Kamera (1, 2, 4) zur Erfassung seines Gesichts (12) in eine Startposition zu positionieren, - mittels der Kamera (1, 2, 4) das Gesicht (12) des Nutzers erfasst wird, - in Abhängigkeit von der Erfassung des Gesichts (12) ein Korrekturbedarf für die Startposition ermittelt wird, - gegebenenfalls der Nutzer angewiesen wird, die Startposition in Abhängigkeit des Korrekturbedarfs zu verändern, - der Nutzer angewiesen wird, die Kamera (1, 2, 4) manuell in eine Zielposition, in der die Kamera (1, 2, 4) zur Aufnahme des Ohrs (32) des Nutzers ausgerichtet ist, zu bewegen, - ein Schätzwert für eine aktuelle Position der Kamera (1, 2, 4) ermittelt wird, - bei Zusammenfallen der aktuellen Position mit der Zielposition eine Anzahl von fotografischen Aufnahmen ausgelöst wird, und - anhand der Anzahl von fotografischen Aufnahmen eine Tiefeninformation über das Ohr (32) des Nutzers abgeleitet wird.
  2. Verfahren nach Anspruch 1, wobei der Schätzwert für die aktuelle Position der Kamera (1, 2, 4) mittels der Kamera (1, 2, 4) zugeordneter Positionierungssensoren, insbesondere Beschleunigungssensoren, ermittelt wird.
  3. Verfahren nach Anspruch 2, wobei, wenn aufgrund des Schätzwerts eine Annäherung der aktuellen Position an die Zielposition ermittelt wird, mittels der Kamera (1, 2, 4) eine Zahl fotografischer Aufnahmen ausgelöst wird und diese Zahl von Aufnahmen dahingehend analysiert werden, ob das Ohr (32) des Nutzers in zumindest einer Aufnahme enthalten ist.
  4. Verfahren nach Anspruch 3, wobei die Zahl von Aufnahmen dahingehend analysiert wird, ob die Kamera (1, 2, 4) mit ihrer optischen Achse im Wesentlichen senkrecht zu einer Sagittalebene, insbesondere in einer das Ohr (32) des Nutzers schneidenden Frontalebene liegend, ausgerichtet ist.
  5. Verfahren nach Anspruch 1, wobei während der Bewegung der Kamera (1, 2, 4) in Richtung auf die Zielposition mittels der Kamera (1, 2, 4) fotografische Aufnahmen ausgelöst werden und diese Aufnahmen dahingehend analysiert werden, ob das Ohr (32) des Nutzers in den Aufnahmen enthalten ist.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei als Kamera (1) ein wenigstens eine Kamera (4) umfassendes Smartphone (2) eingesetzt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, wobei mittels der Kamera (1, 2, 4) zumindest ein Anteil des infraroten Spektrums, insbesondere der nahinfrarote Spektralbereich, erfasst und zur Erstellung der Tiefeninformation in der Anzahl der Aufnahmen des Ohrs (32) herangezogen wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7, wobei aus der Anzahl der Aufnahmen des Ohrs (32) geometrische Größeninformationen über das Ohr (32) abgeleitet werden.
  9. Verfahren nach einem der Ansprüche 1 bis 8, wobei die Anzahl der Aufnahmen des Ohrs (32), die Tiefeninformation und/oder, in Verbindung mit dem Anspruch 8, die Größeninformationen an einen Hörgerätedatendienst übermittelt werden.
  10. Kamera (1, 2) mit einem Steuergerät, das dazu eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen.
DE102019219908.9A 2019-12-17 2019-12-17 Verfahren zur fotografischen Erfassung eines Ohrs Active DE102019219908B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019219908.9A DE102019219908B4 (de) 2019-12-17 2019-12-17 Verfahren zur fotografischen Erfassung eines Ohrs
CN202011484392.5A CN112995499A (zh) 2019-12-17 2020-12-16 用于对耳朵进行照相采集的方法
US17/124,742 US20210185223A1 (en) 2019-12-17 2020-12-17 Method and camera for photographic recording of an ear

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019219908.9A DE102019219908B4 (de) 2019-12-17 2019-12-17 Verfahren zur fotografischen Erfassung eines Ohrs

Publications (2)

Publication Number Publication Date
DE102019219908A1 DE102019219908A1 (de) 2021-06-17
DE102019219908B4 true DE102019219908B4 (de) 2023-12-07

Family

ID=76084724

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019219908.9A Active DE102019219908B4 (de) 2019-12-17 2019-12-17 Verfahren zur fotografischen Erfassung eines Ohrs

Country Status (3)

Country Link
US (1) US20210185223A1 (de)
CN (1) CN112995499A (de)
DE (1) DE102019219908B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11297260B1 (en) * 2020-11-20 2022-04-05 Donald Siu Techniques for capturing video in landscape mode by a handheld device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1703770A1 (de) 2005-03-14 2006-09-20 GN ReSound A/S Vorrichtung zur Hörgeräteanbringung mit Kamera
US20170318380A1 (en) 2010-01-06 2017-11-02 Harman International Industries, Incorporated Image capture and earpiece sizing system and method
WO2019129709A1 (en) 2017-12-29 2019-07-04 Snugs Earphones Ltd Ear insert shape determination

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1661507A1 (de) * 2004-11-24 2006-05-31 Phonak Ag Verfahren zur dreidimensionale Bilderfassung des äu eren Gehörgangs
EP1729231A1 (de) * 2005-06-01 2006-12-06 Oticon A/S Anordung und Verfahren zum Anpassen eines Hörgerätes
WO2011022409A1 (en) * 2009-08-17 2011-02-24 Verto Medical Solutions, LLC Ear sizing system and method
US9049983B1 (en) * 2011-04-08 2015-06-09 Amazon Technologies, Inc. Ear recognition as device input
US9076048B2 (en) * 2012-03-06 2015-07-07 Gary David Shubinsky Biometric identification, authentication and verification using near-infrared structured illumination combined with 3D imaging of the human ear
US8900125B2 (en) * 2012-03-12 2014-12-02 United Sciences, Llc Otoscanning with 3D modeling
WO2013149645A1 (en) * 2012-04-02 2013-10-10 Phonak Ag Method for estimating the shape of an individual ear
US20150382123A1 (en) * 2014-01-16 2015-12-31 Itamar Jobani System and method for producing a personalized earphone
US9613200B2 (en) * 2014-07-16 2017-04-04 Descartes Biometrics, Inc. Ear biometric capture, authentication, and identification method and system
EP2986029A1 (de) * 2014-08-14 2016-02-17 Oticon A/s Verfahren und System zur Modellierung einer maßgefertigten Otoplastik
DE102016216054A1 (de) * 2016-08-25 2018-03-01 Sivantos Pte. Ltd. Verfahren und Einrichtung zur Einstellung eines Hörhilfegeräts
US10089521B2 (en) * 2016-09-02 2018-10-02 VeriHelp, Inc. Identity verification via validated facial recognition and graph database
CN108810693B (zh) * 2018-05-28 2020-07-10 Oppo广东移动通信有限公司 一种可穿戴设备及其设备控制装置、方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1703770A1 (de) 2005-03-14 2006-09-20 GN ReSound A/S Vorrichtung zur Hörgeräteanbringung mit Kamera
US20170318380A1 (en) 2010-01-06 2017-11-02 Harman International Industries, Incorporated Image capture and earpiece sizing system and method
WO2019129709A1 (en) 2017-12-29 2019-07-04 Snugs Earphones Ltd Ear insert shape determination

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Anwar AS, Ghany KK, Elmahdy H (2015), Human ear recognition using geometrical features extraction, Procedia Comput Sci 65:529-537

Also Published As

Publication number Publication date
US20210185223A1 (en) 2021-06-17
CN112995499A (zh) 2021-06-18
DE102019219908A1 (de) 2021-06-17

Similar Documents

Publication Publication Date Title
WO2017005897A1 (de) System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses
DE102018102194A1 (de) Elektronische Einrichtung, Informationsverarbeitungsverfahren und Programm
CN107018316B (zh) 图像处理装置、图像处理方法以及存储介质
DE102013215516A1 (de) Röntgengerät und Verfahren zum Steuern eines Röntgengeräts
DE102020116951A1 (de) System zur unterstützung von fernarbeit
DE102005016233B4 (de) Verfahren und Vorrichtung bezüglich der Datenübermittlung bei der Herstellung von Zahnersatzteilen
CN116912666A (zh) 用于生成头部相关传递函数滤波器的布置
EP1590714B1 (de) Projektion von synthetischer information
EP3635478B1 (de) Verfahren, vorrichtungen und computerprogramm zum bestimmen eines nah-durchblickpunktes
DE112017006537T5 (de) Chirurgische lupe
DE102020211408A1 (de) Schweißinformations-Bereitstellungsvorrichtung
EP1910999A1 (de) Verfahren und anordnung zur bestimmung der relativen lage eines ersten objektes bezüglich eines zweiten objektes, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
EP3565276B1 (de) Verfahren zum betrieb eines hörgeräts und hörgerät
EP3830796A1 (de) Verfahren und datenverarbeitungssystem zur synthese von bildern
EP3422087A1 (de) Verfahren zur korrektur von zentrierparametern und/oder einer achslage sowie entsprechendes computerprogramm und verfahren
DE102019219908B4 (de) Verfahren zur fotografischen Erfassung eines Ohrs
EP2998694A9 (de) Verfahren und vorrichtung zum bestimmen der 3d-koordinaten eines objekts
DE112019003962T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und informationsverarbeitungssystem
EP4143628A1 (de) Computerimplementiertes verfahren zur bestimmung von zentrierparametern für mobile endgeräte, mobiles endgerät und computerprogramm
WO2017220667A1 (de) Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
CN110519526A (zh) 曝光时长控制方法、装置、存储介质及电子设备
DE112018003820T5 (de) Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
DE102014105011B4 (de) System zur Visualisierung des Sichtfeldes einer optischen Vorrichtung
WO2009033491A1 (de) Vorrichtung und verfahren zur steuerung eines elektronischen apparates durch gesten, insbesondere von kopf und oberkörper
DE102021208260A1 (de) Verfahren zum Ermitteln der nötigen oder idealen Länge eines Kabels bei einem Hörgerät

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division