EP4189470A1 - Verfahren und vorrichtung zum automatischen bestimmen von herstellungsparametern für eine brille - Google Patents

Verfahren und vorrichtung zum automatischen bestimmen von herstellungsparametern für eine brille

Info

Publication number
EP4189470A1
EP4189470A1 EP21739241.4A EP21739241A EP4189470A1 EP 4189470 A1 EP4189470 A1 EP 4189470A1 EP 21739241 A EP21739241 A EP 21739241A EP 4189470 A1 EP4189470 A1 EP 4189470A1
Authority
EP
European Patent Office
Prior art keywords
head
glasses
spectacles
spectacle
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21739241.4A
Other languages
English (en)
French (fr)
Inventor
Kevin Metka
Pawel JOBKIEWICZ
Julian HOELZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mister Spex Se
Original Assignee
Tribe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tribe GmbH filed Critical Tribe GmbH
Publication of EP4189470A1 publication Critical patent/EP4189470A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00—Assembling; Repairing; Cleaning
    • G02C13/003—Measuring during assembly or fitting of spectacles
    • G02C13/005—Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames

Definitions

  • the invention relates to a method and a device for automatically determining production parameters for spectacles.
  • the spectacles user is asked to place a reference object, the size of which is standardized and therefore generally known, for example a credit card, on their forehead and take a photo. Since the reference object has a standardized size, the pupillary distance can be derived using simple arithmetic. However, it cannot be guaranteed that the reference object and the pupil of the eye are on the same frontal plane. Likewise, the orthogonal angle of the reference object to the frontal plane cannot be guaranteed. In practice, this means a measurement deviation of several millimeters on average, which is unsuitable for the centering of the spectacle lens.
  • the necessary parameters for the centering of the spectacle lens can only be determined in the presence of an optician.
  • different devices are necessary for measuring a pupillary distance and a grinding-in height.
  • the conventional measuring devices lead to a high measurement variance and low accuracy. This also applies to the current mobile applications.
  • the object of the invention is to specify a method and a device for automatically determining production parameters for glasses, which in particular enables the parameters for the glasses to be determined efficiently and with high accuracy using an online method.
  • the object is solved by a method and a device for automatically determining production parameters for glasses according to independent claims 1 and 12. Configurations are the subject matter of dependent subclaims.
  • a method for automatically determining production parameters for glasses is created, the following being provided in one or more processors set up for data processing: capturing head image data for at least part of a head of a glasses user; Determining a head parameterization for at least the part of the head of the spectacles user, the head parameterization for an adjustment of spectacles relevant head parameters for at least the part of the head of the spectacles user and the head parameters include at least one lens grinding parameter and at least one spectacles support parameter; Providing a spectacle parameterization for the spectacles, wherein the spectacle parameterization for the adjustment of the spectacles for the spectacles user indicates relevant spectacles parameters; and carrying out a data mapping for the head parameterization and the glasses parameterization, in which case at least one glasses parameter is adjusted according to an assigned head parameter and/or at least one further glasses parameter is determined in order to adapt the glasses for the glasses user.
  • an apparatus for automatically determining manufacturing parameters for eyeglasses having one or more processors configured for data processing, which are configured to: receive head image data for at least part of a head of a user of glasses; Determining a head parameterization for at least the part of the head of the spectacles user, the head parameterization for an adjustment of spectacles relevant head parameters for at least the part of the head of the spectacles user and the head parameters include at least one lens grinding parameter and at least one spectacles support parameter; Providing a spectacle parameterization for the spectacles, wherein the spectacle parameterization for the adjustment of the spectacles for the spectacles user indicates relevant spectacles parameters; and carrying out a data mapping for the head parameterization and the glasses parameterization, in which case at least one glasses parameter is adjusted according to an assigned head parameter and/or at least one further glasses parameter is determined in order to adapt the glasses for the glasses user.
  • the following can be provided: acquisition of RGB head image data for at least the part of the head of the spectacles user; providing calibration data indicative of a calibration of an image capture device used to capture RGB header image data; and determining the at least one lens grinding parameter using the RGB header image data and the calibration data by means of image data analysis, wherein a localization vector associated with the pupils is determined, which indicates an image pixel position for the pupils.
  • a horizontal distance between the pupils can be determined, for example.
  • the following can also be provided in the method: providing reference feature data that indicate a biometric reference feature for the spectacles user, and determining the at least one lens grinding parameter using the RGB header image data, the reference feature data and the calibration data.
  • the reference feature data can indicate, for example, a reference length measure, for example a diameter of the iris, as a biometric reference feature.
  • the iris diameter has essentially the same characteristic size for a large number of people. It can be provided that the at least one lens grinding parameter is initially determined using the depth image data in order to then verify the result obtained in this way by means of a determination using the reference feature data.
  • the at least one spectacle parameter or the at least one further spectacle parameter can include a real grinding height for spectacles designed as progressive lenses, in which case the following can also be provided: determining at least one fixed point of a real spectacle frame of real spectacles, which is a transition between a spectacle lens and the spectacle frame displays, in which case a localization vector assigned to the at least one fixed point of the spectacle frame is determined, which localization vector indicates an image pixel position for the at least one fixed point of the spectacle frame; and vertically projecting a pupil mark indicative of the pupil onto the eyeglass frame.
  • the at least one spectacle parameter or the at least one further spectacle parameter can include a virtual grinding height for spectacles designed as varifocal spectacles, where
  • the following can also be provided: providing a 3D model of virtual glasses, from which a glasses parameterization for the virtual glasses is determined; determining at least one fixed point of a spectacle frame of the virtual glasses, which indicates a transition between a spectacle lens and the spectacle frame, wherein a localization vector assigned to the at least one fixed point of the spectacle frame is determined, which indicates an image pixel position for the at least one fixed point of the spectacle frame; and vertically projecting a pupil mark indicative of the pupil onto the eyeglass frame
  • the 3D modeling of the virtual glasses can be selected from a large number of different virtual glasses, for which a respective 3D modeling is stored in a memory device.
  • the respective 3D modeling (3D model data) is stored in advance in the memory device for the virtual glasses.
  • the 3D model data can be stored in a data format suitable for 3D printing (STL, OBJ, etc.).
  • the 3D modeling may include, in one example, the following eyewear model data: (i) components of an eyewear - (a) front piece, bridge, cheekpieces; (b) left and right stirrup, stirrup inflection point; and (c) nose pad length and angle; and (ii) Characteristics of each component: Each pair of glasses is designed slightly differently, and the components thereby have different characteristics in terms of size and deformation.
  • determining a 3D coordinate system mapping the head parameterization for at least part of the head of the glasses user and the glasses parameterization into the 3D coordinate system and determining one or more of the following parameters in the 3D coordinate system: horizontal interpupillary distance, face width at the pupillary level, real focal height and virtual focal height.
  • a temple length for the temples of the glasses and a bending point for the temples can be determined for the adjustment of the glasses.
  • the head parameters can include one or more lens grinding parameters from the following group: horizontal interpupillary distance and head width.
  • the head parameters may include one or more eyewear parameters from the following group: face width at pupillary level, nose width, nose attachment point, ear attachment point, distance between nose and ears, and cheek contour.
  • FIG. 1 shows a schematic representation relating to a method for automatically determining production parameters for spectacles
  • FIG. 2 shows a schematic representation of a pair of spectacles with the horizontal distance between the pupils drawn in and the real grinding height drawn in;
  • FIG. 3 shows a schematic representation relating to the determination of a position for a pupil
  • 5 shows a schematic representation of nine RGB image pixels (solid line) and four depth image pixels (dashed line) and two marked RGB image pixels (striped and checked area); 6 shows a schematic representation of four RGB image pixels (solid line) and nine depth image pixels (dashed line) and one marked depth image pixel (striped area);
  • FIG. 7 shows a schematic representation of a canonical spectacle model with front, temple, inflexion point and inflection angle
  • FIG. 8 shows a schematic representation of a face width determination
  • FIG. 9 shows a schematic representation of facial feature points.
  • a method and a device for automatically determining production parameters for spectacles are described below using various exemplary embodiments.
  • images of a head front view are recorded for a spectacle wearer 1 with the aid of a recording device 2 .
  • the recording device 2 can be formed with a mobile terminal such as a mobile phone, tablet or laptop computer or a stationary terminal such as a desktop computer.
  • the recording device 2 has a camera for recording the images and a display device (display) for outputting image data to the spectacle wearer 1 .
  • a user interface of the recording device 2 also has an input device for receiving inputs from the spectacle wearer 1, be it via a keyboard and/or a touch-sensitive input surface.
  • CMOS camera Infrared camera
  • distance sensors For example, distance sensors, distance sensors and point projectors.
  • Images can be recorded by means of the recording device 2, from which digital image information can be determined: image data (RGB information); depth data (especially distances) and calibration data (such as resolution, angle, etc.).
  • image data RGB information
  • depth data especially distances
  • calibration data such as resolution, angle, etc.
  • 3D data is determined from digital image information, with the following being provided in one exemplary embodiment (cf. also further explanations below):
  • Points of interest are detected in the image data, e.g. pupils, frames, noses, etc., up to the entire part of the head (e.g. face)
  • POIs are mapped to the depth data with the help of the calibration data and biometric data (especially for plausibility checks).
  • the necessary distances can be calculated from the “vectors” determined in this way.
  • the mapping is done from “2D to 3D". I.e. the POI is a vector (x, y), and after the mapping there is a vector (x, y, z) taking into account the depth data.
  • POIs are mapped to the depth image data (including calibration data).
  • the reference feature data which display a biometric reference feature, can also be used for a plausibility check, for example a distribution of the horizontal distance between the pupils in the population. This serves as security. For example, a warning be generated if an extraordinary pupillary distance is determined, which deviates from a typical area.In this way, a corresponding action can be initiated, for example the glasses user can be asked to repeat the measurement, for example to record image data/sensor data again.
  • the POIs are mapped using a so-called reference method.
  • the iris especially the iris diameter
  • the biometric data will continue to be used for plausibility checks.
  • the pupil can be relevant, but also the iris contour (or the pixel position in the image).
  • the horizontal distance between the pupils can be determined from the iris contour, the pupil (both as pixel positions in the RGB image) and the diameter, especially when no depth image data is available.
  • the recording device is connected to a data processing device 3, be it via a wireless or wired connection that is set up to exchange data.
  • the data processing device 3 has one or more processors for data processing and is connected to a memory device 4 .
  • respective spectacle data for a large number of different spectacle models are stored in the memory device 4, the spectacle data specifying characteristic data for the various spectacle models.
  • the data processing device is optionally connected to a production device 5, which is set up to receive parameters for glasses to be produced and to produce them automatically, in particular a glasses frame or parts thereof using a 3D printer.
  • one or more of the following parameters are determined: pupillary distance (PD), real grinding height (rSH) and virtual grinding height (vSH).
  • PD pupillary distance
  • rSH real grinding height
  • vSH virtual grinding height
  • the pupillary distance (PD) is defined as the horizontal distance in millimeters (mm) between the two pupils.
  • the center points of both pupils are used as the starting points for the measurement.
  • the interpupillary distance is necessary for centering the lens of single vision and progressive lenses.
  • the real grinding height (“real grinding height” - rGH) is the vertical distance in mm of the pupil to the inner lower edge of the spectacle frame that the spectacle wearer wears during the measurement.
  • the grinding height is necessary in order to be able to grind progressive lenses.
  • the virtual grinding height (vGH) is the vertical distance in mm from the pupil to the lower inner edge of the virtual frame, which the user sees projected onto his face through the screen of the mobile device.
  • the grinding height is necessary in order to be able to grind progressive lenses.
  • FIG. 2 shows a schematic representation of a pair of glasses 20 with the horizontal distance 21 drawn in between the pupils 22 and the real grinding height 23 drawn in.
  • the following points are defined and determined: pixels of interest in a two-dimensional RGB image (POI) (pupil position, frame position of real glasses, frame position of virtual glasses); 3D world coordinate system; Depth data in 2D depth image and calibration data.
  • POI two-dimensional RGB image
  • 3D world coordinate system 3D world coordinate system
  • Pixel of interest in a two-dimensional RGB image In order to determine the parameters PD, rGH and vGH, it is necessary to determine the exact position of the pupils, for example the deepest point of the spectacle frame, the so-called box size. For this purpose, RGB images and camera calibration data (resolution of the recorded image, camera angle information) are analyzed for the respective mobile terminal (recording device 2). The pupils are determined using pupil finder methods (image analysis algorithms) and stored in a localization vector (POI). With the help of the calibration data, the pupils can be clearly localized as pixel information (x, y) in the RGB image.
  • the pupil finder methodology provides a two-stage method.
  • a cascaded finding of the pupil is performed: (i) finding the face; (ii) finding the eye area; (iii) finding the iris; and (iv) finding the pupil.
  • plausibility data for comparison biometric information
  • a plausibility check can be carried out in each step of the method, for example using the biometric data, for example according to the following scheme: Step (1) - Has the iris been found within the eye area?; Step (2) - Has the pupil been found inside the iris?; ...
  • Fig. 3 shows a schematic representation relating to the determination of a position for a pupil 30.
  • the frame fixed points (left and right side) are determined and stored in a localization vector. This vector is congruent with the camera's calibration data, so the exact pixel position of the frame fixpoints is known.
  • a spectacle frame in an image represents a line geometry. That means you choose an algorithm that specializes in finding lines (and thus the frame) - especially where does the line begin and where does it end. We currently use the Houghs Line Finder.
  • Fig. 4 shows a schematic representation of a pair of glasses 40 with the real segment height 41 drawn in.
  • the virtual glasses are provided as a modeled 3D object to determine the virtual grinding height (vGH). Here the exact dimensions are known.
  • the lower central point of the bridge is defined as the anchor point on the glasses.
  • 3D world coordinate system The definition of a world coordinate system serves as a starting point. This is a Euclidean system with an anchor point at the origin. This anchor point is defined by the lens face of the RGB camera. The orientation of the coordinate axes are defined as follows:
  • Depth data in 2D depth image Advanced mobile devices provide depth information. These grey-scale images are captured synchronously with the RGB images and together with the calibration data, the depth and RGB images can be congruently transformed. The depth images contain the distance from the depth lens to the recorded object per pixel. Each RGB and depth image pair contains various calibration data that further specify the capture. It is assumed that the following quantities
  • angles along x-y axis for POI are available or can be extracted by software: angles along x-y axis for POI; Angle along y-z axis for POI; Resolution RGB image and resolution depth image.
  • df 2 right frame position in depth image
  • d P0I distance of the POI to the camera lens in mm
  • the projection methodology comprises four steps:
  • determining the distance to the POI From the localization of the POI in the RGB image, a connection to the depth image must be established in order to determine the distance of the POI from the camera. This is done using a mapping method that takes into account the resolution of the RGB and the depth image. The resolution of RGB and depth image is usually different. A total of three cases can be distinguished:
  • Case 2 RGB image resolution is greater than depth image resolution
  • Case 3 The resolution of the RGB image is smaller than the resolution of the depth image.
  • the coordinates of the POI in the RGB image are projected exactly onto the coordinates in the depth image.
  • the corresponding distance information can be determined.
  • FIG. 5 shows a schematic representation of nine RGB image pixels 50 (delimited by a solid line) and four depth image pixels 51 (delimited by a dashed line) and two marked RGB image pixels 52 (striped and checked area).
  • the POI is completely within a depth pixel (striped area). Congruence is determined as follows: The POI is projected onto the depth image pixel with the same coordinates.
  • the POI is in more than one depth pixel (checkered area). Congruence is determined as follows: The POI is projected onto the arithmetic average of the distances of all affected depth image pixels.
  • the corresponding distance information can be determined.
  • FIG. 6 shows a schematic representation of the initial situation with four RGB image pixels 60 (delimited by a solid line) and nine depth image pixels 61 (delimited by a dashed line) and one marked depth image pixel (striped area).
  • the POI always overlaps at least three depth image pixels (blue area). Congruence is determined as follows: The POI is projected onto the arithmetic average of the distances of all overlapped depth image pixels. iii) Projection of 2D input images to 3D world coordinate system
  • the position in the 3D world coordinate system is calculated from the pixel distance and the two angular dimensions using a Euclidean position formula. iv) Calculation distance
  • the distance between two points in the 3D world coordinate system is calculated using a Euclidean distance formula:
  • PD The pupil distance is given in mm and is calculated from the two pupil points in the world coordinate system.
  • rGH The real grinding height is specified in mm and is calculated from a pupil point and a real frame point in the 3D world coordinate system.
  • vGH The virtual grinding height is specified in mm and is calculated from a pupil point and a virtual frame point in the 3D world coordinate system.
  • the glasses include in particular the front part, the left and right temples and nose pads.
  • a projection methodology is used to determine the optimal frame size.
  • the specific glasses model is then calculated from this finite number of combinations and retrieved from the memory.
  • a canonical glasses model can be defined in an embodiment via the following components: front, temples (left and right), nose pads (left and right), bending point temples (left and right) and bending angle temples (left and right).
  • Fig. 7 shows a schematic representation of a canonical spectacles model 70 with front part 71, temple 72, bending point 73 and bending angle 74 as well as nose pad 75.
  • Modification points The frame is adjusted separately for each component using the following modification points:
  • Front Width of the entire front part 71.
  • the scaling is done with aspect ratio stability.
  • Temple total length of temple 72, inflexion point 73 and inflexion angle 74 b) projection methodology
  • the projection methodology includes two steps: front part projection method and temple projection method. i) Front part projection method
  • Face measurement data are collected and placed on a discrete grid, from which the size of the front part 71 can be determined.
  • "aesthetic principles” may be considered, for example as follows: (i) women tend to wear larger glasses; and (ii) the Eyebrows should be above the glasses. Also, the pupils should not regularly be in the lower half of the lens.
  • Face measurement data Pupillary distance and face width are recorded.
  • Pupillary distance is part of the above claim.
  • Face width is defined as the total width of the recognizable face at the pupillary level. Face width can be detected using current face recognition methods.
  • a discrete grid 80 is created along the dimensions of pupillary distance and face width 81 respectively.
  • static data is collected on these variables (distribution in the population) and an equidistant grid is formed from the distribution.
  • the front part is divided into equidistant sizes and assigned to each grid point tuple from pupil distance and face width.
  • the size of the front part can be derived for a grid point tuple determined from pupil distance and face width.
  • Table 1 Example table for a projection, classification S,... ,XL is exemplary and projected onto a cardinal scale S, M, L classification is for illustrative purposes. Different sizes and shapes are used for each component of the glasses, which are provided with an ID number. When determining the glasses, an optimal size and shape is selected for each component.
  • PD pupillary distance in mm
  • Facial measurement data is collected and placed on a discrete grid, from which the temple length and the bending point can be determined.
  • additional aesthetic principles can be taken into account. For example, the arms of women should always be a little longer, as they often put their glasses up in their hair.
  • Face measurement data Two facial feature points are located: nose-set point and ear-set point.
  • the nosepiece point and earpiece point serve as references for the contact points of the nosepads and temples. These points can be captured using facial recognition methods.
  • Fig. 9 shows a schematic representation of facial feature points 90.
  • the face width is determined so that a connecting line 91 of the two determined facial feature points can be shifted so that it corresponds to the natural temple position (laterally parallel to the head - from the ear attachment point to the temple). Together with the depth data from the identified facial feature points, the length of the bracket up to the bending point can then be determined.
  • Discrete Grid A discrete grid is created along each dimension "length of stirrup to bend point". For this purpose, static data is collected on these variables, ie the average distribution in the population is used and an equidistant grid is formed from this distribution. The stirrups are divided into equidistant lengths and assigned to each grid point from "Length of stirrup to bending point”.
  • Table 2 Example table for a projection, classification S,... , XL is exemplary and projected onto a cardinal scale
  • NP nosepiece point in world coordinate system
  • GB face width in mm, measured at eye level
  • L distance NP — OP in the world coordinate system (calculation analogous to the previous chapter)
  • NOA Projected Nose - Ear - Distance
  • One or more of the following advantages may result in the various implementations. It is possible to adapt a spectacle frame to an individual head shape. All you need is a standard mobile device. An automated procedure has been created (scalable). The delivery time can be shortened by combining it with 3D printing technology. In addition, wearing comfort can be significantly increased with custom-made glasses. It also eliminates the need for subsequent adjustment of the eyeglass frame to the wearer's head, for example in the nose or ear area, which in turn eliminates the need for the presence of an optician and allows for online or stationary vending machine purchases.
  • Face Width The shape of the face is a relevant aspect when it comes to the fashionable fit of glasses. The width of the face is used for this and is defined as the recognizable width of the face in mm at the level of the eyes.
  • the glasses portfolio includes all relevant glasses that are available for deriving the recommendation. Each item of this portfolio contains two pieces of information: an RGB image of the glasses and a classification based on descriptive characteristics (shape, color, style, etc.).
  • Preferences are a binary vector that assigns the preference (preferred, non-preferred) to each image.
  • GB face width in mm, measured at the level of the pupils
  • N number of glasses in the total portfolio
  • M number of glasses with preference, M ⁇ N
  • the projection methodology includes three steps: face projection method, image projection method and image preference method. i) face projection method
  • Facial measurement data is collected and placed on a discrete grid, from which the recommended glasses can be determined. Face measurement data: The face width is recorded. Face width is defined as the total width of the recognizable face at the pupillary level. Face width can be detected using current face recognition methods.
  • Discrete grid A discrete grid is created along each face width dimension. For this purpose, static data is collected on these variables (distribution in the population) and an equidistant grid is formed from the distribution. The glasses portfolio is divided into equidistant sizes and assigned to each grid point based on the width of the face.
  • the recommended glasses can be derived for a grid point determined from the width of the face. ii) Image projection method
  • a trained neural network For a fixed RGB image with recognizable glasses (input image), a trained neural network is used to perform feature extraction. As a result, a suitable similarity metric is used, which compares the input image with every image in the portfolio and sorts it according to confidence.
  • the similarity metric is provided with a confidence level from which applies "these glasses are similar to the input image", so that a recommendation sub-portfolio can be derived.
  • a trained neural network For a set of fixed RGB images with recognizable glasses (input images from the capture device 2), a trained neural network is used to perform feature extraction. As a result, a similarity metric is used, which compares the input images with each image for existing glasses and sorts them according to confidence.
  • a preference vector can be used as an additional input parameter, which indicates one or more preferences determined from the input images. Such a preference can concern qualitative factors for the user, for example one or more factors from the following group: sunglasses or regular glasses, color, material, brand and the like.
  • the similarity metric is provided with a confidence level from which applies "these glasses are similar to the input image and preferred", so that a recommendation sub-portfolio can be derived.
  • a possible formalization is explained in more detail below:
  • One or more of the following advantages can result from the different versions: Everything in one mobile device; Consideration of all relevant visual data and consideration of preferences. So far, only self-selection was possible online, but this was insufficient, since spectacle wearers do not know how their head size compares to the rest of the spectacle wearer population. In concrete terms, this means that nobody says of themselves: “I have a statistically significantly large head”. Recommendations based purely on taste are inadequate when it comes to eyewear. Head and face shape recognition can be automated without the presence of an optician, for example online or at a self-service machine, and also combined with deep learning-based preference recognition.

Landscapes

  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Eyeglasses (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum automatischen Bestimmen von Herstellungsparametern für eine Brille, wobei bei dem Verfahren in einem oder mehreren zur Datenverarbeitung eingerichteten Prozessoren Folgendes vorgesehen ist: Erfassen von Kopfbilddaten für zumindest einen Teil eines Kopfes eines Brillennutzers und Bestimmen einer Kopfparametrisierung für zumindest den Teil des Kopfes des Brillennutzers, wobei die Kopfparametrisierung für eine Anpassung einer Brille relevante Kopfparameter für zumindest den Teil des Kopfes des Brillennutzers anzeigt und die Kopfparameter mindestens einen Linseneinschleifparameter und mindestens einen Brillenauflageparameter umfassen. Weiterhin ist Folgendes vorgesehen: Bereitstellen einer Brillenparametrisierung für die Brille, wobei die Brillenparametrisierung für die Anpassung der Brille für den Brillennutzer relevante Brillenparameter anzeigt; und Ausführen eines Datenmapping für die Kopfparametrisierung und die Brillenparametrisierung, wobei hierbei zur Anpassung der Brille für den Brillennutzer wenigstens ein Brillenparameter einem zugeordneten Kopfparameter entsprechend angepasst wird und / oder wenigstens ein weiterer Brillenparameter bestimmt wird.

Description

Verfahren und Vorrichtung zum automatischen Bestimmen von Herstellungsparametern für eine Brille
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum automatischen Bestimmen von Herstellungsparametern für eine Brille.
Hintergrund
Es ist bekannt, Brillen vor Ort in Gegenwart eines Optikers anzupassen. Ohne Gegenwart eines Optikers kann bislang nicht zuverlässig die notwendigen Parameter für die Brillenglas- Zentrierung ermittelt werden. Ebenso ist keine Rahmenanpassung möglich.
Daneben wurde vorgeschlagen, Brillen online zu bestimmen. Der Brillennutzer wird hierbei aufgefordert ein Referenzobjekt, dessen Größe standardisiert und daher allgemein bekannt ist, zum Beispiel eine Kreditkarte, an die Stirn zu legen und ein Foto aufzunehmen. Da das Referenzobjekt eine standardisierte Größe hat, kann die Pupillendistanz mittels einfacher Arithmetik abgeleitet werden. Es kann so jedoch nicht gewährleistet werden, dass sich Referenzobjekt und Augenpupille auf derselben Frontalebene befinden. Ebenso kann der orthogonale Winkel des Referenzobjekts zur Frontalebene nicht gewährleistet werden. Dies bedeutet in der Praxis eine Messabweichung von durchschnittlich mehreren Millimetern, welche ungeeignet ist für die Brillenglas-Zentrierung.
Bislang ist die Ermittlung der notwendigen Parameter für die Brillenglas-Zentrierung nur stationär in Gegenwart eines Optikers möglich. Insbesondere sind für die Messung eines Pupillenabstands und einer Einschleifhöhe verschiedene Geräte notwendig. Darüber hinaus führen die herkömmlichen Messgeräte zu einer hohen Messvarianz und einer geringen Genauigkeit. Dies gilt auch für die aktuellen mobilen Anwendungen.
Zusammenfassung
Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zum automatischen Bestimmen von Herstellungsparametern für eine Brille anzugeben, welches insbesondere eine Bestimmung der Parameter für die Brille auch in einem online-Verfahren auf effiziente Art und Weise und mit hoher Genauigkeit ermöglicht. Gelöst wir die Aufgabe durch ein Verfahren und eine Vorrichtung zum automatischen Bestimmen von Herstellungsparametern für eine Brille nach den unabhängigen Ansprüchen 1 und 12. Ausgestaltungen sind Gegenstand von abhängigen Unteransprüchen.
Nach einem Aspekt ist ein Verfahren zum automatischen Bestimmen von Herstellungsparametern für eine Brille geschaffen, wobei in einem oder mehreren zur Datenverarbeitung eingerichteten Prozessoren Folgendes vorgesehen ist: Erfassen von Kopfbilddaten für zumindest einen Teil eines Kopfes eines Brillennutzers; Bestimmen einer Kopfparametrisierung für zumindest den Teil des Kopfes des Brillennutzers, wobei die Kopfparametrisierung für eine Anpassung einer Brille relevante Kopfparameter für zumindest den Teil des Kopfes des Brillennutzers anzeigt und die Kopfparameter mindestens einen Linseneinschleifparameter und mindestens einen Brillenauflageparameter umfassen; Bereitstellen einer Brillenparametrisierung für die Brille, wobei die Brillenparametrisierung für die Anpassung der Brille für den Brillennutzer relevante Brillenparameter anzeigt; und Ausführen eines Datenmapping für die Kopfparametrisierung und die Brillenparametrisierung, wobei hierbei zur Anpassung der Brille für den Brillennutzer wenigstens ein Brillenparameter einem zugeordneten Kopfparameter entsprechend angepasst wird und / oder wenigstens ein weiterer Brillenparameter bestimmt wird.
Nach einem weiteren Aspekt ist eine Vorrichtung zum automatischen Bestimmen von Herstellungsparametern für eine Brille mit einem oder mehreren zur Datenverarbeitung eingerichteten Prozessoren geschaffen, die für Folgendes eingerichtet sind: Empfangen von Kopfbilddaten für zumindest einen Teil eines Kopfes eines Brillennutzers; Bestimmen einer Kopfparametrisierung für zumindest den Teil des Kopfes des Brillennutzers, wobei die Kopfparametrisierung für eine Anpassung einer Brille relevante Kopfparameter für zumindest den Teil des Kopfes des Brillennutzers anzeigt und die Kopfparameter mindestens einen Linseneinschleifparameter und mindestens einen Brillenauflageparameter umfassen; Bereitstellen einer Brillenparametrisierung für die Brille, wobei die Brillenparametrisierung für die Anpassung der Brille für den Brillennutzer relevante Brillenparameter anzeigt; und Ausführen eines Datenmapping für die Kopfparametrisierung und die Brillenparametrisierung, wobei hierbei zur Anpassung der Brille für den Brillennutzer wenigstens ein Brillenparameter einem zugeordneten Kopfparameter entsprechend angepasst wird und / oder wenigstens ein weiterer Brillenparameter bestimmt wird. Weiterhin kann Folgendes vorgesehen sein: Erfassen von RGB-Kopfbilddaten für zumindest den Teil des Kopfes des Brillennutzers; Bereitstellen von Kalibrierungsdaten, welche eine Kalibrierung einer Bildaufnahmeeinrichtung anzeigen, die zum Erfassen von RGB-Kopfbilddaten verwendet wird; und Bestimmen des mindestens einen Linseneinschleifparameters unter Verwendung der RGB-Kopfbilddaten und der Kalibrierungsdaten mittels Bilddatenanalyse, wobei hierbei ein den Pupillen zugeordneter Lokalisierungsvektor bestimmt wird, welcher eine Bildpixelposition für die Pupillen anzeigt. Bezüglich des mindestens einen Linseneinschleifparameters kann beispielweise ein horizontaler Pupillenabstand bestimmt werden.
Es kann weiterhin Folgendes vorgesehen sein: Bereitstellen von Tiefenbilddaten und Bestimmen des mindestens einen Linseneinschleifparameters unter Verwendung der RGB-Kopfbilddaten, der Tiefenbilddaten und der Kalibrierungsdaten.
Bei dem Verfahren kann weiterhin Folgendes vorgesehen sein: Bereitstellen von Referenzmerkmaldaten, die ein biometrisches Referenzmerkmal für den Brillennutzer anzeigen, und Bestimmen des mindestens einen Linseneinschleifparameters unter Verwendung der RGB- Kopfbilddaten, der Referenzmerkmaldaten und der Kalibrierungsdaten. Die Referenzmerkmaldaten können als biometrisches Referenzmerkmal zum Beispiel ein Referenzlängenmaß anzeigen, beispielweise einen Durchmesser der Iris. Der Irisdurchmesser hat für eine Vielzahl von Menschen eine im Wesentlichen gleiche charakteristische Größe. Es kann vorgesehen sein, den mindestens einen Linseneinschleifparameter zunächst unter Verwendung der Tiefenbilddaten zu bestimmen, um hierauf das hierbei gewonnene Ergebnis mittels einer Bestimmung unter Verwendung der Referenzmerkmaldaten zu verifizieren.
Der wenigstens eine Brillenparameter oder der wenigstens eine weitere Brillenparameter können eine reale Einschleifhöhe für eine als Gleitsichtbrille ausgeführte Brille umfassen, wobei hierbei weiterhin Folgendes vorgesehen sein kann: Bestimmen zumindest eines Fixpunktes eines realen Brillenrahmens einer realen Brille, welcher einen Übergang zwischen einer Brillenlinse und dem Brillenrahmen anzeigt, wobei hierbei ein dem zumindest einen Fixpunkt des Brillenrahmens zugeordneter Lokalisierungsvektor bestimmt wird, welcher eine Bildpixelposition für den zumindest einen Fixpunkt des Brillenrahmens anzeigt; und vertikales Projizieren einer die Pupillen anzeigenden Pupillenmarkierung auf den Brillenrahmen.
Der wenigstens eine Brillenparameter oder der wenigstens eine weitere Brillenparameter können eine virtuelle Einschleifhöhe für eine als Gleitsichtbrille ausgeführte Brille umfassen, wobei hierbei weiterhin Folgendes vorgesehen sein kann: Bereitstellen einer 3D-Modellierung einer virtuellen Brille, aus welcher eine Brillenparametrisierung für die virtuelle Brille bestimmt wird; Bestimmen zumindest eines Fixpunktes eines Brillenrahmens der virtuellen Brille, welcher einen Übergang zwischen einer Brillenlinse und dem Brillenrahmen anzeigt, wobei hierbei ein dem zumindest einen Fixpunkt des Brillenrahmens zugeordneter Lokalisierungsvektor bestimmt wird, welcher eine Bildpixelposition für den zumindest einen Fixpunkt des Brillenrahmens anzeigt; und vertikales Projizieren einer die Pupillen anzeigenden Pupillenmarkierung auf den Brillenrahmen
Bei dem Verfahren kann die 3D-Modellierung der virtuellen Brille aus einer Vielzahl unterschiedlicher virtueller Brillen ausgewählt werden, für die eine jeweilige 3D-Modellierung in einer Speichereinrichtung hinterlegt ist. Für die virtuellen Brillen ist hierzu in der Speichereinrichtung vorab die jeweilige 3D-Modellierung (3D-Modelldaten) hinterlegt. Die 3D-Modelldaten können mit einem für den 3D Druck geeigneten Datenformaten (STL, OBJ, etc.) gespeichert sein.
Die 3D-Modellierung kann in einem Beispiel folgende Brillenmodelldaten umfassen: (i) Komponenten einer Brille - (a) Vorderteil, Brücke, Backen; (b) Bügel links und rechts, Bügelknickpunkt; und (c) Nasenpadlänge und -winkel; und (ii) Ausprägungen jeder Komponente: Jede Brille ist leicht unterschiedlich designed, und die Komponenten haben hierdurch unterschiedliche Ausprägungen hinsichtlich Größe und Verformung.
Beim Auswählen der virtuellen Brille kann von allen Ausprägungen für alle Komponenten die ausgewählt, welche am besten zum Brillenutzer passt („Wegschneiden des Lösungsraums“). Hierbei können drei Komponenten berücksichtigt werden: (i) Kopfparameter; (ii) Brillenparameter und (iii) Abbildungslogik („Wegschneiden des Lösungsraums“). Ein Schnittebenenverfahren kann angewendet werden. Ausgangspunkt ist hierbei der gesamte Lösungsraum, der alle Größenkombinationen der Brillenkomponenten umfasst. Basierend auf den Kopfparametern wird dann eine Größenkombination ausgewählt, welche am besten passt. Hierbei wird „am besten passt“ unter Zuhilfenahme von biometrischen und kunden-relevanten Daten definiert, zum Beispiel wie folgt: “Eine normale Brille für einen Mann sollte eine Breite haben, die der Kopfbreite entspricht. Eine Sonnenbrille für eine Frau sollte eine Breite haben, die der Kopfbreite + 10% entspricht.“ Dies ergibt dann die Abbildungslogik. Bei Verfahren kann weiterhin Folgendes vorgesehen sein: Bestimmen eines 3D- Koordinatensystems; Abbilden der Kopfparametrisierung für zumindest den Teil des Kopfes des Brillennutzers und der Brillenparametrisierung in das 3D-Koordinatensystem und Bestimmen eines oder mehrerer der folgenden Parameter in dem 3D-Koordinatensystem: horizontaler Pupillenabstand, Gesichtsbreite auf Höhe der Pupillen, reale Einschleifhöhe und virtuelle Einschleifhöhe.
Basierend auf der Kopfparametrisierung können für die Anpassung der Brille eine Bügellänge für Bügel der Brille und ein Beugepunkt für die Bügel bestimmt werden.
Die Kopfparameter können einen oder mehrere Linseneinschleifparameter aus der folgenden Gruppe umfassen: horizontaler Pupillenabstand und Kopfbreite.
Die Kopfparameter können einen oder mehrere Brillenauflageparameter aus der folgenden Gruppe umfassen: Gesichtsbreite auf Höhe der Pupillen, Nasenbreite, Nasenaufsatzpunkt, Ohrenaufsatzpunkt, Abstand zwischen Nase und Ohren sowie Wangenkontur.
Die vorangehend in Verbindung mit dem Verfahren erläuterten Ausgestaltungen können im Zusammenhang mit der Vorrichtung entsprechend vorgesehen sein.
Nachfolgend werden weitere Ausführungsbeispiele unter Bezugnahme auf Figuren einer Zeichnung erläutert:
Fig. 1 eine schematische Darstellung betreffend ein Verfahren zum automatischen Bestimmen von Herstellungsparametern für eine Brille;
Fig. 2 eine schematische Darstellung einer Brille mit eingezeichnetem horizontalen Pupillenabstand und eingezeichneter realer Einschleifhöhe;
Fig. 3 eine schematische Darstellung betreffend das Bestimmen einer Position für eine Pupille;
Fig. 4 eine schematische Darstellung einer Brille mit eingezeichneter realer Segmenthöhe;
Fig. 5 eine schematische Darstellung von neun RGB-Bildpixel (durchgezogene Linie) und vier Tiefenbildpixel (gestrichelte Linie) sowie zwei markierte RGB-Bildpixeln (gestreifte und karierte Fläche); Fig. 6 eine schematische Darstellung von vier RGB Bildpixel (durchgezogene Linie) und neun Tiefenbildpixel (gestrichelte Linie) sowie einem markierten Tiefenbildpixel (gestreifte Fläche);
Fig. 7 eine schematische Darstellung eines kanonischen Brillenmodells mit Front, Bügel, Beugepunkt und Beugewinkel;
Fig. 8 eine schematische Darstellung betreffend eine Gesichtsbreitenbestimmung und Fig. 9 eine schematische Darstellung betreffend Gesichtsmerkmalspunkte.
Nachfolgend werden ein Verfahren und eine Vorrichtung zum automatischen Bestimmen von Herstellungsparametern für eine Brille anhand verschiedener Ausführungsbeispiele beschrieben.
Hierbei werden gemäß Fig. 1 für einen Brillenträger 1 mit Hilfe einer Aufnahmeeinrichtung 2 Bildaufnahmen einer Kopffrontansicht erfasst. Die Aufnahmeeinrichtung 2 kann mit einem mobilen Endgerät wie Mobiltelefon, Tablet oder Laptop-Computer oder einem stationären Endgerät wie Desktop-Computer gebildet sein. Die Aufnahmeeinrichtung 2 weist, wie für solche Endgeräte üblich, eine Kamera zum Aufnehmen der Bildaufnahmen sowie eine Anzeigeeinrichtung (Display) auf, um Bilddaten an den Brillenträger 1 auszugeben. Auch verfügt eine Nutzerschnittstelle der Aufnahmeeinrichtung 2 über eine Eingabeeinrichtung zum Empfangen von Eingaben des Brillenträgers 1 , sei es über eine Tastatur und / oder einen berührungssensitive Eingabefläche.
Handelsübliche mobile Endgeräte, zum Beispiel Mobiltelefone oder Laptop-Computer, sind in der Lage, eine Reihe an Umgebungsmessdaten zur Verfügung zu erfassen, beispielweise mittels einer oder mehrere Sensor- oder Aufnahmeeinrichtungen: CMOS-Kamera, Infrarotkamera, Entfernungssensoren und Punkteprojektoren.
Mittels der Aufnahmeeinrichtung 2 können Bildaufnahmen erfasst werden, aus denen digitale Bildinformationen bestimmt werden können: Bilddaten (RGB-Information); Tiefendaten (insbesondere Abstände) und Kalibrierungsdaten (wie zum Beispiel Auflösung, Winkel, etc.). Aus digitale Bildinformationen werden 3D-Daten bestimmt, wobei in einem Ausführungsbeispiel Folgendes vorgesehen ist (vgl. auch weitere Erläuterungen unten):
(i) In den Bilddaten werden Points-of-Interest (POI) detektiert, zum Beispiel Pupillen, Rahmen, Nasen, etc., bis hin zum gesamten Teil des Kopfes (zum Beispiel Gesicht) (ii) Diese POIs werden auf die Tiefendaten unter Zuhilfenahme der Kalibrierungsdaten und biometrischer Daten gemappt (insb. für Plausibilitätscheck).
(iii) Aus den so bestimmten „Vektoren“ kann man die notwendigen Distanzen berechnen. Das Mapping ist erfolgt von “2D nach 3D“. D.h. der POI ist ein Vektor (x, y), und nach dem Mapping liegt - unter Berücksichtigung der Tiefendaten - ein Vektor (x, y, z) vor.
POIs werden zum Beispiel auf die Tiefenbilddaten gemappt (inkl. Kalibrierungsdaten. Die Referenzmerkmaldaten, welche ein biometrisches Referenzmerkmal anzeigen, können zusätzlich herangezogen werden für einen Plausibilitätschecks, zum Beispiel eine Verteilung des horizontalen Pupillenabstands in der Bevölkerung. Dies dient der Absicherung. Beispielweise kann ein Warnhinweis erzeugt werden, wenn ein außergewöhnlicher Pupillenabstand bestimmt wird, welcher von einem typischen Bereich abweist. So kann eine entsprechende Aktion initiiert werden, zum Beispiel kann der Brillennutzer aufgefordert werden, die Messung zu wiederholen, also beispielweise erneut Bilddaten / Sensordaten zu erfassen.
Wenn in einer alternativen Ausgestaltung keine Tiefendaten zur Verfügung stehen, beispielweise weil die Aufnahmeeinrichtung 2 über keinen entsprechenden Sensor verfügt, so erfolgt das Mapping der POIs über eine sog. Referenzmethode. Hierbei ist - wie vorangehend erläutert - vorgesehen, zum Beispiel die Iris (insbesondere Irisdurchmesser) als Referenz zu nutzen. Die biometrischen Daten werden weiterhin für Plausibilitätschecks genutzt.
Bezüglich POI kann nur die Pupille relevant sein, sondern auch die Iriskontur (bzw. die Pixelposition im Bild). Aus der Iriskontur, der Pupille (beide als Pixelposition im RGB Bild) und dem Durchmesser kann der horizontale Pupillenabstand bestimmen werden, insbesondere dann, wenn keine Tiefenbilddaten vorliegen.
Insbesondere zum Verarbeiten der Bildaufnahmen und der Nutzereingaben ist die Aufnahmeeinrichtung mit einer Datenverarbeitungseinrichtung 3 verbunden, sei es über eine kabellose oder eine kabelgebundene Verbindung, die eingerichtet ist, Daten auszutauschen. Die Datenverarbeitungseinrichtung 3 weist zur Datenverarbeitung ein oder mehrere Prozessoren auf und ist mit einer Speichereinrichtung 4 verbunden.
In der Speichereinrichtung 4 sind insbesondere jeweilige Brillendaten für eine Vielzahl verschiedener Brillenmodelle gespeichert, wobei die Brillendaten charakteristische Daten für die verschiedenen Brillenmodelle angeben. Die Datenverarbeitungseinrichtung ist optional mit einer Herstellungseinrichtung 5 verbunden, die eingerichtet ist, Parameter für eine herzustellende Brille zu empfangen und die automatisiert herzustellen, insbesondere einen Brillenrahmen oder Teile hiervon mittels eines 3D-Dru- ckers.
Bei dem Verfahren zum automatischen Bestimmen von Herstellungsparametern für eine Brille werden eine oder mehrere der folgenden Parameter bestimmt: Pupillendistanz (PD), reale Einschleifhöhe (rSH) und virtuelle Einschleifhöhe (vSH). Bezüglich einer Anpassung der Brille kann vorgesehen sein, beim Verfahren insbesondere ein Frontteil, Nasenpads und / oder Bügel der Brille anzupassen.
Es können insbesondere die folgenden Schritte vorgesehen sein, die nachfolgend näher erläutert werden: Datenerhebung mittels Bildaufnahmen; Bestimmen von Merkmalen und Referenzpunkten und Anwenden einer Projektionsmethodik. Von Bedeutung sind bei der Datenerhebung Bilddaten mit Licht-, Färb- und Entfernungsinformationen über das aufgenommen Objekt (Kopf des Brillenträgers 1). Diese Objekte sind in erster Linie eine Gesichtspartie des Brillennutzers und Brillenmodelle. Über mehrstufige Projektions- und Filtermethodiken werden diese Daten aus der „2D-Welt“ stabil und präzise in ein 3D-Welt-Koordinatensystem projiziert. Aus Positionsmatrizen lassen sich dann die gewünschten Endmessdaten für eine Brillenglas- Zentrierung, eine Maßfertigung von Brillenfassungen und / oder eine personalisierte Brillenmodell-Empfehlung bestimmen.
I. Bestimmung von Parametern
Die Pupillendistanz (PD) ist definiert als der horizontale Abstand in Millimetern (mm) zwischen beiden Pupillen. Dabei gelten die Mittelpunkte beider Pupillen als Ausgangspunkte der Messung. Die Pupillendistanz ist notwendig für die Brillenglas-Zentrierung von Einstärken- und Gleitsichtgläsern.
Die reale Einschleifhöhe („real grinding height“ - rGH) ist der vertikale Abstand in mm der Pupille zum inneren unteren Rand der Brillenfassung, die der Brillenträger bei der Messung trägt. Die Einschleifhöhe ist notwendig, um Gleitsichtbrillengläser einschleifen zu können. Die virtuelle Einschleifhöhe („virtual grinding height“ - vGH) ist der vertikale Abstand in mm der Pupille zum inneren unteren Rand der virtuellen Brillenfassung, die der Nutzer durch den Bildschirm des mobilen Endgeräts auf sein Gesicht projiziert sieht. Die Einschleifhöhe ist notwendig, um Gleitsichtbrillengläser einschleifen zu können.
Fig. 2 zeigt eine schematische Darstellung einer Brille 20 mit eingezeichnetem horizontalen Abstand 21 zwischen den Pupillen 22 und eingezeichneter realer Einschleifhöhe 23. a) Merkmale und Referenzpunkte
Gemäß einem Ausführungsbeispiel werden folgende Punkte definiert und ermittelt: Pixel of Interest in zweidimensionalem RGB-Bild (POI) (Pupillenposition, Rahmenposition reale Brille, Rahmenposition virtuelle Brille); 3D Weltkoordinatensystem; Tiefendaten in 2D-Tiefenbild und Kalibrierungsdaten.
Pixel of Interest in zweidimensionalem RGB-Bild (POI): Für die Bestimmung der Parameter PD, rGH und vGH ist es notwendig, die exakte Position der Pupillen zu bestimmen, zum Beispiel den tiefsten Punkt des Brillenrahmens, sog. Boxmaß. Hierzu werden RGB-Bilder und Kamerakalibrierungsdaten (Auflösung des aufgenommenen Bildes, Kamerawinkelinformationen) für das jeweilige mobile Endgerät (Aufnahmeeinrichtung 2) analysiert. Mittels Pupillenfindermethodik (Bildanalysealgorithmen) werden die Pupillen determiniert und in einem Lokalisierungsvektor (POI) gespeichert. Mit Hilfe der Kalibrierungsdaten können die Pupillen als Pixelinformation (x, y) im RGB Bild eindeutig lokalisiert werden.
Die Pupillenfindermethodik sieht in einem Ausführungsbeispiel ein zwei-stufiges Verfahren vor. Zunächst wird eine kaskadenartiges Finden der Pupille (sog. "Cascaded Convolutional Neural Networks") ausgeführt: (i) Finden des Gesichts; (ii) Finden der Augenpartie; (iii) Finden der Iris und (iv) Finden der Pupille. Zusätzliche werden in einem weiteren Schritt Plausibilisierungsdaten zum Abgleich (biometrische Informationen) bereitgestellt. In jedem Schritt des Verfahrens kann ein Plausibilitätschecks durchgeführt werden, zum Beispiel unter Zuhilfenahme der biometrischen Daten, zum Beispiel nach folgendem Schema: Schritt (1) - Ist die Iris innerhalb der Augenpartie gefunden worden?; Schritt (2) - Ist die Pupille innerhalb der Iris gefunden worden?; ... ; Schritt (n) - Ist die berechnete Pupillendistanz innerhalb einer plausiblen Bandbreite, zum Beispiel 50 bis 70mm?; ... Hierdurch werden Stabilität und Genauigkeit des Verfahrens unterstützt. Fig. 3 zeigt eine schematische Darstellung betreffend das Bestimmen einer Position für eine Pupille 30.
Für rGH ist es notwendig die exakte Position des Rahmens zu bestimmen. Dazu wird ein Fixpunkt auf dem Rahmen wie folgt definiert:
- Rahmen: Der relevante Punkt am Rahmen ist der Übergang zwischen Linse und Gestell der Brille (und damit der „innere Punkt der Brille“)
- Vertikale Projektion: Ausgehend von der gefundenen Pupille wird eine vertikale Projektion auf den Rahmen (wie oben definiert) vollzogen
Mittels einer Linienfindermethodik werden die Rahmenfixpunkte (linke und rechte Seite) determiniert und in einem Lokalisierungsvektor gespeichert. Dieser Vektor ist kongruent mit den Kalibrierungsdaten der Kamera, sodass die exakte Pixelposition der Rahmenfixpunkte bekannt ist. Ein Brillenrahmen in einem Bild stellt eine Liniengeometrie dar. D.h. man wählt einen Algorithmus, der spezialisiert darauf ist, Linien zu finden (und damit den Rahmen) - insb. wo beginnt die Linie und wo hört sie auf. Wir nutzen aktuell den Houghs Line Finder.
Fig. 4 zeigt eine schematische Darstellung einer Brille 40 mit eingezeichneter realer Segmenthöhe 41.
Für die Bestimmung der virtuellen Einschleifhöhe (vGH) wird die virtuelle Brille als modelliertes 3D Objekt vorgehalten. Hierbei sind die exakten Dimensionen bekannt. Als Ankerpunkt auf der Brille wird der untere zentrale Punkt der Brücke definiert.
3D Weltkoordinatensystem: Als Ausgangspunkt dient die Definition eines Weltkoordinatensystems. Dies ist ein euklidisches System mit einem Ankerpunkt im Koordinatenursprung. Dieser Ankerpunkt wird durch die Linsenvorderseite der RGB-Kamera definiert. Die Orientierung der Koordinatenachsen sind wie folgt definiert:
- x-Achse: Parallel zur horizontalen Ausrichtung des mobilen Endgeräts
- y-Achse: Parallel zur vertikalen Ausrichtung des mobilen Endgeräts
- z-Achse: Parallel zur Kameraaufnahmerichtung des mobilen Endgeräts Tiefendaten in 2D-Tiefenbild Fortgeschrittene mobile Endgeräte stellen Tiefeninformationen zur Verfügung. Diese „Grey-Scale“ Bilder werden synchron mit den RGB Bildern aufgenommen und zusammen mit den Kalibrierungsdaten können die Tiefen- und RGB Bilder kongruent transformiert werden. Die Tiefenbilder enthalten pro Pixel die Entfernung von der Tiefenlinse zum aufgenommenen Objekt. Jedes Paar an RGB und Tiefenbild enthält verschiedene Kalibrierungsdaten, die die Aufnahme näher spezifizieren. Es wird angenommen, dass folgende Größen zur
Verfügung stehen oder softwareseitig extrahiert werden können: Winkel entlang x-y-Achse für POI; Winkel entlang y-z-Achse für POI; Auflösung RGB Bild und Auflösung Tiefenbild.
Nachfolgend wird die Formalisierung nähert erläutert:
1. Bildpixel of Interest in 2D RGB-Bild (POI)
POI = Pixels of interest = Position von relevanten Pixel (z. B. gefundene Pupille) im RGB Bild imgRGß = RGB Bild imgDEp = Tiefenbild px = Position der linken Pupille im RGB Bild = { p2 = Position der rechten Pupille im RGB Bild = fx = Position des linken Rahmens im RGB Bild = f2 = Position des rechten Rahmens im RGB Bild vx = Position des linken virtuellen Rahmens im Weltkoordinatensystem = {xVi, yv , zVi] v2 = Position des rechten virtuellen Rahmens im Weltkoordinatensystem = {xV2,yV2, zV2]
2. 3D Weltkoordinatensystem
Weltkoordinatensystem = Euklidisches Koordinatensystem mit drei Dimensionen
Ankerpunkt = Koordinatenursprung = Kameralinsenausgangspunkt = (0,0,0)
3. Tiefenbilddaten in 2D Tiefenbild dpi = Position der linken Pupille im Tiefenbild = |xdpi,ydp dp2 = Position der rechten Pupille im Tiefenbild = dfi = Position des linken Rahmens im Tiefenbild = df2 = Position des rechten Rahmens im Tiefenbild dP0I = Entfernung des POI zur Kameralinse in mm
4. Kalibrierungsdaten axyPOi = Winkel entlang x — y — Achse für POI ayZpoi = Winkel entlang y — z — Achse für POI resRGB = Auflösung RGB Bild = {resx, resy} resDEP = Auflösung Tiefenbild = {resx, resy}
Die Projektionsmethodik umfasst in einer Ausgestaltung vier Schritte:
- Winkel zwischen Achsen im Weltkoordinatensystem bestimmen
- Entfernung zum POI bestimmen
- Projektion von 2D Eingangsbildern zum 3D Weltkoordinatensystem
- Kalkulation Abstand i) Winkel zwischen Achsen im Weltkoordinatensystem
Zum Bestimmen des Winkels zwischen Achsen im Weltkoordinatensystem ist Folgendes vorgesehen: Es werden die zwei Winkel für die Projektion in das Weltkoordinatensystem benötigt. Diese liegen in den Kalibrierungsdaten vor und können zur Projektion herangezogen werden. ii) Entfernung zum POI bestimmen
Zum Bestimmen der Entfernung zum POI ist Folgendes vorgesehen: Aus der Lokalisierung von POI im RGB Bild muss ein Konnex zum Tiefenbild hergestellt werden, um die Entfernung des POI von der Kamera zu bestimmen. Dies erfolgt durch eine Abbildungsmethode, welche die Auflösung des RGB sowie des Tiefenbildes berücksichtigt. Die Auflösung von RGB und Tiefenbild ist üblicherweise unterschiedlich. Insgesamt können drei Fälle unterschieden werden:
Fall 1 : Auflösung von RGB Bild und Tiefenbild stimmt überein;
Fall 2: Auflösung vom RGB Bild ist größer als Auflösung vom Tiefenbild; - Fall 3: Auflösung vom RGB Bild ist kleiner als Auflösung vom Tiefenbild.
Ziel ist es, die Tiefeninformation (=Abstand in mm) für einen bereits als relevant gefundenen Pixel im RGB Bild (zum Beispiel die Pupille oder den Rahmen) abzuleiten:
Fall 1 :
Die Koordinaten des POI im RGB Bild werden exakt auf die Koordinaten im Tiefenbild projiziert. Die entsprechenden Abstandsinformationen können ermittelt werden.
Fall 2:
Fig. 5 zeigt zur Beschreibung der Ausgangslage eine schematische Darstellung von neun RGB-Bildpixel 50 (begrenzt durch durchgezogene Linie) und vier Tiefenbildpixel 51 (begrenzt durch gestrichelte Linie) sowie zwei markierte RGB-Bildpixeln 52 (gestreifte und karierte Fläche).
Es können zwei Fälle auftreten:
- Der POI liegt vollständig in einem Tiefenpixel (gestreifte Fläche). Die Kongruenz wird wie folgt bestimmt: Der POI wird auf den Tiefenbildpixel mit den gleichen Koordinaten projiziert.
- Der POI liegt in mehr als einem Tiefenpixel (karierte Fläche). Die Kongruenz wird wie folgt bestimmt: Der POI wird auf den arithmetischen Durchschnitt der Entfernungen aller betroffener Tiefenbildpixel projiziert.
Die entsprechenden Abstandsinformationen können ermittelt werden.
Fall 3:
Fig. 6 zeigt zur Beschreibung der Ausgangslage eine schematische Darstellung der Ausgangslage mit vier RGB Bildpixel 60 (begrenzt durch durchgezogene Linie) und neun Tiefenbildpixel 61 (begrenzt durch gestrichelte Linie) sowie einem markierten Tiefenbildpixel (gestreifte Fläche). Der POI überlappt immer mindestens drei Tiefenbildpixel (blaue Fläche). Die Kongruenz wird wie folgt bestimmt: Der POI wird auf den arithmetischen Durchschnitt der Entfernungen aller überlappten Tiefenbildpixel projiziert. iii) Projektion von 2D Eingangsbildern zum 3D Weltkoordinatensystem
Aus dem Pixelabstand und den beiden Winkelmaßen wird mit Hilfe einer Euklidischen Positionsformel die Position im 3D Weltkoordinatensystem berechnet. iv) Kalkulation Abstand
Der Abstand zwischen zwei Punkten im 3D Weltkoordinatensystem wird mit Hilfe einer Euklidischen Abstandsformel berechnet:
PD: Die Pupillendistanz wird in mm angegeben und berechnet sich aus den beiden Pupillenpunkten im Weltkoordinatensystem. rGH: Die reale Einschleifhöhe wird in mm angegeben und berechnet sich aus jeweils einem Pupillenpunkt und einem realen Rahmenpunkt im 3D Weltkoordinatensystem. vGH: Die virtuelle Einschleifhöhe wird in mm angegeben und berechnet sich aus jeweils einem Pupillenpunkt und einem virtuellen Rahmenpunkt im 3D Weltkoordinatensystem.
Nachfolgend wird eine mögliche Formalisierung nähert erläutert. ii) Entfernung zum POI bestimmen
Fall 1 dpoi = Tiefeninformation aus dem POI im Tiefenbild an der Pixelposition {xp0I,yP0I}
Fall 2 Fall 3 iii) Projektion von 2D Eingangsbildern zum 3D Weltkoordinatensystem
(x,y, z) = map(dpoi, axy, ayz) iv) Kalkulation Abstand
Es können sich in den verschiedenen Ausführungen ein oder mehrere der folgenden Vorteile ergeben:
- Erhöhung der Messgenauigkeit - Mit der vorgeschlagenen Lösung ist eine Messgenauigkeit von unter einem mm erreichbar.
- Minimierung Messvarianz: Mit der vorgeschlagenen Lösung kann eine Messvarianz von unter zwei Millimeter erreicht werden (eine Standardabweichung).
- Alle Messungen können mit nur einem handelsüblichen mobilen Endgerät durchgeführt werden
- Zur Bestimmung der Einschleifhöhe ist keine echte Brille notwendig, eine virtuelle Anprobe auf dem mobilen Endgerät ist ausreichend. Dies ermöglicht die Empfehlung passender Brillenrahmen, die Messung der notwendigen Parameter zur erfolgreichen Brillenglas-Zentrierung, sowie die Rahmenanpassung ohne Gegenwart eines Optikers. Damit ein qualitativ gleichwertiger Online-Brillenkauf ermöglicht, genauso wie an stationären Automaten im Sinne eines Self-Service-Prinzips. Durch die bessere Empfehlung und Vermessung kann die Retourenrate im derzeitigen Online-Brillenverkauf signifikant gesenkt werden, was sich positiv auf Profitabilität von Online-Brillenverkäufern auswirkt und durch Verminderung der Paketmengen die Umwelt schont. II. Anpassung Rahmen für ein maßgefertigte Brille a) Merkmale und Referenzpunkte
Zur Brille gehören insbesondere das Frontteil, der linke und der rechte Bügel sowie Nasenpads. Eine Projektionsmethodik wird genutzt, um die optimale Rahmengröße zu bestimmen.
Es werden die folgenden Punkte bestimmt: Kanonisches Brillenmodell und Modifizierungspunkte. Kanonisch bedeutet in diesem Zusammenhang die Definition der Brillenkomponenten und der Größen und Formenanpassungen: Kanonisches Modell = {alle Komponenten, Größenanpassungen, Formanpassungen}. Aus dieser endlichen Menge an Kombinationen wird dann das konkrete Brillenmodell errechnet und aus dem Speicher abgerufen. Ein kanonisches Brillenmodell kann in einer Ausführung über folgende Komponenten definiert sein: Front, Bügel (links und rechts), Nasenpads (links und rechts), Beugepunkt Bügel (links und rechts) und Beugewinkel Bügel (links und rechts).
Fig. 7 zeigt eine schematische Darstellung eines kanonischen Brillenmodells 70 mit Frontteil 71 , Bügel 72, Beugepunkt 73 und Beugewinkel 74 sowie Nasenpad 75.
Modifizierungspunkte: Die Rahmenanpassung erfolgt dabei für jede Komponente getrennt über die folgenden Modifizierungspunkte:
Front: Breite des gesamten Frontteils 71. Die Skalierung erfolgt dabei seitenverhältnis-stabil. Bügel: Gesamtlänge des Bügels 72, Beugepunkt 73 und Beugewinkel 74 b) Projektionsmethodik
Die Projektionsmethodik umfasst zwei Schritten: Frontteilprojektionsmethode und Bügelprojektionsmethode. i) Frontteilprojektionsmethode
Es werden Gesichtsmessdaten erhoben und auf ein diskretes Raster gelegt, woraus sich die Größe des Frontteils 71 ermitteln lässt. Zusätzlich können „ästhetische Prinzipien“ berücksichtigt werden, zum Beispiel wie folgt: (i) Frauen tragen tendenziell größere Brillen; und (ii) die Augenbrauen sollten über der Brille liegen. Auch sollten die Pupillen regelmäßig nicht in der unteren Hälfte der Linse befinden.
Gesichtsmessdaten: Es wird die Pupillendistanz und die Gesichtsbreite erhoben. Die Pupillendistanz ist Teil des obigen Patentanspruches. Die Gesichtsbreite ist definiert als die Gesamtbreite des erkennbaren Gesichts auf Höhe der Pupillen. Die Gesichtsbreite kann mithilfe von aktuellen Gesichtserkennungsmethoden erfasst werden.
Fig. 8 zeigt eine schematische Darstellung betreffend eine Gesichtsbreitenbestimmung. Ein diskretes Raster 80 wird jeweils entlang der Dimensionen Pupillendistanz und Gesichtsbreite 81 erstellt. Dazu werden statische Daten über diese Variablen erhoben (Verteilung in der Bevölkerung) und aus der Verteilung wird jeweils ein äquidistantes Raster gebildet. Das Frontteil wird in äquidistante Größen unterteilt und jedem Rasterpunkttupel aus Pupillendistanz und Gesichtsbreite zugeordnet.
Projektion: Für ein ermitteltes Rasterpunkttupel aus Pupillendistanz und Gesichtsbreite kann die Frontteilgröße abgeleitet werden.
Tabelle 1 : Beispieltabelle für eine Projektion, Klassifizierung S,... ,XL ist exemplarisch und projiziert auf eine Kardinalskala Die Klassifizierung nach S, M, L dient der Veranschaulichung. Pro Komponente der Brille werden verschiedene Größen- und Formenausprägungen genutzt, die mit einer ID-Nummer versehen sind. Beim Bestimmen der Brille wird eine optimale Größe und Form je Komponente ausgewählt.
Nachfolgend wird eine mögliche Formalisierung nähert erläutert:
Gesichtsmessdaten
PD = Pupillendistanz in mm
GB = Gesichtsbreite in mm, gemessen auf Höhe der Augen FT = Frontteilbreite in mm, gemessen an der breitesten Stelle
Diskretes Raster
RPD = Raster für Pupillendistanzen = {p1; ..., pN}, N e N RGB = Raster für Gesichtsbreiten = {g1; ..., gM}, M e N RFT = Raster für Frontteilbreiten = {f1; ..., fL}, L e N
Projektion ii) Bügelprojektionsmethode
Es werden Gesichtsmessdaten erhoben und auf ein diskretes Raster gelegt, woraus sich die Bügellänge und der Beugepunkt ermitteln lässt. Auch hier können zusätzlich ästhetische Prinzipien berücksichtigt werden. Zum Beispiel sollten die Bügel bei Frauen immer etwas länger sein, da diese sich die Brille oft in die Haare hoch stecken.
Gesichtsmessdaten: Es werden zwei Gesichtsmerkmalspunkte lokalisiert: Nasenaufsatzpunkt und Ohrenaufsatzpunkt. Der Nasenaufsatzpunkt und der Ohrenaufsatzpunkt dienen als Referenzen für die Berührungspunkte der Nasenpads und der Bügel. Diese Punkte können mit Gesichtserkennungsmethoden erfasst werden. Fig. 9 zeigt eine schematische Darstellung betreffend Gesichtsmerkmalspunkte 90. Zusätzlich wird die Gesichtsbreite ermittelt, damit eine Verbindungslinie 91 der beiden ermittelten Gesichtsmerkmalspunkte so verschoben werden kann, dass sie mit der natürlichen Bügelposition (seitlich parallel zum Kopf - vom Ohrenaufsatzpunkt bis zur Schläfe) übereinstimmt. Zusammen mit den Tiefendaten aus den ermittelten Gesichtsmerkmalspunkten lässt sich dann die Länge des Bügels bis zum Beugepunkt ermitteln.
Diskretes Raster: Ein diskretes Raster wird jeweils entlang der Dimension „Länge des Bügels bis zum Beugepunkt“ erstellt. Dazu werden statische Daten über diese Variablen erhoben, das heißt, die durchschnittliche Verteilung in der Bevölkerung wird herangezogen und aus dieser Verteilung wird jeweils ein äquidistantes Raster gebildet. Die Bügel werden in äquidistante Längen unterteilt und jedem Rasterpunkt aus „Länge des Bügels bis zum Beugepunkt“ zugeordnet.
Projektion: Für einen ermittelten Rasterpunkt aus „Länge des Bügels bis zum Beugepunkt“ kann die Bügellänge und der Beugepunkt abgeleitet werden.
Tabelle 2: Beispieltabelle für eine Projektion, Klassifizierung S,... , XL ist exemplarisch und projiziert auf eine Kardinalskala
Nachfolgend wird eine mögliche Formalisierung nähert erläutert:
Gesichtsmessdaten
NP = Nasenaufsatzpunkt im Weltkoordinatensystem
OP = Ohrenaufsatzpunkt im Weltkoordinatensystem
GB = Gesichtsbreite in mm, gemessen auf Höhe der Augen
L = Abstand NP — OP im Weltkoordinatensystem (Kalkulation analog zum vorigen Kapitel) NOA = Projizierter Nasen — Ohren — Abstand
Diskretes Raster
RNOA = Raster für projizierte Nasen — Ohren — Abstände = {n1; nN}, N e N RBL = Raster für Bügellängen bis zum Beugepunkt = {b1; , bL}, L e N
Projektion ni i— (bi ... bQVL), Q < L; i e N
Es können sich in den verschiedenen Ausführungen ein oder mehrere der folgenden Vorteile ergeben. Es ist ermöglicht, ein Brillenrahmen auf eine individuelle Kopfform anzupassen. Hierzu wird lediglich ein handelsübliches mobiles Endgerät benötigt. Es ist eine automatisiertes Verfahren geschaffen (skalierbar). Durch Kombination mit 3D- Drucktechnik kann die Lieferzeit verkürzt werden. Darüber hinaus kann der T ragekomfort durch eine maßgefertigte Brille signifikant erhöht werden. Außerdem entfällt die Notwendigkeit der nachträglichen Anpassung des Brillenrahmens an den Kopf des Trägers, zum Beispiel im Nasen- oder Ohrenbereich, wodurch wiederum die Notwendigkeit zur Gegenwart eines Optikers entfällt, und der Online- Brillenkauf bzw. der Verkauf durch stationäre Automaten ermöglicht wird.
III. Bestimmen einer Brillenempfehlung
Um eine Empfehlung zu bestimmen, werden alle relevanten Eingangsdaten erfasst. Hierzu gehören Gesichtsanalysedaten, Präferenzen über existierende Objekte (Brillen) und visuelle Daten (Bilder von Brillen). a) Merkmale und Referenzpunkte
Die folgenden Punkte werden ermittelt: Gesichtsbreite, Portfolio und Präferenzen des Brillennutzers. Gesichtsbreite: Gesichtsform ist ein relevanter Aspekt beim modischen Fit einer Brille. Dazu wird die Gesichtsbreite genutzt und ist definiert als die erkennbare Gesichtsbreite in mm auf der Höhe der Augen.
Portfolio: Das Brillenportfolio umfasst alle relevanten Brillen, die für die Ableitung der Empfehlung zur Verfügung stehen. Jedes Element dieses Portfolios enthält zwei Informationen: Ein RGB Bild der Brille und eine Klassifizierung nach deskriptiven Merkmalen (Form, Farbe, Stil, etc.).
Präferenzen: Präferenzen sind ein binärer Vektor, welches die Präferenz (präferiert, nicht präferiert) jedem Bild zugeordnet.
Nachfolgend wird eine mögliche Formalisierung nähert erläutert:
1 . Gesichtsbreite
GB = Gesichtsbreite in mm, gemessen auf Höhe der Pupillen
2. Portfolio
N = Anzahl der Brillen im Gesamtportfolio bi(j) = Brille mit Index i, i e {1, ... , N}, enthält RGB Bild und Klassifizierung j,j = 1, ..., P PFGes = {t>i, ..., bN} = Gesamtportfolio
3. Präferenzen
M = Anzahl der Brillen mit Präferenz, M < N
Pj = Präferenz für Brille mit Index j,j e {1, ..., M}, pj e {0,1} b) Projektionsmethodik
Die Projektionsmethodik umfasst drei Schritten: Gesichtsprojektionsmethode, Bildprojektionsmethode und Bildpräferenzmethode. i) Gesichtsprojektionsmethode
Es werden Gesichtsmessdaten erhoben und auf ein diskretes Raster gelegt, woraus sich die empfohlene Brille ermitteln lässt. Gesichtsmessdaten: Es wird die Gesichtsbreite erhoben. Die Gesichtsbreite ist definiert als die Gesamtbreite des erkennbaren Gesichts auf Höhe der Pupillen. Die Gesichtsbreite kann mithilfe von aktuellen Gesichtserkennungsmethoden erfasst werden.
Diskretes Raster: Ein diskretes Raster wird jeweils entlang der Dimension Gesichtsbreite erstellt. Dazu werden statische Daten über diese Variablen erhoben (Verteilung in der Bevölkerung) und aus der Verteilung wird jeweils ein äquidistantes Raster gebildet. Das Brillenportfolio wird in äquidistante Größen unterteilt und jedem Rasterpunkt aus Gesichtsbreite zugeordnet.
Projektion: Für ein ermittelten Rasterpunkt aus Gesichtsbreite kann die empfohlene Brille abgeleitet werden. ii) Bildprojektionsmethode
Für ein festes RGB Bild mit erkennbarer Brille (Eingangsbild), wird ein trainiertes neuronales Netz genutzt, um Merkmalsextraktion durchzuführen. Als Ergebnis wird eine geeignete Ähn- lichkeitsmetrik herangezogen, welche das Eingangsbild mit jedem Bild im Portfolio vergleicht und nach Konfidenz sortiert.
Die Ähnlichkeitsmetrik wird mit einem Konfidenzlevel versehen, ab dem gilt „diese Brillen sind dem Eingangsbild ähnlich“, sodass ein Empfehlungssubportfolio abgeleitet werden kann. iii) Bildpräferenzmethode
Für eine Menge an festen RGB-Bildern mit erkennbarer Brille (Eingangsbilder von der Aufnahmeeinrichtung 2) wird ein trainiertes neuronales Netz genutzt, um Merkmalsextraktion durchzuführen. Als Ergebnis wird eine Ähnlichkeitsmetrik herangezogen, welche die Eingangsbilder mit jedem Bild für vorhandene Brillen vergleicht und nach Konfidenz sortiert. Als zusätzlicher Inputparameter kann ein Präferenzvektor herangezogen werden, welcher eine oder mehrere aus den Eingangsbildern bestimmte Präferenzen anzeigt. Eine solche Präferenz kann qualitative Faktoren für den Nutzer betreffen, zum Beispiel eine oder mehrere Faktoren aus der folgenden Gruppe: Sonnenbrille oder normale Brille, Farbe, Material, Marke und dergleichen.
Die Ähnlichkeitsmetrik wird mit einem Konfidenzlevel versehen, ab dem gilt „diese Brillen sind dem Eingangsbild ähnlich und präferiert“, sodass ein Empfehlungssubportfolio abgeleitet werden kann. Nachfolgend wird eine mögliche Formalisierung nähert erläutert:
1 . Gesichtsprojektionsmethode
RGB = Raster für Gesichtsbreiten = {g1; ..., gN}, N G N
2. Bildprojektionsmethode imginput = Eingangsbild mit erkennbarer Brille
NN(imginpUt) = Trainiertes neuronales Netz mit Eingangsbild a = {«(!), = NN(imginput) = Sortierter Konfidenzvektor
3. Bildpräferenzmethode imginput = {imginput^ ■■■< imginputM} = M Eingangsbilder mit erkennbarer Brille Präferenzvektor für alle Bilder j = 1, ... , M Trainiertes neuronales Netz mit Eingangsbildern 1, ..., M und Präferenzvektor = NN(imginpUt, p) = Sortierter Konfidenzvektor
Es können sich in den verschiedenen Ausführungen ein oder mehrere der folgenden Vorteile ergeben: Alles in einem mobilen Gerät; Berücksichtigung aller relevanten visuellen Daten und Berücksichtigung von Präferenzen. Bislang war online nur eine Selbstselektion möglich, dies aber unzureichend, da Brillenträger nicht wissen, wie sich ihre Kopfgröße zum Rest der Brillenträger-Population verhält. Das bedeutet konkret, dass niemand von sich selbst sagt: „Ich habe einen statistisch signifikant großen Kopf“. Empfehlungen, die rein auf Geschmack basieren, sind bei Brillen unzureichend. Kopf- und Gesichtsformerkennung werden automatisiert ohne Gegenwart eines Optikers möglich, zum Beispiel online oder an einem Self-Service-Au- tomaten, und kombiniert überdies mit Deep-Learning-basierter Präferenzerkennung.
Die in der vorstehenden Beschreibung, den Ansprüchen sowie der Zeichnung offenbarten Merkmale können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung der verschiedenen Ausführungen von Bedeutung sein.

Claims

24
Ansprüche Verfahren zum automatischen Bestimmen von Herstellungsparametern für eine Brille, wobei in einem oder mehreren zur Datenverarbeitung eingerichteten Prozessoren Folgendes vorgesehen ist:
- Erfassen von Kopfbilddaten für zumindest einen Teil eines Kopfes eines Brillennutzers;
- Bestimmen einer Kopfparametrisierung für zumindest den Teil des Kopfes des Brillennutzers, wobei
- die Kopfparametrisierung für eine Anpassung einer Brille relevante Kopfparameter für zumindest den Teil des Kopfes des Brillennutzers anzeigt und
- die Kopfparameter mindestens einen Linseneinschleifparameter und mindestens einen Brillenauflageparameter umfassen;
- Bereitstellen einer Brillenparametrisierung für die Brille, wobei die Brillenparametrisierung für die Anpassung der Brille für den Brillennutzer relevante Brillenparameter anzeigt; und
- Ausführen eines Datenmapping für die Kopfparametrisierung und die Brillenparametrisierung, wobei hierbei zur Anpassung der Brille für den Brillennutzer wenigstens ein Brillenparameter einem zugeordneten Kopfparameter entsprechend angepasst wird und / oder wenigstens ein weiterer Brillenparameter bestimmt wird. Verfahren nach Anspruch 1 , dadurch g e k e n n z e i c h n e t, dass weiterhin Folgendes vorgesehen ist:
- Erfassen von RGB-Kopfbilddaten für zumindest den Teil des Kopfes des Brillennutzers;
- Bereitstellen von Kalibrierungsdaten, welche eine Kalibrierung einer Bildaufnahmeeinrichtung anzeigen, die zum Erfassen der RGB-Kopfbilddaten verwendet wird; und
- Bestimmen des mindestens einen Linseneinschleifparameters unter Verwendung der RGB-Kopfbilddaten und der Kalibrierungsdaten mittels Bilddatenanalyse, wobei hierbei ein den Pupillen zugeordneter Lokalisierungsvektor bestimmt wird, welcher eine Bildpixelposition für die Pupillen anzeigt. Verfahren nach Anspruch 2, dadurch g e k e n n z e i c h n e t, dass weiterhin Folgendes vorgesehen ist:
- Bereitstellen von Tiefenbilddaten und
- Bestimmen des mindestens einen Linseneinschleifparameters unter Verwendung der RGB-Kopfbilddaten, der Tiefenbilddaten und der Kalibrierungsdaten. Verfahren nach Anspruch 2 oder 3, dadurch g e k e n n z e i c h n e t, dass weiterhin Folgendes vorgesehen ist:
- Bereitstellen von Referenzmerkmaldaten, die ein biometrisches Referenzmerkmal für den Brillennutzer anzeigen;
- Bestimmen des mindestens einen Linseneinschleifparameters unter Verwendung der RGB-Kopfbilddaten, der Referenzmerkmaldaten und der Kalibrierungsdaten. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch g e k e n n z e i c h n e t, dass der wenigstens eine Brillenparameter oder der wenigstens eine weitere Brillenparameter eine reale Einschleifhöhe für eine als Gleitsichtbrille ausgeführte Brille umfasst, wobei hierbei weiterhin Folgendes vorgesehen ist:
- Bestimmen zumindest eines Fixpunktes eines realen Brillenrahmens einer realen Brille, welcher einen Übergang zwischen einer Brillenlinse und dem Brillenrahmen anzeigt, wobei hierbei ein dem zumindest einen Fixpunkt des Brillenrahmens zugeordneter Lokalisierungsvektor bestimmt wird, welcher eine Bildpixelposition für den zumindest einen Fixpunkt des Brillenrahmens anzeigt; und
- vertikales Projizieren einer die Pupillen anzeigenden Pupillenmarkierung auf den Brillenrahmen. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch g e k e n n z e i c h n e t, dass der wenigstens eine Brillenparameter oder der wenigstens eine weitere Brillenparameter eine virtuelle Einschleifhöhe für eine als Gleitsichtbrille ausgeführte Brille umfasst, wobei hierbei weiterhin Folgendes vorgesehen ist:
- Bereitstellen einer 3D-Modellierung einer virtuellen Brille, aus welcher eine Brillenparametrisierung für die virtuelle Brille bestimmt wird;
- Bestimmen zumindest eines Fixpunktes eines Brillenrahmens der virtuellen Brille, welcher einen Übergang zwischen einer Brillenlinse und dem Brillenrahmen anzeigt, wobei hierbei ein dem zumindest einen Fixpunkt des Brillenrahmens zugeordneter Lokalisierungsvektor bestimmt wird, welcher eine Bildpixelposition für den zumindest einen Fixpunkt des Brillenrahmens anzeigt; und
- vertikales Projizieren einer die Pupillen anzeigenden Pupillenmarkierung auf den Brillenrahmen. 7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die 3D-Modellierung der virtuellen Brille aus einer Vielzahl unterschiedlicher virtueller Brillen ausgewählt wird, für die eine jeweilige 3D-Modellierung in einer Speichereinrichtung hinterlegt ist.
8. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass weiterhin Folgendes vorgesehen ist:
- Bestimmen eines 3D-Koordinatensystems;
- Abbilden der Kopfparametrisierung für zumindest den Teil des Kopfes des Brillennutzers und der Brillenparametrisierung in das 3D-Koordinatensystem und
- Bestimmen eines oder mehrerer der folgenden Parameter in dem 3D-Koordinaten- system: horizontaler Pupillenabstand, Gesichtsbreite auf Höhe der Pupillen, reale Einschleifhöhe und virtuelle Einschleifhöhe.
9. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass basierend auf der Kopfparametrisierung für die Anpassung der Brille eine Bügellänge für Bügel der Brille und ein Beugepunkt für die Bügel bestimmt werden.
10. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Kopfparameter einen oder mehrere Linseneinschleifparameter aus der folgenden Gruppe umfassen: horizontaler Pupillenabstand und Kopfbreite.
11. Verfahren nach mindestens einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Kopfparameter einen oder mehrere Brillenauflageparameter aus der folgenden Gruppe umfassen: Gesichtsbreite auf Höhe der Pupillen, Nasenbreite, Nasenaufsatzpunkt, Ohrenaufsatzpunkt, Abstand zwischen Nase und Ohren sowie Wangenkontur.
12. Vorrichtung zum automatischen Bestimmen von Herstellungsparametern für eine Brille, mit einem oder mehreren zur Datenverarbeitung eingerichteten Prozessoren, die für Folgendes eingerichtet sind:
- Empfangen von Kopfbilddaten für zumindest einen Teil eines Kopfes eines Brillennutzers;
- Bestimmen einer Kopfparametrisierung für zumindest den Teil des Kopfes des Brillennutzers, wobei
- die Kopfparametrisierung für eine Anpassung einer Brille relevante Kopfparameter für zumindest den Teil des Kopfes des Brillennutzers anzeigt und 27
- die Kopfparameter mindestens einen Linseneinschleifparameter und mindestens einen Brillenauflageparameter umfassen;
- Bereitstellen einer Brillenparametrisierung für die Brille, wobei die Brillenparametrisierung für die Anpassung der Brille für den Brillennutzer relevante Brillenparameter anzeigt; und
- Ausführen eines Datenmapping für die Kopfparametrisierung und die Brillenparametrisierung, wobei hierbei zur Anpassung der Brille für den Brillennutzer wenigstens ein Brillenparameter einem zugeordneten Kopfparameter entsprechend angepasst wird und / oder wenigstens ein weiterer Brillenparameter bestimmt wird.
EP21739241.4A 2020-07-31 2021-06-01 Verfahren und vorrichtung zum automatischen bestimmen von herstellungsparametern für eine brille Pending EP4189470A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020004843 2020-07-31
PCT/DE2021/100472 WO2022022765A1 (de) 2020-07-31 2021-06-01 Verfahren und vorrichtung zum automatischen bestimmen von herstellungsparametern für eine brille

Publications (1)

Publication Number Publication Date
EP4189470A1 true EP4189470A1 (de) 2023-06-07

Family

ID=76829223

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21739241.4A Pending EP4189470A1 (de) 2020-07-31 2021-06-01 Verfahren und vorrichtung zum automatischen bestimmen von herstellungsparametern für eine brille

Country Status (4)

Country Link
US (1) US20230221585A1 (de)
EP (1) EP4189470A1 (de)
DE (1) DE112021003994A5 (de)
WO (1) WO2022022765A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3016050B1 (fr) * 2014-01-02 2017-12-08 Essilor Int Procede d’ajustage d’une monture de lunettes predeterminee pour son utilisation par un porteur donne
US10330958B2 (en) * 2015-04-10 2019-06-25 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
ES2714172T5 (es) * 2017-01-27 2022-09-07 Zeiss Carl Vision Int Gmbh Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas
EP3410178A1 (de) * 2017-06-01 2018-12-05 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
EP3425446B1 (de) * 2017-07-06 2019-10-30 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
US10620454B2 (en) * 2017-12-22 2020-04-14 Optikam Tech, Inc. System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images

Also Published As

Publication number Publication date
WO2022022765A1 (de) 2022-02-03
DE112021003994A5 (de) 2023-05-11
US20230221585A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
EP3657236B1 (de) Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
EP3542211B1 (de) Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands
EP3956721B1 (de) Bestimmung mindestens eines optischen parameters eines brillenglases
EP3425446B1 (de) Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
EP3635478B1 (de) Verfahren, vorrichtungen und computerprogramm zum bestimmen eines nah-durchblickpunktes
WO2019008087A1 (de) Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
EP3183616B1 (de) Ermittlung von benutzerdaten unter berücksichtigung von bilddaten einer ausgewählten brillenfassung
EP3924710B1 (de) Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases
DE102011115239A1 (de) Bestimmung der Scheibenform unter Berücksichtigung von Tracerdaten
EP3210071A1 (de) Vorrichtung und verfahren zum bestimmen von optischen parametern
EP3982102B1 (de) Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases
WO2019175269A1 (de) Verfahren zur benutzerindividuellen kalibrierung einer auf den kopf eines benutzers aufsetzbaren anzeigevorrichtung für eine augmentierte darstellung
DE10216824B4 (de) Verfahren und Vorrichtung zum Konstruieren einer Maßbrille
EP4185920B1 (de) Computerimplementiertes verfahren zur erzeugung von daten zur herstellung mindestens eines brillenglases und verfahren zur herstellung einer brille
EP4189470A1 (de) Verfahren und vorrichtung zum automatischen bestimmen von herstellungsparametern für eine brille
EP3938838B1 (de) Verfahren, zentriervorrichtung und computerprogrammprodukt zur abstandsmessung eines benutzers von einer zentriervorrichtung
WO2020094845A1 (de) Verfahren zur herstellung wenigstens einer nasenauflage einer blickerfassungsbrille
DE112018006367T5 (de) Informationsverarbeitungseinrichtung, Informationsverarbeitungsverfahren und Programm.
DE102020131580B3 (de) Computerimplementiertes Verfahren zum Bereitstellen und Platzieren einer Brille sowie zur Zentrierung von Gläsern der Brille

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230117

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: MISTER SPEX SE