EP3574369A1 - Computer-implemented method for determining centring parameters - Google Patents

Computer-implemented method for determining centring parameters

Info

Publication number
EP3574369A1
EP3574369A1 EP18702189.4A EP18702189A EP3574369A1 EP 3574369 A1 EP3574369 A1 EP 3574369A1 EP 18702189 A EP18702189 A EP 18702189A EP 3574369 A1 EP3574369 A1 EP 3574369A1
Authority
EP
European Patent Office
Prior art keywords
spectacle frame
parameters
computer
geometrical
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP18702189.4A
Other languages
German (de)
French (fr)
Inventor
Claudia NIEUWENHUIS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Publication of EP3574369A1 publication Critical patent/EP3574369A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • G02C13/005Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4097Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using design data to control NC machines, e.g. CAD/CAM
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/351343-D cad-cam
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Definitions

  • the invention relates to a computer-implemented method for determining centering parameters according to the preamble of claim 1 or according to the preamble of claim 3 or according to the preamble of claim 6.
  • Centering parameters are used to correctly position or center lenses in a spectacle frame so that the lenses are positioned in the correct position relative to the eyes of the person wearing the spectacles.
  • These are in part anatomical parameters of the person concerned, such as the pupil distance, in part to purely barrel-specific parameters such as the lens width or the mounting disc height and in part to combinations of anatomical and barrel-specific
  • centering devices for the centering of spectacle lenses, the measurement of distances and dimensions is made, which are relevant for the production and the Einschieifen of the lenses.
  • trouble-free as possible operation with high precision of automatic procedures is necessary.
  • the centering device is equipped with multiple cameras that simultaneously record multiple images of the end customer. In the previous centering the customer uses a socket. In the pictures are automatically features such as pupil centers and
  • Fassungsrand detected and determines their subpixel exact position. Based on these measured image positions, you can then use
  • Centering algorithms are determined the relevant parameters for the lens centering. Centering measurements with spectacle frames that are not available in the optician's shop are not possible.
  • US Pat. No. 6,792,401 B1 discloses a method for adjusting spectacle lenses and spectacles, in which image data of the head of a subject are related to views of spectacle frames by means of a test socket. From US 2015/0055085 A1 a method of the aforementioned type is known, in which a point cloud describing its eye parts is generated from a plurality of calibrated images of a subject. On the present in the form of a point cloud "head” is virtually a version "put on”, which already exists in the form of provided by the socket manufacturer CAD data sets. However, this method is not feasible if the CAD record of the socket manufacturer is not present, which is usually treated by the socket manufacturer as a trade secret. In addition, reference objects are used to scale the model of the head to the correct size.
  • Spectacle frames allows.
  • the method according to claim 1 solves the problem to provide a simpler method by a reference object such as a test version is not needed, which is regularly perceived by the customer as uncomfortable.
  • the method according to claim 3 solves the problem of providing a method that allows a determination of Zentrierparametern even without the presence of data of the socket manufacturer.
  • a point cloud comprises less data than a CAD data set, so that less computing power is required to perform the method.
  • the invention is based on the idea to make also Zentrier horren the customer with eyeglass frames that are not available in the shop but only as an SD record. As a result, you can offer the customer a much larger amount of eyeglass frames to choose from, which would find no place in a store. Besides, also can be customized for the customer
  • individualized spectacle frames are measured before they are ever made. This allows the customer to try out a much wider range of eyeglass frames and have them measured immediately without having to put on the eyeglass frame at all. It is sufficient if the data set describing the geometrical parameters of the spectacle frame which describe the geometry of the spectacle frame is provided as at least one three-dimensional point cloud - no metadata such as tracer contour of the spectacle lenses, etc. are required. In this case, calibrated images are provided. Their calibration encompasses the extrinsic properties of the cameras that record the images or the camera that captures the images, such as the relative orientation of their optical axes and the relative position of each other in space, as well as their intrinsic properties
  • Geometric position determination is used to determine geometric parameters that describe the position of the eyes.
  • a three-dimensional data record describing a geometrical parameter of the eyeglass frame is provided, and by means of a rigid transformation the geometrical parameters of the eyeglass frame and the geometrical parameters describing the position of the eyes are related to one another. From the the spectacle frame
  • the centering parameters are subsequently calculated and the geometric parameters describing the position of the eyes are calculated.
  • a rigid transformation is understood to mean translation, rotation or reflection or combinations thereof.
  • the data set describing the geometrical parameters of the spectacle frame can be generated to simplify the method by segmenting the silhouettes of the spectacle frame in the individual images and / or by means of an SD reconstruction method and / or by means of a method for machine learning.
  • Machine learning is a generic term for "artificial" generation
  • Segmentation is a branch of digital image processing
  • a 3D reconstruction method is to be understood as follows:
  • the depth information can consist of two (or more) images, which consist of
  • a three-dimensional model i.e., a 3D reconstruction
  • a 3D reconstruction of the scene can be created immediately and then it can be textured with the camera images.
  • a 3D reconstruction method usually works as follows:
  • the data record describing the geometrical parameters of the spectacle frame can be provided in the form of a plurality of point clouds, each point cloud describing a part of the spectacle frame.
  • the dataset describing the geometrical parameters of the spectacle frame comprises the orientation of the point cloud in space.
  • the orientation of the point cloud is calculated in space by automatically recognizing the individual parts of the socket and then the straps are oriented in a preferred direction, eg to the rear.
  • the data set describing the geometrical parameters of the spectacle frame expediently includes prominent points, in particular a prominent point sequence, of the spectacle frame, which are predetermined or calculated. These may be the position and / or orientation of the axes for the hinges of the stirrups and / or the bridge center and / or the ear pads and / or the
  • the glass rims belonging to the spectacle frame are determined from the dataset describing the geometrical parameters of the spectacle frame.
  • this three-dimensional model for the spectacle lenses may comprise glass surfaces and / or glass planes or, in a simpler variant, consist of glass planes.
  • the three-dimensional model may be a parametric model whose parameters are determined by means of optimization methods to the three-dimensional data set, e.g. contains the point cloud or the plurality of point clouds.
  • the three-dimensional model can also be generated by machine learning from example data.
  • the geometric Position determination comprises a thangulation method.
  • Record can be done by means of a triangulation method.
  • the computer-implemented method according to the invention is carried out with a device as described in principle in claim 22 and in detail in the following description of the figures.
  • the centering parameters determined according to the invention can advantageously be used for centering a spectacle lens in a spectacle frame and / or for grinding a spectacle lens into a spectacle frame.
  • the at least one spectacle lens is centered with the specific centering parameters in the spectacle frame, or the at least one spectacle lens is ground on the basis of the determined centering parameters for an arrangement in the spectacle frame. That way you can
  • Figure 1 a, b is a device for determining Zentrierparametern in
  • Figure 2a, b the representation of a spectacle frame before and after orientation in space
  • FIG. 3 shows the representation of the spectacle frame according to FIG. 2b as
  • the device 10 shown in the drawing is used to determine Zentrierparametern for spectacle fitting. It has a column 12 which carries a rigid camera support 14 which is height adjustable and in turn carries a number of cameras 16a, 16b.
  • the camera carrier 14 is in plan view
  • Camera Carrier 14 an interior space 22 in which the head of a subject is when taking pictures by the cameras 16a, 16b.
  • the inner surface 20 is concavely bent in a direction extending between the free ends 18 and has, for example, the shape of a portion of a
  • a not shown lifting device is arranged in the column 12, with the
  • Camera carrier 14 can be moved by motor driven up and down.
  • All cameras 16a, 16b are in one between the free ends 18th
  • Embodiment is the camera assembly 26 as a camera series 26th
  • the camera row 26 includes one in the middle of the
  • Camera carrier 14 arranged front camera 16a, whose optical axis is directed frontally on the face of the subject, and eight pairs symmetrically with respect to a running through the optical axis of the front camera 16a perpendicular plane of symmetry arranged side cameras 16b of which four from the left and right to the face of Subjects are addressed.
  • the cameras 16a, 16b are also calibrated so that they can simultaneously take calibrated images of the subject.
  • the calibration includes the extrinsic properties such as the relative orientation of their optical axes and the relative arrangement of each other in space, as well as their intrinsic properties, ie the properties of the cameras themselves, which define, like a point in space, the internal coordinate system of the respective camera is located on the coordinates of the pixels of the recorded image is mapped.
  • the camera support 14 encloses the interior 22 only forward, towards the column 12, and to the sides, so left and right of the head of the subject. Upwards, downwards and toward a rear side 30, it is open, the free ends 18 being at a distance of at least 25 cm from one another, so that the test person can easily approach from the rear side. Im shown
  • the distance is 70 to 80cm.
  • a lighting device is provided with an upper light bar 32 extending above the camera row 26 and a lower light bar 34 extending below the camera row 26, which each have a multiplicity of LEDs as lighting means.
  • the upper light bar 32 and the lower light bar 34 each extend continuously or intermittently over a length which is at least as long as the length of the circumferentially between the free ends 18 measured length of the camera row 26. This corresponds to a circumferential angle of at least 160 degrees , Near the free ends 18, the upper light bar 32 and the lower light bar 34 are each connected to each other by means of a vertically extending further light bar 36.
  • the camera row 26 is thus completely framed by at least one row of LEDs.
  • the device 10 also has a control or regulating device, not shown in detail in the drawing, with which the light intensity emitted by the LEDs depends on the light emitted by the
  • Cameras 16a, 16b detected light intensity can be controlled or regulated.
  • the LEDs of the light strips 32, 34, 36 are to sectors
  • the radiated light intensities can be controlled or regulated separately.
  • the light intensities emitted by the individual LEDs can also be controlled or regulated separately from one another by means of the control or regulating device.
  • the two side cameras 16b closest to the front camera 16a are arranged to adjust the distance of the subject's head from the center 38 of the patient
  • the display unit is displayed to the subject whether he is correct or not.
  • the display unit has a plurality of differently colored light sources, which are arranged in a row.
  • the middle light source glows green when the subject is correct. Starting from the middle light source, there are one yellow, one orange and one red in each direction in this order
  • Light source which indicates the color when the subject a little, clear or far too far from the center 38 of the camera support 14 or a little, clear or too close to the center 38 stands.
  • the camera carrier 14 In order to ensure that the viewing direction of the subject is directed to infinity during the determination of the centering parameters, one is arranged on the camera carrier 14
  • Fixation device 42 is provided which generates a fixation pattern for the subject in the form of a speckle pattern.
  • the fixation pattern is arranged slightly higher than the front camera 16a, so that the subject on this
  • the device 10 is also particularly suitable for producing an avatar of the subject's head, which can be used to determine the centering parameters.
  • images calibrated by the cameras 16a, 16b of the subject's head are taken without glasses or spectacle frame.
  • Position determination such as triangulation creates a depth profile of the head that approximates it very well.
  • the head is represented by a multitude of points, which can be connected to each other by means of a net pattern or can be stored as a point cloud.
  • the centering parameters of the thus determined avatar can be used to determine Zentrierparameter that due to the geometric properties of the glasses or
  • Spectacle frame worn by the subject can not or only approximately can be determined.
  • a wide frame strap can obscure the eye in a side view to such an extent that the corneal vertex distance can not or only very inaccurately be determined.
  • the depth profile of the avatar is projected onto the images taken by the cameras 16a, 16b of the subjects wearing the spectacles or spectacle frame, and the centering parameters, which can only be determined insufficiently due to the view restricted by the spectacles or spectacle frame, become determined by the image data of the avatar.
  • the apparatus 10 may perform the following to perform a computer-implemented method
  • the cameras 16a, 16b simultaneously provide calibrated images of the subject's head. From these images, by means of geometric position determination, in particular by means of
  • Triangulation geometric parameters that describe the position of the eyes.
  • the avatar described above can also be used for this purpose. Then, the geometric parameters of the
  • Eyeglass frame descriptive three-dimensional data record provided, as illustrated in Figure 2a based on a spectacle frame 50.
  • the spectacle frame 50 which is a three-dimensional point cloud, simplified with solid lines and not shown in the form of points.
  • the three-dimensional point cloud describing the spectacle frame 50 becomes a
  • Figure 2b illustrates the rotation in the coordinate system of the camera 16a, 16b, the z-direction given by the viewing direction of the front camera 16a Based on the geometric position describing the position of the eyes
  • Parameters and the geometrical parameters describing the spectacle frame in the carrying position are calculated as centering parameters for example, the corneal vertex distance.
  • the glasses of the glasses are approximately represented by planes 52, as shown in Figure 3, in which the spectacle frame 50 is also shown as a point cloud.
  • the eyeglass frame descriptive record the glass frame belonging to the eyeglass frame and it is a three-dimensional model for the glasses of the glasses approximately adapted to the specific glass edges, this model consists of the glass planes 52.
  • Positioning geometric parameters are determined which describe the position of the eyes, wherein a geometrical parameter of the spectacle frame descriptive three-dimensional data set is provided, wherein by means of a rigid transformation, the geometric
  • descriptive geometric parameters are related to each other and wherein from the spectacle frame descriptive and the position of the eyes descriptive geometric parameters, the centering parameters are calculated.
  • Eyeglass frame descriptive record as at least one
  • Spectacle frame descriptive record includes an orientation of at least one point cloud in space.
  • Parameter of the spectacle frame descriptive record comprises one or more predetermined points of the spectacle frame.
  • Glasses frame belonging glass edges are determined.
  • Computer-implemented method according to one of the preceding clauses characterized in that a three-dimensional model for the spectacle frame and / or parts of the spectacle frame and / or the glasses of the spectacles is approximately adapted to the three-dimensional data set or to the specific glass edges.
  • the three-dimensional model for the spectacle lenses comprises or consists of glass surfaces and / or glass planes (52).
  • Positioning comprises a triangulation method.
  • the device (10) has a camera carrier (14) which partially encloses an interior (22) which is open towards the top, bottom and back (30) and at least three cameras ( 16a, 16b), which are arranged between two free ends (18) of the camera carrier (14) and directed towards the inner space (22), wherein the
  • Lighting device (32, 34, 36).
  • a computer comprising a memory, wherein in the memory
  • Computer program is stored according to clause 12, and a processor to execute the computer program stored in the memory.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Eyeglasses (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The invention relates to a computer-implemented method for determining centring parameters, wherein: at least two calibrated images of the head which are captured simultaneously from different viewing directions are provided, and geometric parameters which describe the position of the eyes are determined by means of geometric position determination; a three-dimensional data set describing geometric parameters of the frame front is provided; the geometric parameters of the frame front and the geometric parameters describing the position of the eyes are brought into relation to each other by means of a rigid transformation; and the centring parameters are calculated from the geometric parameters describing the frame front and those describing the position of the eyes.

Description

Computerimplennentiertes Verfahren zur Bestimmung von Zentrierparametern  Computer-implemented method for the determination of centering parameters
Die Erfindung betrifft ein computerimplementiertes Verfahren zur Bestimmung von Zentrierparametern gemäß Oberbegriff des Anspruchs 1 bzw gemäß Oberbegriff des Anspruchs 3 bzw. gemäß Oberbegriff des Anspruchs 6. The invention relates to a computer-implemented method for determining centering parameters according to the preamble of claim 1 or according to the preamble of claim 3 or according to the preamble of claim 6.
Zentrierparameter werden benutzt, um Brillengläser korrekt in einer Brillenfassung anzuordnen bzw. zu zentrieren, so dass die Brillengläser in korrekter Position relativ zu den Augen der die Brille tragenden Person angeordnet sind. Dabei handelt es sich zum Teil um anatomische Parameter der betreffenden Person, wie beispielsweise den Pupillenabstand, zum Teil um rein fassungsspezifische Parameter wie die Fassungsscheibenbreite oder die Fassungsscheibenhöhe und zum Teil um Kombinationen aus anatomischen und fassungsspezifischen Centering parameters are used to correctly position or center lenses in a spectacle frame so that the lenses are positioned in the correct position relative to the eyes of the person wearing the spectacles. These are in part anatomical parameters of the person concerned, such as the pupil distance, in part to purely barrel-specific parameters such as the lens width or the mounting disc height and in part to combinations of anatomical and barrel-specific
Parametern, wie beispielsweise den Hornhautscheitelabstand und die Parameters such as the corneal vertex distance and the
Durchblickshöhe. Einen Überblick über die gängigen Zentrierparameter gibt die DIN EN ISO 13666 vom Oktober 2013. Viewing height. An overview of the common centering parameters is given in DIN EN ISO 13666 of October 2013.
Mit Hilfe von Zentriervorrichtungen für die Zentrierung von Brillengläsern wird die Messung von Abständen und Maßen vorgenommen, welche für die Herstellung und das Einschieifen der Brillengläser relevant sind. Für den Augenoptiker ist es wichtig, einen möglichst schnellen und fehlerfreien Arbeitsfluss zu haben, um eine hohe Qualität der Beratung zu erzielen, die den Endkunden im Fokus hat und nicht von technischen Prozessen dominiert ist. In diesem Zusammenhang ist eine möglichst störungsfreie Funktionsweise (Robustheit) bei gleichzeitig hoher Präzision der automatischen Verfahren notwendig. Dies kann mit Methoden der digitalen Bildanalyse, des maschinellen Lernens und unter Einbeziehung von Modellwissen erreicht werden. Die Zentriervorrichtung ist dabei mit mehreren Kameras ausgestattet, die simultan mehrere Bilder des Endkunden aufnehmen. Bei den bisherigen Zentriervorrichtungen setzt der Kunde dabei eine Fassung auf. In den Bildern werden automatisch Merkmale wie Pupillenmitten und With the help of centering devices for the centering of spectacle lenses, the measurement of distances and dimensions is made, which are relevant for the production and the Einschieifen of the lenses. For the optometrist, it is important to have a workflow that is as fast and error-free as possible in order to achieve a high quality of advice that focuses on the end customer and is not dominated by technical processes. In this context, as trouble-free as possible operation (robustness) with high precision of automatic procedures is necessary. This can be done with methods of digital image analysis, machine learning and involving Model knowledge can be achieved. The centering device is equipped with multiple cameras that simultaneously record multiple images of the end customer. In the previous centering the customer uses a socket. In the pictures are automatically features such as pupil centers and
Fassungsrand detektiert und deren subpixelgenaue Position bestimmt. An Hand dieser gemessenen Bildpositionen können im Anschluss mit Hilfe von Fassungsrand detected and determines their subpixel exact position. Based on these measured image positions, you can then use
Zentrieralgorithmen die relevanten Parameter für die Brillenglaszentrierung ermittelt werden. Zentriermessungen mit Brillenfassungen, die nicht im Laden des Optikers vorhanden sind, sind dabei aber nicht möglich. Centering algorithms are determined the relevant parameters for the lens centering. Centering measurements with spectacle frames that are not available in the optician's shop are not possible.
Aus der US 6,792,401 B1 ist ein Verfahren zum Anpassen von Brillengläsern und Brillen bekannt, bei dem Bilddaten des Kopfes eines Probanden mit Hilfe einer Testfassung mit Ansichten von Brillenfassungen in Beziehung gesetzt werden. Aus der US 2015/0055085 A1 ist ein Verfahren der eingangs genannten Art bekannt, bei dem aus mehreren kalibrierten Bildern eines Probanden eine seine Augenpartien beschreibende Punktwolke erzeugt wird. Auf den in Form einer Punktwolke vorliegenden„Kopf" wird virtuell eine Fassung„aufgesetzt", die schon in Form von vom Fassungshersteller bereitgestellten CAD-Datensätzen vorliegt. Dieses Verfahren ist aber nicht durchführbar, wenn der CAD-Datensatz des Fassungsherstellers nicht vorliegt, welcher meist vom Fassungshersteller als Betriebsgeheimnis behandelt wird. Zudem werden Referenzobjekte benutzt, um das Modell des Kopfes auf die richtige Größe zu skalieren. US Pat. No. 6,792,401 B1 discloses a method for adjusting spectacle lenses and spectacles, in which image data of the head of a subject are related to views of spectacle frames by means of a test socket. From US 2015/0055085 A1 a method of the aforementioned type is known, in which a point cloud describing its eye parts is generated from a plurality of calibrated images of a subject. On the present in the form of a point cloud "head" is virtually a version "put on", which already exists in the form of provided by the socket manufacturer CAD data sets. However, this method is not feasible if the CAD record of the socket manufacturer is not present, which is usually treated by the socket manufacturer as a trade secret. In addition, reference objects are used to scale the model of the head to the correct size.
Es ist daher Aufgabe der Erfindung, ein Verfahren der eingangs genannten Art derart weiterzuentwickeln, dass es dem Kunden eine bessere Auswahl an It is therefore an object of the invention to develop a method of the type mentioned in such a way that it gives the customer a better choice
Brillenfassungen ermöglicht. Spectacle frames allows.
Ausgehend von der US 2015/0055085 A1 löst das Verfahren gemäß Anspruch 1 die Aufgabe, ein einfacheres Verfahren bereitzustellen, indem ein Referenzobjekt wie beispielsweise eine Testfassung nicht benötigt wird, die vom Kunden regelmäßig als unbequem empfunden wird. Ausgehend von der US 2015/0055085 A1 löst das Verfahren gemäß Anspruch 3 die Aufgabe, ein Verfahren bereitzustellen, das auch ohne Vorliegen von Daten des Fassungsherstellers eine Bestimmung von Zentrierparametern ermöglicht. Starting from US 2015/0055085 A1, the method according to claim 1 solves the problem to provide a simpler method by a reference object such as a test version is not needed, which is regularly perceived by the customer as uncomfortable. Based on the US 2015/0055085 A1, the method according to claim 3 solves the problem of providing a method that allows a determination of Zentrierparametern even without the presence of data of the socket manufacturer.
Ausgehend von der US 2015/0055085 A1 löst das Verfahren gemäß Anspruch 6 die Aufgabe, ein einfacheres Verfahren bereitzustellen. Eine Punktwolke umfasst weniger Daten als ein CAD-Datensatz, so dass zur Durchführung des Verfahrens weniger Rechenleistung benötigt wird. Starting from US 2015/0055085 A1, the method according to claim 6 solves the problem of providing a simpler method. A point cloud comprises less data than a CAD data set, so that less computing power is required to perform the method.
Der Erfindung liegt der Gedanke zugrunde, auch Zentriermessungen des Kunden mit Brillenfassungen vorzunehmen, die nicht im Laden sondern nur als SD- Datensatz vorhanden sind. Dadurch kann man dem Kunden eine viel größere Menge an Brillenfassungen zur Auswahl stellen, die in einem Laden gar keinen Platz finden würde. Außerdem können auch speziell für den Kunden The invention is based on the idea to make also Zentriermessungen the customer with eyeglass frames that are not available in the shop but only as an SD record. As a result, you can offer the customer a much larger amount of eyeglass frames to choose from, which would find no place in a store. Besides, also can be customized for the customer
individualisierte Brillenfassungen vermessen werden, bevor sie überhaupt hergestellt werden. Das ermöglicht es dem Kunden eine viel größere Variation an Brillenfassungen auszuprobieren und gleich vermessen zu lassen, ohne die Brillenfassung überhaupt aufsetzen zu müssen. Dabei ist es ausreichend, wenn der die geometrischen Parameter der Brillenfassung, die die Geometrie der Brillenfassung beschreiben, beschreibende Datensatz als mindestens eine dreidimensionale Punktwolke bereitgestellt wird - es werden keine Metadaten wie Tracerkontur der Brillengläser etc. benötigt. Dabei werden zueinander kalibrierte Bilder bereitgestellt. Deren Kalibrierung umfasst die extrinsischen Eigenschaften der die Bilder aufnehmenden Kameras oder der die Bilder aufnehmenden Kamera wie die relative Ausrichtung ihrer optischen Achsen sowie die relative Anordnung zueinander im Raum, sowie ihre intrinsischen Eigenschaften, also die individualized spectacle frames are measured before they are ever made. This allows the customer to try out a much wider range of eyeglass frames and have them measured immediately without having to put on the eyeglass frame at all. It is sufficient if the data set describing the geometrical parameters of the spectacle frame which describe the geometry of the spectacle frame is provided as at least one three-dimensional point cloud - no metadata such as tracer contour of the spectacle lenses, etc. are required. In this case, calibrated images are provided. Their calibration encompasses the extrinsic properties of the cameras that record the images or the camera that captures the images, such as the relative orientation of their optical axes and the relative position of each other in space, as well as their intrinsic properties
Eigenschaften der Kameras bzw. der Kamera selbst, die definieren, wie ein Punkt im Raum, der sich im internen Koordinatensystem der jeweiligen Kamera befindet, auf die Koordinaten der Pixel des aufgenommenen Bildes abgebildet wird. Eine ausführliche Beschreibung der Kalibrierung von Kameras findet sich im Lehrbuch „Multiple View Geometry in Computer Vision" von Richard Hartley und Andrew Zisserman, 2. Auflage, Cambridge University Press 2004, und dort insbesondere auf Seite 8. Properties of the cameras or the camera itself, which define how a point in the space, which is located in the internal coordinate system of the respective camera, is mapped onto the coordinates of the pixels of the recorded image. A detailed description of the calibration of cameras can be found in the textbook "Multiple View Geometry in Computer Vision" by Richard Hartley and Andrew Zisserman, 2nd edition, Cambridge University Press 2004, and especially page 8.
Mittels geometrischer Positionsbestimmung werden geometrische Parameter ermittelt, die die Position der Augen beschreiben. Ein geometrische Parameter der Brillenfassung beschreibender dreidimensionaler Datensatz wird bereitgestellt und mittels einer rigiden Transformation werden die geometrischen Parameter der Brillenfassung und die die Position der Augen beschreibenden geometrischen Parameter zueinander in Bezug gebracht. Aus den die Brillenfassung Geometric position determination is used to determine geometric parameters that describe the position of the eyes. A three-dimensional data record describing a geometrical parameter of the eyeglass frame is provided, and by means of a rigid transformation the geometrical parameters of the eyeglass frame and the geometrical parameters describing the position of the eyes are related to one another. From the the spectacle frame
beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern werden nachfolgend die Zentrierparameter berechnet. Unter einer rigiden Transformation versteht man eine Translation, Rotation oder Spiegelung oder Kombinationen davon. The centering parameters are subsequently calculated and the geometric parameters describing the position of the eyes are calculated. A rigid transformation is understood to mean translation, rotation or reflection or combinations thereof.
Der die geometrischen Parameter der Brillenfassung beschreibende Datensatz kann zur Vereinfachung des Verfahrens mittels Segmentierung der Silhouetten der Brillenfassung in den einzelnen Bildern und/oder mittels eines SD- Rekonstruktionsverfahrens und/oder mittels eines Verfahrens für Maschinelles Lernen generiert werden. The data set describing the geometrical parameters of the spectacle frame can be generated to simplify the method by segmenting the silhouettes of the spectacle frame in the individual images and / or by means of an SD reconstruction method and / or by means of a method for machine learning.
Maschinelles Lernen ist ein Oberbegriff für die„künstliche" Generierung Machine learning is a generic term for "artificial" generation
von Wissen aus Erfahrung: Ein künstliches System lernt aus Beispielen und kann diese nach Beendigung der Lernphase verallgemeinern. Das heißt, es werden nicht einfach die Beispiele auswendig gelernt, sondern es„erkennt" Muster und Gesetzmäßigkeiten in den Lerndaten. So kann das System auch unbekannte Daten beurteilen. Maschinelles Lernen ist im Überblick in dem Wikipedia-Artikel „Maschinelles Lernen" erläutert, der der Anmeldung beiliegt und auf den in diesem Zusammenhang ausdrücklich Bezug genommen wird. Der genannte Wikipedia-Artikel gibt auch einen Überblick über verschiedene Ansätze und Algorithmen, welche hier zum Einsatz kommen können. Knowledge from experience: An artificial system learns from examples and can generalize these after completion of the learning phase. That is, the examples are not simply memorized, but "recognize" patterns and laws in the learning data, so the system can also evaluate unknown data attached to the application and to which reference is expressly made in this connection. The mentioned Wikipedia article also gives an overview of various approaches and algorithms that can be used here.
Die Segmentierung ist ein Teilgebiet der digitalen Bildverarbeitung und Segmentation is a branch of digital image processing and
des maschinellen Sehens. Die Erzeugung von inhaltlich zusammenhängenden Regionen eines Bildes durch Zusammenfassung machine vision. The generation of content-related Regions of a picture by abstract
benachbarter Pixel entsprechend einem bestimmten neighboring pixels corresponding to a particular one
Homogenitätskriterium bezeichnet man als Segmentierung. Sie wird Homogeneity criterion is called segmentation. she will
normalerweise verwendet, um Objekte oder Kanten im Bild zu finden. normally used to find objects or edges in the image.
Segmentierung ist im Überblick im Wikipedia-Artikel„Segmentierung Segmentation is at a glance in the Wikipedia article "Segmentation
(Bildverarbeitung)" erläutert zusammen mit verschiedenen algorithmischen Ansätzen. Dieser Artikel liegt der Anmeldung bei und es wird in diesem (Image Processing) "explains along with various algorithmic approaches. This article is attached to the application and it will be in this
Zusammenhang ausdrücklich auf ihn Bezug genommen. Context expressly referred to him.
Unter einem 3D-Rekonstruktionsverfahren ist folgendes zu verstehen: A 3D reconstruction method is to be understood as follows:
Gewöhnliche Kameras erzeugen Bilder durch die Projektion einer Ordinary cameras produce images by projecting a picture
dreidimensionalen Szene auf eine zweidimensionale Ebene (d.h. die Bildebene). Bei dieser Abbildung geht eine Dimension verloren, diese entspricht der Tiefe des Bildes, d.h. dem Abstand zwischen der Kamera und den abgebildeten Objekten. Die Tiefeninformation kann aus zwei (oder mehr) Bildern, welche aus three-dimensional scene on a two-dimensional plane (i.e., the image plane). In this figure one dimension is lost, this corresponds to the depth of the image, i. the distance between the camera and the imaged objects. The depth information can consist of two (or more) images, which consist of
unterschiedlichen Blickrichtungen aufgenommen wurden, mittels eines SD- Rekonstruktionsverfahrens zurückgewonnen werden. Aus der gewonnenen Bildtiefe kann sofort ein dreidimensionales Modell (d.h. eine 3D-Rekonstruktion) der Szene erstellt werden und anschließend kann dieses mit den Kamerabildern texturiert werden. recorded different views, are recovered by means of an SD reconstruction method. From the obtained image depth, a three-dimensional model (i.e., a 3D reconstruction) of the scene can be created immediately and then it can be textured with the camera images.
Ein 3D-Rekonstruktionsverfahren geht meistens wie folgt vor: A 3D reconstruction method usually works as follows:
• Korrespondierende Punkte in beiden Bildern finden. • Find corresponding points in both images.
• Für alle gefundenen Korrespondenzen eine Triangulation unter • For all correspondences found, triangulate below
Berücksichtigung der internen und externen Geometrie der Kameras (Kalibrierung) durchführen, um die dreidimensionalen Punkte zu gewinnen.  Consider the internal and external geometry of the cameras (calibration) to obtain the three-dimensional points.
Der die geometrischen Parameter der Brillenfassung beschreibende Datensatz kann in Form von mehreren Punktwolken bereitgestellt werden, wobei jede Punktwolke ein Teil der Brillenfassung beschreibt. Zudem wird bevorzugt, dass der die geometrischen Parameter der Brillenfassung beschreibende Datensatz die Orientierung der Punktwolke im Raum umfasst. Alternativ hierzu ist es auch möglich, dass die Orientierung der Punktwolke im Raum berechnet wird, indem automatisch die einzelnen Teile der Fassung erkannt werden und sodann die Bügel in eine Vorzugsrichtung, z.B. nach hinten orientiert werden. The data record describing the geometrical parameters of the spectacle frame can be provided in the form of a plurality of point clouds, each point cloud describing a part of the spectacle frame. In addition, it is preferred that the dataset describing the geometrical parameters of the spectacle frame comprises the orientation of the point cloud in space. Alternatively, it is possible that the orientation of the point cloud is calculated in space by automatically recognizing the individual parts of the socket and then the straps are oriented in a preferred direction, eg to the rear.
Der die geometrischen Parameter der Brillenfassung beschreibende Datensatz umfasst zweckmäßig markante Punkte, insbesondere eine markante Punktfolge, der Brillenfassung, welche vorbestimmt oder berechnet werden. Diese können die Position und/oder die Orientierung der Achsen für die Scharniere der Bügel sein und/oder die Brückenmitte und/oder die Ohrauflagepunkte und/oder der The data set describing the geometrical parameters of the spectacle frame expediently includes prominent points, in particular a prominent point sequence, of the spectacle frame, which are predetermined or calculated. These may be the position and / or orientation of the axes for the hinges of the stirrups and / or the bridge center and / or the ear pads and / or the
Fassungsinnenrand und/oder der Glasaußenrand und/oder die Endpunkte der Bügel. Eine weitere Vereinfachung des Verfahrens wird erzielt, wenn der die geometrischen Parameter der Brillenfassung beschreibende Datensatz auf eine zweidimensionale Ebene projiziert wird. Gemäß einer vorteilhaften Weiterbildung der Erfindung werden aus dem die geometrischen Parameter der Brillenfassung beschreibenden Datensatz die zur Brillenfassung gehörenden Glasränder bestimmt. Dabei wird zweckmäßig ein dreidimensionales Modell für die Gläser der Brille näherungsweise an die bestimmten Glasränder angepasst. Dieses dreidimensionale Modell für die Brillengläser kann Glasoberflächen und/oder Glasebenen umfassen oder, in einer einfacheren Variante, aus Glasebenen bestehen. Frame edge and / or the glass outer edge and / or the endpoints of the temple. A further simplification of the method is achieved if the data record describing the geometrical parameters of the spectacle frame is projected onto a two-dimensional plane. According to an advantageous development of the invention, the glass rims belonging to the spectacle frame are determined from the dataset describing the geometrical parameters of the spectacle frame. In this case, it is expedient to adapt a three-dimensional model for the glasses of the glasses approximately to the specific glass edges. This three-dimensional model for the spectacle lenses may comprise glass surfaces and / or glass planes or, in a simpler variant, consist of glass planes.
Weiterhin ist es möglich, ein dreidimensionales Modell für die Brillenfassung und/oder Teile der Brillenfassung und/oder die Gläser der Brille näherungsweise an den dreidimensionalen Datensatz anzupassen. Furthermore, it is possible to adapt a three-dimensional model for the spectacle frame and / or parts of the spectacle frame and / or the glasses of the spectacles approximately to the three-dimensional data set.
Das dreidimensionale Modell kann ein parametrisches Modell sein, dessen Parameter mittels Optimierungsverfahren an den dreidimensionalen Datensatz, der z.B. die Punktwolke oder die Mehrzahl an Punktwolken enthält, angepasst werden. Das dreidimensionale Modell kann jedoch auch mittels Maschinellen Lernens aus Beispieldaten erzeugt werden. The three-dimensional model may be a parametric model whose parameters are determined by means of optimization methods to the three-dimensional data set, e.g. contains the point cloud or the plurality of point clouds. However, the three-dimensional model can also be generated by machine learning from example data.
Für die geometrische Positionsbestimmung können verschiedene Verfahren angewandt werden. Bevorzugt wird jedoch, dass die geometrische Positionsbestimmung ein Thangulationsverfahren umfasst. Auch die Erzeugung des die geometrischen Parameter der Brillenfassung beschreibenden Various methods can be used for the geometric position determination. However, it is preferred that the geometric Position determination comprises a thangulation method. Also, the generation of the geometrical parameters of the eyeglass frame descriptive
Datensatzes kann mittels eines Triangulationsverfahrens erfolgen. Record can be done by means of a triangulation method.
Vorzugsweise wird das erfindungsgemäße computerimplementierte Verfahren mit einer Vorrichtung durchgeführt, wie sie grundsätzlich im Anspruch 22 und im Detail in der folgenden Figurenbeschreibung beschrieben wird. Preferably, the computer-implemented method according to the invention is carried out with a device as described in principle in claim 22 and in detail in the following description of the figures.
Die erfindungsgemäß bestimmten Zentrierparameter können vorteilhaft zum Zentrieren eines Brillenglases in einer Brillenfassung und/oder zum Einschleifen eines Brillenglases in eine Brillenfassung herangezogen werden. Dabei wird in einem Verfahrensschritt das mindestens eine Brillenglas mit den bestimmten Zentrierparametern in der Brillenfassung zentriert oder es wird das mindestens eine Brillenglas basierend auf den bestimmten Zentrierparametern für eine Anordnung in der Brillenfassung eingeschliffen. Auf diese Weise können The centering parameters determined according to the invention can advantageously be used for centering a spectacle lens in a spectacle frame and / or for grinding a spectacle lens into a spectacle frame. In this case, in a method step, the at least one spectacle lens is centered with the specific centering parameters in the spectacle frame, or the at least one spectacle lens is ground on the basis of the determined centering parameters for an arrangement in the spectacle frame. That way you can
Brillengläser und Brillen hergestellt werden. Im Folgenden wird die Erfindung anhand eines in der Zeichnung schematisch dargestellten Ausführungsbeispiels näher erläutert. Es zeigt: Eyeglass lenses and glasses are made. In the following the invention will be explained in more detail with reference to an embodiment schematically illustrated in the drawing. It shows:
Figur 1 a, b eine Vorrichtung zur Bestimmung von Zentrierparametern in Figure 1 a, b is a device for determining Zentrierparametern in
perspektivischer Ansicht und in einer Ansicht von vorne;  perspective view and in a view from the front;
Figur 2a, b die Darstellung einer Brillenfassung vor und nach der Orientierung im Raum und Figure 2a, b, the representation of a spectacle frame before and after orientation in space and
Figur 3 die Darstellung der Brillenfassung gemäß Figur 2b als 3 shows the representation of the spectacle frame according to FIG. 2b as
dreidimensionale Punktwolke mit angepassten Glasebenen.  three-dimensional point cloud with adapted glass planes.
Die in der Zeichnung dargestellte Vorrichtung 10 dient der Bestimmung von Zentrierparametern für die Brillenanpassung. Sie weist eine Säule 12 auf, die höhenverstellbar einen starren Kameraträger 14 trägt, welcher wiederum eine Anzahl Kameras 16a, 16b trägt. Der Kameraträger 14 ist in Draufsicht The device 10 shown in the drawing is used to determine Zentrierparametern for spectacle fitting. It has a column 12 which carries a rigid camera support 14 which is height adjustable and in turn carries a number of cameras 16a, 16b. The camera carrier 14 is in plan view
näherungsweise kreisförmig gebogen und erstreckt sich zwischen zwei freien Enden 18, welche im Abstand zueinander angeordnet sind. Nach vorne, also zur Säule 12 hin, und zu den Seiten umschließt eine Innenfläche 20 des bent approximately circularly and extends between two free ones Ends 18, which are spaced from each other. To the front, so the column 12 out, and to the sides encloses an inner surface 20 of the
Kameraträgers 14 einen Innenraum 22, in dem sich bei der Aufnahme von Bildern durch die Kameras 16a, 16b der Kopf eines Probanden befindet. Die Innenfläche 20 ist in einer Richtung, die zwischen den freien Enden 18 verläuft, konkav gebogen und weist beispielsweise die Form eines Abschnitts einer Camera Carrier 14 an interior space 22 in which the head of a subject is when taking pictures by the cameras 16a, 16b. The inner surface 20 is concavely bent in a direction extending between the free ends 18 and has, for example, the shape of a portion of a
Zylindermantelfläche auf, wobei der Zylinder eine kreisrunde oder ovale Cylinder surface on which the cylinder is a circular or oval
Grundfläche haben kann. Um den Kameraträger 14 bezüglich des Kopfs des Probanden auf der richtigen Höhe positionieren zu können, ist in der Säule 12 eine nicht näher dargestellte Hubeinrichtung angeordnet, mit der der Can have footprint. In order to position the camera support 14 with respect to the head of the subject at the right height, a not shown lifting device is arranged in the column 12, with the
Kameraträger 14 motorisch angetrieben auf und ab bewegt werden kann. Camera carrier 14 can be moved by motor driven up and down.
Alle Kameras 16a, 16b sind in einer sich zwischen den freien Enden 18 All cameras 16a, 16b are in one between the free ends 18th
erstreckenden Kameraanordnung 26 angeordnet. Im vorliegenden extending camera assembly 26 is arranged. In the present
Ausführungsbeispiel ist die Kameraanordnung 26 als Kamerareihe 26 Embodiment is the camera assembly 26 as a camera series 26th
ausgebildet, deren Kameras 16a, 16b sich alle in derselben Höhe befinden, wobei ihre optischen Achsen auf den Innenraum 22 gerichtet sind. Im vorliegenden Ausführungsbeispiel umfasst die Kamerareihe 26 eine in der Mitte des are formed, whose cameras 16a, 16b are all at the same height, with their optical axes are directed to the interior 22. In the present embodiment, the camera row 26 includes one in the middle of the
Kameraträgers 14 angeordnete Frontkamera 16a, deren optische Achse frontal auf das Gesicht des Probanden gerichtet ist, sowie acht paarweise symmetrisch bezüglich einer durch die optische Achse der Frontkamera 16a verlaufenden senkrechten Symmetrieebene angeordnete Seitenkameras 16b von denen jeweils vier von links und von rechts auf das Gesicht des Probanden gerichtet sind. Die Kameras 16a, 16b sind zudem kalibriert, so dass sie gleichzeitig kalibrierte Bilder des Probanden aufnehmen können. Die Kalibrierung umfasst die extrinsischen Eigenschaften wie die relative Ausrichtung ihrer optischen Achsen sowie die relative Anordnung zueinander im Raum, sowie ihre intrinsischen Eigenschaften, also die Eigenschaften der Kameras selbst, die definieren, wie ein Punkt im Raum, der sich im internen Koordinatensystem der jeweiligen Kamera befindet, auf die Koordinaten der Pixel des aufgenommenen Bildes abgebildet wird. Der Kameraträger 14 umschließt den Innenraum 22 nur nach vorne, zur Säule 12 hin, und zu den Seiten, also links und rechts des Kopfes des Probanden. Nach oben, unten sowie zu einer Rückseite 30 hin ist er offen, wobei die freien Enden 18 zueinander einen Abstand von mindestens 25cm aufweisen, so dass sich der Proband bequem von der Rückseite aus nähern kann. Im gezeigten Camera carrier 14 arranged front camera 16a, whose optical axis is directed frontally on the face of the subject, and eight pairs symmetrically with respect to a running through the optical axis of the front camera 16a perpendicular plane of symmetry arranged side cameras 16b of which four from the left and right to the face of Subjects are addressed. The cameras 16a, 16b are also calibrated so that they can simultaneously take calibrated images of the subject. The calibration includes the extrinsic properties such as the relative orientation of their optical axes and the relative arrangement of each other in space, as well as their intrinsic properties, ie the properties of the cameras themselves, which define, like a point in space, the internal coordinate system of the respective camera is located on the coordinates of the pixels of the recorded image is mapped. The camera support 14 encloses the interior 22 only forward, towards the column 12, and to the sides, so left and right of the head of the subject. Upwards, downwards and toward a rear side 30, it is open, the free ends 18 being at a distance of at least 25 cm from one another, so that the test person can easily approach from the rear side. Im shown
Ausführungsbeispiel beträgt der Abstand 70 bis 80cm. Embodiment, the distance is 70 to 80cm.
Zur Ausleuchtung des Innenraums 22 ist eine Beleuchtungseinrichtung mit einer oberhalb der Kamerareihe 26 verlaufenden oberen Lichtleiste 32 sowie einer unterhalb der Kamerareihe 26 verlaufenden unteren Lichtleiste 34 vorgesehen, welche jeweils eine Vielzahl von LEDs als Leuchtmittel aufweisen. Die obere Lichtleiste 32 und die untere Lichtleiste 34 erstrecken sich jeweils durchgehend oder mit Unterbrechungen über eine Länge, die mindestens so groß ist wie die Länge der in Umfangsrichtung zwischen den freien Enden 18 gemessenen Länge der Kamerareihe 26. Diese entspricht einem Umfangswinkel von mindestens 160 Grad. Nahe den freien Enden 18 sind die obere Lichtleiste 32 und die untere Lichtleiste 34 jeweils mittels einer vertikal verlaufenden weiteren Lichtleiste 36 miteinander verbunden. Die Kamerareihe 26 wird somit vollständig durch mindestens eine Reihe LEDs umrahmt. Die Vorrichtung 10 weist zudem eine in der Zeichnung nicht näher dargestellte Steuer- oder Regeleinrichtung auf, mit der die von den LEDs abgestrahlte Lichtintensität abhängig von der durch die To illuminate the interior 22, a lighting device is provided with an upper light bar 32 extending above the camera row 26 and a lower light bar 34 extending below the camera row 26, which each have a multiplicity of LEDs as lighting means. The upper light bar 32 and the lower light bar 34 each extend continuously or intermittently over a length which is at least as long as the length of the circumferentially between the free ends 18 measured length of the camera row 26. This corresponds to a circumferential angle of at least 160 degrees , Near the free ends 18, the upper light bar 32 and the lower light bar 34 are each connected to each other by means of a vertically extending further light bar 36. The camera row 26 is thus completely framed by at least one row of LEDs. The device 10 also has a control or regulating device, not shown in detail in the drawing, with which the light intensity emitted by the LEDs depends on the light emitted by the
Kameras 16a, 16b detektierten Lichtintensität gesteuert oder geregelt werden kann. Die LEDs der Lichtleisten 32, 34, 36 sind dabei zu Sektoren Cameras 16a, 16b detected light intensity can be controlled or regulated. The LEDs of the light strips 32, 34, 36 are to sectors
zusammengefasst, deren abgestrahlte Lichtintensitäten getrennt voneinander gesteuert bzw. geregelt werden können. Zudem ist vorgesehen, dass auch die von den einzelnen LEDs abgestrahlten Lichtintensitäten mittels der Steuer- oder Regeleinrichtung getrennt voneinander gesteuert oder geregelt werden können. summarized whose radiated light intensities can be controlled or regulated separately. In addition, it is provided that the light intensities emitted by the individual LEDs can also be controlled or regulated separately from one another by means of the control or regulating device.
Um den Probanden richtig im Innenraum 22 positionieren zu können, sind die beiden der Frontkamera 16a nächstgelegenen Seitenkameras 16b dazu eingerichtet, den Abstand des Kopfs des Probanden von der Mitte 38 des In order to be able to position the subject correctly in the interior 22, the two side cameras 16b closest to the front camera 16a are arranged to adjust the distance of the subject's head from the center 38 of the patient
Kameraträgers 14 zu messen. Mittels einer nicht näher dargestellten Anzeigeeinheit wird dem Probanden angezeigt, ob er richtig steht oder nicht. Die Anzeigeeinheit weist mehrere unterschiedlich eingefärbte Lichtquellen auf, die in einer Reihe angeordnet sind. Die mittlere Lichtquelle leuchtet grün, wenn der Proband richtig steht. Ausgehend von der mittleren Lichtquelle gibt es in jeder Richtung in dieser Reihenfolge eine gelbe, eine orangene und eine rote Camera carrier 14 to measure. By means of a not shown Display unit is displayed to the subject whether he is correct or not. The display unit has a plurality of differently colored light sources, which are arranged in a row. The middle light source glows green when the subject is correct. Starting from the middle light source, there are one yellow, one orange and one red in each direction in this order
Lichtquelle, die entsprechend der Farbe anzeigt, wenn der Proband ein wenig, deutlich oder viel zu weit von der Mitte 38 des Kameraträgers 14 entfernt bzw. ein wenig, deutlich oder viel zu nah zur Mitte 38 steht. Um bei der Bestimmung der Zentrierparameter sicherzustellen, dass die Blickrichtung des Probanden ins Unendliche gerichtet ist, ist eine am Kameraträger 14 angeordnete Light source, which indicates the color when the subject a little, clear or far too far from the center 38 of the camera support 14 or a little, clear or too close to the center 38 stands. In order to ensure that the viewing direction of the subject is directed to infinity during the determination of the centering parameters, one is arranged on the camera carrier 14
Fixationseinrichtung 42 vorgesehen, die ein Fixationsmuster für den Probanden in Form eines Specklemusters erzeugt. Das Fixationsmuster ist etwas höher angeordnet als die Frontkamera 16a, so dass der Proband über diese Fixation device 42 is provided which generates a fixation pattern for the subject in the form of a speckle pattern. The fixation pattern is arranged slightly higher than the front camera 16a, so that the subject on this
hinwegblickt. Damit kann sein Gesicht im größtmöglichen Umfang aufgenommen werden. away look. So that his face can be taken up to the maximum extent.
Die Vorrichtung 10 eignet sich insbesondere auch zur Herstellung eines Avatars des Kopfs des Probanden, welcher zur Bestimmung der Zentrierparameter herangezogen werden kann. Zum diesem Zweck werden durch die Kameras 16a, 16b kalibrierte Bilder des Kopfs des Probanden ohne Brille bzw. Brillenfassung aufgenommen. Mittels eines geeigneten Prozesses zur geometrischen The device 10 is also particularly suitable for producing an avatar of the subject's head, which can be used to determine the centering parameters. For this purpose, images calibrated by the cameras 16a, 16b of the subject's head are taken without glasses or spectacle frame. By means of a suitable process for geometric
Positionsbestimmung wie beispielsweise Triangulation wird ein Tiefenprofil des Kopfes erstellt, das diesen näherungsweise sehr gut abbildet. Der Kopf wird durch eine Vielzahl von Punkten abgebildet, die mittels eines Netzmusters miteinander verbunden werden können oder aber als Punktwolke gespeichert werden können. Bei der anschließenden Bestimmung der Zentrierparameter kann der so ermittelte Avatar herangezogen werden, um Zentrierparameter zu bestimmen, die aufgrund der geometrischen Eigenschaften der Brille bzw. Position determination such as triangulation creates a depth profile of the head that approximates it very well. The head is represented by a multitude of points, which can be connected to each other by means of a net pattern or can be stored as a point cloud. In the subsequent determination of the centering parameters of the thus determined avatar can be used to determine Zentrierparameter that due to the geometric properties of the glasses or
Brillenfassung, die der Proband trägt, nicht oder nur näherungsweise bestimmt werden können. Beispielsweise kann ein breiter Fassungsbügel das Auge in einer Seitenaufnahme soweit verdecken, dass der Hornhautscheitelabstand nicht oder nur sehr ungenau bestimmt werden kann. Zudem können gefärbte oder stark spiegelnde Brillengläser die Augen nicht oder nur sehr schlecht erkennen lassen. Um dem zu begegnen, wird auf die von den Kameras 16a, 16b aufgenommenen Bilder des die Brille oder Brillenfassung tragenden Probanden das Tiefenprofil des Avatars projiziert und die Zentrierparameter, die aufgrund der durch die Brille bzw. Brillenfassung eingeschränkten Sicht nur ungenügend bestimmt werden können, werden mittels der Bilddaten des Avatars bestimmt. Dabei kann eine Anpassung des Avatars auf die Bilder des die Brille bzw. Brillenfassung Spectacle frame worn by the subject, can not or only approximately can be determined. For example, a wide frame strap can obscure the eye in a side view to such an extent that the corneal vertex distance can not or only very inaccurately be determined. In addition, can be dyed or strong mirrored lenses do not make the eyes or very poorly visible. In order to counteract this, the depth profile of the avatar is projected onto the images taken by the cameras 16a, 16b of the subjects wearing the spectacles or spectacle frame, and the centering parameters, which can only be determined insufficiently due to the view restricted by the spectacles or spectacle frame, become determined by the image data of the avatar. In this case, an adaptation of the avatar on the images of the glasses or spectacle frame
tragenden Probanden zur Minimierung von Abweichungen erfolgen. carrying subjects to minimize deviations.
Alternativ oder zusätzlich zur Herstellung des Avatars kann die Vorrichtung 10 wie folgt zur Durchführung eines computerimplementierten Verfahrens zur Alternatively, or in addition to the manufacture of the avatar, the apparatus 10 may perform the following to perform a computer-implemented method
Bestimmung von Zentrierparametern verwendet werden. Determination of Zentrierparametern be used.
Zunächst werden von den Kameras 16a, 16b gleichzeitig aufgenommene kalibrierte Bilder des Kopfs des Probanden bereitgestellt. Aus diesen Bildern werden mittels geometrischer Positionsbestimmung, insbesondere mittels Firstly, the cameras 16a, 16b simultaneously provide calibrated images of the subject's head. From these images, by means of geometric position determination, in particular by means of
Triangulation, geometrische Parameter ermittelt, die die Position der Augen beschreiben. Insbesondere kann auch der oben beschriebene Avatar hierzu herangezogen werden. Sodann wird ein die geometrischen Parameter der Triangulation, geometric parameters that describe the position of the eyes. In particular, the avatar described above can also be used for this purpose. Then, the geometric parameters of the
Brillenfassung beschreibender dreidimensionaler Datensatz bereitgestellt, wie in Figur 2a anhand eines Brillengestells 50 veranschaulicht. Zur Vereinfachung ist in Figur 2a das Brillengestell 50, das als dreidimensionale Punktwolke vorliegt, vereinfacht mit durchgezogenen Linien und nicht in Form von Punkten dargestellt. Mittels einer rigiden Transformation oder Starrkörpersimulation wird die das Brillengestell 50 beschreibende dreidimensionale Punktwolke in eine Eyeglass frame descriptive three-dimensional data record provided, as illustrated in Figure 2a based on a spectacle frame 50. For simplicity, in Figure 2a, the spectacle frame 50, which is a three-dimensional point cloud, simplified with solid lines and not shown in the form of points. By means of a rigid transformation or rigid body simulation, the three-dimensional point cloud describing the spectacle frame 50 becomes a
Trageposition bezüglich der die Position der Augen definierenden Parameter gebracht, wozu sie gedreht und virtuell auf den Kopf„aufgesetzt" wird. Figur 2b veranschaulicht die Drehung in das Koordinatensystem der Kamera 16a, 16b, wobei die z-Richtung durch die Blickrichtung der Frontkamera 16a vorgegeben wird. Anhand der die Position der Augen beschreibenden geometrischen Figure 2b illustrates the rotation in the coordinate system of the camera 16a, 16b, the z-direction given by the viewing direction of the front camera 16a Based on the geometric position describing the position of the eyes
Parameter und der die Brillenfassung in der Trageposition beschreibenden geometrischen Parameter werden Zentrierparameter berechnet, wie beispielsweise der Hornhautscheitelabstand. Zur Vereinfachung des Verfahrens werden die Gläser der Brille näherungsweise durch Ebenen 52 dargestellt, wie in Figur 3 gezeigt, in der die Brillenfassung 50 auch als Punktwolke dargestellt ist. Zu diesem Zweck werden aus dem die geometrischen Parameter der Parameters and the geometrical parameters describing the spectacle frame in the carrying position are calculated as centering parameters for example, the corneal vertex distance. To simplify the process, the glasses of the glasses are approximately represented by planes 52, as shown in Figure 3, in which the spectacle frame 50 is also shown as a point cloud. For this purpose, the geometric parameters of the
Brillenfassung beschreibenden Datensatz die zur Brillenfassung gehörenden Glasränder bestimmt und es wird ein dreidimensionales Modell für die Gläser der Brille näherungsweise an die bestimmten Glasränder angepasst, wobei dieses Modell aus den Glasebenen 52 besteht. Determining the eyeglass frame descriptive record the glass frame belonging to the eyeglass frame and it is a three-dimensional model for the glasses of the glasses approximately adapted to the specific glass edges, this model consists of the glass planes 52.
In den folgenden Klauseln werden bevorzugte Ausführungsformen der Erfindung wiedergegeben: The following clauses reproduce preferred embodiments of the invention:
1 . Computerimplementiertes Verfahren zur Bestimmung von 1 . Computer-implemented method for the determination of
Zentrierparametern, wobei mindestens zwei aus unterschiedlichen  Zentrierparametern, wherein at least two of different
Blickrichtungen aufgenommene zueinander kalibrierte Bilder des Kopfes bereitgestellt werden und wobei mittels geometrischer  Viewing taken recorded to each other calibrated images of the head and where by means of geometric
Positionsbestimmung geometrische Parameter ermittelt werden, die die Position der Augen beschreiben, wobei ein geometrische Parameter der Brillenfassung beschreibender dreidimensionaler Datensatz bereitgestellt wird, wobei mittels einer rigiden Transformation die geometrischen  Positioning geometric parameters are determined which describe the position of the eyes, wherein a geometrical parameter of the spectacle frame descriptive three-dimensional data set is provided, wherein by means of a rigid transformation, the geometric
Parameter der Brillenfassung und die die Position der Augen  Parameters of the eyeglass frame and the position of the eyes
beschreibenden geometrischen Parameter zueinander in Bezug gebracht werden und wobei aus den die Brillenfassung beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern die Zentrierparameter berechnet werden.  descriptive geometric parameters are related to each other and wherein from the spectacle frame descriptive and the position of the eyes descriptive geometric parameters, the centering parameters are calculated.
2. Computerimplementiertes Verfahren nach Klausel 1 , dadurch 2. Computer-implemented procedure according to clause 1, thereby
gekennzeichnet, dass der die geometrischen Parameter der  characterized in that the geometric parameters of
Brillenfassung beschreibende Datensatz als mindestens eine  Eyeglass frame descriptive record as at least one
dreidimensionale Punktwolke bereitgestellt wird. Computerimplementiertes Verfahren nach Klausel 2, dadurch three-dimensional point cloud is provided. Computer-implemented procedure according to clause 2, by
gekennzeichnet, dass mehrere Punktwolken für unterschiedliche Teile der Brillenfassung bereitgestellt werden. Computerimplementiertes Verfahren nach Klausel 2 oder 3, dadurch gekennzeichnet, dass der die geometrischen Parameter der characterized in that a plurality of point clouds are provided for different parts of the spectacle frame. Computer-implemented method according to clause 2 or 3, characterized in that the geometric parameters of
Brillenfassung beschreibende Datensatz eine Orientierung der mindestens einen Punktwolke im Raum umfasst. Computerimplementiertes Verfahren nach einer der Klauseln 2 oder 3, dadurch gekennzeichnet, dass eine Orientierung der mindestens einen Punktwolke im Raum berechnet wird. Computerimplementiertes Verfahren nach einer der vorangehenden Spectacle frame descriptive record includes an orientation of at least one point cloud in space. Computer-implemented method according to one of the clauses 2 or 3, characterized in that an orientation of the at least one point cloud in space is calculated. Computer-implemented method according to one of the preceding
Klauseln, dadurch gekennzeichnet, dass der die geometrischen Clauses, characterized in that the geometric
Parameter der Brillenfassung beschreibende Datensatz einen oder mehrere vorbestimmte Punkte der Brillenfassung umfasst. Computerimplementiertes Verfahren nach einer der vorangehenden Parameter of the spectacle frame descriptive record comprises one or more predetermined points of the spectacle frame. Computer-implemented method according to one of the preceding
Klauseln, dadurch gekennzeichnet, dass aus dem die geometrischen Parameter der Brillenfassung beschreibenden Datensatz die zur Clauses, characterized in that from the geometrical parameters of the spectacle frame descriptive record for
Brillenfassung gehörenden Glasränder bestimmt werden. Computerimplementiertes Verfahren nach einer der vorangegangenen Klauseln, dadurch gekennzeichnet, dass ein dreidimensionales Modell für die Brillenfassung und/oder Teile der Brillenfassung und/oder die Gläser der Brille näherungsweise an den dreidimensionalen Datensatz oder an die bestimmten Glasränder angepasst wird. Computerimplementiertes Verfahren nach Klausel 8, dadurch Glasses frame belonging glass edges are determined. Computer-implemented method according to one of the preceding clauses, characterized in that a three-dimensional model for the spectacle frame and / or parts of the spectacle frame and / or the glasses of the spectacles is approximately adapted to the three-dimensional data set or to the specific glass edges. Computer-implemented procedure according to clause 8, thereby
gekennzeichnet, dass das dreidimensionale Modell für die Brillengläser Glasoberflächen und/oder Glasebenen (52) umfasst oder aus diesen besteht. l O.Computerimplementiertes Verfahren nach einer der Klauseln 8 oder 9, dadurch gekennzeichnet, dass das dreidimensionale Modell ein in that the three-dimensional model for the spectacle lenses comprises or consists of glass surfaces and / or glass planes (52). I O.Computerimplementiertes method according to one of the clauses 8 or 9, characterized in that the three-dimensional model a
parametrisches Modell ist, dessen Parameter angepasst werden.  parametric model whose parameters are adjusted.
1 1 .Computerimplementiertes Verfahren nach einer der vorangehenden 1 1.Computer-implemented method according to one of the preceding
Klauseln, dadurch gekennzeichnet, dass die geometrische  Clauses, characterized in that the geometric
Positionsbestimmung ein Triangulationsverfahren umfasst.  Positioning comprises a triangulation method.
12. Computerprogramm mit Programmcode zur Durchführung aller 12. Computer program with program code to carry out all
Verfahrensschritte nach einer der vorangehenden Klauseln, wenn das Computerprogramm in einem Computer geladen und in einem Computer ausgeführt wird.  Method steps according to one of the preceding clauses, when the computer program is loaded into a computer and executed in a computer.
13. Verwendung einer Vorrichtung (10) zur Durchführung eines 13. Use of a device (10) for carrying out a
computerimplementierten Verfahrens nach einer der Klauseln 1 bis 9, wobei die Vorrichtung (10) einen Kameraträger (14) aufweist, welcher einen nach oben, nach unten und zu einer Rückseite (30) hin offenen Innenraum (22) teilweise umschließt und mindestens drei Kameras (16a, 16b) trägt, die zwischen zwei freien Enden (18) des Kameraträgers (14) angeordnet und auf den Innenraum (22) gerichtet sind, wobei der  Computer-implemented method according to one of the clauses 1 to 9, wherein the device (10) has a camera carrier (14) which partially encloses an interior (22) which is open towards the top, bottom and back (30) and at least three cameras ( 16a, 16b), which are arranged between two free ends (18) of the camera carrier (14) and directed towards the inner space (22), wherein the
Kameraträger (14) zur Beleuchtung des Innenraums (22) eine  Camera support (14) for illuminating the interior (22) a
Beleuchtungseinrichtung (32, 34, 36) aufweist.  Lighting device (32, 34, 36).
14. Computer, umfassend einen Speicher, wobei in dem Speicher das 14. A computer comprising a memory, wherein in the memory
Computerprogramm nach Klausel 12 gespeichert ist, und einen Prozessor, um das in dem Speicher abgespeicherte Computerprogramm auszuführen.  Computer program is stored according to clause 12, and a processor to execute the computer program stored in the memory.
15. Computer nach Klausel 14, dadurch gekennzeichnet, dass der Prozessor eingerichtet ist, mindestens zwei gleichzeitig aus unterschiedlichen 15. Computer according to clause 14, characterized in that the processor is set up, at least two at the same time from different ones
Blickrichtungen aufgenommene kalibrierte Bilder des Kopfes  Viewpoints recorded calibrated images of the head
bereitzustellen und mittels geometrischer Positionsbestimmung  to provide and by means of geometric positioning
geometrische Parameter zu ermitteln, die die Position der Augen  geometric parameters to determine the position of the eyes
beschreiben, einen geometrische Parameter der Brillenfassung beschreibenden dreidimensionalen Datensatz bereitzustellen, mittels einer rigiden Transformation die geometrischen Parameter der Brillenfassung und die die Position der Augen beschreibenden geometrischen Parameter zueinander in Bezug zu bringen und aus den die Brillenfassung describe a geometric parameter of the spectacle frame descriptive three-dimensional data set to bring by means of a rigid transformation, the geometric parameters of the spectacle frame and the position of the eye descriptive geometric parameters related to each other and out of the spectacle frame
beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern die Zentrierparameter zu berechnen. descriptive and the position of the eyes descriptive geometric parameters to calculate the centering parameters.

Claims

Ansprüche claims
1 . Computerimplennentiertes Verfahren zur Bestimmung von Zentrierparametern wobei mindestens zwei aus unterschiedlichen Blickrichtungen aufgenommene zueinander kalibrierte Bilder des Kopfes bereitgestellt werden und wobei mittels geometrischer Positionsbestimmung geometrische Parameter ermittelt werden, die die Position der Augen beschreiben, wobei ein geometrische Parameter der Brillenfassung beschreibender dreidimensionaler Datensatz bereitgestellt wird, wobei mittels einer rigiden Transformation die geometrischen Parameter der Brillenfassung und die die Position der Augen beschreibenden geometrischen Parameter zueinander in Bezug gebracht werden und wobei aus den die 1 . Computerimplennentiertes method for the determination of Zentrierparametern wherein at least two recorded from different directions directions calibrated images of the head are provided and wherein geometrical positioning determines geometric parameters that describe the position of the eyes, wherein a geometrical parameter of the spectacle frame descriptive three-dimensional data set is provided by means of a rigid transformation, the geometrical parameters of the spectacle frame and the geometrical parameters describing the position of the eyes are related to one another, and from which the
Brillenfassung beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern die Zentrierparameter berechnet werden, dadurch gekennzeichnet, dass die geometrischen Parameter der Brillenfassung und die die Position der Augen beschreibenden geometrischen Parameter ohne Spectacle frame descriptive and the position of the eyes descriptive geometric parameters are calculated, the Zentrierparameter, characterized in that the geometric parameters of the spectacle frame and the position of the eyes describing geometric parameters without
Verwendung eines eine Position oder Orientierung im Raum oder einen Maßstab definierenden Referenzobjekts zueinander in Bezug gebracht werden. Using a reference object defining a position or orientation in space or a scale.
2. Computerimplementiertes Verfahren nach Anspruch 1 , dadurch 2. Computer-implemented method according to claim 1, characterized
gekennzeichnet, dass der die geometrischen Parameter der Brillenfassung beschreibende Datensatz aus mindestens zwei zueinander kalibrierten Bildern des die Brillenfassung tragenden Kopfes oder aus mindestens zwei zueinander kalibrierten Bildern der Brillenfassung generiert wird. in that the data record describing the geometrical parameters of the spectacle frame is generated from at least two calibrated images of the head carrying the spectacle frame or from at least two calibrated images of the spectacle frame.
3. Computerimplementiertes Verfahren zur Bestimmung von Zentrierparametern wobei mindestens zwei aus unterschiedlichen Blickrichtungen aufgenommene zueinander kalibrierte Bilder des Kopfes bereitgestellt werden und wobei mittels geometrischer Positionsbestimmung geometrische Parameter ermittelt werden, die die Position der Augen beschreiben, wobei ein geometrische Parameter der Brillenfassung beschreibender dreidimensionaler Datensatz bereitgestellt wird, wobei mittels einer rigiden Transformation die geometrischen Parameter der Brillenfassung und die die Position der Augen beschreibenden geometrischen Parameter zueinander in Bezug gebracht werden und wobei aus den die 3. Computer-implemented method for determining Zentrierparametern wherein at least two recorded from different directions calibrated images of the head are provided and wherein geometrical positioning determines geometric parameters that describe the position of the eyes, wherein a geometrical parameter of the spectacle frame descriptive three-dimensional data set is provided by means of a rigid transformation, the geometric parameters of the spectacle frame and the position the geometrical parameters describing the eyes are related to each other and from which the
Brillenfassung beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern die Zentrierparameter berechnet werden, dadurch gekennzeichnet, dass der die geometrischen Parameter der Brillenfassung beschreibende Datensatz aus mindestens zwei zueinander kalibrierten Bildern des die Brillenfassung tragenden Kopfes oder aus mindestens zwei zueinander kalibrierten Bildern der Brillenfassung generiert wird. Spectacle frame descriptive and the position of the eyes descriptive geometric parameters, the Zentrierparameter be calculated, characterized in that the geometrical parameters of the spectacle frame descriptive record from at least two calibrated images of the frame carrying the spectacle frame or at least two calibrated images of the spectacle frame is generated ,
4. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der die geometrischen Parameter der 4. Computer-implemented method according to one of claims 1 to 3, characterized in that the geometric parameters of
Brillenfassung beschreibende Datensatz mittels Segmentierung der Silhouetten der Brillenfassung in den einzelnen Bildern und/oder mittels eines SD- Rekonstruktionsverfahrens und/oder mittels eines Verfahrens für Maschinelles Lernen generiert wird. Spectacle frame descriptive record is generated by segmentation of the silhouettes of the spectacle frame in the individual images and / or by means of an SD reconstruction method and / or by means of a method for machine learning.
5. Computerimplementiertes Verfahren nach einem der vorangehenden 5. Computer-implemented method according to one of the preceding
Ansprüche, dadurch gekennzeichnet, dass der die geometrischen Parameter der Brillenfassung beschreibende Datensatz als mindestens eine Claims, characterized in that the data set describing the geometric parameters of the spectacle frame as at least one
dreidimensionale Punktwolke bereitgestellt wird. three-dimensional point cloud is provided.
6. Computerimplementiertes Verfahren zur Bestimmung von Zentrierparametern, wobei mindestens zwei aus unterschiedlichen Blickrichtungen aufgenommene zueinander kalibrierte Bilder des Kopfes bereitgestellt werden und wobei mittels geometrischer Positionsbestimmung geometrische Parameter ermittelt werden, die die Position der Augen beschreiben, wobei ein geometrische Parameter der Brillenfassung beschreibender dreidimensionaler Datensatz bereitgestellt wird, wobei mittels einer rigiden Transformation die geometrischen Parameter der Brillenfassung und die die Position der Augen beschreibenden geometrischen Parameter zueinander in Bezug gebracht werden und wobei aus den die 6. Computer-implemented method for determining centering parameters, wherein at least two images of the head are taken from different viewing directions and wherein geometrical position determination determines geometric parameters which describe the position of the eyes, wherein a geometrical parameter of the spectacle frame is provided descriptive three-dimensional data record becomes, wherein, by means of a rigid transformation, the geometrical parameters of the spectacle frame and the geometrical parameters describing the position of the eyes are related to one another, and wherein the
Brillenfassung beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern die Zentrierparameter berechnet werden, dadurch gekennzeichnet, dass der die geometrischen Parameter der Brillenfassung beschreibende Datensatz als mindestens eine dreidimensionale Punktwolke bereitgestellt wird. Spectacle frame descriptive and the position of the eyes descriptive geometric parameters are calculated the Zentrierparameter, characterized in that the geometrical parameters of the spectacle frame descriptive record is provided as at least one three-dimensional point cloud.
7. Computerimplementiertes Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass mehrere Punktwolken für unterschiedliche Teile der Brillenfassung bereitgestellt werden. 7. Computer-implemented method according to claim 5 or 6, characterized in that a plurality of point clouds are provided for different parts of the spectacle frame.
8. Computerimplementiertes Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass der die geometrischen Parameter der 8. Computer-implemented method according to one of claims 5 to 7, characterized in that the geometric parameters of
Brillenfassung beschreibende Datensatz eine Orientierung der mindestens einen Punktwolke im Raum umfasst. Spectacle frame descriptive record includes an orientation of at least one point cloud in space.
9. Computerimplementiertes Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass eine Orientierung der mindestens einen 9. Computer-implemented method according to one of claims 5 to 7, characterized in that an orientation of the at least one
Punktwolke im Raum berechnet wird. Point cloud is calculated in space.
10. Computerimplementiertes Verfahren nach einem der vorangehenden 10. Computer-implemented method according to one of the preceding
Ansprüche, dadurch gekennzeichnet, dass der die geometrischen Parameter der Brillenfassung beschreibende Datensatz einen oder mehrere vorbestimmte Punkte der Brillenfassung umfasst oder dass diese Punkte berechnet werden. Claims, characterized in that the dataset describing the geometrical parameters of the spectacle frame comprises one or more predetermined points of the spectacle frame or that these points are calculated.
1 1 . Computerimplementiertes Verfahren nach einem der vorangehenden 1 1. Computer-implemented method according to one of the preceding
Ansprüche, dadurch gekennzeichnet, dass aus dem die geometrischen Claims, characterized in that from the geometric
Parameter der Brillenfassung beschreibenden Datensatz die zur Brillenfassung gehörenden Glasränder bestimmt werden. Parameters of the eyeglass frame descriptive record are determined to the eyeglass frame belonging glass edges.
12. Computerimplementiertes Verfahren nach einem der vorangehenden 12. Computer-implemented method according to one of the preceding
Ansprüche, dadurch gekennzeichnet, dass der die geometrischen Parameter der Brillenfassung beschreibende Datensatz auf eine zweidimensionale Ebene projiziert wird. Claims, characterized in that the data describing the geometric parameters of the spectacle frame data set is projected onto a two-dimensional plane.
13. Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche , dadurch gekennzeichnet, dass ein dreidimensionales Modell für die Brillenfassung und/oder Teile der Brillenfassung und/oder die Gläser der Brille näherungsweise an den dreidimensionalen Datensatz oder an die bestimmten Glasränder angepasst wird. 13. Computer-implemented method according to one of the preceding claims, characterized in that a three-dimensional model for the spectacle frame and / or parts of the spectacle frame and / or the glasses of the glasses is approximately adapted to the three-dimensional data set or to the specific glass edges.
14. Computerimplementiertes Verfahren nach Anspruch 13, dadurch 14. Computer-implemented method according to claim 13, characterized
gekennzeichnet, dass das dreidimensionale Modell für die Brillengläser characterized in that the three-dimensional model for the lenses
Glasoberflächen und/oder Glasebenen (52) umfasst oder aus diesen besteht. Glass surfaces and / or glass planes (52) comprises or consists of these.
15. Computerimplementiertes Verfahren nach einem der Ansprüche 13 oder 14, dadurch gekennzeichnet, dass das dreidimensionale Modell ein parametrisches Modell ist, dessen Parameter angepasst werden. Computer-implemented method according to one of claims 13 or 14, characterized in that the three-dimensional model is a parametric model whose parameters are adapted.
16. Computerimplementiertes Verfahren nach einem der Ansprüche 13 oder 14, dadurch gekennzeichnet, dass das dreidimensionale Modell mittels 16. Computer-implemented method according to one of claims 13 or 14, characterized in that the three-dimensional model means
Maschinellen Lernens aus Beispieldaten erzeugt wird. Machine learning is generated from sample data.
17. Computerimplementiertes Verfahren nach einem der vorangehenden 17. Computer-implemented method according to one of the preceding
Ansprüche, dadurch gekennzeichnet, dass die geometrische Claims, characterized in that the geometric
Positionsbestimmung und/oder die Erzeugung des die geometrischen Parameter der Brillenfassung beschreibenden Datensatzes ein Triangulationsverfahren umfasst. Position determination and / or the generation of the geometrical parameters of the spectacle frame descriptive record comprises a triangulation method.
18. Computerprogramm mit Programmcode zur Durchführung aller 18. Computer program with program code to carry out all
Verfahrensschritte nach einem der vorangehenden Ansprüche, wenn das Method steps according to one of the preceding claims, when the
Computerprogramm in einem Computer geladen und in einem Computer ausgeführt wird. Computer program is loaded into a computer and run in a computer.
19. Verwendung einer Vorrichtung (10) zur Durchführung eines 19. Use of a device (10) for carrying out a
computerimplennentierten Verfahrens nach einem der Ansprüche 1 bis 17, wobei die Vorrichtung (10) einen Kameraträger (14) aufweist, welcher einen nach oben, nach unten und zu einer Rückseite (30) hin offenen Innenraum (22) teilweise umschließt und mindestens drei Kameras (16a, 16b) trägt, die zwischen zwei freien Enden (18) des Kameraträgers (14) angeordnet und auf den Innenraum (22) gerichtet sind, wobei der Kameraträger (14) zur Beleuchtung des Innenraums (22) eine Beleuchtungseinrichtung (32, 34, 36) aufweist. A computer-implemented method according to any one of claims 1 to 17, wherein the device (10) comprises a camera support (14) which partially encloses an interior (22) open towards the top, bottom and back (30) and at least three cameras ( 16a, 16b), which are arranged between two free ends (18) of the camera carrier (14) and directed towards the interior space (22), wherein the camera carrier (14) for illuminating the interior (22) has a lighting device (32, 34, 36).
20. Computer, umfassend einen Speicher, wobei in dem Speicher das 20. A computer comprising a memory, wherein in the memory
Computerprogramm nach Anspruch 18 gespeichert ist, und einen Prozessor, um das in dem Speicher abgespeicherte Computerprogramm auszuführen. A computer program according to claim 18 is stored, and a processor for executing the computer program stored in the memory.
21 . Computer nach Anspruch 20, dadurch gekennzeichnet, dass der Prozessor eingerichtet ist, mindestens zwei gleichzeitig aus unterschiedlichen 21. Computer according to claim 20, characterized in that the processor is set up, at least two at the same time from different ones
Blickrichtungen aufgenommene kalibrierte Bilder des Kopfes bereitzustellen und mittels geometrischer Positionsbestimmung geometrische Parameter zu ermitteln, die die Position der Augen beschreiben, einen geometrische Parameter der Brillenfassung beschreibenden dreidimensionalen Datensatz bereitzustellen, mittels einer rigiden Transformation die geometrischen Parameter der Provide viewing directions recorded calibrated images of the head and determine by geometric positioning geometric parameters that describe the position of the eyes to provide a geometrical parameter of the spectacle frame descriptive three-dimensional data set, by means of a rigid transformation, the geometric parameters of the
Brillenfassung und die die Position der Augen beschreibenden geometrischen Parameter zueinander in Bezug zu bringen und aus den die Brillenfassung beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern die Zentrierparameter zu berechnen. Spectacle frame and the position of the eye descriptive geometric parameters related to each other and from the spectacle frame describing and the position of the eye descriptive geometric parameters to calculate the Zentrierparameter.
22. Vorrichtung zur Bestimmung von Zentrierparametern mit einer ersten Kamera zur Aufnahme eines ersten Bilds aus einer ersten Blickrichtung, mit mindestens einer zur ersten Kamera kalibrierten zweiten Kamera zur Aufnahme eines zweiten Bilds aus einer von der ersten Blickrichtung verschiedenen zweiten Blickrichtung und mit einem Computer, welcher einen Speicher umfasst, in dem ein 22. Apparatus for determining centering parameters with a first camera for recording a first image from a first viewing direction, with at least one second camera calibrated for the first camera for capturing a second image from a second viewing direction different from the first viewing direction and with a computer which includes a memory in which a
Computerprogramm gespeichert ist, das einen Programmcode zur Durchführung der folgenden Verfahrensschritte aufweist: i. Bereitstellung von mindestens zwei aus unterschiedlichen Computer program is stored, which has a program code for performing the following method steps: i. Providing at least two of different
Blickrichtungen aufgenommenen kalibrierten Bildern des Kopfes eines Probanden ii. Ermittlung von von geometrischen Parametern, die die Position der Augen beschreiben, mittels geometrischer Positionsbestimmung iii. Bereitstellung eines geometrische Parameter einer Brillenfassung beschreibenden dreidimensionalen Datensatzes iv. in Bezug bringen der geometrischen Parameter der Brillenfassung und der die Position der Augen beschreibenden geometrischen Parameter v. Berechnung der Zentrierparameter aus den die Brillenfassung  View directions of recorded calibrated images of the head of a subject ii. Determination of geometric parameters that describe the position of the eyes using geometric positioning iii. Providing a three-dimensional data set describing a geometrical parameter of a spectacle frame iv. relating the geometrical parameters of the spectacle frame and the geometrical parameters v describing the position of the eyes. Calculation of the centering parameters from the spectacle frame
beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern, wobei die die geometrischen Parameter der Brillenfassung und die die Position der Augen beschreibenden geometrischen Parameter ohne Verwendung eines eine Position oder Orientierung im Raum oder einen Maßstab definierenden Referenzobjekts zueinander in Bezug gebracht werden, und wobei der Computer einen Prozessor umfasst, um das im Speicher gespeicherte Computerprogramm auszuführen.  and the geometrical parameters describing the position of the eyes, wherein the geometrical parameters of the spectacle frame and the geometrical parameters describing the position of the eyes are related to each other without using a reference object defining a position or orientation in space or scale, and wherein Computer includes a processor to execute the computer program stored in the memory.
23. Vorrichtung zur Bestimmung von Zentrierparametern mit einer ersten Kamera zur Aufnahme eines ersten Bilds aus einer ersten Blickrichtung, mit mindestens einer zur ersten Kamera kalibrierten zweiten Kamera zur Aufnahme eines zweiten Bilds aus einer von der ersten Blickrichtung verschiedenen zweiten Blickrichtung und mit einem Computer, welcher einen Speicher umfasst, in dem ein 23. Device for determining centering parameters with a first camera for recording a first image from a first viewing direction, with at least one second camera calibrated for the first camera for capturing a second image from a second viewing direction different from the first viewing direction, and with a computer includes a memory in which a
Computerprogramm gespeichert ist, das einen Programmcode zur Durchführung der folgenden Verfahrensschritte aufweist: i. Bereitstellung von mindestens zwei aus unterschiedlichen Computer program is stored, which has a program code for performing the following method steps: i. Providing at least two of different
Blickrichtungen aufgenommenen kalibrierten Bildern des Kopfes eines Probanden ii. Ermittlung von von geometrischen Parametern, die die Position der Augen beschreiben, mittels geometrischer Positionsbestimmung iii. Bereitstellung eines geometrische Parameter einer Brillenfassung beschreibenden dreidimensionalen Datensatzes iv. in Bezug bringen der geometrischen Parameter der Brillenfassung und der die Position der Augen beschreibenden geometrischen Parameter v. Berechnung der Zentrierparameter aus den die Brillenfassung  View directions of recorded calibrated images of the head of a subject ii. Determination of geometric parameters that describe the position of the eyes using geometric positioning iii. Providing a three-dimensional data set describing a geometrical parameter of a spectacle frame iv. relating the geometrical parameters of the spectacle frame and the geometrical parameters v describing the position of the eyes. Calculation of the centering parameters from the spectacle frame
beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern, wobei der die geometrischen Parameter der Brillenfassung beschreibende Datensatz aus mindestens zwei zueinander kalibrierten Bildern des die Brillenfassung tragenden Kopfes oder aus mindestens zwei zueinander kalibrierten Bildern der Brillenfassung generiert wird, und wobei der Computer einen Prozessor umfasst, um das im Speicher gespeicherte Computerprogramm auszuführen.  descriptive and the position of the eyes descriptive geometric parameters, wherein the geometrical parameters of the spectacle frame descriptive record from at least two calibrated images of the spectacle frame supporting head or at least two calibrated images of the spectacle frame is generated, and wherein the computer comprises a processor to run the computer program stored in memory.
24. Vorrichtung zur Bestimmung von Zentrierparametern mit einer ersten Kamera zur Aufnahme eines ersten Bilds aus einer ersten Blickrichtung, mit mindestens einer zur ersten Kamera kalibrierten zweiten Kamera zur Aufnahme eines zweiten Bilds aus einer von der ersten Blickrichtung verschiedenen zweiten Blickrichtung und mit einem Computer, welcher einen Speicher umfasst, in dem ein 24. Apparatus for determining centering parameters with a first camera for recording a first image from a first viewing direction, with at least one second camera calibrated for the first camera for capturing a second image from a second viewing direction different from the first viewing direction, and with a computer includes a memory in which a
Computerprogramm gespeichert ist, das einen Programmcode zur Durchführung der folgenden Verfahrensschritte aufweist: i. Bereitstellung von mindestens zwei aus unterschiedlichen Computer program is stored, which has a program code for performing the following method steps: i. Providing at least two of different
Blickrichtungen aufgenommenen kalibrierten Bildern des Kopfes eines Probanden ii. Ermittlung von von geometrischen Parametern, die die Position der Augen beschreiben, mittels geometrischer Positionsbestimmung iii. Bereitstellung eines geometrische Parameter einer Brillenfassung beschreibenden dreidimensionalen Datensatzes iv. in Bezug bringen der geometrischen Parameter der Brillenfassung und der die Position der Augen beschreibenden geometrischen Parameter v. Berechnung der Zentrierparameter aus den die Brillenfassung  View directions of recorded calibrated images of the head of a subject ii. Determination of geometric parameters that describe the position of the eyes using geometric positioning iii. Providing a three-dimensional data set describing a geometrical parameter of a spectacle frame iv. relating the geometrical parameters of the spectacle frame and the geometrical parameters v describing the position of the eyes. Calculation of the centering parameters from the spectacle frame
beschreibenden und den die Position der Augen beschreibenden geometrischen Parametern, wobei der die geometrischen Parameter der Brillenfassung beschreibende Datensatz als mindestens eine dreidimensionale Punktwolke bereitgestellt wird, und wobei der Computer einen Prozessor umfasst, um das im  descriptive and the position of the eyes descriptive geometric parameters, wherein the geometrical parameters of the spectacle frame descriptive record is provided as at least one three-dimensional point cloud, and wherein the computer comprises a processor to the in the
Speicher gespeicherte Computerprogramm auszuführen.  Memory stored computer program to run.
25. Verfahren zum Zentrieren mindestens eines Brillenglases in einer 25. A method for centering at least one spectacle lens in one
Brillenfassung, dadurch gekennzeichnet, dass in einem ersten Verfahrensschritt Zentrierparameter mit einem Verfahren nach einem der Ansprüche 1 bis 17 bestimmt werden und dass in einem zweiten Verfahrensschritt das mindestens eine Brillenglas mit den im ersten Verfahrensschritt bestimmten Spectacle frame, characterized in that centering parameters are determined by a method according to one of claims 1 to 17 in a first method step and that in a second method step, the at least one spectacle lens with those determined in the first method step
Zentrierparametern in der Brillenfassung zentriert wird. Centering in the spectacle frame is centered.
26. Verfahren zum Einschieifen mindestens eines Brillenglases in eine 26. A method for wrapping at least one spectacle lens in one
Brillenfassung, dadurch gekennzeichnet, dass in einem ersten Verfahrensschritt Zentrierparameter mit einem Verfahren nach einem der Ansprüche 1 bis 17 bestimmt werden und dass in einem zweiten Verfahrensschritt das mindestens eine Brillenglas basierend auf den im ersten Verfahrensschritt bestimmten Zentrierparametern für eine Anordnung in der Brillenfassung eingeschliffen wird Spectacle frame, characterized in that centering parameters in a first method step with a method according to one of claims 1 to 17 be determined and that in a second method step, the at least one spectacle lens is ground based on the determined in the first step centering parameters for an arrangement in the spectacle frame
27. Verfahren zum Herstellen eines Brillenglases, gekennzeichnet durch den Verfahrensschritt Einschleifen des Brillenglases in eine Brillenfassung nach dem Verfahren gemäß Anspruch 26. 27. A method for producing a spectacle lens, characterized by the method step grinding the spectacle lens into a spectacle frame according to the method according to claim 26.
28. Verfahren zum Herstellen einer Brille, dadurch gekennzeichnet, dass ein Verfahren nach einem der Ansprüche 25 bis 27 verwendet wird. 28. A method for producing a pair of spectacles, characterized in that a method according to any one of claims 25 to 27 is used.
EP18702189.4A 2017-01-27 2018-01-24 Computer-implemented method for determining centring parameters Pending EP3574369A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17153560.2A EP3355103A1 (en) 2017-01-27 2017-01-27 Computer-implemented method for determining centring parameters
PCT/EP2018/051751 WO2018138165A1 (en) 2017-01-27 2018-01-24 Computer-implemented method for determining centring parameters

Publications (1)

Publication Number Publication Date
EP3574369A1 true EP3574369A1 (en) 2019-12-04

Family

ID=57909542

Family Applications (2)

Application Number Title Priority Date Filing Date
EP17153560.2A Withdrawn EP3355103A1 (en) 2017-01-27 2017-01-27 Computer-implemented method for determining centring parameters
EP18702189.4A Pending EP3574369A1 (en) 2017-01-27 2018-01-24 Computer-implemented method for determining centring parameters

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP17153560.2A Withdrawn EP3355103A1 (en) 2017-01-27 2017-01-27 Computer-implemented method for determining centring parameters

Country Status (4)

Country Link
US (1) US11397339B2 (en)
EP (2) EP3355103A1 (en)
CN (2) CN110446968A (en)
WO (1) WO2018138165A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3410178A1 (en) 2017-06-01 2018-12-05 Carl Zeiss Vision International GmbH Method, device and computer program for virtual adapting of a spectacle frame
EP4227732A1 (en) 2022-02-14 2023-08-16 Carl Zeiss Vision International GmbH Method for head image recording and corresponding mobile device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792401B1 (en) * 2000-10-31 2004-09-14 Diamond Visionics Company Internet-based modeling kiosk and method for fitting and selling prescription eyeglasses
US6682195B2 (en) * 2001-10-25 2004-01-27 Ophthonix, Inc. Custom eyeglass manufacturing method
US20130088490A1 (en) 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
FR2987908B1 (en) 2012-03-12 2014-03-14 Digiteyezer AUTOMATIC SCANNER AND METHOD FOR 3D SCANNING OF A HUMAN CEPHALIC PERIPHERAL PORTION
KR101821284B1 (en) * 2013-08-22 2018-01-23 비스포크, 인코포레이티드 Method and system to create custom products

Also Published As

Publication number Publication date
CN110446968A (en) 2019-11-12
EP3355103A1 (en) 2018-08-01
CN118642279A (en) 2024-09-13
US20200057316A1 (en) 2020-02-20
WO2018138165A1 (en) 2018-08-02
US11397339B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
EP3574371B1 (en) Computer-implemented method for determining centring parameters
EP3183616B1 (en) Determining user data based on image data of a selected eyeglass frame
EP3588175B1 (en) Device for determining centring parameters for spectacle adaptation
EP3354190B1 (en) Computer-implemented method for detecting a cornea vertex
EP3413122B1 (en) Method, device and computer program for determining a close-up viewpoint
DE102011115239B4 (en) Determination of the disc shape taking into account tracer data
EP3210071B1 (en) Apparatus and method for determining optical parameters
WO2018138258A1 (en) Method, computing device, and computer program for providing a mounting edge model
EP3574370B1 (en) Computer-implemented method for determining a representation of a spectacle socket rim or a representation of the edges of the glasses of a pair of spectacles
EP3497509A1 (en) Method and device for checking the centring of at least one spectacle lens
DE102015001874A1 (en) Device and method for distance determination and / or centering using corneal reflections
WO2018138165A1 (en) Computer-implemented method for determining centring parameters

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190729

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220527