DE102015010127A1 - Device for detecting an object arranged in a test environment - Google Patents
Device for detecting an object arranged in a test environment Download PDFInfo
- Publication number
- DE102015010127A1 DE102015010127A1 DE102015010127.7A DE102015010127A DE102015010127A1 DE 102015010127 A1 DE102015010127 A1 DE 102015010127A1 DE 102015010127 A DE102015010127 A DE 102015010127A DE 102015010127 A1 DE102015010127 A1 DE 102015010127A1
- Authority
- DE
- Germany
- Prior art keywords
- value
- reflection
- pixel
- processor
- test environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 0 C[C@](C(C1)C1C(*)**)C=*(CC*)CN=O Chemical compound C[C@](C(C1)C1C(*)**)C=*(CC*)CN=O 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
- G01V8/12—Detecting, e.g. by using light barriers using one transmitter and one receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
Abstract
Vorrichtung (100) zur Detektion eines in einer Testumgebung (101) angeordneten Objektes (102), mit einer Beleuchtungseinrichtung (103) zum Aussenden eines ersten Lichtstrahles (104) in Richtung der Testumgebung (101); einem Lichtsensor (105) zum Aufnehmen einer ersten Reflexion des ersten Lichtstrahles (104); einem Prozessor (109), welcher ausgebildet ist, mindestens einen Kalibrierungswert (314) aus der ersten Reflexion abzuleiten; wobei die Beleuchtungseinrichtung (103) ausgebildet ist, einen zweiten Lichtstrahl (104) in Richtung der Testumgebung (101) auszusenden; wobei der Lichtsensor (105) ausgebildet ist, eine zweite Reflexion des zweiten Lichtstrahles (104) aufzunehmen; wobei der Prozessor (109), ausgebildet ist, mindestens einen Vergleichswert aus der zweiten Reflexion abzuleiten; wobei der Prozessor (109) ausgebildet ist, einen Informationswert (305) aus mindestens einem Kalibrierungswert (314) und aus mindestens einem Vergleichswert abzuleiten und das Objekt (102) zu detektieren, falls der Informationswert (305) größer als ein vorgegebener Detektionsschwellwert (311) ist und den Vorgang der Detektion des Objektes (102) zu beenden, falls der Informationswert (305) kleiner als der Referenzschwellwert (313) ist.Device (100) for detecting an object (102) arranged in a test environment (101), having illumination means (103) for emitting a first light beam (104) in the direction of the test environment (101); a light sensor (105) for receiving a first reflection of the first light beam (104); a processor (109) configured to derive at least one calibration value (314) from the first reflection; wherein the illumination device (103) is designed to emit a second light beam (104) in the direction of the test environment (101); wherein the light sensor (105) is adapted to receive a second reflection of the second light beam (104); wherein the processor (109) is adapted to derive at least one comparison value from the second reflection; wherein the processor (109) is adapted to derive an information value (305) from at least one calibration value (314) and from at least one comparison value and to detect the object (102) if the information value (305) is greater than a predetermined detection threshold value (311). and terminate the process of detecting the object (102) if the information value (305) is less than the reference threshold (313).
Description
Die vorliegende Erfindung betrifft das Gebiet der Detektion eines Objektes.The present invention relates to the field of detection of an object.
Zur Detektion von Objekten, welche in einer Testumgebung, insbesondere auf einem Transportband, angeordnet sind, werden häufig optische Sensoren eingesetzt. Diese Sensoren detektieren Objekte häufig über eine Veränderung einer erfassten Position oder einer erfassten Intensität eines reflektierten Lichtstrahles. Die Detektion von teiltransparenten Objekten oder von Objekte, welche eine unregelmäßige Struktur mit Kavitäten aufweisen, beispielsweise Flaschen, ist mit diesen Sensoren jedoch schwierig.For the detection of objects which are arranged in a test environment, in particular on a conveyor belt, optical sensors are frequently used. These sensors often detect objects via a change in detected position or detected intensity of a reflected light beam. However, the detection of partially transparent objects or of objects which have an irregular structure with cavities, for example bottles, is difficult with these sensors.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zur Detektion eines in einer Testumgebung angeordneten Objektes zu schaffen.It is therefore the object of the present invention to provide an efficient concept for the detection of an object arranged in a test environment.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche der Beschreibung sowie der Zeichnungen.This object is solved by the features of the independent claims. Advantageous forms of further development are the subject of the dependent claims of the description and the drawings.
Die vorliegende Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe durch das umgebungsspezifische Ableiten von Kalibrierungswerten aus einer ersten Reflexion eines ersten Lichtstrahles und das Ableiten von Vergleichswerten aus einer zweiten Reflexion eines zweiten Lichtstrahles gelöst werden kann, wobei ein Informationswert aus der Summe der Beträge der Differenz der Kalibrierungswerte und der Vergleichswerte des gleichen Signaltyps ist, wobei die Detektion eines Objektes erfolgt, falls der Informationswert größer als ein vorgegebener Detektionsschwellwert ist und der Vorgang der Detektion des Objektes beendet wird, falls der Informationswert kleiner als ein vorgegebener Referenzschwellwert ist.The present invention is based on the finding that the above object can be achieved by the environment-specific derivation of calibration values from a first reflection of a first light beam and the derivation of comparison values from a second reflection of a second light beam, wherein an information value from the sum of the amounts of Difference of the calibration values and the comparison values of the same signal type is, wherein the detection of an object takes place if the information value is greater than a predetermined detection threshold and the process of detection of the object is terminated, if the information value is smaller than a predetermined reference threshold value.
Im Zusammenhang mit der Anmeldung sind unter dem Begriff Signaltyp die Auswertungsmöglichkeiten für das von einer Testumgebung oder einem Objekt reflektierten Lichts, welches auf den Lichtsensor bzw. die Pixelsensorelemente fällt, zu verstehen, wie beispielsweise die Auswertung der Intensität, der Positionsänderung des Signalmaximalwerts, der Verteilung der Pixel, der Breite der Signalverteilung, der Flächenhalbierende, des Flächenschwerpunkts, des Signalmaximalwerts, etc.In the context of the application, the term "signal type" is understood to mean the evaluation options for the light reflected by a test environment or an object that falls on the light sensor or the pixel sensor elements, such as, for example, the evaluation of the intensity, the position change of the signal maximum value, the distribution the pixel, the width of the signal distribution, the area bisector, the centroid, the maximum signal value, etc.
Gemäß einem ersten Aspekt betrifft die Erfindung eine Vorrichtung zur Detektion eines in einer Testumgebung angeordneten Objektes, mit: einer Beleuchtungseinrichtung zum Aussenden eines ersten Lichtstrahles in Richtung der Testumgebung; einem Lichtsensor zum Aufnehmen einer ersten Reflexion des ersten Lichtstrahles; einem Prozessor, welcher ausgebildet ist, Kalibrierungswerte aus der ersten Reflexion abzuleiten; wobei die Beleuchtungseinrichtung ausgebildet ist, einen zweiten Lichtstrahl in Richtung der Testumgebung auszusenden; wobei der Lichtsensor ausgebildet ist, eine zweite Reflexion des zweiten Lichtstrahles aufzunehmen; wobei der Prozessor ausgebildet ist, Vergleichswerte aus der zweiten Reflexion abzuleiten; und wobei der Prozessor ausgebildet ist, einen Informationswert aus den Vergleichswerten und Kalibrationswerten abzuleiten und das Objekt zu detektieren, falls der Informationswert größer als ein vorgegebener Detektionsschwellwert ist und den Vorgang der Detektion des Objektes zu beenden, falls der Informationswert kleiner als der Referenzschwellwert ist. Dadurch wird der Vorteil erreicht, dass eine besonders effiziente Detektion des Objektes in der Testumgebung erfolgen kann. Aufgrund der Unterscheidung zwischen dem Detektionsschwellwert, welcher Ausschlaggebend für die Detektion des Objektes ist, und dem Referenzschwellwert, welcher Ausschlaggebend für das Beenden des Vorganges der Detektion des Objektes ist, kann ein Objekt mit einer hohen Transparenz oder einer ungleichmäßigen Struktur besonders effizient detektiert werdenAccording to a first aspect, the invention relates to a device for detecting an object arranged in a test environment, comprising: a lighting device for emitting a first light beam in the direction of the test environment; a light sensor for receiving a first reflection of the first light beam; a processor configured to derive calibration values from the first reflection; wherein the illumination device is designed to emit a second light beam in the direction of the test environment; wherein the light sensor is configured to receive a second reflection of the second light beam; wherein the processor is configured to derive comparison values from the second reflection; and wherein the processor is configured to derive an information value from the comparison values and calibration values and to detect the object if the information value is greater than a predetermined detection threshold and terminate the process of detecting the object if the information value is less than the reference threshold. As a result, the advantage is achieved that a particularly efficient detection of the object in the test environment can take place. Due to the distinction between the detection threshold value, which is decisive for the detection of the object, and the reference threshold value, which is decisive for completing the process of detection of the object, an object with a high transparency or an uneven structure can be detected particularly efficiently
Die Testumgebung kann eine statische Referenz sein. Die Testumgebung kann aber auch ein Transportsystem, insbesondere ein Förderband sein. Das Förderband kann ein durchgehendes Band oder eine Kette mit Kettengliedern umfassen auf deren Oberfläche die Objekte angeordnet sein können. Das durchgehende Band kann eine Kunststoffbahn oder überlappende Kunststoffflächen umfassen, welche eine flache oder annähernd flache Oberfläche aufweisen. Die Kettenglieder können in einem Abstand zueinander angeordnet sein, so dass jeweils zwischen zwei Kettengliedern eine Lücke entstehen kann. Die Kettenglieder der Kette können aus Kunststoff oder Metall gefertigt sein. Ferner kann das Förderband Antriebsrollen oder Walzen, zum Antreiben oder Stabilisieren des Bandes oder der Kette, umfassen.The test environment can be a static reference. The test environment can also be a transport system, in particular a conveyor belt. The conveyor belt may comprise a continuous belt or a chain with chain links on the surface of which the objects may be arranged. The continuous band may comprise a plastic sheet or overlapping plastic surfaces having a flat or nearly flat surface. The chain links can be arranged at a distance from one another, so that in each case a gap can arise between two chain links. The chain links of the chain can be made of plastic or metal. Further, the conveyor belt may comprise drive rollers or rollers for driving or stabilizing the belt or chain.
Bei dem Objekt kann es sich um ein transparentes, teiltransparentes oder opakes Objekt handeln. Das Objekt kann aus optisch transparenten Materialien, beispielsweise Glas oder transparentem Plastik, wie PET oder Polycarbonat, gefertigt sein Ferner kann das Objekt eine unregelmäßige Struktur mit einer Anzahl an Kavitäten oder Hohlräumen aufweisen, welche zwischen zwei Objektseiten angeordnet sein können. Bei dem Objekt kann es sich beispielsweise um eine Flasche, eine Schale oder eine Schüssel handeln.The object can be a transparent, semi-transparent, or opaque object. The object can be made of optically transparent materials, for example glass or transparent plastic, such as PET or polycarbonate. Furthermore, the object can have an irregular structure with a number of cavities or cavities, which can be arranged between two object sides. The object may be, for example, a bottle, a bowl or a bowl.
Die Vorrichtung kann oberhalb, seitlich oder unterhalb der Testumgebung angeordnet sein. Die Vorrichtung kann stationär sein und das Objekt kann, beispielsweise angeordnet auf der Oberfläche des Förderbandes, an der Vorrichtung vorbeibewegt werden. Ferner kann auch das Objekt stationär sein und die Vorrichtung kann an dem Objekt vorbeibewegt werden.The device may be located above, sideways or below the test environment. The device can be stationary and the object can, for example, arranged on the surface of the conveyor belt, are moved past the device. Furthermore, the object can also be stationary and the device can be moved past the object.
Der Prozessor kann ein Mikroprozessor sein und kann einen Speicher umfassen. Ferner kann der Prozessor in ein an die Vorrichtung angeschlossenes Datenverarbeitungsgerät, beispielsweise ein Desktop-Computer oder ein Laptop, integriert sein.The processor may be a microprocessor and may include a memory. Furthermore, the processor may be integrated into a data processing device connected to the device, for example a desktop computer or a laptop.
Der Detektionsschwellwert kann größer, als ein Informationswert der Testumgebung ohne Objekte und kleiner, als ein Maximalinformationswert des Objektes sein. Der Detektionsschwellwert kann von einem Benutzer applikationsspezifisch eingestellt werden. Beispielsweise kann ein Benutzer den Detektionsschwellwert in Abhängigkeit der Testumgebung, insbesondere in Abhängigkeit eines Transportbandtyps oder einer vorliegenden Verschmutzung des Transportbandes, und/oder in Abhängigkeit des zu detektierenden Objektes, insbesondere in Abhängigkeit der Größe, der Struktur und/oder der Transparenz des Objektes, einstellen.The detection threshold may be larger than an information value of the test environment without objects and less than a maximum information value of the object. The detection threshold value can be set by a user in an application-specific manner. For example, a user can set the detection threshold value as a function of the test environment, in particular depending on a conveyor belt type or contamination of the conveyor belt, and / or depending on the object to be detected, in particular depending on the size, structure and / or transparency of the object ,
Der Referenzschwellwert kann gleich oder grösser einem Informationswert der Testumgebung ohne Objekte sein. Ferner kann der Referenzschwellwert kleiner als ein Informationswert einer Verschmutzung oder Unregelmässigkeit in der Testumgebung sein. Die Ableitung des Referenzschwellwertes durch den Prozessor kann auf Grundlage von durch den Benutzer einstellbaren Parametern erfolgen. Diese Parameter können von dem Benutzer applikationsspezifisch eingestellt werden und können sich auf Bedingungen der Testumgebung, insbesondere auf den Transportbandtyp oder einer vorliegenden Verschmutzung des Transportbandes, sowie auf das zu detektierenden Objekt, insbesondere die Größe, die Struktur und/oder die Transparenz des Objektes, beziehen.The reference threshold may be equal to or greater than an informational value of the test environment without objects. Further, the reference threshold may be smaller than an information value of fouling or irregularity in the test environment. Derivation of the reference threshold by the processor may be based on user adjustable parameters. These parameters can be set by the user in an application-specific manner and can relate to conditions of the test environment, in particular to the type of conveyor belt or contamination of the conveyor belt, as well as to the object to be detected, in particular the size, structure and / or transparency of the object ,
Gemäß einer Ausführungsform umfasst der Lichtsensor eine Anzahl von Pixelsensorelementen, wobei jedes Pixelsensorelement einem Bildpixel zugeordnet ist, und wobei der Prozessor ausgebildet ist, für jeden Bildpixel einen Kalibrierungswert aus der ersten Reflexion abzuleiten. Dadurch wird der Vorteil erreicht, dass der Lichtsensor eine Signalverteilung der ersten Reflexion aufnehmen kann.In one embodiment, the light sensor comprises a number of pixel sensor elements, each pixel sensor element associated with an image pixel, and wherein the processor is configured to derive a calibration value from the first reflection for each image pixel. As a result, the advantage is achieved that the light sensor can receive a signal distribution of the first reflection.
Gemäß einer Ausführungsform umfasst der Lichtsensor eine Anzahl von Pixelsensorelementen, wobei jedes Pixelsensorelement einem Bildpixel zugeordnet ist, und wobei der Prozessor ausgebildet ist, für jeden Bildpixel einen Vergleichswert aus der zweiten Reflexion abzuleiten. Dadurch wird der Vorteil erreicht, dass der Lichtsensor eine Signalverteilung der zweiten Reflexion aufnehmen kann.According to an embodiment, the light sensor comprises a number of pixel sensor elements, each pixel sensor element associated with an image pixel, and wherein the processor is configured to derive a comparison value from the second reflection for each image pixel. As a result, the advantage is achieved that the light sensor can record a signal distribution of the second reflection.
Gemäß einer Ausführungsform sind die Pixelkalibrierungswerte und die Pixelinformationswerte Stromwerte und/oder Spannungswerte. Dadurch wird der Vorteil erreicht, dass beispielsweise eine Signalverteilung der ersten Reflexion und/oder der zweiten Reflexion auf dem Lichtsensor effizient über eine Messung des im Lichtsensor erzeugten Stromes oder der erzeugten Spannung ermittelt werden kann.According to an embodiment, the pixel calibration values and the pixel information values are current values and / or voltage values. As a result, the advantage is achieved that, for example, a signal distribution of the first reflection and / or the second reflection on the light sensor can be determined efficiently by measuring the current generated in the light sensor or the voltage generated.
Gemäß einer Ausführungsform sind die Pixelsensorelemente zu einem Sensorarray, insbesondere einem Dioden-Array, angeordnet. Dadurch wird der Vorteil erreicht, dass die Pixelkalibrierungswerte und die Pixelvergleichswerte effizient aufgenommen werden können.According to one embodiment, the pixel sensor elements are arranged to form a sensor array, in particular a diode array. This achieves the advantage that the pixel calibration values and the pixel comparison values can be recorded efficiently.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Kalibrierungswerte aus den Pixelkalibrierungswerten der Bildpixel, insbesondere aus der Summe und/oder der Verteilung der Pixelkalibrierungswerte der Bildpixel, abzuleiten. Dadurch wird der Vorteil erreicht, dass der Kalibrierungswert effizient aus dem Signal und/oder der Signalverteilung der ersten Reflexion abgeleitete werden kann.According to one embodiment, the processor is configured to derive the calibration values from the pixel calibration values of the image pixels, in particular from the sum and / or the distribution of the pixel calibration values of the image pixels. This achieves the advantage that the calibration value can be efficiently derived from the signal and / or the signal distribution of the first reflection.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, den Referenzschwellwert und den Detektionsschwellwert aus den Pixelkalibrierungswerten der Bildpixel, insbesondere aus der Summe der Pixelkalibrierungswerte der Bildpixel abzuleiten. Dadurch wird der Vorteil erreicht, dass das Schaltverhalten unabhängig ist von der Reflektanz der Referenzierten Testumgebung ohne Objekt.According to one embodiment, the processor is designed to derive the reference threshold value and the detection threshold value from the pixel calibration values of the image pixels, in particular from the sum of the pixel calibration values of the image pixels. This has the advantage that the switching behavior is independent of the reflectance of the referenced test environment without an object.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, den Informationswert aus der Summe der Beträge der Differenz der Pixelvergleichswerte und der Pixelkalibrierungswerte an jedem Bildpixel zu ermitteln. Dadurch wird der Vorteil erreicht, dass Unterschiede des Gesamtsignals und der Signalverteilung der erster Reflexion und der zweiter Reflexion besonders effizient ermittelt werden können. Auf diese Art und Weise kann beispielsweise ein Unterschied zwischen der ersten Reflexion und der zweiten Reflexion auch dann detektiert werden, falls sich die zwei Reflexionen sich nur in der Signalverteilung auf dem Lichtsensor nicht aber im Gesamtsignal und/oder im Signalscheitelwert unterscheiden.According to one embodiment, the processor is configured to determine the information value from the sum of the amounts of the difference of the pixel comparison values and the pixel calibration values at each image pixel. As a result, the advantage is achieved that differences in the total signal and the signal distribution of the first reflection and the second reflection can be determined particularly efficiently. In this way, for example, a difference between the first reflection and the second reflection can also be detected if the two reflections differ only in the signal distribution on the light sensor but not in the overall signal and / or in the peak signal value.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Pixelvergleichsswerte nur für Bildpixel zu ermitteln, an denen der Pixelkalibrierungswert größer als ein einstellbarer Schwellwert ist. Dadurch wird der Vorteil erreicht, dass eine schnelle und effiziente Ermittlung der Pixelinformationswerte erfolgen kann.According to an embodiment, the processor is configured to determine the pixel comparison values only for image pixels at which the pixel calibration value is greater than an adjustable threshold value. This achieves the advantage that a fast and efficient determination of the pixel information values can take place.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, Bildpixel, deren Pixelkalibrierungswert kleiner als der Schwellwert ist, wie einen einzigen Bildpixel zu behandeln. Das heißt, dass diese Pixel die Pixelkalibrierungswerte zu nur einem Kalibrierungswert summiert werden und die Pixelvergleichswerte zu nur einem Vergleichswert summiert werden, bevor der Informationswert ermittelt wird. Dadurch wird der Vorteil erreicht, dass das Signal zu Rausch Verhältnis verbessert wird.In one embodiment, the processor is configured to image pixels whose Pixel calibration value less than the threshold is how to handle a single image pixel. That is, these pixels will sum the pixel calibration values to only one calibration value and the pixel comparison values will be summed to only one comparison value before the information value is determined. This provides the advantage that the signal to noise ratio is improved.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Kalibrierungswerte und/oder den Detektionsschwellwert und/oder den Referenzschwellwert dynamisch zu verändern, um die Vorrichtung an Veränderungen in der Testumgebung anzupassen. Dadurch wird der Vorteil erreicht, dass nach einer Veränderung der Testumgebung das Objekt weiterhin effizient detektiert werden kann.In one embodiment, the processor is configured to dynamically alter the calibration values and / or the detection threshold and / or the reference threshold to adapt the device to changes in the test environment. This provides the advantage that after a change in the test environment, the object can still be detected efficiently.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, ein Signalrauschen aus der ersten Reflexion abzuleiten, und den Referenzschwellwert und/oder den Detektionsschwellwert an das Signalrauschen anzupassen. Dadurch wird der Vorteil erreicht, dass eine fehlerhafte Detektion eines Objektes aufgrund des Signalrauschens effizient vermieden werden kann, ebenso wird sichergestellt, dass der Sensor trotz Signalrauschen immer einen stabilen Ausgangszustand aufweistAccording to one embodiment, the processor is configured to derive a signal noise from the first reflection, and to adapt the reference threshold value and / or the detection threshold value to the signal noise. Thereby, the advantage is achieved that an erroneous detection of an object due to the signal noise can be efficiently avoided, it also ensures that the sensor always has a stable output state despite signal noise
Gemäß einer Ausführungsform umfasst die Beleuchtungseinrichtung eine LED oder einen Laser. Dadurch wird der Vorteil erreicht, dass eine effiziente Erzeugung des ersten Lichtstrahles und des zweiten Lichtstrahles erfolgen kann. Bei der Verwendung eines Lasers, wird vorteilhafterweise das Specklemuster verwendet, wodurch der Sensor eine sehr hohe Sensitivität erreicht.According to one embodiment, the illumination device comprises an LED or a laser. As a result, the advantage is achieved that an efficient generation of the first light beam and the second light beam can take place. When using a laser, the speckle pattern is advantageously used, whereby the sensor achieves a very high sensitivity.
Gemäß einer Ausführungsform erzeugt die Beleuchtungseinrichtung mehrere Strahlengänge. Durch die segmentierte Auswertung der Bildpixel zu mehreren Informationswerten kann für jeden Strahlengang ein eigener Informationswert ermittelt werden. Diese Informationswerte können logisch verknüpft werden. Dadurch wird der Vorteil erreicht, dass die Erkennung von Objekten mit Löchern sowie die Ermittlung der Bewegungsgeschwindigkeit von Objekten ermöglicht werden kann.According to one embodiment, the illumination device generates a plurality of beam paths. Due to the segmented evaluation of the image pixels to a plurality of information values, a separate information value can be determined for each beam path. These informational values can be logically linked. This provides the advantage that the detection of objects with holes and the determination of the speed of movement of objects can be made possible.
Gemäß einer Ausführungsform ist Beleuchtungseinrichtung ausgebildet, einen gebündelten Lichtstrahl zu erzeugen. Dadurch wird der Vorteil erreicht, dass ein gerichteter Lichtstrahl in die Testumgebung ausgesendet wird mit dem beispielsweise weit entfernte Objekte effizient detektiert werden können.According to one embodiment, lighting device is designed to generate a collimated light beam. As a result, the advantage is achieved that a directional light beam is emitted into the test environment with which, for example, distant objects can be detected efficiently.
Gemäß einer Ausführungsform ist Beleuchtungseinrichtung ausgebildet, gefächerten Lichtstrahl zu erzeugen. Dadurch wird der Vorteil erreicht, dass ein Lichtstrahl in Form einer Linie in die Testumgebung ausgesendet wird mit dem beispielsweise Objekte mit Löchern besser erkannt werden oder Ungleichmäßigkeiten in der Testumgebung geringere Einflüsse im Informationswert aufweisen.According to one embodiment, illumination device is designed to generate fan-shaped light beam. As a result, the advantage is achieved that a light beam in the form of a line is emitted into the test environment with which, for example, objects with holes are better recognized or unevenness in the test environment has less influence on the information value.
Die Beleuchtungseinrichtung kann eine erste Linse umfassen, welche im Abstand ihrer Brennweite zu einer Lichtquelle, beispielsweise dem Laser oder der LED der Beleuchtungseinrichtung, angeordnet sein kann.The illumination device may comprise a first lens, which may be arranged at a distance from its focal length to a light source, for example the laser or the LED of the illumination device.
Gemäß einer Ausführungsform umfasst die Vorrichtung eine Anzeige zum Anzeigen der Detektion des Objektes. Dadurch wird der Vorteil erreicht, dass ein Benutzer effizient über die Detektion des Objektes informiert werden kann.According to one embodiment, the device comprises a display for displaying the detection of the object. This provides the advantage that a user can be informed efficiently about the detection of the object.
Bei der Anzeige kann es sich um eine Leuchtanzeige oder ein Display, beispielsweise ein LCD-Display, ein OLED-Display oder ein Foliendisplay, handeln.The display may be a light-emitting display or a display, for example an LCD display, an OLED display or a foil display.
Gemäß einer Ausbildungsform ist der Lichtsensor ausgebildet, eine fokussierte Abbildung der Reflexion auf dem Lichtsensor zur erzeugen. Dadurch wird der Vorteil erreicht, dass eine hohe Ortsauflösung und/oder eine geringe Signalverteilung der ersten Reflexion und/oder der zweiten Reflexion auf dem Lichtsensor erreicht werden kann. Somit können geringe Veränderungen des Signalscheitelwertes der ersten Reflexion und/oder der zweiten Reflexion effizient detektiert werden.According to one embodiment, the light sensor is designed to generate a focused image of the reflection on the light sensor. As a result, the advantage is achieved that a high spatial resolution and / or a low signal distribution of the first reflection and / or the second reflection on the light sensor can be achieved. Thus, small changes in the signal peak value of the first reflection and / or the second reflection can be detected efficiently.
Der Lichtsensor kann eine zweite Linse umfassen, welche im Abstand ihrer Brennweite zu dem Sensorarray, beispielsweise dem Dioden-Array, angeordnet sein kann.The light sensor may comprise a second lens, which may be arranged at a distance of its focal length to the sensor array, for example the diode array.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, einen Intensitätswert und/oder einen Abstandswert aus der ersten Reflexion und der zweiten Reflexion auf dem Lichtsensor zu ermitteln, wobei die Kalibrierungswerte und die Vergleichswerte Intensitätswerte und/oder Abstandswerte sind. Der Informationswert wird aus der Summe der Beträge der Differenz der Kalibrierungswerte und der Vergleichswerte gebildet. Dadurch wird der Vorteil erreicht, dass die Vorrichtung ein Intensitätssensor und/oder ein Abstandssensor sein kann, welcher das Objekt über eine Intensitäts- und/oder Abstandsmessungen detektieren kann.In one embodiment, the processor is configured to determine an intensity value and / or a distance value from the first reflection and the second reflection on the light sensor, wherein the calibration values and the comparison values are intensity values and / or distance values. The information value is formed from the sum of the amounts of the difference of the calibration values and the comparison values. As a result, the advantage is achieved that the device can be an intensity sensor and / or a distance sensor, which can detect the object via an intensity and / or distance measurements.
Gemäß einer Ausführungsform ist die Testumgebung eine Oberfläche eines Transportbandes, auf der das Objekt anordenbar ist, wobei die Kalibrierungswerte ein Abstandswert, welcher größer als der Abstand zwischen dem Lichtsensor und der Oberfläche des Transportbandes ist, und wobei der Informationswert in diesem Fall gleich dem Betrag eines Abstandswertes ist, welcher einen Abstand zwischen einer Oberfläche des Objektes und dem Kalibrierungswert angibt, und wobei der Referenzschwellwert kleiner sein kann als ein Informationswert welcher durch die Unregelmäßigkeit oder Verschmutzungen des Transportbandes hervorgerufen wird, und wobei der Detektionsschwellwert kleiner oder gleich einem Informationswert bei Minimalabstand zwischen einer Oberfläche des Objektes und dem Lichtsensor ist. Dadurch wird der Vorteil erreicht, dass das Objekt auf einem Transportband effizient mittels einer Abstandsmessung detektiert werden kann. Weiterhin ist eine Detektion auf Basis von Kalibrierungswerten und Vergleichswerten die durch andere oder mehrerer Signaltypen ermittelt wurden möglich, insbesondere durch die Ermittlung der Intensität und/oder der Breite der Signalverteilung und/oder der Signalverteilung und/oder des Signalmaximalwerts der ersten Reflexion und der zweiten Reflexion auf dem Lichtsensor.According to one embodiment, the test environment is a surface of a conveyor belt on which the object is arrangeable, the calibration values being a distance value greater than the distance between the light sensor and the surface of the conveyor belt, and in this case the information value being equal to the amount of Distance value indicative of a distance between a surface of the object and the calibration value, and wherein the reference threshold value may be smaller than an information value caused by the irregularity or contamination of the conveyor belt, and wherein the detection threshold value is less than or equal to an information value at minimum distance between one Surface of the object and the light sensor is. As a result, the advantage is achieved that the object can be detected efficiently on a conveyor belt by means of a distance measurement. Furthermore, detection based on calibration values and comparison values determined by other or several signal types is possible, in particular by determining the intensity and / or the width of the signal distribution and / or the signal distribution and / or the signal maximum value of the first reflection and the second reflection on the light sensor.
Gemäß einer Ausführungsform ist die Testumgebung eine Oberfläche eines Transportbandes auf der ein mehrfarbiges und teilweise sehr flaches Objekt anordenbar ist, wie beispielsweise eine Blisterverpackung oder eine Beutelverpackung. Bei einer reinen Abstandsmessung würde ein Teil des Objektes erkannt werden und ein anderer sehr flacher Teil nicht als Objekt detektiert werden. Bei einer reinen Intensitätsmessung würde das Objekt nicht erkannt werden, wenn es die gleiche Farbe wie das Transportband aufweist. Somit ist es nötig zu der Abstandsmessung mindestens einen zusätzlichen Signaltyp zu ermitteln, wie beispielsweise die Intensität. Dadurch erfolgt eine gleichzeitige Auswertung des Abstandes und der Intensität des Objekts. Hierfür ist einerseits ein Kalibrierungswert ein Intensitätswert, welcher gleich einem Intensitätswert der Reflexion an der Oberfläche des Transportbandes ist und der dazugehörige Vergleichswert auch ein Intensitätswert ist, welcher gleich einem Intensitätswert der Reflexion an der Oberfläche des Objekts ist. Andererseits stellt ein zusätzlicher Kalibrierungswert einen Abstandswert da, welcher gleich einem Intensitätswert der Reflexion an der Oberfläche des Transportbandes ist und der dazugehörige Vergleichswert auch ein Abstandswert ist, welcher gleich einem Intensitätswert der Reflexion an der Oberfläche des Objekts ist. Wobei der Informationswert die Summe der Beträge der in diesem Beispiel zwei Differenzen ist. Wobei der Referenzschwellwert kleiner ist als ein Informationswert welcher durch die Reflexion einer Unregelmäßigkeit oder einer Verschmutzungen des Transportbandes hervorgerufen wird und wobei der Detektionsschwellwert kleiner oder gleich einem maximalen Informationswert bei Reflexion an einer Oberfläche des Objektes ist. Aus der Reflexion lässt sich sowohl der Abstandwert als auch die Intensität ermitteln.According to one embodiment, the test environment is a surface of a conveyor belt on which a multicolored and partially very flat object can be arranged, such as a blister pack or bag package. In a pure distance measurement, a part of the object would be detected and another very shallow part would not be detected as an object. In a pure intensity measurement, the object would not be recognized if it has the same color as the conveyor belt. Thus, it is necessary to determine the distance measurement at least one additional signal type, such as the intensity. This results in a simultaneous evaluation of the distance and the intensity of the object. For this purpose, on the one hand, a calibration value is an intensity value which is equal to an intensity value of the reflection at the surface of the conveyor belt and the associated comparison value is also an intensity value which is equal to an intensity value of the reflection at the surface of the object. On the other hand, an additional calibration value provides a distance value equal to an intensity value of the reflection at the surface of the conveyor belt and the corresponding comparison value is also a distance value equal to an intensity value of the reflection at the surface of the object. Where the information value is the sum of the amounts of the two differences in this example. Wherein the reference threshold is smaller than an information value caused by the reflection of an irregularity or contamination of the conveyor belt, and wherein the detection threshold value is less than or equal to a maximum information value upon reflection on a surface of the object. From the reflection, both the distance value and the intensity can be determined.
Gemäß einer Ausführungsform ist die Testumgebung eine Oberfläche eines Transportbandes, auf der das Objekt anordenbar ist, wobei der Kalibrierungswert ein Intensitätswert ist, welcher gleich einem Intensitätswert der Reflexion an der Oberfläche des Transportbandes ist, und wobei der Informationswert in diesem Fall gleich dem Betrag des Intensitätsunterschieds der Reflexion an der Oberfläche des Objektes und dem Kalibrierwert ist, und wobei der Referenzschwellwert kleiner sein kann als Informationswerte welcher durch die Unregelmäßigkeit oder Verschmutzungen des Transportbandes hervorgerufen werden, und wobei der Detektionsschwellwert kleiner oder gleich eines maximalen Informationswertes an der Oberfläche des Objektes ist. Dadurch wird der Vorteil erreicht, dass das Objekt auf einem Transportband effizient mittels einer Intensitätsmessung detektiert werden kann. Weiterhin ist eine Detektion auf Basis von Kalibrierungswerten und Vergleichswerten die durch andere oder mehrerer Signaltypen ermittelt wurden möglich, insbesondere durch die Ermittlung der Intensität und/oder der Breite der Signalverteilung und/oder der Signalverteilung und/oder des Signalmaximalwerts der ersten Reflexion und der zweiten Reflexion auf dem Lichtsensor.In one embodiment, the test environment is a surface of a conveyor on which the object is locatable, the calibration value being an intensity value equal to an intensity value of the reflection at the surface of the conveyor, and wherein the information value in this case equals the magnitude of the intensity difference the reflection at the surface of the object and the calibration value, and wherein the reference threshold value may be smaller than information values which are caused by the irregularity or contamination of the conveyor belt, and wherein the detection threshold is less than or equal to a maximum information value at the surface of the object. As a result, the advantage is achieved that the object can be detected efficiently on a conveyor belt by means of an intensity measurement. Furthermore, detection based on calibration values and comparison values determined by other or several signal types is possible, in particular by determining the intensity and / or the width of the signal distribution and / or the signal distribution and / or the signal maximum value of the first reflection and the second reflection on the light sensor.
Gemäß einem zweiten Aspekt betrifft die Erfindung ein Verfahren zur Detektion von Objekten in einer Testumgebung, mit: Aussenden eines ersten Lichtstrahles in eine Testumgebung; Aufnehmen einer ersten Reflexion des ersten Lichtstrahles; Ableiten von Kalibrierungswerten aus der ersten Reflexion mit einem Prozessor; Aussenden eines zweiten Lichtstrahles in eine Testumgebung; Aufnehmen einer zweiten Reflexion des zweiten Lichtstrahles; wobei die Vergleichswerte aus der zweiten Reflexion abgeleitet werden und der Informationswert mit einem Prozessor ermittelt wird, und das Objekt detektiert wird, falls der Informationswert größer als ein vorgegebener Detektionsschwellwert und die Detektion des Objektes beendet wird, falls der Informationswert kleiner als der Referenzschwellwert ist. Dadurch wird der Vorteil erreicht, dass eine besonders effiziente Detektion des Objektes in der Testumgebung erfolgen kann.In a second aspect, the invention relates to a method of detecting objects in a test environment, comprising: emitting a first light beam into a test environment; Receiving a first reflection of the first light beam; Deriving calibration values from the first reflection with a processor; Emitting a second beam of light into a test environment; Receiving a second reflection of the second light beam; wherein the comparison values are derived from the second reflection and the information value is determined with a processor, and the object is detected if the information value is greater than a predetermined detection threshold and the detection of the object is terminated if the information value is less than the reference threshold. As a result, the advantage is achieved that a particularly efficient detection of the object in the test environment can take place.
Gemäß einem dritten Aspekt betrifft die Erfindung ein System zur Detektion eines auf einem Transportband angeordneten Objektes, mit: einem Transportband zum Transport von Objekten, welche auf einer Oberfläche des Transportbandes anordenbar sind; und der Vorrichtung zur Detektion eines in einer Testumgebung angeordneten Objektes nach dem ersten Aspekt der Erfindung oder dem zweiten Aspekt der Erfindung, wobei die Vorrichtung angeordnet ist, um Objekte auf der Oberfläche des Transportbandes zu detektieren.According to a third aspect, the invention relates to a system for detecting an object arranged on a conveyor belt, comprising: a conveyor belt for transporting objects which can be arranged on a surface of the conveyor belt; and the device for detecting an object arranged in a test environment according to the first aspect of the invention or the second aspect of the invention, wherein the device is arranged to detect objects on the surface of the conveyor belt.
Die Vorrichtung ist gemäß einer Ausführungsform eingerichtet, das Verfahren nach dem zweiten Aspekt auszuführen. The apparatus is arranged according to one embodiment to carry out the method according to the second aspect.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden im Folgenden näher beschrieben.Embodiments of the invention are illustrated in the drawings and will be described in more detail below.
Es zeigen:Show it:
Die Vorrichtung
Bei dem Objekt
Die Vorrichtung
Der Prozessor
Gemäß einer Ausführungsform kann die Testumgebung
Gemäß einer weiteren Ausführungsform kann der Lichtsensor
Gemäß einer weiteren Ausführungsform ist der Lichtsensor
Gemäß einer weiteren Ausführungsform umfasst der Lichtsensor
Gemäß einer weiteren Ausführungsform ist der Lichtsensor
Gemäß einer weiteren Ausführungsform kann die Beleuchtungseinrichtung
Gemäß einer Ausführungsform kann die Beleuchtungseinrichtung
Gemäß einer weiteren Ausbildungsform kann der Lichtsensor
Gemäß einer weiteren Ausführungsform kann die Vorrichtung eine Anzeige
Gemäß einer weiteren Ausführungsform kann die Anzeige
Gemäß einer weiteren Ausführungsform kann die Vorrichtung
Die x-Achse des Diagrammes kann eine Positionskoordinate
Das erste Signal
Die Signale
Gemäß einer Ausführungsform können die Pixelkalibrierungswerte und/oder die Pixelvergleichswerte eines Bildpixels dem Stromwert und/oder dem Spannungswert des Signals an diesem Bildpixel entsprechen.According to an embodiment, the pixel calibration values and / or the pixel comparison values of an image pixel may correspond to the current value and / or the voltage value of the signal at this image pixel.
In
Gemäß einer Ausführungsform kann der Prozessor ausgebildet sein, den Referenzschwellwert und/oder den Informationswert aus den Pixelkalibrierungswerten der Bildpixel, insbesondere aus der Summe und/oder der Verteilung der Pixelkalibrierungswerte und/oder der Pixelvergleichswerte der Bildpixel, abzuleiten. Diese Auswertung kann auf Basis der Signale erfolgen, auf deren Grundlage die Pixelkalibrierungswerte und/oder die Pixelvergleichswerte abgeleitet wurden, beispielsweise dem ersten Signal
Gemäß einer Ausführungsform kann der Prozessor ausgebildet sein den Informationswert aus Kalibrierungswerten und Vergleichswerten unterschiedlicher Signaltypen i zu ermitteln. Der Prozessor kann beispielsweise ausgebildet sein einen Kalibrierungswert auf Basis der maximalen Signalstärke des ersten Signals
Gemäß einer weiteren Ausführungsform kann der Prozessor ausgebildet sein den Informationswert aus der Summe der Beträge der Differenz der Pixelvergleichswerte und der Pixelkalibrierungswerte an jedem Bildpixel zu ermitteln. Entsprechend die Pixelinformationswerte der Bildpixel i einem Stromsignal oder Spannungssignal IVergleich[i] und entsprechend die Pixelkalibrierungswerte der Bildpixel i einem weiteren Stromsignal Ikalibrierung[i], so kann der Informationswert S von dem Prozessor
Mit dieser Auswertmethode der Pixelsensorelemente
Gemäß einer weiteren Ausführungsform kann der Prozessor ausgebildet sein, den Pixelinformationswert nur für Bildpixel zu ermitteln, an denen der Pixelkalibrierungswert größer als ein einstellbarer Schwellwert ist. Dadurch kann die Ermittlung der Pixelinformationswerte und/oder des Informationswertes beschleunigt werden, da sich die Anzahl der zu ermittelnden Pixelinformationswerte verringert. Der einstellbare Schwellwert kann von einem Benutzer applikationsspezifisch eingestellt werden.According to another embodiment, the processor may be configured to determine the pixel information value only for image pixels at which the pixel calibration value is greater than an adjustable threshold. As a result, the determination of the pixel information values and / or the information value can be accelerated since the number of pixel information values to be determined decreases. The adjustable threshold value can be set by a user in an application-specific manner.
Gemäß einer weiteren Ausführungsform kann der Prozessor
Gemäß einer weiteren Ausführungsform kann der Prozessor
Gemäß einer weiteren Ausführungsform kann der Prozessor
Das Objekt
Folglich kann es sich bei dem Informationswert, dem Kalibrierungswert, dem vorgegebenen Referenzschwellwert, den Vergleichswert und dem vorgegebenen Detektionsschwellwert beispielsweise um Intensitätswerte und/oder Abstandswerte handeln.Consequently, the information value, the calibration value, the predetermined reference threshold value, the comparison value and the predetermined detection threshold value can be, for example, intensity values and / or distance values.
Die Testumgebung
Die Kettenglieder
Die Vorrichtung
Der Informationswert
Der Kalibrierungswert
Der Detektionsschwellwert kann kleiner oder gleich einem Maximalabstand zwischen einer Oberfläche des Objektes und dem Kalibrierungswert sein.The detection threshold may be less than or equal to a maximum distance between a surface of the object and the calibration value.
Der Referenzschwellwert
Das Objekt kann in
Das Objekt kann Aufgrund der Trennung zwischen Referenzschwellwert
Die Testumgebung
Das durchgehende Band
Die Vorrichtung
Der Informationswert
Der Kalibrierungswert
Der Detektionsschwellwert
Der Referenzschwellwert
Das Objekt kann in
Das Objekt kann Aufgrund der Trennung zwischen dem Referenzschwellwerts
Gemäß einer Ausführungsform kann der Detektionsschwellwert
Gemäß einer weiteren Ausführungsform kann der Prozessor
Gemäß einer weiteren Ausführungsform kann der Prozessor
Gemäß einer weiteren Ausführungsform kann der Unterschied zwischen dem Detektionsschwellwert
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015010127.7A DE102015010127B4 (en) | 2015-08-10 | 2015-08-10 | Device for the detection of an object arranged in a test environment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015010127.7A DE102015010127B4 (en) | 2015-08-10 | 2015-08-10 | Device for the detection of an object arranged in a test environment |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102015010127A1 true DE102015010127A1 (en) | 2017-02-16 |
DE102015010127B4 DE102015010127B4 (en) | 2021-05-20 |
Family
ID=57907703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102015010127.7A Active DE102015010127B4 (en) | 2015-08-10 | 2015-08-10 | Device for the detection of an object arranged in a test environment |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102015010127B4 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4623797A (en) * | 1983-06-27 | 1986-11-18 | Mts Vektronics Corporation | Event scanning |
DE102007058506A1 (en) * | 2006-12-07 | 2008-09-18 | Keyence Corporation | Optical distance sensor |
-
2015
- 2015-08-10 DE DE102015010127.7A patent/DE102015010127B4/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4623797A (en) * | 1983-06-27 | 1986-11-18 | Mts Vektronics Corporation | Event scanning |
DE102007058506A1 (en) * | 2006-12-07 | 2008-09-18 | Keyence Corporation | Optical distance sensor |
Also Published As
Publication number | Publication date |
---|---|
DE102015010127B4 (en) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1821120B1 (en) | Opto-electronic device and method for its operation | |
AT512461B1 (en) | DEVICE FOR ENTERING INFORMATION TO A DATA PROCESSING PLANT | |
DE102009040642B3 (en) | Method and device for measuring optical characteristics of transparent, scattering measuring objects | |
DE102015205826B4 (en) | Distance measuring system with time-of-flight pixel line | |
DE102008061035B3 (en) | Method and optical sensor for detecting objects | |
EP3249348B1 (en) | Sensor device for measurement of a surface | |
DE102014105746C5 (en) | Optoelectronic sensor and method for detecting shiny objects | |
EP3029494A1 (en) | Optoelectronic sensor | |
EP0652432A1 (en) | Device for detecting foreign material, especially foreign fibres in textile articles in motion | |
EP0329986A1 (en) | Proceedings and device for the optical acquisition of the roughness profile of a material surface | |
EP2144052A1 (en) | Method and device for detecting and classifying defects | |
DE102010002281B4 (en) | Optical navigation input device, light guides for an optical navigation input device and methods for operating an optical navigation input device | |
DE102015010127B4 (en) | Device for the detection of an object arranged in a test environment | |
EP2434311B1 (en) | Method for optical monitoring of a surveillance area and reflection light probe | |
EP3023737B1 (en) | Method for contactless surface measurement with measurement correction | |
DE102008010945A9 (en) | pointing device | |
EP3502614A1 (en) | Optical metering device | |
EP2306145B1 (en) | Optical sensor | |
DE102010029133A1 (en) | Method and device for characterization of pyramidal surface structures on a substrate | |
AT509758B1 (en) | DETECTOR AND METHOD FOR DETERMINING THE SLIP BETWEEN A CONVEYOR BELT AND A PRESENTED OBJECT | |
EP2966474A1 (en) | Method for measuring an object | |
EP2966473A1 (en) | Method for measuring an object | |
AT510605B1 (en) | DEVICE AND METHOD FOR THE OPTICAL MEASUREMENT OF AT LEAST ONE DIMENSION OF AN OBJECT BY MEANS OF POINT-LIKE, DIVERTED LIGHT SOURCES | |
DE102015105128B4 (en) | Method and device for measuring the degree of gloss and/or mattness of objects | |
EP3048589A1 (en) | Inspection of ovi features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |