DE102012111345B4

DE102012111345B4 - Mobile handset for aligning a sensor

Info

Publication number: DE102012111345B4
Application number: DE102012111345.9A
Authority: DE
Inventors: Reinhard Heizmann
Original assignee: Sick AG
Current assignee: Sick AG
Priority date: 2012-11-23
Filing date: 2012-11-23
Publication date: 2019-03-28
Anticipated expiration: 2032-11-24
Also published as: JP5749319B2; DE102012111345A1; JP2014107867A

Abstract

Mobiles Handgerät (100) zur Ausrichtung eines Sensors (10) mit einer Anzeige (104) zur Darstellung eines die momentane Ausrichtung darstellenden Überlagerungsbildes, das auf einem Sichtbereichsbild eines Überwachungsbereichs (18) des Sensors (10) und einer Zielanzeige (116) einer Position eines von dem Sensor (10) erzeugten Lichtflecks (22) basiert, wobei das Handgerät (100) eine Schnittstelle (108) aufweist, um von dem zu dem Handgerät (100) externen Sensor (10) das Sichtbereichsbild zu empfangen, dadurch gekennzeichnet, dass das Handgerät (100) einen eigenen Bildsensor (110) zur Aufnahme eines zusätzlichen Sichtbereichsbildes des Überwachungsbereichs und eine Fusionseinheit (114) aufweist, um das Überlagerungsbild basierend auf dem Sichtbereichsbild, dem zusätzlichen Sichtbereichsbild sowie von dem Sensor (10) empfangenen Informationen über die Position des Lichtflecks (22) in dem Sichtbereichsbild zu erzeugen.

A mobile handset (100) for aligning a sensor (10) with a display (104) for displaying an instantaneous overlay image on a field of view image of a surveillance area (18) of the sensor (10) and a target display (116) of a position of a light spot (22) generated by the sensor (10), the handset (100) having an interface (108) for receiving the field of view image from the sensor (10) external to the handset (100), characterized in that the Handset (100) having its own image sensor (110) for receiving an additional field view image of the surveillance area and a fusion unit (114) to the overlay image based on the Sichtbereichsbild, the additional Sichtbereichsbild and received from the sensor (10) information about the position of the light spot (22) in the field of view image.

Description

Die Erfindung betrifft ein mobiles Handgerät zur Ausrichtung eines Sensors sowie ein Verfahren zur Ausrichtung eines Sensors zur Erfassung von Objekten mit Hilfe eines Handgeräts nach dem Oberbegriff von Anspruch 1 beziehungsweise 11.The invention relates to a mobile hand-held device for aligning a sensor and to a method for aligning a sensor for detecting objects with the aid of a hand-held device according to the preamble of claims 1 and 11, respectively.

Viele optoelektronische Sensoren senden einen Lichtstrahl aus und werten das von einem Objekt in ihrem Überwachungsbereich zurückgeworfene eigene Sendelicht aus. Solche Sensoren bedürfen häufig einer recht genauen Ausrichtung, bei welcher der Lichtfleck, den das Sendelicht auf dem Objekt erzeugt, in eine für die Aufgabe des Sensors geeignete Position gebracht wird. Beispielsweise wird auf diese Weise eine Reflexionslichtschranke auf ihren Reflektor oder eine Datenlichtschranke auf ihr Gegenstück, bei einem Lichtgitter der Sendestab mit dem Empfängerstab ausgerichtet, bei einem Entfernungstaster das zu vermessende Objekt angetastet oder die Überwachungsebene eines Laserscanners eingestellt.Many opto-electronic sensors emit a light beam and evaluate the own transmitted light reflected from an object in its surveillance area. Such sensors often require a fairly accurate orientation, in which the light spot which the transmitted light generates on the object is brought into a position suitable for the task of the sensor. For example, in this way a reflection light barrier is aligned with its reflector or a data light barrier on its counterpart, with a light grid of the transmission rod with the receiver rod, with a distance sensor the object to be measured touched or set the monitoring level of a laser scanner.

Solange das Sendelicht einen gut sichtbaren Lichtfleck hinterlässt, ist die Ausrichtung relativ einfach mit dem Auge zu bewerkstelligen. Das ist aber aus zwei Gründen oft nicht gegeben: Die Intensität des Lichtflecks genügt nicht unbedingt, um ihn auch aus größerer Entfernung noch gut zu erkennen, und vor allem nutzen viele Sensoren nicht sichtbares Licht beispielsweise im Infrarot- oder Ultraviolettbereich.As long as the transmitted light leaves a visible light spot, the alignment is relatively easy to do with the eye. However, this is often not the case for two reasons: the intensity of the light spot is not necessarily sufficient to recognize it well from a distance, and above all, many sensors use invisible light, for example in the infrared or ultraviolet range.

Deshalb sind im Stand der Technik zahlreiche Ausrichthilfen bekannt. Bei einer herkömmlichen Lösung zeigt der Sensor den Empfangspegel an und gibt nach Möglichkeit mit einem positionssensitiven Lichtempfänger einen Hinweis, in welche Richtung der Sensor für eine bessere Ausrichtung gedreht werden sollte. Bei aktiver Gegenstelle, wie in einem Lichtgitter oder einer Datenlichtschranke, kann diese eine Rückmeldung über die empfangene Intensität geben. Andere Lösungen suchen die Sichtbarkeit des Lichtflecks zu stärken, etwa indem ein zusätzlicher Pilotsender mit sichtbarem Licht in paralleler Abstrahlrichtung zu dem eigenen Lichtsender oder ein optisches Fadenkreuz vorgesehen wird. Denkbar ist weiterhin, von einer festen Abstrahlrichtung auszugehen und den Sensor unabhängig vom tatsächlichen Lichtfleck auszurichten. Dazu kann eine Zielhilfe an dem Sensor über Kimme und Korn oder die Verwendung einer Wasserwaage dienen.Therefore, numerous alignment aids are known in the art. In a conventional solution, the sensor will indicate the receive level and, if possible, use a position-sensitive light receiver to indicate in which direction the sensor should be rotated for better alignment. With active remote station, such as in a light grid or a data light barrier, this can give a feedback about the received intensity. Other solutions seek to increase the visibility of the light spot, such as by providing an additional pilot transmitter with visible light in a parallel direction of radiation to the own light emitter or an optical reticle. It is also conceivable to start from a fixed radiation direction and to align the sensor independently of the actual light spot. This can be a target help on the sensor over the sight and grain or the use of a spirit level.

Viele dieser Lösungen müssen speziell für den jeweiligen Sensortyp zugeschnitten werden. Das erfordert Aufwand für die Entwicklung und Herstellung der Sensoren. Dennoch bleibt die Nutzerfreundlichkeit begrenzt.Many of these solutions have to be tailored to the specific type of sensor. This requires effort for the development and production of the sensors. Nevertheless, the user-friendliness remains limited.

Von Mobilfunkgeräten ist bekannt, mit der eigenen Kamera Bilder in der sogenannten augmented reality darzustellen. Dabei werden dem Livebild zusätzliche Informationen überblendet. Derartige Anwendungen markieren beispielsweise die Sonnenbahn an beliebig wählbaren Tagen im Jahr für die Wohnungsbesichtigung oder die Planung einer Photovoltaikanlage. Für die Ausrichtung von Sensoren sind solche Anwendungen nicht gedacht und ungeeignet.From mobile devices is known to represent images in the so-called augmented reality with their own camera. In the process, additional information is superimposed on the live image. Such applications mark, for example, the sun track on arbitrary days in the year for the apartment inspection or planning a photovoltaic system. For the alignment of sensors such applications are not intended and unsuitable.

Bekannte Kameras zeigen überdies während der Bildersuche wählbare Fokusbereiche an, die dazu zum Teil durch einen Entfernungssensor ausgemessen werden. Das dient aber allenfalls der Ausrichtung der Kamera selbst und hilft in keiner Weise dabei, einen externen optoelektronischen Sensor auszurichten.In addition, known cameras display selectable focus areas during the image search, some of which are measured by a distance sensor. However, this serves at best the orientation of the camera itself and in no way helps to align an external optoelectronic sensor.

Aus der WO 2004/036145 A1 ist eine elektronische Anzeige- und Steuervorrichtung für ein Messgerät bekannt. In einer Ausführungsform ist dabei ein geodätisches Messgerät über eine drahtlose Kommunikationsverbindung mit einem Flachbildschirm verbunden. Der von Aufnahmemitteln an dem Messgerät erfasste Messbereich wird auf den Flachbildschirm übertragen und dort dargestellt. Der Messvorgang wird gesteuert, indem eine Positionsmarke innerhalb des Bildschirms bewegt und mit dem derart festgelegten Zielpunkt eine Messung ausgelöst wird.From the WO 2004/036145 A1 An electronic display and control device for a measuring device is known. In one embodiment, a geodetic measuring device is connected to a flat screen via a wireless communication link. The measuring range recorded by recording means on the measuring device is transmitted to the flat screen and displayed there. The measurement process is controlled by moving a position marker within the screen and triggering a measurement with the target point thus determined.

Die EP 1 947 377 A1 betrifft einen optoelektronischen Scanner mit einer zusätzlichen Digitalkamera. Damit wird die Ausrichtung des Sensors geprüft, indem eine von dem Taststrahl des Scanners erzeugte Lichtlinie aufgenommen und auf Veränderungen untersucht wird.The EP 1 947 377 A1 relates to an opto-electronic scanner with an additional digital camera. This checks the alignment of the sensor by taking a line of light generated by the scanning beam of the scanner and examining it for changes.

Es ist daher Aufgabe der Erfindung, die Ausrichtung eines optoelektronischen Sensors zu verbessern.It is therefore an object of the invention to improve the alignment of an optoelectronic sensor.

Diese Aufgabe wird durch ein mobiles Handgerät sowie ein Verfahren zur Ausrichtung eines Sensors zur Erfassung von Objekten mit Hilfe eines Handgeräts nach Anspruch 1 beziehungsweise 11 gelöst. Dabei geht die Erfindung von dem Grundgedanken aus, für die Ausrichtung benötigte Auswertungen und Anzeigen von dem Sensor an ein mobiles Handgerät auszulagern. Dazu umfasst die Erfindung einerseits ein mobiles Handgerät, welches in der Lage ist, ein Sichtbereichsbild des Sensors und eine Position des Lichtflecks in dem Sichtbereichsbild von einem Sensor zu empfangen und auf dieser Basis die Ausrichtung in einem Überlagerungsbild des Sichtbereichs und einer Zielanzeige der Position eines von dem Sensor erzeugten Lichtflecks zu visualisieren. Andererseits wird ein zugehöriger Sensor angegeben, welcher sein Sichtbereichsbild und die Position des Lichtflecks innerhalb des Sichtbereichsbildes für ein mobiles Handgerät bereitstellt. Unter einem mobilen Handgerät soll hier ein tragbarer Computer im weitesten Sinne, wie ein Notebook oder ein Tablet und insbesondere ein Mobilfunkgerät beziehungsweise Smartphone verstanden werden.This object is achieved by a mobile hand-held device and a method for aligning a sensor for detecting objects with the aid of a hand-held device according to claim 1 or 11. The invention is based on the basic idea of outsourcing evaluations and displays required for alignment from the sensor to a mobile handheld device. To this end, the invention comprises, on the one hand, a mobile handset capable of receiving a field of view image of the sensor and a position of the light spot in the field of view image from a sensor and, based thereon, the alignment in a sub-picture of the field of view and a target display of the position of one of To visualize the light spot generated by the sensor. On the other hand, an associated sensor is indicated, which its Sichtbereichsbild and the position of the light spot within the Visual field image for a mobile handset provides. Under a mobile handset here is a portable computer in the broadest sense, such as a notebook or a tablet and in particular a mobile device or smartphone are understood.

Die Erfindung hat den Vorteil, dass die Ausrichtung eines Sensors erheblich erleichtert und durch eine besonders intuitive, nutzerfreundliche universelle Ausrichthilfe unterstützt wird, welche keine besonderen Kenntnisse eines speziellen Sensors voraussetzt. Ein hoher Bedienkomfort, eine große Rechenleistung und eine hochauflösende Anzeige werden nicht durch den Sensor, sondern durch das Handgerät bereitgestellt. Zugriff auf ein solches Handgerät in jeweils aktueller Hardware ist fast immer unabhängig von dem Sensor gegeben. Während die Sensoren hinsichtlich ihrer Rechenleistung und Visualisierung äußerst einfach und kostengünstig und in dieser Form auch unverändert über viele Jahre im Einsatz bleiben können, veraltet die Ausrichtung dennoch nicht, so dass der Benutzer einfach, schnell und angenehm arbeiten kann, ohne die Geräte jemals als veraltet zu empfinden. Der Benutzer kann die Ausrichtung sogar mit dem vertrauten eigenen Gerät vornehmen, etwa seinem Smartphone, und muss sich gar nicht auf fremde Technik einlassen. Es entsteht eine ideale Synergie mit den Fortschritten in der mobilen Consumerelektronik, der von der Entwicklung des Sensors entkoppelt genutzt werden kann.The invention has the advantage that the orientation of a sensor is greatly facilitated and supported by a particularly intuitive, user-friendly universal alignment, which requires no special knowledge of a particular sensor. High ease of use, high computing power and a high resolution display are not provided by the sensor, but by the handheld device. Access to such a handheld device in the latest hardware is almost always independent of the sensor. While the sensors can be extremely simple and cost-effective in their performance and visualization and remain unchanged over many years, the alignment still does not become obsolete, allowing the user to work easily, quickly, and comfortably without the equipment being outdated to feel. The user can even make the alignment with their own familiar device, such as their smartphone, and does not have to get involved with third-party technology. It creates an ideal synergy with the advances in mobile consumer electronics, which can be used decoupled from the development of the sensor.

Das Handgerät weist einen eigenen Bildsensor zur Aufnahme eines zusätzlichen Sichtbereichsbildes des Überwachungsbereichs auf, wobei die Fusionseinheit dafür ausgebildet ist, das Überlagerungsbild auch basierend auf dem zusätzlichen Sichtbereichsbild zu erzeugen. Das Handgerät nutzt also seine eigene Kamera zur Aufnahme des eigenen Sichtbereichs. Diese Kamera ist meist ohnehin vorhanden, leistungsstark und hochauflösend, so dass der Sensor kein für den Benutzer gutes Sichtbereichsbild zu liefern braucht und somit schon mit einem vergleichsweise leistungsschwachen und daher kostengünstigen Bildsensor auskommt. Denn das Sichtbereichsbild des Sensors wird lediglich genutzt, um die Position des Lichtflecks in dem zusätzlichen Sichtbereichsbild der eigenen Kamera des Handgeräts abzugleichen, und gegebenenfalls noch um die Bildqualität des zusätzlichen Sichtbereichsbilds etwa durch Füllen von Lücken oder eine Plausibilisierung von Bildbereichen zu erhöhen.The handset has its own image sensor for receiving an additional field view image of the surveillance area, wherein the fusion unit is adapted to generate the overlay image also based on the additional field view image. The handset uses its own camera to record its own field of view. This camera is usually available anyway, powerful and high-resolution, so that the sensor needs to provide no good for the user viewing area image and thus already gets by with a comparatively low-power and therefore inexpensive image sensor. Because the field of vision image of the sensor is only used to adjust the position of the light spot in the additional field view image of the camera of the handset, and possibly even to increase the image quality of the additional field view image such as filling gaps or a plausibility of image areas.

Auch eine möglicherweise mit gezeigte Bildinformation des Lichtflecks selbst entstammt dem Sichtbereichsbild des Sensors, sofern der Bildsensor des Handgeräts für die Wellenlänge des Lichtflecks nicht empfindlich ist. Das Handgerät sollte für die Aufnahme des zusätzlichen Sichtbereichs eine in etwa gleiche Perspektive einnehmen wie der Sensor. Dabei verbleibende perspektivische Unterschiede rechnet die Fusionseinheit aber vorzugsweise heraus, so dass hier keine übertriebenen Genauigkeitsanforderungen an den Benutzer gestellt sind.Also, image information of the light spot itself, which may be shown with, comes from the visual field image of the sensor, as long as the image sensor of the handheld device is not sensitive to the wavelength of the light spot. The handset should have approximately the same perspective as the sensor for taking in the extra field of view. Remaining perspective differences, however, the fusion unit preferably expects, so that no exaggerated accuracy requirements are placed on the user here.

Die Fusionseinheit ist bevorzugt dafür ausgebildet, das Sichtbereichsbild des Sensors und das zusätzliche Sichtbereichsbild des eigenen Bildsensors miteinander in Übereinstimmung zu bringen, um die Position des Lichtflecks in dem zusätzlichen Sichtbereichsbild zu bestimmen. Im einfachsten Fall wird dazu angenommen, dass die Bildbereiche des Sichtbereichsbildes des Sensors und des zusätzlichen Sichtbereichsbildes des eigenen Bildsensors des Handgeräts einander entsprechen, so dass die Zielanzeige einfach an der gleichen Position dem zusätzlichen Sichtbereichsbild überlagert wird, welche der Sensor auch für sein eigenes Sichtbereichsbild bestimmt hat.The fusing unit is preferably configured to match the viewing area image of the sensor and the additional viewing area image of the own image sensor to determine the position of the light spot in the additional field of view image. In the simplest case, it is assumed that the image areas of the field of view image of the sensor and the additional field view image of the handset's own image sensor correspond to each other so that the target display is simply superimposed at the same position on the additional field of view image which the sensor also determines for its own field of view image Has.

Deutlich robuster ist eine Registrierung der beiden Sichtbereichsbilder, indem also durch Operationen wie Verschieben, Verdrehen und Reskalieren das Sichtbereichsbild des Sensors in das zusätzliche Sichtbereichsbild des Bildsensors des Handgeräts eingepasst wird. Dies gelingt beispielsweise durch Korrelation der beiden Sichtbereichsbilder, die sich statt auf die gesamten Bilder auch auf ausgewählte Bildmerkmale oder interessierende Bereiche (ROI, region of interest) beschränken kann. Danach ist die Operation bekannt, welche die Perspektive des Sensors auf diejenige des Handgeräts transformiert, und diese Transformationsregel wird genutzt, um die Zielanzeige an der richtigen Position in das zusätzliche Sichtbereichsbild einzublenden.Significantly more robust is a registration of the two viewing area images, ie by operations such as shifting, twisting and rescaling the visual field image of the sensor is fitted in the additional field view image of the image sensor of the handset. This is achieved, for example, by correlating the two field of view images, which can be limited to selected image features or regions of interest (ROI) instead of the entire images. Thereafter, the operation is known which transforms the perspective of the sensor to that of the hand-held device, and this transformation rule is used to display the target display in the correct position in the additional field of view image.

Sofern der Bildsensor des Handgeräts für die Wellenlänge des Lichtflecks empfindlich ist, kann versucht werden, den Lichtfleck direkt durch Bildverarbeitung zu lokalisieren. Die dabei bestimmte Position des Lichtflecks kann auch als Ausgangspunkt beziehungsweise zur Plausibilisierung bei der Registrierung der beiden Sichtbereichsbilder genutzt werden.If the image sensor of the handset is sensitive to the wavelength of the light spot, an attempt can be made to locate the light spot directly by image processing. The determined position of the light spot can also be used as a starting point or for plausibility checking during the registration of the two viewing area images.

Das Handgerät weist bevorzugt einen Lage- und/oder Beschleunigungssensor auf, wobei die Fusionseinheit dafür ausgebildet ist, eine Orientierungs- und/oder Positionsänderung des Handgeräts zu bestimmen und bei der Fusionierung der Zielanzeige in das Überlagerungsbild zu berücksichtigen. Derartige Sensoren gehören für viele höherwertige Mobilfunkgeräte zur Ausstattung. Es ist damit möglich, auf Basis eines anfänglichen Positions- und Orientierungsabgleichs zwischen Sensor und Handgerät die Bewegungen des Handgeräts zu aufzuintegrieren und damit Wissen über die aktuelle Perspektive des Handgeräts gegenüber dem Sensor zu gewinnen. Dadurch kann die Position des Lichtflecks auf die aktuelle Position und Orientierung des Handgeräts umgerechnet werden.The handset preferably has a position and / or acceleration sensor, wherein the fusion unit is designed to determine a change in orientation and / or position of the handset and to take into account in the merger of the target display in the overlay image. Such sensors are available for many high-quality mobile devices. It is thus possible, based on an initial position and orientation balance between sensor and handset aufintegrieren the movements of the handset and thus gain knowledge of the current perspective of the handset relative to the sensor. This allows the position of the light spot to be converted to the current position and orientation of the handset.

Das Handgerät weist bevorzugt einen Positionssensor auf, wobei die Fusionseinheit dafür ausgebildet ist, eine von dem Positionssensor bestimmte Position des Handgeräts bei der Fusionierung der Zielanzeige in das Überlagerungsbild zu berücksichtigen. Die Erfassung der Position erfolgt beispielsweise durch GPS, Galilei oder ein vergleichbares, möglicherweise auch proprietäres System für außen oder innen. Soweit der Positionssensor keine Orientierung erfasst, kann ein Lagesensor hinzugenommen werden. Bei bekannter Position und Orientierung des Sensors, die auch durch ein Einlernen während eines physischen Kontakts zwischen Sensor und Handgerät durch den Positionssensor bestimmt werden kann, ist die erfasste aktuelle Position eine weitere Alternative, um die Zielanzeige in dem Überlagerungsbild an die richtige Position zu bringen. The handset preferably has a position sensor, wherein the fusion unit is designed to take into account a position of the handset determined by the position sensor when the target display is fused to the overlay image. The detection of the position, for example, by GPS, Galileo or a comparable, possibly also proprietary system for outside or inside. As far as the position sensor detects no orientation, a position sensor can be added. Given a known position and orientation of the sensor, which can also be determined by teaching during a physical contact between sensor and handset by the position sensor, the detected current position is another alternative to bring the target display in the overlay image in the correct position.

Eine Bildfusion durch Korrelation, die Bestimmung des Weges zwischen Sensor und Handgerät durch einen Lage- und/oder Beschleunigungssensor sowie die Bestimmung der aktuellen Position des Handgeräts durch einen Positionssensor sind drei unterschiedliche Möglichkeiten, die Perspektiven des Sensors und des Handgeräts für eine korrekte Zielanzeige in dem Überlagerungsbild ineinander zu überführen. Diese Möglichkeiten können auch miteinander kombiniert werden, um genauere Ergebnisse zu erhalten oder Fehler aufzudeckenImage fusion by correlation, determination of the path between the sensor and handset by a position and / or acceleration sensor, and the determination of the current position of the handset by a position sensor are three different possibilities, the perspectives of the sensor and the handset for a correct target display in the To convert overlay image into each other. These possibilities can also be combined with each other for more accurate results or to detect errors

Die Fusionseinheit ist bevorzugt dafür ausgebildet, das Überlagerungsbild auf die Perspektive des Sensors zurückzurechnen. Hierbei wird das qualitativ hochwertigere zusätzliche Sichtbereichsbild von einem Bildsensor des Handgeräts angezeigt, aber so, als wäre es aus der Perspektive des Sensors aufgenommen. Die perspektivischen Unterschiede sind beispielsweise mit einer der im letzten Absatz zusammengefassten Vorgehensweisen bestimmt. Die Perspektiven von Sensor und Handgerät dürfen hierfür aber nicht zu unterschiedlich sein, weil sonst nicht genug geeignete Bildinformation zur Verfügung steht. Es ist aber zumindest möglich, ein auf die Position des Lichtflecks zentriertes Überlagerungsbild mit dem Sichtbereichsbild des Sensors anzuzeigen, das je nach Perspektive des Handgeräts mit Bildinformationen des Bildsensors des Handgeräts aufgebessert wird.The fusion unit is preferably designed to calculate the overlay image back to the perspective of the sensor. In this case, the higher-quality additional field of view image is displayed by an image sensor of the hand-held device, but as if it were taken from the perspective of the sensor. The perspective differences are determined, for example, with one of the procedures summarized in the last paragraph. However, the perspectives of sensor and handheld device should not be too different for this, because otherwise not enough suitable image information will be available. However, it is at least possible to display a superimposed on the position of the light spot overlay image with the field view image of the sensor, which is improved depending on the perspective of the handset with image information of the image sensor of the handset.

Der erfindungsgemäße Sensor zur Erfassung von Objekten in einem Überwachungsbereich erzeugt mit seinem Lichtsender bei Auftreffen auf ein Objekt vorzugsweise einen Lichtfleck mit Sendelicht außerhalb des sichtbaren Spektrums oder mit so geringer Ausdehnung beziehungsweise Intensität, dass der Lichtfleck mit dem menschlichen Auge nicht oder kaum erkennbar ist. Ansonsten könnte man direkt den Lichtfleck selbst für die Ausrichtung nutzen. Der Sensor nimmt ein Sichtbereichsbild auf, bestimmt oder kennt die Position des Lichtflecks bezüglich des eigenen Sichtbereichsbildes und gibt Sichtbereichsbild und Position zur Verwendung in einem erfindungsgemäßen Handgerät aus. Bei dem Sensor handelt es sich beispielsweise um ein einstrahliges System, wie einen Entfernungstaster oder eine Lichtschranke, insbesondere Datenlichtschranke. Denkbar sind aber auch andere Sensoren, etwa Laserscanner oder Lichtgitter. Der Sensor benötigt für die Ausrichtung nur eine geringe Hardwareausstattung ohne eigene Anzeigetreiber, hochwertige Anzeige oder hochauflösenden Bildsensor und so gut wie keine Rechenkapazitäten, da alle komplexeren Auswertungen in dem Handgerät erfolgen können. Selbstverständlich soll dadurch das Vorhandensein solcher Hardwareausstattung auch des Sensors nicht ausgeschlossen werden.The inventive sensor for detecting objects in a surveillance area preferably generates a light spot with transmitted light outside the visible spectrum or with so little expansion or intensity with its light emitter when striking an object that the light spot is not or hardly recognizable with the human eye. Otherwise you could directly use the light spot for alignment. The sensor captures a field of view image, determines or knows the position of the light spot with respect to its own field of view image, and outputs field of view image and position for use in a handset of the invention. The sensor is, for example, a single-beam system, such as a distance sensor or a light barrier, in particular a data light barrier. However, other sensors, such as laser scanners or light grids, are also conceivable. The sensor requires only a small amount of hardware for the alignment without its own display driver, high-quality display or high-resolution image sensor and virtually no computing capacity, since all more complex evaluations can be made in the handset. Of course, the presence of such hardware equipment of the sensor should not be excluded.

Die Lichtfleck-Positionsbestimmungseinheit weist bevorzugt einen Speicher auf, um darin die Position des Lichtflecks vorab abzulegen. Der Sensor kennt damit die Ausrichtung des Lichtsenders zu sich selbst und damit auch gegenüber dem eigenen Bildsensor zur Aufnahme des Sichtbereichsbildes. Diese eigene Ausrichtung kann einfach durch ein Toleranzmodell festgelegt werden, worin letztlich unterstellt wird, dass der Bautyp des Sensors die eigene Ausrichtung festlegt. Möchte man die dabei auftretenden Toleranzen genauer in den Griff bekommen, so ist auch ein anfängliches Einlernen während der Justage der Sensorkomponenten im Verlauf der Herstellung oder bei der Endprüfung möglich. Hier sind definierte Umgebungsbedingungen und standardisierte Verfahren durch Fachpersonal gegeben, so dass es auf einfache und intuitive Vorgehensweisen weniger ankommt. Die durch die Erfindung adressierte Ausrichtung dagegen betrifft vorzugsweise nicht den Sensor in sich, sondern gegenüber seiner Umgebung in der Anwendung.The light spot position determination unit preferably has a memory in order to advance the position of the light spot in advance. The sensor thus knows the orientation of the light transmitter to itself and thus also with respect to its own image sensor for recording the field view image. This own orientation can be easily determined by a tolerance model, which ultimately assumes that the type of construction of the sensor determines its own orientation. If you want to get a closer grip on the resulting tolerances, an initial teach-in during the adjustment of the sensor components in the course of production or in the final test is possible. Here, defined environmental conditions and standardized procedures are given by qualified personnel, so that simple and intuitive procedures are less important. The orientation addressed by the invention, on the other hand, preferably does not relate to the sensor in itself but to its environment in use.

Die Lichtfleck-Positionsbestimmungseinheit ist bevorzugt dafür ausgebildet, die Position des Lichtflecks mittels Bildverarbeitung zu bestimmen. Der Sensor ist, um seine Objekterfassungsaufgabe erfüllen zu können, zwangsläufig auch bei Sendelicht außerhalb des sichtbaren Spektrums in der Lage, den Lichtfleck zu erfassen. Allerdings muss dafür nicht notwendig der Bildsensor zur Aufnahme des Sichtbereichsbildes verwendet werden. Ist aber dieser Bildsensor für den Lichtfleck sensitiv, so kann aus dem Sichtbereichsbild durch Bildverarbeitung auch die als Ausgabegröße an das Handgerät erforderliche Position des Lichtflecks für die sensoreigene Perspektive, also gegenüber dem Sichtbereichsbild des Sensors bestimmt werden.The light spot position determination unit is preferably designed to determine the position of the light spot by means of image processing. In order to fulfill its object detection task, the sensor is inevitably able to detect the light spot even with transmitted light outside the visible spectrum. However, the image sensor does not necessarily have to be used to record the field of view image. If, however, this image sensor is sensitive to the light spot, then the position of the light spot required as the output variable to the handheld device for the sensor's own perspective, that is, with respect to the field of view image of the sensor, can be determined from the field of view image by image processing.

Sofern der Sensor distanzmessend ausgelegt ist, können die gespeicherten, eingelernten oder bestimmten Positionen des Lichtflecks auch noch eine Abhängigkeit vom jeweiligen Objektabstand aufweisen. Es wird also keine einzelne Position, sondern eine abstandsabhängige Funktion bereitgestellt.If the sensor has a distance-measuring design, the stored, taught-in or determined positions of the light spot can also be dependent on the respective object distance exhibit. So no single position, but a distance-dependent function is provided.

Der Sensor weist bevorzugt eine Vorverarbeitungseinheit auf, um das Sichtbereichsbild für die Ausgabe an der Schnittstelle aufzubereiten. Dies erfordert dann einige interne Rechenkapazität, hilft aber dafür, die benötigte Bandbreite zu reduzieren. Beispiele für eine derartige Vorverarbeitung sind Komprimierung, Binarisierung, Beschränkung auf interessierende Bereiche, insbesondere mit dem Lichtfleck oder markanten Objekten oder vermutlich von dem Fusionsalgorithmus des Handgeräts wiedererkennbare Bildmerkmale beziehungsweise Objektkanten.The sensor preferably has a preprocessing unit to prepare the field of view image for output at the interface. This then requires some internal computational capacity, but helps to reduce the bandwidth needed. Examples of such pre-processing are compression, binarization, restriction to areas of interest, in particular with the light spot or prominent objects, or image features or object edges presumably recognizable by the fusion algorithm of the hand-held device.

In vorteilhafter Weiterbildung ist eine Anordnung zur Ausrichtung eines erfindungsgemäßen optoelektronischen Sensors mit einem erfindungsgemäßen mobilen Handgerät vorgesehen. Dabei sind die Schnittstellen des Sensors und des Handgeräts vorzugsweise drahtlos. Dazu kommen praktisch alle bekannten und zukünftig eingesetzten Standards in Frage, wie Bluetooth, 3G, LTE, WLAN, IR und andere. Mobile Handgeräte sind meist ohnehin mit einer Vielzahl derartiger Schnittstellen ausgerüstet, so dass für den Sensor eine geeignete Auswahl getroffen werden kann.In an advantageous embodiment, an arrangement for aligning an optoelectronic sensor according to the invention with a mobile handheld device according to the invention is provided. The interfaces of the sensor and the handset are preferably wireless. In addition, practically all known and future standards are in question, such as Bluetooth, 3G, LTE, WLAN, IR and others. Mobile handsets are usually equipped anyway with a variety of such interfaces, so that for the sensor a suitable selection can be made.

Das erfindungsgemäße Verfahren kann auf ähnliche Weise durch weitere Merkmale ausgestaltet werden und zeigt dabei ähnliche Vorteile. Derartige weitere Merkmale sind beispielhaft, aber nicht abschließend, in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen beschrieben.The inventive method can be configured in a similar manner by further features and shows similar advantages. Such further features are exemplary, but not exhaustive, in which subclaims following the independent claims are described.

Die Erfindung wird nachstehend auch hinsichtlich weiterer Vorteile und Merkmale unter Bezugnahme auf die beigefügte Zeichnung anhand von Ausführungsbeispielen erläutert. Die Figuren der Zeichnung zeigen in:

1 eine Übersichtsdarstellung eines Sensors und eines Handgeräts, mit dessen Hilfe der Sensor ausgerichtet wird;
2 ein Beispiel für ein auf dem Handgerät gemäß 1 angezeigtes Überlagerungsbild des Sichtbereichs des Sensors und einer Zielanzeige von dessen Lichtfleck; und
3 und 4 weitere Beispiele von auf dem Handgerät angezeigten Überlagerungsbildern.

The invention will be explained below with regard to further advantages and features with reference to the accompanying drawings with reference to embodiments. The figures of the drawing show in:

1 an overview of a sensor and a hand-held device, by means of which the sensor is aligned;
2 an example of one on the handset according to 1 displayed superimposed image of the field of view of the sensor and a target display of the light spot; and
3 and 4 other examples of overlay images displayed on the handset.

1 zeigt eine Übersichtdarstellung eines Sensors 10 und eines Handgeräts 100, mit dessen Hilfe der Sensor 10 ausgerichtet wird. Bei dem dargestellten Sensor 10 handelt es sich um ein Lasermessgerät in Form eines einstrahligen Entfernungstasters nach dem Lichtlaufzeitprinzip. Dieser Typ Sensor ist aber rein beispielhaft zu verstehen, denn die erfindungsgemäße Ausrichtung hängt nicht von dem konkreten Sensorprinzip oder -aufbau ab. Anstelle des Entfernungstasters kommen also auch andere Sensoren in Frage, von denen einleitend einige genannt wurden, insbesondere Entfernungstaster nach dem Triangulationsprinzip, Lichtschranken, Datenlichtschranken, Laserscanner oder Lichtgitter. 1 shows an overview of a sensor 10 and a hand-held device 100 with whose help the sensor 10 is aligned. In the illustrated sensor 10 it is a laser measuring device in the form of a single-beam distance sensor according to the time of flight principle. However, this type of sensor is to be understood purely as an example because the alignment according to the invention does not depend on the specific sensor principle or structure. Instead of the distance sensor so also other sensors come into question, some of which were mentioned a few, in particular distance sensor according to the triangulation principle, light barriers, data light barriers, laser scanners or light grids.

Der Sensor 10 sendet mittels einer Lichtquelle 12, beispielsweise einer Laserdiode oder einer LED, über eine Sendeoptik 14 einen Sendelichtstrahl 16 in einen Überwachungsbereich 18 aus. In vielen Fällen nutzt der Sensor 10 eine für das menschliche Auge unsichtbare Wellenlänge, so dass ein bei Auftreffen auf ein Objekt 20 entstehender Lichtfleck 22 mit bloßem Auge nicht erkennbar ist. Das an dem Objekt 20 remittierte Licht fällt über eine Empfangsoptik 24 auf einen Lichtempfänger 26. Dabei erscheint der Versatz zwischen der optischen Achse des Lichtsenders 12 und des Lichtempfängers 26 darstellungsbedingt relativ groß, spielt aber in der realen Anwendung kaum eine Rolle. Zudem sind auch andere bekannte Anordnungsprinzipien von Lichtsender 12 und Lichtempfänger 26 denkbar, etwa eine Autokollimationsanordnung mit einem Teilerspiegel.The sensor 10 sends by means of a light source 12 , For example, a laser diode or an LED, via a transmission optics 14 a transmitted light beam 16 into a surveillance area 18 out. In many cases, the sensor uses 10 a wavelength invisible to the human eye, so that when hitting an object 20 resulting light spot 22 with the naked eye is not recognizable. That on the object 20 Remitted light falls on a receiver optics 24 on a light receiver 26 , The offset between the optical axis of the light transmitter appears 12 and the light receiver 26 Due to the presentation, it is relatively large, but hardly plays a role in the real application. In addition, other known arrangement principles of light emitter 12 and light receiver 26 conceivable, such as a Autokollimationsanordnung with a splitter mirror.

Der Sensor umfasst weiterhin eine Steuerungs- und Auswertungseinheit 28, welche mit dem Lichtsender 12 und dem Lichtempfänger 26 verbunden ist. Ein von dem Lichtempfänger 26 erzeugtes Empfangssignal wird der Auswertungseinheit 28 zugeführt, die daraus in an sich bekannter Weise durch Bestimmen der Lichtlaufzeit zwischen Aussenden des Sendelichtstrahls 16 und Registrieren des remittierten Lichts den Abstand des Objekts 20 bestimmt. Auch andere Auswertungen sind möglich, etwa die Erzeugung eines binären Objektfeststellungssignals. Das Ergebnis der Auswertung stellt die Auswertungseinheit 28 an einem Ausgang 30 bereit.The sensor further comprises a control and evaluation unit 28 , which with the light transmitter 12 and the light receiver 26 connected is. One from the light receiver 26 generated received signal is the evaluation unit 28 supplied therefrom in a conventional manner by determining the light transit time between emitting the transmitted light beam 16 and registering the remitted light the distance of the object 20 certainly. Other evaluations are possible, such as the generation of a binary object detection signal. The result of the evaluation represents the evaluation unit 28 at an exit 30 ready.

Die beschriebene Sensorfunktion basiert darauf, dass der Sensor 10 auf den gewünschten Überwachungsbereich 18 ausgerichtet ist. Beispielsweise soll der Sendelichtstrahl 16 einen nicht dargestellten Reflektor treffen, solange kein Objekt in dem Überwachungsbereich 18 vorhanden ist.The described sensor function is based on the fact that the sensor 10 to the desired surveillance area 18 is aligned. For example, the transmitted light beam 16 hit a reflector, not shown, as long as no object in the surveillance area 18 is available.

Um die Ausrichtung zu unterstützen, gibt der Sensor 10 mittels der Auswertungseinheit 28 an einer vorzugsweise drahtlosen Schnittstelle 32 ein Sichtbereichsbild des Überwachungsbereichs 18 aus. Dieses Sichtbereichsbild wird von dem als Bildsensor ausgebildeten Lichtempfänger 26 erzeugt. Alternativ verfügt der Sensor 10 über zwei separate Lichtempfänger, nämlich den Bildsensor zur Aufnahme des Sichtbereichsbildes und den Lichtempfänger für die Objekterfassung.To aid alignment, the sensor gives 10 by means of the evaluation unit 28 on a preferably wireless interface 32 a view area image of the surveillance area 18 out. This field of view image is of the trained as an image sensor light receiver 26 generated. Alternatively, the sensor has 10 via two separate light receivers, namely the image sensor for recording the field of view image and the light receiver for the object detection.

Als weitere Information gibt die Auswertungseinheit 28 eine Position des Lichtflecks innerhalb des Sichtbereichsbildes an der Schnittstelle 32 aus. Dazu weist die Auswertungseinheit eine Lichtfleck-Positionsbestimmung 34 auf. Dabei handelt es sich im einfachsten Fall lediglich um einen Speicher für eine vom Bautyp des Sensors 10 abhängige Lichtfleckposition, die auch für den individuellen Sensor 10 angenommen wird. Alternativ wird die Lichtfleckposition im Rahmen der Herstellung oder Endprüfung in einem Einlernvorgang abgespeichert, oder sie wird durch Bildverarbeitung aus dem Sichtbereichsbild bestimmt. Zusätzlich zu der Position kann die Lichtfleck-Positionsbestimmung auch dessen Form oder Größe bestimmen und ausgeben.Further information is provided by the evaluation unit 28 a position of the light spot within the field of view image at the interface 32 out. For this purpose, the evaluation unit has a light spot position determination 34 on. In the simplest case, this is just a memory for one of the type of sensor 10 dependent light spot position, which also for the individual sensor 10 Is accepted. Alternatively, the light spot position is stored as part of the production or final inspection in a teach-in process, or it is determined by image processing from the field of view image. In addition to the position, the spot position determination can also determine and output its shape or size.

Das Handgerät 100, beispielsweise ein Smartphone, umfasst als sichtbare Bauteile beispielhaft zwei Bedientasten 102 sowie eine Anzeige 104. Ein Prozessor 106 wertet die Eingaben an den Bedientasten 102 aus und erzeugt die notwendigen Daten für die Anzeige 104. Über eine drahtlose Schnittstelle 108 können das Sichtbereichsbild und die Lichtfleckposition des Sensors 10 empfangen werden. Optional sind an dem Handgerät 100 eigene Sensoren vorgesehen. Dazu gehört eine eigene Kamera 110 sowie ein Lage-, Bewegungs- und/oder Positionssensor 112. Elemente des Handgeräts 100, die sich im Inneren oder auf der Rückseite befinden, sind durch gestrichelte Linien dargestellt.The handset 100 , For example, a smartphone, includes two visible buttons as an example visible components 102 and an ad 104 , A processor 106 evaluates the inputs on the control buttons 102 and generates the necessary data for the display 104 , Via a wireless interface 108 can change the field of view image and the light spot position of the sensor 10 be received. Optional are on the handset 100 own sensors provided. This includes a dedicated camera 110 as well as a position, motion and / or position sensor 112 , Elements of the handset 100 that are inside or on the back are indicated by dashed lines.

Eine Fusionseinheit 114 fügt Informationen des Sensors 10 und in einigen Ausführungsformen zusätzlich Informationen der eigenen Sensoren 110, 112 zu einem Überlagerungsbild des Sichtbereichs des Sensors 10 mit dem Objekt 20 und einer Zielanzeige 116 zusammen. Dieses Überlagerungsbild wird auf der Anzeige 104 dargestellt, um dem Benutzer die momentane Ausrichtung anhand der Position des Lichtflecks 22 des Sensors 10 zu visualisieren.A fusion unit 114 adds information from the sensor 10 and in some embodiments additionally information of the own sensors 110 . 112 to an overlay image of the field of view of the sensor 10 with the object 20 and a destination display 116 together. This overlay image will appear on the display 104 shown to the user the current orientation based on the position of the light spot 22 of the sensor 10 to visualize.

Je nach Ausstattung des Handgeräts 100, der Qualität des von dem Sensor 10 gelieferten Sichtbereichsbildes und Genauigkeit der Lichtfleckposition sind verschiedene Ausführungsformen denkbar, die im Folgenden anhand von auf der Anzeige 104 dargestellten beispielhaften Überlagerungsbildern erläutert werden. Dabei wird als Objekt 20 jeweils ein Reflektor gezeigt, wobei dies nur der Illustration dient und die Erfindung in keiner Weise auf dieses Beispiel beschränken soll.Depending on the equipment of the handheld device 100 , the quality of the sensor 10 Given visual field image and accuracy of the light spot position, various embodiments are conceivable, which in the following with reference to on the display 104 illustrated exemplary overlay images are explained. It is called an object 20 a reflector is shown in each case, this being only for illustration and the invention is in no way intended to limit this example.

2 zeigt die Anzeige für eine Ausführungsform, in welcher das Handgerät 100 lediglich als Anzeige des Sensors 10 verwendet wird. Die Lichtfleck-Positionsbestimmung 34 bestimmt einen Vertrauensbereich für die Lichtfleckposition über ein Toleranzmodell, welches die internen Toleranzen der optischen Achsen zwischen Lichtsender 12 und Lichtempfänger 26 sowie, sofern für den Lichtempfänger 26 zwei Bauteile vorgesehen sind, auch zwischen Bildsensor und Lichtempfänger berücksichtigt. Das Toleranzmodell kann zusätzlich abstandskorrigiert werden. Der Sensor 10 kennt demnach die Lichtfleckposition unabhängig von einer Messung. Die Fusionseinheit überlagert dem Sichtbereichsbild des Sensors 10 eine Zielanzeige, hier in Form eines Kreises, welche die Position des Lichtflecks und den Vertrauensbereich visualisiert. 2 shows the display for an embodiment in which the handset 100 only as an indication of the sensor 10 is used. The light spot position determination 34 determines a confidence interval for the light spot position via a tolerance model which estimates the internal tolerances of the optical axes between light emitters 12 and light receiver 26 as well as, if for the light receiver 26 two components are provided, also taken into account between the image sensor and the light receiver. The tolerance model can also be distance-corrected. The sensor 10 therefore knows the light spot position independent of a measurement. The fusion unit overlaps the field of view image of the sensor 10 a target display, here in the form of a circle, which visualizes the position of the light spot and the confidence zone.

3 zeigt die Anzeige für eine ähnliche Ausführungsform, in der aber die Lichtfleckposition genauer bekannt und deshalb mit einer präziseren Zielanzeige hervorgehoben ist. Anstelle eines Toleranzmodells kann nämlich die Position, Form und Größe des Lichtflecks 22 auch bei der Justage während der Herstellung oder in einer Endprüfung mit dem Sichtbereichsbild abgeglichen werden. Beispielsweise wird der Sensor 10 darauf kalibriert, dass der Lichtfleck in einer bestimmten Entfernung, etwa von 20 m, in dem Sichtbereichsbild zentriert ist. Als weitere Alternative wird der Lichtfleck von der Lichtfleck-Positionsbestimmung 34 mittels Bildverarbeitung in dem Sichtbereichsbild lokalisiert. Dazu muss das Sichtbereichsbild das Spektrum des Lichtflecks 22 überhaupt erkennen können und zudem hinreichenden Kontrast aufweisen. Die Lichtfleckposition ist in allen diesen Fällen genauer bekannt als nur in einem durch ein Toleranzmodell vorhergesagten Vertrauensbereich. 3 shows the display for a similar embodiment, but in which the light spot position is more accurately known and therefore highlighted with a more precise target display. Instead of a tolerance model, namely, the position, shape and size of the light spot 22 also be adjusted during the adjustment during production or in a final test with the field of view image. For example, the sensor 10 calibrated so that the light spot at a certain distance, about 20 m, centered in the field of view image. As a further alternative, the light spot is determined by the spot position determination 34 localized by image processing in the field of view image. To do this, the field of view image must be the spectrum of the light spot 22 recognize at all and also have sufficient contrast. The spot position is more accurately known in all these cases than only in a confidence interval predicted by a tolerance model.

4 zeigt die Anzeige für ein verbessertes Überlagerungsbild. Dazu wird nicht unmittelbar das Sichtbereichsbild des Sensors 10 angezeigt, sondern das in aller Regel qualitativ wesentlich hochwertigere und besser aufgelöste Sichtbereichsbild der eigenen Kamera 110 des Handgeräts 100. Die Fusionseinheit 114 bestimmt durch Korrelation ein Fusionsbild aus dem Sichtbereichsbild des Sensors 10 und dem eigenen Sichtbereichsbild, passt also die beiden Bilder ineinander. Daraus bestimmt sich eine Transformationsvorschrift, durch welche die von dem Sensor 10 gelieferte Lichtfleckposition bezüglich dessen Sichtbereichsbild in eine Lichtfleckposition bezüglich des Sichtbereichsbildes des Handgeräts 100 umgerechnet werden kann. 4 zeigt mit einem gestrichelten Rechteck 118 die so gefundene Umrandung des Sichtbereichsbildes des Sensors 10 innerhalb des Sichtbereichsbildes des Handgeräts 100. Damit die Korrelation gelingen kann, müssen die Sichtbereichsbilder genügend überlappende Bildbereiche und nach Möglichkeit auch einen wenigstens einigermaßen übereinstimmenden Blickwinkel aufweisen. 4 shows the display for an improved overlay image. This is not directly the field of view image of the sensor 10 displayed, but the qualitatively much higher quality and better resolved viewing area image of your own camera 110 of the handset 100 , The fusion unit 114 determines by correlation a fusion image from the field of view image of the sensor 10 and your own field of vision, so the two pictures fit together. This determines a transformation rule, by which the of the sensor 10 supplied light spot position with respect to its field view image in a light spot position with respect to the field view image of the handset 100 can be converted. 4 shows with a dashed rectangle 118 the border thus found the Sichtbereichsbildes of the sensor 10 within the field of vision of the handset 100 , In order for the correlation to succeed, the field of view images must have sufficiently overlapping image areas and, if possible, an at least reasonably consistent viewing angle.

Auf Grundlage der Transformationsvorschrift blendet die Fusionseinheit 114 die Zielanzeige 116 an der richtigen Position in das eigene Sichtbereichsbild des Handgeräts 114 ein. Zusätzlich können Bildinformationen aus dem Sichtbereichsbild des Sensors 10 in das Überlagerungsbild übernommen werden, beispielsweise der Lichtfleck 22 selbst, weil die Kamera 110 des Handgeräts 100 für dessen Wellenlänge möglicherweise gar nicht empfindlich ist.Based on the transformation rule, the fusion unit hides 114 the destination display 116 in the correct position in the own viewing area image of the hand-held device 114 one. In addition, image information can be taken from the field of view of the sensor 10 be taken in the overlay image, for example, the light spot 22 myself, because the camera 110 of the handset 100 whose wavelength may not be sensitive at all.

Um die Korrelation vorzubereiten und um den Bandbreitenbedarf der Übertragung an den Schnittstellen 32, 108 zu reduzieren, kann bereits sensorseitig eine Vorverarbeitung vorgenommen werden. Dazu wird beispielsweise das Sichtbereichsbild des Sensors 10 von der Auswertungseinheit 28 komprimiert, binarisiert, eine Kanten- oder sonstige Bildmerkmalsdetektion durchgeführt oder interessierende Bereiche definiert. Die Korrelation wird dann auf diese für die Bestimmung der Transformationsvorschrift wesentlichen Informationen beschränkt.To prepare the correlation and the bandwidth requirements of the transmission at the interfaces 32 . 108 To reduce already preprocessing can be made on the sensor side. For this example, the field of view image of the sensor 10 from the evaluation unit 28 compressed, binarized, an edge or other image feature detection performed or areas of interest defined. The correlation is then limited to this information essential for the determination of the transformation rule.

Die Korrelation der beiden Bilder stellt eine Möglichkeit dar, den unterschiedlichen Blickwinkel von Sensor 10 und Handgerät 100 zu kompensieren. Alternativ oder zusätzlich können weitere Informationen des Handgeräts 100 herangezogen werden, um ein noch robusteres System zu erhalten.The correlation of the two images represents one possibility, the different perspectives of sensor 10 and handset 100 to compensate. Alternatively or additionally, further information of the handset 100 be used to obtain an even more robust system.

Dazu werden für eine anfängliche Referenzierung Handgerät 100 und Sensor 10 in eine definierte Position zueinander gebracht, beispielsweise das Handgerät 100 an den Sensor 10 angelegt. Diese Position wird als Nullposition definiert beziehungsweise in dem Handgerät eingelernt. Eine anschließende Bewegung des Handgeräts 100 wird über Integration der jeweiligen Lageänderung und/oder Beschleunigung verfolgt, die mit dem Lage- und/oder Beschleunigungssensor 110 bestimmt werden. Dem Handgerät bleibt auf diese Weise weiterhin die aktuelle Position bezüglich des Sensors 10 bekannt, und die geänderte Perspektive kann bei der Erzeugung des Überlagerungsbildes berücksichtigt werden. Alternativ zu einer solchen relativen Positionsbestimmung wird ein absoluter Positionssensor 110 verwendet, etwa basierend auf Systemen wie GPS oder Galileo. Anhand einer solchen Position im Vergleich zur Anfangsposition ist ebenfalls die relative Position und Orientierung des Handgeräts 100 gegenüber dem Sensor 10 bestimmt, und die geänderte Perspektive kann in die Fusion des Überlagerungsbildes einfließen.This will be for an initial referencing handset 100 and sensor 10 placed in a defined position to each other, for example, the handset 100 to the sensor 10 created. This position is defined as zero position or learned in the handset. A subsequent movement of the handset 100 is tracked via integration of the respective change in position and / or acceleration with the position and / or acceleration sensor 110 be determined. The handset remains in this way, the current position with respect to the sensor 10 and the changed perspective can be taken into account when creating the overlay image. As an alternative to such a relative position determination becomes an absolute position sensor 110 used, based for example on systems such as GPS or Galileo. Based on such a position compared to the initial position is also the relative position and orientation of the handset 100 opposite the sensor 10 determined, and the changed perspective can be incorporated into the merger of the overlay image.

Für den Benutzer angenehm ist, wenn das Überlagerungsbild ständig aktualisiert wird, also eine Art Livefilm möglichst ohne Latenz angezeigt wird. Denkbar ist aber auch ein Snapshotbetrieb ohne rechenintensive Echtzeitverarbeitung. Auch das hat Vorteile, denn es reduziert den Bedarf an Rechenleistung, verhindert Ruckeln und Verwackeln, gibt dem Benutzer die Möglichkeit, das Handgerät vor sich abzulegen und beide Hände für eine Neuausrichtung des Sensors frei zu haben und verhindert Bandbreitenengpässe an den Schnittstellen 32, 108.It is pleasant for the user, if the overlay image is constantly updated, so a kind of live film is displayed as possible without latency. It is also conceivable, however, a snapshot operation without computationally intensive real-time processing. This also has advantages, because it reduces the need for computing power, prevents jerking and blurring, gives the user the opportunity to place the handset in front of him and have both hands free for a reorientation of the sensor and prevents bandwidth bottlenecks at the interfaces 32 . 108 ,

Durch die Entkopplung von Anzeige 104 und Sensor 10 wird prinzipiell auch ermöglicht, einen unzugänglichen Sensor 10 auszurichten, indem über das Handgerät Aktuatoren des Sensors 10 oder einer Halterung angesteuert werden, um dessen Orientierung zu verändern.By decoupling of display 104 and sensor 10 is also possible in principle, an inaccessible sensor 10 align by using the handset actuators of the sensor 10 or a bracket to be controlled to change its orientation.

Claims

A mobile handset (100) for aligning a sensor (10) with a display (104) for displaying an instantaneous overlay image on a field of view image of a surveillance area (18) of the sensor (10) and a target display (116) of a position of a light spot (22) generated by the sensor (10), the handset (100) having an interface (108) for receiving the field of view image from the sensor (10) external to the handset (100), characterized in that the Handset (100) having its own image sensor (110) for receiving an additional field view image of the surveillance area and a fusion unit (114) to the overlay image based on the Sichtbereichsbild, the additional Sichtbereichsbild and received from the sensor (10) information about the position of the light spot (22) in the field of view image.

Handset (100) after Claim 1 wherein the fusion unit (114) is adapted to match the field of view image of the sensor (10) and the additional field of view image of the own image sensor (110) to determine the position of the light spot (22) in the additional field of view image.

Handset (100) after one Claim 1 or 2 comprising a position and / or acceleration sensor (112), and wherein the fusion unit (114) is adapted to determine a change in orientation and / or position of the handset (100) and in the merging of the target display (116) into the overlay image to take into account.

A handheld device (100) according to any one of the preceding claims, comprising a position sensor (112) and wherein the fusion unit (114) is adapted to determine a position of the handset (100) determined by the position sensor (112) upon fusing the target display (116). into the overlay image.

The handset (100) of any one of the preceding claims, wherein the fusion unit (114) is adapted to recalculate the overlay image to the perspective of the sensor (10).

Arrangement for aligning an optoelectronic sensor (10) for detecting objects (20) in a surveillance area (18) with the aid of a mobile handset according to one of the preceding claims, wherein the sensor (10) has a light transmitter (12) for emitting a light signal (16 ) which generates a light spot (22) when impinging on an object (20), an image sensor (26) for capturing a viewing area image of at least part of the surveillance area (18) and a spot position determining unit (34) for determining a position of the spot of light (22 ) in the field of view image and an interface (32) for outputting the field of view image and the position of the light spot (22).

Arrangement according to Claim 6 wherein the light spot position determining unit (34) has a memory for pre-depositing therein the position of the light spot (22).

Arrangement according to Claim 6 or 7 wherein the light spot position determining unit (34) is adapted to determine the position of the light spot (22) by image processing.

Arrangement according to one of Claims 6 to 8th wherein the sensor (10) comprises a pre-processing unit (28) for preparing the field of view image for output at the interface (32).

Arrangement according to one of Claims 6 to 9 wherein the interface (32) of the sensor (10) and the interface (108) of the handset (100) are wireless interfaces (32, 108).

A method of aligning a sensor (10) for detecting objects (20) in a surveillance area (18) displaying on a handset (100) an overlay image representing the current orientation comprising at least a portion of the surveillance area (18) and a A target display (116) of a position of a light spot (22) generated by the sensor (10), wherein the sensor (10) receives a field view image of the surveillance area (18) and transmits the field of view image to the handset (100), and wherein the handset (10) 100) generates and displays the overlay image based on the field of view image and the position, characterized in that the handset (100) captures an additional field of view image of the surveillance area (18), matches the field of view image of the sensor (10) and the additional field of view image, from one of the sensor (10) determined and transmitted to the handset (100) Posi tion of the light spot (22) in the field view image to determine the position of the light spot (22) in the additional field view image, and displays as overlay image the additional field view superimposed with the target display (116).

Method according to Claim 11 in which the hand-held device (100) is brought into a known position and orientation to the sensor (10) at a first point in time and the position and orientation with respect to the sensor (112) are determined by data from a position, acceleration and / or position sensor (112). 10) at a second time to account for the perspective changes in fusing the target display (116) to the overlay image caused by movements of the handset (100) between the first time and the second time.