EP2308237A1 - Stereo camera system - Google Patents

Stereo camera system

Info

Publication number
EP2308237A1
EP2308237A1 EP09781178A EP09781178A EP2308237A1 EP 2308237 A1 EP2308237 A1 EP 2308237A1 EP 09781178 A EP09781178 A EP 09781178A EP 09781178 A EP09781178 A EP 09781178A EP 2308237 A1 EP2308237 A1 EP 2308237A1
Authority
EP
European Patent Office
Prior art keywords
image
stereo camera
camera system
sensors
board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP09781178A
Other languages
German (de)
French (fr)
Inventor
Matthias Hoffmeier
Stefan Pohl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella GmbH and Co KGaA
Original Assignee
Hella KGaA Huek and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella KGaA Huek and Co filed Critical Hella KGaA Huek and Co
Publication of EP2308237A1 publication Critical patent/EP2308237A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Definitions

  • the invention relates to a stereo camera system having at least two image acquisition sensors, which each record at least one image with an image of a detection range of the stereo camera system and generate image data corresponding to the image.
  • Known stereo camera systems have two single-frame cameras, which must be arranged individually and aligned exactly relative to each other. Aligning the individual cameras with each other is also referred to as a calibration process.
  • the image data generated by the single-frame cameras are transmitted to a common evaluation unit, which processes the transmitted image data.
  • a stereo camera for the digital photogrammetry is known trie, which has an input optics and a plurality in the focal plane of the input optics arranged optical detectors. By appropriate selection of the detectors, the stereo angle of this stereo camera can be changed.
  • a digital stereo camera which has two lenses offset by a base length arranged for generating a pair of images of an image of an object.
  • the document DE 100 33 355 A1 discloses a stereo camera with two individual cameras and a common evaluation unit.
  • the document WO 2006/069978 A discloses a method for determining a calibration parameter of a stereo camera. This calibration parameter is used in particular for calibrating two individual cameras of a stereo camera system.
  • the object of the invention is to provide a stereo camera system in which the calibration effort is reduced. This object is achieved by a stereo camera system having the features of patent claim 1. Advantageous developments of the invention are specified in the dependent claims.
  • a stereo camera system with the features of claim 1 ensures that the position of the image sensing sensors to each other, in particular the distance between the centers of the image sensing areas of the image sensing sensors to each other, is predetermined by the board and the position of the image detection sensors is fixed by the connection to the board.
  • the position of the image acquisition areas of the image acquisition sensors to each other is thus determined by the board and unchangeable. This makes it possible, in particular, to arrange the image-capturing areas of the image-capturing sensors in a plane when using identical or identical image-capturing sensors.
  • a stereo camera system constructed in this way no longer has to be calibrated or only calibration tolerances need to be compensated during calibration. Such a calibration of the stereo camera system can take place, for example, by determining relevant sections of the image-capturing area of the respective image-capturing sensor for selecting an image to be further processed.
  • the image acquisition sensors are preferably connected to the board via at least one solder joint or are each plugged into a base firmly connected to the board.
  • the printed circuit board is preferably a known printed circuit board which has printed conductors for connecting electrical connections and / or signal connections of the image sensing sensors and preferably for contacting further components. In particular color images or black-and-white images can be recorded with the aid of the image acquisition sensors.
  • the image acquisition sensors can be easily arranged at a desired angle to a peripheral edge of the board and at a desired distance to this edge, in particular parallel to the peripheral edge.
  • the optics associated with each of the image acquisition sensors is connected to the circuit board and / or the respective image acquisition sensor, so that the position of the optics relative to the image acquisition region of the respective image acquisition sensor is simply determined via the connection of the optics to the circuit board and / or to the image acquisition sensor is.
  • the optical axis of an optical system can run through the center of the image capture area of an image acquisition sensor.
  • the board is preferably flat and rigid.
  • the positional deviation caused by the manufacturing tolerances can be limited to> 5 pixels in the x and y direction of the image sensing ranges of the image sensing sensors.
  • an arrangement of the pixel imaging elements arranged in the form of a matrix in the image detection areas in a two-dimensional x-y coordinate system is assumed
  • the specified stereo camera system is particularly suitable for measuring the distance between the stereo camera system and an object in the range of> 100 m, preferably in the range of> 30 m.
  • this stereo camera system is particularly suitable for counting operations of objects or persons, the detection of objects and the classification tion of objects in the vicinity.
  • the determination of the distance to objects by means of the stereo camera system takes place in a known manner.
  • Suitable image acquisition sensors are in particular optical semiconductor sensors, CCD image acquisition sensors and / or CMOS image acquisition sensors. It is particularly advantageous to use so-called active pixel sensors (APS) as image capture sensors.
  • the board may in particular be made of phenolic resin and paper, of epoxy resin and paper, of epoxy resin and glass fiber fabric, each having tracks.
  • the conductor tracks can be single-layered (in one plane) or multi-layered (in several planes), in particular as so-called multilayer printed circuit boards.
  • the distance between the centers of the image sensing areas of the image sensing sensors preferably has a value in the range between 80 mm and 300 mm, preferably in the range between 80 mm and 100 mm. It is particularly advantageous to arrange components of at least one evaluation unit in addition to the image acquisition sensors on the board, so that both the image acquisition sensors and the evaluation unit are arranged on the same board. As a result, a space-saving arrangement of the components and thus a small size of the stereo camera system is possible. Furthermore, the wiring effort is low because the transmission of the image data generated by the image acquisition sensors to the evaluation unit can take place via printed conductors of the printed circuit board.
  • first edge line of an image capture region of the first image capture sensor and a first edge line of an image capture area of the second image capture sensor lie on a first straight line.
  • second edge line of the image capture region of the first image capture sensor and a second edge line of the image capture region of the second image capture sensor lie on a second straight line.
  • the evaluation unit processes at least one image processing program for processing the image data generated by the image acquisition sensors.
  • the evaluation unit can be adapted to the requirements when using the stereo camera system by using a suitable image processing program.
  • elements of an infrared illumination device are arranged on the board.
  • infrared LEDs are arranged on the board and connected via solder joints with this. This makes it possible to illuminate the detection range of the stereo camera system with the aid of these infrared light-emitting diodes, so that even in the dark useful images can be recorded with the aid of the stereo camera system.
  • the stereo camera system can produce and / or process color images and / or black-and-white images.
  • Figure 1 is a plan view of a circuit board shown schematically with two connected to the board image acquisition sensors and other connected to the board elements;
  • Figure 2 is a side view of the circuit board shown schematically of Figure 1;
  • Figure 3 is a perspective plan view of the board according to Figures 1 and 2 and two couplable with the board optics;
  • FIG. 4 shows a schematic structure of a stereo camera system with the circuit board according to FIGS. 1 to 3.
  • FIG. 1 shows a top view of a schematically illustrated circuit board 3 with two optical image acquisition sensors 1, 2 connected to the circuit board 3 and further components 5, 28 connected to the circuit board.
  • the circuit board 3 comprises a carrier of insulating material, which has electrically conductive connections, the electrical connections with the the circuit board 3 connected components 1, 2, 5, 28 electrically interconnect.
  • the electrically conductive connections are preferably designed as printed conductors in the form of a printed circuit.
  • the board 3 is made for example of phenolic resin and paper, epoxy resin and paper or epoxy resin and glass fiber fabric and conductor tracks made of copper. Such a board 3 is also referred to as a printed circuit board. Both the signal terminals and the connections for the power supply of the components 1, 2, 5, 28 are connected to electrical connections of the board 3.
  • electrical connections can be provided via connecting lines for the electrical connection of components 1, 2, 5, 28 on the circuit board 3 and / or for connecting the circuit board 3 to further structural units.
  • the board 3 On the board 3 are two image sensing sensors 1, 2, preferably two identical optical semiconductor sensors 1, 2, which are arranged in a predetermined by the printed circuit spacing 4 to each other and electrically connected via a suitable connection with the conductor tracks of the board 3.
  • the distance 4 between the centers of the image sensing areas 10, 11 of the image sensing sensors 1, 2 preferably has a value in the range of 80 mm to 300 mm.
  • the image acquisition sensors 1, 2 are connected to the board 3 via at least one solder joint.
  • the image detection sensors 1,2 can be plugged into each one connected to the board 3 via at least one solder joint socket.
  • the image sensing sensors 1, 2 are arranged on the board 3 and connected to this, that the image sensing areas 10, 11 of the image sensing sensors 1, 2 are arranged in a plane apart from low manufacturing tolerances.
  • the laterally arranged in the illustration of Figure 1 through the matrix Pixel detection elements formed edge lines of the image detection areas 10, 11 are arranged parallel to each other.
  • the upper border lines of the image-capturing areas 10, 11 formed by the pixel detection elements in the representation according to FIG. 1 lie on a first straight line.
  • the lower border lines of the image acquisition areas 10, 11 formed by the pixel detection elements lie on a second straight line.
  • the upper edge lines are further arranged parallel to the upper edge 30 of the board 3 and have the same distance to the upper edge 30 of the board 3.
  • the edge lines of the image sensing areas 10, 11 need not be parallel be aligned with an edge of the board 3.
  • the image acquisition areas 10, 11 of the image acquisition sensors 1, 2 are located on the side of the respective image acquisition sensor 1, 2 facing away from the board 3.
  • the further components arranged on the circuit board 3 comprise components 5 of an evaluation unit to which the image data generated by the image acquisition sensors 1, 2 are transmitted via the electrical connections provided by the circuit board 3.
  • the evaluation unit processes the image data with the aid of image processing algorithms provided by an image processing program.
  • image processing program is stored in the evaluation unit.
  • DSP digital signal processors
  • ASICs ASICs
  • FPGAs FPGAs
  • vector processors can be used for image processing.
  • so-called logic arrays, such as PLD's, can also be used for image processing.
  • the image acquisition sensors 1, 2 together with a camera optics, not shown, and the evaluation a stereo camera system.
  • the stereo camera system can process and / or provide color images and / or black-and-white images.
  • the stereo camera systems according to the prior art have two separate individual cameras, which are each connected via a signal line to an evaluation unit.
  • the two individual cameras of the stereo camera system or their image acquisition sensors 1, 2 must be calibrated exactly to one another in order to obtain correct results in the evaluation of the images taken by the stereo camera.
  • the location of the individual cameras of known stereo camera systems can be changed by a variety of influences during operation, such as vibrations or temperature fluctuations. For this reason, the position of the individual cameras of such known stereo camera systems must be regularly checked and recalibrated in the presence of deviations.
  • 3 components 28 of an infrared illumination device can be arranged on the board.
  • at least one component 28 of the infrared illumination device is an infrared light emitting diode.
  • the stereo camera system can also be used for image acquisition in the dark, since the detection range of the stereo camera system can be at least partially illuminated with the aid of the infrared illumination device.
  • FIG. 2 shows a side view of the circuit board 3 shown schematically according to FIG. Elements with the same structure or the same function have the same reference numerals.
  • FIG. 3 shows a perspective plan view of the circuit board 3 according to FIGS. 1 and 2 with two optics 8, 9 which can be coupled and disconnected to the circuit board 3.
  • the two optics 8, 9 can be coupled to the circuit board 3 such that in each case the optical axis of an optic 8, 9 passes through the center of the image acquisition area 10, 11 of an image acquisition sensor 1, 2.
  • the optics 8, 9 are for example glued to the board 3, screwed to the board 3, connected via suitable locking elements with the board 3 or connected via suitable clamping connections with the board 3.
  • the optics 8, 9 may also be integrated into a housing not shown. The position of the optics 8, 9 to the image acquisition areas 10, 11 is then determined by the position of the housing to the board 3.
  • the housing can be used for permanent protection of the stereo camera system, for example against splashing water, cold, rain and / or vandalism.
  • the optics 8, 9 each have one or more lenses and / or further optical elements and are used in particular for focusing images on the image acquisition sensors 1, 2.
  • About the choice of optics 8, 9 can be an adjustment of the stereo camera system to the desired focal length, light intensity and / or optical aperture.
  • FIG. 4 shows the schematic structure of a stereo camera system according to FIGS. 1 to 3.
  • the stereo camera system comprises the two image acquisition sensors 1, 2 arranged at the defined distance 4 and the optics 8, 9.
  • At distance 7 in front of the stereo camera system is an object 6 to be detected
  • images with images of the object 6 to be detected are recorded.
  • the image data generated by the image acquisition sensors 1, 2 and corresponding to the recorded images are subsequently processed with the aid of the image processing algorithms provided by the evaluation unit with the aid of the processed image processing program.
  • objects 6 can be detected, tracked and / or measured with the aid of the image processing algorithms provided by the evaluation unit with the aid of the image processing program. It is also possible to determine the distance of the object 6 to the stereo camera system.
  • CCD image acquisition sensors or CMOS image acquisition sensors are suitable, for example, as image acquisition sensors.

Abstract

The invention relates to a stereo camera system comprising at least two image detection sensors (1, 2) rigidly connected to a circuit board (3). The image detection sensors (1, 2) have a distance from one another that is established by the circuit board (3).

Description

Stereokamerasystem Stereo Camera System
Die Erfindung betrifft ein Stereokamerasystem mit mindestens zwei Bilderfassungssensoren, die jeweils mindestens ein Bild mit einer Abbildung eines Erfassungsbereichs des Stereokamerasystems aufnehmen und dem Bild entsprechende Bilddaten erzeugen.The invention relates to a stereo camera system having at least two image acquisition sensors, which each record at least one image with an image of a detection range of the stereo camera system and generate image data corresponding to the image.
Bekannte Stereokamerasysteme haben zwei Einzelbildkameras, die einzeln angeordnet und exakt relativ zueinander ausgerichtet werden müssen. Das Ausrichten der Einzelbildkameras zueinander wird auch als Kalibriervorgang bezeichnet. Die von den Einzelbildkameras erzeugten Bilddaten werden zu einer gemeinsamen Auswerteeinheit übertragen, die die ü- bertragenen Bilddaten verarbeitet.Known stereo camera systems have two single-frame cameras, which must be arranged individually and aligned exactly relative to each other. Aligning the individual cameras with each other is also referred to as a calibration process. The image data generated by the single-frame cameras are transmitted to a common evaluation unit, which processes the transmitted image data.
Aufgrund verschiedener Umwelteinflüsse auf die Einzelbildkameras der Stereokamerasysteme ist es erforderlich, die Lage der Einzelbildkameras zueinander regelmäßig zu überprüfen und das Stereokamerasystem erforderlichenfalls neu zu kalibrieren.Due to various environmental influences on the single-frame cameras of the stereo camera systems, it is necessary to regularly check the position of the single-frame cameras and, if necessary, to recalibrate the stereo camera system.
Aus dem Dokument EP 0 918 979 Al ist eine Stereokamera für die digitale Photogramme trie bekannt, die eine Eingangsoptik und eine Vielzahl in der Fokalebene der Eingangsoptik angeordneten optischen Detektoren hat. Durch eine geeignete Auswahl der Detektoren kann der Stereowinkel dieser Stereokamera geändert werden.From the document EP 0 918 979 A1 a stereo camera for the digital photogrammetry is known trie, which has an input optics and a plurality in the focal plane of the input optics arranged optical detectors. By appropriate selection of the detectors, the stereo angle of this stereo camera can be changed.
Aus dem Dokument DE 197 27 999 Al ist eine Stereokamera bekannt, bei der eine elektrische Kopplung von zwei vollelektronischen Kameras durch eine Parallelschaltung von Zielkontakten erfolgt. Aus dem Dokument EP 0 174 091 Al ist eine Stereokamera mit zwei Linsen bekannt, die simultan fokussiert werden können.From the document DE 197 27 999 Al a stereo camera is known, in which an electrical coupling of two fully electronic cameras is effected by a parallel connection of target contacts. The document EP 0 174 091 A1 discloses a stereo camera with two lenses which can be focused simultaneously.
Aus dem Dokument DE 199 05 452 C2 ist eine digitale Stereokamera bekannt, die zwei um eine Basislänge versetzt angeordnete Objektive zum Erzeugen eines Bildpaares einer Abbildung eines Objekts hat.From the document DE 199 05 452 C2 a digital stereo camera is known, which has two lenses offset by a base length arranged for generating a pair of images of an image of an object.
Aus dem Dokument DE 100 33 355 Al ist eine Stereokamera mit zwei Einzelkameras und einer gemeinsamen Auswerteeinheit bekannt.The document DE 100 33 355 A1 discloses a stereo camera with two individual cameras and a common evaluation unit.
Aus dem Dokument WO 2006/069978 A ist ein Verfahren zum Ermitteln eines Kalibrierparameters einer Stereokamera bekannt. Dieser Kalibrierparameter wird insbesondere zum Kalibrieren von zwei Einzelkameras eines Stereokamerasystems genutzt.The document WO 2006/069978 A discloses a method for determining a calibration parameter of a stereo camera. This calibration parameter is used in particular for calibrating two individual cameras of a stereo camera system.
Aufgabe der Erfindung ist es, ein Stereokamerasystem anzugeben, bei dem der Kalibrieraufwand reduziert ist. Diese Aufgabe wird durch ein Stereokamerasystem mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.The object of the invention is to provide a stereo camera system in which the calibration effort is reduced. This object is achieved by a stereo camera system having the features of patent claim 1. Advantageous developments of the invention are specified in the dependent claims.
Durch ein Stereokamerasystem mit den Merkmalen des Patentanspruchs 1 wird erreicht, dass die Lage der Bilderfassungssensoren zueinander, insbesondere der Abstand der Mittelpunkte der Bilderfassungsbereiche der Bilderfassungssensoren zueinander, durch die Platine vorgegeben ist und die Lage der Bilderfassungssensoren durch die Verbindung mit der Platine fixiert ist. Die Lage der Bilderfassungsbereiche der Bilderfassungssensoren zueinander ist somit durch die Platine festgelegt und unveränderbar. Dadurch ist es insbesondere möglich, bei der Verwendung von gleichartigen oder identischen Bilderfassungssensoren die Bilderfassungsbereiche der Bilderfassungssensoren in einer Ebene anzuordnen. Ein so aufgebautes Stereokamerasystem muss nicht mehr kalibriert werden oder es müssen bei der Kalibrierung nur Fertigungstoleranzen kompensiert werden. Eine solche Kalibrierung des Stereokamerasystems kann beispielsweise durch das Festlegen relevanter Ausschnitte des Bilderfassungsbereichs des jeweiligen Bilderfassungssensors zur Auswahl eines weiterzuverarbeitenden Bildes erfolgen.By a stereo camera system with the features of claim 1 ensures that the position of the image sensing sensors to each other, in particular the distance between the centers of the image sensing areas of the image sensing sensors to each other, is predetermined by the board and the position of the image detection sensors is fixed by the connection to the board. The position of the image acquisition areas of the image acquisition sensors to each other is thus determined by the board and unchangeable. This makes it possible, in particular, to arrange the image-capturing areas of the image-capturing sensors in a plane when using identical or identical image-capturing sensors. A stereo camera system constructed in this way no longer has to be calibrated or only calibration tolerances need to be compensated during calibration. Such a calibration of the stereo camera system can take place, for example, by determining relevant sections of the image-capturing area of the respective image-capturing sensor for selecting an image to be further processed.
Die Bilderfassungssensoren sind vorzugsweise mit der Platine über mindestens eine Lötverbindung verbunden oder sind jeweils in einen mit der Platine fest verbundenen Sockel gesteckt. Durch die Fixierung der Bilderfassungssensoren auf der Platine ist die Lage der Bilderfassungsbereiche der Bild-erfassungssensoren relativ zueinander, insbesondere in einem Kamerakoordinatensystem, räumlich festgelegt. Diese relative Lage der Bilderfassungssensoren zueinander ist nicht veränderbar. Eine Kalibrierung der Einzelkameras ist durch die Anordnung der Bilderfassungssensoren auf einer gemeinsamen Platine über die Lebensdauer des Stereokamerasystems nicht erforderlich. Die Platine ist vorzugsweise eine bekannte Leiterplatte, die Leiterbahnen zur Verbindung von elektrischen Anschlüssen und/oder Signalanschlüssen der Bilderfassungssensoren sowie vorzugsweise zur Kontaktierung von weiteren Bauteilen hat. Mit Hilfe der Bilderfassungssensoren können insbesondere Farbbilder oder Schwarz- Weiß-Bilder aufgenommen werden. Durch die Anordnung der Bilderfassungssensoren auf der Platine können die Bilderfassungssensoren einfach in einem gewünschten Winkel zu einer Randkante der Platine und in einem gewünschten Abstand zu dieser Randkante, insbesondere parallel zur Randkante, angeordnet werden. Dadurch kann der Kalibrieraufwand eines - A -The image acquisition sensors are preferably connected to the board via at least one solder joint or are each plugged into a base firmly connected to the board. By fixing the image sensing sensors on the board, the position of the image sensing areas of the image sensing sensors relative to each other, in particular in a camera coordinate system, spatially determined. This relative position of the image acquisition sensors to each other is not changeable. Calibration of the individual cameras is not required by the arrangement of the image acquisition sensors on a common board over the life of the stereo camera system. The printed circuit board is preferably a known printed circuit board which has printed conductors for connecting electrical connections and / or signal connections of the image sensing sensors and preferably for contacting further components. In particular color images or black-and-white images can be recorded with the aid of the image acquisition sensors. The arrangement of the image acquisition sensors on the board, the image acquisition sensors can be easily arranged at a desired angle to a peripheral edge of the board and at a desired distance to this edge, in particular parallel to the peripheral edge. As a result, the calibration effort of a - A -
solchen Stereokamerasystems gegenüber bekannten Stereokamerasystemen erheblich reduziert werden.such stereo camera system compared to known stereo camera systems are significantly reduced.
Besonders vorteilhaft ist es, die jedem der Bilderfassungssensoren zugeordnete Optik mit der Platine und/oder dem jeweiligen Bilderfassungssensor zu verbinden, so dass die Lage der Optik zum Bilderfassungsbereich des jeweiligen Bilderfassungssensors einfach über die Verbindung der Optik mit der Platine und/oder mit dem Bilderfassungssensor festgelegt ist. Dabei ist es vorteilhaft, die zwei Optiken so zur Platine anzuordnen, dass jeweils eine Abbildung eines Erfassungsbereichs des Stereokamerasystems auf jeweils einen Bilderfassungsbereich der Bilderfassungssensoren abgebildet und/oder fokussiert wird. Insbesondere kann jeweils die optische Achse einer Optik durch den Mittelpunkt des Bilderfassungsbereichs eines Bilderfassungssensors verlaufen. Dadurch kann das Erfassen von zur Weiterverarbeitung geeigneter Bilder sichergestellt werdenIt is particularly advantageous to connect the optics associated with each of the image acquisition sensors to the circuit board and / or the respective image acquisition sensor, so that the position of the optics relative to the image acquisition region of the respective image acquisition sensor is simply determined via the connection of the optics to the circuit board and / or to the image acquisition sensor is. In this case, it is advantageous to arrange the two optics in such a way to the board, that in each case an image of a detection area of the stereo camera system is imaged and / or focused on in each case one image capturing area of the image capturing sensors. In particular, in each case the optical axis of an optical system can run through the center of the image capture area of an image acquisition sensor. As a result, the capture of suitable for further processing images can be ensured
Die Platine ist vorzugsweise plan und biegesteif. Bei der Verwendung üblicher Platinen und üblicher Bilderfassungssensoren kann die durch die Fertigungstoleranzen bewirkte Lageabweichung auf > 5 Pixel in x- und y- Richtung der Bilderfassungsbereiche der Bilderfassungssensoren begrenzt werden. Dabei wird von einer Anordnung der matrixförmig angeordneten Bildpunkterfassungselemente der Bilderfassungsbereiche in einem zweidimensionalen x-y-Koordinatensystem ausgegangenThe board is preferably flat and rigid. When using conventional circuit boards and conventional image sensing sensors, the positional deviation caused by the manufacturing tolerances can be limited to> 5 pixels in the x and y direction of the image sensing ranges of the image sensing sensors. In this case, an arrangement of the pixel imaging elements arranged in the form of a matrix in the image detection areas in a two-dimensional x-y coordinate system is assumed
Das angegebene Stereokamerasystem eignet sich besonders zur Messung der Entfernung zwischen dem Stereokamerasystem und einem Objekt im Bereich von > 100 m, vorzugsweise im Bereich von > 30 m. Dadurch eignet sich dieses Stereokamerasystem insbesondere für Zählvorgänge von Objekten oder Personen, die Detektion von Objekten und die Klassifizie- rung von Objekten im Nahbereich. Das Ermitteln der Entfernung zu Objekten mit Hilfe des Stereokamerasystems erfolgt in bekannter Art und Weise.The specified stereo camera system is particularly suitable for measuring the distance between the stereo camera system and an object in the range of> 100 m, preferably in the range of> 30 m. As a result, this stereo camera system is particularly suitable for counting operations of objects or persons, the detection of objects and the classification tion of objects in the vicinity. The determination of the distance to objects by means of the stereo camera system takes place in a known manner.
Als Bilderfassungssensoren eignen sich insbesondere optische Halbleitersensoren, CCD-Bilderfassungssensoren und/oder CMOS Bilderfassungssensoren. Besonders vorteilhaft ist es, so genannte Aktiv Pixel Sensoren (APS) als Bilderfassungssensoren einzusetzen. Die Platine kann insbesondere aus Phenolharz und Papier, aus Epoxydharz und Papier, aus Epoxydharz und Glasfasergewebe, die jeweils Leiterbahnen haben, hergestellt sein. Dabei können die Leiterbahnen einlagig (in einer Ebene) oder mehrlagig (in mehreren Ebenen), insbesondere als so genannte Multilayer Leiterplatten, ausgebildet sein.Suitable image acquisition sensors are in particular optical semiconductor sensors, CCD image acquisition sensors and / or CMOS image acquisition sensors. It is particularly advantageous to use so-called active pixel sensors (APS) as image capture sensors. The board may in particular be made of phenolic resin and paper, of epoxy resin and paper, of epoxy resin and glass fiber fabric, each having tracks. In this case, the conductor tracks can be single-layered (in one plane) or multi-layered (in several planes), in particular as so-called multilayer printed circuit boards.
Der Abstand zwischen den Mittelpunkten der Bilderfassungsbereiche der Bilderfassungssensoren hat vorzugsweise einen Wert im Bereich zwischen 80 mm und 300 mm, vorzugsweise im Bereich zwischen 80 mm und 100 mm. Besonders vorteilhaft ist es, Bauelemente mindestens einer Auswerteeinheit zusätzlich zu den Bilderfassungssensoren auf der Platine anzuordnen, so dass sowohl die Bilderfassungssensoren als auch die Auswerteeinheit auf derselben Platine angeordnet sind. Dadurch ist eine platzsparende Anordnung der Bauteile und somit eine geringe Baugröße des Stereokamerasystems möglich. Ferner ist der Verdrahtung s aufwand gering, da die Übertragung der durch die Bilderfassungssensoren erzeugten Bilddaten zur Auswerteeinheit über Leiterbahnen der Platine erfolgen kann.The distance between the centers of the image sensing areas of the image sensing sensors preferably has a value in the range between 80 mm and 300 mm, preferably in the range between 80 mm and 100 mm. It is particularly advantageous to arrange components of at least one evaluation unit in addition to the image acquisition sensors on the board, so that both the image acquisition sensors and the evaluation unit are arranged on the same board. As a result, a space-saving arrangement of the components and thus a small size of the stereo camera system is possible. Furthermore, the wiring effort is low because the transmission of the image data generated by the image acquisition sensors to the evaluation unit can take place via printed conductors of the printed circuit board.
Besonders vorteilhaft ist es, wenn eine erste Randlinie eines Bilderfassungsbereichs des ersten Bilderfassungssensors und eine erste Randlinie eines Bilderfassungsbereichs des zweiten Bilderfassungssensors auf einer ersten Geraden liegen. Alternativ oder zusätzlich ist es vorteilhaft, wenn eine zweite Randlinie des Bilderfassungsbereichs des ersten Bilderfassungssensors und eine zweite Randlinie des Bilderfassungsbereichs des zweiten Bilderfassungssensors auf einer zweiten Gerade liegen. Dadurch ist eine besonders einfache Weiterverarbeitung der Bilddaten möglich, da die mit Hilfe der Bilderfassungssensoren aufgenommenen Bilder einfach überlagert werden können, um den Abstand zwischen den gleichzeitig durch die Bilderfassungssensoren erfassten Bildern enthaltenen Abbildungen desselben Objekts einfach zu ermitteln. Dieser Abstand ist ein Maß für die Entfernung zwischen den Stereokamerasystem und dem abgebildeten Objekt.It is particularly advantageous if a first edge line of an image capture region of the first image capture sensor and a first edge line of an image capture area of the second image capture sensor lie on a first straight line. Alternatively or additionally, it is advantageous if a second edge line of the image capture region of the first image capture sensor and a second edge line of the image capture region of the second image capture sensor lie on a second straight line. As a result, a particularly simple further processing of the image data is possible, since the images recorded with the aid of the image acquisition sensors can simply be superimposed in order to easily determine the distance between the images of the same object contained at the same time by the image acquisition sensors. This distance is a measure of the distance between the stereo camera system and the imaged object.
Besonders vorteilhaft ist es, wenn die Auswerteeinheit mindestens ein Bildverarbeitungsprogramm zur Verarbeitung der von den Bilderfassungssensoren erzeugten Bilddaten abarbeitet. Dadurch ist eine einfache und flexible Verarbeitung der Bilddaten durch die Auswerteeinheit möglich. Insbesondere kann die Auswerteeinheit durch die Verwendung eines geeigneten Bildverarbeitungsprogramms an die Erfordernisse beim Einsatz des Stereokamerasystems angepasst werden. Besonders vorteilhaft ist es, wenn auf der Platine Elemente einer Infrarotbeleuchtungsvorrichtung angeordnet sind. Insbesondere sind Infrarotleuchtdioden auf der Platine angeordnet und über Lötverbindungen mit dieser verbunden. Dadurch ist eine Beleuchtung des Erfassungsbereichs des Stereokamerasystems mit Hilfe dieser Infrarotleuchtdioden möglich, so dass auch bei Dunkelheit verwertbare Bilder mit Hilfe des Stereokamerasystems aufgenommen werden können. Das Stereokamerasystem kann Farbbilder und/oder Schwarz-Weiß-Bilder erzeugen und/oder verarbeiten.It is particularly advantageous if the evaluation unit processes at least one image processing program for processing the image data generated by the image acquisition sensors. As a result, a simple and flexible processing of the image data by the evaluation is possible. In particular, the evaluation unit can be adapted to the requirements when using the stereo camera system by using a suitable image processing program. It is particularly advantageous if elements of an infrared illumination device are arranged on the board. In particular, infrared LEDs are arranged on the board and connected via solder joints with this. This makes it possible to illuminate the detection range of the stereo camera system with the aid of these infrared light-emitting diodes, so that even in the dark useful images can be recorded with the aid of the stereo camera system. The stereo camera system can produce and / or process color images and / or black-and-white images.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche in Verbindung mit den beigefügten Figuren die Erfindung anhand von Ausführungsbeispielen näher erläutert.Further features and advantages of the invention will become apparent from the following description which, in conjunction with the accompanying figures, the invention with reference to embodiments explained in more detail.
Es zeigen:Show it:
Figur 1 eine Draufsicht auf eine schematisch dargestellte Platine mit zwei mit der Platine verbundenen Bilderfassungssensoren und weiteren mit der Platine verbundenen Elementen;Figure 1 is a plan view of a circuit board shown schematically with two connected to the board image acquisition sensors and other connected to the board elements;
Figur 2 eine Seitenansicht der schematisch dargestellten Platine nach Figur 1 ;Figure 2 is a side view of the circuit board shown schematically of Figure 1;
Figur 3 eine perspektivische Draufsicht auf die Platine nach den Figuren 1 und 2 und zwei mit der Platine koppelbaren Optiken; undFigure 3 is a perspective plan view of the board according to Figures 1 and 2 and two couplable with the board optics; and
Figur 4 einen schematischen Aufbau eines Stereokamerasystems mit der Platine nach den Figuren 1 bis 3.FIG. 4 shows a schematic structure of a stereo camera system with the circuit board according to FIGS. 1 to 3.
In Figur 1 ist eine Draufsicht auf eine schematisch dargestellte Platine 3 mit zwei mit der Platine 3 verbundenen optischen Bilderfassungssensoren 1, 2 und weiteren mit der Platine verbundenen Bauteilen 5, 28 gezeigt. Die Platine 3 umfasst einen Träger aus isolierendem Material, der elektrisch leitende Verbindungen hat, die die elektrischen Anschlüsse der mit der Platine 3 verbundenen Bauteile 1, 2, 5, 28 elektrisch miteinander verbinden. Die elektrisch leitenden Verbindungen sind vorzugsweise als Leiterbahnen in Form einer gedruckten Schaltung ausgeführt. Die Platine 3 ist beispielsweise aus Phenolharz und Papier, aus Epoxydharz und Papier oder aus Epoxydharz und Glasfasergewebe und Leiterbahnen aus Kupfer hergestellt. Eine solche Platine 3 wird auch als Leiterplatte bezeichnet. Sowohl die Signalanschlüsse als auch die Anschlüsse zur Stromversorgung der Bauteile 1, 2, 5, 28 sind mit elektrischen Verbindungen der Platine 3 verbunden. Zusätzlich zu den durch die Platine 3 bereitgestellten elektrischen Verbindungen können elektrische Verbindungen über Verbindungsleitungen zur elektrischen Verbindung von Bauteilen 1 , 2, 5, 28 auf der Platine 3 und/oder zum Verbinden der Platine 3 mit weiteren Baueinheiten vorgesehen sein.FIG. 1 shows a top view of a schematically illustrated circuit board 3 with two optical image acquisition sensors 1, 2 connected to the circuit board 3 and further components 5, 28 connected to the circuit board. The circuit board 3 comprises a carrier of insulating material, which has electrically conductive connections, the electrical connections with the the circuit board 3 connected components 1, 2, 5, 28 electrically interconnect. The electrically conductive connections are preferably designed as printed conductors in the form of a printed circuit. The board 3 is made for example of phenolic resin and paper, epoxy resin and paper or epoxy resin and glass fiber fabric and conductor tracks made of copper. Such a board 3 is also referred to as a printed circuit board. Both the signal terminals and the connections for the power supply of the components 1, 2, 5, 28 are connected to electrical connections of the board 3. In addition to the electrical connections provided by the circuit board 3, electrical connections can be provided via connecting lines for the electrical connection of components 1, 2, 5, 28 on the circuit board 3 and / or for connecting the circuit board 3 to further structural units.
Auf die Platine 3 sind zwei Bilderfassungssensoren 1, 2, vorzugsweise zwei identische optische Halbleitersensoren 1 , 2, die in einem durch die gedruckte Schaltung vorgegebenen Abstand 4 zueinander angeordnet und über eine geeignete Verbindung mit den Leiterbahnen der Platine 3 elektrisch verbunden sind. Der Abstand 4 zwischen den Mittelpunkten der BiI- derfassungsbereiche 10, 11 der Bilderfassungssensoren 1, 2 hat vorzugsweise einen Wert im Bereich von 80 mm bis 300 mm. Die Bilderfassungssensoren 1, 2 sind mit der Platine 3 über mindestens eine Lötverbindung verbunden. Alternativ können die Bilderfassungssensoren 1,2 in jeweils einen mit der Platine 3 jeweils über mindestens eine Lötverbindung verbundenen Sockel gesteckt werden. Die Bilderfassungssensoren 1, 2 sind so auf der Platine 3 angeordnet und mit dieser verbunden, dass die Bilderfassungsbereiche 10, 11 der Bilderfassungssensoren 1, 2 abgesehen von geringen Fertigungstoleranzen in einer Ebene angeordnet sind. Die bei der Darstellung nach Figur 1 seitlich durch die matrixförmig angeordneten Bildpunkterfassungselemente gebildeten Randlinien der Bilderfassungsbereiche 10, 11 sind parallel zueinander angeordnet. Die bei der Darstellung nach Figur 1 durch die Bildpunkterfassungselemente gebildeten oberen Randlinien der Bilderfassungsbereiche 10, 11 liegen auf einer ersten Geraden. Ebenso liegen die durch die Bildpunkterfassungselemente gebildeten unteren Randlinien der Bilderfassungsbereiche 10, 11 auf einer zweiten Geraden. Im vorliegenden Ausführungsbeispiel sind die oberen Randlinien weiterhin parallel zur oberen Kante 30 der Platine 3 angeordnet und haben den gleichen Abstand zu der oberen Kante 30 der Platine 3. Bei anderen Ausführungsbeispielen, insbesondere bei anderen Platinenformen, müssen die Randlinien der Bilderfassungsbereiche 10, 11 nicht parallel zu einer Kante der Platine 3 ausgerichtet sein. Die Bilderfassungsbereiche 10, 11 der Bilderfassungssensoren 1, 2 befinden sich auf der der Platine 3 abgewandten Seite des jeweiligen Bilderfassungssensors 1 , 2.On the board 3 are two image sensing sensors 1, 2, preferably two identical optical semiconductor sensors 1, 2, which are arranged in a predetermined by the printed circuit spacing 4 to each other and electrically connected via a suitable connection with the conductor tracks of the board 3. The distance 4 between the centers of the image sensing areas 10, 11 of the image sensing sensors 1, 2 preferably has a value in the range of 80 mm to 300 mm. The image acquisition sensors 1, 2 are connected to the board 3 via at least one solder joint. Alternatively, the image detection sensors 1,2 can be plugged into each one connected to the board 3 via at least one solder joint socket. The image sensing sensors 1, 2 are arranged on the board 3 and connected to this, that the image sensing areas 10, 11 of the image sensing sensors 1, 2 are arranged in a plane apart from low manufacturing tolerances. The laterally arranged in the illustration of Figure 1 through the matrix Pixel detection elements formed edge lines of the image detection areas 10, 11 are arranged parallel to each other. The upper border lines of the image-capturing areas 10, 11 formed by the pixel detection elements in the representation according to FIG. 1 lie on a first straight line. Likewise, the lower border lines of the image acquisition areas 10, 11 formed by the pixel detection elements lie on a second straight line. In the present embodiment, the upper edge lines are further arranged parallel to the upper edge 30 of the board 3 and have the same distance to the upper edge 30 of the board 3. In other embodiments, in particular in other board shapes, the edge lines of the image sensing areas 10, 11 need not be parallel be aligned with an edge of the board 3. The image acquisition areas 10, 11 of the image acquisition sensors 1, 2 are located on the side of the respective image acquisition sensor 1, 2 facing away from the board 3.
Die weiteren auf der Platine 3 angeordneten Bauteile umfassen Bauelemente 5 einer Auswerteeinheit zu der die von den Bilderfassungssensoren 1, 2 erzeugten Bilddaten über die von der Platine 3 bereitgestellten elektrischen Verbindungen übertragen werden. Die Auswerteeinheit verarbeitet die Bilddaten mit Hilfe von durch ein Bildverarbeitungsprogramm bereitgestellten Bildverarbeitungsalgorithmen. Hierzu ist in der Auswerteeinheit mindestens ein Bild Verarbeitungsprogramm hinterlegt. Für die Bildverarbeitung können beispielsweise Digital Signalprozessoren (DSP), ASICs, FPGA' s und/oder Vektorprozessoren eingesetzt werden. Zusätzlich oder alternativ können zur Bildverarbeitung auch sogenannte Logik Arrays, wie PLD' s, verwendet werden.The further components arranged on the circuit board 3 comprise components 5 of an evaluation unit to which the image data generated by the image acquisition sensors 1, 2 are transmitted via the electrical connections provided by the circuit board 3. The evaluation unit processes the image data with the aid of image processing algorithms provided by an image processing program. For this purpose, at least one image processing program is stored in the evaluation unit. For example, digital signal processors (DSP), ASICs, FPGAs and / or vector processors can be used for image processing. Additionally or alternatively, so-called logic arrays, such as PLD's, can also be used for image processing.
Die Bilderfassungssensoren 1 , 2 bilden zusammen mit einer nicht dargestellten Kameraoptik und der Auswerteeinheit ein Stereokamerasystem. Das Stereokamerasystem kann abhängig von den verwendeten Bilderfassungssensoren 1, 2 und den durch die Auswerteeinheit genutzten Bildverarbeitungsalgorithmen Farbbilder und/oder Schwarz-Weiß-Bilder verarbeiten und/oder bereitstellen.The image acquisition sensors 1, 2 together with a camera optics, not shown, and the evaluation a stereo camera system. Depending on the image acquisition sensors 1, 2 used and the image processing algorithms used by the evaluation unit, the stereo camera system can process and / or provide color images and / or black-and-white images.
Durch die ortsfeste Anordnung der Bilderfassungssensoren 1, 2 in einem durch die gedruckte Schaltung der Platine 3 vorgegebenen Abstand auf der Platine 3 ist der Kalibrieraufwand verglichen mit anderen Stereokamerasystemen nach dem Stand der Technik deutlich reduziert. Die Stereokamerasysteme nach dem Stand der Technik haben zwei separate Einzelkameras, die über jeweils eine Signalleitung mit einer Auswerteeinheit verbunden sind. Die beiden Einzelkameras des Stereokamerasystems bzw. deren Bilderfassungssensoren 1, 2 müssen exakt zueinander kalibriert sein, um bei der Auswertung der durch die Stereokamera aufgenommen Bilder korrekte Ergebnisse zu erhalten. Die Lage der Einzelkameras bekannter Stereokamerasysteme kann durch eine Vielzahl von Einflüssen während des Betriebs, wie beispielsweise Erschütterungen oder Temperaturschwankungen, verändert werden. Aus diesem Grund muss die Lage der Einzelkameras solcher bekannten Stereokamerasysteme regelmäßig kontrolliert werden und beim Vorliegen von Abweichungen neu kalibriert werden.Due to the stationary arrangement of the image detection sensors 1, 2 in a predetermined by the printed circuit of the board 3 distance on the board 3 of the calibration effort compared to other stereo camera systems according to the prior art is significantly reduced. The stereo camera systems according to the prior art have two separate individual cameras, which are each connected via a signal line to an evaluation unit. The two individual cameras of the stereo camera system or their image acquisition sensors 1, 2 must be calibrated exactly to one another in order to obtain correct results in the evaluation of the images taken by the stereo camera. The location of the individual cameras of known stereo camera systems can be changed by a variety of influences during operation, such as vibrations or temperature fluctuations. For this reason, the position of the individual cameras of such known stereo camera systems must be regularly checked and recalibrated in the presence of deviations.
Bei dem erfindungsgemäßen Stereokamerasystem dagegen ist nur eine einmalige Kalibrierung bei der Montage notwendig. Eine Nachkalibrierung des Stereokamerasystems ist während der gesamten Lebensdauer nicht notwendig, da durch die Fixierung der B ilderfassungs Sensoren 1, 2 auf der Platine 3 die relative Lage der Bilderfassungssensoren 1, 2 zueinander über die gesamte Lebensdauer unveränderbar ist. Ferner wird durch die Anordnung der beidem Bilderfassungssensoren 1, 2 auf nur einer Pia- tine 3 eine kompakte Bauweise erreicht, wodurch der Montageaufwand und die anfallenden Kosten reduziert werden können.In the stereo camera system according to the invention, however, only a single calibration during assembly is necessary. Recalibration of the stereo camera system is not necessary during the entire service life, since the relative position of the image acquisition sensors 1, 2 relative to each other over the entire service life is unchangeable due to the fixation of the image sensors 1, 2 on the circuit board 3. Furthermore, the arrangement of the two image acquisition sensors 1, 2 on only one pia Tine 3 achieved a compact design, whereby the assembly costs and the costs incurred can be reduced.
Zusätzlich können auf der Platine 3 Bauteile 28 einer Infrarotbeleuchtungsvorrichtung angeordnet sein. Insbesondere ist mindestens ein Bauteil 28 der Infrarotbeleuchtung s Vorrichtung eine Infrarotleuchtdiode. Durch die Verwendung von Infrarotlicht kann das Stereokamerasystem auch bei Dunkelheit zur Bilderfassung genutzt werden, da der Erfassungsbereich des Stereokamerasystems mit Hilfe der Infrarotbeleuchtung s Vorrichtung zumindest teilweise beleuchtet werden kann.In addition, 3 components 28 of an infrared illumination device can be arranged on the board. In particular, at least one component 28 of the infrared illumination device is an infrared light emitting diode. By using infrared light, the stereo camera system can also be used for image acquisition in the dark, since the detection range of the stereo camera system can be at least partially illuminated with the aid of the infrared illumination device.
In Figur 2 ist eine Seitenansicht der schematisch dargestellten Platine 3 nach Figur 1 gezeigt. Elemente mit gleichem Aufbau oder gleicher Funktion haben dieselben Bezugszeichen.FIG. 2 shows a side view of the circuit board 3 shown schematically according to FIG. Elements with the same structure or the same function have the same reference numerals.
In Figur 3 ist eine perspektivische Draufsicht auf die Platine 3 nach den Figuren 1 und 2 mit zwei mit der Platine 3 koppel- und entkoppelbaren Optiken 8, 9 dargestellt. Die beiden Optiken 8, 9 sind so mit der Platine 3 koppelbar, dass jeweils die optische Achse einer Optik 8, 9 durch den Mittelpunkt des Bilderfassungsbereiches 10, 11 eines Bilderfassungssensors 1, 2 verläuft. Die Optiken 8, 9 werden beispielweise auf die Platine 3 geklebt, mit der Platine 3 verschraubt, über geeignete Rastelemente mit der Platine 3 verbunden oder über geeignete Klemmverbindungen mit der Platine 3 verbunden. Alternativ können die Optiken 8, 9 auch in ein nicht dargstelltes Gehäuse integriert sein. Die Lage der Optiken 8, 9 zu den BiI- derfassungsbereichen 10, 11 ist dann über die Lage des Gehäuses zu der Platine 3 festgelegt. Das Gehäuse kann zum dauerhaften Schutz des Stereokamerasystems, beispielweise gegen Spritzwasser, Kälte, Regen und/oder Vandalismus, dienen. Die Optiken 8, 9 haben jeweils eine oder mehrere Linsen und/oder weitere optische Elemente und dienen insbesondere zur Fokussierung von Abbildungen auf die Bilderfassungssensoren 1, 2. Über die Wahl der Optiken 8, 9 kann eine Anpassung des Stereokamerasystems an die gewünschte Brennweite, Lichtstärke und/oder optische Apertur erfolgen.FIG. 3 shows a perspective plan view of the circuit board 3 according to FIGS. 1 and 2 with two optics 8, 9 which can be coupled and disconnected to the circuit board 3. The two optics 8, 9 can be coupled to the circuit board 3 such that in each case the optical axis of an optic 8, 9 passes through the center of the image acquisition area 10, 11 of an image acquisition sensor 1, 2. The optics 8, 9 are for example glued to the board 3, screwed to the board 3, connected via suitable locking elements with the board 3 or connected via suitable clamping connections with the board 3. Alternatively, the optics 8, 9 may also be integrated into a housing not shown. The position of the optics 8, 9 to the image acquisition areas 10, 11 is then determined by the position of the housing to the board 3. The housing can be used for permanent protection of the stereo camera system, for example against splashing water, cold, rain and / or vandalism. The optics 8, 9 each have one or more lenses and / or further optical elements and are used in particular for focusing images on the image acquisition sensors 1, 2. About the choice of optics 8, 9 can be an adjustment of the stereo camera system to the desired focal length, light intensity and / or optical aperture.
Figur 4 zeigt den schematischen Aufbau eines Stereokamerasystems nach den Figuren 1 bis 3. Das Stereokamerasystem umfasst die beiden im definierten Abstand 4 zueinander angeordneten Bilderfassungssensoren 1, 2 und die Optiken 8, 9. Im Abstand 7 vor dem Stereokamerasystem befindet sich ein zu erfassendes Objekt 6. Mit Hilfe des Bilderfassungssensoren 1 , 2 werden Bilder mit Abbildungen des zu erfassenden Objekts 6 aufgenommen. Die von den B ilderfassungs sensoren 1, 2 erzeugten, den aufgenommen Bildern entsprechenden Bilddaten werden anschließend mit Hilfe der durch die Auswerteeinheit mit Hilfe des abgearbeiteten Bildverarbeitungsprogramms bereitgestellten Bildverarbeitungsalgorithmen verarbeitet. Mit Hilfe der durch die Auswerteeinheit mit Hilfe des Bildverarbeitungsprogramms bereitgestellten Bildverarbeitungsalgorithmen können zum Beispiel Objekte 6 detektiert, verfolgt und/oder vermessen werden. Ebenfalls ist es möglich, die Entfernung des Objektes 6 zum Stereokamerasystem zu bestimmen.FIG. 4 shows the schematic structure of a stereo camera system according to FIGS. 1 to 3. The stereo camera system comprises the two image acquisition sensors 1, 2 arranged at the defined distance 4 and the optics 8, 9. At distance 7 in front of the stereo camera system is an object 6 to be detected With the aid of the image acquisition sensors 1, 2, images with images of the object 6 to be detected are recorded. The image data generated by the image acquisition sensors 1, 2 and corresponding to the recorded images are subsequently processed with the aid of the image processing algorithms provided by the evaluation unit with the aid of the processed image processing program. For example, objects 6 can be detected, tracked and / or measured with the aid of the image processing algorithms provided by the evaluation unit with the aid of the image processing program. It is also possible to determine the distance of the object 6 to the stereo camera system.
Als Bilderfassungssensoren eignen sich beispielsweise CCD- Bilderfassungssensoren oder CMOS-Bilderfassungssensoren. CCD image acquisition sensors or CMOS image acquisition sensors are suitable, for example, as image acquisition sensors.

Claims

Ansprüche claims
1. Stereokamerasystem1. Stereo camera system
mit mindestens zwei Bilderfassungssensoren (1, 2),with at least two image acquisition sensors (1, 2),
mit einer Platine (3),with a board (3),
wobei die Bilderfassungssensoren (1 , 2) jeweils fest mit der Platine (3) verbunden sind; undwherein the image sensing sensors (1, 2) are each fixedly connected to the board (3); and
wobei die mit der Platine (3) verbundenen Bilderfassungssensoren (1 ,2) einen durch die Platine (3) festgelegten Abstand (4) zueinander haben.wherein the image sensing sensors (1, 2) connected to the board (3) have a distance (4) defined by the board (3) relative to each other.
2. Stereokamerasystem nach Anspruch 1, dadurch gekennzeichnet, dass die Bilderfassungssensoren (1 , 2) eine feste Lage zueinander haben.2. Stereo camera system according to claim 1, characterized in that the image sensing sensors (1, 2) have a fixed position to each other.
3. Stereokamerasystem einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass die Bilderfassungssensoren (1, 2) optische Halbleitersensoren, CCD-Bilderfassungssensoren und/oder CMOS-Bilderfassungssensoren sind.3. Stereo camera system according to one of the preceding claims, characterized in that the image sensing sensors (1, 2) are optical semiconductor sensors, CCD image sensing sensors and / or CMOS image sensing sensors.
4. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Platine (3) eine Leiterplatte ist. 4. Stereo camera system according to one of the preceding claims, characterized in that the circuit board (3) is a printed circuit board.
5. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungssensoren (1 ,2) jeweils einen Bilderfassungsbereich (10, 11) haben, und dass der Abstand (4) zwischen den Mittelpunkten der Bilderfassungsbereiche (10, 11) der Bilderfassungssensoren (1, 2) einen Wert im Bereich zwischen 80 mm und 300 mm hat.5. Stereo camera system according to one of the preceding claims, characterized in that the image sensing sensors (1, 2) each having an image sensing area (10, 11), and that the distance (4) between the centers of the image sensing areas (10, 11) of the image sensing sensors ( 1, 2) has a value in the range between 80 mm and 300 mm.
6. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit der Platine (3) mindestens ein Bauelement (5) mindestens einer Auswerteeinheit verbunden ist.6. Stereo camera system according to one of the preceding claims, characterized in that at least one component (5) is connected to the board (3) at least one evaluation unit.
7. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungssensoren (1, 2) und/oder das Bauelement (5) der Auswerteeinheit mit der Platine (3) durch eine Lötverbindung, Steckverbindung und/oder Pressverbindung verbunden sind.7. Stereo camera system according to one of the preceding claims, characterized in that the image detection sensors (1, 2) and / or the component (5) of the evaluation unit with the board (3) are connected by a solder connection, plug connection and / or press connection.
8. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungssensoren (1, 2) so auf der Platine (3) angeordnet sind, dass die Bilderfassungsbereiche (10, 11) der Bilderfassungssensoren (1, 2) in einer Ebene liegen.8. Stereo camera system according to one of the preceding claims, characterized in that the image detection sensors (1, 2) are arranged on the board (3) that the image sensing areas (10, 11) of the image sensing sensors (1, 2) lie in one plane.
9. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine erste Randlinie eines Bilderfassungsbereichs (10) des ersten Bilderfassungssensors (1) und eine erste Randlinie eines Bilderfassungsbereichs (11) des zweiten Bilderfassungssensors (2) auf einer ersten Geraden liegen und/oder eine zweite Randlinie des Bilderfassungsbereichs (10) des ersten Bilderfassungssensors (1) und eine zweite Randlinie des Bilderfas- sungsbereichs (11) des zweiten Bilderfassungssensors (2) auf einer zweiten Geraden liegen.9. Stereo camera system according to one of the preceding claims, characterized in that a first edge line of an image capture area (10) of the first image capture sensor (1) and a first edge line of an image capture area (11) of the second image capture sensor (2) lie on a first straight line and / or a second border line of the image capture area (10) of the first image capture sensor (1) and a second border line of the image capture area (10) tion area (11) of the second image sensing sensor (2) lie on a second straight line.
10. Stereokamerasystem nach Anspruch 9, dadurch gekennzeichnet, dass die Randlinien jeweils durch Bildpunkterfassungselemente der Bilderfassungsbereiche (10, 11) gebildet sind10. Stereo camera system according to claim 9, characterized in that the edge lines are each formed by pixel detection elements of the image detection areas (10, 11)
11. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit mindestens ein Bildverarbeitungsprogramm zur Verarbeitung der von den Bilderfassungssensoren (1, 2) erzeugten Bilddaten abarbeitet.11. Stereo camera system according to one of the preceding claims, characterized in that the evaluation processing at least one image processing program for processing of the image acquisition sensors (1, 2) generated image data.
12. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens eine Infrarotbeleuchtungsvorrichtung (28) mit der Platine (3) verbunden ist.12. Stereo camera system according to one of the preceding claims, characterized in that at least one infrared illumination device (28) to the board (3) is connected.
13. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Stereokamerasystem Farbbilder und/oder Schwarz-Weiß-Bilder erzeugt und/oder verarbeitet.13. Stereo camera system according to one of the preceding claims, characterized in that the stereo camera system color images and / or black-and-white images generated and / or processed.
14. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens zwei Optiken (8, 9) mit der Platine (3) verbunden und/oder so zur Platine (3) angeordnet sind, dass jeweils eine Abbildung eines Erfassungsbereichs des Stereokamerasystems auf jeweils einen Bilderfassungsbereich (10, 11) der Bilderfassungssensoren (1 , 2) abgebildet und/oder fokussiert sind. 14. Stereo camera system according to one of the preceding claims, characterized in that at least two optics (8, 9) are connected to the circuit board (3) and / or arranged to the board (3), that in each case an image of a detection range of the stereo camera system on each an image capture area (10, 11) of the image acquisition sensors (1, 2) are imaged and / or focused.
15. Stereokamerasystem nach Anspruch 14, dadurch gekennzeichnet, dass jeweils die optische Achse einer Optik (8, 9) durch den Mittelpunkt des Bilderfassungsbereiches (10, 11) eines Bilderfassungssensors (1, 2) verläuft.15. Stereocamera system according to claim 14, characterized in that in each case the optical axis of an optical system (8, 9) through the center of the image sensing area (10, 11) of an image detection sensor (1, 2).
16. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungssensoren (1, 2) i- dentisch sind und/oder dass die Optiken (8, 9) identisch sind.16. Stereo camera system according to one of the preceding claims, characterized in that the image-detecting sensors (1, 2) are identical and / or that the optics (8, 9) are identical.
17. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Stereokamerasystem ein Gehäuse hat, dass die Platine (3) und die mit der Platine (3) verbundenen Bauteile (1, 2, 5, 28) umhüllt. 17. Stereo camera system according to one of the preceding claims, characterized in that the stereo camera system has a housing that the circuit board (3) and the circuit board (3) connected components (1, 2, 5, 28) envelops.
EP09781178A 2008-07-28 2009-07-28 Stereo camera system Withdrawn EP2308237A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008035150A DE102008035150A1 (en) 2008-07-28 2008-07-28 Stereo Camera System
PCT/EP2009/059729 WO2010012722A1 (en) 2008-07-28 2009-07-28 Stereo camera system

Publications (1)

Publication Number Publication Date
EP2308237A1 true EP2308237A1 (en) 2011-04-13

Family

ID=41138784

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09781178A Withdrawn EP2308237A1 (en) 2008-07-28 2009-07-28 Stereo camera system

Country Status (9)

Country Link
US (1) US20110175987A1 (en)
EP (1) EP2308237A1 (en)
JP (1) JP2011529313A (en)
KR (1) KR20120068747A (en)
CN (1) CN102113333A (en)
BR (1) BRPI0916439A2 (en)
CA (1) CA2731904A1 (en)
DE (1) DE102008035150A1 (en)
WO (1) WO2010012722A1 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012000630B4 (en) 2012-01-14 2020-08-13 Volkswagen Aktiengesellschaft System for detecting an obstacle for a vehicle and a vehicle having a system for detecting an obstacle
DE102012014994B4 (en) 2012-07-28 2024-02-22 Volkswagen Aktiengesellschaft Image processing method for a digital stereo camera arrangement
CN103197424B (en) * 2013-03-08 2016-09-28 深圳奥比中光科技有限公司 Digital picture relevant apparatus based on orthogonal vision
DE102013102820A1 (en) * 2013-03-19 2014-09-25 Conti Temic Microelectronic Gmbh Stereo camera module and method of manufacture
JP2015023053A (en) 2013-07-16 2015-02-02 株式会社リコー Electromechanical conversion element, liquid droplet discharge head, liquid droplet discharge device, image forming apparatus, and manufacturing method of electromechanical conversion element
FR3042610B1 (en) * 2015-10-14 2018-09-07 Quantificare DEVICE AND METHOD FOR RECONSTRUCTING THE HEAD AND BODY INTO THREE DIMENSIONS
CN107295225B (en) * 2016-04-12 2020-07-10 三星电机株式会社 Camera module
US10237475B2 (en) * 2017-01-15 2019-03-19 Asia Vital Components Co., Ltd. Camera module
KR102306911B1 (en) * 2017-03-30 2021-09-30 엘지이노텍 주식회사 Dual lens driving device and camera module
CN110462509B (en) 2017-03-30 2022-04-15 Lg伊诺特有限公司 Double-lens driving device and camera module
CN107302696A (en) * 2017-08-10 2017-10-27 郑州金润高科电子有限公司 Binocular camera and the image measuring method based on it
CN107529001B (en) * 2017-08-28 2020-07-24 信利光电股份有限公司 Double-camera module carrying and aligning method
CN107872664A (en) * 2017-11-21 2018-04-03 上海兴芯微电子科技有限公司 A kind of 3-D imaging system and 3-D view construction method
KR102597823B1 (en) * 2019-06-11 2023-11-03 엘지전자 주식회사 dust measuring device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8421783D0 (en) 1984-08-29 1984-10-03 Atomic Energy Authority Uk Stereo camera
JPH08194189A (en) * 1995-01-19 1996-07-30 Olympus Optical Co Ltd Stereoscopic image reproducing device
DE19633868A1 (en) 1996-08-16 1998-04-23 Deutsch Zentr Luft & Raumfahrt Stereo camera for photogrammetry
DE19727999A1 (en) 1997-07-01 1999-01-07 Guenther Richter Stereo camera using two full electronic cameras
DE19905452C2 (en) 1999-02-09 2001-02-22 Deutsch Zentr Luft & Raumfahrt Digital stereo camera
US7683926B2 (en) * 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
US6392688B1 (en) * 1999-10-04 2002-05-21 Point Grey Research Inc. High accuracy stereo vision camera system
DE10033355B4 (en) 2000-07-08 2011-05-19 Carl Zeiss Surgical Gmbh Camera, especially stereo camera
DE10326425B4 (en) * 2003-06-10 2008-12-11 Bayerische Motoren Werke Aktiengesellschaft Device for spatial image acquisition
US7196719B2 (en) * 2004-07-16 2007-03-27 Vision Robotics Corporation Angled axis machine vision system and method
EP1646249A1 (en) * 2004-10-08 2006-04-12 Dialog Semiconductor GmbH Single chip stereo image pick-up system with dual array design
DE102004062275A1 (en) 2004-12-23 2006-07-13 Aglaia Gmbh Method and device for determining a calibration parameter of a stereo camera
JP2006214735A (en) * 2005-02-01 2006-08-17 Viewplus Inc Compound stereo vision device
US8081207B2 (en) * 2006-06-06 2011-12-20 Point Grey Research Inc. High accuracy stereo camera
JP4452951B2 (en) * 2006-11-02 2010-04-21 富士フイルム株式会社 Distance image generation method and apparatus
JP2008153997A (en) * 2006-12-18 2008-07-03 Matsushita Electric Ind Co Ltd Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid-state imaging device
JP4714176B2 (en) * 2007-03-29 2011-06-29 富士フイルム株式会社 Stereoscopic apparatus and optical axis adjustment method
EP2153641B2 (en) * 2007-04-13 2021-10-27 Ari M. Presler Digital cinema camera system for recording, editing and visualizing images
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010012722A1 *

Also Published As

Publication number Publication date
US20110175987A1 (en) 2011-07-21
KR20120068747A (en) 2012-06-27
BRPI0916439A2 (en) 2016-02-16
CA2731904A1 (en) 2010-02-04
DE102008035150A1 (en) 2010-02-04
CN102113333A (en) 2011-06-29
JP2011529313A (en) 2011-12-01
WO2010012722A1 (en) 2010-02-04

Similar Documents

Publication Publication Date Title
EP2308237A1 (en) Stereo camera system
DE3728652C2 (en) ENDOSCOPE TIP
DE102010030859B4 (en) A method of inspecting a target mounted on a substrate
DE112011100269T5 (en) A circuit-board
WO2012163341A1 (en) Camera system for a vehicle
DE112007000658T5 (en) Camera module and method for its assembly
DE102012107629A1 (en) Camera module housing with built-in conductive traces to accommodate stacked wafers using flip-chip connections
EP0023574A1 (en) Opto-electronic system for automatically testing the quality of printed-circuit boards, their intermediate products and printing tools
WO2009003725A2 (en) Document recording system, and document recording method
DE102009012758A1 (en) Device and method for detecting at least one object
DE102006043882A1 (en) Sensor for analyzing a document of value and method for producing the sensor
DE102009017695B3 (en) Method for inspecting solder joints on electrical and electronic components
DE202021101693U1 (en) Photoelectric sensor for detecting an object
DE10344767B4 (en) Optical module and optical system
DE102008023851A1 (en) Image acquisition device for use in e.g. driver assistance system, for detecting surroundings of vehicle, has electronic interconnecting devices interconnected with each other by connectors, and image acquisition units arranged at devices
EP2040097B1 (en) Optoelectronic sensor
EP0301255A1 (en) Three-dimensional position recognition of component pins for automatic insertion
DE10132235A1 (en) Solid-state imaging device manufacturing method incorporates electrical imaging testing function
DE102013205160A1 (en) Camera system, in particular for a vehicle, and method for its production
EP2768701A1 (en) Optical device for a vehicle
DE102018218745B4 (en) Camera device, driver assistance system and vehicle
EP1456602B1 (en) Sensor for the visual position detection (component, substrate) comprising a modular lighting device
DE102018100059A1 (en) imaging device
DE102016112197B4 (en) A method and apparatus for stereoscopically determining information regarding the elevation of the front of a port
DE19944721A1 (en) Electronic component position adjustment apparatus used for mounting components on printed circuit board, includes photodetector that receives light from lens and detects side video of electronic component

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110215

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

AX Request for extension of the european patent

Extension state: AL BA RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20130806

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20131217