EP4699301A1 - Vorrichtung und verfahren zum testen eines kamerabasierten assistenzsystems sowie kalibrierverfahren - Google Patents

Vorrichtung und verfahren zum testen eines kamerabasierten assistenzsystems sowie kalibrierverfahren

Info

Publication number
EP4699301A1
EP4699301A1 EP24720137.9A EP24720137A EP4699301A1 EP 4699301 A1 EP4699301 A1 EP 4699301A1 EP 24720137 A EP24720137 A EP 24720137A EP 4699301 A1 EP4699301 A1 EP 4699301A1
Authority
EP
European Patent Office
Prior art keywords
camera
assistance system
display surface
base body
curvature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24720137.9A
Other languages
English (en)
French (fr)
Inventor
Michael Kirjanov
Danish SHAHZAD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Setes GmbH
Original Assignee
Setes GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Setes GmbH filed Critical Setes GmbH
Publication of EP4699301A1 publication Critical patent/EP4699301A1/de
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G01M11/0264—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested by using targets or reference patterns

Definitions

  • the invention relates to a device for testing a camera-based assistance system of a product, in particular a camera-based assistance system of a motor vehicle, which comprises a partially concave base body that can be attached to the product and which has a display surface in a curvature of the concave region of the base body, on which a test situation that can be captured by a camera of a camera-based assistance system to be tested can be displayed.
  • the invention relates to a method for testing a camera-based assistance system of a product, in particular for testing a camera-based assistance system of a motor vehicle, in which a test situation that can be captured by a camera of the camera-based assistance system to be tested is displayed on a curved display surface in a curvature of a concave region of a partially concave base body that is attached to the product.
  • the invention also relates to a method for calibrating a method for testing a camera-based assistance system.
  • a camera-based assistance system is a system that evaluates images or sequences of images from a camera and uses these images or sequences of images to make a decision about an assistance action.
  • an assistance action would be, for example, an emergency braking maneuver, which is initiated when an emergency braking assistant recognizes an object in an image that the motor vehicle is moving toward.
  • a product that has a camera-based assistance system can be a motor vehicle, a motorcycle or a truck that is equipped with driver assistance systems for side collision warning, collision warning, a so-called distance cruise control or a parking assistant, that is, in particular, with a camera-based assistance system for person and/or object recognition.
  • Such a product can also be a military detection system that can be used, for example, to monitor the sky and warn of approaching flying objects and that has a camera-based assistance system for detecting flying objects.
  • a product is an industrial robot that is equipped with a camera-based assistance system and can, for example, detect and sort out defective parts in an industrial manufacturing process.
  • a test situation is an image or sequence of images that can be captured by the assistance system's camera.
  • ISO 26262:2018 (version 12/2018) is relevant for the development and validation of driver assistance systems, for example for automated vehicles.
  • this standard specifies that standardized test situations must be checked reproducibly in order to test an assistance system. To do this, an assistance system is given a standardized test situation and its reaction is checked. If the reaction corresponds to the expected reaction, the assistance system has passed the test. If the reaction to the test situation does not correspond to the expected reaction, the assistance system has failed the test.
  • a test situation can, for example, be a situation in which a camera-based emergency braking assistant of a motor vehicle must detect an obstacle in order to initiate emergency braking.
  • test procedures are known from the state of the art in which a camera of an assistance system to be tested is shown a film projected onto a flat screen, which consists of a sequence of virtual, affine images, as a test situation in which a dangerous situation such as a side collision occurs.
  • the disadvantages of this test procedure are the high level of effort and the limited field of view of the camera of the camera-based assistance system to be tested, which is limited horizontally to 50 to 70 degrees and usually deviates from the actual field of view of the camera.
  • the field of view of a camera is an area that can be captured by the camera and within which events or changes can be perceived.
  • the field of view corresponds to refers to the camera's detection range, which is determined by a camera lens system.
  • the present invention is based on the object of creating a test device of the type mentioned at the beginning that is particularly compact.
  • the invention is also based on the object of creating a test device that is portable and particularly easy to handle.
  • the invention is also based on the object of creating a test device with which camera-based assistance systems with short-angle cameras or with wide-angle cameras can be tested using virtual or real images or a sequence of such images.
  • the object is achieved in that the display surface is curved.
  • the base body which is concave in some areas, can be attached to the product whose camera-based assistance system is to be tested in such a way that a camera of the camera-based assistance system to be tested is covered by the base body and detects a concave area.
  • the display surface is curved creates a particularly compact test device in which the camera of the assistance system to be tested still has a detection field that advantageously enables a simulation of a real use of the assistance system for test purposes.
  • the partially concave base body is preferably 3D printed or injection molded. It has proven to be advantageous if the base body is made of plastic.
  • the base body can in particular have the shape of a spherical shell section or a hemispherical shell section at least in some regions, thereby advantageously creating a particularly compact device with a thin-walled base body.
  • the present invention is also based on the object of creating a test method of the type mentioned above, by means of which a particularly simple and precise testing of a camera-based assistance system is possible.
  • the invention is based on the object of creating a standardized test procedure.
  • this object is achieved in that the test situation is displayed on the curved display surface in such a way that the test situation is captured by the camera of the assistance system to be tested as the original field of view of the camera.
  • the original field of view is the field of view of the camera without being covered by the partially concave base body, i.e. the field of view that the camera has when the assistance system is operating.
  • test situation is shown on the display surface which gives the assistance system the impression that the camera is capturing its original field of view.
  • the display surface is curved and, due to the nature of the device, is close to the camera, a transformation of a test situation is required before it is displayed on the display screen in order to compensate for the curvature of the display surface and its spatial proximity to the camera.
  • image processing in the sense of the present invention, a perspectively correct representation of an image displayed on the curved display surface is achieved, taking into account the geometric properties of the base body and taking into account camera parameters. If a flat image is distorted by image processing, This is known as image warping, which belongs to the field of image processing.
  • the invention is further based on the object of creating a calibration method of the type mentioned at the outset, by means of which a test method can be calibrated particularly precisely.
  • This object is achieved according to the invention in that a spatial arrangement and/or orientation of the camera of the assistance system to be tested is determined relative to the curved display surface, wherein the spatial arrangement and/or orientation of the camera is used to create the digital output image.
  • a real or a virtual image or a sequence of real images or virtual images is displayed as a test situation on the curved display surface.
  • Real images can be, for example, optical recordings of a camera car ride, while virtual images can be computer-generated, artificially created images. Test situations can advantageously be created without real images. This makes the test method according to the invention particularly easy to adapt to different applications.
  • the curved display surface is arranged in the curvature of the partially concave base body, or the curved display surface is formed by the curvature of the partially concave base body.
  • a separate display surface such as a screen is not absolutely necessary.
  • the advantage is that a device is created that is easy to manufacture and easy to handle.
  • the display surface can also be formed by only one area of the curvature.
  • the curvature of the partially concave base body is at least partially spherical segment-shaped, preferably partially hemispherical.
  • a partially spherical segment-shaped curvature is one that can be created, for example, when a spherical segment is pressed into a solid material to form the curvature.
  • the curvature is partially hemispherical and forms a curved display surface, it is possible to test a camera-based assistance system whose camera has a particularly wide field of view, for example a wide-angle camera or a so-called fisheye camera.
  • the partially hemispherical curvature enables a horizontal field of view of up to 180 degrees.
  • the curvature which is preferably spherical segment-shaped or hemispherical, forms a field of view of a camera of an assistance system to be tested during a test.
  • the camera does not capture its original field of view, but rather a test field of view that is limited by the curvature.
  • a digital output image is created from a digital input image, which is a digital image of the original field of view of the camera of the assistance system, based on parameters of the camera and/or parameters of the curved display surface, which is displayed on the display surface.
  • test methods known from the prior art project a standardized test situation onto a flat screen
  • a test method according to the invention adapts the test situation to the curved display surface and/or camera parameters in such a way that the camera has the impression that it is capturing its original field of view. This means that the camera captures the test situation displayed on the curved display surface as if it were a situation without the device according to the invention.
  • a particularly reliable test of the camera-based assistance system is advantageously possible. especially since technical camera parameters such as focal length or its actual field of view are taken into account in addition to the geometric parameters of the partially concave base body and the curved display surface.
  • a test under test conditions that are as realistic as possible is advantageous. Tests with distorting standard test situations with a possibly restricted field of view are no longer necessary.
  • a calibration is expediently carried out based on technical parameters of a camera of the camera-based assistance system of a product and its relative position and/or orientation to the curved display surface.
  • the device comprises a calibration device with which a position and/or orientation of a camera of the camera-based assistance system relative to the curved display surface can be determined, wherein the calibration device preferably has a stereo camera.
  • a calibration device determines the alignment and/or position of the camera relative to the base body. These values are relevant for creating digital output images, as they ensure that the camera is shown its actual, flat field of view during a test despite the test device.
  • geometric parameters of the display surface, camera parameters and/or geometric parameters of the partially concave base body it can be ensured that the camera of the assistance system to be tested is shown its original, flat field of view on the curved display surface during a test.
  • the device has a detachable fastening means by means of which the partially concave base body can be fixedly and detachably attached to a product to be tested, wherein the fastening means in particular has a suction cup.
  • the base body can advantageously be attached to various products. It does not matter whether a front, rear or side camera of a motor vehicle is surrounded by the base body, a camera of an industrial robot or a camera of another product. If the fastening device has a suction cup, it can be removed without leaving any residue after a test. A suction cup, especially one with an adjustable suction cup arm, can also be mounted and dismounted several times in a precise position.
  • the device expediently has a digital projector, which is preferably arranged outside the curvature of the partially concave base body.
  • a digital projector can project a test situation onto the curved display surface using a standard product.
  • the digital projector is attached to the outside of the base body. This advantageously creates a device that is easy to handle.
  • the device comprises an optical means for deflecting light from a light source of a digital projector, wherein the optical means is designed such that the light from the light source is deflected from an outer side of the partially concave base body into a curvature of the partially concave base body.
  • a particularly simple, modular device in which the digital projector can be arranged on the outside of the base body and can still display a test situation on a curved display surface in the curvature.
  • the optical means comprises a deflection mirror which is arranged in the region of the digital projector and preferably outside the curvature of the partially concave base body.
  • a device is created whose individual components are particularly easy to access.
  • the device is advantageously particularly easy to maintain.
  • the deflection mirror can be mounted on a side facing away from the curvature, for example between the digital projector and the partially concave base body.
  • the optical means expediently comprises a curved mirror which is arranged in the curvature of the partially concave base body or in the region of the curvature outside the partially concave base body and which is designed to reflect light from a light source of the digital projector to create the image captured by the camera of the camera- based assistance system to be recorded onto the curved display surface.
  • a horizontal field of view and a vertical field of view of up to 180 degrees can be created.
  • the field of view of the camera of the camera-based assistance system to be tested is adjusted during calibration.
  • the camera is shown an image on the curved display surface that corresponds to an image according to its original field of view.
  • Fig. 1 shows an embodiment of a device according to the invention
  • Fig. 2 shows an embodiment of a test and calibration method according to the invention.
  • a device 1 shown in an exploded view in Fig. 1a for testing a camera-based assistance system of a motor vehicle 2 shown in detail in Fig. 1d, to which the device 1 according to the invention is attached, comprises a partially concave base body 3 which has a partially hemispherical curvature 4 which forms a curved display surface 5.
  • the curved display surface 5 is a projection surface onto which a test situation can be projected by a digital projector 6, which is attached to the outside of the partially concave base body 3 by a holding device 7.
  • the curved display surface 5 forms a field of view of a camera (not shown in Fig. 1 a) of the assistance system to be tested during a test.
  • the base body 3 also comprises a flat deflection area 8.
  • Light emanating from the digital projector 6, not shown in Fig. 1, is deflected by an optical means 9, which comprises a deflection mirror 10 and a curved mirror 11, which is mounted in the flat deflection area 10, onto the curved display surface 5 and creates the test situation there.
  • an opening 12 is provided in the partially concave base body 3, through which the light can enter the curvature 4 from outside the base body 2.
  • a detachable fastening means 13 is attached to the partially concave base body 3, wherein the detachable fastening means 13 comprises several suction cups 14, of which each suction cup 14 has an adjustable suction cup arm 15.
  • the partially concave base body 3 can be detachably fastened, for example, to a windshield 16 of the motor vehicle 2 shown in detail in Fig. 1 b in such a way that the curvature 4 is covered by a windshield 16 of the motor vehicle 2.
  • the suction cups 14 in Fig. 1 d are folded away from the windshield 18 and do not rest against it.
  • a calibration device 17 arranged in a curvature 4 of the partially concave base body 3 in Fig. 1 b and shown in detail in Fig. 1 c has a convex base 18 and a partially convex holding arm 19 formed integrally thereon, which extends perpendicularly from the base 18.
  • a curvature 20 of the partially convex holding arm 19 and that of a convex section 21 of the base 18 are designed in such a way that the curvature 20 and the convex section 21 can be placed over their entire surface against the curvature 4 of the base body 3. This advantageously ensures that they are arranged in a repeatable, precise position.
  • a stereo camera 22 is attached to an end of the holding arm 19 facing away from the base 18, with the aid of which a position and an orientation of a camera of an assistance system of a product can be determined.
  • the calibration device 17 is mounted in the flat deflection region 8 as shown in Fig. 1 b such that both the partially convex holding arm 19 and the convex section 21 of the base 18 rest completely against the curvature 4 of the base body 3.
  • a spatial position and an orientation as well as an arrangement of a front camera (not shown in Fig. 1 d) of a camera-based assistance system of the motor vehicle 2 relative to the curved base body 3 and the curved display surface 5 are determined.
  • a device 1 according to the invention is attached to the motor vehicle 2 shown in Fig. 1d.
  • the partially concave base body 3 with a contact surface 23, which is formed by a front side 24 of the partially concave base body 3 and a rear side 25 of the curved mirror 12 and which delimits the curvature 4 rests against a windshield 16 of the motor vehicle 2 in such a way that a field of view of the front camera is delimited by the curved display surface 5, i.e. the front camera looks into the curvature 4.
  • a calibration method according to the invention and a test method according to the invention are explained below using the example of a camera-based assistance system of a motor vehicle.
  • a calibration device designated 17 in Fig. 1 is introduced into a curvature 4 of a partially concave base body 3 of a device 1 according to the invention and the base body is attached to a windshield of a motor vehicle.
  • a digital, camera parameter-independent test image which can be a 180x180-degree test image, is displayed on a curved display surface.
  • geometric boundaries such as a field of view of a camera of an assistance system to be tested can be determined within the curvature.
  • test image was created by so-called image warping, in which a flat test image for a known camera position was converted into a distorted representation on a curved display surface.
  • a 180x180 degree test pattern is a reference test pattern that would extend entirely over a hemispherical curvature and whose distortion is mathematically known compared to a flat version of the test pattern when displayed on a flat display surface.
  • a field of view of the camera of the assistance system to be tested and its focal length are calibrated to the curved display surface from the digital test image with known distortion parameters and technical parameters of the camera.
  • This method step is a so-called field of view adjustment, in which a field of view of the camera into the curvature and an original field of view of the camera when looking at a flat surface are linked together by so-called image warping.
  • a stereo camera of the calibration device takes an image of the front camera of the assistance system and transfers it to an evaluation unit such as a PC, which uses this to determine geometric parameters such as a position and orientation of the fixed front camera relative to the partially concave base body, in particular with respect to a relative position and orientation to the curved display surface.
  • an assistance system comprises more than one camera, with the multiple cameras arranged linearly offset from one another.
  • the distortion parameters determined in method steps 210 and 220 are corrected by taking into account an actual camera position and orientation in relation to the curved display surface, i.e. the test image is adapted to the actual position of the camera of the driver assistance system.
  • Method step 230 ensures that the camera of the assistance system to be tested, depending on its actual position when looking into the curvature of the partially concave base body, is shown a field of view that corresponds to its original field of view when viewed outside the test situation.
  • the device is now ready for testing a camera-based assistance system.
  • a digital input image which is a digital image of an original field of view of a camera of an assistance system of the motor vehicle to be tested, is read into an evaluation unit.
  • a second method step 310 the read digital input image is converted into a distorted digital output image by means of so-called image processing, using data from the calibration.
  • the distorted digital output image is projected by a digital projector onto the curved display surface. Due to the consideration of the geometric parameters of the curved base body and technical data of the camera, the distorted digital output image when displayed on the curved display surface is such that it is perceived by the camera of the assistance system to be tested as the original field of view, i.e. a flat image, in the test situation.
  • a digital input image transformed into a distorted digital output image is projected onto the curved display surface, resulting in a reverse transformation so that, despite the restricted field of view, the camera captures a field of view that corresponds to the camera's original field of view when the base body is placed on it, whereby a relative position and orientation of the camera in relation to the curved display surface is taken into account in accordance with calibration.
  • Process steps 300 to 320 are repeated for each image in a sequence of images, so that the camera of the assistance system to be tested captures a sequence of images in the manner of a film.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (1) zum Testen eines kamerabasierten Assistenzsystems eines Erzeugnisses (2), insbesondere eines kamerabasierten Assistenzsystems eines Kraftfahrzeugs, die einen bereichsweise konkaven, an dem Erzeugnis (2) anbringbaren Grundkörper (3) umfasst, der in einer Wölbung (4) eines konkaven Bereichs des Grundkörpers (3) eine Anzeigefläche (5) aufweist, auf der eine von einer Kamera eines zu testenden kamerabasierten Assistenzsystems erfassbare Testsituation anzeigbar ist Zweckmäßigerweise ist die Anzeigefläche (5) gekrümmt. Ferner betrifft die Erfindung ein Verfahren zum Testen eines kamerabasierten Assistenzsystems eines Erzeugnisses (2) und ein Verfahren zur Kalibrierung eines Verfahrens zum Testen eines kamerabasierten Assistenzsystems eines Erzeugnisses.

Description

Beschreibung:
SETES GmbH, 66121 Saarbrücken (Deutschland)
„Vorrichtung und Verfahren zum Testen eines kamerabasierten Assistenzsystems sowie Kalibrierverfahren“
Die Erfindung betrifft eine Vorrichtung zum Testen eines kamerabasierten Assistenzsystems eines Erzeugnisses, insbesondere eines kamerabasierten Assistenzsystems eines Kraftfahrzeugs, die einen bereichsweise konkaven, an dem Erzeugnis anbringbaren Grundkörper umfasst, der in einer Wölbung des konkaven Bereichs des Grundkörpers eine Anzeigefläche aufweist, auf der eine von einer Kamera eines zu testenden kamerabasierten Assistenzsystems erfassbare Testsituation anzeigbar ist.
Ferner betrifft die Erfindung ein Verfahren zum Testen eines kamerabasierten Assistenzsystems eines Erzeugnisses, insbesondere zum Testen eines kamerabasierten Assistenzsystems eines Kraftfahrzeugs, bei dem auf einer gekrümmten Anzeigefläche in einer Wölbung eines konkaven Bereichs eines bereichsweise konkaven Grundkörpers, der an dem Erzeugnis angebracht ist, eine von einer Kamera des zu testenden kamerabasierten Assistenzsystems erfassbare Testsituation angezeigt wird.
Die Erfindung betrifft außerdem ein Verfahren zur Kalibrierung eines Verfahrens zum Testen eines kamerabasierten Assistenzsystems.
Ein kamerabasiertes Assistenzsystem ist ein System, welches Bilder oder Bildfolgen einer Kamera auswertet und anhand dieser Bilder oder Bildfolgen eine Entscheidung über eine Assistenzhandlung trifft. Bei einem Kraftfahrzeug wäre eine Assistenzhandlung beispielsweise eine Notbremsung, die eingeleitet wird, wenn ein Notbremsassistent auf einem Bild ein Objekt erkennt, auf das sich das Kraftfahrzeug zubewegt.
Ein Erzeugnis, das ein kamerabasiertes Assistenzsystem aufweist, kann ein Kraftfahrzeug, ein Motorrad oder ein Lastkraftwagen sein, das bzw. der beispielsweise mit Fahrassistenzsystemen zur Seitenwarnkollision, zur Auffahrwarnung, mit einem sogenannten Abstands- tempomaten oder einem Parkassistenten ausgestattet ist, das heißt insbesondere mit einem kamerabasierten Assistenzsystem zur Personen- und/oder Objekterkennung.
Ein solches Erzeugnis kann auch ein militärisches Erfassungssystem sein, das beispielsweise zur Überwachung des Himmels einsetzbar ist, und vor anfliegenden Flugobjekten warnen kann, und das ein kamerabasiertes Assistenzsystem zur Erkennung von Flugobjekten aufweist.
Denkbar ist, dass ein Erzeugnis ein Industrieroboter ist, der mit einem kamerabasierten Assistenzsystem ausgestattet ist, und beispielsweise Ausschussteile in einem industriellen Fertigungsprozess erkennen und aussortieren kann.
Eine Testsituation ist ein Bild oder eine Bilderfolge, das bzw. die von der Kamera des Assistenzsystems erfasst werden kann.
Bei Entwicklung und Validierung von Fahrassistenzsystemen, beispielsweise für automatisiert fahrende Fahrzeuge, ist die ISO 26262:2018 (Fassung 12/2018) einschlägig. In dieser Norm wird unter anderem festgelegt, dass zum Testen eines Assistenzsystems standardisierte Testsituationen reproduzierbar überprüft werden müssen. Dazu wird einem Assistenzsystem eine standardisierte Testsituation vorgegeben und dessen Reaktion überprüft. Entspricht die Reaktion der erwarteten Reaktion, hat das Assistenzsystem den Test bestanden. Entspricht die Reaktion auf die Testsituation nicht der erwarteten Reaktion, hat das Assistenzsystem den Test nicht bestanden.
Eine Testsituation kann beispielsweise eine Situation sein, in der ein kamerabasierter Notbremsassistent eines Kraftfahrzeugs ein Hindernis erkennen muss, um eine Notbremsung einleiten zu können.
Bisher sind aus dem Stand der Technik Testverfahren bekannt, bei denen einer Kamera eines zu testenden Assistenzsystems ein auf eine ebene Leinwand projizierten Film, der aus einer Abfolge virtueller, affiner Bilder besteht, als Testsituation, in der eine Gefahrensituation wie eine Seitenkollision vorkommt, vorgeführt wird.
Nachteilig bei diesem Testverfahren sind der hohe Aufwand und das eingeschränkte Sichtfeld der Kamera des zu testenden kamerabasierten Assistenzsystems, das horizontal auf 50 bis 70 Grad begrenzt ist, und üblicherweise vom tatsächlichen Sichtfeld der Kamera abweicht. Das Sichtfeld einer Kamera ist ein von der Kamera erfassbarer Bereich, innerhalb dessen Ereignisse oder Veränderungen wahrgenommen werden können. Das Sichtfeld ent- spricht dem Erfassungsbereich der Kamera, der durch ein Linsensystem der Kamera festgelegt wird.
Außerdem ist bekannt, virtuelle Testsituationen, beispielsweise virtuelle Bilder, unmittelbar in den CAN-Bus eines Fahrassistenzsystems einzuspeisen und auf diese Art das Assistenzsystem zu testen. Eine Testung unter Einbeziehung der Kamera ist dies jedoch nicht.
Bei bisher bekannten Verfahren werden zum Testen der kamerabasierten Assistenzsysteme beispielsweise virtuelle oder affine Bilder verwendet, die nicht das tatsächliche Sichtfeld einer Kamera eines zu testenden Assistenzsystems berücksichtigen. Auch bleiben technische Parameter der Kamera unberücksichtigt oder werden lediglich geschätzt.
Insbesondere im Bereich der Fahrassistenzsysteme von Kraftfahrzeugen kann es zu erheblichen Abweichungen bei der Einschätzung einer Gefahrensituation durch ein Assistenzsystem kommen, das mit virtuellen Bildern oder Bildfolgen getestet wird, jedoch bei Verwendung im Betrieb des Kraftfahrzeugs auf realen Kamerabildern Gefahrensituationen erkennen muss.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Testvorrichtung der eingangs genannten Art zu schaffen, die besonders kompakt ausgebildet ist. Außerdem liegt der Erfindung die Aufgabe zugrunde, eine Testvorrichtung zu schaffen, die transportabel und besonders einfach zu handhaben ist.
Der Erfindung liegt außerdem die Aufgabe zugrunde, eine Testvorrichtung zu schaffen, mit der kamerabasierte Assistenzsysteme mit Kurzwinkelkameras oder mit Weitwinkelkameras anhand von virtuellen oder realen Bildern oder einer Abfolge von solchen Bildern getestet werden können.
Erfindungsgemäß wird die Aufgabe dadurch gelöst, dass die Anzeigefläche gekrümmt ist. Der bereichsweise konkave Grundkörper kann an dem Erzeugnis, dessen kamerabasiertes Assistenzsystem getestet werden soll, derart angebracht werden, dass eine Kamera des zu testenden kamerabasierten Assistenzsystems von dem Grundkörper abgedeckt ist und ein- nen konkaven Bereich erfasst.
Dadurch, dass die Anzeigefläche gekrümmt ist, wird eine besonders kompakte Testvorrichtung geschaffen, bei der die Kamera des zu testenden Assistenzsystems dennoch ein Erfassungsfeld hat, das vorteilhaft zu Testzwecken eine Simulation eines realen Einsatzes des Assistenzsystems ermöglicht.
Der bereichsweise konkave Grundkörper ist vorzugsweise 3D-gedruckt oder spritzgegossen. Es hat sich als vorteilhaft herausgestellt, wenn der Grundkörper aus einem Kunststoff hergestellt ist.
Der Grundkörper kann insbesondere zumindest bereichsweise die Form eines Kugelschalenabschnitts oder eines Halbkugelschalenabschnitts aufweisen, wodurch vorteilhaft eine besonders kompakte Vorrichtung mit einem dünnwandigen Grundkörper geschaffen wird.
Der vorliegenden Erfindung liegt außerdem die Aufgabe zugrunde, ein Testverfahren der eingangs genannten Art zu schaffen, durch das ein besonders einfaches und genaues Testen eines kamerabasierten Assistenzsystems möglich ist.
Ferner liegt der Erfindung die Aufgabe zugrunde, ein standardisiertes Testverfahren zu schaffen.
Erfindungsgemäß wird diese Aufgabe dadurch gelöst, dass die Testsituation derart auf der gekrümmten Anzeigefläche angezeigt wird, dass die Testsituation von der Kamera des zu testenden Assistenzsystems als ursprüngliches Sichtfeld der Kamera erfasst wird.
Das ursprüngliche Sichtfeld ist das Sichtfeld der Kamera ohne Abdeckung durch den bereichsweise konkaven Grundkörper, das heißt das Sichtfeld, das die Kamera bei Betrieb des Assistenzsystems aufweist.
Damit trotz des eingeschränkten, also vorrichtungsbedingt verkleinerten tatsächlichen Sichtfeldes der Kamera, die in die Wölbung des konkaven Bereichs des Grundkörpers gerichtet ist, eine realistische Testsituation geschaffen werden kann, wird auf der Anzeigefläche eine Testsituation angezeigt, die dem Assistenzsystem den Eindruck vermittelt, als erfasste die Kamera ihr ursprüngliches Sichtfeld.
Dadurch, dass die Anzeigefläche gekrümmt und vorrichtungsbedingt nah an der Kamera ist, ist eine Transformation einer Testsituation vor deren Anzeige auf dem Anzeigebildschirm erforderlich, um eine Krümmung der Anzeigefläche und deren räumliche Nähe zur Kamera auszugleichen.
Zur Erstellung einer transformierten, beispielsweise verzerrten Testsituation kann der Fachmann auf bekannte Verfahren des sogenannten Image Processings zurückgreifen. Beim Image Processing im Sinne der vorliegenden Erfindung werden insbesondere eine perspektivisch korrekte Darstellung eines auf der gekrümmten Anzeigefläche angezeigten Bildes unter Berücksichtigung von geometrischen Eigenschaften des Grundkörpers und unter Berücksichtigung von Kameraparametern erreicht. Wird ein ebenes Bild durch Image Processing ver- zerrt, spricht man vom sogenannten Image Warping, das zum Gebiet des Image Processings gehört.
Der Erfindung liegt ferner die Aufgabe zugrunde, ein Kalibrierverfahren der eingangs genannten Art zu schaffen, durch das ein Testverfahren besonders genau kalibriert werden kann.
Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass eine räumliche Anordnung und/ oder Ausrichtung der Kamera des zu testenden Assistenzsystems relativ zu der gekrümmten Anzeigefläche bestimmt wird, wobei die räumliche Anordnung und/oder Ausrichtung der Kamera zur Erstellung des digitalen Ausgangsbildes verwendet wird.
Zweckmäßigerweise wird als Testsituation auf der gekrümmten Anzeigefläche ein Bild oder eine Abfolge von Bildern angezeigt.
Es hat sich als zweckmäßig herausgestellt, dass zum Testen eines Assistenzsystems ein einzelnes Bild oder eine Abfolge von Bilder in der Art eines Films abgespielt wird, wobei das einzelne Bild oder die Bilderabfolge eine reale Benutzungssituation wie eine Autofahrt aus Kamerasicht zeigt. In eine Abfolge von Bildern können Bilder eingebracht sein, die eine besondere Testsituation zeigen, in der ein Eingriff des Assistenzsystems erforderlich ist.
In einer Ausgestaltung der Erfindung wird als Testsituation auf der gekrümmten Anzeigefläche ein reales oder ein virtuelles Bild oder eine Abfolge realer Bilder oder virtueller Bilder angezeigt.
Reale Bilder können beispielsweise optische Aufnahmen einer Kameraautofahrt sein, während virtuelle Bilder computergenerierte, künstlich geschaffene Bilder sein können. Vorteilhaft können Testsituationen ohne reale Bilder erstellt werden. Dadurch ist das erfindungsgemäße Testverfahren besonders leicht an verschiedene Verwendungsfälle anpassbar.
Zweckmäßigerweise ist die gekrümmte Anzeigefläche in der Wölbung des bereichsweise konkaven Grundkörpers angeordnet, oder die gekrümmte Anzeigefläche ist von der Wölbung des bereichsweise konkaven Grundkörpers gebildet.
Eine gesonderte Anzeigefläche wie eine Leinwand ist nicht unbedingt erforderlich. Vorteilhaft wird eine einfach herzustellende und einfach handhabbare Vorrichtung geschaffen.
Es versteht sich, dass die Anzeigefläche auch lediglich von einem Bereich der Wölbung gebildet sein kann. In einer Ausgestaltung der Erfindung ist die Wölbung des bereichsweise konkaven Grundkörpers zumindest bereichsweise kugelsegmentförmig, vorzugsweise bereichsweise halbkugelförmig.
Eine bereichsweise kugelsegmentförmige Wölbung ist eine solche, die beispielsweise geschaffen werden kann, wenn ein Kugelsegment zur Ausbildung der Wölbung in ein Vollmaterial hineingedrückt wird.
Bei einer bereichsweise kugelsegmentförmigen Wölbung, die eine gekrümmte Anzeigefläche bildet, ist eine Transformation eines ebenen Bildes auf die Wölbung mittels des sogenannten Image Processing aufgrund der hohen Symmetrie mit verhältnismäßig geringem Rechen- und Kalibrieraufwand möglich. Vorteilhaft ist eine Echtzeitverarbeitung einer Bilderabfolge mit einer Frequenz zwischen 20 und 120 Hz besonders gut möglich.
Ist die Wölbung bereichsweise halbkugelförmig und bildet eine gekrümmte Anzeigefläche, ist ein Test von eines kamerabasierten Assistenzsystems möglich, dessen Kamera ein besonders breites Sichtfeld hat, beispielsweise eine Weitwinkelkamera oder eine sogenannte Fischaugenkamera. Durch die bereichsweise halbkugelförmige Wölbung ist ein horizontales Sichtfeld von bis zum 180 Grad möglich.
Zweckmäßigerweise bildet die Wölbung, die vorzugsweise kugelsegmentförmig oder halbkugelförmig ist, ein Sichtfeld einer Kamera eines zu testenden Assistenzsystems während eines Tests.
Die Kamera erfasst während des Tests also nicht ihr ursprüngliches Sichtfeld, sondern ein Testsichtfeld, das von der Wölbung begrenzt wird.
In einer weiteren Ausgestaltung der Erfindung wird aus einem digitalen Eingangsbild, das ein digitales Bild des ursprünglichen Sichtfelds der Kamera des Assistenzsystems ist, anhand von Parametern der Kamera und/oder Parametern der gekrümmten Anzeigefläche ein digitales Ausgangsbild erstellt, das auf der Anzeigefläche angezeigt wird.
Während aus dem Stand der Technik bekannte Testverfahren eine standardisierte Testsituation auf eine ebene Leinwand projizieren, wird mit einem erfindungsgemäßen Testverfahren die Testsituation derart an die gekrümmte Anzeigefläche und/oder Kameraparameter angepasst, dass für die Kamera der Eindruck entsteht, als würde diese ihr ursprüngliches Sichtfeld erfassen. Dies bedeutet, dass die Kamera die auf der gekrümmte Anzeigefläche angezeigte Testsituation wie eine Situation ohne erfindungsgemäße Vorrichtung erfasst. Vorteilhaft ist ein besonders zuverlässiger Test des kamerabasierten Assistenzsystems möglich, insbesondere, da technische Kameraparameter wie eine Brennweite oder deren tatsächliches Sichtfeld neben den geometrischen Parametern des bereichsweise konkaven Grundkörpers sowie der gekrümmten Anzeigefläche berücksichtigt werden. Ein Test unter möglichst realen Testbedingungen ist vorteilhaft möglich. Tests mit verfälschenden Standardtestsituationen mit gegebenenfalls eingeschränktem Sichtfeld sind nicht mehr erforderlich.
Zweckmäßigerweise wird bei einem erfindungsgemäßen Kalibrierverfahren wird eine Kalibrierung anhand von technischen Parametern einer Kamera des kamerabasierten Assistenzsystems eines Erzeugnisses und deren relativer Position und/oder Ausrichtung zu der gekrümmten Anzeigefläche durchgeführt.
Dazu umfasst die Vorrichtung in einer Ausgestaltung der Erfindung eine Kalibriereinrichtung, mit der eine Position und/oder Ausrichtung einer Kamera des kamerabasierten Assistenzsystems relativ zu der gekrümmten Anzeigefläche bestimmbar ist, wobei die Kalibriereinrichtung vorzugsweise eine Stereokamera aufweist.
Damit ein Test auf eine Kameraposition anpassbar ist, wird durch eine Kalibriereinrichtung eine Ausrichtung und/oder Position der Kamera relativ zu dem Grundkörper bestimmt. Diese Werte sind für eine Erstellung von digitalen Ausgangsbildern relevant, da dadurch sichergestellt wird, dass der Kamera während eines Tests trotz der Testvorrichtung ihr tatsächliches, ebenes Sichtfeld wiedergegeben wird. Durch Berücksichtigung geometrischer Parameter der Anzeigefläche, von Kameraparametern und/oder geometrischen Parametern des bereichsweise konkaven Grundkörpers kann somit sichergestellt werden, dass der Kamera des zu testenden Assistenzsystems während eines Tests deren ursprüngliches, ebenes Sichtfeld auf der gekrümmten Anzeigefläche gezeigt wird.
In einer Ausgestaltung der Erfindung weist die Vorrichtung ein lösbares Befestigungsmittel auf, durch das der bereichsweise konkave Grundkörper an einem zu testenden Erzeugnis ortsfest lösbar anbringbar ist, wobei das Befestigungsmittel insbesondere einen Saugnapf aufweist.
Vorteilhaft kann der Grundkörper an verschiedene Erzeugnisse angebracht werden. Dabei spielt es keine Rolle, ob eine Front-, Rück- oder Seitenkamera eines Kraftfahrzeugs von dem Grundkörper umgeben wird, eine Kamera eines Industrieroboters oder eine Kamera eines sonstigen Erzeugnisses. Weist das Befestigungsmittel einen Saugnapf auf, ist dessen rückstandsfreies Entfernen nach einem Test möglich. Auch ist ein Saugnapf, der insbesondere einen verstellbaren Saugnapfarm aufweist, mehrfach positionsgenau montier- und demontierbar.
Zweckmäßigerweise weist die Vorrichtung einen Digitalprojektor auf, der vorzugsweise außerhalb der Wölbung des bereichsweise konkaven Grundkörpers angeordnet ist.
Durch einen Digitalprojektor kann eine Testsituation unter Verwendung eines Standardprodukts auf die gekrümmte Anzeigefläche projiziert werden.
Vorzugsweise ist der Digitalprojektor außen an dem Grundkörper angebracht. Vorteilhaft wird eine einfach handzuhabende Vorrichtung geschaffen.
In einer weiteren Ausgestaltung der Erfindung umfasst die Vorrichtung ein optisches Mittel zur Umlenkung von Licht einer Lichtquelle eines Digitalprojektors, wobei das optische Mittel derart ausgebildet ist, dass eine Umlenkung des Lichts der Lichtquelle von einer Außenseite des bereichsweise konkaven Grundkörpers in eine Wölbung des bereichsweise konkaven Grundkörpers hinein erfolgt.
Vorteilhaft wird eine besonders einfach aufgebaute, modulare Vorrichtung geschaffen, bei der der Digitalprojektor außen an dem Grundkörpers angeordnet sein kann und dennoch eine Testsituation auf einer gekrümmten Anzeigefläche in der Wölbung anzeigen kann.
In einer Ausgestaltung der Erfindung weist das optische Mittel einen Umlenkspiegel auf, der im Bereich des Digitalprojektors und vorzugsweise außerhalb der Wölbung des bereichsweise konkaven Grundkörpers angeordnet ist.
Es wird eine Vorrichtung geschaffen, deren einzelne Komponenten besonders gut zugänglich sind. Vorteilhaft ist die Vorrichtung besonders einfach zu warten.
Insbesondere kann der Umlenkspiegel auf einer der Wölbung abgewandten Seite angebracht sein, beispielsweise zwischen dem Digitalprojektor und dem bereichsweise konkaven Grundkörper.
Zweckmäßigerweise umfasst das optische Mittel einen gewölbten Spiegel, der in der Wölbung des bereichsweise konkaven Grundkörpers oder im Bereich der Wölbung außerhalb des bereichsweise konkaven Grundkörpers angeordnet ist, und der dazu eingerichtet ist, Licht einer Lichtquelle des Digitalprojektors zur Schaffung der von der Kamera des kamera- basierten Assistenzsystems zu erfassenden Testsituation auf die gekrümmte Anzeigefläche umzulenken.
Durch geeignete Wahl des gewölbten Spiegels können ein horizontales Sichtfeld und ein vertikales Sichtfeld von bis zu 180 Grad geschaffen werden.
Durch eine Anordnung des gewölbten Spiegels innerhalb der Wölbung wird eine kompakte Vorrichtung geschaffen.
In einer Ausgestaltung eines erfindungsgemäßen Kalibrierungsverfahrens erfolgt bei der Kalibrierung eine Sichtfeldanpassung der Kamera des zu testenden kamerabasierten Assistenzsystems.
Vorteilhaft wird sichergestellt, dass der Kamera auf der gekrümmten Anzeigefläche ein Bild angezeigt wird, das einem Bild gemäß ihres ursprünglichen Sichtfeldes entspricht.
Durch eine erfindungsgemäße Kalibrierung kann ein besonders genaues Testverfahren geschaffen werden.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und der beigefügten, sich auf die Ausführungsbeispiele beziehenden Zeichnungen, näher erläutert. Es zeigen:
Fig. 1 eine Ausführungsform einer erfindungsgemäße Vorrichtung,
Fig. 2 eine Ausführungsform eines erfindungsgemäßen Test- und Kalibrierverfahrens.
Eine in Fig. 1 a in einer Explosionsdarstellung gezeigte Vorrichtung 1 zum Testen eines kamerabasierten Assistenzsystems eines in Fig. 1d ausschnittsweise gezeigten Kraftfahrzeugs 2, an das die erfindungsgemäße Vorrichtung 1 angebracht ist, umfasst einen bereichsweise konkaven Grundkörper 3, der eine bereichsweise bereichsweise halbkugelförmige Wölbung 4 aufweist, die eine gekrümmte Anzeigefläche 5 bildet.
Die gekrümmte Anzeigefläche 5 ist in diesem Ausführungsbeispiel eine Projektionsfläche, auf die eine Testsituation von einem Digitalprojektor 6, der außen an den bereichsweise konkaven Grundkörpers 3 durch eine Halteeinrichtung 7 angebracht ist, projiziert werden kann. Die gekrümmte Anzeigefläche 5 bildet ein Sichtfeld einer in Fig. 1 a nicht gezeigten Kamera des zu testenden Assistenzsystems während eines Tests.
Der Grundkörper 3 umfasst außerdem einen ebenen Umlenkbereich 8. Von dem Digitalprojektor 6 ausgehendes, in Fig. 1 nicht gezeigtes Licht wird durch ein optisches Mittel 9, das einen Umlenkspiegel 10 und einen gewölbten Spiegel 11 , der in dem ebenen Umlenkbereich 10 angebracht ist, umfasst, auf die gekrümmte Anzeigefläche 5 umgelenkt und erzeugt dort die Testsituation. Dazu ist eine Öffnung 12 in dem bereichsweise konkaven Grundkörper 3 vorgesehen, durch die das Licht von außerhalb des Grundkörpers 2 hindurch in die Wölbung 4 eintreten kann.
An den bereichsweise konkaven Grundkörper 3 ist ein lösbares Befestigungsmittel 13 angebracht, wobei das lösbare Befestigungsmittel 13 mehrere Saugnäpfe 14 umfasst, von denen jeder Saugnapf 14 einen verstellbaren Saufnapfarm 15 aufweist. Mit den Saugnäpfen 14 kann der bereichsweise konkave Grundkörper 3 beispielsweise an einer Frontscheibe 16 des in Fig. 1 b ausschnittsweise gezeigten Kraftfahrzeugs 2 derart lösbar befestigt werden, dass die Wölbung 4 von einer Frontscheibe 16 des Kraftfahrzeugs 2 bedeckt wird. Aus Gründen der Übersichtlichkeit sind die Saugnäpfe 14 in Fig. 1 d von der Frontscheibe 18 weggeklappt und liegen nicht daran an.
Eine in Fig. 1 b in einer Wölbung 4 des bereichsweise konkaven Grundkörpers 3 angeordnete und in Fig. 1 c im Detail gezeigte Kalibriereinrichtung 17 weist einen konvexen Standfuß 18 sowie einen daran einstückig angeformten bereichsweise konvexen Haltearm 19, der sich senkrecht von dem Standfuß 18 erstreckt, auf. Eine Wölbung 20 des bereichsweise konvexen Haltearms 19 sowie diejenige eines konvexen Abschnitts 21 des Standfußes 18 ist derart ausgebildet, dass die Wölbung 20 und der konvexe Abschnitt 21 vollflächig an die Wölbung 4 des Grundkörpers 3 anlegbar sind. Dadurch ist deren wiederholbar positionsgenaue Anordnung vorteilhaft sichergestellt.
An einem dem Standfuß 18 abgewandten Ende des Haltearms 19 ist eine Stereokamera 22 befestigt, mit deren Hilfe eine Position und eine Ausrichtung einer Kamera eines Assistenzsystems eines Erzeugnisses bestimmt werden kann.
Für eine Kalibrierung der Testvorrichtung 1 wird die Kalibriereinrichtung 17 wie in Fig. 1 b gezeigt in dem ebenen Umlenkbereich 8 derart angebracht, dass sowohl der bereichsweise konvexe Haltearm 19 als auch der konvexe Abschnitts 21 des Standfußes 18 vollflächig an die Wölbung 4 des Grundkörpers 3 anliegen.
Mithilfe der Stereokamera 22 wird eine räumliche Position und eine Ausrichtung sowie eine Anordnung einer in Fig. 1 d nicht gezeigten gezeigten Frontkamera eines kamerabasierten Assistenzsystems des Kraftfahrzeugs 2 relativ zu dem gewölbten Grundkörper 3 und der gekrümmten Anzeigefläche 5 ermittelt. An das in Fig. 1d gezeigte Kraftfahrzeug 2 ist eine erfindungsgemäße Vorrichtung 1 angebracht. Dazu liegt der bereichsweise konkave Grundkörper 3 mit einer Kontaktfläche 23 die von einer Stirnseite 24 des bereichsweise konkaven Grundkörpers 3 sowie einer Rückseite 25 des gewölbten Spiegels 12 gebildet wird, und die die Wölbung 4 begrenzt, an eine Frontscheibe 16 des Kraftfahrzeugs 2 derart an, dass ein Sichtfeld der Frontkamera von der gekrümmten Anzeigefläche 5 begrenzt ist, das heißt die Frontkamera blickt in die Wölbung 4 hinein.
Es wird nun auf Fig. 2 Bezug genommen, wo gleiche oder gleichwirkende Teile mit derselben Bezugszahl wie in Fig. 1 bezeichnet sind und der betreffenden Bezugszahl jeweils der Buchstabe a beigefügt ist.
Ein erfindungsgemäßes Kalibrierverfahren und ein erfindungsgemäßes Testverfahren werden nachfolgend am Beispiel eines kamerabasierten Assistenzsystems eines Kraftfahrzeugs erläutert.
Zur Kalibrierung eines erfindungsgemäßen Testverfahrens gemäß Fig. 2a wird in einem ersten Verfahrensschritt 200 eine in Fig. 1 mit 17 bezeichnete Kalibriereinrichtung in eine Wölbung 4 eines bereichsweise konkaven Grundkörpers 3 einer erfindungsgemäßen Vorrichtung 1 eingebracht und der Grundkörper an einer Frontscheibe eines Kraftfahrzeugs angebracht.
In einem zweiten Verfahrensschritt 210 wird ein digitales, kameraparameterunabhängiges Testbild, das ein 180x180-Grad Testbild sein kann, auf einer gekrümmten Anzeigefläche angezeigt. Anhand von Referenzpunkten des Testbildes können geometrische Begrenzungen wie ein Sichtfeld einer Kamera eines zu testenden Assistenzsystems innerhalb der Wölbung bestimmt werden.
Das Testbild wurde durch sogenanntes Image Warping erstellt, in dem ein ebenes Testbild für eine bekannte Kameraposition in eine verzerrte Darstellung auf eine gekrümmte Anzeigefläche umgewandelt wurde.
Ein 180x180-Grad Testbild ist ein Referenztestbild, das sich vollständig über eine halbkugelförmige Wölbung erstrecken würde und dessen Verzerrung mathematisch gegenüber einer ebenen Fassung des Testbildes bei Anzeige auf einer ebenen Anzeigefläche bekannt ist. In einem dritten Verfahrensschritt 220 werden aus dem digitalen Testbild mit bekannten Verzerrungsparametern und technischen Parametern der Kamera ein Sichtfeld der Kamera des zu testenden Assistenzsystems sowie deren Brennweite auf die gekrümmte Anzeigefläche kalibriert. Dieser Verfahrensschritt ist eine sogenannte Sichtfeldanpassung, bei der ein Sichtfeld der Kamera in die Wölbung hinein und ein ursprüngliches Sichtfeld der Kamera bei Sicht auf eine ebene Fläche durch sogenanntes Image Warping miteinander verknüpft werden.
In einem vierten Verfahrensschritt 230 wird von einer Stereokamera der Kalibriereinrichtung ein Bild der Frontkamera des Assistenzsystems aufgenommen und an eine Auswerteinheit wie einen PC übergeben, der daraus geometrische Parameter wie eine Position und Ausrichtung der ortsfest angeordneten Frontkamera relativ zu dem bereichsweise konkaven Grundkörper bestimmt, insbesondere in Bezug auf eine Relativposition und Ausrichtung zu der gekrümmten Anzeigefläche. Dieser Schritt ist insbesondere auch dann relevant, wenn ein Assistenzsystem mehr als eine Kamera umfasst, wobei die mehreren Kameras linear versetzt zueinander angeordnet sind.
Anhand der ermittelten Positions- und Ausrichtungsdaten der Kamera des Fahrassistenzsystems werden die in Verfahrensschritt 210 und 220 ermittelten Verzerrungsparameter durch Berücksichtigung einer tatsächlichen Kameraposition und -ausrichtung in Bezug auf die gekrümmte Anzeigefläche korrigiert, das heißt das Testbild wird auf die tatsächliche Position der Kamera des Fahrassistenzsystems angepasst.
Durch Verfahrensschritt 230 wird sichergestellt, dass der Kamera des zu testenden Assistenzsystems abhängig von deren tatsächlicher Position bei Blick in die Wölbung des bereichsweise konkaven Grundkörpers hinein ein Sichtfeld gezeigt wird, dass deren ursprünglichem Sichtfeld bei Betrachtung außerhalb der Testsituation entspricht.
Die Vorrichtung ist nun zum Testen eines kamerabasierten Assistenzsystems einsatzbereit.
Bei einem erfindungsgemäßen Testverfahren gemäß Fig. 2b wird zur Erstellung einer Testsituation in einem ersten Verfahrensschritt 300 ein digitales Eingangsbild, das ein digitales Bild eines ursprünglichen Sichtfeldes einer Kamera eines zu testenden Assistenzsystems des Kraftfahrzeugs ist, in eine Auswerteinheit eingelesen.
In einem zweiten Verfahrensschritt 310 wird das eingelesene digitale Eingangsbild in ein verzerrtes digitales Ausgangsbild mittels des sogenannten Image Processings umgewandelt, wobei auf Daten aus der Kalibrierung zurückgegriffen wird.
In einem dritten Verfahrensschritt 320 wird das verzerrte digitale Ausgangsbild von einem Digitalprojektor auf die gekrümmte Anzeigefläche projiziert. Aufgrund der Berücksichtigung der geometrischen Parameter des gewölbten Grundkörpers sowie technischen Daten der Kamera ist das verzerrte digitale Ausgangsbild bei Anzeige auf der gekrümmten Anzeigefläche derart beschaffen, dass es von der Kamera des zu testenden Assistenzsystems als ursprüngliches Sichtfeld, das heißt ebenes Bild, in der Testsituation wahrgenommen wird. Vereinfacht ausgedrückt erfolgt durch Projektion eines zu einem verzerrten digitalen Ausgangsbild transformierten digitalen Eingangsbildes auf die gekrümmte Anzeigefläche eine Rücktransformation, so dass die Kamera trotz des eingeschränkten Sichtfeldes durch Aufsetzen des Grundkörpers ein Sichtfeld erfasst, das dem ursprünglichen Sichtfeld der Kamera entspricht, wobei gemäß Kalibrierung eine relative Position und Ausrichtung der Kamera in Bezug auf die gekrümmte Anzeigefläche berücksichtigt wird.
Die Verfahrensschritte 300 bis 320 werden für jedes Bild einer Abfolge von Bildern wiederholt, so dass die Kamera des zu testenden Assistenzsystems eine Bildabfolge in der Art eines Films erfasst.

Claims

Patentansprüche:
1 . Vorrichtung (1 ) zum Testen eines kamerabasierten Assistenzsystems eines Erzeugnisses (2), insbesondere eines kamerabasierten Assistenzsystems eines Kraftfahrzeugs, die einen bereichsweise konkaven, an dem Erzeugnis (2) anbringbaren Grundkörper (3) umfasst, der in einer Wölbung (4) eines konkaven Bereichs des Grundkörpers (3) eine Anzeigefläche (5) aufweist, auf der eine von einer Kamera eines zu testenden kamerabasierten Assistenzsystems erfassbare Testsituation anzeigbar ist, dadurch gekennzeichnet, dass die Anzeigefläche (5) gekrümmt ist.
2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die gekrümmte Anzeigefläche (5) in der Wölbung (4) des bereichsweise konkaven Grundkörpers (3) angeordnet ist, oder dass die gekrümmte Anzeigefläche (5) von der Wölbung (4) des bereichsweise konkaven Grundkörpers (3) gebildet ist.
3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Wölbung (4) des bereichsweise konkaven Grundkörpers (3) zumindest bereichsweise kugelsegmentförmig, vorzugsweise bereichsweise halbkugelförmig ist.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Wölbung (4), die vorzugsweise kugelsegmentförmig oder halbkugelförmig ist, ein Sichtfeld einer Kamera eines zu testenden Assistenzsystems während eines Tests bildet.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Vorrichtung (1 ) ein lösbares Befestigungsmittel (13) aufweist, durch das der bereichsweise konkave Grundkörper (3) an einem zu testenden Erzeugnis ortsfest lösbar anbringbar ist, wobei das Befestigungsmittel (13) insbesondere einen Saugnapf (14) aufweist.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Vorrichtung (1 ) einen Digitalprojektor (6) aufweist, der vorzugsweise außerhalb der Wölbung (4) des bereichsweise konkaven Grundkörpers (3) angeordnet ist.
7. Vorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Vorrichtung (1 ) ein optisches Mittel (9) zur Umlenkung von Licht einer Licht quelle eines Digitalprojektors (6) umfasst, wobei das optische Mittel derart ausgebildet ist, dass eine Umlenkung des Lichts der Lichtquelle von einer Außenseite des bereichsweise konkaven Grundkörpers in eine Wölbung (4) des bereichsweise konkaven Grundkörpers (3) hinein erfolgt.
8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass das optische Mittel (9) einen Umlenkspiegel (10) aufweist, der im Bereich des Digitalprojektors (6) und vorzugsweise außerhalb der Wölbung (4) des bereichsweise konkaven Grundkörpers (3) angeordnet ist.
9. Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das optische Mittel (9) einen gewölbten Spiegel (1 1 ) umfasst, der in der Wölbung (4) des bereichsweise konkaven Grundkörpers (3) oder im Bereich der Wölbung (4) außerhalb des bereichsweise konkaven Grundkörpers (3) angeordnet ist, und der dazu eingerichtet ist, Licht einer Lichtquelle des Digitalprojektors (6) zur Schaffung der von der Kamera des kamerabasierten Assistenzsystems zu erfassenden Testsituation auf die gekrümmte Anzeigefläche (5) umzulenken.
10. Vorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Vorrichtung (1 ) eine Kalibriereinrichtung (17) umfasst, mit der eine Position und/oder Ausrichtung einer Kamera des kamerabasierten Assistenzsystems relativ zu der gekrümmten Anzeigefläche (5) bestimmbar ist, wobei die Kalibriereinrichtung (17) vorzugsweise eine Stereokamera (22) aufweist.
11 . Verfahren zum Testen eines kamerabasierten Assistenzsystems eines Erzeugnisses (2), insbesondere zum Testen eines kamerabasierten Assistenzsystems eines Kraftfahrzeugs (2), bei dem auf einer gekrümmten Anzeigefläche (5) in einer Wölbung (4) eines konkaven Bereichs eines bereichsweise konkaven Grundkörpers (3), der an dem Erzeugnis (2) angebracht ist, eine von einer Kamera des zu testenden kamerabasierten Assistenzsystems erfassbare Testsituation angezeigt wird, dadurch gekennzeichnet, dass die Testsituation derart auf der gekrümmten Anzeigefläche (5) angezeigt wird, dass die Testsituation von der Kamera des zu testenden Assistenzsystems als ursprüngliches Sichtfeld der Kamera erfasst wird.
12. Testverfahren nach Anspruch 1 1 , dadurch gekennzeichnet, dass als Testsituation auf der gekrümmten Anzeigefläche ein Bild oder eine Abfolge von Bildern angezeigt wird.
13. Testverfahren nach Anspruch 1 1 oder 12, dadurch gekennzeichnet, dass als Testsituation auf der gekrümmten Anzeigefläche ein reales oder ein virtuelles Bild oder eine Abfolge realer Bilder oder virtueller Bilder angezeigt wird.
14. Testverfahren nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass aus einem digitalen Eingangsbild, das ein digitales Bild des ursprünglichen Sichtfelds der Kamera des Assistenzsystems ist, anhand von Parametern der Kamera und/oder Parametern der gekrümmten Anzeigefläche ein digitales Ausgangsbild erstellt wird, das auf der Anzeigefläche angezeigt wird.
15. Verfahren zur Kalibrierung eines Testverfahrens nach einem der Ansprüche 1 1 bis 14, dadurch gekennzeichnet, dass eine räumliche Anordnung und/oder Ausrichtung der Kamera des zu testenden Assistenzsystems relativ zu der gekrümmten Anzeigefläche bestimmt wird, wobei die räumliche Anordnung und/oder Ausrichtung der Kamera zur Erstellung des digitalen Ausgangsbildes verwendet wird.
16. Kalibrierverfahren nach Anspruch 15, dadurch gekennzeichnet, dass eine Kalibrierung anhand von technischen Parametern der Kamera des kamerabasierten Assistenzsystems eines Erzeugnisses und deren relativer Position und/oder Ausrichtung zu der gekrümmten Anzeigefläche (5) durchgeführt wird.
17. Kalibrierverfahren nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass bei der Kalibrierung eine Sichtfeldanpassung der Kamera des zu testenden ka- merabasierten Assistenzsystems erfolgt.
EP24720137.9A 2023-04-19 2024-04-16 Vorrichtung und verfahren zum testen eines kamerabasierten assistenzsystems sowie kalibrierverfahren Pending EP4699301A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023109880 2023-04-19
PCT/EP2024/060308 WO2024218095A1 (de) 2023-04-19 2024-04-16 Vorrichtung und verfahren zum testen eines kamerabasierten assistenzsystems sowie kalibrierverfahren

Publications (1)

Publication Number Publication Date
EP4699301A1 true EP4699301A1 (de) 2026-02-25

Family

ID=90810656

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24720137.9A Pending EP4699301A1 (de) 2023-04-19 2024-04-16 Vorrichtung und verfahren zum testen eines kamerabasierten assistenzsystems sowie kalibrierverfahren

Country Status (2)

Country Link
EP (1) EP4699301A1 (de)
WO (1) WO2024218095A1 (de)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386302B2 (en) * 2014-05-21 2016-07-05 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
US9916660B2 (en) * 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
CN206470531U (zh) * 2016-12-08 2017-09-05 浙江舜宇光学有限公司 光学检测设备
US11481926B2 (en) * 2021-03-08 2022-10-25 Gm Cruise Holdings Llc Vehicle analysis environment with displays for vehicle sensor calibration and/or event simulation

Also Published As

Publication number Publication date
WO2024218095A1 (de) 2024-10-24

Similar Documents

Publication Publication Date Title
DE10229334B4 (de) Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug mittels eines Kalibrierobjekts mit Triple-Spiegel als Bezugsmerkmal
EP2852860B1 (de) Verfahren zur kalibrierung eines head-up-displays
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
EP2462538A1 (de) Verfahren zur überwachung einer umgebung eines fahrzeugs
DE102013002111A1 (de) Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102007043905A1 (de) Verfahren und Vorrichtung zur Kalibrierung einer an einem Objekt angeordneten omnidirektionalen Kamera
DE102012110460A1 (de) Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
DE102007045301A1 (de) Anordnung und Verfahren zur Charakterisierung von reflektiv abbildenden Projektionssystemen
DE102015117745B4 (de) Verfahren zur Justierung des Ausgabevideos einer Rückfahrkamera für Fahrzeuge
DE102020215651A1 (de) Fahrzeugsichtsystem
DE102015107406A1 (de) Kamera für ein Kraftfahrzeug mit zumindest zwei Lichtleitern und einem optischenFilterelement, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102008035428A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102014019013A1 (de) Verfahren und Vorrichtung zur Kalibrierung und/oder Justierung einer Anzeigeeinheit
DE102006060553A1 (de) Verfahren zur Erprobung eines Fahrerassistenzsystems
EP4699301A1 (de) Vorrichtung und verfahren zum testen eines kamerabasierten assistenzsystems sowie kalibrierverfahren
DE102014019078A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
WO2025056126A1 (de) Verfahren zum betrieb einer kamera eines fahrzeugs, kamerasystem und fahrzeug
DE102006044615A1 (de) Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
DE102019108056A1 (de) Bilderfassungssystem
DE102015006637A1 (de) Verfahren zur Entzerrung von Bildern
EP3069934B1 (de) Verfahren zum erzeugen eines gesamtbildes einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
DE102022116317A1 (de) Verfahren zur Detektion einer Verschmutzung auf einer Kamera eines Fahrzeugs, Kamera und Fahrerassistenzsystem
DE102019200099A1 (de) Sensorvorrichtung für ein Ego-Fahrzeug, Fahrerassistenzvorrichtung und Fahrzeug mit einer solchen Sensorvorrichtung
DE102022120088A1 (de) Vorrichtung und Verfahren zur Vermessung dreidimensionaler virtueller Bilder und Objekte eines Head-Up-Displays

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20251106

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR