EP4104429A1 - Kameravorrichtung, kraftfahrzeug, verfahren und computerprogrammprodukt - Google Patents

Kameravorrichtung, kraftfahrzeug, verfahren und computerprogrammprodukt

Info

Publication number
EP4104429A1
EP4104429A1 EP21704743.0A EP21704743A EP4104429A1 EP 4104429 A1 EP4104429 A1 EP 4104429A1 EP 21704743 A EP21704743 A EP 21704743A EP 4104429 A1 EP4104429 A1 EP 4104429A1
Authority
EP
European Patent Office
Prior art keywords
driver assistance
camera device
program sequence
vehicle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21704743.0A
Other languages
English (en)
French (fr)
Inventor
Thorsten Meyer
Harald Barth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4104429A1 publication Critical patent/EP4104429A1/de
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to a camera device, a motor vehicle with the camera device, a method and a computer program product.
  • Vehicles are increasingly being equipped with cameras to monitor the vehicle environment.
  • One example is a front camera which is mounted on the inside of the front windshield of a vehicle.
  • these are cameras in which camera optics, an image sensor, an image processor and vehicle cut parts are integrated.
  • the camera mounted behind the windshield in particular is exposed to sunlight and can become very hot as a result.
  • the image processor (video processor) in the camera can generate a considerable amount of heat. Cooling the camera by the vehicle's air conditioning system is usually not sufficient. As a result, there is a risk that the camera will overheat.
  • a camera device for a vehicle has: a camera for recording an image, a computer unit for executing a program sequence for providing at least part of a driver assistance function as a function of the recorded image, a supply unit for providing a temperature of the computer unit, and a Control unit which is set up to change the program sequence as a function of the temperature provided, the computer unit being set up to execute the changed program sequence.
  • an unfavorable temperature value for example too high a temperature value
  • the program sequence can continue to run in a different form at the same time .
  • a complete shutdown of the computer unit to avoid overheating of the computer unit can be avoided.
  • driver assistance functions can still be made available to the driver of the vehicle even when the computer unit is at a high temperature.
  • the camera device is in particular attached to or in a vehicle, such as a motor vehicle, for example.
  • vehicle such as a motor vehicle, for example.
  • the vehicle is, for example, a passenger car, a truck, a bus, a motorcycle, an aircraft and / or a watercraft.
  • vehicle camera can also be on or in Vehicles are used that can be operated autonomously or at least partially autonomously ⁇ ben.
  • the camera device is, for example, at or below a disc insbeson ⁇ particular a windscreen, of the vehicle arranged.
  • the camera device is arranged, for example, on an inside of the front windshield and directed in the direction of travel of the vehicle.
  • the camera can ⁇ device are referred to as front camera device.
  • the camera device can also be arranged at a different location on the vehicle and / or oriented in a different direction.
  • the camera apparatus has the Ka ra ⁇ for capturing an image, in particular an image of a surrounding of the vehicle on.
  • corresponding monitoring areas in front of, behind, next to, above and / or below the vehicle can be monitored with the camera device.
  • stationary or moving objects in the vicinity of the vehicle can be detected, such as vehicles, people, animals, plants, obstacles, uneven road surfaces (e.g. potholes or stones), lane boundaries, traffic signs or open spaces (e.g. parking spaces) .
  • the camera has in particular an optical system, in particular an objective, a lens or the like. Furthermore, the camera has in particular an image sensor, e.g. B. a CCD camera (Charged Coupled Device) or a CMOS sensor (Complementary MetaPOxide Semiconductor Sensor) on.
  • the camera has, for example a printed circuit board on which electrical and / or elekt ⁇ tronic components, such as the image sensor is arranged.
  • the camera device has for example a storage unit for Abspei ⁇ manuals recorded by the camera images and other information.
  • the driver assistance function has, for example, speed assistance (adaptive cruise control, distance control, ACC: Adaptive Cruise Control), lane assistance, lane keeping assistance (LKA: Lane Keep Assist), lane change assistance, emergency braking assistance (AEB: Automatic Emergency Braking), steering assistance, a Emergency steering assistance (AES: Automatic Emergency Steering), traffic jam assistance (TJA: Traffic Jam Assist), light assistance and / or high beam assistance.
  • the units referred to herein may be in terms of hardware / software or plemented and technically in ⁇ respectively.
  • the technical ent ⁇ speaking unit as a device or as part of a device, for example be formed as a computer or a microprocessor.
  • the device may, for example, a central processing unit (central processing unit, CPU), a graphics processing unit (Graphical Processing Unit, GPU), a programmed ⁇ bare hardware logic (.
  • a field programmable gate array, field Programmable Gate array, FPGA), an application specific integrated circuit (application-specific integrated circuit ASIC) or the like have, on ⁇ .
  • the one or more units can be implemented together in a single hardware device, and they can share a memory, interfaces and the like, for example.
  • the units, such as the computer unit and the control unit can also be implemented in separate hardware components.
  • the driver assistance function (s) is (are) in particular by software plemented in ⁇ .
  • the respective unit (such as the computer unit and / or the control unit) and / or the driver chassis tence function as a computer program product, as a function, as a computing routine, as an algorithm, as part of a program code or as an executable object.
  • the one or more units are in particular integrated in the camera device, that is to say, for example, provided in one and the same housing. For example, they are provided in one and the same housing attached to or under a windshield.
  • the control unit can also be designed as part of a higher-level control system of the vehicle, such as, for example, a central electronic control device (vehicle control unit or ECU (Electronic Control Unit)).
  • the computer unit and / or the control unit can also be used, for example, to control functions of the camera, in particular for image recording and other camera settings.
  • information obtained with the camera can be evaluated and analyzed.
  • control unit is set up to change the program sequence in such a way that the power consumption of the computer unit is reduced at least during the execution of the changed program sequence.
  • control unit is set up to slow down the program sequence as a function of the temperature provided.
  • the generation of heat by the camera device can be reduced by slowing down the program sequence.
  • control unit is set up to slow down the program sequence by reducing a clock rate of the computer unit and / or by reducing a frame rate of the camera.
  • control unit is set up to change the program sequence for the duration of a vehicle state and / or a state of the vehicle environment.
  • the program sequence can be changed as a function of a vehicle state and / or a state of the vehicle environment.
  • An example of a state of the vehicle environment is a brightness value of the daylight in the vehicle environment.
  • An example of changing the program sequence for the duration of a state of the vehicle environment is deactivating high-beam assistance as long as the brightness value of the daytime light does not fall below a predetermined value, in other words as long as it is bright enough that high-beam assistance is unnecessary.
  • Another example of a state of the vehicle environment is a distance to a vehicle traveling in front.
  • An example of changing the program sequence for the duration of a state of the vehicle environment is deactivating other driver assistance functions, but not the collision assistant, as long as the distance to the vehicle in front is below a critical distance.
  • the program sequence has a program sequence for providing a number M driver assistance functions or at least parts thereof in each case as a function of the recorded image. Furthermore, the changed program sequence has a program sequence for providing a number N driver assistance functions or at least parts thereof in each case. N is smaller than M and / or the M driver assistance functions contain the N driver assistance functions.
  • the program sequence serves to provide several driver assistance functions (M driver assistance functions) or at least parts thereof in each case. Furthermore, the program sequence for providing the M driver assistance functions - or at least parts thereof in each case - can be changed by limiting it to a smaller number of N driver assistance functions - or at least parts thereof in each case. This allows selected driver assistance functions to be retained while others are deactivated.
  • the M driver assistance functions include high beam assistance, emergency braking assistance and lane keeping assistance.
  • the N driver assistance functions include emergency braking assistance and lane keeping assistance, but not high beam assistance.
  • the MF driver assistance functions of the program flow can have a common preprocessing.
  • the M driver assistance functions can each have one main processing, in particular different from one another.
  • the common preprocessing can consist of a basic image processing that can be carried out jointly for all or some of the driver assistance functions.
  • the basic image processing can, for example, be an image correction with regard to sensor errors, image artifacts, stray light, contrast, etc.
  • the program sequence is used to provide a number M driver assistance functions or at least parts of the respective main processing.
  • the changed program sequence is used to provide a number N driver assistance functions or at least parts of the respective main processing.
  • the N driver assistance functions are safety-critical and the M driver assistance functions have at least one non-safety-critical driver assistance function.
  • the program sequence can be changed by deactivating driver assistance functions that are not critical to safety while simultaneously maintaining driver assistance functions that are critical to safety.
  • Safety-critical driver assistance functions are, in particular, driver assistance functions that serve to avoid accidents.
  • Safety-critical driver assistance functions can also be driver assistance functions that are required by law.
  • the computer unit and / or the control unit is set up to extract the N driver assistance functions from the M Select driver assistance functions as a function of a vehicle state and / or a state of the vehicle environment.
  • the driver assistance function or one, several or all of the M and / or N driver assistance functions have information and / or warn the driver of the vehicle and / or intervene in the driving of the vehicle.
  • the driver assistance function or one, several or all of the M and / or N driver assistance functions has an SAE degree of automation 1, 2, 3, 4 or 5, for example.
  • the driver assistance function can be a function for autonomous driving or semi-autonomous driving, with the vehicle being driven / controlled semi-automatically or fully automatically.
  • the SAE classification system which is based on six different degrees of automation, was published in 2014 by SAE International, a standardization organization for motor vehicles, as J3016, “Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems”.
  • the SAE degrees of automation range from level 0, which corresponds to a fully manual system, to level 5, which corresponds to a fully automated system that no longer requires a driver.
  • An autonomous vehicle also known as a driverless car, self-driving car and robotic car
  • SAE automation level 5 is a vehicle that is able to sense its surroundings and navigate without human input and corresponds to SAE automation level 5.
  • the computer unit has an image processor and / or video processor.
  • the supply unit has a temperature sensor for supplying the temperature to the computer unit.
  • the temperature of the computer unit can be measured by means of the temperature sensor.
  • the temperature sensor is, for example, a thermocouple, a thermistor (e.g. a PTOSensor (Positive Temperature Coefficient Sensor) or an NTO sensor (Negative Temperature Coefficient Sensor)), a semiconductor temperature sensor or another suitable temperature sensor.
  • the provision unit can provide the temperature of the computer unit, for example by evaluating a state of the vehicle environment, information from a navigation system and / or from a GPS system.
  • control unit is set up to change the program sequence if the temperature provided is higher than a threshold value.
  • a motor vehicle with a camera device as described above is proposed.
  • a method for operating a camera device in a vehicle is proposed, with the steps:
  • a computer program product which comprises instructions which, when the program is executed by a computer, cause the computer to carry out the method described above.
  • a computer program product such as a computer program means, for example, can be provided or delivered as a storage medium such as a memory card, USB stick, CD-ROM, DVD, or also in the form of a downloadable file from a server in a network. This can be done, for example, in a wireless communication network by transmitting a corresponding file with the computer program product or the computer program means.
  • the inventorsfor men and features described for the proposed camera device apply accordingly to the proposed motor vehicle, the proposed method and the proposed computer program product.
  • FIG. 1 shows a vehicle with a camera device
  • FIG. 2 shows a schematic representation of functional components of the camera device from FIG. Y
  • FIG. 3 illustrates an exemplary program flow of a computer unit of the camera device from FIGS
  • FIG. 4 shows a flow chart of a method for operating the camera device from FIG. 1.
  • Embodiments of a camera device for a motor vehicle, a method for operating the camera device and a corresponding computer program product are described below with reference to FIGS. 1 to 4.
  • Fig. 1 shows a motor vehicle 1.
  • the motor vehicle 1 is a person's motor vehicle in the example. In other examples, the motor vehicle 1 can also be a truck, bus or other motor vehicle.
  • a camera device 3 is attached to the inside of the front windshield 2 of the motor vehicle 1.
  • the camera device 3 in the example is set up to to monitor an area lying in front of the vehicle 1.
  • the camera device 3 can be used for various driver assistance functions, such as, for example, for object recognition, lane keeping assistance and high beam assistance.
  • the camera device 3 can also be attached to its positions in the motor vehicle 1 and / or oriented in other directions.
  • the camera device 3 has, for example, a housing and a lens barrel protruding therefrom (not shown).
  • the camera device 3 is attached to the windshield 2, for example with the aid of a frame or a bracket which is adhesively attached to the windshield with the aid of fastening elements.
  • FIG. 2 shows a schematic representation of functional components of the camera device 3 from FIG. 1.
  • the camera device 3 has a camera 4 (image pickup assembly) with an optical system 5 and an image sensor 6.
  • the optical system 5 has, for example, a lens in order to detect a scene in front of the vehicle 1 and to image it on the image sensor 6.
  • the image sensor 6 is mounted on a circuit board (image pickup circuit board, not shown), for example.
  • the image sensor 6 is, for example, a CCD camera (Charged Coupled Device) or a CMOS sensor.
  • the image sensor 6 is an active pixel sensor implemented in CMOS technology (CMOS-APS, CMOS active pixel sensor).
  • the optical system 5 e.g. the lens
  • the optical system 5 is mechanically fastened to the circuit board, for example with the aid of a lens holder (not shown), so that it is arranged in front of the image sensor 6.
  • the camera device 3 also has a further assembly 7 which is electronically connected to the camera 4 (image recorder assembly).
  • the wide- re module 7 is mounted, for example, on a main circuit board (not shown).
  • the main circuit board is, for example, electrically connected to the image pick-up circuit board via a plug connection (not shown).
  • the main circuit board can, for example, be inclined with respect to the image pick-up circuit board.
  • the further assembly 7 has a computer unit 8, a memory unit 9, a control unit 10 and a provision unit 11.
  • the further construction group 7 can also have further electrical and / or electronic components.
  • the computer unit 8 is, for example, a video processor (microprocessor) which processes images recorded by the camera 4.
  • the pictures taken by the camera 4 can be stored in the memory unit 9.
  • other information can also be stored on the memory unit 9, such as, for example, analysis results derived from the recorded images, predetermined values and / or program codes.
  • the computer unit 8 is set up to execute a program sequence for providing at least part of a driver assistance function as a function of one or more images recorded by the camera 4.
  • the driver assistance function is, for example, distance control, lane keeping assistance, lane change assistance, emergency braking assistance, steering assistance, traffic jam assistance and / or high beam assistance.
  • the computer unit 8 executes a program sequence which provides one or more such driver assistance functions.
  • the program sequence 12 is, for example, a program code, software and / or a sequence of instructions.
  • the driver assistance function 13 is a high beam assistant, with the aid of which an oncoming vehicle can be recognized in recordings of the camera 4 and a control command for switching a headlight level from a high beam setting to a low beam setting can be output.
  • the driver assistance function 14 is a lane keeping assistant with the help of which a lane can be recognized in recordings of the camera 4 and when leaving the lane a control command for communicating a warning and / or a control command for steering back into the lane can be issued.
  • the driver assistance function 15 is an emergency braking assistance with the help of which a stationary or moving object can be recognized in recordings of the camera 4, a distance to the object can be determined and a control command for braking the vehicle 1 can be output.
  • the provision unit 11 of the camera device 3 is set up to provide a temperature for the computer unit 8.
  • the provision unit 11 is, for example, a temperature sensor attached to or integrated into the computer unit 8 (the video processor).
  • the control unit 10 of the camera device 3 is an electronic control unit which is set up to change the program sequence 12 as a function of the temperature provided by the preparation unit 11 (the temperature sensor). For example, if the provisioning Unit 11, the temperature of the computer unit 8 detects a threshold value, then the control unit 10 changes the program sequence 12, for example such that only the two driver assistance functions 14 and 15 of the three driver assistance functions 13, 14 and 15 in FIG. 3 are executed. N denotes the number of driver assistance functions of the changed program sequence 12 '. In other words, if there is a risk of the computer unit 8 overheating, for example, only a subset of N driver assistance functions is performed by the M driver assistance functions. In this way, the computing power of the computing unit 8 and thus its heat generation can be reduced.
  • the selection of which of the MF driver assistance functions originally provided in the program sequence 12 are at least partially not carried out in the F all of an excessive temperature of the computer unit 8 is based, for example, on an (e.g. predetermined) assessment of each of the M driver assistance functions as safety-critical or non-safety-critical. For example, before the camera device is put into operation (for the first time) or during vehicle maintenance, it is determined for each of the M driver assistance functions whether it is safety-critical or not. For example, a driver assistance function is determined to be safety-critical if it is suitable for preventing an accident in vehicle 1. For example, a driver assistance function is determined to be safety-critical if it is required by law. In the example of FIG. 3, remote control assistance 13 could be determined to be non-safety-critical, while lane-keeping assistance 14 and emergency braking assistance 15 could be classified as safety-critical.
  • a degree of safety relevance of each of the MF driver assistance functions could also be predetermined.
  • the N driver assistance functions could be selected from the M driver assistance functions in accordance with a list of priorities that are determined in advance. For example, before (first liger) commissioning of the camera device or, during vehicle maintenance, each of the M driver assistance functions is assigned a value, e.g. B. a safety relevance value from 1 to 5, which is a measure of the safety relevance of a driver assistance function. For example, a security relevance value 1 corresponds to a very low security relevance and a security relevance value 5 corresponds to a very high security relevance.
  • a driver assistance function is the more safety-critical or safety-relevant the more suitable it is to prevent an accident of the vehicle 1.
  • a driver assistance function is assigned a high safety relevance value in advance if this driver assistance function is required by law.
  • the high-beam assistant 13 could be rated as slightly safety-critical (safety relevance value 1), the lane-keeping assistance 14 as average safety-critical (safety relevance value 3) and the emergency braking assistance 15 as highly safety-critical (safety relevance value 5 ) be predetermined.
  • the program flow 12 could be changed by only executing the driver assistance functions 14 and 15 in the changed program flow 12 '. If the detected temperature of the computer unit 8 continues to rise and exceeds a second threshold value, the changed program sequence 12 'could be changed further, so that only the driver assistance function 15 is carried out in a second changed program sequence.
  • the selection of which of the MF driver assistance functions originally provided in the program sequence 12 are at least partially not carried out due to an excessive temperature of the computer unit 8 can also be made, for example, as a function of a vehicle condition and / or a condition of the vehicle environment.
  • the supply could If the vehicle surroundings were to be assessed as sufficiently bright due to daylight, in order to at least partially not carry out the high-beam assistance in the case of high temperatures of the computer unit 8.
  • Another example of a selection of the N driver assistance functions depending on a vehicle state and / or a state of the vehicle environment is a critical state of the vehicle 1.
  • the program sequence 12 could be changed by the Lane departure warning 14 is not switched off and instead other driver assistance functions are switched off.
  • Another example of a critical condition of the vehicle is a detected impending collision of the vehicle with another object. In this case, the program sequence 12 could be changed in that the emergency brake assistance 15 is not switched off and instead other driver assistance functions are switched off.
  • the M driver assistance functions of the program sequence 12 can have a common preprocessing. This is illustrated schematically in FIG. 3 by an area 16 of each driver assistance function 13, 14 and 15.
  • the common preprocessing 16 can consist of a basic image processing which can be carried out jointly for all or some of the driver assistance functions.
  • the basic image processing can, for example, be an image correction with regard to sensor errors, image artifacts, stray light, contrast, etc.
  • each of the M driver assistance functions has a main processing unit 17, 18, 19.
  • the main processings 17, 18 and 19 are particularly different from each other.
  • the program flow 12 is used to provide the number M driver assistance functions (13, 14, 15 in FIG. 3) or at least the preprocessing 16 and parts of the respective main V preparation (17, 18, 19 in Fig. 3).
  • the changed program sequence 12 ' is used to provide the number N driver assistance functions (14, 15 in FIG. 3) or at least the preprocessing 16 and parts of the respective main processing (18, 19 in FIG. 3).
  • the changed program sequence 12 'can consist of all M driver assistance functions (13, 14,
  • preprocessing 16 is carried out, main processing 17, 18, 19, however, only from a subset N of the driver assistance functions.
  • the driver assistance function 15 is completely, i. H. including preprocessing 16 and main processing 19 executed.
  • the driver assistance function 14 is also completely, i. H. including the preprocessing 16 and the main processing 18 are executed.
  • the driver assistance function 13 for example, is only partially executed, namely only the preprocessing 16, but not the main processing 17, is executed by the driver assistance function 13.
  • control unit 10 is set up to slow down the program sequence 12 as a function of the temperature of the computer unit 8 made available by the supply unit 11 (temperature sensor).
  • control unit 10 is adapted, the program sequence Pro ⁇ 12 to slow for all driver assistance functions 13, 14 and 15 equally.
  • the frame rate of the camera 4 can be slowed down, so that the number which is reduced by the computing unit 8 per unit of time to ver ⁇ working images.
  • the clock rate of the computer unit 8 could be slowed down.
  • the camera device 3 also has a Mikrocon troller 20, which is electronically connected to the further assembly 7, for example with the computer unit 8.
  • the camera device 3 has a data transmission interface 21, for example a bus system, for the transmission of data to other systems of the vehicle 1, for example to a central processing unit of the vehicle 1 (not shown) and / or to a headlight system of the vehicle 1, a steering system of the vehicle 1, a braking system of the vehicle, or other control systems of the vehicle 1.
  • a data transmission interface 21 for example a bus system, for the transmission of data to other systems of the vehicle 1, for example to a central processing unit of the vehicle 1 (not shown) and / or to a headlight system of the vehicle 1, a steering system of the vehicle 1, a braking system of the vehicle, or other control systems of the vehicle 1.
  • control commands are output via a bus system 21 from the computer unit 8 to a headlight system of the vehicle 1 for switching a headlight from a high beam setting to a dipped beam setting.
  • control commands are output via the bus system 21 from the computer unit 8 to a steering system of the vehicle 1 for steering back into a lane.
  • control commands from the computer unit 8 to a braking system of the vehicle 1 for braking the vehicle 1 are output via the bus system 21.
  • FIG. 4 shows a flow chart of a method for operating the camera device 3.
  • step S 1 the camera 4 records one or more images (in particular a video) of the surroundings of the vehicle 1.
  • step S2 the camera 4 transmits the one or more images to the computer unit 8.
  • step S3 the supply unit 11 provides the temperature of the computer unit 8.
  • the provision unit 11 is one at the Computer unit 8 attached temperature sensor that measures the temperature of the computer unit 8.
  • step S4 the supply unit 11 transmits the supplied (e.g. measured) temperature from the computer unit 8 to the control unit 10.
  • step S5 the control unit 10 determines whether the temperature provided by the computer unit 8 is greater than a predetermined threshold value.
  • control unit 10 determines in step S5 that the temperature provided by the computer unit 8 is less than or equal to the predetermined threshold value ("NO" in step S5), then the control unit 10 transmits a control command to the in step S6 Computer unit 8 to execute the program sequence 12.
  • the computer unit 8 executes the program sequence 12 in step S7. That is, the computer unit 8 executes the unchanged program sequence 12. In the example of FIG. 3, the computer unit 8 thus executes the program flow 12 in step S7 to provide at least part of each of the driver assistance functions 13, 14 and 15.
  • control unit 10 determines in step S5 that the temperature provided by the computer unit 8 is greater than the predefined threshold value (“YES” in step S5), then the control unit 10 changes the program flow 12 to the changed one in step S8 Program sequence 12 '.
  • control unit 10 transmits a control command to the computer unit 8 in step S9 to execute the changed program sequence 12 '. Furthermore, in this case, the computer unit 8 executes the changed program flow 12 'in step S10.
  • steps S1 and S2 of taking one or more images and transmitting the images to the computer unit 8 can be carried out repeatedly, for example continuously.
  • the computer unit 8 executes the program flow 12 in step S7 or the changed program flow 12 'in step S10, depending on which control command it last received from the control unit 10 in step S6 or S9.
  • Steps S3 to S5 of providing the temperature by the supply unit 11, transmitting the temperature to the control unit 10 and comparing the transmitted temperature with a predetermined threshold value by the control unit 10 can also be repeated, for example con continuously.
  • steps S6 and S7 or S8, S9 and S 10 are then repeatedly executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Kameravorrichtung (3) für ein Fahrzeug (1), aufweisend: eine Kamera (4) zum Aufnehmen eines Bildes, eine Rechner-Einheit (8) zur Ausführung eines Programmablaufs (12) zur Bereitstellung zumindest eines Teils einer Fahrerassistenzfunktion (13, 14, 15) in Abhängigkeit des aufgenommenen Bildes, eine Bereitstellungs-Einheit (11) zur Bereitstellung einer Temperatur der Rechner-Einheit (8), und eine Steuer-Einheit (10), welche dazu eingerichtet ist, den Programmablauf (12) in Abhängigkeit der bereitgestellten Temperatur zu ändern, wobei die Rechner-Einheit (8) dazu eingerichtet ist, den geänderten Programmablauf (12') auszuführen.

Description

KAMERAVORRICHTUNG, KRAFTFAHRZEUG, VERFAHREN UND COMPUTERPROGRAMMPRODUKT
Die vorliegende Erfindung betrifft eine Kameravorrichtung, ein Kraftfahrzeug mit der Kameravorrichtung, ein Verfahren und ein Computerprogrammprodukt.
Fahrzeuge werden zunehmend mit Kameras zur Überwachung der Fahrzeugum gebung ausgestattet. Ein Beispiel ist eine Frontkamera, welche auf der Innensei te der vorderen Windschutzscheibe eines Fahrzeugs angebracht ist. Üblicher weise handelt es sich dabei um Kameras, bei denen eine Kameraoptik, ein Bildsensor, ein Bildprozessor und eine F ahrzeugschnittsteile integriert sind. Al lerdings ist insbesondere die hinter der Windschutzscheibe angebrachte Kamera dem Sonnenlicht ausgesetzt und kann sich infolgedessen stark erhitzen. Außer dem kann der Bildprozessor (Videoprozessor) in der Kamera eine erhebliche Wärmemenge erzeugen. Eine Kühlung der Kamera durch die Klimaanlage des Fahrzeugs ist meist nicht ausreichend. Demzufolge besteht die Gefahr, dass die Kamera überhitzt.
Herkömmlich wird bei der Gefahr eines Überhitzens der Kamera der Videopro zessor abgeschaltet, bis sich seine Temperatur soweit abgekühlt hat, dass er wie der in Betrieb genommen werden kann. Allerdings sind dabei alle Fahrerassis tenzfunktionen, die auf einer Bildverarbeitung mit dem Videoprozessor basieren, vorübergehend nicht verfügbar. Das betrifft zum einen Komfortfunktionen, wie beispielsweise eine Fernlichtautomatik, aber auch Sicherheitsfunktionen, wie beispielsweise eine Kollisionswarnung und eine Notbremsautomatik. Das hat zur Folge, dass ein Fehler des Fahrers während eines Abschaltzustands des Video prozessors zu einem Unfall führen kann, der verhindert hätte werden können, wenn die Fahrerassistenzfunktion zur Verfügung gestanden hätte. Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, eine verbesserte Kameravorrichtung zu schaffen.
Demgemäß wird eine Kameravorrichtung für ein Fahrzeug vorgeschlagen. Die Kameravorrichtung weist auf: eine Kamera zum Aufnehmen eines Bildes, eine Rechner-Einheit zur Ausführung eines Programmablaufs zur Bereit stellung zumindest eines Teils einer Fahrerassistenzfunktion in Abhängigkeit des aufgenommenen Bildes, eine Bereitstellungs-Einheit zur Bereitstellung einer Temperatur der Rech ner-Einheit, und eine Steuer-Einheit, welche dazu eingerichtet ist, den Programmablauf in Abhängigkeit der bereitgestellten Temperatur zu ändern, wobei die Rechner -Einheit dazu eingerichtet ist, den geänderten Pro grammablauf auszuführen.
Durch Änderung des Fahrerassistenz-Programmablaufs in Abhängigkeit der Temperatur der Rechner-Einheit und Ausführen des geänderten Programmab laufs kann ein ungünstiger Temperaturwert, zum Beispiel ein zu hoher Tempe raturwert, der Rechner-Einheit vermieden werden, während der Programmab lauf gleichzeitig in geänderter Form weiterlaufen kann. Dadurch kann ein voll ständiges Abschalten der Rechner-Einheit zur Vermeidung einer Überhitzung der Rechner-Einheit vermieden werden. Folglich können dem Fahrer des Fahr zeugs auch bei hoher Temperatur der Rechner-Einheit nach wie vor Fahrerassis tenzfunktionen zur Verfügung gestellt werden.
Die Kameravorrichtung ist insbesondere an oder in einem F ahrzeug, wie bei spielsweise einem Kraftfahrzeug, angebracht. Das Fahrzeug ist zum Beispiel ein Personenkraftwagen, ein Lastkraftwagen, ein Bus, ein Motorrad, ein Luftfahr zeug und/oder ein Wasserfahrzeug. Die Fahrzeugkamera kann auch an oder in Fahrzeugen eingesetzt werden, die autonom oder zumindest teilautonom betrie¬ ben werden können.
Die Kameravorrichtung ist zum Beispiel an oder unter einer Scheibe, insbeson¬ dere einer Frontscheibe, des Fahrzeugs angeordnet. Die Kameravorrichtung ist zum Beispiel an einer Innenseite der vorderen Windschutzscheibe angeordnet und in Fahrtrichtung des Fahrzeugs gerichtet. In diesem Fall kann die Kamera¬ vorrichtung als Frontkameravorrichtung bezeichnet werden. Die Kameravorrich¬ tung kann auch an einer anderen Stelle des Fahrzeugs angeordnet und/oder in einer anderen Richtung ausgerichtet sein. Die Kameravorrichtung weist die Ka¬ mera zum Aufnehmen eines Bildes, insbesondere eines Bildes einer Umgebung des Fahrzeugs, auf. Durch geeignete Anordnung der Kameravorrichtung können entsprechende Überwachungsbereiche vor, hinter, neben, über und/oder unter dem Fahrzeug mit der Kameravorrichtung überwacht werden. Insbesondere können ruhende oder bewegte Objekte in der Umgebung des Fahrzeugs erfasst werden, wie beispielsweise F ahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten (z. B. Schlaglöcher oder Steine), Fahrbahnbegrenzungen, Verkehrszeichen oder Freiräume (z. B. Parklücken).
Die Kamera weist insbesondere ein optisches System, insbesondere ein Objektiv, eine Linse oder dergleichen auf. Weiterhin weist die Kamera insbesondere einen Bildsensor, z. B. eine CCD-Kamera (Charged Coupled Device) oder einen CMOS- Sensor (Complementary MetaPOxide Semiconductor-Sensor), auf. Die Kamera weist zum Beispiel eine Leiterplatte auf, auf welcher elektrische und/oder elekt¬ ronische Bauteile, wie beispielsweise der Bildsensor, angeordnet sind.
Die Kameravorrichtung weist zum Beispiel eine Speicher-Einheit zum Abspei¬ chern der von der Kamera aufgenommenen Bilder und anderer Informationen auf. Die Fahrerassistenzfunktion weist zum Beispiel eine Geschwindigkeitsassistenz (adaptive Geschwindigkeitsregelung, Abstandsregelung, ACC: Adaptive Cruise Control), eine Spurassistenz, eine Spurhalteassistenz (LKA: Lane Keep Assist), eine Spurwechselassistenz, eine Notbremsassistenz (AEB: Automatic Emergency Braking), eine Lenkassistenz, eine Notlenkassistenz (AES: Automatic Emergency Steering), eine Stauassistenz (TJA: Traffic Jam Assist), eine Lichtassistenz und/oder eine Fernlichtassistenz auf.
Die vorliegend genannten Einheiten, wie etwa die Rechner-Einheit und die Steu¬ er-Einheit, können jeweils hardwaretechnisch und/oder softwaretechnisch im¬ plementiert sein. Bei einer hardwaretechnischen Implementierung kann die ent¬ sprechende Einheit als Vorrichtung oder als Teil einer Vorrichtung, zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Die Vorrichtung kann beispielsweise eine zentrale Recheneinheit (central Processing unit, CPU), eine Graphikprozessor-Einheit (graphical Processing unit, GPU), eine programmier¬ bare Hardware-Logik (z. B. ein feldprogrammierbares Gate-Array, field pro- grammable gate array, FPGA), einen anwendungsspezifischen integrierten Schaltkreis (application-specific integrated circuit, ASIC) oder dergleichen auf¬ weisen. Außerdem können die ein oder mehreren Einheiten, wie etwa die Rech¬ ner-Einheit und die Steuer-Einheit, zusammen in einer einzigen Hardware- Vorrichtung implementiert sein, und sie können zum Beispiel einen Speicher, Schnittstellen und dergleichen teilen. Die Einheiten, wie etwa die Rechner- Einheit und die Steuer-Einheit, können auch in separaten Hardware -Bauteilen realisiert sein.
Die Fahrerassistenzfunktion(en) ist (sind) insbesondere softwaretechnisch im¬ plementiert.
Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit (wie etwa die Rechner-Einheit und/oder die Steuer-Einheit) und/oder die Fahrerassis- tenzfunktion als Computerprogrammprodukt, als eine Funktion, als eine Re- chenroutine, als ein Algorithmus, als Teil eines Programmcodes oder als aus führbares Objekt ausgebildet sein.
Die ein oder mehrere Einheiten, wie etwa die Rechner-Einheit und die Steuer- Einheit, sind insbesondere in der Kameravorrichtung integriert, also zum Bei spiel in ein und demselben Gehäuse vorgesehen. Sie sind zum Beispiel in ein und demselben an oder unter einer Windschutzscheibe angebrachten Gehäuse vorge sehen. In einer Ausführungsform kann die Steuer-Einheit auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuervorrichtung (Fahrzeugsteuergerät bzw. ECU (Electronic Control Unit)) ausgebildet sein.
Mit der Rechner -Einheit und/oder der Steuer-Einheit können beispielsweise auch Funktionen der Kamera, insbesondere zur Bildaufnahme und andere Kamera einstellungen, gesteuert werden. Mit der Rechner-Einheit können Informationen, die mit der Kamera gewonnen werden, ausgewertet und analysiert werden.
Gemäß einer Ausführungsform ist die Steuer-Einheit dazu eingerichtet, den Pro grammablauf derart zu ändern, dass eine Leistungsaufnahme der Rechner- Einheit zumindest während der Ausführung des geänderten Programmablaufs verringert ist.
Durch Verringerung der Leistungsaufnahme der Rechner-Einheit kann eine Wärmeerzeugung der Kameravorrichtung, insbesondere der Rechner-Einheit, verringert werden. Insbesondere kann ein vollständiges Abschalten der Rechner- Einheit so besser vermieden werden. Gemäß einer weiteren Ausführungsform ist die Steuer-Einheit dazu eingerichtet, den Programmablauf in Abhängigkeit der bereitgestellten Temperatur zu ver langsamen.
Durch Verlangsamung des Programmablaufs kann eine Wärmeerzeugung der Kameravorrichtung verringert werden.
Gemäß einer weiteren Ausführungsform ist die Steuer-Einheit dazu eingerichtet, den Programmablauf durch Verringern einer Taktrate der Rechner-Einheit und/oder durch Verringern einer Bildrate der Kamera zu verlangsamen.
Durch Verringerung der Taktrate der Rechner-Einheit wird die Prozessge schwindigkeit der Rechner-Einheit verringert und somit deren Leistungsauf nahme und Wärmeerzeugung. Durch Verringerung der Bildrate der Kamera ver ringert sich die Anzahl der von der Rechner-Einheit pro Zeiteinheit zu verarbei tenden Bilder und somit auch die Leistungsaufnahme und Wärmeerzeugung der Rechner -Einheit .
Gemäß einer weiteren Ausführungsform ist die Steuer-Einheit dazu eingerichtet, den Programmablauf für die Dauer eines Fahrzeugzustands und/oder eines Zu stands der F ahrzeugumgebung zu ändern.
Dadurch kann der Programmablauf in Abhängigkeit eines Fahrzeugzustands und/oder eines Zustands der Fahrzeugumgebung geändert werden.
Ein Beispiel für einen Zustand der Fahrzeugumgebung ist ein Helligkeitswert des Tageslichtes in der Fahrzeugumgebung. Ein Beispiel für die Änderung des Programmablaufs für die Dauer eines Zustands der Fahrzeugumgebung ist ein Deaktivieren einer Fernlichtassistenz, solange der Helligkeitswert des Tages- lichts einen vorgegebenen Wert nicht unterschreitet, mit anderen Worten solange es hell genug ist, dass eine Fernlichtassistenz entbehrlich ist.
Ein weiteres Beispiel für einen Zustand der Fahrzeugumgebung ist ein Abstand zu einem vorausfahrenden Fahrzeug. Ein Beispiel für die Änderung des Pro grammablaufs für die Dauer eines Zustands der Fahrzeugumgebung ist ein De aktivieren anderer Fahrerassistenzfunktionen, jedoch nicht des Kollisionsassis- tenten, solange der Abstand zu dem vorausfahrenden Fahrzeug einen kritischen Abstand unterschreitet.
Gemäß einer weiteren Ausführungsform weist der Programmablauf einen Pro grammablauf zur Bereitstellung einer Anzahl M F ahrerassistenzfunktionen oder jeweils zumindest Teilen davon in Abhängigkeit des aufgenommenen Bildes auf. Ferner weist der geänderte Programmablauf einen Programmablauf zur Bereit stellung einer Anzahl N Fahrerassistenzfunktionen oder jeweils zumindest Tei len davon auf. Dabei ist N kleiner als M und/oder beinhalten die M Fahrerassis tenzfunktionen die N Fahrerassistenzfunktionen.
Folglich dient der Programmablauf zur Bereitstellung mehrerer Fahrerassistenz- funktionen (M Fahrerassistenzfunktionen) oder jeweils zumindest Teilen davon. Weiterhin kann der Programmablauf zur Bereitstellung der M Fahrerassistenz- funktionen - oder jeweils zumindest Teilen davon - durch Beschränkung auf ei ne kleinere Anzahl von N Fahrerassistenzfunktionen - oder jeweils zumindest Teilen davon - geändert werden. Damit können ausgewählte F ahrerassistenz funktionen beibehalten werden, während andere deaktiviert werden.
Beispielsweise umfassen die M Fahrerassistenzfunktionen eine Fernlichtassis- tenz, eine Notbremsassistenz und eine Spurhalteassistenz. Beispielsweise um fassen die N Fahrerassistenzfunktionen die Notbremsassistenz und die Spurhal teassistenz, jedoch nicht die Fernlichtassistenz. Die M F ahrerassistenzfunktionen des Programmablaufs können eine gemeinsa me Vorverarbeitung aufweisen. Des Weiteren können die M Fahrerassistenz- funktionen jeweils eine, insbesondere voneinander verschiedene, Hauptverarbei tung aufweisen. Die gemeinsame Vorverarbeitung kann in einer grundlegenden Bildverarbeitung bestehen, die für alle oder einen Teil der Fahrerassistenzfunk tionen gemeinsam ausgeführt werden kann. Die grundlegende Bildverarbeitung kann beispielsweise eine Bildkorrektur im Hinblick auf Sensorfehler, Bildarte fakte, Streulicht, Kontrast etc. sein.
Im Falle einer gemeinsamen Vorverarbeitung dient der Programmablauf zur Be reitstellung einer Anzahl M Fahrerassistenzfunktionen oder jeweils zumindest Teilen der jeweiligen Hauptverarbeitung. Außerdem dient in diesem Fall der ge änderte Programmablauf zur Bereitstellung einer Anzahl N Fahrer assistenz - funktionen oder jeweils zumindest Teilen der jeweiligen Hauptverarbeitung.
Gemäß einer weiteren Ausführungsform sind die N Fahrerassistenzfunktionen sicherheitskritisch und weisen die M F ahrerassistenzfunktionen zumindest eine nicht-sicherheitskritische Fahrerassistenzfunktion auf.
Dadurch kann der Programmablauf durch Deaktivieren nicht sicherheitskritischer Fahrerassistenzfunktionen bei gleichzeitiger Beibehaltung von sicherheitskritischen Fahrerassistenzfunktionen geändert werden. Sicher heitskritische Fahrerassistenzfunktionen sind insbesondere F ahrerassistenz funktionen, die dazu dienen, UnfäUe zu vermeiden. Sicherheitskritische Fahrer- assistenzfunktionen können auch F ahrerassistenzfunktionen sein, die gesetzlich vorgeschrieben sind.
Gemäß einer weiteren Ausführungsform ist die Rechner-Einheit und/oder die Steuer-Einheit dazu eingerichtet, die N Fahrerassistenzfunktionen aus den M Fahrerassistenzfunktionen in Abhängigkeit eines Fahrzeugzustands und/oder eines Zustands der Fahrzeugumgebung auszuwählen.
Gemäß einer weiteren Ausführungsform weist die Fahrerassistenzfunktion oder eine, mehrere oder sämtliche der M und/oder N Fahrerassistenzfunktionen ein Mitteilen einer Information und/oder Warnen des Fahrers des Fahrzeugs und/oder ein Eingreifen in ein Fahren des Fahrzeugs auf.
Die Fahrerassistenzfunktion oder eine, mehrere oder sämtliche der M und/oder N Fahrerassistenzfunktionen weist zum Beispiel einen SAE- Automatisierungsgrad 1, 2, 3, 4 oder 5 auf. Die Fahrerassistenzfunktion kann eine Funktion zum auto nomen Fahren oder semi-autonomen Fahren sein, wobei das Fahrzeug teilauto matisch oder vollautomatisch gefahren/gesteuert wird.
Das SAE -Klassifikationssystem, das auf sechs verschiedenen Automatisierungs- graden basiert, wurde 2014 von SAE International, einer Standardisierungsor ganisation für Kraftfahrzeuge, als J3016, „Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems“ veröffentlicht.
Es berücksichtigt das Maß des erforderlichen Eingreifens des Systems und der erforderlichen Aufmerksamkeit des Fahrers. Die SAE Automatisierungsgrade reichen von Stufe 0, die einem vollständig manuellen System entspricht, bis Stu fe 5, die einem vollautomatischen System entspricht, bei der kein Fahrer mehr erforderlich ist. Ein autonomes Fahrzeug (auch als fahrerloses Auto, selbstfah rendes Auto und robotisches Auto bekannt) ist ein F ahrzeug, das in der Lage ist, seine Umgebung zu erfassen und ohne menschliche Eingabe zu navigieren und es entspricht dem SAE -Automatisierungsgrad 5.
Gemäß einer weiteren Ausführungsform weist die Rechner-Einheit einen Bild prozessor und/oder Videoprozessor auf. Gemäß einer weiteren Ausführungsform weist die Bereitstellungs-Einheit einen Temperatursensor zur Bereitstellung der Temperatur der Rechner-Einheit auf.
Dadurch kann die Temperatur der Rechner-Einheit mittels des Temperatur sensors gemessen werden.
Der Temperatursensor ist beispielsweise ein Thermoelement, ein Thermistor (z. B. ein PTOSensor (Positive Temperature Coefficient Sensor) oder ein NTO Sensor (Negative Temperature Coefficient Sensor)), einHalbleiter- Temperatursensor oder ein anderer geeigneter Temperatursensor.
Alternativ oder zusätzlich kann die Bereitstellung-Einheit die Temperatur der Rechner -Einheit zum Beispiel durch Auswerten eines Zustands der Fahr zeugumgebung, von Informationen eines Navigationssystems und/oder eines GPS-Systems bereitstellen.
Gemäß einer weiteren Ausführungsform ist die Steuer-Einheit dazu eingerichtet, den Programmablauf zu ändern, wenn die bereitgestellte Temperatur höher als ein Schwellenwert ist.
Dadurch kann ein Überhitzen der Kameravorrichtung vermieden werden.
Gemäß einem weiteren Aspekt wird ein Kraftfahrzeug mit einer vorstehend be schriebenen Kameravorrichtung vor geschlagen.
Gemäß einem weiteren Aspekt wird ein Verfahren zum Betreiben einer Kamera vorrichtung in einem Fahrzeug vorgeschlagen, mit den Schritten:
Aufnehmen eines Bildes mit einer Kamera,
Ausführen eines Programmablaufs zur Bereitstellung zumindest eines Teils einer Fahrerassistenzfunktion in Abhängigkeit des aufgenommenen Bildes, Bereitstellen einer Temperatur der Rechner-Einheit,
Ändern des Programmablaufs in Abhängigkeit der bereitgestellten Tempe ratur, und
Ausfuhren des geänderten Programmablaufs.
Gemäß einem weiteren Aspekt wird ein Computerprogrammprodukt vorgeschla gen, welches Befehle umfasst, die bei der Ausführung des Programms durch ei nen Computer diesen veranlassen, das vorstehend beschriebene Verfahren aus zuführen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm -Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in ei nem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer ent sprechenden Datei mit dem Computerprogrammprodukt oder dem Computerpro gramm-Mittel erfolgen.
Die für die vorgeschlagene Kameravorrichtung beschriebenen Ausführungsfor men und Merkmale gelten für das vor geschlagene Kraftfahrzeug, das vor ge schlagene Verfahren und das vorgeschlagene Computerprogrammprodukt ent sprechend.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht expli zit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausfüh rungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen. Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegen stand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungs beispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzug ten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
Fig. 1 zeigt ein Fahrzeug mit einer Kameravorrichtung;
Fig. 2 zeigt eine schematische Darstellung funktioneller Komponenten der Kameravorrichtung aus Fig. Y,
Fig. 3 veranschaulicht einen beispielhaften Programmablauf einer Rechner- Einheit der Kameravorrichtung aus Fig. Y, und
Fig. 4 zeigt ein Flussablaufdiagramm eines Verfahrens zum Betreiben der Kameravorrichtung aus Fig. 1.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Be zugszeichen versehen worden, sofern nichts anderes angegeben ist.
Nachstehend werden mit Bezug zu den Figuren 1 bis 4 Ausführungsformen einer Kameravorrichtung für ein Kraftfahrzeug, eines Verfahrens zum Betreiben der Kameravorrichtung und eines entsprechendes Computerprogrammprodukt be schrieben.
Fig. 1 zeigt ein Kraftfahrzeug 1. Das Kraftfahrzeug 1 ist in dem Beispiel ein Per sonenkraftwagen. In anderen Beispielen kann das Kraftfahrzeug 1 auch ein Lastkraftwagen, Bus oder ein anderes Kraftfahrzeug sein. Auf der Innenseite der vorderen Windschutzscheibe 2 des Kraftfahrzeugs 1 ist eine Kameravorrichtung 3 angebracht. Die Kameravorrichtung 3 in dem Beispiel ist dazu eingerichtet, einen vor dem Fahrzeug 1 liegenden Bereich zu überwachen. Die Kameravorrich tung 3 kann für verschiedene Fahrerassistenzfunktionen verwendet werden, wie beispielsweise für eine Objekterkennung, eine Spurhalteassistenz und eine Fern- lichtassi stenz. In anderen Beispielen kann die Kameravorrichtung 3 auch an an deren Positionen in dem Kraftfahrzeug 1 angebracht sein und/oder in andere Richtungen ausgerichtet sein.
Die Kameravorrichtung 3 weist zum Beispiel ein Gehäuse und einen daraus her vorstehenden Objektivtubus auf (nicht gezeigt). Die Kameravorrichtung 3 ist an der Windschutzscheibe 2 angebracht, beispielsweise mithilfe eines Rahmens oder einer Halterung, die mithilfe von Befestigungselementen haftend an der Wind schutzscheibe befestigt ist.
Fig. 2 zeigt eine schematische Darstellung funktioneller Komponenten der Ka meravorrichtung 3 aus Fig. 1.
Die Kameravorrichtung 3 weist eine Kamera 4 (Bildaufnehmer-Baugruppe) mit einem optischen System 5 und einem Bildsensor 6 auf. Das optische System 5 weist zum Beispiel ein Objektiv auf, um eine Szene vor dem Fahrzeug 1 zu erfas sen und auf dem Bildsensor 6 abzubilden. Der Bildsensor 6 ist zum Beispiel auf einer Leiterplatte (Bildaufnehmer-Leiterplatte, nicht gezeigt) montiert. Der Bildsensor 6 ist zum Beispiel eine CCD-Kamera (Charged Coupled Device) oder ein CMOS-Sensor. Beispielsweise ist der Bildsensor 6 ein in CMOS -Technologie realisierter AktivPixel-Sensor (CMOS-APS, CMOS active pixel sensor). Das op tische System 5 (z. B. das Objektiv) ist beispielsweise mithilfe eines Objektivhal ters (nicht gezeigt) mechanisch an der Leiterplatte befestigt, sodass es vor dem Bildsensor 6 angeordnet ist.
Die Kameravorrichtung 3 weist außerdem eine weitere Baugruppe 7 auf, die mit der Kamera 4 (Bildaufnehmer-Baugruppe) elektronisch verbunden ist. Die weite- re Baugruppe 7 ist beispielsweise auf einer Haupt -Leiterplatte (nicht gezeigt) montiert. Die Haupt -Leiterplatte ist beispielsweise mit der Bildaufnehmer- Leiterplatte über eine Steckverbindung elektrisch verbunden (nicht gezeigt). Die Haupt-Leiterplatte kann beispielsweise gegenüber der Bildaufnehmer- Leiterplatte geneigt sein.
Die weitere Baugruppe 7 weist eine Rechner-Einheit 8, eine Speicher-Einheit 9, eine Steuer-Einheit 10 und eine Bereitstellungs-Einheit 11 auf. Die weitere Bau gruppe 7 kann auch weitere elektrische und/oder elektronische Komponenten aufweisen.
Die Rechner-Einheit 8 ist beispielsweise ein Videoprozessor (Mikroprozessor), welcher von der Kamera 4 aufgenommene Bilder verarbeitet. Die von der Kame ra 4 aufgenommenen Bilder können in der Speicher -Einheit 9 gespeichert wer den. Außerdem können auch andere Informationen auf der Speicher-Einheit 9 gespeichert werden, wie beispielsweise aus den aufgenommenen Bildern abgelei tete Analyseergebnisse, vorbestimmte Werte und/oder Programmcodes.
Die Rechner-Einheit 8 ist dazu eingerichtet, einen Programmablauf zur Bereit stellung zumindest eines Teils einer Fahrerassistenzfunktionen in Abhängigkeit eines oder mehrerer von der Kamera 4 aufgenommenen Bilder auszuführen.
Die Fahrerassistenzfunktion ist zum Beispiel eine Abstandsregelung, eine Spurhalteassistenz, eine Spurwechselassistenz, eine Notbremsassistenz, eine Lenkassistenz, eine Stauassistenz und/oder eine Fernlichtassistenz. Die Rechner- Einheit 8 führt einen Programmablauf aus, der eine oder mehrere solcher Fah rerassistenzfunktionen bereitstellt.
Fig. 3 veranschauhcht einen beispielhaften Programmablauf 12 mit in diesem Beispiel drei Fahrerassistenzfunktionen 13, 14 und 15. M bezeichnet die Anzahl der Fahrerassistenzfunktionen in dem Programmablauf 12. Der Programmablauf 12 ist beispielsweise ein Programmcode, eine Software und/oder eine Abfolge von Anweisungen.
Beispielsweise ist die Fahrerassistenzfunktion 13 eine Fernlichtassistenz, mithil fe welcher ein entgegenkommendes F ahrzeug in Aufnahmen der Kamera 4 er kannt werden kann und ein Steuerbefehl zum Umschalten eines Scheinwerfer- hchts von einer Fernlichteinstellung auf eine Abblendeinstellung ausgegeben werden kann.
Beispielsweise ist die Fahrerassistenzfunktion 14 eine Spurhalteassistenz, mit hilfe welcher eine Fahrbahnspur in Aufnahmen der Kamera 4 erkannt werden kann und bei Verlassen der Spur ein Steuerbefehl zum Mitteilen einer Warnung und/oder ein Steuerbefehl zum Zurücklenken auf die Spur ausgegeben werden kann.
Beispielsweise ist die Fahrerassistenzfunktion 15 eine Notbremsassistenz, mit hilfe welcher ein ruhendes oder bewegtes Objekt in Aufnahmen der Kamera 4 erkannt werden kann, ein Abstand zu dem Objekt bestimmt werden kann und ein Steuerbefehl zum Bremsen des F ahrzeugs 1 ausgegeben werden kann.
Die Bereitstellungs-Einheit 11 der Kameravorrichtung 3 ist zur Bereitstellung einer Temperatur der Rechner -Einheit 8 eingerichtet. Die Bereitstellungs- Einheit 11 ist beispielsweise ein an oder in der Rechner-Einheit 8 (dem Videopro zessor) angebrachter bzw. integrierter Temperatursensor.
Die Steuer-Einheit 10 der Kameravorrichtung 3 ist eine elektronische Steuer- Einheit, welche dazu eingerichtet ist, den Programmablauf 12 in Abhängigkeit der von der Bereitstellungs-Einheit 11 (dem Temperatursensor) bereitgestellten Temperatur zu ändern. Übersteigt beispielsweise die von der Bereitstellungs- Einheit 11 erfasste Temperatur der Rechner-Einheit 8 einen Schwellenwert, dann ändert die Steuer-Einheit 10 den Programmablauf 12 beispielsweise derart, dass von den drei Fahrerassistenzfunktionen 13, 14 und 15 in Fig. 3 lediglich die zwei Fahrerassistenzfunktionen 14 und 15 ausgeführt werden. N bezeichnet die Anzahl der Fahrerassistenzfunktionen des geänderten Programmablaufs 12'. Mit anderen Worten wird zum Beispiel bei einer Gefahr eines Überhitzens der Rech ner-Einheit 8 von den M Fahrerassistenzfunktionen lediglich eine Untermenge von N Fahrerassistenzfunktionen ausgeführt. Damit kann die Rechnerleistung der Rechner-Einheit 8 und somit deren Wärmeentwicklung reduziert werden.
Die Auswahl, welche von den ursprünglich im Programmablauf 12 bereitgestell ten M F ahrerassistenzfunktionen im F alle einer überhöhten Temperatur der Rechner -Einheit 8 zumindest teilweise nicht ausgeführt werden, basiert zum Beispiel auf einer (z. B. vorbestimmten) Einschätzung jeder der M Fahrerassis tenzfunktionen als sicherheitskritisch oder nicht-sicherheitskritisch. Beispiels weise wird vor (erstmaliger) Inbetriebnahme der Kameravorrichtung oder bei einer Fahrzeugwartung für jede der M Fahrerassistenzfunktionen bestimmt, ob sie sicherheitskritisch ist oder nicht. Beispielsweise wird eine Fahrerassistenz- funktion als sicherheitskritisch bestimmt, wenn sie dazu geeignet ist, einen Un fall des Fahrzeugs 1 zu verhindern. Beispielsweise wird eine Fahrerassistenz- funktion als sicherheitskritisch bestimmt, wenn sie gesetzlich vorgeschrieben ist. In dem Beispiel von Fig. 3 könnte die Fernhchtassistenz 13 als nicht sicherheitskritisch bestimmt werden, während die Spurhalteassistenz 14 und die Notbremsassistenz 15 als sicherheitskritisch eingestuft werden könnten.
Neben einer binären Klassifizierung als sicherheitskritisch oder nicht sicherheitskritisch könnte auch ein Grad der Sicherheitsrelevanz jeder der M F ahrerassistenzfunktionen vorbestimmt sein. Beispielsweise könnten die N Fah rerassistenzfunktionen aus den M Fahrerassistenzfunktionen gemäß einer vor bestimmten Prioritätenliste ausgewählt werden. Beispielsweise wird vor (erstma- liger) Inbetriebnahme der Kameravorrichtung oder bei einer Fahrzeugwartung jeder der M Fahrerassistenzfunktionen ein Wert zugeordnet, z. B. ein Sicher heitsrelevanz -Wert von 1 bis 5, welcher ein Maß für die Sicherheitsrelevanz einer Fahrerassistenzfunktion ist. Beispielsweise entspricht ein Sicherheitsrelevanz - Wert 1 einer sehr geringen Sicherheitsrelevanz und ein Sicherheitsrelevanz-Wert 5 einer sehr hohen Sicherheitsrelevanz. Beispielsweise wird eine Fahrerassis tenzfunktion als umso sicherheitskritischer bzw. sicherheitsrelevanter vorbe stimmt, je stärker sie dazu geeignet ist, einen Unfall des Fahrzeugs 1 zu verhin dern. Beispielsweise wird einer Fahrerassistenzfunktion im Vorfeld ein hoher Sicherheitsrelevanz -Wert zugeordnet, wenn diese Fahrerassistenzfunktion ge setzlich vorgeschrieben ist. In dem Beispiel von Fig. 3 könnte die Fernlichtassis- tenz 13 als gering sicherheitskritisch (Sicherheitsrelevanz-Wert l), die Spurhal- teassistenz 14 als durchschnittlich sicherheitskritisch (Sicherheitsrelevanz -Wert 3) und die Notbremsassistenz 15 als hochgradig sicherheitskritisch (Sicherheits relevanz-Wert 5) vorbestimmt sein.
Dann könnte in dem F ah, in dem die erfasste Temperatur der Rechner -Einheit 8 einen ersten Schwellenwert überschreitet, der Programmablauf 12 dadurch ge ändert werden, dass im geänderten Programmablauf 12' lediglich die Fahreras sistenzfunktionen 14 und 15 ausgeführt werden. Steigt die erfasste Temperatur der Rechnereinheit 8 weiter an und übersteigt einen zweiten SchweUenwert, so könnte der geänderte Programmablauf 12' weiter geändert werden, sodass in ei nem zweiten geänderten Programmablauf lediglich die Fahrerassistenzfunktion 15 ausgeführt wird.
Die Auswahl, welche von den ursprünglich im Programmablauf 12 bereitgestell ten M F ahrerassistenzfunktionen im F alle einer überhöhten Temperatur der Rechner -Einheit 8 zumindest teilweise nicht ausgeführt werden, kann auch zum Beispiel in Abhängigkeit eines Fahrzeugzustandes und/oder eines Zustands der Fahrzeugumgebung getroffen werden. In dem Beispiel von Fig. 3 könnte der Zu- stand der F ahrzeugumgebung aufgrund eines Tageslichts als ausreichend hell eingeschätzt werden, um die Fernlichtassistenz im Falle hoher Temperaturen der Rechner-Einheit 8 zumindest teilweise nicht auszuführen.
Ein weiteres Beispiel für eine Auswahl der N Fahrerassistenzfunktionen in Ab hängigkeit eines Fahrzeugzustandes und/oder eines Zustands der Fahrzeugum gebung ist ein kritischer Zustand des Fahrzeugs 1. Zum Beispiel könnte im Falle einer festgestellten Spurabweichung des Fahrzeugs 1 der Programmablauf 12 dadurch geändert werden, dass die Spurhalteassistenz 14 nicht abgeschaltet wird und stattdessen andere Fahrerassistenzfunktionen abgeschaltet werden. Ein weiteres Beispiel für einen kritischen Zustand des Fahrzeugs ist eine erfass te drohende Kollision des Fahrzeugs mit einem anderen Objekt. In diesem Fall könnte der Programmablauf 12 dadurch geändert werden, dass die Notbremsas sistenz 15 nicht abgeschaltet wird und stattdessen andere Fahrerassistenzfunk- tionen abgeschaltet werden.
Die M Fahrerassistenzfunktionen des Programmablaufs 12 können eine gemein same Vorverarbeitung aufweisen. Dies ist in Fig. 3 durch einen Bereich 16 einer jeder Fahrerassistenzfunktion 13, 14 und 15 schematisch veranschaulicht. Die gemeinsame Vorverarbeitung 16 kann in einer grundlegenden Bildverarbeitung bestehen, die für alle oder einen Teil der Fahrerassistenzfunktionen gemeinsam ausgeführt werden kann. Die grundlegende Bildverarbeitung kann beispielswei se eine Bildkorrektur im Hinblick auf Sensorfehler, Bildartefakte, Streulicht, Kontrast etc. sein. Des Weiteren weist jede der M Fahrerassistenzfunktionen ei ne Hauptverarbeitung 17, 18, 19 auf. Die Hauptverarbeitungen 17, 18 und 19 sind insbesondere voneinander verschieden.
Im Falle einer gemeinsamen Vorverarbeitung 16 dient der Programmablauf 12 zur Bereitstellung der Anzahl M Fahrerassistenzfunktionen (13, 14, 15 in Fig. 3) oder jeweils zumindest der Vorverarbeitung 16 und Teilen der jeweiligen Haupt- Verarbeitung (17, 18, 19 in Fig. 3). Außerdem dient in diesem Fall der geänderte Programmablauf 12' zur Bereitstellung der Anzahl N Fahrerassistenzfunktionen (14, 15 in Fig. 3) oder jeweils zumindest der Vorverarbeitung 16 und Teilen der jeweiligen Hauptverarbeitung (18, 19 in Fig. 3).
In dem Fall, in dem die M Fahrerassistenzfunktionen des Programmablaufs 12 eine gemeinsame Vorverarbeitung 16 aufweisen, kann der geänderte Programm ablauf 12' darin bestehen, dass von allen M Fahrerassistenzfunktionen (13, 14,
15 in Fig. 3) die Vorverarbeitung 16 ausgeführt wird, eine Hauptverarbeitung 17, 18, 19 jedoch nur von einer Untermenge N der Fahrerassistenzfunktionen. Bei spielsweise wird im geänderten Programmablauf 12' die Fahrerassistenzfunktion 15 vollständig, d. h. einschließlich der Vorverarbeitung 16 und der Hauptverar beitung 19, ausgeführt. Weiterhin wird im geänderten Programmablauf 12' bei spielsweise die Fahrerassistenzfunktion 14 auch vollständig, d. h. einschließhch der Vorverarbeitung 16 und der Hauptverarbeitung 18, ausgeführt. Demgegen über wird im geänderten Programmablauf 12' beispielsweise die Fahrerassistenz- funktion 13 nur teilweise ausgeführt, und zwar wird von der Fahrerassistenz- funktion 13 nur die Vorverarbeitung 16, nicht jedoch die Hauptverarbeitung 17 ausgeführt.
In einer anderen Ausführungsform ist die Steuer-Einheit 10 dazu eingerichtet, den Programmablauf 12 in Abhängigkeit der von der Bereitstellung-Einheit 11 (Temperatursensor) bereitgestellten Temperatur der Rechner -Einheit 8 zu ver langsamen. Beispielsweise ist die Steuer-Einheit 10 dazu eingerichtet, den Pro¬ grammablauf 12 für alle Fahrerassistenzfunktionen 13, 14 und 15 gleichermaßen zu verlangsamen. Beispielsweise kann die Bildrate der Kamera 4 verlangsamt werden, sodass die Anzahl der von der Rechner-Einheit 8 pro Zeiteinheit zu ver¬ arbeitenden Bilder reduziert ist. Alternativ oder zusätzlich könnte die Taktrate der Rechner-Einheit 8 verlangsamt werden. Wie in Fig. 2 gezeigt, weist die Kameravorrichtung 3 außerdem einen Mikrocon troller 20 auf, der mit der weiteren Baugruppe 7, zum Beispiel mit der Rechner- Einheit 8, elektronisch verbunden ist. Zudem weist die Kameravorrichtung 3 ei ne Datenübertragungsschnittstelle 21, zum Beispiel ein Bussystem, auf zur Übertragung von Daten an andere Systeme des Fahrzeugs 1, zum Beispiel an eine zentrale Recheneinheit des Fahrzeugs 1 (nicht gezeigt) und/oder an ein Scheinwerfersystem des Fahrzeugs 1, ein Lenksystem des Fahrzeugs 1, ein Bremssystem des Fahrzeugs oder andere Steuersysteme des Fahrzeugs 1.
Beispielsweise werden über ein Bussystem 21 Steuerbefehle von der Rechner- Einheit 8 an ein Scheinwerfersystem des F ahrzeugs 1 zum Umschalten eines Scheinwerferlichts von einer Fernlichteinstellung auf eine Abblendeinstellung ausgegeben. Beispielsweise werden über das Bussystem 21 Steuerbefehle von der Rechner -Einheit 8 an ein Lenksystem des Fahrzeugs 1 zum Zurücklenken auf eine Fahrbahnspur ausgegeben. Beispielsweise werden über das Bussystem 21 Steuerbefehle von der Rechner-Einheit 8 an ein Bremssystem des F ahrzeugs 1 zum Bremsen des Fahrzeugs 1 ausgegeben.
Fig. 4 zeigt ein Flussablaufdiagramm eines Verfahrens zum Betreiben der Kame ravorrichtung 3.
In Schritt S 1 nimmt die Kamera 4 ein oder mehrere Bilder (insbesondere ein Vi deo) der Umgebung des Fahrzeugs 1 auf.
In Schritt S2 übermittelt die Kamera 4 das eine oder die mehreren Bilder an die Rechner -Einheit 8.
In Schritt S3 stellt die Bereitstellungs-Einheit 11 die Temperatur der Rechner- Einheit 8 bereit. Beispielsweise ist die Bereitstellung-Einheit 11 ein an der Rechner -Einheit 8 angebrachter Temperatursensor, der die Temperatur der Rechner -Einheit 8 misst.
In Schritt S4 übermittelt die Bereitstellungs-Einheit 11 die bereitgestellte (z. B. gemessene) Temperatur der Rechner -Einheit 8 an die Steuer-Einheit 10.
In Schritt S5 ermittelt die Steuer-Einheit 10, ob die bereitgestellte Temperatur der Rechner-Einheit 8 größer als ein vorgegebener Schwellenwert ist.
Ermittelt die Steuer-Einheit 10 in Schritt S5, dass die bereitgestellte Temperatur der Rechner-Einheit 8 kleiner oder gleich dem vorgegebenen Schwellenwert ist ("NEIN" in Schritt S5), dann übermittelt die Steuer-Einheit 10 in Schritt S6 ei nen Steuerbefehl an die Rechner-Einheit 8, den Programmablauf 12 auszufüh ren.
In diesem Fall führt die Rechner-Einheit 8 in Schritt S7 den Programmablauf 12 aus. Das heißt, die Rechner -Einheit 8 führt den ungeänderten Programmablauf 12 aus. In dem Beispiel von Fig. 3 führt die Rechner -Einheit 8 somit in Schritt S7 den Programmablauf 12 zur Bereitstellung zumindest eines Teils jeder der Fah rerassistenzfunktionen 13, 14 und 15 aus.
Ermittelt die Steuer-Einheit 10 in Schritt S5, dass die bereitgestellte Temperatur der Rechner-Einheit 8 größer als der vorgegebene Schwellenwert ist ("JA" in Schritt S5) dann ändert die Steuer-Einheit 10 in Schritt S8 den Programmablauf 12 hin zu dem geänderten Programmablauf 12'.
In diesem F all übermittelt die Steuer-Einheit 10 in Schritt S9 einen Steuerbefehl an die Rechner-Einheit 8, den geänderten Programmablauf 12' auszuführen. Weiterhin führt in diesem Fall die Rechner-Einheit 8 in Schritt S10 den geänder ten Programmablauf 12' aus.
Es wird angemerkt, dass die Schritte Sl und S2 des Aufnehmens eines oder meh- rerer Bilder und des Übermitteins der Bilder an die Rechner -Einheit 8 wieder holt, zum Beispiel kontinuierlich, ausgeführt werden können. Basierend auf den übermittelten Bildern führt die Rechner -Einheit 8 abhängig davon, welchen Steuerbefehl sie von der Steuer-Einheit 10 in Schritt S6 oder S9 zuletzt erhalten hat, den Programmablauf 12 in Schritt S7 oder den geänderten Programmablauf 12' in Schritt S10 aus.
Auch die Schritte S3 bis S5 des Bereitstellens der Temperatur durch die Bereit stellungs-Einheit 11, des Übermitteins der Temperatur an die Steuer-Einheit 10 und des Vergleichs der übermittelten Temperatur mit einem vorgegebenen Schwellenwert durch die Steuer-Einheit 10 können wiederholt, zum Beispiel kon tinuierlich, ausgeführt werden. Abhängig von der Entscheidung in Schritt S5 werden dann auch die Schritte S6 und S7 oder S8, S9 und S 10 wiederholt ausge führt. Obwohl die vorhegende Erfindung anhand von Ausführungsbeispielen beschrie ben wurde, ist sie vielfältig modifizierbar.
BEZUGSZEICHENLISTE
1 F ahrzeug
2 Windschutzscheibe
3 Kameravorrichtung
4 Kamera
5 Optisches System
6 Bildsensor
7 Baugruppe
8 Rechner-Einheit
9 Speicher-Einheit
10 Steuer-Einheit
11 Bereitstellungs-Einheit
12 Programmablauf
12' geänderter Programmablauf
13 Fahrerassistenzfunktion
14 F ahrerassistenzfunktion
15 Fahrerassistenzfunktion
16 Vorverarbeitung
17 Hauptverarbeitung
18 Hauptverarbeitung
19 Hauptverarbeitung
20 Mikrocontroller
21 Datenübertragungsschnittstelle
M Anzahl
N Anzahl
Sl - S10 Verfahrensschritte

Claims

PATENTANSPRÜCHE
1. Kameravorrichtung (3) für ein Fahrzeug (l), aufweisend: eine Kamera (4) zum Aufnehmen eines Bildes, eine Rechner-Einheit (8) zur Ausführung eines Programmablaufs (12) zur Bereitstellung zumindest eines Teils einer Fahrerassistenzfunktion (13, 14, 15) in Abhängigkeit des aufgenommenen Bildes, eine Bereitstellungs-Einheit (ll) zur Bereitstellung einer Temperatur der Rechner -Einheit (8), und eine Steuer-Einheit (10), welche dazu eingerichtet ist, den Programmablauf (12) in Abhängigkeit der bereitgestellten Temperatur zu ändern, wobei die Rechner -Einheit (8) dazu eingerichtet ist, den geänderten Pro grammablauf (12') auszuführen.
2. Kameravorrichtung nach Anspruch 1, wobei die Steuer-Einheit (10) dazu eingerichtet ist, den Programmablauf (12) derart zu ändern, dass eine Leistungs aufnahme der Rechner-Einheit (8) zumindest während der Ausführung des ge änderten Programmablaufs (12') verringert ist.
3. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuer-Einheit (10) dazu eingerichtet ist, den Programmablauf (12) in Abhängig keit der bereitgestellten Temperatur zu verlangsamen.
4. Kameravorrichtung nach Anspruch 3, wobei die Steuer-Einheit (10) dazu eingerichtet ist, den Programmablauf (12) durch Verringern einer Taktrate der Rechner -Einheit (8) und/oder durch Verringern einer Bildrate der Kamera (4) zu verlangsamen.
5. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuer-Einheit (10) dazu eingerichtet ist, den Programmablauf (12) für die Dauer eines Fahrzeugzustands und/oder eines Zustands der Fahrzeugumgebung zu än dern.
6. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei: der Programmablauf (12) einen Programmablauf zur Bereitstellung einer
Anzahl M Fahrerassistenzfunktionen (13, 14, 15) oder jeweils zumindest Teilen davon in Abhängigkeit des aufgenommenen Bildes aufweist, der geänderte Programmablauf (12') einen Programmablauf zur Bereitstel lung einer Anzahl N Fahrerassistenzfunktionen (14, 15) oder jeweils zumindest Teilen davon aufweist, und
N kleiner als M ist und/oder die M Fahrerassistenzfunktionen (13, 14, 15) die N Fahrerassistenzfunktionen (14, 15) beinhalten.
7. Kameravorrichtung nach Anspruch 6, wobei die N Fahrerassistenzfunktio- nen (14, 15) sicherheitskritisch sind und die M Fahrerassistenzfunktionen (13,
14, 15) zumindest eine nicht-sicherheitskritische Fahrerassistenzfunktion (13) aufweisen.
8. Kameravorrichtung nach Anspruch 6 oder 7, wobei die Rechner-Einheit (8) und/oder die Steuer-Einheit (10) dazu eingerichtet ist, die N Fahrer assistenz - funktionen (14, 15) aus den M Fahrerassistenzfunktionen (13, 14, 15) in Abhän gigkeit eines Fahrzeugzustands und/oder eines Zustands der Fahrzeugumgebung auszuwählen.
9. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Fahrerassistenzfunktion (13, 14, 15) oder eine, mehrere oder sämtliche der M und/oder N Fahrerassistenzfunktionen (13, 14, 15) ein Mitteilen einer Informati on und/oder Warnen des Fahrers des Fahrzeugs (l) und/oder ein Eingreifen in ein Fahren des Fahrzeugs (l) aufweist.
10. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Rechner -Einheit (8) einen Bildprozessor und/oder Videoprozessor aufweist.
11. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Bereitstellungs-Einheit (ll) einen Temperatursensor zur Bereitstellung der Temperatur der Rechner-Einheit (8) aufweist.
12. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuer-Einheit (10) dazu eingerichtet ist, den Programmablauf (12) zu ändern, wenn die bereitgestellte Temperatur höher als ein Schwellenwert ist.
13. Kraftfahrzeug (l) mit einer Kameravorrichtung (3) nach einem der vorher gehenden Ansprüche.
14. Verfahren zum Betreiben einer Kameravorrichtung in einem Fahrzeug (l), mit den Schritten:
Aufnehmen (Sl) eines Bildes mit einer Kamera (4),
Ausführen (S7) eines Programmablaufs (12) zur Bereitstellung zumindest eines Teils einer Fahrerassistenzfunktion (13, 14, 15) in Abhängigkeit des aufge nommenen Bildes,
Bereitstellen (S3) einer Temperatur der Rechner-Einheit (8),
Ändern (S8) des Programmablaufs (12) in Abhängigkeit der bereitgestellten Temperatur, und
Ausführen (S10) des geänderten Programmablaufs (12').
15. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach Anspruch 14 auszuführen.
EP21704743.0A 2020-02-14 2021-02-09 Kameravorrichtung, kraftfahrzeug, verfahren und computerprogrammprodukt Pending EP4104429A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020103882.8A DE102020103882A1 (de) 2020-02-14 2020-02-14 Kameravorrichtung, kraftfahrzeug, verfahren und computerprogrammprodukt
PCT/EP2021/053020 WO2021160580A1 (de) 2020-02-14 2021-02-09 Kameravorrichtung, kraftfahrzeug, verfahren und computerprogrammprodukt

Publications (1)

Publication Number Publication Date
EP4104429A1 true EP4104429A1 (de) 2022-12-21

Family

ID=74591972

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21704743.0A Pending EP4104429A1 (de) 2020-02-14 2021-02-09 Kameravorrichtung, kraftfahrzeug, verfahren und computerprogrammprodukt

Country Status (6)

Country Link
US (1) US12184970B2 (de)
EP (1) EP4104429A1 (de)
JP (1) JP2023513597A (de)
CN (1) CN115088243A (de)
DE (1) DE102020103882A1 (de)
WO (1) WO2021160580A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022127494A1 (de) 2022-10-19 2024-04-25 Cariad Se Verfahren zur adaptiven Kühlung eines Prozessors eines Kraftfahrzeugsteuergerätes und Kraftfahrzeug mit einem Steuergerät
CN119045266B (zh) * 2024-08-07 2025-09-30 广汽本田汽车有限公司 用于车载摄像头的散热系统和车载摄像头系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150229816A1 (en) * 2014-02-13 2015-08-13 Takashi TOMIYASU Image processing device, imaging device, image processing method, and recording medium storing image processing program

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5752011A (en) 1994-06-20 1998-05-12 Thomas; C. Douglas Method and system for controlling a processor's clock frequency in accordance with the processor's temperature
US6628337B1 (en) * 2001-04-18 2003-09-30 Eastman Kodak Company Electronic camera with internal temperature increase controlled
DE10205809A1 (de) 2001-06-08 2002-12-12 Bosch Gmbh Robert Verfahren und Vorrichtung zur Überwachung der Steuerung von Betriebsabläufen bei einem Fahrzeug
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US20080091974A1 (en) * 2006-10-11 2008-04-17 Denso Corporation Device for controlling a multi-core CPU for mobile body, and operating system for the same
JP2008097280A (ja) * 2006-10-11 2008-04-24 Denso Corp 移動体用マルチコアｃｐｕの制御装置、移動体用マイクロコンピュータ及び移動体操縦支援装置
DE102006055908A1 (de) * 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Verfahren zur automatischen Fernlichtsteuerung
US8037350B1 (en) * 2008-04-30 2011-10-11 Hewlett-Packard Development Company, L.P. Altering a degree of redundancy used during execution of an application
JP5163897B2 (ja) * 2008-12-18 2013-03-13 トヨタ自動車株式会社 車両制御システムおよび異常判定装置
JP5768758B2 (ja) 2012-04-26 2015-08-26 株式会社デンソー 車載カメラ制御装置
JP6003746B2 (ja) * 2013-03-22 2016-10-05 株式会社デンソー 車両制御装置
JP5820001B2 (ja) * 2014-02-24 2015-11-24 ファナック株式会社 Ｃｐｕの異常検出機能を備えた制御装置
JP6350113B2 (ja) * 2014-08-22 2018-07-04 株式会社デンソー 画像処理装置、及び画像処理装置の故障診断方法
JP2017030472A (ja) * 2015-07-31 2017-02-09 トヨタ自動車株式会社 運転支援装置
JP2017188792A (ja) * 2016-04-06 2017-10-12 株式会社Ｊｖｃケンウッド 撮影装置、撮影方法及び撮影プログラム
JP6575915B2 (ja) * 2016-05-31 2019-09-18 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
DE102017208663B4 (de) * 2016-06-09 2024-12-05 Conti Temic Microelectronic Gmbh Umgebungserfassende Vorrichtung sowie Kraftfahrzeug mit einer solchen umgebungserfassenden Vorrichtung
DE102016223709A1 (de) 2016-11-29 2018-05-30 Conti Temic Microelectronic Gmbh Kamerasystem in oder für ein Kraftfahrzeug, Fahrerassistenzsystem
US10209761B2 (en) * 2017-01-04 2019-02-19 Semiconductor Components Industries, Llc Methods and apparatus for a power management unit
WO2019017216A1 (ja) * 2017-07-21 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 車両制御装置及び車両制御方法
JP7144926B2 (ja) * 2017-09-26 2022-09-30 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
JP6965212B2 (ja) * 2018-06-25 2021-11-10 矢崎総業株式会社 車両用表示装置
JP2020174149A (ja) * 2019-04-12 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 受光装置、撮像装置および距離測定装置
KR102709413B1 (ko) * 2019-07-03 2024-09-24 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
DE102019213523A1 (de) * 2019-09-05 2021-03-11 Robert Bosch Gmbh Verfahren und Vorverarbeitungsvorrichtung zum Vorverarbeiten von Kamerarohdaten eines Bildsensors einer Kamera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150229816A1 (en) * 2014-02-13 2015-08-13 Takashi TOMIYASU Image processing device, imaging device, image processing method, and recording medium storing image processing program

Also Published As

Publication number Publication date
DE102020103882A1 (de) 2021-08-19
JP2023513597A (ja) 2023-03-31
CN115088243A (zh) 2022-09-20
WO2021160580A1 (de) 2021-08-19
US12184970B2 (en) 2024-12-31
US20230071717A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
DE102010035232B4 (de) Verfahren und System zum Anzeigen von Fahrzeugrückfahrkamerabildern in verschiedenen Modi
DE102018120785B4 (de) Verfahren zum Überwachen eines autonomen Fahrzeugs
EP3083361B1 (de) Verfahren und vorrichtung zur überwachung einer äusseren abmessung eines fahrzeugs
DE102018120789B4 (de) Verfahren zum Auswerten eines an einem autonomen Fahrzeug angeordneten Objektraumsensors
DE102016218277B4 (de) Verfahren zur Funktionsprüfung eines Fahrassistenzsystems sowie Kontrolleinheit und Referenzeinrichtung für ein Fahrassistenzsystem
DE102018120786A1 (de) Verfahren und Vorrichtung zum Überwachen eines autonomen Fahrzeugs
DE102017117195A1 (de) Fahrzeugaussenüberwachung
DE102021109360A1 (de) Systeme und verfahren zur erkennung der absicht von spurmanövern
DE102018127600A1 (de) Informationsverarbeitungsvorrichtung, Fahrerüberwachungssystem, Informationsverarbeitungsverfahren und Informationsverarbeitungsprogramm
DE102018106083A1 (de) Kühlkörper- und reinigungsvorrichtung
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102018125779A1 (de) Bewertungssystem zur Reaktivierung eines Fahrers für ein autonomes Fahrzeug
DE102021129887A1 (de) Prädiktive bewertung der fahreraufmerksamkeit
WO2008087092A1 (de) Gemeinsamer kontroller für verschiedene fahrerassistenzsysteme
EP4104429A1 (de) Kameravorrichtung, kraftfahrzeug, verfahren und computerprogrammprodukt
DE102017001505A1 (de) Verfahren zum Betrieb einer Scheinwerferanordnung, Computerprogrammprodukt, Scheinwerfersystem sowie Kraftfahrzeug
DE102010004057B4 (de) Verfahren und Systeme zum Überwachen einer Fahrzeugbewegung
EP2715666A1 (de) Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs
DE102018106739A1 (de) Steuerung von Seitenspiegeln in autonomen Fahrzeugen
DE102021118716B4 (de) Kameravorrichtung für ein fahrzeug und fahrzeug
DE102016212716A1 (de) Steuervorrichtung und verfahren
WO2024179900A1 (de) Sensorsystem für ein fahrzeug und reinigungsverfahren für ein sensorsystem eines fahrzeugs
DE102016123135B4 (de) Fahrzeugdatenaufzeichnung
EP1588910B1 (de) Verfahren zur Analyse und Regelung der Fahrdynamik eines Kraftfahrzeugs sowie Kraftfahrzeug zur Durchführung des Verfahrens
DE102023109116A1 (de) System und Verfahren zur Gewichtsschätzung von Fahrzeuginsassen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220803

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240807