EP3948119A1 - Haushaltsgerät mit in einer tür angeordneter kamera - Google Patents

Haushaltsgerät mit in einer tür angeordneter kamera

Info

Publication number
EP3948119A1
EP3948119A1 EP20716420.3A EP20716420A EP3948119A1 EP 3948119 A1 EP3948119 A1 EP 3948119A1 EP 20716420 A EP20716420 A EP 20716420A EP 3948119 A1 EP3948119 A1 EP 3948119A1
Authority
EP
European Patent Office
Prior art keywords
camera
door
household appliance
sensor
sensor module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20716420.3A
Other languages
English (en)
French (fr)
Other versions
EP3948119B1 (de
Inventor
Daniel Bihr
Hans Peter Werner
Christopher Rodney
Stephan Kempfle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP3948119A1 publication Critical patent/EP3948119A1/de
Application granted granted Critical
Publication of EP3948119B1 publication Critical patent/EP3948119B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/02—Sensors detecting door opening

Definitions

  • the invention relates to a household appliance, having a treatment room that can be locked by means of a pivotable door, at least one camera arranged in the door for taking pictures from the treatment room with the door open and a door movement sensor for detecting values of at least one parameter of a door movement, the household appliance being set up for this is to trigger at least one device function by detecting at least one trigger value.
  • the invention is particularly advantageously applicable to refrigerators, in particular refrigerators.
  • a door movement is currently detected by Hall sensors and magnets, one component of which is on the door and the other component is on a fixed part of the household appliance (hereinafter also referred to as “body”) or overrunning a fixed door opening angle (also known as “trigger angle”), which is determined by the fixed installation position of the two components to each other.
  • body a fixed part of the household appliance
  • trimgger angle also known as "trigger angle”
  • a disadvantage of defining a new trigger angle is only possible by manually readjusting the position of the components on the device.
  • the practically lacking possibility of simple readjustment of the position of the Hall sensor and / or magnet is particularly disadvantageous if changes in the position of the door on the household appliance due to use occur, for example a door drop.
  • Deviations from the target trigger angle are disadvantageous, for example, in the event that a camera is installed in a door of a refrigerator which, when the door is open, namely when the trigger angle is reached during an opening movement, begins to take pictures of a refrigerator compartment that can be locked by the door. If the trigger angle is misaligned, the camera triggers at the wrong point in time, so that the ability to evaluate the images recorded with it is reduced.
  • US 2014/0293060 A1 discloses a refrigerator.
  • the refrigerator has a main body or body with a storage compartment, a first door that is rotatably installed on a first side of the main body to open and close a first portion of the storage space, and a second door that is rotatable on a second side of Main body is installed to open and close a second section of the storage compartment.
  • a first camera can be installed on the first door to take a picture of an interior of the storage compartment while the first door is being rotated, and a second camera can be installed on the second door to take a picture of the interior of the storage compartment during rotation of the second door.
  • a controller can combine multiple images captured by the first camera and the second camera into a single corrected image of an area of the storage compartment that extends from the first door to the second door.
  • US 2014/0313331 A1 discloses a refrigerator and an operating method therefor.
  • the operating method of the refrigerator which may contain a drawer and a camera, may include recognizing the start of a closing operation of the drawer, capturing an internal image of the drawer using the camera at a time when the closing operation of the drawer is initiated, and externally displaying and / or transmitting the final image.
  • US 2016/0182764 A1 discloses a camera system with a camera device that serves as an image capture unit; a communication unit configured to transmit image information captured by the camera device to an external device; and a display configured to display image information captured by the camera device, the display configured to display at least one of image information captured by the camera device according to prescribed conditions and image information that recorded in accordance with user instructions.
  • US 2016/0182768 A1 discloses a camera device for use in a storage facility.
  • the camera device is provided with a housing which is configured so that it can be installed in a storage facility; an image pickup element provided within the housing; and an image capture window provided on a first surface portion of the housing and configured to capture an image within the storage device by the image capture element.
  • the image pickup element is configured to pick up an image in the storage facility in which the housing is installed. It is the object of the present invention to at least partially overcome the disadvantages of the prior art and in particular to provide an easily implementable possibility for improved detection of a door movement, especially a refrigerator with a camera in the door for taking pictures from a refrigerator is installed.
  • the object is achieved by a household appliance having
  • a treatment room that can be locked by means of a pivotable door, at least one camera arranged in the door for taking pictures from the treatment room, in particular when the door is open,
  • door movement sensor for detecting values (“parameter values”) of at least one parameter of a door movement (“door movement parameters”) and
  • the door movement sensor has at least one inertial sensor, at least one camera and the at least one inertial sensor are integrated in a module (hereinafter referred to as "camera / sensor module" without loss of generality), which is arranged in the door, the camera / Sensor module has a data communication device at least for sending image data from the camera of the camera / sensor module and
  • the household appliance is set up to trigger at least one device function with the detection of at least one predetermined parameter value (hereinafter also referred to as “trigger value” or “setpoint value” without restricting the generality).
  • a predetermined parameter value hereinafter also referred to as “trigger value” or “setpoint value” without restricting the generality.
  • the at least one door movement parameter is a door opening angle, a door movement direction (e.g. a door opening or door closing) and / or a door speed (for example an angular speed when the door is pivoted).
  • This household appliance has the advantage that the at least one door movement parameter can be determined continuously or quasi-continuously over the entire door movement and not only, e.g. With Hall sensors, a single trigger angle is detected. This in turn makes it possible to use device functions as a function of several trigger values, e.g. are controllable depending on the different door opening angles achieved.
  • the at least one trigger value can be adapted as desired without having to make mechanical changes to the device. This can e.g. be used advantageously to compensate for signs of use and / or assembly tolerances.
  • the use of different cameras, e.g. require different trigger values for triggering due to different fields of view, can be easily carried out in series or when replacing by customer service by adjusting the trigger value, etc.
  • the advantage of reduced assembly effort in production is achieved.
  • a number of lines in the device and in particular to the device door can be significantly reduced.
  • the possibility of a system failure due to incorrect installation or damaged electrical cables is also reduced.
  • a particularly compact structure is made possible.
  • An inertial sensor can in particular be understood to mean a sensor which is set up to independently measure translational and / or rotational accelerations.
  • the camera / sensor module has one or more inertial sensors, in particular of different types and / or orientations.
  • a rotation rate sensor, an acceleration sensor or a combination thereof can be installed in the camera / sensor module.
  • measurement resolution of +/- 1 ° can be achieved with a maximum opening speed of 90 ° / s or even better.
  • at least one inertial sensor is a rotation rate sensor. This is particularly suitable for determining the current opening angle of the door with a high degree of accuracy and little effort.
  • the angular speed of the door can also be measured by means of the rotation sensor and the door opening angle can be determined from this, for example by integrating the measured angular speed over time.
  • a door opening angle of zero (which corresponds to a closed door) can be determined by switching a door switch.
  • the rotation rate sensor is a vibrating structure gyroscope (VSG). This is particularly robust, small and inexpensive.
  • At least one inertial sensor is an acceleration sensor.
  • the acceleration sensor is provided in particular for measuring linear accelerations.
  • a door opening angle can also be determined with an acceleration sensor, especially when the door is only slightly open.
  • an acceleration sensor especially when the door is only slightly open.
  • a determination accuracy drops noticeably with larger door opening angles. This can be compensated for by using several differently aligned acceleration sensors.
  • an acceleration sensor is to determine a drift of a rotation rate sensor. Taking into account the drift determined in this way, a door movement parameter determined by the rotation rate sensor, in particular a special door opening angle, can be corrected and thus determined even more precisely.
  • at least one rotary sensor and at least one (linear) acceleration sensor are installed in at least one camera / sensor module.
  • At least one inertial sensor is a MEMS sensor.
  • a MEMS (“Micro-Electro-Mechanical System”) sensor has the advantage that it can be implemented directly in integrated circuits
  • at least one inertial sensor can be a piezoelectric sensor. This can have quartz rods, for example, which are slightly bent when accelerating and slightly detune an electrical oscillating circuit.
  • a further development which is advantageous for reducing computational expenditure is that one or more axes of at least one inertial sensor are excluded from the evaluation. For example, if an inertial sensor measures an acceleration in all three Cartesian spatial axes, only the spatial axes perpendicular to an axis of rotation of the door need to be evaluated, since the door executes no movement or no practically useful movement along its axis of rotation.
  • the camera can be designed as a module ("camera module”), e.g. an in particular semiconductor-based image sensor (for example a CCD chip), camera electronics for operating the image sensor, optics connected upstream of the image sensor, etc. may have.
  • the camera can be a black and white camera or, advantageously, a color camera.
  • the camera / sensor module is connected to its operation with an energy storage device that can be charged wirelessly at least when the door is closed.
  • the energy store can have at least one super capacitor, for example.
  • electrically operated components of the camera / sensor module such as the camera, the at least one inertial sensor, etc. can be supplied with energy.
  • the fact that the energy store can be charged wirelessly at least when the door is closed can include that the energy supply is no longer effective when the door is noticeably opened. It is a further development that the energy store can be charged inductively.
  • the camera / sensor module can be connected to a pick-up coil in which an induction voltage can be induced by means of an inductive alternating field in order to load the energy storage system, if necessary, to operate further components of the camera / sensor module.
  • a pick-up coil in which an induction voltage can be induced by means of an inductive alternating field in order to load the energy storage system, if necessary, to operate further components of the camera / sensor module.
  • at least one primary coil set up and arranged to generate the inductive (“charging”) alternating field can be present in the body of the household appliance.
  • the primary coil is opposite the pick-up coil when the door is closed for effective energy transfer.
  • the camera / sensor module can be supplied with power via a line. This has the advantage that an energy store can be dispensed with.
  • a power supply line can be routed from the body into the door, for example a simple two-core line.
  • the camera / sensor module can be charged wirelessly and at least one other camera located in the door can be supplied with power via a line.
  • the camera / sensor module is set up to, when at least one trigger value is detected by the at least one inertial sensor, at least one device function assigned to the camera of the camera / sensor module ("module-internal camera") (" Camera function ”) or trigger an action.
  • module-internal camera the camera / sensor module can control its at least one camera autonomously, which in turn enables a particularly simple data architecture of the household appliance.
  • the at least one camera function can include waking up or bringing the camera from a switched-off state to an operational standby state, triggering the camera to take a picture, switching the camera off, etc.
  • the data communication device has or is a wireless or wired data interface for wireless or wired communication with at least one other component of the household appliance, e.g. with a central control device, at least one further camera, a screen, etc.
  • a wireless data interface has the advantage that no data transmission line needs to be led into or in the door to the module.
  • the data communication device of the camera / sensor module has or is a bidirectional data interface and can send and receive data via it, for example now also calibration data, control commands such as waking a camera from a switched-off state to a Standby state, for triggering the camera, for heating a housing window, etc., can receive.
  • This enables particularly flexible use and adaptation of the module, in particular also during normal operation by a user.
  • the data communication ons healthy can then also be referred to as a transceiver.
  • the bidirectional data interface also saves space in comparison to a - in principle also possible - provision of a unidirectional interface for data reception and a unidirectional interface for data transmission.
  • the camera / sensor module or one or more of its components can be controlled externally. This achieves the advantage of a particularly flexible use of the camera / sensor module. For example, at least one camera of the camera / sensor module can be woken up, triggered, switched off, etc. via a command received via the bidirectional data interface. If the camera / sensor module has several cameras, a received command can in particular trigger a specific camera to record images, or several, in particular all, cameras can be triggered. It is also possible to calibrate or reconfigure the evaluation device externally, e.g. to change, add, delete, etc. trigger values
  • the data communication device can only be connected to the camera.
  • the data communication device in particular when the data interface is configured as a bidirectional interface or transceiver, can be connected to the camera and the at least one inertial sensor.
  • the household appliance has at least one additional (“module-external”) camera not belonging to the camera / sensor module and is set up to, with detection of at least one trigger value by the at least one inertial sensor of the camera / sensor module, at least trigger a device function or camera function assigned to the camera external to the module.
  • the camera / sensor module can be coupled directly or indirectly in terms of data technology to the at least one camera external to the module, for example via a control device.
  • a plurality of internal and / or external modules can be triggered independently of one another based on a respective door opening angle. This results in the advantage that images can be recorded from a particularly advantageous direction or perspective. The cameras can trigger at the same and / or different door opening angles.
  • the household appliance is set up to trigger at least one further device function that is not a camera function when at least one trigger value is detected by the at least one inertial sensor of the camera / sensor module.
  • the further device function can also be referred to as a "non-camera device function”.
  • the at least one further device function comprises a light control of the household appliance.
  • the light control can include a change in brightness and / or a change in color of the light generated by the household appliance.
  • the household appliance can have at least one light generating device, e.g. can be controlled directly from the camera / sensor module or via the control device.
  • the light generating device can e.g. have one or more LEDs.
  • the light control comprises a light control of a light radiated into the treatment room by at least one light generating device.
  • the treatment room can be illuminated the brighter the smaller the door opening angle. This is advantageous in order to standardize an overall brightness in the treatment room - possibly taking into account incident ambient light.
  • a treatment room can be understood to mean a cooling chamber of a refrigerator in the case of refrigeration devices, a cooking chamber in the case of cooking devices, a washing room etc. in the case of dishwashers. ok
  • the at least one further device function can in particular include a brief increase in the illuminance in the treatment room at the time the at least one camera is triggered, which is dependent on the door opening angle.
  • a brief increase in the illuminance in the treatment room at the time the at least one camera is triggered which is dependent on the door opening angle.
  • this can include the emission of one or more flashes of light into the treatment room synchronously with a triggering time of a camera.
  • the illuminance can be increased briefly in a targeted manner when the door is opened at several angles.
  • the light control includes a light control of a light emitted by the household appliance into the environment.
  • a color of light that is emitted by control elements and / or decorative elements can be changed as a function of the door opening angle. This can be advantageous, for example, in order to communicate the door open status to a user even more effectively.
  • Voice control by means of the at least one inertial sensor can also be implemented particularly advantageously as a further device function.
  • voice control can be activated or deactivated depending on the opening angle of the door.
  • the camera / sensor module has a housing in which the at least one camera and on or in which the at least one inertial sensor are arranged. This results in the advantage of particularly simple handling and a robust construction.
  • the components of the module accommodated in the housing are particularly protected against external influences such as dirt, dust and / or moisture.
  • the housing can consequently in particular be a dust- and / or moisture-tight housing.
  • the housing has a transparent window ("see-through window") arranged in the field of view of the camera.
  • the window can be in the form of a housing opening, for example, which is covered by a transparent pane, for example a glass pane or plastic pane.
  • a transparent pane for example a glass pane or plastic pane.
  • the use of a glass pane in particular has the advantage that the window is highly resistant, optically transparent and non-discoloring.
  • the transparent window or its pane can be heated, for example by means of a window heater, in particular of the module.
  • the window heater can, for example, have one or more thin wires or electrically conductive, transparent conductor tracks (for example from the ITO) that serve as electrical resistance heating lines.
  • the use of a window heater has the advantage, especially with refrigerators, that the window does not fog up when the door is opened. It is a further development that the window heating can be activated and deactivated depending on a trigger value detected by the at least one inertial sensor, in particular a certain door opening angle. This has the advantage that the window heating is only heated in practically relevant movement states of the door, which saves electricity costs.
  • the window heating can be activated when the at least one inertial sensor determines that a first door opening angle is reached when the door is opened, and deactivated when a second, larger door opening angle is detected when the door is opened.
  • the window heating cannot be activated in a further development.
  • the housing of the camera / sensor module can also have an uncovered housing opening which is arranged in the door behind a transparent window of the door inner wall.
  • the transparent window of the door inner wall or its pane can also be heatable.
  • the housing and / or a door wall has a transparent, heatable window arranged in the field of view of the camera, the pane of which can be heated depending on the reaching of at least one trigger value of at least one door movement parameter detected by the module or its at least one inertial sensor is.
  • the camera / sensor module has an evaluation device which is set up, in particular programmed, to evaluate measurement signals from the at least one inertial sensor to determine the at least one parameter value, to compare them with one or more trigger values or setpoint values and trigger at least one action with the detection of at least one trigger value.
  • the at least one action can include, for example, triggering the at least one camera of the module, triggering at least one further camera of the household appliance, etc.
  • the evaluation device can have at least one processor unit such as a microprocessor, an FPGA, an ASIC, etc. for this purpose. However, it is also possible to control the camera / sensor module at least partially through the control device of the household appliance. The camera / sensor module can thus be configured particularly easily.
  • the evaluation device is set up to be configured via the data interface.
  • This has the advantage that flexible adaptation of the camera / sensor module is made possible, for example for the adjustment of trigger values such as predetermined door opening angles ("trigger angles"). For example, trigger values can be changed, added and / or deleted.
  • the evaluation device has a data memory for this purpose, in particular a programmable non-volatile data memory such as an EEPROM or the like.
  • the evaluation device can be combined with the at least one inertial sensor in a common "integrated sensor".
  • the evaluation unit and the at least one inertial sensor can also be arranged on a common assembly, e.g. on a common board. If the evaluation unit is combined with the inertial sensor in an integrated sensor, the evaluation unit can be connected to the energy store in a manner analogous to the inertial sensor or can be supplied with energy by wire.
  • the data communication device - possibly together with the evaluation device - is formed on a circuit board ("communication circuit board") and the at least one inertial sensor is also arranged on or on the communication circuit board.
  • a particularly compact and robust arrangement is thus provided.
  • the camera / sensor module has a housing, in particular as described above, the housing has an insertion opening for introducing the camera and the insertion opening is through the communication board. is closed or covered.
  • the communication board can thus serve as a cover of the Ge housing and be arranged in or on the housing, in particular inserted into the housing.
  • the at least one camera, the at least one inertial sensor, the data communication device, the evaluation device and / or further components such as a light source for illuminating a field of view of the camera etc. can be accommodated in the housing.
  • each camera or each camera module of the household appliance has a device-unique code.
  • This has the advantage that an identification routine for identifying the cameras (e.g. a door camera and a treatment room camera) can be omitted during the assembly of the household appliance. Due to the clear assignment of the camera, this in turn saves time during the final initialization of the device at the end of the production line. Even if a camera is exchanged (e.g. by a customer service at the user), there is no need to carry out a new initialization
  • the code is provided by means of a hardware-based coding of the camera or the camera module.
  • one or more of the following data can be sent from the camera / sensor module via the data interface, e.g. to a control device, to external cameras and / or to a light generating device: - one or more current parameter values,
  • Trigger signals or control commands that are generated when a respective trigger value is reached
  • one or more of the following data can be received from the camera / sensor module via a data interface:
  • these data can also be generated by the camera / sensor module, in particular its evaluation device, itself.
  • trigger values can be provided, for example, to trigger one or more of the following actions:
  • Triggering of at least one camera of the module if necessary with different trigger values, including the possibility of triggering a camera several times at several trigger angles (eg to generate series images); - Activate and deactivate the camera light, if available;
  • the camera in the standby state can be triggered by means of a corresponding control command.
  • the household appliance is a refrigerator and the treatment room is a refrigerator.
  • the cooling device can in particular comprise a refrigerator, e.g. be a stand-alone refrigerator, fridge-freezer, etc.
  • a camera to take pictures of the refrigerator compartment can also be referred to as a "camera in fridge", CiF.
  • the household appliance can in principle also be any other household appliance, in particular electrically operated, e.g. a large household appliance or a small household appliance, especially a kitchen appliance, especially in the sense of white goods.
  • the household appliance can thus also be a cooking appliance, a laundry care appliance, a dishwasher, etc.
  • FIG. 1 shows, as a sectional illustration in plan view, a sketch of a refrigerator with a camera / sensor module
  • FIG. 2 shows, as a sectional illustration in side view, a sketch of a camera / sensor module
  • FIG. 3 shows in an oblique view a communication board of the camera / sensor module from FIG. 1 shows a sectional view in plan view of a sketch of a household appliance in the form of a refrigerator 1.
  • the refrigerator 1 has a treatment space in the form of a cooling space 2, the front loading opening 3 of which can be closed by means of a door 5 pivotable about a vertically oriented axis of rotation 4, as also indicated by the double arrow.
  • a camera / sensor module 6 is arranged in the door 5.
  • the camera / sensor module 6 has a camera 7 designed here as a camera module (“module-like ne”) which is arranged in such a way that it can record images from the cooling space 2 at least when the door 5 is only slightly open.
  • the camera / sensor module 6 also has at least one door movement sensor in the form of an inertial sensor 8, e.g. wire-bound data communication device 9 and an evaluation device 10. These components 7 to 10 are accommodated or attached in a housing 11 of the camera / sensor module 6.
  • the housing 11 can have a heatable see-through window (not shown) for the camera 7.
  • the at least one inertial sensor 8 is set up (i.e., arranged and configured) to detect at least one door movement parameter of the door 5.
  • these currently detected door movement parameters are compared with predefined setpoint or trigger values. If the currently detected door movement parameters reach at least one trigger value such as a certain door opening angle (possibly also a combination of several trigger values such as a certain door opening angle in connection with the detection of a door opening), the evaluation device 10 can trigger a corresponding action, e.g. output a corresponding trigger signal or trigger information to an internal component 7 to 9 of the camera / sensor module 6 and / or via the data communication device 9 to a component external to the module.
  • the camera / sensor module 6 is communicatively coupled to a control device 12 of the refrigerator 1, for example via a point-to-point data line or a bus system.
  • the control device 12 is in particular a central control device for controlling the refrigerator 1.
  • the refrigerator 1 also optionally has at least one further camera 13, that is to say a camera (“external to the module”) that does not belong to the camera / sensor module 6 is arranged for example in a body 14 of the refrigerator 1 (for example, as shown on a side wall, on the ceiling, etc.), but can also be arranged in the door 5.
  • the module-external camera 13 can be directly communicatively coupled to the camera / sensor module 6, for example via a point-to-point data line or a bus system, and / or coupled to the control device 12.
  • Each camera 7, 13 or the associated camera modules can each have several contacts or pins, e.g. for data transmission, power supply, etc. It is particularly advantageous if several of these pins are used as coding pins which are assigned fixed (possibly reconfigurable) signal states. From the signal assignment of these coding pins, a device-unique camera identification can be linked with transmitted data.
  • Image data can also be sent via the data communication device 9, e.g. to the control device 12 and / or to an externally arranged screen 15 on which the images can be displayed.
  • the data communication device 9 is in particular a bidirectional data communication device 9 for sending and receiving data, e.g. for receiving data such as control commands, calibration or configuration data from the control device 12. For this purpose, it has a bidirectional data interface.
  • the reaching of several trigger values can be monitored or determined, with one or more actions being assigned to a trigger value.
  • the following actions can be triggered when the door 5 is opened, for example in the order mentioned as the door opening angle increases:
  • At least two actions can be assigned to the same trigger value or different trigger values.
  • the camera / sensor module 6 independently of the at least one inertial sensor 8 externally, e.g. by the control device 12, e.g. to put the module-internal camera 7 into the standby state and / or to trigger it, to calibrate or reconfigure the evaluation device (e.g. to change, add, delete, etc. trigger values), etc.
  • the camera / sensor module 6 has a particularly tubular housing 16, which has a housing opening 17 on the front side, which is opened by means of a particularly heatable transparent Glass sheet 18 is covered.
  • the camera 7, designed as a camera module is accommodated, which as components, for example, an image sensor 22 such as a CCD chip, a camera Electronics 23 for operating the image recording sensor 22, an optical system 25 etc. connected upstream of the image recording sensor 22, for example via a frame 24.
  • an image sensor 22 such as a CCD chip
  • a camera Electronics 23 for operating the image recording sensor 22 an optical system 25 etc. connected upstream of the image recording sensor 22, for example via a frame 24.
  • the camera 7 can be set into the housing 16 through a rear insertion opening 19.
  • the insertion opening 19 is closed by means of a circuit board ("Kommunikationpla tine 20"), which can then also serve as a cover.
  • the communication board 20 is located in the housing 16.
  • the communication board 20 which is shown in an oblique view in FIG. 3, has an integrated sensor 8, 10, in which the inertial sensor 8 and the evaluation unit 10 are integrated, as well as the data communication device 9 on one side in the housing 16. On the other side facing away from the housing, the communication board 20 can be equipped with further components such as a data interface 26 for connection to module-external components.
  • the communication board 20 is also equipped with a connector element 21, which is connected to a matching mating connector element 25 of the camera 7 when the communication board 20 is inserted into the housing 16.
  • the mating connector element 25 of the camera 7 can have a plurality of contacts or pins that are assigned to the coding of the camera 7 with fixed pre-enclosed signal levels.
  • the camera 7 thus has a device-specific hardware code or coding.
  • the connector element 21 and the connector mating element 25 are connected to one another by a simple insertion movement to form a connector 21, 25 when the communication board 20 is inserted into the housing 16.
  • the plug connection 21, 25 also serves as a spacer between the communication board 20 and the camera, in particular a base support 27 of the camera 7.
  • the camera 7 can be held in the housing 16 by means of the communication board 20.
  • the camera 7, in particular its base support 27, and / or the communication board 20 in the housing 16 can be held in the housing 16 by means of frictional engagement, positive engagement (eg latching) and / or material engagement (eg gluing).
  • dedicated fasteners (not shown) such as screws, clamps, pins, etc.
  • the camera 7, in particular its base support 27, and / or the communication board 20 in or on the housing 16 can be used.
  • the camera 7, in particular its base carrier 27, and / or the communication board 20 can also be placed in a respective circumferential projection of the housing 16 that is formed on the inside.
  • the communication board 20 can thus also be placed on a rear edge of the housing 16 and thereby also forms a cover for the housing 16.
  • a number can also include exactly the specified number as well as a customary tolerance range, as long as this is not explicitly excluded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Studio Devices (AREA)

Abstract

Ein Haushaltsgerät (1) weist einen mittels einer verschwenkbaren Tür (5) verschließbaren Behandlungsraum (2), mindestens eine in der Tür (5) angeordnete Kamera (7) zum Aufnehmen von Bildern aus dem Behandlungsraum (2) bei geöffneter Tür (5) und einen Türbewegungssensor zum Detektieren von Werten mindestens eines Parameters einer Türbewegung auf, wobei der Türbewegungssensor mindestens einen Inertialsensor (8) aufweist, mindestens eine Kamera (7) und der mindestens eine Inertialsensor (8) in einem Kamera/Sensor-Modul (6) integriert sind, das in der Tür (5) angeordnet ist, das Kamera/Sensor-Modul (6) eine Datenkommunikationseinrichtung (9) zumindest zum Aussenden von Bilddaten der Kamera (7) des Kamera/Sensor-Moduls (6) aufweist und das Haushaltsgerät (1) dazu eingerichtet ist, mit Detektieren mindestens eines Triggerwerts mindestens eine Gerätefunktion auszulösen. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Kühlgeräte, insbesondere Kühlschränke.

Description

Haushaltsgerät mit in einer Tür angeordneter Kamera
Die Erfindung betrifft ein Haushaltsgerät, aufweisend einen mittels einer verschwenkbaren Tür verschließbaren Behandlungsraum, mindestens eine in der Tür angeordnete Kamera zum Aufnehmen von Bildern aus dem Behandlungsraum bei geöffneter Tür und einen Türbewegungssensor zum Detektieren von Werten mindestens eines Parameters einer Türbewegung, wobei das Haushaltsgerät dazu eingerichtet ist, mit Detektieren mindes tens eines Triggerwerts mindestens eine Gerätefunktion auszulösen. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Kühlgeräte, insbesondere Kühlschränke.
Gegenwärtig wird eine Türbewegung durch Hall-Sensoren und Magnete detektiert, von denen sich eine Komponente an der Tür und die andere Komponente sich an einem fest stehenden Teil des Haushaltsgeräts (im Folgenden auch als "Korpus" bezeichnet") befin det. So kann ein Erreichen oder Überfahren eines fest vorgegebenen Türöffnungswinkels (auch als "Triggerwinkel" bezeichnet) detektiert werden, der durch die feste Einbaulage der beiden Komponenten zueinander bestimmt ist. Eine Festlegung eines neuen Trigger winkels ist nachteiligerweise nur durch manuelle Nachjustierung der Lage der Komponen ten am Gerät möglich. Die praktisch fehlende Möglichkeit zur einfachen Nachjustierung der Lage von Hall-Sensor und/oder Magnet ist insbesondere dann nachteilig, wenn ge brauchsbedingte Änderungen der Lage der Tür an dem Haushaltsgerät auftreten, z.B. eine Türabsenkung.
Abweichungen von dem Soll-Triggerwinkel sind beispielsweise für den Fall nachteilig, dass in einer Tür eines Kühlschranks eine Kamera verbaut ist, die bei geöffneter Tür, nämlich mit Erreichen des Triggerwinkels bei einer Öffnungsbewegung, beginnt, Bilder von einem durch die Tür verschließbaren Kühlraum aufzunehmen. Ist der Triggerwinkel dejustiert, löst die Kamera zum falschen Zeitpunkt aus, so dass sich eine Auswertbarkeit der damit aufgenommenen Bilder verringert.
US 2014/0293060 A1 offenbart einen Kühlschrank. Der Kühlschrank weist einen Haupt körper oder Korpus mit einem Aufbewahrungsfach, eine erste Tür, die drehbar an einer ersten Seite des Hauptkörpers installiert ist, um einen ersten Abschnitt des Stauraums zu öffnen und zu schließen, und eine zweite Tür, die drehbar an einer zweiten Seite des Hauptkörpers installiert ist, um einen zweiten Abschnitt des Lagerfachs öffnen und schlie ßen, auf. Eine erste Kamera kann an der ersten Tür installiert sein, um während der Dre hung der ersten Tür ein Bild eines Innenraums des Aufbewahrungsfachs aufzunehmen, und eine zweite Kamera kann an der zweiten Tür installiert sein, um ein Bild des Innen raums des Aufbewahrungsfachs während Drehung der zweiten Tür. Eine Steuerung kann mehrere von der ersten Kamera und der zweiten Kamera aufgenommene Bilder zu einem einzigen korrigierten Bild eines Bereichs des Aufbewahrungsfachs kombinieren, der sich von der ersten Tür zur zweiten Tür erstreckt.
US 2014/0313331 A1 offenbart einen Kühlschrank und ein Betriebsverfahren dafür. Das Betriebsverfahren des Kühlschranks, der eine Schublade und eine Kamera enthalten kann, kann das Erkennen des Beginns eines Schließvorgangs der Schublade, das Erfas sen eines internen Bildes der Schublade unter Verwendung der Kamera zu einem Zeit punkt, zu dem der Schließvorgang der Schublade initiiert wird, und ein externes Anzeigen und/oder Übertragen des endgültigen Bilds umfassen.
US 2016/0182764 A1 offenbart ein Kamerasystem ist mit einer Kameraeinrichtung, die als Bilderfassungseinheit dient; eine Kommunikationseinheit, die konfiguriert ist, um von der Kameraeinrichtung erfasste Bildinformationen an ein externes Gerät zu übertragen; und ein Display, das zum Anzeigen von Bildinformationen konfiguriert ist, die von dem Kame ragerät erfasst werden, wobei das Display so konfiguriert ist, dass es zumindest eine der Bildinformationen anzeigt, die von dem Kameragerät gemäß vorgeschriebener Bedingun gen erfasst wurden, und Bildinformationen, die gemäß Benutzeranweisungen erfasst wur den.
US 2016/0182768 A1 offenbart eine Kameravorrichtung zur Verwendung in einer Aufbe wahrungseinrichtung, Die Kameravorrichtung ist mit einem Gehäuse versehen, das so konfiguriert ist, dass es in einer Aufbewahrungseinrichtung installiert werden kann; mit einem Bildaufnahmeelement, das innerhalb des Gehäuses vorgesehen ist; und mit einem Bildaufnahmefenster, das an einem ersten Oberflächenabschnitt des Gehäuses vorgese hen und zum Erfassen eines Bildes innerhalb der Aufbewahrungseinrichtung durch das Bilderfassungselement konfiguriert ist. Das Bildaufnahmeelement ist so konfiguriert, dass ein Bild in der Aufbewahrungseinrichtung aufgenommen wird, in dem das Gehäuse instal liert ist. Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine einfach umsetzbare Möglich keit zur verbesserten Erkennung einer Türbewegung, bereitzustellen, speziell eines Kühl schranks, in dessen Tür eine Kamera zur Aufnahme von Bildern aus einem Kühlraum verbaut ist.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteil hafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen.
Die Aufgabe wird gelöst durch ein Haushaltsgerät, aufweisend
einen mittels einer verschwenkbaren Tür verschließbaren Behandlungsraum, mindestens eine in der Tür angeordnete Kamera zum Aufnehmen von Bildern aus dem Behandlungsraum, insbesondere bei geöffneter Tür,
einen Sensor ("Türbewegungssensor") zum Detektieren von Werten ("Para meterwerten") mindestens eines Parameters einer Türbewegung ("Türbewe gungsparameters") und
wobei
der Türbewegungssensor mindestens einen Inertialsensor aufweist, mindestens eine Kamera und der mindestens eine Inertialsensor in einem Modul (im Folgenden ohne Beschränkung der Allgemeinheit als "Kame- ra/Sensor-Modul" bezeichnet) integriert sind, das in der Tür angeordnet ist, das Kamera/Sensor-Modul eine Datenkommunikationseinrichtung zumindest zum Aussenden von Bilddaten der Kamera des Kamera/Sensor-Moduls auf weist und
das Haushaltsgerät dazu eingerichtet ist, mit Detektieren mindestens eines vorgegebenen Parameterwerts (im Folgenden ohne Beschränkung der Allge meinheit auch als "Triggerwert" oder "Sollwert" bezeichnet) mindestens eine Gerätefunktion auszulösen.
Es ist eine Ausgestaltung, dass der mindestens eine Türbewegungsparameter einen Tür öffnungswinkel, eine Türbewegungsrichtung (z.B. eine Türöffnung oder Türschließung) und/oder eine Türgeschwindigkeit (z.B. eine Winkelgeschwindigkeit bei Verschwenken der Tür) umfasst.
Dieses Haushaltsgerät weist den Vorteil auf, dass der mindestens eine Türbewegungspa rameter über die gesamte Türbewegung kontinuierlich oder quasi-kontinuierlich bestimm bar ist und nicht nur wie z.B. bei Hall-Sensoren ein einziger Triggerwinkel detektiert wird. Dadurch wiederum ergibt sich die Möglichkeit, dass Gerätefunktionen in Abhängigkeit mehrerer Triggerwerte, z.B. in Abhängigkeit verschiedener erreichter Türöffnungswinkel, steuerbar sind.
Auch ergibt sich der weitere Vorteil, dass der der mindestens eine Triggerwert beliebig anpassbar ist, ohne mechanische Änderungen am Gerät vornehmen zu müssen. Dies kann z.B. vorteilhaft zum Ausgleich von Gebrauchserscheinungen und/oder Montagetole ranzen verwendet werden. Auch kann so das Einsetzen verschiedener Kameras, die z.B. aufgrund unterschiedlicher Sichtfelder unterschiedliche Triggerwerte zur Auslösung benö tigen, in der Serie oder bei einem Austausch durch einen Kundendienst durch Anpassung des Triggerwerts usw. einfach durchgeführt werden.
Durch die Anordnung der mindestens einen Kamera und des mindestens einen Iner- tialsensor in einer gemeinsamen baulichen Einheit oder Modul wird der Vorteil eines re duzierten Montageaufwands in der Fertigung erreicht. Zudem kann eine Zahl von Leitun gen im Gerät und insbesondere zur Gerätetür deutlich reduziert werden. Auch die Mög lichkeit eines Systemausfalls durch falsche Montage oder beschädigte elektrische Leitun gen wird verringert. Ferner wird ein besonders kompakter Aufbau ermöglicht.
Unter einem Inertialsensor kann insbesondere ein Sensor verstanden werden, der dazu eingerichtet ist, eigenständig translatorische und/oder rotatorische Beschleunigungen zu messen. Es ist eine Weiterbildung, dass das Kamera/Sensor-Modul ein oder mehrere Inertialsensoren, insbesondere unterschiedlicher Art und/oder Ausrichtung, aufweist. Bei spielsweise kann in dem Kamera/Sensor-Modul ein Drehratensensor, ein Beschleuni gungssensor oder eine Kombination davon verbaut sein. Mit einem Inertialsensor lassen sich Messwertauflösung von +/- 1 ° bei einer maximalen Öffnungsgeschwindigkeit von 90°/s oder noch besser erreichen. Es ist eine Weiterbildung, dass mindestens ein Inertialsensor ein Drehratensensor ist. Dieser ist besonders geeignet, um einen aktuellen Öffnungswinkel der Tür mit hoher Ge nauigkeit und geringem Aufwand zu bestimmen. Insbesondere kann mittels des Drehra tensensors auch die Winkelgeschwindigkeit der Tür gemessen und daraus - beispiels weise durch Integration der gemessenen Winkelgeschwindigkeit über die Zeit - der Tür öffnungswinkel bestimmt werden.
Es ist eine Weiterbildung, dass ein Türöffnungswinkel von Null (was einer geschlossenen Tür entspricht) durch Schalten eines Türschalters bestimmbar ist.
Es ist eine Weiterbildung, dass der Drehratensensor ein Vibrationskreisel (engl. "Vibrating Structure Gyroscope"; VSG) ist. Dieser ist besonders robust, klein und preiswert.
Es ist eine Weiterbildung, dass mindestens ein Inertialsensor ein Beschleunigungssensor ist. Der Beschleunigungssensor ist insbesondere zur Messung linearer Beschleunigungen vorgesehen.
Grundsätzlich kann auch mit einem Beschleunigungssensor ein Türöffnungswinkel be stimmt werden, insbesondere dann, wenn die Tür nur wenig geöffnet ist. Jedoch sinkt für einen einzigen Beschleunigungssensor eine Bestimmungsgenauigkeit mit größeren Tür öffnungswinkeln merklich ab. Dies kann durch die Verwendung mehrerer unterschiedlich ausgerichteter Beschleunigungssensoren ausgeglichen werden.
Eine andere vorteilhafte Anwendung eines Beschleunigungssensors besteht darin, eine Drift eines Drehratensensors zu bestimmen. Unter Berücksichtigung der so bestimmten Drift kann ein durch den Drehratensensor bestimmter Türbewegungsparameter, insbe sondere Türöffnungswinkel, korrigiert und damit noch genauer bestimmt werden. Insbe sondere für diese Anwendung - aber grundsätzlich auch für andere Anwendungen - ist es vorteilhaft, dass in mindestens einem Kamera/Sensor-Modul mindestens ein Drehra tensensor und mindestens ein (linearer) Beschleunigungssensor verbaut sind.
Es ist eine Weiterbildung, dass mindestens ein Inertialsensor ein MEMS-Sensor ist. Ein MEMS ("Mikro-Elektro-Mechanisches System")-Sensor, weist den Vorteil auf, dass er sich direkt in integrierten Schaltkreisen realisieren lässt Alternativ zu einem MEMS-Sensor kann mindestens ein Inertialsensor ein piezoelektri scher Sensor sein. Dieser kann beispielsweise Quarzstäbe aufweisen, die bei Beschleu nigung gering gebogen werden und einen elektrischen Schwingkreis gering verstimmen.
Es ist eine zur Verringerung eines Rechenaufwands vorteilhafte Weiterbildung, dass eine oder mehrere Achsen mindestens eines Inertialsensors von der Auswertung ausge schlossen werden. Misst beispielsweise ein Inertialsensor eine Beschleunigung in allen drei kartesischen Raumachsen, brauchen nur die zu einer Drehachse der Tür senkrecht stehenden Raumachsen ausgewertet zu werden, da die Tür längs ihrer Drehachse keine oder keine praktisch nutzbare Bewegung ausführt.
Die Kamera kann als Modul ("Kameramodul") ausgebildet sein, das z.B. einen insbeson dere halbleiterbasierten Bildaufnahmesensor (beispielsweise einen CCD-Chip), eine Ka meraelektronik zum Betreiben des Bildaufnahmesensors, eine dem Bildaufnahmesensor vorgeschaltete Optik usw. aufweisen kann. Die Kamera kann eine Schwarzweiß-Kamera oder, vorteilhafterweise, eine Farbkamera sein.
Es ist eine Weiterbildung, dass das Kamera/Sensor-Modul zu seinem Betrieb mit einem Energiespeicher verbunden ist, der zumindest bei geschlossener Tür drahtlos ladbar ist. Dies ergibt den Vorteil, dass auf eine Stromversorgungsleitung zu dem Inertialsensor ver zichtet werden kann. Der Energiespeicher kann beispielsweise mindestens einen Super kondensator aufweisen. Mittels des Energiespeichers können elektrisch betriebene Kom ponenten des Kamera/Sensor-Moduls wie die Kamera, der mindestens eine Inertialsensor usw. mit Energie versorgbar sein. Dass der Energiespeicher zumindest bei geschlossener Tür drahtlos ladbar ist, kann umfassen, dass die Energieversorgung bei merklicher Tür öffnung nicht mehr effektiv ist. Es ist eine Weiterbildung, dass der Energiespeicher induk tiv ladbar ist. Dazu kann er mit einer Abnehmerspule verbunden sein, in der mittels eines induktiven Wechselfelds eine Induktionsspannung induzierbar ist, um den Energiespei cher zu laden ggf. weitere Komponenten des Kamera/Sensor-Moduls zu betreiben. Zur Umsetzung dieser Weiterbildung kann in dem Korpus des Haushaltsgeräts mindestens eine zum Erzeugen des induktiven ("Lade-") Wechselfelds eingerichtete und angeordnete Primärspule vorhanden sein. Die Primärspule liegt für eine effektive Energieübertragung der Abnehmerspule bei geschlossener Tür gegenüber. Es ist noch eine Weiterbildung, dass das Kamera/Sensor-Modul leitungsgebunden mit Energie versorgbar ist. Dies ergibt den Vorteil, dass auf einen Energiespeicher verzichtet werden kann. Dazu kann eine Stromversorgungsleitung aus dem Korpus in die Tür ge führt werden, z.B. eine einfache zweiadrige Leitung.
Grundsätzlich kann das Kamera/Sensor-Modul drahtlos ladbar sein und mindestens eine andere in der Tür befindliche Kamera leitungsgebunden mit Energie versorgbar sein.
Es ist eine Ausgestaltung, dass das Kamera/Sensor-Modul dazu eingerichtet ist, mit De- tektieren mindestens eines Triggerwerts durch den mindestens einen Inertialsensor min destens eine der Kamera des Kamera/Sensor-Moduls ("modulinterne Kamera") zugeord nete Gerätefunktion ("Kamerafunktion") oder Aktion auszulösen. So wird der Vorteil er reicht, dass das Kamera/Sensor-Modul seine mindestens eine Kamera autonom ansteu ern kann, was wiederum eine besonders einfach Datenarchitektur des Haushaltsgeräts ermöglicht. Die mindestens eine Kamerafunktion kann ein Aufwecken oder Verbringen der Kamera aus einem ausgeschalteten Zustand in einen betriebsbereiten Standby-Zustand, ein Auslösen der Kamera zur Aufnahme eines Bilds, ein Ausschalten der Kamera usw. umfassen.
Es ist eine Weiterbildung, dass die Datenkommunikationseinrichtung eine drahtlose oder eine drahtgebundene Datenschnittstelle zur drahtlosen bzw. drahtgebundenen Kommuni kation mit mindestens einer anderen Komponente des Haushaltsgeräts aufweist oder ist, z.B. mit einer zentralen Steuereinrichtung, mindestens einer weiteren Kamera, einem Bildschirm usw. Eine drahtlose Datenschnittstelle ergibt den Vorteil, dass keine Daten übertragungsleitung in die oder in der Tür zu dem Modul geführt zu werden brauchen.
Es ist eine Weiterbildung, dass, dass die Datenkommunikationseinrichtung des Kame- ra/Sensor-Moduls eine bidirektionale Datenschnittstelle aufweist oder ist und darüber Da ten aussenden und empfangen kann, z.B. nun auch Kalibrierungsdaten, Steuerbefehle wie zum Aufwecken einer Kamera aus einem ausgeschalteten Zustand in einen Standby- Zustand, zum Auslösen der Kamera, zum Beheizen eines Gehäusefensters usw., emp fangen kann. Dies ermöglicht eine besonders flexible Nutzung und Anpassung des Mo duls, insbesondere auch im normalen Betrieb bei einem Nutzer. Die Datenkommunikati- onseinrichtung kann dann auch als Transceiver bezeichnet werden. Auch wird durch die bidirektionale Datenschnittstelle im Vergleich zu einem - grundsätzlich ebenfalls mögli chen Vorsehen einer unidirektionalen Schnittstelle zum Datenempfang und einer unidirek- tionalen Schnittstelle zur Datenaussendung - Platz gespart.
Falls die Datenkommunikationseinrichtung eine bidirektionale Datenschnittstelle aufweist, ist es eine Ausgestaltung, dass das Kamera/Sensor-Modul bzw. eine oder mehrere seiner Komponenten extern ansteuerbar ist. So wird der Vorteil erreicht einer besonders flexiblen Nutzung des Kamera/Sensor-Moduls ermöglicht. Beispielsweise kann mindestens eine Kamera des Kamera/Sensor-Moduls über einen über die bidirektionale Datenschnittstelle empfangenen Befehl aufweckbar, auslösbar, ausschaltbar usw. sein. Weist das Kame- ra/Sensor-Modul mehrere Kameras auf, kann durch einen empfangenen Befehl insbeson dere eine bestimmte Kamera zur Bildaufnahme ausgelöst werden, oder es können mehre re, insbesondere alle, Kameras ausgelöst werden. Auch ist es möglich, die Auswerteein richtung von extern zu kalibrieren oder umzukonfigurieren, z.B. um Triggerwerte zu än dern, hinzuzufügen, zu löschen usw.
Die Datenkommunikationseinrichtung kann in einer Weiterbildung, insbesondere bei Aus gestaltung der Datenschnittstelle als unidirektionale Schnittstelle oder Sender, nur mit der Kamera verbunden sein. In einer anderen Weiterbildung, insbesondere bei Ausgestaltung der Datenschnittstelle als bidirektionale Schnittstelle oder Transceiver, kann die Daten kommunikationseinrichtung mit der Kamera und dem mindestens einen Inertialsensor verbunden sein.
Es ist eine Ausgestaltung, dass das Haushaltsgerät mindestens eine weitere, nicht zum Kamera/Sensor-Modul gehörige ("modulexterne") Kamera aufweist und dazu eingerichtet ist, mit Detektieren mindestens eines Triggerwerts durch den mindestens einen Iner tialsensor des Kamera/Sensor-Moduls mindestens eine der modulexternen Kamera zuge ordnete Gerätefunktion oder Kamerafunktion auszulösen. So wird der Vorteil erreicht, dass der mindestens eine Inertialsensor des Kamera/Sensor-Moduls auch zum Auslösen oder Triggern modulexterner Kameras, die an grundsätzlich beliebigen anderen Stellen im Haushaltsgerät angeordnet sein können (beispielsweise nicht in der Tür, sondern im Be reich einer Wandung des Behandlungsraums), nutzbar ist. Das Kamera/Sensor-Modul kann mit der mindestens einen modulexternen Kamera datentechnisch direkt oder indi rekt, zum Beispiel über eine Steuereinrichtung, gekoppelt sein.
Es ist eine Weiterbildung, dass mehrere modulinterne und/oder modulexterne Kameras unabhängig voneinander beruhend auf einem jeweiligen Türöffnungswinkel auslösbar sind. Dies ergibt den Vorteil, dass Bilder aus besonders vorteilhafter Richtung oder Per spektive aufnehmbar sind. Die Kameras können bei gleichen und/oder unterschiedlichen Türöffnungswinkeln auslösen.
Es ist eine Ausgestaltung, dass das Haushaltsgerät dazu eingerichtet ist, mit Detektieren mindestens eines Triggerwerts durch den mindestens einen Inertialsensor des Kame- ra/Sensor-Moduls mindestens eine weitere Gerätefunktion, die keine Kamerafunktion ist, auszulösen. Dadurch ergibt sich der Vorteil, dass eine Nutzerfreundlichkeit und/oder Funktionsverbesserung erreichbar ist. Die weitere Gerätefunktion kann auch als "Nicht- kamera-Gerätefunktion" bezeichnet werden.
Es ist eine Weiterbildung, dass die mindestens eine weitere Gerätefunktion eine Licht steuerung des Haushaltsgeräts umfasst. So kann eine Lichterzeugung vorteilhafterweise besonders vielgestaltig an den aktuellen Türöffnungswinkel angepasst werden. Die Licht steuerung kann eine Helligkeitsänderung und/oder eine Farbänderung des von dem Haushaltsgerät erzeugten Lichts umfassen. Dazu kann das Haushaltsgerät mindestens eine Lichterzeugungseinrichtung aufweisen, die z.B. direkt von dem Kamera/Sensor- Modul oder über die Steuereinrichtung ansteuerbar ist. Die Lichterzeugungseinrichtung kann z.B. eine oder mehrere LEDs aufweisen.
Es ist eine Weiterbildung, dass die Lichtsteuerung eine Lichtsteuerung eines von mindes tens einer Lichterzeugungseinrichtung in den Behandlungsraum eingestrahlten Lichts umfasst. Beispielsweise kann der Behandlungsraum umso heller beleuchtet werden je geringer der Türöffnungswinkel ist. Dies ist vorteilhaft, um eine Gesamthelligkeit in dem Behandlungsraum - ggf. unter Berücksichtigung von einfallendem Umgebungslicht - zu vereinheitlichen. Unter einem Behandlungsraum kann beispielsweise bei Kältegeräte ein Kühlraum eines Kühlschranks, bei Gargeräten ein Garraum, bei Spülmaschinen ein Spül raum usw. verstanden werden. io
Die mindestens eine weitere Gerätefunktion kann insbesondere eine von dem Türöff nungswinkel abhängige kurzzeitige Erhöhung einer Beleuchtungsstärke in dem Behand lungsraum zum Auslösezeitpunkt der mindestens einen Kamera umfassen. Dadurch kann vorteilhafterweise eine verbesserte Aufnahmehelligkeit erreicht werden. Dies kann in einer Weiterbildung eine Aussendung eines oder mehrerer Lichtblitze in den Behandlungsraum synchron zu einem Auslösezeitpunkt einer Kamera umfassen. Insbesondere kann die Beleuchtungsstärke gezielt bei mehreren Türöffnungswinkels kurzzeitig erhöht werden.
Es ist eine Weiterbildung, dass die Lichtsteuerung eine Lichtsteuerung eines von dem Haushaltsgerät in die Umgebung abgestrahlten Lichts umfasst. So kann z.B. eine Farbe von Licht, das von Bedienelementen und/oder Dekorationselementen abgestrahlt wird, in Abhängigkeit des Türöffnungswinkels verändert werden. Dies kann beispielsweise vorteil haft sein, um den Türöffnungszustand einem Nutzer noch wirkungsvoller mitzuteilen.
Auch kann als weitere Gerätefunktion eine Sprachsteuerung mittels des mindestens einen Inertialsensors besonders vorteilhaft umgesetzt werden. Beispielsweise kann eine Sprachsteuerung abhängig von einem Öffnungswinkel der Tür aktiviert oder deaktiviert werden.
Es ist eine Ausgestaltung, dass das Kamera/Sensor-Modul ein Gehäuse aufweist, in dem die mindestens eine Kamera und an oder in dem der mindestens eine Inertialsensor an geordnet sind. Dies ergibt den Vorteil einer besonders einfachen Handhabung und eines robusten Aufbaus. Zudem sind die in dem Gehäuse untergebrachten Komponenten des Moduls so besonders gegen äußere Einflüsse wie Verschmutzungen, Staub und oder Feuchtigkeit geschützt. Das Gehäuse kann folglich insbesondere ein staub- und/oder feuchtigkeitsdichtes Gehäuse sein.
Es ist eine Ausgestaltung, dass das Gehäuse ein im Blickfeld der Kamera angeordnetes transparentes Fenster ("Durchsichtfenster") aufweist. Dies ermöglicht einen Schutz der Kamera bei gleichzeitig unbeeinträchtigter Nutzung der Kamera. Das Fenster kann bei spielsweise in Form einer Gehäuseöffnung vorliegen, welche durch eine transparente Scheibe, beispielsweise Glasscheibe oder Kunststoffscheibe, abgedeckt ist. Speziell die Verwendung einer Glasscheibe ergibt den Vorteil, dass das Fenster hochgradig wider standsfähig, optisch transparent sowie verfärbungssicher ist. Es ist eine Ausgestaltung, dass das transparente Fenster bzw. dessen Scheibe beheizbar ist, beispielsweise mittels einer Fensterheizung, insbesondere des Moduls. Die Fenster heizung kann beispielsweise ein oder mehrere dünne Drähte oder elektrisch leitende, transparente Leiterbahnen (beispielsweise aus die ITO) aufweisen, die als elektrische Widerstandsheizleitungen dienen. Die Verwendung einer Fensterheizung weist insbeson dere bei Kühlgeräten den Vorteil auf, dass das Fenster bei einem Öffnen der Tür nicht beschlägt. Es ist eine Weiterbildung, dass die Fensterheizung abhängig von einem durch den mindestens einen Inertialsensor detektierten Triggerwert, insbesondere eines be stimmten Türöffnungswinkels, aktivierbar und deaktivierbar ist. So wird der Vorteil er reicht, dass die Fensterheizung nur in praktisch relevanten Bewegungszuständen der Tür beheizt wird, wodurch Stromkosten gespart werden. Beispielsweise kann die Fensterhei zung aktiviert werden, wenn mittels des mindestens einen Inertialsensors ein Erreichen eines ersten Türöffnungswinkels beim Öffnen der Tür festgestellt wird, und deaktiviert werden, wenn ein Erreichen eines zweiten, größeren Türöffnungswinkels beim Öffnen der Tür festgestellt wird. Beim Schließen der Tür kann in einer Weiterbildung die Fensterhei zung nicht aktiviert werden.
Alternativ kann das Gehäuse des Kamera/Sensor-Moduls auch eine nicht abgedeckte Gehäuseöffnung aufweisen, die in der Tür hinter einem transparenten Fenster der Türin- nenwandung angeordnet ist. Auch das transparente Fenster der Türinnenwandung bzw. dessen Scheibe kann beheizbar sein.
Es ist also eine Ausgestaltung, dass das Gehäuse und/oder eine Türwandung ein im Blickfeld der Kamera angeordnetes transparentes, beheizbares Fenster aufweist, dessen Scheibe abhängig vom Erreichen mindestens eines von dem Modul bzw. dessen mindes tens einen Inertialsensors detektierten Triggerwerts mindestens eines Türbewegungspa rameters heizbar ist.
Es ist eine Ausgestaltung, dass das Kamera/Sensor-Modul eine Auswerteeinrichtung aufweist, die dazu eingerichtet, insbesondere programmiert, ist, Messignale des mindes tens einen Inertialsensors zum Bestimmen des mindestens einen Parameterwerts auszu werten, mit einem oder mehreren Triggerwerten oder Sollwerten zu Vergleichen und mit Detektieren mindestens eines Triggerwerts mindestens eine Aktion auszulösen. So wird der Vorteil erreicht, dass das Kamera/Sensor-Modul eine höhere "Intelligenz" aufweist und dadurch auch autonom komplexere Steuervorgänge ausführen kann. Die mindestens eine Aktion kann beispielsweise ein Auslösen der mindestens einen Kamera des Moduls, ein Auslösen mindestens einer weiteren Kamera des Haushaltsgeräts usw. umfassen. Die Auswerteeinrichtung kann dazu mindestens eine Prozessoreinheit wie einen Mikropro zessor, ein FPGA, einen ASIC usw. aufweisen. Jedoch ist es auch möglich, die Steuerung des Kamera/Sensor-Moduls zumindest teilweise durch die Steuereinrichtung des Haus haltsgeräts vorzunehmen. So lässt sich das Kamera/Sensor-Modul besonders einfach ausgestalten.
Es ist eine Weiterbildung, dass die Auswerteeinrichtung dazu eingerichtet ist, über die Datenschnittstelle konfiguriert zu werden. So wird der Vorteil erreicht, dass eine flexible Anpassung des Kamera/Sensor-Moduls ermöglicht wird, beispielsweise zur Nachstellung von Triggerwerten wie vorgegebenen Türöffnungswinkeln ("Triggerwinkeln"). So können beispielsweise Triggerwerte verändert, neu hinzugefügt und/oder gelöscht werden. Es ist eine Weiterbildung, dass die Auswerteeinrichtung dazu einen Datenspeicher aufweist, insbesondere einen programmierbaren nichtflüchtigen Datenspeicher wie ein EEPROM o.ä.
Die Auswerteeinrichtung kann mit dem mindestens eine Inertialsensor in einem gemein samen "integrierten Sensor" zusammengeführt sein. Auch können die Auswerteeinheit und der mindestens eine Inertialsensor auf einer gemeinsamen Baugruppe angeordnet sein, z.B. auf einer gemeinsamen Platine. Ist die Auswerteeinheit mit dem Inertialsensor in einem integrierten Sensor zusammengeführt, kann die Auswerteeinheit analog zu dem Inertialsensor mit dem Energiespeicher verbunden sein oder drahtgebunden mit Energie versorgbar sein.
Es ist eine Ausgestaltung, dass die Datenkommunikationseinrichtung - ggf. zusammen mit der Auswerteeinrichtung - auf einer Platine ("Kommunikationsplatine") ausgebildet ist und der mindestens eine Inertialsensor ebenfalls an bzw. auf der Kommunikationsplatine angeordnet ist. So wird eine besonders kompakte und robuste Anordnung bereitgestellt. Es ist eine Ausgestaltung, dass das Kamera/Sensor-Modul ein Gehäuse, insbesondere wie oben beschrieben, aufweist, das Gehäuse eine Einführungsöffnung zur Einführung der Kamera aufweist und die Einführungsöffnung durch die Kommunikationsplatine ge- schlossen oder abgedeckt ist. Die Kommunikationsplatine kann also als Deckel des Ge häuses dienen und dabei in oder an dem Gehäuse angeordnet sein, insbesondere in das Gehäuse eingesetzt sein.
Allgemein können in dem Gehäuse die mindestens eine Kamera, der mindestens eine Inertialsensor, die Datenkommunikationseinrichtung, die Auswerteeinrichtung und/oder weitere Komponenten wie eine Lichtquelle zur Beleuchtung eines Sichtfelds der Kamera usw. untergebracht sein.
Es ist eine Ausgestaltung, dass jede Kamera oder jedes Kameramodul des Haushaltsge räts einen geräteeindeutigen Code aufweist. So wird der Vorteil erreicht, dass während der Montage des Haushaltsgeräts eine Identifikationsroutine zum Identifizieren der Kame ras (z.B. einer Türkamera und einer Behandlungsraumkamera) entfallen kann. Dies wie derum ergibt aufgrund der eindeutigen Zuordnung der Kamera eine Zeitersparnis bei der finalen Initialisierung des Geräts am Ende der Produktionslinie. Auch bei einem Aus tausch einer Kamera (z.B. durch einen Kundendienst beim Nutzer) braucht keine erneute Initialisierung mehr durchgeführt werden
Es ist eine Weiterbildung, dass der Code mittels einer hardwareseitiges Kodierung der Kamera oder des Kameramoduls bereitgestellt wird. Dies ermöglicht eine besonders ein fache Erkennung einer Kamera. Die hardwareseitige Kodierung kann beispielsweise dadurch umgesetzt sein, dass mehrere Kontakte oder Pins der Kamera zur Kodierung vorgesehen sind, z.B. indem sie dauerhaft mit einem kameraeindeutigen Signalpegel be legt sind. Sind beispielsweise drei Pins zur Kodierung vorgesehen und kann jeder der Pins entweder die Signalpegel oder Signalzustände "0" oder "1 " annehmen, stehen ins gesamt acht (= 3 Bit dezimal) Codes zur Verfügung, um eine eindeutige Zuordnung her zustellen. Diese Information wird immer bei der Kommunikation mit der Kamera oder dem zugehörigen Kamera/Sensor-Modul versendet und erleichtert somit die Zuweisung.
Allgemein können bei unidirektionaler oder bidirektionaler Ausgestaltung der Datenkom munikationseinrichtung oder der Datenschnittstelle beispielweise ein oder mehrere der folgenden Daten von dem Kamera/Sensor-Modul über die Datenschnittstelle ausgesandt werden, z.B. an einer Steuereinrichtung, an modulexterne Kameras und/oder an eine Lichterzeugungseinrichtung: - einen oder mehrere aktuelle Parameterwerte,
- Triggersignale oder Steuerbefehle, die mit Erreichen eines jeweiligen Triggerwerts erzeugt werden,
- Bilddaten von der mindestens einen Kamera,
- Statusdaten über den Zustand des Kamera/Sensor-Moduls und/oder bestimmter Komponenten davon;
- usw.
Allgemein können bei bidirektionaler Ausgestaltung der Datenkommunikationseinrichtung oder der Datenschnittstelle beispielweise ein oder mehrere der folgenden Daten von dem Kamera/Sensor-Modul über eine Datenschnittstelle empfangen werden:
- Triggersignale oder Steuerbefehle zum Auslösen der mindestens einen Kamera des Kamera/Sensor-Moduls,
- Steuerbefehle zum Verbringen der mindestens einen Kamera aus einem ausge schalteten Zustand in einen Standby-Zustand, und umgekehrt;
- Steuerbefehle zum Aktivieren und Deaktivieren einer Lichtquelle des Kame- ra/Sensor-Moduls ("Kamera-Licht"), falls vorhanden;
- Steuerbefehle zum Aktivieren und Deaktivieren einer Fensterheizung;
- T riggerwerte und/oder zugehörige Aktionen;
- usw.
Jedoch können zumindest einige dieser Daten, insbesondere alle diese Daten, auch durch das Kamera/Sensor-Modul, insbesondere dessen Auswerteeinrichtung, selbst er zeugt werden.
Durch Nutzung des mindestens einen Inertialsensors des Kamera/Sensor-Moduls können Triggerwerte beispielsweise zum Auslösen einer oder mehrerer der folgenden Aktionen vorgesehen sein:
- Verbringen der Kamera in einen Standby-Zustand;
- Ausschalten der Kamera,
- Auslösen mindestens einer Kamera des Moduls, ggf. bei unterschiedlichen Trig gerwerten, einschließlich der Möglichkeit, eine Kamera bei mehreren Triggerwin keln mehrfach auszulösen (z.B. zum Erzeugen von Serienbildern); - Aktivieren und Deaktivieren des Kamera-Lichts, falls vorhanden;
- Aktivieren und Deaktivieren einer Fensterheizung;
- Ausgeben von Steuerbefehlen (Standby, Ausschalten, Auslösen, Kamera-Licht usw.) an modulexterne Kameras des Haushaltsgeräts;
- usw.
Es ist eine Weiterbildung, dass sich die im Standby-Zustand befindliche Kamera mittels eines entsprechenden Steuerbefehls auslösen lässt.
Es ist eine Ausgestaltung, dass das Haushaltsgerät ein Kühlgerät ist und der Behand lungsraum ein Kühlraum ist. Das Kühlgerät kann insbesondere einen Kühlschrank aufwei sen, z.B. ein eigenständiger Kühlschrank, eine Kühlschrank-Gefrier-Kombination usw. sein. Speziell bei einem Kühlschrank kann eine Kamera, um Bilder des Kühlraums aufzu nehmen, auch als "Camera in Fridge", CiF, bezeichnet werden kann.
Jedoch kann das Haushaltsgerät grundsätzlich auch jedes andere, insbesondere elektrisch betriebene Haushaltsgerät sein, z.B. ein Haushalts-Großgerät oder ein Haus halts-Kleingerät, insbesondere ein Küchengerät, speziell im Sinn weißer Ware. So kann das Haushaltsgerät auch ein Gargerät, ein Wäschepflegegerät, ein Geschirrspüler usw. sein.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbei spiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
Fig.1 zeigt als Schnittdarstellung in Draufsicht eine Skizze eines Kühlschranks mit einem Kamera/Sensor-Modul;
Fig.2 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Kame- ra/Sensor-Moduls; und
Fig.3 zeigt in Schrägansicht eine Kommunikationsplatine des Kamera/Sensor- Moduls aus Fig.2. Fig.1 zeigt als Schnittdarstellung in Draufsicht eine Skizze eines Haushaltsgeräts in Form eines Kühlschranks 1. Der Kühlschrank 1 weist einen Behandlungsraum in Form eines Kühlraums 2 auf, dessen frontseitige Beschickungsöffnung 3 mittels einer um eine vertikal ausgerichtete Drehachse 4 verschwenkbaren Tür 5 verschließbar ist, wie auch durch den Doppelpfeil angedeutet. In der Tür 5 ist ein Kamera/Sensor-Modul 6 angeordnet.
Das Kamera/Sensor-Modul 6 weist eine hier als Kameramodul ausgebildete ("moduleige ne") Kamera 7 auf, die so angeordnet ist, dass sie zumindest bei nur wenig geöffneter Tür 5 Bilder aus dem Kühlraum 2 aufnehmen kann. Das Kamera/Sensor-Modul 6 weist ferner mindestens einen Türbewegungssensor in Form eines Inertialsensors 8, eine z.B. draht gebundene Datenkommunikationseinrichtung 9 und eine Auswerteeinrichtung 10 auf. Diese Komponenten 7 bis 10 sind in einem Gehäuse 11 des Kamera/Sensor-Moduls 6 untergebracht oder angebracht. Das Gehäuse 11 kann ein beheizbares Durchsichtfenster (o. Abb.) für die Kamera 7 aufweisen.
Der mindestens eine Inertialsensors 8 ist dazu eingerichtet (d.h., angeordnet und ausge staltet), mindestens einen Türbewegungsparameter der Tür 5 zu detektieren. Mittels der Auswerteeinrichtung 10 werden diese aktuell detektierten Türbewegungsparameter mit vorgegebenen Soll- oder Triggerwerten verglichen. Erreichen die aktuell detektierten Tür bewegungsparameter mindestens einen Triggerwert wie einen bestimmten Türöffnungs winkel (ggf. auch eine Kombination auch mehreren Triggerwerten wie einen bestimmten Türöffnungswinkel in Verbindung mit einer Feststellung einer Türöffnung), kann die Aus werteeinrichtung 10 eine entsprechende Aktion auslösen, z.B. ein entsprechendes Trig gersignal oder eine Triggerinformation ausgeben, und zwar an eine interne Komponente 7 bis 9 des Kamera/Sensor-Moduls 6 und/oder über die Datenkommunikationseinrichtung 9 an eine modulexterne Komponente.
Das Kamera/Sensor-Modul 6 ist mit einer Steuereinrichtung 12 des Kühlschranks 1 kom munikativ gekoppelt, beispielsweise über eine Punkt-zu-Punkt Datenleitung oder ein Bus system. Die Steuereinrichtung 12 ist insbesondere eine zentrale Steuereinrichtung zur Steuerung des Kühlschranks 1.
Der Kühlschrank 1 weist ferner optional mindestens eine weitere Kamera 13, also eine nicht zu dem Kamera/Sensor-Modul 6 gehörige ("modulexterne") Kamera, auf, die hier beispielhaft in einem Korpus 14 des Kühlschranks 1 angeordnet ist (z.B. wie gezeigt an einer Seitenwand, deckenseitig usw.), aber auch in der Tür 5 angeordnet sein kann. Die modulexterne Kamera 13 kann direkt mit dem Kamera/Sensor-Modul 6 kommunikativ gekoppelt sein, z.B. über eine Punkt-zu-Punkt Datenleitung oder ein Bussystem, und/oder mit der Steuereinrichtung 12 gekoppelt sein.
Jede Kamera 7, 13 bzw. die zugehörigen Kameramodule kann jeweils mehrere Kontakte oder Pins aufweisen, z.B. zur Datenübertragung, Stromversorgung usw.. Es ist besonders vorteilhaft, wenn mehrere dieser Pins als Kodierungspins verwendet werden, die mit fest vorgegebenen (ggf. umkonfigurierbaren) Signalzuständen belegt sind. Aus der Signalbe legung dieser Kodierungspins lässt sich dadurch eine geräteeindeutige Kamerakennung mit ausgesandten Daten verknüpfen.
Über die Datenkommunikationseinrichtung 9 können ferner Bilddaten ausgesandt werden, z.B. an die Steuereinrichtung 12 und/oder an einen außenseitig angeordneten Bildschirm 15, auf dem die Bilder darstellbar sind.
Die Datenkommunikationseinrichtung 9 ist insbesondere eine bidirektionale Datenkom munikationseinrichtung 9 zum Aussenden und Empfangen von Daten, z.B. zum Empfan gen von Daten wie Steuerbefehlen, Kalibrations- oder Konfigurationsdaten von der Steu ereinrichtung 12. Sie weist dazu eine bidirektionale Datenschnittstelle auf.
Insbesondere kann mit Bewegen (Öffnen und Schließen) der Tür 5 mittels der Auswer teeinrichtung 10 das Erreichen mehrerer Triggerwerte überwacht oder bestimmt werden, wobei einem Triggerwert eine oder mehrere Aktionen zugeordnet sein können.
Beispielsweise können folgende Aktionen bei einem Öffnen der Tür 5 ausgelöst werden, beispielsweise in der genannten Reihenfolge mit steigendem Türöffnungswinkel:
- Verbringen oder "Aufwecken" der modulinternen Kamera 7 aus einem ausge
schalteten Zustand, z.B. in einen betriebsbereiten Standby-Zustand;
- Aussenden eines Signals zum Aufwecken der modulexternen Kamera 13 direkt an die modulexterne Kamera 13 oder die Steuereinrichtung 12;
- Aktivieren der Beheizung des Durchsichtfensters; - Aussenden eines Signals (z.B. umfassend eine Information, dass ein bestimmter Triggerwinkel erreicht worden ist) an die Steuereinrichtung 12 zum Aktivieren mindestens einer Lichtfunktion;
- Auslösen der modulinternen Kamera 7 zur Aufnahme eines Bilds;
- Aussenden eines Signals zum Auslösen der modulexternen Kamera 13 zur Auf nahme eines Bilds;
- Deaktivieren der Beheizung des Durchsichtfensters
- Auslösen der modulinternen Kamera 7 zur Aufnahme eines weiteren Bilds;
- Aussenden eines Signals zum Auslösen der modulexternen Kamera 13 zur Auf nahme eines weiteren Bilds;
- usw.
Mindestens zwei Aktionen können dem gleichen Triggerwert oder unterschiedlichen Trig gerwerten zugeordnet sein.
Mit Schließen der Tür können entsprechende Aktionen ausgelöst werden, einschließlich einem Auslösen der Kameras 7, 13, einem Ausschalten der Kamera 7 mit Erreichen eines geschlossenen Zustands der Tür 5, usw.
Auch ist es allgemein möglich, das Kamera/Sensor-Modul 6 unabhängig von dem mindes tens einen Inertialsensor 8 extern, z.B. durch die Steuereinrichtung 12, anzusteuern, z.B. um die modulinterne Kamera 7 in den Standby-Zustand zu versetzen und/oder auszulö sen, die Auswerteeinrichtung zu kalibrieren oder umzukonfigurieren (z.B. um Triggerwerte zu ändern, hinzuzufügen, zu löschen usw.), usw.
Fig.2 zeigt als Schnittdarstellung in Seitenansicht eine Skizze einer möglichen Umsetzung des Kamera/Sensor-Moduls 6. Das Kamera/Sensor-Modul 6 weist ein insbesondere rohr förmiges Gehäuse 16 auf, das vorderseitig eine Gehäuseöffnung 17 aufweist, die mittels einer insbesondere beheizbaren transparenten Glasscheibe 18 abgedeckt ist.
In dem Gehäuse 16 ist die als Kameramodul ausgebildete Kamera 7 untergebracht, die als Komponenten z.B. einen Bildaufnahmesensor 22 wie einen CCD-Chip, eine Kamera- elektronik 23 zum Betreiben des Bildaufnahmesensors 22, eine dem Bildaufnahmesensor 22 z.B. über ein Gestell 24 vorgeschaltete Optik 25 usw. aufweisen kann.
Die Kamera 7 kann durch eine rückseitige Einführungsöffnung 19 in das Gehäuse 16 ein gesetzt werden. Die Einführungsöffnung 19 ist mittels einer Platine ("Kommunikationspla tine 20") verschlossen, die dann auch als ein Deckel dienen kann. Die Kommunikations platine 20 befindet sich dabei in dem Gehäuse 16.
Die Kommunikationsplatine 20, die in Fig.3 in Schrägansicht gezeigt ist, weist einen inte grierten Sensor 8, 10, in den der Inertialsensor 8 und die Auswerteeinheit 10 integriert sind, sowie die Datenkommunikationseinrichtung 9 auf einer in das Gehäuse 16 weisen den Seite auf. Auf der anderen, gehäuseabgewandten Seite kann die Kommunikations platine 20 mit weiteren Bauteilen wie einer Datenschnittstelle 26 zur Verbindung mit mo dulexternen Komponenten bestückt sein.
Auf der in das Gehäuse 16 weisenden Seite ist die Kommunikationsplatine 20 ferner mit einem Steckverbindungselement 21 bestückt, der mit Einsetzen der Kommunikationspla tine 20 in das Gehäuse 16 mit einem passenden Steckverbindungsgegenelement 25 der Kamera 7 verbunden wird. Das Steckverbindungsgegenelement 25 der Kamera 7 kann mehrere Kontakte oder Pins aufweisen, die zur Kodierung der Kamera 7 mit fest vorgege benen Signalpegeln belegt sind. Die Kamera 7 weist also einen geräteeindeutigen hard wareseitigen Code oder Kodierung auf.
In einer möglichen Variante werden das Steckverbindungselement 21 und das Steckver bindungsgegenelement 25 bei Einsetzen der Kommunikationsplatine 20 in das Gehäuse 16 miteinander durch eine einfache Einsteckbewegung zu einer Steckverbindung 21 , 25 miteinander verbunden. In einer Variante dient die Steckverbindung 21 , 25 auch als Ab standshalter zwischen der Kommunikationsplatine 20 und der Kamera, insbesondere ei nem Basisträger 27 der Kamera 7. Die Kamera 7 kann in einer Variante mittels der Kom munikationsplatine 20 in dem Gehäuse 16 gehalten werden. Allgemein können die Kame ra 7, insbesondere deren Basisträger 27, und/oder die Kommunikationsplatine 20 in dem Gehäuse 16 durch Reibschluss, Formschluss (z.B. Verrastung) und/oder Stoffschluss (z.B. Verklebung) in dem Gehäuse 16 gehalten werden. Alternativ oder zusätzlich können dedizierte Befestigungsmittel (o. Abb.) wie Schrauben, Klammern, Stifte usw. zur Halte- rung der Kamera 7, insbesondere deren Basisträger 27, und/oder der Kommunikations platine 20 in oder an dem Gehäuse 16 verwendet werden. Auch können die Kamera 7, insbesondere deren Basisträger 27, und/oder die Kommunikationsplatine 20 in einen je weiligen innenseitig ausgeformten umlaufenden Vorsprung des Gehäuses 16 aufgesetzt sein.
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbei spiel beschränkt. So kann die Kommunikationsplatine 20 auch auf einen hinteren Rand des Gehäuses 16 aufgesetzt werden und bildet dadurch ebenfalls einen Deckel für das Gehäuse 16.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden wer den, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Tole ranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste
1 Kühlschrank
2 Kühlraum
3 Beschickungsöffnung
4 Drehachse
5 Tür
6 Kamera/Sensor-Modul
7 Kamera
8 Inertialsensor
9 Datenkommunikationseinrichtung
10 Auswerteeinrichtung
11 Gehäuse
12 Steuereinrichtung
13 Modulexterne Kamera
14 Korpus
15 Bildschirm
16 Gehäuse
17 Gehäuseöffnung
18 Glasscheibe
19 Einführungsöffnung
20 Kommunikationsplatine
21 Steckverbindungselement
22 Bildaufnahmesensor
23 Kameraelektronik
24 Gestell
25 Optik
26 Datenschnittstelle
27 Basisträger

Claims

Patentansprüche
1. Haushaltsgerät (1), aufweisend
einen mittels einer verschwenkbaren Tür (5) verschließbaren Behandlungs raum (2),
mindestens eine in der Tür (5) angeordnete Kamera (7) zum Aufnehmen von Bildern aus dem Behandlungsraum (2) bei geöffneter Tür (5) und einen Türbewegungssensor zum Detektieren von Werten mindestens eines Parameters einer Türbewegung und
wobei
der Türbewegungssensor mindestens einen Inertialsensor (8) aufweist, mindestens eine Kamera (7) und der mindestens eine Inertialsensor (8) in ei nem Kamera/Sensor-Modul (6) integriert sind, das in der Tür (5) angeordnet ist,
das Kamera/Sensor-Modul (6) eine Datenkommunikationseinrichtung (9) zu mindest zum Aussenden von Bilddaten der Kamera (7) des Kamera/Sensor- Moduls (6) aufweist und
das Haushaltsgerät (1) dazu eingerichtet ist, mit Detektieren mindestens eines Triggerwerts mindestens eine Gerätefunktion auszulösen.
2. Haushaltsgerät (1) nach Anspruch 1 , wobei der mindestens eine Türbewegungs parameter eine Türöffnungswinkel, eine Türbewegungsrichtung und/oder eine Türgeschwindigkeit umfasst.
3. Haushaltsgerät (1) nach einem der vorhergehenden Ansprüche, wobei das Kame- ra/Sensor-Modul (6) dazu eingerichtet ist, mit Detektieren mindestens eines Trig gerwerts durch den mindestens einen Inertialsensor (8) des Kamera/Sensor- Moduls (6) mindestens eine der Kamera (7) des Kamera/Sensor-Moduls (6) zuge ordnete Gerätefunktion auszulösen.
4. Haushaltsgerät (1) nach einem der vorhergehenden Ansprüche, wobei die Daten kommunikationseinrichtung (9) des Kamera/Sensor-Moduls (6) eine bidirektionale Datenschnittstelle aufweist.
5. Haushaltsgerät (1) nach Anspruch 4, wobei das Kamera/Sensor-Modul (6) bzw. eine oder mehrere seiner Komponenten (7, 10) extern ansteuerbar ist.
6. Haushaltsgerät (1) nach einem der vorhergehenden Ansprüche, wobei das Haus haltsgerät (1) mindestens eine modulexterne Kamera (13) aufweist und das Haus haltsgerät (1) dazu eingerichtet ist, mit Detektieren mindestens eines Triggerwerts durch den mindestens einen Inertialsensor (8) des Kamera/Sensor-Moduls (6) mindestens eine der modulexternen Kamera (13) zugeordnete Gerätefunktion auszulösen.
7. Haushaltsgerät (1) nach einem der vorhergehenden Ansprüche, wobei das Haus haltsgerät (1) dazu eingerichtet ist, mit Detektieren mindestens eines Triggerwerts durch den mindestens einen Inertialsensor (8) des Kamera/Sensor-Moduls (6) mindestens eine weitere Gerätefunktion auszulösen.
8. Haushaltsgerät (1) nach einem der vorhergehenden Ansprüche, wobei das Kame- ra/Sensor-Modul (6) eine Auswerteeinrichtung (10) aufweist, die dazu eingerichtet ist, Messignale des mindestens einen Inertialsensors (8) zum Bestimmen des min destens einen Parameterwerts auszuwerten und mit Detektieren mindestens eines Triggerwerts mindestens eine Aktion auszulösen.
9. Haushaltsgerät (1) nach einem der vorhergehenden Ansprüche, wobei das Kame- ra/Sensor-Modul (6) ein Gehäuse (16) aufweist, in dem die mindestens eine Ka mera (7) und der mindestens eine Inertialsensor (8) angeordnet sind.
10. Haushaltsgerät (1) nach Anspruch 9, wobei das Gehäuse (16) ein im Blickfeld der Kamera (7) angeordnetes transparentes, beheizbares Fenster (17, 18) aufweist, das abhängig vom Erreichen mindestens eines Triggerwerts mindestens eines Türbewegungsparameters heizbar ist.
11. Haushaltsgerät (1) nach einem der vorhergehenden Ansprüche, wobei die Daten kommunikationseinrichtung (9) auf einer Kommunikationsplatine (20) ausgebildet ist und der mindestens eine Inertialsensor (8) an der Kommunikationsplatine (20) angeordnet ist.
12. Haushaltsgerät (1) nach den Ansprüchen 9 oder 10 in Verbindung mit Anspruch 11 , wobei das Gehäuse (16) eine Einführungsöffnung (21) zur Einführung der Ka mera (7) aufweist und die Einführungsöffnung (21) durch die Kommunikationspla tine (20) verschlossen ist.
13. Haushaltsgerät (1 ) nach einem der vorhergehenden Ansprüche 1 , wobei jede Ka- mera (7) des Haushaltsgeräts (1) einen geräteeindeutigen hardwareseitigen Code aufweist.
14. Haushaltsgerät (1) nach einem der vorhergehenden Ansprüche, wobei das Haus haltsgerät (1) ein Kühlgerät, insbesondere Kühlschrank, ist und der Behandlungs- raum (2) ein Kühlraum ist.
EP20716420.3A 2019-04-01 2020-03-30 Haushaltsgerät mit in einer tür angeordneter kamera Active EP3948119B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019204534.0A DE102019204534A1 (de) 2019-04-01 2019-04-01 Haushaltsgerät mit in einer Tür angeordneter Kamera
PCT/EP2020/058923 WO2020201199A1 (de) 2019-04-01 2020-03-30 Haushaltsgerät mit in einer tür angeordneter kamera

Publications (2)

Publication Number Publication Date
EP3948119A1 true EP3948119A1 (de) 2022-02-09
EP3948119B1 EP3948119B1 (de) 2023-06-07

Family

ID=70154383

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20716420.3A Active EP3948119B1 (de) 2019-04-01 2020-03-30 Haushaltsgerät mit in einer tür angeordneter kamera

Country Status (6)

Country Link
US (1) US11988444B2 (de)
EP (1) EP3948119B1 (de)
CN (1) CN113661369B (de)
DE (1) DE102019204534A1 (de)
PL (1) PL3948119T3 (de)
WO (1) WO2020201199A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019204534A1 (de) * 2019-04-01 2020-10-01 BSH Hausgeräte GmbH Haushaltsgerät mit in einer Tür angeordneter Kamera
DE102021200495A1 (de) * 2021-01-20 2022-07-21 BSH Hausgeräte GmbH Haushaltsgerät mit einer Kamera und positionsfixierter Anordnung eines Moduls in einem Gehäuseschacht der Kamera, sowie Verfahren
EP4130623A1 (de) * 2021-08-02 2023-02-08 Liebherr-Hausgeräte Ochsenhausen GmbH Kühl- und/oder gefriergerät
GB202112053D0 (en) * 2021-08-23 2021-10-06 Safehinge Ltd Methods and systems for monitoring mental health environment
DE102021127900A1 (de) * 2021-10-27 2023-04-27 Miele & Cie. Kg Einbauhaushaltsgerätesystem
DE102021214690A1 (de) 2021-12-20 2023-06-22 BSH Hausgeräte GmbH Aufnehmen von Bildern aus einem Haushalts-Kältegerät
DE102021214692A1 (de) 2021-12-20 2023-06-22 BSH Hausgeräte GmbH Aufnehmen von Bildern aus einem Haushalts-Kältegerät
DE102022205769A1 (de) * 2022-06-07 2023-12-07 BSH Hausgeräte GmbH Kommunikationsmodul als Sensor-Hub für ein Haushaltskältegerät, sowie Haushaltskältegerät
EP4296597A1 (de) * 2022-06-20 2023-12-27 Liebherr-Hausgeräte Ochsenhausen GmbH Kühl- und/oder gefriergerät

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102000448B1 (ko) * 2013-03-27 2019-10-01 엘지전자 주식회사 냉장고
CN105222521B (zh) * 2013-04-23 2018-01-09 Lg电子株式会社 冰箱及其控制方法
KR102023014B1 (ko) 2013-04-23 2019-11-04 엘지전자 주식회사 냉장고 및 그 동작 방법
DE102013216759A1 (de) * 2013-08-23 2015-02-26 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
CN110995983A (zh) * 2013-08-28 2020-04-10 东芝生活电器株式会社 储藏箱用摄像机装置
US10365034B2 (en) * 2013-10-18 2019-07-30 Lg Electronics Inc. Refrigerator and control method for the same
DE102014210668A1 (de) * 2014-06-05 2015-12-17 BSH Hausgeräte GmbH Haushaltsgerät mit Speisenbehandlungsraum und Kamera
JP6524659B2 (ja) 2014-12-17 2019-06-05 セイコーエプソン株式会社 印刷データ生成装置及び印刷装置
EE05781B1 (et) 2014-12-18 2016-10-17 Tallinna Tehnikaülikool Meetod ja seade täpsete ajatemplitega pideva pildivoo kujutisehõiveks
DE102015213780A1 (de) * 2015-07-22 2017-01-26 BSH Hausgeräte GmbH Betreiben einer Kamera eines Haushaltsgeräts
JP6565806B2 (ja) * 2016-06-28 2019-08-28 株式会社デンソー カメラシステム
GB201701593D0 (en) * 2017-01-31 2017-03-15 Smarter Applications Ltd Imaging apparatus
DE102017213425A1 (de) * 2017-08-02 2019-02-07 BSH Hausgeräte GmbH Sensorvorrichtung für ein Haushaltskühlgerät
DE102017221868A1 (de) * 2017-12-05 2019-06-06 BSH Hausgeräte GmbH Haushaltsgerät mit Sensor zum Detektieren einer Türbewegung
DE102019204534A1 (de) * 2019-04-01 2020-10-01 BSH Hausgeräte GmbH Haushaltsgerät mit in einer Tür angeordneter Kamera
KR102245911B1 (ko) * 2019-08-09 2021-04-30 엘지전자 주식회사 인공 지능을 이용하여, 아이템의 정보를 제공하는 냉장고 및 그의 동작 방법
KR102273192B1 (ko) * 2020-01-03 2021-07-05 엘지전자 주식회사 인공 지능 냉장고 및 그의 동작 방법
DE102021214692A1 (de) * 2021-12-20 2023-06-22 BSH Hausgeräte GmbH Aufnehmen von Bildern aus einem Haushalts-Kältegerät
DE102021214690A1 (de) * 2021-12-20 2023-06-22 BSH Hausgeräte GmbH Aufnehmen von Bildern aus einem Haushalts-Kältegerät
DE102021214691A1 (de) * 2021-12-20 2023-06-22 BSH Hausgeräte GmbH Kalibrieren eines Gyrosensors eines Haushalts-Kältegeräts

Also Published As

Publication number Publication date
US11988444B2 (en) 2024-05-21
WO2020201199A1 (de) 2020-10-08
CN113661369B (zh) 2023-10-13
DE102019204534A1 (de) 2020-10-01
EP3948119B1 (de) 2023-06-07
US20220412645A1 (en) 2022-12-29
CN113661369A (zh) 2021-11-16
PL3948119T3 (pl) 2023-09-04

Similar Documents

Publication Publication Date Title
EP3948119B1 (de) Haushaltsgerät mit in einer tür angeordneter kamera
DE102017221868A1 (de) Haushaltsgerät mit Sensor zum Detektieren einer Türbewegung
WO2020144081A1 (de) Universelles multifunktionsgerät
EP1033578B1 (de) Anordnung zum Detektieren einer Rotation eines Drehelements
EP0489129A1 (de) Rolladensteuerung
DE102021214691A1 (de) Kalibrieren eines Gyrosensors eines Haushalts-Kältegeräts
EP3318948B1 (de) Heizkörperthermostat
US11193313B2 (en) Electromechanical closure having a rotary latch arrangement with an evaluatable door contact for controlling a display device such as an LED module
CH701503A2 (de) Elektronische schliesseinrichtung.
WO1998044467A1 (de) Sensorleuchte
EP2950289A1 (de) Vorrichtung und system zur haus- und gebäudeautomation
US8860879B1 (en) Suction cup camera
DE10052585A1 (de) Betätigungseinrichtung für ein Kochfeld
EP2511890B1 (de) Bedieneinheit
DE102018109847A1 (de) Modulare Verbindung für ein Videokamerasystem
DE102016104321A1 (de) Bedieneinrichtung für ein beabstandet zu der Bedieneinrichtung angeordnetes elektrisches Gerät einer Gebäudetechnikinstallation
EP1381003A1 (de) Überwachungskamera
CN222050954U (zh) 一种具有ai人脸识别功能的门禁设备
DE102019110347A1 (de) Vorrichtung zum Erkennen von Zuständen eines Schlosses und/oder einer Tür
DE202007008363U1 (de) Vorrichtung zur Beleuchtungssteuerung
EP2400609B1 (de) Umgebungslichtsensor in modularem Aufbau
DE102024125037A1 (de) Elektrisches installationsgerät
DE102017211098A1 (de) Verfahren zur Herstellung eines optischen Sensors
DE202016100413U1 (de) Annäherungstaster für eine automatische Tür oder ein automatisches Tor
DE102022208379A1 (de) Kameravorrichtung und Kamera

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211102

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20230307

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1576244

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230615

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502020003667

Country of ref document: DE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230907

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230908

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231007

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231009

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231007

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502020003667

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

26N No opposition filed

Effective date: 20240308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20240330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240330

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230607

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20240331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240330

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240330

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240331

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240331

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240331

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20250417

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20200330

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20200330

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20260331

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: TR

Payment date: 20260325

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20260325

Year of fee payment: 7