EP4288516A1 - Inkubator, system und verfahren - Google Patents

Inkubator, system und verfahren

Info

Publication number
EP4288516A1
EP4288516A1 EP22702685.3A EP22702685A EP4288516A1 EP 4288516 A1 EP4288516 A1 EP 4288516A1 EP 22702685 A EP22702685 A EP 22702685A EP 4288516 A1 EP4288516 A1 EP 4288516A1
Authority
EP
European Patent Office
Prior art keywords
incubator
data
user
image
chamber
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22702685.3A
Other languages
English (en)
French (fr)
Inventor
Christoph Jolie
Benjamin PAULSEN
Wolf Lukas HELLWEG
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eppendorf SE
Original Assignee
Eppendorf SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eppendorf SE filed Critical Eppendorf SE
Publication of EP4288516A1 publication Critical patent/EP4288516A1/de
Pending legal-status Critical Current

Links

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/12Means for regulation, monitoring, measurement or control, e.g. flow regulation of temperature
    • C12M41/14Incubators; Climatic chambers
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Definitions

  • the invention relates to an incubator for living cell cultures, a method for working with an incubator and a system with an incubator.
  • the invention relates to an incubator for the monitored growth of biological cells.
  • the invention also relates to a system and method for the monitored growth of biological cells.
  • Such incubators are used in biological and medical laboratories to maintain cells in cell culture under controlled environmental conditions, allowing for the growth of living cells in vitro.
  • the temperature and the gas composition or the humidity of the atmosphere inside an incubator chamber isolated from the environment are kept at the desired values by the incubator's apparatus.
  • Eukaryotic cells require CO2 incubators.
  • the atmosphere is formed by air with a certain CO2 and O2 content and humidity, a suitable temperature is often 37 °C.
  • the growth of the cells depends in particular critically on the constancy of the atmospheric conditions in the incubator. Disturbances in the incubator atmosphere can have a negative effect on cell growth.
  • each individual user would be provided with a separately accessible incubation chamber for each sample to be incubated. However, this is not realistic for reasons of cost efficiency.
  • laboratory practice it is common for a single incubator (or a few incubators) with a single incubation chamber and one or more storage areas on one or more storage shelves in the incubation chamber to be dedicated for use by multiple users.
  • the frequency of opening the chamber door of the incubator and thus the intervention in the controlled atmosphere of the incubator scales with the number of users and also with the number of samples incubated there.
  • the intensity of the disturbance also depends on the duration of the door opening. The more time a user needs to access the interior of the incubator chamber, the longer the door stays open.
  • There are various usage scenarios of the incubator that may require increased access time due to complications:
  • a user places one or more objects, in particular cell culture containers, in the incubator for the first time, he needs a free storage space in a storage area. If no free storage space is available due to disorderly storage, the user needs time to create this storage space; the more carefully he moves or rearranges objects that are already in the incubator (existing objects), possibly even documenting this in writing, the more time-consuming the process becomes. If it turns out that there is no longer sufficient storage space in the incubator chamber, the user repeats his procedure with a possibly existing further compartment of the incubator chamber or with a replacement incubator of the laboratory. This lengthens the period of time when the incubator door is open, i.e. the duration of exposure of the interior of the chamber to the environment (exposure duration).
  • a user checks the cell cultures previously placed in the incubator, e.g. to assess the quality of the cell medium or the state of growth, the user will first look for the relevant cell culture container in the incubator. It is possible that he cannot remember the storage location he has chosen, or other users have changed this storage location - both of which increase the exposure time, i.e. the opening time of the incubator and the resulting loss of atmosphere. The more carefully the user moves or rearranges existing objects, the more time-consuming the search process becomes.
  • the user must first search for the corresponding object.
  • the time-delaying factors mentioned in b) apply.
  • the more frequently an incubator is opened the higher the risk of contamination of the interior.
  • the value of a single sample, especially the cell/s in a cell culture vessel is much higher than, for example, the value of the entire incubator, so that a contamination-related loss of the sample must be avoided at all costs.
  • the frequency of contamination increases the risk of lost work, increased costs and additional maintenance work.
  • the chamber After contamination of an incubator, the chamber must be cleaned and sterilized before the incubator can be used again. During this time, if no replacement incubator is available, work with cell cultures is interrupted.
  • the object on which the present invention is based is to provide an efficiently usable incubator which, in particular, makes it possible to keep the exposure time, i.e. the period of the state of an open incubator door, and thus the duration of exposure of the interior of the incubator chamber to the environment of the incubator short.
  • the invention solves this problem by the incubator according to claim 1, the system according to claim 12, and the method according to claim 14.
  • Preferred configurations are in particular the subject matter of the dependent claims.
  • the incubator according to the invention for incubating living cell cultures has: an incubator chamber for receiving objects, in particular cell culture containers, which has a closable chamber opening for receiving and removing the objects and at least one storage area for storing the objects, an image-based object tracking system for tracking changes in the position of at least one object placed in the incubator chamber, starting from its starting position in a starting image of a storage area up to its end position in an end image of the storage area using video data, the object tracking system having at least one data processing device, a data memory and at least one camera, which is set up to monitor an interior of the incubator chamber, in particular a storage area, and to provide the start image, the end image and the video data, the data processing device being programmed to do this,
  • the incubator according to the invention “knows” the object “registered” when inserted into the incubator using an internal system name, namely the identification data assigned to this object (can be an identification number or another identification code made up of any characters or information). Due to the position tracking, the incubator knows the end position of the object after each position change, which is generated, for example, when another user moves the object in the incubator at a later point in time.
  • the incubator "remembers” the end position of the Object, and preferably other objects or any other object in the incubator chamber.
  • the aim of object tracking is to be able to unambiguously assign the end position of the object located at the start position after its position changes, ie its movement in the camera field of view, at which the position changes are zero and the movement of the object is ended. It is not primarily relevant to be able to precisely describe the entire movement path of the object moved by the position changes. However, this can be provided in a preferred embodiment of the invention.
  • Image-processing object tracking techniques are known in principle, for example when used in drones or driver assistance systems for tracking vehicles or people.
  • Object tracking is based on image processing or image analysis of video image data.
  • Such methods of object tracking can be implemented with relatively simple means such as suitable cameras and image processing algorithms.
  • the theoretical foundations and their use for the practical realization of object tracking techniques are known, in particular the realization of "single object tracking” and “multiple object tracking” (e.g.: “Fundamentals of Object Tracking", S. Challa et al., Cambridge University Press, 2011).
  • Immediately usable image processing algorithms for object tracking are also freely available (OpenCV.org) and well documented.
  • OpenCV (English abbreviation for Open Computer Vision) is a free program library (BSD license) with algorithms for image processing and computer vision.
  • the OpenCV program library also includes functions for tracking multiple objects in real time. The application of object tracking in incubators has not yet been published and represents an innovation.
  • a typical mode of operation of image-processing object tracking is based on evaluating the chronological sequence of images.
  • a typical object tracking program code uses a "bounding box" as an output format to identify an object in an image, to determine its collision boundaries and, in particular, to locate it.
  • the "bounding box” refers to the coordinates of the rectangular frame that largely or partially encloses an object shown in the digital image completely encloses.
  • Suitable programming interfaces (APIs) for object tracking using bounding boxes are available in the OpenCV program library under the names BOOSTING, CSRT, GOTURN, KCF, MEDIANFLOW, MOSSE, MIL, TLD.
  • program libraries (“MultiTracker”) are available in OpenCV for the simultaneous tracking of several objects (“multiple object tracking”).
  • multi-object tracking based on the "tracking-by-detection” principle are known.
  • contour of the object to be tracked in the image to be determined for object tracking, and in particular the separation of object (foreground) and background by background subtraction.
  • the performance potential of an object tracking system is based, on the one hand, on reliable automatic identification of an object in the incubator in various typical usage scenarios of an incubator, which are described below.
  • the approach is efficient because no special adjustments are required on the object side.
  • the object does not have to contain any passive (code, label) or active (e.g. a transmitter) means of identification.
  • the usual objects can be used with the incubator, particularly regardless of the manufacturer and external appearance.
  • the incubator of the present invention is capable of distinguishing objects having a completely identical appearance by tracking.
  • the new object If the new object is placed in the incubator chamber without moving the existing objects (objects already arranged and localized in the storage area) (case l.ii)), the new object can be identified (unambiguously without any problems) via the next still image (after closing the incubator door). Object tracking is not necessary for case l.ii). The same applies to II.ii): if an object is removed, its identification is clearly possible from the evaluation of the still images before and after the door is opened.
  • condition i) For moving (condition i)), the concept of object tracking comes into play. If several objects (case ill)) are posted under condition i), ie without moving the existing objects, the new objects can be easily identified by means of before and after still images, but the information about the order in which they were posted is lost . If you want to get this information, you need object tracking. The same applies to the case of the removal of several objects in case i) + iii).
  • the order in which they are brought in is rarely decisive. In particular, with incubation times of 48 hours, for example, the second is not important. In particular, however, if the object assignment is to be resolved in the event that objects are placed in the incubator chamber by several people one after the other with the incubator door open, or if the moving of objects from one shelf of the incubator chamber to another incubator chamber is to be tracked, the recording of the Order or the detection of the time course of the displacement of objects may be desired. For a "basic tracking" in which the user observes certain rules for operating the incubator, there is no need to record the sequence.
  • a question in the development of an object tracking system in an incubator is in particular: when is an object identified, ie at what point in time or at which event is identification data assigned to the object?
  • the new objects can then be registered on the basis of the still image.
  • the storage area (or several storage areas) is occupied by one or more objects (stock objects), which are registered using a first start image (in this case, for example, a still image). Only the possible shifting of these existing objects has to be tracked here. The movement of new objects to be set does not have to be tracked here during the setting process, because their registration can take place again in the next still image. The corresponding presence of these new objects in the video data can thus be ignored. In this scenario, the information about the order of setting multiple objects during a door opening is lost, but this information is not mandatory either.
  • the invention therefore proposes implementing an object tracking to ensure the correct localization of objects, as required, in different or all situations.
  • the data processing device is programmed in particular to assign identification data to the at least one object brought into the interior.
  • a new object is detected when it is moved into the camera's field of view from the outside.
  • identification data registration
  • position data on the other.
  • the position data in particular the start and end position of an object, are determined in particular with reference to an internal coordinate system, which is also used to define the position of the at least one storage area and thus also the position of the at least one object in relation to the at least one storage area. This position information is particularly important when the user on a display the position of at least one Object in the at least one storage area or in the incubator chamber is to be illustrated graphically.
  • This identification data can be predetermined, randomly generated, or specified by a user, in particular as long as they are suitable for clearly distinguishing the object newly placed in the incubator chamber from the identification data of the other existing objects.
  • the identification data can also be predetermined and merely selected.
  • the term "assign" includes the latter case as well as the creation of a new identification data.
  • the data processing device is programmed to determine the starting position of the at least one object from the starting image of the storage area.
  • the starting image is preferably a still image captured in a still image mode of the camera. It can also be a single image obtained from video data, in particular a video frame.
  • the data processing device is programmed to define an enveloping or marking line figure, preferably a rectangle, or an enveloping or marking body, or in particular a bounding box of the object, or an outer contour of the object, in the start image and, in particular, to define the object as that of of the enveloping or marking line figure, in particular to define the image area enclosed or marked by the bounding box or an outer contour.
  • the data processing device is programmed in particular to determine the changes in position of the at least one object by evaluating the video data.
  • the data processing device is programmed to track the movement of the object defined in the start image by means of the bounding box.
  • the data processing device is programmed in particular to recognize the movement of the image area defined by the bounding box in the start image and containing the object by determining the changes in position of this image area from frame to frame.
  • tracking of the bounding box can be used in particular in order to determine the image area whose position changes due to the object movement.
  • video data contains information that is used to create the video characteristic individual images (“frames”, which are displayed with a certain number per time, i.e. “frame rate”) when the video is displayed.
  • the latter can also contain the complete sequence of image data, with a "set" of image data representing a single image.
  • changes in pixels of the camera image over time may also be recorded.
  • the data processing device is programmed in particular to determine the starting position of the object in the storage area from the starting image.
  • the starting position can be determined in particular by the fact that the object that was previously stationary in a first frame of a series of images shows a position change of the object in the following frame.
  • the first frame in which the object has a position change compared to the previous frames can be defined as the start image. Since the movement of the object begins at a time T1 and ends at a time T2, an image (still image or video image, also an image obtained from superpositioned images) that is captured before the time T1 can be used as the start image from which the Starting position of at least one object is set.
  • the data processing device is programmed in particular to determine the final position of the at least one object in the final image of the storage area from the changes in position.
  • the end position can be determined in particular by no longer determining changes in the position of the object from frame to frame.
  • the first frame in which the object no longer shows any position change compared to the previous frames can be defined as the end frame. Since the movement of the object begins at time T1 and ends at time T2, an image (still image or video image, also an image obtained from superpositioned images) that is captured from time T2 can be used as the final image from which the End position of at least one object is set.
  • the end position can be determined in particular by the point in time at which the closing of the incubator door is detected by the door sensor.
  • the end position can be determined in particular by the fact that an arm or a hand of the user leading into the image area can no longer be reached. is taken. For example, an image can be evaluated to determine whether a section located in the edge area of the image, eg in the form of a strip, corresponds to a reference state in which a reference section of the incubator chamber or the incubator is fully visible. If this is not the case, it can be concluded that a user is still handling inside the incubator and the object or several objects are still being moved, so that in particular the video image acquisition and evaluation must be continued.
  • the end position of the object can be understood as the position at which the object no longer shows a change in position after previous changes in position, and can therefore be determined by the end of the movement of the object.
  • the end position of the object can be defined in such a way that the position the object is in when the closing of an incubator door is detected by a door sensor is the end position. As a result, the final position will be the same in most cases.
  • the data processing device is preferably programmed to start capturing the start image and/or video data by means of the camera when a sensor detects an activity occurring on the incubator.
  • the sensor can be a motion sensor that detects motion in a detection area outside the incubator.
  • the sensor may be a touch sensor that detects a user touching the incubator, e.g., a door handle of the incubator.
  • the sensor can be a door opening sensor, which in particular detects an opening of an incubator door, in particular an outer door of the incubator.
  • the sensor can be an external camera of the incubator, which detects a movement and/or a person in the field of view of the camera by means of image analysis.
  • the sensor may be a proximity sensor which detects the approach of a person to the incubator, e.g.
  • An activity taking place at the incubator can also be a code input at a door lock, which can preferably also be detected by the data processing device without a sensor.
  • the data processing device is preferably programmed to start capturing the final image and/or to stop capturing video data when a Sensor detects activity occurring at the incubator.
  • the sensor can be a door opening sensor, which in particular detects the closing of an incubator door, in particular an outer door of the incubator.
  • the sensor can be an external camera of the incubator, which detects the end of a movement and/or the disappearance of a person in the field of view of the camera by means of image evaluation.
  • the sensor can be a proximity sensor which, for example by detecting the change in an electric field, detects the removal of a person from the incubator.
  • the data processing device is programmed in particular to start the recording of video data by means of the camera, initiated by the opening of an incubator door detected by a door sensor.
  • an initial event sensor in particular a motion sensor, or proximity sensor, or optical sensor/receiver (e.g. light barrier), or microphone, or acceleration sensor can be arranged in the incubator door, in the incubator, by means of which the approach of an object to the incubator chamber or another initial event is detectable; the data processing device can be programmed to start capturing video data based on the data from such a sensor.
  • the data processing device can be programmed to start the search for a new object in the images (frames) available by means of the video data or in the still image when the video data and/or when a still image is present.
  • the collection of video data can start as soon as a user is identified at the incubator, or at some other predetermined event. Permanent video data acquisition is also possible.
  • the data processing device is programmed in particular to end the acquisition of video image data with the acquisition of the final image or the registration of the absence of a hand/an arm in the camera's field of view, or to end it based on the results of one of the sensors mentioned (door sensor, motion sensor, etc.). .
  • the data processing device is programmed in particular to store the end position of the at least one object in the storage area as ID position data in the data memory as a function of the identification data of the at least one object.
  • the incubator “knows” “the object” and its position. Together with other data, he can now issue this data to a user, in particular on a display of the incubator.
  • the incubator can process these records depending on the object's identification data save and collect.
  • the identification data based on which the position changes were detected need not be identical to the identification data stored as ID position data; it is relevant that the stored identification data are suitable for clearly distinguishing the at least one object from other objects or inventory objects.
  • the ID code can therefore theoretically change during image processing.
  • the data processing means is programmed to register or identify the user placing the object in the incubator, to assign a user identification code to that user, and to store user-related ID location data of the object.
  • biometric recognition in particular face recognition
  • biometric recognition data can be carried out, in particular by means of an external camera, a retina scanner or a fingerprint sensor of the incubator.
  • the corresponding registered biometric recognition data in particular face recognition data of the user, can be stored in the data storage device of the incubator or in an external data storage device.
  • the user can be identified by comparing recorded biometric identification data with already registered biometric identification data.
  • a user can also be made possible for a user to enter user identification data via a user interface device before, during or after carrying out the object registration or after determining the end position of a tracked object.
  • the user interface device can be a keyboard, a touch screen and can be part of the incubator or an external device.
  • An advantage of object tracking is that it can be carried out without knowledge of individual or class features of the object to be tracked. But she can also be combined with methods for object recognition (and recognition) and/or object class recognition or class recognition.
  • Object recognition can be configured in particular as individual object recognition and/or as object class recognition.
  • the theoretical principles and their implementation for practical application in object recognition technologies are known (e.g.: “Deep Learning in Object Detection and Recognition", X. Jiang et al., Springer Singapore, 2019).
  • Algorithms for object detection in images are well known and available, e.g. as part of OpenCV (e.g. OpenCV 3.3, deep neural network (dnn) module).
  • An object individual recognition is based on the recognition of object-specific features (object features), on the basis of which it is possible to recognize the individual object and distinguish it from other individual objects.
  • object features object-specific features
  • a cell culture container e.g. a disposable product
  • individual features applied later e.g. a barcode or QR code.
  • it can also be identifiable by any features that allow a distinction: e.g. a label, different contents, a micro-scratch pattern on the container surface, etc.
  • Object class recognition is based on the knowledge of object class features, which are compared during the object check in order to assign a class to the object. For example, object class recognition can be used to identify whether an object is a specific type of cell culture flask, a specific type of Petri dish or a specific type of microtiter plate, possibly taking into account other class characteristics, e.g. manufacturer, year of manufacture, design, etc..
  • the incubator preferably has an object recognition system.
  • the object tracking system is preferably set up in addition to object recognition.
  • a data processing device of the object recognition system or of the object tracking system is preferably programmed, a) recognizing individual features of at least one object in a still image, the start image, the video data and/or the end image, and b) storing these individual features of the object in the form of individual object data, in particular as a function of identification data.
  • the data processing device is programmed to remove object unique features of the at least one object from the start image, the video data and/or the end image, to compare the object unique features with an object unique database and, if the object unique features in the object unique database are linked to an object unique identifier: the object unique identifier of the at least one to identify objects; or, if the object unique features in the object unique database are not linked to an object unique identifier: assign the at least one object an object unique identifier and store it in the object unique database, and/or assign the recognized object unique identifier to the ID position data of the at least one object and as individual-related ID position data save.
  • An object individual identifier is preferably different from its identification data; however, the individual object identifier can also preferably be the same as its identification data.
  • a data processing device of the object recognition system or of the object tracking system is preferably programmed a) to recognize class features of at least one object in a still image, the start image, the video data and/or the end image, and b) to recognize these class features of the object in the form of object class data save, in particular depending on identification data.
  • the data processing device is preferably programmed to recognize object class features of the at least one object in a still image, the start image, the video data and/or the end image, to compare the object class features with an object class database (which in particular contains previously known correlations between the object class and object class features) and the object class of the to recognize at least one object, and in particular to assign the recognized object class to the ID position data of the at least one object as object class data and in particular to store it as class-related ID position data.
  • the incubator preferably has a user identification device, by means of which a user using the incubator can be identified in the form of user identification data.
  • a data processing device of the incubator is preferably programmed to identify a user using the incubator by means of the user identification device and to assign user identification data to him and identification data and/or ID position data as a function of the user identification data as user-related identification data and/or user-related ID position data in the data memory to save.
  • the user identification device preferably has an external camera, and the user identification device is preferably set up and/or the data processing device is programmed to carry out facial recognition using the external camera, by means of which the user is identified.
  • a user database is provided, which is stored on a data store, which may be part of the incubator, the user identification device or the object tracking system, or which may be in a data exchange connection with the user identification device or the data processing device, e.g. via an intranet or the Internet.
  • Algorithms for face recognition in images are generally known and available, e.g. as part of OpenCV ("FaceRecognizer that").
  • the user database can contain a correlation of user identification data and user characteristic data, so that the user or his user identification code (user identification data) can be determined using the ascertained or read-in user characteristic data.
  • the user feature data may include information about the user's facial features, or other biometric data, such as fingerprint data or voice recognition data.
  • the user database can contain a correlation of user identification data and user IDs, with the user ID being a personal identification code for the user, eg a multi-digit character string which a user can identify himself by entering on a keyboard of the user interface device.
  • the external camera can in particular be arranged on, above or next to an incubator door, in particular an external door on the incubator or attached to it. The external camera is preferably an integral part of the incubator or the incubator door.
  • a signal connection in particular via a data exchange connection, which can be wired or wireless.
  • a data exchange connection which can be wired or wireless.
  • the user identification device preferably has a user interface device, by means of which user identity data can be read.
  • the user interface device can contain a keyboard and/or a touchscreen and/or a microphone for voice input or for realizing user identification by means of voice recognition.
  • the user interface device can be set up to exchange data with an external data-processing device (hereinafter also referred to as “external device”).
  • the external device can be a PC, smartphone, tablet computer, or other portable computer with a user interface.
  • the external device can have means to identify and/or authenticate a user.
  • the external device preferably has software, eg an app, which is programmed to identify and/or authenticate a user and in particular to transmit the result of this process to the user identification device of the incubator via the user interface device. Since an external device often has its own camera, which can be used to implement facial recognition, or a fingerprint sensor, or other hardware for user identification and authentication, the corresponding hardware components are not required if the incubator is connected to the external device on the incubator.
  • the incubator's user identification device can be programmed as part of the incubator's control software.
  • the incubator preferably has a control device, which in particular can have a data processing device, which can in particular be programmed to include all or some of the functions of the user identification device, in particular to control the data exchange with the external device.
  • the user identification device preferably has a user interface device, by means of which user identity data can be selected.
  • the user identification device in particular can have a display or a touchscreen, via which a list of possible users can be displayed, e.g. by entering a name or picture of the user.
  • Input means can then be provided, e.g. keys, a keyboard, touchpad, the touchscreen, via which the user can make a selection from the list.
  • the user identification device can be programmed to perform user authentication by password-protecting said reading in of the user identity data or said selection from the list, so that the user is only deemed to have been identified if the authentication was successful.
  • the user identification device preferably has a reader for reading in a code that identifies the user, the reader being in particular an RFID reader, a barcode reader, or a QR code reader.
  • the user identification device or a/its data processing device can be programmed to unlock and/or lock a locked incubator door depending on the user identification, in particular to unlock a locked incubator door if the user has been successfully identified. In this case, this means that the user is also authorized to access the incubator. However, there can also be an additional access rights list, which the incubator uses to decide whether an identified user has the access right or, if applicable, what type of access right the identified user has. The right of access may be limited, for example be at specific times, in particular days of the week, times or periods of authorization. If the incubator has several incubator doors, the access right can provide that the user only has the access right for a predetermined selection of these incubator doors.
  • the incubator has exactly one—or also more—incubator door(s) for closing the chamber opening.
  • the incubator door forms in particular a part of the incubator housing, which serves as a thermal insulator of the incubator chamber of the incubator.
  • the incubator door can have a user interface device, in particular a display, on its outside.
  • a data processing device of the incubator or the user interface device can be programmed to display an image of the at least one storage area of the incubator recorded by the camera of the incubator.
  • the incubator preferably has a door sensor for detecting the opening or closing of the incubator door.
  • the data processing device is preferably programmed to start monitoring the interior of the incubator, in particular the generation of video data and/or still image data, depending on the detection of a door opening of the incubator, in particular by means of a door sensor, alternatively also by means of a motion sensor or proximity detector.
  • the data processing device is programmed to start monitoring the interior of the incubator, in particular the generation of the video data and/or still image data, in particular depending on the detection of a door opening by a user who was identified by a user identification device; preferably, the data processing device is programmed to end the monitoring of the interior of the incubator, in particular the generation of the video data, depending on the detection of a door closure or depending on the measurement of one of the mentioned sensors of the incubator; In particular, the data processing device is programmed to use the information from the user identification device and the object tracking device to determine which object was moved by which user in the interior, and store the user identification data of that user along with the object identification data of that object in the data store.
  • the data processing device is preferably programmed to determine the movement path of the at least one object within the incubator chamber from the start image, the video data and/or the end image and to store it in the data memory in the form of movement history data, in particular to store it as a function of time.
  • the data processing device is preferably programmed to determine a movement history of the at least one object within the incubator chamber from the start image, the video data and/or the end image and to store it in the form of movement history data in the data memory, in particular to store it as a function of time, preferably with information about the number and/or times of the changes in the status of the door opening (open/closed) of the incubator door determined by the door sensor.
  • the movement path preferably contains stored position data of the object, with this position data marking the movement path of the object, in particular between a start image and an end image, in particular between a start position of the object—particularly still or also moved—and a—particularly stationary end position.
  • the movement history data preferably contain position data or movement paths stored as a function of time, preferably within at least one time segment or during the entire stay of this object in the incubator. Movement history data can also include information about the user initiating the change of position in the form of user identification data. This is particularly useful for objects containing valuable samples.
  • the screen is preferably an integral part of the incubator, in particular the incubator door. However, it can also be arranged at a distance from the incubator and can in particular be part of an external device which can be in a data exchange connection with the data processing device of the incubator.
  • the data processing device is preferably programmed to display a graphic representation of the interior of the incubator chamber, in particular of the at least one storage area to display on the screen.
  • the graphical representation may include a photograph of the storage area on which one or more assets of the incubator may be displayed.
  • the storage area can in particular be a shelf in the incubator or a predetermined section of the same.
  • the photo can show an image taken with the camera that may have been post-processed.
  • This post-processing preferably includes straightening an image recorded by the camera that is distorted. Algorithms for such post-processing are well known and freely available (for example: OpenCV, "Omnidirectional Camera Calibration").
  • the distortion can be optical in particular and can be attributed to the use of a wide-angle or fisheye camera.
  • the graphic representation can be an abstracted representation of an image or image detail recorded by the camera.
  • the graphical representation can be an abstract storage area shown from a bird's-eye view (or another perspective), in particular the graphical representation of a rectangle or the perspective representation of a cuboid.
  • the inventory objects can also be represented in an abstract form, e.g. as rectangular or cuboid graphic image objects. The aim of such a display is in particular to inform the user about the location of the object/objects in the incubator or in the storage area. This allows for quick user access to the desired ⁇ ) item(s) and minimizes the time the incubator door is open.
  • a graphic representation from a perspective that differs from the bird's-eye view makes sense, for example from a lateral perspective, in order to be able to graphically highlight individual objects in a stack.
  • the data processing device is preferably programmed to display graphically where the object identified by the object position data, i.e. the ID position data, is positioned in the storage area or in the interior of the incubator chamber, or to display graphically where all the objects located in the interior are arranged.
  • the data processing device is preferably programmed to graphically highlight an object or several objects in the display as a function of at least one condition parameter.
  • the condition parameter can designate the user identification data:
  • the data processing device is programmed to graphically highlight one or more objects, which is assigned to the user as property, depending on the user identification data of a user (individual user, a user group, or several users), namely e.g. by using the user-related ID position data contain user identification data of that user.
  • the owner is the person who looks after the object and - in most cases himself or with the help of an assistant - put it in the incubator chamber.
  • the data processing device is preferably programmed to determine, starting from predefined user identification data, where the objects assigned to this user identification data by means of the user-related object position data are positioned and, in particular, to highlight these objects graphically.
  • the condition parameter may also include information about a period of time or a point in time, e.g., the length of time that an object was already placed in the incubator chamber.
  • the incubator may graphically highlight one or more objects requiring attention of the user or laboratory staff depending on an event detected by a sensor of the incubator or depending on a schedule that may be stored in the incubator or an external device.
  • the condition parameter can contain information about a specific object class.
  • one or more objects of the same object class (or of object classes deviating from it) can be graphically highlighted, for example to highlight the location of all Petri dishes (and not: cell culture bottles) in the incubator interior.
  • the condition parameter can contain information about a specific object individual.
  • an object search can be implemented using individual features, for example by the incubator having means for inputting individual features, for example a barcode, QR code, an individual inscription or a photo of the individual object. In this way, the individual object can be graphically highlighted and easily found.
  • the data processing device is preferably programmed to display a graphic representation of the interior of the incubator chamber, in particular the at least one storage area, on the screen and in particular to graphically display or highlight the free storage space available in the incubator.
  • the storage area can be shown in abstract form and a free storage position (or several available free storage locations) can be graphically highlighted by displaying the corresponding area in green or white, or a time-changing (flashing) contrasting color to the background. In this way, the user does not have to spend time looking for a possible free storage space or creating one by moving stock objects.
  • the data processing device can be programmed to plan the occupancy of the interior of the incubator chamber or the at least one storage area and in this way in particular to optimize the use of the available storage space.
  • the data processing device can be programmed to take into account predetermined distances between one or more stock objects and a new object to be placed and in particular to suggest it to the user by displaying the free storage space as available and/or unavailable.
  • the incubator can have a computer/software-implemented planning program for occupancy of the interior of the incubator, which takes into account in particular the position of at least one object in the interior (existing object) and/or in particular the freely available storage space, possibly also the times at which the at least A be- stand object has been re-introduced, or points in time in the future when additional objects are planned to be placed in the incubator.
  • a computer/software-implemented planning program for occupancy of the interior of the incubator which takes into account in particular the position of at least one object in the interior (existing object) and/or in particular the freely available storage space, possibly also the times at which the at least A be- stand object has been re-introduced, or points in time in the future when additional objects are planned to be placed in the incubator.
  • Such points in time can be known in particular if the incubator is connected to a laboratory information system (LIS) or another (laboratory) data exchange network.
  • the incubator preferably has a timer, a clock, or a timer.
  • the Data processing device controls the implementation of a measurement of at least one measured value in order to measure in particular a parameter characterizing the atmosphere in the interior of the incubator chamber (temperature, gas partial pressure).
  • a parameter characterizing the atmosphere in the interior of the incubator chamber temperature, gas partial pressure.
  • the control device of the incubator can therefore be set up in particular to control the operation of the electrical devices, in particular the at least one camera inside the incubator chamber, depending on the temperatures of the chamber atmosphere detected by temperature sensors.
  • the control device of the incubator can in particular be set up to control the temperature control of the chamber atmosphere by means of the at least one temperature control device of the incubator and the operation of the electrical devices within the incubator chamber depending on one another in order to compensate for the undesired heating of the chamber atmosphere.
  • a data processing device of the incubator is programmed to determine an occupancy status of the interior of the incubator chamber and/or is preferably programmed to carry out one or more of the following steps, in particular depending on the ID position data of the at least an object arranged in the interior to determine an occupancy state of the interior of the incubator chamber, depending on the class-related ID position data of the at least one object arranged in the interior to determine an occupancy state of the interior of the incubator chamber to determine, depending on the individual-related ID position data of the at least one object arranged in the interior, to determine an occupancy state of the interior of the incubator chamber.
  • An occupancy state of the interior can be defined by information that describes the volume occupied by the at least one object in the interior and/or that describes the volume that is not occupied by the at least one object in the interior, i.e. the free volume, and/or that of the storage area occupied by the at least one object in at least one storage area or in the total available storage area in the interior of the incubator chamber, and/or the storage area not occupied by the at least one object, i.e.
  • the free storage area in at least one storage area or in the total available storage area in the interior of the incubator chamber whereby this information can be related to the entire interior volume or the entire storage area, whereby this information can contain, for example, the ratio of an unavailable (occupied) or a free (unoccupied) interior volume to the total volume of the interior, or where these I Information can include, for example, the ratio of an unavailable (occupied) or a free (unoccupied) storage area to the total storage area in the interior.
  • Occupancy status data which contains the information about the occupancy status, can also contain the ID position data, class-related ID position data and/or individual-related ID position data. In this way, it is possible to specify a spatial resolution of the occupancy, ie the specification of the localization of the occupancy in the interior, or a density distribution of the objects in the interior.
  • a data processing device of the incubator is programmed to store information about the occupancy status of the incubator in the form of occupancy status data in a data memory, in particular on an external data processing device, in particular a laboratory device, a PC or a mobile computer, in particular a tablet computer or a smartphone. This information can be called up in particular stored, in particular retrievable by the user using a user interface device.
  • a data processing device of the incubator is programmed to display information about the occupancy status of the incubator on a screen of the incubator or an external data processing device, in particular depending on occupancy status data that can be taken from a data memory.
  • the external data processing device can be part of a laboratory device, a PC, a mobile computer, in particular a tablet computer or a smartphone.
  • the temperature profile over time in the incubator chamber that results after opening the incubator door due to the temperature control depends on the occupancy status of the incubator chamber. If a larger volume of the chamber interior is occupied by existing objects, then there is a lower free chamber interior volume, which results from the difference between the chamber interior and the occupation volume occupied by the objects.
  • a temperature control designed to control the entire interior volume will possibly achieve other, undesirable results in this situation. There may be a rapid overshoot, which is undesirable, although recovery to the target temperature, e.g. 37°C, may be accelerated, i.e. although the recovery time is reduced. Resetting multiple new objects with temperatures lower than the target temperature can also delay recovery time, but knowledge of colder, newly set objects can also be used to adjust temperature control. Temperature control of the temperature inside the incubator chamber depends on control parameters.
  • An electronic control device of the incubator is preferably set up or programmed in such a way that at least one temperature control device of the incubator, which is arranged for temperature control of the incubator chamber, during the temperature control in Depending on the time t with the electrical power Ptemp (t) is operated.
  • the incubator can be set up so that the temperature control device is operated by means of a pulse width modulation (PWM) of the current. The power is then determined in particular by the duty cycle of the PWM, since the amplitude of the current is preferably constant.
  • the variables mentioned can be variables of the temperature control, ie control parameters.
  • An electronic control device of the incubator is preferably set up or programmed so that the temperature control or the control of the incubator gas supply (e.g. CO2, N2 and/or O2), in particular at least one control parameter, can be adapted depending on the occupancy status of the incubator.
  • the temperature control or the control of the incubator gas supply e.g. CO2, N2 and/or O2
  • the control parameter e.g. CO2, N2 and/or O2
  • the influence of objects arranged in the interior of the incubator chamber on the response behavior of the controlled system can be taken into account.
  • the recovery time can be reduced in the case of a larger occupancy of the interior.
  • the data processing device of the object tracking system is preferably separate from a first data processing device of the incubator. However, it can also be part of the incubator's control device (also referred to as the “first control device”), which controls the functions of the incubator. The functions of the control device are implemented in particular by electronic circuits.
  • the data processing device of the object tracking system can have at least one CPU and/or at least one GPU.
  • a GPU can be provided for image processing or for performing deep learning processes.
  • the data processing device can also have a dedicated chip, e.g. the Nvidia Jetson, for image processing or the implementation of deep learning processes, which can preferably be used for object tracking, in particular for possible object classification or object individual recognition.
  • the data memory device preferably has at least one data memory, which can be, in particular, a volatile or a non-volatile data memory.
  • the data recorded or received by the incubator can be stored on this at least one data memory, in particular in at least one database, which can be stored in at least one data memory.
  • This data includes in particular at least one or all of the following types of data: identification data, ID position data, user identification data, user-related ID position data, object identification data, movement history data, class-related ID position data, individual-related ID position data, occupancy status data, object data, image data, still image data, video image data.
  • the data storage device is preferably part of the incubator, ie in particular arranged in a housing of the incubator. However, it can also be part of an external data processing device with which the incubator or its data processing device communicates.
  • the object tracking system can have a control device, which can be provided separately from the first control device.
  • control device can have a microprocessor, which can contain the data processing device.
  • the microprocessor can be of the "Raspberry Pi" type.
  • the control device and/or the data processing device is preferably designed to carry out a control method, which is also referred to as control software or control program—in each case related to the incubator and/or the object tracking system.
  • the functions of the incubator and/or the object tracking system and/or the control device and/or the data processing device can be described in method steps. They can be implemented as components of the control program, in particular as subprograms of the control program.
  • a control device generally has or is the data processing device, in particular a processing unit (CPU) for processing data and/or a microprocessor data processing facility.
  • the data processing device of the control device of the incubator can preferably also be set up to control the object tracking system.
  • the data processing device of the object tracking system is preferably a device arranged outside the incubator chamber or the incubator and in particular optionally separately from this/this, also referred to as an external device or external data processing device.
  • the data processing device and the incubator are preferably in a data connection and are preferably components of a network for data exchange.
  • the at least one camera of the object tracking system is preferably connected to the control device or data processing device of the object tracking system via a cable connection.
  • the incubator chamber has a passage opening through which the cable of the cable connection is routed.
  • a seal in particular a silicone seal, is preferably provided, which seals the port in order to (largely) prevent the atmosphere in the incubator from being affected.
  • the camera is connected to the control device or data processing device for wireless data exchange, e.g. via Bluetooth or WLAN.
  • the incubator can have a partial housing in which in particular at least one control device (of the incubator and/or of the object tracking system) is arranged.
  • the partial housing is preferably arranged on the back of the incubator, ie in particular opposite the incubator door.
  • the system, the incubator and/or that of the object tracking system and/or the data processing device and/or the control device are preferably set up to use the position data of the at least one object or a large number of objects to form an electronic documentation file in which the movement of the objects is logged and documented.
  • This documentation file is then stored in particular in a data storage device stored and preferably continuously updated.
  • a "correct" handling of the objects according to standard protocols can be certified if necessary.
  • deviations from standard protocols can be subsequently determined and/or information correlations can be determined.
  • the reproducibility of the cell-based laboratory work can be increased, deviations from normal properties can be detected at an early stage in order to give the user the opportunity to correct or repeat the experiment at an early stage.
  • the documentation file can be made available to the user or to an external data processing device by the control device via data exchange. Such documentation is particularly useful in critical applications that have a forensic connection, for example, or in which cells of considerable value are cultivated.
  • the incubator is a laboratory incubator and thus a device with which controlled climatic conditions for various biological development and growth processes can be created and maintained.
  • the incubator can preferably be or contain a shaker, ie an incubator with a moving device for moving objects arranged in the incubator chamber.
  • the incubator can be a cell cultivation device, a microbial incubator (also without CO2).
  • the incubator serves in particular to create and maintain a microclimate with regulated gas and/or air humidity and/or temperature conditions in the incubator chamber, and this treatment can be time-dependent.
  • the laboratory incubator in particular a treatment device of the laboratory incubator, can in particular have a timer, in particular a timer, a heating/cooling device and preferably a setting for regulating an exchange gas supplied to the incubator chamber, a setting device for the composition of the gas in the Incubator chamber of the incubator, in particular for adjusting the CO2 and/or the O2 and/or the N 2 content of the gas and/or an adjusting device for adjusting the humidity in the incubator chamber of the incubator.
  • the incubator in particular a treatment device of the incubator, has in particular the incubator chamber, furthermore preferably a control device with at least one control loop, to which the at least one heating/cooling device is assigned as an actuator and at least one temperature measurement device as a measuring element.
  • the temperature in the incubator can be regulated by means of the control device. Depending on the embodiment, the air humidity can also be regulated. A pan filled with water in the incubator chamber can be heated or cooled in order to adjust the humidity through evaporation.
  • CO2 incubators are used in particular for the cultivation of animal or human cells. Incubators can have turning devices for turning the at least one cell culture container and/or a shaking device for shaking or moving the at least one cell culture container. In particular, the incubator according to the invention is not a bioreactor and/or fermentor.
  • a sensor device has in particular at least one temperature sensor, preferably a large number of temperature sensors.
  • a temperature sensor can be a Pt 100 or Pt 1000 temperature sensor, for example.
  • a sensor device preferably has a sensor for determining a relative gas concentration, in particular for determining the content of CO2 and/or O2 and/or N2 .
  • a sensor device preferably has a sensor for determining the relative humidity.
  • An incubator preferably has one or a single incubator chamber. This can be divided into compartments. Compartments can be separated by—in particular perforated—bearing plates, with gas exchange between the compartments being made possible in particular.
  • a bearing plate, in particular its lower side can be set up to hold the camera device and can in particular have a mount for the camera device.
  • a bearing plate, in particular its lower side can be set up to hold the lighting device and can in particular have a holder for the lighting device.
  • the incubator chamber has chamber walls or inner chamber walls and exactly one or at least one chamber opening through which the objects or cell culture containers in the Can be placed and removed inside the incubator chamber.
  • This chamber opening can be closed by a closure element that is movably connected to the incubator chamber, in particular an incubator door that is movably mounted on the incubator chamber by means of a hinge, in particular one or more chamber doors.
  • An incubator can have one or more inner doors, which can in particular be transparent, and can have an outer door, which in particular thermally insulates the incubator chamber and possibly at least one inner incubator door, which closes or opens the chamber opening, from the environment.
  • Images are preferably captured by the image capturing system when the incubator door or outer door is closed, so that ambient light does not affect the lighting of the storage area, which is preferably provided exclusively by the lighting device. This leads to image recordings that are particularly well reproducible, well comparable and can be easily evaluated by image processing algorithms. Nevertheless, it is also possible for the images to be recorded with the incubator door open, in particular the outer and/or inner door.
  • the interior of the incubator chamber is preferably isolated from the environment in such a way that a desired atmosphere controlled by the incubator can be set, in particular regulated, inside.
  • a gas exchange between the surroundings of the incubator and the interior of the incubator chamber is possible via this opening.
  • the chamber opening is typically located in a front wall surrounding the chamber opening.
  • the incubator chamber preferably has a plurality of walls or inner wall surfaces, which can be connected to one another in particular in one piece and in particular without edges.
  • the walls or inner wall surfaces are preferably shaped in a substantially planar manner, but may also all or some have a curved shape.
  • the incubator chamber is preferably cuboid in shape, but can also have a different shape, for example spherical, ellipsoidal or polyhedron-shaped.
  • the walls or inner wall surfaces are preferably made of a low-corrosion material, in particular stainless steel, copper, brass, or a plastic, in particular a composite plastic. This will facilitates cleaning/disinfection of the chamber interior.
  • the incubator chamber can have at least one port for passing through a correspondingly dimensioned device or a cable connection from inside the incubator chamber to its outside or to the environment of the incubator.
  • the surfaces of the inner walls of the incubator are preferably designed to be non-glossy or non-reflective, in particular by using a matt surface.
  • the surface of the inner wall of the incubator can be matted by a surface treatment.
  • the surface treatment can be, in particular, grinding with an abrasive, which in particular can have a specific grain size.
  • the surface treatment can be, in particular, blasting with a blasting medium, in particular sand or glass beads, in particular using compressed air, which in particular can have a specific grain size or a characteristic particle diameter. In this way, disruptive reflections in an image recording can be prevented or reduced.
  • a typical size of the interior of an incubator chamber is between 50 and 400 liters.
  • the incubator can have exactly one incubator chamber, but can also have several incubator chambers, the atmosphere (temperature, relative gas concentration, humidity) of which can be adjusted individually or collectively.
  • An incubator can have several incubator chambers, each of which can have its own chamber opening and its own chamber door for closing the chamber opening.
  • the incubator can have a housing that partially or completely surrounds the incubator chamber.
  • the housing can be essentially cuboid, and can in particular be designed in such a way that the incubator can be stacked.
  • a storage area of the incubator is implemented in particular by a storage plate, in particular a sheet metal shelf insert and/or a moving platform, which can consist in particular of stainless steel or copper or the like or have this material.
  • a bearing plate serves as a floor panel, in particular as an intermediate floor panel.
  • the storage plate can be removed from the incubator chamber (“storage plate insert”) or can be permanently inserted and connected to it.
  • the incubator chamber may have support sections or a support frame for holding one or more bearing plate inserts or insertable instruments.
  • a bearing plate can be set up on its underside to hold a camera, in particular it can have a mount for this camera.
  • at least one of the inner walls of the incubator chamber can be designed to hold one or more storage plate inserts or insertable instruments.
  • a holding structure integrated into the wall can be provided, in particular one or more projections, grooves or webs.
  • a storage shelf increases the available storage space in the incubator chamber.
  • Essentially all surfaces or at least one surface of the at least one bearing plate are preferably designed to be non-glossy or non-reflective, in particular by using a matt surface.
  • the surface of the inner wall of the incubator can be matted by a surface treatment.
  • the surface treatment can be, in particular, grinding with an abrasive, which in particular can have a specific grain size.
  • the surface treatment can be, in particular, blasting with a blasting medium, in particular sand or glass beads, in particular using compressed air, which in particular can have a specific grain size or a characteristic particle diameter. In this way, disruptive reflections in an image recording can be prevented or reduced.
  • a holding frame for the at least one bearing plate is also preferably made of a non-corrosive material, preferably stainless steel.
  • the support frame is preferably configured as a standing object by having at least a base portion that rests on the bottom wall of the incubator chamber. However, it can also be supported on the side walls of the incubator chamber and/or suspended from the top wall of the incubator chamber.
  • a bearing plate preferably extends—and in particular essentially completely—over a horizontal cross section of the incubator chamber.
  • An incubator preferably has at least two storage plates which are arranged one above the other.
  • the volume area between two storage plates, or between a bottom wall of the incubator chamber and a bottom storage plate or between a top wall of the incubator chamber and a top storage plate can be referred to as a storage compartment.
  • a storage compartment can be understood as a storage area as a whole.
  • the surface of a bearing plate that is suitable for storage can be regarded as a storage area.
  • the height of a storage compartment is preferably dimensioned such that an object of a specific maximum height (measured perpendicularly to the planar surface of a storage plate) or a stack of objects of a specific maximum height of the stack can be placed on the storage plate.
  • the maximum height can essentially correspond to the distance between two bearing plates.
  • the distance between two bearing plates or the maximum height is in particular between 5 cm and 50 cm, preferably between 10 cm and 30 cm, preferably between 10 cm and 20 cm, preferably between 12 cm and 18 cm.
  • the incubator can have a housing that partially or completely surrounds the incubator chamber.
  • the housing can be essentially cuboid, and can in particular be designed in such a way that the incubator can be stacked.
  • the incubator preferably has a treatment device for treating the at least one object, in particular a cell culture container.
  • treatment means in particular that an object, in particular a cell culture or a cell culture container, is moved and/or transported and/or examined and/or changed, in particular changed physically, chemically, biochemically or in some other way.
  • a treatment device can be a movement device, by means of which the cell medium is kept in motion in at least one cell culture container, preferably via a movement program that is controlled by the control program.
  • a moving device can be a shaking or pivoting device.
  • a movement device preferably has a carrier device, in particular a plate, on which one or more cell culture containers are placed and/or fixed.
  • a movement device preferably has a drive device, in particular in the case of a shaking device, for example an oscillator drive, in particular in combination with an eccentric, by means of which the desired movement program is implemented.
  • the configuration of the movement program can depend on the growth stage of the cells in a cell culture and can depend on the cell type, in particular a cell line.
  • the design and/or control of the treatment, in particular the movement program can depend on the cell monitoring data.
  • the one treatment device can be a pivoting device, by means of which at least one cell culture container is pivoted.
  • the components of the pivoting device can correspond to those of the shaking device, but are set up for a pivoting movement.
  • a treatment device can also be a transport device, by means of which at least one cell culture container can be transported in the incubator chamber.
  • the transport device can be a lift device having a carrier device on which the at least one cell culture container can be placed.
  • the lift device preferably has a movement mechanism and/or an electrically controllable drive mechanism for driving the movement mechanism.
  • the transport device can also be a movable and electrically controllable gripping arm for gripping and holding at least one cell culture container.
  • the transport device can have a conveyor belt for moving the at least one cell culture container placed thereon.
  • the at least one cell culture container in the incubator chamber can be moved as a result of the transport, in particular to a processing position in a processing station in the incubator chamber and away from this processing position.
  • the control device can be set up to control the transport device depending on cell monitoring data.
  • the processing station can have at least one measuring device in order to measure the at least one growth parameter that characterizes the growth of the cells in this cell culture. If the at least one cell culture container can be moved in the incubator by means of a transport device, the cell cultures of several cell culture containers can be measured one after the other with a single measuring device or with a small number of measuring devices. However, several or a large number of measuring devices can also be provided in order to observe the growth of several cell cultures in parallel.
  • the measuring device can also be attached to a transport device.
  • the measuring device can be or can be fastened to a positioning mechanism, by means of which the measuring device can be moved and positioned in the incubator chamber.
  • the positioning mechanism can include a movable robotic arm and is preferably electrically controllable, in particular by a control program of the control device. In this way, the growth of the cells of several cell culture containers can be measured one after the other with one or with a few measuring devices.
  • the positioning mechanism can be designed as a component that can be inserted into the incubator chamber. This component can be supplied with energy via a cable connection to the incubator, preferably via a wall opening, e.g. a port, or via such a cable connection to an external voltage source.
  • the control device can be set up to control the positioning mechanism as a function of cell monitoring data.
  • the temperature control device of the incubator chamber with which the atmosphere inside the incubator chamber is regulated to the desired value, in particular 37° C., can also be understood as a treatment device.
  • tempering refers to raising and lowering the temperature of the atmosphere through heating and cooling.
  • the temperature inside is preferably adjusted by changing the temperature of the walls of the incubator.
  • Temperature sensors of the corresponding temperature control device are distributed at at least one position inside and/or outside the incubator chamber, in particular on a wall of the incubator chamber.
  • the incubator preferably has a user interface device via which the user can input data to the data processing device or the control device and/or via which information can be output to the user.
  • the incubator or this user interface device is preferably set up in such a way that the user can enter at least one operating parameter for operating the incubator or the object tracking system at this user interface device or can receive information from this.
  • a single user interface device can be used by the user to affect or control or obtain information from the incubator as well as the at least one object tracking system.
  • the object tracking system can be set up to display position data or free storage space to the user when the user is queried using the user interface device of the incubator, or information derived from position data (e.g.
  • identity of the user who brought about the change in position in particular also statistical information , Such as frequency and time of the change in position of an object (a sample) and / or -eg percentage available free storage space and / or display at least one optical image of at least one object.
  • This is advantageous for the user because, based on this information, he receives essential information which, on the one hand, allows him to plan the experiment more precisely - before he carries out an experiment, he knows that floor space is available; on the other hand, changing the position of samples, especially in the first hours after seeding of adherent cells, negatively influences their attachment; an even cell layer is then not formed.
  • the provision of information on position changes and their frequency allows the user to determine the causes of non-uniform cell growth and to take these into account in future experiments.
  • a device-controlled treatment of the incubator is preferably a program-controlled treatment, ie a treatment controlled by a program.
  • a program-controlled treatment of a sample is to be understood as meaning that the process of treatment is essentially carried out by processing a plurality or multitude of program steps.
  • the program-controlled treatment preferably takes place using at least one program parameter, in particular at least one program parameter selected by the user.
  • a parameter selected by a user is also referred to as a user parameter.
  • the program-controlled treatment preferably takes place by means of the digital data processing device, which is in particular a component of the control device.
  • the data processing device can have at least one processor, ie a CPU, and/or have at least one microprocessor.
  • the program-controlled treatment is preferably controlled and/or carried out according to the specifications of a program, in particular a control program.
  • a program in particular a control program.
  • program-controlled treatment essentially no user activity is required, at least after the program parameters required by the user have been recorded.
  • a device-controlled treatment of the incubator can take place in particular depending on the end position and/or the user-related ID position data.
  • a program parameter is understood to be a variable that can be set in a predetermined manner within a program or subprogram, valid for at least one execution (call) of the program or subprogram.
  • the program parameter is specified, e.g. by the user, and controls the program or subprogram and causes data to be output depending on this program parameter.
  • the program parameter and/or the data output by the program influences and/or controls the control of the device, in particular the control of the treatment by means of the at least one treatment device.
  • a program is understood to mean, in particular, a computer program.
  • a program is a sequence of instructions, in particular consisting of declarations and instructions, in order to be able to process and/or solve a specific functionality, task or problem on a digital data processing device.
  • a program is typically software that is used with a data processing device.
  • the program can be in the form of firmware, in the case of present invention in particular as firmware of the controller of the incubator or the system.
  • the program is usually on a data carrier as an executable program file, often in what is known as machine code, which is loaded into the working memory of the computer of the data processing device for execution.
  • the program is processed as a sequence of machine, ie processor, instructions by the processor(s) of the computer and is therefore executed.
  • the term "computer program” is also understood to mean, in particular, the source text of the program from which the executable code can be generated in the course of controlling the laboratory device.
  • a user interface device can be part of an incubator, or a module.
  • Each user interface device preferably has: a control device for the user interface device; a communication device for establishing a data connection with a laboratory device, in particular an incubator, via an interface device of the same; an input device for detecting user inputs from a user; an output device, in particular an indicator and/or a display, for outputting information to the user, in particular a touch-sensitive display.
  • the control device of the user interface device is preferably set up to exchange data with the control device of the incubator via the data connection.
  • the object placed in the incubator and tracked by object tracking can in particular be a cell culture container or another laboratory sample holder, e.g. a slide, or can be another laboratory object, e.g. a device, in particular a rocking shaker, a shaker, a pH meter.
  • An object is in particular a cell culture container.
  • a cell culture container is, in particular, transparent. It is made in particular from glass or plastic, in particular from PE or PS, and in particular has a planar base plate which forms the growth area of the cells. This may have a surface treatment to promote cell adherence.
  • the cell culture container can be fitted with a PE cap or gas exchange cap, in particular a lid with an optional included Filter, be closable or be provided.
  • the cell culture container can be stacked.
  • An Eppendorf cell culture flask is particularly suitable.
  • the object can be a stack of cell culture containers, in particular a stack of petri dishes or cell culture flasks.
  • the camera of the object tracking system can have wide-angle optics, in particular fish-eye optics, whose image angle in the image diagonal can be between 160° and 180°.
  • a camera -or multiple cameras- is mounted on the underside of a shelf insert in the incubator chamber, or on an underside of the upper inner wall of the incubator chamber, preferably vertically above the geometric center etc. of the storage area monitored by the camera.
  • one or more cameras can also be arranged/attached to the inner side walls of the incubator chamber. "Down” denotes the direction of gravity, "up” the opposite direction.
  • incubators are arranged so that the tops of the planar shelf inserts are horizontal.
  • the camera of the incubator is particularly suitable for working reliably in the respective incubator atmosphere over a period of several months or years, or for working reliably during the service life measured under standard conditions (room temperature). Not every camera is suitable to function in an incubator atmosphere.
  • a possible commercially available camera is the 5MP wide-angle camera for Raspberry Pi, www.joy-it.net, available from Conrad Electronic SE, Germany, and/or another camera in combination with a wide-angle lens, e.g. commercially available the “Industrial lens HAL 250 2.3", Entaniya Co., Ltd., Japan.
  • a cover device can be provided for the at least one camera in order to shield or isolate it from the incubator atmosphere, with this cover device having transparent areas or a transparent window or being transparent in order to enable images to be recorded through the transparent area.
  • the data processing device is preferably programmed to generate (time-dependent) changes in the appearance (or the Appearance) of the objects, especially between longer time intervals of minutes, hours or days.
  • color changes in the cell culture medium or colors in a cell culture container or structures, eg drops, on a cell culture container wall can be determined.
  • Such colors, color changes or structures can indicate problems in the respective cell culture, eg a lack of nutrients, a change in pH value and/or mold and/or other contaminations.
  • the data processing device is preferably programmed to output information via a user interface to the user or operating personnel and/or the data about this detection (in particular: what was detected when) depending on the detection of the appearance of a cell culture container or these changes in the appearance of the cell culture container. to be stored in a data store.
  • the data processing device is preferably programmed to calculate (time-dependent) changes in the appearance of the objects from one or more still images and/or the start image and/or the end image and/or from the video data, in particular between longer time intervals of minutes, hours or days to investigate.
  • the invention also relates in particular to a system for incubating living cell cultures, having an incubator for incubating living cell cultures, which has: an incubator chamber for accommodating objects, in particular cell culture containers, in at least one storage area of the incubator chamber, which has a closable chamber opening for accommodating and removing the has objects, a data processing device and a data memory, an image-processing object tracking system set up for retrofitting the incubator for tracking changes in the position of at least one object introduced into the incubator chamber, starting from its starting position in a starting image of a storage area up to its end position in an end image of the storage area, the object tracking system having at least one data processing device, a data memory and at least one camera which is set up to monitor an interior space of the incubator chamber, the data processing device being programmed to monitor the interior space to assign identification data to the at least one object introduced, to determine the start position of the at least one object from the start image of the storage area and the changes in position of the at least one object by evaluating the video data, to determine the end position of the at least
  • the above-mentioned system is therefore based on an incubator that can be retrofitted with an object tracking system that can be retrofitted, as this is an integral part of the incubator in claim 1, with the object tracking system that can be retrofitted correspondingly having to be compatible with the so-called "compatible incubator”.
  • a control device of the incubator according to the invention or of the compatible incubator which in particular can also control the atmospheric parameters in the incubator chamber (temperature, gas partial pressure CO2, H 2 O, etc.) or whose data processing device is set up or programmed for this purpose, depending on data the object tracking system, in particular from position data or from the end position of at least one object, to determine at least one operating parameter of the incubator, in particular a parameter that controls the display of information on a screen of the incubator or a parameter that is displayed on the screen of the incubator is displayed.
  • position data or the end position of at least one object can be displayed on the screen.
  • the system for incubating living cell cultures preferably has: an external device which is separate from the incubator and is in a data exchange connection with the latter, in particular a - in particular mobile - user identification device and in particular a data exchange device by means of which the data processing device can exchange data with the external device, in particular using the user identification device to determine user identification data can.
  • the invention also relates to a method for tracking the object positioning in an incubator, which is used to incubate living cell cultures in an incubator chamber of the incubator, having the computer-controlled steps:
  • the method it is also possible and preferred for the method to introduce several objects into the interior simultaneously and/or one after the other, and for these objects to be assigned an identification number from a start image, whose position changes are determined from video data and from this their end position in each case an end frame is determined.
  • the method preferably has the step of reading in user identification data identifying the user of the incubator who brings the at least one object into the incubator chamber using a user identification device and in particular storing the user identification data in a data memory of the incubator.
  • the method preferably has the step: storing the position data of the at least one object as a function of the user identification data as user-related object position data.
  • the invention also relates to an image-processing object tracking system, set up in particular for retrofitting an incubator, for tracking changes in the position of at least one object placed in the incubator chamber, starting from its starting position in a starting image of a storage area up to its end position in an end image of the storage area,
  • the object tracking system has at least one data processing device, a data memory and at least one camera which is set up to monitor an interior of the incubator chamber, wherein the data processing device is programmed to assign identification data to the at least one object brought into the interior, to determine the start position of the at least one object from the start image of the storage area and the changes in position of the at least one object by evaluating the video data, from the position changes to determine the end position of the at least to determine an object in the end image of the storage area, and to store the end position of the at least one object in the storage area as a function of the identification data as ID position data in the data memory.
  • FIG. 1 shows an incubator according to the invention according to an exemplary embodiment in a perspective view.
  • FIG. 2 shows the incubator from FIG. 1 in a front view.
  • FIG. 3 shows the incubator from FIG. 1 in a front view with a graphic representation of the occupancy of the incubator chamber with objects that are highlighted in a user-specific color-coded manner.
  • FIG. 4a shows a smartphone with a camera and display 63 as an external device that can be part of a system 400 comprising the incubator 1 from FIG. 3 and the smartphone 69 .
  • Figure 4b shows a legend of the color coding used in the screen of Figure 3 to highlight user-related objects.
  • FIG 5a shows, in a schematic side view, an object tracking system as part of the incubator from FIGS. 1 to 4b in an example of a chamber with a single monitored storage plate.
  • FIG. 5b shows a schematic side view of an object tracking system as part of the incubator from FIGS. 1 to 4b in an example of a chamber with several monitored storage plates.
  • 5c shows a perspective view of a storage area that is monitored by the object tracking system of FIGS. 5a and 5b, as well as the starting position P1, position changes dP and end position P2 of a tracked object in relation to a coordinate system.
  • FIG. 5d shows a digital image captured by the wide-angle fisheye camera of the object tracking system used in FIGS. 5a and 5b, which appears distorted due to the optics.
  • FIG. 5e shows the image of FIG. 5d rectified by the object tracking system using straightening algorithms.
  • Fig. 5f shows a still image captured by the wide-angle fisheye camera of the object tracking system used in Figs. 5a and 5b for output on a screen of the incubator, showing the bounding boxes of the object tracking system, identification numbers and a color coding identifying the user/owner.
  • FIG. 5g shows a possible screen content that can be displayed on a screen of the incubator to explain the screen page shown in FIG. 5f.
  • FIG. 6 shows a schematic top view of a storage area of the incubator from FIGS. 1 to 5, including objects, which is arranged in an image capture section of a camera of the object tracking system.
  • FIG. 7 uses the section from FIG. 6 to show the displacement of an existing object by an object newly moved into the incubator.
  • FIG. 8a to 8f each show a different movement phase of the objects in the section of FIG. 6, with the definition of the bounding box of the moving objects by algorithms of the object tracking system.
  • Fig. 8a shows the start image
  • Fig. 8f shows the end image.
  • Fig. 1 shows an incubator 1 for storing laboratory samples, more precisely a CO2 incubator for storing living cell cultures in a defined atmosphere at a controlled temperature, e.g. B. 37 ° C.
  • the chamber interior 5 of the incubator is thermally insulated and sealed gas-tight to the environment, the gas composition in the interior is also regulated and can be changed via gas connections 43.
  • the chamber housing 2 of the incubator stands on bases 44, encapsulates the interior 5 and opens into the front 3 of the incubator.
  • the front side has the chamber opening 4 through which the chamber interior 5 is accessible.
  • a transparent inner chamber door 6 serves to close the chamber opening in a closed position of the chamber door.
  • the chamber housing 2 is placed inside an outer housing 40 so that the chamber housing 2 and the outer housing 40 are spaced apart from one another and are thermally insulated from one another. Shelf inserts 45 and an air humidifier trough 46 can be seen in the interior of the chamber.
  • the front side 3 of the chamber housing and the front side of the outer housing coincide in the present case.
  • ADJUSTED SHEET (RULE 91) ISA/EP Outer incubator door 41 and chamber door 6 are shown in an open position.
  • the outer door 41 is pivotably mounted on hinges on the outer edge of the outer housing and has a silicone seal 42 running all the way around.
  • the inner chamber door 6 of the incubator is initially still closed.
  • the locking device (10, 7a, 7b) is used for this purpose.
  • the chamber door 6 is closed, the user can first view the interior 5 through the transparent door wall before he opens the door and inserts or removes a laboratory sample. Nevertheless, opening the outer incubator door 41 already represents a disturbance that can potentially damage the incubator atmosphere.
  • the incubator has an external camera 65 installed in the door 41 and directed forwards, the images of which can be evaluated by the suitably programmed data processing device of the incubator, in particular to identify a user by means of face recognition, whereby the external camera 65 connected to the data processing device serves as a user identification device 66 .
  • the latter can also be done using the camera of the smartphone 69 .
  • the incubator 1 has an object tracking system (not shown in FIGS. 1, 2).
  • the outside of the outer incubator door has, as shown in Fig. 2, a first screen, a touchscreen 61, via which the operating parameters of the incubator 1 are displayed, e.g. the temperature of the incubator atmosphere or a gas partial pressure in the interior 5.
  • the outside of the outer incubator door 41 has a second screen 62, which can be a touch screen.
  • the data processing device (not shown) of the incubator 1 is programmed to display the occupancy of the interior of the incubator on the screen 62 .
  • the screen 62 serves as a “digital window” that enables the user to have a (virtual) view of the inside of the incubator.
  • the graphic representation of the interior of the incubator and its occupancy with existing objects can be programmed in such a way that specific existing objects are graphically highlighted depending on specific criteria or condition parameters.
  • the data processing device of the incubator 1 is programmed to display one or more objects on the display 62 depending on at least one condition parameter, which depends on user identification data here, according to their respective end position in the interior of the incubator, which is indicated by means of of the object tracking system was determined.
  • the inventory objects associated with specific user identification data that identify a specific user are highlighted in color with a specific user-dependent color.
  • the legend 61a for this type of color coding is shown to the user here via the upper display 61 in its sub-area 61a.
  • the legend 61a is shown larger in FIG. 4b: the corresponding highlighting colors used in the display 62, 63 are assigned to the user identifiers “Jane”, “Joe” etc.
  • the output display 61 and/or 62 can also—alternatively or additionally—be part(s) of an external device, here a smartphone 69 that is in a data exchange connection with the incubator and has the display 63 , which functions here as part of an incubator system.
  • an external device here a smartphone 69 that is in a data exchange connection with the incubator and has the display 63 , which functions here as part of an incubator system.
  • FIG. 5a shows a schematic front view of shelf inserts 45a and 45b of the incubator 1, which are arranged one above the other.
  • the vertical spacing of such shelf inserts 45 in incubators is usually not large and is, for example, between 10 and 40 cm, with the incubator 1 around 15 cm.
  • either multiple cameras must be used to the entire storage area, here the entire storage area of the shelf insert 45b and to capture the overlying "air space" up to the shelf insert 45a.
  • the camera 70 is a wide-angle fisheye camera with an angle of view of approximately 180°.
  • the object tracking system 20 includes the camera 70, a wide-angle fisheye camera, which captures the storage area of the shelf insert 45b lying below it at the viewing angle 71a of preferably 160° to 170°.
  • the wide viewing angle makes it possible to manage with a single camera in order to capture the entire storage area of the shelf insert 45b below, in particular also the air space into which the (existing) objects 80' and 80 protrude, namely a stack 80' of Cell culture containers, and a cell culture container 80.
  • the nominal viewing angle of the wide-angle fisheye camera is even 200°, but only an image area is evaluated that corresponds to a viewing angle taken from the range of preferably 160° to 170°.
  • the camera is positioned vertically over the geometric center of the bearing surface of shelf insert 45b.
  • the object tracking system 20 also includes the control device 23 which has a data processing device 21 and a data memory 22 as further components of the object tracking system 20 .
  • the data processing device 21 and the control device 23 are connected via a cable connection 25, which enters the incubator chamber through the port 47 in the rear wall of the incubator chamber, to the camera 70 and the other three cameras (not shown), which are provided so that all storage areas (all Tops of shelf inserts 45, see Fig. 1) are monitored.
  • the control device 23 also has a data interface 24 via which a data connection to other incubator device components is made possible, e.g. in order to output data or signals to a display 61, 62, 63 of the incubator.
  • FIG. 5b shows a schematic side view of an object tracking system as part of the incubator from FIGS. 1 to 4b in an example of a chamber with several monitored storage plates.
  • the representation is an extension of the principle from FIG. 5a, in which the incubator chamber is divided into several compartments 5a, 5b and 5c. which are arranged one above the other here and are connected for gas exchange, which is formed via holes in the bearing plates 45a, 45b, 45c.
  • the storage area or storage plate 45a in compartment 5a is monitored by camera 70'
  • the storage area or storage plate 45b in compartment 5b is monitored by camera 70'
  • the object tracking system of the incubator belonging to Fig. 5b here comprises three cameras 70, 70', 70'', the data processing device 21 and the data storage device 22.
  • Fig. 5c shows a perspective view of a compartment 5b or storage area 45b, which is monitored by the object tracking system of Fig. 5a and 5b, as well as the starting position P1, position changes dP and end position P2 of a Cartesian coordinate system (x, y, z). object tracked on its movement path B.
  • the origin of the coordinate system can be fixed in a corner of the compartment.
  • FIG. 5d shows a digital image captured by the wide-angle fisheye camera of the object tracking system used in FIGS. 5a and 5b, which appears distorted due to the optics.
  • FIG. 5e shows the image of FIG. 5d rectified by the object tracking system using straightening algorithms.
  • Fig. 5f shows a still image captured by the wide-angle fisheye camera of the object tracking system used in Figs. 5a and 5b for output on a screen of the incubator, showing the bounding boxes of the object tracking system, identification numbers and a color coding identifying the user/owner.
  • FIG. 5g shows a possible screen content that can be displayed on a screen of the incubator to explain the screen page shown in FIG. 5f.
  • a color code identifying the user/owner is also shown, as well as the times the objects were placed in the incubator chamber registered by the object tracking system.
  • Fig. 6 shows a storage area, namely the top of the shelf insert 45b, from a bird's eye view or in plan.
  • the image capture detail 71 that the camera 70 captures is also shown schematically.
  • the image capturing crop 71 is the area captured by the camera 70 in each image because the camera 70 does not change its angle of view or position.
  • each still image, the start image, the individual images that can be taken from the video data, and the end image show this section 71.
  • the lower edge of section 71 represents the area near the incubator chamber opening 4.
  • FIG. 7 shows how a user (shown: his hand) places a cell culture container 81 in the incubator, more precisely moves it forward on the storage area 45b' or into the interior of the incubator. In doing so, he also moves the existing object 80, which cannot be distinguished from the object 81 from the outside. If the new object 81 arrives in its end position exactly at the previous standing position of the existing object 80, it will not be possible to distinguish between the object 80 and the object 81 from still images that were created before and after the new object 81 was set up. However, this is possible using the object tracking system 20, 200, as explained with reference to FIGS. 8a to 8e.
  • the data processing device of the object tracking system 20, 200 is programmed to record and evaluate the video data by means of the camera 70 with the detection of the door opening of the outer door 41 of the incubator. By comparing chronologically consecutive frames of the video data, it can be determined when a new object enters the camera detail 71 .
  • the object tracking algorithms of the object tracking system 20, 200 track the object defined by the bounding box through the following frames of the video data.
  • the changes in position of the object 80 are determined from these frames by evaluating the video data. If one initially ignores the fact that the user uses the new object 81 to push the existing object 80 deeper into the incubator chamber, starting from its original position (its end position recorded earlier), the following happens with regard to tracking the new object 81:
  • the entire object can be seen as an outline 81a, and the hand of the user himself could also initially be understood by the data processing device 21 as part of the object 81, but this is corrected at the latest when the hand is removed.
  • the moving image components connected to the outline 81a are initially understood by the object tracking system as parts of the object 81 .
  • This outline 81a is defined by a bounding box to reduce the computational effort of the tracking and is continuously tracked through the frames (Fig. 8a to Fig. 8e) and changes in position of the outline (the bounding box) 81a are detected, so that from the current position of the bounding box 81a can be taken from each frame.
  • the image is interpreted as the "final image" of the object movement (as in Fig. 8e) and the final position of the new object 81 is calculated from the final image and the final position of the object 81 in the storage area in Stored as a function of the identification data of the at least one object as ID position data in the data memory.
  • the existing object 80 is displaced from its previous position by the movement of the new object 81, and the new object even assumes exactly the previous position of the existing object 80.
  • the object tracking system 20, 200 makes it possible for the objects 80 and 81 to remain clearly distinguishable.
  • the object tracking system 20, 200 is set up and programmed to simultaneously track a large number of objects and their position changes, and thus their end positions after a movement:
  • the data processing device 21 is programmed to:
  • the start image is in particular a still image that was created before the object 81 was set, or an image determined from the video data;
  • FIG. 9 shows the course of the method according to the invention, which was also mentioned indirectly in the above description of FIGS. 8a to 8f.
  • identification data with the at least one object 80; 81, which is recorded in a starting image of the storage area recorded by means of the at least one camera during or after introduction into the interior; (302) detecting changes in position of the at least one object 80; 81 between its starting position and end position by evaluating video data obtained by means of the camera 70; in particular detection of simultaneous position changes of several objects or inventory objects (303)
  • the method 300 preferably also includes the steps: in particular before steps 301 to 305, 308: reading in a user of the incubator 1 who has the at least one object 80; 81 into the incubator chamber, identifying user identification data by means of a user identification device (306) and storing the user identification data in a data memory of the incubator. (307)
  • the method 300 also includes the step of:

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Biotechnology (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Molecular Biology (AREA)
  • Thermal Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

Die Erfindung bezieht sich auf einen Inkubator für lebende Zellkulturen, ein Verfahren zur Arbeit mit einem Inkubator und ein System mit einem Inkubator, bei dem ein Objektverfolgungssystem realisiert ist.

Description

Inkubator, System und Verfahren
Die Erfindung bezieht sich auf einen Inkubator für lebende Zellkulturen, ein Verfahren zur Arbeit mit einem Inkubator und ein System mit einem Inkubator.
Die Erfindung betrifft einen Inkubator für das überwachte Wachstum von biologischen Zellen. Die Erfindung betrifft zudem ein System und ein Verfahren für das überwachte Wachstum von biologischen Zellen.
Mit solchen Inkubatoren werden in biologischen und medizinischen Laboratorien Zellen in Zellkultur unter kontrollierten Umgebungsbedingungen gehalten, und so das Wachstum lebender Zellen in vitro ermöglicht. Dazu werden die Temperatur und die Gaszusammensetzung bzw. die Luftfeuchtigkeit der Atmosphäre im Inneren einer von der Umgebung isolierten Inkubatorkammer durch die apparativen Einrichtungen des Inkubators auf den gewünschten Werten gehalten. Eukaryotische Zellen benötigen CO2- Inkubatoren. Die Atmosphäre wird durch Luft mit einem bestimmten CO2- und 02-Gehalt und einer bestimmten Luftfeuchtigkeit gebildet, eine geeignete Temperatur ist oftmals 37 °C.
Das Wachstum der Zellen hängt insbesondere kritisch von der Konstanz der atmosphärischen Bedingungen im Inkubator ab. Störungen der Inkubatoratmosphäre können sich negativ auf das Wachstum der Zellen auswirken. In einem „ideal“ ausgerüsteten Labor würde man jedem einzelnen Nutzer für jede zu inkubierende Probe eine separat zugängliche Inkubationskammer zur Verfügung stellen. Dies ist aber aus Gründen der Kosteneffizienz nicht realistisch. In der Praxis der Labore ist es üblich, dass ein einzelner Inkubator (oder wenige Inkubatoren) mit einer einzigen Inkubationskammer und einem oder mehrerer Lagerbereiche auf einer oder mehreren Lagerplatten in der Inkubationskammer für die Verwendung durch mehrere Benutzer vorgesehen ist. Die Häufigkeit des Öffnens der Kammertüre des Inkubators und damit des Eingriffs in die geregelte Atmosphäre des Inkubators skaliert mit der Anzahl der Nutzer und zudem mit der Anzahl der dort inkubierten Proben. Die Intensität der Störung hängt zudem von der Dauer der Türöffnung ab. Je mehr Zeit ein Nutzer für den Zugriff auf den Innenraum der Inkubatorkammer benötigt, desto länger bleibt die Tür geöffnet. Es gibt verschiedene Nutzungsszenarien des Inkubators, die durch Komplikationen eine erhöhte Zugriffszeit erfordern können:
Szenario A) Einstellen neuer Objekte in den Inkubator
Stellt ein Nutzer einen oder mehrere Objekte, insbesondere Zellkulturbehälter, erstmals in den Inkubator ein, benötigt er einen freien Lagerplatz in einem Lagerbereich. Sind wegen ungeordneter Lagerung keine freien Lagerplätze zugänglich, benötigt der Nutzer Zeit um diesen Lagerplatz zu schaffen; je sorgfältiger er dabei im Inkubator bereits vorhandene Objekte (Bestandsobjekte) verschiebt bzw. umräumt, dies eventuell sogar schriftlich dokumentiert, desto zeitaufwändiger wird der Vorgang. Erweist es sich dabei, dass in der Inkubatorkammer kein ausreichender Lagerplatz mehr verfügbar ist, so wiederholt der Nutzer sein Vorgehen bei einem eventuell vorhandenen weiteren Kompartiment der Inkubatorkammer oder bei einem Ersatzinkubator des Labors. Dadurch verlängert sich der Zeitraum des Zustands einer geöffneten Inkubatortüre, also die Dauer der Exposition des Kammerinneren zur Umgebung (Expositionsdauer).
Szenario B) Prüfen von Zellkulturen
Prüft ein Nutzer die von ihm zuvor in den Inkubator eingestellten Zellkulturen, z.B. um die Qualität des Zellmediums oder den Zustand des Wachstums zu beurteilen, so wird der Nutzer zunächst den betreffenden Zellkulturbehälter im Inkubator suchen. Möglicherweise kann er sich nicht an den von ihm gewählten Lagerplatz erinnern oder andere Nutzer haben diesen Lagerplatz verändert - beides verlängert die Expositionsdauer, d.h. die Öffnungsdauer des Inkubators und die damit eingehenden Atmosphärenverluste. Je sorgfältiger der Nutzer dabei Bestandsobjekte verschiebt bzw. umräumt, desto zeitaufwändiger wird der Suchvorgang.
Szenario C) Entnehmen der Objekte aus dem Inkubator
Auch in diesem Fall muss der Nutzer das entsprechende Objekt erst suchen. Es gelten die in b) genannten zeitverzögernden Faktoren. Je häufiger zudem ein Inkubator geöffnet wird, desto höher ist das Risiko der Kontamination des Innenraums. Es gibt auch Fälle, beispielsweise in der Forensik oder der Reproduktionsmedizin, in denen der Wert einer einzelnen Probe, insbesondere der in einem Zellkulturgefäß befindlichen Zelle/n, viel höher einzuschätzen ist als, beispielsweise, der Wert des gesamten Inkubators, so dass ein kontaminationsbedingter Verlust der Probe unbedingt zu vermeiden ist. In jedem Fall erhöht die Kontaminationshäufigkeit das Risiko von Arbeitsausfall, erhöhten Kosten und eines zusätzlichen Wartungsaufwands. Nach einer Kontamination eines Inkubators muss die Kammer gereinigt und sterilisiert werden, bevor der Inkubator weiter genutzt werden kann. In dieser Zeit ist, insofern kein Ersatzinkubator verfügbar ist, ist die Arbeit mit Zellkulturen unterbrochen.
In Laboren besteht daher grundsätzlich das Bedürfnis, den Zeitraum möglichst kurz zu halten, während dem die Inkubatortüre geöffnet ist, und zudem, die Häufigkeit des Öffnens der Inkubatorkammer möglichst gering zu halten.
Die der vorliegenden Erfindung zugrunde liegende Aufgabe ist es, einen effizient nutzbaren Inkubator bereitzustellen, der insbesondere es ermöglicht die Expositionsdauer, also den Zeitraum des Zustands einer geöffneten Inkubatortüre, und damit die Dauer der Exposition des Inneren der Inkubatorkammer zur Umgebung des Inkubators gering zu halten.
Die Erfindung löst diese Aufgabe durch den Inkubator gemäß Anspruch 1 , das System gemäß Anspruch 12, und das Verfahren gemäß Anspruch 14. Bevorzugte Ausgestaltungen sind insbesondere Gegenstände der Unteransprüche.
Der erfindungsgemäße Inkubator zur Inkubation lebender Zellkulturen, weist auf: eine Inkubatorkammer zur Aufnahme von Objekten, insbesondere Zellkulturbehältern, die eine verschließbare Kammeröffnung zur Auf- und Entnahme der Objekte und mindestens einen Lagerbereich zur Lagerung der Objekte aufweist, ein bildbasiertes Objektverfolgungssystem zur Verfolgung von Positionsänderungen mindestens eines in die Inkubatorkammer eingebrachten Objektes ausgehend von dessen Startposition in einem Startbild eines Lagerbereichs bis zu dessen Endposition in einem Endbild des Lagerbereichs mittels Videodaten, wobei das Objektverfolgungssystem mindestens eine Datenverarbeitungseinrichtung, einen Datenspeicher und mindestens eine Kamera aufweist, die dazu eingerichtet ist, einen Innenraum der Inkubatorkammerzu überwachen, insbesondere einen Lagerbereich, sowie das Startbild, das Endbild und die Videodaten bereitzustellen, wobei die Datenverarbeitungseinrichtung dazu programmiert ist,
• dem in den Innenraum eingebrachten mindestens einen Objekt Identifikationsdaten zuzuordnen, (dieser Schritt wird auch als Objektregistrierung bezeichnet)
• die Startposition des mindestens einen Objektes aus dem Startbild des Lagerbereichs zu ermitteln,
• die Positionsänderungen des mindestens einen Objektes zwischen der Startposition und einer Endposition durch Auswertung der Videodaten zu ermitteln,
• die Endposition des mindestens einen Objektes im Endbild des Lagerbereichs zu ermitteln, und
• die Endposition des mindestens einen Objektes im Lagerbereich in Abhängigkeit von den Identifikationsdaten als ID-Positionsdaten in dem Datenspeicher zu speichern.
Der erfindungsgemäße Inkubator „kennt“ das beim Einsetzen in den Inkubator „registrierte“ Objekt anhand eines internen Systemnamens, nämlich der diesem Objekt zugeordneten Identifikationsdaten (kann eine Identifikationsnummer sein, oder ein anderer Identifikationscode aus beliebigen Zeichen bzw. Informationen). Der Inkubator kennt aufgrund der Positionsverfolgung die Endposition des Objektes nach jeder Positionsänderung, die beispielsweise erzeugt wird, wenn ein anderer Benutzer zu einem späteren Zeitpunkt das Objekt im Inkubator verschiebt. Der Inkubator „merkt sich“ die Endposition des Objektes, und vorzugsweise weiterer Objekte bzw. jedes weiteren Objektes in der Inkubatorkammer. Das Ziel der Objektverfolgung ist es, dem an der Startposition lokalisierten Objekt nach dessen Positionsänderungen, d.h. dessen Bewegung im Kamerasichtbereich, eindeutig dessen Endposition zuordnen zu können, an dem die Positionsänderungen Null sind und die Bewegung des Objekts beendet ist. Nicht primär relevant ist es, den gesamten Bewegungspfad des durch die Positionsänderungen bewegten Objektes präzise beschreiben zu können. Dies kann jedoch in einer bevorzugten Ausgestaltung der Erfindung vorgesehen sein.
Bildverarbeitende Objektverfolgungstechniken sind grundsätzlich bekannt, zum Beispiel beim Einsatz in Drohnen oder Fahrassistenzsystemen zur Fahrzeug- oder Personenverfolgung. Die Objektverfolgung (englisch: „object tracking“) basiert auf der Bildverarbeitung bzw. Bildauswertung von Videobilddaten. Solche Verfahren der Objektverfolgung lassen sich mit relativ einfachen Mitteln wie geeigneten Kameras und Bildverarbeitungsalgorithmen umsetzten. Die theoretischen Grundlagen und deren Nutzung zur praktischen Realisierung von Objektverfolgungstechniken sind bekannt, insbesondere die Realisierung von „single object tracking“ und „multiple object tracking“ (z.B.: „Fundamentals of Object Tracking“, S. Challa et al., Cambridge University Press, 2011). Auch sofort verwendbare Bildverarbeitungsalgorithmen zur Objektverfolgung sind frei verfügbar (OpenCV.org) und gut dokumentiert. OpenCV (englische Abk. für Open Computer Vision) ist eine freie Programmbibliothek (BSD Lizenz) mit Algorithmen für die Bildverarbeitung und Computer Vision. Die Programmbibliothek OpenCV beinhaltet auch Funktionen zur Verfolgung mehrerer Objekte in Echtzeit. Die Anwendung von Objektverfolgung in Inkubatoren wurde bislang nicht publiziert und stellt eine Innovation dar.
Eine typische Arbeitsweise von bildverarbeitender Objektverfolgung, die vorzugsweise auch im Objektverfolgungssystem gemäß vorliegender Erfindung zum Einsatz kommt, basiert auf der Auswertung der zeitlichen Abfolge von Bildern. Ein typischer Programmcode zur Objektverfolgung verwendet eine „Bounding Box“ als Ausgabeformat, um ein Objekt in einem Bild zu identifizieren, dessen Kollisionsgrenzen festzulegen und insbesondere zu lokalisieren. In der digitalen Bildverarbeitung bezeichnet die „Bounding Box“ die Koordinaten des rechteckigen Rahmens, der ein im digitalen Bild gezeigtes Objekt größtenteils oder vollständig umschließt. Durch die Verwendung von Bounding Boxes bei der Objektverfolgung wird diese effizienter, da die Bildauswertung mittels eines solchen numerischen Hilfsmittels, insbesondere im Vergleich mit Algorithmen der Umrisserkennung von Objekten weniger Rechenschritte und damit eine geringere Rechenleistung erfordert. Zudem lassen sich die entsprechenden Algorithmen mithilfe von spezialisierten Grafikprozessoren (GPUs) effizient und kostengünstig ausführen. Geeignete Programmierschnittstellen (APIs) zur Objektverfolgung mittels Bounding Boxes stehen in der Programmbibliothek OpenCV unter den Bezeichnungen BOOSTING, CSRT, GOTURN, KCF, MEDIANFLOW, MOSSE, MIL, TLD zur Verfügung. Entsprechend stehen in OpenCV Programmbibliotheken („MultiTracker“) für das zeitgleiche Verfolgen von mehreren Objekten („multiple object tracking“) zur Verfügung. Als Alternative dazu sind Deep Learning Algorithmen zum Multi- Object Tracking (MOT) nach dem „tracking-by-detection“ Prinzip bekannt.
Es ist aber auch möglich und bevorzugt, dass zur Objektverfolgung eine Ermittlung der Kontur des zu verfolgenden Objektes im Bild durchgeführt wird, und insbesondere der Trennung von Objekt (Vordergrund) und Hintergrund durch Hintergrundsubtraktion.
Das Leistungspotential eines Objektverfolgungssystems beruht einerseits auf einem zuverlässigen automatischen Identifizieren eines Objekts im Inkubator in verschiedenen typischen Nutzungsszenarien eines Inkubators, die nachfolgend beschrieben werden. Andererseits ist der Ansatz effizient, da auf Seiten des Objekts keine besonderen Anpassungen erforderlich sind. Insbesondere muss das Objekt keine passiven (Code, Beschriftung) oder aktiven (z.B. einen Sender) Identifikationshilfsmittel beinhalten. Es lassen sich vielmehr die üblichen Objekte (Zellkulturbehälter, Geräte etc.) mit dem Inkubator verwenden, insbesondere unabhängig von Hersteller und äußerlicher Erscheinung. Insbesondere ist der erfindungsgemäße Inkubator in der Lage, Objekte mit vollkommen identischem Aussehen durch die Verfolgung zu unterscheiden.
Mögliche Szenarien bei der Änderung der Belegung in einem Inkubator sind:
I. Einstellen neuer Objekte
II. Entnahme von Objekten III. Tür wird geöffnet und es werden Objekte nur verschoben, ohne eines zu entnehmen oder neu einzustellen.
Subkonditionen: i) Objekt/e werden verschoben ii) Objekt/e werden nicht verschoben iii) Mehrere Objekte werden eingestellt/entnommen (Reihenfolge).
Annahme: alle Zellkulturbehälter sehen äußerlich gleich aus. Die der Entwicklung der Erfindung zugrunde liegende Frage war insbesondere, welche bildbasierten Methoden in Frage kommen, insbesondere ob Standbilder ausreichen, um in üblichen Nutzungsszenarien eines Inkubators eine Objektidentifikation zu ermöglichen.
Es wird für das Szenario I. (neues Objekt soll in die Inkubatorkammer eingesetzt werden) zunächst angenommen, dass es vor der Öffnung der Inkubatortüre ein aktuelles, von einer im Inkubator platzierten Kamera aufgenommenes Standbild des Lagerbereichs in der Inkubatorkammer gibt, welches das neue Objekt noch nicht zeigt.
Wird das neue Objekt ohne Verschieben der Bestandsobjekte (bereits im Lagerbereich angeordnete und lokalisierte Objekte) in die Inkubatorkammer eingestellt (Fall l.ii)), lässt sich das neue Objekt (problemlos eindeutig) über das nächste Standbild (nach Schließen der Inkubatortüre) identifizieren. Eine Objektverfolgung ist für den Fall l.ii) nicht notwendig. Entsprechendes gilt für II. ii): im Fall der Entnahme eines Objektes ist dessen Identifizierung eindeutig möglich aus der Evaluierung der Standbilder vor und nach Türöffnung.
Wird das neue Objekt eingestellt und werden dabei Bestandsobjekte verschoben (Fall l.i)), lässt sich das neue Objekt nicht eindeutig über das nächste Standbild identifizieren. Standortinformationen über die bereits registrierten Bestandsobjekte gehen verloren. Dasselbe gilt für die Entnahme eines Objektes und dabei erfolgendes Verschieben der Bestandsobjekte (Fall ll.i)). Für das Verschieben (Kondition i)) kommt das Konzept der Objektverfolgung zu tragen. Werden mehrere Objekte (Fall ill)) unter der Bedingung i), d.h. ohne Verschieben der Bestandsobjekte, eingestellt, lassen sich zwar die neuen Objekte per vorher-nachher-Stand- bilder einfach identifizieren, es geht aber die Information über die Reihenfolge des Einstellens verloren. Will man diese Information erhalten, benötigt man die Objektverfolgung. Entsprechendes gilt für den Fall der Entnahme mehrerer Objekte im Fall i) + iii). Die Reihenfolge des Hereinstellens ist aber selten entscheidend. Insbesondere kommt es bei In- kubationsdauern von z.B. 48h nicht auf die Sekunde an. Insbesondere aber, wenn auch die Objektzuordnung für den Fall aufgelöst werden soll, dass Objekte mehrerer Personen bei geöffneter Inkubatortüre hintereinander in die Inkubatorkammer eingestellt werden oder wenn das Umräumen von Objekten aus einem Regalfach der Inkubatorkammer in eine andere Inkubatorkammer verfolgt werden soll, kann die Erfassung der Reihenfolge beziehungsweise die Erfassung des zeitlichen Verlaufs des Versetzens von Objekten gewünscht sein. Für ein „Basistracking“, bei dem die Anwender bestimmte Regeln der Bedienung des Inkubators beachten, kann auf die Erfassung der Reihenfolge verzichtet werden.
Da im Betrieb eines Inkubators ein Verschieben von Bestandsobjekten eher die Regel als die Ausnahme ist, reicht in diesem Fall eine Auswertung der vorher-nachher-Standbilder des Lagerbereichs nicht aus.
Eine Frage bei der Entwicklung eines Objektverfolgungssystems in einem Inkubator ist insbesondere: Wann wird ein Objekt identifiziert, d.h. zu welchem Zeitpunkt bzw. bei welchem Ereignis werden dem Objekt eine Identifikationsdaten zugeordnet? In den meisten Anwendungsszenarien (abgesehen von einem Fall wie iii)+i), bei dem es ggf. doch auf die Erfassung der Reihenfolge des Einstellens von Objekten ankommt) reicht es aus, diese Identifikationsdaten zu erheben, wenn die neuen Objekte eingestellt wurden und dabei eventuell Bestandsobjekte verschoben wurden. Denn das Verschieben der bereits registrierten Bestandsobjekte erfolgt unter der Maßnahme der Objektverfolgung. Im nächsten Standbild, also insbesondere bei geschlossener Inkubatortüre, kann dann die Registrierung der neuen Objekte anhand des Standbildes erfolgen. Falls doch die Erfassung der Reihenfolge gewünscht ist, kann in dem Moment, in dem ein Objekt erstmals in den Sichtbereich der Kamera eintritt, also erstmals in einem von der Kamera aufgenommenen Bild (ein Startbild, das hier ein Videobild ist) auftritt, wird dieses registriert werden, also dem Objekt eine ID-Nummer zugeordnet, und es wird dieses Objekt verfolgt bis zu seiner Endposition, das eventuelle Verschieben von Bestandsobjekten oder deren Entnahme wird dabei vorzugsweise auch verfolgt.
In einem anderen praxisrelevanten Szenario wird von einer Belegung des Lagerbereichs (oder mehrerer Lagerbereiche) mit einem oder mehreren Objekten (Bestandsobjekten) ausgegangen, die anhand eines ersten Startbildes (in diesem Fall z.B. ein Standbild) registriert werden. Es muss hier nur die eventuell stattfindende Verschiebung dieser Bestandsobjekte verfolgt werden. Die Bewegung neu einzustellender Objekte muss beim Vorgang des Einstellens hier nicht verfolgt werden, denn deren Registrierung kann wieder im nächsten Standbild erfolgen. Die entsprechende Präsenz dieser neuen Objekte in den Videodaten kann somit ignoriert werden. In diesem Szenario geht die Information über die Reihenfolge des Einstellens mehrerer Objekte während einer Türöffnung verloren, aber diese Information wird auch nicht zwingend benötigt.
Die Erfindung schlägt demnach vor, eine Objektverfolgung zu implementieren, um die korrekte Lokalisation von Objekten, je nach Bedarf, in verschiedenen oder allen Situationen zu gewährleisten.
Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, dem in den Innenraum eingebrachten mindestens einen Objekt Identifikationsdaten zuzuordnen. Dies bedeutet insbesondere, dass in den Bilddaten (Standbilder oder Videodaten) der Kamera ein neues Objekt detektiert wird. Insbesondere wird ein neues Objekt dann detektiert, wenn dieses in den Kamerasichtbereich der Kamera von außen hineinbewegt wird. Mit dem Detektieren des Objektes können diesem einerseits Identifikationsdaten zugeordnet werden (Registrierung), andererseits auch Positionsdaten. Die Positionsdaten, insbesondere Start- und Endposition eines Objektes, werden insbesondere mit Bezug auf ein internes Koordinatensystem bestimmt, anhand dem auch die Lage des mindestens einen Lagerbereichs und damit auch die Lage des mindestens einen Objektes zu dem mindestens einen Lagerbereich definiert wird. Diese Lageinformationen sind insbesondere dafür von Bedeutung, wenn dem Benutzer auf einem Display die Position des mindestens einen Objektes in dem mindestens einen Lagerbereich bzw. In der Inkubatorkammer grafisch veranschaulicht werden soll.
Diese Identifikationsdaten können vorbestimmt sein, zufallsgeneriert sein, oder von einem Benutzer vorgegeben sein, insbesondere solange sie geeignet sind, das neu in die Inkubatorkammer eingestellte Objekt gegenüber den Identifikationsdaten der anderen Bestandsobjekte eindeutig zu unterscheiden. Die Identifikationsdaten können auch vorbestimmt sein und lediglich ausgewählt werden. Letzteren Fall umfasst der Begriff „zuordnen“ ebenso wie die Neuerstellung der Identifikationsdaten.
Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, die Startposition des mindestens einen Objektes aus dem Startbild des Lagerbereichs zu ermitteln. Das Startbild ist vorzugsweise ein Standbild, das in einem Standbildmodus der Kamera aufgenommen wird. Es kann auch ein aus Videodaten gewonnenes Einzelbild sein, insbesondere ein Videoframe. Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, eine einhüllende oder markierende Linienfigur, vorzugsweise Rechteck, oder einen einhüllenden oder markierenden Körper, oder insbesondere eine Bounding Box des Objektes, oder eine Außenkontur des Objektes, in dem Startbild festzulegen und, insbesondere, das Objekt als den von der einhüllenden oder markierenden Linienfigur, insbesondere von der Bounding Box oder einer Außenkontur eingeschlossenen bzw. markierten Bildbereich zu definieren.
Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, die Positionsänderungen des mindestens einen Objektes durch Auswertung der Videodaten zu ermitteln. Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, die Bewegung des im Startbild mittels der Bounding Box definierten Objektes zu verfolgen. Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, die Bewegung des im Startbild mittels der Bounding Box definierten Bildbereichs, der das Objekt enthält, zu erkennen, indem die Positionsänderungen dieses Bildbereichs von Frame zu Frame ermittelt werden. Dabei kann insbesondere eine Verfolgung der Bounding Box verwendet werden, um den sich aufgrund der Objektbewegung positionsverändernden Bildbereich zu ermitteln. Videodaten enthalten insbesondere Informationen, mittels denen sich die das Video kennzeichnenden Einzelbilder („frames“, die im Falle der Darstellung des Videos mit bestimmter Anzahl pro Zeit also „framerate“ dargestellt werden) rekonstruieren lassen. Im Fall nicht komprimierter Videodaten können letztere auch die komplette Sequenz von Bilddaten enthalten, wobei ein „Satz“ Bilddaten jeweils ein Einzelbild repräsentiert. Im Fall komprimierter Bilddaten werden eventuell auch/nur zeitliche Veränderungen von Pixeln des Kamerabilds erfasst.
Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, aus dem Startbild die Startposition des Objektes im Lagerbereich zu ermitteln. Die Startposition kann insbesondere dadurch bestimmt sein, dass das in einem ersten Frame einer Bilderserie zuvor unbewegte Objekt im nachfolgenden Frame eine Positionsänderungen des Objekts zeigt. Der erste Frame, in dem das Objekt gegenüber den vorangegangenen Frames eine Positionsänderung aufweist, kann als das Startbild definiert werden. Da die Bewegung des Objektes zu einem Zeitpunkt T1 beginnt und zu einem Zeitpunkt T2 endet, kann ein Bild (Standbild oder Videobild, auch ein Bild gewonnen aus superpositionierten Bildern), das vor dem Zeitpunkt T1 erfasst wird, als Startbild herangezogen werden, aus dem die Startposition des mindestens einen Objektes festgelegt wird.
Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, aus den Positionsänderungen die Endposition des mindestens einen Objektes im Endbild des Lagerbereichs zu ermitteln. Die Endposition kann insbesondere dadurch bestimmt sein, dass von Frame zu Frame keine Positionsänderungen des Objekts mehr bestimmt werden. Der erste Frame, in dem das Objekt gegenüber den vorangegangenen Frames keine Positionsänderung mehr aufweist, kann als das Endbild definiert werden. Da die Bewegung des Objektes zu einem Zeitpunkt T1 beginnt und zu einem Zeitpunkt T2 endet, kann ein Bild (Standbild oder Videobild, auch ein Bild gewonnen aus superpositionierten Bildern), das ab dem Zeitpunkt T2 erfasst wird, als Endbild herangezogen werden, aus dem die Endposition des mindestens einen Objektes festgelegt wird. Die Endposition kann insbesondere durch den Zeitpunkt bestimmt sein, zu dem mittels des Türsensors ein Schließen der Inkubatortüre erfasst wird. Die Endposition kann insbesondere dadurch bestimmt sein, dass ein in den Bildbereich hineinführender Arm oder eine Hand des Benutzers nicht mehr er- fasst wird. Beispielsweise kann ein Bild dahingehend ausgewertet werden, ob ein im Bildrandbereich gelegener, z.B. streifenförmiger, Ausschnitt einem Referenzzustand entspricht, in dem ein Referenzausschnitt der Inkubatorkammer bzw. des Inkubators vollständig sichtbar ist. Ist dies nicht der Fall, kann geschlussfolgert werden, dass ein Benutzer immer noch im Inneren des Inkubators hantiert und das Objekt oder mehrere Objekte immer noch bewegt werden, so dass insbesondere die Videobilderfassung und -auswertung fortzusetzen ist. Die Endposition des Objektes kann als die Position verstanden werden, an der das Objekt nach vorangegangen Positionsänderungen keine Positionsänderung mehr zeigt, kann also durch das Ende der Bewegung des Objektes bestimmt sein. Alternativ oder zusätzlich kann die Endposition des Objektes so definiert sein, dass die Position, die das Objekt inne hat, wenn das Schließen einer Inkubatortüre mittels Türsensor erfasst wird, die Endposition ist. Im Resultat wird die Endposition in den meisten Fällen dieselbe sein.
Die Datenverarbeitungseinrichtung ist vorzugsweise dazu programmiert, die Erfassung des Startbilds und/oder von Videodaten mittels der Kamera zu starten, wenn ein Sensor eine am Inkubator erfolgende Aktivität detektiert. Der Sensor kann ein Bewegungssensor sein, der eine Bewegung in einem außerhalb des Inkubators gelegenen Detektionsbereich detektiert. Der Sensor kann ein Berührungssensor sein, der eine von einem Benutzer durchgeführte Berührung des Inkubators, z.B. eines Türgriffs des Inkubators detektiert. Der Sensor kann ein Türöffnungssensor sein, der insbesondere ein Öffnen einer Inkubatortüre, insbesondere eines Außentüre des Inkubators, erfasst. Der Sensor kann eine Außenkamera des Inkubators sein, die mittels Bildauswertung eine Bewegung und/oder eine Person im Sichtbereich der Kamera erfasst. Der Sensor kann ein Annäherungssensor sein, der, z.B. durch Detektion der Änderung eines elektrischen Feldes, die Annäherung einer Person an den Inkubator erfasst. Eine am Inkubator erfolgende Aktivität kann auch eine Codeeingabe an einem Türschloss sein, die von der Datenverarbeitungseinrichtung vorzugsweise auch ohne Sensor detektierbar ist.
Die Datenverarbeitungseinrichtung ist vorzugsweise dazu programmiert, die Erfassung des Endbilds zu starten und/oder die Erfassung von Videodaten zu stoppen, wenn ein Sensor eine am Inkubator erfolgende Aktivität detektiert. Der Sensor kann ein Türöffnungssensor sein, der insbesondere ein Schließen einer Inkubatortüre, insbesondere eines Außentüre des Inkubators, erfasst. Der Sensor kann eine Außenkamera des Inkubators sein, die mittels Bildauswertung die Beendigung einer Bewegung und/oder das Verschwinden einer Person im Sichtbereich der Kamera erfasst. Der Sensor kann ein Annäherungssensor sein, der, z.B. durch Detektion der Änderung eines elektrischen Feldes, der das Entfernen einer Person vom Inkubator erfasst.
Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, die Erfassung von Videodaten mittels der Kamera initiiert vom mittels Türsensor detektierten Öffnen einer Inkubatortüre zu starten. Alternativ oder zusätzlich kann ein Initialereignissensor, insbesondere ein Bewegungssensor, oder Annäherungssensor, oder optischer Sensor/Emp- fänger (z.B. Lichtschranke), oder Mikrofon, oder Beschleunigungssensor in der Inkubatortüre, im Inkubator angeordnet sein, mittels dem die Annäherung eines Objektes an die Inkubatorkammer oder eines anderen Initialereignisses erfassbar ist; die Datenverarbeitungseinrichtung kann programmiert sein, basierend auf den Daten eines solchen Sensors die Erfassung von Videodaten zu starten. Die Datenverarbeitungseinrichtung kann programmiert sein, mit Vorliegen der Videodaten und/oder mit Vorliegen eines Standbildes die Suche nach einem neuen Objekt in den mittels der Videodaten verfügbaren Bilder (Frames) oder dem Standbild zu beginnen. Alternativ kann die Erfassung von Videodaten starten, sobald ein Benutzer am Inkubator identifiziert wurde, oder bei einem anderen vorgegebenen Ereignis. Auch eine permanente Videodatenerfassung ist möglich. Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, die Erfassung von Videobilddaten mit der Erfassung des Endbildes bzw. dem Registrieren der Abwesenheit einer Hand/eines Arms im Kamerasichtbereich zu beenden, oder basierend auf den Ergebnissen eines der genannten Sensoren (Türsensor, Bewegungssensor etc.) zu beenden.
Die Datenverarbeitungseinrichtung ist insbesondere dazu programmiert, die Endposition des mindestens einen Objekts im Lagerbereich in Abhängigkeit von den Identifikationsdaten des mindestens einen Objekts als ID-Positionsdaten in dem Datenspeicher zu speichern. Mit diesem Schritt „kennt“ der Inkubator „das Objekt“ und dessen Position. Zusammen mit anderen Daten kann er diese Daten nun einem Benutzer ausgeben, insbesondere auf einem Display des Inkubators anzeigen. Zusammen mit Daten über den Eigentümer (der Benutzer der das Objekt in die Inkubatorkammer eingestellt hat) des Objektes oder einen Benutzer des Objektes (z.B. ein Benutzer der ein Bestandsobjekt eines anderen Benutzers bewegt hat) kann der Inkubator diese Datensätze in Abhängigkeit von den Identifikationsdaten des Objektes speichern und sammeln. Die Identifikationsdaten, auf Basis derer die Positionsänderungen detektiert wurden, müssen nicht identisch sein mit den Identifikationsdaten, die als ID-Positionsdaten gespeichert werden; relevant ist, dass die abgespeicherten Identifikationsdaten geeignet sind, das mindestens eine Objekt eindeutig von anderen Objekten bzw. Bestandsobjekten zu unterscheiden. Der ID-Code kann also theoretisch während der Bildverarbeitung wechseln.
Die Zuordnung eines Eigentümers zu einem Objekt kann auf unterschiedliche Weise erfolgen. Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, den das Objekt in den Inkubator einstellenden Benutzer zu registrieren oder zu identifizieren, diesem Benutzereinen Benutzeridentifikationscode zuzuordnen, und benutzerbezogenen ID- Positionsdaten des Objektes zu speichern. Für eine Nutzerregistrierung kann eine Biometrieerkennung, insbesondere Gesichtserkennung, des Benutzers durchgeführt werden, insbesondere mittels einer Außenkamera, eines Retinascanners oder eines Fingerabdrucksensors des Inkubators. Die entsprechenden registrierten Biometrieerkennungsdaten, insbesondere Gesichtserkennungsdaten des Benutzers können in der Datenspeichereinrichtung des Inkubators, oder in einer externen Datenspeichereinrichtung gespeichert werden. Die Identifizierung des Benutzers kann anhand eines Abgleichs von erfassten Biometrieerkennungsdaten mit bereits registrierten Biometrieerkennungsdaten erfolgen. Alternativ zu einer Biometrieerkennung kann es einem Benutzer auch ermöglicht werden, vor, während oder nach der Durchführung der Objektregistrierung bzw. nach der Ermittlung der Endposition eines verfolgten Objektes einen Benutzeridentifikationsdaten über eine Benutzerschnittstelleneinrichtung einzugeben. Die Benutzerschnittstelleneinrichtung kann eine Tastatur, ein Touchscreen sein und kann Teil des Inkubators oder eines Externgeräts sein.
Ein Vorteil der Objektverfolgung ist, dass diese ohne Kenntnis von Individual- oder Klas- sen-Merkmalen des zu verfolgenden Objektes durchgeführt werden kann. Sie kann aber auch mit Methoden zur Objekterkennung (und -Wiedererkennung) und/oder der Objektklassenerkennung bzw. Klassenwiedererkennung kombiniert werden.
Eine Objekterkennung kann insbesondere als Objektindividualerkennung und/oder als Objektklassenerkennung ausgestaltet sein. Die theoretischen Grundlagen und deren Umsetzung zur praktischen Anwendung in Objekterkennungstechnologien sind bekannt (z.B.: „Deep Learning in Object Detection and Recognition“, X. Jiang et al., Springer Singapore, 2019). Algorithmen zur Objekterkennung in Bildern sind allgemein bekannt und verfügbar, z.B. als Bestandteil von OpenCV (zum Beispiel OpenCV 3.3, deep neural network (dnn) module).
Eine Objektindividualerkennung basiert auf der Erkennung objektindividueller Merkmale (Objektindividualmerkmale), anhand der ein Wiedererkennen des individuellen Objektes und ein Unterscheiden gegenüber anderen individuellen Objekten möglich ist. Beispielsweise kann ein Zellkulturbehälter, z.B. ein Einwegprodukt, nachträglich aufgebrachte Individualmerkmale aufweisen, z.B. einen Barcode oder QR-Code. Er kann aber auch über jegliche Merkmale identifizierbar sein, die eine Unterscheidung ermöglichen: z.B. eine Beschriftung, einen unterschiedlichen Inhalt, ein Mikrokratzermuster an der Behälterfläche etc..
Eine Objektklassenerkennung beruht auf der Kenntnis von Objektklassenmerkmalen, die bei der Objektprüfung abgeglichen werden, um dem Objekt eine Klasse zuzuordnen. Beispielsweise kann mit einer Objektklassenerkennung erkannt werden, ob ein Objekt eine bestimmte Art von Zellkulturflasche, eine bestimmte Art von Petrischale oder eine bestimmte Art von Mikrotiterplatte ist, eventuell mit Berücksichtigung weiterer Klassenmerkmale, z.B. Hersteller, Herstellungsjahr, Ausführung, etc..
Der Inkubator weist vorzugsweise ein Objekterkennungssystem auf. Das Objektverfolgungssystem ist vorzugsweise zusätzlich zur Objekterkennung eingerichtet.
Im Falle der Objektindividualerkennung ist eine Datenverarbeitungseinrichtung des Objekterkennungssystems oder des Objektverfolgungssystem vorzugsweise programmiert, a) n einem Standbild, dem Startbild, den Videodaten und/oder dem Endbild Individualmerkmale mindestens einen Objektes zu erkennen, und b) diese Individualmerkmale des Objektes in Form von Objektindividualdaten zu speichern, insbesondere in Abhängigkeit von Identifikationsdaten. Vorzugsweise ist die Datenverarbeitungseinrichtung programmiert, Objektindividualmerkmale des mindestens einen Objektes aus dem Startbild, den Videodaten und/oder dem Endbild zu entnehmen, die Objektindividualmerkmale mit einer Objektindividualdatenbank abzugleichen und, falls die Objektindividualmerkmale in der Objektindividualdatenbank mit einer Objektindividualkennung verbunden sind: die Objektindividualkennung des mindestens einen Objektes zu identifizieren; oder, falls die Objektindividualmerkmale in der Objektindividualdatenbank nicht mit einer Objektindividualkennung verbunden sind: dem mindestens einen Objekt eine Objektindividualkennung zuordnen und in der Objektindividualdatenbank zu speichern, und/oder den ID-Positionsdaten des mindestens einen Objektes die erkannte Objektindividualkennung zuzuordnen und als individualbezogene ID-Positionsdaten zu speichern. Eine Objektindividualkennung ist vorzugsweise unterschiedlich zu dessen Identifikationsdaten; die Objektindividualkennung kann aber auch vorzugsweise gleich zu dessen Identifikationsdaten sein.
Im Falle der Objektklassenerkennung ist eine Datenverarbeitungseinrichtung des Objekterkennungssystems oder des Objektverfolgungssystem vorzugsweise programmiert, a) in einem Standbild, dem Startbild, den Videodaten und/oder dem Endbild Klassenmerkmale mindestens einen Objektes zu erkennen, und b) diese Klassenmerkmale des Objektes in Form von Objektklassendaten zu speichern, insbesondere in Abhängigkeit von Identifikationsdaten. Vorzugsweise ist die Datenverarbeitungseinrichtung programmiert, Objektklassenmerkmale des mindestens einen Objektes in einem Standbild, dem Startbild, den Videodaten und/oder dem Endbild zu erkennen, die Objektklassenmerkmale mit einer Objektklassendatenbank (die insbesondere vorbekannte Korrelationen zwischen der Objektklasse und Objektklassenmerkmalen enthält) abzugleichen und die Objektklasse des mindestens einen Objektes zu erkennen, und insbesondere den ID-Positionsdaten des mindestens einen Objektes die erkannte Objektklasse als Objektklassendaten zuzuordnen und insbesondere als klassenbezogene ID-Positionsdaten zu speichern. Vorzugsweise weist der Inkubator eine Benutzeridentifikationseinrichtung auf, mittels der ein den Inkubator benutzender Benutzer in Form von Benutzeridentifikationsdaten identifizierbar ist. Vorzugsweise ist eine Datenverarbeitungseinrichtung des Inkubators dazu programmiert, einen den Inkubator benutzenden Benutzer mittels der Benutzeridentifikationseinrichtung zu identifizieren und ihm Benutzeridentifikationsdaten zuzuordnen und Identifikationsdaten und/oder ID-Positionsdaten in Abhängigkeit von den Benutzeridentifikationsdaten als benutzerbezogene Identifikationsdaten und/oder benutzerbezogene ID- Positionsdaten in dem Datenspeicher zu speichern.
Vorzugsweise weist die Benutzeridentifikationseinrichtung eine Außenkamera auf, und vorzugsweise ist die Benutzeridentifikationseinrichtung dazu eingerichtet, und/oder die Datenverarbeitungseinrichtung dazu programmiert, mittels der Außenkamera eine Gesichtserkennung durchzuführen, mittels der der Benutzer identifiziert wird. Vorzugsweise ist eine Benutzerdatenbank vorgesehen, die auf einem Datenspeicher gespeichert ist, der Teil des Inkubators, der Benutzeridentifikationseinrichtung oder des Objektverfolgungssystems sein kann, oder der in einer Datenaustauschverbindung mit der Benutzeridentifikationseinrichtung bzw. der Datenverarbeitungseinrichtung stehen kann, z.B. über ein Intranet oder das Internet. Algorithmen zur Gesichtserkennung in Bildern sind allgemein bekannt und verfügbar, z.B. als Bestandteil von OpenCV („FaceRecognizer dass“).
Die Benutzerdatenbank kann eine Korrelation von Benutzeridentifikationsdaten und Benutzermerkmalsdaten enthalten, so dass der Benutzer bzw. dessen Benutzeridentifikationscode (Benutzeridentifikationsdaten) anhand der ermittelten oder eingelesenen Benutzermerkmalsdaten ermittelbar ist. Die Benutzermerkmalsdaten können Informationen über Gesichtsmerkmale der Benutzer enthalten, oder andere biometrische Daten, z.B. Fingerabdruckdaten oder Stimmenerkennungsdaten. Die Benutzerdatenbank kann eine Korrelation von Benutzeridentifikationsdaten und Benutzerkennungen enthalten, wobei die Benutzerkennung ein persönlicher Identifikationscode des Benutzers sein kann, z.B. eine mehrstellige Zeichenfolge, über deren Eingabe an einer T astatur der Benutzerschnittstelleneinrichtung sich ein Benutzer identifizieren kann. Die Außenkamera kann insbesondere an, oberhalb oder neben einer Inkubatortüre, insbesondere Außentüre am Inkubator angeordnet bzw. an diesem befestigt sein. Vorzugsweise ist die Außenkamera ein fester Bestandteil der Inkubators oder der Inkubatortüre. Sie kann aber auch über eine Signalverbindung, insbesondere über eine Datenaustauschverbindung, die kabelgebunden oder kabellos sein kann, mit der Benutzeridentifikationseinrichtung bzw. der Datenverarbeitungseinrichtung verbunden sein. Z.B. ist es möglich, die Außenkamera über ein flexibles Kabel mit dem Inkubator bzw. dessen Benutzeridentifikationseinrichtung bzw. der Datenverarbeitungseinrichtung zu verbinden, so dass die Kamera vom Benutzer frei am Inkubator platzierbar ist.
Vorzugsweise weist die Benutzeridentifikationseinrichtung eine Benutzerschnittstelleneinrichtung auf, mittels der Benutzeridentitätsdaten einlesbar sind. Die Benutzerschnittstelleneinrichtung kann eine Tastatur beinhalten, und/oder einen Touchscreen, und oder ein Mikrofon für eine Spracheingabe bzw. zur Realisierung einer Benutzeridentifikation mittels einer Spracherkennung. Die Benutzerschnittstelleneinrichtung kann zum Austausch von Daten mit einem externen datenverarbeitenden Gerät (nachfolgend auch als „Externgerät“ bezeichnet) eingerichtet sein. Das Externgerät kann ein PC sein, ein Smartphone, ein Tabletcomputer, oder ein anderer portabler Computer mit Benutzerschnittstelle.
Das Externgerät kann Mittel aufweisen, um einen Benutzer zu identifizieren und/oder zu authentifizieren. Insbesondere aktuell erhältliche Smartphones beinhalten diverse Mittel zur Nutzerauthentifizierung, insbesondere zur Gesichtserkennung. Das Externgerät weist vorzugsweise eine Software auf, z.B. eine App, die dazu programmiert ist, einen Benutzer zu identifizieren und/oder zu authentifizieren, und insbesondere das Ergebnis dieses Vorgangs über die Benutzerschnittstelleneinrichtung an die Benutzeridentifikationseinrichtung des Inkubators zu übersenden. Da ein Externgerät auch oft eine eigene Kamera aufweist, anhand der eine Gesichtserkennung implementiert sein kann, oder einen Fingerabdrucksensor, oder sonstige Hardware zur Benutzeridentifikation und -authentifizierung, sind die entsprechenden Hardwarebestandteile im Fall der Verbindung des Inkubators mit dem Externgerät am Inkubator verzichtbar. Die Benutzeridentifikationseinrichtung des Inkubators kann als Bestandteil einer Steuerungssoftware des Inkubators programmiert sein. Der Inkubator weist vorzugsweise eine Steuerungseinrichtung auf, die insbesondere eine Datenverarbeitungseinrichtung aufweisen kann, die insbesondere dazu programmiert sein kann, alle oder einige Funktionen der Benutzeridentifikationseinrichtung zu beinhalten, insbesondere den Datenaustausch mit dem Externgerät zu steuern.
Vorzugsweise weist die Benutzeridentifikationseinrichtung eine Benutzerschnittstelleneinrichtung auf, mittels der Benutzeridentitätsdaten auswählbar sind. Dazu kann insbesondere die Benutzeridentifikationseinrichtung ein Display bzw. einen Touchscreen aufweisen, über das eine Liste möglicher Benutzer, z.B. über die Angabe eines Namens oder Bildes des Benutzers, anzeigbar ist. Es können dann Eingabemittel vorgesehen sein, z.B. Tasten, eine Tastatur, Touchpad, der Touchscreen, über die der Benutzer die Auswahl aus der Liste vornehmen kann.
Die Benutzeridentifikationseinrichtung kann dazu programmiert sein, eine Benutzerauthentifizierung vorzunehmen, indem das genannte Einlesen der Benutzeridentitätsdaten oder die genannte Auswahl aus der Liste passwortgeschützt ist, so dass der Benutzer erst als identifiziert gilt, wenn die Authentifizierung erfolgreich war.
Vorzugsweise weist die Benutzeridentifikationseinrichtung ein Lesegerät zum Einlesen eines den Benutzer identifizierenden Codes auf, wobei das Lesegerät insbesondere ein RFID-Lesegerät, ein Barcode-Lesegerät, oder ein QR-Code-Lesegerät ist.
Die Benutzeridentifikationseinrichtung bzw. eine/deren Datenverarbeitungseinrichtung kann dazu programmiert sein, eine verriegelte Inkubatortüre in Abhängigkeit von der Benutzeridentifikation zu entriegeln und/oder zu verriegeln, insbesondere eine verriegelte Inkubatortüre zu entriegeln, wenn der Benutzer erfolgreich identifiziert wurde. Dies bedeutet in diesem Fall, dass der Benutzer auch für den Inkubator zugangsberechtigt ist. Es kann aber auch eine zusätzliche Zugangsrechteliste geben, anhand derer der Inkubator entscheidet, ob ein identifizierter Benutzer das Zugangsrecht besitzt oder, ggf. Welche Art Zugangsrecht der identifizierte Benutzer besitzt. Das Zugangsrecht kann z.B. beschränkt sein auf bestimmte Zeiten, insbesondere Wochentage, Uhrzeiten, oder Berechtigungszeitabschnitte. Wenn der Inkubator mehrere Inkubatortüren aufweist, kann das Zugangsrecht vorsehen, dass der Benutzer nurfür eine vorbestimmte Auswahl dieser Inkubatortüren das Zugangsrecht besitzt.
Vorzugsweise weist der Inkubator genau eine -oder auch mehrere- Inkubatortüre(n) zum Verschließen der Kammeröffnung auf. Die Inkubatortüre bildet im verschlossenen Zustand insbesondere einen Teil des Inkubatorgehäuses, dem das als thermischer Isolator der Inkubatorkammer des Inkubators dient. Die Inkubatortüre kann an ihrer Außenseite eine Benutzerschnittstelleneinrichtung aufweisen, insbesondere ein Display. Eine Datenverarbeitungseinrichtung des Inkubators bzw. der Benutzerschnittstelleneinrichtung kann dazu programmiert sein, ein von der Kamera des Inkubators aufgenommenes Bild des mindestens einen Lagerbereichs des Inkubators anzuzeigen.
Vorzugsweise weist der Inkubator einen Türsensor zum Erfassen des Öffnens bzw. des Schließens der Inkubatortüre auf. Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, die Überwachung des Innenraums des Inkubators, insbesondere die Generierung der Videodaten und/oder Standbilddaten, in Abhängigkeit von der Detektion einer Türöffnung des Inkubators zu starten, insbesondere mittels eines Türsensors, alternativ auch mittels eines Bewegungssensor oder Annäherungsdetektors. vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, die Überwachung des Innenraums des Inkubators, insbesondere die Generierung der Videodaten und/oder Standbilddaten zu starten, insbesondere in Abhängigkeit von der Detektion einer Türöffnung durch einen Benutzer, der mittels einer Benutzeridentifikationseinrichtung identifiziert wurde; vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert die Überwachung des Innenraums des Inkubators, insbesondere die Generierung der Videodaten, in Abhängigkeit von der Detektion einerTürschließung oder in Abhängigkeit von der Messung eines der genannten Sensoren des Inkubators zu beenden; insbesondere ist die Datenverarbeitungseinrichtung dazu programmiert mittels der Informationen aus der Benutzeridentifikationseinrichtung und der Objektverfolgungseinrichtung festzustellen, durch welchen Benutzer welches Objekt im Innenraum bewegt wurde, und die Benutzeridentifikationsdaten dieses Benutzers gemeinsam mit den Objektsidentifikationsdaten dieses Objektes in dem Datenspeicher zu speichern.
Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, aus dem Startbild, den Videodaten und/oder dem Endbild den Bewegungspfad, des mindestens einen Objektes innerhalb der Inkubatorkammer zu ermitteln und in Form von Bewegungshistoriedaten in dem Datenspeicher zu speichern, insbesondere zeitabhängig zu speichern. Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, aus dem Startbild, den Videodaten und/oder dem Endbild eine Bewegungshistorie des mindestens einen Objektes innerhalb der Inkubatorkammer zu ermitteln und in Form von Bewegungshistoriedaten in dem Datenspeicher zu speichern, insbesondere zeitabhängig zu speichern, vorzugsweise mit Informationen über Anzahl und/oder Zeitpunkte der mittels Türsensor ermittelten Änderungen des Status der Türöffnung (offen/geschlossen) der Inkubatortüre. Der Bewegungspfad enthält vorzugsweise gespeicherte Positionsdaten des Objektes, wobei diese Positionsdaten den Bewegungspfad des Objektes markieren, insbesondere zwischen einem Startbild und einem Endbild, insbesondere zwischen einer -insbesondere unbewegten oder auch bewegten- Startposition des Objektes und einer -insbesondere unbewegten- Endposition. Die Bewegungshistoriedaten enthalten vorzugsweise zeitabhängig gespeicherte Positionsdaten bzw. Bewegungspfade, vorzugsweise innerhalb mindestens eines Zeitabschnitts oder während des gesamten Aufenthaltes dieses Objektes im Inkubator. Bewegungshistoriedaten können auch Informationen zu dem die Positionsänderung auslösenden Benutzer in Form von Benutzeridentifikationsdaten umfassen. Dies ist insbesondere bei Objekten, die wertvolle Proben enthalten, von Vorteil.
Vorzugsweise weist der Inkubator ein Display (= einen Bildschirm) auf. Der Bildschirm ist vorzugsweise ein fester Bestandteil des Inkubators, insbesondere der Inkubatortüre. Er kann aber auch entfernt vom Inkubator angeordnet sein und kann insbesondere Bestandteil eines Externgerätes sein, das in einer Datenaustauschverbindung mit der Datenverarbeitungseinrichtung des Inkubators stehen kann.
Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, eine graphische Wiedergabe des Innenraums der Inkubatorkammer, insbesondere des mindestens einen Lagerbereichs, auf dem Bildschirm anzuzeigen. Die graphische Wiedergabe kann ein Foto des Lagerbereichs beinhalten, auf dem ein oder mehrere Bestandsobjekte des Inkubators angezeigt sein können. Der Lagerbereich kann insbesondere ein Regalbrett im Inkubator sein oder ein vorbestimmter Ausschnitt desselben. Das Foto kann ein mit der Kamera aufgenommenes Bild zeigen, dass gegebenenfalls nachbearbeitet sein kann. Vorzugsweise beinhaltet diese Nachbearbeitung, dass ein von der Kamera verzerrt aufgenommenes Bild begradigt wird. Algorithmen für solch eine Nachbearbeitung sind allgemein bekannt und frei verfügbar (for example: OpenCV, „Omnidirectional Camera Calibration“). Die Verzerrung kann insbesondere optisch bedingt sein und auf die Verwendung einer Weitwinkel- bzw. Fischaugenkamera zurückzuführen sein.
Die graphische Wiedergabe kann insbesondere eine abstrahierte Darstellung eines von der Kamera aufgenommenen Bildes oder Bildausschnitts sein. Beispielsweise kann die graphische Wiedergabe eine aus der Vogelperspektive (oder einer anderen Perspektive) gezeigter abstrahierter Lagerbereich sein, insbesondere die graphische Darstellung eines Rechtecks oder die perspektivische Darstellung eines Quaders. Die Bestandsobjekte können ebenfalls in abstrahierter Form dargestellt sein, z.B. als rechteckförmige oder quaderförmige graphische Bildobjekte. Ziel einer solchen Darstellung ist es insbesondere, dem Benutzer über den Standort des Objektes/der Objekte im Inkubator bzw. im Lagerbereich zu informieren. Dies ermöglicht einen schnellen Zugriff des Benutzers auf das/die gewünschte^) Objekt(e) und minimiert die Zeit, in der die Inkubatortüre geöffnet ist. Im Fall, dass die Differenzierung zwischen in einem Stapel aus Objekten enthaltenen Einzelobjekten ermöglicht werden soll, ist eine graphische Wiedergabe aus einer von der Vogelperspektive abweichenden Perspektive sinnvoll, beispielsweise aus einer seitlichen Perspektive, um einzelne Objekte eines Stapels graphisch hervorheben zu können.
Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, graphisch anzuzeigen, wo das durch die Objektpositionsdaten, also die ID-Positionsdaten, identifizierte Objekt im Lagerbereich bzw. Im Innenraum der Inkubatorkammer positioniert ist, bzw. um graphisch anzuzeigen, wo alle im Innenraum lokalisierten Objekte angeordnet sind. Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, in Abhängigkeit von mindestens einem Bedingungsparameter ein Objekt oder mehrere Objekte im Display graphisch hervorzuheben. Der Bedingungsparameter kann die Benutzendentifikationsdaten bezeichnen:
Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, in Abhängigkeit von Benutzeridentifikationsdaten eines Benutzers (Einzelnutzer, einer Nutzergruppe, oder mehrere Benutzer) ein Objekt oder mehrere Objekte graphisch hervorzuheben, das dem Benutzer als Eigentum zugeordnet ist, nämlich z.B. indem die benutzerbezogenen ID-Po- sitionsdaten die Benutzeridentifikationsdaten dieses Benutzers enthalten. Eigentümer ist derjenige, der das Objekt betreut und -in den meisten Fällen selber oder mithilfe einer Hilfsperson- in die Inkubatorkammer eingestellt hat. Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, ausgehend von vorgegebenen Benutzeridentifikationsdaten festzustellen, wo die diesen Benutzeridentifikationsdaten mittels der benutzerbezogenen Objektpositionsdaten zugeordneten Objekte positioniert sind und, insbesondere, diese Objekte graphisch hervorzuheben.
Der Bedingungsparameter kann auch Informationen über eine Zeitdauer oder einen Zeitpunkt beinhalten, z.B. die Zeitdauer mit der ein Objekt bereits in der Inkubatorkammer angeordnet war. Dadurch kann ein Benutzer sich schnell einen Überblick darüber verschaffen, wie lange ein oder mehrere Objekte bereits in der Inkubatorkammer lagern, eventuell dort von ihrem Eigentümer vergessen wurden. Oder der Inkubator kann abhängig von einem mittels eines Sensors des Inkubators detektierten Ereignisses oder abhängig von einem Zeitplan, der im Inkubator oder einem Externgerät gespeichert sein kann, ein oder mehrere Objekte graphisch hervorheben, die der Aufmerksamkeit des Benutzers bzw. des Laborpersonals bedürfen.
Oder der Bedingungsparameter kann, im Falle der Implementierung einer Objektklassenerkennung, Informationen über eine bestimmte Objektklasse beinhalten. Es können so ein oder mehrere Objekte derselben Objektklasse (oder der davon abweichenden Objektklassen) graphisch hervorgehoben werden, beispielsweise um den Standort aller Petrischalen (und nicht: Zellkulturflaschen) im Inkubatorinnenraum hervorzuheben. Oder der Bedingungsparameter kann, im Falle der Implementierung einer Objektindividualerkennung, Informationen überein bestimmtes Objektindividuum beinhalten. Auf diesem Weg lässt sich eine Objektsuche anhand von Individualmerkmalen umsetzen, indem z.B. der Inkubator Mittel zur Eingabe von Individualmerkmalen aufweist, z.B. einen Barcode, QR-Code, eine individuelle Beschriftung oder ein Foto des individuellen Objektes. Es kann so das individuelle Objekt graphisch hervorgehoben und leicht gefunden werden.
Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, eine graphische Wiedergabe des Innenraums der Inkubatorkammer, insbesondere des mindestens einen Lagerbereichs, auf dem Bildschirm anzuzeigen und insbesondere, den im Inkubator verfügbaren freien Lagerplatz graphisch anzuzeigen bzw. hervorzuheben. Beispielsweise kann der Lagerbereich abstrahiert gezeigt werden und eine freie Lagerposition (oder mehrere verfügbare freie Lagerplätze) können graphisch hervorgehoben sein, indem der entsprechende Bereich z.B. in grüner oderweißer, oder einer zeitlich wechselnden (Blinken), Kontrastfarbe zum Hintergrund dargestellt wird. Auf diese Weise muss der Benutzer keine Zeit darauf verwenden, einen möglichen freien Lagerplatz zu suchen, oder einen solchen durch Bewegung von Bestandsobjekten zu schaffen.
Zudem kann, ähnlich der Funktion eines Parkwächters, die Datenverarbeitungseinrichtung dazu programmiert sein, die Belegung des Innenraums der Inkubatorkammer bzw. des mindestens einen Lagerbereichs zu planen und insbesondere auf diese Weise die Nutzung der verfügbaren Lagerfläche zu optimieren. Dazu kann die Datenverarbeitungseinrichtung dazu programmiert sein, vorbestimmte Abstände zwischen einem oder mehreren Bestandsobjekte zu einem neu einzustellenden Objekt zu berücksichtigen und insbesondere dem Benutzer vorzuschlagen, indem der freie Lagerplatz entsprechend als verfügbar und/oder nicht verfügbar hervorgehoben angezeigt wird. Gemäß dieser Beispiele kann der Inkubator ein computer-/softwareimplementiertes Planungsprogramm zur Belegung des Innenraums des Inkubators aufweisen, das insbesondere die Position mindestens eines Objekts im Innenraum (Bestandsobjekts) und/oder insbesondere den frei verfügbaren Lagerplatz berücksichtigt, eventuell auch die Zeitpunkte zu denen das mindestens eine Be- Standsobjekt neu eingestellt wurde, oder Zeitpunkte in der Zukunft, an denen das Einstellen weiterer Objekte in den Inkubator geplant sind. Solche Zeitpunkte können insbesondere bekannt sein, wenn der Inkubator mit einem Laborinformationssystem (LIS) oder einem anderen (Labor-)Datenaustauschnetzwerk verbunden ist. Der Inkubator weist vorzugsweise einen Zeitgeber auf, eine Uhr, oder einen Zeitmesser.
Es ist aber auch möglich und besonders bevorzugt, dass die Datenverarbeitungseinrichtung des Inkubators (nachfolgend: „erste
Datenverarbeitungseinrichtung“) die Durchführung einer Messung mindestens eines Messwertes steuert, um insbesondere eine die Atmosphäre im Innenraum der Inkubatorkammer kennzeichnenden Parameter (Temperatur, Gaspartialdruck) zu messen. Auf diese Weise kann beim Betrieb des Objektverfolgungssystems von der ersten Datenverarbeitungseinrichtung berücksichtigt werden, dass der Betrieb von elektrischen Einrichtungen innerhalb der Inkubatorkammer eventuell zu Abwärme führt, welche die Kammeratmosphäre in inakzeptablem Maße erwärmt. Die Steuereinrichtung des Inkubators kann deshalb insbesondere dazu eingerichtet sein, den Betrieb der elektrischen Einrichtungen, insbesondere der mindestens einen Kamera innerhalb der Inkubatorkammer in Abhängigkeit von mittels Temperatursensoren erfassten Temperaturen der Kammeratmosphäre zu steuern. Die Steuereinrichtung des Inkubators kann insbesondere dazu eingerichtet sein, die Temperierung der Kammeratmosphäre mittels der mindestens einen Temperiereinrichtung des Inkubators und den Betrieb der elektrischen Einrichtungen innerhalb der Inkubatorkammer in Abhängigkeit voneinander zu steuern, um die unerwünschte Erwärmung der Kammeratmosphäre zu kompensieren.
Es ist möglich und besonders bevorzugt, dass eine Datenverarbeitungseinrichtung des Inkubators dazu programmiert ist, einen Belegungszustand des Innenraums der Inkubatorkammer zu ermitteln, und/oder vorzugsweise zu Durchführung einer oder mehrerer der folgenden Schritte programmiert ist, insbesondere in Abhängigkeit von den ID-Positionsdaten des mindestens einen im Innenraum angeordneten Objektes einen Belegungszustand des Innenraums der Inkubatorkammer zu ermitteln, in Abhängigkeit von den klassenbezogene ID-Positionsdaten des mindestens einen im Innenraum angeordneten Objektes einen Belegungszustand des Innenraums der Inkubatorkammer zu ermitteln, in Abhängigkeit von den individualbezogenen ID-Positionsdaten des mindestens einen im Innenraum angeordneten Objektes einen Belegungszustand des Innenraums der Inkubatorkammer zu ermitteln.
Ein Belegungszustand des Innenraums kann durch Informationen definiert sein, die das im Innenraum von dem mindestens einen Objekt eingenommene Volumen beschreiben, und/oder die das im Innenraum von dem mindestens einen Objekt nicht eingenommene Volumen, also das freie Volumen beschreiben, und/oder die von dem mindestens einen Objekt eingenommene Lagerfläche auf mindestens einem Lagerbereich bzw. auf dem insgesamt verfügbaren Lagerbereich im Innenraum der Inkubatorkammer, und/oder die von dem mindestens einen Objekt nicht eingenommene, also die freie, Lagerfläche auf mindestens einem Lagerbereich bzw. auf dem insgesamt verfügbaren Lagerbereich im Innenraum der Inkubatorkammer, wobei diese Angaben jeweils auf das gesamte Innenraumvolumen bzw. die gesamte Lagerfläche bezogen sein können, wobei diese Informationen z.B. das Verhältnis eines nicht verfügbaren (belegten) oder eines freien (nicht belegten) Innenraumvolumens zum Gesamtvolumen des Innenraums beinhalten können, oder wobei diese Informationen z.B. das Verhältnis einer nicht verfügbaren (belegten) oder einer freien (nicht belegten) Lagerfläche zur Gesamtlagerfläche im Innenraum beinhalten können.
Belegungszustandsdaten, welche die Informationen über den Belegungszustand enthalten, können auch die ID-Positionsdaten, klassenbezogene ID-Positionsdaten und/oder individualbezogene ID-Positionsdaten enthalten. Auf diese Weise ist die Angabe einer Ortsauflösung der Belegung möglich, also die Angabe zur Lokalisation der Belegung im Innenraum, bzw. eine Dichteverteilung der Objekte im Innenraum.
Es ist möglich und besonders bevorzugt, dass eine Datenverarbeitungseinrichtung des Inkubators dazu programmiert ist, Informationen über den Belegungszustand des Inkubators in Form von Belegungszustandsdaten in einem Datenspeicher zu speichern, insbesondere auf ein externes Datenverarbeitungsgerät, insbesondere eines Laborgeräts, eines PCs, oder eines mobilen Computers, insbesondere eines Tabletcomputers oder eines Smartphones zu übertragen. Diese Informationen sind insbesondere abrufbar gespeichert, insbesondere abrufbar vom Benutzer mittels einer Benutzerschnittstelleneinrichtung.
Es ist möglich und besonders bevorzugt, dass eine Datenverarbeitungseinrichtung des Inkubators dazu programmiert ist, Informationen über den Belegungszustand des Inkubators auf einem Bildschirm des Inkubators oder eines externen Datenverarbeitungsgeräts anzuzeigen, insbesondere in Abhängigkeit von Belegungszustandsdaten, die einem Datenspeicher entnommen sein können. Das externe Datenverarbeitungsgerät kann Teil eines Laborgeräts, PCs, eines mobilen Computers, insbesondere eines Tabletcomputers oder eines Smartphones sein.
In Testserien, die Ausführungsformen der vorliegenden Erfindung zugrunde liegen, wurde festgestellt, dass der sich nach einer Öffnung der Inkubatortüre aufgrund der Temperaturregelung ergebende zeitliche Temperaturverlauf in der Inkubatorkammer von dem Belegungszustand der Inkubatorkammer abhängt. Ist ein größeres Volumen des Kammerinnenraums durch Bestandsobjekte belegt, so liegt ein geringeres freies Kammerinnenraumvolumen vor, dass sich aus der Differenz des Kammerinnenraums und des von den Objekten eingenommenen Belegungsvolumens ergibt. Eine auf die Regelung des gesamten Innenraumvolumens ausgelegte Temperaturregelung wird in dieser Situation eventuell andere, nicht erwünschte Resultate erzielen. Es kann zu einem raschen Überschwingen kommen, das unerwünscht ist, auch wenn dabei die Wiederherstellung der Zieltemperatur, z.B. 37 °C, beschleunigt sein kann, d.h. auch wenn sich die Erholungszeit dabei verkürzt. Wenn mehrere neue Objekte mit niedrigeren Temperaturen als der Zieltemperatur neu eingestellt werden, kann es auch zu einer Verzögerung der Erholungszeit kommen, die Kenntnis über kältere, neu eingestellte Objekte kann aber ebenfalls zu einer Anpassung der Temperaturregelung verwendet werden. Die Temperaturregelung der Temperatur im Innenraum der Inkubatorkammer hängt von Regelungsparametern ab.
Vorzugsweise ist eine elektronische Steuereinrichtung des Inkubators dazu eingerichtet bzw. programmiert, dass mindestens eine Temperiereinrichtung des Inkubators, die zur Temperierung der Inkubatorkammer angeordnet ist, während der Temperaturregelung in Abhängigkeit von der Zeit t mit der elektrischen Leistung Ptemp(t) betrieben wird. Insbesondere kann der Inkubator dazu eingerichtet sein, dass die Temperiereinrichtung mittels einer Pulsweitenmodulation (PWM) des Stroms betrieben wird. Die Leistung wird dann insbesondere durch den Tastgrad der PWM bestimmt, da die Amplitude des Stroms vorzugsweise konstant ist. Insbesondere die genannten Größen können Variablen der Temperaturregelung sein, also Regelungsparameter.
Vorzugsweise ist eine elektronische Steuereinrichtung des Inkubators dazu eingerichtet bzw. programmiert, dass die Temperaturregelung oder die Regelung der Inkubatorgaszuführung (z.B. CO2, N2, und/oder O2), insbesondere mindestens ein Regelungsparameter, in Abhängigkeit vom Belegungszustand der Inkubators angepasst werden kann. Auf diese Weise lässt sich der Einfluss von im Innenraum der Inkubatorkammer angeordneten Objekten auf das Ansprechverhaltendes geregelten Systems berücksichtigen. Insbesondere lässt sich die Erholungszeit im Falle einer größeren Belegung des Innenraums reduzieren.
Die Datenverarbeitungseinrichtung des Objektverfolgungssystems ist vorzugsweise separat zu einer ersten Datenverarbeitungseinrichtung des Inkubators. Sie kann aber auch Bestandteil der Steuereinrichtung des Inkubators (auch bezeichnet als „erste Steuereinrichtung“) sein, die Funktionen des Inkubators steuert. Die Funktionen der Steuereinrichtung sind insbesondere durch elektronische Schaltkreise implementiert. Die Datenverarbeitungseinrichtung des Objektverfolgungssystems kann mindestens eine CPU, und/oder mindestens eine GPU aufweisen. Eine GPU kann zur Bildverarbeitung oder der Durchführung von Deep Learning-Prozessen vorgesehen sein. Alternativ zu einer CPU, oder einer GPU kann die Datenverarbeitungseinrichtung auch einen dedizierten Chip, z.B. den Nvidia Jetson, zur Bildverarbeitung oder der Durchführung von Deep Learning-Prozessen aufweisen, die vorzugsweise bei der Objektverfolgung, insbesondere bei einer möglichen Objektklassifizierung oder Objektindividualerkennung verwendet werden können. Solche dedizierten Chips kann man als Rechenbeschleuniger zur Datenverarbeitungseinrichtung hinzufügen. Eine GPU ist auf vielen System on a Chip Systemen (SoC) schon vorhanden (für die Wdergabe von Grafik und Videos). Ein Raspberry PI kann ebenfalls als Teil des SOCs eine dedizierte GPU Einheit aufweisen. Die Datenspeichereinrichtung weist vorzugsweise mindestens einen Datenspeicher auf, der insbesondere ein flüchtiger oder ein nicht-flüchtiger Datenspeicher sein kann. Die vom Inkubator erfassten oder empfangenen Daten sind auf diesem mindestens einen Datenspeicher speicherbar, insbesondere in mindestens einer Datenbank, die in mindestens einem Datenspeicher gespeichert sein kann. Zu diesen Daten gehören insbesondere mindestens eine oder alle der folgenden Datenarten: Identifikationsdaten, ID-Positionsdaten, Benutzendentifikationsdaten, benutzerbezogene ID-Positionsdaten, Objektsidentifikationsdaten, Bewegungshistoriedaten, klassenbezogene ID- Positionsdaten, individualbezogene ID-Positionsdaten, Belegungszustandsdaten, Objektdaten, Bilddaten, Standbilddaten, Videobilddaten. Die Datenspeichereinrichtung ist vorzugsweise Bestandteil des Inkubators, also insbesondere in einem Gehäuse des Inkubators angeordnet. Sie kann aber auch Bestandteil eines externen Datenverarbeitungsgeräts sein, mit dem der Inkubator bzw. dessen Datenverarbeitungseinrichtung kommuniziert.
Das Objektverfolgungssystem kann eine Steuerungseinrichtung aufweisen, die separat zur ersten Steuereinrichtung vorgesehen sein kann. Die Begriffe „Steuereinrichtung“ und „Steuerungseinrichtung“ werden in dieser Beschreibung synonym verwendet. Eine Steuereinrichtung kann einen Mikroprozessor aufweisen, der die Datenverarbeitungseinrichtung beinhalten kann. Der Mikroprozessor kann vom Typ „Raspberry Pi“ sein. Die Steuereinrichtung und/oder die Datenverarbeitungseinrichtung ist vorzugsweise zur Durchführung eines Steuerungsverfahrens ausgebildet, das auch als Steuerungssoftware oder Steuerungsprogramm bezeichnet wird -jeweils bezogen auf den Inkubator und/oder das Objektverfolgungssystem. Die Funktionen des Inkubators und/oder des Objektverfolgungssystems und/oder der Steuereinrichtung und/oder der Datenverarbeitungseinrichtung können in Verfahrensschritten beschrieben werden. Sie können als Bestandteile des Steuerungsprogramms realisiert sein, insbesondere als Unterprogramme des Steuerungsprogramms.
Eine Steuereinrichtung weist im Rahmen der vorliegenden Erfindung generell insbesondere die Datenverarbeitungseinrichtung, insbesondere eine Recheneinheit (CPU) zum Verarbeiten von Daten und/oder einen Mikroprozessor auf oder ist die Datenverarbeitungseinrichtung. Die Datenverarbeitungseinrichtung der Steuereinrichtung des Inkubators kann vorzugsweise auch zum Steuern des Objektverfolgungssystems eingerichtet sein.
Die Datenverarbeitungseinrichtung des Objektverfolgungssystems ist vorzugsweise eine außerhalb der Inkubatorkammer oder des Inkubators und insbesondere optional getrennt von dieser/diesem angeordnete Vorrichtung, auch als externe Vorrichtung bzw. externe Datenverarbeitungseinrichtung bezeichnet. Die Datenverarbeitungseinrichtung und der Inkubator stehen vorzugsweise in einer Datenverbindung und sind vorzugsweise Bestandteile eines Netzwerks zum Datenaustausch.
Die mindestens eine Kamera des Objektverfolgungssystems ist vorzugsweise über eine Kabelverbindung mit der Steuereinrichtung bzw. Datenverarbeitungseinrichtung des Objektverfolgungssystems verbunden. Dazu weist die Inkubatorkammer eine Durchgangsöffnung auf, durch die das Kabel der Kabelverbindung geführt ist. Dabei ist vorzugsweise eine Dichtung, insbesondere Silikondichtung vorgesehen, die den Port abdichtet, um eine Beeinflussung der Atmosphäre im Inkubator (weitestgehend) zu verhindern. Alternativ ist die Kamera für einen kabellosen Datenaustausch mit der Steuereinrichtung bzw. Datenverarbeitungseinrichtung verbunden, z.B. per Bluetooth oder WLAN.
Der Inkubator kann ein Teilgehäuse aufweisen, in dem insbesondere mindestens eine Steuerungseinrichtung (des Inkubators und/oder des Objektverfolgungssystems) angeordnet ist. Das Teilgehäuse ist vorzugsweise an der Rückseite des Inkubators, also insbesondere gegenüberliegend der Inkubatortüre angeordnet.
Das System, der Inkubator und/oder das des Objektverfolgungssystem und/oder die Datenverarbeitungseinrichtung und/oder die Steuerungseinrichtung sind vorzugsweise dazu eingerichtet, die Positionsdaten des mindestens einen Objektes oder einer Vielzahl von Objekten zur Bildung einer elektronischen Dokumentationsdatei zu verwenden, in der die Bewegung der Objekte protokolliert und dokumentiert wird. Diese Dokumentationsdatei wird dann insbesondere in einer Datenspeichereinrichtung gespeichert und vorzugsweise laufend aktualisiert. Auf diese Weise kann ein „korrekter“ Umgang mit den Objekten gemäß Standartprotokollen bei Bedarf zertifiziert werden. Andererseits können nachträglich Abweichungen von Standartprotokollen ermittelt werden und/oder Informationskorrelationen ermittelt werden. Durch die Erfassung solcher Daten kann die Qualität von zellbasierten Laborarbeiten bzw. medizinischen, biologischen und pharmazeutischen Verfahren erheblich verbessert werden und zuverlässiger werden. Die Reproduzierbarkeit der zell-basierten Laborarbeiten kann erhöht werden, Abweichungen von normalen Eigenschaften können frühzeitige erkannt werden, um dem Anwender die Möglichkeit einer Korrektur oder frühzeitigen Wiederholung des Experiments zu geben. Die Dokumentationsdatei kann dem Benutzer oder einer externen Datenverarbeitungseinrichtung von der Steuerungseinrichtung über Datenaustausch bereitgestellt werden. Insbesondere in kritischen Anwendungen, die z.B. einen forensischen Bezug haben oder bei denen Zellen von erheblichen Wert kultiviert werden, ist eine solche Dokumentation besonders sinnvoll.
Der Inkubator ist ein Labor-Inkubator und damit ein Gerät, mit dem kontrollierte Klimabedingungen für verschiedene biologische Entwicklungs- und Wachstumsprozesse geschaffen und erhalten werden können. Der Inkubator kann vorzugsweise ein Shaker, also ein Inkubator mit einer Bewegungseinrichtung zur Bewegung von in der Inkubatorkammer angeordneten Objekten, sein oder diesen beinhalten. Der Inkubator kann eine Zellkultivierungsvorrichtung sein, ein Microbial incubator (auch ohne CO2). Der Inkubator dient insbesondere der Schaffung und Erhaltung eines Mikroklimas mit geregelten Gas-, und/oder Luftfeuchtigkeits- und/oder Temperatur-Bedingungen in der Inkubatorkammer, wobei diese Behandlung zeitabhängig sein kann. Der Labor-Inkubator, insbesondere eine Behandlungseinrichtung des Labor-Inkubators, kann insbesondere einen Zeitgeber aufweisen, insbesondere eine Zeitschaltuhr, eine Heiz-/Kühleinrichtung und vorzugsweise eine Einstellung für die Regelung eines der Inkubatorkammer zugeführten Austauschgases, eine Einstelleinrichtung für die Zusammensetzung des Gases in der Inkubatorkammer des Inkubators, insbesondere zur Einstellung des CO2 und/oder des O2 und/oder des N2-Gehalts Gehalts des Gases und/oder eine Einstelleinrichtung zur Einstellung der Luftfeuchtigkeit in der Inkubatorkammer des Inkubators. Der Inkubator, insbesondere eine Behandlungseinrichtung des Inkubators, weist insbesondere die Inkubatorkammer auf, ferner vorzugsweise eine Regeleinrichtung mit mindestens einem Regelkreis, dem als Stellglied die mindestens eine Heiz- /Kühleinrichtung und als Messglied mindestens eine Temperaturmesseinrichtung zugeordnet sind. Mittels der Regeleinrichtung kann die Temperatur im Inkubator geregelt werden. Je nach Ausführungsform kann darüber auch die Luftfeuchte geregelt werden. Eine mit Wasser gefüllte Wanne in der Inkubatorkammer kann geheizt oder gekühlt werden, um über die Verdunstung die Luftfeuchtigkeit einzustellen. CO2-lnkubatoren dienen insbesondere der Kultivierung tierischer bzw. humaner Zellen. Inkubatoren können Wendevorrichtungen zum Wenden des mindestens einen Zellkulturbehälters und/oder eine Schütteleinrichtung zum Schütteln bzw. Bewegen der des mindestens einen Zellkulturbehälters aufweisen. Der erfindungsgemäße Inkubator ist insbesondere nicht ein Bioreaktor und/oder Fermentor.
Eine Sensoreinrichtung weist insbesondere mindestens einen Temperatursensor auf, vorzugsweise eine Vielzahl von Temperatursensoren. Ein Temperatursensor kann beispielsweise ein Pt 100- oder Pt 1000-Temperaturfühler sein. Eine Sensoreinrichtung weist vorzugsweise einen Sensor zur Ermittlung einer relativen Gaskonzentration auf, insbesondere zur Ermittlung des Gehalts an CO2 und/oder O2 und/oder N2. Eine Sensoreinrichtung weist vorzugsweise einen Sensor zur Ermittlung der relativen Luftfeuchtigkeit auf.
Ein Inkubator weist vorzugsweise eine bzw. eine einzige Inkubatorkammer auf. Diese kann in Kompartimente unterteilt sein. Kompartimente können durch -insbesondere gelochte- Lagerplatten getrennt sein, wobei insbesondere ein Gasaustausch zwischen den Kompartimenten ermöglicht ist. Eine Lagerplatte, insbesondere deren untere Seite, kann zum Halten der Kameraeinrichtung eingerichtet sein und kann insbesondere eine Halterung für die Kameraeinrichtung aufweisen. Eine Lagerplatte, insbesondere deren untere Seite, kann zum Halten der Beleuchtungseinrichtung eingerichtet sein und kann insbesondere eine Halterung für die Beleuchtungseinrichtung aufweisen.
Die Inkubatorkammer weist Kammerwände bzw. Kammerinnenwände und genau eine oder mindestens eine Kammeröffnung auf, über die die Objekte bzw. Zellkulturbehälter im Inneren der Inkubatorkammer platzierbar und entnehmbar sind. Diese Kammeröffnung ist durch ein mit der Inkubatorkammer beweglich verbundenes Verschlusselement verschließbar, insbesondere eine mittels Scharnier an der Inkubatorkammer beweglich montierte Inkubatortüre, insbesondere eine oder mehrere Kammertüren. Ein Inkubator kann eine oder mehrere Innentüren aufweisen, die insbesondere transparent sein können, und kann eine Außentür aufweisen, welche insbesondere die Inkubatorkammer und gegebenenfalls mindestens einer innere Inkubatortüre, welche die Kammeröffnung verschließt bzw. öffnet, zur Umgebung hin thermisch isoliert. Vorzugsweise werden vom Bilderfassungssystem Bilder bei geschlossener Inkubatortüre bzw. Außentüre erfasst, damit ein Umgebungslicht keinen Einfluss auf die Beleuchtung des Lagerbereichs nimmt, die vorzugsweise ausschließlich durch die Beleuchtungseinrichtung erfolgt. Dies führt zu besonders gut reproduzierbaren, gut vergleichbaren und einfach durch Bildverarbeitungsalgorithmen auswertbaren Bildaufnahmen. Dennoch ist es auch möglich, dass die Bildaufnahmen bei geöffneter Inkubatortüre, insbesondere Außen- und/oder Innentüre erstellt werden.
In der verschlossenen Position der Kammeröffnung ist das Innere der Inkubatorkammer gegen die Umgebung vorzugsweise in der Weise isoliert, so dass im Inneren eine gewünschte, vom Inkubator gesteuerte Atmosphäre einstellbar, insbesondere regelbar ist. In der geöffneten Position der Kammeröffnung ist über diese Öffnung ein Gasaustausch zwischen der Umgebung des Inkubators und dem Inneren der Inkubatorkammer möglich. Die Kammeröffnung befindet sich typischer Weise in einer die Kammeröffnung umlaufenden Frontwand.
Die Inkubatorkammer weist vorzugsweise mehrere Wände bzw. Innenwandflächen auf, die insbesondere einstückig und insbesondere kantenfrei miteinander verbunden sein können. Die Wände bzw. Innenwandflächen sind vorzugsweise im Wesentlichen planar geformt, können aber auch alle oder zum Teil eine geschwungene Form aufweisen. Die Inkubatorkammer ist vorzugsweise quaderartig geformt, kann aber auch anders geformt sein, z.B. sphärisch, ellipsoid, polyederförmig. Die Wände bzw. Innenwandflächen sind vorzugsweise aus einem korrosionsarmen Material gefertigt, insbesondere Edelstahl, Kupfer, Messing, oder ein Kunststoff, insbesondere ein Verbundkunststoff. Dadurch wird die Reinigung/ Desinfektion des Kammerinneren erleichtert. Unabhängig von der Kammeröffnung, die dem Bestücken / Entnehmen von Objekten bzw. Zellkulturbehältern dient, kann die Inkubatorkammer mindestens einen Port zum Durchführen einer entsprechend dimensionierten Vorrichtung bzw. einer Kabelverbindung aus dem Inneren der Inkubatorkammer an deren Außenseite oder in die Umgebung des Inkubators aufweisen.
Vorzugsweise sind die Oberflächen der Inkubatorinnenwände nicht-glänzend bzw. nichtreflektierend ausgestaltet, insbesondere durch Verwendung einer matten Oberfläche. Die Oberfläche der Inkubatorinnenwand kann durch eine Oberflächenbehandlung mattiert sein. Die Oberflächenbehandlung kann insbesondere Schleifen mit einem Schleifmittel sein, das insbesondere eine bestimmte Körnung aufweisen kann. Die Oberflächenbehandlung kann insbesondere Bestrahlen mit einem Strahlmittel, insbesondere Sand oder Glasperlen insbesondere per Druckluft, sein, das insbesondere eine bestimmte Körnung bzw. einen charakteristischen Partikeldurchmesser aufweisen kann. Dadurch können störende Reflexionen in einer Bildaufnahme verhindert bzw. reduziert werden.
Eine typische Größe des Inneren einer Inkubatorkammer liegt zwischen 50 und 400 Litern.
Der Inkubator kann genau eine Inkubatorkammer aufweisen, kann aber auch mehrere Inkubatorkammern aufweisen, deren Atmosphäre (Temperatur, relative Gaskonzentration, Luftfeuchte) insbesondere individuell oder gesammelt einstellbar sein kann. Ein Inkubator kann mehrere Inkubatorkammern aufweisen, die jeweils eine eigene Kammeröffnung und eine eigene Kammertüre zum Verschließen der Kammeröffnung aufweisen können.
Der Inkubator kann ein Gehäuse aufweisen, dass die Inkubatorkammer teilweise oder vollständig umgibt. Das Gehäuse kann im Wesentlichen quaderförmig ausgebildet sein, und kann insbesondere derart ausgebildet sein, dass der Inkubator stapelbar ist. Ein Lagerbereich des Inkubators ist insbesondere durch eine Lagerplatte, insbesondere einen Regalblecheinsatz und/oder eine bewegte Plattform realisiert, die/der insbesondere aus Edelstahl oder Kuper oder ähnlichem bestehen kann oder dieses Material aufweist. Eine Lagerplatte dient als Bodenplatte, insbesondere als Zwischenbodenplatte. Die Lagerplatte kann der Inkubatorkammer entnehmbar sein („Lagerplatteneinsatz“) oder kann fest eingesetzt mit dieser verbunden sein. Die Inkubatorkammer kann Halteabschnitte oder einen Haltrahmen zum Halten eines oder mehrerer Lagerplatteneinsätze oder einsetzbarer Instrumente aufweisen. Eine Lagerplatte kann an ihrer Unterseite zum Halten einer Kamera eingerichtet sein, insbesondere eine Halterung für diese Kamera aufweisen. Alternativ oder zusätzlich kann mindestens eine der Innenwände der Inkubatorkammer zum Halten eines oder mehrerer Lagerplatteneinsätze oder einsetzbarer Instrumente eingerichtet sein. Dazu kann eine in die Wand integrierte Haltestruktur vorgesehen sein, insbesondere ein oder mehrere Vorsprünge, Rinnen oder Stege. Eine Lagerplatte vergrößert die verfügbare Lagerfläche in der Inkubatorkammer.
Vorzugsweise sind im Wesentlichen alle Oberflächen oder mindestens eine Oberfläche der mindestens eine Lagerplatte nicht-glänzend bzw. nicht-reflektierend ausgestaltet, insbesondere durch Verwendung einer matten Oberfläche. Die Oberfläche der Inkubatorinnenwand kann durch eine Oberflächenbehandlung mattiert sein. Die Oberflächenbehandlung kann insbesondere Schleifen mit einem Schleifmittel sein, das insbesondere eine bestimmte Körnung aufweisen kann. Die Oberflächenbehandlung kann insbesondere Bestrahlen mit einem Strahlmittel, insbesondere Sand oder Glasperlen insbesondere per Druckluft, sein, das insbesondere eine bestimmte Körnung bzw. einen charakteristischen Partikeldurchmesser aufweisen kann. Dadurch können störende Reflexionen in einer Bildaufnahme verhindert bzw. reduziert werden.
Ein Halterahmen für die mindestens eine Lagerplatte ist ebenfalls vorzugsweise aus einem nicht-korrosiven Material gefertigt, vorzugsweise Edelstahl. Der Halterahmen ist vorzugsweise als stehendes Objekt ausgelegt, indem er mindestens einen Sockelabschnitt aufweist, der auf der Bodenwand der Inkubatorkammer ruht. Er kann sich aber auch an den Seitenwänden der Inkubatorkammer abstützen und/oder an der Deckenwand der Inkubatorkammer aufgehängt sein. Eine Lagerplatte erstreckt sich vorzugsweise - und insbesondere im Wesentlichen vollständig- über einen horizontalen Querschnitt der Inkubatorkammer.
Vorzugsweise weist ein Inkubator mindestens zwei Lagerplatten auf, die übereinander angeordnet sind. Der Volumenbereich zwischen zwei Lagerplatten, bzw. zwischen einer Bodenwand der Inkubatorkammer und einer untersten Lagerplatte oder zwischen einer Deckenwand der Inkubatorkammer und einer obersten Lagerplatte kann als Lagerkompartiment bezeichnet werden. Ein Lagerkompartiment kann insgesamt als Lagerbereich aufgefasst werden. Die zum Lagern geeignete Oberfläche einer Lagerplatte kann als Lagerbereich aufgefasst werden. Die Höhe eines Lagerkompartiments ist vorzugsweise so bemessen, dass ein Objekt einer bestimmten Maximalhöhe (gemessen senkrecht zur planaren Oberfläche einer Lagerplatte) bzw. ein Objektstapel von Objekten einer bestimmten Maximalhöhe des Stapels auf der Lagerplatte abstellbar ist. Die Maximalhöhe kann insbesondere im Wesentlichen dem Abstand zweier Lagerplatten entsprechen.
Der Abstand zwischen zwei Lagerplatten bzw. die Maximalhöhe beträgt insbesondere zwischen 5 cm und 50 cm, vorzugsweise zwischen 10 cm und 30 cm, vorzugsweise zwischen 10 cm und 20 cm, vorzugsweise zwischen 12 cm und 18 cm.
Der Inkubator kann ein Gehäuse aufweisen, dass die Inkubatorkammer teilweise oder vollständig umgibt. Das Gehäuse kann im Wesentlichen quaderförmig ausgebildet sein, und kann insbesondere derart ausgebildet sein, dass der Inkubator stapelbar ist.
Vorzugsweise weist der Inkubator eine Behandlungseinrichtung zur Behandlung des mindestens einen Objekts, insbesondere Zellkulturbehälters auf. Der Begriff „Behandlung“ bedeutet insbesondere, dass ein Objekt, insbesondere eine Zellkultur oder ein Zellkulturbehältnis bewegt, und/oder transportiert und/oder untersucht und/oder verändert wird, insbesondere physikalisch, chemisch, biochemisch oder auf andere Weise verändert wird. Eine Behandlungseinrichtung kann eine Bewegungseinrichtung sein, mittels der das Zellmedium in mindestens einem Zellkulturbehälter in Bewegung gehalten wird, vorzugsweise über ein Bewegungsprogramm, das vom Steuerprogramm gesteuert wird. Eine Bewegungseinrichtung kann eine Schüttel- oder Schwenkeinrichtung sein. Eine Bewegungseinrichtung weist vorzugsweise eine Trägereinrichtung auf, insbesondere eine Platte, auf der ein oder mehrere Zellkulturbehälter abgestellt und/oder fixiert werden. Eine Bewegungseinrichtung weist vorzugsweise eine Antriebseinrichtung auf, insbesondere im Fall einer Schütteleinrichtung beispielsweise einen Oszillatorantrieb, insbesondere in Kombination mit einem Exzenter, mittels dem das gewünschte Bewegungsprogramm umgesetzt wird. Die Gestaltung des Bewegungsprogramms kann vom Wachstumsstadium der Zellen einer Zellkultur abhängen und kann von der Zellart, insbesondere einer Zelllinie abhängen. Die Gestaltung und/oder Steuerung der Behandlung, insbesondere des Bewegungsprogramms, kann von den Zellüberwachungsdaten abhängen. Die Eine Behandlungseinrichtung kann eine Schwenkeinrichtung sein, mittels der mindestens ein Zellkulturbehälter geschwenkt wird. Die Bestandteile der Schwenkeinrichtung können denen der Schütteleinrichtung entsprechen, sind aber für eine Schwenkbewegung eingerichtet.
Eine Behandlungseinrichtung kann auch eine Transporteinrichtung sein, mittels der mindestens ein Zellkulturbehälter in der Inkubatorkammer transportierbar ist. Die Transporteinrichtung kann eine Lifteinrichtung sein, aufweisend eine Trägereinrichtung, auf der der mindestens eine Zellkulturbehälter platzierbar ist. Die Lifteinrichtung weist vorzugsweise einen Bewegungsmechanismus und/oder einen elektrisch ansteuerbaren Antriebsmechanismus zum Antreiben des Bewegungsmechanismus auf. Die Transporteinrichtung kann ferner einen beweglichen und elektrisch ansteuerbaren Greifarm zum Greifen und Halten mindestens eines Zellkulturbehälters sein. Die Transporteinrichtung kann ein Förderband zum Bewegen des mindestens einen darauf platzierten Zellkulturbehälters aufweisen. Durch den T ransport kann der mindestens eine Zellkulturbehälter in der Inkubatorkammer bewegt werden, insbesondere zu einer Bearbeitungsposition in einer Bearbeitungsstation in der Inkubatorkammer, und von dieser Bearbeitungsposition weg. Die Steuereinrichtung kann dazu eingerichtet sein, die Transporteinrichtung in Abhängigkeit von Zellüberwachungsdaten zu steuern. Die Bearbeitungsstation kann mindestens eine Messeinrichtung aufweisen, um den mindestens einen Wachstumsparameter zu messen, der das Wachstum der Zellen dieser Zellkultur charakterisiert. Wenn der mindestens eine Zellkulturbehälter mittels Transporteinrichtung im Inkubator bewegbar ist, können die Zellkulturen mehrerer Zellkulturbehälter mit einer einzigen oder mit wenigen Messeinrichtungen nacheinander gemessen werden. Es können aber auch mehrere oder eine Vielzahl von Messeinrichtungen vorgesehen sein, um parallel das Wachstum mehrerer Zellkulturen zu beobachten.
Die Messeinrichtung kann zudem an einer Transporteinrichtung befestigbar sein. Die Messeinrichtung kann an einem Positioniermechanismus befestigbar sein oder befestigt sein, mittels dem die Messeinrichtung in der Inkubatorkammer bewegbar und positionierbar ist. Der Positioniermechanismus kann einen beweglichen Roboterarm beinhalten und ist vorzugsweise elektrisch steuerbar, insbesondere durch ein Steuerprogramm der Steuereinrichtung. Auf diese Weise kann das Wachstum der Zellen mehrerer Zellkulturbehälter nacheinander mit einer oder mit wenigen Messeinrichtungen nacheinander gemessen werden. Der Positioniermechanismus kann als in die Inkubatorkammer einsetzbares Bauteil ausgebildet sein. Die Energiezufuhr dieses Bauteils kann über eine Kabelverbindung mit dem Inkubator erfolgen, vorzugsweise über ein durch eine Wandöffnung, z.B. einen Port, oder über eine solche Kabelverbindung zu einer externen Spannungsquelle. Die Steuereinrichtung kann dazu eingerichtet sein, den Positioniermechanismus in Abhängigkeit von Zellüberwachungsdaten zu steuern.
Als Behandlungseinrichtung lässt sich auch die Temperiereinrichtung der Inkubatorkammer verstehen, mit der die Atmosphäre im Inneren der Inkubatorkammer auf den gewünschten Wert, insbesondere 37°C geregelt wird. Der Begriff Temperieren bezieht sich auf das Erhöhen und Senken der Atmosphärentemperatur durch Heizen und Kühlen. Vorzugsweise wird die Temperatur im Inneren über eine Temperaturänderung der Wände des Inkubators eingestellt. Temperatursensoren der entsprechenden Temperaturregeleinrichtung sind an wenigstens einer Position im Inneren und / oder außerhalb der Inkubatorkammer, insbesondere an einer Wand der Inkubatorkammer verteilt. Der Inkubator weist vorzugsweise eine Benutzerschnittstelleneinrichtung auf, über die der Benutzer Daten an die Datenverarbeitungseinrichtung bzw. die Steuereinrichtung eingeben kann, und/oder über die Informationen an den Benutzer ausgegeben werden können. Vorzugsweise ist der Inkubator bzw. diese Benutzerschnittstelleneinrichtung dazu eingerichtet, dass der Benutzer mindestens einen Betriebsparameter zum Betreiben des Inkubators oder des Objektverfolgungssystems an dieser Benutzerschnittstelleneinrichtung eingeben kann bzw. Informationen von dieser erhalten kann. Auf diese Weise kann eine einzige Benutzerschnittstelleneinrichtung vom Benutzer dazu verwendet werden, um den Inkubator und auch die mindestens Objektverfolgungssystems zu beeinflussen, oder zu steuern, oder von diesen Informationen zu erhalten. Insbesondere kann das Objektverfolgungssystem dazu eingerichtet sein, dem Benutzer auf eine mittels der Benutzerschnittstelleneinrichtung des Inkubators erfolgte Abfrage des Benutzers Positionsdaten oder freien Lagerplatz anzuzeigen, oder aus Positionsdaten abgeleitete Informationen, (z.B. Identität des Benutzers, der die Positionsänderung herbeigeführt hat), insbesondere auch statistische Informationen, wie beispielsweise Häufigkeit und Zeitpunkt der Positionsveränderung eines Objektes (einer Probe) und / oder -z.B. prozentual- verfügbarer freier Lagerplatz und/oder mindestens ein optisches Abbild des mindestens einen Objektes anzuzeigen. Für den Benutzer ist dies vorteilhaft, da er aufgrund dieser Informationen wesentliche Informationen erhält, die ihm zum einen eine genauere Versuchsplanung erlauben - bevor er einen Versuch durchführt weiß er, dass Stellfläche verfügbar ist; zum anderen beeinflusst die Positionsänderung von Proben, insbesondere in den ersten Stunden nach der Aussaat von adhärenten Zellen, negativ deren Anhaftung; es bildet sich dann kein gleichmäßiger Zellrasen aus. Die erfindungsgemäße Bereitstellung der Informationen zu Positionsänderungen bzw. deren Häufigkeit erlaubt es dem Benutzer Ursachen für ein ungleichmäßiges Zellwachstum zu ermitteln und diese so bei zukünftigen Versuchen zu berücksichtigen.
Eine gerätegesteuerte Behandlung des Inkubators ist vorzugsweise eine programmgesteuerte Behandlung, also eine durch ein Programm gesteuerte Behandlung. Unter einer programmgesteuerten Behandlung einer Probe ist zu verstehen, dass der Vorgang der Behandlung im Wesentlichen durch Abarbeiten einer Mehrzahl oder Vielzahl von Programmschritten erfolgt. Vorzugsweise erfolgt die programmgesteuerte Behandlung unter Verwendung mindestens eines Programmparameters, insbesondere mindestens eines vom Benutzer gewählten Programmparameters. Ein von einem Benutzer gewählter Parameter wird auch als Nutzerparameter bezeichnet. Die programmgesteuerte Behandlung erfolgt vorzugsweise mittels der digitalen Datenverarbeitungseinrichtung, die insbesondere Bestandteil der Steuereinrichtung ist. Die Datenverarbeitungseinrichtung kann mindestens einen Prozessor, d.h. eine CPU aufweisen, und/oder mindestens einen Mikroprozessor aufweisen. Die programmgesteuerte Behandlung wird vorzugsweise entsprechend den Vorgaben eines Programms gesteuert und/oder durchgeführt, insbesondere eines Steuerprogramms. Insbesondere ist bei einer programmgesteuerten Behandlung zumindest nach Erfassung der benutzerseitig erforderlichen Programmparameter im Wesentlichen keine Benutzertätigkeit erforderlich. Eine gerätegesteuerte Behandlung des Inkubators kann insbesondere in Abhängigkeit von der Endposition und/oder den benutzerbezogenen ID- Positionsdaten erfolgen.
Unter einem Programmparameter wird eine Variable verstanden, die innerhalb eines Programms oder Unterprogramms, für mindestens eine Durchführung (Aufruf) des Programms oder Unterprogramms gültig, in vorbestimmter Weise eingestellt werden kann. Der Programmparameter wird, z.B. vom Benutzer, festgelegt und steuert das Programm oder Unterprogramm und bewirkt eine Datenausgabe in Abhängigkeit von diesem Programmparameter. Insbesondere beeinflusst und/oder steuert der Programmparameter und/oder steuern die vom Programm ausgegebenen Daten die Steuerung des Geräts, insbesondere die Steuerung der Behandlung mittels der mindestens einen Behandlungseinrichtung.
Unter einem Programm wird insbesondere ein Computerprogramm verstanden. Ein Programm ist eine Folge von Anweisungen, insbesondere bestehend aus Deklarationen und Instruktionen, um auf einer digitalen Datenverarbeitungseinrichtung eine bestimmte Funktionalität, Aufgaben- oder Problemstellung bearbeiten und/oder lösen zu können. Ein Programm liegt in der Regel als Software vor, die mit einer Datenverarbeitungseinrichtung verwendet wird. Das Programm kann insbesondere als Firmware vorliegen, im Fall der vorliegenden Erfindung insbesondere als Firmware der Steuereinrichtung des Inkubators oder des Systems. Das Programm liegt meist auf einem Datenträger als ausführbare Programmdatei, häufig im sogenannten Maschinencode vor, die zur Ausführung in den Arbeitsspeicher des Rechners der Datenverarbeitungseinrichtung geladen wird. Das Programm wird als Abfolge von Maschinen-, d. h. Prozessorbefehlen von dem/den Prozessoren des Computers verarbeitet und damit ausgeführt. Unter ,Computerprogramm‘ wird insbesondere auch der Quelltext des Programms verstanden, aus dem im Verlauf der Steuerung des Laborgerätes der ausführbare Code entstehen kann.
Eine Benutzerschnittstelleneinrichtung kann Bestandteil eines Inkubators sein, oder ein Modul. Eine Benutzerschnittstelleneinrichtung weist jeweils vorzugsweise auf: eine Steuereinrichtung für die Benutzerschnittstelleneinrichtung; eine Kommunikationseinrichtung zur Herstellung einer Datenverbindung mit einem Laborgerät, insbesondere einem Inkubator, über eine Schnittstelleneinrichtung desselben; eine Eingabeeinrichtung zur Erfassung von Benutzereingaben eines Benutzers; eine Ausgabeeinrichtung, insbesondere eine Anzeige und/oder ein Display, zur Ausgabe von Informationen an den Benutzer, insbesondere ein berührungsempfindliches Display. Dabei ist die Steuereinrichtung der Benutzerschnittstelleneinrichtung vorzugsweise dazu eingerichtet, über die Datenverbindung Daten mit der Steuereinrichtung des Inkubators auszutauschen.
Das in den Inkubator eingestellte und mittels Objektverfolgung verfolgte Objekt kann insbesondere ein Zellkulturbehälter sein, oder ein anderer Laborprobenhalter, z.B. ein Objektträger, oder kann ein anderer Laborgegenstand sein, z.B. ein Gerät, insbesondere ein Wippschüttler, ein Shaker, ein pH-Meter.
Ein Objekt ist insbesondere ein Zellkulturbehälter. Ein Zellkulturbehälter ist insbesondere transparent. Er ist insbesondere aus Glas oder Kunststoff gefertigt, insbesondere PE oder PS gefertigt und weist insbesondere eine planare Bodenplatte auf, welche die Wachstumsfläche der Zellen bildet. Diese kann eine Oberflächenbehandlung zur Förderung der Adhärenz von Zellen aufweisen. Der Zellkulturbehälter kann mit einer PE- Kappe oder Gasaustauschkappe, insbesondere einem Deckel mit optional enthaltenem Filter, verschließbar sein bzw. versehen sein. Der Zellkulturbehälter ist insbesondere stapelbar. Geeignet ist insbesondere eine Eppendorf Zellkulturflasche. Das Objekt kann ein Stapel von Zellkulturbehältern sein, insbesondere ein Stapel von Petrischalen oder von Zellkulturflaschen.
Die Kamera des Objektverfolgungssystems kann eine Weitwinkeloptik, insbesondere eine Fischaugenoptik aufweisen, deren Bildwinkel in der Bilddiagonalen zwischen 160° und 180° betragen kann. Vorzugsweise ist eine Kamera -oder sind mehrere Kameras- an der Unterseite eines Regalblecheinsatzes in der Inkubatorkammer montiert, oder an einer Unterseite der oberen Innenwand der Inkubatorkammer, vorzugsweise jeweils vertikal oberhalb des geometrischen Zentrum etc. s des Lagerbereichs, den die Kamera überwacht. Eine oder mehrere Kameras können aber auch an inneren Seitenwänden der Inkubatorkammer angeordnet / befestigt sein. „Unten“ bezeichnet die Richtung der Gravitation, „Oben“ die entgegengesetzte Richtung. Im bestimmungsgemäßen Gebrauch sind Inkubatoren so angeordnet, dass die Oberseiten der planaren Regaleinsätze horizontal liegen. Die Kamera des Inkubators ist insbesondere geeignet, um in der jeweiligen Inkubatoratmosphäre über einen Zeitraum von mehreren Monaten oder Jahren zuverlässig zu arbeiten, bzw. um während der unter Standardbedingungen (Raumtemperatur) gemessenen Lebensdauer zuverlässig zu arbeiten. Nicht jede Kamera ist geeignet, um in einer Inkubatoratmosphäre zu funktionieren. Eine mögliche, kommerziell erhältliche Kamera ist die 5MP Weitwinkel Camera für Raspberry Pi, www.joy-it.net, erhältlich bei Conrad Electronic SE, Deutschland, und/oder eine andere Kamera in Kombination mit einer Weitwinkellinse, z.B. kommerziell erhältlich die „Industrial lens HAL 250 2.3“, Entaniya Co., Ltd., Japan. Alternativ kann eine Hülleinrichtung für die mindestens eine Kamera vorgesehen sein, um diese gegenüber der Inkubatoratmosphäre abzuschirmen bzw. zu isolieren, wobei diese Hülleinrichtung insbesondere transparente Bereiche oder ein transparentes Fenster aufweist bzw. transparent ist, um die Bildaufnahmen durch die transparenten Bereich zu ermöglichen.
Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, aus einem oder mehreren Standbildern, und/oder dem Startbild , und/oder dem Endbild , und/oder aus den Videodaten (zeitabhängige) Änderungen des Erscheinungsbildes (oder das Erscheinungsbild) der Objekte, insbesondere zwischen längeren Zeitabständen von Minuten, Stunden oder Tagen, zu erfassen. Auf diese Weise können Farbänderungen des Zellkulturmediums bzw. Farben in einem Zellkulturbehälter oder Strukturen, z.B. Tropfen, an einer Zellkulturbehälterwand ermittelt werden. Solche Farben, Farbänderungen oder Strukturen können auf Probleme der jeweiligen Zellkultur hinweisen, z.B. auf einen Nährstoffmangel, pH-Wert Veränderung und/ oder auf Schimmel, und/oder auf andere Kontaminationen. Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, abhängig von der Detektion des Erscheinungsbildes eines Zellkulturbehälters bzw. dieser Änderungen des Erscheinungsbildes des Zellkulturbehälters eine Information über eine Benutzerschnittstelle an den Benutzer oder Betriebspersonal auszugeben und/oder die Daten über diese Detektion (insbesondere: was wurde wann detektiert) in einem Datenspeicher zu speichern.
Vorzugsweise ist die Datenverarbeitungseinrichtung dazu programmiert, aus einem oder mehreren Standbildern, und/oder dem Startbild, und/oder dem Endbild , und/oder aus den Videodaten (zeitabhängige) Änderungen des Erscheinungsbildes der Objekte, insbesondere zwischen längeren Zeitabständen von Minuten, Stunden oder Tagen zu ermitteln.
Die Erfindung betrifft insbesondere auch ein System zur Inkubation lebender Zellkulturen, aufweisend einen Inkubator zur Inkubation lebender Zellkulturen, der aufweist: eine Inkubatorkammer zur Aufnahme von Objekten, insbesondere Zellkulturbehältern, in mindestens einem Lagerbereich der Inkubatorkammer, die eine verschließbare Kammeröffnung zur Auf- und Entnahme der Objekte aufweist, eine Datenverarbeitungseinrichtung und einen Datenspeicher, ein zum Nachrüsten des Inkubators eingerichtetes bildverarbeitendes Objektverfolgungssystem zur Verfolgung von Positionsänderungen mindestens eines in die Inkubatorkammer eingebrachten Objektes ausgehend von dessen Startposition in einem Startbild eines Lagerbereichs bis zu dessen Endposition in einem Endbild des Lagerbereichs, wobei das Objektverfolgungssystem mindestens eine Datenverarbeitungseinrichtung, einen Datenspeicher und mindestens eine Kamera aufweist, die dazu eingerichtet ist, einen Innenraum der Inkubatorkammer zu überwachen, wobei die Datenverarbeitungseinrichtung dazu programmiert ist, dem in den Innenraum eingebrachten mindestens einen Objekt Identifikationsdaten zuzuordnen, die Startposition des mindestens einen Objektes aus dem Startbild des Lagerbereichs und die Positionsänderungen des mindestens einen Objektes durch Auswertung der Videodaten zu ermitteln, aus den Positionsänderungen die Endposition des mindestens einen Objektes im Endbild des Lagerbereichs zu ermitteln, und die Endposition des mindestens einen Objektes im Lagerbereich in Abhängigkeit von den Identifikationsdaten als ID-Positionsdaten in dem Datenspeicher abrufbar zu speichern.
Das vorstehend genannte System beruht somit auf einem Inkubator, der mit einem nach- rüstbaren Objektverfolgungssystem nachrüstbar ist, so wie dieses im Anspruch 1 fester Bestandteil des Inkubators ist, wobei das nachrüstbare Objektverfolgungssystem entsprechend kompatibel sein muss mit dem so bezeichneten „kompatiblen Inkubator“.
Vorzugsweise ist eine Steuereinrichtung des erfindungsgemäßen Inkubators oder des kompatiblen Inkubators, die insbesondere auch die atmosphärischen Parameter in der Inkubatorkammer steuern kann (Temperatur, Gaspartialdruck CO2, H2O etc.) bzw. deren Datenverarbeitungseinrichtung dazu eingerichtet bzw. programmiert, in Abhängigkeit von Daten aus dem Objektverfolgungssystem, insbesondere von Positionsdaten bzw. von der Endposition mindestens einen Objektes, mindestens einen Betriebsparameter des Inkubators zu bestimmen, insbesondere einen Parameter, der die Anzeige von Informationen auf einem Bildschirm des Inkubators steuert odereinen Parameter, der auf dem Bildschirm des Inkubators angezeigt wird. Insbesondere können Positionsdaten bzw. die Endposition mindestens einen Objektes auf dem Bildschirm wiedergegeben werden.
Vorzugsweise weist das System zur Inkubation lebender Zellkulturen auf: ein getrennt vom Inkubator mit diesem in Datenaustauschverbindung stehendes Externgerät, insbesondere eine -insbesondere mobile- Benutzeridentifikationseinrichtung und insbesondere eine Datenaustauscheinrichtung, mittels der die Datenverarbeitungseinrichtung mit dem Externgerät Daten austauschen kann, insbesondere anhand der Benutzeridentifikationseinrichtung Benutzeridentifikationsdaten ermitteln kann.
Die Erfindung bezieht sich auch auf ein Verfahren zur Verfolgung der Objektpositionierungen in einem Inkubator, welcher der Inkubation von lebenden Zellkulturen in einer Inkubatorkammer des Inkubators dient, aufweisend die computergesteuerten Schritte:
* Überwachen der Inkubatorkammer mittels mindestens einer Kamera des Inkubators, die zur Aufnahme mindestens eines Lagerbereichs im Innenraums der Inkubatorkammer angeordnet ist, in den das mindestens eine Objekt eingebracht wird;
* Zuordnen von Identifikationsdaten zu dem mindestens einen Objekt, das in einem mittels der mindestens einen Kamera aufgenommenen Startbild des Lagerbereichs beim Einbringen in den Innenraum erfasst wird;
* Erfassen von Positionsänderungen des mindestens einen Objektes durch Auswertung von mittels der Kamera gewonnenen Videodaten; insbesondere wird die zeitgleiche Bewegung mehrerer Objekte, insbesondere Bestandsobjekte ermöglicht bzw. ausgeführt;
* Ermitteln der Endposition des mindestens einen Objektes in einem Endbild des Lagerbereichs aus den Positionsänderungen;
* Speichern der Endposition des mindestens einen Objektes im Lagerbereich in Abhängigkeit von den Identifikationsdaten als ID-Positionsdaten, in dem Datenspeicher, insbesondere abrufbares Speichern, also Speichern und Bereitstellen der jeweiligen Daten, um den Zugriff einer Datenverarbeitungseinrichtung und das Auslesen der Daten zu ermöglichen. Bei dem Verfahren wird vorzugsweise genau ein Objekt (kann auch Stapel oder Gruppe von Objekten sein) in den Innenraum eingebracht und deren Endposition ermittelt. Es ist auch möglich und bevorzugt, dass dabei registriert wird, dass während des Einstellens des einen Objektes mindestens ein Bestandsobjekt bewegt wird, indem es z.B. mittels des einen eingebrachten Objektes geschoben wird, und somit die Endposition des mindestens einen Bestandsobjektes aus dessen per Bildverarbeitung ermittelten Positionsänderungen ermittelt wird. Es ist auch möglich und bevorzugt, dass bei dem Verfahren mehrere Objekte in den Innenraum eingeführt werden, gleichzeitig und/oder nacheinander, und dass diesen Objekten aus einem Startbild jeweils eine Identifikationsnummer zugeordnet wird, deren Positionsänderungen aus Videodaten ermittelt werden und daraus jeweils deren Endposition in einem Endbild bestimmt wird.
Vorzugsweise weist das Verfahren den Schritt auf: Einlesen von einen den Benutzer des Inkubators, der das mindestens eine Objekt in die Inkubatorkammer einbringt, identifizierenden Benutzeridentifikationsdaten mittels einer Benutzeridentifikationseinrichtung und insbesondere Speichern der Benutzeridentifikationsdaten in einem Datenspeicher des Inkubators.
Vorzugsweise weist das Verfahren den Schritt auf: Speichern der Positionsdaten des mindestens einen Objektes in Abhängigkeit von den Benutzeridentifikationsdaten als benutzerbezogene Objektpositionsdaten.
Die Erfindung bezieht sich auch auf ein, insbesondere zum Nachrüsten eines Inkubators eingerichtetes, bildverarbeitendes Objektverfolgungssystem zur Verfolgung von Positionsänderungen mindestens eines in die Inkubatorkammer eingebrachten Objektes ausgehend von dessen Startposition in einem Startbild eines Lagerbereichs bis zu dessen Endposition in einem Endbild des Lagerbereichs, wobei das Objektverfolgungssystem mindestens eine Datenverarbeitungseinrichtung, einen Datenspeicher und mindestens eine Kamera aufweist, die dazu eingerichtet ist, einen Innenraum der Inkubatorkammer zu überwachen, wobei die Datenverarbeitungseinrichtung dazu programmiert ist, dem in den Innenraum eingebrachten mindestens einen Objekt Identifikationsdaten zuzuordnen, die Startposition des mindestens einen Objektes aus dem Startbild des Lagerbereichs und die Positionsänderungen des mindestens einen Objektes durch Auswertung der Videodaten zu ermitteln, aus den Positionsänderungen die Endposition des mindestens einen Objektes im Endbild des Lagerbereichs zu ermitteln, und die Endposition des mindestens einen Objektes im Lagerbereich in Abhängigkeit von den Identifikationsdaten als ID-Positionsdaten in dem Datenspeicher zu speichern.
Weitere bevorzugte Ausgestaltungen des erfindungsgemäßen Verfahrens lassen sich aus der Beschreibung des erfindungsgemäßen Inkubators und dessen bevorzugten Ausgestaltungen entnehmen. Ferner ergeben sich weitere Ausgestaltungsoptionen der Erfindung aus den Ausführungsbeispielen in den Figuren. Gleiche Bauteile der Ausführungsbeispiele werden im Wesentlichen durch gleiche Bezugszeichen gekennzeichnet, falls dies nicht anders beschrieben wird oder sich nicht anders aus dem Kontext ergibt. Es zeigen:
Fig. 1 zeigt einen erfindungsgemäßen Inkubator gemäß einem Ausführungsbeispiel in perspektivischer Ansicht.
Fig. 2 zeigt den Inkubator aus Fig. 1 in einer Frontansicht.
Fig. 3 zeigt den Inkubator aus Fig. 1 in einer Frontansicht mit graphischer Darstellung der Belegung der Inkubatorkammer mit Objekten, die benutzerbezogen farbcodiert hervorgehoben sind.
Fig. 4a zeigt ein Smartphone mit Kamera und Display 63 als Externgerät, das Bestandteil eines Systems 400 umfassend den Inkubator 1 aus Fig. 3 und das Smartphone 69 sein kann. Fig. 4b zeigt eine Legende der im Bildschirm der Fig. 3 verwendeten Farbcodierung zur Hervorhebung benutzerbezogener Objekte.
Fig. 5a zeigt in einer schematischen Seitenansicht ein Objektverfolgungssystem als Bestandteil des Inkubators aus den Fig. 1 bis 4b in einem Beispiel einer Kammer mit einer einzigen überwachten Lagerplatte.
Fig. 5b zeigt in einer schematischen Seitenansicht ein Objektverfolgungssystem als Bestandteil des Inkubators aus den Fig. 1 bis 4b in einem Beispiel einer Kammer mit mehreren überwachten Lagerplatten.
Fig. 5c zeigt eine perspektivische Ansicht eines Lagerbereichs, der vom Objektverfolgungssystem der Fig. 5a und 5b überwacht wird, sowie die auf ein Koordinatensystem bezogene Startposition P1 , Positionsänderungen dP und Endposition P2 eines verfolgten Objektes.
Fig. 5d zeigt ein von der Weitwinkel-Fischaugenkamera des in Fig. 5a und 5b verwendeten Objektverfolgungssystems erfasstes, aufgrund der Optik verzerrt erscheinendes digitales Bild.
Fig. 5e zeigt das Bild der Fig. 5d, das vom Objektverfolgungssystem durch Begradigungsalgorithmen entzerrt wurde.
Fig. 5f zeigt ein von der Weitwinkel-Fischaugenkamera des in Fig. 5a und 5b verwendeten Objektverfolgungssystems erfasstes Standbild zur Ausgabe auf einem Bildschirm des Inkubators, bei dem die Bounding Boxes des Objektverfolgungssystems, Identifikationsnummern und eine den Benutzer/Eigentümer identifizierende Farbkodierung gezeigt sind.
Fig. 5g zeigt einen möglichen Bildschirminhalt, der zur Erläuterung der in Fig. 5f gezeigten Bildschirmseite auf einem Bildschirm des Inkubators angezeigt werden kann. Fig 6 zeigt in einer schematischen Aufsicht einen Lagerbereich des Inkubators aus Fig. 1 bis 5, inklusive Objekten, der in einem Bilderfassungsausschnitt einer Kamera des Objektverfolgungssystems angeordnet ist.
Fig. 7 zeigt anhand des Ausschnitts aus Fig. 6 das Verdrängen eines Bestandsobjektes durch ein neu in den Inkubator hineinbewegtes Objekt.
Fig. 8a bis 8f zeigen jeweils eine andere Bewegungsphase der Objekte im Ausschnitt der Fig. 6, mit Definition der Bounding Box der bewegten Objekte durch Algorithmen des Objektverfolgungssystems. Fig. 8a zeigt das Startbild, Fig. 8f zeigt das Endbild.
Fig. 9 zeigt schematisch den Ablauf eines beispielhaften erfindungsgemäßen Verfahrens.
Fig. 1 zeigt einen Inkubator 1 zum Lagern von Laborproben, genauer gesagt einen CO2- Inkubator zur Lagerung von lebenden Zellkulturen in einer definierten Atmosphäre bei einer geregelten T emperatur, z. B. 37° C. Zu diesem Zweck ist der Kammerinnenraum 5 des Inkubators thermisch isoliert und gasdicht gegenüber der Umgebung abschließbar, die Gaszusammensetzung im Innenraum ist ebenfalls geregelt und kann über Gasanschlüsse 43 geändert werden. Das Kammergehäuse 2 des Inkubators steht auf Sockeln 44, kapselt den Innenraum 5 ein und mündet in der Frontseite 3 des Inkubators. Die Frontseite weist die Kammeröffnung 4 auf, durch die der Kammerinnenraum 5 zugänglich ist. Eine durchsichtige innere Kammertüre 6 dient dem Schließen der Kammeröffnung in einer Schließposition der Kammertüre. Beim Inkubator 1 ist das Kammergehäuse 2 innerhalb des Innenraums eines Außengehäuses 40 platziert, so dass das Kammergehäuse 2 und das Außengehäuse 40 voneinander beabstandet und gegeneinander thermisch isoliert sind. Im Kammerinnenraum sind Regalblecheinsätze 45 und eine Luftbefeuchterwanne 46 zu sehen. Die Frontseite 3 des Kammergehäuses und die Frontseite des Außengehäuses fallen vorliegend zusammen.
49
BERICHTIGTES BLATT (REGEL 91) ISA/EP Die äußere Inkubatortüre 41 und die Kammertüre 6 sind in einer geöffneten Position gezeigt. Die Außentüre 41 ist über Scharniere an der Außenkante des Außengehäuses schwenkbar gelagert und weist eine umlaufende Silikondichtung 42 auf.
Wenn die Außentüre 41 geöffnet wurde, ist die innere Kammertüre 6 des Inkubators zunächst noch geschlossen. Dazu dient die Verschlusseinrichtung (10, 7a, 7b). Bei geschlossener Kammertüre 6 kann der Benutzer zunächst den Innenraum 5 durch die transparente Türwand sichten, bevor er die Tür öffnet und eine Laborprobe einsetzt oder entnimmt. Dennoch stellt das Öffnen der äußeren Inkubatortüre 41 bereits eine Störung dar, die die Inkubatoratmosphäre potentiell schädigen kann.
Der Inkubator weist eine in die Türe 41 verbaute und nach vorne ausgerichtete Außenkamera 65 auf, deren Bilder von der geeignet programmierten Datenverarbeitungseinrichtung des Inkubators auswertbar sind, insbesondere um einen Benutzer mittels Gesichtserkennung zu identifizieren, wodurch die mit der Datenverarbeitungseinrichtung verbundene Außenkamera 65 als Benutzeridentifikationseinrichtung 66 dient. Letzteres kann auch über die Kamera des Smartphones 69 erfolgen.
Um die gelagerten Laborproben zu schützen, ist es beim Inkubator wirksam, die Zeit zu minimieren, während der der Innenraum des Inkubators gegenüber der Umgebung exponiert ist (Öffnungszeitintervalle). Der vorliegenden Erfindung liegt die Beobachtung zugrunde, dass die Öffnungszeitintervalle durch ein Objektverfolgungssystem reduziert werden können. Der Inkubator 1 weist ein Objektverfolgungssystem auf (nicht gezeigt in Fig. 1 , 2).
Die Außenseite der äußeren Inkubatortüre weist, wie in Fig. 2 gezeigt ist, einen ersten Bildschirm auf, einen Touchscreen 61 , über den Betriebsparameter des Inkubators 1 angezeigtwerden, z.B. die Temperatur der Inkubatoratmosphäre oder einen Gaspartialdruck im Innenraum 5. Die Außenseite der äußeren Inkubatortüre 41 weist einen zweiten Bildschirm 62 auf, der ein Touchscreen sein kann. Die Datenverarbeitungseinrichtung (nicht gezeigt) des Inkubators 1 ist dazu programmiert, im Bildschirm 62 die Belegung des Innenraums des Inkubators anzuzeigen. Der Bildschirm 62 dient als „digitales Fenster“, das dem Benutzer den (virtuellen) Blick ins Inkubatorinnere ermöglicht. Dabei kann die graphische Wiedergabe des Innenraums des Inkubators und dessen Belegung mit Bestandsobjekten so programmiert sein, dass bestimmte Bestandsobjekte abhängig von bestimmten Kriterien bzw. Be- dingungsparametern graphisch hervorgehoben sind.
Zu Fig. 3: Die Datenverarbeitungseinrichtung des Inkubators 1 ist dazu programmiert, in Abhängigkeit von mindestens einem Bedingungsparameter, der hier von Benutzeridentifikationsdaten abhängt, ein Objekt oder mehrere Objekte im Display 62 anzuzeigen, und zwar gemäß deren jeweiliger Endposition im Innenraum des Inkubators, die mittels des Objektverfolgungssystems ermittelt wurde. Es sind jeweils die mit bestimmten Benutzeridentifikationsdaten, die mit einen bestimmten Benutzer kennzeichnen, assoziierten Bestandsobjekte mit einer bestimmten nutzerabhängigen Farbe farblich hervorgehoben Die Legende 61a zu dieser Art von Farbcodierung ist dem Benutzer hier über das obere Display 61 in dessen Unter-Bereich 61a angezeigt. Die Legende 61a ist in Fig. 4b größer gezeigt: den Benutzerkennungen „Jane“, Joe“ etc. sind die entsprechenden, im Display 62, 63 verwendeten Hervorhebungsfarben zugeordnet.
In Fig. 4 ist gezeigt, dass das Ausgabedisplay 61 und/oder 62 auch -alternativ oder zusätzlich- Bestandteil(e) eines Externgeräts sein kann/können, hier ein Smartphone 69, das in einer Datenaustauschverbindung mit dem Inkubator steht und das Display 63 aufweist, das hier als Bestandteil eines Inkubatorsystems fungiert.
Fig. 5a zeigt in einer schematischen Frontansicht Regaleinsätze 45a und 45b des Inkubators 1 , die übereinander angeordnet sind. Der vertikale Abstand solcher Regaleinsätze 45 in Inkubatoren ist meist nicht groß und liegt z.B. zwischen 10 und 40 cm, beim Inkubator 1 etwa bei 15 cm. Dadurch müssen entweder mehrere Kameras verwendet werden, um den gesamten Lagerbereich, hier die gesamte Lagerfläche des Regaleinsatzes 45b und den darüber liegenden „Luftraum“ bis zum Regaleinsatz 45a zu erfassen. Die Kamera 70 ist eine Weitwinkel-Fischaugen-Kamera mit einem Bildwinkel von ca. 180°.
Fig. 5a zeigt das im Inkubator 1 eingebaute Objektverfolgungssystem 20, das im Falle der Ausführung als Nachrüstsystem auch mit dem Bezugszeichen 200 bezeichnet ist. Das Objektverfolgungssystem 20 beinhaltet die Kamera 70, eine Weitwinkel-Fischaugenkamera, die im Blickwinkel 71a von vorzugsweise 160° bis 170° den unter ihr liegenden Lagerbereich des Regalblecheinsatzes 45b erfasst. Der weite Blickwinkel ermöglicht es, mit einer einzigen Kamera auszukommen, um den gesamten Lagerbereich zu des unten liegenden Regalblecheinsatzes 45b zu erfassen, insbesondere auch den Luftraum, in den die (Bestands-)Objekte 80' und 80 hineinragen, nämlich ein Stapel 80' von Zellkulturbe- hältern, und ein Zellkulturbehälter 80. Der nominale Sichtwinkel der Weitwinkel-Fischaugenkamera beträgt sogar 200°, es wird aber nur ein Bildbereich ausgewertet, der einem Sichtwinkel entnommen aus dem Bereich von vorzugsweise 160° bis 170° entspricht.
Die Kamera ist vertikal über dem geometrischen Zentrum der Lagerfläche des Regalblecheinsatzes 45b angeordnet. Das Objektverfolgungssystem 20 beinhaltet auch die Steuereinrichtung 23, welche eine Datenverarbeitungseinrichtung 21 und einen Datenspeicher 22 als weitere Bestandteile des Objektverfolgungssystems 20 aufweist. Die Datenverarbeitungseinrichtung 21 bzw. die Steuereinrichtung 23 sind über eine Kabelverbindung 25, die durch den Port 47 in der Inkubatorkammerrückwand in die Inkubatorkammer gelangt, mit der Kamera 70 und den nicht gezeigten weiteren drei Kameras verbunden, die jeweils vorgesehen sind, damit alle Lagerbereiche (alle Oberseiten von Regalblecheinsätzen 45, siehe Fig. 1) überwacht werden. Die Steuereinrichtung 23 weist zudem eine Datenschnittstelle 24 auf, über die eine Datenverbindung zu weiteren Inkubatorgerätebestandteilen ermöglicht wird, z.B. um Daten bzw. Signale an ein Display 61 , 62, 63 des Inkubators auszugeben.
Fig. 5b zeigt in einer schematischen Seitenansicht ein Objektverfolgungssystem als Bestandteil des Inkubators aus den Fig. 1 bis 4b in einem Beispiel einer Kammer mit mehreren überwachten Lagerplatten. Die Darstellung ist eine Erweiterung des Prinzips aus Fig. 5a, bei dem die Inkubatorkammer in mehrere Kompartimente 5a, 5b und 5c unterteilt ist, die hier übereinander angeordnet sind und zum Gasaustausch verbunden sind, was über Löcher in den Lagerplatten 45a, 45b, 45c gebildet ist. Der Lagerbereich bzw. die Lagerplatte 45a im Kompartiment 5a wird von der Kamera 70‘ überwacht, der Lagerbereich bzw. die Lagerplatte 45b im Kompartiment 5b wird von der Kamera 70‘ überwacht, und der Lagerbereich bzw. die Lagerplatte 45c im Kompartiment 5c wird von der Kamera 70“ überwacht, wobei die Kameras 70‘ und 70“ analog zur Kamera 70 in Fig. 5a ausgeführt und angeordnet sind. Alle Kameras sind über ein Verbindungskabelbündel 26 im Inneren der Inkubatorkammer, das in die bereits in Figur 5a gezeigte Kabelverbindung 25 übergeht und durch den Port 47 in der Inkubatorkammerrückwand die Inkubatorkammer verlässt, mit der Steuereinrichtung 23 verbunden, deren Datenverarbeitungseinrichtung 21 zur Überwachung aller Objekte in allen drei Kompartimenten 5a, 5b und 5c eingerichtet ist. Das Objektverfolgungssystem des zu Fig. 5b gehörenden Inkubators umfasst hier drei Kameras 70, 70‘, 70“ die Datenverarbeitungseinrichtung 21 und die Datenspeichereinrichtung 22.
Fig. 5c zeigt eine perspektivische Ansicht eines Kompartiments 5b bzw. Lagerbereichs 45b, der vom Objektverfolgungssystem der Fig. 5a und 5b überwacht wird, sowie die auf ein kartesisches Koordinatensystem (x, y, z) bezogene Startposition P1 , Positionsänderungen dP und Endposition P2 eines auf seinem Bewegungspfad B verfolgten Objektes. Der Ursprung des Koordinatensystems kann in einer Ecke des Kompartiments fest lokalisiert sein.
Fig. 5d zeigt ein von der Weitwinkel-Fischaugenkamera des in Fig. 5a und 5b verwendeten Objektverfolgungssystems erfasstes, aufgrund der Optik verzerrt erscheinendes digitales Bild.
Fig. 5e zeigt das Bild der Fig. 5d, das vom Objektverfolgungssystem durch Begradigungsalgorithmen entzerrt wurde. Fig. 5f zeigt ein von der Weitwinkel-Fischaugenkamera des in Fig. 5a und 5b verwendeten Objektverfolgungssystems erfasstes Standbild zur Ausgabe auf einem Bildschirm des Inkubators, bei dem die Bounding Boxes des Objektverfolgungssystems, Identifikationsnummern und eine den Benutzer/Eigentümer identifizierende Farbkodierung gezeigt sind.
Fig. 5g zeigt einen möglichen Bildschirminhalt, der zur Erläuterung der in Fig. 5f gezeigten Bildschirmseite auf einem Bildschirm des Inkubators angezeigt werden kann. Neben der Identifizierung der Objekte durch Identifikationsnummern ist auch eine den Benutzer/Eigentümer identifizierende Farbkodierung gezeigt, sowie die vom Objektverfolgungssystem registrierten Zeitpunkte des Einstellens der Objekte in die Inkubatorkammer.
Fig. 6 zeigt einen Lagerbereich, nämlich die Oberseite des Regalblecheinsatzes 45b, aus einer Vogelperspektive bzw. in Aufsicht. Schematisch gezeigt ist zudem der Bilderfassungsausschnitt 71 , den die Kamera 70 erfasst. Der Bilderfassungsausschnitt 71 ist der Bereich, der von der Kamera 70 in einem bzw. in jedem Bild erfasst wird, denn die Kamera 70 ändert ihren Blickwinkel und ihre Position nicht. Somit zeigt jedes Standbild, das Startbild, die aus den Videodaten entnehmbaren Einzelbilder, und das Endbild diesen Ausschnitt 71. In den Figuren stellt die untere Kante des Ausschnitts 71 den nahe der Inkubatorkammeröffnung 4 gelegenen Bereich dar.
In Fig. 7 ist gezeigt, wie ein Benutzer (gezeigt: dessen Hand) einen Zellkulturbehälter 81 in den Inkubator einstellt, genauer gesagt auf dem Lagerbereich 45b‘ nach vorne bzw. ins Innere des Inkubators verschiebt. Dabei verschiebt er auch das Bestandsobjekt 80, das äußerlich nicht vom Objekt 81 unterscheidbar ist. Gelangt das neue Objekt 81 in seiner Endposition genau an die bisherige Standposition des Bestandsobjekt 80, so wird aus Standbildern, die vor dem Einstellen und nach dem Einstellen des neuen Objektes 81 erstellt wurden, nicht zwischen dem Objekt 80 und dem Objekt 81 zu unterscheiden sein. Mittels des Objektverfolgungssystems 20, 200 ist dies jedoch möglich, wie anhand der Figuren 8a bis 8e erläutert wird. Die Datenverarbeitungseinrichtung des Objektverfolgungssystems 20, 200 ist dazu programmiert, mit der Detektion der Türöffnung der Außentüre 41 des Inkubators die Videodaten mittels der Kamera 70 zu erfassen und auszuwerten. Mittels Vergleich von zeitlich aufeinander folgenden Frames der Videodaten kann festgestellt werden, wann ein neues Objekt in den Kameraausschnitt 71 gelangt. Ein Bild, das einen neu im Ausschnitt 71 erscheinenden Umriss 81a enthält, der dem in den Innenraum eingebrachten Objekt 81 zuordenbar ist, wird als Startbild angesehen. Ein solches Bild ergibt sich aus der Situation in Fig. 8a. Ausgehend von diesem Startbild werden dem neu erschienenen Umriss 81a Identifikationsdaten und eine Bounding Box zugeordnet, in der Annahme, dass es sich um ein neu in den Inkubator einzustellendes Objekt 81 handelt. Die Objektverfolgungsalgorithmen des Objektverfolgungssystems 20, 200 verfolgen das durch die Bounding Box definierte Objekt durch die nun folgenden Frames der Videodaten. Aus diesen Frames werden die Positionsänderungen des Objektes 80 durch Auswertung der Videodaten ermittelt. Ignoriert man zunächst den Umstand, dass der Benutzer mittels des neuen Objektes 81 das Bestandsobjekt 80 ausgehend von dessen ursprünglicher Position (dessen früher erfasste Endposition) tiefer in die Inkubatorkammer hineinschiebt, geschieht nun bezüglich der Verfolgung des neuen Objektes 81 folgendes:
In Fig. 8b ist das ganze Objekt als Umriss 81a erkennbar, und auch die Hand des Benutzers selber könnte von der Datenverarbeitungseirichtung 21 zunächst als Teil des Objektes 81 verstanden werden, was aber spätestens beim Entfernen der Hand korrigiert wird. Es werden vom Objektverfolgungssystem die bewegten, und mit dem Umriss 81a verbundenen Bildbestandteile zunächst als T eile des Objektes 81 verstanden. Dieser Umriss 81 a wird durch eine Bounding Box definiert, um den Rechenaufwand der Verfolgung zu reduzieren, und wird durch die Frames kontinuierlich verfolgt (Fig. 8a bis Fig. 8e) und Positionsänderungen des Umrisses (der Bounding Box) 81a erfasst, so dass aus jedem Frame die aktuelle Position der Bounding Box 81a entnehmbar ist. Wird keine Bewegung der Bounding Box 81 a mehr erfasst, so wird das Bild als „Endbild“ der Objektbewegung (so in Fig. 8e) aufgefasst und die Endposition des neuen Objektes 81 wird aus dem Endbild errechnet und die Endposition des Objektes 81 im Lagerbereich in Abhängigkeit von den Identifikationsdaten des mindestens einen Objektes als ID-Positionsdaten in dem Datenspeicher gespeichert. Als Komplikation wird in dem in den Figuren 8a bis 8e gezeigten Vorgang durch die Bewegung des neuen Objektes 81 das Bestandsobjekt 80 aus seiner bisherigen Position verschoben und das neue Objekt nimmt sogar exakt die bisherige Position des Bestandsobjekts 80 ein. Das Objektverfolgungssystem 20, 200 ermöglicht aber auch in dieser Situation, dass die Objekte 80 und 81 eindeutig unterscheidbar bleiben. Das Objektverfolgungssystem 20, 200 ist dazu eingerichtet und programmiert, eine Vielzahl von Objekten und deren Positionsänderungen, und somit deren Endpositionen nach einer Bewegung gleichzeitig zu verfolgen:
Die Datenverarbeitungseinrichtung 21 ist dazu programmiert,
• dem in den Innenraum eingebrachten mindestens einen Objekt 80 (dem Bestandsobjekt) Identifikationsdaten zuzuordnen - dieser Schritt erfolgte bereits, als das Bestandsobjekt 80 zu einem früheren Zeitpunkt als „neues Objekt 80“ in die Inkubatorkammer eingestellt worden war;
• die Startposition des Objektes 80 (Bestandsobjekt) aus dem Startbild des Lagerbereichs und die Positionsänderungen des Objektes 80 (Bestandsobjekt) durch Auswertung der Videodaten zu ermitteln. Dabei ist das Startbild insbesondere ein Standbild, das vor dem Einstellen des Objekts 81 entstanden war, oder ein aus den Videodaten ermitteltes Bild;
• durch Ermittlung der Positionsänderungen des Objektes 80 zwischen dessen Startposition und Endposition das Objekt 80 (Bestandsobjekt) zu verfolgen;
• im Endbild die (neue) Endposition des Objektes 80 im Lagerbereich zu ermitteln; und
• die Endposition des Objektes 80 (Bestandsobjekt) im Lagerbereich in Abhängigkeit von den Identifikationsdaten des Objektes 80 als ID-Positionsdaten in dem Datenspeicher 22 zu speichern.
Fig. 9 zeigt den Ablauf des erfindungsgemäßen Verfahrens, das auch schon in der obigen Beschreibung der Figuren 8a bis 8f indirekt genannt war. Das Verfahren 300 zur Verfolgung der Objektpositionierungen in einem Inkubator 1 , welcher der Inkubation von lebenden Zellkulturen in einer Inkubatorkammer 2, 5 des Inkubators dient, aufweisend die computergesteuerten Schritte:
Überwachen der Inkubatorkammer 2, 5 mittels mindestens einer Kamera des Inkubators, die zur Aufnahme mindestens eines Lagerbereichs 45b‘ im Innenraums der Inkubatorkammer angeordnet ist, in den das mindestens eine Objekt 80; 81 eingebracht wird; (301)
Zuordnen von Identifikationsdaten zu dem mindestens einen Objekt 80; 81 , das in einem mittels der mindestens einen Kamera aufgenommenen Startbild des Lagerbereichs beim oder nach dem Einbringen in den Innenraum erfasst wird; (302) Erfassen von Positionsänderungen des mindestens einen Objektes 80; 81 zwischen dessen Startposition und Endposition durch Auswertung von mittels der Kamera 70 gewonnenen Videodaten; insbesondere Erfassen von zeitgleichen Positionsänderungen mehrerer Objekte bzw. Bestandsobjekte (303)
Ermitteln der Endposition des mindestens einen Objektes 80; 81 in einem Endbild des Lagerbereichs; (304)
Speichern der Endposition des mindestens einen Objektes 80; 81 im Lagerbereich in Abhängigkeit von den Identifikationsdaten des mindestens einen Objektes als ID-Po- sitionsdaten, in dem Datenspeicher. (305)
Vorzugsweise beinhaltet das Verfahren 300 auch die Schritte: insbesondere vor den Schritten 301 bis 305, 308: Einlesen von einen den Benutzer des Inkubators 1 , der das mindestens eine Objekt 80; 81 in die Inkubatorkammer einbringt, identifizierenden Benutzeridentifikationsdaten mittels einer Benutzeridentifikationseinrichtung (306) und Speichern der Benutzeridentifikationsdaten in einem Datenspeicher des Inkubators. (307)
Vorzugsweise beinhaltet das Verfahren 300 auch den Schritt:
Speichern der ID-Positionsdaten in Abhängigkeit von den Benutzeridentifikationsdaten als benutzerbezogene ID-Positionsdaten. (308)

Claims

Patentansprüche Inkubator zur Inkubation lebender Zellkulturen, aufweisend eine Inkubatorkammer zur Aufnahme von Objekten, insbesondere Zellkulturbehältern, die eine verschließbare Kammeröffnung zur Auf- und Entnahme der Objekte und mindestens einen Lagerbereich zur Lagerung der Objekte aufweist, ein bildbasiertes Objektverfolgungssystem zur Verfolgung von Positionsänderungen mindestens eines in die Inkubatorkammer eingebrachten Objektes ausgehend von dessen Startposition in einem Startbild eines Lagerbereichs bis zu dessen Endposition in einem Endbild des Lagerbereichs mittels Videodaten, wobei das Objektverfolgungssystem mindestens eine Datenverarbeitungseinrichtung, einen Datenspeicher und mindestens eine Kamera aufweist, die dazu eingerichtet ist, einen Innenraum der Inkubatorkammer zu überwachen sowie das Startbild, das Endbild und die Videodaten bereitzustellen, wobei die Datenverarbeitungseinrichtung dazu programmiert ist,
• dem in den Innenraum eingebrachten mindestens einen Objekt Identifikationsdaten zuzuordnen,
• die Startposition des mindestens einen Objektes aus dem Startbild des Lagerbereichs zu ermitteln;
• die Positionsänderungen des mindestens einen Objektes zwischen der Startposition und einer Endposition durch Auswertung der Videodaten zu ermitteln,
• die Endposition des mindestens einen Objektes im Endbild des Lagerbereichs zu ermitteln, und
• die Endposition des mindestens einen Objektes im Lagerbereich in Abhängigkeit von den Identifikationsdaten des mindestens einen Objektes als ID-Positionsda- ten in dem Datenspeicher zu speichern.
58
2. Inkubator gemäß Anspruch 1 , der eine Benutzeridentifikationseinrichtung aufweist, mittels der ein den Inkubator benutzender Benutzer in Form von Benutzeridentifikationsdaten identifizierbar ist.
3. Inkubator gemäß Anspruch 2, wobei die Datenverarbeitungseinrichtung dazu programmiert ist,
• einen den Inkubator benutzenden Benutzer mittels der Benutzeridentifikationseinrichtung zu identifizieren und ihm Benutzeridentifikationsdaten zuzuordnen und
• ID-Positionsdaten in Abhängigkeit von den Benutzeridentifikationsdaten als benutzerbezogene ID-Positionsdaten in dem Datenspeicher zu speichern.
4. Inkubator gemäß Anspruch 2 oder 3, wobei die Benutzeridentifikationseinrichtung eine Außenkamera aufweist, und die Benutzeridentifikationseinrichtung dazu eingerichtet ist, mittels der Außenkamera eine Gesichtserkennung durchzuführen, mittels der der Benutzer identifiziert wird.
5. Inkubator gemäß Anspruch 2, 3 oder 4, wobei die Benutzeridentifikationseinrichtung eine Benutzerschnittstelleneinrichtung aufweist, mittels der Benutzeridentitätsdaten einlesbar, insbesondere auswählbar sind, oder ein Lesegerät zum Einlesen eines den Benutzer identifizierenden Codes aufweist, wobei das Lesegerät insbesondere ein RFID-Lesegerät, ein Barcode-Lesegerät, oder ein QR-Code-Lesegerät ist.
6. Inkubator gemäß einem der vorhergehenden Ansprüche, der aufweist:
• eine Inkubatortüre zum Verschließen der Kammeröffnung und
• einen Türsensor zum Erfassen des Öffnens bzw. des Schließens der Inkubatortüre, wobei die Datenverarbeitungseinrichtung dazu programmiert ist,
• die Überwachung des Innenraums des Inkubators, insbesondere die Generierung der Videodaten oder von Standbilddaten, in Abhängigkeit von der Detektion einer Türöffnung des Inkubators zu starten,
• insbesondere in Abhängigkeit von der Detektion einer Türöffnung durch einen
59 Benutzer, diesen Benutzer mittels einer Benutzeridentifikationseinrichtung zu identifizieren,
• insbesondere, die Überwachung des Innenraums des Inkubators, insbesondere die Generierung der Videodaten, in Abhängigkeit von der Detektion einer Türschließung des Inkubators zu beenden,
• insbesondere mittels der Informationen aus der Benutzeridentifikationseinrichtung und der Objektverfolgungseinrichtung festzustellen, durch welchen Benutzer welches Objekt im Innenraum bewegt wurde, und die Benutzeridentifikationsdaten dieses Benutzers gemeinsam mit den Objektsidentifikationsdaten dieses Objektes in dem Datenspeicher zu speichern. Inkubator gemäß einem der vorhergehenden Ansprüche, wobei die Datenverarbeitungseinrichtung dazu programmiert ist, aus dem Startbild, den Videodaten und/oder dem Endbild die Bewegungshistorie, insbesondere den Bewegungspfad, des mindestens einen Objektes innerhalb der Inkubatorkammer zu ermitteln und in Form von Bewegungshistoriedaten in dem Datenspeicher zu speichern. Inkubator gemäß einem der vorhergehenden Ansprüche, der ein Objekterkennungssystem aufweist, eingerichtet dazu
* Objektklassenmerkmale des mindestens einen Objektes aus dem Startbild, den Videodaten und/oder dem Endbild zu entnehmen,
* die Objektklassenmerkmale mit einer Objektklassendatenbank abzugleichen und die Objektklasse des mindestens einen Objektes zu erkennen,
* den ID-Positionsdaten des mindestens einen Objektes die erkannte Objektklasse als Objektklassendaten zuzuordnen und als klassenbezogene ID-Positions- daten zu speichern; oder eingerichtet dazu
* Objektindividualmerkmale des mindestens einen Objektes aus dem Startbild, den Videodaten und/oder dem Endbild zu entnehmen,
* die Objektindividualmerkmale mit einer Objektindividualdatenbank abzugleichen und
# falls die Objektindividualmerkmale in der Objektindividualdatenbank mit einer
60 Objektindividualkennung verbunden sind: die Objektindividualkennung des mindestens einen Objektes zu identifizieren; oder
# falls die Objektindividualmerkmale in der Objektindividualdatenbank nicht mit einer Objektindividualkennung verbunden sind: dem mindestens einen Objekt eine Objektindividualkennung zuordnen und in der Objektindividualdatenbank zu speichern; und
* den ID-Positionsdaten des mindestens einen Objektes die erkannte Objektindividualkennung zuzuordnen und als individualbezogene ID-Positionsdaten zu speichern. Inkubator gemäß einem der vorhergehenden Ansprüche, der einen Bildschirm aufweist, wobei die Datenverarbeitungseinrichtung dazu programmiert ist, eine graphische Wiedergabe des Innenraums der Inkubatorkammer auf dem Bildschirm anzuzeigen, und insbesondere graphisch anzuzeigen, wo das durch die ID-Positionsdaten identifizierte Objekt positioniert ist, bzw. um graphisch anzuzeigen, wo alle im Innenraum lokalisierten Objekte angeordnet sind. nkubator gemäß Anspruch 9, wobei die Datenverarbeitungseinrichtung dazu programmiert ist, ausgehend von vorgegebenen Benutzeridentifikationsdaten festzustellen, wo die diesen vorgegebenen Benutzeridentifikationsdaten mittels der benutzerbezogenen ID-Positionsdaten zugeordneten Objekte positioniert sind und, insbesondere, diese Objekte auf dem Bildschirm graphisch zu markieren. Inkubator gemäß einem der Ansprüche 9 oder 10, wobei die Datenverarbeitungseinrichtung dazu programmiert ist, auf dem Bildschirm freien Lagerplatz anzuzeigen, und/oder aus den Positionsdaten abgeleitete Informationen, insbesondere die Identität des Benutzers, der die Positionsänderung herbeigeführt hat, und / oder statistische Informationen, insbesondere die Häufigkeit und den Zeitpunkt der Positionsänderung eines Objektes und / oder den prozentual verfügbaren freien Lagerplatz.
61 System zur Inkubation lebender Zellkulturen, aufweisend einen Inkubator zur Inkubation lebender Zellkulturen, der aufweist: eine Inkubatorkammer zur Aufnahme von Objekten, insbesondere Zellkulturbehältern, in mindestens einem Lagerbereich der Inkubatorkammer, die eine verschließbare Kammeröffnung zur Auf- und Entnahme der Objekte aufweist, eine Datenverarbeitungseinrichtung und einen Datenspeicher, ein zum Nachrüsten des Inkubators eingerichtetes bildverarbeitendes Objektverfolgungssystem zur Verfolgung von Positionsänderungen mindestens eines in die Inkubatorkammer eingebrachten Objektes ausgehend von dessen Startposition in einem Startbild eines Lagerbereichs bis zu dessen Endposition in einem Endbild des Lagerbereichs mittels Videodaten, wobei das Objektverfolgungssystem mindestens eine Datenverarbeitungseinrichtung, einen Datenspeicher und mindestens eine Kamera aufweist, die dazu eingerichtet ist, einen Innenraum der Inkubatorkammer zu überwachen sowie das Startbild, das Endbild und die Videodaten bereitzustellen, wobei die Datenverarbeitungseinrichtung dazu programmiert ist,
• dem in den Innenraum eingebrachten mindestens einen Objekt Identifikationsdaten zuzuordnen;
• die Startposition des mindestens einen Objektes aus dem Startbild des Lagerbereichs zu ermitteln,
• die Positionsänderungen des mindestens einen Objektes zwischen der Startposition und einer Endposition durch Auswertung der Videodaten zu ermitteln,
• die Endposition des mindestens einen Objektes im Endbild des Lagerbereichs zu ermitteln, und
• die Endposition des mindestens einen Objektes im Lagerbereich in Abhängigkeit von den Identifikationsdaten des mindestens einen Objektes als ID-Positionsda- ten in dem Datenspeicher zu speichern.
62 System nach Anspruch 12, aufweisend eine getrennt vom Inkubator verwendbare Benutzeridentifikationseinrichtung und eine Datenaustauscheinrichtung, mittels der die Datenverarbeitungseinrichtung anhand der Benutzeridentifikationseinrichtung Benutzeridentifikationsdaten ermitteln kann. Verfahren zur Verfolgung der Objektpositionierungen in einem Inkubator, welcher der Inkubation von lebenden Zellkulturen in einer Inkubatorkammer des Inkubators dient, aufweisend die computergesteuerten Schritte:
• Überwachen der Inkubatorkammer mittels mindestens einer Kamera des Inkubators, die zur Aufnahme mindestens eines Lagerbereichs im Innenraum der Inkubatorkammer und zur Erstellung des Startbildes, des Endbildes und von Videodaten angeordnet ist, in den das mindestens eine Objekt eingebracht wird;
• Zuordnen von Identifikationsdaten zu dem mindestens einen Objekt, das in einem mittels der mindestens einen Kamera aufgenommenen Startbild des Lagerbereichs beim oder nach dem Einbringen in den Innenraum erfasst wird;
• Erfassen von Positionsänderungen des mindestens einen Objektes zwischen der Startposition und einer Endposition durch Auswertung von mittels der Kamera gewonnenen Videodaten;
• Ermitteln der Endposition des mindestens einen Objektes in einem Endbild des Lagerbereichs;
• Speichern der Endposition des mindestens einen Objektes im Lagerbereich in Abhängigkeit von den Identifikationsdaten des mindestens einen Objektes als ID-Positionsdaten, in dem Datenspeicher. Verfahren nach Anspruch 14, aufweisend den Schritt: Einlesen von einen den Benutzer des Inkubators, der das mindestens eine Objekt in die Inkubatorkammer einbringt, identifizierenden Benutzeridentifikationsdaten mittels einer Benutzeridentifikationseinrichtung und Speichern der Benutzeridentifikationsdaten in einem Datenspeicher des Inkubators.
16. Verfahren nach Anspruch 14, aufweisend den Schritt:
Speichern der ID-Positionsdaten in Abhängigkeit von den Benutzeridentifikationsdaten als benutzerbezogene ID-Positionsdaten. 17. Verfahren gemäß der Ansprüche 14 bis 16, aufweisend den Schritt: Visualisierung der gespeicherten ID-Positionsdaten und/oder der benutzerbezogenen ID- Positionsdaten auf dem Bildschirm, insbesondere durch eine graphische Wiedergabe des Innenraums der Inkubatorkammer auf dem Bildschirm, und insbesondere das graphische Anzeigen der Information, wo das durch die ID-Positionsdaten identifizierte Ob- jekt positioniert ist, bzw., wo alle im Innenraum lokalisierten Objekte angeordnet sind, oder Anzeigen des freien Lagerplatzes im Innenraum des Inkubators auf dem Bildschirm.
EP22702685.3A 2021-01-27 2022-01-27 Inkubator, system und verfahren Pending EP4288516A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21153820.2A EP4036206A1 (de) 2021-01-27 2021-01-27 Inkubator, system und verfahren
PCT/EP2022/051878 WO2022162056A1 (de) 2021-01-27 2022-01-27 Inkubator, system und verfahren

Publications (1)

Publication Number Publication Date
EP4288516A1 true EP4288516A1 (de) 2023-12-13

Family

ID=74346840

Family Applications (2)

Application Number Title Priority Date Filing Date
EP21153820.2A Withdrawn EP4036206A1 (de) 2021-01-27 2021-01-27 Inkubator, system und verfahren
EP22702685.3A Pending EP4288516A1 (de) 2021-01-27 2022-01-27 Inkubator, system und verfahren

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP21153820.2A Withdrawn EP4036206A1 (de) 2021-01-27 2021-01-27 Inkubator, system und verfahren

Country Status (4)

Country Link
US (1) US20240076602A1 (de)
EP (2) EP4036206A1 (de)
JP (1) JP2024503525A (de)
WO (1) WO2022162056A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4361242A1 (de) * 2022-10-26 2024-05-01 Eppendorf SE Inkubator für zellkulturen
EP4375355A1 (de) 2022-11-25 2024-05-29 Universität Linz Vorrichtung zum behandeln von zellkulturen

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7326565B2 (en) * 2002-11-19 2008-02-05 Sanyo Electric Co., Ltd. Storage apparatus
EP1916296A4 (de) * 2005-07-05 2012-06-06 Nikon Corp Kulturvorrichtung
WO2007145091A1 (ja) * 2006-06-15 2007-12-21 Nikon Corporation 細胞培養装置
US20160066565A1 (en) * 2007-12-13 2016-03-10 Biocell Center Corporation Isolator devices for collection, parametrical characterization and long-term preservation of organic fluids and/or materials containing stem cells
CN203419930U (zh) * 2013-09-09 2014-02-05 大庆麦伯康生物技术有限公司 视频记录可调光波光照培养箱
DE202014102506U1 (de) * 2014-05-28 2014-06-27 Anmelderangaben unklar / unvollständig System zur Überwachung wenigstens einer Inkubationseinheit
US11230690B2 (en) * 2015-11-04 2022-01-25 Thrive Bioscience, Inc. Method and system for cell operations using the internet of things
EP3404090A1 (de) * 2017-05-15 2018-11-21 Eppendorf AG Inkubator, system und verfahren für das überwachte zellwachstum
EP3539660B1 (de) * 2018-03-16 2024-05-01 Eppendorf SE Labortemperiervorrichtung und verfahren

Also Published As

Publication number Publication date
WO2022162056A1 (de) 2022-08-04
JP2024503525A (ja) 2024-01-25
US20240076602A1 (en) 2024-03-07
EP4036206A1 (de) 2022-08-03

Similar Documents

Publication Publication Date Title
EP4288521A1 (de) Inkubator und verfahren
EP4288516A1 (de) Inkubator, system und verfahren
TWI336678B (de)
EP2903422B1 (de) Verfahren und vorrichtung zur organisation wenigstens eines objekts
WO2018210734A1 (de) Inkubator, system und verfahren für das überwachte zellwachstum
DE102019114117B3 (de) Automatische Workflows basierend auf einer Erkennung von Kalibrierproben
DE102016222075A1 (de) Prozessiersystem und Verfahren zur Prozessierung einer mikrofluidischen Kartusche mit einer Prozessiereinheit
EP2272971B1 (de) Bildanalyseverfahren zur zellbeobachtung, bildbearbeitungsprogramm und bildbearbeitungsvorrichtung
DE112015003933T5 (de) Vorrichtung und Verfahren zum Ausführen eines Sachen-Auswahlprozesses
WO2016188959A1 (de) Chirurgisches behälterinhalt-erfassungssystem
EP1759234A1 (de) Objektträgervorrichtung zur aufnahme eines mit einem mikroskop zu untersuchenden oder mit einem laboranalysesystem zu analysierenden objekts
CN213110957U (zh) 取物模组及发放装置
DE112019006132T5 (de) Verfahren, system und vorrichtung zur hilfsetikett-erkennung und -zuordnung
EP2693218A1 (de) Verfahren und Vorrichtung zum Erfassen bzw. Überprüfen einer Anordnung von Laborartikeln auf einem Arbeitsfeld einer Labor-Arbeitsstation
EP2857841B1 (de) Laborgerät zur gerätegesteuerten Behandlung mindestens einer Laborprobe, und ein Verfahren zur Konfiguration des Laborgeräts mittels der Konfigurationssteuerung
EP3379160B1 (de) Überwachungsverfahren und auswertevorrichtung
JP6343874B2 (ja) 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
Xiong et al. A laboratory-built fully automated ultrasonication robot for filamentous fungi homogenization
DE102010052976A1 (de) Unterstützung der händischen Präparation von Proben auf einem Probenträger für eine Ionisierung mit matrix-unterstützter Laserdesorption
WO2024028314A1 (de) Inkubator und verfahren
CN108535787A (zh) 微生物实验室环境防护智能监控系统
JP2001330604A (ja) 薬物候補物質の検出システムおよび検出方法
DE102009018325B4 (de) Vorrichtung zur automatisierten, parallelisierten Kultivierung von Zellen
DE202007016079U1 (de) Gesichtserkennungssystem und dieses umfassendes Sicherheitssystem
EP4260689A1 (de) System für tierzucht- oder pflanzenforschungsanlagen mit wechselstation, behältern und einem satz an markiereinrichtungen dafür

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230810

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)