EP4069072A1 - Verfahren und vorrichtung zur kontaktfreien bestimmung von zeitlichen farb- und intensitätsveränderungen bei objekten - Google Patents

Verfahren und vorrichtung zur kontaktfreien bestimmung von zeitlichen farb- und intensitätsveränderungen bei objekten

Info

Publication number
EP4069072A1
EP4069072A1 EP20815781.8A EP20815781A EP4069072A1 EP 4069072 A1 EP4069072 A1 EP 4069072A1 EP 20815781 A EP20815781 A EP 20815781A EP 4069072 A1 EP4069072 A1 EP 4069072A1
Authority
EP
European Patent Office
Prior art keywords
measurement
overview
color
scene
spectral range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP20815781.8A
Other languages
English (en)
French (fr)
Inventor
Jan Sperrhake
Thomas Pertsch
Maria Nisser
Michal RAPCZYNSKI
Ayoub Al-Hamadi
Chen Zhang
Gunther Notni
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Friedrich Schiller Universtaet Jena FSU
Otto Von Guericke Universitaet Magdeburg
Universitaetsklinikum Jena
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Friedrich Schiller Universtaet Jena FSU
Otto Von Guericke Universitaet Magdeburg
Universitaetsklinikum Jena
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Friedrich Schiller Universtaet Jena FSU, Otto Von Guericke Universitaet Magdeburg, Universitaetsklinikum Jena, Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Friedrich Schiller Universtaet Jena FSU
Publication of EP4069072A1 publication Critical patent/EP4069072A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024Measuring pulse rate or heart rate
    • A61B5/02416Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024Measuring pulse rate or heart rate
    • A61B5/02416Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427Details of sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/14Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
    • G01C11/16Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection in a common plane
    • G01C11/18Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection in a common plane involving scanning means

Definitions

  • the invention relates to a method and a device for the contact-free determination of changes in color and intensity over time in objects in a scene, for example in sports centers or hospitals, but also in plants.
  • a number of methods are known in the prior art for monitoring the state of health or for performance diagnostics in athletes, but these are predominantly dependent on contact with the people.
  • the changes in color and intensity relate to light of certain wavelengths which either the object itself actively emits, for example an LED, or which is partially absorbed or weakened by the object when it is illuminated and is therefore not completely reflected.
  • the term "color changes" usually refers to changes in the wavelength, i.e., for example, the shift of a reflection maximum or transmission maximum within narrow wavelength ranges.
  • intensity changes usually refers to changes in the maximum reflection or transmission at a constant wavelength.
  • color changes are also understood to mean changes in intensity, because these seem to cause a change in color subjectively and only apparently through a change in brightness, which is actually not the case for a single color or wavelength, but only for the one Overall impression caused by the mixture of all colors or wavelengths: If the intensity of a focal color changes, a different overall impression of color arises for an observer in the color mixture of the individual wavelengths.
  • jaundice in people, especially newborns The higher concentration of bilirubin in the blood leads to an increased reflection in the wavelength range between 420 nm and 450 nm and thus to the clearly more yellow color perception of the skin than in healthy people.
  • EKG electrocardiogram
  • PPG photoplethysmography
  • Both methods are contact-based, but due to their high reliability, objectivity and validity, they are considered to be the gold standard method.
  • Their major disadvantage is, on the one hand, that they are contact-based methods, that is, only one person can be observed at a time, and that specially trained specialists are absolutely necessary for the exact application and application of the electrodes required for the measurement.
  • the skin must be prepared by disinfection and, if necessary, by shaving; Anatomical knowledge is required to place the electrodes.
  • Contact-based systems such as the EKG and the PPG are also used to monitor the state of health of patients in a hospital. Especially in hospitals, where it would be desirable to monitor several people at the same time, this contact-based method has a disadvantage, since several systems would have to be kept and operated in parallel to record several people at the same time. The acquisition costs are correspondingly high.
  • non-contact measurement methods are also known in the prior art, but they are not used to record the performance or health status of people.
  • soil and plant populations are investigated when observing the earth from the air or by satellite, for which purpose conventional spectrometers are used, which reproduce an image broken down into many wavelengths.
  • the evaluation of such data is particularly costly when it comes to special spectral properties that serve, for example, as indicators for the condition or pollution of forests or arable soils.
  • a breakdown according to depth information which could be seen, for example, whether the forest floor or the treetops are measured, is not provided for with this approach.
  • nano-optical filters are used, which can filter light of certain wavelengths or wavelength ranges due to special interaction mechanisms.
  • Such nano-optical elements are described, for example, in an article by S. Young et al. “Multispectral CMOS sensors with on-chip nanostructures for wavelength monitoring of LED devices”, published in Proceedings of SPIE (8641), page 86411 B (2013).
  • the nano-optical filters are placed in front of the camera in order to allow easy adaptation to other wavelengths through interchangeability, for example if other LEDs are to be measured. These are purely static, two-dimensional measurements in the smallest of spaces.
  • the object of the invention is therefore to develop a method and a device with which the contact-free determination of changes in color and intensity over time can take place in several objects at the same time with subsequent analysis.
  • the “scene” can be, for example, an enclosed space in a sports center or a hospital, but also a larger area outdoors, for example a soccer ball or baseball field.
  • object includes everything in which the measurement of changes in color and intensity over time can provide information about the state of the object, for example light-emitting diodes or plants, but in particular people who can also move freely in the scene.
  • the objects are distributed in the scene and the aim is to find the interesting color and intensity changes in certain areas of all objects measure at the same time and draw conclusions on specific parameters that describe the state of the objects based on the changes in color and intensity.
  • a stereoscopic overview map of the scene is first generated by detecting a first monoscopic overview image of the scene from a predetermined first viewing direction and a second monoscopic overview image from a predetermined second viewing direction in a first spectral range.
  • the first and second viewing directions are different from one another and their position in relation to one another is known.
  • the two monoscopic overview images are offset to form the stereoscopic overview map, from which the spatial positions of objects to be measured are then finally determined.
  • a first and a second overview camera are provided in the device according to the invention. The two cameras each detect the same wavelength range or the same wavelength and are aligned with the scene under a fixed, predetermined first or second viewing direction.
  • the viewing directions preferably intersect at a point in or behind the scene, so that viewing angles can be determined on the basis of this point and a reference axis.
  • the information that is detected with the overview cameras is independent of the temporal changes in color and intensity that are to be detected, but serve to identify the position and possibly also the movement and direction of movement of objects in the scene. The faster an object moves, the more overview images have to be recorded and overview maps calculated, unless an approximate determination of the movement is possible.
  • a two-dimensional detail image from a predetermined third viewing direction is detected in a second spectral range.
  • the third viewing direction can be different from the first and second viewing directions, which may facilitate the offsetting. But it can also correspond to one of the two viewing directions.
  • a camera can be used both for an overview image and for a detail image.
  • the two-dimensional detail image is preferably recorded simultaneously with the recording of the overview images, so that the image content depicts an identical moment, or immediately before or after it is recorded, for example if the object is not moving.
  • a detail camera is used for recording, which is aimed at the scene from the third viewing direction.
  • the two-dimensional detail image is then projected onto the stereoscopic overview map.
  • Measurement areas are selected as areas of interest in the scene on the basis of measurement criteria, which are specified as a function of parameters on which conclusions are to be drawn from the changes in color and intensity. This takes place - as well as the calculation of the two monoscopic overview images to form the stereoscopic overview map - in a computing unit designed for this purpose.
  • the position of all three viewing directions with respect to one another is known; they preferably intersect at a point in the rear area of the scene or behind the scene. Since the position of the cameras in relation to one another is known, a geometric calibration of the position of the detail camera in relation to the position of the overview cameras can be carried out.
  • This calibration can then be used to determine transformation matrices for a one-to-one transformation of the spatial image data of the stereoscopic image to the two-dimensional image data of the detailed image and vice versa.
  • the position of measurement areas which are also referred to as regions of interest (ROIs)
  • ROIs regions of interest
  • optimal measurement areas can be defined, for example areas of the skin of people on which a particularly strong color change can be measured due to good blood circulation, such as the forehead, the neck or the wrists.
  • a detailed camera that has a very high resolution, in particular a resolution that is higher than that of the overview cameras, so that the measurement areas can be identified as precisely as possible.
  • a somewhat lower resolution is usually sufficient for recording the overview image, since the three-dimensional structures, which can be represented by points and vectors, for example as grids, usually have dimensions that extend over a larger area of pixels.
  • overview cameras with a resolution of 832 x 632 pixels and detail cameras with a resolution of 1280 x 1024 pixels can be used; With these resolutions, good results can be achieved, especially in closed rooms.
  • overview cameras with a higher resolution can be used in order to be able to determine further parameters if necessary. If all cameras are identical with the same resolution, the evaluation can possibly be simplified.
  • the measuring camera or the area detector for registering the image data of this camera advantageously has the same resolution as the detail camera - for example 1280 x 1024 pixels, since this makes it easier to assign the measuring areas pixel by pixel.
  • the detection takes place in a spatially resolved manner, ie by means of an area detector, for example a CMOS sensor. The detection also takes place - if at least two measurement spectral ranges are specified wavelength resolved, which means that the spectral ranges are detected independently of one another on the same area detector.
  • the frame rate i.e. the number of images that are recorded per second (frame rate) depends on the type of objects to be measured and how much the objects move in the scene. If, for example, static objects such as plants are observed from a static position over a longer period of time, then color changes tend to take place over a longer period of time. In this case it is sufficient, for example, to take pictures at intervals of several minutes, hours or days, in which case an overview map and a detailed picture are usually generated at the same time in order to be able to compensate for any changes in position.
  • a frame rate of at least 15 or 20 frames per second will be selected in order to be able to correctly record a high pulse rate, i.e. the number of heartbeats per minute.
  • a high pulse rate i.e. the number of heartbeats per minute.
  • a similar procedure is followed for athletes, where as a rule new overview maps and detailed images have to be generated again and again between two series of measurement images, since the athletes generally move faster.
  • the number of overview maps and detailed images can be reduced if the objects are analyzed with regard to movement between the recording of two such data records at different times and a displacement of the measuring surfaces can also be forecast in this way.
  • the reliability of the measurements can be increased, since the spatial position of the measurement objects in the scene can be taken into account and corresponding corrections can be made in the image.
  • By projecting the two-dimensional detail image recorded measuring surfaces on the objects can be corrected against perspective distortions. Falsified measurement data or those with low reliability can also be excluded in this way. Overall, this improves the reliability of the measurement.
  • the projection can also be used to determine the exact position of measured signals, ie the reflected colors, which is advantageous when observing a group of moving objects.
  • the measurement is only carried out for wavelengths in at least one measurement spectral range that is predetermined as a function of the measurement criteria - ultimately depending on the parameters on which conclusions are to be drawn.
  • a corresponding filter which only allows light in the specified measurement spectral range, can be connected upstream of the measurement camera in the beam path.
  • the specified measurement spectral range can - depending on the parameters on which conclusions are to be drawn - be selected very narrowly and only allow one wavelength to pass if, for example, only intensity fluctuations are examined, or a wider wavelength range if color fluctuations are also to be measured.
  • the measurement spectral range can be set to 420 nm to 450 nm when monitoring patients with jaundice, since bilirubin, which is then present in higher concentrations, reflects in this range.
  • exemplary measurement spectral ranges are between 630 nm and 750 nm for the range of the visible Hb band (Hb - hemoglobin) and between 800 nm and 940 nm for the range of the Hb band in the near infrared.
  • the data detected on the measurement surfaces are analyzed in the measurement images for temporal variation in color and / or intensity, and the results of the analysis are then output.
  • the computing unit which is designed to analyze the temporal variation of the intensity and / or the color of the light in the at least one measurement spectral range in the series of measurement images and to transmit the results to a corresponding output unit.
  • This can be, for example, a monitor, a storage unit, or - if the values are critical - a signal transmitter that alerts the on-call staff.
  • the pulse rate of an athlete or a newborn can be derived from temporal color fluctuations in the near infrared wavelength range at a wavelength of around 830 nm in a range of +/- 50 nm around this wavelength, whereby only the values of the measuring surfaces that are on free Areas of the skin where the veins run in shallow depths are arranged to be analyzed.
  • the device and the method can also be used to observe other parameters of interest, for example the oxygen content in the blood, for which measurements at a wavelength of about 660 nm are necessary Measure the oxygen saturation of the hemoglobin bound in the blood.
  • the measurement image is detected in at least two predetermined measurement spectral ranges with spatial and wavelength resolution.
  • a filter element is advantageously used that is designed as a nano-optical filter matrix. This is applied to a planar measuring sensor that detects the light emitted by the measuring surfaces in the measuring camera.
  • the nano-optical filter matrix has two types of filter structures for the purpose of detecting two measurement spectral ranges.
  • First filter structures are used to filter a first measurement spectral range and second filter structures are used to filter a second measurement spectral range.
  • First and second filter structures are preferably arranged in a checkerboard manner in the nano-optical filter matrix.
  • Each of the filter structures covers a larger area of pixels.
  • the effect of the nano-optical filter elements is based on the phenomenon of extraordinary optical transmission, which occurs when electromagnetic radiation interacts with periodically arranged holes of nanoscopic size.
  • the spectral selectivity can be determined by means of the material - for example gold or silicon -, the arrangement period (pitch) of the holes and the diameter of the holes. If further measurement spectral ranges are to be analyzed, a correspondingly expanded checkerboard structure with three or more types of filter structures can be used.
  • Wavelengths each spatially resolved and each resolved according to wavelengths or spectral ranges i.e. the measurement spectral ranges are detected unaffected by one another, since the pixels arranged under the filter structures detect either only one or the other wavelength or one or the other measurement spectral range, i.e. actually, due to the filter arrangement only measure the intensity at one wavelength or in a wavelength range unaffected by the other.
  • the measurement signal is prepared before the final evaluation by the processing unit, i.e. the hardware used.
  • no further calculations are necessary here and only the color / wavelength of interest is actually measured. This reduces the time required to process the data by software, which reduces the latency of the measurement and increases the real-time capability.
  • the derivation of parameters from the data becomes more precise if no algorithmic-numerical errors occur at all.
  • nano-optical filter masks on an image sensor also facilitates mass production: the application or structuring of the nano-optical filter matrices can take place in the same manufacturing step as the insertion of the camera sensor.
  • the integration of the nano-optical filter elements also increases the mechanical robustness against shocks or vibrations of the measuring system and means compression compared to conventional systems in which the filters are placed in front of the camera, as is also possible when using only one wavelength.
  • the nano-optical filter matrices can be applied to the camera sensor, for example, by means of so-called bonding, ie using an adhesive that cures under UV radiation and - in the cured state - a refractive index similar to that of glasses.
  • the filter matrix can be produced separately on wafers, sawn out of them and glued onto an existing chip. Another possibility is to integrate the filter matrices directly into the manufacturing process of CMOS chips, for example by means of electron beam lithography.
  • the projection of a pattern onto the scene can be used, especially in closed rooms.
  • a pattern is projected onto the scene, which is detected in the monoscopic overview images.
  • a pattern projector is used to project the pattern, which projects a pattern onto the scene in the first spectral range.
  • the method of fringe projection can be used with particular preference, i.e. the pattern is preferably strip-shaped, without being limited to this embodiment; in this way, other patterns that produce significant contrast differences, such as checkerboard patterns, can also be used.
  • the first spectral range preferably includes the near infrared, so that a projected pattern is not visible and is not disruptive to humans and other living beings.
  • NIR-GOBO projector NIR - near infrared, GOBO - GOes Before Optics
  • the first spectral range and the second spectral range advantageously do not overlap, so that the recording of the overview images and the detail image can take place simultaneously without any mutual influencing taking place here.
  • the detailed image is usually recorded in the wavelength range visible to the human eye, whereas the overview images are recorded in the - preferably near - infrared range in order to avoid irritation.
  • the scene is illuminated with an additional light source which emits light exclusively in the first spectral range, for example in the near infrared. This increases the accuracy of the overview measurement and thus of the stereoscopic overview map.
  • the directions of view of all cameras are known to one another or the cameras are geometrically calibrated with respect to one another.
  • the first and the second overview camera, the detail camera and the measuring camera can be arranged on an arc of a circle, with the first and second overview cameras in FIG End points of the circular arc section are arranged in order to realize the largest possible angular distance, which is advantageous for the accuracy of the 3D measurement. All viewing directions then intersect at a point in the scene or behind it.
  • a much more compact arrangement is obtained if the first and the second overview cameras are arranged on a first circular arc section and the detail camera and the measuring camera are arranged on a second circular arc section.
  • the two circular arc sections then intersect at an angle other than zero, preferably at an angle of 90 °.
  • the optional sample projector can be placed in the middle, where the two circular arc sections intersect.
  • Such an arrangement can then be integrated as a structural unit in a housing, with the geometric calibration taking place during assembly. This unit can then be used flexibly and can be transported without tools.
  • the method and device can be used in particular to determine performance in sports.
  • Medical applications consist in monitoring the biosignals of patients in an outpatient or inpatient environment.
  • vital parameters can be measured with less complications, especially in patients whose vital parameters are unstable, since electrodes do not have to be applied. This is particularly advantageous when monitoring patients who are particularly keen to move, such as newborns.
  • Another possible application is the detection of stress at the workplace within a company health management system.
  • psychological diagnostics the emotional and physical stress values of patients with emotional dysfunctions, such as those that occur after trauma or with congenital mental illnesses, can be measured and assessed.
  • a frequent problem here is the inadequate self-assessment of such patients about the level of their stress level and a lack of communication through gestures and facial expressions with a therapist or doctor.
  • diseases such as autism
  • an additional complication is that contact-based vital sensors cannot be attached to patients or can only be attached to patients under great stress.
  • a non-contact system makes it possible to support the therapist in his work as well as to provide feedback and training for the patients.
  • the pulse rate and oxygen content can only be indicative of a stress level and cannot be used solely for evaluation; other individual and subjective parameters should also be taken into account.
  • the method according to the invention and the device are also suitable for monitoring locations with large crowds, such as train stations or airports.
  • Accelerated help in medical emergencies can be guaranteed, in the sense of an early warning system.
  • the data recorded by the measuring camera can be used to determine not only the pulse rate, but also the temporal pulse sequence, which reflects the heart rhythm. If irregularities occur here in certain, known patterns, these can, for example, indicate a heart attack, which is recognized by the system.
  • people with increased stress levels can be monitored separately as a potential threat to safety in order to initiate safety measures if necessary.
  • a high pulse rate could serve as a preselection for people who are then subjected to a more detailed behavioral analysis.
  • FIGS. 2a-b show possible implementations of devices for carrying out the method
  • FIGS. 3a-b show the basic structure of a nano-optical filter
  • FIG. 4 shows a further embodiment of a nano-optical filter element
  • FIG. 5 shows a nano-optical filter element for two wavelengths
  • FIG. 6 shows the arrangement of a nano-optical filter element in a camera
  • FIG. 7 shows the transmission properties of such a nano-optical element for two exemplary wavelength ranges.
  • Fig. 1 the basic sequence of a method for the contact-free determination of temporal color changes in several objects in a scene is shown.
  • a scene 1 is initially shown symbolically. This can be, for example, a room in a fitness center or sports center, an area of a stadium, for example in the area of the running track, or wards or rooms in a hospital, to name a few examples. Forest areas or fields, plantations or parts thereof, etc. can also be such scenes.
  • At least one object whose color changes are to be measured This can be, for example, a plant or several plants, technical devices that emit light, or people whose vital parameters are to be monitored, for example.
  • the scene is recorded with three different camera systems, each comprising one or more cameras, in order to enable the corresponding parameters to be monitored and evaluated.
  • the first camera system comprises a first overview camera 2, which is directed at the scene 1 from a predefined first viewing direction, and a second overview camera, which is directed at the scene 1 from a predefined second viewing direction. Both directions of view are different from one another, but are known, so that a geometric calibration of the two cameras is possible. Exemplary structures are shown in FIGS. 2a and 2b.
  • Each of the two overview cameras 2, 3 records a monoscopic overview image of the scene 1 in a first spectral range.
  • the two monoscopic overview images are calculated into a stereoscopic overview map, which also contains the depth information of the objects, i.e. their distance to the cameras or another reference point, so that basically the spatial position of all objects to be measured in scene 1, i.e. in all three spatial coordinates of a Cartesian system, is known.
  • a separate light source 4 which emits light in the first spectral range.
  • a range in the near infrared is preferably selected as the first spectral range, which comprises the wavelength range between approximately 780 nm and approximately 3000 nm.
  • Such a light source 4 for the separate illumination of the scene is shown in FIG. 2a, in which all cameras are arranged on an arc of a circle.
  • the accuracy can also or additionally be increased if, in order to generate the stereoscopic overview map, a pattern is projected onto the scene 1 which is detected in the monoscopic overview images.
  • the arrangement comprises a device shown in FIG.
  • the pattern projector 5 which in the first spectral range a pattern on the scene 1 projected, preferably a stripe-shaped or checkerboard-shaped pattern.
  • a wavelength range that is imperceptible to the human eye, such as near infrared, is then particularly well suited as the first spectral range for the projection of a pattern.
  • the first spectral range is of course not exclusively limited to the near infrared; wavelengths greater than 3000 nm can also be used, and wavelengths in the visible range or smaller are also conceivable if, for example, it is not living objects that are being measured.
  • the overview cameras 2 and 3 can have a high resolution, but do not have to, since in principle only the position of the objects in space is to be determined here, which are then broken down into individual areas, the extent of which, however, is usually greater than the extent of a pixel of a sensor used in a camera.
  • a two-dimensional detail image is detected in a second spectral range from a predetermined third viewing direction, the position of which is known in relation to the first and second viewing directions.
  • the third viewing direction can be different from the first two or it can coincide with one of these.
  • a detail camera 6 is used, which has the highest possible resolution.
  • the recording of the detail image takes place in a second spectral range, which is preferably different from the first spectral range.
  • the recording is preferably made in the spectral range visible to the human eye, i.e. in the spectral range between about 380 nm and about 780 nm.
  • the two-dimensional detail image is projected onto the stereoscopic overview map, which is done with the aid of a computing unit.
  • Measurement areas are then selected as areas of interest in the scene on the basis of measurement criteria, which are dependent on parameters on which conclusions are to be drawn from the changes in color and intensity. For athletes training on specially designed devices or for newborns, these are, for example, areas of exposed skin such as the neck, forehead or wrists that can be used to determine the vital parameters on the basis of color changes. Due to the projection, disruptive influences that could falsify the measurement of the color and intensity changes in the identified areas can also be taken into account and corrected. Such disruptive influences are, for example, the position of the measuring objects relative to the camera, shadows or perspective distortions. By defining measuring areas that correspond to defined areas on a sensor of a camera, the effort for the subsequent evaluation can be significantly reduced.
  • a fourth viewing direction whose position in relation to the other three viewing directions is also known and can thus be geometrically calibrated, becomes light that is emitted by the measurement areas in at least one Measurement spectral range, which is specified on the basis of the measurement criteria, detected in a spatially resolved manner in a continuously recorded series of measurement images.
  • a measuring camera 7 is used, which is directed onto the scene from the fourth viewing direction.
  • the color and intensity values measured at the pixels of an area detector in the at least one predetermined measurement spectral range, which are assigned to the respective measurement areas, are analyzed for temporal variation in the intensity and / or color of this light in the at least one measurement spectral range,
  • a computing unit 8 which also processes the information from the other images.
  • the results of the analysis are then saved and / or output; Should critical changes occur - for example in the vital parameters of an athlete - corresponding warning signals can also be issued or responsible persons can be notified. In the case of monitoring the vital parameters of patients, this can be the doctor on duty, for example.
  • FIG. 2a and 2b show two possible arrangements for the elements used in a device for the contact-free determination of temporal color and intensity fluctuations in objects of a scene.
  • the first overview camera 2, the second overview camera 3, the detail camera 6 and the measuring camera 7 are arranged on an arc of a circle; the directions of view intersect at a point in the scene 1.
  • a pattern projector 5 with a light source 4 which emits light in the first spectral range is optionally provided.
  • the sample projector can also be identical to or integrated into one of the two overview cameras 1, 2; A stereoscopic overview image can also be generated in this way.
  • the first and the second overview cameras 2, 3 are arranged on a first segment of a circular arc.
  • the detail camera 6 and the measuring camera 7 are arranged on a second circular arc section, and both circular arc sections intersect at an angle of 90 °.
  • the optional sample projector 5 is located at the intersection of the circular arc sections. All of them are here too Cameras aligned with their viewing directions so that they intersect at a point in scene 1 or behind it in order to be able to geometrically calibrate the cameras.
  • the structure of the device shown in FIG. 2b is compact and can therefore also be transported without great effort, for example between different rooms of a sports facility or a hospital; the structure can be designed as a separate, compact structural unit, which optionally also includes a computing unit 8.
  • the number of measurement images that are recorded per second for fixed measurement surfaces depends on the type of color and intensity changes to be measured and the associated parameters. In the case of determining vital parameters in athletes or patients, the number of images that are recorded per second should not be less than 15 in order to obtain meaningful measurements that allow a reliable determination of the pulse rate.
  • the chlorophyll content of plants does not have to be monitored at such a high frame rate; here, much longer intervals of several hours to several days are sufficient.
  • the rate at which overview and detailed images are recorded, on the basis of which the measurement areas are determined also depends on the characteristics of the scene. When monitoring the chlorophyll content of plants, for example, before each recording of a measurement image, the measurement areas can be recalibrated by recording overview images and a detailed image.
  • the rate at which overview and detailed images are recorded can be in the range of a tenth of a second or less.
  • the number of specified measurement spectral ranges in which the color and / or intensity changes are to be measured and analyzed depends on the parameters on which conclusions are to be drawn. For the monitoring of light-emitting diodes or plants, it may be sufficient to carry out the measurement in just a single measurement spectral range. This can usually be achieved with filters that are placed in front of a lens of the measuring camera, which allows easy adaptation to different situations in which measurements only have to be made in one measuring spectral range.
  • the spatially and wavelength-resolved determination of the color and intensity changes is problematic if these changes are to be measured and analyzed in two or more measurement spectral ranges per measurement area.
  • An example of this are the Vital parameters of athletes or newborns, where temporal color fluctuations - as mentioned above, are meant here intensity fluctuations of one or more colors that are reflected in a change in the overall color impression - at a wavelength of around 750 nm, 830 nm or 940 nm, the Determine the pulse rate of the person concerned.
  • the oxygen saturation of the hemoglobin bound in the blood can be determined, for which the measured intensities of both wavelengths must be put in relation, i.e. at the wavelength of 830 nm not only color fluctuations, but also temporal intensity fluctuations must be determined. These values must therefore be determined for both wavelengths at the same time in order to be able to measure the relative oxygen saturation of the hemoglobin.
  • the two wavelengths are about 150 nm apart, but the two measurement spectral ranges that should be measured in order to also take into account absolute color fluctuations in the wavelength overlap in the range in between.
  • a nano-optical filter matrix is used, which is arranged in such a way that a spatially and wavelength-resolved detection of the light emitted by the measurement surfaces is possible.
  • the measuring camera 7 generally has an area detector as a sensor, for example a CMOS sensor.
  • the nano-optical filter matrix is applied directly to the measuring sensor.
  • the nano-optical filter matrix which can be used in the device for the contact-free determination of temporal intensity and color fluctuations in objects of a scene 1, will be explained in more detail below with reference to FIGS. 3-5.
  • FIG. 3 a shows the basic structure of a filter element configured as a nano-optical filter matrix 9 with first filter structures 10, which is used to filter a first measurement spectral range.
  • Holes 12 with an essentially square shape are arranged in a carrier material 11, for example gold or silicon, wherein the holes also have a round shape or can be designed in the form of slits.
  • the holes 12 form an array or a matrix, the 3x3 structure shown here is also referred to as a so-called nanohole array (NHA).
  • the holes have a diameter d that corresponds to the length of the edge, and the same edges are spaced apart from one another by a distance P.
  • Each of the holes 12 has a few 100 nm in diameter, the size of the structure shown in Fig. 3a is approximately between 10 gm and 15 gm.
  • 3x3 structures other sizes are also conceivable for the individual matrix elements, for example 4x4 or 5x5, depending on the measurement situation.
  • 3x3 structures are the optimum because, on the one hand, a very large area is made available in each matrix element for measuring one of the spectral ranges, and, on the other hand, the wavelength resolution takes place with a high degree of accuracy in the spatial resolution.
  • the wavelength selectivity is essentially influenced by three parameters: the diameter or the edge length d of the holes, the distance - the pitch - P of two holes 12 to one another and the dielectric constant or the electrical conductivity of the carrier material 11 used.
  • 3b shows the arrangement of the nano-optical filter matrix 9 on a planar measuring sensor 13, for example a CMOS chip.
  • the nano-optical filter matrix 9 is applied directly to the planar measuring sensor 13, for example by bonding. While light of many wavelengths hits the nano-optical filter element, the filter is structured in such a way that it ideally only lets through one wavelength li, with a maximum bandwidth of 100 nm to 150 nm, so that on the one hand the color fluctuations in the wavelength can be registered, on the other hand, however, the transmission ranges of two filter structures overlap as little as possible.
  • the nano-optical filter matrix 9 for a specific wavelength is indeed maximally permeable for this wavelength, but the remaining spectral range is also transmitted in the range of a maximum of +/- 75 nm around this wavelength, but is only greatly attenuated.
  • the intensity fluctuations are only of interest in a small area around the central peak wavelength at which the filter element has the highest sensitivity or highest transmission.
  • FIG. 4 now shows the implementation of a nano-optical filter matrix 9 which is transmissive for two peak wavelengths.
  • the area on the left corresponds to the configuration shown in FIG. 3b; this first filter structure 10 is transmissive for a first measurement spectral range.
  • a second filter structure 14 is shown which has smaller holes than the first filter structure 10, the distance P being identical in the case of the first filter structure 10 and the second filter structure 14.
  • the second filter structure 14 is permeable to a second measurement spectral range around a central wavelength or peak wavelength ⁇ 2. While only the wavelength li is allowed to pass on the left side, the right side is only allowed to pass through for the wavelength ⁇ 2 or for the respective measurement spectral ranges defined around these central wavelengths.
  • first and second filter structures 10, 14, as shown in FIG. 5, are arranged in a checkerboard manner - each of the filter structures corresponds to a nano-optical filter matrix 9 - and this checkerboard structure is arranged on the planar measuring sensor 13 and connected to it, is a Detection with spatial and wavelength resolution over the entire measuring sensor 13 is possible.
  • Each of the first filter structures 10 and the second filter structures 14 covers an area of one or a small number of several pixels, so that it is ensured that several of the first filter structures 10 and the second filter structures 14 are assigned to each measurement area.
  • the installation in the camera is shown by way of example in FIG. 6, here incident light hits a lens system 15 of a measuring camera 7.
  • the wavelengths of interest are now spatially and wavelength-resolved via the nano-optical filter matrix 9 consisting of the first filter structures 10 and the second filter structures 14 detected from the direction of the measuring surfaces. Since the corresponding wavelengths are already separated here by means of hardware, less time is required to process the data using software, which leads to increased real-time capability and reduced latency of the measurement.
  • the manufacturing process is also simplified with regard to mass production, since the application or structuring of the nano-optics can take place in the same manufacturing step as the insertion of the camera sensor.
  • the integration of the nano-optical filter elements on the sensor also increases the robustness with regard to shocks or vibrations.
  • the structure can also be made somewhat more compact, since a filter in front of the measuring camera is no longer necessary.
  • the use of a camera system is particularly suitable for monitoring people in closed rooms.
  • premature babies or newborns can be monitored in a corresponding neonatal ward, or athletes can be monitored in a training room.
  • the camera system can be installed as a fixed measuring instrument, for example it can be aligned so that it is pointed from the ceiling or the wall at the person to be monitored, for example on the bed or the changing table in the case of newborns.
  • the camera system first records the person's body with the two overview cameras 2, 3. With the simultaneously recorded detail image of the detail camera 6, which is projected onto the overview map generated from the overview images, areas of exposed skin can be marked which correspond to the measurement areas.
  • the later one Analysis only the measuring surfaces are considered.
  • the measuring camera 7 and the nano-optical filter structures are designed to allow wavelengths around a central wavelength of 830 nm and 660 nm to pass, the first filter structures 10 being transparent to one wavelength and the second filter structures to the other wavelength.
  • the number can be derived directly from the temporal color fluctuations - in medical application in this special case it is actually intensity fluctuations at one wavelength - in the near infrared at the wavelength of 830 nm, which can be derived from the consecutive recordings of the measuring surfaces of heartbeats per minute, determine the heart rate.
  • the spectral range around a wavelength of about 660 nm is detected by the measuring surfaces, from the ratio of the measured intensities of the two wavelengths - here the maximum values of the intensity distributions are compared - the relative oxygen saturation of the hemoglobin bound in the blood can be determined determine.
  • look-up tables these values can be referenced and converted into quantitative absolute values.
  • FIG. 7 An example of a measurement of the two wavelengths is shown in FIG. 7 for any point in time when the series of measurement images was recorded.
  • the solid line corresponds to the spectral range that is transmitted by the first filter structures 10 with a transmission maximum here at approximately 850 nm.
  • the dashed line corresponds to the spectrum that is transmitted by the second filter structures 14 with a maximum at approximately 660 nm.
  • the breathing frequency and the breathing volume can also be determined; these values can be derived from the three-dimensional contraction and expansion of the chest.
  • Overview images must then be recorded in quicker succession, with a frequency that is at least twice the breathing rate.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Färb- und Intensitätsveränderungen bei Objekten in einer Szene, beispielsweise in Sportzentren oder Krankenhäusern, aber auch von Pflanzen. Zur Überwachung des Gesundheitszustandes oder zur Leistungsdiagnostik bei Sportlern sind im Stand der Technik eine Reihe von Verfahren bekannt, die jedoch überwiegend auf Kontakt zu den Personen angewiesen sind. Die Färb- und Intensitätsveränderungen beziehen sich auf Licht bestimmter Wellenlängen, das entweder das Objekt selbst aktiv abstrahlt, beispielsweise eine LED, oder das von dem Objekt bei Beleuchtung teilweise absorbiert oder geschwächt wird und daher nicht vollständig zurückgestrahlt wird. Unter dem Begriff „Farbveränderungen" werden dabei im Wortsinn in der Regel Änderungen in der Wellenlänge bezeichnet, d.h. beispielsweise die Verlagerung eines Reflexionsmaximums oder Transmissionsmaximums innerhalb enger Wellenlängenbereiche. Unter dem Begriff „Intensitätsveränderungen" werden in der Regel Veränderungen in der maximalen Reflexion oder Transmission bei einer konstanten Wellenlänge bezeichnet. Im Bereich sportlich-medizinischer Anwendungen versteht man unter „Farbveränderungen" allerdings ebenfalls Intensitätsveränderungen, weil diese subjektiv und nur scheinbar durch Änderung der Helligkeit eine Farbveränderung hervorzurufen scheinen, was aber tatsächlich für eine einzelne Farbe bzw. Wellenlänge nicht der Fall ist, sondern nur für den Gesamteindruck, den die Mischung aller Farben bzw. Wellenlängen hervorruft: Ändert sich die Intensität einer Schwerpunktfarbe, so entsteht für einen Betrachter insgesamt in der Farbmischung der einzelnen Wellenlängen ein anderer farblicher Gesamteindruck. Als Beispiel sei hier Gelbsucht bei Menschen, insbesondere Neugeborenen angeführt: Die höhere Konzentration von Bilirubin im Blut führt zu einer verstärkten Reflexion im Wellenlängenbereich zwischen (420) nm und (450) nm und damit zu der deutlichen gelberen Farbwahrnehmung der Haut als bei gesunden Menschen.

Description

Titel
Verfahren und Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Färb- und Intensitätsveränderungen bei Objekten
Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Färb- und Intensitätsveränderungen bei Objekten in einer Szene, beispielsweise in Sportzentren oder Krankenhäusern, aber auch von Pflanzen. Zur Überwachung des Gesundheitszustandes oder zur Leistungsdiagnostik bei Sportlern sind im Stand der Technik eine Reihe von Verfahren bekannt, die jedoch überwiegend auf Kontakt zu den Personen angewiesen sind. Die Färb- und Intensitätsveränderungen beziehen sich auf Licht bestimmter Wellenlängen, das entweder das Objekt selbst aktiv abstrahlt, beispielsweise eine LED, oder das von dem Objekt bei Beleuchtung teilweise absorbiert oder geschwächt wird und daher nicht vollständig zurückgestrahlt wird. Unter dem Begriff „Farbveränderungen“ werden dabei im Wortsinn in der Regel Änderungen in der Wellenlänge bezeichnet, d.h. beispielsweise die Verlagerung eines Reflexionsmaximums oder Transmissionsmaximums innerhalb enger Wellenlängenbereiche. Unter dem Begriff „Intensitätsveränderungen“ werden in der Regel Veränderungen in der maximalen Reflexion oder Transmission bei einer konstanten Wellenlänge bezeichnet. Im Bereich sportlich-medizinischer Anwendungen versteht man unter „Farbveränderungen“ allerdings ebenfalls Intensitätsveränderungen, weil diese subjektiv und nur scheinbar durch Änderung der Helligkeit eine Farbveränderung hervorzurufen scheinen, was aber tatsächlich für eine einzelne Farbe bzw. Wellenlänge nicht der Fall ist, sondern nur für den Gesamteindruck, den die Mischung aller Farben bzw. Wellenlängen hervorruft: Ändert sich die Intensität einer Schwerpunktfarbe, so entsteht für einen Betrachter insgesamt in der Farbmischung der einzelnen Wellenlängen ein anderer farblicher Gesamteindruck. Als Beispiel sei hier Gelbsucht bei Menschen, insbesondere Neugeborenen angeführt: Die höhere Konzentration von Bilirubin im Blut führt zu einer verstärkten Reflexion im Wellenlängenbereich zwischen 420 nm und 450 nm und damit zu der deutlichen gelberen Farbwahrnehmung der Haut als bei gesunden Menschen.
Stand der Technik Um beispielsweise eine Leistungsdiagnose bei Sportlern vorzunehmen, werden von einer zu untersuchenden Person ein Elektrokardiogramm (EKG) zur Bestimmung der Herzfrequenz und der Herzratenvariabilität sowie das Verfahren der Photoplethysmographie (PPG) zur Bestimmung der Sauerstoffsättigung verwendet. Beide Verfahren sind kontaktbasiert, gelten jedoch aufgrund ihrer hohen Zuverlässigkeit, Objektivität und Validität als Gold- Standardverfahren. Ihr großer Nachteil liegt zum einen darin, dass es sich um kontaktbasierte Methoden handelt, d.h. immer nur eine Person gleichzeitig beobachtet werden kann und zudem speziell geschultes Fachpersonal für das exakte Anlegen und Aufbringen der für die Messung notwendigen Elektroden zwingend nötig ist. Beispielsweise muss die Haut durch Desinfektion und gegebenenfalls durch Rasur vorbereitet werden; für die Platzierung der Elektroden sind anatomische Kenntnisse erforderlich. Der zeitliche Aufwand ist zudem beträchtlich, um die Vergleichbarkeit der gewonnenen Daten zu gewährleisten. Ein weiterer Nachteil entsteht durch die Notwendigkeit der kontaktbasierten Elektroden, die direkt auf die Haut aufgebracht werden müssen. Die Messung der betreffenden Person muss somit in einem geschlossenen Umfeld durchgeführt werden, um die Privatsphäre zu schützen. Zwar lassen sich EKG und PPG durch Multisensor-Systeme gekoppelt und gemeinsam messen, solche Systeme sind jedoch stets nur einer einzigen Person zugeordnet.
Auch für die Überwachung des Gesundheitszustandes von Patienten in einem Krankenhaus werden kontaktbasierte Systeme wie das EKG und das PPG verwendet. Gerade im Krankenhaus, wo es wünschenswert wäre, mehrere Personen gleichzeitig zu überwachen, liegt in dieser kontaktbasierten Methode ein Nachteil, da zur Erfassung mehrerer Personen zeitgleich mehrere Systeme vorgehalten und parallel betrieben werden müssten. Die Anschaffungskosten sind entsprechend hoch.
Andererseits sind im Stand der Technik auch kontaktfreie Messmethoden bekannt, welche jedoch nicht dafür eingesetzt werden, den Leistungs- oder Gesundheitszustand von Personen zu erfassen. Beispielsweise erfolgt die Untersuchung von Böden und Pflanzenbeständen bei der Erdbeobachtung aus der Luft oder per Satellit, wozu übliche Spektrometer verwendet werden, die ein Bild aufgeschlüsselt in viele Wellenlängen wiedergeben. Die Auswertung solcher Daten ist insbesondere dann mit einem besonders hohen Aufwand verbunden, wenn es um spezielle spektrale Eigenschaften geht, die beispielsweise als Indikator für den Zustand oder die Belastung von Wäldern oder Ackerböden dienen. Eine Aufschlüsselung nach Tiefeninformationen, die beispielsweise erkennen ließen, ob der Waldboden oder die Baumwipfel vermessen werden, ist bei dieser Vorgehensweise nicht vorgesehen.
Es hat sich herausgestellt, dass bestimmte Vitalparameter wie der Puls und der Blutsauerstoffgehalt auch kontaktfrei gemessen werden können: Anhand von leichten Färb- und Intensitätsveränderungen in der Haut, welche sich aus der Reflexion und Absorption bestimmter Wellenlängen des Hämoglobins im Blut und dessen periodisch schwankende Füllung in Gefäßen an diversen Hautstellen ergeben, lassen sich diese Parameter bestimmen.
Die zeitliche Analyse von Farbschwankungen wird jedoch bisher hauptsächlich bei der Charakterisierung der Stabilität von Leuchtdioden eingesetzt. Hierzu werden sogenannten nanooptische Filter verwendet, die aufgrund speziellen Wechselwirkungsmechanismen Licht bestimmter Wellenlängen bzw. Wellenlängenbereiche filtern können. Solche nanooptischen Elemente werden beispielsweise in einem Artikel von S. Junger et al. „Multispectral CMOS sensors with on-chip nanostructures for wavelength monitoring of LED devices”, erschienen in Proceedings of SPIE (8641 ), Seite 86411 B (2013), beschrieben. Die nanooptischen Filter werden dabei vor die Kamera gesetzt, um durch Austauschbarkeit eine einfache Anpassung an andere Wellenlängen zu ermöglichen, wenn beispielsweise andere LED vermessen werden sollen. Es handelt sich hierbei um rein statische, zweidimensionale Messungen auf kleinstem Raum.
Es gibt jedoch zahlreiche Situationen, in denen die gleichzeitige Überwachung der Vitalparameter mehrerer Personen wünschenswert ist, jedoch aufgrund der oben genannten Einschränkungen insbesondere bei kontaktbasierten Messmethoden nicht durchführbar ist, beispielsweise bei der Leistungsdiagnostik in Sportzentren oder auch bei der Überwachung von Patienten im Krankenhaus, insbesondere auf neonatologischen Stationen. Hier kommt hinzu, dass die Patienten die kontaktbasierte Überwachung als unangenehm empfinden könnten.
Beschreibung der Erfindung
Aufgabe der Erfindung ist es daher, ein Verfahren und eine Vorrichtung zu entwickeln, mit der die kontaktfreie Bestimmung von zeitlichen Färb- und Intensitätsveränderungen bei mehreren Objekten gleichzeitig mit anschließender Analyse erfolgen kann.
Diese Aufgabe wird durch ein Verfahren zur kontaktfreien Bestimmung von zeitlichen Färb- und Intensitätsveränderungen bei Objekten - insbesondere auch gleichzeitig bei mehreren Objekten - in einer Szene gelöst, welches im Folgenden beschrieben wird. Bei der „Szene“ kann es sich beispielsweise um einen geschlossenen Raum in einem Sportzentrum oder in einem Krankenhaus handeln, aber auch um ein größeres Areal im Freien, beispielsweise ein Fußball oder Baseballfeld. Der Begriff „Objekt“ umfasst alles, bei dem die Messung zeitlicher Färb- und Intensitätsveränderungen Aufschluss über den Zustand des Objektes geben können, beispielsweise Leuchtdioden oder Pflanzen, insbesondere jedoch Personen, die sich in der Szene auch frei bewegen können. Die Objekte sind in der Szene verteilt und Ziel ist es, die interessierenden Färb- und Intensitätsveränderungen in bestimmten Bereichen aller Objekte gleichzeitig zu messen und anhand der Färb- und Intensitätsveränderungen Rückschlüsse auf spezifische Parameter, die den Zustand der Objekte beschreiben, zu ziehen.
Dazu wird zunächst eine stereoskopische Übersichtskarte der Szene erzeugt, indem ein erstes monoskopisches Übersichtsbild der Szene aus einer vorgegebenen ersten Blickrichtung und ein zweites monoskopisches Übersichtsbild aus einer vorgegebenen zweiten Blickrichtung in einem ersten Spektralbereich detektiert werden. Die erste und die zweite Blickrichtung sind voneinander verschieden, ihre Lage zueinander bekannt. Die beiden monoskopischen Übersichtsbilder werden zu der stereoskopischen Übersichtskarte verrechnet, aus der dann schließlich die räumlichen Positionen von zu vermessenden Objekten bestimmt werden. In der erfindungsgemäßen Vorrichtung sind dazu eine erste und eine zweite Übersichtskamera vorgesehen. Die beiden Kameras detektieren jeweils den gleichen Wellenlängenbereich oder die gleiche Wellenlänge und sind unter einer festen, vorgegebenen ersten bzw. zweiten Blickrichtung auf die Szene ausgerichtet. Vorzugsweise schneiden sich die Blickrichtungen in einem Punkt in oder hinter der Szene, so dass anhand dieses Punktes und einer Bezugsachse Blickwinkel festgelegt werden können. Die Informationen, die mit den Übersichtskameras detektiert werden, sind unabhängig von den zeitlichen Färb- und Intensitätsveränderungen, die detektiert werden sollen, dienen jedoch dazu, die Lage und gegebenenfalls auch die Bewegung und Bewegungsrichtung von Objekten in der Szene zu identifizieren. Je schneller sich ein Objekt bewegt, desto mehr Übersichtsbilder müssen aufgenommen und Übersichtskarten berechnet werden, sofern keine näherungsweise Bestimmung der Bewegung möglich ist.
In einem zweiten Schritt wird ein zweidimensionales Detailbild aus einer vorgegebenen dritten Blickrichtung, deren Lage in Bezug auf die erste und zweite Blickrichtung bekannt ist, in einem zweiten Spektralbereich detektiert. Die dritte Blickrichtung kann von der ersten und zweiten Blickrichtung verschieden sein, was die Verrechnung ggf. erleichtert. Sie kann aber auch einer der beiden Blickrichtungen entsprechen. Beispielsweise kann eine Kamera sowohl für ein Übersichtsbild als auch für ein Detailbild verwendet werden. Die Aufnahme des zweidimensionalen Detailbildes erfolgt vorzugsweise simultan mit der Aufnahme der Übersichtsbilder, so dass die Bildinhalte einen identischen Moment abbilden, oder unmittelbar vor oder nach deren Aufnahme, wenn sich beispielsweise das Objekt nicht bewegt. Zur Aufnahme wird eine Detailkamera verwendet, welche aus der dritten Blickrichtung auf die Szene gerichtet ist. Das zweidimensionale Detailbild wird dann auf die stereoskopische Übersichtskarte projiziert. Anhand von Messkriterien, die in Abhängigkeit von Parametern, auf die aus den Färb- und Intensitätsveränderungen Rückschlüsse gezogen werden sollen, vorgegeben sind, werden Messflächen als interessierende Bereiche in der Szene ausgewählt. Dies erfolgt - ebenso wie die Verrechnung der zwei monoskopischen Übersichtsbilder zur stereoskopischen Übersichtskarte - in einer dazu ausgebildeten Recheneinheit. Die Lage aller drei Blickrichtungen zueinander ist bekannt, sie schneiden sich vorzugsweise in einem Punkt im hinteren Bereich der Szene oder hinter der Szene. Da die Lage der Kameras zueinander bekannt ist, lässt sich eine geometrische Kalibrierung der Lage der Detailkamera in Bezug auf die Lage der Übersichtskameras vornehmen. Anhand dieser Kalibrierung lassen sich dann Transformationsmatrizen für eine eineindeutige Transformation der räumlichen Bilddaten des stereoskopischen Bildes auf die zweidimensionalen Bilddaten des Detailbildes und umgekehrt ermitteln. Durch die Projektion des zweidimensionalen Detailbildes auf die stereoskopische Übersichtskarte lässt sich die Lage von Messflächen, welche auch als interessierende Bereiche (ROI - regions of interest) bezeichnet werden, unter Berücksichtigung ihrer Lage und ggf. Verzerrung im Raum, festlegen. Auf diese Weise lassen sich optimale Messbereiche definieren, beispielsweise Hautstellen bei Personen, an denen aufgrund einer guten Durchblutung eine besonders starke Farbveränderung messbar ist, wie die Stirn, der Hals oder die Handgelenke.
Für die Aufnahme des Detailbildes ist es vorteilhaft, eine Detailkamera zu verwenden, welche eine sehr hohe Auflösung aufweist, insbesondere eine Auflösung, die höher als die der Übersichtskameras ist, damit die Messflächen möglichst genau identifiziert werden können. Für die Aufnahme des Übersichtsbildes reicht in der Regel eine etwas geringere Auflösung, da die dreidimensionalen Strukturen, die durch Punkte und Vektoren beispielsweise als Gitter dargestellt werden können, in der Regel Ausdehnungen aufweisen, die sich über einen größeren Bereich von Pixeln erstrecken. Beispielsweise lassen sich Übersichtskameras mit einer Auflösung von 832 x 632 Pixeln und Detailkameras mit einer Auflösung von 1280 x 1024 Pixeln verwenden; mit diesen Auflösungen lassen sich gerade in geschlossenen Räumen gute Ergebnisse erzielen. Je detailreicher eine Szene ist, desto höher sollten die Auflösungen der Kameras gewählt werden. Übersichtskameras mit höherer Auflösung lassen sich jedoch verwenden, um ggf. weitere Parameter bestimmen zu können. Sind alle Kameras identisch mit identischer Auflösung, kann die Auswertung u.U. vereinfacht werden.
Nach Festlegung der Messflächen wird aus einer vierten Blickrichtung, deren Lage in Bezug auf die anderen drei Blickrichtungen ebenfalls bekannt ist, von den Messflächen in mindestens einem in Abhängigkeit von den Messkriterien vorgegebenen Messspektralbereich abgestrahltes Licht orts- und wellenlängenaufgelöst in einer kontinuierlich aufgenommenen Serie von Messbildern detektiert. Dazu wird eine entsprechende Messkamera verwendet. Vorteilhaft weist die Messkamera, bzw. der Flächendetektor zur Registrierung der Bilddaten dieser Kamera die gleiche Auflösung auf wie die Detailkamera - also beispielsweise 1280 x 1024 Pixel, da auf diese Weise eine pixelweise Zuordnung der Messflächen erleichtert wird. Die Detektion erfolgt ortsaufgelöst, d.h. mittels eines Flächendetektors, beispielsweise einem CMOS-Sensor. Die Detektion erfolgt aber - wenn mindestens zwei Messspektralbereiche vorgegeben sind, auch wellenlängenaufgelöst, womit gemeint ist, dass die Spektralbereiche unabhängig voneinander auf demselben Flächendetektor detektiert werden.
Dadurch, dass nur Bilddaten in den Messflächen registriert und anschließend ausgewertet werden müssen, lässt sich der Datenstrom wesentlich reduzieren. Die Bildrate, d.h. die Anzahl der Bilder, die pro Sekunde aufgenommen werden ( frame rate) hängt davon ab, welche Art von Objekten vermessen werden sollen und wie stark sich die Objekte in der Szene bewegen. Werden beispielsweise statische Objekte wie Pflanzen aus einer statischen Position über einen längeren Zeitraum beobachtet, so erfolgen hier Farbänderungen eher über einen längeren Zeitraum. In diesem Fall reicht es beispielsweise aus, im Abstand von mehreren Minuten, Stunden oder Tagen Bilder aufzunehmen, wobei dann in der Regel gleichzeitig auch wieder eine Übersichtskarte und ein Detailbild erzeugt werden, um eventuelle Lageänderungen kompensieren zu können. Bei Neugeborenen hingegen wird man eine Bildrate von mindestens 15 oder 20 Bildern pro Sekunde wählen, um eine hohe Pulsrate, d.h. die Anzahl der Herzschläge pro Minute, korrekt erfassen zu können. Ähnlich wird man bei Sportlern verfahren, wobei hier in der Regel auch immer wieder zwischen zwei Serien von Messbildern neue Übersichtskarten und Detailbilder erzeugt werden müssen, da sich die Sportler in der Regel schneller bewegen. Die Anzahl der Übersichtskarten und Detailbilder kann reduziert werden, wenn zwischen der Aufnahme von zwei solchen Datensätzen zu verschiedenen Zeitpunkten die Objekte hinsichtlich einer Bewegung analysiert werden und auf diese Weise auch eine Verlagerung der Messflächen prognostiziert werden kann. Andernfalls werden nahezu kontinuierlich Übersichtskarten und Detailbilder bestimmt sowie Messbilder von jeweils aktualisierten Messflächen aufgenommen, wobei die Bildrate, mit der die Messbilder aufgenommen werden, letztlich die Bildrate des Gesamtsystems bestimmt, da eine höhere Bildrate für andere Kameras nur zu einem nicht verwertbaren Überschuss an Informationen führen würde. Alle Kameras sind bevorzugt in der Lage, mit derselben maximalen Bildrate wie die Messkamera aufzunehmen.
Durch die Verwendung einer stereoskopischen Übersichtskarte lässt sich die Zuverlässigkeit der Messungen erhöhen, da die räumliche Lage der Messobjekte in der Szene berücksichtigt werden kann und entsprechende Korrekturen im Bild vorgenommen werden können. Durch die Projektion des zweidimensionalen Detailbildes lassen sich erfasste Messflächen auf den Objekten gegen perspektivische Verzerrungen korrigieren. Ebenfalls können auf diese Weise verfälschte Messdaten oder solche mit geringer Zuverlässigkeit ( reliability ) ausgeschlossen werden. Insgesamt verbessert sich auf dieser Weise die Sicherheit der Messung. Mit Hilfe der Projektion kann außerdem die genaue Position gemessener Signale, d.h. der reflektierten Farben, bestimmt werden, was bei der Beobachtung einer Gruppe sich bewegender Objekte vorteilhaft ist. Die Messung erfolgt dabei nur für Wellenlängen in mindestens einem in Abhängigkeit von den Messkriterien - letzten Endes also in Abhängigkeit von den Parametern, auf die Rückschlüsse gezogen werden sollen - vorgegebenen Messspektralbereich. Handelt es sich nur um eine einzige Wellenlänge, die überwacht werden muss, so kann ein entsprechender Filter, der nur Licht in dem vorgegebenen Messspektralbereich durchlässt, der Messkamera im Strahlengang vorgeschaltet werden. Der vorgegebene Messspektralbereich kann dabei - in Abhängigkeit von den Parametern, auf die Rückschlüsse gezogen werden sollen - sehr eng gewählt werden und nur eine Wellenlänge hindurchlassen, wenn z.B. nur Intensitätsschwankungen untersucht werden, oder aber einen breiteren Wellenlängenbereich, wenn auch Farbschwankungen gemessen werden sollen. Beispielsweise lässt sich der Messspektralbereich auf 420 nm bis 450 nm festlegen, wenn man Patienten mit Gelbsucht überwacht, da in diesem Bereich Bilirubin, welches dann in höherer Konzentration vorhanden ist, reflektiert. Andere beispielhafte Messspektralbereiche liegen zwischen 630 nm und 750 nm für den Bereich der sichtbaren Hb- Bande (Hb - Hämoglobin) und zwischen 800 nm und 940 nm für den Bereich der Hb-Bande im nahen Infrarot.
Im letzten Schritt werden die an den Messflächen detektierten Daten in den Messbildern auf zeitliche Variation der Farbe und/oder Intensität analysiert die Ergebnisse der Analyse werden dann ausgegeben. Dies erfolgt in der Regel mit der Recheneinheit, die dazu ausgebildet ist, in der Serie von Messbildern die zeitliche Variation der Intensität und/oder der Farbe des Lichts in dem mindestens einen Messspektralbereich zu analysieren und die Ergebnisse an eine entsprechende Ausgabeeinheit zu übermitteln. Dabei kann es sich beispielsweise um einen Monitor handeln, eine Speichereinheit, oder - wenn die Werte kritisch sind - ein Signalgeber, der Bereitschaftspersonal alarmiert.
Beispielsweise lässt sich anhand von zeitlichen Farbschwankungen im nahen Infrarot- Wellenlängenbereich bei einer Wellenlänge von etwa 830 nm in einem Bereich von +/- 50 nm um diese Wellenlänge die Pulsrate eines Sportlers oder eines Neugeborenen ableiten, wobei nur die Werte der Messflächen, die auf freien Hautpartien, wo die Adern in geringer Tiefe verlaufen, angeordnet sind, analysiert werden.
Vorteilhaft ist es aber, wenn mit der Vorrichtung und dem Verfahren auch weitere interessierende Parameter beobachtet werden können, beispielsweise der Sauerstoffgehalt im Blut, wozu Messungen bei einer Wellenlänge von etwa 660 nm notwendig sind: Aus dem Verhältnis der gemessenen Intensitäten beider Wellenlängen lässt sich die relative Sauerstoffsättigung des im Blut gebundenen Hämoglobins messen. Zu diesem Zweck wird das Messbild in mindestens zwei vorgegebenen Messspektralbereichen orts- und wellenlängenaufgelöst detektiert. Um gleichzeitig eine Orts- und Wellenlängenauflösung sowie eine Beschränkung auf die Messflächen für beide Wellenlängen zu erreichen, wird vorteilhaft ein Filterelement verwendet, dass als nanooptische Filtermatrix ausgestaltet ist. Diese ist auf einen flächenförmigen Messsensor, der das von den Messflächen abgestrahlte Licht in der Messkamera detektiert, aufgebracht. Die nanooptische Filtermatrix weist für den Zweck der Detektion zweier Messspektralbereiche zwei Arten von Filterstrukturen auf. Erste Filterstrukturen dienen der Filterung eines ersten Messspektralbereichs und zweite Filterstrukturen der Filterung eines zweiten Messspektralbereichs. Erste und zweite Filterstrukturen sind dabei in der nanooptischen Filtermatrix vorzugsweise schachbrettartig angeordnet. Dabei überdeckt jeder der Filterstrukturen einen größeren Bereich von Pixeln. Die Wirkung der nanooptischen Filterelemente basiert auf dem Phänomen der außerordentlichen optischen Transmission ( extraordinary optical transmission), welches bei der Wechselwirkung von elektromagnetischer Strahlung mit periodisch angeordneten Löchern nanoskopischer Größe auftritt. Die spektrale Selektivität lässt sich mittels des Materials - beispielsweise Gold oder Silizium -, der Anordnungsperiode (pitch) der Löcher und des Durchmessers der Löcher festlegen. Sollen noch weitere Messspektralbereiche analysiert werden, so kann eine entsprechend erweiterte Schachbrettstruktur mit drei oder mehr Typen von Filterstrukturen verwendet werden.
Auf diese Weise erfolgt die Messung der ausgewählten Messspektralbereiche bzw.
Wellenlängen jeweils ortsaufgelöst und jeweils aufgelöst nach Wellenlängen bzw. Spektralbereichen, d.h. die Messspektralbereiche werden unbeeinflusst voneinander detektiert, da die unter den Filterstrukturen angeordneten Pixel aufgrund der Filteranordnung entweder nur die eine oder die andere Wellenlänge bzw. den einen oder den andern Messspektralbereich detektieren, also tatsächlich nur die Intensität bei einer Wellenlänge bzw. in einem Wellenlängenbereich unbeeinflusst von der bzw. dem anderen messen. Dass Messsignal wird auf diese Weise bereits vor der endgültigen Auswertung durch die Recheneinheit, d.h. die verwendete Hardware vorbereitet. Im Gegensatz zu Rekonstruktionen aus überlagerten Messungen aus zwei Messspektralbereichen im RGB-Farbraum sind hier keine weiteren Berechnungen nötig und es wird tatsächlich nur die interessierende Farbe / Wellenlänge gemessen. Dadurch wird der Zeitaufwand beim Verarbeiten der Daten durch Software verringert, was die Latenz der Messung verringert und die Echtzeitfähigkeit erhöht. Darüber hinaus wird auch das Ableiten von Parametern aus den Daten genauer, wenn gar keine algorithmisch-numerischen Fehler auftreten.
Die Integration nanooptischer Filtermasken auf einen Bildsensor erleichtert außerdem eine Massenproduktion: Das Aufbringen oder Strukturieren der nanooptischen Filtermatrizen kann im gleichen Herstellungsschritt erfolgen wie das Einsetzen des Kamerasensors. Die Integration der nanooptischen Filterelemente erhöht außerdem die mechanische Robustheit gegenüber Erschütterungen oder Vibrationen des Messsystems und bedeutet eine Komprimierung gegenüber herkömmlichen Systemen, bei denen die Filter vor die Kamera aufgesetzt werden, wie es auch bei der Verwendung von nur einer Wellenlänge möglich ist. Die nanooptischen Filtermatrizen können beispielsweise mittels sogenannten Bondings auf den Kamerasensor aufgebracht werden, d.h. unter Verwendung eines unter UV-Strahlung aushärtenden Klebstoffs mit - im ausgehärteten Zustand - einem Brechungsindex ähnlich dem von Gläsern. Die Filtermatrix kann separat auf Wafern hergestellt, aus diesen ausgesägt und auf einen bestehenden Chip geklebt werden. Eine andere Möglichkeit besteht darin, die Filtermatrizen direkt in den Herstellungsprozess von CMOS-Chips zu integrieren, beispielsweise mittels Elektronenstrahllithographie.
Zur Erhöhung der Genauigkeit der Übersichtskarte lässt sich - insbesondere in geschlossenen Räumen - die Projektion eines Musters auf die Szene einsetzen. Dabei wird zur Erzeugung der stereoskopischen Übersichtskarte ein Muster auf die Szene projiziert, welches in den monoskopischen Übersichtsbildern detektiert wird. Zur Projektion des Musters wird ein Musterprojektor verwendet, welcher im ersten Spektralbereich ein Muster auf die Szene projiziert. Hier lässt sich besonders bevorzugt das Verfahren der Streifenprojektion anwenden, d.h. das Muster ist bevorzugt streifenförmig, ohne auf diese Ausführung begrenzt zu sein; so lassen sich andere Muster, die deutliche Kontrastunterschiede erzeugen, wie Schachbrettmuster, ebenfalls verwenden. Der erste Spektralbereich umfasst vorzugsweise das nahe Infrarot, so dass ein projiziertes Muster nicht sichtbar und nicht störend für Menschen und andere Lebewesen ist. Beispielsweise lässt sich ein sogenannter NIR-GOBO-Projektor (NIR - nahes Infrarot, GOBO - GOes Before Optics) verwendet werden, wie er beispielsweise in dem Artikel „GOBO projection for 3D measurements at highest frame rates: a performance analysis” von S. Heist et al., erschienen in Light: Science & Applications (2018)7:71 beschrieben ist. Vorteilhaft überlappen sich der erste Spektralbereich und der zweite Spektralbereich nicht, so dass die Aufnahme der Übersichtsbilder und des Detailbildes simultan erfolgen kann, ohne dass hier eine gegenseitige Beeinflussung stattfindet. Das Detailbild wird in der Regel im für das menschliche Auge sichtbaren Wellenlängenbereich aufgenommen, wohingegen die Übersichtsbilder im - bevorzugt nahen - Infrarotbereich aufgenommen werden, um Irritationen zu vermeiden. Für die Aufnahme der Übersichtsbilder, insbesondere bei Verwendung einer Musterprojektion ist es besonders vorteilhaft, wenn die Szene mit einer zusätzlichen Lichtquelle beleuchtet wird, welche Licht ausschließlich im ersten Spektralbereich, also beispielsweise im nahen Infrarot abstrahlt. Dies erhöht die Genauigkeit der Übersichtsmessung und damit der stereoskopischen Übersichtskarte.
Wie bereits erläutert sind die Blickrichtungen aller Kameras zueinander bekannt bzw. die Kameras gegeneinander geometrisch kalibriert. Beispielsweise lassen sich die erste und die zweite Übersichtskamera, die Detailkamera und die Messkamera auf einem Kreisbogenausschnitt anordnen, wobei bevorzugt die erste und zweite Übersichtskamera in Endpunkten des Kreisbogenausschnitts angeordnet sind, um einen möglichst großen Winkelabstand, der für die Genauigkeit der 3D-Messung vorteilhaft ist, zu realisieren. Alle Blickrichtungen schneiden sich dann in einem Punkt in der Szene oder hinter dieser.
Eine wesentlich kompaktere Anordnung erhält man, wenn die erste und die zweite Übersichtskamera auf einen ersten Kreisbogenausschnitt angeordnet sind und die Detailkamera sowie die Messkamera auf einen zweiten Kreisbogenausschnitt. Die beiden Kreisbogenausschnitte überschneiden sich dann in einem von Null verschiedenen Winkel, bevorzugt in einem Winkel von 90°. In die Mitte, wo sich die beiden Kreisbogenausschnitte schneiden, kann der optionale Musterprojektor platziert werden. Eine solche Anordnung lässt sich dann als Baueinheit in ein Gehäuse integrieren, wobei die geometrische Kalibrierung beim Zusammenbau erfolgt. Diese Baueinheit kann dann flexibel eingesetzt werden und ist ohne Hilfsmittel transportabel.
Verfahren und Vorrichtung lassen sich insbesondere zur Bestimmung der Leistungsfähigkeit im Sport einsetzen. Medizinische Anwendungen bestehen im Monitoring der Biosignale von Patienten in ambulanter oder stationärer Umgebung. Auch in der Intensivmedizin können Vitalparameter gerade bei Patienten, deren Vitalparameter instabil sind, komplikationsloser gemessen werden, da keine Elektroden angelegt werden müssen. Dies ist insbesondere auch bei der Überwachung von besonders bewegungsfreudigen Patienten, wie Neugeborenen, vorteilhaft.
Eine weitere mögliche Anwendung besteht in der Detektion der Beanspruchung am Arbeitsplatz innerhalb eines betrieblichen Gesundheitsmanagements. In der psychologischen Diagnostik können emotionale und physische Stresswerte von Patienten mit emotionalen Dysfunktionen, wie sie beispielsweise nach Traumata oder bei angeborenen psychischen Erkrankungen auftreten, gemessen und eingeschätzt werden. Ein häufiges Problem hier ist die mangelnde Selbsteinschätzung solcher Patienten über die Höhe ihres Stresslevels und fehlende Kommunikation durch Gestik und Mimik gegenüber einem Therapeuten oder Arzt. Bei Erkrankungen wie Autismus kommt erschwerend hinzu, dass kontaktbasierte Vitalsensoren nicht oder nur unter starkem Stress an Patienten angebracht werden können. Ein kontaktfreies System ermöglicht es sowohl den Therapeuten bei seiner Arbeit zu unterstützen als auch Feedback und Training für die Patienten zu liefern. Pulsrate und Sauerstoffgehalt können hier allerdings nur Indizien für ein Stressniveau sein und nicht allein zur Bewertung herangezogen werden; weitere individuelle und subjektive Parameter sollten ebenfalls berücksichtigt werden.
Das erfindungsgemäße Verfahren und die Vorrichtung eignen sich auch zur Überwachung von Orten mit großen Menschenmengen, wie Bahnhöfen oder Flughäfen. Durch die gleichzeitige Messung von Vitalparametern und Einschätzung von Stresswerten kann zum einen eine beschleunigte Hilfe bei medizinischen Notfällen gewährleistet werden, im Sinne eines Frühwarnsystems. Beispielsweise lässt sich anhand der mittels der Messkamera aufgenommenen Daten nicht nur die Pulsrate bestimmen, sondern auch die zeitliche - den Herzrhythmus widerspiegelnde - Pulsfolge. Treten hier Unregelmäßigkeiten in bestimmten, bekannten Mustern auf, so können diese beispielsweise auf einen Herzinfarkt hindeuten, der von dem System erkannt wird. Zum anderen können Personen mit erhöhten Stresswerten als potentielle Bedrohung für die Sicherheit gesondert überwacht werden, um gegebenenfalls Sicherheitsmaßnahmen einzuleiten. Eine hohe Pulsrate könnte hier als Vorauswahl für Personen dienen, die dann einer genaueren Verhaltensanalyse unterzogen werden.
Andere Einsatzgebiete bei entsprechende Anpassung der nanooptischen Filterelemente für die entsprechenden Wellenlängen bestehen in der Biologie beispielsweise in der Messung charakteristischer Wellenlängen für den Chlorophyllgehalt - beispielsweise bei den Fluoreszenzwellenlängen 435 nm und 675 nm von Chlorophyll - in Pflanzen, um deren Gesundheit zu bestimmen. Die Aufnahme der Übersichtsbilder kann hier passiv, d.h. ohne aktive Beleuchtung oder sonstige Wechselwirkung mit dem Objekt durchgeführt werden.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibunq der Zeichnunqen
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen:
Fig. 1 das grundlegende Prinzip eines Verfahrens zur kontaktfreien Bestimmung von zeitlichen Farbveränderungen bei Objekten,
Fig. 2a-b mögliche Realisierungen von Vorrichtungen zur Durchführung des Verfahrens, Fig. 3a-b den grundsätzlichen Aufbau eines nanooptischen Filters sowie das
Zusammenwirken mit einem CMOS-Sensor,
Fig. 4 eine weitere Ausgestaltung eines nanooptischen Filterelements, Fig. 5 ein nanooptisches Filterelement für zwei Wellenlängen, Fig. 6 die Anordnung eines nanooptischen Filterelements in einer Kamera und Fig. 7 die Transmissionseigenschaften eines solchen nanooptischen Elements für zwei beispielhafte Wellenlängenbereiche. Ausführliche Beschreibung der Zeichnungen
In Fig. 1 ist zunächst der prinzipielle Ablauf eines Verfahrens zur kontaktfreien Bestimmung von zeitlichen Farbveränderungen bei mehreren Objekten in einer Szene dargestellt. Auf der linken Seite von Fig. 1 ist zunächst eine Szene 1 symbolhaft dargestellt. Dabei kann es sich beispielsweise um einen Raum in einem Fitnesscenter oder Sportzentrum, einen Bereich eines Stadions beispielsweise im Bereich der Laufbahn, oder auch um Stationen oder Zimmer eines Krankenhauses handeln, um einige Beispiele zu nennen. Auch Waldgebiete oder Felder, Plantagen oder Teile davon etc. können solche Szenen sein. In der Szene befindet sich dann mindestens ein Objekt, dessen Farbveränderungen zu messen sind. Dabei kann es sich beispielsweise um eine Pflanze oder mehrere Pflanzen, um technische Geräte, die Licht abstrahlen, oder aber um Menschen, deren Vitalparameter beispielsweise überwacht werden sollen, handeln. Die Szene wird mit drei verschiedenen Kamerasystemen, die jeweils ein oder mehrere Kameras umfassen, aufgenommen, um eine Überwachung der entsprechenden Parameter und deren Auswertung zu ermöglichen. Das erste Kamerasystem umfasst eine erste Übersichtskamera 2, welche aus einer vorgegebenen ersten Blickrichtung auf die Szene 1 gerichtet ist, sowie eine zweite Übersichtskamera, welche aus einer vorgegebenen zweiten Blickrichtung auf die Szene 1 gerichtet ist. Beide Blickrichtungen sind voneinander verschieden, jedoch bekannt, so dass eine geometrische Kalibrierung der beiden Kameras möglich ist. Beispielhafte Aufbauten sind in Fig. 2a und 2b gezeigt.
Jede der beiden Übersichtskameras 2, 3 nimmt ein monoskopisches Übersichtsbild der Szene 1 in einem ersten Spektralbereich auf. Die beiden monoskopischen Übersichtsbilder werden zu einer stereoskopischen Übersichtskarte verrechnet, welche auch die Tiefeninformationen der Objekte, also deren Abstand zu den Kameras oder einem sonstigen Bezugspunkt enthält, so dass grundsätzlich die räumliche Position aller zu vermessenden Objekte in der Szene 1 , d.h. in allen drei Raumkoordinaten eines kartesischen Systems, bekannt ist.
Um die Szene 1 besser auszuleuchten und eine genauere Übersichtskarte zu erhalten, kann es vorteilhaft sein, die Szene mit einer gesonderten Lichtquelle 4, welche Licht im ersten Spektralbereich abstrahlt, zu beleuchten. Um Irritationen bei lebenden Objekten und Wechselwirkungen mit Umgebungslicht zu vermeiden, wird als erster Spektralbereich bevorzugt ein Bereich im nahen Infraroten gewählt, welches den Wellenlängenbereich zwischen etwa 780 nm und etwa 3000 nm umfasst. Eine solche Lichtquelle 4 zur gesonderten Beleuchtung der Szene ist in Fig. 2a, bei der alle Kameras auf einem Kreisbogen angeordnet sind, dargestellt. Eine Erhöhung der Genauigkeit lässt sich auch oder zusätzlich erreichen, wenn zur Erzeugung der stereoskopischen Übersichtskarte ein Muster auf die Szene 1 projiziert wird, welches in den monoskopischen Übersichtsbildern detektiert wird. Die Anordnung umfasst dazu einen in Fig.
2a dargestellten Musterprojektor 5, welcher im ersten Spektralbereich ein Muster auf die Szene 1 projiziert, bevorzugt ein streifenförmiges oder schachbrettförmiges Muster. Gerade für die Projektion eines Musters eignet sich dann besonders gut ein Wellenlängenbereich als erster Spektralbereich, welcher für das menschliche Auge nicht wahrnehmbar ist, wie das nahe Infrarot. Der erste Spektralbereich ist selbstverständlich nicht ausschließlich auf das nahe Infrarot beschränkt, es lassen sich auch Wellenlängen größer als 3000 nm verwenden, und auch Wellenlängen im sichtbaren Bereich oder kleiner sind denkbar, wenn es sich beispielsweise nicht um lebende Objekte handelt, die vermessen werden.
Die Übersichtskameras 2 und 3 können eine hohe Auflösung aufweisen, müssen aber nicht, da hier im Prinzip nur die Lage der Objekte im Raum bestimmt werden soll, die dann in einzelne Flächen zerlegt werden, deren Ausdehnung jedoch in der Regel größer ist als die Ausdehnung von einem Pixel eines in einer Kamera verwendeten Sensors.
Simultan oder unmittelbar vor oder nach der Aufnahme der Übersichtsbilder wird ein zweidimensionales Detailbild aus einer vorgegebenen dritten Blickrichtung, deren Lage in Bezug auf die erste und zweite Blickrichtung bekannt ist, in einem zweiten Spektralbereich detektiert. Die dritte Blickrichtung kann von den ersten beiden verschieden sein oder mit einer von diesen übereinstimmen. Dazu wird eine Detailkamera 6 verwendet, die eine möglichst hohe Auflösung aufweist. Die Aufnahme des Detailbildes erfolgt in einem zweiten Spektralbereich, der vorzugsweise vom ersten Spektralbereich verschieden ist. Vorzugsweise erfolgt die Aufnahme im für ein menschliches Auge sichtbaren Spektralbereich, d.h. im Spektralbereich zwischen etwa 380 nm und etwa 780 nm. Das zweidimensionale Detailbild wird auf die stereoskopische Übersichtskarte projiziert, was mit Hilfe einer Recheneinheit erfolgt. Anhand von Messkriterien, die in Abhängigkeit von Parametern, auf die aus den Färb- und Intensitätsveränderungen Rückschlüsse gezogen werden sollen, werden dann Messflächen als interessierende Bereiche in der Szene ausgewählt. Bei Sportlern im Training an speziell dafür vorgesehenen Geräten oder auch bei Neugeborenen sind dies beispielsweise Bereiche freiliegender Haut wie Hals, Stirn oder Handgelenke, die sich für die Bestimmung der Vitalparameter anhand von Farbveränderungen verwenden lassen. Aufgrund der Projektion lassen sich auch störende Einflüsse, die die Messung der Färb- und Intensitätsveränderungen in den identifizierten Bereichen verfälschen könnten, berücksichtigen und korrigieren. Solch störenden Einflüsse sind beispielsweise die Lage der Messobjekte relativ zur Kamera, Schattenwürfe oder perspektivische Verzerrungen. Durch die Festlegung von Messflächen, die definierten Bereichen auf einem Sensor einer Kamera entsprechen, lässt sich der Aufwand für die spätere Auswertung wesentlich reduzieren.
Nach der Auswahl der Messflächen wird aus einer vierten Blickrichtung, deren Lage in Bezug auf die anderen drei Blickrichtungen ebenfalls bekannt und damit geometrisch kalibrierbar ist, Licht, welches von den Messflächen abgestrahlt wird, in mindestens einem Messspektralbereich, welcher anhand von den Messkriterien vorgegeben ist, ortsaufgelöst in einer kontinuierlich aufgenommenen Serie von Messbilden detektiert. Dazu wird eine Messkamera 7 verwendet, welche aus der vierten Blickrichtung auf die Szene gerichtet ist.
In der Serie von Messbildern werden dann die an den Pixeln eines Flächendetektors gemessenen Färb- und Intensitätswerte in dem mindestens einen vorgegebenen Messspektralbereich, die den jeweiligen Messflächen zugeordnet sind, auf zeitliche Variation der Intensität und / oder Farbe dieses Lichts in dem mindestens einen Messspektralbereich analysiert, wozu eine Recheneinheit 8 verwendet wird, welche auch die Informationen aus den anderen Bildern verarbeitet. Die Ergebnisse der Analyse werden dann gespeichert und / oder ausgegeben; sollten sich kritische Veränderungen - beispielsweise bei den Vitalparametern eines Sportlers - ergeben, so können auch entsprechende Warnsignale ausgegeben oder verantwortliche Personen benachrichtigt werden. Im Falle von der Überwachung der Vitalparameter von Patienten kann dies beispielsweise der diensthabende Arzt sein.
Fig. 2a und 2b zeigen zwei mögliche Anordnungen für die in einer Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Färb- und Intensitätsschwankungen bei Objekten einer Szene verwendeten Elemente. Bei dem in Fig. 2a gezeigten Aufbau sind die erste Übersichtskamera 2, die zweite Übersichtskamera 3, die Detailkamera 6 und die Messkamera 7 auf einem Kreisbogenausschnitt angeordnet, die Blickrichtungen schneiden sich in einem Punkt in der Szene 1 . Optional ist ein Musterprojektor 5 mit einer Lichtquelle 4, welche Licht im ersten Spektralbereich abstrahlt, vorgesehen. Der Musterprojektor kann auch mit einer der beiden Übersichtskameras 1 , 2 identisch bzw. in diese integriert sein; auch auf diese Weise lässt sich ein stereoskopisches Übersichtsbild erzeugen. Die in Fig. 2a gezeigte Anordnung benötigt relativ viel Platz, da aber der Abstand zwischen den beiden Übersichtskameras 1 und 2 recht groß gewählt werden kann, ist die Genauigkeit bei Verwendung dieser Anordnung besonders hoch, sie eignet sich daher insbesondere auch für die Überwachung größerer Szenen, bei denen Übersichtskarten mit hoher Genauigkeit erzeugt werden sollen. Es lassen sich auch mehr als zwei Übersichtskameras verwenden, um die Genauigkeit zu erhöhen. Auch eine Kopplung mehrerer Vorrichtungen, deren Messkameras aus verschiedenen Blickrichtungen auf die Szene gerichtet sind, ist möglich, um beispielsweise eine Szene mit vielen sich bewegenden Objekten, aufzunehmen, um möglichst zu verhindern, dass Objekte völlig verdeckt und somit einer Messung nicht zugänglich sind.
Bei der in Fig. 2b gezeigten Anordnung sind hingegen die erste und die zweite Übersichtskamera 2, 3 auf einem ersten Kreisbogenausschnitt angeordnet. Die Detailkamera 6 und die Messkamera 7 sind auf einem zweiten Kreisbogenausschnitt angeordnet, und beide Kreisbogenausschnitte schneiden sich in einem Winkel von 90°. Im Schnittpunkt der Kreisbogenausschnitte befindet sich der optionale Musterprojektor 5. Auch hier sind alle Kameras mit ihren Blickrichtungen so ausgerichtet, dass diese sich in einem Punkt in der Szene 1 oder dahinter schneiden, um die Kameras geometrisch kalibrieren zu können. Der in Fig. 2b bezeigte Aufbau der Vorrichtung ist kompakt, daher auch ohne größeren Aufwand transportierbar, beispielsweise zwischen verschiedenen Räumen einer Sporteinrichtung oder eines Krankenhauses; der Aufbau kann als eigene, kompakte Baueinheit ausgestaltet sein, die optional auch eine Recheneinheit 8 beinhaltet.
Die Anzahl der Messbilder, welche pro Sekunde für fixierte Messflächen aufgenommen werden, hängt von der Art der zu messenden Färb- und Intensitätsveränderungen und der damit zusammenhängenden Parameter zusammen. Im Falle der Bestimmung von Vitalparametern bei Sportlern oder Patienten sollte die Anzahl der Bilder, die pro Sekunde aufgenommen wird, nicht unter 15 liegen, um aussagekräftige Messungen zur erhalten, die eine zuverlässige Bestimmung der Pulsrate erlauben. Der Chlorophyllgehalt von Pflanzen andererseits muss nicht mit einer solch hohen Bildrate überwacht werden, hier reichen wesentlich größere Abstände von mehreren Stunden bis zu mehreren Tagen. Auch die Rate, mit der Übersichts- und Detailbilder aufgenommen werden, anhand welcher die Messflächen festgelegt werden, hängt von den Charakteristika der Szene ab. Bei der Überwachung des Chlorophyllgehalts von Pflanzen kann beispielsweise vor jeder Aufnahme eines Messbildes eine erneute Kalibrierung der Messflächen durch Aufnahme von Übersichtsbildern und einem Detailbild erfolgen. Werden hingegen sich schnell bewegende Sportler hinsichtlich ihrer Vitalfunktionen überwacht, so kann die Rate, mit der Übersichts- und Detailbilder aufgenommen werden, durchaus im Bereich von einer Zehntelsekunde oder darunter liegen. Bei eher ruhig liegenden Patienten hingegen reicht eine Festlegung der Messflächen in den Abstand von einer bis zu mehreren Minuten in der Regel aus. Denkbar ist auch, die Messungen nicht kontinuierlich zu machen, sondern nur sporadisch, bei Patienten beispielsweise im Abstand von mehreren Stunden ein- bis zweimal, wobei dann jeweils vor jeder Messung der Färb- und Intensitätsveränderungen eine Übersichtskarte bestimmt und ein Detailbild aufgenommen werden
Die Anzahl der vorgegebenen Messspektralbereiche, in denen die Färb- und / oder Intensitätsveränderungen gemessen und analysiert werden sollen, hängt von den Parametern ab, auf die Rückschlüsse gezogen werden sollen. Für die Überwachung von Leuchtdioden oder Pflanzen kann es ausreichen, die Messung nur in einem einzigen Messspektralbereich durchzuführen. Dies kann in der Regel mit Filtern erreicht werden, die vor ein Objektiv der Messkamera gesetzt werden, was eine einfache Anpassung an verschiedene Situationen, in denen nur in einem Messspektralbereich gemessen werden muss, erlaubt.
Problematisch ist jedoch die orts- und wellenlängenaufgelöste Bestimmung der Färb- und Intensitätsveränderungen, wenn pro Messfläche diese Änderungen in zwei oder mehr Messspektralbereichen gemessen und analysiert werden sollen. Ein Beispiel dafür bilden die Vitalparameter von Sportlern oder Neugeborenen, wo zeitliche Farbschwankungen - gemeint sind hier wie eingangs erwähnt Intensitätsschwankungen einer oder mehrerer Farben, die sich in einer Änderung des Gesamtfarbeindrucks niederschlagen - bei einer Wellenlänge von etwa 750 nm, 830 nm oder 940 nm dazu verwendet werden können, die Pulsrate der betreffenden Person zu bestimmen. Mit einer zusätzlichen Messung von Intensitätsschwankungen bei einer Wellenlänge von etwa 660 nm oder alternativ auch bei etwa 750 nm lässt sich die Sauerstoffsättigung des im Blut gebundenen Hämoglobins bestimmen, wozu die gemessenen Intensitäten beider Wellenlängen ins Verhältnis gesetzt werden müssen, d.h. bei der Wellenlänge von 830 nm müssen nicht nur Farbschwankungen, sondern auch zeitliche Intensitätsschwankungen bestimmt werden. Diese Werte müssen für beide Wellenlängen also gleichzeitig bestimmt werden, um die relative Sauerstoffsättigung des Hämoglobins messen zu können. Die beiden Wellenlängen liegen zwar etwa 150 nm auseinander, jedoch überlappen die beiden Messspektralbereiche, die vermessen werden sollten, um auch absolute Farbschwankungen in der Wellenlänge berücksichtigen zu können, in dem Bereich dazwischen. Würde ein einziger Vorsatzfilter wie im Stand der Technik verwendet, der zwei Wellenlängen bzw. Wellenlängenbereiche hindurchlässt, so würde in jedem Pixel die Intensität beider, relativ nah zueinander gelegenen Wellenlängen in der Summe detektiert werden, woraus sich jedoch nicht die Intensitätsänderungen jeder einzelnen der Wellenlängen ableiten lassen würden.
Aus diesem Grund wird, wenn das Messbild in mindestens zwei vorgegebenen Messspektralbereichen detektiert werden soll, eine nanooptische Filtermatrix verwendet, welche so angeordnet ist, dass eine orts- und wellenlängenaufgelöste Detektion des von den Messflächen abgestrahlten Lichts möglich ist. Die Messkamera 7 verfügt in der Regel über einen Flächendetektor als Sensor, beispielsweise einem CMOS-Sensor. Um die orts- und wellenlängenaufgelöste Messung zu ermöglichen, wird die nanooptische Filtermatrix direkt auf den Messsensor aufgebracht.
Die nanooptische Filtermatrix, die in der Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Intensitäts- und Farbschwankungen bei Objekten einer Szene 1 verwendet werden kann, soll im Folgenden anhand der Figuren 3-5 näher erläutert werden.
Fig. 3a zeigt auf der linken Seite den grundsätzlichen Aufbau eines als nanooptische Filtermatrix 9 ausgestalteten Filterelements mit ersten Filterstrukturen 10, welche der Filterung eines ersten Messspektralbereichs dient. In ein Trägermaterial 11 , beispielsweise Gold oder Silizium, sind Löcher 12 mit im Wesentlichen quadratischer Form angeordnet, wobei die Löcher auch eine runde Form aufweisen oder schlitzförmig ausgebildet sein können. Die Löcher 12 formen ein Array oder eine Matrix, die hier gezeigte 3x3-Struktur wird auch als sogenanntes Nanohole-Array (NHA) bezeichnet. Die Löcher haben einen - der Kantenlängen entsprechenden - Durchmesser d, gleiche Kanten sind voneinander mit einem Abstand P beabstandet. Jedes der Löcher 12 weist einige 100 nm an Durchmesser auf, die Größe der in Fig. 3a gezeigten Struktur liegt etwa zwischen 10 gm und 15 gm. Neben 3x3-Strukturen sind in Abhängigkeit von der Messsituation auch andere Größen für die einzelnen Matrixelemente denkbar, beispielsweise 4x4 oder 5x5. 3x3-Strukturen bilden jedoch das Optimum, da einerseits in jedem Matrixelement eine recht große Fläche zur Messung eines der Spektralbereiche zur Verfügung gestellt wird, und andererseits die Wellenlängenauflösung mit einer hohen Genauigkeit in der Ortsauflösung erfolgt.
Die Wellenlängenselektivität wird im Wesentlichen von drei Parametern beeinflusst: vom Durchmesser bzw. der Kantenlänge d der Löcher, vom Abstand - dem pitch - P zweier Löcher 12 zueinander sowie von der Dielektrizitätskonstante bzw. der elektrischen Leitfähigkeit des verwendeten Trägermaterials 11 .
Fig. 3b zeigt die Anordnung der nanooptischen Filtermatrix 9 auf einem flächenförmigen Messsensor 13, beispielsweise einem CMOS-Chip. Die nanooptische Filtermatrix 9 ist direkt auf dem flächenförmigen Messsensor 13 aufgebracht, beispielsweise durch Bonden. Während Licht vieler Wellenlängen auf das nanooptische Filterelement trifft, ist der Filter so strukturiert, dass er idealerweise nur eine Wellenlänge li durchlässt, mit einer Bandbreite von maximal 100 nm bis 150 nm, so dass zum einen die Farbschwankungen in der Wellenlänge zwar registriert werden können, zum anderen aber die Durchlassbereiche zweier Filterstrukturen möglichst wenig überlappen. Die nanooptische Filtermatrix 9 für eine bestimmte Wellenlänge ist für diese Wellenlänge zwar maximal durchlässig, jedoch wird auch der übrige Spektralbereich im Bereich von maximal +/- 75nm um diese Wellenlänge hindurchgelassen, allerdings nur stark abgeschwächt. Die Intensitätsschwankungen interessieren jedoch nur in einem kleinen Bereich um die zentrale Peak-Wellenlänge, bei der das Filterelement die höchste Empfindlichkeit bzw. höchste Transmission aufweist.
Fig. 4 zeigt nun die Realisierung einer nanooptischen Filtermatrix 9, welche für zwei Peak- Wellenlängen transmissiv ist. Der Bereich auf der linken Seite entspricht der in Fig. 3b gezeigten Konfiguration, diese erste Filterstruktur 10 ist für einen ersten Messspektralbereich transmissiv. Auf der rechten Seite ist eine zweite Filterstruktur 14 gezeigt, welche kleinere Löcher als die erste Filterstruktur 10 aufweist, wobei der Abstand P bei der ersten Filterstruktur 10 und der zweiten Filterstruktur 14 identisch ist. Die zweite Filterstruktur 14 ist für einen zweiten Messspektralbereich um eine Zentralwellenlänge oder Peak-Wellenlänge Ä2 durchlässig. Während auf der linken Seite nur die Wellenlänge li durchgelassen wird, so ist die rechte Seite nur für die Wellenlänge Ä2 durchlässig bzw. für jeweils die um diese Zentralwellenlängen definierten Messspektralbereiche. Auf diese Weise kann Licht gleichzeitig orts- und wellenlängenaufgelöst - letzteres meint die spektrale Auflösung nach Messspektralbereichen - detektiert werden. Indem nun die ersten und zweiten Filterstrukturen 10, 14, wie in Fig. 5 gezeigt, schachbrettartig angeordnet werden - jede der Filterstrukturen entspricht einer nanooptischen Filtermatrix 9 -, und diese schachbrettartige Struktur auf dem flächenförmigen Messsensor 13 angeordnet und mit diesem verbunden wird, ist eine orts- und wellenlängenaufgelöste Detektion über den gesamten Messsensor 13 möglich. Jede der ersten Filterstrukturen 10 und der zweiten Filterstrukturen 14 überdeckt dabei einen Bereich von einem oder einer geringen Anzahl von mehreren Pixeln, so dass sichergestellt ist, dass jeder Messfläche mehrere der ersten Filterstrukturen 10 und der zweiten Filterstrukturen 14 zugeordnet sind. Im Falle monochromatischer Pixel - was aufgrund der verwendeten Farbfilterung möglich ist - überdeckt eine der Filterstrukturen, d.h. ein „Loch“, ein Pixel oder ein ganzzahliges Vielfaches davon, so dass sichergestellt ist, dass nicht auf einem Pixel zwei Wellenlängenbereiche detektiert werden. Bei Farbsensoren werden in der Regel vier Subpixel zu einem Pixel zusammengefasst, für diese Pixel gilt dann das gleiche, wie für die monochromatischen.
Der Einbau in die Kamera ist beispielhaft in Fig. 6 gezeigt, hier trifft einfallendes Licht auf ein Linsensystem 15 einer Messkamera 7. Über die nanooptische Filtermatrix 9 bestehend aus den ersten Filterstrukturen 10 und den zweiten Filterstrukturen 14 werden nun orts- und wellenlängenaufgelöst die interessierenden Wellenlängen aus Richtung der Messflächen detektiert. Da hier bereits mittels Hardware die Separierung der entsprechenden Wellenlängen erfolgt, wird weniger Zeit bei der Prozessierung der Daten durch Software benötigt, was zu erhöhter Echtzeitfähigkeit und verringerter Latenz der Messung führt. Auch der Herstellungsprozess wird im Hinblick auf eine Massenproduktion vereinfacht, da die Aufbringung oder Strukturierung der Nanooptik im gleichen Herstellungsschritt erfolgen kann, wie das Einsetzen des Kamerasensors. Die Integration der nanooptischen Filterelemente auf dem Sensor erhöht dabei auch die Robustheit hinsichtlich Erschütterungen oder Vibrationen.
Der Aufbau kann zudem etwas kompakter gestaltet werden, da ein Filter vor der Messkamera nicht mehr nötig ist.
Der Einsatz eines Kamerasystems, wie es beispielhaft in Fig. 2b mit seinen einzelnen Komponenten gezeigt ist, eignet sich besonders für die Überwachung von Personen in geschlossenen Räumen. Beispielsweise können Frühgeborene oder Neugeborene in einer entsprechenden neonatologischen Station, oder Sportler in einem Trainingsraum überwacht werden. Das Kamerasystem kann als festes Messinstrument installiert werden, beispielsweise kann es so ausgerichtet werden, dass es von der Decke oder der Wand auf die zu überwachenden Personen gerichtet wird, bei Neugeborenen beispielsweise auf das Bett oder dem Wickeltisch. Das Kamerasystem erfasst zunächst mit den beiden Übersichtskameras 2, 3 den Körper der Person. Mit dem simultan aufgenommenen Detailbild der Detailkamera 6, welches auf die aus den Übersichtsbildern erzeugte Übersichtskarte projiziert wird, lassen sich Bereiche freiliegender Haut markieren, welche den Messflächen entsprechen. Bei der späteren Analyse werden nur die Messflächen betrachtet. Die Messkamera 7 sowie die nanooptischen Filterstrukturen sind darauf ausgelegt, Wellenlängen um eine Zentralwellenlänge von 830 nm und von 660 nm durchzulassen, wobei die ersten Filterstrukturen 10 für die eine Wellenlänge und die zweiten Filterstrukturen für die andere Wellenlänge durchlässig sind. Aus den zeitlichen Farbschwankungen - in der medizinischen Anwendung handelt es sich in diesem speziellen Fall eigentlich um Intensitätsschwankungen bei einer Wellenlänge - im nahen Infraroten bei der Wellenlänge von 830 nm, welche sich aus den zeitlich aufeinanderfolgenden Aufnahmen der Messflächen ableiten lassen, lässt sich direkt die Anzahl der Herzschläge pro Minute, die Herzrate bestimmen. Mit Hilfe der zweiten Filterstrukturen 14 wird der Spektralbereich um eine Wellenlänge von etwa 660 nm von den Messflächen detektiert, aus dem Verhältnis der gemessenen Intensitäten der beiden Wellenlängen - hier werden jeweils die Maximalwerte der Intensitätsverteilungen verglichen - lässt sich die relative Sauerstoffsättigung des im Blut gebundenen Hämoglobins bestimmen. Mit Hilfe sogenannter Look-Up-Tabellen können diese Werte referenziert und in quantitative absolute Werte umgerechnet werden.
Ein Beispiel für eine Messung der beiden Wellenlängen ist in Fig. 7 für einen beliebigen Zeitpunkt der Aufnahme der Messbildserie dargestellt. Die durchgezogene Linie entspricht dem spektralen Bereich, der von den ersten Filterstrukturen 10 durchgelassen wird mit einem Transmissionsmaximum hier bei etwa 850 nm. Die gestrichelte Linie entspricht dem Spektrum, welches von den zweiten Filterstrukturen 14 durchgelassen wird mit einem Maximum bei etwa 660 nm.
Bei ruhenden Personen, beispielsweise Neugeborenen, lassen sich, wenn man auch die Übersichtsbilder mit hoher Auflösung aufnimmt, zusätzlich die Atemfrequenz und das Atemvolumen bestimmen, diese Werte können aus der dreidimensionalen Kontraktion und Ausdehnung des Brustkorbs abgeleitet werden. Übersichtsbilder müssen dazu dann in schnellerer Folge aufgenommen werden, mit einer Frequenz, die mindestens dem Doppelten der Atemfrequenz entspricht.
Mit der vorangehend beschriebenen Vorrichtung und dem darin implementierten Verfahren lassen sich wesentliche Vitalparameter bei Menschen, aber auch andere zu überwachende Parameter bei Pflanzen, technischen Gegenständen, welche Licht abstrahlen, etc. kontaktlos überwachen. Dies führt gegenüber herkömmlichen Methoden zum einen sowohl für die zu überwachenden Personen als auch für die Personen, die die Überwachung durchführen, gegenüber einer kontaktgebundenen Überwachung zu weniger Aufwand und ermöglicht außerdem die gleichzeitige Überwachung mehrerer Personen, beispielsweise hinsichtlich ihrer Vitalparameter. Außerdem können mehrere wesentliche Vitalparameter gleichzeitig mit hoher Genauigkeit evaluiert werden. Bezuqszeichenliste
1 Szene
2 erste Übersichtskamera
3 zweite Übersichtskamera
4 Lichtquelle
5 Musterprojektor
6 Detailkamera
7 Messkamera
8 Recheneinheit
9 nanooptische Filtermatrix
10 erste Filterstruktur
11 Trägermaterial
12 Loch
13 flächenförmiger Messsensor
14 zweite Filterstruktur
15 Linsensystem d Durchmesser
P Abstand

Claims

Patentansprüche
1 . Verfahren zur kontaktfreien Bestimmung von zeitlichen Färb- und/oder Intensitätsveränderungen bei Objekten in einer Szene (1), bei dem: eine stereoskopische Übersichtskarte der Szene (1 ) erzeugt wird, indem ein erstes monoskopisches Übersichtsbild der Szene (1) aus einer ersten vorgegebenen Blickrichtung und ein zweites monoskopisches Übersichtsbild aus einer zweiten vorgegebenen, von der ersten verschiedenen Blickrichtung, in einem ersten Spektralbereich detektiert werden, die monoskopischen Übersichtsbilder zu der stereoskopischen Übersichtskarte verrechnet werden, und aus der stereoskopischen Übersichtskarte die räumlichen Positionen von zu vermessenden Objekten bestimmt werden, ein zweidimensionales Detailbild aus einer vorgegebenen dritten Blickrichtung, deren Lage in Bezug auf die erste und zweite Blickrichtung bekannt ist, in einem zweiten Spektralbereich detektiert wird, das zweidimensionale Detailbild auf die stereoskopische Übersichtskarte projiziert wird und anhand von Messkriterien, die in Abhängigkeit von Parametern, auf die aus den Färb- und/oder Intensitätsveränderungen Rückschlüsse gezogen werden sollen, Messflächen als interessierende Bereiche in der Szene (1) ausgewählt werden, aus einer vierten Blickrichtung, deren Lage in Bezug auf die anderen drei Blickrichtungen bekannt ist, von den Messflächen abgestrahltes Licht orts- und wellenlängenaufgelöst in einer kontinuierlich aufgenommenen Serie von Messbildern in mindestens einem in Abhängigkeit von den Messkriterien vorgegebenen Messspektralbereich detektiert wird und dabei die Messflächen in den Messbildern auf zeitliche Variation der Intensität und/oder der Farbe des Lichts in dem mindestens einen Messspektralbereich analysiert und die Ergebnisse der Analyse ausgegeben werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mindestens zwei Übersichtskarten und Detailbilder zu verschiedenen Zeitpunkten detektiert werden und die Objekte hinsichtlich einer Bewegung analysiert werden und, falls sich die Objekte bewegen, kontinuierlich Übersichtskarten bestimmt und Detailbilder sowie Messbilder von jeweils aktualisierten Messflächen aufgenommen werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Messbild in mindestens zwei vorgegebenen Messspektralbereichen orts- und wellenlängenaufgelöst detektiert wird, wozu bevorzugt ein nanooptisches Filterelement verwendet wird.
4. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung der stereoskopischen Übersichtskarte ein Muster auf die Szene projiziert wird, welches in den monoskopischen Übersichtsbildern detektiert wird, wobei zur Projektion und Detektion des Musters Licht von Wellenlängen außerhalb des zweiten Spektralbereichs für die Aufnahme des Detailbildes verwendet wird.
5. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung der Übersichtskarte Licht im infraroten Wellenlängenbereich verwendet wird und zur Erzeugung des Detailbildes Licht im visuell wahrnehmbaren Wellenlängenbereich.
6. Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Färb- und/oder Intensitätsveränderungen bei Objekten in einer Szene (1), umfassend: eine erste Übersichtskamera (2), welche aus einer vorgegebenen ersten Blickrichtung auf die Szene (1) gerichtet ist und ein erstens monoskopisches Übersichtsbild der Szene (1) in einem ersten Spektralbereich aufnimmt, eine zweite Übersichtskamera (3), welche aus einer vorgegebenen zweiten Blickrichtung auf die Szene (1) gerichtet ist und ein zweites monoskopisches Übersichtsbild der Szene (1) im ersten Spektralbereich aufnimmt, wobei die erste Blickrichtung und die zweite Blickrichtung voneinander verschieden sind, eine Detailkamera (6), welche aus einer vorgegebenen dritten Blickrichtung, deren Lage in Bezug auf die erste und zweite Blickrichtung bekannt ist, auf die Szene (1) gerichtet ist und ein zweidimensionales Detailbild aufnimmt, eine Recheneinheit (8), welche das erste und das zweite monoskopische Übersichtsbild zu einer stereoskopischen Übersichtskarte verrechnet und anhand der Übersichtskarte die räumliche Positionen von zu vermessenden Objekten bestimmt, das zweidimensionale Detailbild auf die Übersichtskarte projiziert und anhand von Messkriterien, die in Abhängigkeit von Parametern, auf die aus den Färb- und/oder Intensitätsveränderungen Rückschlüsse gezogen werden sollen, Messflächen auf den Objekten als interessierende Bereiche in der Szene (1) auswählt, eine Messkamera (7), welche aus einer vorgegebenen vierten Blickrichtung, deren Lage in Bezug auf die anderen drei Blickrichtungen bekannt ist, auf die Szene (1 ) gerichtet ist und in einer kontinuierliche Serie von Messbildern von den Messflächen abgestrahltes Licht in mindestens einem in Abhängigkeit von den Messkriterien vorgegebenen Messspektralbereich orts- und wellenlängenaufgelöst detektiert wird, wobei die Recheneinheit (8) dazu ausgebildet ist, in der Serie von Messbildern die zeitliche Variation der Intensität und/oder der Farbe des Lichts in dem mindestens einen Messspektralbereich zu analysieren und die Ergebnisse an eine Ausgabeeinheit zu übermitteln.
7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die erste und zweite Übersichtskamera (2, 3), die Detailkamera (6) und die Messkamera (7) auf einem Kreisbogenausschnitt angeordnet sind, wobei bevorzugt die erste und zweite Übersichtskamera (2, 3) in Endpunkten des Kreisbogenausschnitts angeordnet sind.
8. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die erste und zweite Übersichtskamera (2, 3) auf einem ersten Kreisbogenausschnitt angeordnet sind, sowie die Detailkamera und die Messkamera auf einem zweiten Kreisbogenausschnitt angeordnet sind, welche sich in einem von 0° verschiedenen Winkel, bevorzugt 90° schneiden.
9. Vorrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass der erste Spektralbereich außerhalb des von einem menschlichen Auge wahrnehmbaren Spektralbereichs liegt, bevorzugt im Infraroten, besonders bevorzugt im nahen Infrarot.
10. Vorrichtung nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass die Szene (1 ) mit einer Lichtquelle (4) beleuchtet wird, welche Licht überwiegend oder ausschließlich im ersten Spektralbereich abstrahlt.
11 . Vorrichtung nach einem der Ansprüche 6 bis 10, außerdem umfassend einen Musterprojektor (5), welcher im ersten Spektralbereich ein Muster auf die Szene (1 ) projiziert, wobei das Muster bevorzugt streifenförmig ist.
12. Vorrichtung nach einem der Ansprüche 6 bis 11 , dadurch gekennzeichnet, dass in der Messkamera (7) ein flächenförmiger Messsensor (13) zur Detektion des von den Messflächen abgestrahlten Lichts angeordnet ist, und auf dem flächenförmigen Messsensor (13) ein Filterelement aufgebracht ist, welches für Licht des mindestens einen Messspektralbereich durchlässig ist, wobei das Filterelement als nanooptische Filtermatrix (9) ausgebildet ist.
13. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass die Messkamera (7)zur Detektion von zwei vorgegebenen Messspektralbereichen ausgebildet ist, wozu die nanooptische Filtermatrix (9) erste Filterstrukturen (10) zur Filterung eines ersten Messspektralbereichs und zweite Filterstrukturen (14) zur Filterung eines zweiten Messspektralbereichs aufweist, wobei die ersten und zweiten Filterstrukturen (10, 14) bevorzugt schachbrettartig in der nanooptischen Filtermatrix (9) angeordnet sind.
EP20815781.8A 2019-12-02 2020-11-26 Verfahren und vorrichtung zur kontaktfreien bestimmung von zeitlichen farb- und intensitätsveränderungen bei objekten Withdrawn EP4069072A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019132708 2019-12-02
DE102020108064.6A DE102020108064A1 (de) 2019-12-02 2020-03-24 Verfahren und Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Farb- und Intensitätsveränderungen bei Objekten
PCT/EP2020/083497 WO2021110531A1 (de) 2019-12-02 2020-11-26 Verfahren und vorrichtung zur kontaktfreien bestimmung von zeitlichen farb- und intensitätsveränderungen bei objekten

Publications (1)

Publication Number Publication Date
EP4069072A1 true EP4069072A1 (de) 2022-10-12

Family

ID=75896819

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20815781.8A Withdrawn EP4069072A1 (de) 2019-12-02 2020-11-26 Verfahren und vorrichtung zur kontaktfreien bestimmung von zeitlichen farb- und intensitätsveränderungen bei objekten

Country Status (4)

Country Link
US (1) US12053267B2 (de)
EP (1) EP4069072A1 (de)
DE (1) DE102020108064A1 (de)
WO (1) WO2021110531A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1027625B1 (fr) * 2021-02-25 2022-05-04 Iot D Dispositif multifonctionnel et système multifonctionnel pour la surveillance ergonomique et à distance d'une affection cutanée médicale ou cosmétique
US20240388774A1 (en) * 2023-05-15 2024-11-21 William Chase Imaging alteration device and method of altering an image

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150379362A1 (en) * 2013-02-21 2015-12-31 Iee International Electronics & Engineering S.A. Imaging device based occupant monitoring system supporting multiple functions
US20150190077A1 (en) * 2014-01-07 2015-07-09 Samsung Electronics Co., Ltd. Electronic device and photoplethysmography method
US10915618B2 (en) * 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
US10242278B2 (en) 2014-12-01 2019-03-26 Koninklijke Philips N.V. Device and method for skin detection
US9750420B1 (en) * 2014-12-10 2017-09-05 Amazon Technologies, Inc. Facial feature selection for heart rate detection
WO2016154256A1 (en) * 2015-03-25 2016-09-29 Quanttus, Inc. Contact-less blood pressure measurement
JP6665696B2 (ja) * 2016-06-09 2020-03-13 株式会社デンソー 車載装置
KR102398291B1 (ko) * 2017-03-27 2022-05-16 삼성전자 주식회사 생체 정보를 측정하기 위한 전자 장치 및 방법
EP4183328A1 (de) * 2017-04-04 2023-05-24 Aranz Healthcare Limited Anatomische oberflächenbeurteilungsverfahren, vorrichtungen und systeme
WO2019157190A1 (en) * 2018-02-07 2019-08-15 Arthur Wallace Methods and systems for patient monitoring
US20190246920A1 (en) * 2018-02-14 2019-08-15 Han-Wei Zhang Intelligent examination device
US12560941B2 (en) * 2019-01-03 2026-02-24 Lucomm Technologies, Inc. Robotic post
EP3838128A1 (de) * 2019-12-16 2021-06-23 Koninklijke Philips N.V. Vorrichtung und verfahren zur bestimmung eines vitalzeichens eines probanden
US20230027982A1 (en) * 2021-07-26 2023-01-26 Welch Allyn, Inc. Regularized multiple-input pain assessment and trend

Also Published As

Publication number Publication date
US12053267B2 (en) 2024-08-06
DE102020108064A1 (de) 2021-06-02
US20220409078A1 (en) 2022-12-29
WO2021110531A1 (de) 2021-06-10

Similar Documents

Publication Publication Date Title
EP3768157A1 (de) Vorrichtung und verfahren zur aufnahme und analyse von bildern der haut
DE69227463T2 (de) Verfahren und vorrichtung zur diagnose von lebenden organismen
EP2851662A2 (de) Vorrichtung und Verfahren zur Aufnahme eines Hyperspektralbildes
EP1906811B1 (de) Einrichtung und verfahren zur beobachtung, dokumentation und/oder diagnose des augenhintergrundes
DE60024836T2 (de) Bilderzeugungsvorrichtung zur darstellung von konzentrationsverhältnissen
DE19850350C1 (de) Verfahren und Vorrichtung zur Erzeugung von Daten für die Diagnose des Schädigungsgrades von Hautgewebe eines Patienten
DE102009040017A1 (de) System und Verfahren zur Detektion einer Temperatur auf einer Oberfläche eines Körpers
DE102012216013A1 (de) Minimal invasive bildbasierte Bestimmung der Konzentration von Kohlendioxid (CO2) in ausgeatmetem Atem
DE4215946A1 (de) Vorrichtung zum ueberwachen physiologischer daten zur erfassung einer drogenbeeintraechtigung
EP2584957A1 (de) Vorrichtung und verfahren zur kombinierten optischen und nuklearen bilderfassung
EP1241979A1 (de) Verfahren und vorrichtung zur bestimmung der örtlichen verteilung einer messgrösse
EP3399914B1 (de) Vorrichtung und verfahren zur kontinuierlichen und nicht invasiven bestimmung von physiologischen parametern eines probanden
DE112019000207T5 (de) Optische Erfassung von Reaktionen von Haut und Gewebe mittels Spektroskopie
DE102011084444A1 (de) Verfahren zur Ermittlung von Begrenzungsinformationen eines Patienten und/oder eines Objekts
EP2218395A2 (de) Vorrichtung und Verfahren zum Erfassen zumindest eines Vitalparameters einer Person; Vitalparametererfasssungssystem
WO2021110531A1 (de) Verfahren und vorrichtung zur kontaktfreien bestimmung von zeitlichen farb- und intensitätsveränderungen bei objekten
DE102016218060A1 (de) An einem handgelenk getragenes gerät zum erfassen eines biosignals
DE102012002086A1 (de) Verfahren zum Untersuchen von biologischem Gewebe und Vorrichtungen zum Untersuchen und Behandeln des Gewebes
DE112016005019B4 (de) Endoskopsystem
DE112017005214T5 (de) Endoskopiesystem
DE102017215158B4 (de) Detektionssystem
DE10225077B4 (de) Objektverfolgeanordnung für medizinische Operationen
EP3741290A1 (de) Vorrichtung zur abbildungserzeugung von hautläsionen
EP0390896B1 (de) Vorrichtung zur gesichtsfeldprüfung
EP2777491A1 (de) Verfahren und Vorrichtung zur Überwachung von Vitalfunktionen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220603

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20230725

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

INTC Intention to grant announced (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240103

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240504