EP3742971A1 - Method for detecting body movements of a sleeping person - Google Patents

Method for detecting body movements of a sleeping person

Info

Publication number
EP3742971A1
EP3742971A1 EP19701961.5A EP19701961A EP3742971A1 EP 3742971 A1 EP3742971 A1 EP 3742971A1 EP 19701961 A EP19701961 A EP 19701961A EP 3742971 A1 EP3742971 A1 EP 3742971A1
Authority
EP
European Patent Office
Prior art keywords
interest
region
height profile
person
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19701961.5A
Other languages
German (de)
French (fr)
Inventor
Bernhard Kohn
Markus Gall
Christoph Wiesmeyr
Heinrich Garn
Markus WASER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AIT Austrian Institute of Technology GmbH
Original Assignee
AIT Austrian Institute of Technology GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AIT Austrian Institute of Technology GmbH filed Critical AIT Austrian Institute of Technology GmbH
Publication of EP3742971A1 publication Critical patent/EP3742971A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6889—Rooms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6891—Furniture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/70—Means for positioning the patient in relation to the detecting, measuring or recording means
    • A61B5/706—Indicia not located on the patient, e.g. floor marking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the invention relates to a method for detecting body movements of a sleeping person according to the preamble of patent claim 1.
  • the prior art discloses various methods for monitoring sleeping persons, in particular also for detecting movements during sleep of persons, in which it is fundamentally possible to identify pathological conditions of the sleeping person and to process them accordingly.
  • a major problem with such monitoring systems is that movements during sleep rarely take place and complete detection of a person's behavior during sleep usually results in large amounts of data, a large number of which can be discarded due to the person's immobility during sleep.
  • the individual movements during sleep have different quality and may vary in severity.
  • the object of the invention is therefore to safely and easily detect the individual, made during sleep movements of a person, especially when the person concerned, as is common in sleep, is covered by a blanket.
  • the invention solves this problem in a method of the type mentioned above with the characterizing feature of claim 1.
  • the height profile defines a number of at least two points in the space lying on the surface of the person or on the surface of an object located on or next to the person, and
  • Indicating person as a function of a reference point or reference range is selected as the first region of interest b) time periods of changes in the height profile of the first region of interest, the size of which exceeds a predetermined first threshold value, as well as time intervals between these periods are determined,
  • a noise value of the height profile is determined pixel by pixel for each of the time intervals
  • Another significant advantage of the procedure presented here is that even relatively weak body movements during sleep can be distinguished from the noise of the measuring arrangement or the measuring devices connected to the three-dimensional detection, and movements can be detected simply and efficiently.
  • step a) the height profile has a number of at least two distance measurement values for fixing one point each in space, wherein the individual distance measurement values each indicate the distance of the distance Indicate the point of intersection of a beam determined relative to the distance measurement values determining the detector unit, in particular emanating from the detector unit, with the surface of the person or the surface of an object located on or next to the person from a reference point or a reference plane,
  • the height profile is characterized by a two-dimensional matrix data structure comprising a number of rows and columns, - Given a number of arranged in rows and columns grid-shaped positions, at each of which the distance measurements of the height profile are determined
  • the matrix data structure has a raster of the same size and structure, and the matrix data structure is created by storing and making available the distance measurement values recorded at the respective positions at the memory positions corresponding to the positions in the raster in the matrix data structure.
  • a number of storage positions of the data structure in which distance measurement values are stored which indicate the distance of a predetermined body part or body region of the person as a function of the respective reference point or reference region, are defined as a first region of interest in the height profile.
  • a particularly advantageous detection of changes in the elevation profile provides that in step b) in each case for individual times a motion map created by elemental or pixel-wise formation of a local temporal change measure as a measure of the change in the individual distance measurements of the points of the height profile in the first region of interest becomes.
  • a particularly advantageous creation of a function which over time indicates the intensity of the person's movements provides that in step b) a predetermined function is applied to predetermined elements of the movement map of the first region of interest and accumulation over time of the obtained values of the movement map is performed and thus a temporal motion function g (t) is obtained.
  • a predetermined function is applied to predetermined elements of the movement map of the first region of interest and accumulation over time of the obtained values of the movement map is performed and thus a temporal motion function g (t) is obtained.
  • the detection of a threshold value exceeding the presence of the temporal, the person movements characterizing function on pixelwise threshold value exceedances or pixelwise threshold comparisons can be used.
  • this function provides a threshold comparison with a predetermined threshold, and the function in the case of falling below the threshold returns a zero value, and in case of exceeding the threshold
  • step b) for the identification of changes in the height profile of the first region of interest in the temporal motion function g (t) a pattern comparison or a threshold comparison is performed, wherein time periods in which the temporal motion function g (t) a predetermined pattern or exceeds a predetermined threshold, are recognized as periods of time with changes.
  • a particularly advantageous type of detection, compensation and the noise of individual sensors in the creation of the height profile and an advantageous treatment of noisy measured values of the height profile provides that in step c) a noise card for each of the time intervals by pixel-wise determination of the noise of the individual distance measured values created in a second region of interest,
  • a single advantageous procedure with regard to noise compensation provides that in a first step the determined distance values are weighted with a weighting value and distance readings normalized in this way are indirectly proportional to the noise value determined for the respective pixel in the noise card, and in a second step
  • a further movement map is created for each time point in each case by pixel-by-pixel formation of a measure for the temporal change of the normalized distance measurement values in the second region of interest, and / or
  • a further motion map for the second region of interest is created by pixel-wise, optionally weighted, accumulation on the normalized distance measured values of the points of the height profile determined within a time interval around the respective time in each pixel.
  • a particularly advantageous creation of a function that indicates the intensity of the person's movements over time provides that a predetermined function is applied to predetermined points of the further movement map of the second region of interest and an accumulation over the values of the further movement map is performed at one point and thus a further temporal function g '(t) is obtained.
  • this temporal function in order to produce this temporal function, it can be provided, in particular, that accumulation over the values obtained for the further movement map is carried out by summation over the second region of interest and thus the further temporal function g '(t) is obtained.
  • the detection of a threshold value exceeding the presence of the temporal, the person movements characterizing function on pixelwise threshold value exceedances or pixelwise threshold comparisons can be used.
  • this function provides a threshold comparison with a predetermined further threshold, and the function in the case of falling below the threshold value returns a zero value, and in the case of Exceeding the threshold
  • step d) for the purpose of identifying changes in the height profile of the second region of interest in the further temporal function g '(t) a pattern comparison or a threshold comparison is carried out, wherein time segments in which the further temporal function g' (t) corresponds to a predetermined pattern or exceeds a predetermined second threshold, as further periods of time are detected with changes.
  • a pattern comparison or a threshold comparison is carried out, wherein time segments in which the further temporal function g' (t) corresponds to a predetermined pattern or exceeds a predetermined second threshold, as further periods of time are detected with changes.
  • the first region of interest and / or the further region of interest are predefined in the height profile
  • first region of interest and / or the further region of interest contain regions of the height profile which correspond to predetermined regions of the body of the person.
  • a body model is predetermined and regions of interest in the height profile are determined automatically by:
  • a) is searched in a recording of the person by means of the body model and an object classification algorithm for areas corresponding to predetermined body parts or a predetermined body region and identified Areas or derived areas as regions of interest, or
  • the temporal adaptation of the region of interest can be controlled by using for the pixel-by-pixel assignment of areas of the respectively considered recording to a body part or a body region also or only assignments from recordings of the person, which were created before the recording time of each considered recording ,
  • each image is subdivided into a predetermined number of raster elements
  • Fig. 1 an arrangement for detecting and detecting body movements of a sleeping person is shown.
  • Figs. 2, 3 and 4 show different definitions of height profiles.
  • Fig. 5 shows schematically a height profile in the form of an image.
  • 6 shows schematically the movement function, the further movement function and its analysis for determining body movements.
  • Fig. 7 shows schematically some possibilities of defining regions of interest.
  • FIG. 1 an arrangement for detecting and detecting body movements of a sleeping person 1 is shown from the side.
  • This arrangement can usually be used in sleep laboratories or similar medical monitoring facilities.
  • Person 1 should be examined for the presence of certain sleep disorders and is monitored for this purpose while lying asleep in a bed 10.
  • the person can also, at least partially, be covered by a duvet.
  • an image recording unit 2 is arranged, which is designed to produce three-dimensional images of the person 1.
  • These three-dimensional images are usually produced in the form of a height profile H (FIG. 4) during a recording step a), which in each case has one sample for a multiplicity of different rays.
  • the present elevation profile can be recorded, for example, by, as shown in FIG.
  • the height profile H is generally a number of at least two points, preferably a plurality of arranged on grid-like rays S points P, fixed in space on the surface of the person 1 or on the surface of an on or next to the person 1 object, such as the blanket 1 1 or the bed 10, lie.
  • the determination of the height profile H can therefore be effected by specifying, as shown in FIG. 2, the distance measurement values di, d 2 ,..., D n of the height profile H as those distances which the points P lying on the rays S on the Surface of the person 1 with respect to the image pickup unit 2 have.
  • the measurement of the distances can take place in different ways, for example by means of a 3D camera.
  • the individual distance measurements dO, d 2 ', d n ' in the creation of the height profile as those distances are given, the determined points P on the surface of the person 1 of another object, in particular from the ceiling 21 of the examination room.
  • this interpolating curve can be evaluated at a multiplicity of three-dimensional points, so that a number of grid-shaped x- and y- Coordinate values each a z-coordinate value is provided, which is also on the curve.
  • a separate height profile H is determined for individual recording times and stored in a data structure.
  • This height profile H which is shown schematically in FIG. 4, has in each case a distance measurement value d 1 for a number of grid-shaped or image-wise arranged elements or pixels ; ..., d n , wherein the distance measurement values can be determined as described above.
  • a region of interest ROM is selected, in which usually those parts of the person 1 whose movement is to be monitored are found. Since in the present case the movements of the legs of the person 1 are to be monitored, the region of interest is arranged in the lower part of the height profile. If, on the other hand, other body regions or other regions within the height profile H are to be monitored, a corresponding other selection of the height profile can be made.
  • the selection of the region of interest ROM can be determined manually and include those body regions whose movements are to be monitored concretely.
  • the creation of the height profile can be carried out in a particularly simple manner if the individual beams S emanating from the detector unit are arranged in a grid pattern and each of the distance measured values is entered in a matrix data structure which represents the grid of the individual beams S or has a structure which corresponds to the structure of FIG Rasters of the individual rays S corresponds.
  • the matrix data structure will include 300x300 entries, which may also be referred to as pixels when viewing the contents of the matrix data structure.
  • time intervals Z 1; ..., Z 3 is detected by changes in the height profile H within the first region of interest in which the measure of the temporal change of the height profile H exceeds a predetermined first threshold value. Furthermore, those between these time periods Z 1; ..., Z 3 lying time intervals L 1; L 2 , ... determined.
  • a particularly simple variant provides in this context that for individual times, in particular for all times t 1; ..., t p , respectively a motion map MM1 is created, in which for each distance measurement d 1; ..., d n or each visual ray S or each entry k (x, y, t) of the matrix data structure elementwise or pixelwise a local change value mm (x, y, t) for the temporal change of the respective distance measurement d 1; ..., d n or of the entry k (x, y, t) entered in the respective data structure.
  • t p After a first motion map MM1 in this way for a number of times t 1; ..., t p has been created, for each individual time t 1; ..., t p are determined in each case a movement value, which is determined by accumulation over the obtained local change measures mm (x, y, t) of the movement map MM1 within the region of interest ROM.
  • a movement value which is determined by accumulation over the obtained local change measures mm (x, y, t) of the movement map MM1 within the region of interest ROM.
  • the individual local change measures mm (x, y, t) of the movement map MM1 within the region of interest ROM to be determined pixel-by-pixel, with individual entries k (x, y, t) or k associated with the same pixel or element of the data structure Change measures that occur within a predetermined time interval around the respective time t 1; ..., t p are to be added weighted.
  • y of the region of interest ROM is determined, in which the respective last recorded distance measurement values or entries k ( x, y, t) are added weighted, the individual weights can be set in different ways.
  • the temporal change can be achieved, for example, by subtracting the two distance measurement values or entries k (x, y, t); k (x, y, t-1), which were determined at the same position in immediately successive time points. If necessary, the amount of difference between the two entries k (x, y, t) can, if the nature of the movement plays no role; k (x, y, t-1) or distance measurement values are used as the local change m value mm (x, y, t) for the entry or pixel in question at position x, y at time t.
  • Time t in the same pixel at the position x, y, is taken, and of these entries k (x, y, t) an average km ⁇ x, y, t) or, optionally weighted, sum km ⁇ x, y, t) is determined. Likewise, a number of entries k (x, y, t), which were respectively recorded within a time interval after the respective time t in the same pixel at the position x, y, are used and of these
  • a particularly simple way of determining an accumulated total measure of the temporal change of the height profile H at a time ti, ..., t p for the region of interest ROM can be done, for example, by summation or addition of all local change measures mm (x, y, t) contained at one time or in a movement map MM1 (t).
  • other approaches to accumulation can be selected, in particular, a function h can be applied to the individual values of the motion map MM1 (t) before the summation.
  • This function h (x) can be configured differently.
  • functions that contain a threshold value comparison and the respective movement value with a predetermined threshold TH ! to compare can, in the case of falling below this threshold TH ! return a zero value which does not contribute to the accumulation, in particular the value 0.
  • the function h (x) can return different values, in particular the function can return a predetermined constant value, for example 1, which contributes to the accumulation and does not correspond to the zero value.
  • a function value for the temporal motion function g (t) is obtained, which corresponds to the number of pixels or entries in each of which a threshold value was exceeded.
  • h (x) ⁇ If x ⁇ TFI 1 Then 0, otherwise x ⁇
  • FIG. 6 also shows the determination of Periods in which body movements occur.
  • a comparison of the temporal motion function g (t) with a predetermined threshold TH Z done.
  • Exceeds the motion function g (t) the respective threshold value TH Z then one time section in which the motion function (t) the respective threshold value TH Z exceeds g, as a period of time Z 1; Z 2 , Z 3 identified by significant changes in the height profile H or movements of the person 1 and kept available as such.
  • a pixel-wise noise value r (x, y; L 2 ; r (x, y; L 2 ); r (x, y; L 3 ) of the height profile H is determined between the time intervals ZZ 2 , Z 3 Pixel-wise determination of the noise value r (x, y, L) does not take place separately at each individual time, but in each case for an entire time interval L 1, L 2 , L 3 .
  • a second region of interest R0I2 which may correspond in particular to the first region of interest ROH, but which may be made larger than the first region of interest or the first region of interest, has a number of noise values r (x, y; in the form of a noise card RM ⁇ ) available.
  • the noise values r (x, y; the noise card noise card RM ⁇ ) for example, for each pixel or for each entry from the individual positions respectively separately determined standard deviation of the respective distance measurement value or the entries k (x, y, t) within the respective time interval correspond.
  • L 1; L 2 , L 3 is each separately a noise card RM ⁇ ), RM (L 2 ), RM (L 2 ) available.
  • the determined distance measurement values k (x, y, t) in the individual time intervals L 1; L 2 , L 3 are weighted with a weighting value which corresponds to the noise value r (x, y) determined for the respective pixel or the respective position x, y, in the noise card RM 1), RM (L 2 ), RM (L 2 ) ; L (x, y; L 2 ); r (x, y; L 3 ) is indirectly proportional and in each case produces a normalized distance measurement e (x, y, t) for each pixel or entry of the data structure
  • the respective normalized distance measurement value e (x, y, t) is calculated by dividing the respective distance measurement value e (x, y, t) by the noise value r (x, y; determined.
  • the individual further local change measures mm 2 (x, y, t) of the further movement map MM2 within the region of interest ROI2 can be accumulated and an accumulation value obtained in this way can be assigned to a further temporal motion function g '(t).
  • the function h (x) used above to generate the temporal movement function can also be used to weight the individual further local change measures mm 2 (x, y, t), but instead of the threshold TH ! Another threshold TH 2 can be used.
  • the concrete selection of the regions of interest ROH, ROI2 can, as already mentioned, in principle be carried out in different ways, in particular the region ROH, ROI2 concerned can be selected by selecting a region of interest ROH, ROI2 within the bed on which Usually at normal sleep position, the body parts of interest are located.
  • the second region of interest ROI2 can also be made larger than the first region of interest ROH or the first region of interest ROH.
  • the first region may be limited to sensors or distance values whose noise is usually low, which is the case in particular in the case of the distance sensors in the middle of the imaging region of the image recording unit 2.
  • the sensor noise there may be a risk that threshold crossings caused by noise will cause the movements to be overestimated, or that the results obtained may include artifacts due to sensor noise rather than body movement.
  • sensor measured values can also be used for the further processing, which overall have a higher noise component.
  • Another particularly preferred alternative determination of the regions of interest, with which head movements can be detected in particular provides that in each height profile H pixel-by-pixel is sought by means of the body model and an object classification algorithm for an area corresponding to the head of the person and thus the position of the person Body of the person 1 is determined in the respective recording. Based on the position of the body thus determined, the areas in which the respective body regions are located can be defined as an interesting region ROM or regions ROI1 a, ROI1 b,.
  • each shot of the person or in individual shots of the person pixel by pixel can be searched by means of a body model and an object classification algorithm for areas corresponding to predetermined body parts or a predetermined body region.
  • the regions in which the identified regions are located can subsequently be defined as regions of interest ROI1a, ROI1b, ..., ROI1d.
  • the determination of the further region of interest ROI2 can, as described above, also be carried out by equating or determining the further region of interest ROI2 of the respective region of interest as being determined.
  • the height profile H is divided into a plurality of different tile-like raster elements R, wherein each raster element R is preferably formed rectangular in the height profile H and each of a possible region of interest ROI1 a, ROI1 b, ROI1 c, ROI1d.
  • each raster element R of interest it is possible to use the method according to the invention presented above each separately determine whether each body movements are within the grid element, which are of total relevance.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

The invention relates to a method for detecting body movements of a sleeping person (1), three-dimensional images of the person (1) being continually created at successive capturing times (t1,..., tp) by means of an image-capturing unit directed at the person (1) and determined distance measurement values (d1,..., dn) being provided, in particular pixel by pixel, wherein: a) a two- or three-dimensional height profile (H) of the person (1) is created, a number of at least two points in space being defined in the height profile (H), which points lie on the surface of the person (1) or on the surface of an objected located on or next to the person (1), and for each of the capturing times (t1,..., tp) the height profile (H) in question being stored in a data structure and being kept available, a range that indicates a specified body part or body area of the person (1) in dependence on a reference point or reference range (21) being selected as a first region of interest (ROI1); b) time periods (Z1, Z2, Z3) of changes of the height profile (H) of the first region of interest (ROI1), the size of which exceeds a specified first threshold value (THZ), and time intervals (L1, L2, L3) between said time periods (Z1, Z2, Z3) are determined; c) for each of the time intervals (L1, L2, L3) a noise value (n(x,y)) of the height profile (H) is determined pixel by pixel; d) further time periods (Y1, Y2, Y3) of changes of the height profile (H), the size of which exceeds a second threshold value (THY), in the time intervals (L1, L2, L3) are determined, taking into consideration the noise value (n(x,y)) in question pixel by pixel; and e) the time periods (Z1, Z2, Z3) and further time periods (Y1, Y2, Y3) of changes of the height profile (H), which time periods were identified in steps b) and d), are registered as body movements of the person (1).

Description

Verfahren zur Detektion von Körperbewegungen einer schlafenden Person  Method for detecting body movements of a sleeping person
Die Erfindung betrifft ein Verfahren zur Detektion von Körperbewegungen einer schlafenden Person gemäß dem Oberbegriff des Patentanspruchs 1 . The invention relates to a method for detecting body movements of a sleeping person according to the preamble of patent claim 1.
Aus dem Stand der Technik sind unterschiedliche Verfahren zur Überwachung von schlafenden Personen, insbesondere auch zur Detektion von Bewegungen während des Schlafs von Personen, bekannt, bei denen grundsätzlich die Möglichkeit besteht, pathologische Zustände der schlafenden Person zu identifizieren und entsprechend zu verarbeiten. Ein wesentliches Problem bei derartigen Überwachungssystemen ist es, dass Bewegungen während des Schlafs nur selten stattfinden und die vollständige Erfassung des Verhaltens einer Person während des Schlafs üblicherweise zu großen Datenmengen führt, von denen eine Vielzahl aufgrund der Bewegungslosigkeit der Person im Schlaf verworfen werden kann. Darüber hinaus weisen die einzelnen Bewegungen während des Schlafs unterschiedliche Qualität auf und können unterschiedlich stark ausgeprägt sein. Aufgabe der Erfindung ist es daher, die einzelnen, während des Schlafs erfolgten Bewegungen einer Person sicher und einfach zu detektieren, insbesondere auch dann, wenn die betreffende Person, wie dies im Schlaf regelmäßig üblich ist, von einer Decke abgedeckt ist. Da die Durchschnittsperson während des Schlafs regelmäßig von einer Decke abgedeckt ist, kann eine messtechnisch genauere Erfassung ohne Decke zu Verzerrungen des Versuchsergebnisses führen, sodass insgesamt eine Erfassung einer schlafenden, von einer Decke abgedeckten Person wünschenswert ist, um die Person in einem möglichst natürlichen Schlafzustand überwachen zu können. Die Erfindung löst diese Aufgabe bei einem Verfahren der eingangs genannten Art mit dem kennzeichnenden Merkmal des Patentanspruchs 1. The prior art discloses various methods for monitoring sleeping persons, in particular also for detecting movements during sleep of persons, in which it is fundamentally possible to identify pathological conditions of the sleeping person and to process them accordingly. A major problem with such monitoring systems is that movements during sleep rarely take place and complete detection of a person's behavior during sleep usually results in large amounts of data, a large number of which can be discarded due to the person's immobility during sleep. In addition, the individual movements during sleep have different quality and may vary in severity. The object of the invention is therefore to safely and easily detect the individual, made during sleep movements of a person, especially when the person concerned, as is common in sleep, is covered by a blanket. Since the average person is regularly covered by a blanket during sleep, a more accurate detection without a blanket can lead to distortions of the test result, so that overall a detection of a sleeping, covered by a blanket person is desirable to monitor the person in the most natural sleep possible to be able to. The invention solves this problem in a method of the type mentioned above with the characterizing feature of claim 1.
Dabei ist insbesondere vorgesehen, dass It is provided in particular that
a) ein zwei- oder dreidimensionales Höhenprofil der Person erstellt wird, a) a two- or three-dimensional height profile of the person is created,
- wobei im Höhenprofil eine Anzahl von zumindest zwei Punkten im Raum festgelegt ist, die auf der Oberfläche der Person oder auf der Oberfläche eines auf oder neben der Person befindlichen Gegenstands liegen, und  wherein the height profile defines a number of at least two points in the space lying on the surface of the person or on the surface of an object located on or next to the person, and
- wobei für jeden der Aufnahmezeitpunkte das jeweilige Höhenprofil in einer Datenstruktur abgespeichert und zur Verfügung gehalten wird,  wherein for each of the recording times the respective height profile is stored in a data structure and made available,
- wobei ein Bereich, der einen vorgegebenen Körperteil oder Körperbereich der where an area containing a predetermined body part or body area of the
Person in Abhängigkeit von einem Referenzpunkt oder Referenzbereich angibt, als erste interessierende Region ausgewählt wird, b) Zeitabschnitte von Änderungen des Höhenprofils der ersten interessierenden Region, deren Maß einen vorgegebenen ersten Schwellenwert übersteigt, sowie zeitliche Zwischenräume zwischen diesen Zeitabschnitten bestimmt werden, Indicating person as a function of a reference point or reference range is selected as the first region of interest b) time periods of changes in the height profile of the first region of interest, the size of which exceeds a predetermined first threshold value, as well as time intervals between these periods are determined,
c) für jeden der zeitlichen Zwischenräume pixelweise ein Rauschwert des Höhenprofils bestimmt wird, c) a noise value of the height profile is determined pixel by pixel for each of the time intervals
d) weitere Zeitabschnitte von Änderungen des Höhenprofils, deren Maß einen zweiten Schwellenwert übersteigt, in den zeitlichen Zwischenräumen unter pixelweiser Berücksichtigung des jeweiligen Rauschwerts bestimmt werden, und d) further time intervals of changes in the height profile, the measure of which exceeds a second threshold, are determined in the time intervals with pixel-by-pixel consideration of the respective noise value, and
e) jeweils die in den Schritten b) und d) identifizierten Zeitabschnitte und weiteren Zeitabschnitte von Änderungen des Höhenprofils als Körperbewegungen der Person registriert werden. e) in each case the time segments identified in steps b) and d) and further time segments of changes in the height profile are registered as body movements of the person.
Wesentlicher Vorteil der hier dargestellten Vorgehensweise ist zudem, dass auch verhältnismäßig schwach ausgeprägte Körperbewegungen während des Schlafs vom Rauschen der Messanordnung bzw. der mit der dreidimensionalen Erfassung verbundenen Messgeräte unterschieden und Bewegungen einfach und effizient erkannt werden können. Another significant advantage of the procedure presented here is that even relatively weak body movements during sleep can be distinguished from the noise of the measuring arrangement or the measuring devices connected to the three-dimensional detection, and movements can be detected simply and efficiently.
Zwei besonders vorteilhafte Weiterbildungen der Erfindung, mit denen unterschiedliche Darstellungsformen des Höhenprofils erreicht werden können, sehen vor, dass in Schritt a) das Höhenprofil eine Anzahl von zumindest zwei Abstandsmesswerten zur Festlegung jeweils eines Punktes im Raum aufweist, wobei die einzelnen Abstandsmesswerte jeweils den Abstand des Schnittpunktes eines relativ zu der die Abstandsmesswerte ermittelnden Detektoreinheit vorab festgelegten, insbesondere von der Detektoreinheit ausgehenden, Strahls mit der Oberfläche der Person oder der Oberfläche eines auf der oder neben der Person befindlichen Gegenstands von einem Referenzpunkt oder einer Referenzebene angeben, Two particularly advantageous developments of the invention, with which different forms of representation of the height profile can be achieved, provide that in step a) the height profile has a number of at least two distance measurement values for fixing one point each in space, wherein the individual distance measurement values each indicate the distance of the distance Indicate the point of intersection of a beam determined relative to the distance measurement values determining the detector unit, in particular emanating from the detector unit, with the surface of the person or the surface of an object located on or next to the person from a reference point or a reference plane,
b) wobei für jeden der Aufnahmezeitpunkte jeweils eine Datenstruktur erstellt wird, die das jeweilige Höhenprofil enthält, wobei sämtliche so erstellte Datenstrukturen jeweils dieselbe Größe aufweisen und jeweils mit Speicherpositionen für die einzelnen Abstandsmesswerte des Höhenprofils aufweisen. b) wherein for each of the recording times in each case a data structure is created, which contains the respective height profile, wherein all data structures thus created each have the same size and each having storage positions for the individual distance measurement values of the height profile.
Alternativ kann vorgesehen sein, dass Alternatively it can be provided that
- das Höhenprofil durch eine zweidimensionale Matrixdatenstruktur umfassend eine Anzahl von Zeilen und Spalten charakterisiert wird, - eine Anzahl von in Zeilen und Spalten rasterförmig angeordneten Positionen vorgegeben wird, an denen jeweils die Abstandsmesswerte des Höhenprofils bestimmt werden the height profile is characterized by a two-dimensional matrix data structure comprising a number of rows and columns, - Given a number of arranged in rows and columns grid-shaped positions, at each of which the distance measurements of the height profile are determined
- die Matrixdatenstruktur ein Raster von derselben Größe und Struktur aufweist, und - die Matrixdatenstruktur erstellt wird, indem die an den jeweiligen Positionen aufgenommenen Abstandsmesswerte an den den Positionen im Raster entsprechenden Speicherpositionen in der Matrixdatenstruktur abgespeichert und zur Verfügung gehalten werden.  the matrix data structure has a raster of the same size and structure, and the matrix data structure is created by storing and making available the distance measurement values recorded at the respective positions at the memory positions corresponding to the positions in the raster in the matrix data structure.
- wobei eine Anzahl von Speicherpositionen der Datenstruktur, in denen Abstandsmesswerte abgespeichert sind, die den Abstand eines vorgegebenen Körperteils oder Körperbereichs der Person in Abhängigkeit vom jeweiligen Referenzpunkt oder Referenzbereich angeben, als eine erste interessierende Region im Höhenprofil festgelegt wird. Eine besonders vorteilhafte Detektion von Änderungen im Höhenprofil sieht vor, dass in Schritt b) jeweils für einzelne Zeitpunkte jeweils eine Bewegungskarte durch elementweise oder pixelweise Bildung eines lokalen zeitlichen Änderungsmaßwerts als Maßwert für die Änderung der einzelnen Abstandsmesswerte der Punkte des Höhenprofils in der ersten interessierenden Region erstellt wird.  wherein a number of storage positions of the data structure in which distance measurement values are stored, which indicate the distance of a predetermined body part or body region of the person as a function of the respective reference point or reference region, are defined as a first region of interest in the height profile. A particularly advantageous detection of changes in the elevation profile provides that in step b) in each case for individual times a motion map created by elemental or pixel-wise formation of a local temporal change measure as a measure of the change in the individual distance measurements of the points of the height profile in the first region of interest becomes.
Alternativ kann zum gleichen Zweck vorgesehen sein, dass in Schritt b) jeweils für einzelne Zeitpunkte jeweils eine Bewegungskarte für die erste interessierende Region durch, gegebenenfalls gewichtete, insbesondere pixelweise oder elementweise, Akkumulation oder Subtraktion auf die innerhalb eines Zeitintervalls rund um den jeweiligen Zeitpunkt im jeweiligen Pixel ermittelten Abstandsmesswerte der Punkte des Höhenprofils erstellt wird. Alternatively, it can be provided for the same purpose that in step b) for each time points in each case a motion map for the first region of interest, optionally weighted, especially pixelwise or elemental, accumulation or subtraction on within a time interval around the respective time in the respective Pixels determined distance measurements of the points of the height profile is created.
Eine besonders vorteilhafte Erstellung einer Funktion, die über die Zeit die Intensität der Bewegungen der Person angibt, sieht vor, dass in Schritt b) eine vorgegebene Funktion auf vorgegebene Elemente der Bewegungskarte der ersten interessierenden Region angewendet und zeitpunktweise eine Akkumulation über die erhaltenen Werte der Bewegungskarte durchgeführt wird und derart eine zeitliche Bewegungsfunktion g(t) erhalten wird. Dabei kann zur Erstellung dieser zeitlichen Funktion insbesondere vorgesehen sein, dass als Akkumulation über die erhaltenen Werte der Bewegungskarte eine Summenbildung über die erste interessierende Region durchgeführt und derart die zeitliche Bewegungsfunktion g(t) erhalten wird. A particularly advantageous creation of a function which over time indicates the intensity of the person's movements provides that in step b) a predetermined function is applied to predetermined elements of the movement map of the first region of interest and accumulation over time of the obtained values of the movement map is performed and thus a temporal motion function g (t) is obtained. In this case, in order to produce this temporal function, provision can be made in particular for accumulation over the obtained values of the movement map to form a summation is performed over the first region of interest and thus the temporal motion function g (t) is obtained.
Besonders vorteilhaft kann zur Detektion einer Schwellenwertüberschreitung auf das Vorliegen der zeitlichen, die Personenbewegungen charakterisierenden Funktion auf pixelweise Schwellenwertüberschreitungen bzw. pixelweise Schwellenwertvergleiche zurückgegriffen werden. Particularly advantageously, the detection of a threshold value exceeding the presence of the temporal, the person movements characterizing function on pixelwise threshold value exceedances or pixelwise threshold comparisons can be used.
Dabei kann vorgesehen sein, dass vor der Akkumulation eine Funktion auf die einzelnen Werte der Bewegungskarte angewendet wird, wobei diese Funktion einen Schwellenwertvergleich mit einem vorgegebenen Schwellenwert vorsieht, und die Funktion im Falle des Unterschreitens des Schwellenwerts einen Nullwert zurückliefert, und im Falle der Überschreitung des Schwellenwerts It can be provided that before the accumulation of a function on the individual values of the motion map is applied, this function provides a threshold comparison with a predetermined threshold, and the function in the case of falling below the threshold returns a zero value, and in case of exceeding the threshold
- einen vorgegebenen Wert zurückliefert,  - returns a given value,
- das Argument bzw. den jeweiligen Wert der Bewegungskarte zurückliefert, oder- returns the argument or value of the movement card, or
- das Ausmaß der Überschreitung des Schwellenwerts durch den jeweiligen Wert der Bewegungskarte zurückliefert. - returns the extent of the threshold exceeded by the value of the movement card.
Darüber hinaus ist es ebenso möglich, zur Identifikation von Änderungen des Höhenprofils einen Mustervergleich vorzusehen. Dabei ist im Einzelnen vorgesehen, dass in Schritt b) zur Identifikation von Änderungen des Höhenprofils der ersten interessierenden Region in der zeitlichen Bewegungsfunktion g(t) ein Mustervergleich oder ein Schwellenwertvergleich durchgeführt wird, wobei Zeitabschnitte, in denen die zeitliche Bewegungsfunktion g(t) einem vorgegebenen Muster entspricht oder einen vorgegebenen Schwellenwert übersteigt, als Zeitabschnitte mit Änderungen erkannt werden. In addition, it is also possible to provide a pattern comparison for identifying changes in the height profile. It is provided in detail that in step b) for the identification of changes in the height profile of the first region of interest in the temporal motion function g (t) a pattern comparison or a threshold comparison is performed, wherein time periods in which the temporal motion function g (t) a predetermined pattern or exceeds a predetermined threshold, are recognized as periods of time with changes.
Eine besonders vorteilhafte Art der Detektion, Kompensation und des Rauschens einzelner Sensoren bei der Erstellung des Höhenprofils sowie eine vorteilhafte Behandlung von rauschbehafteten Messwerten des Höhenprofils sieht vor, dass in Schritt c) eine Rauschkarte für jeden der zeitlichen Zwischenräume durch pixelweise Ermittlung des Rauschens der einzelnen Abstandsmesswerte in einer zweiten interessierenden Region erstellt wird, A particularly advantageous type of detection, compensation and the noise of individual sensors in the creation of the height profile and an advantageous treatment of noisy measured values of the height profile provides that in step c) a noise card for each of the time intervals by pixel-wise determination of the noise of the individual distance measured values created in a second region of interest,
insbesondere wobei innerhalb des jeweiligen Zeitraums jeweils für einzelne Zeitintervalle die Standardabweichung des Abstandsmesswerts ermittelt wird und ein Mittelwert sämtlicher innerhalb des Zeitraums derart ermittelten Standardabweichungen ermittelt und als Wert der Rauschkarte für das jeweilige Pixel herangezogen wird. Einzelne vorteilhafte Vorgehensweise bei der Rauschkompensation sehen im Einzelnen vor, dass in einem ersten Schritt die ermittelten Abstandwerte mit einem Gewichtungswert gewichtet und derart normalisierte Abstandsmesswerte erstellt werden, der zu dem für das jeweilige Pixel in der Rauschkarte ermittelten Rauschwert indirekt proportional ist, und in einem zweiten Schritt in particular wherein the standard deviation of the distance measurement value is determined in each case for individual time intervals and an average value of all standard deviations determined within the time period is determined and used as the value of the noise card for the respective pixel. In detail, a single advantageous procedure with regard to noise compensation provides that in a first step the determined distance values are weighted with a weighting value and distance readings normalized in this way are indirectly proportional to the noise value determined for the respective pixel in the noise card, and in a second step
- jeweils für einzelne Zeitpunkte jeweils eine weitere Bewegungskarte durch pixelweise Bildung eines Maßes für die zeitliche Änderung der normalisierte Abstandsmesswerte in der zweiten interessierenden Region erstellt wird, und/oder  in each case a further movement map is created for each time point in each case by pixel-by-pixel formation of a measure for the temporal change of the normalized distance measurement values in the second region of interest, and / or
- jeweils für einzelne Zeitpunkte jeweils eine weitere Bewegungskarte für die zweite interessierende Region durch pixelweise, gegebenenfalls gewichtete, Akkumulation auf die innerhalb eines Zeitintervalls rund um den jeweiligen Zeitpunkt im jeweiligen Pixel ermittelten normalisierten Abstandsmesswerte der Punkte des Höhenprofils erstellt wird. Eine besonders vorteilhafte Erstellung einer Funktion, die über die Zeit die Intensität der Bewegungen der Person angibt, sieht vor, dass eine vorgegebene Funktion auf vorgegebene Punkte der weiteren Bewegungskarte der zweiten interessierenden Region angewendet und zeitpunktweise eine Akkumulation über die erhaltenen Werte der weiteren Bewegungskarte durchgeführt wird und derart eine weitere zeitliche Funktion g'(t) erhalten wird. - For each time points in each case a further motion map for the second region of interest is created by pixel-wise, optionally weighted, accumulation on the normalized distance measured values of the points of the height profile determined within a time interval around the respective time in each pixel. A particularly advantageous creation of a function that indicates the intensity of the person's movements over time provides that a predetermined function is applied to predetermined points of the further movement map of the second region of interest and an accumulation over the values of the further movement map is performed at one point and thus a further temporal function g '(t) is obtained.
Dabei kann zur Erstellung dieser zeitlichen Funktion insbesondere vorgesehen sein, dass als Akkumulation über die erhaltenen Werte der weiteren Bewegungskarte eine Summenbildung über die zweite interessierende Region durchgeführt und derart die weitere zeitliche Funktion g'(t) erhalten wird. In this case, in order to produce this temporal function, it can be provided, in particular, that accumulation over the values obtained for the further movement map is carried out by summation over the second region of interest and thus the further temporal function g '(t) is obtained.
Besonders vorteilhaft kann zur Detektion einer Schwellenwertüberschreitung auf das Vorliegen der zeitlichen, die Personenbewegungen charakterisierenden Funktion auf pixelweise Schwellenwertüberschreitungen bzw. pixelweise Schwellenwertvergleiche zurückgegriffen werden. Particularly advantageously, the detection of a threshold value exceeding the presence of the temporal, the person movements characterizing function on pixelwise threshold value exceedances or pixelwise threshold comparisons can be used.
Dabei kann vorgesehen sein, dass vor der Akkumulation eine Funktion auf die einzelnen Werte der weiteren Bewegungskarte angewendet wird, wobei diese Funktion einen Schwellenwertvergleich mit einem vorgegebenen weiteren Schwellenwert vorsieht, und die Funktion im Falle des Unterschreitens des Schwellenwerts einen Nullwert zurückliefert, und im Falle der Überschreitung des Schwellenwerts It can be provided that before the accumulation of a function on the individual values of the further movement map is applied, this function provides a threshold comparison with a predetermined further threshold, and the function in the case of falling below the threshold value returns a zero value, and in the case of Exceeding the threshold
- einen vorgegebenen Wert zurückliefert, - das Argument bzw. den jeweiligen Wert der weiteren Bewegungskarte zurückliefert, oder - returns a given value, - returns the argument or the respective value of the further movement card, or
- das Ausmaß der Überschreitung des Schwellenwerts durch das Argument bzw. den jeweiligen Wert der weiteren Bewegungskarte zurückliefert.  - returns the extent to which the threshold is exceeded by the argument or the respective value of the further movement card.
Darüber hinaus ist es ebenso möglich, zur Identifikation von Änderungen des Höhenprofils einen Mustervergleich vorzusehen. Dabei ist im Einzelnen vorgesehen, dass in Schritt d) zur Identifikation von Änderungen des Höhenprofils der zweiten interessierenden Region in der weiteren zeitlichen Funktion g'(t) ein Mustervergleich oder ein Schwellenwertvergleich durchgeführt wird, wobei Zeitabschnitte, in denen die weiteren zeitliche Funktion g'(t) einem vorgegebenen Muster entspricht oder einen vorgegebenen zweiten Schwellenwert übersteigt, als weitere Zeitabschnitte mit Änderungen erkannt werden. Die Festlegung der interessierenden Regionen im Rahmen der Schritte b) und c) kann vorteilhafterweise derart erfolgen, In addition, it is also possible to provide a pattern comparison for identifying changes in the height profile. It is provided in detail that in step d) for the purpose of identifying changes in the height profile of the second region of interest in the further temporal function g '(t) a pattern comparison or a threshold comparison is carried out, wherein time segments in which the further temporal function g' (t) corresponds to a predetermined pattern or exceeds a predetermined second threshold, as further periods of time are detected with changes. The determination of the regions of interest in the context of steps b) and c) can advantageously take place in such a way that
- dass die weitere interessierende Region größer ist, als die erste interessierende Region, und/oder  that the further region of interest is larger than the first region of interest, and / or
- dass die weitere interessierende Region die erste interessierende Region enthält, und/oder  - that the other region of interest contains the first region of interest, and / or
- dass die weitere interessierende Region der ersten interessierende Region entspricht.  - that the other region of interest corresponds to the first region of interest.
Um bestimmte, vorab bekannte und für die betreffende Untersuchung relevante Körperbereiche voreinzustellen, kann vorgesehen sein, dass die erste interessierende Region und/oder die weitere interessierende Region im Höhenprofil vorab festgelegt werden, In order to prescribe certain areas of the body which are known in advance and relevant to the examination in question, it may be provided that the first region of interest and / or the further region of interest are predefined in the height profile,
insbesondere derart, dass die erste interessierende Region und/oder die weitere interessierende Region Bereiche des Höhenprofil enthalten, die vorgegebenen Bereichen des Körpers der Person entsprechen. in particular such that the first region of interest and / or the further region of interest contain regions of the height profile which correspond to predetermined regions of the body of the person.
Um automatisiert interessierende Körperregionen festlegen zu können, kann vorgesehen sein, dass ein Körpermodell vorgegeben wird und interessierende Regionen im Höhenprofil automatisiert festgelegt werden, indem In order to be able to determine automatically body regions of interest, it can be provided that a body model is predetermined and regions of interest in the height profile are determined automatically by:
a) in einer Aufnahme der Person mittels des Körpermodells und eines Objektklassifikationsalgorithmus nach Bereichen gesucht wird, die vorgegebenen Körperteilen oder einer vorgegebenen Körperregion entsprechen und die identifizierten Bereiche oder davon abgeleitete Bereiche als interessierende Regionen, festgelegt werden, oder a) is searched in a recording of the person by means of the body model and an object classification algorithm for areas corresponding to predetermined body parts or a predetermined body region and identified Areas or derived areas as regions of interest, or
b) für eine Anzahl von Zeitpunkten in der jeweiligen Aufnahme der Person pixelweise mittels des Körpermodells und eines Objektklassifikationsalgorithmus nach einem Bereich gesucht wird, der dem Kopf der Person entspricht und derart die Lage des Körpers der Person in der jeweiligen Aufnahme bestimmt wird, wobei die interessierenden Regionen in Bezug zur ermittelten Lage des Körpers, insbesondere in einer vorgegebenen Entfernung zum Kopf, festgelegt werden. Die zeitliche Anpassung der interessierenden Region kann gesteuert werden, indem für die pixelweise Zuordnung von Bereichen der jeweils betrachteten Aufnahme zu einem Körperteil oder einer Körperregion auch oder nur Zuordnungen aus Aufnahmen der Person, die zeitlich vor dem Aufnahmezeitpunkt der jeweils betrachteten Aufnahme erstellt wurden, verwendet werden. b) for a number of times in the respective recording of the person is searched pixel by pixel by means of the body model and an object classification algorithm for an area corresponding to the head of the person and thus determines the position of the body of the person in the respective recording, wherein the interested Regions are determined in relation to the determined position of the body, in particular at a predetermined distance to the head. The temporal adaptation of the region of interest can be controlled by using for the pixel-by-pixel assignment of areas of the respectively considered recording to a body part or a body region also or only assignments from recordings of the person, which were created before the recording time of each considered recording ,
Eine effiziente Zuordnung der einzelnen Bewegungen zu einzelnen Körperteilen sieht vor,An efficient assignment of the individual movements to individual parts of the body provides
- dass jede Aufnahme in eine vorgebebene Anzahl an Rasterelemente unterteilt wird,that each image is subdivided into a predetermined number of raster elements,
- dass für jedes Rasterelement ein Verfahren nach einem der Ansprüche 1 bis 14 durchgeführt wird, wobei als interessierende Region das jeweilige Rasterelement festgelegt wird, und - That for each raster element, a method according to one of claims 1 to 14 is performed, wherein as the region of interest, the respective raster element is set, and
- dass bei Detektion von Änderungen des Höhenprofils im jeweiligen Rasterelement mittels des Körpermodells das betreffende Rasterelement einem Körperteil zugeordnet und eine Bewegung dieses Körperteils festgestellt wird. Einige bevorzugte und nicht einschränkend zu verstehende Ausführungsbeispiele der Erfindung werden anhand der folgenden Zeichnungen dargestellt. In Fig. 1 ist eine Anordnung zur Erfassung und Detektion von Körperbewegungen einer schlafenden Person dargestellt. Fig. 2, 3 und 4 zeigen unterschiedliche Festlegungen von Höhenprofilen. Fig. 5 zeigt schematisch ein Höhenprofil in Form eines Bilds. Fig. 6 zeigt schematisch die Bewegungsfunktion, die weitere Bewegungsfunktion und ihre Analyse zur Ermittlung von Körperbewegungen. Fig. 7 zeigt schematisch einige Möglichkeiten der Festlegung von interessierenden Regionen.  - That upon detection of changes in the height profile in the respective grid element by means of the body model, the respective grid element associated with a body part and a movement of this body part is detected. Some preferred and non-limiting embodiments of the invention will be apparent from the following drawings. In Fig. 1, an arrangement for detecting and detecting body movements of a sleeping person is shown. Figs. 2, 3 and 4 show different definitions of height profiles. Fig. 5 shows schematically a height profile in the form of an image. 6 shows schematically the movement function, the further movement function and its analysis for determining body movements. Fig. 7 shows schematically some possibilities of defining regions of interest.
In Fig. 1 ist eine Anordnung zur Erfassung und Detektion von Körperbewegungen einer schlafenden Person 1 von der Seite dargestellt. Diese Anordnung kann üblicherweise in Schlaflabors oder ähnlichen medizinischen Überwachungseinrichtungen eingesetzt werden. Die Person 1 soll dabei auf das Vorliegen bestimmter Schlafstörungen untersucht werden und wird zu diesem Zweck, während sie schlafend in einem Bett 10 liegt, überwacht. Um den Schlafkomfort zu erhöhen, kann die Person auch, zumindest teilweise, von einer Bettdecke abgedeckt sein. Über der Person 1 ist eine Bildaufnahmeeinheit 2 angeordnet, die dazu ausgebildet ist dreidimensionale Aufnahmen der Person 1 zu erstellen. Diese dreidimensionalen Aufnahmen werden im Rahmen eines Aufnahmeschritts a) üblicherweise in Form eines Höhenprofils H (Fig. 4) erstellt, das für eine Vielzahl von unterschiedlichen Strahlen jeweils einen Abtastwert aufweist. Das vorliegende Höhenprofil kann beispielsweise aufgenommen werden, indem wie in Fig. 2 dargestellt, für eine Anzahl von der Bildaufnahmeeinheit 2 ausgehenden Strahlen S, die rasterförmig angeordnet sind und von der Bildaufnahmeeinheit 2 abgehen, jeweils separat Abstandsmesswerte d1 ; ..., dn aufgenommen werden, die den Abstand des Schnittpunkts P der Oberfläche der Person 1 mit dem Strahl S zur Bildaufnahmeeinheit 2 entlang des vorgegebenen Strahls S angeben. In Fig. 1, an arrangement for detecting and detecting body movements of a sleeping person 1 is shown from the side. This arrangement can usually be used in sleep laboratories or similar medical monitoring facilities. Person 1 should be examined for the presence of certain sleep disorders and is monitored for this purpose while lying asleep in a bed 10. To increase the sleeping comfort, the person can also, at least partially, be covered by a duvet. Above the person 1, an image recording unit 2 is arranged, which is designed to produce three-dimensional images of the person 1. These three-dimensional images are usually produced in the form of a height profile H (FIG. 4) during a recording step a), which in each case has one sample for a multiplicity of different rays. The present elevation profile can be recorded, for example, by, as shown in FIG. 2, for a number of rays S emanating from the image recording unit 2, which are arranged in a grid shape and depart from the image recording unit 2, distance readings d 1; ..., d n are recorded, which indicate the distance of the point of intersection P of the surface of the person 1 with the beam S to the image recording unit 2 along the predetermined beam S.
Im Höhenprofil H ist allgemein eine Anzahl von zumindest zwei Punkten, vorzugsweise einer Vielzahl von auf rasterförmig angeordneten Strahlen S liegenden Punkten P, im Raum festgelegt, die auf der Oberfläche der Person 1 oder auf der Oberfläche eines auf oder neben der Person 1 befindlichen Gegenstands, wie beispielsweise der Bettdecke 1 1 oder dem Bett 10, liegen. In the height profile H is generally a number of at least two points, preferably a plurality of arranged on grid-like rays S points P, fixed in space on the surface of the person 1 or on the surface of an on or next to the person 1 object, such as the blanket 1 1 or the bed 10, lie.
Die Festlegung des Höhenprofils H kann also dadurch erfolgen, dass wie in Fig. 2 dargestellt, die Abstandsmesswerte di, d2, ..., dn des Höhenprofils H als diejenigen Abstände festzulegen, die die auf den Strahlen S liegenden Punkte P auf der Oberfläche der Person 1 gegenüber der Bildaufnahmeeinheit 2 haben. Die Messung der Abstände kann dabei auf unterschiedliche Weise erfolgen, beispielsweise mittels einer 3D-Kamera. The determination of the height profile H can therefore be effected by specifying, as shown in FIG. 2, the distance measurement values di, d 2 ,..., D n of the height profile H as those distances which the points P lying on the rays S on the Surface of the person 1 with respect to the image pickup unit 2 have. The measurement of the distances can take place in different ways, for example by means of a 3D camera.
Alternativ können, wie in Fig. 3 dargestellt, die einzelnen Abstandsmesswerte dO, d2', dn' bei der Erstellung des Höhenprofils als diejenigen Abstände vorgegeben werden, die die ermittelten Punkte P auf der Oberfläche der Person 1 von einem anderen Gegenstand, insbesondere von der Decke 21 des Untersuchungsraums haben. Alternatively, as shown in Fig. 3, the individual distance measurements dO, d 2 ', d n ' in the creation of the height profile as those distances are given, the determined points P on the surface of the person 1 of another object, in particular from the ceiling 21 of the examination room.
Ebenso besteht die Möglichkeit, wie in Fig. 4 dargestellt, für die einzelnen Punkte eine interpolierende Kurve zu finden, die als Höhenprofil H herangezogen wird. Ebenso kann diese interpolierende Kurve an einer Vielzahl dreidimensionalen Punkten, ausgewertet werden, sodass für eine Anzahl von rasterförmig angeordneten x- und y- Koordinatenwerten jeweils ein z-Koordinatenwert zur Verfügung gestellt wird, der ebenfalls auf der Kurve liegt. It is also possible, as shown in FIG. 4, to find an interpolating curve for the individual points, which is used as the height profile H. Likewise, this interpolating curve can be evaluated at a multiplicity of three-dimensional points, so that a number of grid-shaped x- and y- Coordinate values each a z-coordinate value is provided, which is also on the curve.
Für einzelne Aufnahmezeitpunkte wird dabei jeweils ein separates Höhenprofil H ermittelt und in einer Datenstruktur abgespeichert. Dieses Höhenprofil H, das schematisch in Fig. 4 dargestellt ist, weist für eine Anzahl von rasterförmig bzw bildförmig angeordneten Elementen bzw Pixeln jeweils einen Abstandsmesswert d1 ; ..., dn auf, wobei die Abstandsmesswerte wie vorstehend beschrieben festgelegt werden können. Wie in Fig. 5 dargestellt, wird innerhalb des Höhenprofils eine interessierende Region ROM ausgewählt, in der sich üblicherweise diejenigen Partien der Person 1 finden, deren Bewegung überwacht werden soll. Da im vorliegenden Fall die Bewegungen der Beine der Person 1 überwacht werden sollen, ist die interessierende Region im unteren Abschnitt des Höhenprofils angeordnet. Sollen hingegen andere Körperregionen bzw. andere Regionen innerhalb des Höhenprofils H überwacht werden, kann eine entsprechende andere Auswahl des Höhenprofils vorgenommen werden. In each case, a separate height profile H is determined for individual recording times and stored in a data structure. This height profile H, which is shown schematically in FIG. 4, has in each case a distance measurement value d 1 for a number of grid-shaped or image-wise arranged elements or pixels ; ..., d n , wherein the distance measurement values can be determined as described above. As shown in Fig. 5, within the height profile, a region of interest ROM is selected, in which usually those parts of the person 1 whose movement is to be monitored are found. Since in the present case the movements of the legs of the person 1 are to be monitored, the region of interest is arranged in the lower part of the height profile. If, on the other hand, other body regions or other regions within the height profile H are to be monitored, a corresponding other selection of the height profile can be made.
Grundsätzlich kann aber die Auswahl der interessierenden Region ROM manuell festgelegt werden und diejenigen Körperregionen beinhalten, deren Bewegungen konkret überwacht werden sollen. In principle, however, the selection of the region of interest ROM can be determined manually and include those body regions whose movements are to be monitored concretely.
Wird zu jedem der Aufnahmezeitpunkte jeweils ein Höhenprofil H ermittelt, so steht für jeden einzelnen der Aufnahmezeitpunkte ti, ..., tp jeweils eine Datenstruktur zur Verfügung, die das jeweilige Höhenprofil H enthält. Sämtliche so erstellte Datenstrukturen weisen untereinander jeweils die selbe Größe auf und weisen Speicherpositionen für die einzelnen ermittelten Abstandsmesswerte d1 ; ..., dn des Höhenprofils auf. Is calculated at each of the receiving timings, respectively, a height profile H, as it is for each of the recording times ti, ..., t p in each case a data structure is available, which contains the respective height profile H. All data structures created in this way have the same size among each other and have storage positions for the individual distance measurement values d 1 determined; ..., d n of the height profile.
Besonders einfach kann die Erstellung des Höhenprofils erfolgen, wenn die einzelnen von der Detektoreinheit ausgehenden Strahlen S rasterförmig angeordnet sind und jeder der Abstandsmesswerte in einer Matrixdaten Struktur eingetragen wird, die das Raster der einzelnen Strahlen S wiedergibt bzw. eine Struktur aufweist, die der Struktur des Rasters der einzelnen Strahlen S entspricht. Enthält das Raster beispielsweise 300x300 Strahlen, so umfasst die Matrixdatenstruktur 300x300 Einträge, die bei Betrachtung des Inhalts der Matrixdatenstruktur als Bild auch als Pixel bezeichnet werden können. The creation of the height profile can be carried out in a particularly simple manner if the individual beams S emanating from the detector unit are arranged in a grid pattern and each of the distance measured values is entered in a matrix data structure which represents the grid of the individual beams S or has a structure which corresponds to the structure of FIG Rasters of the individual rays S corresponds. For example, if the raster contains 300x300 beams, the matrix data structure will include 300x300 entries, which may also be referred to as pixels when viewing the contents of the matrix data structure.
Zu jedem der Aufnahmezeitpunkte ti, ..., tp wird dabei jeweils eine separate Matrixdatenstruktur erstellt, indem die an den jeweiligen Positionen aufgenommenen Abstandsmesswerte di, dn an die den Positionen im Raster entsprechenden Speicherpositionen in der Matrixdatenstruktur abgespeichert und zur Verfügung gehalten werden. Diejenigen Speicherpositionen der Datenstruktur, in denen Abstandsmesswerte di, dn abgespeichert sind, die sich in der interessierenden Region des Höhenprofils befinden werden analog auch als interessierende Region ROM der Datenstruktur bezeichnet. To each of the recording times ti, ..., t p is thereby created in each case a separate matrix data structure by the recorded at the respective positions Distance measurement values di, d n are stored at the positions corresponding to the positions in the grid memory positions in the matrix data structure and kept available. Those memory locations of the data structure in which distance measurements di, d n stored in the region of interest of the altitude profile are analogously also referred to as region of interest ROM of the data structure.
Auf diese Weise ist es möglich für eine Vielzahl von Zeitpunkten einzelne Höhenprofile der schlafenden Person bzw. der Oberfläche der schlafenden Person 1 oder der sie abdeckenden Decke 1 1 oder des neben ihr befindlichen Betts 10 zu erstellten. Damit liegt eine Datenstruktur vor, aus der die wesentlichen Bewegungen der schlafenden Person 1 entnommen werden können. In dem hier dargestellten Aufnahmeschritt a) folgenden ersten Verabreitungsschritt b) werden Zeitabschnitte Z1 ; ..., Z3 von Änderungen des Höhenprofils H innerhalb der ersten interessierenden Region erfasst, in denen das Maß für die zeitliche Änderung des Höhenprofils H einen vorgegebenen ersten Schwellenwert übersteigt. Weiters werden die die zwischen diesen Zeitabschnitten Z1 ; ..., Z3 liegenden zeitlichen Zwischenräume L1 ; L2, ... ermittelt. In this way, it is possible for a variety of times individual height profiles of the sleeping person or the surface of the sleeping person 1 or the cover covering it 1 1 or 10 located next to her Bed created. This is a data structure from which the essential movements of the sleeping person 1 can be removed. In the recording step a) following the first step of the procedure b), time intervals Z 1; ..., Z 3 is detected by changes in the height profile H within the first region of interest in which the measure of the temporal change of the height profile H exceeds a predetermined first threshold value. Furthermore, those between these time periods Z 1; ..., Z 3 lying time intervals L 1; L 2 , ... determined.
Die Festlegung und Bestimmung des Maßes für die zeitliche Änderung des Höhenprofils H kann dabei auf unterschiedliche Art und Weise erfolgen. Eine besonders einfache Variante sieht in diesem Zusammenhang vor, dass für einzelne Zeitpunkte, insbesondere für alle Zeitpunkte t1 ; ..., tp, jeweils eine Bewegungskarte MM1 erstellt wird, in dem für jeden Abstandsmesswert d1 ; ..., dn bzw. jeden Sehstrahl S oder jeden Eintrag k(x, y, t) der Matrixdatenstruktur elementweise bzw pixelweise ein lokaler Änderungsmaßwert mm(x, y, t) für die zeitliche Änderung des jeweiligen Abstandsmesswerts d1 ; ..., dn oder des in der jeweiligen Datenstruktur eingetragenen Eintrags k(x, y, t) ermittelt wird. The definition and determination of the measure of the temporal change of the height profile H can be done in different ways. A particularly simple variant provides in this context that for individual times, in particular for all times t 1; ..., t p , respectively a motion map MM1 is created, in which for each distance measurement d 1; ..., d n or each visual ray S or each entry k (x, y, t) of the matrix data structure elementwise or pixelwise a local change value mm (x, y, t) for the temporal change of the respective distance measurement d 1; ..., d n or of the entry k (x, y, t) entered in the respective data structure.
Nachdem eine erste Bewegungskarte MM1 auf diese Weise für eine Anzahl von Zeitpunkten t1 ; ..., tp erstellt wurde, kann für jeden einzelnen Zeitpunkt t1 ; ..., tp jeweils ein Bewegungswert ermittelt werden, der durch Akkumulation über die erhaltenen lokalen Änderungsmaßwerte mm(x, y, t) der Bewegungskarte MM1 innerhalb der interessierenden Region ROM ermittelt wird. Bei der Bestimmung eines akkumulierten Bewegungswerts für einen bestimmten Zeitpunkt, der in die zeitliche Bewegungsfunktion g(t) eingetragen wird, können grundsätzlich sämtliche zur Verfügung stehenden bzw. auf unterschiedliche Art gebildeten lokalen Änderungsmaßwerte mm(x, y, t) herangezogen werden. Insbesondere ist es auch möglich, dass die einzelnen lokalen Änderungsmaßwerte mm(x, y, t) der Bewegungskarte MM1 innerhalb der interessierenden Region ROM pixelweise ermittelt werden, wobei einzelne demselben Pixel oder Element der Datenstruktur zugeordneten Einträge k(x, y, t) oder Änderungsmaßwerte, die sich innerhalb eines vorgegebenen Zeitintervalls rund um den jeweiligen Zeitpunkt t1 ; ..., tp befinden, gewichtet addiert werden. So besteht beispielsweise die Möglichkeit, dass zur Bestimmung eines lokalen Änderungsmaßwerts mm(x, y, t) in einem vorgegebenen Pixel oder Eintrag an der Rasterposition x, y der interessierenden Region ROM bestimmt wird, in dem die betreffenden zuletzt aufgenommenen Abstandsmesswerte oder Einträge k(x, y, t) gewichtet addiert werden, wobei die einzelnen Gewichte auf unterschiedliche Weise festgelegt werden können. After a first motion map MM1 in this way for a number of times t 1; ..., t p has been created, for each individual time t 1; ..., t p are determined in each case a movement value, which is determined by accumulation over the obtained local change measures mm (x, y, t) of the movement map MM1 within the region of interest ROM. In the determination of an accumulated movement value for a specific time, which is entered into the temporal movement function g (t), it is possible in principle to use all the local change measures mm (x, y, t) formed or formed in different ways. In particular, it is also possible for the individual local change measures mm (x, y, t) of the movement map MM1 within the region of interest ROM to be determined pixel-by-pixel, with individual entries k (x, y, t) or k associated with the same pixel or element of the data structure Change measures that occur within a predetermined time interval around the respective time t 1; ..., t p are to be added weighted. For example, there is the possibility that to determine a local change measure mm (x, y, t) in a given pixel or entry at the raster position x, y of the region of interest ROM is determined, in which the respective last recorded distance measurement values or entries k ( x, y, t) are added weighted, the individual weights can be set in different ways.
Im einfachsten Fall kann die zeitliche Änderung beispielsweise durch Subtraktion der beiden Abstandsmesswerte oder Einträge k(x, y, t); k(x, y, t-1 ) ermittelt werden, die and derselben Position in unmittelbar aufeinander folgenden Zeitpunkten ermittelt wurden. Gegebenenfalls kann, sofern die Art der Bewegung keine Rolle spielt, auch der Betrag der Differenz der beiden Einträge k(x, y, t); k(x, y, t-1 ) oder Abstandsmesswerte als lokaler Änderungsmaßwert mm(x, y, t) für den betreffenden Eintrag oder das betreffenden betreffende Pixel an der Position x, y zum Zeitpunkt t herangezogen werden. In the simplest case, the temporal change can be achieved, for example, by subtracting the two distance measurement values or entries k (x, y, t); k (x, y, t-1), which were determined at the same position in immediately successive time points. If necessary, the amount of difference between the two entries k (x, y, t) can, if the nature of the movement plays no role; k (x, y, t-1) or distance measurement values are used as the local change m value mm (x, y, t) for the entry or pixel in question at position x, y at time t.
Ebenso ist es auch möglich, für die Bestimmung des Änderungsmaßwerts mm(x, y, t) eine Anzahl Einträgen k(x, y, t), die jeweils innerhalb eines Zeitintervalls vor dem jeweiligenLikewise, it is also possible for the determination of the change measure mm (x, y, t) a number of entries k (x, y, t), each within a time interval before the respective
Zeitpunkt t im selben Pixel an der Position x, y, aufgenommen wurden, herangezogen wird und von diesen Einträgen k(x, y, t) ein Mittelwert km^x, y, t) oder die, gegebenenfalls gewichtete, Summe km^x, y, t) ermittelt wird. Ebenso wird eine Anzahl Einträgen k(x, y, t), die jeweils innerhalb eines Zeitintervalls nach dem jeweiligen Zeitpunkt t im selben Pixel an der Position x, y, aufgenommen wurden, herangezogen und von diesenTime t in the same pixel at the position x, y, is taken, and of these entries k (x, y, t) an average km ^ x, y, t) or, optionally weighted, sum km ^ x, y, t) is determined. Likewise, a number of entries k (x, y, t), which were respectively recorded within a time interval after the respective time t in the same pixel at the position x, y, are used and of these
Einträgen k(x, y, t) ein Mittelwert km2(x, y, t) oder die, gegebenenfalls gewichtete, Summe km2(x, y, t) ermittelt. Anschließend wird der Änderungswert durch Bildung der Differenz der beiden so erstellten Mittelwerte oder Summen km^x, y, t); km2(x, y, t) gebildet und als Änderungsmaßwert mm(x, y, t) herangezogen. Entries k (x, y, t) an average km 2 (x, y, t) or, optionally weighted, sum km 2 (x, y, t) determined. Then, the change value is calculated by taking the difference between the two mean values or sums km ^ x, y, t); km 2 (x, y, t) formed and used as a change measure mm (x, y, t).
Eine besonders einfache Möglichkeit zur Bestimmung eines akkumulierten gesamten Maßes für die zeitliche Änderung des Höhenprofils H zu einem Zeitpunkt ti, ..., tp für die interessierende Region ROM kann beispielsweise durch Summation oder Addition sämtlicher lokalen Änderungsmaßwerte mm(x, y, t) erfolgen, die zu einem Zeitpunkt bzw. in einer Bewegungskarte MM1 (t) enthalten sind. Daneben können auch andere Vorgehensweisen zur Akkumulation gewählt werden, insbesondere kann vor der Summation eine Funktion h auf die einzelnen Werte der Bewegungskarte MM1 (t) angewendet werden. A particularly simple way of determining an accumulated total measure of the temporal change of the height profile H at a time ti, ..., t p for the region of interest ROM can be done, for example, by summation or addition of all local change measures mm (x, y, t) contained at one time or in a movement map MM1 (t). In addition, other approaches to accumulation can be selected, in particular, a function h can be applied to the individual values of the motion map MM1 (t) before the summation.
Diese Funktion h(x) kann unterschiedlich ausgestaltet sein. Im vorliegenden Fall empfehlen sich insbesondere Funktionen, die einen Schwellenwertvergleich enthalten und dem jeweiligen Bewegungswert mit einem vorgegebenen Schwellenwert TH! vergleichen. Die betreffende Funktion h(x) kann im Falle des Unterschreitens dieses Schwellenwerts TH! einen Nullwert zurückliefern, der zur Akkumulation keinen Beitrag leistet, insbesondere den Wert 0. Sofern jedoch der Schwellenwert TH! überschritten ist, kann die Funktion h(x) unterschiedliche Werte zurückliefern, insbesondere kann die Funktion einen vorgegebenen konstanten Wert, beispielsweise 1 , zurückliefern, der zur Akkumulation beiträgt und nicht dem Nullwert entspricht. Unter Anwendung einer Addition für wird ein Funktionswert für die zeitliche Bewegungsfunktion g(t) erhalten, der der Anzahl derjenigen Pixel oder Einträge entspricht, in denen jeweils eine Schwellenwertüberschreitung festgestellt wurde. This function h (x) can be configured differently. In the present case, in particular functions that contain a threshold value comparison and the respective movement value with a predetermined threshold TH ! to compare. The relevant function h (x) can, in the case of falling below this threshold TH ! return a zero value which does not contribute to the accumulation, in particular the value 0. However, if the threshold value TH ! is exceeded, the function h (x) can return different values, in particular the function can return a predetermined constant value, for example 1, which contributes to the accumulation and does not correspond to the zero value. Using an addition for, a function value for the temporal motion function g (t) is obtained, which corresponds to the number of pixels or entries in each of which a threshold value was exceeded.
Daneben bestehen auch noch andere Möglichkeiten zur Festlegung der Funktion h(x), beispielsweise kann für den Fall der Überschreitung des Schwellenwerts TH-i durch das Argument von der Funktion h(x) auch das Argument, dh im konkreten Fall der jeweilige Wert der Bewegungskarte MM1 zurückgeliefert werden, sodass die Funktion h beispielsweise die folgende Form hat: h(x) = {Wenn x<TFI1 Dann 0, sonst x} In addition, there are other possibilities for determining the function h (x), for example, in the case of exceeding the threshold TH-i by the argument of the function h (x) and the argument, ie in each case the respective value of the motion map MM1, so that the function h has the following form, for example: h (x) = {If x <TFI 1 Then 0, otherwise x}
Darüber hinaus kann die Funktion h(x) auch derart festgelegt werden, dass sie im Falle der Überschreitung des Schwellenwerts TH! nicht das Argument x selbst, sondern das Ausmaß der Überschreitung des Schwellenwerts TH! durch das Argument x bzw. durch den jeweiligen Wert der Bewegungskarte MM1 zurückliefert: h(x) = {Wenn x<TFI1 Dann 0, sonst x-TPh} In addition, the function h (x) can also be set so that in case of exceeding the threshold TH ! not the argument x itself, but the extent of exceeding the threshold TH ! by the argument x or by the respective value of the motion map MM1: h (x) = {If x <TFI 1 Then 0, otherwise x-TPh}
Ein Beispiel für den Verlauf des akkumulierten Änderungswerts bzw für eine Bewegungsfunktion g(t) ist in Fig. 6 dargestellt. Fig. 6 zeigt ferner die Ermittlung von Zeitabschnitten, in denen Körperbewegungen auftreten. Grundsätzlich kann zur Detektion von Zeitabschnitten Z1 ; Z2, Z3 mit starken bzw. einen Schwellenwert übersteigenden Änderungen ein Vergleich der zeitlichen Bewegungsfunktion g(t) mit einem vorgegebenen Schwellenwert THZ erfolgen. Überschreitet die Bewegungsfunktion g(t) den betreffenden Schwellenwert THZ, so wird derjenige Zeitabschnitt, in dem die Bewegungsfunktion g(t) den betreffenden Schwellenwert THZ überschreitet, als Zeitabschnitt Z1 ; Z2, Z3 von signifikanten Änderungen des Höhenprofils H bzw. von Bewegungen der Person 1 identifiziert und als solcher zur Verfügung gehalten. Alternativ besteht auch die Möglichkeit, dass nicht das konkrete Ausmaß der zeitlichen Bewegungsfunktion g(t), sondern das Vorkommen bestimmter Muster in der zeitlichen Bewegungsfunktion g(t) als ausschlaggebend für das Vorliegen von relevanten Bewegungen der Person 1 angesehen wird. In diesem Fall können unterschiedliche Mustervergleiche vorgenommen werden und Zeitabschnitte Z Z2, Z3, in denen die zeitliche Bewegungsfunktion g(t) dem jeweiligen vorgegebenen Muster entspricht, als Zeitabschnitte Z1 ; Z2, Z3 mit signifikanten Änderungen oder Bewegungen der Person 1 erkannt werden. An example for the course of the accumulated change value or for a motion function g (t) is shown in FIG. 6. FIG. 6 also shows the determination of Periods in which body movements occur. In principle, for the detection of time sections Z 1; Z 2 , Z 3 with strong or a threshold exceeding changes, a comparison of the temporal motion function g (t) with a predetermined threshold TH Z done. Exceeds the motion function g (t) the respective threshold value TH Z, then one time section in which the motion function (t) the respective threshold value TH Z exceeds g, as a period of time Z 1; Z 2 , Z 3 identified by significant changes in the height profile H or movements of the person 1 and kept available as such. Alternatively, there is also the possibility that not the specific extent of the temporal movement function g (t), but the occurrence of certain patterns in the temporal motion function g (t) is considered to be decisive for the presence of relevant movements of the person 1. In this case, different pattern comparisons can be made and time periods ZZ 2 , Z 3 , in which the temporal motion function g (t) corresponds to the respective predetermined pattern, as time sections Z 1; Z 2 , Z 3 are detected with significant changes or movements of the person 1.
Im vorstehend dargestellten ersten Verarbeitungsschritt b) wurden einzelne Zeitabschnitte identifiziert, in denen sich jedenfalls Bewegungen bzw. Änderungen im Höhenprofil für die betreffende Person 1 befinden. Im Folgenden wird nunmehr dargestellt, wie sich in den Zeitbereichen, die zwischen den Zeitabschnitten Z1 ; Z2, Z3 liegen, weitere, ebenso relevante, Bewegungen der Person 1 identifizieren lassen. Dabei ist insbesondere zu beachten, dass ein weiteres Absenken des Schwellenwerts THZ möglicherweise zur Folge hat, dass aufgrund eines erhöhten Rauschens der Aufnahmeeinheit 2 die Absenkung des Schwellenwerts THZ zu einer Vielzahl von Messergebnissen führt, die keine einen Schwellenwert überschreitende Bewegungen der Person 1 darstellen, sondern lediglich durch das notwendigerweise vorhandene Sensorrauschen der Bildaufnahmeeinheit 2 bedingt sind. In the above-described first processing step b), individual time segments were identified in which, at any rate, movements or changes in the height profile are located for the relevant person 1. In the following it will now be shown how in the time ranges between the time periods Z 1; Z 2 , Z 3 are, to identify further, equally relevant, movements of the person 1. It should be noted in particular that a further lowering of the threshold value TH Z may have the consequence that due to increased noise of the recording unit 2, the lowering of the threshold value TH Z leads to a multiplicity of measurement results, which do not represent a threshold-exceeding movements of the person 1 , but only due to the necessarily existing sensor noise of the image pickup unit 2.
Um diese rauschbedingten Artefakte zu vermeiden, wird in einem folgenden Schritt c) in den zeitlichen Zwischenräumen L1 ; L2, L3 zwischen den Zeitabschnitten Z Z2, Z3 pixelweise ein Rauschwert r(x, y; L^; r(x, y; L2); r(x, y; L3) des Höhenprofils H ermittelt. Diese pixelweise Ermittlung des Rauschwerts r(x, y, L) erfolgt nicht zu jedem einzelnen Zeitpunkt separat, sondern jeweils für einen gesamten zeitlichen Zwischenraum L1 ; L2, L3. Insgesamt steht nach dieser Kalibrierung für eine zweite interessierende Region R0I2, die insbesondere der ersten interessierenden Region ROH entsprechen kann, jedoch auch größer ausgebildet sein als die erste interessierende Region oder die erste interessierende Region erhalten kann, eine Anzahl von Rauschwerten r(x, y; in Form einer Rauschkarte RM^) zur Verfügung. Die Rauschwerte r(x, y; der Rauschkarte Rauschkarte RM^) können beispielsweise der für jedes Pixel oder für jeden Eintrag ab den einzelnen Positionen jeweils separat bestimmten Standardabweichung des jeweiligen Abstandsmesswerts oder der Einträge k(x, y, t) innerhalb des jeweiligen zeitlichen Zwischenraums entsprechen. Für jeden zeitlichen Zwischenraum L1 ; L2, L3 steht jeweils separat eine Rauschkarte RM^), RM(L2), RM(L2) zur Verfügung. In order to avoid these noise-induced artifacts, in a subsequent step c) in the time intervals L 1; L 2 , L 3 a pixel-wise noise value r (x, y; L 2 ; r (x, y; L 2 ); r (x, y; L 3 ) of the height profile H is determined between the time intervals ZZ 2 , Z 3 Pixel-wise determination of the noise value r (x, y, L) does not take place separately at each individual time, but in each case for an entire time interval L 1, L 2 , L 3 . Overall, after this calibration, a second region of interest R0I2 which may correspond in particular to the first region of interest ROH, but which may be made larger than the first region of interest or the first region of interest, has a number of noise values r (x, y; in the form of a noise card RM ^) available. The noise values r (x, y; the noise card noise card RM ^), for example, for each pixel or for each entry from the individual positions respectively separately determined standard deviation of the respective distance measurement value or the entries k (x, y, t) within the respective time interval correspond. For each time interval L 1; L 2 , L 3 is each separately a noise card RM ^), RM (L 2 ), RM (L 2 ) available.
Ebenso kann für jedes der Pixel innerhalb des zeitlichen Zwischenraums L1 ; L2, L3 für einzelne im jeweiligen Zwischenraum L1 ; L2, L3 liegende, überappende oder aneinander anschließende, Zeitintervalle jeweils die Standardabweichung der Abstandsmesswerte (d1 ; ..., dn) oder der Einträge der Datenstruktur ermittelt werden. Der Mittelwert sämtlicher innerhalb des Zwischenraums L1 ; L2, L3 derart ermittelten Standardabweichungen wird ermittelt und als Wert r(x, y, L) der Rauschkarte RM für das jeweilige Pixel herangezogen wird. Nachdem eine Rauschkarte im Verarbeitungsschritt c) ermittelt wurde, werden in einem weiteren Verarbeitungsschritt d) die ermittelten Abstandsmesswerte k(x, y, t) in den einzelnen zeitlichen Zwischenräumen L1 ; L2, L3 mit einem Gewichtungswert gewichtet, der zu dem für das jeweilige Pixel bzw die jeweilige Position x, y, in der Rauschkarte RM^), RM(L2), RM(L2) ermittelten Rauschwert r(x, y; L^; r(x, y; L2); r(x, y; L3) indirekt proportional ist und derart jeweils für jedes Pixel bzw jeden Eintrag der Datenstruktur jeweils ein normalisierter Abstandsmesswert e(x, y, t) erstellt. Im einfachsten Fall wird der jeweilige normalisierter Abstandsmesswert e(x, y, t) durch Division des jeweiligen Abstandsmesswerts e(x, y, t) durch den für den jeweiligen Zwischenraum und die jeweilige Position ermittelten Rauschwert r(x, y; ermittelt. Similarly, for each of the pixels within the time interval L 1; L 2 , L 3 for individual in the respective intermediate space L 1; L 2 , L 3 lying, overlapping or adjoining, time intervals in each case the standard deviation of the distance measured values (d 1, ..., d n ) or the entries of the data structure are determined. The mean value of all within the gap L 1; L 2 , L 3 thus determined standard deviations is determined and used as the value r (x, y, L) of the noise card RM for each pixel. After a noise map has been determined in processing step c), in a further processing step d) the determined distance measurement values k (x, y, t) in the individual time intervals L 1; L 2 , L 3 are weighted with a weighting value which corresponds to the noise value r (x, y) determined for the respective pixel or the respective position x, y, in the noise card RM 1), RM (L 2 ), RM (L 2 ) ; L (x, y; L 2 ); r (x, y; L 3 ) is indirectly proportional and in each case produces a normalized distance measurement e (x, y, t) for each pixel or entry of the data structure In the simplest case, the respective normalized distance measurement value e (x, y, t) is calculated by dividing the respective distance measurement value e (x, y, t) by the noise value r (x, y; determined.
Anschließend wird jeweils für einzelne Zeitpunkte t innerhalb der zeitlichen Zwischenräume L1 ; L2, L3 jeweils eine weitere Bewegungskarte MM2(t) durch pixelweise Bildung eines weiteren lokalen Änderungsmaßwertes mm2(x, y, t) durch Ermittlung der zeitlichen Änderung des jeweiligen normalisierten Abstandsmesswertes e(x, y, t) erstellt. Die Bestimmung der weiteren Bewegungskarte wird für die einzelnen Pixel oder Einträge der zweiten interessierenden Region ROI2 erstellt. In weiterer Folge wird eine der zeitlichen Bewegungsfunktion g(t) entsprechende weitere zeitliche Bewegungsfunktion g'(t) erstellt, die jedoch nicht auf Grundlage Bewegungskarte MM1 , sondern auf Grundlage der weiteren Bewegungskarte MM2 erstellt wird. Dabei werden jedoch dieselben Grundsätze verwendet, die auch bei der Erstellung der zeitlichen Bewegungsfunktion g(t) herangezogen wurden, Subsequently, in each case for individual times t within the time intervals L 1; L 2 , L 3 each create a further movement map MM2 (t) by pixel-wise formation of a further local change measure mm 2 (x, y, t) by determining the temporal change of the respective normalized distance measurement value e (x, y, t). The determination of the further motion map is made for the individual pixels or entries of the second region of interest ROI2. Subsequently, a temporal movement function g '(t) corresponding to the temporal movement function g (t) is created, which is however not created on the basis of the movement map MM1 but on the basis of the further movement map MM2. However, the same principles are used as were used in the creation of the temporal motion function g (t),
Wiederum können dabei die einzelnen weiteren lokalen Änderungsmaßwerte mm2(x, y, t) der weiteren Bewegungskarte MM2 innerhalb der interessierenden Region ROI2 akkumuliert werden und ein derart erhaltener Akkumulationswert einer weiteren zeitlichen Bewegungsfunktion g'(t) zugewiesen werden. Die vorstehend zur Erstellung der zeitlichen Bewegungsfunktion herangezogene Funktion h(x) kann auch zur Gewichtung der einzelnen weiteren lokalen Änderungsmaßwerte mm2(x, y, t) herangezogen werden, wobei jedoch anstelle des Schwellenwerts TH! auch ein anderer Schwellenwert TH2 herangezogen werden kann. Again, the individual further local change measures mm 2 (x, y, t) of the further movement map MM2 within the region of interest ROI2 can be accumulated and an accumulation value obtained in this way can be assigned to a further temporal motion function g '(t). The function h (x) used above to generate the temporal movement function can also be used to weight the individual further local change measures mm 2 (x, y, t), but instead of the threshold TH ! Another threshold TH 2 can be used.
In weiterer Folge ist es möglich, durch eine Analyse der weiteren Bewegungsfunktion g'(t) durch Schwellenwertvergleich mit einem Schwellenwert THY oder durch Mustervergleich weitere Zeitabschnitte von Y1 ; Y2, Y3 von Änderungen des Höhenprofils Fl zu identifizieren, die von Körperbewegungen der Person 1 herrühren. Subsequently, it is possible, by an analysis of the further motion function g '(t) by threshold value comparison with a threshold value TH Y or by pattern comparison, further time intervals of Y 1; Y 2 , Y 3 to identify changes in the height profile Fl, resulting from body movements of the person 1.
Grundsätzlich können die in den Zeitabschnitten Z1 ; Z2, Z3 wie auch die in den weiteren Zeitabschnitten Y1 ; Y2, Y3 ermittelten Bewegungen als Körperbewegungen der betreffenden Person 1 identifiziert werden. Basically, in the time periods Z 1; Z 2 , Z 3 as well as in the other periods Y 1; Y 2 , Y 3 movements are identified as body movements of the person concerned 1.
Die konkrete Auswahl der interessierenden Regionen ROH , ROI2 kann, wie bereits erwähnt, grundsätzlich auf unterschiedliche Art und Weise erfolgen, insbesondere kann die betreffende Region ROH , ROI2 dadurch ausgewählt werden, dass eine interessierende Region ROH , ROI2 innerhalb des Betts ausgewählt wird, an der sich üblicherweise bei normaler Schlafposition die interessierenden Körperpartien befinden. The concrete selection of the regions of interest ROH, ROI2 can, as already mentioned, in principle be carried out in different ways, in particular the region ROH, ROI2 concerned can be selected by selecting a region of interest ROH, ROI2 within the bed on which Usually at normal sleep position, the body parts of interest are located.
Bevorzugt kann die zweite interessierende Region ROI2 auch größer ausgebildet sein als die erste interessierende Region ROH oder die erste interessierende Region ROH erhalten. Dies hat den Vorteil, dass in einem solchen Fall die erste Region auf Sensoren oder Abstandswerte beschränkt sein kann, deren Rauschen üblicherweise gering ist, was insbesondere bei den Abstandssensoren in der Mitte des Abbildungsbereichs der Bildaufnahmeeinheit 2 der Fall ist. In den Randbereichen, in denen das Sensorrauschen höher sein kann, besteht hingegen die Gefahr, dass durch Rauschen verursachte Schwellenwertüberschreitungen zu einem Überschätzen der Bewegungen führen bzw die ermittelten Ergebnisse Artefakte enthalten können, die auf das Sensorrauschen und nicht auf Körperbewegungen zurückzuführen sind. Nachdem in den Verarbeitungsschritten c) und d) jedoch normalisierte, dh rauschbereinigte Messwerte vorliegen können auch Sensormesswerte für die weitere Verarbeitung herangezogen werden, die insgesamt einen höheren Rauschanteil aufweisen. Preferably, the second region of interest ROI2 can also be made larger than the first region of interest ROH or the first region of interest ROH. This has the advantage that in such a case the first region may be limited to sensors or distance values whose noise is usually low, which is the case in particular in the case of the distance sensors in the middle of the imaging region of the image recording unit 2. In the peripheral areas where the sensor noise On the other hand, there may be a risk that threshold crossings caused by noise will cause the movements to be overestimated, or that the results obtained may include artifacts due to sensor noise rather than body movement. However, after normalized, ie noise-corrected measured values are present in the processing steps c) and d), sensor measured values can also be used for the further processing, which overall have a higher noise component.
Eine weitere besonders bevorzugte alternative Festlegung der interessierenden Regionen, mit der insbesondere Kopfbewegungen detektiert werden können, sieht vor, dass in jedem Höhenprofil H pixelweise mittels des Körpermodells und eines Objektklassifikationsalgorithmus nach einem Bereich gesucht wird, der dem Kopf der Person entspricht und derart die Lage des Körpers der Person 1 in der jeweilige Aufnahme bestimmt wird. Ausgehend von der so ermittelten Lage des Körpers können die Bereiche, in denen sich die betreffenden Körperregionen befinden, als interesserdende Region ROM oder Regionen ROI1 a, ROI1 b, ... festgelegt werden. Another particularly preferred alternative determination of the regions of interest, with which head movements can be detected in particular, provides that in each height profile H pixel-by-pixel is sought by means of the body model and an object classification algorithm for an area corresponding to the head of the person and thus the position of the person Body of the person 1 is determined in the respective recording. Based on the position of the body thus determined, the areas in which the respective body regions are located can be defined as an interesting region ROM or regions ROI1 a, ROI1 b,.
Weiters kann alternativ auch in jeder Aufnahme der Person oder in einzelnen Aufnahmen der Person pixelweise mittels eines Körpermodells und eines Objektklassifikationsalgorithmus nach Bereichen gesucht werden, die vorgegebenen Körperteilen oder einer vorgegebenen Körperregion entsprechen. Diejenigen Bereiche, in denen sich die identifizierten Bereiche befinden, können anschließend als interessierende Regionen ROI1 a, ROI1 b, ..., ROI1d, festgelegt werden. Furthermore, as an alternative, in each shot of the person or in individual shots of the person pixel by pixel can be searched by means of a body model and an object classification algorithm for areas corresponding to predetermined body parts or a predetermined body region. The regions in which the identified regions are located can subsequently be defined as regions of interest ROI1a, ROI1b, ..., ROI1d.
Die Festlegung der weiteren interessierenden Region ROI2 kann wie vorstehend beschrieben auch dadurch erfolgen, dass die weitere interessierende Region ROI2 der jeweiligen interessierenden Region gleichgesetzt wird oder als diese enthaltend festgelegt wird. The determination of the further region of interest ROI2 can, as described above, also be carried out by equating or determining the further region of interest ROI2 of the respective region of interest as being determined.
In einer bevorzugten Ausführungsform der Erfindung, die in Fig. 7 dargestellt ist, wird das Höhenprofil H in eine Vielzahl von unterschiedlichen kachelförmigen Rasterelementen R unterteilt, wobei jedes Rasterelement R vorzugsweise rechteckig im Höhenprofil H ausgebildet ist und jeweils einer möglichen interessierenden Region ROI1 a, ROI1 b, ROI1 c, ROI1d entspricht. Für jedes einzelne interessierende Rasterelement R besteht die Möglichkeit, durch Anwendung des vorab dargestellten erfindungsgemäßen Verfahrens jeweils separat festzustellen, ob sich innerhalb des Rasterelements jeweils Körperbewegungen befinden, die insgesamt von Relevanz sind. In a preferred embodiment of the invention, which is shown in Fig. 7, the height profile H is divided into a plurality of different tile-like raster elements R, wherein each raster element R is preferably formed rectangular in the height profile H and each of a possible region of interest ROI1 a, ROI1 b, ROI1 c, ROI1d. For each individual raster element R of interest, it is possible to use the method according to the invention presented above each separately determine whether each body movements are within the grid element, which are of total relevance.
Sofern im Höhenprofil H an der betreffenden Rasterelement R Bewegungen detektiert worden sind, wird ein Körpermodell und ein Objektklassifikationsalgorithmus auf das betreffende Rasterelement angewendet und festgestellt, welcher Körperteil im betreffenden Rasterelement abgebildet ist. Anschließend wird dieser erkannte Körperteil als bewegt festgestellt. Auch wenn die einzelnen Aufnahmeschritte grundsätzlich hintereinander ausgeführt werden, besteht die Möglichkeit, parallel zur Aufnahme einzelner Höhenprofile H im Aufnahmeschritt a) auch bereits ermittelte Höhenprofile zu bearbeiten. Insbesondere ist es auch möglich, eine Verarbeitung der betreffenden Höhenprofile in Echtzeit bzw mit nur geringer zeitlicher Verzögerung vorzunehmen, insbesondere kann die alle Verarbeitungsschritte für den jeweils zuletzt aufgefundenen zeitlichen Zwischenraum L1 ; l_2, L3 durchzuführen, wenn der den jeweiligen Zwischenraum L1 ; L2, L3 beendende Zeitabschnitt Z1 ; Z2, Z3 von Änderungen jeweils erkannt wurde. In diesem Fall kann bereits der Rauschwert für den jeweiligen Zwischenraum L1 ; L2, L3 ermittelt und die Bestimmung der weiteren Zeitabschnitte Yi, Y2, Y3 vorgenommen werden. Dies hat insbesondere den wesentlichen Vorteil, dass der jeweilige die Person überwachende Arzt rasch über das Auftreten von Bewegungen während des Schlafs informiert werden kann bzw hier nur geringe Verzögerungszeiten zwischen dem Auftreten der Bewegung und der Information an den Arzt bestehen. If movements have been detected in the height profile H at the relevant raster element R, a body model and an object classification algorithm are applied to the raster element in question and it is ascertained which body part is imaged in the relevant raster element. Subsequently, this recognized body part is determined to be moved. Even if the individual recording steps are always carried out one behind the other, it is possible to process also already determined height profiles parallel to the recording of individual height profiles H in the receiving step a). In particular, it is also possible to perform a processing of the relevant altitude profiles in real time or with only a slight time delay, in particular, the all processing steps for each last found time interval L 1; l_2, L 3 to perform when the respective gap L 1; L 2 , L 3 terminating period Z 1; Z 2 , Z 3 was recognized by changes respectively. In this case, the noise value for the respective gap L 1; L 2 , L 3 determined and the determination of the other periods Yi, Y 2 , Y 3 are made. This in particular has the significant advantage that the respective physician monitoring the person can be informed quickly about the occurrence of movements during sleep or there are only slight delay times between the occurrence of the movement and the information to the doctor.

Claims

Patentansprüche: claims:
1. Verfahren zur Detektion von Körperbewegungen einer schlafenden Person (1 ), wobei laufend zu aufeinanderfolgenden Aufnahmezeitpunkten (ti, tp) mit einer auf die Person (1 ) gerichteten Bildaufnahmeeinheit dreidimensionale Aufnahmen der Person (1 ) erstellt und ermittelte Abstandsmesswerte (di, dn), insbesondere pixelweise, bereitgestellt werden, 1. A method for detecting body movements of a sleeping person (1), wherein continuously at successive recording times (ti, t p ) with an on the person (1) directed image recording unit three-dimensional images of the person (1) created and determined distance measurements (di, d n ), in particular on a pixel-by-pixel basis,
dadurch gekennzeichnet, dass characterized in that
a) ein zwei- oder dreidimensionales Höhenprofil (H) der Person (1 ) erstellt wird, a) a two- or three-dimensional height profile (H) of the person (1) is created,
- wobei im Höhenprofil (H) eine Anzahl von zumindest zwei Punkten im Raum festgelegt ist, die auf der Oberfläche der Person (1 ) oder auf der Oberfläche eines auf oder neben der Person (1 ) befindlichen Gegenstands liegen, und  - wherein in the height profile (H) a number of at least two points in the space is fixed, which lie on the surface of the person (1) or on the surface of an on or next to the person (1) located object, and
- wobei für jeden der Aufnahmezeitpunkte (t1 ; ..., tp) das jeweilige Höhenprofil (H) in einer Datenstruktur abgespeichert und zur Verfügung gehalten wird, wherein for each of the recording times (t 1, ..., t p ) the respective height profile (H) is stored in a data structure and kept available,
- wobei ein Bereich, der einen vorgegebenen Körperteil oder Körperbereich der where an area containing a predetermined body part or body area of the
Person (1 ) in Abhängigkeit von einem Referenzpunkt oder Referenzbereich (21 ) angibt, als erste interessierende Region (ROM ) ausgewählt wird, Indicates person (1) as a function of a reference point or reference region (21), is selected as the first region of interest (ROM),
b) Zeitabschnitte (Z1 ; Z2, Z3) von Änderungen des Höhenprofils (H) der ersten interessierenden Region (ROM ), deren Maß einen vorgegebenen ersten Schwellenwert (THZ) übersteigt, sowie zeitliche Zwischenräume (L1 ; L2, L3) zwischen diesen Zeitabschnitten (Z1 ; Z2, Z3) bestimmt werden, b) time segments (Z 1, Z 2 , Z 3 ) of changes in the height profile (H) of the first region of interest (ROM) whose dimension exceeds a predetermined first threshold value (TH Z ), and time intervals (L 1, L 2 , L 2 , L 3 ) between these time periods (Z 1, Z 2 , Z 3 ) are determined,
c) für jeden der zeitlichen Zwischenräume (L1 ; L2, L3) pixelweise ein Rauschwert (n(x,y)) des Höhenprofils (H) bestimmt wird, c) a noise value (n (x, y)) of the height profile (H) is determined pixel by pixel for each of the time intervals (L 1, L 2 , L 3 ),
d) weitere Zeitabschnitte (Yi, Y2, Y3) von Änderungen des Höhenprofils (H), deren Maß einen zweiten Schwellenwert (THY) übersteigt, in den zeitlichen Zwischenräumen (L1 ; L2,d) further time segments (Yi, Y 2 , Y 3 ) of changes in the height profile (H) whose dimension exceeds a second threshold value (TH Y ), in the time intervals (L 1, L 2 ,
L3) unter pixelweiser Berücksichtigung des jeweiligen Rauschwerts (n(x,y)) bestimmt werden, und L 3 ) are determined pixel by pixel considering the respective noise value (n (x, y)), and
e) jeweils die in den Schritten b) und d) identifizierten Zeitabschnitte (Z1 ; Z2, Z3) und weiteren Zeitabschnitte (Y1 ; Y2, Y3) von Änderungen des Höhenprofils (H) als Körperbewegungen der Person (1 ) registriert werden. e) in each case the time segments (Z 1, Z 2 , Z 3 ) identified in steps b) and d) and further time segments (Y 1, Y 2 , Y 3 ) of changes in the height profile (H) as body movements of the person (1 ).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in Schritt a) das Höhenprofil (H) eine Anzahl von zumindest zwei Abstandsmesswerten (d1 ; ..., dn) zur Festlegung jeweils eines Punktes (P) im Raum aufweist, wobei die einzelnen Abstandsmesswerte (di, ..., dn) jeweils den Abstand des Schnittpunktes eines relativ zu der die Abstandsmesswerte ermittelnden Detektoreinheit (2) vorab festgelegten, insbesondere von der Detektoreinheit ausgehenden, Strahls (S) mit der Oberfläche der Person (1 ) oder der Oberfläche eines auf der oder neben der Person (1 ) befindlichen Gegenstands von einem Referenzpunkt oder einer Referenzebene (21 ) angeben, b) wobei für jeden der Aufnahmezeitpunkte (ti, tp) jeweils eine Datenstruktur erstellt wird, die das jeweilige Höhenprofil (H) enthält, wobei sämtliche so erstellte Datenstrukturen jeweils dieselbe Größe aufweisen und jeweils mit Speicherpositionen für die einzelnen Abstandsmesswerte des Höhenprofils (H) aufweisen, 2. The method according to claim 1, characterized in that in step a) the height profile (H) has a number of at least two distance measurement values (d 1, ..., d n ) for defining a respective point (P) in space, wherein the individual distance measured values (di, ..., d n ) in each case the distance of the intersection of a beam (S), which is predetermined in advance relative to the detector unit (2) determining the distance measuring values, with the surface of the beam Specify a person (1) or the surface of an object on or next to the person (1) from a reference point or a reference plane (21), b) a data structure is created for each of the recording times (ti, tp ) contains the respective height profile (H), wherein all of the data structures thus created each have the same size and in each case have storage positions for the individual distance measurement values of the height profile (H),
3. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass 3. The method according to any one of the preceding claims, characterized in that
- das Höhenprofil (H) durch eine zweidimensionale Matrixdatenstruktur umfassend einethe height profile (H) through a two-dimensional matrix data structure comprising a
Anzahl von Zeilen und Spalten charakterisiert wird, Number of rows and columns is characterized
- eine Anzahl von in Zeilen und Spalten rasterförmig angeordneten Positionen vorgegeben wird, an denen jeweils die Abstandsmesswerte (d1 ; ..., dn) des Höhenprofils (H) bestimmt werden - Given a number of raster-shaped in rows and columns positions, at each of which the distance measurement values (d 1, ..., d n ) of the height profile (H) are determined
- die Matrixdatenstruktur ein Raster von derselben Größe und Struktur aufweist, undthe matrix data structure has a grid of the same size and structure, and
- die Matrixdatenstruktur erstellt wird, indem die an den jeweiligen Positionen aufgenommenen Abstandsmesswerte (di, ..., dn) an den den Positionen im Raster entsprechenden Speicherpositionen in der Matrixdatenstruktur abgespeichert und zur Verfügung gehalten werden. - The matrix data structure is created by the stored at the respective positions distance measurement values (di, ..., d n ) stored at the positions corresponding to the grid positions in the matrix data structure and kept available.
- wobei eine Anzahl von Speicherpositionen der Datenstruktur, in denenwhere a number of memory locations of the data structure in which
Abstandsmesswerte (di, ..., dn) abgespeichert sind, die den Abstand eines vorgegebenen Körperteils oder Körperbereichs der Person (1 ) in Abhängigkeit vom jeweiligen Referenzpunkt oder Referenzbereich (21 ) angeben, als eine erste interessierende Region (ROH ) im Höhenprofil (H) festgelegt wird, Distance measurement values (di, ..., d n ) are stored, which indicate the distance of a predetermined body part or body region of the person (1) as a function of the respective reference point or reference region (21), as a first region of interest (ROH) in the height profile ( H),
4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in Schritt b) jeweils für einzelne Zeitpunkte jeweils eine Bewegungskarte (MM1 ) durch elementweise oder pixelweise Bildung eines lokalen zeitlichen Änderungsmaßwerts als Maßwert für die Änderung der einzelnen Abstandsmesswerte (d1 ; ..., dn) der Punkte des Höhenprofils (H) in der ersten interessierenden Region (ROH ) erstellt wird. 4. The method according to any one of the preceding claims, characterized in that in step b) for each time points in each case a motion map (MM1) by elemental or pixel-wise formation of a local temporal change measure as a measure of the change in the individual distance measured values (d 1 .. ., d n ) of the points of the height profile (H) in the first region of interest (ROH) is created.
5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in Schritt b) jeweils für einzelne Zeitpunkte jeweils eine Bewegungskarte (MM1 ) für die erste interessierende Region (ROH ) durch, gegebenenfalls gewichtete, insbesondere pixelweise oder elementweise, Akkumulation oder Subtraktion auf die innerhalb eines Zeitintervalls rund um den jeweiligen Zeitpunkt im jeweiligen Pixel ermittelten Abstandsmesswerte (di, ..., dn) der Punkte des Höhenprofils (H) erstellt wird. 5. The method according to any one of the preceding claims, characterized in that in step b) for each time points in each case a movement map (MM1) for the first region of interest (ROH) by optionally weighted, in particular pixelwise or elementary, accumulation or subtraction on the distance values (di, ..., d n ) of the points of the height profile (H) determined within a time interval around the respective point in time in the respective pixel.
6. Verfahren nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass in Schritt b) eine vorgegebene Funktion auf vorgegebene Elemente der Bewegungskarte (MM1 ) der ersten interessierenden Region (ROM ) angewendet und zeitpunktweise eine Akkumulation über die erhaltenen Werte der Bewegungskarte (MM1 ) durchgeführt wird und derart eine zeitliche Bewegungsfunktion g(t) erhalten wird. 6. Method according to claim 4, characterized in that in step b) a predetermined function is applied to predetermined elements of the motion map (MM1) of the first region of interest (ROM) and accumulated over time at the obtained values of the motion map (MM1 ) and thus a temporal motion function g (t) is obtained.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass als Akkumulation über die erhaltenen Werte der Bewegungskarte (MM1 ) eine Summenbildung über die erste interessierende Region (ROM ) durchgeführt und derart die zeitliche Bewegungsfunktion g(t) erhalten wird. 7. The method according to claim 6, characterized in that as an accumulation over the obtained values of the motion map (MM1) a summation over the first region of interest (ROM) carried out and in such a way the temporal motion function g (t) is obtained.
8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass vor der Akkumulation eine Funktion (h) auf die einzelnen Werte der Bewegungskarte (MM1 ) angewendet wird, wobei diese Funktion (h) einen Schwellenwertvergleich mit einem vorgegebenen Schwellenwert (TFh) vorsieht, und die Funktion (h) im Falle des Unterschreitens des Schwellenwerts (TFh) einen Nullwert zurückliefert, und im Falle der Überschreitung des Schwellenwerts (TFh) 8. Method according to one of the preceding claims, characterized in that before the accumulation a function (h) is applied to the individual values of the motion map (MM1), this function (h) providing a threshold comparison with a predetermined threshold value (TFh), and the function (h) returns a zero value in the event of the threshold value (TFh) being undershot, and if the threshold value (TFh) is exceeded
- einen vorgegebenen Wert zurückliefert,  - returns a given value,
- das Argument bzw. den jeweiligen Wert der Bewegungskarte (MM1 ) zurückliefert, oder- Returns the argument or the respective value of the movement map (MM1), or
- das Ausmaß der Überschreitung des Schwellenwerts durch den jeweiligen Wert der Bewegungskarte (MM1 ) zurückliefert. - returns the extent of exceeding the threshold value by the respective value of the movement map (MM1).
9. Verfahren nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, dass in Schritt b) zur Identifikation von Änderungen des Höhenprofils (Fl) der ersten interessierenden Region (ROM ) in der zeitlichen Bewegungsfunktion g(t) ein Mustervergleich oder ein Schwellenwertvergleich durchgeführt wird, wobei Zeitabschnitte, in denen die zeitliche Bewegungsfunktion g(t) einem vorgegebenen Muster entspricht oder einen vorgegebenen Schwellenwert (THZ) übersteigt, als Zeitabschnitte mit Änderungen erkannt werden. 9. The method according to any one of claims 4 to 8, characterized in that in step b) for the identification of changes in the height profile (Fl) of the first region of interest (ROM) in the temporal motion function g (t), a pattern comparison or a threshold comparison is performed wherein periods of time in which the temporal motion function g (t) corresponds to a predetermined pattern or exceeds a predetermined threshold (TH Z ) are recognized as time portions with changes.
10. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in Schritt c) eine Rauschkarte (RM) für jeden der zeitlichen Zwischenräume (L1 ; L2, l_3) durch pixelweise Ermittlung des Rauschens der einzelnen Abstandsmesswerte (di, ..., dn) in einer zweiten interessierenden Region (ROI2) erstellt wird, 10. The method according to any one of the preceding claims, characterized in that in step c) a noise map (RM) for each of the time intervals (L 1, L 2 , l_ 3 ) by pixel-wise determination of the noise of the individual distance measured values (di .. ., d n ) is created in a second region of interest (ROI 2),
insbesondere wobei innerhalb des jeweiligen Zeitraums jeweils für einzelne Zeitintervalle die Standardabweichung des Abstandsmesswerts (di, ..., dn) ermittelt wird und ein Mittelwert sämtlicher innerhalb des Zeitraums derart ermittelten Standardabweichungen ermittelt und als Wert der Rauschkarte für das jeweilige Pixel herangezogen wird. in particular wherein the standard deviation of the distance measured value (di, ..., d n ) is determined in each case for individual time intervals within the respective period and Average of all determined within the period thus determined standard deviations and is used as the value of the noise card for each pixel.
1 1. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in einem ersten Schritt die ermittelten Abstandwerte (di, ..., dn) mit einem1 1. The method according to any one of the preceding claims, characterized in that in a first step, the determined distance values (di, ..., d n ) with a
Gewichtungswert gewichtet und derart normalisierte Abstandsmesswerte (ei, ..., en) erstellt werden, der zu dem für das jeweilige Pixel in der Rauschkarte (RM) ermittelten Rauschwert indirekt proportional ist, und Weighting value weighted and thus normalized distance measurement values (ei, ..., e n ) are created, which is indirectly proportional to the noise value determined for the respective pixel in the noise card (RM), and
in einem zweiten Schritt in a second step
- jeweils für einzelne Zeitpunkte jeweils eine weitere Bewegungskarte (MM2) durch pixelweise Bildung eines Maßes für die zeitliche Änderung der normalisierte Abstandsmesswerte (e1 ; ..., en) in der zweiten interessierenden Region (ROI2) erstellt wird, und/oder in each case a further movement map (MM2) is created in each case for individual times by pixel-by-pixel formation of a measure for the temporal change of the normalized distance measurement values (e 1, ..., e n ) in the second region of interest (ROI 2), and / or
- jeweils für einzelne Zeitpunkte jeweils eine weitere Bewegungskarte (MM2) für die zweite interessierende Region (ROI2) durch pixelweise, gegebenenfalls gewichtete, in each case for individual times a further movement map (MM2) for the second region of interest (ROI2) by pixel-wise, possibly weighted,
Akkumulation auf die innerhalb eines Zeitintervalls rund um den jeweiligen Zeitpunkt im jeweiligen Pixel ermittelten normalisierten Abstandsmesswerte (ei, ..., en) der Punkte des Höhenprofils (H) erstellt wird. Accumulation is calculated on the normalized distance measurement values (ei, ..., e n ) of the points of the height profile (H) determined within a time interval around the respective point in time in the respective pixel.
12. Verfahren nach Anspruch 1 1 , dadurch gekennzeichnet, dass eine vorgegebene12. The method according to claim 1 1, characterized in that a predetermined
Funktion auf vorgegebene Punkte der weiteren Bewegungskarte (MM2) der zweiten interessierenden Region (ROI2) angewendet und zeitpunktweise eine Akkumulation über die erhaltenen Werte der weiteren Bewegungskarte (MM2) durchgeführt wird und derart eine weitere zeitliche Funktion g'(t) erhalten wird. Function applied to predetermined points of the further movement map (MM2) of the second region of interest (ROI2) and time-wise an accumulation over the obtained values of the further movement map (MM2) is performed and thus a further temporal function g '(t) is obtained.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass als Akkumulation über die erhaltenen Werte der weiteren Bewegungskarte (MM2) eine Summenbildung über die zweite interessierende Region (ROI2) durchgeführt und derart die weitere zeitliche Funktion g'(t) erhalten wird. 13. The method according to claim 12, characterized in that as an accumulation over the obtained values of the further movement map (MM2) a summation over the second region of interest (ROI2) is carried out and in this way the further temporal function g '(t) is obtained.
14. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass vor der Akkumulation eine Funktion (h) auf die einzelnen Werte der weiteren Bewegungskarte (MM2) angewendet wird, wobei diese Funktion (h) einen Schwellenwertvergleich mit einem vorgegebenen weiteren Schwellenwert (t'h) vorsieht, und die Funktion (h) im Falle des Unterschreitens des Schwellenwerts (t'h) einen Nullwert zurückliefert, und im Falle der Überschreitung des Schwellenwerts (t'h) 14. Method according to one of the preceding claims, characterized in that before the accumulation a function (h) is applied to the individual values of the further movement map (MM2), this function (h) providing a threshold comparison with a predetermined further threshold value (t '). h ) and the function (h) returns a zero value in the event of the threshold value (t ' h ) being undershot, and in the case of exceeding the threshold value (t' h )
- einen vorgegebenen Wert zurückliefert, - das Argument bzw. den jeweiligen Wert der weiteren Bewegungskarte (MM2) zurückliefert, oder - returns a given value, - Returns the argument or the respective value of the further movement map (MM2), or
- das Ausmaß der Überschreitung des Schwellenwerts durch das Argument bzw. den jeweiligen Wert der weiteren Bewegungskarte (MM2) zurückliefert.  - returns the extent of exceeding the threshold value by the argument or the respective value of the further movement map (MM2).
15. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in Schritt d) zur Identifikation von Änderungen des Höhenprofils (H) der zweiten interessierenden Region (ROI2) in der weiteren zeitlichen Funktion g'(t) ein Mustervergleich oder ein Schwellenwertvergleich durchgeführt wird, wobei Zeitabschnitte, in denen die weiteren zeitliche Funktion g'(t) einem vorgegebenen Muster entspricht oder einen vorgegebenen zweiten Schwellenwert (THY) übersteigt, als weitere Zeitabschnitte (Y1 ; Y2, Y3) mit Änderungen erkannt werden. 15. The method according to any one of the preceding claims, characterized in that in step d) for the identification of changes in the height profile (H) of the second region of interest (ROI2) in the further temporal function g '(t) a pattern comparison or a threshold comparison is performed wherein time periods in which the further temporal function g '(t) corresponds to a predetermined pattern or exceeds a predetermined second threshold value (TH Y ) are recognized as further time segments (Y 1, Y 2 , Y 3 ) with changes.
16. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, - dass die weitere interessierende Region (ROI2) größer ist, als die erste interessierende16. Method according to one of the preceding claims, characterized in that - the further region of interest (ROI2) is larger than the first one of interest
Region (ROM ), und/oder Region (ROM), and / or
- dass die weitere interessierende Region (ROI2) die erste interessierende Region (ROM ) enthält, und/oder  that the further region of interest (ROI2) contains the first region of interest (ROM), and / or
- dass die weitere interessierende Region (ROI2) der ersten interessierende Region (ROM ) entspricht.  - that the further region of interest (ROI2) corresponds to the first region of interest (ROM).
17. Verfahren nach einem vorangehenden Ansprüche, dadurch gekennzeichnet, dass die erste interessierende Region (ROM ) und/oder die weitere interessierende Region (ROI2) im Höhenprofil (H) vorab festgelegt werden, 17. Method according to one of the preceding claims, characterized in that the first region of interest (ROM) and / or the further region of interest (ROI2) are predefined in the height profile (H),
insbesondere derart, dass die erste interessierende Region (ROM ) und/oder die weitere interessierende Region (ROI2) Bereiche des Höhenprofil (H) enthalten, die vorgegebenen Bereichen des Körpers der Person (1 ) entsprechen. in particular such that the first region of interest (ROM) and / or the further region of interest (ROI2) contain regions of the height profile (H) corresponding to predetermined regions of the body of the person (1).
18. Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass ein Körpermodell vorgegeben wird und interessierende Regionen (ROI1 a, ROI1 b, ..., ROI1c) im Höhenprofil (H) automatisiert festgelegt werden, indem 18. The method according to any one of claims 1 to 16, characterized in that a body model is specified and regions of interest (ROI1 a, ROI1 b, ..., ROI1c) in the height profile (H) are set automatically by
a) in einer Aufnahme der Person (1 ) mittels des Körpermodells und eines Objektklassifikationsalgorithmus nach Bereichen gesucht wird, die vorgegebenen Körperteilen oder einer vorgegebenen Körperregion entsprechen und die identifizierten Bereiche oder davon abgeleitete Bereiche als interessierende Regionen (ROI1 a, ROI1 b, ..., ROI1c), festgelegt werden, oder b) für eine Anzahl von Zeitpunkten in der jeweiligen Aufnahme der Person (1 ) pixelweise mittels des Körpermodells und eines Objektklassifikationsalgorithmus nach einem Bereich gesucht wird, der dem Kopf der Person (1 ) entspricht und derart die Lage des Körpers der Person (1 ) in der jeweiligen Aufnahme bestimmt wird, wobei die interessierenden Regionen (ROI1 a, ROI1 b, ..., ROI1c) in Bezug zur ermittelten Lage des Körpers, insbesondere in einer vorgegebenen Entfernung zum Kopf, festgelegt werden. a) in a photograph of the person (1) by means of the body model and an object classification algorithm, search for areas corresponding to predetermined body parts or a predetermined body region and the identified areas or regions derived therefrom as regions of interest (ROI1 a, ROI1 b, ... , ROI1c), or b) for a number of times in the respective recording of the person (1) is searched pixel by pixel using the body model and an object classification algorithm for an area corresponding to the head of the person (1) and thus the position of the body of the person (1) in the respective image is determined, wherein the regions of interest (ROI1 a, ROI1 b, ..., ROI1c) are determined in relation to the determined position of the body, in particular at a predetermined distance to the head.
19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass für die pixelweise Zuordnung von Bereichen der jeweils betrachteten Aufnahme zu einem Körperteil oder einer Körperregion auch oder nur Zuordnungen aus Aufnahmen der Person (1 ), die zeitlich vor dem Aufnahmezeitpunkt (t1 ; ..., tp) der jeweils betrachteten Aufnahme erstellt wurden, verwendet werden. 19. The method according to claim 18, characterized in that for the pixel-by-pixel assignment of areas of each considered recording to a body part or a body region or only assignments from recordings of the person (1), the time before the recording time (t 1, .. ., t p ) of the recording in question were used.
20. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, - dass jede Aufnahme in eine vorgebebene Anzahl an Rasterelemente (R) unterteilt wird,20. The method according to any one of the preceding claims, characterized in that - each image is subdivided into a predetermined number of raster elements (R),
- dass für jedes Rasterelement (R) ein Verfahren nach einem der Ansprüche 1 bis 14 durchgeführt wird, wobei als interessierende Region (ROI1 a, ROI1 b, ..., ROI1 c) das jeweilige Rasterelement (R) festgelegt wird, und - That for each raster element (R) a method according to one of claims 1 to 14 is performed, wherein as the region of interest (ROI1 a, ROI1 b, ..., ROI1 c), the respective raster element (R) is set, and
- dass bei Detektion von Änderungen des Höhenprofils (H) im jeweiligen Rasterelement (R) mittels des Körpermodells das betreffende Rasterelement einem Körperteil zugeordnet und eine Bewegung dieses Körperteils festgestellt wird.  - That upon detection of changes in the height profile (H) in the respective grid element (R) by means of the body model, the respective grid element associated with a body part and a movement of this body part is detected.
EP19701961.5A 2018-01-22 2019-01-21 Method for detecting body movements of a sleeping person Withdrawn EP3742971A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50049/2018A AT520863B1 (en) 2018-01-22 2018-01-22 Method for the detection of body movements of a sleeping person
PCT/AT2019/060019 WO2019140476A1 (en) 2018-01-22 2019-01-21 Method for detecting body movements of a sleeping person

Publications (1)

Publication Number Publication Date
EP3742971A1 true EP3742971A1 (en) 2020-12-02

Family

ID=65236801

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19701961.5A Withdrawn EP3742971A1 (en) 2018-01-22 2019-01-21 Method for detecting body movements of a sleeping person

Country Status (5)

Country Link
US (1) US20210038122A1 (en)
EP (1) EP3742971A1 (en)
JP (1) JP2021511598A (en)
AT (1) AT520863B1 (en)
WO (1) WO2019140476A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671530A1 (en) * 2018-12-17 2020-06-24 Koninklijke Philips N.V. Device, system and method for object recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3764949B2 (en) * 2003-06-09 2006-04-12 住友大阪セメント株式会社 Condition analysis device
US8532737B2 (en) * 2005-12-29 2013-09-10 Miguel Angel Cervantes Real-time video based automated mobile sleep monitoring using state inference
US10667727B2 (en) * 2008-09-05 2020-06-02 Varian Medical Systems, Inc. Systems and methods for determining a state of a patient
JP6557226B2 (en) * 2013-07-22 2019-08-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Monitoring system and monitoring method
JP6402189B2 (en) * 2013-12-13 2018-10-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Sleep monitoring system
DE102014218140B3 (en) * 2014-09-10 2016-03-10 Ait Austrian Institute Of Technology Gmbh Method and device for determining the time course of the breathing depth of a person
DE102014019760A1 (en) * 2014-09-10 2016-04-21 Ait Austrian Institute Of Technology Gmbh Method and device for determining the time course of the respiratory depth
WO2016103271A2 (en) * 2014-12-27 2016-06-30 Guardian Optical Technologies Ltd. System and method for detecting surface vibrations
US10342464B2 (en) * 2015-08-27 2019-07-09 Intel Corporation 3D camera system for infant monitoring
EP3245943A1 (en) * 2016-05-18 2017-11-22 Motognosis UG (haftungsbeschränkt) Method for the contactless determination and processing of sleep movement data
US11004209B2 (en) * 2017-10-26 2021-05-11 Qualcomm Incorporated Methods and systems for applying complex object detection in a video analytics system

Also Published As

Publication number Publication date
US20210038122A1 (en) 2021-02-11
AT520863B1 (en) 2020-10-15
WO2019140476A1 (en) 2019-07-25
JP2021511598A (en) 2021-05-06
AT520863A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
DE69630935T2 (en) Image processing method and apparatus for automatically detecting areas of a predetermined type of cancer in an intensity image
DE69310758T2 (en) METHOD AND DEVICE FOR CLASSIFYING THE MOVEMENT OF OBJECTS ALONG A PASSAGE
DE102015013031B4 (en) Device, method and computer program for determining a position of at least two sub-segments of a patient support device
EP1531342B1 (en) Method of detecting pedestrians
DE102007040071A1 (en) Partial reconstruction of spatially distributed functions
EP3332710B1 (en) Characterisation of plaque
EP1037166A1 (en) Method for the detection of contours in an X-Ray image
EP3245943A1 (en) Method for the contactless determination and processing of sleep movement data
DE112015006378T5 (en) Image processing apparatus, image processing method and image processing program
EP3756158B1 (en) Method for determining errors in parameters derived from digital object representations
EP1203342A2 (en) Method and device for segmenting a point distribution
WO2019140476A1 (en) Method for detecting body movements of a sleeping person
EP2997543B1 (en) Device and method for the parameterisation of a plant
DE102012205051A1 (en) Method for reducing direct hit artifacts and x-ray equipment
DE102005011125A1 (en) Measured data processing method for medical research, involves verifying, before evaluation of data, whether functions has orthogonal portions in dataset represented section of dependency on parameter for evaluations in adequate measure
WO2006105949A2 (en) Method for determining the occupation of an area
DE102005037808A1 (en) Method and device for displaying pixel data
DE102017103951A1 (en) Method and device for multiple edge detection
DE102005051535A1 (en) System and method for detecting frosted glass objects and nodules
DE10350319A1 (en) Method for determining noise in radiography
EP0052133A1 (en) Method for picking up and representing thermographic images.
WO2021007605A1 (en) Method for detecting the intensity and/or the extent of body movements of a person
EP3352111B1 (en) Method for identifying critical events
EP0515890B1 (en) Terrain monitoring method
DE102018103715A1 (en) Method for compressing measured data

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200709

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20210921

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220202