EP3170045A1 - Automatic trajectory-mapping system for optical microscope, based on a smart high-speed camera - Google Patents

Automatic trajectory-mapping system for optical microscope, based on a smart high-speed camera

Info

Publication number
EP3170045A1
EP3170045A1 EP15741521.7A EP15741521A EP3170045A1 EP 3170045 A1 EP3170045 A1 EP 3170045A1 EP 15741521 A EP15741521 A EP 15741521A EP 3170045 A1 EP3170045 A1 EP 3170045A1
Authority
EP
European Patent Office
Prior art keywords
sample
optical microscope
optical
tracking system
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15741521.7A
Other languages
German (de)
French (fr)
Inventor
Eric DREAN
Eric LALOUM
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Photon Lines
Original Assignee
Photon Lines
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Photon Lines filed Critical Photon Lines
Publication of EP3170045A1 publication Critical patent/EP3170045A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes

Definitions

  • the present invention is in the field of 3D tracking systems for optical microscopy.
  • the present invention relates to the field of fluorescence microscopes.
  • This type of microscope uses an excitatory source whose spectrum is adapted to the type of fluorescence sought and the type of sample.
  • This source is usually an arc lamp, an Electro Luminescent Diode (LED) or a Laser.
  • the exciter source illuminates all or part of the sample to be imaged which absorbs the corresponding photons and in turn emits photons at a different wavelength.
  • This fluorescence is then collected by the microscope and detected by a photosensitive sensor.
  • Fluorescence microscopes are generally also equipped with a second source, often of the white light type, making it possible to observe for the same sample an image by transmission contrast.
  • a focus maintenance system is required in any type of automated microscope to compensate for these drift effects over time. This system thus makes it possible to benefit from a perfect focus on the sample regardless of the mechanical or thermal changes that occur at the level of the optical column of the microscope.
  • the hardware methods are based on devices controlling the position of the coverslip by measuring a reflected optical signal.
  • a first device is to reflect a semicircle of infrared light from an LED at 870 nm on the observed lamella and project this reflection on a linear CCD sensor to determine the position of the lamella.
  • the signal thus generated at the CCD sensor is then used to slave the Z axis of the microscope.
  • the accuracy obtained on the position of the focal plane is less than one third of the focal depth of the objective.
  • the bandwidth of such a device is of the order of 200 Hz.
  • a second device consists in projecting a grid onto the observed lamella, said lamella acting as a reflecting surface.
  • the reflected image of this grid is then intercepted by a camera which is oriented in bias with respect to said reflected beam. In this way, only a small portion of the reflected grid is sharp on the camera.
  • the relative position of the reflection of the grid on the camera changes.
  • a servo system then compensates for this drift along the Z axis of the microscope until said reflection of the grid is clear again.
  • the real-time correction algorithm used is generally very simple and does not include a state history in the correction made: the correction signal sent to the servo control system of the focal plane only depends on the current measurement without integrating the previous values. Nor is it predictive.
  • the current known systems do not make it possible to control the position of the sample in the XY plane.
  • a lateral drift of the microscope optical column or parasitic movement of the sample in one of the X or Y directions is neither measured nor compensated.
  • the current systems perform only tasks of maintaining the object in a predetermined position thanks to an optical clamp.
  • the position of the clamp may possibly be modified depending on the observation of the object by the microscope. But if the object moves or drifts at a speed too high compared to the refresh rate of the dynamic autofocus system (200 Hz) then said object can not be "caught" by the optical clamp.
  • the object of the present invention is to respond at least in large part to the above problem and to furthermore to other advantages.
  • An object of the invention is to provide a dynamic focusing system capable of detecting more sudden loss of focus of the sample.
  • Another object of the invention is to propose a system for lateral control of the sample.
  • Another object of the invention is to increase the bandwidth of the servo system in focus and / or in position.
  • At least one of the aforementioned objectives is obtained with a tracking system for an optical microscope comprising a fast camera placed at the image plane of said optical system and able to detect an area of interest of said sample, a light source able to illuminate at least a portion of the sample and at least one control unit programmed to calculate spatial information of said area of interest of the sample.
  • the fast camera integrates sequentially:
  • the control unit can enslave at least the focus of said optical system and / or the position of the area of interest of the sample with the aid of the fast camera and said calculated spatial information. It is thus possible to circumvent the failures of previously known systems. It can record images of an area of interest in the sample - not a reflective surface of the coverslip - at a sufficient sampling rate and contrast level to enslave the microscope in focus and / or position.
  • the fast camera can acquire between 2 and 20 times more images than a traditional camera and exploit them to enslave the microscope in focus and / or position.
  • the present invention provides a device capable of acquiring images sufficiently detailed and fast enough to be used in a control loop of the translation stage which supports the sample.
  • the present invention responds more accurately to the problem of control and of and guarantees the stability of the recorded image (in focus and in motion).
  • the sampling frequency of said fast camera may be at least 100 Hz.
  • said fast camera can image said sample in transmission.
  • control unit can be integrated with the fast camera to control the focus and / or the position of said area of interest of the sample and to minimize the processing time. information recorded by said camera and - in fine - to increase the bandwidth of the servo system.
  • said at least one control unit programmed to control the focus and / or the position of said area of interest of the sample may be a programmable network, a microprocessor, a graphics card or an ASIC to increase the bandwidth of the servo system and the reliability of said automatic imaging system.
  • control unit and / or the fast camera can operate in real time.
  • the time required to process the information necessary for the position and / or focus control is deterministic and the servocontrol of said microscope is more robust and more efficient.
  • the invention may further comprise at least one optical system capable of focusing on a sample in order to automate these operations.
  • the light source may be a pulsed LED source able to illuminate at least a portion of the sample and to increase the contrast on this area.
  • the light source can be synchronized with said fast camera to improve the conditions of illumination of the sample and the contrast of the image used for the servocontrol, without disturbing any other mode imaging of the optical microscope used.
  • the focus and the position of the sample can be adjusted during the acquisition of said at least a first series of images in order to perfect the focus and / or the position of the sample.
  • the automatic imaging system for optical microscopy may further comprise an optical sensor, in particular capable of imaging the fluorescence phenomena.
  • an optical sensor in addition to the fast camera, can dissociate the acquisition - fast - images used to enslave the microscope, those acquired for scientific purposes and for which the integration time is longer - not allowing such a servo control in focus and / or position.
  • said fast camera and said optical sensor can operate in parallel: the acquisition of the fast camera is superimposed autonomously and independent of the scientific acquisition in order to easily and cheaply implement the present invention on existing devices. Furthermore, the bandwidth of the servo system is - in this case - increased.
  • the sampling frequency of said fast camera can be at least ten times higher than that of said optical sensor in order to obtain the necessary sampling frequencies for a quality control (reliable and robust) .
  • the spatial information used for the servocontrol in focus and / or in position of said sample may be of the type of detection of the maximum correlation with a reference image by said fast camera.
  • This first similarity criterion is easily calculable and exploitable at high frequency to be then used in the servo loop to retroact on the translation stage and / or on the optical system.
  • the spatial information used for the servocontrol in focus and / or position of said sample may be of the maximum contrast detection type by said fast camera.
  • This second resemblance criterion is easily calculable and exploitable at high frequency to be then used in the servo loop to retroact on the translation stage and / or on the optical system.
  • the optical microscope tracking system may further comprise an exciter light source capable of fluorescing said sample in order to highlight in particular certain physical and / or biological phenomena.
  • the automatic imaging system for optical microscopy may further comprise at least one optical clip adapted to manipulate said sample.
  • the automatic imaging system for optical microscopy may further comprise at least one method according to which the focus is corrected during the acquisition of the at least one a series of images recorded at high frequency by the fast camera and on the basis of which the control unit determines a spatial information used for the servocontrol of said focus.
  • the invention comprises a video acquisition method of stabilized scientific images comprising the iterative steps (i) of recording a scientific first image with a first integration time, (ii) recording a series of high-frequency images, (iii) determination of a similarity criterion from the series of images, (iv) calculation of the corrective parameters in position and / or focus, (v) correction of the focus and / or position by said optical system and / or translation stage, (vi) recording of the next scientific image.
  • the invention may also relate to the use of a tracking device for an optical microscope in order to perform 3D reconstruction of objects measured by said microscope.
  • FIG. 1 schematically illustrates a microscope according to the present invention, in a configuration with a single photosensitive sensor
  • FIG. 2 schematically illustrates a microscope according to the present invention, in a configuration with two photosensitive sensors
  • Figure 3 schematically illustrates the servo system according to the present invention
  • FIG. 4 illustrates a timing diagram according to a first embodiment of the present invention
  • FIG. 5 illustrates a timing diagram according to a second embodiment of the present invention
  • Figure 6 illustrates an embodiment of the present invention for focus control.
  • variants of the invention comprising only a selection of characteristics subsequently described in isolation (even if this selection is isolated within a sentence comprising other characteristics), if this selection of characteristics is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art.
  • This selection comprises at least one preferably functional characteristic without structural details, and / or with only a part of the structural details if this part alone is sufficient to confer a technical advantage or to differentiate the invention from the state of the art. earlier.
  • Figure 1 schematizes a microscope 1 according to the invention.
  • This is a non-limiting schematic view in which the image of a sample 9 placed between a microscope slide 6 and a coverslip 7 is amplified by a set of objectives 8.
  • the sample is worn by a translation plate 17 to at least one axis and which can be motorized.
  • the image thus obtained is formed on an optical sensor 12 which may be a camera or any other type of photosensitive sensor without restricting the claimed protection.
  • the photosensitive sensor 12 is a fast camera.
  • a fast camera is a camera that is capable of acquiring images at rates faster than conventional video streams (about 30 frames per second). Typically, we speak of a fast camera for frequencies at least greater than 100 images per second. As such, the fast camera is well known to those skilled in the art and is not, as such, the object of the present invention.
  • an excitatory light source 3 completes the device. It is generally a broadband or narrowband laser source, whose wavelengths can be in the ultraviolet or in the wavelength range corresponding to the visible spectrum, ie between 200 and 600 nm.
  • the exciting source 3 can take any shape and produce radiation of any type.
  • the excitatory source is able to excite said sample and to make it fluoresce in response to this stimulus.
  • the incident beam 14 is focused on the sample 9 using, for example, said objective set 8.
  • the interaction zone 10 absorbs the incident and fluorescent light energy at a wavelength that is generally different. .
  • This light emitted by the sample 9 in response to the excitation is picked up by the set of objectives 8 and sent back to the optical sensor 14 via, for example, a set of semi-reflecting optics 4, 5 and Reflecting mirror (s) 16.
  • the images thus returned by this device, in response to a light excitation are representative of a physical and / or biological phenomenon of interest and are called "scientific images" by the following.
  • the device 1 may be completed by a secondary illumination source 2 which illuminates all or part of the sample 9.
  • This secondary light source 2 can illuminate the sample 9 in transmission as shown in FIG. other alternative mode - especially in reflection - without undermining the protection sought.
  • the secondary light source can be of any type and produce a spectrum of light of any type, both broadband and in a so-called narrow band.
  • the secondary light source may be a pulsed laser source, using an Electro Luminescent Diode for example, and at a wavelength greater than 800. nm so as not to interfere with the fluorescence phenomena and / or light interaction generated at the sample.
  • the secondary light thus generated is captured in the same way as the exciting light 14 by the set of objectives 8 and - through the semi-reflective optics 4 reaches the photosensitive sensor 12.
  • the photosensitive sensor 12 consists of a fast camera while the photosensitive detector 11 is a camera sensitive to the phenomena of light interaction generated at the level of the camera. sample and whose sampling rates are generally lower. Thereafter, we will call this camera the "scientific camera”.
  • a combination of semi-reflective optics 4, 5 makes it possible to orient a portion of the luminous flux 13 towards the fast camera 12 and another part of the Luminous flux 15 to the scientific camera 11.
  • the scientific camera 11 is not a fast camera because its sensitivity to the wavelengths emitted by the sample 9 excited by the exciter light source 3 is insufficient.
  • the present invention also relates to a device for controlling the focal plane on an area of interest 10 of the sample 9 and the position of said sample, as illustrated in FIG.
  • control unit programmed to control the relative position of the sample 9 with respect to the set of objectives 8 and / or the focusing.
  • Said control unit may advantageously be a programmable logic array (FPGA ...) or any other device that can be programmed to perform automation (graphic card, processor, DSP, etc.). All these devices 21 are - as such - well known to those skilled in the art.
  • Control is understood here as any form of servocontrol - regulation or servocontrol - and by any form of algorithm (proportional, proportional-integrator, proportional-integrator-derivator ). Regulation is defined as an enslavement with fixed and constant set point over time, the system compensating the effects of disturbance.
  • the automaton compensates all the disturbing phenomena (thermal drifts, parasitic movements, etc.) which move the focal plane away from this predetermined position.
  • the enslavement means a so-called follower system, for which the setpoint varies in real time according to the sensor data updated regularly.
  • the data acquired by the fast camera 12 are exploited in this sense by the control unit 21 to compensate for disturbing phenomena by feedback on the motorized translation plate 17 to correct the position of the area of interest 10 under the microscope 1 and / or the game of objectives8 to correct the focus.
  • this system measures and compensates for disturbing phenomena while a displacement can be imposed to follow a moving particle in the three directions of space for example.
  • a programmable network to perform said servocontrol allows a hardware transcription of the logic functions. Therefore, the controller is real time and provides better reliability to said device.
  • a real-time automaton is deterministic: it responds to the evolutions and demands of the environment with which it is in relation in a fixed and constant time.
  • the scientific data measured by the scientific camera 11 are transmitted to a computer 20 or any terminal having a graphical interface. They can also be stored on a memory internal to the camera and transferred then on a mobile support, key type usb, dvd ...
  • FIGS 4, 5 and 6 schematically describe the two main modes of operation of the present invention.
  • FIG. 4 describes a simplified timing diagram which illustrates an embodiment with two cameras operating in parallel as described in FIG. 2.
  • the first camera is the scientific camera 11 able to carry out fluorescence imaging on samples 9 which are naturally fluorescent or marked by fluophores.
  • the excitation of the samples 9 is done through a main light source not shown whose wavelength is in the UV or the visible between 200 nm and 600 nm.
  • the light fluoresced by the sample is, for its part, in a wavelength range of, for example, between 400 and 780 nm.
  • the sensitivity of the scientific camera 12 is optimal for this wavelength range.
  • the second camera is the fast camera 12 integrating for example a CMOS or sCMOS sensor which has an increased sensitivity. She is able to detecting a transmission image of the sample 9, illuminated by a secondary light source 2 whose wavelength does not interfere with the wavelength ranges exploited by the scientific camera 11. For example, the fast camera acquires transmission images with intense light shifted in the red to obtain sufficient contrast.
  • the secondary lighting source 2 is an Electro Luminescent Diode that emits at 800 nm. It may furthermore integrate a programmable logic network 21 which makes it possible to process the images in real time and to deliver at high frequency data for the control loop of the translation stage 17 and / or the microscope 1.
  • the scientific camera 11 makes video recordings at a frequency typically close to 25 frames per second.
  • the integration times of the scientific camera 11 are necessarily lengthened, of the order of 30 ms for example.
  • the blocks 30a, 30b, 30c of the chronogram represent these periods of recording of an image by the scientific camera 11 during the video stream.
  • the interval 33a, 33b, 33c between two images is therefore of the order of 10 ms.
  • the integration time of these cameras must be sufficient to obtain a level of detail and contrast on the image sufficient to calculate a similarity criterion that is used in a servo algorithm (by detection of the maximum contrast or the maximum correlation example). It is not necessary to obtain the same resolution and the same level of detail as on the scientific camera 11. This is the reason why the integration time of the fast camera 12 is lower, typically of the order of 1 ms in order to be able to record at least ten images for each image recorded by the scientific camera 11. These images are then processed by the control unit 21 to determine the parameter which will serve as a back-check on the various axes of the stage translation 17 and / or microscope 1 which are thus enslaved. This servocontrol is performed during the inter-image period 33a, 33b, 33c at during which the specific commands are sent to the actuators in order to correct the positions in the sample space 9 and / or the focus.
  • FIG. 5 illustrates a timing diagram for another embodiment of the present invention with a single camera, preferably the fast camera 12 as illustrated in FIG. 1.
  • This is a sequential imaging mode for which imaging fast and scientific imaging are provided by the same camera.
  • the timing diagram illustrates a hybrid recording sequence in which fast recording sequences succeed one another at slower ones. Indeed, it is necessary to adapt the integration time of the camera 12 according to the destination of the recorded images. If it is scientific images30a, 30b, 30c, then it is necessary to obtain enough detail to be exploitable. In this case, the integration time of the fast camera 12 is extended, for example to 30 ms. During the interval between two scientific images, a series of images 34a, 34b, 34c is recorded continuously and at a higher frequency.
  • the control unit 21 uses these images to position and / or focus the sample 9 under the microscope 1.
  • it is necessary to increase the frequency of sampling, at the expense of integration time and the level of detail recorded.
  • the point is not, again, to record sufficiently detailed images to be scientifically exploitable, but only the level of detail sufficient to obtain sufficient contrast and / or detail for calculate a similarity criterion and operate an algorithm based for example on the detection of the maximum contrast or correlation.
  • the integration time of the images 34a, 34b, 34c is of the order of 1 ms.
  • the control unit 21 can control the translation stage 17 and / or the set of objectives 8 in order to adjust the position and / or the focus of the sample 9 compared to the microscope 1 to compensate for any drifts and parasitic movements that would have been detected.
  • the single-camera sequential imaging embodiment provides slightly lower scientific imaging sampling rates than in the case of the first dual-camera embodiment in parallel.
  • this scientific imaging sampling frequency is of the order of 20 images per second.
  • it offers the advantage of using only one fast camera, the costs are therefore reduced and the optical integration on the microscope is facilitated.
  • the illumination source 3 illuminates the light. sample 9 to make it fluoresce; and the secondary lighting source 2 is off.
  • the exciter source 3 is extinguished and the secondary source 2 illuminates the sample in order to increase the contrast of the image area. interest 10 on which the control unit 21 realizes the servo.
  • FIG. 6 illustrates another timing diagram for a particular embodiment of the invention and which concerns the maintenance of focus during the imaging of an area of interest 10 on a sample 9.
  • the objective solved by the present invention is here to keep in the focal plane a particular area of interest 10 identified at the beginning of observation throughout the duration of the observation.
  • a series of fast images 34 are recorded at a higher frequency, as previously described.
  • the vertical position of the sample 9 is modified around the original position in order to produce images at several altitudes and thus determine the best readjusted focal plane.
  • the determination of the best focal plane among the series of fast images thus recorded is carried out during the interval 35 by maximizing a function (a similarity criterion) - for example of contrast or correlation with respect to the first image made at the beginning of 'observation.
  • the new vertical position, corresponding to the best focal plane is thus calculated in real time between two scientific images 30a and 30b.
  • the focus is adjusted by moving the set of objectives 8 or the translation plate 17 to the new position thus calculated.
  • the reduction of integration times during the fast imaging used for servocontrol is compensated by more powerful secondary lighting. In this way, the system corrects focal plane drift errors during microscopic observation, and motion blur is minimized.
  • the present invention is much faster because it relies on the new use of a fast camera. Moreover, it makes it possible to focus on the object of interest 10 which is actually imaged rather than on a reference area decorrelated from said area of interest. From a metrological point of view, the present invention is more accurate and more reliable.
  • the device may be supplemented by means for micrometric manipulation of the sample in the optical field of the microscope.
  • This means may be, for example, optical tongs - well known to those skilled in the art - to handle at least a portion of the sample 9 non-invasively and without contact.
  • the invention also relates to the field of 3D optical microscopy object reconstruction for which a succession of images of the same object are produced at different focal planes in order to recombine them and to obtain a clear image of the object. thus imaged on all its height.
  • the present invention can thus make it possible to perform such acquisitions with better accuracy and at a higher speed.
  • the present invention may include certain co-location techniques for which measurements of several physical quantities are performed using an instrument on the same object. For example, in the field of optical microscopy, it may be advantageous to combine fluorescence measurements with certain markers with a "conventional" optical image in order to highlight the spatial extent of a given phenomenon.
  • the present invention thus makes it possible to achieve this co-location in better conditions since it ensures that the focus and / or the position of the measured object is stable in the field of the microscope.
  • the invention is not limited to the examples that have been described and many adjustments can be made to these examples without departing from the scope of the invention.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Automatic trajectory-mapping system for optical microscope comprising an optical system (8) able to focus on a sample (9), a high-speed camera (12) placed at the image plane of said optical system (8) and able to detect a zone of interest (10) of said sample (9), a light source (2) able to illuminate at least some of the sample (9), and a control unit (21) programmed to calculate spatial information used in feedback control of the focus and/or position of the zone of interest (10) of the sample (9), characterised in that said high-speed camera (12) sequentially integrates: at least one first series of images (34) with a first integration time, said images being used to carry out said feedback control of focus and/or position; and at least one scientific image (30) with a second integration time.

Description

« Système de trajectographie automatique pour microscope optique basé sur une caméra rapide intelligente»  "Automatic tracking system for optical microscope based on a smart fast camera"
La présente invention se situe dans le domaine des systèmes de trajectographie 3D pour microscope optique. The present invention is in the field of 3D tracking systems for optical microscopy.
Plus particulièrement, mais de manière non limitative, la présente invention se rapporte au domaine des microscopes à fluorescence. Ce type de microscope utilise une source excitatrice dont le spectre est adapté au type de fluorescence recherché et au type d'échantillon. Cette source est généralement une lampe à arc, une Diode Electro Luminescente (LED) ou un Laser. La source excitatrice éclaire tout ou partie de l'échantillon à imager qui absorbe les photons correspondants et émet à son tour des photons à une longueur d'onde différente. Cette fluorescence est ensuite collectée par le microscope et détectée par un capteur photosensible. Les microscopes à fluorescence sont généralement également équipés d'une seconde source, souvent de type lumière blanche, permettant d'observer pour le même échantillon une image par contraste de transmission.  More particularly, but without limitation, the present invention relates to the field of fluorescence microscopes. This type of microscope uses an excitatory source whose spectrum is adapted to the type of fluorescence sought and the type of sample. This source is usually an arc lamp, an Electro Luminescent Diode (LED) or a Laser. The exciter source illuminates all or part of the sample to be imaged which absorbs the corresponding photons and in turn emits photons at a different wavelength. This fluorescence is then collected by the microscope and detected by a photosensitive sensor. Fluorescence microscopes are generally also equipped with a second source, often of the white light type, making it possible to observe for the same sample an image by transmission contrast.
Il existe de nombreuses sources de dérive dans un microscope : thermiques, mécaniques, optiques, électroniques... Elles sont dues à l'instrument lui-même mais aussi à son fonctionnement et au type d'échantillon imagé. Ces dérives sont à l'origine d'une perte de résolution, de focus et/ou de positionnement de l'échantillon sous le microscope optique. Ces effets sont d'autant plus importants que la durée d'acquisition est grande. Or, dans le domaine de l'imagerie du vivant - et notamment en microscopie par fluorescence - les durées d'imagerie peuvent atteindre plusieurs heures lorsqu'on souhaite mettre en évidence l'évolution d'un phénomène biologique par exemple. Par ailleurs, il est nécessaire d'acquérir une succession d'images à différentes profondeurs Z pour réaliser une acquisition 3D des objets. Comme très souvent dans le domaine biologique, pour avoir une information d'intérêt (co-localisation, interaction de protéines...), les cellules sont marquées à différentes couleurs afin de mettre en évidence plusieurs phénomènes simultanément. Il est alors nécessaire d'acquérir autant d'images que de marqueurs pour chaque profondeur, ce qui rallonge encore le temps total d'imagerie et donc l'impact des phénomènes perturbants sur la mesure. There are many sources of drift in a microscope: thermal, mechanical, optical, electronic ... They are due to the instrument itself but also to its operation and the type of sample imaged. These drifts are at the origin of a loss of resolution, focus and / or positioning of the sample under the optical microscope. These effects are all the more important as the acquisition time is large. However, in the field of living imaging - including fluorescence microscopy - imaging times can reach several hours when we want to highlight the evolution of a biological phenomenon for example. Moreover, it is necessary to acquire a succession of images at different depths Z to perform a 3D acquisition of the objects. As very often in the biological field, to have information of interest (co-localization, protein interaction ...), the cells are marked with different colors in order to highlight several phenomena simultaneously. It is then necessary to acquire as many images as markers for each depth, which further increases the total imaging time and therefore the impact of disturbing phenomena on the measurement.
Un système de maintien de focus est nécessaire dans tout type de microscope automatisé afin de compenser ces effets de dérives dans le temps. Ce système permet ainsi de bénéficier d'une mise au point parfaite sur l'échantillon quels que soient les changements mécaniques ou thermiques qui se produisent au niveau de la colonne optique du microscope.  A focus maintenance system is required in any type of automated microscope to compensate for these drift effects over time. This system thus makes it possible to benefit from a perfect focus on the sample regardless of the mechanical or thermal changes that occur at the level of the optical column of the microscope.
Il existe aujourd'hui deux approches pour réaliser ce maintien de focus : une, logicielle, basée sur le traitement de piles d'images de fluorescence acquises à différents plans et une, matérielle, basée sur un dispositif de contrôle de la position de la lamelle couvre-objet.  There are now two approaches to achieve this maintenance of focus: a software based on the processing of stacks of fluorescence images acquired at different planes and a hardware based on a device for controlling the position of the slat cover glass.
Les méthodes logicielles de traitement de piles d'images recherchent l'image de la pile offrant le meilleur contraste sur une zone d'intérêt. Ces méthodes présentent deux grandes limitations : plusieurs images étant nécessaires à la détermination du plan focal, elles sont très lentes et ralentissent considérablement le taux de rafraîchissement du microscope. Par ailleurs, le plan focal ainsi déterminé est celui qui offre le meilleur contraste sur l'image et ne correspond pas nécessairement au plan dans lequel se situe le phénomène de fluorescence que l'on souhaite imager. Software methods for processing image stacks look for the image of the stack with the best contrast on an area of interest. These methods have two major limitations: several images are necessary for the determination of the focal plane, they are very slow and considerably slow down the refresh rate of the microscope. Furthermore, the focal plane thus determined is the one that offers the best contrast on the image and does not necessarily correspond to the plane in which the fluorescence phenomenon that is to be imaged is located.
Les méthodes matérielles sont basées sur des dispositifs de contrôle de la position de la lamelle couvre-objet via la mesure d'un signal optique réfléchi. The hardware methods are based on devices controlling the position of the coverslip by measuring a reflected optical signal.
Un premier dispositif consiste à faire réfléchir un demi-cercle de lumière infrarouge provenant d'une LED à 870 nm sur la lamelle observée et projeter cette réflexion sur un capteur CCD linéaire afin de déterminer la position de la lamelle. Le signal ainsi généré au niveau du capteur CCD est ensuite utilisé pour asservir l'axe Z du microscope. La précision obtenue sur la position du plan focal est inférieure au tiers de la profondeur focale de l'objectif. La bande passante d'un tel dispositif est de l'ordre de 200Hz.  A first device is to reflect a semicircle of infrared light from an LED at 870 nm on the observed lamella and project this reflection on a linear CCD sensor to determine the position of the lamella. The signal thus generated at the CCD sensor is then used to slave the Z axis of the microscope. The accuracy obtained on the position of the focal plane is less than one third of the focal depth of the objective. The bandwidth of such a device is of the order of 200 Hz.
Un second dispositif consiste à projeter une grille sur la lamelle observée, ladite lamelle agissant comme une surface réfléchissante. L'image réfléchie de cette grille est ensuite interceptée par une caméra qui est orientée en biais par rapport audit faisceau réfléchi. De cette manière, seulement une petite portion de la grille réfléchie est nette sur la caméra. En cas de dérive thermique au niveau de la colonne optique du microscope, la position relative de la réflexion de la grille sur la caméra change. Un système d'asservissement compense alors cette dérive suivant l'axe Z du microscope jusqu'à ce que ladite réflexion de la grille soit à nouveau nette. A second device consists in projecting a grid onto the observed lamella, said lamella acting as a reflecting surface. The reflected image of this grid is then intercepted by a camera which is oriented in bias with respect to said reflected beam. In this way, only a small portion of the reflected grid is sharp on the camera. In case of thermal drift at the optical column of the microscope, the relative position of the reflection of the grid on the camera changes. A servo system then compensates for this drift along the Z axis of the microscope until said reflection of the grid is clear again.
Les systèmes connus de mise au point automatique dynamiques basés sur le traitement temps réel d'un signal de réflexion d'un spot LED sur la lamelle couvre-objet présentent deux grandes limitations :  The known dynamic autofocus systems based on the real-time processing of a reflection signal of a LED spot on the coverslip have two major limitations:
- C'est seulement la position de la lamelle couvre-objet qui est mesurée et contrôlée, et non pas la zone d'intérêt à imager de l'échantillon. Ces dispositifs sont ainsi tout à fait adaptés pour compenser des dérives thermiques inhérentes à la mécanique du microscope. En revanche, ils sont aveugles à tout phénomène de dérive à l'intérieur même de l'échantillon, ce qui est fort fréquent dans le cas d'échantillons biologiques. Plus précisément, ces dispositifs ne permettent pas de corriger les dérives ou mouvements parasites qui se produisent entre la lamelle couvre-objet et l'échantillon (mouvement naturel à l'intérieur d'une cellule vivante, échauffement local induit par la fluorescence...) et il est donc tout à fait possible de perdre le plan focal au bout de plusieurs minutes d'acquisitions sans que ce type de système de mise au point dynamique ne s'en rende compte.  - It is only the position of the coverslip that is measured and controlled, and not the area of interest to be imaged in the sample. These devices are thus entirely adapted to compensate for thermal drifts inherent in the mechanics of the microscope. On the other hand, they are blind to any drift phenomenon within the sample itself, which is very common in the case of biological samples. More precisely, these devices do not make it possible to correct the drifts or parasitic movements which occur between the coverslip and the sample (natural movement inside a living cell, local warming induced by fluorescence ... ) and it is therefore quite possible to lose the focal plane after several minutes of acquisitions without this type of dynamic focusing system does not realize.
- Par essence, l'algorithme de correction temps réel utilisé est généralement très simple et n'intègre pas d'historique d'état dans la correction apportée : le signal de correction envoyé au système d'asservissement du plan focal ne dépend que de la mesure actuelle sans intégrer les valeurs précédentes. Il n'est pas non plus prédictif. - In essence, the real-time correction algorithm used is generally very simple and does not include a state history in the correction made: the correction signal sent to the servo control system of the focal plane only depends on the current measurement without integrating the previous values. Nor is it predictive.
Par ailleurs, les systèmes connus actuels ne permettent pas de contrôler la position de l'échantillon dans le plan XY. Une dérive latérale de la colonne optique du microscope ou un mouvement parasite de l'échantillon dans l'une des directions X ou Y n'est ni mesuré ni compensé. Ainsi, dans le domaine de la micromanipulation et notamment pas voie optique, les systèmes actuels ne réalisent que des tâches de maintien de l'objet dans une position prédéterminée grâce à une pince optique. La position de la pince peut éventuellement être modifiée en fonction de l'observation de l'objet par le microscope. Mais si l'objet se déplace ou dérive à une vitesse trop élevée par rapport au taux de rafraîchissement du système de mise au point automatique dynamique (200 Hz) alors ledit objet ne pourra pas être « rattrapé » par la pince optique. Moreover, the current known systems do not make it possible to control the position of the sample in the XY plane. A lateral drift of the microscope optical column or parasitic movement of the sample in one of the X or Y directions is neither measured nor compensated. Thus, in the field of micromanipulation and in particular not optically, the current systems perform only tasks of maintaining the object in a predetermined position thanks to an optical clamp. The position of the clamp may possibly be modified depending on the observation of the object by the microscope. But if the object moves or drifts at a speed too high compared to the refresh rate of the dynamic autofocus system (200 Hz) then said object can not be "caught" by the optical clamp.
La présente invention a pour objet de répondre au moins en grande partie au problème précédent et de conduire en outre à d'autres avantages.  The object of the present invention is to respond at least in large part to the above problem and to furthermore to other advantages.
Un but de l'invention est de proposer un système de mise au point dynamique capable de détecter des pertes de focus plus soudaines de l'échantillon.  An object of the invention is to provide a dynamic focusing system capable of detecting more sudden loss of focus of the sample.
Un autre but de l'invention est de proposer un système d'asservissement latéral de l'échantillon.  Another object of the invention is to propose a system for lateral control of the sample.
Un autre but de l'invention est d'augmenter la bande passante du système d'asservissement en focus et/ou en position. Another object of the invention is to increase the bandwidth of the servo system in focus and / or in position.
On obtient au moins l'un des objectifs précités avec un système de trajectographie pour microscope optique comprenant une caméra rapide placée au niveau du plan image dudit système optique et apte à détecter une zone d'intérêt dudit échantillon, une source de lumière apte à éclairer au moins une partie de l'échantillon et au moins une unité de contrôle programmée pour calculer des informations spatiales de ladite zone d'intérêt de l'échantillon. At least one of the aforementioned objectives is obtained with a tracking system for an optical microscope comprising a fast camera placed at the image plane of said optical system and able to detect an area of interest of said sample, a light source able to illuminate at least a portion of the sample and at least one control unit programmed to calculate spatial information of said area of interest of the sample.
Préférentiellement, la caméra rapide intègre de façon séquentielle : Preferably, the fast camera integrates sequentially:
- au moins une première série d'images avec un premier temps d'intégration, lesdites images étant utilisées pour réaliser ledit asservissement en focus et/ou position,  at least a first series of images with a first integration time, said images being used to carry out said servocontrol in focus and / or position,
- au moins une image scientifique avec un second temps d'intégration.  at least one scientific image with a second integration time.
On dispose ainsi d'un dispositif capable d'imager des phénomènes physiques et/ou biologiques plus rapides qui ne sont pas correctement enregistrables aux cadences vidéo traditionnelles, de l'ordre de 25 images par seconde. Ces enregistrements à haute fréquence peuvent notamment être réalisés via un contraste en transmission, permettant des temps d'intégration plus courts que le contraste de fluorescence. There is thus a device capable of imaging faster physical and / or biological phenomena that are not properly recordable at traditional video rates, of the order of 25 frames per second. These high frequency recordings may include be made via a transmission contrast, allowing integration times shorter than the fluorescence contrast.
Selon un autre aspect de l'invention, l'unité de contrôle peut asservir au moins la mise au point dudit système optique et/ou la position de la zone d'intérêt de l'échantillon à l'aide de la caméra rapide et desdites informations spatiales calculées. Il est ainsi possible de contourner les défaillances des systèmes connus jusqu'alors. Elle peut permettre d'enregistrer des images d'une zone d'intérêt de l'échantillon - et non pas une face réfléchissante de la lamelle couvre-objet - à une fréquence d'échantillonnage et avec un niveau de contraste suffisants pour asservir le microscope en focus et/ou en position. La caméra rapide peut permettre d'acquérir entre 2 et 20 fois plus d'images qu'une caméra traditionnelle et de les exploiter pour asservir le microscope en focus et/ou en position. Ainsi la présente invention propose un dispositif apte à acquérir des images suffisamment détaillées et suffisamment rapidement pour être exploitées dans une boucle d'asservissement de la platine de translation qui supporte l'échantillon. De cette manière, l'asservissement est réalisé sur la zone d'intérêt imagée, et non pas sur un capteur situé dans ladite platine comme c'était le cas auparavant. D'un point de vue métrologique, la présente invention répond de manière plus juste à la problématique de contrôle et de et garantit la stabilité de l'image enregistrée (en focus et en bougé).  According to another aspect of the invention, the control unit can enslave at least the focus of said optical system and / or the position of the area of interest of the sample with the aid of the fast camera and said calculated spatial information. It is thus possible to circumvent the failures of previously known systems. It can record images of an area of interest in the sample - not a reflective surface of the coverslip - at a sufficient sampling rate and contrast level to enslave the microscope in focus and / or position. The fast camera can acquire between 2 and 20 times more images than a traditional camera and exploit them to enslave the microscope in focus and / or position. Thus the present invention provides a device capable of acquiring images sufficiently detailed and fast enough to be used in a control loop of the translation stage which supports the sample. In this way, the slaving is performed on the area of interest imaged, not on a sensor located in said platen as was the case before. From a metrological point of view, the present invention responds more accurately to the problem of control and of and guarantees the stability of the recorded image (in focus and in motion).
Selon un autre aspect de l'invention, la fréquence d'échantillonnage de ladite caméra rapide peut être d'au moins 100 Hz.  According to another aspect of the invention, the sampling frequency of said fast camera may be at least 100 Hz.
Selon un autre aspect de l'invention, ladite caméra rapide peut imager ledit échantillon en transmission.  According to another aspect of the invention, said fast camera can image said sample in transmission.
Selon un autre aspect de l'invention, l'unité de contrôle peut être intégrée à la caméra rapide pour asservir la mise au point et/ou la position de ladite zone d'intérêt de l'échantillon et afin de minimiser le temps de traitement des informations enregistrées par ladite caméra et - in fine - d'augmenter la bande passante du système d'asservissement.  According to another aspect of the invention, the control unit can be integrated with the fast camera to control the focus and / or the position of said area of interest of the sample and to minimize the processing time. information recorded by said camera and - in fine - to increase the bandwidth of the servo system.
Selon un autre aspect de l'invention, ladite au moins une unité de contrôle programmée pour asservir la mise au point et/ou la position de ladite zone d'intérêt de l'échantillon peut être un réseau programmable, un microprocesseur, une carte graphique ou un ASIC afin d'augmenter la bande passante du système d'asservissement et la fiabilité dudit système d'imagerie automatique. According to another aspect of the invention, said at least one control unit programmed to control the focus and / or the position of said area of interest of the sample may be a programmable network, a microprocessor, a graphics card or an ASIC to increase the bandwidth of the servo system and the reliability of said automatic imaging system.
Selon un autre aspect de l'invention, l'unité de contrôle et/ou la caméra rapide peuvent fonctionner en temps réel. De cette manière, le temps nécessaire au traitement des informations nécessaires pour l'asservissement en position et/ou en focus est déterministe et l'asservissement dudit microscope est plus robuste et plus performant.  According to another aspect of the invention, the control unit and / or the fast camera can operate in real time. In this way, the time required to process the information necessary for the position and / or focus control is deterministic and the servocontrol of said microscope is more robust and more efficient.
Selon un autre aspect, l'invention peut comprendre en outre au moins un système optique apte à réaliser la mise au point sur un échantillon afin d'automatiser ces opérations.  According to another aspect, the invention may further comprise at least one optical system capable of focusing on a sample in order to automate these operations.
Selon un autre aspect de l'invention, la source de lumière peut être une source LED puisée apte à illuminer au moins une partie de l'échantillon et afin d'augmenter le contraste sur cette zone.  According to another aspect of the invention, the light source may be a pulsed LED source able to illuminate at least a portion of the sample and to increase the contrast on this area.
Selon un autre aspect de l'invention, la source de lumière peut être synchronisée avec ladite caméra rapide pour améliorer les conditions d'éclairement de l'échantillon et le contraste de l'image utilisée pour l'asservissement, sans perturber un éventuel autre mode d'imagerie du microscope optique utilisé. According to another aspect of the invention, the light source can be synchronized with said fast camera to improve the conditions of illumination of the sample and the contrast of the image used for the servocontrol, without disturbing any other mode imaging of the optical microscope used.
Selon un autre aspect de l'invention, la mise au point et la position de l'échantillon peuvent être ajustées durant l'acquisition de ladite au moins une première série d'images afin de parfaire la mise au point et/ou la position de la zone d'intérêt de l'échantillon sous le microscope entre deux acquisitions d'images scientifiques et d'améliorer la résolution desdites images scientifiques. According to another aspect of the invention, the focus and the position of the sample can be adjusted during the acquisition of said at least a first series of images in order to perfect the focus and / or the position of the sample. the area of interest of the sample under the microscope between two acquisitions of scientific images and improve the resolution of said scientific images.
Selon un autre aspect de l'invention, le système d'imagerie automatique pour de la microscopie optique peut comprendre en outre un capteur optique, notamment apte à imager les phénomènes de fluorescence. L'utilisation d'un second capteur optique, en plus de la caméra rapide, peut permettre de dissocier l'acquisition - rapide - des images utilisées pour asservir le microscope, de celles acquises à des fins scientifiques et pour lesquels le temps d'intégration est plus long - ne permettant pas de réaliser un tel asservissement en focus et/ou en position. Selon un autre aspect de l'invention, ladite caméra rapide et ledit capteur optique peuvent fonctionner en parallèle : l'acquisition de la caméra rapide se superpose de manière autonome et indépendante de l'acquisition scientifique afin d'implémenter facilement et à moindre coûts la présente invention sur des dispositifs existants. Par ailleurs, la bande passante du système d'asservissement est - dans ce cas - accrue. According to another aspect of the invention, the automatic imaging system for optical microscopy may further comprise an optical sensor, in particular capable of imaging the fluorescence phenomena. The use of a second optical sensor, in addition to the fast camera, can dissociate the acquisition - fast - images used to enslave the microscope, those acquired for scientific purposes and for which the integration time is longer - not allowing such a servo control in focus and / or position. According to another aspect of the invention, said fast camera and said optical sensor can operate in parallel: the acquisition of the fast camera is superimposed autonomously and independent of the scientific acquisition in order to easily and cheaply implement the present invention on existing devices. Furthermore, the bandwidth of the servo system is - in this case - increased.
Selon un autre aspect de l'invention, la fréquence d'échantillonnage de ladite caméra rapide peut être au moins dix fois supérieure à celle dudit capteur optique afin d'obtenir les fréquences d'échantillonnage nécessaires pour un asservissement de qualité (fiable et robuste).  According to another aspect of the invention, the sampling frequency of said fast camera can be at least ten times higher than that of said optical sensor in order to obtain the necessary sampling frequencies for a quality control (reliable and robust) .
Selon un autre aspect de l'invention, les informations spatiales utilisées pour l'asservissement en focus et/ou en position dudit échantillon peuvent être du type détection du maximum de corrélation avec une image de référence par ladite caméra rapide. Ce premier critère de ressemblance est facilement calculable et exploitable à haute fréquence pour être ensuite utilisé dans la boucle d'asservissement pour rétroagir sur la platine de translation et/ou sur le système optique.  According to another aspect of the invention, the spatial information used for the servocontrol in focus and / or in position of said sample may be of the type of detection of the maximum correlation with a reference image by said fast camera. This first similarity criterion is easily calculable and exploitable at high frequency to be then used in the servo loop to retroact on the translation stage and / or on the optical system.
Selon un autre aspect de l'invention, les informations spatiales utilisées pour l'asservissement en focus et/ou en position dudit échantillon peuvent être du type détection du maximum de contraste par ladite caméra rapide. Ce second critère de ressemblance est facilement calculable et exploitable à haute fréquence pour être ensuite utilisé dans la boucle d'asservissement pour rétroagir sur la platine de translation et/ou sur le système optique. According to another aspect of the invention, the spatial information used for the servocontrol in focus and / or position of said sample may be of the maximum contrast detection type by said fast camera. This second resemblance criterion is easily calculable and exploitable at high frequency to be then used in the servo loop to retroact on the translation stage and / or on the optical system.
Selon un autre aspect de l'invention, le système de trajectographie pour microscope optique peut comprendre en outre une source de lumière excitatrice apte à faire fluorescer ledit échantillon afin de mettre en évidence notamment certains phénomènes physiques et/ou biologiques.According to another aspect of the invention, the optical microscope tracking system may further comprise an exciter light source capable of fluorescing said sample in order to highlight in particular certain physical and / or biological phenomena.
Selon un autre aspect de l'invention, le système d'imagerie automatique pour de la microscopie optique peut comprendre en outre au moins une pince optique apte à manipuler ledit échantillon. According to another aspect of the invention, the automatic imaging system for optical microscopy may further comprise at least one optical clip adapted to manipulate said sample.
Selon un autre aspect de l'invention, le système d'imagerie automatique pour de la microscopie optique peut comprendre en outre au moins un procédé selon lequel le focus est corrigé durant l'acquisition de l'au moins une série d'image enregistrées à hautes fréquence par la caméra rapide et sur la base desquelles l'unité de contrôle détermine une information spatiale utilisée pour l'asservissement dudit focus. According to another aspect of the invention, the automatic imaging system for optical microscopy may further comprise at least one method according to which the focus is corrected during the acquisition of the at least one a series of images recorded at high frequency by the fast camera and on the basis of which the control unit determines a spatial information used for the servocontrol of said focus.
Selon d'autre aspect avantageux, l'invention comprend un procédé d'acquisition vidéo d'images scientifiques stabilisées comprenant les étapes itératives (i) d'enregistrement d'une image première scientifique avec un premier temps d'intégration, (ii) enregistrement d'une série d'images à haute fréquence, (iii) détermination d'un critère de ressemblance à partir de la série d'images, (iv) calcul des paramètres correctifs en position et/ou focus, (v) correction du focus et/ou de la position par ledit système optique et/ou une platine de translation, (vi) enregistrement de l'image scientifique suivante.  According to another advantageous aspect, the invention comprises a video acquisition method of stabilized scientific images comprising the iterative steps (i) of recording a scientific first image with a first integration time, (ii) recording a series of high-frequency images, (iii) determination of a similarity criterion from the series of images, (iv) calculation of the corrective parameters in position and / or focus, (v) correction of the focus and / or position by said optical system and / or translation stage, (vi) recording of the next scientific image.
Selon d'autres caractéristiques avantageuses, l'invention peut concerner en outre l'utilisation d'un dispositif de trajectographie pour microscope optique afin de réaliser de la reconstruction 3D d'objets mesurés par ledit microscope.  According to other advantageous features, the invention may also relate to the use of a tracking device for an optical microscope in order to perform 3D reconstruction of objects measured by said microscope.
D'autres caractéristiques et avantages de l'invention apparaîtront encore au travers de la description qui suit d'une part, et de plusieurs exemples de réalisation donnés à titre indicatif et non limitatif en référence aux dessins schématiques annexés d'autre part, sur lesquels :  Other characteristics and advantages of the invention will become apparent from the description which follows, on the one hand, and from several exemplary embodiments given by way of nonlimiting indication with reference to the appended schematic drawings on the other hand, on which :
• La figure 1 illustre de manière schématique un microscope suivant la présente invention, dans une configuration à un seul capteur photosensible ;  FIG. 1 schematically illustrates a microscope according to the present invention, in a configuration with a single photosensitive sensor;
• La figure 2 illustre de manière schématique un microscope suivant la présente invention, dans une configuration à deux capteurs photosensibles ;  FIG. 2 schematically illustrates a microscope according to the present invention, in a configuration with two photosensitive sensors;
• La figure 3 illustre de manière schématique le système d'asservissement de suivant la présente invention ;  Figure 3 schematically illustrates the servo system according to the present invention;
• La figure 4 illustre un chronogramme selon un premier mode de réalisation de la présente invention ;  FIG. 4 illustrates a timing diagram according to a first embodiment of the present invention;
• La figure 5 illustre un chronogramme selon un seconde mode de réalisation de la présente invention ;  FIG. 5 illustrates a timing diagram according to a second embodiment of the present invention;
• La figure 6 illustre un mode de réalisation de la présente invention pour un asservissement du focus. Ces modes de réalisation étant nullement limitatifs, on pourra notamment considérer des variantes de l'invention ne comprenant qu'une sélection de caractéristiques décrites par la suite de manière isolées (même si cette sélection est isolée au sein d'une phrase comprenant d'autres caractéristiques), si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. Cette sélection comprend au moins une caractéristique de préférence fonctionnelle sans détails structurels, et/ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou à différencier l'invention par rapport à l'état de la technique antérieure. Figure 6 illustrates an embodiment of the present invention for focus control. These embodiments being in no way limiting, it will be possible to consider variants of the invention comprising only a selection of characteristics subsequently described in isolation (even if this selection is isolated within a sentence comprising other characteristics), if this selection of characteristics is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art. This selection comprises at least one preferably functional characteristic without structural details, and / or with only a part of the structural details if this part alone is sufficient to confer a technical advantage or to differentiate the invention from the state of the art. earlier.
La figure 1 schématise un microscope 1 selon l'invention. Il s'agit d'une vue schématique non limitative dans laquelle l'image d'un échantillon 9 posé entre une lame de microscope 6 et une lamelle couvre-objet 7 est amplifiée par un jeu d'objectifs 8. L'échantillon est porté par une platine de translation 17 à au moins un axe et qui peut être motorisée. L'image ainsi obtenue est formée sur un capteur optique 12 qui peut être une caméra ou n'importe quel autre type de capteur photosensible sans restreindre la protection revendiquée. Selon un premier mode de réalisation, le capteur photosensible 12 est une caméra rapide. Figure 1 schematizes a microscope 1 according to the invention. This is a non-limiting schematic view in which the image of a sample 9 placed between a microscope slide 6 and a coverslip 7 is amplified by a set of objectives 8. The sample is worn by a translation plate 17 to at least one axis and which can be motorized. The image thus obtained is formed on an optical sensor 12 which may be a camera or any other type of photosensitive sensor without restricting the claimed protection. According to a first embodiment, the photosensitive sensor 12 is a fast camera.
Une caméra rapide est une caméra qui est capable d'acquérir des images à des cadences supérieures aux flux vidéo classiques (environ 30 images par secondes). Typiquement, on parle de caméra rapide pour des fréquences au moins supérieures à 100 images par secondes. En tant que tel, la caméra rapide est bien connue de l'homme du métier et ne constitue pas, en tant que tel, l'objet de la présente invention.  A fast camera is a camera that is capable of acquiring images at rates faster than conventional video streams (about 30 frames per second). Typically, we speak of a fast camera for frequencies at least greater than 100 images per second. As such, the fast camera is well known to those skilled in the art and is not, as such, the object of the present invention.
Dans le cas particulier de la microscopie de fluorescence, une source de lumière excitatrice 3 complète le dispositif. Il s'agit généralement d'une source laser à large bande ou à bande étroite, dont les longueurs d'ondes peuvent se situer dans les ultra-violets ou dans les gammes de longueur d'onde correspondant au spectre visible, soit entre 200 et 600 nm. D'une manière générale, la source excitatrice 3 peut prendre n'importe quelle forme et produire un rayonnement de n'importe quel type. La source excitatrice est apte à exciter ledit échantillon et à le faire fluorescer en réponse à ce stimulus. Pour ce faire, le faisceau incident 14 est focalisé sur l'échantillon 9 à l'aide par exemple dudit jeu d'objectifs 8. La zone d'interaction 10 absorbe l'énergie lumineuse incidente et fluoresce à une longueur d'onde généralement différente. Cette lumière 15 émise par l'échantillon 9 en réponse à l'excitation est captée par le jeu d'objectifs 8 et renvoyée vers le capteur optique 14 par le biais par exemple d'un jeu d'optiques semi-réfléchissantes 4, 5 et/ou de miroir(s) réfléchissant(s) 16. Les images ainsi renvoyées par ce dispositif, en réponse à une excitation lumineuse, sont représentatives d'un phénomène physique et/ou biologique d'intérêt et sont appelées « images scientifiques » par la suite. In the particular case of fluorescence microscopy, an excitatory light source 3 completes the device. It is generally a broadband or narrowband laser source, whose wavelengths can be in the ultraviolet or in the wavelength range corresponding to the visible spectrum, ie between 200 and 600 nm. In general, the exciting source 3 can take any shape and produce radiation of any type. The excitatory source is able to excite said sample and to make it fluoresce in response to this stimulus. To do this, the incident beam 14 is focused on the sample 9 using, for example, said objective set 8. The interaction zone 10 absorbs the incident and fluorescent light energy at a wavelength that is generally different. . This light emitted by the sample 9 in response to the excitation is picked up by the set of objectives 8 and sent back to the optical sensor 14 via, for example, a set of semi-reflecting optics 4, 5 and Reflecting mirror (s) 16. The images thus returned by this device, in response to a light excitation, are representative of a physical and / or biological phenomenon of interest and are called "scientific images" by the following.
Eventuellement, le dispositif 1 peut être complété par une source d'éclairage secondaire 2 qui illumine tout ou partie de l'échantillon 9. Cette source de lumière secondaire 2 peut éclairer l'échantillon 9 en transmission comme représenté sur la figure 1 ou suivant tout autre mode alternatif - notamment en réflexion - sans porter atteinte à la protection recherchée. La source de lumière secondaire peut être de n'importe quel type et produire un spectre de lumière de tout type, aussi bien large bande que selon une bande dite étroite. De manière préférentielle, mais non exclusive et non limitative de la protection revendiquée, la source de lumière secondaire peut être une source laser puisée, à l'aide d'une Diode Electro Luminescente par exemple, et à une longueur d'onde supérieure à 800 nm afin de ne pas parasiter les phénomènes de fluorescence et/ou d'interaction lumineuse générés au niveau de l'échantillon. La lumière secondaire ainsi générée est captée de la même façon que la lumière excitatrice 14 par le jeu d'objectifs 8 et - au travers des optiques semi-réfléchissantes 4 atteint le capteur photosensible 12.  Optionally, the device 1 may be completed by a secondary illumination source 2 which illuminates all or part of the sample 9. This secondary light source 2 can illuminate the sample 9 in transmission as shown in FIG. other alternative mode - especially in reflection - without undermining the protection sought. The secondary light source can be of any type and produce a spectrum of light of any type, both broadband and in a so-called narrow band. Preferably, but not exclusively and not limited to the claimed protection, the secondary light source may be a pulsed laser source, using an Electro Luminescent Diode for example, and at a wavelength greater than 800. nm so as not to interfere with the fluorescence phenomena and / or light interaction generated at the sample. The secondary light thus generated is captured in the same way as the exciting light 14 by the set of objectives 8 and - through the semi-reflective optics 4 reaches the photosensitive sensor 12.
Dans le cas d'une configuration à deux caméras, comme illustré sur la figure 2, le capteur photosensible 12 est constitué d'une caméra rapide tandis que le détecteur photosensible 11 est une caméra sensible aux phénomènes d'interaction lumineux générés au niveau de l'échantillon et dont les fréquences d'échantillonnage sont généralement moindres. Par la suite, on appellera cette caméra la « caméra scientifique ». Une combinaison d'optiques semi-réfléchissantes 4, 5 permet d'orienter une partie du flux lumineux 13 vers la caméra rapide 12 et une autre partie du flux lumineux 15 vers la caméra scientifique 11. Généralement, mais non limitativement, la caméra scientifique 11 n'est pas une caméra rapide car sa sensibilité aux longueurs d'ondes émises par l'échantillon 9 excité par la source de lumière excitatrice 3 est insuffisante ; a contrario, il s'agit généralement d'une caméra sensible aux longueurs d'ondes visibles et inférieures à 780 nm et dont la sensibilité est supérieure à celle des caméras rapides. Cette configuration à deux caméras est avantageuse car elle permet de bénéficier des avantages de la présente invention sur des microscopes à fluorescence pré-existant, en complétant ces dispositifs par l'ajout d'une caméra rapide et des dispositions suivantes relatives à l'asservissement de l'échantillon et/ou de la mise au point. In the case of a two-camera configuration, as illustrated in FIG. 2, the photosensitive sensor 12 consists of a fast camera while the photosensitive detector 11 is a camera sensitive to the phenomena of light interaction generated at the level of the camera. sample and whose sampling rates are generally lower. Thereafter, we will call this camera the "scientific camera". A combination of semi-reflective optics 4, 5 makes it possible to orient a portion of the luminous flux 13 towards the fast camera 12 and another part of the Luminous flux 15 to the scientific camera 11. Generally, but not exclusively, the scientific camera 11 is not a fast camera because its sensitivity to the wavelengths emitted by the sample 9 excited by the exciter light source 3 is insufficient. ; on the contrary, it is generally a camera sensitive to visible wavelengths and less than 780 nm and whose sensitivity is higher than that of fast cameras. This two-camera configuration is advantageous because it makes it possible to benefit from the advantages of the present invention over pre-existing fluorescence microscopes, by supplementing these devices by the addition of a fast camera and the following provisions relating to the servocontrol of sample and / or tuning.
En effet, la présente invention concerne aussi un dispositif d'asservissement du plan focal sur une zone d'intérêt 10 de l'échantillon 9 et de la position dudit échantillon, comme illustré sur la figure 2.  Indeed, the present invention also relates to a device for controlling the focal plane on an area of interest 10 of the sample 9 and the position of said sample, as illustrated in FIG.
En référence à la figure 3, les systèmes précédemment décrits peuvent avantageusement être complétés par une unité de contrôle21 programmée pour contrôler la position relative de l'échantillon 9 par rapport au jeu d'objectifs 8 et/ou la mise au point. Ladite unité de contrôle peut avantageusement être un réseau logique programmable (FPGA...) ou tout autre dispositif apte à être programmé 21 pour réaliser un automatisme (carte graphique, processeur, DSP...). Tous ces dispositifs 21 sont - en tant que tels - bien connus de l'homme du métier. Le contrôle s'entend ici comme toute forme d'asservissement - régulation ou asservissement - et par n'importe quelle forme d'algorithme (proportionnel, proportionnel- intégrateur, proportionnel-intégrateur-dérivateur...). La régulation s'entend comme un asservissement à consigne fixée et constante au cours du temps, le système compensant les effets de perturbation. En l'espèce, il peut s'agir de la régulation du système de mise au point : consigne étant donnée de placer le focus à un certain plan focal correspondant à une zone d'intérêt de l'échantillon 9, l'automate compense tous les phénomènes perturbants (dérives thermiques, mouvements parasites...) qui éloignent le plan focal de cette position prédéterminée. L'asservissement quant à lui s'entend d'un système dit suiveur, pour lequel la consigne varie en temps réel en fonction des données capteurs mises à jour régulièrement. En l'espèce, les données acquises par la caméra rapide 12 sont exploitée en ce sens par l'unité de contrôle 21 afin de compenser les phénomènes perturbants en rétro- agissant sur la platine de translation motorisée 17 pour corriger la position de la zone d'intérêt 10 sous le microscope 1 et/ou sur le jeu d'objectifs8 pour en corriger le focus. A la différence de la régulation, ce système mesure et compense les phénomènes perturbants alors qu'un déplacement peut être imposé pour suivre une particule mobile dans les trois directions de l'espace par exemple. With reference to FIG. 3, the previously described systems may advantageously be supplemented by a control unit programmed to control the relative position of the sample 9 with respect to the set of objectives 8 and / or the focusing. Said control unit may advantageously be a programmable logic array (FPGA ...) or any other device that can be programmed to perform automation (graphic card, processor, DSP, etc.). All these devices 21 are - as such - well known to those skilled in the art. Control is understood here as any form of servocontrol - regulation or servocontrol - and by any form of algorithm (proportional, proportional-integrator, proportional-integrator-derivator ...). Regulation is defined as an enslavement with fixed and constant set point over time, the system compensating the effects of disturbance. In this case, it may be the regulation of the focusing system: given that the focus is given to a certain focal plane corresponding to an area of interest of the sample 9, the automaton compensates all the disturbing phenomena (thermal drifts, parasitic movements, etc.) which move the focal plane away from this predetermined position. The enslavement means a so-called follower system, for which the setpoint varies in real time according to the sensor data updated regularly. In this case, the data acquired by the fast camera 12 are exploited in this sense by the control unit 21 to compensate for disturbing phenomena by feedback on the motorized translation plate 17 to correct the position of the area of interest 10 under the microscope 1 and / or the game of objectives8 to correct the focus. Unlike regulation, this system measures and compensates for disturbing phenomena while a displacement can be imposed to follow a moving particle in the three directions of space for example.
Avantageusement, l'utilisation d'un réseau programmable pour réaliser ledit asservissement permet une transcription matérielle des fonctions logiques. Par conséquent, l'automate est temps réel et procure une meilleure fiabilité audit dispositif. En effet, un automate temps réel est déterministe : il répond aux évolutions et aux sollicitations de l'environnement avec lequel il est en relation en un temps déterminé et constant.  Advantageously, the use of a programmable network to perform said servocontrol allows a hardware transcription of the logic functions. Therefore, the controller is real time and provides better reliability to said device. Indeed, a real-time automaton is deterministic: it responds to the evolutions and demands of the environment with which it is in relation in a fixed and constant time.
Les données scientifiques mesurées par la caméra scientifique 11 sont transmises vers un ordinateur 20 ou tout terminal disposant d'une interface graphique. Elles peuvent aussi être stockées sur une mémoire interne à la caméra et transférée ensuite sur un support mobile, type clef usb, dvd... The scientific data measured by the scientific camera 11 are transmitted to a computer 20 or any terminal having a graphical interface. They can also be stored on a memory internal to the camera and transferred then on a mobile support, key type usb, dvd ...
Les figures 4, 5 et 6 décrivent de manière schématique les deux principaux modes de fonctionnement de la présente invention. Figures 4, 5 and 6 schematically describe the two main modes of operation of the present invention.
La figure 4 décrit un chronogramme simplifié qui illustre un mode de réalisation avec deux caméras fonctionnant en parallèle comme décrit dans la figure 2. La première caméra est la caméra scientifique 11 apte à réaliser de l'imagerie de fluorescence sur des échantillons 9 naturellement fluorescents ou marqués par des fluophores. L'excitation des échantillons 9 se fait par le biais d'une source d'éclairage principal non représentée dont la longueur d'onde se situe dans l'UV ou le visible entre 200 nm et 600 nm. La lumière fluorescée par l'échantillon se situe, quant à elle, dans une gamme de longueur d'onde comprise par exemple entre 400 et 780 nm. La sensibilité de la caméra scientifique 12 est optimale pour cette gamme de longueur d'onde.  FIG. 4 describes a simplified timing diagram which illustrates an embodiment with two cameras operating in parallel as described in FIG. 2. The first camera is the scientific camera 11 able to carry out fluorescence imaging on samples 9 which are naturally fluorescent or marked by fluophores. The excitation of the samples 9 is done through a main light source not shown whose wavelength is in the UV or the visible between 200 nm and 600 nm. The light fluoresced by the sample is, for its part, in a wavelength range of, for example, between 400 and 780 nm. The sensitivity of the scientific camera 12 is optimal for this wavelength range.
La seconde caméra est la caméra rapide 12 intégrant par exemple un capteur CMOS ou sCMOS qui a une sensibilité accrue. Elle est apte à détecter une image en transmission de l'échantillon 9, éclairé par une source lumineuse secondaire 2 dont la longueur d'onde n'interfère pas avec les gammes de longueur d'ondes exploitées par la caméra scientifique 11. Par exemple, la caméra rapide acquiert des images en transmission avec une lumière intense décalée dans le rouge afin d'obtenir un contraste suffisant. Typiquement, mais de manière non limitative, la source d'éclairage secondaire 2 est une Diode Electro Luminescente qui émet à 800 nm. Elle peut en outre intégrer un réseau logique programmable 21 qui permet de traiter les images en temps réel et de délivrer à haute fréquence des données pour la boucle d'asservissement de la platine de translation 17 et/ou le microscope 1. The second camera is the fast camera 12 integrating for example a CMOS or sCMOS sensor which has an increased sensitivity. She is able to detecting a transmission image of the sample 9, illuminated by a secondary light source 2 whose wavelength does not interfere with the wavelength ranges exploited by the scientific camera 11. For example, the fast camera acquires transmission images with intense light shifted in the red to obtain sufficient contrast. Typically, but without limitation, the secondary lighting source 2 is an Electro Luminescent Diode that emits at 800 nm. It may furthermore integrate a programmable logic network 21 which makes it possible to process the images in real time and to deliver at high frequency data for the control loop of the translation stage 17 and / or the microscope 1.
Selon ce premier mode de réalisation avec deux caméras, la caméra scientifique 11 réalise des enregistrements vidéo à une fréquence typiquement proche de 25 images par secondes. Afin de détecter des phénomènes de fluorescences très peu lumineux, les temps d'intégration de la caméra scientifique 11 sont nécessairement allongés, de l'ordre de 30 ms par exemple. Les blocs 30a, 30b, 30c du chronogramme représentent ces périodes d'enregistrement d'une image par la caméra scientifique 11 durant le flux vidéo. L'intervalle 33a, 33b, 33c entre deux images est donc de l'ordre de 10 ms. La caméra rapide 12, quant à elle, enregistre des images à plus haute fréquence, typiquement à environ 500 images par secondes. Le temps d'intégration de ces caméra doit être suffisant pour obtenir un niveau de détail et de contraste sur l'image suffisant pour calculer un critère de ressemblance qui est utilisé dans un algorithme d'asservissement (par détection du maximum de contraste ou du maximum de corrélation par exemple). Il n'est pas nécessaire d'obtenir la même résolution et le même niveau de détail que sur la caméra scientifique 11. C'est la raison pour laquelle le temps d'intégration de la caméra rapide 12 est inférieur, typiquement de l'ordre de 1 ms afin de pouvoir enregistrer au moins dix images pour chaque image enregistrée par la caméra scientifique 11. Ces images sont ensuite traitées par l'unité de contrôle 21 pour déterminer le paramètre qui servira de rétro-contrôle sur les différents axes de la platine de translation 17 et/ou du microscope 1 qui sont ainsi asservis. Cet asservissement est réalisé durant la période inter-image 33a, 33b, 33c au cours de laquelle les commandes spécifiques sont envoyées aux actionneurs afin de corriger les positions dans l'espace de l'échantillon 9 et/ou le focus.According to this first embodiment with two cameras, the scientific camera 11 makes video recordings at a frequency typically close to 25 frames per second. In order to detect very poor fluorescence phenomena, the integration times of the scientific camera 11 are necessarily lengthened, of the order of 30 ms for example. The blocks 30a, 30b, 30c of the chronogram represent these periods of recording of an image by the scientific camera 11 during the video stream. The interval 33a, 33b, 33c between two images is therefore of the order of 10 ms. The fast camera 12, in turn, records images at a higher frequency, typically at about 500 frames per second. The integration time of these cameras must be sufficient to obtain a level of detail and contrast on the image sufficient to calculate a similarity criterion that is used in a servo algorithm (by detection of the maximum contrast or the maximum correlation example). It is not necessary to obtain the same resolution and the same level of detail as on the scientific camera 11. This is the reason why the integration time of the fast camera 12 is lower, typically of the order of 1 ms in order to be able to record at least ten images for each image recorded by the scientific camera 11. These images are then processed by the control unit 21 to determine the parameter which will serve as a back-check on the various axes of the stage translation 17 and / or microscope 1 which are thus enslaved. This servocontrol is performed during the inter-image period 33a, 33b, 33c at during which the specific commands are sent to the actuators in order to correct the positions in the sample space 9 and / or the focus.
La figure 5 illustre un chronogramme pour un autre mode de réalisation de la présente invention avec une seule caméra, préférentiellement la caméra rapide 12 comme illustré dans la figure 1. Il s'agit d'un mode d'imagerie séquentielle pour lequel l'imagerie rapide et l'imagerie scientifique sont assurées par la même caméra. Le chronogramme illustre une séquence d'enregistrement hybride au cours de laquelle des séquences d'enregistrement rapides se succèdent à d'autres plus lentes. En effet, il est nécessaire d'adapter le temps d'intégration de la caméra 12 en fonction de la destination des images enregistrées. S'il s'agit d'images scientifiques30a, 30b, 30c, alors il est nécessaire d'obtenir suffisamment de détails pour qu'elles soient exploitables. Dans ce cas, le temps d'intégration de la caméra rapide 12 est allongé, par exemple à 30 ms. Durant l'intervalle entre deux images scientifiques, une série d'images 34a, 34b, 34c est enregistrée en rafale et à plus haute fréquence. Ces images sont utilisées par l'unité de contrôle 21 pour asservir en position et/ou en focus l'échantillon 9 sous le microscope 1. Afin d'obtenir suffisamment d'images pour cet asservissement, il est nécessaire d'augmenter la fréquence d'échantillonnage, au détriment du temps d'intégration et du niveau de détails enregistrés. L'important n'est pas, là encore, d'enregistrer des images suffisamment détaillées pour qu'elles soient exploitables d'un point de vue scientifique, mais uniquement le niveau de détail suffisant pour obtenir suffisamment de contraste et/ou de détails pour calculer un critère de ressemblance et faire fonctionner un algorithme basé par exemple sur la détection du maximum de contraste ou de corrélation. A titre d'exemple, mais de manière non limitative, le temps d'intégration des images 34a, 34b, 34c est de l'ordre de 1 ms. Enfin, lorsque suffisamment d'images rapides ont été enregistrées, l'unité de contrôle 21 peut piloter la platine de translation 17 et/ou le jeu d'objectifs 8 afin d'ajuster la position et/ou le focus de l'échantillon 9 par rapport au microscope 1 afin de compenser les éventuelles dérives et mouvements parasites qui auraient ainsi été détectés. Ainsi, le mode de réalisation d'imagerie séquentielle à une seule caméra offre des fréquences d'échantillonnage d'imagerie scientifique légèrement moins hautes que dans le cas du premier mode de réalisation à deux caméras en parallèle. Typiquement, cette fréquence d'échantillonnage d'imagerie scientifique est de l'ordre de 20 images par secondes. Il offre cependant l'avantage de n'utiliser qu'une seule caméra rapide, les coûts sont donc réduits et l'intégration optique sur le microscope est facilitée.FIG. 5 illustrates a timing diagram for another embodiment of the present invention with a single camera, preferably the fast camera 12 as illustrated in FIG. 1. This is a sequential imaging mode for which imaging fast and scientific imaging are provided by the same camera. The timing diagram illustrates a hybrid recording sequence in which fast recording sequences succeed one another at slower ones. Indeed, it is necessary to adapt the integration time of the camera 12 according to the destination of the recorded images. If it is scientific images30a, 30b, 30c, then it is necessary to obtain enough detail to be exploitable. In this case, the integration time of the fast camera 12 is extended, for example to 30 ms. During the interval between two scientific images, a series of images 34a, 34b, 34c is recorded continuously and at a higher frequency. These images are used by the control unit 21 to position and / or focus the sample 9 under the microscope 1. In order to obtain sufficient images for this slaving, it is necessary to increase the frequency of sampling, at the expense of integration time and the level of detail recorded. The point is not, again, to record sufficiently detailed images to be scientifically exploitable, but only the level of detail sufficient to obtain sufficient contrast and / or detail for calculate a similarity criterion and operate an algorithm based for example on the detection of the maximum contrast or correlation. By way of example, but in a nonlimiting manner, the integration time of the images 34a, 34b, 34c is of the order of 1 ms. Finally, when sufficient fast images have been recorded, the control unit 21 can control the translation stage 17 and / or the set of objectives 8 in order to adjust the position and / or the focus of the sample 9 compared to the microscope 1 to compensate for any drifts and parasitic movements that would have been detected. Thus, the single-camera sequential imaging embodiment provides slightly lower scientific imaging sampling rates than in the case of the first dual-camera embodiment in parallel. Typically, this scientific imaging sampling frequency is of the order of 20 images per second. However, it offers the advantage of using only one fast camera, the costs are therefore reduced and the optical integration on the microscope is facilitated.
Alternativement, afin d'augmenter les niveaux de contrastes et de détails, il peut être nécessaire de compléter le dispositif précédent par des éclairages puisés et synchronisés : durant les périodes 40 d'acquisition d'images scientifiques, la source d'éclairage 3 illumine l'échantillon 9 afin de le faire fluorescer ; et la source d'éclairage secondaire 2 est éteinte. Durant l'intervalle suivant où les images enregistrées servent à corriger la position et/ou le focus de l'échantillon 9, la source excitatrice 3 est éteinte et la source secondaire 2 illumine l'échantillon afin d'augmenter le contraste de la zone d'intérêt 10 sur laquelle l'unité de contrôle 21 réalise l'asservissement.Alternatively, in order to increase the levels of contrasts and details, it may be necessary to supplement the preceding device with pulsed and synchronized lighting: during the periods of acquisition of scientific images, the illumination source 3 illuminates the light. sample 9 to make it fluoresce; and the secondary lighting source 2 is off. During the next interval where the recorded images are used to correct the position and / or the focus of the sample 9, the exciter source 3 is extinguished and the secondary source 2 illuminates the sample in order to increase the contrast of the image area. interest 10 on which the control unit 21 realizes the servo.
La figure 6 illustre un autre chronogramme pour un mode de réalisation particulier de l'invention et qui concerne le maintien de focus durant l'imagerie d'une zone d'intérêt 10 sur un échantillon 9. L'objectif résolu par la présente invention est ici de garder dans le plan focal une zone particulière d'intérêt 10 repérée en début d'observation durant toute la durée de l'observation. FIG. 6 illustrates another timing diagram for a particular embodiment of the invention and which concerns the maintenance of focus during the imaging of an area of interest 10 on a sample 9. The objective solved by the present invention is here to keep in the focal plane a particular area of interest 10 identified at the beginning of observation throughout the duration of the observation.
Entre deux images scientifiques 30a et 30b enregistrées au cours d'un flux vidéo, une série d'images rapides 34 sont enregistrées à plus haute fréquence, comme décrit précédemment. Durant cette phase d'imagerie rapide, la position verticale de l'échantillon 9 est modifiée autour de la position d'origine afin de réaliser des images à plusieurs altitudes et de déterminer ainsi le meilleur plan focal réajusté. La détermination du meilleur plan focal parmi la série d'images rapides ainsi enregistrées est réalisée durant l'intervalle 35 en maximisant une fonction (un critère de ressemblance) - par exemple de contraste ou de corrélation par rapport à la première image réalisée en début d'observation. La nouvelle position verticale, correspondant au meilleur plan focal, est ainsi calculée en temps réel entre deux images scientifiques 30a et 30b. Puis la mise au point est ajustée en déplaçant le jeu d'objectifs 8 ou la platine de translation 17 vers la nouvelle position ainsi calculée. La réduction des temps d'intégration durant l'imagerie rapide qui sert à l'asservissement est compensée par un éclairage secondaire plus puissant. De cette façon, le système corrige les erreurs de dérive du plan focal durant l'observation microscopique et le flou de bougé est ainsi minimisé. Between two scientific images 30a and 30b recorded during a video stream, a series of fast images 34 are recorded at a higher frequency, as previously described. During this rapid imaging phase, the vertical position of the sample 9 is modified around the original position in order to produce images at several altitudes and thus determine the best readjusted focal plane. The determination of the best focal plane among the series of fast images thus recorded is carried out during the interval 35 by maximizing a function (a similarity criterion) - for example of contrast or correlation with respect to the first image made at the beginning of 'observation. The new vertical position, corresponding to the best focal plane, is thus calculated in real time between two scientific images 30a and 30b. Then the focus is adjusted by moving the set of objectives 8 or the translation plate 17 to the new position thus calculated. The reduction of integration times during the fast imaging used for servocontrol is compensated by more powerful secondary lighting. In this way, the system corrects focal plane drift errors during microscopic observation, and motion blur is minimized.
Par rapport à l'état de l'art connu, et notamment les approches logicielles d'autofocus, la présente invention est beaucoup plus rapide car elle repose sur l'utilisation nouvelle d'une caméra rapide. Par ailleurs, elle permet de réaliser la mise au point sur l'objet d'intérêt 10 qui est réellement imagé plutôt que sur une zone de référence décorrélée de ladite zone d'intérêt. D'un point de vue métrologique, la présente invention est plus juste et plus fiable.  Compared to the state of the art, and in particular the autofocus software approaches, the present invention is much faster because it relies on the new use of a fast camera. Moreover, it makes it possible to focus on the object of interest 10 which is actually imaged rather than on a reference area decorrelated from said area of interest. From a metrological point of view, the present invention is more accurate and more reliable.
Alternativement, le dispositif peut être complété par un moyen de manipulation micrométrique de l'échantillon dans le champ optique du microscope. Ce moyen peut être, par exemple, composé de pinces optiques - bien connues de l'homme du métier - afin de manipuler au moins une partie de l'échantillon 9 de manière non invasive et sans contact.  Alternatively, the device may be supplemented by means for micrometric manipulation of the sample in the optical field of the microscope. This means may be, for example, optical tongs - well known to those skilled in the art - to handle at least a portion of the sample 9 non-invasively and without contact.
L'invention concerne aussi le domaine de la reconstruction 3D d'objet par microscopie optique pour laquelle une succession d'images d'un même objet sont réalisées à différentes plans focaux afin de les recombiner et d'obtenir une image nette de l'objet ainsi imagé sur toute sa hauteur. La présente invention peut ainsi permettre de réaliser de telles acquisitions avec une meilleure précision et à plus grande vitesse.  The invention also relates to the field of 3D optical microscopy object reconstruction for which a succession of images of the same object are produced at different focal planes in order to recombine them and to obtain a clear image of the object. thus imaged on all its height. The present invention can thus make it possible to perform such acquisitions with better accuracy and at a higher speed.
La présente invention peut inclure certaines techniques de co-localisation pour lesquelles des mesures de plusieurs grandeurs physiques sont réalisées à l'aide d'un instrument sur un même objet. Par exemple, dans le domaine de la microscopie optique, il peut être intéressant de conjuguer des mesures de fluorescences avec de certains marqueurs avec une image optique « classique » afin de mettre en évidence l'étendue spatiale d'un phénomène donné. La présente invention permet ainsi de réaliser cette co- localisation dans de meilleures conditions puisqu'elle garantit que le focus et/ou la position de l'objet mesuré soit stable dans le champs du microscope. Bien sûr, l'invention n'est pas limitée aux exemples qui ont été décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention. The present invention may include certain co-location techniques for which measurements of several physical quantities are performed using an instrument on the same object. For example, in the field of optical microscopy, it may be advantageous to combine fluorescence measurements with certain markers with a "conventional" optical image in order to highlight the spatial extent of a given phenomenon. The present invention thus makes it possible to achieve this co-location in better conditions since it ensures that the focus and / or the position of the measured object is stable in the field of the microscope. Of course, the invention is not limited to the examples that have been described and many adjustments can be made to these examples without departing from the scope of the invention.

Claims

Revendications claims
Système de trajectographie pour microscope optique (1) caractérisé en ce qu'il comprend : Optical microscope trajectory system (1) characterized in that it comprises:
- une caméra rapide (12) placée au niveau du plan image d'un système optique (8) et apte à détecter une zone d'intérêt (10) d'un échantillon (9),  a fast camera (12) placed at the level of the image plane of an optical system (8) and able to detect an area of interest (10) of a sample (9),
- une source de lumière (2) apte à éclairer au moins une partie de l'échantillon (9) et au moins une unité de contrôle (21) programmée pour calculer des informations spatiales de ladite zone d'intérêt (10) de l'échantillon (9),  a light source (2) capable of illuminating at least a portion of the sample (9) and at least one control unit (21) programmed to calculate spatial information of said area of interest (10) of the sample (9),
caractérisé en ce que ladite caméra rapide (12) intègre de façon séquentielle : characterized in that said fast camera (12) sequentially integrates:
- au moins une première série d'images (34) avec un premier temps d'intégration, lesdites images étant utilisées pour réaliser ledit asservissement en focus et/ou position,  at least a first series of images (34) with a first integration time, said images being used to carry out said servocontrol in focus and / or position,
- au moins une image scientifique (30) avec un second temps d'intégration.  at least one scientific image (30) with a second integration time.
Système de trajectographie pour microscope optique (1) selon la revendication précédente, caractérisé en ce que l'unité de contrôle (21) réalise en outre l'asservissement d'au moins la mise au point dudit système optique (8) sur la zone d'intérêt (10) de l'échantillon (9) à l'aide de la caméra rapide (12) et desdites informations spatiales calculées. Optical microscope trajectory system (1) according to the preceding claim, characterized in that the control unit (21) also performs the servocontrol of at least the focusing of said optical system (8) on the zone d interest (10) of the sample (9) using the fast camera (12) and said calculated spatial information.
Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce que l'unité de contrôle (21) est programmée en outre pour asservir la position de la zone d'intérêt (10) de l'échantillon (9) à l'aide de la caméra rapide (12) et desdites informations spatiales calculées. Optical microscope tracking system (1) according to one of the preceding claims, characterized in that the control unit (21) is further programmed to control the position of the area of interest (10) of the sample (9) using the fast camera (12) and said calculated spatial information.
Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce que l'au moins une unité de contrôle (21) est intégrée à la caméra rapide (12). Optical microscope tracking system (1) according to one of the preceding claims, characterized in that the at least one control unit (21) is integrated with the fast camera (12).
Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes caractérisé en ce que ladite au moins une unité de contrôle (21) est un réseau programmable, un FPGA, un processeur, une carte graphique ou un ASIC. Optical microscope trajectory system (1) according to any one of the preceding claims, characterized in that said at least one control unit (21) is a programmable network, an FPGA, a processor, a graphics card or an ASIC.
6. Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce que l'unité de contrôle (21) et/ou la caméra rapide (12) fonctionnent en temps réel. 6. Tracking system for optical microscope (1) according to any one of the preceding claims, characterized in that the control unit (21) and / or the fast camera (12) operate in real time.
7. Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend en outre au moins un système optique (8) apte à réaliser la mise au point sur un échantillon (9). 8. Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce que la source de lumière (2) est une source LED puisée. 7. Tracking system for optical microscope (1) according to any one of the preceding claims, characterized in that it further comprises at least one optical system (8) adapted to perform the development on a sample (9) . 8. Tracking system for optical microscope (1) according to any one of the preceding claims, characterized in that the light source (2) is a pulsed LED source.
9. Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce que la source de lumière (2) est synchronisée avec la caméra rapide (12). Optical microscope trajectory system (1) according to one of the preceding claims, characterized in that the light source (2) is synchronized with the fast camera (12).
10. Système de trajectographie pour microscope optique (1) selon la revendication précédente, caractérisé en ce que la mise au point et/ou la position de l'échantillon (9) sont ajustées de manière synchrone avec l'acquisition de ladite au moins une première série d'images (34). 11. Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend en outre un capteur optique (11). 10. Tracking system for optical microscope (1) according to the preceding claim, characterized in that the focus and / or the position of the sample (9) are adjusted synchronously with the acquisition of said at least one first series of images (34). 11. Tracking system for optical microscope (1) according to any one of the preceding claims, characterized in that it further comprises an optical sensor (11).
12. Système de trajectographie pour microscope optique (1) selon la revendication précédente, caractérisé en ce que ladite caméra rapide (12) et ledit capteur optique (11) fonctionnent en parallèle. 12. Tracking system for optical microscope (1) according to the preceding claim, characterized in that said fast camera (12) and said optical sensor (11) operate in parallel.
13. Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce que lesdites informations spatiales utilisées pour l'asservissement en focus et/ou en position dudit échantillon (9) sont du type détection du maximum de corrélation avec une image de référence par ladite caméra rapide. 13. Tracking system for optical microscope (1) according to any one of the preceding claims, characterized in that said spatial information used for the servocontrol in focus and / or in position of said sample (9) are of the detection type of the maximum correlation with a reference image by said fast camera.
14. Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications 1 à 12, caractérisé en ce que lesdites informations spatiales utilisées pour l'asservissement en focus et/ou en position dudit échantillon (9) sont du type détection du maximum de contraste par ladite caméra rapide. 14. Tracking system for optical microscope (1) according to any one of claims 1 to 12, characterized in that said spatial information used for servocontrolling in focus and / or in position of said sample (9) are of the detection type. maximum contrast by said fast camera.
15. Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend en outre une source de lumière excitatrice (3) apte à faire fluorescer ledit échantillon (9). 15. Tracking system for optical microscope (1) according to any one of the preceding claims, characterized in that it further comprises an excitation light source (3) capable of fluorescing said sample (9).
16. Système de trajectographie pour microscope optique (1) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend en outre au moins une pince optique apte à manipuler ledit échantillon (9). 16. Tracking system for optical microscope (1) according to any one of the preceding claims, characterized in that it further comprises at least one optical clamp capable of handling said sample (9).
17. Procédé de trajectographie pour microscope optique (1) mettant en œuvre le système de trajectographie selon l'une quelconque des revendications précédentes, caractérisé en ce que le focus est corrigé durant l'acquisition de ladite au moins une série d'image (34). 18. Procédé d'acquisition vidéo d'images scientifiques stabilisées à l'aide d'un système de trajectographie selon l'une quelconque des revendications 1 à 16, caractérisé en ce qu'il comprend les étapes itératives suivantes : 17. Trajectography method for optical microscope (1) implementing the tracking system according to any one of the preceding claims, characterized in that the focus is corrected during the acquisition of said at least one image series (34). ). 18. A method of video acquisition of scientific images stabilized using a tracking system according to any one of claims 1 to 16, characterized in that it comprises the following iterative steps:
- enregistrement d'une image scientifique (30) avec un premier temps d'intégration,  recording a scientific image (30) with a first integration time,
- enregistrement d'une série d'images (34) à haute fréquence, recording a series of high frequency images (34),
- détermination d'un critère de ressemblance à partir de la série d'images (34), determining a similarity criterion from the series of images (34),
- calcul des paramètres correctifs en position et/ou focus, - correction du focus et/ou de la position par ledit système optique (8) et/ou une platine de translation (17), calculation of the correction parameters in position and / or focus, - correction of focus and / or position by said optical system (8) and / or a translation stage (17),
- enregistrement de l'image scientifique (30) suivante.  - recording the next scientific image (30).
19. Utilisation du système de trajectographie selon l'une quelconque des revendications 1 à 16 pour la reconstruction 3D d'un objet par microscopie optique. 19. Use of the tracking system according to any one of claims 1 to 16 for the 3D reconstruction of an object by optical microscopy.
EP15741521.7A 2014-07-18 2015-07-15 Automatic trajectory-mapping system for optical microscope, based on a smart high-speed camera Withdrawn EP3170045A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1456964A FR3023925B1 (en) 2014-07-18 2014-07-18 AUTOMATIC TRAJECTOGRAPHY SYSTEM FOR OPTICAL MICROSCOPE BASED ON INTELLIGENT FAST CAMERA
PCT/EP2015/066214 WO2016008952A1 (en) 2014-07-18 2015-07-15 Automatic trajectory-mapping system for optical microscope, based on a smart high-speed camera

Publications (1)

Publication Number Publication Date
EP3170045A1 true EP3170045A1 (en) 2017-05-24

Family

ID=52450230

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15741521.7A Withdrawn EP3170045A1 (en) 2014-07-18 2015-07-15 Automatic trajectory-mapping system for optical microscope, based on a smart high-speed camera

Country Status (3)

Country Link
EP (1) EP3170045A1 (en)
FR (1) FR3023925B1 (en)
WO (1) WO2016008952A1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003014795A1 (en) * 2001-08-06 2003-02-20 Bioview Ltd. Image focusing in fluorescent imaging
US7576307B2 (en) * 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2016008952A1 *

Also Published As

Publication number Publication date
FR3023925A1 (en) 2016-01-22
WO2016008952A1 (en) 2016-01-21
FR3023925B1 (en) 2018-01-26

Similar Documents

Publication Publication Date Title
JP4716148B1 (en) Inspection apparatus, defect classification method, and defect detection method
EP2394194B1 (en) Method and device for acquiring signals in laser scanning microscopy
FR3020141A1 (en) APPARATUS AND METHOD FOR OPTICAL BEAM SCANNING MICROSCOPY
EP3069185B1 (en) Three-dimensional focusing device and method for a microscope
EP1740974A1 (en) Method and system for measuring the speed of blood flow
EP1955101A1 (en) Fluorescence-based scanning imaging device
FR2572515A1 (en) POSITION DETECTING DEVICE
EP3704471A1 (en) Device and method for super-resolution fluorescence microscopy and fluorescence lifetime measurement
EP2649431B1 (en) System and method of multitechnique imaging for the chemical, biological or biochemical analysis of a sample
FR3092395A1 (en) Wavefront analysis devices and microscopic imaging systems comprising such analysis devices
EP3724709B1 (en) Large-field 3d spectral microscopy
JP4844694B2 (en) Inspection apparatus and defect classification method
EP3170045A1 (en) Automatic trajectory-mapping system for optical microscope, based on a smart high-speed camera
EP3724725B1 (en) Method for calibrating an analysis device, and associated device
WO2004066015A1 (en) Parallel confocal laser microscopy system based on vcsel technology
WO2011045530A1 (en) Imaging method and system using substrate functionalization
FR2646523A1 (en) METHOD FOR HARMONIZING THE AXES OF OPTO-ELECTRONIC DETECTORS
WO2017064440A1 (en) Optical detection device
FR3076911A1 (en) MICROSCOPE LIGHTING DEVICE FOR MEASURING A FAULT OF FOCUS
WO2023052723A1 (en) Device for determining polarimetric information of a light beam, and associated method
JP2003254963A (en) Instrument for dynamically measuring biological molecule
EP3999896A1 (en) Device for observing a living cell or a set of living cells
FR2954499A1 (en) METHOD AND SYSTEM FOR MOLECULAR ANALYSIS SWITCHING IMAGING AND SPECTROSCOPY MEASUREMENTS
WO2016203163A1 (en) Collection system and method for optical spectroscopy
FR2950444A1 (en) Method for automatically adjusting electronic vision apparatus, involves identifying optimal wavelength at which image is perfectly at pint, and adjusting central wavelength of light beam to optimal wavelength

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170214

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20190507

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20190918