EP4260284A1 - Procédé de calibrage d'une caméra ultra grand angle - Google Patents

Procédé de calibrage d'une caméra ultra grand angle

Info

Publication number
EP4260284A1
EP4260284A1 EP21834774.8A EP21834774A EP4260284A1 EP 4260284 A1 EP4260284 A1 EP 4260284A1 EP 21834774 A EP21834774 A EP 21834774A EP 4260284 A1 EP4260284 A1 EP 4260284A1
Authority
EP
European Patent Office
Prior art keywords
sun
camera
celestial body
photograph
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21834774.8A
Other languages
German (de)
English (en)
Inventor
Duy Long Ha
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat à l'Énergie Atomique et Aux Énergies Alternatives
Original Assignee
Commissariat a lEnergie Atomique CEA
Commissariat à l'Énergie Atomique et Aux Énergies Alternatives
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Commissariat à l'Énergie Atomique et Aux Énergies Alternatives filed Critical Commissariat a lEnergie Atomique CEA
Publication of EP4260284A1 publication Critical patent/EP4260284A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to ultra wide angle cameras, also called “fisheye” cameras for “fish eye” in English. More particularly, the invention relates to a method for calibrating an ultra-wide-angle camera. Calibration is synonymous with standardization, often called calibration by reference to its English translation.
  • the calibration of an ultra-wide-angle camera is of course very useful, even necessary, to enable fine and precise processing of the data acquired by the camera.
  • the invention aims to satisfy this need and it achieves this, in whole or in part, thanks to a method for calibrating an ultra-wide-angle camera comprising a sensor and a lens, positioned at a given location while facing the sky, the method comprising the following steps:
  • Step a take a series of panoramic photographs of the dome of the sky, in particular at regular intervals, for one or more days, preferably without clouds,
  • Step b locate on each photograph the position of a celestial body, in particular the sun, and determine, using said series of photographs, the observed trajectory of the celestial body, in particular the sun, during said said days,
  • Step c calculate, from a database of the expected position of the celestial body, in particular of the sun, on the day and at the time of taking the photographs and the position of the camera, the theoretical position of the celestial body, in particular the sun, in space for each photograph,
  • the implementation of the final step is based on some or all of the following system of equations representative of the various corrections: with :
  • “Ultra-wide-angle camera” means a fisheye type camera, that is to say with an observation angle greater than 140°.
  • the celestial body is preferably chosen from the group consisting of the sun, the moon, and any celestial body insofar as the characteristics of the camera allow its identification and its positioning and where the relative stellar positions are predictable with precision during time.
  • the celestial body is preferably the sun.
  • step a is preferably implemented, in particular between sunrise and sunset at said given location, on one or more days when the course of the sun is the longest, i.e. i.e. a summer day, and one or more days when there are few or no clouds in the sky.
  • the celestial body is used as a reference for the calibration, preferably the sun, which is a reliable source insofar as databases are available with high-performance algorithms making it possible to precisely calculate the theoretical position of the celestial body, in particular the sun, on which we wish to rely to calibrate the camera.
  • the calibration according to the invention also makes it possible to take into account the lack of parallelization of the camera with respect to the sky. This defect still exists because it is impossible to install the camera perfectly aligned and there is always a camera manufacturing defect such that lens and sensor are not parallel.
  • the steps of the calibration method according to the invention thus make it possible to have a precise calibration of the camera.
  • step by step to arrive at obtaining the complete model.
  • the number of photographs taken during the implementation of step a and processed may be between 20 and 1500 photographs, for example between 100 and 1500 photographs, in particular be between 500 and 1500 photographs, or even between 1000 and 1500 photographs .
  • the reliability of the calibration can be improved.
  • Steps a, b, c can be carried out simultaneously or not, in this order or not, step a being however necessarily implemented prior to step b.
  • Step b may include determining the position of the celestial body, in particular the sun, in each photograph using the intensity of the celestial body, in particular of the sun, in a given region of the photograph, by image processing using in particular a thresholding-type algorithm, step b also preferably comprising the determination of the coordinates (x s , y s ) in pixels of the body celestial, in particular the sun, in the center of said region.
  • Step c preferably comprises the determination, for each photograph, of the theoretical spherical coordinates (azimuth a, zenith ⁇ ) of the celestial body, in particular of the sun, by using a calculation algorithm on the basis of the position in longitude, latitude and camera altitude and based on the time and day the photograph was taken.
  • Step c may optionally include the calculation of the theoretical trajectory of the celestial body, in particular of the sun, during said day or days of shooting, or take such a calculation into account.
  • the calibration method according to the invention may further comprise a step d, for example after step c, consisting in carrying out, by comparison between the observed and theoretical trajectories of the celestial body, a correction of the center of each photograph, if necessary.
  • Step d includes in particular the performance of an optimization, in particular using specific software, so as to make the theoretical trajectory and the observed trajectory of the celestial body, in particular of the sun, coincide with the theoretical position of the celestial body , in particular of the sun, with respect to the center of the photograph at a given moment being expressed by re, the observed position of the celestial body, in particular of the sun, with respect to the center of the photograph at a given moment being expressed by
  • r photo ⁇ /(x — x c ) 2 + (y — y c ) 2 , with x c and y c the pixel coordinates of the center of the photograph, the objective of step d consisting preferably to minimize a function fi such that
  • step d the offset of the center of the camera can be corrected.
  • the center of the photograph is corrected by integrating the inaccuracy of pointing the camera on the point at the zenith of the celestial vault, as well as the inaccuracy of alignment between lens and sensor of the camera, which can be shifted by a few pixels between theory and practice. It should be noted that there is usually no possibility of completely correcting physically the centering of the camera, but it is possible to integrate this correction of the center in the rest of the calculations.
  • n, and rphoto are distances expressed in pixels between the position of the celestial body, notably the sun, real and theoretical respectively, at a given moment, and that of the center of the photograph.
  • the calibration method according to the invention may further comprise a step e, in particular after step c, consisting in determining, for example from the result of step d when present, a function representative of the distortion correction parameters proper on camera.
  • Linear regression step e advantageously makes it possible to find a single solution for the coefficients ki and fe, initially not determined.
  • the calibration method according to the invention may further comprise a step f, in particular after step c, for example after step e when present, consisting in determining the angle of azimuthal correction of the orientation of the camera in a universal landmark.
  • This step corresponds to a correction made in view of the usual conventions, with the East direction being at the right end of the sky dome of a photograph and the West direction being at the left end of the sky dome in a photograph. 'a photograph.
  • Step f therefore amounts to calculating the angle at sunrise of the celestial body, in particular of the sun, and to making the difference to correct the azimuth.
  • Steps d, e, f are not necessarily all present, although this is preferable for the quality of the result obtained.
  • steps d, e and f are preferably carried out in this order, i.e. step e after step d and step f after step e.
  • a correction can be introduced to take into consideration a possible lack of parallelism between sensor and camera lens, with the parameters t, u, v.
  • the final step we can perform a complete calibration of the camera, not limited to a local optimum, and taking into account the possible lack of parallelization between lens and sensor within the camera.
  • the invention thus makes it possible to define a global optimal and not only a local optimal.
  • Steps a to c, and, when present, steps d to f make it possible to determine the starting points of the optimization, to identify the initialization points of the global optimization for a complete and optimal calibration of the camera .
  • the optimization is nonlinear and the parameters are interrelated. If one of them changes, the others change too.
  • Steps d, e, f make it possible to improve the initialization of the corresponding parameters and thus make it possible to ensure convergence towards a global minimum. This convergence can however take place without these prior initialization steps d, e, and f.
  • the invention it is sought in particular to find the following parameters: x c , y c , ki, k2, correctionioria, t, u and v.
  • the parameters ki and allow you to correct the distortion, for example.
  • the shift effect between the observation plane (the sky) and the sensor plane due to the orientation of the camera relative to the sky and the parallelization between the lens and the sensor is corrected in particular using the parameters x c , y c , /, u and v.
  • the orientation is advantageously corrected with correction a .
  • the implementation of the steps of the method according to the invention makes it possible to find the parameters and therefore to carry out the calibration of the camera.
  • the calibration according to the invention makes it possible to correct a lack of parallelism between the camera and the sky, in particular if the camera has been incorrectly positioned. Calibration also makes it possible to alert of an accidental movement, or in time, of the camera, which allows a technician to come and put it back in place. Such a displacement can be slight, the precision being able to be within one or several millidegrees.
  • the model of the camera is preferably recorded and, during each cloudless day, an evaluation of the model of the camera can be carried out with respect to the celestial body, in particular the sun, detected. If a significant difference is detected, it is deduced that the camera has moved, and it is then necessary to implement once again all or part of the calibration method according to the invention.
  • At least one step of the calibration method according to the invention in particular the final step, can be repeated, for example at regular intervals, for example every day, in particular based on the results of the final step previously implemented . This makes it possible to quickly identify and diagnose a possible problem.
  • steps a, b, c which characterize the possible evolution of the position or the characteristics of the camera during course of time. This may indeed have been moved or see its characteristics change, for example in connection with vibrations, changes in temperature or other.
  • the final step can then be repeated based on the new data from steps a, b, c and taking, as initialization values from the parameters of the final step, the values found during the final step previously implemented.
  • the values of the parameters found during steps d, and/or e, and/or f, of the previous iteration can also be used as initialization parameters.
  • a further subject of the invention is an installation for calibrating an ultra-wide-angle camera for implementing the calibration method as defined above, the installation comprising an ultra-wide-angle camera oriented towards the sky and configured to photograph the sky, in particular at regular and/or predefined intervals, for example every minute, during one or more predefined days, a memory for recording the photographs taken by the camera, an image processing device configured to process the photographs taken by the camera, a database making it possible to calculate a theoretical position of the celestial body, in particular of the sun, on a photograph according to a position of the camera and a day and an hour given, and a mechanism for adjusting the relative position between the lens and the sensor of the camera.
  • Figure 1 partially shows, in cross section and in an exploded schematic view, the block diagram of an example of an ultra-wide-angle camera to be calibrated
  • FIG 2 figure 2 schematically represents in block diagram different stages of the calibration process according to the invention
  • Figure 3 is a photograph of the sky dome taken by an ultra-wide-angle camera, the photograph illustrating the position of the sun,
  • Figure 4 is a graph illustrating the elevation of the sun as a function of azimuth
  • FIG 5 figure 5 is a photograph taken by an ultra wide angle camera, on which the theoretical trajectories of the sun are represented for three different days,
  • figure 6 is a graph illustrating the theoretical trajectories of figure 5 and the observed trajectory of the sun using the camera, before optimization,
  • FIG 7 represents a portion of a photograph taken by the camera on which the observed center and the corrected center after optimization have been illustrated
  • figure 8 represents the graph of figure 6 on which the theoretical trajectories and the observed trajectory appear after optimization
  • Figure 9 is a graph illustrating the result of a linear regression carried out in step e of the method according to the invention from the theoretical trajectories and observed in Figures 5, 6 and 8,
  • Figure 10 is a graph illustrating the superposition of the theoretical and observed trajectories after implementation of the method according to the invention.
  • Figure 11 is a bar graph illustrating the error distance of the position of the sun in pixels as a function of the number of occurrences after implementation of the method according to the invention
  • Figure 12 is a bar graph illustrating the error distance of the abscissa position in pixels as a function of the number of occurrences after implementation of the method according to the invention.
  • Figure 13 is a bar graph illustrating the error distance of the ordinate position in pixels as a function of the number of occurrences after implementation of the method according to the invention.
  • FIG 1 Illustrated in Figure 1 a block diagram of camera 1 ultra wide angle also called “fisheye", viewing angle greater than 140 °, the calibration is performed using the calibration method according to invention.
  • the hemispherical lens 2 and the sensor 3 are visualized in particular, as well as an optical system 4 arranged between the lens 2 and the sensor 3 to allow the beam trajectories to be reoriented as visible in this figure.
  • Camera 1 used in the calculation example is a camera known as HIKVISION DS-2CD2955FWD-I marketed by the company HIKVISION.
  • the camera 1 is positioned at a given location on a fixed support while facing the sky. We know the longitude, latitude and altitude of the camera.
  • FIG. 2 schematically illustrates seven steps numbered from a to h of an exemplary method according to the invention.
  • Step a consists in taking, and recording in a memory, a series of panoramic photographs of the dome of the sky at regular intervals in this example, for example every minute, for one or more days, in particular from sunrise to sunset, from one celestial body, in this example the sun, preferably cloudless.
  • the day or days, in this example the three days, during which the photographs will be taken by the camera are chosen beforehand.
  • summer days have been chosen because the path of the sun is longer on these days over the field of view of the camera. For each photograph, the precise time it was taken is recorded by being associated with this photograph.
  • This step a advantageously makes it possible to obtain a large quantity of photographs, for example more than 500 photographs, in particular between 1000 and 1500 photographs, which contributes to the collection and storage of a large number of data in order to refine the calibration. of the camera.
  • Step b includes marking the position of the sun on each photograph, and determining the observed trajectory of the sun during said day or days.
  • step b the position of the sun in each photograph is sought using the intensity of the sun.
  • the region 21 of the sun is often saturated by the luminosity of the sun. Thanks to image processing using a thresholding type algorithm, known per se, this region 21 can be determined.
  • the position of the sun 22 in pixels is chosen to be the center of this region 21, as can be seen in FIG.
  • the position of the sun in pixels is denoted by the Cartesian coordinates x s and y s .
  • Step c consists in calculating, from a database of the expected position of the sun on the day and at the time of taking the photographs and the position of the camera, the theoretical position of the sun in the space for each photograph, and to calculate the theoretical trajectory of the sun during said day or days.
  • Figure 4 illustrates a graph using data from such a database showing the elevation of the sun as a function of its azimuth, expressed in degrees, for certain pre-selected days.
  • the azimuth of the sun is denoted a.
  • the elevation corresponds to 90° - 9, with 9 the zenith of the sun.
  • zenith 9 90°- elevation.
  • this type of data can be found on the website www.sunearthtools.com.
  • Step d aims to carry out, by comparison between the observed and theoretical trajectories of the sun, a correction of the center of each photograph, if necessary.
  • the camera is typically positioned when it is installed to be centered towards the zenith, that is to say towards the center of the sky vertically from the observation point.
  • the observed position of the sun on the/each photograph can be described by the equation: [Math the pixel coordinates of the center of the photograph.
  • the optimization is done for example by fmincon type function with the Matlab software.
  • the optimization makes it possible to find the new center of the photograph and, after optimization, the cubic function is more stuck on the real curve.
  • the corrected center 26' of the photograph is displayed in FIG. 7.
  • FIGS. 6 and 8 represent the trajectories, theoretical 25 and observed 27, of the sun, reported in the same frame, with an abscissa and an ordinate expressed in pixels, respectively before and after optimization.
  • the curves 25 and 27 are substantially dissociated in Figure 6, before optimization, while they substantially overlap in Figure 8. Only a few aberrations 30 are visible around the single trajectory visible in this figure.
  • Step e which follows step d makes it possible to determine a linear function representative of the correction parameters specific to the camera from the result of step d.
  • This step aims to determine the distortion correction by an analytical function.
  • Step f consists in determining the angle of horizontal correction of the orientation of the camera in a universal frame. Indeed, the camera can be oriented with a different angle from the south. This step thus makes it possible to correct this difference. Since the camera is stationary, this is an easy step.
  • Step g makes it possible to introduce a correction to take into consideration a possible lack of parallelism between sensor and lens of the camera.
  • This correction of parallelism can be made by a linear correction on the coordinates in x and y of the position of the sun by the introduction of factors t, u, v such as:
  • step h involves performing a global optimization of the camera calibration from steps d to f.
  • Step h includes solving all of the following equations:
  • Correction and y c° rrectlon form the coordinates of the sun as a function of the zenith 9, on the photograph and in a theoretical way taking into account a correction of a possible lack of parallelization between the lens and the sensor within the camera.
  • Figure 10 shows the trajectories of the theoretical and observed sun superimposed, after optimization in a Cartesian coordinate system in pixels. It can be seen that only a few aberrations 31 remain, due for example to a cloudy period or to dirt on the camera when the photograph was taken.
  • Figure 11 illustrates the number of occurrences as a function of the deviation from the expected distance which is 0. We see an expected peak at 0 and a slight dispersion on either side of this peak, which corresponds to the error distance of the pixel sun.
  • Figure 12 details these deviations on the X axis, illustrating the number of occurrences as a function of distance deviation.
  • Figure 13 details these deviations on the Y axis by illustrating the number of occurrences as a function of the distance deviation.
  • steps a, b, c which characterize the possible evolution of the position or the characteristics of the camera during course of time. This may indeed have been moved or see its characteristics change, for example in connection with vibrations, changes in temperature or other.
  • the values of the parameters found during steps d, and/or e, and/or f, of the previous iteration can also be used as initialization parameters.
  • the invention is not limited to the example which has just been described.
  • a celestial body other than the sun for example the moon or any celestial body in relative motion capable of being identified and followed in its movement by the field of view of the camera.
  • Steps d, e and f may not be implemented, in which case only steps a, b and c and the final step are implemented to perform the calibration, also including step g. Only one or some of steps d, e and f can be implemented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Procédé de calibrage d'une caméra ultra grand angle comportant un capteur et une lentille, positionnée à un endroit donné en étant tournée vers le ciel, le procédé comportant les étapes suivantes: Etape a : réaliser une série de photographies panoramiques du dôme du ciel pendant une ou plusieurs journées; Etape b : repérer sur chaque photographie la position d'un corps céleste et déterminer, à l'aide de ladite série de photographies, la trajectoire observée du corps céleste au cours de ladite ou desdites journées; Etape c : calculer, à partir d'une base de données de la position attendue du corps céleste au jour et à l'heure de la prise des photographies et de la position de la caméra, la position théorique du corps céleste dans l'espace pour chaque photographie; Etape finale : déterminer les paramètres de correction en réalisant une optimisation globale du calibrage de la caméra en résolvant simultanément par optimisation différentes équations de correction.

Description

Description
Titre : Procédé de calibrage d’une caméra ultra grand angle
Domaine technique
La présente invention concerne les caméras ultra grand angle, encore appelées caméras « fisheye » pour « œil de poisson » en anglais. Plus particulièrement, l’invention concerne un procédé de calibrage d’une caméra ultra grand angle. Le calibrage est synonyme d’étalonnage, souvent nommé calibration par référence à sa traduction en anglais.
Technique antérieure
Le calibrage d’une caméra ultra grand angle est bien entendu très utile voire nécessaire pour permettre de traiter finement et précisément les données acquises par la caméra.
Par exemple, dans le domaine de la prédiction de la production d’une centrale photovoltaïque, il est connu d’utiliser une caméra ultra grand angle pour l’observation du ciel et des nuages afin d’en déduire la production de la centrale. Le calibrage de la caméra permet en particulier de supprimer la distorsion pour améliorer la détection de nuages sur la photographie et donc permet d’améliorer la prédiction de la production photovoltaïque à venir.
Pour calibrer une caméra grand angle, il est connu d’utiliser des motifs comme un damier avec plusieurs photographies. Un tel procédé de calibrage est décrit dans la publication de Scaramuzza, Martinelli and Siegwart, intitulée “A Toolbox for Easily Calibrating Omnidirectional Cameras. ” Cette manière de procéder, très complète, permet de calibrer la caméra d’une part en supprimant la distorsion et d’autre part en corrigeant le désalignement entre la lentille et le capteur de la caméra. Cependant, elle nécessite la présence d’un technicien pour effectuer le calibrage.
On connaît par ailleurs la réalisation d’un calibrage d’une caméra ultra grand angle en utilisant la position du soleil, comme décrit dans la publication de Caldas and Alonso- Suarez, intitulée “Very Short-Term Solar Irradiance Forecast Using All-Sky Imaging and Real-Time Irradiance Measurements. ” Cependant, ce calibrage reste incomplet car seul le cas où la lentille est parfaitement alignée avec le capteur est traité.
Il existe donc un besoin pour bénéficier d’un procédé de calibrage d’une caméra ultra grand angle qui soit complet, permettant à la fois de traiter le problème de distorsion et celui de désalignement entre la lentille et le capteur de la caméra, et qui ne nécessite pas l’intervention d’un technicien.
Exposé de l’invention
L’invention vise à satisfaire ce besoin et elle y parvient, en tout ou partie, grâce à un procédé de calibrage d’une caméra ultra grand angle comportant un capteur et une lentille, positionnée à un endroit donné en étant tournée vers le ciel, le procédé comportant les étapes suivantes :
- Etape a : réaliser une série de photographies panoramiques du dôme du ciel, notamment à intervalles réguliers, pendant une ou plusieurs journées, de préférence sans nuages,
- Etape b : repérer sur chaque photographie la position d’un corps céleste, notamment du soleil, et déterminer, à l’aide de ladite série de photographies, la trajectoire observée du corps céleste, notamment du soleil, au cours de ladite ou desdites journées,
- Etape c : calculer, à partir d’une base de données de la position attendue du corps céleste, notamment du soleil, au jour et à l’heure de la prise des photographies et de la position de la caméra, la position théorique du corps céleste, notamment du soleil, dans l’espace pour chaque photographie,
- Etape finale : déterminer les paramètres de correction en réalisant une optimisation globale du calibrage de la caméra en résolvant simultanément par optimisation des équations :
• de correction du centre de la caméra,
• de correction de distorsion de la caméra,
• de correction de l’orientation en azimut de la caméra,
• de correction d’un défaut de parallélisme entre le capteur et la lentille de la caméra, avec l’objectif de minimiser une fonction d’erreur entre
- les (xs, ys), les coordonnées en pixel du corps céleste, notamment du soleil,
- et les coordonnées du corps céleste, notamment du soleil, en fonction du zénith 9, de manière théorique prenant en compte l’ensemble des corrections précédentes, cette fonction d’erreur pouvant prendre notamment la forme de la fonction fi telle que
[Math
De préférence, la mise en œuvre de l’étape finale s’appuie sur certaines ou l’ensemble du système d’équations suivantes représentatif des différentes corrections : avec :
• (xs, ys) les coordonnées en pixel du corps céleste, notamment du soleil,
• (azimut a, zénith 9) les coordonnées sphériques théoriques du corps céleste, notamment du soleil,
• xc et yc les coordonnées en pixel du centre de la photographie,
• re la position théorique du corps céleste, notamment du soleil, par rapport au centre de la photographie à un instant donné,
• rPhoto la position observée du corps céleste, notamment du soleil, par rapport au centre de la photographie à un instant donné,
• correction^, la correction azimut de l’angle azimut a,
• xc°rrectlon et y^orrectlon formant les coordonnées du corps céleste, notamment du soleil, en fonction du zénith 9, sur la photographie et de manière théorique prenant en compte une correction d’un éventuel défaut de parallélisation entre la lentille et le capteur au sein de la caméra, et
• l, u, v des paramètres de la caméra.
Grâce à l’invention, on bénéficie d’un calibrage de la caméra à la fois performant et autonome, ne nécessitant pas l’intervention spécifique d’un technicien. Par « caméra ultra grand angle », on entend une caméra type fisheye, c’est-à-dire avec un angle d’observation supérieur à 140°.
Le corps céleste est de préférence choisi dans le groupe constitué par le soleil, la lune, et tout corps céleste dans la mesure où les caractéristiques de la caméra permettent son identification et son positionnement et où les positions stellaires relatives sont prédictibles avec la précision au cours du temps. Le corps céleste est de préférence le soleil.
Lorsque le corps céleste est le soleil, l’étape a est de préférence mise en œuvre, notamment entre le lever et le coucher du soleil audit endroit donné, un ou plusieurs jours où la course du soleil est la plus longue, c’est-à-dire un jour d’été, et un ou plusieurs jours où il n’y a pas ou peu de nuages dans le ciel.
Dans l’invention, on utilise comme référence pour le calibrage le corps céleste, de préférence le soleil, qui est une source fiable dans la mesure où l’on dispose de bases de données avec des algorithmes performants permettant de calculer précisément la position théorique du corps céleste, notamment du soleil, sur laquelle on souhaite s’appuyer pour calibrer la caméra.
Le calibrage selon l’invention permet également de prendre en compte le défaut de parallélisation de la caméra par rapport au ciel. Ce défaut existe toujours, car il est impossible d’installer la caméra de manière parfaitement alignée et qu’il y a toujours un défaut de fabrication de caméra de telle sorte que lentille et capteur ne sont pas parallèles.
Les étapes du procédé de calibrage selon l’invention permettent ainsi d’avoir un calibrage précis de la caméra.
Pour réaliser le calibrage, on procède de préférence étape par étape pour arriver à obtenir le modèle complet.
Le nombre de photographies prises lors de la mise en œuvre de l’étape a et traitées peut être compris entre 20 et 1500 photographies, par exemple entre 100 et 1500 photographies, notamment être compris entre 500 et 1500 photographies, voire entre 1000 et 1500 photographies. En utilisant un grand nombre de photographies traitées, on peut améliorer la fiabilité du calibrage.
Les étapes a, b, c peuvent être réalisées simultanément ou non, dans cet ordre ou non, l’étape a étant cependant nécessairement mise en œuvre préalablement à l’étape b.
L’étape b peut comporter la détermination de la position du corps céleste, notamment du soleil, dans chaque photographie à l’aide de l’intensité du corps céleste, notamment du soleil, dans une région donnée de la photographie, par traitement d’image en utilisant notamment un algorithme de type seuillage, l’étape b comportant en outre de préférence la détermination des coordonnées (xs, ys) en pixel du corps céleste, notamment du soleil, au centre de ladite région.
L’étape c comporte de préférence la détermination, pour chaque photographie, des coordonnées sphériques (azimut a, zénith 9) théoriques du corps céleste, notamment du soleil, en utilisant un algorithme de calcul sur la base de la position en longitude, latitude et altitude de la caméra et sur la base de l’heure et du jour de prise de la photographie.
L’étape c peut éventuellement comporter le calcul de la trajectoire théorique du corps céleste, notamment du soleil, au cours de ladite ou desdites journées de prises de vue, ou prendre en compte un tel calcul.
Le procédé de calibrage selon l’invention peut comporter encore une étape d, par exemple après l’étape c, consistant à effectuer, par comparaison entre les trajectoires observée et théorique du corps céleste, une correction du centre de chaque photographie, si nécessaire.
L’étape d comporte notamment la réalisation d’une optimisation, notamment à l’aide d’un logiciel spécifique, de manière à faire coïncider la trajectoire théorique et la trajectoire observée du corps céleste, notamment du soleil, la position théorique du corps céleste, notamment du soleil, par rapport au centre de la photographie à un instant donné étant exprimée par re, la position observée du corps céleste, notamment du soleil, par rapport au centre de la photographie à un instant donné étant exprimée par
[Math 1] rphoto = ^/(x — xc)2 + (y — yc)2, avec xc et yc les coordonnées en pixel du centre de la photographie, l’objectif de l’étape d consistant de préférence à minimiser une fonction fi telle que
[Math 2] = £|re - rphoto\.
Grâce à l’étape d, le décalage du centre de la caméra peut être corrigé. On corrige notamment le centre de la photographie en intégrant l’imprécision de pointage de la caméra sur le point au zénith de la voûte céleste, ainsi que l’imprécision d’alignement entre lentille et capteur de la caméra, qui peut être décalé de quelques pixels entre la théorie et la pratique. Il est à noter qu’il n’y a généralement pas de possibilité de corriger complètement physiquement le centrage de la caméra, mais il est possible d’intégrer cette correction du centre dans la suite des calculs.
Le logiciel spécifique pour l’optimisation peut être le logiciel Matlab avec une fonction type fmincon. n, et rphoto sont des distances exprimées en pixel entre la position du corps céleste, notamment du soleil, réelle et théorique respectivement, à un instant donné, et celle du centre de la photographie.
Le procédé de calibrage selon l’invention peut comporter encore une étape e, notamment après l’étape c, consistant à déterminer, par exemple à partir du résultat de l’étape d lorsque présente, une fonction représentative des paramètres de correction de distorsion propres à la caméra.
L’étape e peut comporter, en partant de la position théorique connue du corps céleste, notamment du soleil, pour la caméra ultra grand angle répondant à la formule mathématique [Math 4] re = k4 sin + k2, la réalisation d’une régression linéaire pour minimiser la fonction fi telle que [Math 2] = |re — rphoto \ et initialiser les coefficients ki et k2.
L’étape e de régression linéaire permet avantageusement de trouver une solution unique pour les coefficients ki et fe, initialement non déterminés.
L’équation de re est donnée par exemple par la transformation de Taylor.
Le calcul de re est effectué par [Math 4] re = k4 sin + k2 ou par une fonction polynomiale d’ordre 3 de type [Math 9] re = a4 + a20 + a302 + a403 ou par une fonction polynomiale d’ordre supérieur à 3.
Le procédé de calibrage selon l’invention peut comporter encore une étape f, notamment après l’étape c, par exemple après l’étape e lorsque présente, consistant à déterminer l’angle de correction azimutale de l’orientation de la caméra dans un repère universel.
L’étape f comporte de préférence la correction azimut d’un angle azimut dont l’équation est : [Math 5] apfl0t0 = — atan _^c, la correction azimut étant définie par [Math 6] correctiona = a — aphoto, étant établi que si correctiona est supérieur à -90°, alors on ajoute 180° correctiona. Cette étape correspond à une correction apportée au vu des conventions habituelles, avec la direction Est se trouvant à l’extrémité à droite du dôme du ciel d’une photographie et la direction Ouest se trouvant à l’extrémité à gauche du dôme du ciel d’une photographie. Cela revient ainsi à corriger la trajectoire pour déplacer angulairement la position du corps céleste, notamment du soleil, au lever sur l’axe central horizontal et la position du corps céleste, notamment du soleil, au coucher sur ce même axe. L’étape f revient donc à calculer l’angle au lever du corps céleste, notamment du soleil et à faire la différence pour corriger l’azimut.
Les étapes d, e, f ne sont pas nécessairement toutes présentes bien que ce soit préférentiel pour la qualité du résultat obtenu. Lorsque présentes, les étapes d, e et f sont de préférence réalisées dans cet ordre, c’est-à-dire étape e après étape d et étape f après étape e.
Avant mise en œuvre de l’étape finale, on peut introduire une correction pour prendre en considération un éventuel défaut de parallélisme entre capteur et lentille de la caméra, avec les paramètres t, u, v.
Grâce à l’étape finale, on peut réaliser un calibrage complet de la caméra, non limité à un optimal local, et prenant en compte le défaut possible de parallélisation entre lentille et capteur au sein de la caméra. L’invention permet ainsi de définir un optimal global et non pas seulement un optimal local.
Les étapes a à c, et, lorsque présentes, les étapes d à f permettent de déterminer les points de départ de l’optimisation, d’identifier les points d’initialisation de l’optimisation globale pour un calibrage complet et optimal de la caméra. En effet, l’optimisation est non linéaire et les paramètres sont liés entre eux. Si l’un d’eux est modifié, les autres le sont aussi.
Les étapes d, e, f permettent d’améliorer l’initialisation des paramètres correspondants et permettent ainsi de s’assurer d’une convergence vers un minimum global. Cette convergence peut cependant avoir lieu sans ces étapes d, e, et f d’initialisation préalables.
Dans l’invention, on cherche notamment à trouver les paramètres suivants : xc, yc, ki, k2, correctioria, t, u et v. On cherche de préférence en effet à optimiser ces paramètres pour le calibrage. Les paramètres ki et permettent de corriger la distorsion par exemple. L’effet de décalage entre le plan d’observation (le ciel) et le plan du capteur dû à l’orientation de la caméra par rapport au ciel et à la parallélisation entre la lentille et le capteur est corrigé notamment à l’aide des paramètres xc, yc, /, u et v. Enfin, l’orientation est avantageusement corrigée avec correctiona. La mise en œuvre des étapes du procédé selon l’invention permet de trouver les paramètres et donc d’effectuer le calibrage de la caméra.
Le calibrage selon l’invention permet de corriger un défaut de parallélisme entre la caméra et le ciel, notamment si la caméra a été mal positionnée. Le calibrage permet également d’alerter d’un déplacement accidentel, ou dans le temps, de la caméra, ce qui permet à un technicien de venir la remettre en place. Un tel déplacement peut être léger, la précision pouvant être à un ou plusieurs milli degrés près.
Le modèle de la caméra est de préférence enregistré et, au cours de chaque journée sans nuage, on peut réaliser une évaluation du modèle de la caméra par rapport au corps céleste, notamment au soleil, détecté. Si une différence importante est détectée, on en déduit que la caméra a bougé, et il est alors nécessaire de mettre en œuvre une nouvelle fois tout ou partie du procédé de calibrage selon l’invention.
Au moins une étape du procédé de calibrage selon l’invention, notamment l’étape finale, peut être réitérée, par exemple à intervalles réguliers, par exemple chaque jour, notamment en se basant sur les résultats de l’étape finale précédemment mise en œuvre. Cela permet d’identifier et diagnostiquer rapidement un éventuel problème.
Lors de calibrages successifs effectués à différents moments au fil du temps, on pourra s’appuyer sur de nouvelles données capturées et calculées pour les étapes a, b, c, qui caractérisent l’éventuelle évolution de la position ou des caractéristiques de la caméra au cours du temps. Celle-ci peut en effet avoir été déplacée ou voir ses caractéristiques évoluer par exemple en lien avec des vibrations, des changements de température ou autres. Afin de re-calibrer la caméra ainsi qu’identifier une éventuelle évolution pouvant justifier une intervention, on peut alors réitérer l’étape finale en se basant sur les nouvelles données des étapes a, b, c et en prenant, comme valeurs d’initialisation des paramètres de l’étape finale, les valeurs trouvées lors de l’étape finale précédemment mise en œuvre. Alternativement, les valeurs des paramètres trouvés lors des étapes d, et/ou e, et/ou f, de la précédente itération peuvent également servir de paramètres d’initialisation.
Une évolution notable des paramètres issus de l’étape finale, lors d’un recalibrage, par rapport à une itération précédente de l’étape finale, illustre un changement ayant lieu au niveau de la caméra. Ceci peut permettre de diagnostiquer un problème sur la caméra et déclencher une intervention d’un opérateur. L’invention a encore pour objet, en combinaison avec ce qui précède, une installation de calibrage d’une caméra ultra grand angle pour la mise en œuvre du procédé de calibrage tel que défini plus haut, l’installation comportant une caméra ultra grand angle orientée vers le ciel et configurée pour photographier le ciel, notamment à intervalles réguliers et/ou prédéfinis, par exemple chaque minute, pendant une ou plusieurs journées prédéfinies, une mémoire pour enregistrer les photographies prises par la caméra, un dispositif de traitement d’images configuré pour traiter les photographies prises par la caméra, une base de données permettant de calculer une position théorique du corps céleste, notamment du soleil, sur une photographie en fonction d’une position de la caméra et d’un jour et d’une heure donnés, et un mécanisme d’ajustement de la position relative entre la lentille et le capteur de la caméra.
Brève description des dessins
L’invention pourra être mieux comprise à la lecture de la description détaillée qui va suivre, d’un exemple de mise en œuvre non limitatifs de celle-ci, et à l’examen du dessin annexé, sur lequel :
[Fig 1] la figure 1 représente partiellement, en coupe transversale et en vue schématique éclatée, le schéma de principe d’un exemple de caméra ultra grand angle à calibrer,
[Fig 2] la figure 2 représente schématiquement en schéma blocs différentes étapes du procédé de calibrage selon l’invention,
[Fig 3] la figure 3 est une photographie du dôme du ciel prise par une caméra ultra grand angle, la photographie illustrant la position du soleil,
[Fig 4] la figure 4 est un graphe illustrant l’élévation du soleil en fonction de l’azimut,
[Fig 5] la figure 5 est une photographie prise par une caméra ultra grand angle, sur laquelle on a représenté les trajectoires théoriques du soleil pour trois journées différentes,
[Fig 6] la figure 6 est un graphe illustrant les trajectoires théoriques de la figure 5 et la trajectoire observée du soleil à l’aide de la caméra, avant optimisation,
[Fig 7] la figure 7 représente une portion d’une photographie prise par la caméra sur laquelle on a illustré le centre observé et le centre corrigé après optimisation, [Fig 8] la figure 8 représente le graphe de la figure 6 sur lequel les trajectoires théoriques et la trajectoire observée figurent après optimisation,
[Fig 9] la figure 9 est un graphe illustrant le résultat d’une régression linéaire effectuée à l’étape e du procédé selon l’invention à partir des trajectoires théoriques et observée des figures 5, 6 et 8,
[Fig 10] la figure 10 est un graphe illustrant la superposition des trajectoires théorique et observée après mise en œuvre du procédé selon l’invention,
[Fig 11] la figure 11 est un graphique en bâtons illustrant la distance d’erreur de la position du soleil en pixels en fonction du nombre d’occurrences après mise en œuvre du procédé selon l’invention,
[Fig 12] la figure 12 est un graphique en bâtons illustrant la distance d’erreur de la position en abscisse en pixels en fonction du nombre d’occurrences après mise en œuvre du procédé selon l’invention, et
[Fig 13] la figure 13 est un graphique en bâtons illustrant la distance d’erreur de la position en ordonnée en pixels en fonction du nombre d’occurrences après mise en œuvre du procédé selon l’invention.
Description détaillée
Dans la suite de la description, les éléments identiques ou de fonctions identiques portent le même signe de référence. A des fins de concision de la présente description, ils ne sont pas décrits en regard de chacune des figures, seules les différences entre les modes de réalisation étant décrites.
On a illustré à la figure 1 un schéma de principe de caméra 1 ultra grand angle encore appelée « fisheye », d’angle d’observation supérieur à 140°, dont le calibrage est effectué à l’aide du procédé de calibrage selon l’invention. Sur la figure 1, on visualise en particulier la lentille 2, hémisphérique et le capteur 3, ainsi qu’un système optique 4 disposé entre la lentille 2 et le capteur 3 pour permettre de réorienter les trajectoires de faisceaux comme visible sur cette figure.
La caméra 1 utilisée dans l’exemple de calcul est une caméra connue sous le nom HIKVISION DS-2CD2955FWD-I commercialisée par la société HIKVISION.
Pour la mise en œuvre du procédé selon l’invention, la caméra 1 est positionnée à un endroit donné sur un support fixe en étant tournée vers le ciel. On connaît la longitude, la latitude et l’altitude de la caméra. La figure 2 illustre schématiquement sept étapes numérotées de a à h d’un exemple de procédé selon l’invention.
L’étape a consiste à réaliser, et enregistrer dans une mémoire, une série de photographies panoramiques du dôme du ciel à intervalles dans cet exemple réguliers, par exemple toutes les minutes, pendant une ou plusieurs journées notamment du lever au coucher, d’un corps céleste, dans cet exemple du soleil, de préférence sans nuages. On choisit au préalable, en fonction de la météo et de la période annuelle, la ou les journées, dans cet exemple les trois journées, au cours desquelles les photographies seront prises parla caméra. On sélectionne des jours qui présentent des conditions avec un ciel ouvert ce qui permet de mieux identifier la position du soleil sur chaque photographie. Dans l’exemple illustré, des journées d’été ont été choisies parce que la trajectoire du soleil est plus longue ces journées là sur le champ d’observation de la caméra. Pour chaque photographie, l’heure précise de sa prise de vue est enregistrée en étant associée à cette photographie.
Cette étape a permet avantageusement d’obtenir une grande quantité de photographies, par exemple plus de 500 photographies, notamment entre 1000 et 1500 photographies, ce qui participe à la collecte et la mémorisation d’un grand nombre de données afin d’affiner le calibrage de la caméra.
L’étape b comporte le repérage sur chaque photographie de la position du soleil, et la détermination de la trajectoire observée du soleil au cours de ladite ou desdites journées.
Plus précisément, on recherche, au cours de l’étape b, la position du soleil dans chaque photographie grâce à l’intensité du soleil. Comme visible sur la figure 3 montrant une photographie du dôme du ciel 20 prise par la caméra 1, la région 21 du soleil est souvent saturée par la luminosité du soleil. Grâce à un traitement d’images en utilisant un algorithme de type seuillage, connu en soi, on peut déterminer cette région 21. On choisit que la position du soleil 22 en pixel soit le centre de cette région 21, comme visible sur la figure 3. La position du soleil en pixel est notée par les coordonnées cartésiennes xs et ys.
L’étape c consiste à calculer, à partir d’une base de données de la position attendue du soleil au jour et à l’heure de la prise des photographies et de la position de la caméra, la position théorique du soleil dans l’espace pour chaque photographie, et à calculer la trajectoire théorique du soleil au cours de ladite ou desdites journées.
La figure 4 illustre un graphe utilisant des données d’une telle base de données montrant l’élévation du soleil en fonction de l’azimut de celui-ci, exprimés en degrés, pour certains jours présélectionnés. L’azimut du soleil est noté a. L’élévation correspond à 90° - 9, avec 9 le zénith du soleil. Ainsi, zénith 9 = 90°- élévation. On peut par exemple trouver ce type de données sur le site internet www.sunearthtools.com.
On peut ainsi tracer, comme visible sur la figure 5, sur une photographie prise par la caméra 1, les trajectoires théoriques 25 du soleil, c’est-à-dire de la position théoriquement prise par le soleil 22 correspondant au centre de la région 21, au cours de plusieurs journées, dans cet exemple de trois journées, notées respectivement 25a, 25b et 25c. On visualise également le centre 26 de la photographie sur cette figure, avant correction.
L’étape d vise à effectuer, par comparaison entre les trajectoires observée et théorique du soleil, une correction du centre de chaque photographie, si nécessaire.
La caméra est typiquement positionnée lors de son installation pour être centrée vers le zénith, c’est-à-dire vers le centre du ciel à la verticale du point d’observation. L’objectif de cette étape est de corriger le centrage de la caméra. En effet, en raison de la mise en place et/ou d’un défaut de fabrication de la caméra, la caméra peut ne pas être parfaitement centrée. Cette distorsion peut être corrigée par une fonction cubique d’angle zénith : [Math 9] re = a + a20 + a302 + a403.
On peut également utiliser l’équation sinusoïdale suivante : [Math 4] r0 = k sin ) + k2.
La position observée du soleil sur la/chaque photographie peut être décrite par l’équation : [Math les coordonnées en pixel du centre de la photographie.
Pour la mise en œuvre de cette étape d, on réalise une optimisation pour trouver le nouveau centre de la photographie, ou les coordonnées corrigées du centre de la photographie, et la fonction cubique adaptée en minimisant la fonction fi suivante : [Math 2] /j = |re — rphoto \, rg et rphoto étant des distances, exprimées en pixel, entre la position du soleil, réelle et théorique respectivement, à un instant donné, et celle du centre de la photographie.
L’optimisation est faite par exemple par fonction type fmincon avec le logiciel Matlab.
L’optimisation permet de trouver le nouveau centre de la photographie et, après optimisation, la fonction cubique est plus collée sur la courbe réelle. On visualise sur la figure 7 le centre 26’ corrigé de la photographie. Dans l’exemple illustré, les coordonnées du centre 26, avant correction sont xc=1024 pixels et yc=768. Après optimisation, les coordonnées du centre 26’ sont xc=983,l et yc=767,4.
Les figures 6 et 8 représentent les trajectoires, théoriques 25 et observée 27, du soleil, rapportées dans un même repère, avec une abscisse et une ordonnée exprimées en pixels, respectivement avant et après optimisation. On voit que les courbes 25 et 27 sont sensiblement dissociées sur la figure 6, avant optimisation, tandis qu’elles se recouvrent sensiblement sur la figure 8. Seules quelques aberrations 30 sont visibles autour de l’unique trajectoire visible sur cette figure.
On peut utiliser pour cette étape d, à la place de la fonction cubique indiquée ci- dessus, une autre fonction, d’ordre supérieur à 3 ou sinusoïdale comme indiqué ci-dessus également.
L’étape e qui suit l’étape d permet de déterminer une fonction linéaire représentative des paramètres de correction propres à la caméra à partir du résultat de l’étape d. Cette étape vise à déterminer la correction de distorsion par une fonction analytique. Pour cela, on suppose que la caméra 1 grand angle type fisheye peut être présentée par l’équation [Math 4] re = k sin + k2. L’étape e consiste à réaliser une régression linéaire pour minimiser la fonction fi : [Math 2] = |re — rphoto \.
La figure 9 illustre la distance du soleil au centre en pixels en fonction de sin(9/2). On peut ainsi trouver une valeur unique pour les coefficients ki et fe. Dans cet exemple, ki= 165,0832 et fe=-l,8307119.
L’étape f consiste à déterminer l’angle de correction horizontale de l’orientation de la caméra dans un repère universel. En effet, la caméra peut être orientée avec un angle différent du sud. Cette étape permet ainsi de corriger cette différence. Comme la caméra est immobile, c’est une étape aisée. On détermine l’angle azimut dans la photographie grâce à cette équation : [Math 5] a.p oto = — atan _^c, la correction azimut étant définie par [Math 6] correction^ = a — aphoto, étant établi que si correctiona est supérieur à -90°, alors on ajoute 180° correctiona.
L’étape g permet d’introduire une correction pour prendre en considération un éventuel défaut de parallélisme entre capteur et lentille de la caméra. Cette correction de parallélisme peut être faite par une correction linéaire sur les coordonnées en x et y de la position du soleil par l’introduction de facteurs t, u ,v tels que :
[Math 10] Xg orrectlon = t x xg + u x yg + xc et
[Math
En l’absence de défaut de parallélisme, on aurait t=l, u = 0 et v = 0. Dans la pratique, ces trois paramètres sont déterminés par l’optimisation de l’étape h ci-dessous, en utilisant /=1, u = 0 et v = 0 comme valeurs d’initialisation.
Enfin, l’étape h, finale, comporte la réalisation d’une optimisation globale du calibrage de la caméra à partir des étapes d à f.
L’étape h comporte la résolution de l’ensemble des équations suivantes :
[Math 8] f xg orrectlon\ + |ys — y^orrection^ jans lequel xc et yc sont initialisés par le résultat de l’étape d, ki sont initialisés par le résultat de l’étape e, correctiona est initialisé par le résultat de l’étape f, et /, u et v sont initialisés respectivement par les valeurs 1, 0 et 0, par défaut (liées au modèle de la caméra). xg et ye forment les coordonnées du soleil en fonction du zénith 9, sur la photographie et de manière théorique.
Correction et yc°rrectlon forment les coordonnées du soleil en fonction du zénith 9, sur la photographie et de manière théorique prenant en compte une correction d’un éventuel défaut de parallélisation entre la lentille et le capteur au sein de la caméra.
Il s’agit d’une optimisation non linéaire, il est nécessaire d’initialiser tous les paramètres mentionnés ci-dessus : xc et yc, ki et fe, correctiona et /, u et v, sur la base de valeurs initiales bien choisies pour ne pas converger vers un optimum local, qui ne correspondrait pas à l’optimum global. Grâce à la mise en œuvre du procédé permettant la détermination de valeurs initiales pertinentes des paramètres avant l’optimisation finale globale, on obtient un calibrage tout à fait satisfaisant comme en témoignent les figures 10 à 13.
On visualise sur la figure 10 les trajectoires du soleil théorique et observées superposées, après optimisation dans un repère cartésien en pixel. On constate qu’il ne demeure que quelques aberrations 31, dues par exemple à un passage nuageux ou à une salissure de la caméra lorsqu’on a pris la photographie.
La figure 11 illustre les occurrences en nombre en fonction de l’écart à la distance attendue qui est 0. On voit un pic attendu à 0 et une légère dispersion de part et d’autre de ce pic, qui correspond à la distance erreur du soleil en pixel.
La figure 12 détaille ces écarts sur l’axe X, en illustrant le nombre d’occurrences en fonction de l’écart de distance. La figure 13 détaille quant à elle ces écarts sur l’axe Y en illustrant le nombre d’occurrences en fonction de l’écart de distance.
La trajectoire du soleil est bien estimée avec une précision moyenne de 1.8 pixels. Cette précision répond au besoin industriel, en particulier dans le cas de la prédiction de la production photovoltaïque.
Lors de calibrages successifs effectués à différents moments au fil du temps, on pourra s’appuyer sur de nouvelles données capturées et calculées pour les étapes a, b, c, qui caractérisent l’éventuelle évolution de la position ou des caractéristiques de la caméra au cours du temps. Celle-ci peut en effet avoir été déplacée ou voir ses caractéristiques évoluer par exemple en lien avec des vibrations, des changements de température ou autres. Afin de re-calibrer la caméra ainsi qu’identifier une éventuelle évolution pouvant justifier une intervention, on peut alors réitérer l’étape finale h en se basant sur les nouvelles données des étapes a, b, c et en prenant, comme valeurs d’initialisation des paramètres de l’étape finale h, les valeurs trouvées lors de l’étape finale h précédemment mise en œuvre. Alternativement, les valeurs des paramètres trouvés lors des étapes d, et/ou e, et/ou f, de la précédente itération peuvent également servir de paramètres d’initialisation.
Une évolution notable des paramètres issus de l’étape finale h, lors d’un recalibrage, par rapport à une itération précédente de l’étape finale h, illustre un changement ayant lieu au niveau de la caméra. Ceci peut permettre de diagnostiquer un problème sur la caméra et déclencher une intervention d’un opérateur. Bien entendu, l’invention n’est pas limitée à l’exemple qui vient d’être décrit. En particulier, on peut utiliser, comme point de repère, un autre corps céleste que le soleil, par exemple la lune ou tout corps céleste en mouvement relatif capable d’être identifié et suivi dans son mouvement par le champ de vision de la caméra. Les étapes d, e et f peuvent ne pas être mises en œuvre, auquel cas seules les étapes a, b et c ainsi que l’étape finale sont mises en œuvre pour effectuer le calibrage, en incluant également l’étape g. Seules une ou certaines des étapes d, e et f peuvent être mises en œuvre.

Claims

Revendications
1. Procédé de calibrage d’une caméra ultra grand angle comportant un capteur et une lentille, positionnée à un endroit donné en étant tournée vers le ciel, le procédé comportant les étapes suivantes :
- Etape a : réaliser une série de photographies panoramiques du dôme du ciel pendant une ou plusieurs journées,
- Etape b : repérer sur chaque photographie la position d’un corps céleste, notamment du soleil, et déterminer, à l’aide de ladite série de photographies, la trajectoire observée du corps céleste, notamment du soleil, au cours de ladite ou desdites journées,
- Etape c : calculer, à partir d’une base de données de la position attendue du corps céleste, notamment du soleil, au jour et à l’heure de la prise des photographies et de la position de la caméra, la position théorique du corps céleste, notamment du soleil, dans l’espace pour chaque photographie,
- Etape finale : déterminer les paramètres de correction en réalisant une optimisation globale du calibrage de la caméra en résolvant simultanément par optimisation des équations :
• de correction du centre de la caméra,
• de correction de distorsion de la caméra,
• de correction de l’orientation en azimut de la caméra,
• de correction d’un défaut de parallélisme entre le capteur et la lentille de la caméra, avec l’objectif de minimiser une fonction d’erreur entre
- les (xs, ys), les coordonnées en pixel du corps céleste, notamment du soleil,
- et les xe correctlon , ye correctl° ) formant les coordonnées du corps céleste, notamment du soleil, en fonction du zénith 9, de manière théorique prenant en compte l’ensemble des corrections précédentes, cette fonction d’erreur pouvant prendre notamment la forme de la fonction f2 telle que [Math
2. Procédé selon la revendication 1, dans lequel la mise en œuvre de l’étape finale s’appuie sur certaines ou l’ensemble du système d’équations suivantes représentatif des différentes corrections : avec :
• (xs, ys) les coordonnées en pixel du corps céleste, notamment du soleil,
• (azimut a, zénith 9) les coordonnées sphériques théoriques du corps céleste, notamment du soleil,
• xc et yc les coordonnées en pixel du centre de la photographie,
• re la position théorique du corps céleste, notamment du soleil, par rapport au centre de la photographie à un instant donné,
• fphoto la position observée du corps céleste, notamment du soleil, par rapport au centre de la photographie à un instant donné,
• correctiona la correction azimut de l’angle azimut a,
• xcorrection et yCorrection formant Jes coordonnées du Corps céleste, notamment du soleil, en fonction du zénith 9, sur la photographie et de manière théorique prenant en compte une correction d’un éventuel défaut de parallélisation entre la lentille et le capteur au sein de la caméra, et
• l, u, v des paramètres de la caméra.
3. Procédé selon la revendication 1 ou 2, dans lequel, à l’étape a, on réalise les photographies à intervalles réguliers.
4. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’étape b comporte la détermination de la position du corps céleste, notamment du soleil, dans chaque photographie à l’aide de l’intensité du corps céleste, notamment du soleil, dans une région donnée de la photographie, par traitement d’image en utilisant notamment un algorithme de type seuillage, l’étape b comportant en outre la détermination des coordonnées (xs, ys) en pixel du corps céleste, notamment du soleil, au centre de ladite région.
5. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’étape c comporte la détermination, pour chaque photographie, des coordonnées sphériques (azimut a, zénith 9) théoriques du corps céleste, notamment du soleil, en utilisant un algorithme de calcul sur la base de la position en longitude, latitude et altitude de la caméra et sur la base de l’heure et du jour de prise de la photographie.
6. Procédé selon l’une quelconque des revendications précédentes, comportant une étape d, notamment après l’étape c, consistant à effectuer, par comparaison entre les trajectoires observée et théorique du corps céleste, une correction du centre de chaque photographie, si nécessaire.
7. Procédé selon la revendication précédente, dans lequel l’étape d comporte la réalisation d’une optimisation, notamment à l’aide d’un logiciel spécifique, de manière à faire coïncider la trajectoire théorique et la trajectoire observée du corps céleste, notamment du soleil, la position théorique du corps céleste, notamment du soleil, par rapport au centre de la photographie à un instant donné étant exprimée par re, la position observée du corps céleste, notamment du soleil, par rapport au centre de la photographie à un instant donné étant exprimée par
[Math 1] rphot = ^/(x — xc)2 + (y — yc)2, avec xc et yc les coordonnées en pixel du centre de la photographie, l’objectif de l’étape d consistant à minimiser une fonction fi telle que [Math 2] = £|re - rphoto\.
8. Procédé selon l’une quelconque des revendications 1 à 5, comportant une étape e, notamment après l’étape c, consistant à déterminer une fonction représentative des paramètres de correction de distorsion propres à la caméra.
9. Procédé selon la revendication précédente, dans lequel l’étape e comporte, en partant de la position théorique connue du corps céleste, notamment du soleil, pour la caméra ultra grand angle répondant à la formule mathématique [Math 4] r0 = k sin + k2, la réalisation d’une régression linéaire pour minimiser la fonction fi telle que [Math 2] = |re — rphoto \ et initialiser les coefficients ki et fe.
10. Procédé selon l’une quelconque des revendications 1 à 5, comportant une étape f, notamment après l’étape c, consistant à déterminer l’angle de correction azimutale de l’orientation de la caméra dans un repère universel.
11. Procédé selon la revendication précédente, dans lequel l’étape f comporte la correction azimut d’un angle azimut dont l’équation est : [Math 5] apfl0t0 = — atan ys yc, la xs xc correction azimut étant définie par [Math 6] correctiona = a — aph0 , étant établi que si correctioria est supérieur à -90°, alors on ajoute 180° à correctiona.
12. Procédé selon la revendication 9, dans lequel le calcul de re est effectué par l’équation [Math 4] re = k4 sin + k2 ou une fonction polynomiale d’ordre 3 de type [Math 9] r0 = a4 + a20 + a302 + a403 ou une fonction polynomiale d’ordre supérieur à 3.
13. Procédé selon les revendications 6, 8 et 10, comportant les étapes d, e et f, réalisées notamment dans cet ordre.
14. Procédé selon l’une quelconque des revendications précédentes, dans lequel le corps céleste est choisi dans le groupe constitué par le soleil, la lune, et tout corps céleste dans la mesure où les caractéristiques de la caméra permettent son identification et son positionnement et où les positions stellaires relatives soient prédictibles avec la précision au cours du temps.
15. Procédé selon l’une quelconque des revendications précédentes, dans lequel le corps céleste est le soleil.
EP21834774.8A 2020-12-14 2021-12-08 Procédé de calibrage d'une caméra ultra grand angle Pending EP4260284A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2013148A FR3117653B1 (fr) 2020-12-14 2020-12-14 Procédé de calibrage d’une caméra ultra grand angle
PCT/EP2021/084770 WO2022128677A1 (fr) 2020-12-14 2021-12-08 Procédé de calibrage d'une caméra ultra grand angle

Publications (1)

Publication Number Publication Date
EP4260284A1 true EP4260284A1 (fr) 2023-10-18

Family

ID=74554069

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21834774.8A Pending EP4260284A1 (fr) 2020-12-14 2021-12-08 Procédé de calibrage d'une caméra ultra grand angle

Country Status (3)

Country Link
EP (1) EP4260284A1 (fr)
FR (1) FR3117653B1 (fr)
WO (1) WO2022128677A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118967834B (zh) * 2024-08-08 2025-12-09 蜻蜓智能视界科技(深圳)有限公司 单芯片标定多超广角镜头实现多图像融合无畸变的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018055619A1 (fr) * 2016-09-25 2018-03-29 Israel Aerospace Industries Ltd. Compas céleste et méthode d'étalonnage

Also Published As

Publication number Publication date
WO2022128677A1 (fr) 2022-06-23
FR3117653A1 (fr) 2022-06-17
FR3117653B1 (fr) 2023-04-14

Similar Documents

Publication Publication Date Title
EP3317736B1 (fr) Procédé de pilotage de l'orientation d'un suiveur solaire basé sur des modèles cartographiques
EP1828992A1 (fr) Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
EP3628939A1 (fr) Procédé de pilotage prédictif de l'orientation d'un suiveur solaire
FR3054897A1 (fr) Procede d'elaboration d'une image numerique, produit programme d'ordinateur et systeme optique associes
EP3290891B1 (fr) Procédé et dispositif de caractérisation des aberrations d'un système optique
EP3112800A2 (fr) Procede de mesure d'au moins une dimension d'un objet
CN112857356A (zh) 无人机水体环境调查和航线生成方法
EP2695377B1 (fr) Detection de debris spatiaux
CN108291742A (zh) 校准热电太阳能发电厂的定日镜
EP1168831A1 (fr) Procédé et dispositif de calibration de caméra
WO2022128677A1 (fr) Procédé de calibrage d'une caméra ultra grand angle
FR3006296A1 (fr) Drone comprenant un dispositif imageur multispectral pour la generation de cartes representant un etat vegetal d'une culture
FR3015649A1 (fr) Procede d'evaluation des parametres de pilotage d'un suiveur solaire
FR3047829A1 (fr) Procede d'estimation de la position du disque solaire dans une image de ciel
FR2985307A1 (fr) Procede d'etalonnage des biais d'alignement d'un systeme d'observation de la terre exploitant des prises de vue symetriques
EP3018625B1 (fr) Procédé de calibration d'un système de visée
FR3028989A1 (fr) Procede de calibration des parametres extrinseques d'une camera d'un vehicule automobile et systeme d'assistance a la conduite associe
FR3032820A1 (fr) Procede de calibration d'une camera montee sur le pare-brise d'un vehicule
EP2746830A1 (fr) Mise au point optique d'un instrument de saisie d'image
EP3999865A1 (fr) Procede de determination de parametres d'etalonnage extrinseques d'un systeme de mesure
FR3047830A1 (fr) Procede de determination de la direction de deplacement d'objets dans une scene
FR2611266A1 (fr) Dispositif et procede de localisation de vues au sol prises d'un satellite
CN105571828B (zh) 一种用于太阳光球或色球望远镜平场测量的装置及方法
FR3063559A1 (fr) Procede et dispositif electronique de determination d'un modele en perspective d'un objet, programme d'ordinateur et appareil electronique d'affichage associes
FR3151085A1 (fr) Procédé de guidage vers une destination

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230524

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: COMMISSARIAT A L'ENERGIE ATOMIQUE ET AUX ENERGIESALTERNATIVES

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED