EP1535463A1 - Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene - Google Patents

Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene

Info

Publication number
EP1535463A1
EP1535463A1 EP03747952A EP03747952A EP1535463A1 EP 1535463 A1 EP1535463 A1 EP 1535463A1 EP 03747952 A EP03747952 A EP 03747952A EP 03747952 A EP03747952 A EP 03747952A EP 1535463 A1 EP1535463 A1 EP 1535463A1
Authority
EP
European Patent Office
Prior art keywords
pixel
value
pixels
luminance
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP03747952A
Other languages
German (de)
English (en)
Other versions
EP1535463B1 (fr
Inventor
Pascal Heim
Pierre François RUEDI
Eric Fragniere
Eric Grenet
François KAESS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSEM Centre Suisse dElectronique et de Microtechnique SA Recherche et Développement
Original Assignee
CSEM Centre Suisse dElectronique et de Microtechnique SA Recherche et Développement
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSEM Centre Suisse dElectronique et de Microtechnique SA Recherche et Développement filed Critical CSEM Centre Suisse dElectronique et de Microtechnique SA Recherche et Développement
Publication of EP1535463A1 publication Critical patent/EP1535463A1/fr
Application granted granted Critical
Publication of EP1535463B1 publication Critical patent/EP1535463B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/708—Pixels for edge detection

Definitions

  • TITLE Method and sensor for determining the local contrast of an observed scene, by detecting the luminance emanating from this scene
  • the present invention relates to a method and a sensor for determining the local contrast of a scene observed by detecting the luminance emanating from this scene using a photosensor array realized in CMOS technology.
  • CMOS complementary metal-oxide-semiconductor
  • the photosensors of each pixel deliver a current proportional to the amount of light they receive from the observed scene.
  • the average brightness of a real image can vary by six orders of magnitude depending on the situation. Consequently, the currents delivered by the photosensors may vary in the same proportions. It is therefore necessary to use matching circuits to adapt the currents to the levels required by the processing circuits of each pixel, to the detriment of the input dynamics of the system which rarely exceeds two to three orders of magnitude in practice.
  • the local contrast can be defined for a discrete one-dimensional system, for example a line of pixels, by the following expression:
  • C is the local contrast associated with a pixel
  • L G and L D are the signals representing the luminances picked up by the pixels situated respectively on the left and on the right of the pixel in question.
  • the local contrast corresponds to the local luminance gradient normalized by their average. This contrast is therefore a magnitude independent of the local luminance.
  • the expression (1) can be applied to the example of an image taken from a scene having a zone of strong illumination Z1 and a zone of weak illumination Z2, the reflections of the objects present in the scene being assumed to be identical for the the explanation and the illumination ratio of the two zones being assumed to be from 5 to 1.
  • This situation is illustrated by the diagram of FIG. 1 of the accompanying drawings, in which the relative luminance Ir is plotted as a function of the location of pixels p1 to p21 in a row of pixels forming part of a one-dimensional array of pixels used for the experiment.
  • the contrast values calculated on the basis of the expression (1) are the same for the corresponding points of the two zones (pixels p1 and p11, pixels p2 and p12, pixels p3 and p13, etc.).
  • the definition of the contrast can be extended to a two-dimensional matrix of pixels M p by distinguishing two contrast components C x and C y along the x and y axes of this matrix.
  • the local contrast corresponds to the local luminance gradient normalized by their mean.
  • contrast in its broadest sense, is defined as the relative difference between the luminances of neighboring points.
  • invention is directed to any computing circuit, which uses signals provided by the neighboring pixels and whose result is normalized with respect to the local value of the luminance.
  • the object of the invention is first of all to provide a method for determining the local contrast at each pixel by means of a circuit which, because of its low complexity, can be incorporated in the pixel without altering the necessary precision of the pixel. determination of the local contrast while respecting the miniaturization requirements imposed.
  • the invention therefore relates to a method for determining the local contrast at each pixel of an array of photosensitive pixels arranged in at least one dimension, this process consisting, during successive successive image-taking cycles, generating a signal representative of the local luminance detected by each pixel, the signals representative of the luminance being integrated values of the luminance values sensed by the respective pixels, this method being characterized in that it consists in sampling the integrated values of the signals representing the luminances detected by the pixels which are adjacent to a pixel considered, the sampling taking place at a time in said cycle at which the integrated value of the luminance detected by said pixel in question becomes equal to a predetermined reference value, and determining the local contrast of said pixel considered on the basis of the values if sampled.
  • the means necessary to obtain the value and the orientation of the local contrast can be simple, an additional advantage of the invention consisting in that the values obtained become independent of the level of illumination of the observed scene.
  • said reference value is chosen at an intermediate value of the difference separating a value of white level and a value of black level that can be read by said pixels, this reference value being preferably half of this difference.
  • the local contrast can be determined by approximate calculation by applying for the said at least one dimension of the said network the following expression: r _ L p (n- ⁇ ) ⁇ p (»+ l)
  • the invention is also based on the observation that the value of the local contrast at the level of each pixel can be obtained by an approximate calculation of this value, from a precision all the is sufficient in most practical cases assuming, verified also in most practical cases, that for a given dimension of the network, the luminances recorded by each time three pixels involved in the calculation, are located in the same plan of space.
  • the error on the value of the local contrast thus obtained is in fact negligible because in a real image, the low-pass filtering applied by the sensor to the image observed whether it is of optical or electronic origin, diffuses the contours, so that the brightness striking the central pixel of the three pixels considered is very close to the assumed theoretical value, by the simplification of the approximate calculation according to the invention.
  • the denominator of the expression defining the local contrast has only one value, namely that of the signal representing the luminance of the pixel p n at which it is desired to determine the contrast.
  • the signals representative of the luminance are integrated values of the luminance values sensed by the respective pixels
  • the method furthermore comprises sampling the integrated values of the signals representing the luminances recorded by said adjacent pixels, preceding and following, at a time in said cycle at which the integrated value of the luminance detected by the pixel in question becomes equal to a predetermined reference value and calculating the local contrast of the pixel considered on the basis of the values thus sampled .
  • This characteristic has the important advantage that, for the calculation of the contrast, it is possible to dispense with the signal representing the luminance detected by the central pixel, without altering the accuracy of the contrast determination. As a result, the calculation of the contrast amounts to simple subtraction operations and no longer involves division operation. The calculation circuit can then be very simple.
  • the integrated values of the signals representing the luminances recorded by said adjacent pixels, preceding and following are accumulated on respective capacitors at the instant when the integrated value of the pixel in question reaches said reference value, said capabilities providing the values necessary for the calculation of contrast. In this way, it is particularly easy to obtain the inputs which are necessary for the contrast calculation circuit during each imaging cycle.
  • L D signals representative of the luminances respectively taken by the pixels adjacent to the central pixel p G in the x direction
  • L B signals representative of the luminances respectively noted by the pixels adjacent to the central pixel p c in the y direction, said expressions being used to calculate the components of the contrast vector at said pixel considered.
  • each pair of accumulated values respectively belonging to said directions is subjected to a four-quadrant analog multiplication by, respectively, a sine signal and a cosine signal having the same frequency and amplitude, the results of the corresponding multiplications then being summed to constitute the modulus and phase of the local contrast vector corresponding to said pixel in question.
  • said reference value is chosen at a white level value that can be maximally raised by said pixels.
  • the method consists, during each of said image taking cycles, of recording the moments at which, in a group of pixels composed of the pixel in question and its adjacent pixels, the integrated values of the luminance values captured by these pixels reach said value of white level, and to take as value of the local contrast the integrated value of the pixel concerned when one of said integrated values, in the imaging cycle considered, first reaches said white level value.
  • the order in which said integrated values reach the white level value then determines the local contrast orientation.
  • the invention also relates to a sensor for determining the local contrast capable of performing one or other of the embodiments of the method of the invention as defined above.
  • FIG. 1 already described, is a diagram of FIG. evolution of the luminance detected by a linear array of pixels according to their locations in this network, the diagram illustrating an interesting property of the local contrast in such a linear array of pixels;
  • FIG. 2 also already described, shows part of a network produced in the form of a two-dimensional matrix of pixels in order to illustrate the method of calculating the known local contrast of the prior art;
  • Figure 3 shows a view similar to that of Figure 2 to explain the concepts underlying the present invention;
  • Fig. 4 is a more detailed view of the portion of the two-dimensional matrix shown in Fig.
  • Figure 5 is a schematic diagram of a pixel forming part of the two-dimensional matrix of Figure 4; and Figures 6 and 7 are diagrams illustrating the operation of the matrix shown in Figure 4;
  • Fig. 8 is a diagram of a contrast vector calculation circuit used in the pixel shown in Fig. 5;
  • Fig. 9 is a diagram of another embodiment of the invention;
  • Fig. 10 is a timing diagram illustrating the operation of the embodiment of the invention shown in Fig. 9;
  • Fig. 11 is a detailed diagram of one of the functional blocks of the embodiment of Fig. 9;
  • Fig. 12 is a diagram illustrating the operation of the functional block shown in Fig. 11;
  • Fig. 13 is a diagram of an alternative embodiment of Fig. 9; and
  • Fig. 14 is a timing diagram illustrating the operation of the variant shown in Fig. 13.
  • FIGS. 3 and 4 illustrate the basic concept of the first embodiment of the invention applied to a pixel matrix M p forming a two-dimensional network, it being understood that this concept can be used for one-dimensional networks formed by rows of pixels.
  • FIG. 3 the portion of the matrix M p of pixels already described with reference to FIG. 2, is represented again, while the central pixel p c is here also highlighted with the luminance L c qu he can capture.
  • the local contrast at the level of the central pixel p c is calculated according to the expressions
  • the method of the invention consists, during each imaging cycle, in communicating to each pixel of the matrix the signals representative of the luminances recorded by the four adjacent pixels along the two axes. x and y.
  • FIG. 4 which is an enlarged and more detailed representation of the matrix portion shown in FIG. 3.
  • Each pixel comprises a photosensor circuit ph generating a signal representing luminance and a local contrast calculation circuit ce. The latter is connected to the ph photosensors circuits of the four adjacent pixels along the respective axes x and y of the matrix, by interpixel connections ci.
  • each calculation circuit ce can receive the four signals representative of the luminance from its neighbors p G , p D , PH and p B and it is arranged to perform the arithmetic operations specified in expressions (3) above. These operations being simple subtractions or divisions, the skilled person will design a calculation circuit to execute them without further information. The details of the calculation circuits are therefore not described here. It will be understood, moreover, that FIGS. 3 and 4 represent only a very small quantity of pixels of the matrix M p , which may comprise a large number as is well known, a matrix of 64 ⁇ 64 pixels being possible example. Moreover, in a manner also known to specialists, each pixel is provided with its means for addressing and transmission of useful signal, based for example on the time encoding method described in EP 1 150 250 in the name of the holder of this patent application.
  • the photosensor circuit ph of this pixel p comprises a photodiode 1, or a suitable equivalent photosensitive element, which is connected in series between the supply terminals 2 and 3, with an integration capacity 4.
  • the node between the capacitor 4 and the photodiodel is connected to a semiconductor switch 5 which allows to apply the signal from a black level terminal 6 under the control of a signal on a control terminal 7.
  • the node in question is connected to a follower amplifier 8 unit gain for example whose output is connected to a terminal 9
  • the formation of the luminance signal V p (t) proceeds as follows. Before the exposure, the switch 5 connects the capacitor 4 to a black level voltage which is applied to the terminal 6 so that this capacitor 4 is charged up to that level which represents the black level. The exposure starts with the opening of the switch 5. The photocurrent i ph , proportional to the light intensity striking the diode 2 is integrated on the capacitor 4. The luminance signal V p (t) can then be taken from the terminal 9.
  • Terminal 9 is also connected to a first input of a comparator
  • the output of this comparator 10 controls, when the voltage V p (t) reaches the value V ref , four semiconductor switches 12 D , 12 G , 12 H and 12 B to which are respectively applied luminance voltages V D (t ), V G (t), V H (t) and V B (t) from the adjacent pixels via the connections ci ( Figure 4) and applied to corresponding terminals 13 D , 13 G , 13 H and 13 B.
  • These voltages are sampled at sampling capacities 14 D , 14 G , 14 H and 14 B , respectively, so that they can be used at the appropriate moment by a circuit 15 for calculating the contrast values in which the desired contrast value is calculated. preferably in the form of the local contrast vector of the pixel p considered.
  • the corresponding data appears on a terminal 16 of the latter.
  • the luminance signal V p (t) can be obtained with other means than those described above with respect to the photodetector circuit Ph of FIG. 5, as long as the output quantity of the circuit is proportional to both the observed luminance and the integration time.
  • the photosensitive element 1 may be constituted by any other known component such as a phototransistor, for example.
  • the overall luminance of the image observed is constant during the planned integration time. Under these conditions, the voltage at the terminals of the integration capacitance 4 of each pixel increases linearly with time, with a slope proportional to the current of its associated diode 1, and therefore to the local luminance corresponding to the pixel in question.
  • V d (t) K. L p . t (4)
  • V c ⁇ is the voltage across the capacitance 4
  • L p is the local luminance
  • K is a proportionality constant that depends on certain parameters such as, for example, the quantum efficiency of the technology used and the value of the 4.
  • the voltage V ci across the capacitor 4 is equivalent to that V p (t) appearing at the output of the follower amplifier 8 unit gain.
  • this last voltage V p (t) is continuously compared to the reference voltage V r ⁇ f applied to the terminal 11 of the pixel p.
  • the output of comparator 10 and flip-flop opens the semiconductor switches 12 D, 12 G, 12 H and 12 B.
  • the voltages respectively representing the instantaneous luminances of the neighboring pixels, integrated on the respective capacitances 4 of the latter, are then sampled on the corresponding capacitors 14 D , 14 G , 14 H and 14 B , these voltages being denoted respectively by V D (t r ⁇ f ), V G (t re ), V h (t ref ) and V b (t ref ) and applied to the contrast calculation circuit 15.
  • FIG. 6 represents the shape of the integrated voltages (here collectively designated, on the ordinate axis by V c (t)) of a certain number of pixels p1 to p10 arranged on a row of the matrix of the network, assuming an illumination thereon similar to that shown in Figure 1. If the image taken is static during integration (which is assumed to be the case here), the integrated voltages V c (t) of the pixels evolve linearly with time.
  • the integration voltages are only changed between two levels, that of the black NN and that of the white NB, which define an integration range making it possible to ensure correct operation before the saturation inherent in the circuits is reached (see Figure 7 SA line which represents the saturation level), the reference voltage V ref can be chosen to about half of the gap between the two levels NN and NB.
  • 7 shows the spatial pattern of pixels of the integration voltages ⁇ p 9 at various times during the integration on the capabilities of these four pixels. The curves represented are taken respectively at times t 1 , t 2 , t 3 etc. ( Figure 6) which correspond to the profile of the voltages at times when they respectively reach the reference voltage V re f. Note that in FIGS.
  • the contrast measurement at time t 7 is illustrated, the contrast value resulting in this case from the difference of the amplitudes measured in the pixels p 6 and p 8 .
  • V Pcx (t ref ) V D (t ref ) - V G (t ref )
  • V Pcy (t ref ) V H (t ref ) - V B (t ref ) represent respectively, and at the same multiplicative constant, the components in x and y of the contrast vector of the pixel considered:
  • V Pcx (t ref ) k "p cx
  • quadrant multiplier means For calculating the contrast values, four quadrant multiplier means are used, whose diagram is shown in FIG. 8 and designated by the general reference 17, which form part of the calculation circuit 16 shown in FIG.
  • the multiplier means 17 comprise two analog multipliers 18a and 18b of identical structure and respectively assigned to the calculations for the x and y directions with respect to any pixel p c of the pixel array. Each of these multipliers implements a function of the form:
  • I out ⁇ - (V 1 - V 2 ) - (V 4 - V 3 ) (7)
  • Mi and V 2 are the sampled voltages as described with reference to FIG. 5, namely for the direction x with respect to a pixel p c , the voltages V D (t ref ) and V G (t ref ), respectively, and for the direction y with respect to this same pixel the voltages V H (t r e f ) and V B (t re f), respectively, and
  • V 3 and V 4 are respective sinusoidal voltages V A - cos ⁇ (t) and
  • V A - sin ⁇ (t) generated by sinusoidal voltage generators 20a, 21a and 20b, 21b, respectively, as shown in Figure 8.
  • sinusoidal voltage generators 20a, 21a and 20b, 21b can easily be generated by a single generator (not shown) whose scheme is within the reach of the skilled person.
  • the outputs 19a and 19b of the multipliers 18a and 18b are connected to the inputs of an adder 22 which calculate the difference l tot between the two currents l x and
  • I tot C Pc - cos ( Pc - ⁇ (t)) (11) where C and ⁇ Pc respectively represent the modulus and the phase of the local contrast vector of the pixel p 0 , since V p ⁇ (t ref ) and V pc (t ref ) represent respectively and to a constant of proportionality, the components along the x and y axes of the same vector.
  • the result obtained in the adder 22 is then sent preferably in a time coding circuit 23 described in EP 1 150 250.
  • This circuit provides pulses l mo and l ph respectively representing in time coding the module and the phase of the vector of contrast.
  • the multipliers 18a and 18b are preferably made according to the diagram of FIG. 8, each having six transistors M1 to M6 connected as shown. This arrangement has the advantage of being able to constitute by the parasitic capacitances of the transistors M1, M2 and M3, M4, respectively the sampling capacitors 14 D , 14 G , 14 H and 14 B of FIG. 5, these being, under these conditions, incorporated directly into the calculation circuit 15.
  • each pixel of the sensor can be realized from even simpler way than that which has just been described in relation to Figures 5 to 8, since in these conditions, the pixel can be realized with a simple logic circuit and without a calculation circuit, which further reduces the complexity and consumption.
  • the fact that the orientation of the contrast vector can be determined based on the temporal ordering of the information coming from the neighboring pixels of the pixel in question, the orientation being then codable, is exploited in particular. in binary form.
  • FIG. 9 represents the simplified diagram of a pixel p of the sensor, here for example the central pixel p c visible in FIG. 3.
  • This pixel comprises a photosensor circuit ph identical to that of the pixel represented in FIG. 5.
  • the output terminal 9 of the amplifier 8 is connected to one input of a comparator 25 whose other input 26 receives a voltage V b ⁇ year c representative of the white level.
  • the comparator 25 delivers at its output 27 a signal S representing the moment during a picture-taking cycle at which the signal delivered by the amplifier 8 reaches the white-level voltage V b ⁇ a nc- (here it is of the signal S of the central pixel which is therefore designated S c ).
  • the terminal 9 is connected to a semiconductor switch 28 controlled by the output signal delivered by an inverting OR gate 29 whose four inputs receive the signals S G , S, S B and S H coming from comparators 25 of the respective neighboring pixels pixel p c .
  • the switch 28 is also connected to a storage capacity 30 and to the first input of another comparator 31 whose second input 32 receives a signal representing a threshold voltage V t (t).
  • the output of the comparator 31 is connected to a pulse transmitter 33, to which it provides an identification signal (address) of the pixel concerned.
  • This pulse transmitter 33 thus delivers two address signals Ix and ly which are the coordinates of the pixel in question and a binary signal, in the example on three bits, representing the orientation of the contrast.
  • These orientation signals 1 B0 , 1 B 1 and 1 B2 are generated from binary signals B 0, B 1 and B 2 resulting from a logic processing, still to be described, of signals S B , S H , S G and S D .
  • the output 27 of the comparator 25 is transmitted to the four neighboring pixels p G , p D , p B and PH, and goes high, when the voltage V p (t) becomes greater than the white level voltage V WHITE .
  • the signals S G , S D , S B and SH from the comparators 25 of the four neighboring pixels are combined in the OR gate 29 so that the switch 28 is conductive as long as these four signals are in the low state.
  • the capacitor 30 stores the voltage V p (t).
  • FIG. 10 illustrates an example of temporal evolution of the voltage V p of the pixel in question and of those V G , V, V B and V H of its four neighbors.
  • the contrast in the vertical direction (V Hl V B ) is greater than that in the horizontal direction (V G , V D ).
  • the pixel PH is the one with the highest photocurrent. It therefore reaches first the level of white V BLAI.G.
  • the signal S H at the input of the OR gate 29 of the central pixel p c goes high so that the voltage V p in this pixel is sampled on its capacitance 30.
  • the difference between the voltage V BLANG and the voltage V p sampled at time t H when the voltage V H reaches the white level represents the maximum component of the contrast vector (C x , C ⁇ ).
  • the current in the photodiode 1 of the pixel p G (or any other pixel of the sensor) is given by
  • R pC being the reflectance of the portion of the scene focused on the pixel p G.
  • the voltage VH reaches the white level after a time t ⁇ given by
  • C 30 is the value of the capacitance 30 of the pixel p G , 1 H the photocurrent in the pixel PH and R H the reflectance of the portion of the scene focused on the pixel p H.
  • V v c ⁇ i r -t L H V V WHITE Pc (14) ⁇ 30 H
  • the voltage V G is independent of the level of illumination of the sensor.
  • the second embodiment of the invention makes it possible to generate, not the contrast standard, but the maximum component of the contrast vector by exploiting the temporal evolution of the photocurrent integration, which avoids any calculation in the pixels.
  • the pixel of the second mode of implementation of the invention also makes it possible to provide information concerning the orientation of the contrast.
  • it comprises an orientation determining circuit 34, of which FIG. 11 represents a preferred exemplary embodiment.
  • the orientation determination circuit 34 as shown makes it possible to estimate the situation of the contrast orientation in eight sections of the trigonometric circle (octants), an example to which the invention is however not limited. Depending on the desired accuracy of the orientation determination, one skilled in the art could modify the circuit 34 so that it is possible to estimate the orientation of the contrast on four sections or on more than eight sections. of the trigonometric circle.
  • the input of the orientation determination circuit 34 is connected to the output of the inverter OR gate 29.
  • the output of the latter is connected to a delay circuit 35 which controls two switching transistors T1 and T2 respectively inserted in two sections. 34a and 34b of the circuit 34.
  • Each section 34a and 34b is intended to generate a bit of the binary signal representing the orientation of the contrast. As in the example, the orientation is determined on octants, this binary signal is fixed on three bits, B0, B1 and B2.
  • the logical sections 34a and 34b respectively determine the values of the two bits of higher weight B1 and B2 as a function of the output signal of the gate 29 and the signals S B , S D and S G according to the following truth table:
  • the circuit 34 also comprises a third logic section 34c which, as a function of the state of the bits B1 and B2 and of the signals applied to the gate 29, generates the bit B0 of lower weight.
  • the three logic sections 34a, 34b and 34c are turned on / off by the control signal RST applied to respective control transistors T3, T4 and T5 provided in each section.
  • the state of the bit BO is determined by that of the signals S G , S D , S B and SH going high secondly during the exposure cycle concerned. For example, if the bit B1 is high, the bit BO will be set high, if the signal S B goes high before the signal S H , indicating that the local orientation of the contrast corresponds to the octant 3 (designated O3 in FIG. 12), if the bit B2 is in the low state. By cons if the B2 bit is high, it will be the octant 7 (indicated by 07 in Figure 12). On the other hand, for example, if the bit B1 is in the low state, it will be set high if the signal S G goes high before the signal S D during the exposure cycle considered. .
  • Comparator 31 compares the voltage stored on this capacitance with a reference voltage V TH (t) which increases with time during the exposure cycle. When this reference voltage V TH (t) becomes greater than the voltage on the capacitor, a pulse encoding the address of the pixel and the state of the bits B2, B1 and BO are emitted on the corresponding outputs Ix, ly and l B2 , l B1 , l B0 .
  • a logic circuit 36 generates a control signal when two of the signals S G , S D , S B and S H are in the high state.
  • This control signal acts on a switch 37 connected between the output 9 of the amplifier 8 and a capacitor 38.
  • the voltage accumulated on the latter is transmitted to an input of a comparator 39 whose other input is brought to a voltage reference variable V th _ (t) distinct from the reference voltage, here called V tr , ⁇ (t), applied to the comparator 31.
  • the inputs of an AND gate 40 are respectively connected to the outputs of the comparators 31 and 39 , while its output is connected to the pulse transmitter 33.
  • the voltage V p (t) is stored on the capacitor 38, when, during the cycle, a second neighbor of the pixel in question reaches the level of white emitting its signal S G , S D , S B or S H.
  • the voltages stored on the capacitors 30 and 38 represent the two components of the contrast, the state of the bits B2 and B1 making it possible to distinguish between the components X and Y.
  • the capacitor 30 stores the voltage V p (t) when the signal SH goes high and the capacitor 38 stores this voltage when the signal S D goes high. After being read, these two voltage values can be combined to refine the orientation measurement. Their reading is then carried out in two steps as illustrated in the figure
  • the voltage ramp V t m (t) reads the voltages stored on the capacitances of the pixels. This ramp starts from the voltage VN O I R and ends at a voltage V cm i n , chosen according to the application or adjusted in a loop so as to optimize the amount of information read, limiting the transmission of contrast to the pixels. whose maximum contrast component is greater than V BL _, NC -V cm ⁇ n .
  • the voltage V tr , ⁇ (t) is maintained at the voltage V crn ⁇ n .
  • V th2 (t) evolves between V N0

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Receiver Circuits (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

Ce procédé permet de calculer le contraste local au niveau de chaque pixel (PC) d'un réseau (Mp) de pixels photosensibles agencés selon au moins une dimension (x, y). Il consiste, au cours de cycles de prises d'image successifs respectifs, ô engendrer un signal représentatif de la luminance locale relevée par chaque pixel, les signaux représentatifs de la luminance étant des valeurs intégrées des valeurs de luminance captées par les pixels respectifs (PC, PG, PD, PH, PB). Selon l'invention, on échantillonne les valeurs intégrées des signaux représentant les luminances relevées par les pixels qui sont adjacents (PG, PDC, P¿H, PB) à un pixel considéré (PC), l'échantillonnage ayant lieu à un instant dans ledit cycle auquel la valeur intégrée de la luminance relevée par ledit pixel considéré (PC) devient égale à une valeur de référence prédéterminée, et on détermine le contraste local dudit pixel considéré (PC) sur la base des valeurs ainsi échantillonnées.

Description

TITRE : Procédé et capteur pour déterminer le contraste local d'une scène observée, par détection de la luminance émanant de cette scène
La présente invention est relative à un procédé et à un capteur destinés à déterminer le contraste local d'une scène observée par détection de la luminance émanant de cette scène à l'aide d'un réseau de photocapteurs réalisé en technologie CMOS.
Dans la technique de l'imagerie optique, il est connu d'acquérir l'image d'une scène observée à l'aide d'un réseau de photocapteurs dont chacun est associé à un circuit d'analyse formant avec lui, ce qu'il est convenu d'appeler un pixel. Le réseau de pixels est de préférence réalisé sous la forme d'un circuit intégré selon la technologie CMOS.
Les photocapteurs de chaque pixel délivrent un courant proportionnel à la quantité de lumière qu'ils reçoivent de la scène observée. En pratique, la luminosité moyenne d'une image réelle peut varier de six ordres de grandeur en fonction de la situation. Par conséquent, les courants délivrés par les photocapteurs peuvent varier dans les mêmes proportions. Il est donc nécessaire de recourir à des circuits d'adaptation pour adapter les courants aux niveaux requis par les circuits de traitement de chaque pixel, au détriment de la dynamique d'entrée du système qui excède rarement deux à trois ordres de grandeur en pratique.
On connaît plusieurs techniques pour augmenter la dynamique d'entrée. L'une d'entre elles, décrite dans un article de S.Kavidias et al. dans IEEE, Journal of Solid State Circuits, vol. 35, août 2000 et intitulé "A Logarithmic Response CMOS Image Sensor with On-Chip Calibration", consiste à effectuer une compression logarithmique du courant délivré par le photocapteur, ce qu'on réalise à l'aide de transistors MOS travaillant en faible inversion. La difficulté de cette technique réside dans le fait qu'il faut apparier les transistors qui, au sein de la matrice de pixels, mettent en œuvre la compression logarithmique. Ceci est une contrainte de réalisation considérable, si on veut obtenir une précision tant soit peu satisfaisante.
Une autre technique décrite par exemple dans FR 2 605 475, dans WO 98/14002 et dans un article de Y. Ni et al. dans IEEE, Journal of Solid State Circuits, vol. 32, Juillet 1997 et intitulé "Histogramme-Equalization-Based Adaptive Image Sensor for Real-Time Vision", consiste à intégrer le courant délivré par le photocapteur sur une capacité jusqu'à ce que soit atteinte une tension de référence définie aux bornes de la capacité. Chaque pixel du réseau de pixels signale le moment auquel la tension aux bornes de sa capacité d'intégration atteint la valeur de référence. Dans ce cas, la dynamique d'entrée est limitée par le temps d'intégration maximal accordé au système et par son bruit intrinsèque. On peut associer à cette technique des méthodes de classification des échantillons par histogramme. Cette technique est également complexe et laisse à désirer sur le plan de la précision.
Pour s'affranchir de ces difficultés dues à la variation considérable de la luminosité, il est également connu de déterminer le contraste local de l'image prise par le réseau de pixels. Cette méthode est intéressante car, pour un motif donné de la scène observée, le contraste présente la même valeur, que ce motif soit dans l'ombre ou en pleine lumière. Or, comme le contraste local fournit une représentation fidèle de l'activité de chaque pixel, sa détermination permet de s'affranchir des difficultés inhérentes aux techniques connues des documents antérieurs précités.
Le contraste local peut être défini, pour un système unidimensionnel discret, par exemple une ligne de pixels, par l'expression suivante:
C = 2 » LG ~ LD (1)
'-'G + -k_> dans laquelle C est le contraste local associé à un pixel et LG et LD sont les signaux représentant les luminances captées par les pixels situés respectivement à gauche et à droite du pixel considéré. En d'autres termes, le contraste local correspond au gradient des luminances locales normalisé par leur moyenne. Ce contraste est donc une grandeur indépendante de la luminance locale.
On peut appliquer l'expression (1) à l'exemple d'une image prise d'une scène présentant une zone de forte illumination Z1 et une zone de faible illumination Z2, les réflectances des objets présents dans la scène étant supposées identiques pour le besoin de l'explication et le rapport d'illumination des deux zones étant supposé être de 5 à 1. Cette situation est illustrée par le diagramme de la figure 1 des dessins annexés, où on a porté la luminance relative Ir en fonction de l'emplacement de pixels p1 à p21 dans une rangée de pixels formant une partie d'un réseau unidimensionnel de pixels utilisé pour l'expérimentation. Or, malgré cette différence considérable d'illumination, on constate que les valeurs de contraste calculées sur la base de l'expression (1) sont les mêmes pour les points correspondants des deux zones (pixels p1 et p11 , pixels p2 et p12, pixels p3 et p13, etc.). La définition du contraste peut être étendue à une matrice bidimensionnelle de pixels Mp en distinguant deux composantes de contraste Cx et Cy suivant les axes x et y de cette matrice. Dans ce cas (voir la figure 2 des dessins annexés qui représente une partie d'une telle matrice Mp), on fait intervenir les luminances, respectivement LGl LD, LH et LB de certains pixels pG (gauche), pD (droite), pH (haut) et pB (bas) adjacents à un pixel central pG situé dans la matrice Mp à un emplacement quelconque (les qualificatifs gauche, droite haut et bas n'ont ici qu'une signification explicative, les positions des pixels dans l'espace pouvant dans l'ensemble être arbitraires). Les deux composantes peuvent alors s'écrire:
(2)
C = * ---H ____B
L-G "" L>D + L,H + E
Dans ces expressions aussi, le contraste local correspond au gradient des luminances locales normalisé par leur moyenne.
Pour calculer le contraste pour un pixel donné dans le cas de la matrice bidimensionnelle Mp, il faut ainsi calculer la somme de quatre signaux représentatifs de la luminance et faire une division de la différence de deux signaux représentatifs de la luminance par le résultat de cette somme. Pour effectuer ces opérations arithmétiques, directement de façon analogique et avec la précision souhaitée, il faut des circuits complexes. Or, dans une matrice de pixels du genre concerné, la plupart des fonctionnalités doivent être mises en œuvre au sein de chaque pixel individuel, ce dernier comprenant aussi bien le photocapteur et le circuit d'intégration du photocourant que les circuits de calcul de contraste associés. Les circuits analogiques nécessaires pour réaliser le calcul des expressions (2) ci-dessus ne sont pas compatibles avec les exigences actuelles de miniaturisation des matrices de pixels du genre concerné du fait, surtout, de leur encombrement trop grand.
On comprendra aisément que les formules données ci-dessus pour le calcul du contraste ne sont qu'indicatives et sont donc susceptibles de varier sans sortir du cadre de l'invention. Le nombre et la position des pixels voisins pris en compte dans le calcul sont également sujets à variations. Le contraste, dans son acception la plus large, est défini comme étant la différence relative entre les luminances des points voisins. De plus, et bien que l'on continuera à parler de contraste dans la suite de la description, il sera entendu que l'invention vise tout circuit de calcul, qui utilise des signaux fournis par les pixels voisins et dont le résultat est normalisé par rapport à la valeur locale de la luminance.
L'invention a tout d'abord pour but de fournir un procédé permettant de déterminer le contraste local au niveau de chaque pixel moyennant un circuit qui, du fait de sa faible complexité, peut être incorporé dans le pixel sans altérer la précision nécessaire de la détermination du contraste local et ce, tout en respectant les exigences de miniaturisation imposées.
L'invention a donc pour objet un procédé permettant de déterminer le contraste local au niveau de chaque pixel d'un réseau de pixels photosensibles agencés selon au moins une dimension, ce procédé consistant, au cours de cycles de prises d'image successifs respectifs, à engendrer un signal représentatif de la luminance locale relevée par chaque pixel, les signaux représentatifs de la luminance étant des valeurs intégrées des valeurs de luminance captées par les pixels respectifs, ce procédé étant caractérisé en ce qu'il consiste à échantillonner les valeurs intégrées des signaux représentant les luminances relevées par les pixels qui sont adjacents à un pixel considéré, l'échantillonnage ayant lieu à un instant dans ledit cycle auquel la valeur intégrée de la luminance relevée par ledit pixel considéré devient égale à une valeur de référence prédéterminée, et à déterminer le contraste local dudit pixel considéré sur la base des valeurs ainsi échantillonnées.
Grâce à ces caractéristiques, les moyens nécessaires pour obtenir la valeur et l'orientation du contraste local peuvent être simples, un avantage supplémentaire de l'invention consistant en ce que les valeurs obtenues deviennent indépendantes du niveau d'éclairement de la scène observée.
Selon un premier mode de mise en œuvre du procédé de l'invention, ladite valeur de référence est choisie à une valeur intermédiaire de l'écart séparant une valeur de niveau de blanc et une valeur de niveau de noir susceptibles d'être relevées par lesdits pixels, cette valeur de référence étant de préférence la moitié de cet écart.
Cette caractéristique permet d'obtenir les valeurs recherchées avec une très bonne précision, moyennant un calcul simple.
Dès lors, on peut déterminer le contraste local par calcul approché en appliquant pour ladite au moins une dimension dudit réseau l'expression suivante: r _ Lp(n-\) ^p(»+l)
^pn ~ r
^pn dans laquelle
Cpn contraste local calculé pour ledit cycle d'un pixel de rang n dans la rangée du réseau orientée selon ladite dimension, Lpn signal représentant la luminance relevée par le pixel de rang n,
LP(n-D signal représentant la luminance relevée par le pixel adjacent précédent de rang n-1 dans ladite rangée,
LP(n+i) signal représentant la luminance relevée par le pixel adjacent suivant n+1 dans ladite rangée. Ainsi, dans ce premier mode de mise en œuvre, l'invention est également basée sur la constatation que l'on peut obtenir la valeur du contraste local au niveau de chaque pixel par un calcul approché de cette valeur, d'une précision tout à fait suffisante dans la plupart des cas pratiques en faisant l'hypothèse, vérifiée également dans la plupart des cas pratiques, que, pour une dimension donnée du réseau, les luminances relevées par chaque fois trois pixels intervenant dans le calcul, sont situées dans un même plan de l'espace. L'erreur sur la valeur du contraste local ainsi obtenue est en fait négligeable car dans une image réelle, le filtrage passe-bas appliqué par le capteur à l'image observée qu'il soit d'origine optique ou électronique, diffuse les contours, si bien que la luminosité frappant le pixel central des trois pixels considérés est très proche de la valeur théorique supposée, par la simplification du calcul approché selon l'invention. En effet, le dénominateur de l'expression définissant le contraste local ne comporte plus qu'une seule valeur, à savoir celle du signal représentant la luminance du pixel pn au niveau duquel on souhaite déterminer le contraste. Suivant une autre caractéristique intéressante de ce mode de mise en oeuvre, les signaux représentatifs de la luminance sont des valeurs intégrées des valeurs de luminance captées par les pixels respectifs et le procédé consiste en outre à échantillonner les valeurs intégrées des signaux représentant les luminances relevées par lesdits pixels adjacents, précédent et suivant, à un instant dans ledit cycle auquel la valeur intégrée de la luminance relevée par le pixel considéré devient égale à une valeur de référence prédéterminée et à calculer le contraste local du pixel considéré sur la base des valeurs ainsi échantillonnées.
Cette caractéristique présente l'avantage important que, pour le calcul du contraste, on peut se dispenser du signal représentant la luminance relevée par le pixel central, sans altérer la précision de la détermination du contraste. De ce fait le calcul du contraste revient à faire de simples opérations de soustraction et ne fait plus intervenir d'opération de division. Le circuit de calcul peut être alors très simple.
Selon une autre caractéristique de ce premier mode de mise en œuvre, les valeurs intégrées des signaux représentant les luminances relevées par lesdits pixels adjacents, précédent et suivant, sont accumulées sur des capacités respectives à l'instant où la valeur intégrée du pixel considéré atteint ladite valeur de référence, lesdites capacités fournissant les valeurs nécessaires au calcul de contraste. On obtient ainsi de façon particulièrement simple les entrées qui sont nécessaires pour le circuit de calcul de contraste au cours de chaque cycle de prise d'image.
Dans le cas où ledit réseau se présente sous la forme d'une matrice de pixels à deux dimensions, le calcul de contraste s'effectue sur la base des expressions suivantes: x = L,G — LD et dans lesquelles: - Cx composante de contraste local dans la direction x de la matrice,
- Cy composante de contraste local dans la direction y de la matrice,
- LG, LD signaux représentatifs des luminances relevées respectivement par les pixels adjacents au pixel central pG dans la direction x,
- LH, LB signaux représentatifs des luminances relevées respectivement par les pixels adjacents au pixel central pc dans la direction y, lesdites expressions étant utilisées pour calculer les composantes du vecteur de contraste au niveau dudit pixel considéré.
Il s'avère en outre avantageux que chaque couple de valeurs accumulées appartenant respectivement auxdites directions soit soumis à une multiplication analogique à quatre quadrants par, respectivement, un signal sinus et un signal cosinus de mêmes fréquence et amplitude, les résultats des multiplications correspondantes étant alors additionnés pour constituer le module et la phase du vecteur de contraste local correspondant audit pixel considéré.
Cette caractéristique permet d'obtenir le résultat recherché moyennant une implémentation particulièrement simple dans chaque pixel du réseau. Conformément à un second mode de mise en œuvre de l'invention, ladite valeur de référence est choisie à une valeur de niveau de blanc susceptible d'être relevée au maximum par lesdits pixels.
Bien que ce mode de mise en œuvre ne fournisse que la composante maximum du contraste (cX, cY) et une orientation du contraste discrétisée en octants, il s'est avéré qu'un tel résultat peut suffire dans certaines applications, l'avantage étant que la détermination du contraste local peut se faire moyennant un traitement logique de signaux binaires ne nécessitant plus aucune opération de calcul. Les circuits nécessaires dans chaque pixel peuvent alors être encore davantage simplifiés.
Avantageusement, dans ce second mode de mise en œuvre de l'invention, le procédé consiste, pendant chacun desdits cycles de prise d'image, à relever les instants auxquels, dans un groupe de pixels composé du pixel considéré et de ses pixels adjacents, les valeurs intégrées des valeurs de luminance captées par ces pixels atteignent ladite valeur de niveau de blanc, et à prendre comme valeur du contraste local la valeur intégrée du pixel concerné lorsqu'une desdites valeurs intégrées, dans le cycle de prise d'image considéré, atteint en premier ladite valeur de niveau de blanc. L'ordre dans lequel lesdites valeurs intégrées atteignent la valeur de niveau de blanc détermine alors l'orientation du contraste local. L'invention a également pour objet un capteur destiné à déterminer le contraste local capable d'exécuter l'un ou l'autre des modes de mise en œuvre du procédé de l'invention tels que définis ci-dessus.
D'autres caractéristiques et avantages de la présente invention apparaîtront au cours de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins annexés sur lesquels: la figure 1 , déjà décrite, est un diagramme de l'évolution de la luminance relevée par un réseau linéaire de pixels en fonction de leurs emplacements dans ce réseau, le diagramme illustrant une propriété intéressante du contraste local dans un tel réseau linéaire de pixels; la figure 2, également déjà décrite, montre une partie d'un réseau réalisé sous la forme d'une matrice bidimensionnelle de pixels en vue d'illustrer la méthode de calcul du contraste local connu de l'art antérieur; la figure 3 montre une vue analogue à celle de la figure 2 en vue d'expliquer les concepts qui sont à la base de la présente invention; la figure 4 est une vue plus détaillée de la partie de la matrice bidimensionnelle représentée sur la figure 3; la figure 5 est un schéma simplifié d'un pixel faisant partie de la matrice bidimensionnelle de la figure 4; et les figures 6 et 7 sont des diagrammes illustrant le fonctionnement de la matrice représentée sur la figure 4; la figure 8 est un schéma d'un circuit de calcul du vecteur de contraste utilisé dans le pixel représenté sur la figure 5; la figure 9 représente un schéma d'un autre mode de réalisation de l'invention; la figure 10 est un diagramme temporel illustrant le fonctionnement du mode de réalisation de l'invention représenté sur la figure 9; la figure 11 est un schéma détaillé de l'un des blocs fonctionnels du mode de réalisation de la figure 9; la figure 12 est un diagramme illustrant le fonctionnement du bloc fonctionnel représenté sur la figure 11 ; la figure 13 est un schéma d'une variante du mode de réalisation de la figure 9; et la figure 14 est un diagramme temporel illustrant le fonctionnement de la variante représentée sur la figure 13.
Les figures 3 et 4 illustrent le concept de base du premier mode de mise en œuvre de l'invention appliqué à une matrice de pixel Mp formant un réseau à deux dimensions, étant entendu que ce concept peut être utilisé pour des réseaux unidimensionnels formés par des rangées de pixels. Ceci étant, sur la figure 3, la partie de la matrice Mp de pixels déjà décrite à propos de la figure 2, est représentée à nouveau, cependant que le pixel central pc est ici également mis en évidence avec la luminance Lc qu'il peut capter. Selon l'invention, le contraste local au niveau du pixel central pc est calculé selon les expressions
C = •
(3)
T - T
C — H -Έ y L„
Dans ces expressions: - Cx composante de contraste local dans la direction x de la matrice,
- Cy composante de contraste local dans la direction y de la matrice,
- Lc signal représentatif de la luminance relevée par le pixel central
Pc, - LG, LD signaux représentatifs des luminances relevées respectivement par les pixels adjacents au pixel central pc dans la direction x,
- LH, LB signaux représentatifs des luminances relevées respectivement par les pixels adjacents au pixel central pc dans la direction y. Pour mettre en œuvre le calcul selon ces expressions, le procédé de l'invention consiste, pendant chaque cycle de prise d'image, à communiquer à chaque pixel de la matrice les signaux représentatifs des luminances relevées par les quatre pixels adjacents selon les deux axes x et y. Ceci est illustré sur la figure 4 qui est une représentation agrandie et plus détaillée de la partie de matrice représentée sur la figure 3. Chaque pixel comprend un circuit photocapteur ph engendrant un signal représentant la luminance et un circuit ce de calcul de contraste local. Ce dernier est connecté aux circuits photocapteurs ph des quatre pixels adjacents selon les axes respectifs x et y de la matrice, par des connexions interpixels ci. Ainsi chaque circuit de calcul ce peut recevoir les quatre signaux représentatifs de la luminance provenant de ses voisins pG, pD, PH et pB et il est agencé pour effectuer les opérations arithmétiques spécifiées dans les expressions (3) ci-dessus. Ces opérations étant de simples soustractions ou des divisions, l'homme de métier saura concevoir un circuit de calcul permettant de les exécuter sans autre information supplémentaire. Les détails des circuits de calcul ne sont donc pas décrits ici. On comprend, par ailleurs, que les figures 3 et 4 ne représentent qu'une très faible quantité de pixels de la matrice Mp, qui peut en comporter un grand nombre comme cela est bien connu, une matrice de 64 x 64 pixels étant par exemple envisageable. Par ailleurs, de façon également connue des spécialistes, chaque pixel est pourvu de ses moyens d'adressage et de transmission de signal utile, basé par exemple sur le procédé d'encodage temporel décrit dans EP 1 150 250 au nom du titulaire de la présente demande de brevet.
Dans le mode de réalisation de l'invention qui vient d'être décrit, les circuits de calcul ce doivent opérer deux soustractions et deux divisions, ce qui permet de simplifier les calculs comparés à ceux qui devaient être effectués selon l'art antérieur. Cependant, selon un perfectionnement avantageux de l'invention, le calcul des composantes du contraste local peut encore se simplifier davantage et se réduire à deux simples soustractions. Un mode de réalisation permettant de mettre en œuvre ce perfectionnement va maintenant être décrit en se référant à la figure 5. Celle-ci représente un circuit plus détaillé de chaque pixel p de la matrice Mp.
Le circuit photocapteur ph de ce pixel p comprend une photodiode 1 , ou un élément photosensible équivalent approprié, qui est montée en série entre les bornes d'alimentation 2 et 3, avec une capacité d'intégration 4. Le nœud entre la capacité 4 et la photodiodel est connecté à un interrupteur semi-conducteur 5 qui permet d'y appliquer le signal provenant d'une borne de niveau de noir 6 sous la commande d'un signal sur une borne de commande 7. D'autre part, le nœud en question est connecté à un amplificateur suiveur 8 de gain unité par exemple dont la sortie est reliée à une borne 9
La formation du signal de luminance Vp(t) se déroule de la façon suivante. Avant l'exposition, l'interrupteur 5 connecte la capacité 4 à une tension de niveau de noir qui est appliquée sur la borne 6 de sorte que cette capacité 4 est chargée jusqu'au niveau de cette tension qui représente le niveau de noir. L'exposition commence par l'ouverture de l'interrupteur 5. Le photocourant iph, proportionnel à l'intensité lumineuse frappant la diode 2 est intégré sur la capacité 4. Le signal de luminance Vp( t) peut alors être prélevé sur la borne 9.
La borne 9 est également connectée à une première entrée d'un comparateur
10 dont l'autre entrée reçoit une tension de référence Vref, appliquée sur une borne
11 du pixel. La sortie de ce comparateur 10 commande, lorsque la tension Vp(t) atteint la valeur Vref, quatre interrupteurs semi-conducteurs 12D, 12G, 12H et 12B auxquels sont respectivement appliquées des tensions de luminance VD(t), VG(t), VH(t) et VB(t) provenant des pixels adjacents par l'intermédiaire des connexions ci (figure 4) et appliquées à des bornes correspondantes 13D, 13G, 13H et 13B. Ces tensions sont échantillonnées sur des capacités d'échantillonnage 14D, 14G, 14H et 14B, respectivement, pour pouvoir être utilisées au moment approprié par un circuit 15 de calcul des valeurs de contraste dans lequel est calculée la valeur de contraste recherchée de préférence sous la forme du vecteur de contraste local du pixel p considéré. Les données correspondantes apparaissent sur une borne 16 de ce dernier.
Il est à noter que le signal de luminance Vp(t) peut être obtenu avec d'autres moyens que ceux décrits ci-dessus à propos du circuit photodétecteur Ph de la figure 5, pour autant que la grandeur de sortie du circuit soit proportionnelle à la fois à la luminance observée et au temps d'intégration. De même, l'élément photosensible 1 peut être constitué par tout autre composant connu tel qu'un phototransistor, par exemple. Pour l'explication du fonctionnement des autres composantes représentées sur la figure 5, on va supposer que la luminance globale de l'image observée est constante pendant la durée d'intégration prévue. Dans ces conditions, la tension aux bornes de la capacité d'intégration 4 de chaque pixel augmente linéairement en fonction du temps, avec une pente proportionnelle au courant de sa diode 1 associée, donc à la luminance locale correspondant au pixel considéré. Ainsi, on peut écrire:
Vd(t) = K . Lp . t (4) où Vcι est la tension aux bornes de la capacité 4, Lp la luminance locale et K une constante de proportionnalité dépendant de certains paramètres comme, par exemple, le rendement quantique de la technologie utilisée et la valeur de la capacité d'intégration 4. La tension Vci aux bornes de la capacité 4 équivaut à celle Vp(t) apparaissant à la sortie de l'amplificateur suiveur 8 de gain unité.
Pendant l'intégration, cette dernière tension Vp(t) est comparée en permanence à la tension de référence Vrβf appliquée à la borne 11 du pixel p. A l'instant tref où elle devient égale à cette tension de référence Vref, la sortie du comparateur 10 bascule et ouvre les interrupteurs semi-conducteurs 12D, 12G, 12H et 12B. Les tensions représentant respectivement les luminances instantanées des pixels voisins, intégrées sur les capacités 4 respectives de ces derniers, sont alors échantillonnées sur les capacités correspondantes 14D, 14G, 14H et 14B, ces tensions étant désignées respectivement par VD(trβf), VG(tre), Vh(tref) et Vb(tref) et appliquées sur le circuit de calcul de contraste 15. On notera que cet échantillonnage est indépendant du processus d'intégration se déroulant dans les cellules à l'aide des capacités 4, ce processus se poursuivant dans chacune des cellules tant que la tension de saturation inhérente aux circuits n'est pas atteinte, étant entendu que les circuits doivent être dimensionnés pour que cette tension de saturation soit plus élevée que le niveau de blanc.
Le fonctionnement qui vient d'être décrit est illustré sur les figures 6 et 7. La figure 6 représente l'allure des tensions intégrées (désignées ici collectivement, sur l'axe des ordonnées par Vc(t)) d'un certain nombre de pixels p1 à p10 agencés sur une rangée de la matrice du réseau, dans l'hypothèse d'un éclairement sur celui-ci analogue à celui représenté sur la figure 1. Si l'image prise est statique pendant l'intégration (ce que l'on suppose être le cas ici), les tensions intégrées Vc(t) des pixels évoluent linéairement avec le temps. Cependant, en pratique, on ne fait évoluer les tensions d'intégration qu'entre deux niveaux, celui du noir NN et celui du blanc NB, qui définissent une plage d'intégration permettant d'assurer un fonctionnement correct avant que la saturation inhérente aux circuits ne soit atteinte (voir figure 7 la droite SA qui représente le niveau de saturation), la tension de référence Vref pouvant être choisie à environ la moitié de l'écart entre les deux niveaux NN et NB. La figure 7 représente le profil spatial des tensions d'intégration des pixels ^ à p9 à différents instants au cours de l'intégration sur les capacités 4 de ces pixels. Les courbes représentées sont prises respectivement aux instants ti, t2, t3 etc. (figure 6) qui correspondent au profil des tensions aux moments où elles atteignent respectivement la tension de référence Vref. A noter que sur les figures 6 et 7, on n'a pas représenté tous les pixels pour que les diagrammes conservent leur lisibilité. A titre d'exemple, on a illustré la mesure de contraste à l'instant t7, la valeur de contraste résultant dans ce cas de la différence des amplitudes mesurées dans les pixels p6 et p8.
Il en résulte que pour tout pixel de la matrice, les tensions d'intégration nécessaires au calcul du contraste local sont échantillonnées, lorsque la tension de ce pixel issue de l'amplificateur 8 est égale à une valeur qui est identique pour toute la matrice. Par conséquent, la normalisation de ces tensions d'intégration revient à une division par une constante. A cette constante près (ce qui correspond à un gain du point de vue électronique), les tensions échantillonnées des pixels voisins du pixel considéré sont implicitement normalisées par la tension de ce dernier. Dans ces conditions, les différences de tension:
VPcx (tref ) = VD(tref) - VG(tref )
(5) VPcy (tref ) = VH(tref) - VB(tref) représentent respectivement, et à la même constante multiplicative près, les composantes en x et en y du vecteur de contraste du pixel considéré:
VPcx (tref) = k « pcx
(6) Vp (tref) = k . Pcy Ces tensions constituent le résultat recherché et peuvent être traitées comme connu en soi par l'homme de métier. Par exemple, il est possible d'en effectuer une conversion analogique/numérique et de les traiter ensuite dans un processeur de signaux numériques de type DSP. Il peut également être souhaitable d'effectuer un prétraitement du vecteur de contraste au niveau du capteur lui-même pour restreindre les données obtenues aux informations les plus pertinentes. Par exemple, on peut appliquer le procédé d'encodage temporel décrit dans EP 1 150 250.
Pour calculer les valeurs de contraste, on utilise des moyens multiplicateurs dits à quatre quadrants, dont le schéma est représenté sur la figure 8 et désigné par la référence générale 17, qui font partie du circuit de calcul 16 représenté sur la figure 5.
Les moyens multiplicateurs 17 comprennent deux multiplieurs analogiques 18a et 18b de structure identique et affectés respectivement aux calculs pour les directions x et y par rapport à un pixel pc quelconque du réseau de pixels. Chacun des ces multiplieurs met en œuvre une fonction de la forme:
Iout = β - (V1 - V2)- (V4 - V3) (7)
dans laquelle - Ut est le courant de sortie du multiplieur 18a ou 18b apparaissant sur une sortie 19a, 19b respective de ceux-ci,
Mi et V2 sont les tensions échantillonnées comme décrit à propos de la figure 5, à savoir pour la direction x par rapport à un pixel pc, les tensions VD(tref) et VG(tref), respectivement, et pour la direction y par rapport à ce même pixel les tensions VH(tref) et VB(tref), respectivement, et
V3 et V4 sont des tensions sinusoïdales respectives VA - cosφ(t) et
VA - sinφ(t) engendrées par des générateurs de tension sinusoïdale 20a, 21a et 20b, 21 b, respectivement, comme représenté sur la figure 8. Bien entendu, ces tensions sinusoïdales peuvent facilement être engendrées par un générateur unique (non représenté) dont le schéma est à la portée de l'homme de métier.
En appliquant l'équation (7) pour le multiplieur 18a et en reprenant l'expression (5) correspondante, le courant résultant lx pour l'axe x devient:
ïx ≈ βVA - Vp tJ- cosφ(t) (8) et de même pour le multiplieur 18b, le courant ly pour l'axe y devient:
Iy = βVA - Vpcy (tref)- sinφ(t) (9)
Les sorties 19a et 19b des multiplieurs 18a et 18b sont connectées aux entrées d'un additionneur 22 qui calculent la différence ltot entre les deux courants lx et
!« = βVA • Np tref)- cosφ(t) + βVA • V (tref)- sinφ(t) (10)
Ce résultat peut être reformulé de la façon suivante:
Itot = CPc - cos( Pc - φ(t)) (11) où C et αPc représentent respectivement le module et la phase du vecteur de contraste local du pixel p0, étant donné que Vp χ (tref) et Vpc (tref) représentent respectivement et à une constante de proportionnalité près, les composantes suivant les axes x et y du même vecteur.
Le résultat obtenu dans l'additionneur 22 est ensuite envoyé de préférence dans un circuit de codage temporel 23 décrit dans EP 1 150 250. Ce circuit fournit des impulsions lmo et lph représentant respectivement en codage temporel le module et la phase du vecteur de contraste. Les multiplieurs 18a et 18b sont réalisés de préférence conformément au schéma de la figure 8, chacun comportant six transistors M1 à M6 raccordés comme représenté. Ce montage présente l'avantage de pouvoir constituer par les capacités parasites des transistors M1 , M2 et M3, M4, respectivement les capacités d'échantillonnage 14D, 14G, 14H et 14B de la figure 5, celles-ci étant, dans ces conditions, incorporées directement dans le circuit de calcul 15.
Le mode de mise en oeuvre de l'invention qui vient d'être décrit à propos des figures 5 à 8 permet de déterminer par le calcul la norme et l'orientation du vecteur de contraste avec une très bonne précision, ce qui peut s'avérer important dans certaines applications. Cependant, comme déjà évoqué en préambule, dans d'autres applications il peut suffire de déterminer la valeur de la composante maximum du contraste (cX, cY) accompagnée d'une information angulaire approximative de l'orientation de ce vecteur. Dans une telle application, chaque pixel du capteur peut être réalisé de façon encore plus simple que celui qui vient d'être décrit en relation avec les figures 5 à 8, puisque dans ces conditions, le pixel peut être réalisé avec un circuit logique simple et sans circuit de calcul, ce qui en réduit encore davantage la complexité et la consommation. Dans ce second mode de réalisation du capteur, on exploite notamment le fait que l'orientation du vecteur de contraste peut être déterminée en se basant sur l'ordonnancement temporel des informations provenant des pixels voisins du pixel considéré, l'orientation pouvant alors être codée sous forme binaire.
On va décrire ce second mode de réalisation en se référant désormais aux figures 9 à 14.
La figure 9 représente le schéma simplifié d'un pixel p du capteur, ici par exemple le pixel central pc visible sur la figure 3. Ce pixel comprend un circuit photocapteur ph identique à celui du pixel représenté sur la figure 5. Cependant, dans le présent cas, la borne de sortie 9 de l'amplificateur 8 est reliée à l'une des entrées d'un comparateur 25 dont l'autre entrée 26 reçoit une tension Vbιanc représentative du niveau de blanc. Le comparateur 25 délivre sur sa sortie 27 un signal S représentant le moment pendant un cycle de prise d'image auquel le signal délivré par l'amplificateur 8 atteint la tension de niveau de blanc Vbιanc- (il s'agit ici du signal S du pixel central que l'on désigne donc par Sc). La borne 9 est reliée à un interrupteur semi-conducteur 28 commandé par le signal de sortie délivré par une porte OU inverseuse 29 dont les quatre entrées reçoivent les signaux SG, S , SB et SH issus des comparateurs 25 des pixels respectifs voisin du pixel pc. L'interrupteur 28 est également relié à une capacité de stockage 30 et à la première entrée d'un autre comparateur 31 dont la seconde entrée 32 reçoit un signal représentant une tension de seuil Vt_(t).
La sortie du comparateur 31 est connectée à un émetteur d'impulsions 33, auquel elle fournit un signal d'identification (adresse) du pixel concerné. Cet émetteur d'impulsions 33 délivre ainsi deux signaux d'adresse Ix et ly qui sont les coordonnées du pixel concerné et un signal binaire, dans l'exemple sur trois bits, représentant l'orientation du contraste. Ces signaux d'orientation lB0, lBι et lB2 sont engendrés à partir de signaux binaires B0, B1 et B2 issus d'un traitement logique, encore à décrire, des signaux SB, SH, SG et SD.
Lorsque l'interrupteur 5 est fermé par le signal de commande appliqué sur la borne 7 (appelé ici signal RST de commande du cycle de prise d'image), la tension sur la capacité 4 est forcée à prendre la valeur de la tension VNOIR. Puis, lorsque l'interrupteur 5 est de nouveau ouvert, le photocourant lph dû à l'exposition du capteur à la scène observée est intégré sur cette capacité 4.
La sortie 27 du comparateur 25 est transmise aux quatre pixels voisins pG, pD, pB et PH, et passe à l'état haut, lorsque la tension Vp(t) devient supérieure à la tension de niveau de blanc VBLANC. Les signaux SG, SD, SB et SH provenant des comparateurs 25 des quatre pixels voisins sont combinés dans la porte OU 29 de sorte que l'interrupteur 28 est conducteur aussi longtemps que ces quatre signaux sont à l'état bas. Dès que l'un des quatre signaux passe à l'état haut, la capacité 30 mémorise la tension Vp(t). La figure 10 illustre un exemple d'évolution temporelle de la tension Vp du pixel considéré et de celles VG, V , VB et VH de ses quatre voisins. Dans cet exemple, le contraste dans la direction verticale (VHl VB) est supérieur à celui dans la direction horizontale (VG, VD). Le pixel PH est celui qui a le photocourant le plus élevé. Il atteint donc en premier le niveau de blanc VBLAI.G. A cet instant, le signal SH à l'entrée de la porte OU 29 du pixel central pc passe à l'état haut de sorte que la tension Vp dans ce pixel est échantillonnée sur sa capacité 30. La différence entre la tension VBLANG et la tension Vp échantillonnée au moment tH où la tension VH atteint le niveau de blanc représente la composante maximale du vecteur de contraste (Cx, Cγ).
Le courant dans la photodiode 1 du pixel pG (ou de tout autre pixel du capteur) est donné par
avec l0 proportionnel à l'illumination de la scène observée et RpC étant la réflectance de la portion de la scène focalisée sur le pixel pG.
La tension VH atteint le niveau de blanc après un temps tπ donné par
dans laquelle C30 est la valeur de la capacité 30 du pixel pG, lH le photocourant dans le pixel PH et RH la réflectance de la portion de la scène focalisée sur le pixel pH.
La tension V30 stockée sur la capacité 30 du pixel pc vaut donc: V vc ≈i r -t LH = V VBLANC Pc (14) ^30 H
On voit donc que la tension VG est indépendante du niveau d'illumination du capteur. Ainsi, le second mode de mise en oeuvre de l'invention permet d'engendrer, non pas la norme du contraste, mais la composante maximale du vecteur de contraste en exploitant l'évolution temporelle de l'intégration des photocourants, ce qui évite tout calcul dans les pixels.
Le pixel du second mode de mise en oeuvre de l'invention permet également de fournir une information concernant l'orientation du contraste. A cet effet, comme représenté sur la figure 9, il comporte un circuit de détermination d'orientation 34 dont la figure 11 représente un exemple de réalisation préféré.
Le circuit de détermination d'orientation 34 tel que représenté permet d'estimer la situation de l'orientation du contraste dans huit sections du cercle trigonométrique (octants), exemple auquel l'invention n'est toutefois pas limitée. En fonction de la précision souhaitée de la détermination de l'orientation, l'homme de métier pourrait modifier le circuit 34 de manière à ce qu'il soit possible d'estimer l'orientation du contraste sur quatre sections ou sur plus de huit sections du cercle trigonométrique. L'entrée du circuit de détermination d'orientation 34 est reliée à la sortie de la porte OU inverseuse 29. La sortie de cette dernière est connectée à un circuit à retard 35 qui commande deux transistors de commutation T1 et T2 insérés respectivement dans deux sections logiques 34a et 34b du circuit 34.
Chaque section 34a et 34b est destinée à engendrer un bit du signal binaire représentant l'orientation du contraste. Comme dans l'exemple, l'orientation est déterminée sur des octants, ce signal binaire est fixé sur trois bits, B0, B1 et B2. Les sections logiques 34a et 34b déterminent respectivement les valeurs des deux bits de poids supérieur B1 et B2 en fonction du signal de sortie de la porte 29 et des signaux SB, SD et SG selon la table de vérité suivante:
Le circuit 34 comprend également une troisième section logique 34c qui en fonction de l'état des bits B1 et B2 et des signaux appliqué à la porte 29, engendre le bit BO de plus faible poids.
Les trois sections logiques 34a, 34b et 34c sont activées/désactivés par le signal de commande RST appliqué à des transistors respectifs de commande T3, T4 et T5 prévus dans chaque section.
Lorsque le signal de commande RST est à l'état haut, les bits B2, B1 et BO sont mis à zéro, les signaux SG, SD, SB et SH sont à l'état bas et la sortie de la porte 29 est à l'état haut. Les transistors T1 et T2 sont alors conducteurs. Lorsque l'un des quatre signaux SG, SD, SB et SH passe à l'état haut, les bits B1 et B2 vont changer d'état, le cas échéant. Dès que l'une des entrées de la porte OU 29 est à l'état haut, sa sortie va passer à l'état bas. Il en résulte que les transistors T1 et T2 sont rendus non conducteurs après un délai introduit par le circuit à retard 35, ce qui empêche une modification ultérieure de l'état des bits B1 et B2. L'état du bit BO est déterminé par celui des signaux SG, SD, SB et SH passant à l'état haut en second lieu pendant le cycle d'exposition concerné. Par exemple, si le bit B1 est à l'état haut, le bit BO sera mis à l'état haut, si le signal SB passe à l'état haut avant le signal SH, indiquant que l'orientation locale du contraste correspond à l'octant 3 (désigné par O3 sur la figure 12), si le bit B2 est à l'état bas. Par contre si le bit B2 est à l'état haut, il s'agira de l'octant 7 (indiqué par 07 sur la figure 12). D'autre part par exemple, si le bit B1 est à l'état bas, il sera mis à l'état haut, si le signal SG passe à l'état haut avant le signal SD pendant le cycle d'exposition considéré.
La lecture de l'information de contraste mémorisée sur la capacité 30 (figure 2) est réalisée selon le principe d'un convertisseur analogique/numérique à rampe. On pourra se référer au brevet EP 1 150 250 qui décrit un même principe de fonctionnement. Le comparateur 31 compare la tension emmagasinée sur cette capacité à une tension de référence VTH(t) qui croît avec le temps durant le cycle d'exposition. Lorsque cette tension de référence VTH(t) devient supérieure à la tension sur la capacité, une impulsion encodant l'adresse du pixel et l'état des bits B2, B1 et BO sont émis sur les sorties correspondantes Ix, ly et lB2, lB1, lB0. L'instant d'apparition des impulsion d'adresse encode ainsi la valeur du contraste, et l'état des lignes lB2, lBι, IBO encode l'orientation du contraste.
La variante représentée sur la figure 13 permet d'affiner la mesure de l'orientation de contraste par rapport à celle permise dans le mode de réalisation décrit à propos des figures 9 à 11. Dans ce cas, un circuit logique 36 engendre un signal de commande lorsque deux des signaux SG, SD, SB et SH sont à l'état haut. Ce signal de commande agit sur un interrupteur 37 connecté entre la sortie 9 de l'amplificateur 8 et une capacité 38. La tension accumulée sur cette dernière est transmise à une entrée d'un comparateur 39 dont l'autre entrée est portée à une tension de référence variable Vth_(t) distincte de la tension de référence, appelée ici Vtr,ι(t), appliquée sur le comparateur 31. Les entrées d'une porte ET 40 sont connectées respectivement aux sorties des comparateurs 31 et 39, tandis que sa sortie est reliée à l'émetteur d'impulsions 33. Dans cette variante, la tension Vp(t) est mémorisée sur la capacité 38, lorsque, pendant le cycle, un deuxième voisin du pixel considéré atteint le niveau de blanc émettant son signal SG, SD, SB ou SH. Dans ces conditions, les tensions mémorisées sur les capacités 30 et 38 représentent les deux composantes du contraste, l'état des bits B2 et B1 permettant de distinguer entre les composantes X et Y.
En prenant, à titre d'exemple, le cas de la figure 10, la capacité 30 mémorise la tension Vp(t), lorsque le signal SH passe à l'état haut et la capacité 38 mémorise cette tension lorsque le signal SD passe à l'état haut. Après avoir été lues, ces deux valeurs de tension peuvent être combinées pour affiner la mesure d'orientation. Leur lecture est alors effectuée en deux étapes comme l'illustre sur la figure
14. Dans une première étape, la rampe de la tension Vtm(t) lit les tensions stockées sur les capacités 30 des pixels. Cette rampe part de la tension VNOIR pour se terminer à une tension Vcmin, choisie en fonction de l'application ou ajustée en boucle de façon à optimiser la quantité d'informations lues, limitant la transmission des contrastes aux pixels dont la composante maximale de contraste est supérieure à VBL_,NC-Vcmιn. Dans une seconde phase, la tension Vtr,ι (t) est maintenue à la tension Vcrnιn. Simultanément, la tension Vth2(t) évolue entre VN0|R et VBLANC- Un pixel n'émet une impulsion de mesure lors du basculement du comparateur 39 que si la sortie du comparateur 31 est à l'état haut (porte ET 40).

Claims

REVENDICATIONS
1. Procédé permettant de déterminer le contraste local au niveau de chaque pixel (pc) d'un réseau (Mp) de pixels photosensibles agencés selon au moins une dimension (x, y), ce procédé consistant, au cours de cycles de prises d'image successifs respectifs, à engendrer un signal (LG) représentatif de la luminance locale relevée par chaque pixel, les signaux représentatifs de la luminance (Lpn, Lp(n+ ), Lp(n. 1)) étant des valeurs intégrées des valeurs de luminance captées par les pixels respectifs (pc, pG, pD, pH, PB), ce procédé étant caractérisé en ce qu'il consiste à échantillonner les valeurs intégrées des signaux représentant les luminances relevées par les pixels qui sont adjacents (pG, pD, PH, PB) à un pixel considéré (pc), l'échantillonnage ayant lieu à un instant dans ledit cycle auquel la valeur intégrée de la luminance relevée par ledit pixel considéré (pc) devient égale à une valeur de référence prédéterminée (Vrβf, VBLANC), et à déterminer le contraste local dudit pixel considéré (pc) sur la base des valeurs ainsi échantillonnées.
2. Procédé selon la revendication 1, caractérisé en ce que ladite valeur de référence (Vref) est choisie à une valeur intermédiaire de l'écart séparant une valeur de niveau de blanc (NB) et une valeur de niveau de noir (NN) susceptibles d'être relevées au maximum par lesdits pixels (p0, pG, pD, PH, PB), cette valeur étant de préférence égale à la moitié de cet écart.
3. Procédé selon la revendication 2, caractérisé en ce qu'il consiste à calculer le contraste local en appliquant pour ladite au moins une dimension dudit réseau l'expression suivante: r - p(»-D ~ -^ (»+I)
^pn j
dans laquelle
Cpn contraste local calculé pour ledit cycle d'un pixel de rang n (pc) dans la rangée du réseau orientée selon ladite dimension,
Lpn signal représentant la luminance relevée par le pixel de rang n
(Pc), P(n-i) signal représentant la luminance relevée par le pixel adjacent précédent de rang n-1 (pG) dans ladite rangée,
Lp(n-H) signal représentant la luminance relevée par le pixel adjacent suivant n+ (pD) dans ladite rangée.
4. Procédé selon l'une quelconque des revendications 2 et 3, caractérisé en ce que les valeurs intégrées des signaux représentant les luminances relevées par lesdits pixels adjacents (pG, pD, pπ, PB) sont accumulées sur des capacités ((14D, 14G, 14H, 14B) respectives à l'instant où la valeur intégrée du pixel considéré (pc) atteint ladite valeur de référence (Vref), lesdites capacités fournissant les valeurs nécessaires au calcul du contraste.
5. Procédé selon l'une quelconque des revendications 2 à 4, caractérisé en ce que, dans le cas où ledit réseau se présente sous la forme d'une matrice (MP) de pixels à deux dimensions, le calcul de contraste s'effectue sur la base des expressions suivantes: et dans lesquelles: - CX composante de contraste local dans la direction x de la matrice,
- Cy composante de contraste local dans la direction y de la matrice,
- LG, LD signaux représentatifs des luminances relevées respectivement par les pixels (pG, pD), adjacents au pixel considéré (pc) dans la direction x, - LH, LB signaux représentatifs des luminances relevées respectivement par les pixels (pπ, pB) adjacents au pixel considéré (pG) dans la direction y, lesdites expressions étant utilisées pour calculer les composantes du vecteur de contraste au niveau dudit pixel considéré (pc).
6. Procédé selon les revendications 4 et 5, caractérisé en ce que chaque couple de valeurs accumulées (VG(tref), VD(tref) et VH(tref), VB(tref)) appartenant respectivement auxdites directions x et y est soumis à une multiplication analogique à quatre quadrants par un signal cosinusoïdal et, respectivement, un signal sinusoïdal de même fréquence et amplitude que ledit signal cosinusoïdal, et en ce que les résultats (lx, ly) des multiplications correspondantes sont additionnées pour former le module et la phase du vecteur de contraste local correspondant audit pixel considéré
(Pc)-
7. Procédé suivant la revendication 1 , caractérisé en ce que ladite valeur de référence est choisie à une valeur de niveau de blanc (VBLANG) susceptible d'être relevée au maximum par lesdits pixels (pc, pG, pD, PH, PB).
8. Procédé suivant la revendication 7, caractérisé en ce qu'il consiste, pendant chacun desdits cycles de prise d'image, à relever les instants auxquels, dans un groupe de pixels composé du pixel considéré et de ses pixels adjacents (pc, PG, PD, PH, PB), les valeurs intégrées des valeurs de luminance captées par ces pixels atteignent ladite valeur de niveau de blanc (VB ANC) et à prendre comme valeur du contraste local la valeur intégrée du pixel considéré lorsque le premier des pixels adjacents (pD, pG, PH, PB) atteint ladite valeur de niveau de blanc.
9. Procédé suivant la revendication 8, caractérisé en ce qu'il consiste à engendrer des signaux impulsionnels (SG, SD, SB, SH) codant chacun desdits instants et à effectuer une combinaison logique desdits signaux impulsionnels (SG, SD, SB, SH) pour déterminer l'orientation dudit contraste local en fonction de l'ordre selon lequel les valeurs intégrées des pixels dudit groupe de pixels (p0, pG, pDι pπ, pB) atteignent ladite valeur de niveau de blanc (VBLANC).
10. Procédé suivant la revendication 9, caractérisé en ce que l'ordre desdits instants est codé sur trois bits (B0, Bι, B2) et en ce que l'orientation de ladite valeur de contraste est déterminé dans des octants du cercle trigonométrique.
11. Procédé suivant la revendication 8, caractérisé en ce qu'il consiste à prendre comme seconde composante du contraste la valeur intégrée du pixel considéré lorsque parmi les valeurs intégrées des pixels adjacents (p , pG, PH, PB) la deuxième desdites valeur atteint ledit niveau de blanc.
12. Capteur destiné à déterminer le contraste local d'une scène observée par détection de la luminance émanant de cette scène à l'aide d'un réseau comportant au moins une rangée de pixels agencée selon au moins une dimension dudit réseau et à mettre en œuvre le procédé tel que défini dans l'une quelconque des revendications 1 à 11 , ce capteur comprenant dans chaque pixel (pc) un circuit photosensible (ph) fournissant un signal représentant la luminance locale (Vcι) émanant de l'image et relevée par ledit pixel sous forme d'une valeur d'intégration (VP(t)), ce capteur étant caractérisé en ce que dans chaque pixel il est prévu un comparateur (10) pour comparer ledit signal représentant la luminance locale à une valeur de référence (Vref, VBLANG) et pour fournir un signal de commande, lorsque ledit signal de luminance est égal à ladite valeur de référence.
13. Capteur suivant la revendication 12 pour la mise en œuvre du procédé selon l'une quelconque des revendications 2 à 6, caractérisé en ce qu'il comporte une source délivrant ladite valeur de référence (Vrβf) de manière qu'elle soit égale à une valeur qui soit intermédiaire de l'écart séparant une valeur de niveau de blanc (NB) et une valeur de niveau de noir (NN), susceptibles d'être relevés au maximum par lesdits pixels, cette valeur étant de préférence la moitié de cette valeur.
14. Capteur suivant la revendication 13, caractérisé en ce qu'il comprend un circuit de calcul de contraste local (15) et des moyens (12D, 12G, 12H, 12B, 14D,
14G, 1 H, 14B) pour, en réponse audit signal de commande, appliquer sur ledit circuit de calcul (15) les signaux représentant la luminance locale des pixels (pG, p , PH, PB) immédiatement voisins du pixel considéré (pc).
15. Capteur selon la revendication 14, caractérisé en ce que lesdits signaux représentant la luminance locale (Vp(t), VG(t), VD(t), VH(t), VB(t)) se présentent sous la forme de tensions.
16. Capteur selon les revendications 15, caractérisé en ce que lesdits moyens pour appliquer audit circuit de calcul (15) lesdits signaux représentant la luminance locale comprennent un jeu de capacités (14D, 14G, 14H, 14B) pour emmagasiner les tensions (VG(t), VD(t), VH(t), VB(t)) fournies par lesdits pixels immédiatement voisins pendant que ladite valeur intégrée dudit pixel considéré évolue vers la valeur de référence (Vref).
17. Capteur selon la revendication 16 pour la mise en œuvre du procédé selon la revendication 6, caractérisé en ce qu'il comprend pour chacune desdites directions (x, y) des moyens analogiques de multiplication à quatre quadrants (18a, 18b) connectés pour multiplier les tensions emmagasinées respectivement sur lesdites capacités avec des tensions sinusoïdales et en ce qu'il est prévu un additionneur (22) pour sommer le résultat des multiplications effectuées par lesdits moyens de multiplication afin d'en déduire le vecteur de contraste local dudit pixel considéré.
18. Capteur suivant la revendication 17, caractérisé en ce que lesdits moyens analogiques de multiplication comportent pour chacune desdites directions (x, y) un multiplieur (18a, 18b) réalisé avec des transistors (M1 à M6), les capacités parasites des transistors (M1 à M4) prévus aux entrées desdits multiplieurs formant respectivement lesdites capacités d'emmagasinage (14D, 14G, 14H, 14B).
19. Capteur suivant la revendication 12 pour la mise en œuvre du procédé selon l'une quelconque des revendications 7 à 11 , caractérisé en ce que qu'il comporte une source délivrant ladite valeur de référence (VBLANC) de manière qu'elle soit égale à une valeur une valeur de niveau de blanc susceptible d'être relevé au maximum par lesdits pixels (pc, pG, PD, PH, PB)-
20. Capteur suivant la revendication 19, caractérisé en ce qu'il comprend, dans chaque pixel (pc), des moyens pour délivrer un signal binaire (SG, SD, SB, SH) lorsque, au cours de chacun desdits cycles, ladite valeur intégrée atteint ladite valeur de blanc (VBLANC), des moyens logique à fonction OU (29) connectés pour recevoir desdits pixels adjacents (pG, pD, PH, PB) le signal binaire (SG, SD, SB, SH) délivré le cas échéant par ceux-ci, et des moyens de combinaison logique (34) pour affecter une valeur d'orientation à la valeur de contraste relevée par le pixel concerné en fonction de l'état binaire de chacun desdits signaux binaires (SG, SD, SB, SH).
21. Capteur suivant la revendication 19, caractérisé en ce que lorsque le premier des signaux (SG, SD, SB, SH) passe à l'état haut, la valeur intégrée du pixel concerné est mémorisée sur une capacité.
22. Capteur suivant la revendication 20, caractérisé en ce qu'il contient une seconde capacité sur laquelle est mémorisée la tension intégrée du pixel concerné lorsque le deuxième signal parmi lesdits signaux binaires (SG, SD, SB, SH) passe à l'état haut.
EP03747952A 2002-09-03 2003-09-01 Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene Expired - Lifetime EP1535463B1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0210897 2002-09-03
FR0210897A FR2844129B1 (fr) 2002-09-03 2002-09-03 Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene
PCT/EP2003/009740 WO2004023791A1 (fr) 2002-09-03 2003-09-01 Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene

Publications (2)

Publication Number Publication Date
EP1535463A1 true EP1535463A1 (fr) 2005-06-01
EP1535463B1 EP1535463B1 (fr) 2011-02-16

Family

ID=31503077

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03747952A Expired - Lifetime EP1535463B1 (fr) 2002-09-03 2003-09-01 Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene

Country Status (6)

Country Link
US (1) US7170043B2 (fr)
EP (1) EP1535463B1 (fr)
AT (1) ATE498974T1 (fr)
DE (1) DE60336064D1 (fr)
FR (1) FR2844129B1 (fr)
WO (1) WO2004023791A1 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100594262B1 (ko) * 2004-03-05 2006-06-30 삼성전자주식회사 바이어스 회로, 이를 구비한 고체 촬상 소자 및 그 제조방법
DE102007059050B4 (de) 2007-12-06 2010-12-30 Appavu Mariappan, Niraimathi, Dr. Verfahren zum Betrieb eines optoelektronischen Schalters und optoelektronischer Schalter
EP2093996A1 (fr) * 2008-02-22 2009-08-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Recherche et Développement Capteur de vision pour la mésure d'invariants tels les contrastes et méthode pour effecture une telle mésure
CN107147856B (zh) * 2017-03-30 2019-11-22 深圳大学 一种像素单元及其去噪方法、动态视觉传感器、成像装置
EP3627830B1 (fr) 2018-09-18 2024-11-20 IniVation AG Capteur d'image et dispositif capteur pour obtenir des images de contraste temporel et spatial

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3635687A1 (de) 1986-10-21 1988-05-05 Messerschmitt Boelkow Blohm Bildaufnahmesensor
DE3827465A1 (de) * 1988-08-12 1990-02-15 Steinheil Optronik Gmbh Verstaerker fuer infrarotdetektoren
FR2745457B1 (fr) * 1996-02-23 1998-04-24 Suisse Electronique Microtech Reseau de cellules photosensibles et capteur d'images comportant un tel reseau
DK0864223T3 (da) 1996-09-27 2002-08-12 Boehm Markus Lokal autoadaptiv optisk sensor
US6069377A (en) * 1999-05-13 2000-05-30 Eastman Kodak Company Image sensor incorporating saturation time measurement to increase dynamic range
CH694232A5 (fr) 2000-04-27 2004-09-30 Suisse Electronique Microtech Procédé d'encodage temporel d'une pluralité d'informations pouvant être représentées par des vecteurs.
US6633654B2 (en) * 2000-06-19 2003-10-14 Digimarc Corporation Perceptual modeling of media signals based on local contrast and directional edges

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004023791A1 *

Also Published As

Publication number Publication date
ATE498974T1 (de) 2011-03-15
FR2844129A1 (fr) 2004-03-05
WO2004023791A1 (fr) 2004-03-18
DE60336064D1 (de) 2011-03-31
US7170043B2 (en) 2007-01-30
FR2844129B1 (fr) 2004-10-29
US20060011806A1 (en) 2006-01-19
EP1535463B1 (fr) 2011-02-16

Similar Documents

Publication Publication Date Title
EP2846535B1 (fr) Dispositif et procédé d'acquisition compressive d'images
FR2935076A1 (fr) Convertisseur analogique-numerique
WO2014082864A1 (fr) Procede de production d'images avec information de profondeur et capteur d'image
EP2357798B1 (fr) Procédé et circuit de commande d'un capteur d'image à gamme dynamique étendue
EP0157141A1 (fr) Dispositif de relevé de profil rapide
FR2989219A1 (fr) Circuit de traitement de pixels
EP1535463A1 (fr) Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene
EP2553623B1 (fr) Circuit électronique analogique de traitement d'un signal lumineux, système et procédé de traitement correspondants
EP0792063B1 (fr) Réseau de cellules photosensibles
EP0796006A1 (fr) Procédé pour fournir une représentation d'une scène optique par transformation de Walsh-Hadamard et capteur d'image mettant en oeuvre ce procédé
EP0447306B1 (fr) Dispositif de reconnaissance de séquences dans un signal multidimensionnel
FR3033902A1 (fr) Procede et systeme de mise au point automatique d'une camera
FR2625399A1 (fr) Dispositif de regulation de debit conjointe a au moins deux composantes de signaux video numeriques
EP3346389B1 (fr) Traitement à la volée de données dans un système d'acquisition
WO2020157733A1 (fr) Procédé dynamique d'imagerie tridimensionnelle
FR2474722A1 (fr) Dispositif de determination numerique de correlation d'images
EP3877905A1 (fr) Capteur d'image pour la reconnaissance optique de code(s)
EP0393763A1 (fr) Procédé de correction des dispersions des décalages présentés par les détecteurs photoélectriques et dispositif de correction utilisant un tel procédé
EP4111249A1 (fr) Procédé de gestion de blocs de commandes destinés à un système d'imagerie en microscopie, programme d'ordinateur, moyen de stockage et dispositif correspondants domaine technique
EP4186227B1 (fr) Capteur pour mesure de distance par temps de vol avec pixel à noeuds memoires multiples
FR2723277A1 (fr) Convertisseur analogique-numerique et systeme de conversion analogique-numerique mettant en oeuvre ledit convertisseur
WO2014131726A1 (fr) Procede de production d'images et camera a capteur lineaire
EP2304510A1 (fr) Estimation de la réponse impulsionnelle d'un système à partir d'observations binaires
FR3115145A1 (fr) Dispositif d'acquisition d'une image 2d et d'une image de profondeur d'une scene
EP2023289A1 (fr) Procédé et dispositif de détection de mouvement à double filtrage adaptatif

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050309

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20090313

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REF Corresponds to:

Ref document number: 60336064

Country of ref document: DE

Date of ref document: 20110331

Kind code of ref document: P

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 60336064

Country of ref document: DE

Effective date: 20110331

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20110216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110616

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110527

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110517

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110516

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20110915

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20111117

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 60336064

Country of ref document: DE

Effective date: 20111117

BERE Be: lapsed

Owner name: CSEM CENTRE SUISSE D'ELECTRONIQUE ET DE MICROTECH

Effective date: 20110930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: ARNOLD & SIEDSMA AG

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20120531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110930

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110901

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120930

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110216

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20170914 AND 20170920

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 60336064

Country of ref document: DE

Owner name: ANALOG DEVICES INTERNATIONAL UNLIMITED COMPANY, IE

Free format text: FORMER OWNER: CSEM CENTRE SUISSE D'ELECTRONIQUE ET DE MICROTECHNIQUE S.A. - RECHERCHE ET DEVELOPPEMENT, NEUCHATEL, CH

Ref country code: DE

Ref legal event code: R082

Ref document number: 60336064

Country of ref document: DE

Representative=s name: LIEB, FABIAN, MSC (UNIV. OF LONDON), DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 60336064

Country of ref document: DE

Owner name: ANALOG DEVICES GLOBAL UNLIMITED COMPANY, IE

Free format text: FORMER OWNER: CSEM CENTRE SUISSE D'ELECTRONIQUE ET DE MICROTECHNIQUE S.A. - RECHERCHE ET DEVELOPPEMENT, NEUCHATEL, CH

Ref country code: DE

Ref legal event code: R082

Ref document number: 60336064

Country of ref document: DE

Representative=s name: LAVOIX MUNICH, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 60336064

Country of ref document: DE

Owner name: ANALOG DEVICES INTERNATIONAL UNLIMITED COMPANY, IE

Free format text: FORMER OWNER: SNAP SENSOR SA, NEUCHATEL, CH

Ref country code: DE

Ref legal event code: R082

Ref document number: 60336064

Country of ref document: DE

Representative=s name: LIEB, FABIAN, MSC (UNIV. OF LONDON), DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 60336064

Country of ref document: DE

Owner name: ANALOG DEVICES GLOBAL UNLIMITED COMPANY, IE

Free format text: FORMER OWNER: SNAP SENSOR SA, NEUCHATEL, CH

Ref country code: DE

Ref legal event code: R082

Ref document number: 60336064

Country of ref document: DE

Representative=s name: LAVOIX MUNICH, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 60336064

Country of ref document: DE

Representative=s name: LAVOIX MUNICH, DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20210820

Year of fee payment: 19

Ref country code: DE

Payment date: 20210818

Year of fee payment: 19

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 60336064

Country of ref document: DE

Owner name: ANALOG DEVICES INTERNATIONAL UNLIMITED COMPANY, IE

Free format text: FORMER OWNER: ANALOG DEVICES GLOBAL UNLIMITED COMPANY, LIMERICK, IE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 60336064

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: H04N0005355000

Ipc: H04N0025570000

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 60336064

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20220901

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230401

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220901