EP1856907A2 - Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs - Google Patents

Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs

Info

Publication number
EP1856907A2
EP1856907A2 EP06726221A EP06726221A EP1856907A2 EP 1856907 A2 EP1856907 A2 EP 1856907A2 EP 06726221 A EP06726221 A EP 06726221A EP 06726221 A EP06726221 A EP 06726221A EP 1856907 A2 EP1856907 A2 EP 1856907A2
Authority
EP
European Patent Office
Prior art keywords
image
sharpness
color
digital image
capture apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06726221A
Other languages
German (de)
English (en)
Inventor
Laurent Chanas
Imène TARCHOUNA
Frédéric Guichard
Bruno Liege
Jérôme MENIERE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dxo Labs SA
Original Assignee
Dxo Labs SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0550601A external-priority patent/FR2880958B1/fr
Application filed by Dxo Labs SA filed Critical Dxo Labs SA
Publication of EP1856907A2 publication Critical patent/EP1856907A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the invention relates to a method for controlling an action, especially a sharpness modification, from a digital color image. It relates more particularly, but not exclusively, to improving the sharpness of at least one color of a digital image.
  • the invention also relates to a system implementing such a method and an image generated by such a method.
  • the invention also relates to a method for producing an image capture and / or restitution apparatus which comprises an optical system for capturing and / or restoring images, a sensor and / or image generator, and / or a servo system, the image being processed, for improvement, by digital image processing means.
  • the invention also relates to an apparatus obtained by such an embodiment method.
  • an optical focusing device can be used which displaces optical elements making it possible to vary the range of distances for which the image is sharp.
  • Such a device manual or motorized, often includes a servo system for choosing the displacement according to the distances of the objects in the scene.
  • the applications of such a process are cameras, cameras. It has the disadvantage of having a limited depth of field, especially at large aperture, and a cost and a size difficult to adapt to devices of small size, such as telephones.
  • a solution of the wavefront coding type can be used, which adds a specific optical element in the optical system to allow computational reconstruction of the sharpness with a large depth of field.
  • the applications of this solution have the disadvantage of being a specific industrial process, to have a cost and a bulk of the optical element, to require a hardware modification.
  • the solutions are: - the deflashing algorithms on the luminance or a color, by increasing the sharpness by "sharpen” or by another method of calculation.
  • the applications of such a method (all cameras) have the disadvantages of a limited increase in sharpness and therefore a very small increase in depth of field.
  • the known techniques for designing or producing such image capture and / or reproduction devices consist in firstly selecting the properties of the hardware elements of the apparatus. including the optical system, the sensor and the servo system. Then, if necessary, there is provided digital image processing means for correcting the defects of at least one of the hardware elements of the apparatus.
  • an optical device system design an optical device system
  • a specification is first established, that is to say that the space requirement, the focal length ranges, the opening ranges, the Covered field, the performances expressed, either in size of image spot, or in value of FTM (modulation transfer function), and the cost.
  • FTM modulation transfer function
  • This development of the optical system is done interactively.
  • an optical system is designed to have the best quality in the center of the image and usually the quality at the edges of the image is of a lower level.
  • the optical system is designed to achieve a certain level of distortion, vignetting, blur and depth. field, so that the optical system can be compared to other optical systems.
  • the characteristics of the sensor are also specified, namely: pixel quality, pixel area, number of pixels, microlens matrix, anti-alias filters, pixel geometry , and the arrangement of the pixels.
  • the usual technique is to select the sensor of an image capture apparatus independently of the other elements of the apparatus and, in particular, the image processing system.
  • the capture apparatus and / or image generators also usually include one or more servo systems such as an exposure system and / or a point system (auto focus or "autofocus") and / or a flash control system.
  • servo systems such as an exposure system and / or a point system (auto focus or "autofocus") and / or a flash control system.
  • the measurement modes are determined, in particular the areas of the image on which the exposure will be measured are determined. as well as the weight assigned to each zone.
  • the number and position of the areas of the image that will be used to focus will be determined. For example, a motor displacement instruction is also specified.
  • the invention results from the combination of the following findings, which are specific to it: i) The capturing apparatus and / or processing images generate on these images a variable sharpness which is a function of the color considered as described below with the aid of Figures la and Ib.
  • Figure la is shown the convergent lens 1 of an optical device (not shown) provided with a sensor 2 located on a focal point 3.2 associated with a wavelength X2.
  • the color defined by this length ⁇ 2 is clear on an image formed by this lens when the image represents an object at a very great distance.
  • the focusing point 3.2 of the lens is specific to the color defined by this wavelength ⁇ 2, such that a focusing point 3.1 specific to another color defined by a wavelength ⁇ 1 lies upstream of the sensor.
  • the image formed by this second color ( ⁇ 1) at the sensor is less clear than the image formed by the first color ( ⁇ 2), which reduces the sharpness of the overall image formed by the sensor.
  • the focusing point of the lens for a wavelength is variable depending on the distance to which the object 4 is represented in the image.
  • FIG. 1b shows the new locations 4.1 and 4.2 of the focusing points associated, respectively, with the wavelengths ⁇ 1 and ⁇ 2 when the object represented has moved from a very great distance (FIG. 1a) to a closer distance. ( Figure Ib).
  • the senor is located on the focal point of the color ( ⁇ l) which previously did not form a clear image.
  • the focusing point of the lens for a wavelength and an object distance is variable depending on the position in the image of the object represented.
  • FIG. 2 which is an example of the spectral distribution of an image along axis 6.1
  • the images are generally composed of several colors whose intensities (axis of ordinates 6.2) can be close.
  • blue 5.1 components (wavelength around 450 nm), green 5.2 (wavelength around 550 nm) and red (near 600 nm wavelength) are represented, but it is clear that the invention applies to an image regardless of its distribution of colors and wavelengths considered (eg infrared or ultraviolet).
  • the invention generally relates to a method for improving the sharpness of at least one color of a digital image comprising the steps of - choosing from the colors of the image at least one color called net color,
  • the invention also relates to a method of producing a capture apparatus which comprises a capture optical system, and a sensor, and / or a servo system, the image being processed, for its improvement, by digital image processing means; a method in which the parameters of the optical system and / or the sensor and / or the servo system are determined or selected from the capabilities of the digital means image processing, so as to minimize the costs of implementation and / or optimize the performance of the capture apparatus.
  • the method further comprises the step of decomposing the digital image into regions; said choice of the net color being made for each region.
  • said choice of the net color consists of choosing the sharpest color according to a predetermined rule. In one embodiment, said choice of "clean color" is predetermined.
  • said digital image is derived from a capture apparatus and said choice of the net color is a function of the distance between the capture apparatus and at least one object of the captured scene to obtain said digital image.
  • said image capture apparatus having a macro mode, said choice of the net color is a function of the activation of the macro mode.
  • said digital image being derived from a capture apparatus, said method further comprises the step of determining the distance between the capturing apparatus and at least one captured scene object from the sharpness of at least two colors in an image region of said object. In one embodiment, the method further includes the step of reducing the sharpness of at least one color in at least one image region.
  • the method further comprises the step of determining an enslaving instruction of said capturing apparatus from the sharpness of at least two colors; so that the focus is done in fewer steps and is accelerated.
  • said method further comprises the step of selecting an optic a set of predetermined optics; said optics having features such that images of an object at at least two predetermined distances have distinct distinct colors; so that the depth of field is improved and / or the cost of optics is decreased.
  • said method further comprises the step of designing an optic taking into account the method according to the invention; said optics having characteristics such that the images of an object at at least two predetermined distances have distinct distinct colors, so that the depth of field and / or the aperture and / or any other optical characteristic is improved and / or the cost of optics is decreased,
  • the invention also relates to a method for producing a device (20) for capturing and / or restoring images which comprises an optical system (22, 22 ') for capturing and / or restoring images, a sensor (24) and / or generator (24 ') of images, and / or a servo system (26), the image being processed, for its improvement, by digital means (28, 28') of image processing,
  • the method being such that the parameters of the optical system and / or the sensor and / or the image generator and / or the servo system are determined or selected, based on the capabilities of the digital image processing means , and in particular the improvement of the sharpness of a color according to the sharpness of another color according to a process according to one of the preceding claims,
  • the invention also relates to an apparatus for capturing and / or restoring images using a color improvement method according to one of the preceding embodiments and / or obtained by a production method according to the preceding embodiment.
  • the invention also relates to a digital image obtained by a method according to one of the preceding embodiments or from an apparatus according to the preceding embodiment.
  • the invention also relates to a digital image processing device implementing a method according to one of the preceding embodiments.
  • - Digital image means an image in digital form.
  • the image may be from an image capture apparatus.
  • the digital image may be represented by a set of numerical values, hereinafter called gray level, each numerical value being associated with a color sensitivity and a relative geometric position on a surface or a volume.
  • gray level a set of numerical values
  • color refers to the set of numerical values associated with the same color sensitivity.
  • the digital image is preferably the raw image of the sensor ("raw” format) before the demosaicing operation ("demosaicing" in English).
  • the digital image can also have undergone a treatment, for example a demosaicing, a white balance.
  • the digital image has not undergone subsampling.
  • the image capture apparatus includes a sensor with sensitive elements.
  • sensitive element is meant a sensor element for converting a flow of energy into an electrical signal.
  • the energy flow can take the form of a luminous flux, X-rays, a magnetic field, an electromagnetic field or sound waves.
  • the sensitive elements may be, depending on the case, juxtaposed on a surface and / or superimposed in a volume.
  • the sensitive elements may be arranged in a rectangular matrix, a hexagonal matrix or other geometry.
  • the invention applies to sensors comprising sensitive elements of at least two different types, each type having a color sensitivity, each color sensitivity corresponding to the portion of the energy flow converted into an electrical signal by the sensor. sensing element of the sensor.
  • the sensors In the case of a visible image sensor, the sensors generally have a sensitivity in 3 colors and the digital image has 3 colors: red 5.1, green 5.2 and blue 5.3 represented in FIG. 2 which shows on the vertical axis 6.2 the amount of energy converted and on the horizontal axis 6.1 the wavelength. Some sensors have a sensitivity in 4 colors red, green, emerald, blue.
  • color is also meant a combination, including linear signals delivered by the sensor.
  • the sharpness of a color may correspond to the measurement of a value called BXU which is a measure of the area of blur spot, as described in the article published in the Proceedings of IEEE, International Conference of Image Processing, Singapore 2004 ", and entitled” Uniqueness of Blur Measure “by Jérians BUZZI and Frédéric GUICHARD.
  • BXU is the variance of the impulse response (that is, its average surface). Processing capabilities can be limited to a maximum value of BXU.
  • the sharpness of a color is obtained by calculating a gradient.
  • the sharpness of a color can be obtained by a gradient calculation of 9 gray levels taken in neighboring geometric positions in the color considered.
  • the invention refers to the sharpness of at least two colors. According to one embodiment, the sharpness of at least two colors is only considered relatively relative to each other. For this embodiment, a gradient makes it possible to simply calculate a relative sharpness between two colors independently of the content of the image.
  • the invention mentions to choose from the colors at least one color called "clean color”. In one embodiment, this choice can be made by determining which of at least two colors is the sharpest. For this embodiment, a gradient makes it possible to simply determine the sharpest color among at least two colors.
  • An image capture device is, for example, a disposable camera, a digital camera, a DSLR (digital or not), a scanner, a fax, an endoscope, a camera, a camcorder, a video camera surveillance, a toy, a camera or a camera integrated or connected to a telephone, personal assistant or computer, thermal imaging camera, ultrasound machine, MRI (magnetic resonance) imaging equipment, X-ray machine.
  • the invention relates to such apparatuses when processing images having at least two colors.
  • Optical image capture system means optical means for rendering images on a sensor.
  • Image sensor means mechanical, chemical, or electronic means for capturing and / or recording an image.
  • servo system means means of the mechanical, chemical, electronic or computer, allowing elements or parameters of the device to meet a set. These include the autofocus system, automatic white balance control, automatic exposure control, optical element control, for example to maintain consistent quality images, an image stabilization system, an optical and / or digital zoom factor control system, or a saturation control system, or a contrast control system.
  • the digital image processing means can take various forms depending on the application.
  • the digital image processing means may be integrated wholly or partly into the apparatus, as in the following examples:
  • An image capture apparatus which produces modified images, for example a digital camera which incorporates image processing means.
  • An image rendering apparatus which displays or prints modified images, for example a video projector or a printer including image processing means.
  • a mixed device that corrects the defects of its elements for example a scanner / printer / fax including image processing means.
  • a professional image capture apparatus that produces modified images, for example an endoscope including image processing means.
  • the digital image processing means comprise means for improving the image quality by acting on at least one of the parameters of the group comprising: the geometric distortions of the optical system, the chromatic aberrations of the optical system, the compensation of the image; parallax, depth of field, vignetting of the optical system and / or of the sensor and / or the image generator, lack of sharpness of the optical system and / or the sensor and / or the image generator, noise, Moire phenomena, and / or contrast,
  • the determined or selected parameters of the optical system are chosen from the group comprising: the number of optical elements of the system, the nature of the materials composing the optical elements of the optical system, the cost of the optical system materials, the treatment optical surfaces, assembly tolerances, parallax value as a function of focal length, aperture characteristics, aperture mechanisms, range of possible focal lengths, focusing characteristics, focusing mechanisms to the point, anti-alias filters, clutter, depth of field, focal length and focus characteristics, geometric distortions, chromatic aberrations, decentering, vignetting, sharpness characteristics, - and / or the determined or selected parameters of the sensor and / or image generator are selected from the group consisting of: pixel quality, area pixels, the number of pixels, the microlens matrix, the anti-alias filters, the geometry of the pixels, the arrangement of the pixels, and / or the determined or selected parameters of the servo system are selected from the group consisting of: focus measurement, exposure metering, white balance measurement, focus set point, set point the set time, the
  • the focusing can be carried out in various ways, in particular by controlling the position of moving elements of the optical system or by controlling the geometry of elements. deformable optics.
  • the performance of a capture device is in particular, its cost, its size, the minimum amount of light that it can receive or transmit, the quality of the image, in particular its sharpness, the technical characteristics of the optics, the sensor and servo as well as its depth of field.
  • the depth of field can be defined as the range of distances in which the object generates a sharp image, that is to say whose sharpness is greater than a given threshold for a color , usually green, or again, or as the distance between the nearest object plane and the farthest object plane for which the blur spot does not exceed predetermined dimensions.
  • the invention also relates to an apparatus obtained by the production method as defined above.
  • the invention relates to a method for controlling an action from a measurement made on at least one digital image, having at least two colors, from an image capture apparatus, in which: - the relative sharpness is measured between at least two colors on at least one region R of the image, and
  • At least one action is controlled as a function of the measured relative sharpness.
  • region it means part or all of the image.
  • a region has one or more pixels, contiguous or not.
  • the action is particularly adapted to the distance between the imaged object and the capture apparatus or is adapted to the relative depth between two imaged objects.
  • Relative sharpness can be measured in different ways, for example (without the list being limiting):
  • the relative sharpness and / or relative sharpness in a region can be expressed as a single numerical value, for example reflecting the average relative sharpness in the region, or by several numerical values that account for the relative sharpness in different parts of the region.
  • At least one action is controlled according to the measured relative sharpness.
  • This action is notably (without the list being limiting):
  • an object detection in particular a face and / or the main subject (s) and / or
  • an object recognition and / or authentication for example a face, and / or
  • the action implements: the digital image, and / or
  • the treatment may consist (without the list being limiting) in one of the following actions:
  • the use of the relative sharpness measured to control the action thus makes it possible, in particular, to adapt the action to the distance between at least part of an image object and the measuring device, and / or to the geometry at least a portion of an object and / or the position and / or size of at least a portion of the object, and / or the direction of at least a portion of the object.
  • the known methods do not make it possible to control this type of action from a measurement of relative sharpness of at least one region of the image, but require the use of a particular device in addition to the image sensor to estimate a distance.
  • the known methods allow a measurement of distance in only one point or a limited number of points while the invention makes it possible to measure the distance in a large number of points simultaneously.
  • the controlled action is included in the group comprising:
  • the controlled action comprises processing on at least one zone Z 'of the digital image and / or another digital image.
  • the zone Z ' is or is not part of the digital image on which the relative sharpness measurement has been made.
  • the sharpness measurement in a digital camera is performed on the image displayed before shooting, and the image taken later is processed at full resolution (while the measurement performed on the displayed image before shooting, is usually at lower resolution) from the last measurement or a combination of the last measurements.
  • the zone Z ' constitutes all or part of the region (on which the relative sharpness measurement has been made) of the digital image, and / or the entire digital image, and / or a zone distinct from the region of the digital image, and / or an area of another digital image, and / or another entire digital image.
  • the zone Z ' is a pixel and one defines a region of N pixels on which one measures the relative sharpness and, depending on this relative sharpness, we apply a filter that conveys the sharpness of the sharpest color to the other color so that the sharpness of the pixel is increased.
  • the depth of field is increased.
  • the zone Z 'on which the treatment is carried out can constitute an entire digital image, especially when the sharpness of the entire image is increased.
  • the other digital image being, for example , an image following a video image; the other image is also, for example, the digital image taken at full resolution for a camera, while the image on which the measurement is made is at low resolution.
  • the zone Z 'for which a process is controlled comprises at least one pixel of an image and the region comprises a predetermined neighborhood of the corresponding pixel in the digital image.
  • the processed image can be the digital image.
  • the processed image may also be another image, for example an image from the same sensor and captured after the digital image.
  • the correspondence between the pixels of the two images can be done by associating the pixels of the two images located in the same place.
  • This case has the advantage of avoiding storing the digital image between the measurement and the processing without annoying artifact if the images are captured with a small time interval, for example 1 / 15s.
  • this treatment is applied to all the pixels of an image.
  • the processed image can be the digital image.
  • the processed image can be another image, for example an image from the same sensor and captured after the digital image.
  • processing on at least the zone Z ' comprises the modification of at least one characteristic of the image forming part of the group comprising: the sharpness, the contrast, the brightness, the details, the color, the type of compression , the compression ratio, the content of the image, the resolution.
  • Example of contrast modification The contrast of nearby objects is increased and the contrast of background objects is reduced, for example in the case of a video conference. Conversely, you can reduce the contrast of nearby objects and increase the contrast of background objects to reduce the effect of fog.
  • Example of brightness change The contrast of nearby objects is increased and the contrast of background objects is reduced, for example in the case of a video conference. Conversely, you can reduce the contrast of nearby objects and increase the contrast of background objects to reduce the effect of fog.
  • Example of brightness change The contrast of nearby objects is increased and the contrast of background objects is reduced, for example in the case of a video conference. Conversely, you can reduce the contrast of nearby objects and increase the contrast of background objects to reduce the effect of fog.
  • Example of brightness change The contrast of nearby objects is increased and the contrast of background objects is reduced, for example in the case of a video conference. Conversely, you can reduce the contrast of nearby objects and increase the contrast of background objects to reduce the effect of fog.
  • Example of brightness change The contrast of nearby objects is increased and the contrast of background objects is reduced, for example
  • the treatment may consist of lighting nearby objects and sinking the background, for example for a videoconference.
  • the treatment of the brightness will consist of lighting the background and darken the nearest objects to compensate for the effect of the flash.
  • an MPEG4 codec is provided with a close object / remote object segmentation, in order to allow to strongly compress the remote object to keep a maximum quality of the main subject that is close.
  • Example of changing the compression ratio As above in the case of a video conference, the compression ratio may be higher for the background than for the main subject.
  • the treatment consists of replacing a background with a landscape or a setting.
  • the processing comprises a sharpness modification for each pixel of the zone Z 'by means of a filter mixing the values attached to the pixel over a predetermined neighborhood at each pixel, the parameters of the filter being a function of the measured relative sharpness.
  • zone Z ' is determined from the measured relative sharpness.
  • zone Z corresponds to parts of images where the relative sharpness is within a given range corresponding to parts of the image containing objects within a given range of distances, which allows, for example to treat differently a foreground and the background.
  • the zone Z ' constitutes a background of an image, in particular intended to be transmitted remotely, in particular by a video or videoconferencing system.
  • the processed image can be the digital image.
  • the processed image may also be another image, for example an image from the same sensor and captured after the digital image.
  • the processing comprises providing an information function of the distance between the imaged object and the capture apparatus for all or part of the pixels of the zone Z 'and a storage and / or transmission and / or use of this information function distance, the storage being performed in particular in a computer file, in particular in an image file.
  • the zone Z ' may constitute a point and / or a region and / or several regions and / or a complete image and / or a main subject and / or a background.
  • the distance-dependent information may be a distance, for example with an indication of accuracy, or a range of distance values such as, for example, a distance less than one centimeter, a distance of between 1 and 10 centimeters, and a distance of 10 centimeters. centimeters and 1 meter, and beyond one meter.
  • Distance-based information can also be represented by a criterion of "too close", “near”, “near”, “far”, or “macro”. Information based on distance can also be translated into nature information of objects or subjects such as “portrait” or "landscape”.
  • Distance-based information may also include distance values of various image elements such as minimum distance, maximum distance, mean, and standard deviation.
  • the controlled action comprises a servo control of the capture apparatus included in the group consisting of: a focus control, an exposure control, a flash servo, a registration servocontrol of the image, a servo white balance, servo image stabilization, a servo of another apparatus or device related to the capture apparatus such as guiding a robot.
  • the main subject or the areas of interest can be detected by the distance measurements, from the sharpness, the main subject or the area of interest then being the closest area.
  • a focusing servo made from measurements made directly on a single digital image is particularly advantageous compared to known focus tuning, or "autofocus", for which it is necessary to perform measurements on successive images. .
  • a known adjustment servocontrol consists of pressing a triggering member halfway up and then moving the frame before pressing fully, whereas with the invention the focusing can be done. perform fully automatically; the invention thus allows a saving of time and a better image.
  • Example of Exposure Control As with focus control, the exposure setting is made on the main subject that is detected automatically; thus the exposure can be correct regardless of the position of the main subject in the frame of the image. In other words, as for the focus, the user does not need to aim the subject and then press halfway and then move the frame.
  • the illumination control can be carried out according to this main subject whereas with the state of the art the flash power is adjusted according to the focus without determining the main subject, that is to say, in particular, the closest subject.
  • less enlightened subjects can be numerically treated by lightening.
  • Example of control of another device When a mobile robot has to move, the regions closest to the mobile robot are determined and a trajectory free of any obstacle is determined from the objects closest to the mobile robot.
  • the controlled action includes a signal supply such as an indication signal of the object of main interest of the digital image, and / or a focus area, and / or an alarm signal indicating a change in the digitally monitored and imaged scene, and / or a distance from at least a portion of the imaged scene to the capture apparatus.
  • a signal supply such as an indication signal of the object of main interest of the digital image, and / or a focus area, and / or an alarm signal indicating a change in the digitally monitored and imaged scene, and / or a distance from at least a portion of the imaged scene to the capture apparatus.
  • a digital camera can be arranged a frame, including a predetermined shape, around the main subject to tell the photographer what is the main subject detected by the camera when shooting.
  • This indication signal of the main subject is used especially before the shooting itself to tell the photographer what the subject or the clearest object.
  • This signal can also be an indication that the nearest object or subject is too close to the camera to be able to be in focus.
  • the signal is constituted, for example, by the plaintext message "Foreground too close", or by an exaggeration of the blur of the first plane, or by a visible change in the color of the first plane.
  • the signal indicating that the foreground scene or object is too far away may take into account the final use of the image to be taken, including the resolution chosen for that purpose.
  • a subject that is blurred on a television or computer receiver screen may be sharp on a small screen of the type of that of a camera.
  • a blurry subject for a print on paper of 24cm x 30cm is not inevitably for an impression of 10cm X 15cm.
  • the blur indication signal can also accommodate the subject.
  • the detection of a bar code is more tolerant to blur than a natural image.
  • the camera In a video surveillance system of an object, the camera is set to monitor two regions. The first of these regions is the one where the object is located and the second region is the entire field of the camera. If an object in the shooting field approaches the object to be monitored, an alarm is triggered.
  • the controlled action is made to depend on at least one characteristic of the capture apparatus during the shooting, in particular the focal length, the aperture, the focusing distance, the exposure parameters, white balance settings, resolution, compression, or a user-made setting.
  • the controlled action is a function of the relative sharpness measured and the relative sharpness between at least two colors depends on the setting of the camera including the focal length, the aperture and the distance to the camera. point.
  • the digital image constitutes a raw image derived from the sensor of the capture apparatus.
  • This arrangement facilitates the measurement of relative sharpness because if we use a raw image or "raw”, the measurement is not affected by the treatments such as demosaicing, sharpening filtering, color space change or the tone curve.
  • the raw image from the sensor may, however, have undergone processing such as denoising, digital gain, black level compensation.
  • processing such as denoising, digital gain, black level compensation.
  • the relative sharpness measurement and / or the controlled action can be performed in the capture apparatus.
  • the relative sharpness measurement can be performed outside the capture device, for example on a computer after transfer of the digital image and / or control an action that is performed outside the capture apparatus.
  • the command comprises a command for detecting and / or recognizing a portion of the image, such as a detection and / or face recognition.
  • a face has a specific size.
  • the method according to the invention makes it possible to determine the distance between objects or subjects and to the capture apparatus; Moreover, from this distance information, the focal length and the size of the object in the image, it is possible to deduce the presence of the face (which has a size within a given range).
  • the criterion of size of the object can be supplemented by other criteria such as, for example, colors.
  • Object detection such as face detection, can be used in particular for, during a teleconference, automatically perform a strong compression of the background. This method can also be used for the detection of the defect, in order to correct it, red-eye, or for face recognition (biometric applications).
  • the controlled action includes measuring the position and / or movement of the capture apparatus.
  • one or more objects intended to remain stationary in a scene of a captured image are stored in memory and motion or position detection is performed by determining the variation of the relative sharpness over time. This arrangement can, for example, be used to make a visual computer interface of the "mouse" type in three dimensions.
  • the controlled action includes determining the position in the image of the main subject (s).
  • the criterion for determining the main subject in a digital image will be the smallest distance to the capture device. However, this criterion can be combined with other factors. For example, objects that are close to the capture apparatus may be eliminated by automatic processing. As previously described, it is also possible to take into account a criterion of size of the object, this size being a function of the focal length and the distance between the capture apparatus and the object.
  • the controlled action further comprises automatic framing, including centering, or cropping the digital image and / or another image on the main subject of the digital image.
  • the cropped image can be the digital image.
  • the cropped image may also be another image, for example an image from the same sensor and captured after the digital image.
  • the action ordered comprises the application of a treatment which is a function, on the one hand, of the relative sharpness and, secondly, a criterion selected by the user.
  • the selected criterion is the following: focus on the parts of the image that are closest to the capture device.
  • the control can be to increase the sharpness of these parts of the image and reduce the sharpness of the rest of the image to create a lower depth of field than actually obtained.
  • the controlled action includes modifying the contrast and / or brightness and / or color and / or sharpness of an image according to the relative sharpness variation in the image.
  • a scene is lit by one or more natural or artificial sources as well as possibly by one (or more) flash (es) controlled by the camera.
  • an image capture apparatus performs an exposure control (exposure time, sensor gain and, if appropriate, aperture), a white balance control (gain of each color in the image). the entire image) and possibly the flash (duration and power of the flash) according to measurements in a digital image of the scene (eg saturated area analysis, histogram analysis, average color analysis) and / or measurements made with a complementary device: infrared range finder, flash pre-flash ..., focus servo to find the focus producing the sharpest image by comparing the sharpness of several images taken with different focus.
  • These controls change the contrast and / or brightness and / or color of the image but do not use a measure of the relative sharpness between at least two colors on at least one region R of the image.
  • the controlled action includes providing, to an exposure control system and / or white balance and / or focusing, the position of at least one area of interest to be taken. in account, this area of interest being determined by comparing at least two relative sharpness measurements.
  • the exposure control can be performed on the part closest to the capture apparatus, possibly by combining with another criterion such as the elimination of object (s) close (s), in limit of picture (edge of field).
  • the enslavement of the white balance can be performed for example on a subject of significant size in the center of the image, possibly at the expense of a background illuminated differently.
  • the method includes determining a close portion in the image and a remote portion and the white balance control performs separate measurements on these two regions to determine the presence or absence of multiple lights, and make separate offsets. for each of these regions. If the position of the area of interest is provided to the focus servo, the focus action will be faster and the main subject (area of interest) can be tracked, even if it is in focus. movement.
  • the controlled action includes providing a signal to the user indicating that the image is too close to be sharp.
  • the controlled action includes altering resolution of an image based on the measured relative sharpness.
  • the image can be the digital image.
  • the image may also be another image, for example an image from the same sensor and captured after the digital image.
  • the resolution is reduced when the image is taken at a distance from the capture apparatus that is too small to obtain a sharp image at full resolution, the final resolution being chosen to obtain a sharp image.
  • the controlled action includes providing information, or signal, used for automatic indexing of the digital image.
  • the indexing may consist of the provision of a signal indicating that it is a portrait or group of people.
  • the distinction between these two situations is made according to whether the pictorial scene includes one or more objects or related subjects. If the distance of the objects or subjects is greater than a predetermined limit, then the image can be considered to represent a landscape.
  • the controlled action includes providing to a capture device sound (s), distance information and / or direction relative to the capture apparatus, a subject or object in the digital image.
  • a camcorder or a cameraphone one can determine the main subject (s), determine the distances and / or directions of these main subjects and focus the sound capture on the main subject or main topics and thus eliminate the background noise.
  • the directivity control of the sound capture can be performed using two microphones and a phase shift between the signals of these microphones.
  • a particular application of this latter provision is, in a video conference, the use of a wide-angle image capture apparatus and an automatic tracking of the subject that is expressed orally.
  • the controlled action includes the setting of a high compression for the background and a compression for the main subject (s), this (these) main subject (s) ) being determined as constituting an area of the image satisfying criteria based on the measured relative sharpness.
  • the capture apparatus comprises a sensor having pixels provided with color filters of at least two kinds, these filters being chosen so that their spectral responses have little overlap.
  • the capture apparatus includes a sensor having pixels primarily for producing the image and other pixels primarily for measuring relative sharpness.
  • pixels primarily for measuring relative sharpness have a spectral response in a spectral band that has little overlap with the spectral band, with pixels primarily serving to produce the image.
  • the pixels primarily for producing the image have a spectral response primarily in the range visible to the human eye and the other pixels have a spectral response primarily outside the range visible to the human eye.
  • the invention also relates to a sensor thus defined, independently of a capture apparatus and method, according to the invention, defined above.
  • the invention also relates to a capture apparatus comprising such a sensor, this capture apparatus may also be used independently of the method defined above.
  • the invention also relates, according to a provision that can be used in combination with the (or independently) provisions defined above, a digital image capture apparatus which comprises a sensor having, on the one hand, pixels whose spectral response is mainly in the domain visible to the human eye and, on the other hand, additional pixels having a spectral response, mainly outside the spectrum visible to the human eye, this sensor was such that the d image from the additional pixels has sharpness, in at least a range of distances between the capture apparatus and the image scene, greater than the sharpness of the portion of the image from the spectral response pixels mainly in the visible range .
  • the additional pixels may be sensitive to infrared and / or ultraviolet radiation.
  • Pixels sensitive to ultraviolet radiation can be used to improve sharpness for short distances, while pixels sensitive to infrared radiation can be used to improve sharpness at great distances.
  • infrared and / or ultraviolet one can hear any part of the spectrum beyond or below the visible spectrum, including the near infra-red such as 700 to 800 or 700 to 900nm, or near ultraviolet near 400nm.
  • the capture apparatus is provided with a fixed optics, that is to say devoid of mechanical elements for focusing.
  • the capture apparatus is provided with a zoom lens without moving or deformable focusing element, the relative sharpness between at least two colors on at least one region R of the image being variable according to the focal length and / or the position of the object imaged with respect to the apparatus.
  • variable-focus optics comprises, for example, a single mobile or deformable optical group.
  • a zoom is made with at least two mobile groups, for example one or two for the focal length and the other for focusing.
  • the focus and focus are independent, ie when the focal length changes, it is not necessary to change the focus. This eliminates the time needed for focusing.
  • varifocal lenses less expensive, in which the focus must be changed when the focal length varies.
  • zooms in which two complexly linked mobile optical groups are used to vary the focal length, the focus being achieved by a third group.
  • the digital image is derived from at least two sensors.
  • each sensor is dedicated to a specific color.
  • the controlled action includes adding an object to an image and / or replacing a portion of an image based on the relative sharpness measured on the digital image.
  • the method adds a character next to the main subject. It is also possible, by way of example, to add an object in a given position in the image; the object will be the correct size in the image if the distance of the scene imaged at this position is taken into account.
  • the method includes capturing a sequence of images, the digital image being part of the sequence and the controlled action being performed on at least one other image of the sequence.
  • the estimate of the relative sharpness can be performed on preview images before shooting, at lower resolution, while the correction can be performed on an image permanently stored, for example by means of a choice of filters resulting from a measurement made on the preview images.
  • the controlled action includes modifying a setting of the capture apparatus, including focal length, aperture, focus distance.
  • the camera may include an automatic adjustment program such that the aperture is If the subject is in front of a background, the background can be blurred.
  • the tuning program can also automatically adjust the aperture to the distance of the subjects in a group so that the depth of field is sufficient for all subjects in the group to be sharp. Note that in the latter case, we obtain a function performed automatically while it is performed manually in the state of the art.
  • the controlled action comprises producing a modified raw image.
  • the digital image is preferably the raw image of the sensor (format "raw” in English) before demosaicing operation ("demosaicing" in English).
  • the digital image may also have been processed, for example, white balance.
  • the digital image has not undergone subsampling.
  • an optical system, sensor and image processing means that produces a raw image having a better quality or particular characteristics, for example an extension of the depth of field, while maintaining image-like characteristics.
  • raw directly from the sensor and in particular an accounting with the functional blocks or known components performing the function of conversion raw image to visible image ("image pipe” or "image signal processor” in English).
  • the raw image has undergone demosaicing.
  • the optics of the capture apparatus exhibit strong longitudinal chromatic aberrations, for example such that, for a focus, an aperture and a focal length determined, there is at least one color for which the distance object of best sharpness is less than f 2 OJ 3 k being a coefficient less than 0.7, preferably less than 0.5, f being the focal length, 0 the aperture and P the most small (among all the colors of the image) diameters of the blur spot of an object point lying at infinity.
  • the measurement of relative sharpness between two colors is obtained by comparing the results of a first measurement M applied to the first color and the result of the second measurement applied to the second color, each measurement M providing a function value on the one hand, the sharpness of the color and, on the other hand, the content of the digital image, so that the comparison can be freed from the content of the digital image.
  • the comparison of the sharpnesses is carried out by using a measurement M on pixels of the digital image.
  • the measurement M in a given pixel P for a given color channel C corresponds to the gradient of the variation of C in a neighborhood P. It is obtained by the following calculation:
  • V (P) a neighborhood of the pixel P.
  • GM is the average of the amplitude of the gradients on the neighborhood V (P)
  • SM the mean of the amplitude of the differences between GM and the gradients on the neighborhood V (P).
  • a gradient is calculated by the magnitude of the difference in values of two pixels of the same color.
  • Gradients in the neighborhood V (P) correspond to gradients involving a predetermined number of pairs of pixels in the neighborhood V (P).
  • the measure M at the pixel P having a color C can be defined by the ratio between SM and GM. This gives a value M (P, C).
  • This measurement does not allow, in itself, to characterize precisely and completely the sharpness of the color C. In fact, it depends on the content of the image (type of scene imaged: textures, gradients, etc ..) in the neighborhood V (P) of the pixel P.
  • a frank transition in the scene imaged for the same sharpness of color will generate a measurement M higher than a smooth transition in the pictorial scene.
  • a transition will be present in the same way in each color, thus affecting the measurement M in the same way between the colors. In other words, when a clear transition appears on a color C, the same type of transition appears on the other colors.
  • the comparison of the measurements M makes it possible to establish the relative sharpness between a color C1 and a color C2.
  • the relative sharpness, between two colors C1 and C2, measured in a pixel P can be defined for example as a comparison between the two measurements M (P, Cl) and M (P, C2).
  • M (P, C1)> M (P, C2) implies that Cl is sharper than C2.
  • the relative sharpness in a region R of the image can be defined by using the measurement M on all the pixels P of the region R.
  • the relative sharpness in a region R of the image may be the set or a subset of the relative sharpnesses measured for the pixels P of the region R. It may also be defined as a single value such that the sum S of the measurements on all the pixels P of the region R for each of the colors.
  • the controlled action when the controlled action is to determine the position of the main subject in the image, the controlled action further comprises automatic framing, including centering the image on the main subject.
  • the method may be implemented in an image capture or image processing apparatus or device.
  • These devices or devices are part of the group comprising: an electronic component, integrating or not a sensor, an electronic subassembly integrating an optical, a sensor and possibly an image processing module ("camera module”) or any other form as defined above.
  • FIGS. 1a and 1b are representative diagrams of the longitudinal chromatic aberration of a convergent lens
  • FIG. 2 already described, is the color spectral diagram of an image
  • FIGS. 3a and 3b are diagrams representing the improvement of the sharpness of a color by means of the same clear color according to FIG. invention
  • FIG. 4 is a diagram showing the improvement of the sharpness of a color by means of different distinct colors associated with distinct regions of an image according to the invention
  • FIGS. 5, 6 and 7 are diagrams representing improvement of the sharpness of a color by means of different distinct colors associated with the whole of an image according to the invention
  • FIG. 8 is a diagram showing the servo-control of an apparatus according to a sharpness difference between the net color and the color to be improved according to the invention
  • FIG. 9 is a diagram representing the choice of a color net from a distance measured between an object and a device capturing the image of this object
  • FIG. 10 is a diagram showing the reduction of the sharpness of at least one color in at least one region of the image
  • FIG. 11 is a diagram of an apparatus obtained by the method according to the invention.
  • FIG. 12 is a diagram showing steps of the method according to the invention.
  • FIG. 13 shows a mode of adjustment in accordance with FIG.
  • 1, 14a and 14b form a set of diagrams showing settings used in the context of
  • FIGS. 15, 15a, and 15b illustrate a property of an image capture apparatus according to the invention and of a conventional apparatus
  • FIGS. 16a to 16d are diagrams showing the properties of an optical system of an apparatus according to the invention and of a conventional apparatus
  • FIGS. 17a and 17b are diagrams showing an example of optical system selection for an apparatus according to the invention.
  • FIG. 18 is a diagram illustrating characteristics of a camera according to
  • FIGS. 18.1 and 18.2 represent means for implementing the method according to the invention
  • Figures 19.1, 19.2 and 19.3 represent steps of the method according to the invention according to several embodiments
  • Figures 20.1 and 20.2 show other embodiments of the invention.
  • the method described below improves the sharpness of at least one color of a digital image by choosing from the colors of the image at least one color called "clean color” and by reflecting the sharpness of the sharp color on at least one other improved color, as shown below with the help of Figures 3a and 3b.
  • FIG. 3a More precisely, in FIG. 3a is shown the sharpness (axis 7.2 of the ordinates) of two colors 13.1 and 13.2 as a function of the distance of the objects that they represent on the image considered vis-à-vis the apparatus having captured the image
  • the sharpness of these two colors varies differently depending on this distance but overall, in this example, the first color 13.2 has a better sharpness than that of a second color 13.1 of the same image.
  • CA, CO and CN are respectively values representative of the improved color, the original color (or to be improved) and the net color.
  • the clean color is the first color.
  • the original color and the improved color correspond to the second color before and after treatment.
  • the effect of the sharpness on the second color is carried out using a filter F, according to a formula of the type:
  • CA CN + F (CO - CN)
  • the filter F will have the particularity of removing the details of the image to which it is applied.
  • a linear low-pass filter or averager
  • one of the numerous known nonlinear filters having the particularity of removing details such as, for example, a median filter.
  • the human retina has a particularly high sensitivity, with respect to the details of an image, for the green color so that the adjustment of the optical systems generally aims to obtain a high sharpness.
  • this color for a certain range of focus (see, for example, pages 30 to 33 of the book "Color Participation Models" by Mark D. Fairchild edited by Addison Wesley).
  • an optical device delivering images whose sharpness is not satisfactory for the human eye may have a satisfactory sharpness for one of its colors, such as blue or red, for which the eye shows less sensitivity when considering details.
  • one of its colors such as blue or red
  • the sharpness of the distant object is generally favored with a green color while the sharpness of the near object is improved by considering the blue color.
  • the sharp color used to improve the sharpness of a color according to regions of the image such a method being described below with the help of Figure 4 which shows an image 10 comprising two regions 11.1 and 11.2.
  • the improvement of a color in the region 11.2 is done by considering the color 8.3 as the net color while the improvement of a color in the region
  • the regions of an image may be predetermined or not.
  • a region may be a spatial area delimited by one or more pixels.
  • the color 8.2 is selected as the net color in the region 11.1 while the color 8.3 is the net color in the area 11.2.
  • FIG. 5 represents the sharpness (axis of ordinates 7.2) of two colors 8.2 and 8.3 as a function of the distance (7.1) between at least one object of the scene captured to obtain said image and the apparatus of capture.
  • a method according to the invention can consider the color 8.3 as a clean color, used to correct the sharpness of a color, over the range of distances 9.1, while the color 8.2 is considered the net color to improve a color from an object of the captured scene to obtain the image at a distance from the capture apparatus in the range 9.2.
  • the sharpness of the colors on the image can be improved towards a profile as shown in the diagram 6, namely the juxtaposition of the sharpest colors on the image.
  • the region of image may vary depending on the geometric position of the region of image and / or other image capture parameters such as focal length, aperture, focus, etc. To determine the sharpest color in the sense of the invention, it is not necessary to know the parameters indicated above.
  • the choice of the net color can also be determined by the software activation of at least one image capture mode such as a macro mode as described later. In such a context, we can consider the image as a single region.
  • a threshold 8.1 which indicates the required level of sharpness, beyond which the image is considered fuzzy.
  • such a threshold 8.1 defines the depth of field, that is to say the range 9.2 of distances between at least one object of the scene captured to obtain said image, and the device capture, such that the image of the object is clear.
  • a consequence of the invention is therefore to allow an extension of the depth of field of an optical system as detailed below with the help of Figure 9.
  • the depth of field of a capture device initially limited by the sharpness of the color 8.2 and the sharpness threshold 8.1, is increased by using a second color 8.3 having a satisfactory sharpness (below the threshold 8.1) over a new range of distances between at least one object of the scene captured to obtain said image and the capture apparatus.
  • such an application is implemented in fixed focus cameras, such as cameraphones.
  • the optical design of these devices provides a range of sharpness for great distances up to a few tens of centimeters at best on the basis of a green color, similar to the color 8.2 of Figure 5.
  • the blue color does not focus in the same way, it can present a sharpness at distances smaller than the green color, similar to the color 8.3.
  • the invention makes it possible to increase the sharpness of an image at a short distance from a cameraphone by attributing to the green color, and to the other colors, the sharpness of the blue color, increasing corollary the depth of field of the device.
  • the method determines a servo control setpoint of the capture apparatus considered in FIG. from the sharpness of at least two colors of the captured image so that the focus is in fewer steps and therefore faster.
  • a distance 17.1 between at least one object of the imaged scene and the optical system 1 capturing the image can be determined using the different levels of sharpness (axis 7.2 of the ordinates) of the colors 8.2 and 8.3 used in the region 11.3 relating to the image of the object.
  • a macro function is provided to allow imaging of objects near the capture apparatus within a predetermined range of distances, referred to as the macro range of distances 9.1, to the apparatus.
  • a capture apparatus makes it possible to move all or part of the optics to perform the macro function.
  • the method or system that is the subject of the invention makes it possible to dispense with such a displacement.
  • the sharpest color is predetermined for the macro range 9.1, for example by measuring the sharpness 8.2 and 8.3 of the colors of the digital images obtained by the capture apparatus for each color by producing digital images. from objects located at different distances from the capture apparatus.
  • the clearest color ( Figure 5) is the one corresponding to 8.3. This predetermination can be carried out definitively, for example at the time of the design of the apparatus
  • the Macro function when using the device, when the Macro function is activated, it then reflects the sharpness of the net color so predetermined on the other colors, as described above.
  • the sharpness of the digital image can be calculated by a conventional method or by using the method according to the invention applied to the range of distances 9.2.
  • the macro mode can thus be activated in a software manner at the device or any other device processing the image.
  • This software activation can be done so conventionally before the capture of the image but also after this capture and on a local device or remote capture device.
  • the activation of the macro mode can be done automatically, for example by determining the sharpest image between the image generated in normal mode and the image generated in macro mode.
  • the macro function performed according to the invention also benefits an apparatus comprising variable parameters at the time of capturing the digital image and having an influence on the sharpness of the colors, in particular a zoom capture apparatus, and / or a Optical with variable focus and / or variable aperture.
  • the sharpness curves 8.2 and 8.3 corresponding to the value of the variable parameters according to the digital image are then used.
  • the addition of macro function allows the shooting of bar code, business card, or manuscript containing text and / or schema by an image capture device, including a phone or a camera.
  • the depth of field is the range of distances between the objects in the scene and the image capture apparatus, allowing for a sharp digital image.
  • a capture device has a depth of field limited and all the weaker as the opening of the optics is large.
  • the digital image is decomposed into regions 11.1 and 11.2, for example in square regions corresponding to 9 sensitive elements neighboring the sensor, or, more generally, in regions corresponding to X by Y sensitive elements or in regions of predetermined shape or calculated according to the digital image.
  • the sharpest color is chosen, for example as the color corresponding to the lowest value among the values obtained by calculating a gradient for each color from the gray levels corresponding to the color and the region. considered.
  • the color corresponding to curve 8.3 is sharper for region 11.2 while the color corresponding to curve 8.2 is sharper for region 11.1.
  • the digital image of near-distance objects 5 to the capture apparatus within the 9.1 range is clear for the color corresponding to curve 8.3 (FIG. for example, blue), whereas it is less so for the color corresponding to curve 8.2 (for example, green).
  • the digital image of distant objects - distances to the capture apparatus in the 9.2 range - is clear for the color corresponding to curve 8.2, whereas it is less for the color corresponding to curve 8.2. color corresponding to curve 8.3.
  • the eye is much more sensitive to the sharpness in the green than the blue, it will perceive a sharpness corresponding to the curve 8.5 of Figure 7.
  • Figure 6 represents, by the curve 8.4, the sharpness obtained in each color after use of the method according to the invention: the blue made it possible to obtain a sharpness better than the threshold 8.1 for the close objects, located in the range of distances 9.1, then that the green made it possible to obtain a sharpness better than the threshold 8.1 for the distant objects, located in the range of distances 9.2.
  • the depth of field is increased without increasing the cost, complexity or bulk of the optics and / or without the need to change the exposure, so without reducing the opening, or increase the noise level or increase the motion blur.
  • Depth-of-field augmentation allows both barcode, business card, or manuscript-containing text and / or schema capture as well as portraits or landscapes by an image capture apparatus, including a phone or a camera. This is possible without using expensive autofocus or macro devices. In addition this device, compared to a manual mechanical macro device is made fully automatically without any intervention of the user.
  • the increase in depth of field produced according to the invention also benefits an apparatus having variable parameters at the time of capturing the digital image and having an influence on the sharpness of the colors, in particular a zoom capture apparatus, and / or an optics with variable focus and / or variable aperture.
  • the sharpness curves 8.2 and 8.3 corresponding to the value of the variable parameters according to the digital image are then used.
  • the method and device according to the invention then makes it possible to choose or design, as described later using FIGS. 11 to 17b, during the design of the capture apparatus, an optic with a more limited number of setting positions. to the point, which has the advantage of reducing the constraints of design of the optics and thus of reducing the costs. This also has the advantage of enabling faster and less expensive development by decreasing the necessary accuracy of the servo mechanism. For example, to obtain optics of great depth of field can be chosen or design an optical having the characteristic of having the union of the clear distance ranges for each of the largest possible colors.
  • optics of large aperture it is possible to choose or design an optic having the characteristic of having a single clear color in each of the ranges of distances and such that the union of the clear distance ranges for each of the colors corresponds to the desired depth of field.
  • an optic having the characteristic of having a single clear color in each of the ranges of distances and such that the union of the clear distance ranges for each of the colors corresponds to the desired depth of field.
  • one can also optimize both the aperture of the camera and the depth of field of the image.
  • a method and a device are also provided for reducing longitudinal chromatic aberrations of a digital image.
  • a capture device uses a hardware device to measure the distance of objects from a scene based on a laser, an infrared device, a flash pre-flash ...
  • the digital image is decomposed into regions 11.3, for example in square regions corresponding to 9 sensitive elements neighboring the sensor, or, more generally, in regions corresponding to X by Y sensitive elements or in regions of predetermined shape or calculated according to the digital image.
  • the sharpness of at least two colors is then measured for each region 11.3, the measured values, or the measured relative values 16.1 and 16.2, are then reported on the corresponding curves 8.2 and 8.3 of sharpness of the capture apparatus.
  • a distance 17.2 corresponding to an estimate of the distance 17.1 between the part of the object 4 represented on the region 11.3 and the capture apparatus is then obtained.
  • the distance measurement performed according to the invention benefits especially fixed optics, including telephones.
  • the distance measurement produced according to the invention also benefits an apparatus comprising variable parameters at the the moment of capturing the digital image and having an influence on the sharpness of the colors including a zoom capture apparatus, and / or an optics with variable focus and / or variable aperture.
  • the sharpness curves 8.2 and 8.3 corresponding to the value of the variable parameters according to the digital image are then used.
  • the method then makes it possible to obtain a distance estimate of the objects present in each region of the digital image. This allows :
  • the distance in real time is displayed on the image
  • the distance information makes it possible to guide a robot
  • FIGS. 4, 5, 6 and 7 will now describe an embodiment of the method and system according to the invention, more particularly adapted to the control of the depth of field, without the need for a particular mechanical device for a device.
  • known image capture apparatus The method then makes it possible to obtain a sharp image for objects located at a distance from the capture apparatus corresponding to a range of sharpness and a blurred image for the other objects.
  • a capture device has a limited depth of field and as much as the opening of the optics is large and so the depth of field and the exposure are linked so that a choice must be made in low light between depth of field, noise and motion blur.
  • the digital image is decomposed into regions 11.1 and 11.2, for example in square regions corresponding to 9 sensitive elements adjacent to the sensor, or, more generally, in regions corresponding to X by Y sensitive elements or in regions of predetermined shape or calculated according to the digital image.
  • regions 11.1 and 11.2 for example in square regions corresponding to 9 sensitive elements adjacent to the sensor, or, more generally, in regions corresponding to X by Y sensitive elements or in regions of predetermined shape or calculated according to the digital image.
  • the clearest color by example as the color corresponding to the lowest value among the values obtained by calculating a gradient for each color from the gray levels corresponding to the color and the region considered.
  • the color corresponding to curve 8.2 is sharper for region 11.2 while the color corresponding to curve 8.3 is clearer for region 11.1.
  • the depth of field is controlled without the need to change the exposure so without changing the aperture, or increase the noise level or increase the motion blur.
  • the depth of field control performed according to the invention benefits in particular to fixed optics, especially to telephones. Depth of field control allows both barcode, business card, or manuscript containing text and / or schema as well as portrait or landscape capture by an image capture apparatus, including a phone or camera. This is possible without the use of expensive optics of large aperture. In addition this device can be realized fully automatically without any intervention of the user.
  • the depth of field control performed according to the invention also benefits an apparatus comprising a mobile optics, in particular a zoom.
  • a skilled amateur can control directly or indirectly regardless of depth of field and exposure.
  • Fig. 11 is a diagram illustrating the architecture of an image capture or rendering apparatus.
  • Such an apparatus for example of image capture, comprises, on the one hand, an optical system 122, in particular with one or more optical elements such as lenses, intended to form an image on a sensor 124.
  • this sensor may be of another type, for example a photographic film in the case of a so-called "silver" device.
  • Such an apparatus also comprises a servo-control system 126 acting on the optical system 122 and / or on the sensor 124 in order to focus so that the image plane is on the sensor 124, and / or for the amount of light received on the sensor is optimal by setting the exposure time and / or opening, and / or that the colors obtained are correct, by performing a control of the white balance.
  • the apparatus comprises digital image processing means 128.
  • these digital image processing means are separated from the apparatus 120. It is also possible to provide a portion of the image processing means in the apparatus 120 and a portion outside the apparatus 120. The digital image processing is performed after the image recording by the sensor 124.
  • An image rendering apparatus has a structure analogous to an image capture apparatus. Instead of a sensor 124, there is provided an image generator 124 'receiving images of digital image processing means 128' and supplying the images to an optical system 122 ', such as a projection optical system .
  • the invention consists, according to one of its aspects, which can be used independently of the previously described aspects, from the capabilities of the digital image processing means 128, 128 'for determining or selecting the parameters of the optical system 122, 122' and / or the sensor or image generator 124, 124 'and / or the servo system 126.
  • FIG. 12 shows the level of performance that can be achieved with each of the components of the apparatus when associated with digital image processing means. These levels are represented by the broken line 130 for the optical system, the broken line 132 for the sensor, the broken line 134 for the servo, and the broken line 136 for the device.
  • the level of performance of the optical system can be established at level 130 '
  • the levels of the performance of the sensor and of the servo system can be established at the levels 132' and 134 ', respectively.
  • the level of the performance of the apparatus would be at the lowest level, for example the level 136 'corresponding to the lowest level 130' for the optical system.
  • the digital image processing means are preferably those described in the following documents: Patent Application EP 02751241.7 entitled:
  • Patent Application EP 02747504.5 for: "Method and system for reducing the frequency of updates of image processing means".
  • Patent Application EP 02748934.3 for: "Method and system for correcting the chromatic aberrations of a color image produced by means of an optical system.
  • Patent Application EP 02743348.1 for: "Method and system for producing formatted information related to geometric distortions”.
  • Patent Application EP 02748933.5 for: "Method and system for providing, in a standard format, formatted information to image processing means".
  • Patent Application EP 02747506.0 for: "Method and system for producing formatted information related to the defects of at least one apparatus of a chain, in particular with respect to blurring".
  • Patent application EP 02745485.9 for: "Method and system for modifying a digital image by taking into account its noise”.
  • Patent Application PCT / FR 2004/050455 for: "Method and system for modifying a digital image in a differentiated and quasi-regular pixelwise manner".
  • an optical system can distort the images in such a way that a rectangle can be deformed into a cushion, with a convex shape of each of the sides or in a barrel with a concave shape of each of the sides.
  • - The chromatic aberrations of the optical system if an object point is represented by three colored spots having precise positions with respect to each other, the chromatic aberration results in a variation of position of these spots with respect to each other, the aberrations being, in general, all the more important as one moves away from the center of the image.
  • - Parallax when an adjustment is made by deformation or displacement of an optical element of the optical system, the image obtained on the image plane can move.
  • the setting is, for example, a focal length adjustment, or a focus adjustment.
  • FIG. 13 This defect is illustrated in FIG. 13, in which there is shown an optical system 140 with three lenses in which the center of the image has position 142 when the lens 144 has the position shown in solid lines.
  • the center of the image takes the position 142'.
  • Depth of field when the optical system is focused on a specific object plane, the images of this plane remain clear as well as the images of the objects close to this plane.
  • depth of field is the distance between the nearest object plane and the farthest object plane for which the images remain sharp.
  • Vignetting in general, the brightness of the image is maximum in the center and decreases as one moves away from the center. Vignetting is measured as the difference, in percent, between the brightness at a point and the maximum brightness.
  • the sound of the image is generally defined by its standard deviation, its shape, and the size of the noise spot and its coloration.
  • the moire phenomenon is a distortion of the image that occurs when there are high spatial frequencies.
  • Moiré is corrected by setting the anti-alias filters.
  • the contrast is the ratio between the highest and the lowest brightness values of the image for which details of the image are still visible.
  • the contrast (FIG. 14a) of an image can be improved, that is to say, to extend (FIG. 14b) the range of luminosities on which the details can be distinguished. This extension is performed using a particular algorithm for contrast correction and noise.
  • the image surface of an object plane does not constitute a perfect plane but has a curvature, called field curvature.
  • This curvature varies according to various parameters including focus and focus.
  • the position of the image plane 150 depends on the area on which the focus is made.
  • the plane 150 corresponds to a focus in the center 152 of the image.
  • the image plane 156 is closer to the optical system 122 than the image plane 150.
  • it is the image plane at a position 158, intermediate between the positions 154 (corresponding to a focus on an area near the edge of the image), and 150
  • the combination of the digital image processing means 128 with the focus servocontrol 126 makes it possible to limit the displacement of the plane 158 for focusing, which reduces the energy consumption of the servo system and makes it possible to reduce the volume of its components.
  • the diagram of FIG. 15a shows the blur properties with a conventional focus servo system in which the maximum sharpness is obtained in the center of the image.
  • the field of the image is plotted on the abscissa and on the ordinate the blur value expressed in BXU.
  • the blur is, in the center, 1.3 and at the edge of the image, 6.6.
  • FIG. 15b is a diagram similar to that of FIG. 15a showing the properties of a servo-control of an apparatus produced according to the invention, on the assumption that the digital image processing means make it possible to correct the blurring until to a value of BXU equal to 14.
  • this value is the limit for the blur to be correctable by the digital processing means.
  • the digital image processing means comprise means of improvement of the sharpness such that they make it possible to dispense with focus control.
  • FIGS. 16a, 16b, 16c and 16d show the characteristics of an apparatus obtained according to the conventional technique and those of an apparatus obtained with the method according to the invention.
  • the conventional device is a digital photography device integrated into a mobile phone having a VGA sensor, ie a 640 x 480 resolution without a focus system.
  • the conventional apparatus has an opening of 2.8 whereas the apparatus obtained with the process according to the invention has an opening of 1.4.
  • FIG. 16a which corresponds to the conventional apparatus, is a diagram on which the percentage of field of the image is represented on the abscissa, the origin corresponding to the center of the image. The ordinate represents the V vignetting.
  • Figure 16b is a similar diagram for an apparatus obtained according to the invention.
  • the vignetting reaches the value 0.7 at the edge of the image while in the diagram of FIG. 16b it can be seen that the optical system of the apparatus according to the invention presents a significantly larger vignetting, of the order of 0.3.
  • the correction limit of the algorithm used is 0.25. In other words, thanks to the correction algorithm can be used a substantially larger optics vignetting.
  • FIG. 16c is a diagram representing, on the ordinate, the blur, expressed in BXU, as a function of the field of the image (in abscissas) for a conventional apparatus.
  • the blur feature is 1.5 in the center and 4 at the edge of the image.
  • the diagram of FIG. 16d also represents the blur for the optics of the apparatus obtained with the method according to the invention.
  • the field of the image is also represented and on the ordinate the blur expressed in BXU.
  • the blur in the center of the image is of the order of 2.2. It is therefore superior to the blur of the diagram of Figure 16c.
  • a fuzziness of about 3 was chosen, taking into account the limit of the correction algorithm.
  • we chose a degraded optics with regard to sharpness in the center while we obtain the same results as with the conventional device, with, in addition, an upper aperture.
  • the optics of the apparatus according to the invention represent a quality analogous to that of conventional optics, this result being obtainable due to the degradation of the vignetting with respect to the classic optics.
  • FIGS. 17a and 17b there are shown characteristics of different optical systems between which the choice must be made in order to make a capture apparatus using the method according to the invention.
  • the optical system provides a small image spot 1100.
  • This system has a modulation transfer function (MTF) represented by a diagram where the spatial frequencies are on the abscissa.
  • the value of the cutoff frequency is fc.
  • the FTM function comprises a bearing 1110 in the vicinity of the zero frequencies and a part decreasing rapidly towards the value fc.
  • the optic represented by the diagram of FIG. 17b has an image spot 1114 of dimensions substantially greater than the image spot 1100 and its FTM has the same cutoff frequency fc as in the case of FIG. 17a.
  • the variation of this MTF as a function of the spatial frequency is different: this frequency decreases relatively regularly from the origin towards the cutoff frequency.
  • the optics shown in FIG. 17b will provide more detail than the optics shown in FIG. 17a, and this despite the fact that the image spot is larger than in the case of Figure 17a. We will therefore choose the optics corresponding to Figure 17b.
  • CMOS or CCD sensors are often sensors formed from a so-called Bayer pixel mosaic.
  • the Bayer mosaic consists of a succession of 2x2 pixels, formed of 2 green pixels (that is to say a light sensitive photosite in a spectral range around 550nm), a red pixel (spectral range around 600nm) and a blue pixel
  • the spectral bands of green, red and blue differ and have a greater or lesser coverage.
  • a strong overlap between these three bands has the effect of reducing the sensor sensitivity to colors
  • a strong overlap between the three bands also reduces the differences in sharpness between the colors, thus reducing in particular the range of distances for which at least one of the three colors is clear.
  • This adaptation can be jointly conducted with the design of the optics and, depending on the constraints on digital image processing. Description of a sensor optimizing the process according to
  • the senor and / or the optical system are more particularly adapted to applications for providing precise indications of distances of the imaged objects.
  • a mosaic of Bayer pixels is used.
  • the accuracy of distance measurements according to the method depends in particular on the variation of the relative sharpness depending on the distance. This variation depends on the amount of chromatic aberration that can be achieved with the capture system (sensor and optics). However, the spectral frequency range of the visible light, and therefore the useful light for a photograph, is relatively small: of the order of 400nm to 700nm. Also, the variation of relative sharpness as a function of the distance is then limited with a conventional Bayer sensor.
  • a simple way is to use in addition to the three classic colors: red, green and blue, a different spectral band, for example 800nm-900nm or any other band beyond and / or below the visible spectrum.
  • the pixels sensitive to this fourth spectral band will not necessarily be useful for reconstructing the visible image but will be used primarily to estimate the distance of the objects by comparing the relative sharpness on this fourth spectral band with the one, or several, of the three classic colors.
  • a photographic apparatus is thus obtained which makes it possible to provide more precise indications of the distance of the imaged objects from all the NxM pixels of the image.
  • FIG. 20.2 one starts from a conventional Bayer in which three R, G, B pixels and a U pixel corresponding to a portion of a UV or infrared spectral band are provided.
  • infrared and / or ultraviolet we can hear any part of the spectrum beyond or below the visible spectrum, including the near infra-red such as 700 to 800 or 700 to 900nm, or near ultraviolet near 400nm.
  • This U-pixel is used to enhance the sharpness of visible colors as shown in the diagram of Figure 20.1.
  • the distances "d" of the objects imaged to the capture apparatus are plotted on the abscissa and the diameter "D" of the blur spot is ordinate.
  • the curves, 20.3, 20.4, 20.5, and 20.6 represent the variation of the diameter "D” as a function of the distance "d” for, respectively, the red “R”, the green “G”, the blue “B” and the ultraviolet “U”.
  • the line 20.7 represents the sharpness threshold defining the depth of field.
  • the distance “dl” represents the depth of field limit for a capture apparatus comprising “RGB” pixels and not the U pixels while using the sharpness enhancement method according to the invention.
  • the distance “d2” represents the depth of field limit obtained with a capture apparatus comprising the sensor shown in Figure 20.2 and using the sharpness enhancement method according to the invention.
  • the "U” pixels only serve to reflect the sharpness of the "U” color to the "RGB” colors for objects located between the "dl” and “d2" distances. Thus the final image will only include the three colors “RGB” (or any other known visible color distribution).
  • pixels that are sensitive to the near infrared are added to improve the sharpness at greater distances.
  • the optics can be designed so that over a wide range of distances: the smallest of the spot diagram diameters (between the three colors) is below a first predetermined threshold and that the largest of the spot pattern diameters between the three colors is below a second predetermined threshold.
  • the two thresholds are determined as a function, for example, of the capabilities and constraints of digital image processing, on the one hand (as for example the size of filter "F" described below), and characteristics of the image. sensor, on the other hand.
  • Figure 18 shows an example of the BxU measurements (ordinate axis) for the three RGB color planes as a function of the distance (abscissa) for an optics designed in this sense.
  • the values shown are those in the center of the image field. In each point of the image field, it will be possible to measure different but similar curves.
  • Sl and S2 are the two thresholds described above. The range of distances satisfying the two criteria described above is then, for this optic, approximately 12cm-infinite (d1-> infinite in FIG. 18), which means that it will be possible to reconstruct a sharp image for scenes imaged in this range of distances.
  • Optics having longitudinal chromatic aberrations can also be used such that, for focusing, aperture and focal length, there is at least one color for which the object distance of better sharpness is lower.
  • the image is fuzzy, that is, the spot diagram occupies a spot of more than X pixels in diameter , X being a predetermined parameter defining the depth of field limit.
  • a coin- digital sampling of the image will reduce the size of the blur spot by a factor depending on the type of subsampling used, but, typically, the order of magnitude of the subsampling factor considered.
  • a sharp, but lower resolution image can then be generated from the digital image by selecting the subsampling factor such that the blur spot is smaller, once the image has been downsampled, at a lower resolution. given threshold.
  • the subsample described above is first made before the sharpness increase according to the invention is carried out.
  • the processing comprises a modification of sharpness for each pixel of the zone Z 'by means of a filter mixing the pixel values on a predetermined neighborhood of each pixel, the parameters of the filter being function the relative sharpness measured.
  • an image capture device provided with an optics may have different sharpness according to the color plans and the distance of the imaged objects.
  • the dependence of the sharpness (or blur) on the distance of the imaged objects makes it impossible to increase the sharpness by means of a predetermined treatment such as a predetermined sharpness filtering.
  • An alternative embodiment of the invention consists in choosing or adapting the sharpness filters to the measured relative sharpnesses.
  • the filter M can modify the value of the pixel P as a function of the values of the pixels on a neighborhood of the pixel P on the set of three colors.
  • the filter can be chosen M as an operator performing the following operations:
  • GA GN + c_GG * M_GG (GN) + c_GR * M_GR (RN) + c_GB * M_GB (BN)
  • RA RN + c_RG * M_RG (GN) + c_RR * M_RR (RN) + c_RB * M_RB (BN)
  • M_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ represent filters, which can be chosen as linear zero-sum filters, such as high-pass frequency filters.
  • the c_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ represent weights weighting the impact of each filter M_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ .
  • This filtering example can also reflect the sharpness of the sharpest color on others.
  • the high-pass filters M_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ will give values close to 0, when they are applied to the green and red colors. are blurred in the example.
  • GA will therefore be equal to GN plus c_GB * M_GB (BN), that is to say GN plus the high frequencies of blue.
  • the green color thus inherits the sharpness of the clean color (blue). It is the same for the red color.
  • the filters M_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ and the coefficients c_ ⁇ R, G, B ⁇ ⁇ R, G, B ⁇ can be adapted to different possible values of the colors.
  • An embodiment of such an adaptation, in the context of RGB images from a given capture device, is as follows:
  • the association table between the relative purities considered and the set of filters may include other inputs, such as, for example, the position of the zone Z 'in the field of the image or of the shooting parameters such as the value of the focal length, aperture, focus distance, etc., of the optical system at the time of shooting. Indeed, it is usual that the sharpness characteristics of a digital image also depend on these factors.
  • the sharpness correction of a digital image it will first cut the image field into several zones Z 'and the method will be applied to each of the zones.
  • the clipping will preferably be performed according to the characteristics of the sharpness of the colors so that in each zone the sharpness of the colors is relatively homogeneous.
  • an automatic adaptation of the sharpness filter applied to the digital image, to the distance between the image scene and the capture device is thus obtained. It should be noted that, thanks to the use of the relative sharpness this automatic adaptation to the distance, can be done without the explicit knowledge of this distance.
  • this embodiment of the method also allows the automatic adaptation of treatments aimed for example at the correction of optical defects and / or sensors whose effects on the image depend on the distance between pictorial scene and capture apparatus.
  • the blur or loss of sharpness
  • optical defects and / or sensor such as geometric distortion or vignetting, are other examples.
  • Principle of the invention is an example, but other optical defects and / or sensor (s) such as geometric distortion or vignetting, are other examples.
  • FIG. 19.1 there is shown an image 10 having a region R and having two colors 195 and 196, a relative sharpness measurement 190 between the two colors 195 and 196 on the region R of the image 10, an action 191 controlled according to the measured relative sharpness.
  • the controlled action also depends on a mode 193 corresponding for example to a choice of the user of the device, and / or a characteristic of the capture device when shooting.
  • Fig. 19.2 there is shown an image 10 having a region R and having two colors 195 and 196, a relative sharpness measurement 190 between the two colors 195 and 196 on the region R of the image 10, a commanded action 191 as a function of the measured relative sharpness comprising a processing of the image 10 and producing a processed image 192.
  • the controlled action also depends on a mode 193 corresponding, for example, to a choice of the user of the apparatus, and / or a characteristic of the capture apparatus during shooting.
  • Fig. 19.3 there is shown an image 10 having a region R and having two colors 195 and 196, a relative sharpness measurement 190 between the two colors 195 and 196 on the region R of the image 10, a commanded action 191 according to the measured relative sharpness having a processing of another image 194 and producing a processed image 198.
  • the controlled action also depends on a mode 193 corresponding for example to a choice of the user of the device , and / or a characteristic of the capture apparatus during shooting.
  • the action command consists of modifying the contrast and / or the brightness and / or the color of the image as a function of the relative sharpness between at least two colors on at least two colors. a region R of the image.
  • the use of the relative sharpness between at least two colors on at least one region R of the image allows by example of simulating the addition of localized lighting for example a flash positioned anywhere in the scene, and / or, conversely, to reduce the effect of a flash or lighting of various colors in the scene.
  • the digital image is divided into regions according to the relative sharpness between at least two colors, so that each image region a part of the scene within a given range of distances and is oriented in one direction. given.
  • An indication of the direction can be obtained from the local variation of the relative sharpness in the image.
  • An indication of the distance can be obtained from the relative sharpness as previously described.
  • the three-dimensional geometry of the scene is reconstructed by measuring the distance at a large number of points of the image. We then use a known technique in image synthesis to add lighting to the scene (ray tracing or other).
  • lighting is added to the subject (s) main (s) adapted to each subject to cause a "fill-in" effect simulating one or more flash (s) positioned (s) opposite or on the side of each subject.
  • This operation can be performed automatically and independently for each subject. With the known technique the addition of lighting for each subject is possible only with studio lighting.
  • the flash power can be determined according to the nearest subject to properly illuminate it, and complement the lighting of other subjects by adding simulated lighting.
  • the color of the illumination can also be determined for each region by a known method of estimating the white balance and then making the color of the scene lighting uniform.
  • the white balance is estimated globally for lack of information on the 3 - dimensional geometry of the scene.
  • Figure 18.1 there is shown a sensor 2, producing a raw image 180 pretreated 181, for example a white balance, and / or black level compensation, and / or a noise reduction to produce a pretreated image 182.
  • a relative sharpness measurement 190 controlling an action 191 corresponding to a processing implementing the pretreated image 182 and the relative sharpness measurement 190, to produce a processed image 192.
  • a downstream processing of the processed image 192 has been represented, corresponding, for example, to a demosaicing or other processing necessary to convert a raw image into a visible image.
  • FIG. 18.2 shows a sensor 2 producing a raw image 180.
  • a relative sharpness measurement 190 controlling an action 191 corresponding to a processing implementing the raw image 180 and the relative sharpness measurement 190 has also been shown. to produce a processed image 192.
  • a downstream processing of the processed image 192 corresponding, for example, to a demosaicing or other processing necessary to convert a raw image into a visible image.
  • the action implements a processing on a visible image.
  • the invention applies to an apparatus having variable parameters at the time of capturing the digital image and having an influence on the sharpness of the colors including a zoom capture apparatus, and / or an optics with variable focus and / or a variable aperture.
  • the sharpness curves 8.2 and 8.3 corresponding to the value of the variable parameters according to the digital image are then used.
  • the invention makes it possible to restore the focus digitally without a moving group and instantaneously, which thus makes it possible to reduce the complexity of a zoom by removing at least one moving part.
  • the relative sharpness between two colors may be variable, whereas this is not acceptable in known optics.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Paper (AREA)

Abstract

L ' invention concerne un procédé pour commander une action à partir d'une mesure effectuée sur au moins une image numérique (10) , ayant au moins deux couleurs (195, 196) , provenant d'un appareil de capture d'images. Selon ce procédé : - on mesure (190) la netteté relative entre au moins deux couleurs sur au moins une région (R) de l'image, et - on commande (191) au moins une action en fonction de la netteté relative mesurée.

Description

PROCEDE POUR COMMANDER UNE ACTION, NOTAMMENT UNE MODIFICATION DE NETTETE, A PARTIR D'UNE IMAGE NUMERIQUE EN COULEURS.
Domaine de l'invention :
L' invention est relative à un procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs. Elle concerne plus particulièrement, mais non exclusivement, une amélioration de la netteté d' au moins une couleur d' une image numérique . L'invention concerne également un système mettant en œuvre un tel procédé ainsi qu'une image générée par un tel procédé.
L'invention concerne aussi un procédé de réalisation d'un appareil de capture et/ou de restitution d'images qui comprend un système optique de capture et/ou de restitution d'images, un capteur et/ou générateur d'images, et/ou un système d'asservissement, l'image étant traitée, en vue de son amélioration, par des moyens numériques de traitement d' images . L'invention concerne aussi un appareil obtenu par un tel procédé de réalisation.
Problème traité
La visualisation satisfaisante d'une image requiert une netteté d'autant plus importante que cette image présente des détails de dimensions réduites. De ce fait, il est connu de chercher à améliorer la netteté d' au moins une couleur dans une image numérique selon des procédés tels que ceux décrits ci-dessous : i) Dans le cas spécifique des appareils photographiques :
- on peut faire appel à un dispositif de mise au point optique (focus) qui déplace des éléments optiques permettant de faire varier la plage de distances pour laquelle l'image est nette. Un tel dispositif, manuel ou motorisé, comprend souvent un système d'asservissement permettant de choisir le déplacement en fonction des distances des objets dans la scène.
Les applications d'un tel procédé sont les appareils photo, les caméras. Il présente l'inconvénient d'avoir une profondeur de champ limitée, surtout à grande ouverture, et un coût et un encombrement difficilement adaptés aux dispositifs de faible encombrement, tels que les téléphones.
On peut faire appel à une solution du type codage du front d'onde, qui ajoute un élément optique spécifique dans le système optique pour permettre la reconstruction par calcul de la netteté avec une grande profondeur de champ.
Les applications d'un tel procédé sont limitées (la microscopie) et présente les inconvénients de nécessiter un élément optique spécifique ainsi qu'une modification du matériel, dont le système optique. - On peut mettre en œuvre une solution qui ajoute un élément optique spécifique constitué d'une lentille liquide déformable fixe par rapport à l'optique. Un tel procédé présente un système d'asservissement permettant de choisir la forme de ladite lentille en fonction des distances des objets dans la scène.
Les applications de cette solution (pour les caméraphones ou appareils photo) présentent l'inconvénient d'être un procédé industriel spécifique, d'avoir un coût et un encombrement de l'élément optique, de nécessiter une modification hardware. ii) Dans un cadre plus général, les solutions sont : - les algorithmes de déflouage sur la luminance ou une couleur, en augmentant la netteté par « sharpen » ou par une autre méthode de calcul. Les applications d'un tel procédé (tous les appareils de prise de vue) présentent les inconvénients d'une augmentation limitée de la netteté et donc d'une augmentation très faible de la profondeur de champ.
Par ailleurs, les techniques connues de conception ou de réalisation de tels appareils de capture et/ou de restitution d'images, tels que des appareils de photos numériques ou argentiques, consistent à sélectionner en premier lieu les propriétés des éléments matériels de l'appareil, notamment le système optique, le capteur et le système d'asservissement. Ensuite, le cas échéant, on prévoit des moyens numériques de traitement d'images pour corriger les défauts d'au moins l'un des éléments matériels de l'appareil.
En particulier, pour concevoir un système optique d'appareil, on établit tout d'abord un cahier des charges, c'est-à-dire qu'on spécifie l'encombrement, les plages de focales, les plages d'ouverture, le champ couvert, les performances exprimées, soit en taille de tache image, soit en valeur de FTM (fonction de transfert de modulation), et le coût. A partir de ce cahier des charges, on sélectionne un type de système optique et, à l'aide d'un outil logiciel de calcul optique, tel que l'outil « Zemax », on sélectionne les paramètres de ce système permettant de respecter au mieux les spécifications du cahier des charges . Cette mise au point du système optique s'effectue de façon interactive. De façon générale, un système optique est conçu pour qu'il présente la meilleure qualité au centre de l'image et, habituellement, la qualité aux bords de l'image est de niveau inférieur.
En outre, les techniques habituelles sont telles que le système optique est conçu de façon à obtenir un niveau déterminé de distorsion, de vignetage, de flou et de profondeur de champ, afin que le système optique puisse être comparé à d' autres systèmes optiques .
Par ailleurs, pour les appareils photographiques numériques, on spécifie aussi les caractéristiques du capteur, à savoir : la qualité des pixels, la superficie des pixels, le nombre de pixels, la matrice de microlentilles, les filtres anti-alias, la géométrie des pixels, et la disposition des pixels .
La technique habituelle consiste à sélectionner le capteur d'un appareil de capture d'images indépendamment des autres éléments de l'appareil et, notamment, du système de traitement d' image .
Les appareils de capture et/ou générateurs d' images comportent aussi habituellement un ou plusieurs systèmes d'asservissement tels qu'un système d'exposition et/ou un système de mise de point (focus automatique ou « autofocus ») et/ou un système de contrôle du flash.
Ainsi, pour spécifier un système d'exposition qui commande l'ouverture et le temps de pose, éventuellement le gain du capteur, on détermine les modes de mesure, en particulier on détermine les zones de l'image sur lesquelles l'exposition sera mesurée ainsi que le poids affecté à chaque zone.
Pour un système de mise au point, on détermine le nombre et la position des zones de l'image qui seront utilisées pour effectuer la mise au point. On spécifie aussi, par exemple, une consigne de déplacement du moteur.
Dans tous les cas, ces spécifications s'effectuent indépendamment de la présence ou non de moyens numériques de traitement d' image .
L' invention :
Constatations propres à l'invention :
L'invention est issue de la combinaison des constatations suivantes, qui lui sont propres : i) Les appareils de capture et/ou traitant des images génèrent sur ces images une netteté variable qui est fonction de la couleur considérée comme décrit ci-dessous à l'aide des figures la et Ib. Sur la figure la est représentée la lentille convergente 1 d'un dispositif optique (non représenté) muni d'un capteur 2 situé sur un point 3.2 de focalisation associé à une longueur d'onde X2. Ainsi, la couleur définie par cette longueur λ2 est nette sur une image formée par cette lentille lorsque l'image représente un objet à très grande distance.
Toutefois, un tel réglage présente trois problèmes :
- Premièrement, le point 3.2 de focalisation de la lentille est propre à la couleur définie par cette longueur d'onde λ2, de telle sorte qu'un point de focalisation 3.1 propre à une autre couleur définie par une longueur d'onde λl se situe en amont du capteur.
Par conséquent, l'image formée par cette seconde couleur (λl) au niveau du capteur est moins nette que l'image formée par la première couleur (λ2 ) , ce qui réduit la netteté de l'image globale formée par le capteur.
Deuxièmement, le point de focalisation de la lentille pour une longueur d' onde est variable en fonction de la distance à laquelle se situe l'objet 4 représenté sur l'image.
Ainsi, la figure Ib montre les nouvelles localisations 4.1 et 4.2 des points de focalisation associés, respectivement, aux longueurs d'ondes λl et λ2 lorsque l'objet représenté est passé d'une très grande distance (figure la) à une distance plus proche (figure Ib) .
Dans ce dernier cas, il apparaît que le capteur se situe sur le point de focalisation de la couleur (λl) qui, précédemment, ne formait pas une image nette.
- Troisièmement, le point de focalisation de la lentille pour une longueur d'onde et une distance objet est variable en fonction de la position dans l'image de l'objet représenté. ii) Comme montré sur la figure 2 qui est un exemple de la répartition spectrale d'une image selon l'axe 6.1, les images sont généralement composées de plusieurs couleurs dont les intensités (axe des ordonnées 6.2) peuvent être proches. Sur cet exemple sont représentées des composantes 5.1 bleues (longueur d'onde autour de 450 nm) , 5.2 vertes (longueur d'onde autour de 550 nm) et rouge (longueur d'onde autour de 600 nm) proches, mais il est clair que l'invention s'applique à une image indépendamment de sa répartition des couleurs et des longueurs d'ondes considérées (par exemple infrarouge ou ultraviolet) . iii) Les techniques classiques de l'amélioration de la netteté ne tirent pas partie du fait que l'une des couleurs peut être plus nette que les autres en fonction de la distance de 1' objet représenté sur l' image . iv) Par ailleurs, l'invention part de la constatation que les techniques classiques de conception ou de réalisation d' appareils ne permettent pas de profiter pleinement des possibilités offertes par les moyens numériques de traitement d' images .
L' invention :
C'est pourquoi, l'invention concerne, de façon générale, un procédé d'amélioration de la netteté d'au moins une couleur d'une image numérique comprenant les étapes de - choisir parmi les couleurs de l'image au moins une couleur dénommée couleur nette,
- répercuter la netteté de la couleur nette sur au moins une autre couleur améliorée, pour que la couleur améliorée présente une netteté accrue. Grâce à l'invention on peut ainsi :
- augmenter la netteté perçue de l'image,
- augmenter la profondeur de champ d'un appareil de capture,
- créer un dispositif macro, - contrôler la profondeur de champ indépendamment de l'exposition,
- mesurer la distance des objets d'une scène imagée à partir d'une image, - améliorer les dispositifs d'asservissement de l'exposition et/ou de mise au point et/ou de flash,
- réduire les coûts de l'appareil de capture
- réduire, à performances égales, la taille de l'appareil de capture, - lire des codes barres et/ou cartes de visites et/ou du texte et/ou faire des portraits et/ou faire des paysages à l'aide d'une même optique, ayant un focus fixe, telle par exemple celle d'un caméraphone,
- concevoir et/ou choisir une optique donnant à l'appareil des caractéristiques accrues en terme notamment d' ouverture et de profondeur de champ,
- faire des effets sur l'image fonction de la netteté relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, - permettre à l'utilisateur de changer numériquement la mise au point de l'image de la netteté relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée,
- réduire le temps entre la demande de capture et la capture effective de l'image, par suppression ou simplification du système optique de mise au point.
L' invention concerne également un procédé de réalisation d'un appareil de capture qui comprend un système optique de capture, et un capteur, et/ou un système d'asservissement, l'image étant traitée, en vue de son amélioration, par des moyens numériques de traitement d' images ; procédé dans lequel on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil de capture .
Dans une réalisation, le procédé comprend en outre l'étape de décomposer l'image numérique en régions ; ledit choix de la couleur nette étant effectué pour chaque région.
Dans une réalisation, ledit choix de la couleur nette consiste à choisir la couleur la plus nette selon une règle prédéterminée. Dans une réalisation, ledit choix de la « couleur nette » est prédéterminé.
Dans une réalisation, ladite image numérique est issue d'un appareil de capture et ledit choix de la couleur nette est fonction de la distance entre l'appareil de capture et au moins un objet de la scène capturée pour obtenir ladite image numérique.
Dans une réalisation, ledit appareil de capture d' image comportant un mode macro, ledit choix de la couleur nette est fonction de l'activation du mode macro. Dans une réalisation, ladite image numérique étant issue d'un appareil de capture, ledit procédé comprend en outre l'étape de déterminer la distance entre l'appareil de capture et au moins un objet de la scène capturée à partir de la netteté d' au moins deux couleurs dans une région image dudit objet . Dans une réalisation, le procédé comprend en outre l'étape de réduire la netteté d'au moins une couleur dans au moins une région image.
Dans une réalisation, le procédé comprend en outre l'étape de déterminer une consigne d'asservissement dudit appareil de capture à partir de la netteté d'au moins deux couleurs ; de sorte que la mise au point se fait en moins d'étapes et est accélérée.
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de concevoir une optique en tenant compte du procédé selon l'invention ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes, de sorte que la profondeur de champ et/ou l'ouverture et/ou tout autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué,
- de sorte que la mise au point mécanique peut se faire avec moins de positions .
Dans une réalisation, la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée est réalisée à l'aide d'un calcul du type CA = CN + F(CO - CN) où CA est représentatif de la couleur améliorée, CO est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe bas. L'invention concerne également un procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images, et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images,
- le procédé étant tel qu' on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et notamment de l'amélioration de la netteté d'une couleur en fonction de la netteté d'une autre couleur selon un procédé conforme à l'une des revendications précédentes,
- de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil de capture et/ou de restitution d' images .
L' invention concerne également un appareil de capture et/ou de restitution d' images utilisant un procédé d'amélioration de couleur selon une des réalisations précédentes et/ou obtenu par un procédé de réalisation selon la réalisation précédente.
L' invention concerne également une image numérique obtenue selon un procédé conforme à l'une des réalisations précédentes ou à partir d'un appareil conforme à la réalisation précédente.
Finalement, l'invention concerne aussi un dispositif de traitement d' image numérique mettant en œuvre un procédé selon l'une des réalisations précédentes.
Définitions :
On précise ici la signification des divers termes utilisés :
- Par image numérique, on entend une image sous forme numérique. L'image peut être issue d'un appareil de capture d' image.
L' image numérique peut être représentée par un ensemble de valeurs numériques, ci-après appelées niveau de gris, chaque valeur numérique étant associée à une sensibilité en couleur et une position géométrique relative sur une surface ou un volume. On appelle couleur au sens de l'invention, l'ensemble des valeurs numériques associées à la même sensibilité en couleur.
L'image numérique est de préférence l'image brute du capteur (format « raw » en anglais) avant opération de dématriçage (« demosaicing » en anglais) . L'image numérique peut également avoir subi un traitement, par exemple un dématriçage, une balance des blancs. De préférence selon l'invention, l'image numérique n'a pas subi de sous-échantillonnage.
- Lorsque l'image numérique est issue d'un appareil de capture d'image, l'appareil de capture d'image comprend un capteur doté d'éléments sensibles. Par élément sensible, on entend un élément du capteur permettant de convertir un flux d'énergie en signal électrique. Le flux d'énergie peut prendre la forme notamment d'un flux lumineux, de rayons X, d'un champ magnétique, d'un champ électromagnétique ou d'ondes sonores. Les éléments sensibles peuvent être selon les cas juxtaposés sur un surface et/ou superposés dans un volume. Les éléments sensibles peuvent être disposés selon une matrice rectangulaire, une matrice hexagonale ou autre géométrie. - L'invention s'applique à des capteurs comportant des éléments sensibles d'au moins deux types différents, chaque type ayant une sensibilité en couleur, chaque sensibilité en couleur correspondant à la partie du flux d' énergie converti en signal électrique par l'élément sensible du capteur. Dans le cas d'un capteur d'image visible, les capteurs ont généralement une sensibilité en 3 couleurs et l'image numérique a 3 couleurs : rouge 5.1, vert 5.2 et bleu 5.3 représentées sur la figure 2 qui montre sur l'axe vertical 6.2 la quantité d'énergie convertie et sur l'axe horizontal 6.1 la longueur d'onde. Certains capteurs ont une sensibilité en 4 couleurs rouge, vert, émeraude, bleu.
- Par couleur on entend également une combinaison, notamment linéaire des signaux délivrés par le capteur.
- L'invention s'applique avec les diverses définitions connues de la netteté connues. Par exemple, la netteté d'une couleur peut correspondre à la mesure d'une valeur dénommée BXU qui est une mesure de la surface de tache de flou, telle que décrite dans l'article publié dans les « Proceedings of IEEE, International Conférence of Image Processing, Singapore 2004 », et intitulé « Uniqueness of Blur Measure » de Jérôme BUZZI et Frédéric GUICHARD. De façon simplifiée, le flou d'un système optique se mesure à partir de l'image, appelée « réponse impulsionelle », d'un point infiniment petit situé dans le plan de netteté. Le paramètre BXU est la variance de la réponse impulsionelle (c'est-à-dire sa surface moyenne) . Les capacités du traitement peuvent être limitées à une valeur maximale de BXU.
Diverses méthodes de mesures d'une telle netteté sont décrites dans des manuels et publications tels que, par exemple, le « Handbook of Image&Video processing » édité par Al Bovik et publié par Académie press, pages 415 à 430.
On entend un paramètre relatif à la qualité d'une image telle que généralement acceptée. Dans une réalisation, la netteté d'une couleur est obtenue par calcul d'un gradient. Par exemple la netteté d'une couleur peut être obtenue par un calcul de gradient de 9 niveaux de gris pris en des positions géométriques voisines dans la couleur considérée.
L' invention fait mention de la netteté d' au moins deux couleurs . Selon une réalisation, la netteté d' au moins deux couleurs n'est considérée que de façon relative l'une par rapport à l'autre. Pour cette réalisation, un gradient permet de calculer simplement une netteté relative entre deux couleurs de façon indépendante du contenu de l'image.
L' invention fait mention de choisir parmi les couleurs au moins une couleur dénommée « couleur nette ». Selon une réalisation, ce choix peut être effectué en déterminant laquelle parmi au moins deux couleurs est la plus nette. Pour cette réalisation, un gradient permet de déterminer simplement la couleur la plus nette parmi au moins deux couleurs .
Dans une implémentation,
- Un appareil de capture d'images est, par exemple, un appareil photo jetable, un appareil photo numérique, un appareil reflex (numérique ou pas) , un scanner, un fax, un endoscope, une caméra, un caméscope, une caméra de surveillance, un jouet, une caméra ou un appareil photo intégré ou relié à un téléphone, à un assistant personnel ou à un ordinateur, une caméra thermique, un appareil d' échographie , un appareil d' imagerie IRM (résonance magnétique) , un appareil de radiographie à rayons X.
Il convient de noter que l'invention concerne de tels appareils lorsqu'ils traitent des images comportant au moins deux couleurs .
- Par système optique de capture d'images, on entend les moyens optiques permettant de restituer des images sur un capteur. - Par capteur d'images, on entend des moyens mécaniques, chimiques, ou électroniques permettant la capture et/ou l'enregistrement d'une image.
- Par système d'asservissement on entend des moyens de type mécanique, chimique, électronique, ou informatique permettant que des éléments ou paramètres de l'appareil respectent une consigne. Il s'agit notamment du système de mise au point automatique (autofocus) , du contrôle automatique de la balance des blancs, du contrôle automatique de l'exposition, du contrôle d'éléments optiques, afin, par exemple, de conserver une qualité uniforme d'images, d'un système de stabilisation d'image, d'un système de contrôle de facteur de zoom optique et/ou numérique, ou d'un système de contrôle de saturation, ou d'un système de contrôle de contraste.
- Les moyens numériques de traitement d' images peuvent prendre diverses formes selon l'application.
Les moyens numériques de traitement d' images peuvent être intégrés, en tout ou partie, à l'appareil, comme dans les exemples suivants :
- Un appareil de capture d' images qui produit des images modifiées, par exemple un appareil photo numérique qui intègre des moyens de traitement d' images .
- Un appareil de restitution d' images qui affiche ou imprime des images modifiées, par exemple un projecteur vidéo ou une imprimante incluant des moyens de traitement d' images . - Un appareil mixte qui corrige les défauts de ses éléments, par exemple un scanner/imprimante/télécopieur incluant des moyens de traitement d' images .
- Un appareil de capture d'image professionnel qui produit des images modifiées, par exemple un endoscope incluant des moyens de traitement d' images .
Selon une réalisation :
- les moyens numériques de traitement d' images comportent un moyen pour améliorer la qualité d' image en agissant sur au moins l'un des paramètres du groupe comprenant : les distorsions géométriques du système optique, les aberrations chromatiques du système optique, la compensation de parallaxe, la profondeur de champ, le vignetage du système optique et/ou du capteur et/ou du générateur d'images, le manque de netteté du système optique et/ou du capteur et/ou du générateur d'images, le bruit, les phénomènes de moiré, et/ou le contraste,
- et/ou les paramètres déterminés ou sélectionnés du système optique sont choisis dans le groupe comportant : le nombre d'éléments optiques du système, la nature des matériaux composant les éléments optiques du système optique, le coût des matériaux du système optique, le traitement des surfaces optiques, les tolérances d'assemblage, la valeur de la parallaxe en fonction de la focale, les caractéristiques d'ouverture, les mécanismes d'ouverture, la plage de focales possibles, les caractéristiques de mise au point, les mécanismes de mise au point, les filtres anti-alias, l'encombrement, la profondeur de champ, les caractéristiques liant la focale et la mise au point, les distorsions géométriques, les aberrations chromatiques, le décentrement, le vignetage, les caractéristiques de netteté, - et/ou les paramètres déterminés ou sélectionnés du capteur et/ou générateur d' images sont choisis dans le groupe comportant : la qualité des pixels, la superficie des pixels, le nombre de pixels, la matrice de microlentilles, les filtres anti-alias, la géométrie des pixels, la disposition des pixels, - et/ou les paramètres déterminés ou sélectionnés du système d'asservissement sont choisis dans le groupe comportant : la mesure de mise au point, la mesure d'exposition, la mesure de balance des blancs, la consigne de mise au point, la consigne d'ouverture, la consigne de temps de pose, la consigne de gain du capteur, la consigne du flash.
Pour le système d'asservissement permettant la mise au point automatique, on rappelle que la mise au point peut être effectuée de diverses manières notamment par le contrôle de la position d'éléments mobiles du système optique ou par le contrôle de la géométrie d' éléments optiques déformables .
Les performances d'un appareil de capture sont notamment, son coût, son encombrement, la quantité de lumière minimale qu'il peut recevoir ou émettre, la qualité de l'image, notamment sa netteté, les caractéristiques techniques de l'optique, du capteur et de l'asservissement ainsi que sa profondeur de champ.
A cet effet, il convient de noter que la profondeur de champ peut être définie comme la plage de distances dans laquelle l'objet génère une image nette, c'est-à-dire dont la netteté est supérieure à un seuil donné pour une couleur, généralement le vert, ou encore, ou comme la distance entre le plan objet le plus proche et le plan objet le plus éloigné pour lesquels la tache de flou ne dépasse pas des dimensions prédéterminées.
Etant donné que la couleur verte prédomine pour définir la netteté d'une image, comme expliqué ultérieurement, il est commun d'utiliser la couleur verte pour définir la profondeur de champ.
L'invention concerne aussi un appareil obtenu par le procédé de réalisation tel que défini ci-dessus .
Selon d'autres caractéristiques de l'invention qui peuvent s'utiliser indépendamment de, ou en combinaison avec, celles décrites ci-dessus : L' invention concerne un procédé pour commander une action à partir d'une mesure effectuée sur au moins une image numérique, ayant au moins deux couleurs, provenant d'un appareil de capture d'images, dans lequel : - on mesure la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, et
- on commande au moins une action en fonction de la netteté relative mesurée.
Par région en entend une partie ou l ' intégralité de l'image. Une région comporte un ou plusieurs pixels, contigus ou non.
Ainsi l'action est notamment adaptée à la distance entre l'objet imagé et l'appareil de capture ou est adaptée à la profondeur relative entre deux objets imagés. On peut mesurer la netteté relative de différentes façons, par exemple (sans que la liste soit limitative) :
- on peut déterminer la couleur la plus nette, et/ou
- on peut choisir parmi les couleurs au moins une couleur dénommée "couleur nette", et/ou - on peut comparer la netteté entre les couleurs, et/ou
- on peut calculer un écart de netteté, et/ou
- on peut calculer directement la netteté relative. Divers exemples de mesures de netteté relative seront présentés ci-après, illustrés notamment par les figures 3a, 3b, 4, 5, 6, 7, 8, 9 et 10.
La netteté relative et/ou la mesure de netteté relative dans une région peut s'exprimer par une seule valeur numérique, par exemple rendant compte de la netteté relative moyenne dans la région, ou par plusieurs valeurs numériques rendant compte de la netteté relative en différentes parties de la région.
Selon l ' invention, on commande au moins une action fonction de la netteté relative mesurée. Cette action est notamment (sans que la liste soit limitative) :
- un traitement direct ou indirect (via notamment la fourniture de paramètres de traitement ou d'information de distance et/ou position et/ou direction) de l'image numérique et/ou d'une autre image numérique, et/ou
- une mesure de distance et/ou de direction et/ou de position et/ou de taille et/ou orientation et/ou forme géométrique d'au moins une partie d'au moins un objet ou sujet de la scène, et/ou
- une information liée directement ou indirectement à la géométrie de la scène imagée en trois dimensions, et/ou
- une détection d'objet notamment un visage et/ou le (ou les) sujet (s) principal (aux) et/ou
- une reconnaissance et/ou authentification d'objet, par exemple un visage, et/ou
- une mesure de position et/ou mouvement de l'appareil, et/ou - une commande d'asservissement de l'appareil ou d'un autre dispositif tel un robot, et/ou
- un cadrage automatique du sujet principal, et/ou
- une modification de réglage de l'appareil, et/ou
- la production ou le déclenchement d'un signal, et/ou - un ajout, une suppression ou modification d'objet dans l'image numérique ou une autre image numérique, et/ou
- toute autre action utilisant directement ou indirectement la mesure de netteté relative.
Selon une réalisation l'action met en œuvre : - l'image numérique, et/ou
- une autre image numérique, et/ou
- un choix de l'utilisateur de l'appareil, et/ou
- au moins une caractéristique de l'appareil de capture lors de la prise de vue et/ou - une autre donnée.
Dans le cas où l'action est relative à un traitement direct ou indirect, le traitement peut consister (sans que la liste soit limitative) en l'une des actions suivantes :
- changer numériquement la mise au point, et/ou - faire des effets sur l ' image fonction de la netteté relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, et/ou
- réduire la netteté d'au moins une couleur dans au moins une région d'une image, et/ou
- augmenter la netteté d'au moins une couleur dans au moins une région d'une image, et/ou
- effectuer une compression, et/ou
- réaliser tout autre traitement décrit dans la présente description.
L'utilisation de la netteté relative mesurée pour commander l'action permet ainsi, notamment, d'adapter l'action à la distance entre au moins une partie d'un objet imagé et l'appareil de mesure, et/ou à la géométrie d'au moins une partie d'un objet et/ou à la position et/ou la taille d'au moins une partie de l'objet, et/ou à la direction d'au moins une partie de l'objet.
Les procédés connus ne permettent pas de commander ce type d'action à partir d'une mesure de netteté relative d'au moins une région de l'image, mais nécessitent l'emploi d'un dispositif particulier en plus du capteur d'image pour estimer une distance. De plus, les procédés connus ne permettent une mesure de distance qu'en un point ou un nombre limité de points alors que l'invention permet de mesurer la distance en un grand nombre de points simultanément.
Selon une réalisation, l'action commandée est comprise dans le groupe comprenant :
- une détermination de distance entre l'appareil de capture et au moins un objet imagé par l'image numérique, et/ou la détermination de la distance relative entre deux objets imagés, - une action dépendant de ladite distance et/ou de ladite distance relative,
- un traitement sur au moins une zone Z ' de l ' image numérique et/ou d'une autre image numérique, - un asservissement de l'appareil de capture et/ou un asservissement d'un autre appareil, la fourniture d'un signal d'indication et/ou d'alarme et/ou d'alerte à un utilisateur,
- la détection d'une partie de l'image, - une modification de la netteté d'une couleur,
- une détermination de la position et/ou du mouvement de l'appareil de capture,
- la détermination de la position dans l'image d'un sujet, - une modification d'au moins une caractéristique de l'image,
- une modification de tout ou partie de l'image,
- la détermination d'une zone d'intérêt dans l'image, notamment afin de fournir un signal de commande d'asservissement,
- la modification de de la résolution tout ou partie de l'image,
- la fourniture d'informations relatives à l'image,
- la fourniture d'informations à un dispositif de capture de son (s),
- le paramétrage d'une compression,
- une modification de tout ou partie de l'image,
- au moins un réglage de l'appareil de capture. Selon une réalisation l'action commandée comprend un traitement sur au moins une zone Z ' de l' image numérique et/ou d'une autre image numérique.
La zone Z ' fait ou non partie de l ' image numérique sur laquelle a été effectuée la mesure de netteté relative.
A titre d'exemple de traitement effectué sur une image numérique distincte de celle sur laquelle on mesure la netteté relative entre au moins deux couleurs, on cite en premier lieu la prise d'une séquence vidéo pour laquelle on peut traiter l'image suivante, ou une autre image, ce traitement consistant à augmenter (également à titre d'exemple) la netteté.
En effet, on peut augmenter la netteté d'une image suivante étant entendu qu'elle est basée sur la mesure d'une image précédente qui se distingue peu de cette image suivante. Ainsi il n'est pas nécessaire de conserver en mémoire l'image numérique en cours .
Dans un autre exemple : la mesure de netteté est, dans un appareil photo numérique, effectuée sur l'image affichée avant la prise de vue et on traite l'image prise ultérieurement à pleine résolution (alors que la mesure effectuée sur l'image affichée avant prise de vue, est en général à plus basse résolution) à partir de la dernière mesure ou d'une combinaison des dernières mesures .
Dans une réalisation la zone Z ' constitue tout ou partie de la région (sur laquelle on a effectué la mesure de netteté relative) de l'image numérique, et/ou l'image numérique entière, et/ou une zone distincte de la région de l'image numérique, et/ou une zone d'une autre image numérique, et/ou une autre image numérique entière. Quand la zone Z' constitue tout ou partie de la région de l'image numérique, par exemple quand on veut augmenter la profondeur de champ, la zone Z' est un pixel et l'on définit une région de N pixels sur laquelle on mesure la netteté relative et, en fonction de cette netteté relative, on applique un filtre qui transporte la netteté de la couleur la plus nette à l'autre couleur de sorte que la netteté du pixel soit augmentée. Ainsi en répétant cette opération pour chaque pixel, on augmente la profondeur de champ.
La zone Z ' sur laquelle est effectuée le traitement peut constituer une image numérique entière, notamment quand on augmente la netteté sur l ' image entière.
A titre d'exemple de traitement sur une zone distincte de la région de l ' image numérique on citera le cas où l 'on effectue la mesure de netteté relative sur une région et on applique le traitement sur une partie d'image centrée correspondant à un zoom numérique.
A titre d'exemple de traitement appliqué à une zone d'une autre image numérique et/ou à une autre image numérique entière, on rappelle l'exemple ci-dessus d'une séquence vidéo, l'autre image numérique étant, par exemple, une image suivant une image vidéo ; l'autre image est aussi, par exemple, l'image numérique prise à pleine résolution pour un appareil photo, alors que l'image sur laquelle est effectuée la mesure est à basse résolution. Dans une réalisation, la zone Z' pour laquelle un traitement est commandé comprend au moins un pixel d'une image et la région comprend un voisinage prédéterminé du pixel correspondant dans l'image numérique. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique. Dans ce cas, la correspondance entre les pixels des deux images peut se faire en associant les pixels des deux images situés au même endroit. Ce cas présente l'avantage d'éviter le stockage de l'image numérique entre la mesure et le traitement sans artefact gênant si les images sont capturées avec un intervalle de temps faible, par exemple l/15s.
Dans une réalisation on applique ce traitement à l'ensemble des pixels d'une image. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Dans une réalisation le traitement sur au moins la zone Z' comprend la modification d'au moins une caractéristique de l'image faisant partie du groupe comportant : la netteté, le contraste, la luminosité, les détails, la couleur, le type de compression, le taux de compression, le contenu de l'image, la résolution.
Exemple de modification de contraste : On augmente le contraste des objets proches et on réduit le contraste des objets du fond, par exemple dans le cas d'une vidéo-conférence. Inversement, on peut réduire le contraste des objets proches et augmenter le contraste des objets de fond pour atténuer l'effet d'un brouillard. Exemple de modification de luminosité :
Le traitement peut consister à éclairer les objets proches et à sombrir le fond, par exemple pour une vidéoconférence. Inversement pour une image prise au flash, le traitement de la luminosité va consister à éclairer le fond et assombrir les objets les plus proches pour compenser l'effet du flash.
Exemple de modification des détails :
Pour une vidéo-conférence on peut réduire les détails des objets du fond, afin de permettre une compression plus élevée pour ces objets de fond, tout en gardant une qualité maximum pour le sujet principal .
Exemple de modification de couleurs :
On réduit la saturation en couleurs des régions où la netteté relative est supérieure à un seuil pour éliminer les aberrations chromatiques longitudinales excessives, quelques fois appelées "purple fringing" .
Exemple de modification du type de compression :
Par exemple pour une vidéo-conférence, on fournit à un codée MPEG4 une segmentation objet proche/objet distant, afin de permettre de compresser fortement l'objet distant pour garder une qualité maximum du sujet principal qui est proche.
Exemple de modification du taux de compression : Comme ci-dessus dans le cas d'une vidéo-conférence, le taux de compression peut être plus élevé pour le fond que pour le sujet principal.
Exemple de modification de contenu :
Le traitement consiste à remplacer un fond par un paysage ou un décor. Dans une réalisation le traitement comprend une modification de netteté pour chaque pixel de la zone Z ' au moyen d'un filtre mélangeant les valeurs attachées au pixel sur un voisinage prédéterminé à chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée. Dans une réalisation la zone Z' est déterminée à partir de la netteté relative mesurée.
Par exemple, la zone Z' correspond à des parties d'images où la netteté relative est comprise dans une plage donnée correspondant à des parties de l ' image contenant des objets se trouvant dans une plage donnée de distances, ce qui permet, par exemple, de traiter différemment un premier plan et 1 ' arrière-plan.
Au sens de l'invention arrière-plan et fond correspondent à la même notion. Dans une réalisation, la zone Z' constitue un arrière- plan d'une image, notamment destinée à être transmise à distance, en particulier par un système de visio ou vidéoconférence. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique. Selon une réalisation le traitement comprend la fourniture d'une information fonction de la distance entre l'objet imagé et l'appareil de capture pour tout ou partie des pixels de la zone Z' et on commande un stockage et/ou une transmission et/ou une utilisation de cette information fonction de la distance, le stockage étant effectué notamment dans un fichier informatique, en particulier dans un fichier image.
On rappelle que la zone Z ' peut constituer un point et/ou une région et/ou plusieurs régions et/ou une image complète et/ou un sujet principal et/ou un arrière-plan.
L'information fonction de la distance peut être une distance, par exemple avec une indication de précision, ou une gamme de valeurs de distances telle que, par exemple, une distance inférieure au centimètre, une distance comprise entre 1 et 10 centimètres puis entre 10 centimètres et 1 mètre, et au- delà d'un mètre. L'information fonction de la distance peut aussi être représentée par un critère de type "trop près", "près", "proche", "loin", ou "macro". L'information fonction de la distance peut aussi être traduite en information de nature d'objets ou sujets tels que "portrait" ou "paysage".
On peut ainsi fournir une carte des distances des diverses parties de l'image. On peut aussi fournir la position de la zone par rapport à l ' appareil de capture .
L'information fonction de la distance peut comprendre aussi les valeurs des distances des divers éléments de l'image tels que la distance minimum, la distance maximum, la moyenne et 1 ' écart-type .
Il est important de noter que l ' invention permet de mesurer plusieurs distances dans une scène à partir d'une seule image alors que l'art antérieur nécessite des moyens complexes tels que l'utilisation de plusieurs caméras disposées à plusieurs endroits pour effectuer de la stéréoscopie, ou une caméra qui se déplace, ou un télémètre laser ou encore un sonar d'échographie qui ne permet pas d'obtenir une image visible. Dans une réalisation, l'action commandée comprend une commande d'asservissement de l'appareil de capture comprise dans le groupe constitué par : un asservissement de la mise au point, un asservissement d'exposition, un asservissement de flash, un asservissement de cadrage de l'image, un asservissement de balance des blancs, un asservissement de stabilisation d'image, un asservissement d'un autre appareil ou dispositif lié à l'appareil de capture tel que le guidage d'un robot.
Exemple de commande d'asservissement de mise au point:
Le sujet principal ou les zones d'intérêt peuvent être détectées par les mesures de distances, à partir de la netteté, le sujet principal ou la zone d'intérêt étant alors la zone la plus proche.
Un asservissement de mise au point réalisé à partir de mesures effectuées directement sur une seule image numérique est particulièrement avantageux par rapport aux asservissements connus de mise au point, ou "autofocus", pour lesquels il est nécessaire d'effectuer des mesures sur des images successives.
De plus un asservissement connu de mise au point consiste à appuyer sur un organe de déclenchement jusqu'à la mi- course puis à déplacer le cadrage avant d'appuyer à fond, alors qu'avec l'invention la mise au point peut s'effectuer de façon entièrement automatique ; l ' invention permet donc un gain de temps et une meilleure image.
Exemple de commande d'asservissement d'exposition : Comme pour l'asservissement de mise au point, le réglage d'exposition est effectué sur le sujet principal qui est détecté automatiquement ; ainsi l'exposition peut être correcte quelle que soit la position du sujet principal dans le cadre de l'image. Autrement dit, comme pour la mise au point, l'utilisateur n'a pas besoin de viser le sujet puis d'appuyer à mi-course puis déplacer le cadrage.
Exemple d'asservissement d'un flash :
Etant donné que l ' invention permet de déterminer le sujet principal, la commande d'éclairement peut être effectuée en fonction de ce sujet principal alors qu'avec l'état de la technique la puissance du flash est réglée en fonction de la mise au point sans détermination du sujet principal, c'est-à- dire, notamment, du sujet le plus proche. Comme indiqué ci- dessus, les sujets moins éclairés peuvent être traités numériquement par éclaircissement. Exemple de commande d'un autre dispositif : Quand un robot mobile doit se déplacer, on détermine les régions les plus proches du robot mobile et on détermine à partir des objets les plus proches du robot mobile une trajectoire libre de tout obstacle.
Dans une réalisation, l'action commandée comprend une fourniture de signal tel qu'un signal d'indication de l'objet d'intérêt principal de l'image numérique, et/ou d'une zone de mise au point, et/ou un signal d'alarme indiquant une modification de la scène surveillée et imagée numériquement, et/ou de distance d'au moins une partie de la scène imagée à l'appareil de capture.
Par exemple dans un appareil photo numérique on peut disposer un cadre, notamment d'une forme prédéterminée, autour du sujet principal afin d'indiquer au photographe quel est le sujet principal détecté par l'appareil lors de la prise de vue. Ce signal d'indication du sujet principal est utilisable notamment avant la prise de vue proprement dite pour indiquer au photographe quel sera le sujet ou l'objet le plus net. Ce signal peut également être une indication que l'objet ou le sujet le plus proche est à une trop faible distance de l'appareil de prise de vue pour pouvoir être net. Dans ce cas, le signal est constitué, par exemple, par le message en clair "Premier plan trop rapproché", ou par une exagération du flou du premier plan, ou encore par une modification visible de la couleur du premier plan.
Le signal indiquant que la scène ou l'objet de premier plan est à distance trop faible peut tenir compte de l'usage final de l'image qui sera prise, notamment de la résolution choisie pour cet usage. Par exemple un sujet qui serait flou sur un écran de récepteur de télévision ou d'ordinateur peut être net sur un écran de petite taille du type de celui d'un appareil de prise de vue. De même un sujet flou pour une impression sur papier de 24cm x 30cm ne l'est pas forcément pour une impression de 10cm X 15cm. Le signal d'indication de flou peut aussi tenir compte du sujet. Par exemple la détection d'un code barre est plus tolérante au flou qu'une image naturelle.
Exemple de signal d'alarme fourni par un appareil de prise de vue :
Dans un système de vidéo-surveillance d'un objet, l'appareil de prise de vue est réglé pour surveiller deux régions . La première de ces régions est celle où se trouve l'objet et la seconde région est l'ensemble du champ de l'appareil de prise de vue. Si un objet dans le champ de prise de vue se rapproche de l'objet à surveiller, alors une alarme est déclenchée.
Dans une réalisation on fait dépendre l'action commandée d'au moins une caractéristique de l'appareil de capture lors de la prise de vue, notamment la focale, l'ouverture, la distance de mise au point, les paramètres d'exposition, les paramètres de balance des blancs, la résolution, la compression, ou un réglage effectué par l'utilisateur. En effet, l'action commandée est fonction de la netteté relative mesurée et cette netteté relative entre au moins deux couleurs dépend du réglage de l'appareil de prise de vue notamment de la focale, de l'ouverture et de la distance de mise au point. Dans une réalisation, l'image numérique constitue une image brute issue du capteur de l'appareil de capture.
Cette disposition facilite la mesure de netteté relative car si on utilise une image brute ou "raw", la mesure n'est pas affectée par les traitements tels que le dématriçage, le filtrage d'amélioration de netteté, le changement d'espace couleur ou la courbe des tons .
L'image brute issue du capteur peut cependant avoir subi un traitement tel qu'un débruitage, un gain numérique, une compensation de niveau de noir. La mesure de netteté relative et/ou l'action commandée peut (peuvent) être effectuée (s) dans l'appareil de capture.
La mesure de netteté relative peut être effectuée hors de l'appareil de capture, par exemple sur un ordinateur après transfert de l'image numérique et/ou on commande une action qui est effectuée en dehors de l'appareil de capture.
On peut en effet effectuer une mesure de netteté relative en dehors de l ' appareil de capture ; de même l ' action peut être effectuée en dehors de l'appareil de capture, comme déjà mentionné. Par exemple un programme de traitement effectué sur un ordinateur détermine, à partir des mesures de netteté, la distance de mise au point et/ou la profondeur de champ afin d'effectuer des traitements dépendant de cette distance et/ou de la profondeur de champ. Dans une réalisation, la commande comprend une commande de détection et/ou reconnaissance d'une partie de l'image, telle qu'une détection et/ou reconnaissance de visage.
Par exemple on sait qu'un visage présente une taille déterminée . Le procédé selon l ' invention permet de déterminer la distance entre des objets ou sujets et à l'appareil de capture ; par ailleurs, à partir de cette information de distance, de la focale et de la taille de l'objet dans l'image, on peut en déduire la présence du visage (qui présente une taille comprise dans une gamme déterminée) . Le critère de taille de l'objet peut être complété par d'autres critères tels que, par exemple, les couleurs. La détection d'objet, telle que la détection de visages, peut être utilisée notamment pour, lors d'une téléconférence, effectuer de façon automatique une compression forte du fond. Ce procédé peut aussi être utilisé pour la détection du défaut, afin de le corriger, des yeux rouges, ou pour les reconnaissances de visages (applications biométriques) . Dans une réalisation, l ' action commandée comprend une mesure de la position et/ou du mouvement de l'appareil de capture . Dans une réalisation, on garde en mémoire un ou plusieurs objets destinés à rester fixe (s) dans une scène d'une image capturée et la détection de mouvement ou de position est effectuée en déterminant la variation de la netteté relative au cours du temps. Cette disposition peut, par exemple, être utilisée pour réaliser une interface d'ordinateur de type "souris" visuelle en trois dimensions.
Dans une réalisation, l'action commandée comprend la détermination de la position dans l'image du (des) sujet (s) principal (aux) .
Le critère de détermination du sujet principal dans une image numérique sera la plus faible distance par rapport à l'appareil de capture. Toutefois on peut combiner ce critère avec d'autres facteurs. Par exemple, on peut éliminer, par un traitement automatique, des objets en bord de l'image qui seraient proches de l'appareil de capture. Comme précédemment décrit, on peut également tenir compte d'un critère de taille de l'objet, cette taille étant fonction de la focale et de la distance entre l'appareil de capture et l'objet. Dans une réalisation l'action commandée comprend en outre le cadrage automatique, notamment le centrage, ou le recadrage de l'image numérique et/ou d'une autre image sur le sujet principal de l'image numérique. L'image recadrée peut être l'image numérique. L'image recadrée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Par exemple, on peut prévoir une mode "gros plan" qui assure automatiquement un cadrage sur un objet de premier plan. On peut aussi prévoir un mode "buste" qui assure automatiquement le cadrage d'un visage selon la règle dite des trois tiers, par exemple positionné à un tiers de la hauteur et de la largeur de 1 ' image .
Dans une réalisation, l'action commandée comprend l'application d'un traitement qui est fonction, d'une part, de la netteté relative et, d'autre part, d'un critère sélectionné par l'utilisateur.
Par exemple, le critère sélectionné est le suivant : privilégier les parties de l ' image qui sont les plus proches de l'appareil de capture. Ainsi la commande peut consister à augmenter la netteté de ces parties de l ' image et réduire la netteté du reste de l ' image afin de créer une profondeur de champ inférieure à celle obtenue en réalité. Dans ces conditions on peut simuler le comportement d'un objectif à mise au point et ouverture variables dans une image obtenue avec un objectif sans commande ni de mise au point, ni d'ouverture, comme dans un "caméraphone" .
Dans une réalisation, l'action commandée comprend la modification du contraste et/ou de la luminosité et/ou de la couleur et/ou de la netteté d'une image en fonction de la variation de netteté relative dans l ' image.
Ainsi on peut simuler un éclairage localisé tel que celui d'un flash ; on peut aussi réduire l'effet d'un flash, par exemple pour réduire les effets de contre-jour ou d' à-plats. Une scène est éclairée par une ou plusieurs sources naturelles ou artificielles ainsi qu'éventuellement par un (ou plusieurs) flash (s) contrôlé (s) par l'appareil.
Il est connu qu'un appareil de capture d'images effectue un contrôle de l'exposition (temps de pose, gain du capteur et, le cas échéant, ouverture) , un contrôle de balance des blancs (gain de chaque couleur dans l'ensemble de l'image) et éventuellement du flash (durée et puissance de l'éclair) en fonction de mesures dans une image numérique de la scène (par exemple analyse des zones saturées, analyse d'histogramme, analyse de la couleur moyenne) et/ou de mesures faites avec un dispositif complémentaire : télémètre infrarouge, pré-éclair du flash..., asservissement de mise au point permettant de trouver la mise au point produisant l'image la plus nette en comparant la netteté de plusieurs images prises avec des mises au point différentes. Ces contrôles modifient le contraste et/ou la luminosité et/ou la couleur de l'image mais n'utilisent pas une mesure de la netteté relative entre au moins deux couleurs sur au moins une région R de l ' image .
D'autre part des traitements connus tels que la courbe des tons et le rendu couleur modifient le contraste et/ou la luminosité et/ou la couleur de l'image mais n'utilisent pas une mesure de la netteté relative entre au moins deux couleurs sur au moins une région R de l ' image .
Ces méthodes connues sont limitées par l'absence d'information sur la géométrie de la scène. Par exemple, il est difficile de distinguer un objet naturellement sombre d'un objet peu éclairé. Par exemple encore, un flash ne peut pas éclairer correctement plusieurs sujets, si ceux-ci sont à des distances différentes . Dans une réalisation, l'action commandée comprend la fourniture, à un système d'asservissement d'exposition et/ou de balance des blancs et/ou de mise au point, de la position d'au moins une zone d'intérêt à prendre en compte, cette zone d'intérêt étant déterminée en comparant au moins deux mesures de nettetés relatives .
Par exemple, la commande d'exposition peut être effectuée sur la partie la plus proche de l'appareil de capture, éventuellement en combinant à un autre critère tel que l'élimination d'objet(s) proche(s), en limite d'image (bord de champ) .
L'asservissement de la balance des blancs pourra s'effectuer par exemple sur un sujet de dimension importante au centre de l'image, éventuellement au détriment d'un arrière-plan éclairé différemment. En variante, le procédé consiste à déterminer une partie proche dans l'image et une partie éloignée et la commande de balance des blancs effectue des mesures séparées sur ces deux régions afin de déterminer la présence ou non de plusieurs éclairages, et effectuer des compensations distinctes pour chacune de ces régions . Si on fournit à l'asservissement de mise au point la position de la zone d'intérêt, l'action de mise au point sera plus rapide et le sujet principal (zone d'intérêt) pourra être suivi, même s'il est en mouvement. Dans une réalisation, l'action commandée comprend la fourniture d'un signal, destiné à l'utilisateur, indiquant que 1 ' image est trop proche pour être nette .
Dans une réalisation, l'action commandée comprend la modification de résolution d'une image en fonction de la netteté relative mesurée. L'image peut être l'image numérique. L'image peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Par exemple la résolution est réduite lorsque l ' image est prise à une distance de l'appareil de capture qui est trop faible pour obtenir une image nette à pleine résolution, la résolution finale étant choisie pour obtenir une image nette.
Dans une réalisation, l'action commandée comprend la fourniture d'une information, ou signal, utilisée pour une indexation automatique de l ' image numérique .
Par exemple, si l'image comporte des sujets ou objets à une distance inférieure à une limite et d'une taille supérieure à un seuil, alors l'indexation pourra consister en la fourniture d'un signal indiquant qu'il s'agit d'un portrait ou d'un groupe de personnes. La distinction entre ces deux situations s'effectue selon que la scène imagée comporte un ou plusieurs objets ou sujets proches. Si la distance des objets ou sujets est supérieure à une limite prédéterminée, alors on peut considérer que l'image représente un paysage. Selon une réalisation, l'action commandée comprend la fourniture à un dispositif de capture de son (s), d'une information de distance et/ou de direction par rapport à l'appareil de capture, d'un sujet ou objet dans l'image numérique . Ainsi, dans un caméscope ou un caméraphone, on peut déterminer le (ou les) sujet (s) principal (aux) , déterminer les distances et/ou les directions de ces sujets principaux et focaliser la capture du son sur le sujet principal ou les sujets principaux et ainsi éliminer le bruit de fond. La commande de directivité de la capture du son peut être effectuée à l'aide de deux microphones et d'un déphasage entre les signaux de ces microphones .
Une application particulière de cette dernière disposition est, dans une vidéo-conférence, l'utilisation d'un appareil de capture d'image à grand angle et un suivi automatique du sujet qui s ' exprime oralement .
Dans une réalisation, l'action commandée comprend le paramétrage d'une compression élevée pour l'arrière-plan et une compression pour le (s) sujet (s) principal (aux) , ce (s) sujet (s) principal (aux) étant déterminé (s) comme constituant une zone de l'image satisfaisant à des critères basés sur la netteté relative mesurée.
Ainsi, par exemple lors d'une visio-conférence, on peut minimiser le débit tout en gardant une visibilité satisfaisante du sujet principal. Ce dernier est déterminé comme constituant la partie de l ' image la plus proche de l ' appareil de prise de vue et déterminé différemment comme décrit dans la présente demande. Dans une réalisation, l'appareil de capture comporte un capteur ayant des pixels munis de filtres colorés d'au moins deux sortes, ces filtres étant choisis de manière que leurs réponses spectrales présentent peu de recouvrement.
Dans ces conditions, on peut maximiser la différence de netteté entre deux couleurs et donc optimiser la précision de la mesure de netteté relative.
Dans une réalisation, l'appareil de capture comporte un capteur présentant des pixels servant principalement à produire l'image et d'autres pixels servant principalement à la mesure de la netteté relative. Dans une réalisation, les pixels servant principalement à mesurer la netteté relative ont une réponse spectrale dans une bande spectrale qui présente peu de recouvrement avec la bande spectrale, des pixels servant principalement à produire l ' image .
Dans une réalisation, les pixels servant principalement à produire l ' image ont une réponse spectrale principalement dans le domaine visible à l'œil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'œil humain.
L'invention concerne aussi un capteur ainsi défini, indépendamment d'un appareil de capture et du procédé, selon l'invention, défini ci-dessus.
L'invention concerne aussi un appareil de capture comportant un tel capteur, cet appareil de capture pouvant aussi s'utiliser indépendamment du procédé défini ci-dessus.
L'invention concerne également, selon une disposition qui peut s'utiliser en combinaison avec les (ou indépendamment des) dispositions définies ci-dessus, un appareil de capture d'images numériques qui comporte un capteur présentant, d'une part, des pixels dont la réponse spectrale est principalement dans le domaine visible à l'œil humain et, d'autre part, des pixels supplémentaires ayant une réponse spectrale, principalement en dehors du spectre visible à l'œil humain, ce capteur était tel que la partie d'image issue des pixels supplémentaires présente une netteté, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie de l'image issue des pixels de réponse spectrale principalement dans le domaine visible. Les pixels supplémentaires peuvent êtres sensibles au rayonnement infrarouge et/ou ultraviolet. Les pixels sensibles au rayonnement ultraviolet peuvent servir à améliorer la netteté pour les courtes distances, tandis que les pixels sensibles au rayonnement infrarouge peuvent servir à améliorer à la netteté aux grandes distances. Par infrarouge et/ou ultraviolet, on peut entendre toute partie du spectre au delà ou en deçà du spectre visible, notamment le proche infra-rouge tel que 700 à 800 ou 700 à 900nm , ou le proche ultra violet proche de 400nm.
Dans une réalisation, l'appareil de capture est muni d'une optique fixe, c'est-à-dire dépourvu d'éléments mécaniques pour la mise au point.
Dans ces conditions, on peut effectuer une mise au point par traitement numérique .
Dans une réalisation, l'appareil de capture est muni d'une optique à focale variable sans élément mobile ou déformable de mise au point, la netteté relative entre au moins deux couleurs sur au moins une région R de l ' image étant variable selon la focale et/ou la position de l'objet imagé par rapport à l'appareil. On obtient ainsi un dispositif muni d'un zoom plus simple, ce qui permet de réduire la taille et le coût, et d'augmenter la fiabilité.
L' optique à focale variable comporte par exemple un seul groupe optique mobile ou déformable. On sait qu'un zoom est réalisé avec au moins deux groupes mobiles, par exemple un ou deux pour la focale et l'autre pour la mise au point. En général, la mise au point et la focale sont indépendantes, c'est-à-dire que lorsque la focale varie, il n'est pas nécessaire de modifier la mise au point. Ceci élimine le temps nécessaire à la mise au point. Il existe également des optiques à focale variable, dites varifocales, moins onéreuses, dans lesquelles la mise au point doit être modifiée lorsque la focale varie. Enfin, il existe des zooms afocaux dans lesquels, deux groupes optiques mobiles liés de manière complexe sont utilisés pour faire varier la focale, la mise au point étant réalisée par un troisième groupe.
Dans une réalisation, l'image numérique est issue d'au moins deux capteurs . Par exemple, chaque capteur est dédié à une couleur déterminée. On peut par exemple faire appel à un capteur du type tri-CCD avec une optique commune d'imagerie sur ces capteurs.
Dans une réalisation, l'action commandée comprend l'ajout d'un objet dans une image et/ou le remplacement d'une partie d'une image en fonction de la netteté relative mesurée sur l ' image numérique .
Par exemple, le procédé permet d'ajouter un personnage à côté du sujet principal. On peut aussi, à titre d'exemple, ajouter un objet dans une position donnée dans l'image ; l'objet aura la taille correcte dans l ' image si l ' on tient compte de la distance de la scène imagée à cette position.
On peut également modifier l'arrière-plan ou éventuellement le masquer. On peut aussi extraire une partie de l'image, tel que le sujet principal, et l'insérer dans une autre image, de type naturel ou de synthèse, par exemple dans le cadre d'un jeu.
Il est également possible d'ajouter une information publicitaire en un endroit déterminé et une distance fixée de la scène, par exemple derrière le sujet principal.
Dans une réalisation, le procédé comprend la capture d'une séquence d'images, l'image numérique faisant partie de la séquence et l'action commandée étant effectuée sur au moins une autre image de la séquence. Ainsi, comme déjà décrit, l'estimation de la netteté relative peut être effectuée sur des images de prévisualisation avant prise de vue, a plus faible résolution, alors que la correction peut être effectuée sur une image définitivement mémorisée, par exemple au moyen d'un choix de filtres résultant d'une mesure effectuée sur les images de prévisualisation.
Dans une réalisation l'action commandée comprend la modification d'un réglage de l'appareil de capture, notamment la focale, l'ouverture, la distance de mise au point.
Ainsi, l'appareil de prise de vue peut comporter un programme de réglage automatique tel que l'ouverture est augmentée si le sujet principal se trouve devant un fond, 1 ' arrière-plan pouvant alors être flou . Le programme de réglage peut aussi adapter automatiquement l'ouverture à la distance des sujets d'un groupe afin que la profondeur de champ soit suffisante pour que tous les sujets du groupe soient nets. On notera que, dans ce dernier cas, on obtient une fonction réalisée automatiquement alors qu'elle est effectuée de façon manuelle dans l ' état de la technique .
Dans une réalisation l'action commandée comprend la production d'une image brute modifiée.
L'image numérique est de préférence l'image brute du capteur (format "raw" en anglais) avant opération de dématriçage ("demosaicing" en anglais). L'image numérique peut également avoir subi un traitement, par exemple, une balance des blancs. De préférence, l'image numérique n'a pas subi de sous- échantillonnage .
On obtient ainsi un ensemble à système optique, capteur et moyen de traitement d'image qui produit une image brute présentant une meilleure qualité ou des caractéristiques particulières, par exemple une extension de la profondeur de champ, tout en conservant des caractéristiques similaires à une image brute directement issue du capteur et en particulier une comptabilité avec les blocs fonctionnels ou composants connus effectuant la fonction de conversion image brute vers image visible ("image pipe" ou "image signal processor" en anglais) .
En variante, l'image brute a subi un dématriçage. Dans une réalisation, l'optique de l'appareil de capture présente de fortes aberrations chromatiques longitudinales, par exemple telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins une couleur pour laquelle la distance objet de meilleure netteté est inférieure à f2 OJ3 k étant un coefficient inférieur à 0,7, de préférence inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit (parmi toutes les couleurs de l'image) des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
Dans une réalisation la mesure de netteté relative entre deux couleurs est obtenue par la comparaison entre les résultats d'une première mesure M appliquée à la première couleur et le résultat de la seconde mesure appliquée à la seconde couleur, chaque mesure M fournissant une valeur fonction, d'une part, de la netteté de la couleur et, d'autre part, du contenu de l'image numérique, afin que la comparaison puisse s'affranchir du contenu de l'image numérique.
Exemple de définition et de réalisation de mesure de netteté relative :
La comparaison des nettetés est effectuée en utilisant une mesure M sur des pixels de l'image numérique.
La mesure M en un pixel P donné, pour un canal de couleur C donnée correspond au gradient de la variation de C dans un voisinage P. Elle est obtenue par le calcul suivant :
Pour une couleur C donnée, on considère V(P) un voisinage du pixel P.
On note GM la moyenne de l'amplitude des gradients sur le voisinage V(P), et SM la moyenne de l'amplitude des différences entre GM et les gradients sur le voisinage V(P) .
Un gradient se calcule par l'amplitude de la différence de valeurs de deux pixels d'une même couleur. Les gradients dans le voisinage V(P) correspondent aux gradients mettant en jeu un nombre prédéterminé de couples de pixels dans le voisinage V(P) .
La mesure M au pixel P ayant une couleur C peut être définie par le rapport entre SM et GM. On obtient ainsi une valeur M (P, C) .
Cette mesure ne permet pas, en elle-même, de caractériser précisément et complètement la netteté de la couleur C. En effet, elle dépend du contenu de l'image (type de scène imagée : textures, dégradés, etc..) dans le voisinage V(P) du pixel P. Une transition franche dans la scène imagée pour une même netteté de couleur, générera une mesure M plus élevée qu'une transition douce dans la scène imagée. Sur des images naturelles, une transition sera présente de la même façon dans chaque couleur, affectant ainsi la mesure M de la même façon entre les couleurs . Autrement dit quand une transition franche apparaît sur une couleur C, le même type de transition apparaît sur les autres couleurs .
Ainsi, la comparaison des mesures M permet d'établir la netteté relative entre une couleur Cl et une couleur C2.
La netteté relative, entre deux couleurs Cl et C2, mesurée en un pixel P peut se définir par exemple comme une comparaison entre les deux mesures M (P, Cl) et M(P,C2) . Ainsi M(P,C1)>M(P,C2) implique que Cl est plus net que C2. Par exemple aussi, on pourra utiliser une des formules suivantes :
M(P, Cl)-M(P, C2) , M(P, Cl) /M(P, C2),
Ou tout autre fonction F(M(P, Cl), M(P, C2) adaptée à la comparaison entre les deux mesures.
La netteté relative dans une région R de l ' image peut être définie en utilisant la mesure M sur tous les pixels P de la région R.
La netteté relative dans une région R de l ' image peut être l'ensemble ou un sous-ensemble des nettetés relatives mesurées pour les pixels P de la région R. Elle peut aussi être définie comme une valeur unique telle que la somme S des mesures sur tous les pixels P de la région R pour chacune des couleurs .
Ainsi, pour deux couleurs Cl et C2, on peut par exemple considérer que S(C1)>S(C2) implique que Cl est plus net que C2 en moyenne sur la région R.
On peut aussi utiliser toute autre fonction G(S (Cl) , S (C2) ) permettant la comparaison de ces deux mesures. Dans une réalisation, lorsque l'action commandée consiste à déterminer la position du sujet principal dans l'image, l'action commandée comprend en outre le cadrage automatique, notamment le centrage de l'image sur le sujet principal .
Le procédé peut être mis en œuvre dans un appareil ou dispositif de capture d'image ou de traitement d'image. Ces appareils ou dispositifs font partie du groupe comprenant : un composant électronique, intégrant ou non un capteur, un sous- ensemble électronique intégrant une optique, un capteur et éventuellement un module de traitement d'image ("caméra module") ou toute autre forme comme définie ci-dessus.
D'autres caractéristiques et avantages de l'invention apparaîtront avec la description de certains de ses modes de réalisation, celle-ci étant effectuée en se référant aux dessins ci-annexés sur lesquels : - les figures la et Ib, déjà décrites, sont des schémas représentatifs de l'aberration chromatique longitudinale d'une lentille convergente,
- la figure 2, déjà décrite, est le diagramme spectral en couleur d'une image, - les figures 3a et 3b sont des diagrammes représentant l'amélioration de la netteté d'une couleur au moyen d'une même couleur nette selon l'invention,
- la figure 4 est un diagramme représentant l'amélioration de la netteté d'une couleur au moyen de différentes couleurs nettes associées à des régions distinctes d'une image selon l'invention, les figures 5, 6 et 7 sont des diagrammes représentant l'amélioration de la netteté d'une couleur au moyen de différentes couleurs nettes associées à l'ensemble d'une image selon l'invention, la figure 8 est un diagramme représentant l'asservissement d'un appareil en fonction d'un écart de netteté entre la couleur nette et la couleur à améliorer selon 1' invention, - la figure 9 est un diagramme représentant le choix d'une couleur nette à partir d'une distance mesurée entre un objet et un appareil capturant l'image de cet objet,
- la figure 10 est un diagramme représentant la réduction de la netteté d'au moins une couleur dans au moins une région de l'image,
- la figure 11 est un schéma d'un appareil obtenu par le procédé selon l'invention,
- la figure 12 un diagramme montrant des étapes du procédé selon l'invention, - la figure 13 montre un mode de réglage conforme à
1' invention, la figure 14a et 14b forment un ensemble de diagrammes montrant des réglages utilisés dans le cadre de
1' invention, - les figures 15, 15a, et 15b illustrent une propriété d'un appareil de capture d'images selon l'invention et d'un appareil conventionnel,
- les figures 16a à 16d sont des diagrammes montrant les propriétés d'un système optique d'un appareil selon l'invention et d'un appareil classique,
- les figures 17a et 17b sont des schémas montrant un exemple de sélection de système optique pour un appareil selon 1' invention,
- la figure 18 est un diagramme illustrant des caractéristiques d'un appareil de prise de vue selon
1 ' invention,
- les figures 18.1 et 18.2 représentent des moyens de mise en œuvre du procédé selon l'invention, - les figures 19.1, 19.2 et 19.3 représentent des étapes du procédé selon l ' invention selon plusieurs variantes de réalisation, et les figures 20.1 et 20.2 représentent d'autres réalisations de l'invention.
Conformément à l'invention, le procédé décrit ci- dessous améliore la netteté d'au moins une couleur d'une image numérique en choisissant parmi les couleurs de l'image au moins une couleur dénommée « couleur nette » et en répercutant la netteté de la couleur nette sur au moins une autre couleur améliorée, comme montré ci-dessous à l'aide des figures 3a et 3b.
Plus précisément, sur la figure 3a est représentée la netteté (axe 7.2 des ordonnées) de deux couleurs 13.1 et 13.2 en fonction de la distance des objets qu'elles représentent sur l'image considérée vis-à-vis de l'appareil ayant capturé l'image
(axe 7.1 des abscisses).
Comme précédemment expliqué, la netteté de ces deux couleurs varie différemment en fonction de cette distance mais globalement, dans cet exemple, la première couleur 13.2 présente une meilleure netteté que celle d'une deuxième couleur 13.1 de cette même image.
C'est pourquoi, selon le procédé conforme à l'invention, on répercute la netteté de la première couleur 13.2 pour effectuer l'amélioration 14 de la netteté de la deuxième couleur 13.1 qui présente, après cette amélioration, une netteté
13.3 accrue.
Dans cet exemple, CA, CO et CN sont respectivement des valeurs représentatives de la couleur améliorée, de la couleur d'origine (ou à améliorer) et de la couleur nette. Dans cet exemple, la couleur nette est la première couleur. La couleur d' origine et la couleur améliorée correspondent à la deuxième couleur avant et après traitement. On effectue la répercussion de la netteté sur la deuxième couleur en utilisant un filtre F, selon une formule du type :
CA = CN + F (CO - CN) Typiquement, le filtre F présentera la particularité d'enlever les détails de l'image sur laquelle on l'applique. Pour cela on pourra utiliser un filtre linéaire passe-bas (ou moyenneur) . On peut également utiliser un des nombreux filtres non linéaires connus présentant la particularité d' enlever des détails comme par exemple un filtre médian.
A ce stade, il convient de rappeler que la rétine humaine présente une sensibilité particulièrement élevée, vis-à- vis des détails d'une image, pour la couleur verte de telle sorte que le réglage des systèmes optiques vise généralement à obtenir une netteté élevée pour cette couleur pour une certaine plage de mise au point (cf, par exemple, les pages 30 à 33 de l'ouvrage « Color appearance models », de Mark D. Fairchild édité par Addison Wesley) .
Ainsi, selon une constatation propre à l'invention, un dispositif optique délivrant des images dont la netteté n'est pas satisfaisante pour l'œil humain peut présenter une netteté satisfaisante pour une de ses couleurs, telles que le bleu ou le rouge, pour lesquelles l'œil présente une sensibilité moindre lorsqu'il considère des détails. Typiquement, pour une optique de mise au point à grandes distances (hyperfocal) , en considérant une image présentant un objet proche et un objet lointain, il apparaît que la netteté de l'objet lointain est généralement favorisée avec une couleur verte tandis que la netteté de l'objet proche est améliorée en considérant la couleur bleue.
Il apparaît alors important de pouvoir améliorer des régions d'une image selon différentes couleurs nettes en fonction de la netteté relative entre deux couleurs .
De fait, dans une réalisation de l'invention, on choisit la couleur nette servant à améliorer la netteté d'une couleur en fonction de régions de l'image, un tel procédé étant décrit ci-dessous à l'aide de la figure 4 qui montre une image 10 comprenant deux régions 11.1 et 11.2.
Dans ces deux régions sont présentes deux couleurs 8.2 et 8.3. Toutefois, la netteté (axe des ordonnées 7.2) de ces couleurs est telle que, dans la région 11.1, la couleur 8.2 est la plus nette tandis que, dans la région 11.2, la couleur 8.3 est la plus nette.
Dès lors, l'amélioration d'une couleur dans la région 11.2 s'effectue en considérant la couleur 8.3 comme couleur nette tandis que l'amélioration d'une couleur dans la région
11.1 s'effectue en considérant la couleur 8.2 comme couleur nette .
A ce niveau, il convient de noter que les régions d'une image peuvent être prédéterminées ou non. Par exemple, dans le cas d'une image numérique faite de pixels, une région peut être une zone spatiale délimitée par un ou plusieurs pixels .
En outre, il est possible de choisir une couleur nette pour améliorer une autre couleur en effectuant une simple comparaison de la netteté d'une couleur par rapport aux autres, au moins une autre, indépendamment de toute notion de distance telle que celle représentée par l'axe 7.1.
Dans ce cas, une telle analyse se présente sous la forme, par exemple, d'un tableau :
Zone 11.1 11.2
Netteté 8.2>8.3 8.3>8.2
Dans ce cas, on sélectionne la couleur 8.2 comme couleur nette dans la région 11.1 tandis que la couleur 8.3 est la couleur nette dans la zone 11.2.
Indépendamment de l'utilisation de régions dans une image, il peut être avantageux de considérer différentes couleurs nettes pour améliorer une couleur sur une image, comme décrit ci-dessous à l'aide des figures 5, 6 et 7.
Plus précisément, le diagramme de la figure 5 représente la netteté (axe des ordonnées 7.2) de deux couleurs 8.2 et 8.3 en fonction de la distance (7.1) entre au moins un objet de la scène capturée pour obtenir ladite image et l'appareil de capture.
Il apparaît que sur la plage 9.1, la couleur 8.3 présente une netteté supérieure à la netteté de la couleur 8.2 tandis que la situation est inverse pour de plus grandes distances (plage 9.2).
Dans ce cas, un procédé conforme à l'invention peut considérer la couleur 8.3 comme couleur nette, servant à corriger la netteté d'une couleur, sur la plage de distances 9.1, tandis que la couleur 8.2 est considérée comme la couleur nette pour améliorer une couleur issue d'un objet de la scène capturée pour obtenir l'image située à une distance de l'appareil de capture comprise dans la plage 9.2.
Suite à de telles corrections, la netteté des couleurs sur l'image peut être améliorée vers un profil tel que montré sur le diagramme 6, à savoir la juxtaposition des couleurs les plus nettes sur l'image.
Il est clair que, de façon analogue à la description de la figure 4, il est possible de choisir une couleur nette pour améliorer une autre couleur en effectuant une simple comparaison de la netteté d'une couleur par rapport aux autres, au moins une autre, indépendamment de toute notion de distance telle que celle représentée par l'axe 7.1.
Les courbes de netteté représentées dans les figures déjà décrites 3a, 3b, 4, 5 et 6 et décrites ultérieurement 7 à
10, peuvent varier selon la position géométrique de la région considérée de l'image et/ou d'autres paramètres de capture d'image tels que la focale, l'ouverture, mise au point, etc.. Pour déterminer la couleur la plus nette au sens de l'invention, il n'est pas besoin de connaître les paramètres indiqués ci-dessus .
Dans d'autres cas, et notamment pour déterminer la distance selon l'invention et/ou pour contrôler la profondeur de champ, il est nécessaire de connaître certains de ces paramètres ainsi que les courbes de netteté, au moins de façon (s) partielle (s) ou approximatives pour certaines valeurs de ces paramètres .
Par ailleurs, le choix de la couleur nette peut aussi être déterminé par l'activation logicielle d'au moins un mode de capture d'image tel qu'un mode macro comme décrit ultérieurement. Dans un tel cadre, on pourra considérer l'image comme une seule région.
Il convient de préciser que sur ces figures 5 et 6 est représenté un seuil 8.1 qui indique le niveau requis de netteté, au delà duquel l'image est considérée comme floue.
Dans un traitement classique, représenté en figure 7, un tel seuil 8.1 définit la profondeur de champ, c'est-à-dire la plage 9.2 de distances entre au moins un objet de la scène capturée pour obtenir ladite image, et l'appareil de capture, telle que l'image de l'objet soit nette.
Une conséquence de l'invention est donc de permettre une extension de la profondeur de champ d'un système optique comme détaillé ci-dessous à l'aide de la figure 9. Sur cette figure, la profondeur de champ d'un appareil de capture, initialement limitée par la netteté de la couleur 8.2 et le seuil de netteté 8.1, est accrue en utilisant une deuxième couleur 8.3 présentant une netteté satisfaisante (en dessous du seuil 8.1) sur une nouvelle plage de distances entre au moins un objet de la scène capturée pour obtenir ladite image et l'appareil de capture.
Concrètement, une telle application est mise en œuvre dans les appareils photographiques à focus fixe, tels que les caméraphones . En effet, la conception optique de ces appareils prévoit une plage de netteté pour de grandes distances jusqu'à quelques dizaines de centimètres au mieux sur la base d'une couleur verte, analogue à la couleur 8.2 de la figure 5. Par ailleurs, la couleur bleue ne focalisant pas de la même façon, elle peut présenter une netteté à des distances plus faibles que la couleur verte, de façon analogue à la couleur 8.3.
Dès lors, l'invention permet d'augmenter la netteté d'une image à faible distance d'un caméraphone en attribuant à la couleur verte, et aux autres couleurs, la netteté de la couleur bleue, augmentant de façon corollaire la profondeur de champ de l'appareil.
Dans un mode de réalisation de l'invention, montré à l'aide de la figure 8, plus particulièrement adapté à un appareil de capture muni d'un autofocus, le procédé détermine une consigne d'asservissement de l'appareil de capture considéré à partir de la netteté d'au moins deux couleurs de l'image saisie de sorte que la mise au point se fait en moins d'étapes et donc plus rapidement.
Par exemple, une distance 17.1 entre au moins un objet de la scène imagée et le système optique 1 capturant l'image peut être déterminée à l'aide des différents niveaux de netteté (axe 7.2 des ordonnées) des couleurs 8.2 et 8.3 utilisées dans la région 11.3 relative à l'image de l'objet.
Connaissant une telle distance entre l'objet 4 et le système 1, il est alors possible de déterminer une consigne 5 d'asservissement de l'appareil 6 de capture. Cette figure 8 sera décrite ci-après de façon plus détaillée. Selon une autre réalisation de l'invention, montrée à l'aide de la figure 10, on réduit la netteté d'au moins une couleur dans au moins une région de l'image.
Application Macro On va maintenant décrire, en s'appuyant sur les figures 5, 6 et 7, une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la réalisation d'une fonction Macro sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. Une fonction macro est destinée à permettre la réalisation d' image d'objets proches de l'appareil de capture dans une plage prédéterminée de distances, dite plage de distances macro 9.1, à l'appareil. Habituellement, un appareil de capture permet de déplacer tout ou partie de l'optique pour réaliser la fonction macro. Le procédé ou système objet de l'invention permet de s'affranchir d'un tel déplacement.
Selon l'invention, on prédétermine la couleur la plus nette pour la plage de distances macro 9.1, par exemple par mesure de la netteté 8.2 et 8.3 des couleurs des images numériques obtenues par l'appareil de capture pour chaque couleur en réalisant des images numériques à partir d'objets situés à différentes distances de l'appareil de capture. La couleur la plus nette (figure 5) est celle correspondant à la mesure 8.3. Cette prédétermination peut être réalisée de façon définitive, par exemple au moment de la conception de l'appareil
(ou de la série d'appareils) .
Par la suite, lors de l'utilisation de l'appareil, lorsque la fonction Macro est activée, on répercute alors la netteté de la couleur nette ainsi prédéterminée sur les autres couleurs, comme décrit précédemment. Lorsque la fonction Macro est désactivée, on peut calculer la netteté de l'image numérique par une méthode classique ou en utilisant le procédé selon l'invention appliqué à la plage de distances 9.2.
On obtient ainsi une fonction macro compatible d'une optique à mise au point fixe sans aucun mécanisme mobile, donc sans changer l'encombrement de l'appareil de capture d'image ni ajouter de surcoût matériel. Le mode macro peut ainsi être activé de façon logicielle au niveau de l'appareil ou de tout autre dispositif traitant l'image. Cette activation logicielle peut se faire ainsi de façon classique avant la capture de l'image mais également après cette capture et sur un dispositif local ou distant de l'appareil de capture. Selon une variante, l' activation du mode macro peut être faite automatiquement par exemple en déterminant l'image la plus nette entre l'image générée en mode normal et l'image générée en mode macro.
La fonction macro réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs, notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
L'ajout de fonction macro permet la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma par un appareil de capture d' image, notamment un téléphone ou un appareil photo.
Application extension de profondeur de champ
On va maintenant décrire en s'appuyant sur les figures 4, 5, 6 et 7 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la l'extension de la profondeur de champ sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. La profondeur de champ correspond à la plage de distances, entre les objets de la scène et l'appareil de capture d'image, permettant l'obtention d'une image numérique nette. Habituellement, un appareil de capture a une profondeur de champ limitée et d'autant plus faible que l'ouverture de l'optique est grande .
Selon l'invention et comme représenté sur la figure 4, on décompose l'image numérique en régions 11.1 et 11.2 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale, en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On choisit alors pour chaque région la couleur la plus nette, par exemple comme la couleur correspondant à la valeur la plus faible parmi les valeurs obtenues par calcul d'un gradient pour chaque couleur à partir des niveaux de gris correspondant à la couleur et la région considérées. Sur la figure 4, la couleur correspondant à la courbe 8.3 est plus nette pour la région 11.2 alors que la couleur correspondant à la courbe 8.2 est plus nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la couleur nette ainsi choisie sur les autres couleurs.
En s'appuyant sur la figure 5, on peut voir que l'image numérique d'objets proches -de distance 5 à l'appareil de capture comprises dans la plage de distances 9.1- est nette pour la couleur correspondant à la courbe 8.3 (par exemple le bleu) alors qu'elle l'est moins pour la couleur correspondant à la courbe 8.2 (par exemple le vert). On peut voir également que l'image numérique d'objets lointains -de distances à l'appareil de capture comprises dans la plage de distances 9.2- est nette pour la couleur correspondant à la courbe 8.2 alors qu'elle l'est moins pour la couleur correspondant à la courbe 8.3. L'œil étant beaucoup plus sensible à la netteté dans le vert que le bleu, il va percevoir une netteté correspondant à la courbe 8.5 de la figure 7. Si 8.1 correspond au seuil de netteté pour l'œil, l'image ne sera nette que pour les objets situés à une distance de l'appareil de capture dans la plage 9.2. La figure 6 représente, par la courbe 8.4, la netteté obtenue dans chaque couleur après utilisation du procédé selon l'invention : le bleu a permis d' obtenir une netteté meilleure que le seuil 8.1 pour les objets proches, situés dans la plage de distances 9.1, alors que le vert a permis d'obtenir une netteté meilleure que le seuil 8.1 pour les objets distants, situés dans la plage de distances 9.2. On obtient ainsi une image numérique nette pour toutes les couleurs dans une grande plage de profondeur de champ. Ceci constitue un exemple où le choix de la couleur nette est effectué selon une règle prédéterminée à savoir le choix de la couleur la plus nette dans chaque région.
Ainsi la profondeur de champ est augmentée sans augmenter le coût, la complexité ou l'encombrement de l'optique et/ou sans avoir besoin de changer l'exposition, donc sans réduire l'ouverture, ni augmenter le niveau de bruit ou augmenter le flou de bougé.
L'augmentation de profondeur de champ réalisée selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones . L' augmentation de profondeur de champ permet à la fois la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma ainsi que de portraits ou de paysages par un appareil de capture d'image, notamment un téléphone ou un appareil photo. Ceci est possible sans utiliser de dispositif coûteux d'autofocus ou macro. De plus ce dispositif, comparé à un dispositif macro mécanique manuel est réalisé de manière entièrement automatique sans aucune intervention de l'utilisateur.
L'augmentation de profondeur de champ réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs, notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
Le procédé et dispositif selon l'invention permet alors de choisir ou concevoir, comme décrit ultérieurement à l'aide des figures 11 à 17b, lors de la conception de l'appareil de capture, une optique avec un nombre plus limité de positions de mise au point, ce qui a pour avantage de réduire les contraintes de conception de l'optique et donc d'en diminuer les coûts. Ceci a également pour avantage de permettre une mise au point plus rapide et moins coûteuse en diminuant la précision nécessaire du mécanisme d'asservissement. Par exemple, pour obtenir une optique de grande profondeur de champ on peut choisir ou concevoir une optique ayant la caractéristique d'avoir l'union des plages de distances nettes pour chacune des couleurs la plus grande possible.
Par exemple, pour obtenir une optique de grande ouverture on peut choisir ou concevoir une optique ayant la caractéristique d'avoir une seule couleur nette dans chacune des plages de distances et telle que l'union des plages de distances nettes pour chacune des couleurs corresponde à la profondeur de champ souhaitée. Par exemple encore, on peut aussi optimiser à la fois l'ouverture de l'appareil et la profondeur de champ de l'image.
On obtient aussi un procédé et un dispositif qui permettent de réduire les aberrations chromatiques longitudinales d'une image numérique.
On obtient également un procédé et dispositif qui permet d'augmenter la netteté d'une image sans connaître l'appareil de capture utilisé pour la produire. Application à la mesure de la distance des objets d'une scène à partir d'une seule image
On va maintenant décrire en s' appuyant sur la figure 8 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la mesure de la distance des objets d'une scène à partir d'une seule image sans nécessité d'un dispositif matériel de mesure de télémétrie. Le procédé permet alors d'obtenir une estimation de distance des objets présents dans chaque région de l'image numérique.
Habituellement, un appareil de capture utilise un dispositif matériel pour mesurer la distance des objets d'une scène basée sur un laser, un dispositif infrarouge, un pré- éclair de flash...
Selon l'invention, et comme représenté sur la figure 8, on décompose l'image numérique en régions 11.3 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale, en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On mesure alors pour chaque région 11.3 la netteté d'au moins deux couleurs, on reporte alors les valeurs mesurées, ou les valeurs relatives mesurées 16.1 et 16.2, sur les courbes 8.2 et 8.3 correspondantes de netteté de l'appareil de capture. On obtient alors une distance 17.2 correspondant à une estimation de la distance 17.1 entre la partie de l'objet 4 représentée sur la région 11.3 et l'appareil de capture.
La mesure de distance réalisée selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones.
La mesure de distance réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
Le procédé permet alors d'obtenir une estimation de distance des objets présents dans chaque région de l'image numérique. Ceci permet :
- de construire un dispositif télémètre temps réel et bas coût à l'aide d'un capteur et d'une optique standard qui délivre une image et des informations de distance corrélées à l'image ; habituellement, plusieurs prises de vues sont nécessaires ou un dispositif matériel spécifique est nécessaire et l'association image/information de distance est complexe ;
- par exemple on affiche la distance en temps réel sur l'image,
- par exemple l ' information de distance permet de guider un robot,
- d'accélérer la mise au point d'appareils de capture à mise au point ou focale variable : on peut en effet déterminer, à partir d'une seule image, la consigne d'asservissement à appliquer pour obtenir la mise au point désirée, par exemple sur le sujet central ou dans une zone de mise au point sélectionnée par l'utilisateur,
- de tenir compte de la distance des divers objets d'une scène pour régler la puissance d'un flash et notamment du sujet principal ou du sujet dans la zone de mise au point, - de tenir compte de la distance des divers objets d'une scène pour le dispositif d'auto-exposition de l'appareil de capture, afin par exemple de privilégier le sujet principal ou le sujet dans la zone de mise au point sélectionnée par l'utilisateur pour un portrait,
de définir automatiquement le sujet principal sans avoir besoin de demander à l'utilisateur de le définir.
Application au contrôle de profondeur de champ, indépendamment de l'exposition
On va maintenant décrire en s'appuyant sur les figures 4, 5, 6 et 7 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée au contrôle de la profondeur de champ, sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. Le procédé permet alors d'obtenir une image nette pour des objets situés à une distance de l'appareil de capture correspondant à une plage de netteté et une image floue pour les autres objets. Habituellement, un appareil de capture a une profondeur de champ limitée et d'autant plus faible que l'ouverture de l'optique est grande et donc la profondeur de champ et l'exposition sont liés de sorte qu'un choix doit être fait en basse lumière entre profondeur de champ, bruit et flou de bougé. Selon la réalisation, il est possible de contrôler séparément exposition et profondeur de champ.
Selon l'invention et comme représenté sur la figure 4, on décompose l'image numérique en régions 11.1 et 11.2 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On choisit alors pour chaque région la couleur la plus nette, par exemple comme la couleur correspondant à la valeur la plus faible parmi les valeurs obtenues par calcul d'un gradient pour chaque couleur à partir des niveaux de gris correspondant à la couleur et la région considérées. Sur la figure 4, la couleur correspondant à la courbe 8.2 est plus nette pour la région 11.2 alors que la couleur correspondant à la courbe 8.3 est plus nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la couleur nette ainsi choisie sur les autres couleurs comme décrit précédemment. Comme on l'a vu précédemment, on obtient ainsi une image numérique nette pour toutes les couleurs dans une grande plage de profondeur de champ.
On utilise, pour déterminer la distance entre l'appareil de capture et les objets de la scène capturée dans la région de 1' image numérique :
- soit, comme décrit précédemment, la netteté d'au moins deux couleurs pour chaque région,
- soit un autre procédé ou dispositif de mesure de distance plus précis .
On peut alors diminuer la netteté, par exemple par un filtre gaussien, ou par un filtre simulant un bokeh, dans les régions et/ou dans des parties du champ contenant des objets situés à des distances hors de la plage de netteté souhaitée. Par exemple pour un portrait, on peut obtenir un arrière plan flou qui met en valeur le visage sans avoir besoin d' une optique de grande ouverture. Par exemple pour un paysage, on peut obtenir une grande profondeur de champ sauf éventuellement pour des objets isolés dans les coins qui peuvent nuire à la lisibilité de l'image. Par exemple, pour une scène comportant des objets proches dans le coin suite à un mauvais cadrage, on peut rendre flous ces objets proches. Par exemple on peut laisser le choix à l'utilisateur de la profondeur de champ, soit dans l'appareil, soit lors d'un post-traitement sur un ordinateur.
Ainsi la profondeur de champ est contrôlée sans avoir besoin de changer l'exposition donc sans modifier l'ouverture, ni augmenter le niveau de bruit ou augmenter le flou de bougé.
Le contrôle de profondeur de champ réalisé selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones. Le contrôle de profondeur de champ permet à la fois la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma ainsi que de portraits ou de paysages par un appareil de capture d'image, notamment un téléphone ou un appareil photo. Ceci est possible sans utiliser de dispositif coûteux d'optique de grande ouverture. De plus ce dispositif peut être réalisé de manière entièrement automatique sans aucune intervention de l'utilisateur.
Le contrôle de profondeur de champ réalisé selon l'invention, bénéficie également à un appareil comportant une optique mobile, notamment un zoom. Un amateur averti peut ainsi contrôler directement ou indirectement indépendamment la profondeur de champ et l'exposition.
La figure 11 est un schéma illustrant l'architecture d'un appareil de capture ou de restitution d'images.
Un tel appareil, par exemple de capture d'images, comporte, d'une part, un système optique 122, notamment à un ou plusieurs éléments optiques telles que des lentilles, destiné à former une image sur un capteur 124.
Bien que les exemples concernent principalement un capteur 124 du type électronique, ce capteur peut être d'un autre type, par exemple une pellicule photographique dans le cas d'un appareil dit « argentique ». Un tel appareil comporte aussi un système d'asservissement 126 agissant sur le système optique 122 et/ou sur le capteur 124 pour effectuer une mise au point afin que le plan image se trouve sur le capteur 124, et/ou pour que la quantité de lumière reçue sur le capteur soit optimale par réglage du temps de pose et/ou d'ouverture, et/ou pour que les couleurs obtenues soient correctes, en effectuant un asservissement de la balance des blancs .
Enfin, l'appareil comprend des moyens numériques de traitement d'images 128.
En variante, ces moyens numériques de traitement d'images sont séparés de l'appareil 120. Il est également possible de prévoir une partie des moyens de traitement d'images dans l'appareil 120 et une partie en dehors de l'appareil 120. Le traitement numérique de l'image est effectué après l'enregistrement d'images par le capteur 124.
Un appareil de restitution d' images présente une structure analogue à un appareil de capture d' images . A la place d'un capteur 124, on prévoit un générateur 124' d'images recevant des images de moyens 128' numériques de traitement d'images et fournissant les images à un système optique 122', tel qu'un système optique de projection.
Dans ce qui suit, pour la clarté de l'exposé, on se référera uniquement aux appareils de capture d' images . L'invention consiste, selon un de ses aspects, qui peut être utilisé indépendamment des aspects précédemment décrits, à partir des capacités des moyens 128, 128' de traitement numérique d' images pour déterminer ou sélectionner les paramètres du système optique 122, 122', et/ou du capteur ou générateur d'images 124, 124' et/ou du système d'asservissement 126.
On a présenté sur le diagramme de la figure 12 le niveau des performances que l'on peut atteindre avec chacun des composants de l'appareil lorsqu'ils sont associés à des moyens numériques de traitement d'images. Ces niveaux sont représentés par le trait interrompu 130 pour le système optique, le trait interrompu 132 pour le capteur, le trait interrompu 134 pour l'asservissement, et le trait interrompu 136 pour l'appareil.
Partant de ces niveaux de performances que l'on peut obtenir avec les moyens numériques de traitement d'images, on peut choisir des niveaux de performance de chacun des composants de l'appareil qui soient, avant traitement, sensiblement inférieurs aux niveaux des performances obtenues après application des moyens de traitement. On voit ainsi que le niveau des performances du système optique peut être établi au niveau 130' , les niveaux des performances du capteur et du système d'asservissement peuvent être établis aux niveaux, respectivement 132' et 134' .
Dans ces conditions, en l'absence de traitement numérique, le niveau des performances de l'appareil serait au niveau le plus bas, par exemple le niveau 136' correspondant au niveau le plus bas 130' pour le système optique.
Les moyens numériques de traitement d' images sont de préférence ceux décrits dans les documents suivants : - Demande de brevet EP 02751241.7 ayant pour titre :
« Procédé et système pour produire des informations formatées liées aux défauts des appareils d'une chaîne d'appareils et informations formatées destinées à des moyens de traitement d' images ». - Demande de brevet EP 02743349.9 pour : « Procédé et système pour modifier les qualités d' au moins une image provenant ou destinée à une chaîne d'appareils ».
- Demande de brevet EP 02747504.5 pour : « Procédé et système pour réduire la fréquence des mises à jour de moyens de traitement d'images ».
- Demande de brevet EP 02748934.3 pour : « Procédé et système pour corriger les aberrations chromatiques d'une image couleur réalisée au moyen d'un système optique ». - Demande de brevet EP 02743348.1 pour : "Procédé et système pour produire des informations formatées liées aux distorsions géométriques ».
- Demande de brevet EP 02748933.5 pour : "Procédé et système pour fournir, selon un format standard, des informations formatées à des moyens de traitement d'images".
- Demande de brevet EP 02747503.7 pour : « Procédé et système pour calculer une image transformée à partir d'une image numérique et d' informations formatées relatives à une transformation géométrique ».
- Demande de brevet EP 02747506.0 pour : « Procédé et système pour produire des informations formatées liées aux défauts d'au moins un appareil d'une chaîne, notamment au flou ». - Demande de brevet EP 02745485.9 pour : « Procédé et système pour modifier une image numérique en prenant en compte son bruit ».
Demande de brevet PCT/FR 2004/050455 pour : « Procédé et système pour modifier une image numérique de manière différenciée et quasi régulière par pixel ».
Ces moyens numériques de traitement d' images permettent d'améliorer la qualité des images en agissant sur au moins l'un des paramètres suivants :
- Les distorsions géométriques du système optique. On rappelle qu'un système optique peut distordre les images de façon telle qu'un rectangle peut être déformé en coussin, avec une forme convexe de chacun des côtés ou en barillet avec une forme concave de chacun des côtés .
- Les aberrations chromatiques du système optique : si un point objet est représenté par trois taches colorées ayant des positions précises les unes par rapport aux autres, l'aberration chromatique se traduit par une variation de position de ces taches les unes par rapport aux autres, les aberrations étant, en général, d'autant plus importantes qu'on s'éloigne du centre de l'image. - La parallaxe : quand on effectue un réglage par déformation ou déplacement d'un élément optique du système optique, l'image obtenue sur le plan image peut se déplacer. Le réglage est, par exemple, un réglage de la focale, ou un réglage de mise au point.
Ce défaut est illustré par la figure 13 sur laquelle on a représenté un système optique 140 à trois lentilles dans lequel le centre de l'image a la position 142 quand la lentille 144 a la position représentée en trait plein. Lorsque la lentille 144 se déplace pour prendre la position 144', représentée en traits interrompus, le centre de l'image prend la position 142' .
- Profondeur de champ : quand le système optique est mis au point sur un plan objet déterminé, les images de ce plan restent nettes ainsi que les images des objets proches de ce plan. On appelle « profondeur de champ » la distance entre le plan objet le plus proche et le plan objet le plus éloigné pour lesquels les images restent nettes.
- Le vignetage : en général, la luminosité de l'image est maximale au centre et diminue au fur et à mesure qu'on s'éloigne du centre. Le vignetage se mesure par l'écart, en pour cent, entre la luminosité en un point et la luminosité maximale.
- Le manque de netteté du système optique et/ou du capteur et/ou du générateur d' images se mesure par exemple par le paramètre BXU tel que défini ci-dessus.
- Le bruit de l'image est en général défini par son écart type, sa forme, et la dimension de la tache de bruit et sa coloration.
- Le phénomène de moiré est une déformation de l'image qui se produit lorsqu'il existe des hautes fréquences spatiales.
Le moiré se corrige par le paramétrage des filtres anti-alias .
- Le contraste est le rapport entre les plus hautes et les plus basses valeurs de luminosité de l'image pour lesquelles des détails de l'image sont encore visibles. Comme représenté sur les figures 14a et 14b, on peut améliorer le contraste (figure 14a) d'une image, c'est-à-dire étendre (figure 14b) la plage de luminosités sur laquelle on peut distinguer les détails. Cette extension s'effectue à l'aide notamment d'un algorithme de correction de contraste et de bruit.
On va maintenant décrire en relation avec la figure 15 une réalisation permettant d'uniformiser la netteté dans le champ de l'image. On rappelle tout d'abord que la surface image d'un plan objet ne constitue pas un plan parfait mais présente une courbure, dite courbure de champ. Cette courbure varie en fonction de divers paramètres dont la focale et la mise au point. Ainsi, la position du plan image 150 dépend de la zone sur laquelle est effectuée la mise au point. Dans l'exemple représenté sur la figure 15, le plan 150 correspond à une mise au point au centre 152 de l'image. Pour une mise au point sur une zone 154 proche du bord de l'image, le plan image 156 se trouve plus proche du système optique 122 que le plan image 150. Pour simplifier le système d'asservissement pour la mise au point, on dispose le plan image en une position 158, intermédiaire entre les positions 154 (correspondant à une mise au point sur une zone proche du bord de l'image), et 150
(correspondant à une mise au point sur une zone au centre de l'image). La conjugaison des moyens numériques de traitement d'images 128 avec l'asservissement 126 de mise au point, permet de limiter le déplacement du plan 158 pour la mise au point, ce qui diminue la consommation en énergie du système d'asservissement et permet de réduire le volume de ses composants.
On a représenté sur le diagramme de la figure 15a les propriétés de flou avec un système classique d'asservissement de mise au point dans lequel la netteté maximum est obtenue au centre de l'image. Ainsi, sur ce diagramme de la figure 15a, on a porté en abscisses le champ de l'image et en ordonnées la valeur de flou exprimée en BXU. Avec ce système d'asservissement classique, le flou est, au centre, de 1,3 et, au bord de l'image, de 6,6.
La figure 15b est un diagramme analogue à celui de la figure 15a montrant les propriétés d'un asservissement d'un appareil réalisé selon l'invention, partant de l'hypothèse que les moyens numériques de traitement d' images permettent de corriger le flou jusqu'à une valeur de BXU égale à 14. La courbe représentée sur ce diagramme de la figure 15b présente ainsi, au centre de l'image, une valeur BXU = 2,6 et la valeur de BXU diminue quand on s'éloigne du centre pour remonter ensuite jusqu'à une valeur de 4 vers le bord de l'image. On rappelle que cette valeur est la limite pour que le flou soit corrigeable par les moyens numériques de traitement. Ainsi on peut obtenir une image nette sur la totalité du champ de l'image alors qu'il n'en est pas ainsi avec un appareil doté d'un système classique.
Dans une réalisation, les moyens numériques de traitement d' images comportent des moyens d' amélioration de la netteté tels qu'ils permettent de se passer d'un asservissement de mise au point.
A titre d'exemple comparatif, les diagrammes des figures 16a, 16b, 16c, et 16d montrent les caractéristiques d'un appareil obtenu selon la technique classique et celles d'un appareil obtenu avec le procédé selon l'invention. L'appareil classique est un appareil de photographie numérique intégré à un téléphone mobile ayant un capteur VGA, c'est-à-dire une résolution 640 x 480 sans système de mise au point .
L'appareil classique a une ouverture de 2,8 alors que l'appareil obtenu avec le procédé selon l'invention a une ouverture de 1,4.
La figure 16a, qui correspond à l'appareil classique, est un diagramme sur lequel on a représenté en abscisses le pourcentage de champ de l'image, l'origine correspondant au centre de l'image. L'ordonnée représente le vignetage V. La figure 16b est un diagramme analogue pour un appareil obtenu selon l' invention.
Dans le schéma de la figure 16a (appareil classique) le vignetage atteint la valeur 0,7 au bord de l'image tandis que dans le diagramme de la figure 16b on voit que le système optique de l'appareil selon l'invention, présente un vignetage sensiblement plus important, de l'ordre de 0,3. La limite de correction de l'algorithme utilisé est de 0,25. En d'autres termes, grâce à l'algorithme de correction on peut faire appel à une optique de vignetage sensiblement plus important.
La figure 16c est un diagramme représentant en ordonnées le flou, exprimé en BXU, en fonction du champ de l'image (en abscisses) pour un appareil classique. Dans cet appareil classique, la caractéristique de flou est de 1,5 au centre et de 4 au bord de l'image.
Le diagramme de la figure 16d représente aussi le flou pour l'optique de l'appareil obtenu avec le procédé selon l'invention. En abscisses de ce diagramme de la figure 16d, on a aussi représenté le champ de l'image et en ordonnées le flou exprimé en BXU. On voit que sur ce diagramme de la figure 16d, le flou au centre de l'image est de l'ordre de 2,2. Il est donc supérieur au flou du diagramme de la figure 16c. Par contre, sur les bords, on a choisi un flou de l'ordre de 3, compte tenu de la limite de l'algorithme de correction. Autrement dit, de façon surprenante, on a choisi une optique dégradée en ce qui concerne la netteté au centre, alors qu'on obtient les mêmes résultats qu'avec l'appareil classique, avec, en plus, une ouverture supérieure. Il est aussi à noter que sur les bords, l'optique de l'appareil selon l'invention représente une qualité analogue à celle de l'optique classique, ce résultat pouvant être obtenu en raison de la dégradation du vignetage par rapport à l'optique classique.
Sur les diagrammes des figures 17a et 17b, on a représenté des caractéristiques de systèmes optiques différents entre lesquels le choix doit être effectué afin de réaliser un appareil de capture en utilisant le procédé selon l'invention.
Dans l'exemple représenté sur la figure 17a, le système optique fournit une tache image 1100 de faibles dimensions. Ce système présente une fonction de transfert de modulation (FTM) représentée par un diagramme où les fréquences spatiales sont en abscisses . La valeur de la fréquence de coupure est fc. La fonction FTM comporte un palier 1110 au voisinage des fréquences nulles et une partie décroissant rapidement vers la valeur fc.
L'optique représentée par le schéma de la figure 17b, présente une tache image 1114 de dimensions sensiblement supérieures à la tache image 1100 et sa FTM présente la même fréquence de coupure fc que dans le cas de la figure 17a. Par contre, la variation de cette FTM en fonction de la fréquence spatiale est différente : cette fréquence diminue de façon relativement régulière à partir de l'origine vers la fréquence de coupure.
Pour le choix du système optique, on se base sur le fait que l'algorithme de correction de la fonction de transfert de modulation, est efficace à partir d'une valeur de 0,3. Dans ces conditions, on voit qu'avec l'optique de la figure 17b, on obtient une correction permettant de rehausser la FTM jusqu'à une valeur f2, par exemple, de l'ordre de 0,8 fc alors qu'avec l'optique de la figure 17a, la correction n'est possible que jusqu'à une fréquence fi de l'ordre de 0,5 fc.
Autrement dit, avec un algorithme de correction, l'optique représentée sur la figure 17b fournira plus de détails que l'optique représentée sur la figure 17a, et cela malgré le fait que la tache image soit de plus grandes dimensions que dans le cas de la figure 17a. On choisira donc l'optique correspondant à la figure 17b.
Application à l'augmentation de profondeur de champ On va maintenant décrire une variante de réalisation du procédé pour lequel le capteur et/ou le système optique sont plus particulièrement adaptés à l'augmentation de la profondeur de champ. Les capteurs classiques CMOS ou CCD sont souvent des capteurs formés à partir d'une mosaïque de pixels dite de Bayer.
La mosaïque de Bayer consiste en une succession de 2x2 pixels, formés de 2 pixels vert (c'est-à-dire un photosite sensible à la lumière dans une gamme spectrale autour de 550nm) , d'un pixel rouge (gamme spectrale autour de 600nm) et d'un pixel bleu
(gamme spectrale autour de 450nm) . Les gammes spectrales sont représentées sur la figure 2.
Selon les capteurs, les bandes spectrales du vert, du rouge et du bleu diffèrent et présentent un recouvrement plus ou moins grand. Un fort recouvrement entre ces trois bandes a pour conséquence de réduire la sensibilité du capteur aux couleurs
(il devient "daltonien"), mais augmente sa sensibilité générale à la lumière et inversement .
Un fort recouvrement entre les trois bandes réduit aussi les différences de nettetés entre les couleurs, réduisant ainsi notamment la plage de distances pour lesquelles au moins une des trois couleurs est nette.
Aussi avantageusement, selon l'invention, on pourra adapter les bandes spectrales, par exemple en réduisant leur recouvrement, de telle sorte à augmenter la plage de distances pour lesquelles au moins une des trois couleurs est nette.
Cette adaptation pourra être conjointement menée avec la conception de l'optique et, en fonction des contraintes portant sur les traitements numériques de l'image. Description d'un capteur optimisant le procédé selon
1 ' invention
Dans une variante de réalisation du procédé, le capteur et/ou le système optique sont plus particulièrement adaptés à des applications permettant de fournir des indications précises de distances des objets imagés. Dans cette variante de réalisation on fait appel à une mosaïque de pixels de Bayer.
Il est courant que les capteurs présentent un nombre important de pixels fournissent des valeurs numériques aberrantes . Ces pixels sont appelés communément des "pixels morts" (ou "burned pixels" en anglais) . Aussi les traitements numériques de génération d'image contiennent une étape de filtrage de ces valeurs aberrantes afin que, sur l'image générée, les valeurs aberrantes de ces pixels soient gommées et donc non visibles.
La précision des mesures de distances selon le procédé, dépend notamment de la variation de la netteté relative fonction de la distance. Cette variation dépend de la quantité d'aberration chromatique qu'il est possible d'obtenir avec le système de capture (capteur et optique) . Or, la gamme de fréquences spectrales de la lumière visible, et donc la lumière utile pour une photographie, est relativement restreinte : de l'ordre de 400nm à 700nm. Aussi, la variation de netteté relative en fonction de la distance se trouve alors limitée avec un capteur Bayer classique.
Plusieurs façons de modifier un capteur pour aller au- delà de cette limitation sont possibles . Une façon simple consiste à utiliser en plus des trois couleurs classiques : rouge, vert et bleu, une bande spectrale différente, par exemple 800nm-900nm ou toute autre bande au-delà et/ou en deçà du spectre du visible. Les pixels sensibles à cette quatrième bande spectrale ne seront pas forcément utiles à la reconstruction de l'image visible mais serviront principalement à l'estimation de la distance des objets par comparaison de la netteté relative sur cette quatrième bande spectrale avec l'une, ou plusieurs, des trois couleurs classiques.
On pourra alors avantageusement disposer les pixels de la façon suivante : en partant d'une disposition d'un Bayer classique rouge, vert, bleu, on substitue, tous les NxM pixels, quelques pixels par des pixels sensibles dans cette quatrième bande spectrale. En choisissant N et M assez grands (par exemple 64 chacun) , et en substituant par exemple 9 pixels on assure ainsi que seulement environ 1 pixel pour 1000 du Bayer classique est affecté. Ainsi, lors de la construction de l'image, ces pixels pourront être considérés comme des "pixels morts" et leurs valeurs filtrées .
On obtient ainsi, un appareil photographique permettant de fournir des indications plus précises de distance des objets imagés tous les NxM pixels de l'image. Description d'un second capteur optimisant le procédé selon l'invention
Dans une autre réalisation, montrée sur la figure 20.2, on part d'un Bayer classique dans lequel on prévoit trois pixels R, G, B et un pixel U correspondant à une une partie de bande spectrale UV ou infrarouge. Par infrarouge et/ou ultraviolet, on peut entendre toute partie du spectre au delà ou en deçà du spectre visible, notamment le proche infra-rouge tel que 700 à 800 ou 700 à 900nm , ou le proche ultra violet proche de 400nm. Ce pixel U est utilisé pour améliorer la netteté des couleurs visibles comme montré avec le diagramme de la figure 20.1.
Sur ce diagramme, on a porté : en abscisses les distances "d" des objets imagés à l'appareil de capture, et en ordonnées le diamètre "D" de la tache de flou. Les courbes, 20.3, 20.4, 20.5, et 20.6 représentent la variation du diamètre "D" en fonction de la distance "d" pour, respectivement, le rouge "R", le vert "G", le bleu "B" et l'ultraviolet "U". La droite 20.7 représente le seuil de netteté définissant la profondeur de champ.
Ainsi la distance "dl" représente la limite de profondeur de champ pour un appareil de capture comportant des pixels "RGB" et non les pixels U tout en utilisant le procédé d'amélioration de netteté selon l'invention. La distance "d2" représente la limite de profondeur de champ obtenue avec un appareil de capture comportant le capteur représenté sur la figure 20.2 et faisant appel au procédé d'amélioration de netteté selon l'invention. Les pixels "U" servent uniquement à répercuter la netteté de la couleur "U" vers les couleurs "RGB" pour les objets situés entre les distances "dl" et "d2". Ainsi l'image finale ne comportera que les trois couleurs "RGB" (ou toute autre répartition de couleurs visibles connues) .
En variante, on ajoute des pixels sensibles au proche infrarouge pour améliorer la netteté aux plus grandes distances.
Augmentation des aberrations chromatiques longitudinales Selon l'invention, on tire parti de l'existence des variations de la netteté relative entre deux couleurs en fonction de la distance des objets. Aussi, on pourra concevoir des optiques présentant des nettetés relatives entre les trois plans couleurs très différentes selon la distance. De telles optiques sont dites présenter de fortes aberrations chromatiques longitudinales .
De façon pratique, on pourra par exemple concevoir l'optique de telle sorte que sur une grande plage de distances : le plus petit des diamètres de spot diagram (diamètre de la tache de flou) entre les trois couleurs est en dessous d'un premier seuil prédéterminé et que le plus grand des diamètres de spot diagram entre les trois couleurs est en dessous d'un deuxième seuil prédéterminé. Alternativement, on pourra utiliser la valeur du BxU au lieu du diamètre du spot diagram. Les deux seuils sont déterminés en fonction, par exemple, des capacités et contraintes des traitements numériques de génération de l'image, d'une part (comme par exemple la taille du filtre "F" décrit ci-dessous) , et des caractéristiques du capteur, d'autre part. La figure 18 présente un exemple des mesures BxU (axe des ordonnées) pour les trois plans couleurs RVB en fonction de la distance (axe des abscisses) pour une optique conçue en ce sens. Les valeurs montrées sont celles au centre du champ image. En chaque point du champ image, on pourra mesurer des courbes différentes mais similaires. Sl et S2 désignent les deux seuils décrits ci-dessus . La plage des distances satisfaisant les deux critères décrits ci-dessus est alors, pour cette optique, environ 12cm-infini (dl->infini sur la figure 18) ce qui signifie que l'on pourra reconstruire une image nette pour des scènes imagées dans cette plage de distances.
Avec une optique classique on aurait abouti à trois courbes proches de la courbe de la couleur rouge R dans la figure 18 et donc à un système optique ne permettant des reconstructions d'images nettes que pour des objets à de plus grandes distances 25cm - infini (d2 -^ infini sur la figure 18) .
On peut aussi utiliser une optique ayant des aberrations chromatiques longitudinales telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins une couleur pour laquelle la distance objet de meilleure netteté est inférieure
à kU, k étant „„ coefficient inférieur à 0,7, de préférence
0.P inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit (parmi toutes les couleurs de l'image) des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
Application à l'adaptation automatique de résolution
On va maintenant décrire une variante de réalisation de l'invention permettant d'adapter automatiquement la résolution de l'image au flou éventuel lié à une prise de vue en dehors de la profondeur de champ du dispositif de capture.
Lorsque la scène imagée est trop près (en deçà de la profondeur de champ), l'image est floue, c'est-à-dire que le spot diagram (la tache de flou) occupe une tache de plus de X pixels de diamètre, X étant un paramètre prédéterminé définissant la limite de profondeur de champ. Un sous- échantillonnage numérique de l'image (zoom out) , réduira la taille de la tache de flou d'un facteur dépendant du type de sous-échantillonnage utilisé, mais, typiquement, de l'ordre de grandeur du facteur de sous-échantillonnage considéré. On pourra alors générer à partir de l'image numérique une image nette, mais de plus faible résolution en choisissant le facteur de sous-échantillonnage de telle sorte que la tache de flou soit inférieure, une fois l'image sous-échantillonnée, à un seuil donné . En variante, afin de minimiser les calculs, on commence par effectuer le sous-échantillonage décrit ci-dessus avant d'effectuer l'augmentation de netteté selon l'invention.
Application à la modification de la netteté - Filtrage Comme pour la mesure de distance (figure 8) , on peut extraire la netteté attendue de chaque couleur de l'image numérique à partir de la mesure de netteté relative entre deux plans couleurs .
Selon une variante de réalisation de l'invention, le traitement comprend une modification de netteté pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs de pixels sur un voisinage prédéterminé de chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée .
En effet, un dispositif de capture d'images muni d'une optique pourra présenter des nettetés différentes selon les plans couleurs et selon la distance des objets imagés. La dépendance de la netteté (ou du flou) à la distance des objets imagés rend impossible l'augmentation de la netteté au moyen d'un traitement prédéterminé comme un filtrage de netteté prédéterminé .
Une variante de réalisation de l'invention consiste à choisir ou à adapter les filtres de netteté aux nettetés relatives mesurées .
Un cas particulier, déjà décrit, de l'adaptation du filtrage ou modification de netteté consiste en la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée, cette répercussion étant réalisée à l'aide d'une calcul du type CA = CN + F (CO - CN) , où CA est représentatif de cette couleur améliorée, CO est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe bas.
Mais, de façon plus générale, on pourra utiliser un filtre de netteté faisant intervenir toutes (ou un sous-ensemble de toutes) les couleurs. Ainsi, dans le cas d'une image numérique RGB (ou RVB) pour traiter la valeur d'un pixel P, le filtre M pourra modifier la valeur du pixel P en fonction des valeurs des pixels sur un voisinage du pixel P sur l'ensemble des trois couleurs .
Par exemple, en notant RN, GN, BN les données numériques relatives aux couleurs rouge, verte et bleue de l'image numérique, et RA, GA, BA les données numériques relatives aux couleurs de l'image améliorée, on pourra choisir le filtre M comme un opérateur effectuant les opérations suivantes :
GA = GN + c_GG * M_GG(GN) + c_GR * M_GR(RN) + c_GB * M_GB (BN)
RA = RN + c_RG * M_RG(GN) + c_RR * M_RR(RN) + c_RB * M_RB (BN)
BA = BN + c_BG * M_BG(GN) + c_BR * M_BR(RN) + c_BB * M_BB (BN) , Où :
Les M_{R, G,B} {R, G, B} représentent des filtres, qui peuvent être choisis comme des filtres linéaires à somme nulle, comme par exemple des filtres fréquentiels passe-haut. Les c_{R,G,B} {R,G,B} représentent des coefficients pondérant l'impact de chaque filtre M_{R,G,B} {R,G,B} .
Cet exemple de filtrage peut aussi répercuter la netteté de la couleur la plus nette sur les autres . Par exemple en supposant que seule la couleur bleue est nette, les filtres passe-haut M_{R,G,B} {R,G,B} donneront des valeurs proches de 0, lorsqu'ils seront appliqués aux couleurs verte et rouge qui sont floues dans l'exemple. Dans ce cas particulier, GA sera donc égal à GN plus c_GB * M_GB (BN) , c'est-à-dire GN plus les hautes fréquences du bleu. La couleur verte hérite ainsi de la netteté de la couleur nette (le bleu) . Il en est de même pour la couleur rouge .
En pratique la netteté des couleurs n' est pas un facteur binaire, aussi les filtres M_{R, G, B} {R, G, B} et les coefficients c_{R,G,B} {R,G,B} pourront être adaptés aux différentes valeurs possibles des nettetés des couleurs. Un exemple de réalisation d'une telle adaptation, dans le cadre d'images RGB issues d'un appareil de capture donné, est le suivant :
On considère les valeurs de netteté relative du rouge par rapport au vert, et du bleu par rapport au vert : V_GR, V_GB. On quantifie ces valeurs de telle sorte que les valeurs ainsi quantifiées constituent une entrée dans un tableau 2D de taille raisonnable. A chaque entrée (couple de valeurs V_BR, V_BG quantifiées), on associe un jeu de filtres M_{R, G, B} {R, G, B} et un jeu de coefficients c_{R, G, B} {R, G, B} adaptés. Dans le cas particulier, où l'on cherche à améliorer la netteté de l'image numérique, on pourra, pour chaque entrée, prédéterminer les filtres M_{R,G,B} {R, G,B} et un jeu de coefficients c_{R, G,B} {R, G, B} de telle sorte qu'une image numérique, prise par l'appareil de capture et ayant les nettetés relatives correspondant à l'entrée soient parfaitement corrigées de la netteté par l'application du filtre M.
On pourra aussi affiner le filtre M de sorte à prendre en compte le fait que les trois couleurs ne varient pas à grande échelle de la même façon, notamment dans des zones colorées (par opposition aux zones noires, grises ou blanches) de l'image numérique. Pour cela, on pourra par exemple pondérer, en chaque pixel P de la zone Z', les actions des filtres M_{R,G,B} {R,G,B} par l'amplitude des variations relatives des couleurs sur un voisinage du pixel P. Dans certains cas, le tableau d'association entre nettetés relatives considérées et jeu de filtres pourra comporter d'autres entrées comme, par exemple, la position de la zone Z' dans le champ de l'image ou des paramètres de prises de vue comme la valeur de la focale, de l'ouverture, de la distance de mise au point, etc., du système optique au moment de la prise de vue. En effet, il est habituel que les caractéristiques de netteté d'une image numérique dépendent aussi de ces facteurs.
Aussi pour la correction de netteté d'une image numérique, on découpera préalablement le champ image en plusieurs zones Z' et on appliquera le procédé à chacune des zones . Le découpage sera de préférence effectué en fonction des caractéristiques de netteté des couleurs de telle sorte qu'en chaque zone la netteté des couleurs soit relativement homogène. Avec cette réalisation on obtient ainsi une adaptation automatique du filtrage de netteté appliqué à l'image numérique, à la distance entre scène la imagée et l'appareil de capture. Il est à noter que, grâce à l'utilisation de la netteté relative cette adaptation automatique à la distance, peut se faire sans la connaissance explicite de cette distance.
Au delà de la modification de la netteté de l'image numérique, cette réalisation du procédé permet aussi l'adaptation automatique de traitements visant par exemple à la correction de défauts optiques et/ou des capteurs dont les effets sur l'image dépendent de la distance entre scène imagée et appareil de capture. Le flou (ou perte de netteté) en est un exemple, mais d'autres défauts optiques et/ou du (des) capteur (s) comme les distorsions géométriques ou le vignetage, constituent d'autres exemples. Principe de l'invention
Description des figures 19.1, 19.2, 19.3
Les figures 19.1, 19.2 et 19.3 représentent des étapes du procédé selon l'invention selon plusieurs modes de réalisation. Sur la figure 19.1, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée. En option l'action commandée dépend également d'un mode 193 correspondant par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Sur la figure 19.2, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée comportant un traitement de l'image 10 et produisant une image traitée 192. En option l'action commandée dépend également d'un mode 193 correspondant par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Sur la figure 19.3, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée comportant un traitement d'une autre image 194 et produisant une image traitée 198. En option l'action commandée dépend également d'un mode 193 correspondant par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Application à la modification du contraste et/ou de la luminosité et/ou de la couleur et/ou de la netteté
On va maintenant décrire une réalisation de l'invention dans laquelle la commande d'action consiste à modifier le contraste et/ou la luminosité et/ou la couleur de l'image en fonction de la netteté relative entre au moins deux couleurs sur au moins une région R de l'image. L'utilisation de la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, directement ou indirectement (par exemple avec une étape d'estimation de la géométrie, en 3 dimensions, de la scène) , permet par exemple de simuler l'ajout d'un éclairage localisé par exemple un flash positionné en un endroit quelconque dans la scène, et/ou, inversement, de réduire l'effet d'un flash ou d'éclairages de diverses couleurs dans la scène. Ainsi on peut réduire les effets de contre-jours, et d' à-plats de lumière liés au flash. Dans une réalisation, on découpe l'image numérique en régions en fonction de la netteté relative entre au moins deux couleurs, de sorte que chaque région image une partie de la scène se trouvant dans une plage de distances donnée et qui est orientée dans une direction donnée . Une indication de la direction peut être obtenue à partir de la variation locale de la netteté relative dans l'image. Une indication de la distance peut être obtenue à partir de la netteté relative comme décrit précédemment. On peut également utiliser directement la netteté relative et sa variation sans passer par une distance et une orientation.
Pour ajouter ou modifier un éclairage, on peut alors déterminer, pour chaque région, la quantité et la couleur de lumière à ajouter ou soustraire en chaque point puisque l'on connaît la distance à la source simulée par rapport au point imagé et l'orientation de l'objet imagé par rapport à la source.
Dans une réalisation, on reconstitue la géométrie en trois dimensions de la scène en mesurant la distance en un grand nombre de points de l'image. On utilise alors une technique connue en synthèse d'images pour ajouter un éclairage à la scène (lancer de rayons ou autre) .
Dans une réalisation, on ajoute un éclairage sur le (ou les) sujet (s) principal (aux) adapté à chaque sujet pour provoquer un effet de "fill-in" simulant un ou plusieurs flash(s) positionné (s) en face ou sur le côté de chaque sujet. On peut réaliser cette opération de manière automatique et de façon indépendante pour chaque sujet. Avec la technique connue l'ajout d'éclairages pour chaque sujet n'est possible qu'avec un éclairage de studio.
De manière similaire, on peut déterminer la puissance du flash en fonction du sujet le plus proche pour l'éclairer correctement, et compléter l'éclairage des autres sujets par l'ajout d'un éclairage simulé.
On peut également déterminer pour chaque région la couleur de l'éclairage par un procédé connu d'estimation de balance des blancs et ensuite rendre uniforme la couleur de l'éclairage de la scène. Dans l'état de la technique la balance des blancs est estimée globalement par manque d' information sur la géométrie en 3 dimensions de la scène. Description des figures 18.1 et 18.2 Sur la figure 18.1 on a représenté un capteur 2, produisant une image brute 180 faisant l'objet d'un prétraitement 181, par exemple une balance des blancs, et/ou une compensation du niveau de noir, et/ou une réduction de bruit pour produire une image prétraitée 182. On a également représenté une mesure de netteté relative 190 commandant une action 191 correspondant à un traitement mettant en œuvre l'image prétraitée 182 et la mesure de netteté relative 190, pour produire une image traitée 192. On a enfin représenté un traitement aval de l'image traitée 192, correspondant par exemple à un dématriçage ou à d'autres traitements nécessaires pour convertir une image brute en image visible.
Sur la figure 18.2 on a représenté un capteur 2, produisant une image brute 180. On a également représenté une mesure de netteté relative 190 commandant une action 191 correspondant à un traitement mettant en œuvre l'image brute 180 et la mesure de netteté relative 190, pour produire une image traitée 192. On a enfin représenté un traitement aval de l'image traitée 192, correspondant, par exemple, à un dématriçage ou d'autres traitements nécessaires pour convertir une image brute en image visible. Dans une variante, l'action met en œuvre un traitement sur une image visible.
Simplification des optiques
L'invention s'applique à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
Comme décrit, l'invention permet de rétablir la mise au point numériquement sans groupe mobile et de manière instantanée, ce qui permet donc de réduire la complexité d'un zoom en supprimant au moins une partie mobile. Par exemple, en fonction de la distance du sujet et de la focale, la netteté relative entre deux couleurs peut être variable, alors que ceci n'est pas acceptable dans les optiques connues.

Claims

REVENDIC-VTIONS
1. Procédé pour commander une action à partir d'une mesure effectuée sur au moins une image numérique, ayant au moins deux couleurs, provenant d'un appareil de capture d'images, dans lequel : - on mesure la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, et
- on commande au moins une action en fonction de la netteté relative mesurée.
2. Procédé selon la revendication 1 dans lequel l'action commandée est comprise dans le groupe comprenant :
- une détermination de distance entre l'appareil de capture et au moins un objet imagé par l'image numérique, et/ou la détermination de la distance relative entre deux objets imagés, - une action dépendant de ladite distance et/ou de ladite distance relative,
- un traitement sur au moins une zone Z ' de l ' image numérique et/ou d'une autre image numérique,
- un asservissement de l'appareil de capture et/ou un asservissement d'un autre appareil,
- la fourniture d'un signal d'indication et/ou d'alarme, et/ou d'alerte à un utilisateur,
- la détection d'une partie de l'image,
- une modification de la netteté d'une couleur, - une détermination de la position et/ou du mouvement de l'appareil de capture,
- la détermination de la position dans l'image d'un sujet,
- une modification d'au moins une caractéristique de l'image,
- une modification de tout ou partie de l'image,
- la détermination d'une zone d'intérêt dans l'image, notamment afin de fournir un signal de commande d'asservissement, - la modification de la résolution de tout ou partie de l'image,
- la fourniture d'informations relatives à l'image,
- la fourniture d'informations à un dispositif de capture de sons,
- le paramétrage d'une compression,
- au moins un réglage de l'appareil de capture.
3. Procédé selon la revendication 1 ou 2 dans lequel l 'action commandée comprend un traitement sur au moins une zone Z' de l'image numérique et/ou d'une autre image numérique, et dans lequel la zone Z' constitue tout ou partie de la région de l'image numérique, et/ou l'image numérique entière, et/ou une zone distincte de la région de l'image numérique, et/ou une zone d'une autre image numérique, et/ou une autre image numérique entière.
4. Procédé selon la revendication 3 dans lequel la zone Z' pour laquelle un traitement est commandé, comprend au moins un pixel d'une image et la région R comprend un voisinage prédéterminé du pixel correspondant dans l'image numérique.
5. Procédé selon la revendication 4 dans lequel on applique le traitement à l'ensemble des pixels d'une image.
6. Procédé selon l'une des revendications 3 à 5, dans lequel le traitement sur au moins la zone Z ' comprend la modification d'au moins une caractéristique faisant partie du groupe comprenant : la netteté, le contraste, la luminosité, les détails, la couleur, le type de compression, le taux de compression, le contenu de l'image, la résolution.
7. Procédé selon l'une des revendications 3 à 6 dans lequel le traitement comprend une modification de netteté pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs attachées au(x) pixel (s) sur un voisinage prédéterminé de chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée.
8. Procédé selon l 'une des revendications 3 à 7 dans lequel la zone Z ' est déterminée à partir de la netteté relative mesurée.
9. Procédé selon l'une des revendications 3 à 8 dans lequel la zone Z' constitue un arrière-plan d'une image, notamment destinée à être transmise à distance, en particulier par un système de visio ou vidéo-conférence.
10. Procédé selon l'une des revendications 3 à 9 dans lequel le traitement comprend la fourniture d'une information fonction de la distance entre l'objet imagé et l'appareil de capture pour tout ou partie des pixels de la zone Z ' , et on commande un stockage et/ou une transmission et/ou une utilisation de cette information fonction de la distance, le stockage étant effectué notamment dans un fichier informatique, en particulier dans un fichier image.
11. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend une commande d'asservissement de l'appareil de capture tel qu'un asservissement de mise au point et/ou d'exposition, et/ou de flash, et/ou le cadrage de l'image, et/ou de balance des blancs, et/ou de stabilisation d'image, et/ou une commande d'asservissement d'un autre appareil ou dispositif lié à l'appareil de capture, telle que le guidage d'un robot.
12. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend une fourniture de signal tel qu'un signal d'indication de l'objet d'intérêt principal de l'image numérique, et/ou d'une zone de mise au point, et/ou de distance d'au moins une partie de la scène imagée à l'appareil de capture.
13. Procédé selon l'une des revendications précédentes dans lequel on fait dépendre l'action commandée d'au moins une caractéristique de l'appareil de capture lors de la prise de vue, notamment la focale, l'ouverture, la distance de mise au point, les paramètres d'exposition, les paramètres de balance des blancs, la résolution, la compression, ou un réglage effectué par l'utilisateur.
14. Procédé selon l'une des revendications précédentes dans lequel l ' image numérique constitue une image brute issue du capteur de l'appareil de capture.
15. Procédé selon l'une des revendications précédentes dans lequel la mesure est effectuée dans l'appareil de capture et/ou l'action commandée est effectuée dans l'appareil de capture.
16. Procédé selon l'une des revendications précédentes dans lequel la mesure est effectuée hors de l'appareil de capture, par exemple sur un ordinateur après transfert de l'image, et/ou on commande une action effectuée en dehors de l'appareil de capture.
17. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comporte une commande de détection et/ou reconnaissance d'une partie de l'image, telle qu'une détection et/ou une reconnaissance de visage.
18. Procédé selon l'une des revendications précédentes dans lequel la mesure comprend une mesure de la netteté relative entre une première couleur et au moins une seconde couleur appelée autre couleur et la commande comprend la modification de la netteté de l'autre couleur en fonction de la netteté de la première couleur.
19. Procédé selon la revendication 18 dans lequel la modification de la netteté de l'autre couleur est réalisée à l'aide d'un calcul de type CA = CN + F(CO - CN), où CA est représentatif de l'autre couleur améliorée, CO est représentatif de l'autre couleur avant le traitement, CN est représentatif de la première couleur et F un filtre, notamment un filtre passe pas .
20. Procédé selon l'une des revendications 18 à 22 dans lequel la modification de la netteté de l'autre couleur est une amélioration de la netteté, la première couleur étant dénommée "couleur nette".
21. Procédé selon la revendication 20 comprenant en outre l'étape de décomposer l'image numérique en régions (11.1, 11.2), le choix de la couleur nette étant effectué pour chaque région .
22. Procédé selon la revendication 20 ou 21, ledit appareil de capture comportant un mode macro, procédé dans lequel le choix de la couleur nette est fonction de l'activation du mode macro.
23. Procédé selon la revendication 18 ou 19 dans lequel on réduit la netteté d'au moins une couleur dans au moins une zone image.
24. Procédé selon l'une des revendications précédentes, pour lequel ladite image numérique est issue d'un appareil de capture comprenant une optique, ledit procédé comprenant en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées, ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées distinctes présentent des couleurs de nettetés distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
25. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend une mesure de la position et/ou du mouvement de l'appareil de capture.
26. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la détermination de la position du (des) sujet (s) principal (aux) dans l ' image .
27. Procédé selon la revendication 26 dans lequel l'action commandée comprend en outre le cadrage automatique, notamment le centrage, le zoom ou le recadrage de l'image numérique et/ou d'une autre image sur le sujet principal de 1 ' image numérique .
28. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend l'application d'un traitement fonction de la netteté relative et d'un choix utilisateur.
29. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend la modification du contraste et/ou de la luminosité et/ou de la couleur et/ou de la netteté d'une image en fonction de la variation de netteté relative dans l ' image .
30. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la fourniture, à un asservissement d'exposition et/ou de balance des blancs et/ou de mise au point, de la position d'au moins une zone d'intérêt à prendre en compte, la zone d'intérêt étant déterminée en comparant au moins deux mesures de nettetés relatives .
31. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend la fourniture, à l'utilisateur, d'un signal indiquant que l'image est prise de trop près pour être nette.
32. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la modification de la résolution d'une image en fonction de la netteté relative.
33. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend la fourniture d'un signal utilisé pour une indexation automatique de l ' image numérique .
34. Procédé selon l'une des revendications précédentes dans lequel l ' action commandée comprend la fourniture à un dispositif de capture de son (s) d'une information de distance et/ou direction, par rapport à l'appareil de capture, d'un sujet ou objet de l'image numérique.
35. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend le paramétrage d'une compression élevée pour l'arrière-plan, une compression inférieure pour le (les) sujet (s) principal (aux) , le (les) sujet (s) principal (aux) étant déterminé (s) comme une zone de l'image satisfaisant à des critères basés sur la netteté relative mesurée.
36. Procédé selon l'une des revendications précédentes dans lequel l'appareil comporte un capteur ayant des pixels munis de filtres colorés d'au moins deux sortes, lesdits filtres étant choisis de telle sorte que leurs réponses spectrales présentent peu de recouvrement.
37. Procédé selon l'une des revendications précédentes dans lequel l ' appareil comporte un capteur ayant des pixels servant principalement à générer l'image et d'autres pixels servant principalement à mesurer la netteté relative.
38. Procédé selon la revendication 37 dans lequel les pixels du capteur servant principalement à mesurer la netteté relative ont une réponse spectrale dans une bande spectrale qui présente peu de recouvrement avec la bande spectrale des pixels du capteur servant principalement à générer 1 ' image .
39. Procédé selon la revendication 37 ou 38 dans lequel les pixels du capteur servant principalement à générer une image ont une réponse spectrale qui est principalement dans le domaine visible à l'œil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'œil humain.
40. Procédé selon l'une des revendications précédentes dans lequel l'appareil de capture comporte un capteur comprenant des pixels de réponse spectrale principalement dans le domaine visible à l'œil humain et des pixels supplémentaires ayant une réponse spectrale principalement en dehors du spectre visible à l'œil humain, et dont la netteté de la partie d'image issue de ces pixels supplémentaires est, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie d'image fournie par les pixels de réponse principalement dans le domaine visible à l'œil humain.
41. Procédé selon l'une des revendications précédentes dans lequel l'appareil est muni d'une optique dépourvue d'élément mobile ou déformable pour la mise au point.
42. Procédé selon l'une des revendications précédentes dans lequel l'appareil est muni d'une optique à focale variable sans élément mobile ou déformable de mise au point.
43. Procédé selon l'une des revendications précédentes dans lequel l'appareil est muni d'une optique à focale variable avec un seul groupe optique mobile ou déformable .
44. Procédé selon l'une des revendications précédentes dans lequel l'image numérique est issue d'au moins deux capteurs .
45. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend l'ajout d'un objet dans une image et/ou le remplacement d'une partie d'une image en fonction de la netteté relative mesurée sur l ' image numérique.
46. Procédé selon l'une des revendications précédentes dans lequel l 'appareil de capture capturant une séquence d'images, l'image numérique faisant partie de la séquence, l'action est effectuée sur au moins une autre image de la séquence.
47. Procédé selon l'une des revendications précédentes dans lequel l'action commandée modifie au moins un réglage de l'appareil de capture, notamment la focale, l'ouverture, la distance de mise au point.
48. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la production d'une image brute modifiée.
49. Procédé selon l'une des revendications précédentes dans lequel l'appareil comporte une optique ayant des aberrations chromatiques longitudinales telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins une couleur pour laquelle la distance objet de meilleure netteté est inférieure à
°-P k étant un coefficient inférieur à 0,7, de préférence inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit, parmi toutes les couleurs de l'image, des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
50. Procédé selon l'une des revendications précédentes dans lequel la mesure de netteté relative entre deux couleurs est effectuée par la comparaison entre les résultats d'une première mesure appliquée sur la première couleur et les résultats d'une seconde mesure appliquée sur la seconde couleur, chaque mesure étant telle qu'elle dépend, d'une part, de la couleur et, d'autre part, du contenu de l'image numérique, la comparaison étant telle qu'elle s'affranchisse du contenu de 1 ' image numérique .
51. Procédé selon l'une des revendications précédentes, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de concevoir une optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs de nettetés distinctes ; - de sorte que la profondeur de champ et/ou l'ouverture et/ou toute autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué.
52. Procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images, - le procédé étant tel qu'on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et de l'amélioration de la netteté d'une couleur en fonction de la netteté d'une autre couleur selon un procédé conforme à l'une des revendications précédentes,
- de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil des capture et/ou de restitution d'images.
53. Utilisation du procédé selon l'une des revendications 1 à 52 dans un appareil de capture d'images.
54. Utilisation du procédé selon l'une des revendications 1 à 51 dans un dispositif de traitement d'images numériques.
55. Procédé d'amélioration de la netteté d'au moins une couleur d'une image numérique, notamment issue d'un appareil de capture d'images, comprenant les étapes de
- choisir parmi les couleurs au moins une couleur dénommée "couleur nette",
- répercuter la netteté de la couleur nette sur au moins une autre couleur améliorée, afin que la couleur améliorée présente une netteté accrue .
56. Procédé selon la revendication 55, le procédé comprenant en outre l'étape de décomposer l'image numérique en régions ; ledit choix de la couleur nette étant effectué pour chaque région.
57. Procédé selon la revendication 56 ; ladite image numérique étant issue d'un appareil de capture, ledit procédé comprenant, en outre, l'étape de déterminer la distance entre l'appareil de capture et au moins un objet de la scène capturée à partir de la netteté d'au moins deux couleurs dans une région image dudit objet.
58. Procédé selon la revendication 57 ; ledit procédé comprenant, en outre, l'étape de réduire la netteté d'au moins une couleur dans au moins une région image.
59. Procédé selon la revendication 57 ou 58 ; ledit procédé comprenant en outre l'étape de déterminer une consigne d'asservissement dudit appareil de capture à partir de la netteté d'au moins deux couleurs ; de sorte que la mise au point se fait en moins d'étapes et est accélérée.
60. Procédé selon l'une des revendications 55 à 59 ; ledit choix de la couleur nette étant celui de choisir la couleur la plus nette selon une règle prédéterminée.
61. Procédé selon l'une des revendications 55 à 59 ; ledit choix de la "couleur nette" étant prédéterminé.
62. Procédé selon l'une des revendications 55 à 61 ; ladite image numérique étant issue d'un appareil de capture, ledit choix de la couleur nette étant fonction de la distance entre l'appareil de capture et au moins un objet de la scène capturée pour obtenir ladite image numérique.
63. Procédé selon l'une des revendications 55 à 62 ; ledit appareil d'image comportant un mode macro, ledit choix de la couleur nette étant fonction de l ' activation du mode macro .
64. Procédé selon l'une des revendications 55 à 63 ; ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprenant en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
65. Procédé selon l'une des revendications 55 à 64, la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée étant réalisée à l'aide d'un calcul du type CA = CN + F(CO - CN), où CA est représentatif de la couleur améliorée, CO est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe-bas.
66. Procédé selon l'une des revendications 55 à 65, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprenant, en outre, l'étape de concevoir une optique en tenant compte du procédé selon l ' invention; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes, de sorte que la profondeur de champ et/ou l'ouverture et/ou tout autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué
- de sorte que la mise au point mécanique peut se faire avec moins de positions.
67. Procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images, et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images, le procédé étant tel qu'on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et notamment de l'amélioration de la netteté d'une couleur en fonction de la netteté d'une autre couleur selon un procédé conforme à l'une des revendications 55 à 66, - de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil de capture et/ou de restitution d'images.
68. Appareil de capture et/ou de restitution d'images utilisant un procédé d'amélioration de couleur selon l'une des revendications 55 à 66 et/ou obtenu par un procédé de réalisation selon la revendication 67.
69. Dispositif de traitement d'image numérique mettant en œuvre un procédé selon l'une des revendications 55 à 66.
70. Image numérique obtenue selon un procédé conforme à l'une des revendications 55 à 66 ou à partir d'un appareil conforme à la revendication 68.
71. Capteur pour appareil de capture d'images numériques comprenant des pixels servant principalement à générer l'image numérique et d'autres pixels servant principalement à mesurer la netteté relative entre au moins deux couleurs sur au moins une région R de l ' image .
72. Capteur selon la revendication 71 dans lequel les pixels servant principalement à mesurer la netteté relative ont une réponse spectrale dans une bande spectrale qui présente peu de recouvrement avec la bande spectrale des pixels servant principalement à générer l ' image .
73. Capteur selon la revendication 71 ou 72 dans lequel les pixels servant principalement à générer l'image ont une réponse spectrale principalement dans le domaine visible à l'œil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'œil humain.
74. Appareil de capture comprenant un capteur selon l'une des revendications 71 à 73.
75. Appareil de capture d'images numériques comportant un capteur présentant, d'une part, des pixels de réponse spectrale principalement dans le domaine visible à l'œil humain et, d'autre part, des pixels supplémentaires présentant une réponse spectrale principalement en dehors du spectre visible à l'œil humain, la netteté de la partie d'image issue de ces pixels supplémentaires étant, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie d'image fournie par les pixels dont la réponse spectrale est principalement dans le domaine visible à l'œil humain.
76. Appareil selon la revendication 75 dans lequel les pixels supplémentaires ont une réponse spectrale principalement dans le domaine ultraviolet et/ou infrarouge.
EP06726221A 2005-03-07 2006-03-06 Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs Withdrawn EP1856907A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0550601A FR2880958B1 (fr) 2005-01-19 2005-03-07 Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique
PCT/FR2006/050197 WO2006095110A2 (fr) 2005-03-07 2006-03-06 Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs

Publications (1)

Publication Number Publication Date
EP1856907A2 true EP1856907A2 (fr) 2007-11-21

Family

ID=36632499

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06726221A Withdrawn EP1856907A2 (fr) 2005-03-07 2006-03-06 Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs

Country Status (7)

Country Link
US (3) US7920172B2 (fr)
EP (1) EP1856907A2 (fr)
JP (3) JP5535476B2 (fr)
KR (1) KR101265358B1 (fr)
CN (2) CN102984448B (fr)
CA (4) CA2835047C (fr)
WO (1) WO2006095110A2 (fr)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4969122B2 (ja) * 2006-03-24 2012-07-04 パナソニック株式会社 撮像装置
KR100776805B1 (ko) * 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
KR100834577B1 (ko) * 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
US20090102924A1 (en) * 2007-05-21 2009-04-23 Masten Jr James W Rapidly Deployable, Remotely Observable Video Monitoring System
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
DE102007031230B3 (de) * 2007-07-04 2008-10-30 Bundesdruckerei Gmbh Dokumentenerfassungssystem und Dokumentenerfassungsverfahren
JP5032911B2 (ja) * 2007-07-31 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP5298507B2 (ja) * 2007-11-12 2013-09-25 セイコーエプソン株式会社 画像表示装置及び画像表示方法
US8643748B2 (en) 2007-11-20 2014-02-04 Motorola Mobility Llc Compact stationary lens optical zoom image capture system
US8379115B2 (en) 2007-11-20 2013-02-19 Motorola Mobility Llc Image capture device with electronic focus
KR101412752B1 (ko) * 2007-11-26 2014-07-01 삼성전기주식회사 디지털 자동 초점 영상 생성 장치 및 방법
JP5171361B2 (ja) * 2008-04-07 2013-03-27 株式会社日立製作所 撮像装置
JP5132401B2 (ja) * 2008-04-16 2013-01-30 キヤノン株式会社 画像処理装置及び画像処理方法
US8160355B1 (en) * 2008-05-18 2012-04-17 Pixim Israel Ltd. Method, device and computer program product for performing white balancing of a digital image
EP2312858B1 (fr) * 2008-06-18 2012-09-26 Panasonic Corporation Appareil de traitement d'images, appareil d'imagerie, procédé de traitement d'images et programme
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
JP5075795B2 (ja) 2008-11-14 2012-11-21 株式会社東芝 固体撮像装置
JP5158713B2 (ja) * 2008-11-26 2013-03-06 京セラ株式会社 撮像装置および車載カメラシステム
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
JP5213688B2 (ja) * 2008-12-19 2013-06-19 三洋電機株式会社 撮像装置
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8379321B2 (en) * 2009-03-05 2013-02-19 Raytheon Canada Limited Method and apparatus for accurate imaging with an extended depth of field
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
JP2010257037A (ja) * 2009-04-22 2010-11-11 Sony Corp 情報処理装置および方法、並びにプログラム
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
JP2010288150A (ja) * 2009-06-12 2010-12-24 Toshiba Corp 固体撮像装置
CN101938535B (zh) * 2009-06-29 2014-01-15 鸿富锦精密工业（深圳）有限公司 电子设备
FR2949003B1 (fr) * 2009-08-10 2017-09-08 Dxo Labs Systeme et procede de capture d'images avec deux modes de fonctionnement
TWI451357B (zh) * 2009-09-09 2014-09-01 Himax Tech Ltd 字型反鋸齒方法
WO2011052172A1 (fr) 2009-10-27 2011-05-05 パナソニック株式会社 Dispositif d'imagerie et dispositif de mesure de distance utilisant ce dispositif
WO2011058236A1 (fr) 2009-11-16 2011-05-19 Dxo Labs Systeme optique et procede de conception associe
US20110149021A1 (en) * 2009-12-17 2011-06-23 Samir Hulyalkar Method and system for sharpness processing for 3d video
US20110188116A1 (en) * 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
JP5528173B2 (ja) 2010-03-31 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
TWI495335B (zh) * 2010-04-21 2015-08-01 Hon Hai Prec Ind Co Ltd 取像模組及其運作方法
JP2011229603A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP2011229625A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP5811635B2 (ja) * 2011-03-07 2015-11-11 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5630105B2 (ja) * 2010-07-05 2014-11-26 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US8736722B2 (en) * 2010-07-15 2014-05-27 Apple Inc. Enhanced image capture sharpening
JP5576739B2 (ja) 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
JP5582935B2 (ja) 2010-09-22 2014-09-03 富士フイルム株式会社 撮像モジュール
US9225766B2 (en) * 2010-10-29 2015-12-29 Sears Brands, L.L.C. Systems and methods for providing smart appliances
US9697588B2 (en) 2010-11-15 2017-07-04 Intuitive Surgical Operations, Inc. System and method for multi-resolution sharpness transport across color channels
JP5976676B2 (ja) * 2011-01-14 2016-08-24 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
CN102158648B (zh) * 2011-01-27 2014-09-10 明基电通有限公司 影像截取装置及影像处理方法
US8988590B2 (en) 2011-03-28 2015-03-24 Intermec Ip Corp. Two-dimensional imager with solid-state auto-focus
JP2012237693A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP5806504B2 (ja) 2011-05-17 2015-11-10 オリンパス株式会社 撮像装置およびこれを備える顕微鏡システム
US8711275B2 (en) * 2011-05-31 2014-04-29 Apple Inc. Estimating optical characteristics of a camera component using sharpness sweep data
US8749892B2 (en) 2011-06-17 2014-06-10 DigitalOptics Corporation Europe Limited Auto-focus actuator for field curvature correction of zoom lenses
CN102959960B (zh) 2011-06-23 2015-04-01 松下电器产业株式会社 摄像装置
US8953058B2 (en) * 2011-06-29 2015-02-10 Fotonation Limited Axial chromatic aberration correction
JP5847471B2 (ja) * 2011-07-20 2016-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
WO2013046902A1 (fr) 2011-09-29 2013-04-04 オリンパスメディカルシステムズ株式会社 Equipement endoscopique
TWI528833B (zh) * 2011-11-09 2016-04-01 鴻海精密工業股份有限公司 立體攝像裝置
FR2982678B1 (fr) * 2011-11-14 2014-01-03 Dxo Labs Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement
JP5898481B2 (ja) * 2011-12-13 2016-04-06 キヤノン株式会社 撮像装置及び焦点検出方法
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
EP2677363A1 (fr) * 2012-06-20 2013-12-25 bioMérieux Dispositif optique comprenant une caméra, un diaphragme et moyens d'éclairage
EP2872966A1 (fr) * 2012-07-12 2015-05-20 Dual Aperture International Co. Ltd. Interface utilisateur basée sur des gestes
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
TWI451344B (zh) * 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
JP6124918B2 (ja) * 2012-11-19 2017-05-10 富士機械製造株式会社 部品実装機および実装検査機
JP5738904B2 (ja) * 2013-01-28 2015-06-24 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
JP6086829B2 (ja) * 2013-06-26 2017-03-01 オリンパス株式会社 画像処理装置及び画像処理方法
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
WO2015059346A1 (fr) * 2013-10-25 2015-04-30 Nokia Technologies Oy Appareil et procédé pour la création d'une carte de profondeur
JP6256132B2 (ja) * 2014-03-14 2018-01-10 株式会社リコー 撮像システム
MX2016012066A (es) * 2014-03-18 2017-01-19 Integrated Medical Systems Int Inc Endoscopio opticamente adaptable.
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
EP2942940A1 (fr) * 2014-05-06 2015-11-11 Nokia Technologies OY Procédé et appareil permettant de définir le contenu visible d'une image
US9232132B1 (en) * 2014-06-10 2016-01-05 Gregory S. Tseytin Light field image processing
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10475361B2 (en) 2015-02-02 2019-11-12 Apple Inc. Adjustable display illumination
US20160225150A1 (en) * 2015-02-02 2016-08-04 Capso Vision, Inc. Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (fr) 2015-07-15 2020-10-21 Hand Held Products, Inc. Méthode et dispositif de dimensionnement mobile avec précision dynamique compatible avec une norme nist
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US11354783B2 (en) 2015-10-16 2022-06-07 Capsovision Inc. Method and apparatus of sharpening of gastrointestinal images based on depth information
US10943333B2 (en) * 2015-10-16 2021-03-09 Capsovision Inc. Method and apparatus of sharpening of gastrointestinal images based on depth information
US10624533B2 (en) 2015-10-16 2020-04-21 Capsovision Inc Endoscope with images optimized based on depth map derived from structured light images
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US9715721B2 (en) 2015-12-18 2017-07-25 Sony Corporation Focus detection
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
TWI588508B (zh) * 2016-05-10 2017-06-21 國立中興大學 立體深度量測裝置
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10277829B1 (en) * 2016-08-12 2019-04-30 Apple Inc. Video capture in low-light conditions
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP6801434B2 (ja) * 2016-12-20 2020-12-16 富士通株式会社 生体画像処理装置、生体画像処理方法および生体画像処理プログラム
JP2020506264A (ja) 2017-01-25 2020-02-27 コーニット・デジタル・リミテッド 染色された合成布帛上のインクジェット印刷
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US11699215B2 (en) * 2017-09-08 2023-07-11 Sony Corporation Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
CN107613284B (zh) * 2017-10-31 2019-10-08 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN108650462B (zh) * 2018-05-14 2020-06-09 Oppo广东移动通信有限公司 拍摄预览显示方法、装置、终端及存储介质
US10679024B2 (en) * 2018-07-24 2020-06-09 Cognex Corporation System and method for auto-focusing a vision system camera on barcodes
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11336840B2 (en) 2020-09-02 2022-05-17 Cisco Technology, Inc. Matching foreground and virtual background during a video communication session
CN114339187B (zh) * 2020-09-30 2024-06-14 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
CN114724000B (zh) * 2022-06-09 2022-08-30 深圳精智达技术股份有限公司 一种屏拍图摩尔纹的处理方法、处理装置及处理设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USH101H (en) * 1984-10-01 1986-08-05 The United States Of America As Represented By The Secretary Of The Army Ultraviolet and infrared focal place array
JPS63247680A (ja) 1987-04-02 1988-10-14 Mitsubishi Electric Corp 画像追尾装置
JPH01212981A (ja) * 1988-02-20 1989-08-25 Sanyo Electric Co Ltd オートフォーカス装置
JPH01276884A (ja) * 1988-04-27 1989-11-07 Nec Corp ビデオカメラの焦合装置
US5161107A (en) * 1990-10-25 1992-11-03 Mestech Creation Corporation Traffic surveillance system
JPH06138362A (ja) * 1991-02-06 1994-05-20 Sony Corp オートフォーカス装置
GB9125954D0 (en) * 1991-12-06 1992-02-05 Vlsi Vision Ltd Electronic camera
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
JP3960647B2 (ja) * 1997-01-09 2007-08-15 オリンパス株式会社 自動合焦装置
EP0878970A3 (fr) * 1997-05-16 1999-08-18 Matsushita Electric Industrial Co., Ltd. Système de mesure de l'erreur d'alignement et de l'aberration chromatique d'un capteur d'image pour une caméra vidéo
US5973846A (en) * 1998-11-30 1999-10-26 Hewlett-Packard Company Offset spectra lens system for a two spectra automatic focusing system
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
JP2000338385A (ja) * 1999-05-28 2000-12-08 Ricoh Co Ltd 自動合焦装置およびその合焦方法
US6859229B1 (en) * 1999-06-30 2005-02-22 Canon Kabushiki Kaisha Image pickup apparatus
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP4696407B2 (ja) * 2001-06-20 2011-06-08 株式会社ニコン 商品推奨システムおよび商品推奨方法
JP2003018407A (ja) * 2001-07-02 2003-01-17 Konica Corp 画像処理方法及び画像処理装置
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
JP4126938B2 (ja) 2002-03-22 2008-07-30 セイコーエプソン株式会社 画像処理装置および画像出力装置
JP2004120487A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 撮像装置
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP4010254B2 (ja) * 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
US20040165090A1 (en) * 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
US20040169748A1 (en) * 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
FR2860089B1 (fr) * 2003-09-23 2005-11-11 Do Labs Procede et systeme pour modifier une image numerique de maniere differenciee et quasi reguliere par pixel
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP4815807B2 (ja) 2004-05-31 2011-11-16 株式会社ニコン Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
JP6076300B2 (ja) 2017-02-08
CA2834883A1 (fr) 2006-09-14
CA2834963C (fr) 2017-04-18
CA2835047A1 (fr) 2006-09-14
WO2006095110A3 (fr) 2006-11-02
KR20070121717A (ko) 2007-12-27
JP2013214986A (ja) 2013-10-17
CA2600185C (fr) 2016-04-26
CA2835047C (fr) 2017-04-18
CN102984448B (zh) 2016-05-25
US7920172B2 (en) 2011-04-05
CA2834963A1 (fr) 2006-09-14
CA2600185A1 (fr) 2006-09-14
WO2006095110A2 (fr) 2006-09-14
KR101265358B1 (ko) 2013-05-21
US20110019065A1 (en) 2011-01-27
JP2008532449A (ja) 2008-08-14
US20080158377A1 (en) 2008-07-03
CN102984448A (zh) 2013-03-20
US20110109749A1 (en) 2011-05-12
CA2834883C (fr) 2018-01-23
JP2015019378A (ja) 2015-01-29
JP5633891B2 (ja) 2014-12-03
JP5535476B2 (ja) 2014-07-02
US8212889B2 (en) 2012-07-03
CN101204083A (zh) 2008-06-18

Similar Documents

Publication Publication Date Title
CA2834963C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
JP6935587B2 (ja) 画像処理のための方法および装置
EP1523730B1 (fr) Procede et systeme pour calculer une image transformee a partir d'une image numerique
EP2174289B1 (fr) Procede de traitement d'objet numerique et systeme associe.
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
EP3657784B1 (fr) Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés
WO2003007242A2 (fr) Procede et systeme pour produire des informations formatees liees aux defauts
FR2842976A1 (fr) Dispositif et procede pour fournir un zoom numerique de resolution amelioree dans un dispositif imageur electronique portatif
WO2005125242A2 (fr) Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile
KR20190068618A (ko) 단말기를 위한 촬영 방법 및 단말기
FR2996034A1 (fr) Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.
FR2851393A1 (fr) Dispositif de traitement d'image, procede de traitement d'image et programme-produit de traitement d'image
FR2880958A1 (fr) Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique
KR100764414B1 (ko) Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법
WO2023218072A1 (fr) Procédé de correction globale d' une image, et système associe
FR2887346A1 (fr) Procede et dispositif d'amelioration d'une image numerique

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070906

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20080228

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20190108