EP1374564A2 - Digital photography method and digital camera - Google Patents

Digital photography method and digital camera

Info

Publication number
EP1374564A2
EP1374564A2 EP01914941A EP01914941A EP1374564A2 EP 1374564 A2 EP1374564 A2 EP 1374564A2 EP 01914941 A EP01914941 A EP 01914941A EP 01914941 A EP01914941 A EP 01914941A EP 1374564 A2 EP1374564 A2 EP 1374564A2
Authority
EP
European Patent Office
Prior art keywords
image
matrix
signals
comparison
comparison result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP01914941A
Other languages
German (de)
French (fr)
Inventor
Alain Wacker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinar AG
Original Assignee
Sinar AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinar AG filed Critical Sinar AG
Publication of EP1374564A2 publication Critical patent/EP1374564A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Definitions

  • the present invention relates to a digital photography method according to the preamble of claim 1 and a digital camera according to that of claim 10.
  • digital photography offers many advantages, since no films are used and thus running costs are avoided.
  • digital photography also has a major disadvantage: defects in photochemical films occur only once, and a new negative is already used for the next picture.
  • opto-electronic sensors or converters in digital photography, however, the same sensors are used for each image registration. Defects from or on these image sensors always have an effect.
  • the present invention is based primarily on the problem of defects that are mechanically connected to the matrix of optoelectronic sensors, such as scratches in the sensor coating, dust particles on the matrix, defective pixels or sensors and / or Glass defects, scratches, dust etc. in or on the protective glass positioned and connected in front of the sensor and / or eg IR cut filter etc. can be detected in a simple and reliable manner and thus create the basis for a corresponding image correction.
  • the above-mentioned task is primarily made possible for the aforementioned error detection and additionally for opening further detection possibilities for image properties, in principle by signals dependent on the image signals of the two images being fed to a comparison operation and a comparison result image in the form of electrical comparison result signals is generated with the respective sensor position information and with electrical
  • Signals of the comparison result image the first and / or second registered image is modified.
  • the mentioned defects or defects which are mechanically bound to the matrix of optoelectric sensor elements, move together with the matrix when the matrix is shifted, while the image impressed on the imaging beam moves with respect to the matrix, inversely to the matrix shift, shifts. If the matrix is only shifted to the right, for example, the image of the imaging beam shifts to the left with respect to the matrix; because the image of the defect is stationary on the matrix remains, the image shifts in the imaging beam on the matrix, the latter shifts with respect to the image of the defect.
  • the electrical image signals of the two images which of course also contain the position information, are compared directly with one another, and there are sensor elements whose output signals indicate a correspondence at least to a predetermined extent
  • Comparison result in the comparison result picture identified as malfunctioning. Because, in the mechanical matrix shift mentioned, faulty sensor elements are also shifted, the above-mentioned direct comparison results in signal identity at faulty sensor positions, and ideally corresponding zero signals when differences are formed, for example, due to shift tolerances, comparison result signals that do not ideally disappear can also result, and thus a measure of A predetermined criterion, for example a threshold value, is specified, which must be undercut for the identification of a fault location.
  • a predetermined criterion for example a threshold value
  • the comparison is now made between the phantom image and the associated non-phantom image: If a phantom image is generated from the first image, the comparison is preferably carried out on the first image and its phantom image and analogously for the second image. If necessary, phantom images can certainly be generated from both images and the detection quality can be increased by double comparison.
  • the location detection is now carried out.
  • use is now made of the fact that the undisturbed image information for the storage location is present in the already existing images.
  • electrical signals on the first, second or phantom image are preferably replaced at the positions at which, in the comparison result image, comparison result signals are below a predetermined value for the generation of the recording image - that is to say the definitive image
  • Threshold This also solves the problem that in the case of uniform scenes in which even after mechanical wear, uniform sections of the scene overlap with the original image and could be interpreted as error areas.
  • a digital camera according to the invention is further characterized or according to the characterizing part of claim 10 that of claim 14, preferred embodiments according to claims 11 to 13.
  • the invention is subsequently explained, for example, with reference to figures. These explanations open up a wide variety of possible implementations of the present invention to the person skilled in the art. In the figures, for example:
  • FIG. 2 in a representation analogous to that of FIG. 1, a first form of realization of the camera according to the invention or of the method according to the invention;
  • FIGS. 1 and 2 in a representation analogous to that of FIGS. 1 and 2, the method according to the invention or a digital camera according to the invention in a preferred embodiment
  • FIG. 4 shows a Bayer pattern as an example of the pattern of color-selective sensors on a sensor matrix for digital color photography.
  • a matrix 1 of optoelectric sensors such as a CCD matrix
  • a matrix 1 of optoelectric sensors is precisely displaceably guided in the camera with respect to the imaging beam (not shown) and, as shown schematically in FIG. 1, is drive-connected to a displacement drive 3.
  • a preferably used precision guide with drive of such a matrix 1 in a digital camera reference is made to WO 01/00001 by the same applicant, which in this regard is to be an integrated description part of the present application.
  • image Bi is imaged on the matrix 1.
  • the electrical output signals of the matrix sensor elements, at the output Ai, are fed to a multiplexer unit via a time-controlled switchover unit 5.
  • the matrix 1 is shifted by a drive 3 by a predeterminable displacement vector S (x s , y s ).
  • the image B 2 appears on the matrix 1, as shown on the right in FIG. 1, shifted by the direction-inverted vector 5 ′′ 1 .
  • the image B ⁇ e which has been optoelectrically converted on the matrix 1, is stored in a storage unit 1 ⁇ , likewise, after the displacement 5 of the matrix 1 has taken place, the image B 2e in a storage unit 7.
  • the stored images are formed by signals which are dependent on the sensor output signals and information on the position of each sensor on the matrix 1. Together, both signal components, signals of the optoelectric conversion and position information, hereinafter referred to as output signals of the sensors and thus also of the matrix 1.
  • comparison unit 9 the comparison unit 9 and one and / or both of the storage units 7 ⁇ or 7 2 are interposed with a processing unit III or 11 2 shown in dashed lines in FIG. 1, so that the respective output A 1 or A 72 is operatively connected to the corresponding inputs E 92 or E 9 ⁇ , but not necessarily directly.
  • comparison unit 9 On the comparison unit 9, according to a predetermined algorithm, output signals from sensors or sensor groups, possibly processed, are compared with one another.
  • the comparison result ⁇ at the output of the comparison unit 9, which corresponds to a matrix of comparison result signals is preferably revised. This takes place on an image processing arithmetic unit 12.
  • the correspondingly processed, corrected electronic image Bi k results in a memory unit 14.
  • a fault Z for example in the form of a dust particle, is present on the sensor matrix 1 at the location x z , y 2 . If the matrix 1 is shifted by a shift vector S, as has been described with reference to FIG. 1, the portion of the image Bi caused by the imaging beam moves on the
  • Matrix 1 corresponding to the direction-inverted vector S '1 .
  • the position coordinates of the disturbance Z on the matrix 1 are retained even after the matrix 1 has been shifted, ie the disturbance Z is shifted together with the matrix 1, in contrast to the image from the imaging beam.
  • This provides the basis for transmitting the information to the arithmetic unit 12 according to FIG. 1, which is not shown repeatedly in FIG. 2, and where in the matrix 1 interference-affected sensors or pixels are located. from that For example, the computing unit 12 can replace the interference-related output signals by signal interpolation of output signals from adjacent sensors.
  • FIG. 3 shows a particularly preferred embodiment of the present invention, in which output signals from sensors or pixels influenced by errors or defects are replaced with signals corresponding to the undisturbed image of the imaging beam and what next enables moving parts of the image in the
  • images Bi e and B 2e are stored in the assigned storage units 7 ⁇ and 7 2 .
  • a phantom image Ph B ⁇ is determined, preferably from one of the two stored images B ⁇ e or B 2e , as shown in FIG. 3, preferably from image B 2e .
  • the output of the storage unit 7 2 is operatively connected to a computing unit 14 and, as schematized in FIG. 3, it is supplied with the displacement vector information S.
  • the arithmetic unit 14 now rearranges the sensor output signals stored in the memory unit 7 2 in accordance with the image B e
  • Shift vector S shifted so that an image is created as phantom image Ph B ⁇ and stored in a storage unit 7 Ph , which, since shifted by S, actually corresponds to image B ⁇ e , with the difference that that now the position coordinates of the sensors or pixels, which have been disturbed by the fault
  • Comparison unit 9 the comparison between the image B ⁇ e stored on the memory unit 7 ⁇ and the electronic image P m stored on the phantom image memory 7 Ph .
  • the comparison signal matrix formed thereon only has signal values which do not vanish or signal values which lie above a predetermined threshold value, where image B ⁇ e differs from phantom image Ph B ⁇ , ie following the representations of FIG. 3, at locations x z / y z as well as at S x ' z / y' zr . Because the shift vector
  • the signal A (x 2 / y z ) is replaced by the computing unit 12, which is no longer shown here, in the place of the image B x or B le with the position coordinate xz / yz.
  • the information relating to x z and y z is thus obtained from the Comparison signal matrix determined in the comparison unit 9.
  • an interference-free image B 1 K according to Bi is provided in the image storage unit 14 according to FIG. 1.
  • sensor matrixes for digital color photography provide patterns of sensors, e.g. Register one of the primary colors red, green or blue.
  • the so-called Bayer pattern is known, which has the color grid of the sensor selectivity shown in FIG. 4.
  • the so-called four-shot method is used for recordings of the highest quality, for example when using the Bayer pattern mentioned.
  • the matrix is increased by one sensor grid dimension after each recording horizontally shifted, an image registration was carried out, then the matrix was shifted vertically by one sensor grid dimension with respect to the starting position, another image was registered and finally, with respect to the starting position, shifted horizontally and vertically with a sensor diagonal grid dimension, again an image was registered.
  • the color information of the red, blue and twice of the green channel is available for each image pixel.
  • the shift is preferably carried out with the arrangement described in WO 01/00001 by the same applicant, following the principle described there.
  • Shift S is made by more than one grid dimension, strictly speaking even with a combined horizontal / vertical shift of the matrix by one
  • Diagonal grid dimension Since, as can be seen from FIG. 4, every second sensor is a green sensor, with only two registrations shifted diagonally by a diagonal grid dimension, entire images can already be interpolated and compared with one another in the sense of the present invention. It may well be appropriate to shift by an even or an odd number of grid dimensions in order to implement the method according to the invention. In the event of a shift by an even number of grid dimensions, it is ensured that sensors of the same color selectivity are always present at the same image location. A shift by an odd number of sensor distances is suggested by combining the four-shot technique with a larger shift S in favor of the procedure according to the invention described with reference to FIGS.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

The aim of the invention is to remove in terms of their effect on imaging sensor-related defects. To this end, the sensor matrix (1) is mechanically shifted by a predetermined vector (S). Since the mechanic shift leads to a shift of the imaging of the imaging ray (B1, B2) but not to a shift of the defects (xz, yz), a comparison of the images stored before and after the mechanical shift (71, 72, 9) and the comparative signal matrix Δ resulting from said comparison can be used to detect where sensor-related defects are located.

Description

Digitalfotografieverfahren und DigitalkameraDigital photography process and digital camera
Die vorliegende Erfindung betrifft ein Digitalfotografieverfahren nach dem Oberbegriff von Anspruch 1 sowie eine Digitalkamera nach demjenigen von Anspruch 10.The present invention relates to a digital photography method according to the preamble of claim 1 and a digital camera according to that of claim 10.
Die digitale Fotografie bietet einerseits viele Vorteile, da keine Filme Verwendung finden und damit laufende Kosten vermieden werden. Andererseits birgt aber die digitale Fotografie auch einen wesentlichen Nachteil: Fehlerstellen in fotochemischen Filmen treten nur einmal auf, bereits für ein nächstes Bild wird ein neues Negativ verwendet. Durch Verwendung opto-elektronischer Sensoren bzw. Wandler in der Digitalfotografie werden hingegen für jede Bildregistrierung dieselben Sensoren verwendet. Fehlerstellen von oder auf diesen Bildsensoren wirken sich immer wieder aus.On the one hand, digital photography offers many advantages, since no films are used and thus running costs are avoided. On the other hand, digital photography also has a major disadvantage: defects in photochemical films occur only once, and a new negative is already used for the next picture. By using opto-electronic sensors or converters in digital photography, however, the same sensors are used for each image registration. Defects from or on these image sensors always have an effect.
Bereits heute sind verschiedene Verfahren bekannt, Fehlerstellen an einem elektronisch registrierten Bild zu entdecken und rechnerisch zu eliminieren bzw. teilweise zu kompensieren. Es sei beispielsweise auf die "Blemish Files" mit Information über fehlerhafte Einzelpixel bzw. Pixelreihen hingewiesen, deren Information aus den umliegenden Pixeln interpoliert werden muss, sowie auf die sogenannten "Gain Files/White Shading-Verfahren" mit Verstärkungs-Korrekturwerten für alle Pixel, um deren unterschiedliche Güte zu homogenisieren.Various methods are already known today for discovering defects in an electronically registered image and for eliminating them arithmetically or partially compensating for them. Reference is made, for example, to the "blemish files" with information about defective individual pixels or rows of pixels, the information of which must be interpolated from the surrounding pixels, and to the so-called "gain files / white shading methods" with gain correction values for all pixels, to homogenize their different qualities.
Die vorliegende Erfindung geht primär von der Aufgabe aus, Störstellen, welche mechanisch mit der Matrix optoelektronischer Sensoren verbunden sind, wie beispielsweise Kratzer in der Sensorbeschichtung, Staubpartikel auf der Matrix, fehlerhafte Pixel bzw. Sensoren und/oder Glasfehler, Kratzer, Staub etc. im bzw. auf dem vor dem Sensor positionierten und damit verbundenen Schutzglas und/oder z.B. IR-Sperrfilter etc., auf einfache und zuverlässige Art und Weise zu detektieren und damit die Basis für eine entsprechende Bildkorrektur zu schaffen.The present invention is based primarily on the problem of defects that are mechanically connected to the matrix of optoelectronic sensors, such as scratches in the sensor coating, dust particles on the matrix, defective pixels or sensors and / or Glass defects, scratches, dust etc. in or on the protective glass positioned and connected in front of the sensor and / or eg IR cut filter etc. can be detected in a simple and reliable manner and thus create the basis for a corresponding image correction.
Beim Auffinden der nachfolgend dargestellten erfindungsgemässen Lösung wurde aber gleichzeitig erkannt, dass mit dem gefundenen Lösungsprinzip auch die Detektion weiterer Bildkriterien möglich wird, mit aufgrund der Detektion entsprechender Bildnachbearbeitung.When the solution according to the invention shown below was found, however, it was recognized at the same time that with the solution principle found, the detection of further image criteria is also possible, with the corresponding image post-processing based on the detection.
Am Digitalfotografieverfahren eingangs genannter Art wird die erwähnte Aufgabe primär der erwähnten Fehlerdetektion und zusätzlich der Eröffnung weiterer Detektionsmöglichkeiten von Bildeigenschaften, grundsätzlich dadurch ermöglicht, dass von den Bildsignalen der beiden Bilder abhängige Signale einer Vergleichsoperation zugeführt werden und ein Vergleichsresultats-Bild in Form elektrischer Vergleichsresultats-Signale mit der jeweiligen Sensor- Positionsinformation erzeugt wird und mit elektrischenIn the digital photography method of the type mentioned at the outset, the above-mentioned task is primarily made possible for the aforementioned error detection and additionally for opening further detection possibilities for image properties, in principle by signals dependent on the image signals of the two images being fed to a comparison operation and a comparison result image in the form of electrical comparison result signals is generated with the respective sensor position information and with electrical
Signalen des Vergleichsresultats-Bildes das erste und/oder zweite registrierte Bild modifiziert wird.Signals of the comparison result image the first and / or second registered image is modified.
Grundsätzlich wird dabei ausgenützt, dass die erwähnten Fehler- bzw. Störstellen, welche mechanisch an die Matrix optoelektrischer Sensorelemente gebunden sind, sich bei Verschiebung der Matrix zusammen mit der Matrix verschieben, während das dem Abbildungsstrahl aufgeprägte Bild sich bezüglich der Matrix, invers zur Matrixverschiebung, verschiebt. Wird die Matrix nur beispielsweise nach rechts verschoben, verschiebt sich das Bild des Abbildungsstrahles bezüglich der Matrix nach links; weil das Bild der Störstelle an der Matrix stationär bleibt, sich das Bild im Abbildungsstrahl auf der Matrix verschiebt, verschiebt sich letzteres bezüglich des Störstellenbildes .Basically, use is made of the fact that the mentioned defects or defects, which are mechanically bound to the matrix of optoelectric sensor elements, move together with the matrix when the matrix is shifted, while the image impressed on the imaging beam moves with respect to the matrix, inversely to the matrix shift, shifts. If the matrix is only shifted to the right, for example, the image of the imaging beam shifts to the left with respect to the matrix; because the image of the defect is stationary on the matrix remains, the image shifts in the imaging beam on the matrix, the latter shifts with respect to the image of the defect.
Dieses unterschiedliche Verhalten als ein einfaches Diskriminierungs-Kriterium zu erkennen, ist Basis der vorliegenden Erfindung. Sie bezieht sich sowohl auf digitale monochrome Fotografie wie auch auf digitale Farbfotografie.Recognizing this different behavior as a simple discrimination criterion is the basis of the present invention. It relates to digital monochrome photography as well as digital color photography.
Für die Realisation des erfindungsgemässen Verfahrens im Rahmen der digitalen Farbfotografie, bei welcher Matrixen mit Mustern unterschiedlich farbselektiver optoelektrischer Wandlerelemente bzw. -Sensoren eingesetzt werden, wird dabei vorgeschlagen, das erste und/oder zweite Bild aus mehr als einem Teilbild bereitzustellen, erzeugt durch weitere Verschiebungen der Matrix entsprechend ihrer örtlichen Verteilung farbselektiver Sensorelemente. Dabei ist es nicht zwingend, für beide der erwähnten Bilder eine gleiche Anzahl von Teilbildern bereitzustellen, es kann durchaus eines der Bilder mit der gesamten Farbinformation und damit den mehreren Teilbildern registriert werden, während das andere Bild - pro Pixel - nur mit Information bezüglich einer Farbe registriert werden kann und der erfindungsgemäss vorgenommene Vergleich trotzdem zur erwünschten Detektion von Fehlerstellen führt.For the implementation of the method according to the invention in the context of digital color photography, in which matrices with patterns of differently color-selective optoelectric transducer elements or sensors are used, it is proposed to provide the first and / or second image from more than one partial image, generated by further displacements the matrix according to its local distribution of color-selective sensor elements. It is not imperative to provide the same number of partial images for both of the images mentioned, one of the images with the entire color information and thus the multiple partial images can be registered, while the other image - per pixel - only with information relating to one color can be registered and the comparison made according to the invention nevertheless leads to the desired detection of fault locations.
In einer einfachen Ausführungsform des erfindungsgemässen Verfahrens werden die elektrischen Bildsignale der beiden Bilder, welche selbstverständlich die Positionsinformation mit enthalten, direkt miteinander verglichen, und es werden Sensorelemente, deren Ausgangssignale ein mindestens in vorgegebenem Masse Übereinstimmung anzeigendesIn a simple embodiment of the method according to the invention, the electrical image signals of the two images, which of course also contain the position information, are compared directly with one another, and there are sensor elements whose output signals indicate a correspondence at least to a predetermined extent
Vergleichsresultat im Vergleichsresultat-Bild ergeben, als störungsbehaftet identifiziert. Weil namlich bei der erwähnten mechanischen Matrixverschiebung storungsbehaftete Sensorelemente mitverschoben werden, ergibt der erwähnte direkte Vergleich Signalidentitat an storungsbehafteten Sensorpositionen, bei Differenzbildung somit idealerweise entsprechende Nullsignale, wobei beispielsweise aufgrund von Verschiebungstoleranzen auch nicht ideal verschwindende Vergleichsresultats-S gnale resultieren können und mithin ein das Mass der Übereinstimmung vorgebendes Kriterium, beispielsweise ein Schwellwert, vorgegeben wird, welcher für die Identifikation einer Storstelle unterschritten werden muss.Comparison result in the comparison result picture, identified as malfunctioning. Because, in the mechanical matrix shift mentioned, faulty sensor elements are also shifted, the above-mentioned direct comparison results in signal identity at faulty sensor positions, and ideally corresponding zero signals when differences are formed, for example, due to shift tolerances, comparison result signals that do not ideally disappear can also result, and thus a measure of A predetermined criterion, for example a threshold value, is specified, which must be undercut for the identification of a fault location.
Bei der Weiterentwicklung der vorliegenden Erfindung wird grundsatzlich am Fotografieverfahren eingangs genannter Art erkannt, dass eine mechanische Matrixverschiebung zum oben erwähnten Bildverhalten fuhrt, wahrend eine rechnerische Verschiebung eines elektronisch registrierten Bildes zu einem andern Verhalten fuhrt. Wahrend namlich bei mechanischer Matrixverschiebung, wie erläutert wurde das Bild fehlerbehafteter Sensoren sich bezüglich des Bildes des Abbildungsstrahles verschiebt, ergibt sich bei rechnerischer Verschiebung eines Bildes keine derartige Verschiebung. Wie gezeigt werden wird, kann diese an sich erfinderisch ausnutzbare Erkenntnis mit der ersterwähnten ideal kombiniert werden, indem dabei das erste und/oder zweite elektronisch abgespeicherte Bild rechnerisch verschoben wird, - die den elektrischen Bildsignalen - jeweiligen Wandlungsresultaten an den Sensoren - zugeordnete Positionsinformation wird rechnerisch geändert. Damit wird ein elektronisches Phantombild des zweiten und/oder ersten Bildes erzeugt. Wird namlich das erste Bild um den mversen mechanischen Verschiebungsweg rechnerisch verschoben, entsteht ein Phantombild des zweiten Bildes und umgekehrt .In the further development of the present invention, it is basically recognized from the type of photography of the type mentioned at the beginning that a mechanical matrix shift leads to the above-mentioned image behavior, while a computational shift of an electronically registered image leads to another behavior. Whereas, in the case of mechanical matrix shifting, as explained, the image of defective sensors has been shifted with respect to the image of the imaging beam, there is no such shift when the image is shifted computationally. As will be shown, this knowledge, which can be exploited per se according to the invention, can be ideally combined with the first-mentioned one, in that the first and / or second electronically stored image is arithmetically shifted - the position information associated with the electrical image signals - respective conversion results at the sensors - becomes arithmetical changed. An electronic phantom image of the second and / or first image is thus generated. Specifically, the first picture is calculated by the mvers mechanical displacement path shifted, a phantom image of the second image is created and vice versa.
Der Vergleich wird nun zwischen Phantombild und dem zugeordneten Nichtphantombild vorgenommen: Wird vom ersten Bild ein Phantombild erzeugt, erfolgt der Vergleich vorzugsweise am ersten Bild und dessen Phantombild und analog für das zweite Bild. Es können gegebenenfalls durchaus von beiden Bildern Phantombilder erzeugt werden und die Detektionsqualitat durch doppelten Vergleich erhöht werden.The comparison is now made between the phantom image and the associated non-phantom image: If a phantom image is generated from the first image, the comparison is preferably carried out on the first image and its phantom image and analogously for the second image. If necessary, phantom images can certainly be generated from both images and the detection quality can be increased by double comparison.
Damit ist nun insbesondere die Storstellendetektion vorgenommen. In einer weiteren bevorzugten Ausfuhrungsform des erfindungsgem ssen Verfahrens wird nun aber ausgenutzt, dass die ungestörte Bildinformation für die Storstelle in den bereits vorhandenen Bildern vorliegt.In particular, the location detection is now carried out. In a further preferred embodiment of the method according to the invention, use is now made of the fact that the undisturbed image information for the storage location is present in the already existing images.
Dabei werden bevorzugterweise für die Erzeugung des Aufnahmebildes - also des definitiven Bildes - elektrische Signale am ersten, zweiten oder Phantombild ersetzt, an Positionen, an denen, im Vergleichsresultat-Bild, Vergleichsresultats-Signale unter einem vorgegebenenIn this case, electrical signals on the first, second or phantom image are preferably replaced at the positions at which, in the comparison result image, comparison result signals are below a predetermined value for the generation of the recording image - that is to say the definitive image
Schwellwert liegen. Damit wird auch das Problem behoben, dass bei uniformen Szenen, bei denen sich auch nach mechanischer Versch eoung um S uniforme Szenenabschnitte mit dem Ursprungsbild überlappen und als Fehlerbereiche interpretiert werden konnten.Threshold. This also solves the problem that in the case of uniform scenes in which even after mechanical wear, uniform sections of the scene overlap with the original image and could be interpreted as error areas.
Im weiteren wird es möglich, wie noch auszufuhren sein wird, aus dem Vergleichsresultat-Bild nicht nur auf storbehaftete Stellen an der Sensormatrix zu schliessen, sondern auch über bewegte Bildbereiche im Abbildungsstrahl.Furthermore, it will be possible, as will be explained below, not only to infer from the comparison result image to locations on the sensor matrix that are subject to interference, but also via moving image areas in the imaging beam.
Eine erfindungsgemasse Digitalkamera zeichnet sich im weiteren nach dem Kennzeichen von Anspruch 10 aus bzw. nach demjenigen von Anspruch 14, bevorzugte Ausführungsformen nach den Ansprüchen 11 bis 13. Die Erfindung wird anschliessend beispielsweise anhand von Figuren erläutert. Diese Erläuterungen eröffnen dem Fachmann verschiedenste Realisationsmöglichkeiten der vorliegenden Erfindung. In den Figuren zeigen beispielsweise:A digital camera according to the invention is further characterized or according to the characterizing part of claim 10 that of claim 14, preferred embodiments according to claims 11 to 13. The invention is subsequently explained, for example, with reference to figures. These explanations open up a wide variety of possible implementations of the present invention to the person skilled in the art. In the figures, for example:
Fig. 1 anhand eines Signalfluss/Funktionsblockdiagrammes das erfindungsgemässe Verfahren bzw. eine erfindungsgemässe Digitalkamera, woran das der Erfindung zugrundeliegende Grundprinzip realisiert ist;1, using a signal flow / functional block diagram, the method according to the invention or a digital camera according to the invention, by means of which the basic principle on which the invention is based is realized;
Fig. 2 in einer Darstellung analog zu derjenigen von Fig. 1, eine erste Realisationsform der erfindungsgemässen Kamera bzw. des erfindungsgemässen Verfahrens;FIG. 2 in a representation analogous to that of FIG. 1, a first form of realization of the camera according to the invention or of the method according to the invention;
Fig. 3 in einer Darstellung analog derjenigen der Figuren 1 bzw. 2, das erfindungsgemässe Verfahren bzw. eine erfindungsgemässe Digitalkamera in bevorzugter Ausführungsform, und3 in a representation analogous to that of FIGS. 1 and 2, the method according to the invention or a digital camera according to the invention in a preferred embodiment, and
Fig. 4 die Darstellung eines Bayer-Pattern als Beispiel des Musters farbselektiver Sensoren an einer Sensormatrix für digitale Farbfotografie.4 shows a Bayer pattern as an example of the pattern of color-selective sensors on a sensor matrix for digital color photography.
Detailbeschreibungdetailed description
Fig. 1 zeigt anhand eines Signalfluss/Funktionsblockdia- grammes, in vereinfachter Form, das Grundprinzip bzw. das Verfahren, welches der vorliegenden Erfindung zugrunde liegt bzw. der erfindungsgemässen Digitalkamera. Eine Matrix 1 optoelektrischer Sensoren, wie beispielsweise eine CCD-Matrix, ist in der Kamera bezüglich des Abbildungsstrahles präzise verschieblich geführt (nicht dargestellt) und wie in Fig. 1 schematisch dargestellt mit einem Verschiebungsantrieb 3 antriebsverbunden. Bezüglich einer bevorzugt eingesetzten Präzisionsführung mit Antrieb einer derartigen Matrix 1 in einer Digitalkamera wird auf die WO 01/00001 derselben Anmelderin verwiesen, die diesbezüglich integrierter Beschreibungsteil der vorliegenden Anmeldung sein soll.1 shows, in simplified form, the basic principle or the method on which the present invention is based or the digital camera according to the invention on the basis of a signal flow / function block diagram. A matrix 1 of optoelectric sensors, such as a CCD matrix, is precisely displaceably guided in the camera with respect to the imaging beam (not shown) and, as shown schematically in FIG. 1, is drive-connected to a displacement drive 3. With regard to a preferably used precision guide with drive of such a matrix 1 in a digital camera, reference is made to WO 01/00001 by the same applicant, which in this regard is to be an integrated description part of the present application.
Mit dem (nicht dargestellten) Abbildungsstrahl der Kamera wird Bild Bi auf die Matrix 1 abgebildet. Die elektrischen Ausgangssignale der Matrixsensorelemente, am Ausgang Ai, werden, über eine zeitgesteuerte Umschalteinheit 5, einer Multiplexereinheit: zugeführt.With the imaging beam (not shown) of the camera, image Bi is imaged on the matrix 1. The electrical output signals of the matrix sensor elements, at the output Ai, are fed to a multiplexer unit via a time-controlled switchover unit 5.
Die Matrix 1 wird durch einen Antrieb 3 um einen vorgebbaren Verschiebungsvektor S (xs, ys) verschoben. Dadurch erscheint das Bild B2, wie in Fig. 1 rechts dargestellt, um den richtungsinvertierten Vektor 5"1 verschoben, auf der Matrix 1 abgebildet.The matrix 1 is shifted by a drive 3 by a predeterminable displacement vector S (x s , y s ). As a result, the image B 2 appears on the matrix 1, as shown on the right in FIG. 1, shifted by the direction-inverted vector 5 ″ 1 .
Mit Hilfe der Zeit-Multiplexereinheit 5 wird das an der Matrix 1 optoelektrisch gewandelte Bild Bιe an einer Speichereinheit 1\ abgespeichert, gleichermassen, nach erfolgter Verschiebung 5 der Matrix 1, das Bild B2e in einer Speichereinheit 7 . Die abgespeicherten Bilder sind gebildet durch von den Sensorausgangssignalen abhängigen Signale und Angaben der Position jedes Sensors auf der Matrix 1. Gemeinsam werden beide Signalanteile, Signale der optoelektrischen Wandlung und Positionsangaben, im weiteren als Ausgangssignale der Sensoren und damit auch der Matrix 1 bezeichnet. Die elektronisch abgespeicherten Bilder Ble _ Q -With the help of the time multiplexer unit 5, the image Bι e , which has been optoelectrically converted on the matrix 1, is stored in a storage unit 1 \ , likewise, after the displacement 5 of the matrix 1 has taken place, the image B 2e in a storage unit 7. The stored images are formed by signals which are dependent on the sensor output signals and information on the position of each sensor on the matrix 1. Together, both signal components, signals of the optoelectric conversion and position information, hereinafter referred to as output signals of the sensors and thus also of the matrix 1. The electronically stored images B le _ Q -
und B2e werden anschliessend an einer Vergleichseinheit 9 verglichen. In Fig. 1 sind die den jeweiligen elektronischen Bildern Bιe, B2s entsprechenden, abgespeicherten Sensorausgangssignale und Positionssignale direkt der Vergleichseinheit 9 zugeführt. Wie aber noch erläutert werden wird, wird in bevorzugter Art und Weise der Vergleichseinheit 9 und einem und/oder beiden der Speichereinheiten 7χ bzw. 72 eine in Fig. 1 gestrichelt eingetragene Verarbeitungseinheit lli bzw. 112 zwischengeschaltet, so dass der jeweilige Ausgang A1 bzw. A72 mit den entsprechenden Eingängen E92 bzw. E9ι wirkverbunden ist, jedoch nicht zwingend direkt.and B 2e are then compared on a comparison unit 9. 1, the stored sensor output signals and position signals corresponding to the respective electronic images Bι e , B 2s are fed directly to the comparison unit 9. However, as will be explained below, in a preferred manner the comparison unit 9 and one and / or both of the storage units 7χ or 7 2 are interposed with a processing unit III or 11 2 shown in dashed lines in FIG. 1, so that the respective output A 1 or A 72 is operatively connected to the corresponding inputs E 92 or E 9 ι, but not necessarily directly.
An der Vergleichseinheit 9 werden, nach vorgegebenem Algorithmus, Ausgangssignale von Sensoren bzw. Sensorgruppen, ggf. aufbereitet, miteinander verglichen.On the comparison unit 9, according to a predetermined algorithm, output signals from sensors or sensor groups, possibly processed, are compared with one another.
Mit Hilfe des Vergleichsresultats Δ am Ausgang der Vergleichseinheit 9, welches einer Matrix von Vergleichsresultat-Signalen entspricht, wird vorzugsweise das zuerst registrierte Bild 3ιe überarbeitet. Dies erfolgt an einer Bildbearbeitungs-Recheneinheit 12. Es resultiert das entsprechend aufbereitete, korrigierte elektronische Bild Bik in einer Speichereinheit 14.With the help of the comparison result Δ at the output of the comparison unit 9, which corresponds to a matrix of comparison result signals, the first registered image 3ι e is preferably revised. This takes place on an image processing arithmetic unit 12. The correspondingly processed, corrected electronic image Bi k results in a memory unit 14.
Anhand von Fig. 2, basierend auf der Darstellung von Fig. 1, soll nun eine höchst bevorzugte Ausführungsform des erfindungsgemässen Verfahrens bzw. einer erfindungsgemässen Digitalkamera erläutert werden mit dem Ziel, Störungen, welche an die Matrix 1 gekoppelt sind, wie beispielsweise Staubpartikel auf der Matrix, Kratzer an einer Matrixbeschichtung etc., zu erkennen.2, based on the representation of FIG. 1, a highly preferred embodiment of the method according to the invention or of a digital camera according to the invention will now be explained with the aim of eliminating disturbances which are coupled to the matrix 1, such as dust particles on the Matrix, scratches on a matrix coating, etc. to recognize.
Auf der Sensormatrix 1 sei am Ort xz, y2 eine Störung Z, beispielsweise in Form eines Staubpartikels, vorhanden. Wird die Matrix 1, wie anhand von Fig. 1 beschrieben wurde, um einen Verschiebungsvektor S verschoben, so wandert der Abbildungsstrahl-bewirkte Anteil des Bildes Bi auf derA fault Z, for example in the form of a dust particle, is present on the sensor matrix 1 at the location x z , y 2 . If the matrix 1 is shifted by a shift vector S, as has been described with reference to FIG. 1, the portion of the image Bi caused by the imaging beam moves on the
Matrix 1 entsprechend dem richtungsinvertierten Vektor S ' 1 . Die Lagekoordinaten der Störung Z an der Matrix 1 bleiben auch nach Verschiebung der Matrix 1 erhalten, d.h. die Störung Z wird zusammen mit der Matrix 1 verschoben, im Unterschied zum Bild aus dem Abbildungsstrahl .Matrix 1 corresponding to the direction-inverted vector S '1 . The position coordinates of the disturbance Z on the matrix 1 are retained even after the matrix 1 has been shifted, ie the disturbance Z is shifted together with the matrix 1, in contrast to the image from the imaging beam.
Es wird mithin auch nach der Verschiebung S dieselbe Gruppe von Sensoren an der Matrix 1 die erwähnte Störung Z durch optoelektrische Wandlung erfassen. In den Speichereinheiten 7ι und 72 resultieren die entsprechenden elektronischen Bilder Bιe und B2e.Thus, even after the displacement S, the same group of sensors on the matrix 1 will detect the disturbance Z mentioned due to optoelectric conversion. The corresponding electronic images Bι e and B 2e result in the storage units 7ι and 7 2 .
Werden nun an der Vergleichsemheit 9 die jeweils das elektronisch abgespeicherte Bild ausmachendenNow, on the comparative unit 9, those which make up the electronically stored image in each case
Sensorausgangssignale miteinander verglichen, und zwar wie an der Vergleichsemheit 9 dargestellt die Ausgangssignale von Sensoren gleicher Lagekoordinaten xn, yn , so erscheint als Vergleichsresultat-Signalmatπx Δ, am Ausgang AΔ der Vergleichsemheit 9, eine Signalmatrix bzw. ein elektronisches "Bild", an welchem an den mit der Störung Z beaufschlagten Sensorpositionen Signaldifferenzen verschwinden oder mindestens unter einen vorgegebenen Grenzwert fallen. Dies deshalb, weil die Störung Z an beiden elektronischen Bildern Bx, Bιe und B2, B2e dieselbe Sensoren- bzw. Positionengruppe gleichermassen beeinträchtigt .Sensor output signals compared with each other, and as shown on the comparison unit 9, the output signals from sensors of the same position coordinates x n , y n , the result of the comparison result is signal matrix π Δ, at the output A Δ of the comparison unit 9, a signal matrix or an electronic "image", at which signal differences disappear at the sensor positions subjected to the fault Z or at least fall below a predetermined limit value. This is because the disturbance Z on both electronic images B x , Bι e and B 2 , B 2e affects the same sensor or position group equally.
Damit ist die Basis gegeben, der in Fig. 2 nicht wiederholend wiedergegebenen Recheneinheit 12 gemass Fig. 1 die Information zu übermitteln, wo in der Matrix 1 storungsbeemflusste Sensoren bzw. Pixel liegen. Daraus kann die Recheneinheit 12 beispielsweise durch Signalinterpolation von Ausgangssignalen benachbarter Sensoren die störungsbedingten Ausgangssignale ersetzen.This provides the basis for transmitting the information to the arithmetic unit 12 according to FIG. 1, which is not shown repeatedly in FIG. 2, and where in the matrix 1 interference-affected sensors or pixels are located. from that For example, the computing unit 12 can replace the interference-related output signals by signal interpolation of output signals from adjacent sensors.
Ausgehend von den Erläuterungen zu Fig. 2 ist in Fig. 3 eine besonders bevorzugte Ausführungsform der vorliegenden Erfindung dargestellt, bei der Fehler- bzw. Störstellen- beeinflusste Ausgangssignale von Sensoren bzw. Pixeln mit Signalen entsprechend dem ungestörten Bild des Abbildungsstrahls ersetzt werden und woran weiter ermöglicht wird, sich bewegende Bildpartien imBased on the explanations for FIG. 2, FIG. 3 shows a particularly preferred embodiment of the present invention, in which output signals from sensors or pixels influenced by errors or defects are replaced with signals corresponding to the undisturbed image of the imaging beam and what next enables moving parts of the image in the
Abbildungsstrahlengang zu erkennen und diese an der Recheneinheit 12 gemass Fig. 1 entsprechend zu berücksichtigen bzw. zu bearbeiten.To recognize the imaging beam path and to take this into account or to process it accordingly on the computing unit 12 according to FIG. 1.
Wie bereits anhand der Fig. 1 und 2 erläutert, werden Bild Bie und B2e in den zugeordneten Speichereinheiten 7ι und 72 abgespeichert .As already explained with reference to FIGS. 1 and 2, images Bi e and B 2e are stored in the assigned storage units 7ι and 7 2 .
Nun ist der Verschiebevektor S bekannt, ihm entsprechend wurde ja auch die Matrix 1 zur Erstellung des Bildes B2e verschoben. Es wird, vorzugsweise aus einem der beiden abgespeicherten Bilder Bιe bzw. B2e, wie in Fig. 3 dargestellt, bevorzugt aus dem Bild B2e, rechnerisch ein Phantombild PhBι ermittelt. Hierzu wird der Ausgang der Speichereinheit 72 mit einer Recheneinheit 14 wirkverbunden und ihr, wie in Fig. 3 schematisiert, die Verschiebevektor- Information S zugeführt. Die Recheneinheit 14 ordnet nun die in der Speichereinheit 72, entsprechend dem Bild Be, abgelegten Sensorausgangssignale neu um denNow the shift vector S is known, the matrix 1 for creating the image B 2e was shifted accordingly. A phantom image Ph B ι is determined, preferably from one of the two stored images Bι e or B 2e , as shown in FIG. 3, preferably from image B 2e . For this purpose, the output of the storage unit 7 2 is operatively connected to a computing unit 14 and, as schematized in FIG. 3, it is supplied with the displacement vector information S. The arithmetic unit 14 now rearranges the sensor output signals stored in the memory unit 7 2 in accordance with the image B e
Verschiebevektor S verschoben so um, dass als Phantombild PhBι ein Bild entsteht und in einer Speichereinheit 7Ph abgespeichert wird, welches, da um S verschoben, eigentlich dem Bild Bιe entspricht, mit dem Unterschied, dass nun die Lagekoordinaten der storungsbee trachtigten Sensoren bzw. PixelShift vector S shifted so that an image is created as phantom image Ph B ι and stored in a storage unit 7 Ph , which, since shifted by S, actually corresponds to image Bι e , with the difference that that now the position coordinates of the sensors or pixels, which have been disturbed by the fault
x'z = xz + sx'z = x z + s
y'z = yz + ysy'z = y z + ys
sind. Die "Storstelle" von Bild B2e wird um S mitverschoben. Das Bild PhBι ist mithin das Phantom von Bild Bi bzw. Bιe. Am Phantombild ist aber die Storstelle bezüglich derjenigen im Bild Bi bzw. Ble um S verschoben.are. The "Storstelle" in Fig. B 2e is shifted by S. The image Ph B ι is therefore the phantom of image Bi or Bι e . On the phantom image, however, the stor point is shifted by S with respect to that in the image Bi or B le .
Nun erfolgt, in Analogie zu Fig. 1 nach einer Aufbereitung 112 - gemass Fig. 3 an der Recheneinheit 14 - an derNow, in analogy to FIG. 1, after processing 11 2 - according to FIG. 3 on the computing unit 14 - on the
Vergleichsemheit 9, der Vergleich zwischen dem an der Speichereinheit 7χ abgespeicherten Bild Bιe und dem am Phantombildspeicher 7Ph abgespeicherten elektronischen Bild P m.Comparison unit 9, the comparison between the image Bι e stored on the memory unit 7χ and the electronic image P m stored on the phantom image memory 7 Ph .
Die daran gebildete Vergleichssignalmatrix weist nur dort nicht verschwindende Signalwerte auf bzw. Signalwerte, die über einem vorgegebenen Schwellwert liegen, wo Bild Bιe vom Phantombild PhBι abweicht, d.h., den Darstellungen von Fig. 3 folgend, an den Stellen xz/yz sowie an den Stellen x'z/y'zr um S auseinanderlegend. Weil der VerschiebevektorThe comparison signal matrix formed thereon only has signal values which do not vanish or signal values which lie above a predetermined threshold value, where image Bι e differs from phantom image Ph B ι, ie following the representations of FIG. 3, at locations x z / y z as well as at S x ' z / y' zr . Because the shift vector
S bekannt ist, ist auch an der Vergleichssignalmatrix Δ der Speichereinheit 9 bekannt, welche Signale von Storstellen an welchem der beiden verglichenen Bilder stammen.S is known, it is also known from the comparison signal matrix Δ of the storage unit 9 which signals come from storage locations at which of the two compared images.
Nun ist aber wesentlich zu erkennen, dass die Information, wie an der Stelle xz/yz von Bild Bi bzw. Bχe die ungestörte Abbildungssmformation aussieht, vorliegt. Berücksichtigt man namlich, dass beim Übergang vom Bild Bi bzw. Bιe nach Bild B2 bzw. B2e das im Abbildungsstrahlengang vorhandene Bild, schematisch mit BA dargestellt, bezüglich des Bildes der Störstelle Z auf der Sensormatrix 1 verschoben wurde, so ist erkenntlich, dass im Phantombild Ph3χ das Signal entsprechend der Lage x2/yz dem Abbildungssignal entspricht, d.h. dem störungsfreien Abbildungsstrahl- Abbild. Somit wird aus dem Phantombildspeicher 7Ph das den Sensoren bzw. Pixeln mit der Lage xz/yz entsprechende Signal über den Selektionseingang E(xn/yn) angewählt und am Ausgang A7Ph als Signal A(xz/y2) ausgelesen. Durch die hier nicht mehr dargestellte Recheneinheit 12 wird das Signal A(x2/yz) an die Stelle des Bildes Bx bzw. Ble gesetzt mit der Lagekoordinate xz/yz- Die Information bezüglich xz und yz wird somit aus der Vergleichssignalmatrix in der Vergleichseinheit 9 ermittelt. Somit wird, wie in Fig. 3 schematisiert, in der Bildspeichereinheit 14 gemass Fig. 1 ein entstörtes Bild BιK gemass Bi bereitgestellt.However, it is essential to recognize that the information as to the undisturbed image information at the point x z / y z of image Bi or Bχ e is available. One takes into account, in particular, that during the transition from image Bi or Bι e to image B 2 or B 2e, the one present in the imaging beam path Image, schematically represented by B A , has been shifted with respect to the image of the interference point Z on the sensor matrix 1, it can be seen that in the phantom image Ph 3 χ the signal corresponding to the position x 2 / yz corresponds to the image signal, ie the interference-free image beam image , The signal corresponding to the sensors or pixels with the position x z / y z is thus selected from the phantom image memory 7 Ph via the selection input E (x n / y n ) and at the output A7 P h as signal A (x z / y 2 ) read out. The signal A (x 2 / y z ) is replaced by the computing unit 12, which is no longer shown here, in the place of the image B x or B le with the position coordinate xz / yz. The information relating to x z and y z is thus obtained from the Comparison signal matrix determined in the comparison unit 9. Thus, as schematized in FIG. 3, an interference-free image B 1 K according to Bi is provided in the image storage unit 14 according to FIG. 1.
Es ist auch durchaus möglich, aus den Signalen an der Vergleichseinheit 9, die Lagewerte x'z und y'z zu ermitteln und damit aus dem Bild Bιe in der Speichereinheit 7χ den entsprechenden störungsfreien Signalwert auszulesen und diesen im Phantombild anstelle der Signale entsprechend den Lagewerten x'_/y'z zu setzen, somit das Phantombild im Phantomspeicher 7Ph zu korrigieren.It is also entirely possible to determine the position values x ' z and y' z from the signals at the comparison unit 9 and thus to read the corresponding interference-free signal value from the image Bι e in the memory unit 7χ and to use this in the phantom image instead of the signals corresponding to the To set position values x '_ / y' z , thus correcting the phantom image in the phantom memory 7 Ph .
Ebenfalls ist es selbstverständlich möglich, nicht Bild B2e rechnerisch um den Verschiebevektor S rückzuverschieben, sondern Bild Bχe in der Speichereinheit 7 rechnerisch um den Verschiebevektor S ~l zu verschieben, bzw. beide Bilder Bχe und B2e quasi übers Kreuz zu verschieben, dann analog zum Vorerläuterten vorzugehen.It is of course also possible not to shift image B 2e arithmetically by the shift vector S, but to arithmetically shift image B χ e in the memory unit 7 by the shift vector S ~ l , or to shift both images B χ e and B 2e quasi crosswise, then proceed in the same way as described above.
Wesentlich ist dabei die Erkenntnis, dass bei mechanischer Verschiebung der Sensormatrix 1 Störstellen Z stationär auf der Matrix bleiben, während bei rechnerischer Verschiebung die Störstellen-Bildinformationen mit der Abbildungsstrahl- Bildinformation verschoben werden.What is essential here is the knowledge that when the sensor matrix is mechanically displaced, 1 defects Z remain stationary on the matrix, while during the arithmetic shift the impurity image information is shifted with the imaging beam image information.
Das Vorgehen, insbesondere, wie es anhand von Fig. 3 erläutert wurde, ermöglicht noch weitere Auswertungen. Dies sei im folgenden weiterhin auf der Basis von Fig. 3 erläutert. Hat sich Bild Bx bzw. ein Bereich des Abbildungstrahlengang-Bildes BA zwischen der Registrierung von Bie in der Speichereinheit 7ι und, nach Verschiebung S , der Registrierung von B2e in Speichereinheit 72, bewegt, so ergibt dies, wie in Fig. 3 schematisch bei p dargestellt, am Bild B2e und mit Bezug auf Bild Bιe eine "mitverschobene" Abweichung. Diese Änderung p wird bei Erstellung des Phantombildes PhBι mit rückverschoben und führt an der Vergleichssignal-Matrix an der Vergleichseinheit 9 zu einem Signalbereich p', entsprechend einem Sensorbereich, woran das Vergleichsresultat nicht verschwindet. Dies aufgrund des Vergleichs des Phantombildes PhBι, mit der Änderung p' , mit dem elektronischen Bild Bιe in der Speichereinheit 7χ.The procedure, in particular, as was explained with reference to FIG. 3, enables further evaluations. This is further explained below on the basis of FIG. 3. If image B x or a region of the image beam path image B A has moved between the registration of Bi e in the storage unit 7ι and, after shift S, the registration of B 2e in the storage unit 7 2 , this results, as in FIG 3 schematically represented at p, on picture B 2e and with reference to picture Bι e a "shifted" deviation. This change p is also shifted back when the phantom image Ph B ι is created and leads to a signal area p 'on the comparison signal matrix at the comparison unit 9, corresponding to a sensor area, at which the comparison result does not disappear. This is due to the comparison of the phantom image Ph B ι, with the change p ', with the electronic image Bι e in the memory unit 7χ.
Im Unterschied zu nicht störungsbedingten, verschwindenden Signalen in der Vergleichssignal-Matrix Δ an derIn contrast to non-interference-related, disappearing signals in the comparison signal matrix Δ on the
Vergleichseinheit 9, führen aber bewegungsbedingt nicht verschwindende Signale nicht zu Doppelsignalen. Dies ist ohne weiteres daraus ersichtlich, dass bei Vergleich von Bie und PhBι in der Differenzsignalmatrix sowohl an der Stelle xz/yz wie auch an der Stelle x'z/y'z nicht verschwindende Signalwerte auftreten, während beim Vergleich der Abbildungsstrahl-bedingten Signale lediglich nicht verschwindende Signalwerte im Bereich p' erscheinen.Comparison unit 9, but signals that do not disappear due to movement do not lead to double signals. This is readily apparent from the fact that when Bi e and Ph B ι are compared in the difference signal matrix, both at the location x z / y z and at the location x ' z / y' z there are non-vanishing signal values, while when comparing the Imaging beam-related signals only signal values in the range p 'which do not disappear appear.
Durch Auswertung der Einmaligkeit von nicht verschwindenden Signalwerten an der Vergleichssignalmatrix an Vergleichsund Speichereinheit 9 und der Doppelerscheinung von störungsbedingten, nicht verschwindenden Signalwerten - umBy evaluating the uniqueness of non-vanishing signal values on the comparison signal matrix at comparison and storage unit 9 and the double appearance of interference-related, non-disappearing signal values - um
S verschoben - wird es möglich, die Bearbeitung des Bildes selektiv unter Berücksichtigung von Bewegungen einerseits und von Störungen anderseits vorzunehmen.S shifted - it becomes possible to process the image selectively, taking into account movements on the one hand and disturbances on the other.
Die bisherigen vereinfachten Betrachtungen, welche das Prinzip der vorliegenden Erfindung aufzeigen sollen, beruhen einerseits auf einer "Schwarz/weiss"- Digitalfotografie-Technik, bei welcher alle Matrixsensoren gleichermassen Helligkeitswerte in elektrische Signale wandeln, und nicht angestrebt ist, eine digitale Farbfotografie zu erstellen.The previous simplified considerations, which are intended to show the principle of the present invention, are based on the one hand on a "black / white" digital photography technique, in which all matrix sensors convert brightness values into electrical signals equally, and the aim is not to create digital color photography.
In der Praxis ist der Einsatz von Sensoren bzw. Pixeln, welche alle gleichermassen die Farbinformation registrieren, (noch) nicht möglich. Es ist bekannt, dass bei Sensormatrixen für die digitale Farbfotografie, Muster von Sensoren vorgesehen werden, die z.B. je eine der Grundfarben Rot, Grün bzw. Blau registrieren. Bekannt ist dabei das sogenannte Bayer-Pattern, das das in Fig. 4 wiedergegebene Farbraster der Sensorselektivität hat.In practice, the use of sensors or pixels, which all register the color information equally, is not (yet) possible. It is known that sensor matrixes for digital color photography provide patterns of sensors, e.g. Register one of the primary colors red, green or blue. The so-called Bayer pattern is known, which has the color grid of the sensor selectivity shown in FIG. 4.
Wird eine einzelne Aufnahme und Registrierung mit einer solchen Matrix gemacht, so spricht man von einer Ein-Shot- Aufnähme. Diese eignet sich insbesondere, um bewegte Objekte aufzunehmen. Die jeweils an den einzelnen Sensoren fehlenden Farbinformationen - an einem Rotsensor die Information bezüglich Grün und Blau etc., müssen aus den einen betrachteten Sensor umgebenden Sensoren interpoliert werden.If a single recording and registration is made with such a matrix, one speaks of a one-shot recording. This is particularly suitable for recording moving objects. The color information missing from the individual sensors - the information relating to green and blue etc. at a red sensor - must be interpolated from the sensors surrounding a sensor under consideration.
Für Aufnahmen höchster Qualität wird, z.B. bei Einsatz des erwähnten Bayer-Patterns, das sogenannte Vier-Shot- Verfahren eingesetzt. Bei diesem Pattern wird die Matrix nach einer Aufnahme um jeweils ein Sensorrastermass horizontal verschoben, eine Bildregistrierung vorgenommen, dann die Matrix, bezogen auf die Ausgangsstellung, um ein Sensorrastermass vertikal verschoben, eine weitere Aufnahme registriert und schliesslich, bezogen auf die Ausgangsstellung, um ein Sensordiagonalrastermass horizontal und vertikal verschoben, wiederum ein Bild registriert. Dadurch steht für jedes Bildpixel die Farbinformation des roten, blauen und zweimal des grünen Kanals zur Verfügung.The so-called four-shot method is used for recordings of the highest quality, for example when using the Bayer pattern mentioned. With this pattern, the matrix is increased by one sensor grid dimension after each recording horizontally shifted, an image registration was carried out, then the matrix was shifted vertically by one sensor grid dimension with respect to the starting position, another image was registered and finally, with respect to the starting position, shifted horizontally and vertically with a sensor diagonal grid dimension, again an image was registered. As a result, the color information of the red, blue and twice of the green channel is available for each image pixel.
Die Verschiebung erfolgt dabei bevorzugterweise mit der in der WO 01/00001 derselben Anmelderin beschriebenen Anordnung, dem dort beschriebenen Prinzip folgend.The shift is preferably carried out with the arrangement described in WO 01/00001 by the same applicant, following the principle described there.
Wird der hier vorliegendenfalls anhand der Figuren 1 bis 3 beschriebene und erfindungsgemässe Vorgang an einer solchen, wie beispielsweise einer Bayer-Pattern-Matrix ausgeführt, so lässt sich das der vorliegenden Erfindung zugrundeliegende Prinzip dadurch realisieren, dass eineIf the process according to the invention described here with reference to FIGS. 1 to 3 is carried out on such a system as, for example, a Bayer pattern matrix, then the principle on which the present invention is based can be realized in that a
Verschiebung S um mehr als ein Rastermass vorgenommen wird, streng genommen sogar schon bei kombiniert horizontal/vertikaler Verschiebung der Matrix um einShift S is made by more than one grid dimension, strictly speaking even with a combined horizontal / vertical shift of the matrix by one
Diagonalrastermass . Da, wie aus Fig. 4 ersichtlich, jeder zweite Sensor ein Grünsensor ist, lassen sich mit nur zwei diagonal um ein Diagonalrastermass verschobenen Registrierungen, aufgrund der Informationsdichte, bereits ganze Bilder interpolieren und im Sinne der vorliegenden Erfindung miteinander vergleichen. Es kann durchaus angezeigt sein, eine Verschiebung um eine geradzahlige oder um eine ungeradzahlige Anzahl Rastermasse vorzunehmen, um das erfindungsgemässe Verfahren zu realisieren. Bei einer Verschiebung um eine geradzahlige Anzahl Rastermasse ist sichergestellt, dass am selben Bildort immer Sensoren derselben Farbselektivität vorliegen. Für eine Verschiebung um eine ungeradzahlige Anzahl Sensorabstände spricht, die Vier-Shot-Technik mit einer grösseren Verschiebung S zugunsten der anhand der Fig. 1 bis 3 beschriebenen erfindungsgemässen Vorgehensweise zu kombinieren: Bei einer Verschiebung um ein Rastermass wird, betrachtet am Bayer-Pattern, horizontal bzw. vertikal z.B. neben einem rotselektiven Sensor immer ein grünselektiver liegen. Dasselbe gilt auch bei fünf, sieben etc. Rastermass-Verschiebungen. Dabei wird der Qualitätsvorteil der Vier-Shot-Technik mit der Möglichkeit erfindungsgemässen Vorgehens kombiniert.Diagonal grid dimension. Since, as can be seen from FIG. 4, every second sensor is a green sensor, with only two registrations shifted diagonally by a diagonal grid dimension, entire images can already be interpolated and compared with one another in the sense of the present invention. It may well be appropriate to shift by an even or an odd number of grid dimensions in order to implement the method according to the invention. In the event of a shift by an even number of grid dimensions, it is ensured that sensors of the same color selectivity are always present at the same image location. A shift by an odd number of sensor distances is suggested by combining the four-shot technique with a larger shift S in favor of the procedure according to the invention described with reference to FIGS. 1 to 3: In the case of a shift by one grid dimension, considered in the Bayer pattern, horizontally or vertically eg next to a red selective sensor there is always a green one. The same also applies to five, seven, etc. shifts in grid dimensions. The quality advantage of the four-shot technique is combined with the possibility of the procedure according to the invention.
Diese Ausführungen zeigen, dass sich für den Fachmann viele Kombinationsmöglichkeiten ergeben, welche alle den oben dargelegten erfindungsgemässen Vorgehen entsprechen und dabei Aufnahmeschnelligkeit bzw. -Qualität mehr oder weniger gewichten.These explanations show that there are many possible combinations for the person skilled in the art, all of which correspond to the procedure according to the invention set out above and thereby more or less weight the speed or quality of the recording.
Bei Einsatz der vorliegenden Erfindung in der Farbdigitalfotografie mit Matrixen von Sensoren unterschiedlicher Farbselektivitäten, wie beispielsweise einem Bayer-Pattern, werden beste Resultate dann erhalten, wenn, mit Blick auf Fig. 1, sowohl für Bild Bιe wie auch für Bild B2e jeweils vier gemass dem Vier-Shot-Verfahren verschobene Bildregistrierungen realisiert werden. Dies ist in Fig. 1 bei den jeweiligen Speichereinheiten 7X und 72 angedeutet.When using the present invention in color digital photography with arrays of sensors of different color selectivities, such as a Bayer pattern, the best results are obtained when, with reference to FIG. 1, four each for image Bι e and for image B 2e Image registrations shifted in accordance with the four-shot method can be realized. This is indicated in Fig. 1 for the respective storage units 7 X and 7 2 .
Dann werden, der Erfindung folgend, die beschriebenen Verfahren an den sich zugeordneten Vier-Shot-Aufnahmen vorgenommen, alsoThen, following the invention, the described methods are carried out on the assigned four-shot recordings, that is
Ii mit I2 Ii with I 2
IIi mit II2 etc. Durch diese Aufnahme von acht Teilbildern, vier vorIIi with II 2 etc. By taking eight partial images, four in front
Verschiebung um den Vektor S , vier danach, wird der Qualität des Bildes gegenüber dem Zeitaufwand für die Bildregistrierung klar Vorzug gegeben. Als extremes Gegenteil kann die Aufnahme von nur zwei Bildern, wie dies beschrieben wurde, angesehen werden, wobei dann Farbinterpolation vorgenommen wird. Selbstverständlich kann das beschriebene Vorgehen auch für die 2-Shot- und 3-Shot- Technik eingesetzt werden.Shifting by the vector S, four afterwards, the quality of the image is clearly preferred over the time required for image registration. As an extreme opposite, the recording of only two images, as has been described, can be viewed, in which case color interpolation is carried out. Of course, the procedure described can also be used for 2-shot and 3-shot technology.
Wie erwähnt wurde, wird es mit dem erfindungsgemässenAs has been mentioned, it is with the inventive
Vorgehen möglich, die Störstellen zu eliminieren, welche matrixgebunden sind. Zu diesen gehören insbesondere fehlerhafte Sensoren, Sensornester (Pixelnester) , fehlerhafte Pixelreihen bzw. -kolonnen, Kratzer sowie Staub.Procedure possible to eliminate the defects that are matrix-bound. These include, in particular, defective sensors, sensor nests (pixel nests), defective rows or columns of pixels, scratches and dust.
Im weiteren muss festgehalten werden, dass die erfindungsgemässe Verschiebung S um eine ganzzahlige Anzahl Rastermasse die Auswertung erleichtert. Es können aber auch nicht-ganzzahlige Verschiebungen eingesetzt werden, wobei dann, wie ein Blick auf Fig. 3 klarmacht, in der Vergleichssignalmatrix nicht mehr praktisch ideal verschwindende und nicht verschwindende Signalwerte auftreten. Dann müssen Schwellwerte gesetzt werden, um die wie erläutert unterschiedlichen Signalunterschiede zu diskriminieren. Furthermore, it must be noted that the displacement S according to the invention by an integer number of grid dimensions simplifies the evaluation. However, non-integer shifts can also be used, in which case, as is clear from FIG. 3, signal values that no longer practically vanish and do not vanish occur in the comparison signal matrix. Then threshold values must be set in order to discriminate the different signal differences as explained.

Claims

Patentansprüche : Claims:
1. Digitalfotografie-Verfahren, bei dem eine Matrix (1) von optoelektrischen Sensorelementen mindestens einmal bezüglich dem Abbildungsstrahl der Kamera verschoben wird und in der Position vor der Verschiebung ( S ) ein erstes Bild (Bie) r i der Position nach der Verschiebung ein zweites Bild (Be) gespeichert wird, je in Form elektrischer Bildsignale in Funktion der Sensorausgangssignale und mit der jeweiligen Sensorpositions-Information, dadurch gekennzeichnet, dass von den Bildsignalen der beiden Bilder (Bιe, B2e) abhängige Signale einer Vergleichsoperation (9) zugeführt werden und ein Vergleichsresultats-Bild (Δ) , in Form elektrischer Vergleichsresultatsignale mit der Positionsinformation erzeugt wird, und mit elektrischen Signalen des1. Digital photography method in which a matrix (1) of optoelectric sensor elements is shifted at least once with respect to the imaging beam of the camera and in the position before the shift (S) a first image (Bi e ) the position after the shift a second Image (B e ) is stored, each in the form of electrical image signals in function of the sensor output signals and with the respective sensor position information, characterized in that signals dependent on the image signals of the two images (Bι e , B 2e ) are fed to a comparison operation (9) and a comparison result image (Δ), in the form of electrical comparison result signals with the position information, and with electrical signals of the
Vergleichsresultats-Bildes (Δ) das erste und/oder zweite Bild zur Erzeugung eines Aufnahmebildes (BιK) modifiziert wird.Comparison result image (Δ), the first and / or second image is modified to generate a recording image (Bι K ).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das erste und/oder zweite Bild (Bιe, B2e) aus mehr als einem Teilbild (I-IV) bereitgestellt werden, erzeugt durch weitere Verschiebungen der Matrix (1) entsprechend ihrer örtlichen Verteilung farbselektiver Sensorelemente.2. The method according to claim 1, characterized in that the first and / or second image (Bι e , B 2e ) are provided from more than one partial image (I-IV), generated by further displacements of the matrix (1) according to their local Distribution of color selective sensor elements.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass elektrische Bildsignale der beiden3. The method according to any one of claims 1 or 2, characterized in that electrical image signals of the two
Bilder (Bιe, B2e) direkt miteinander verglichen werden und Sensorelemente, deren Ausgangssignale ein mindestens in vorgegebenem Masse Übereinstimmung anzeigendes Vergleichsresultat im Vergleichsresultat-Bild (Δ) ergeben, als störungsbehaftet (Z) identifiziert werden. Images (Bι e , B 2e ) are compared directly with one another and sensor elements, the output signals of which result in a comparison result in the comparison result image (Δ) indicating at least a predetermined degree of agreement, are identified as having a fault (Z).
4. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das erste (Bιe) und/oder zweite Bild (B2e) rechnerisch (14) verschoben wird, indem die den elektrischen Bildsignalen zugeordnete Positionsinformation geändert wird, damit mindestens ein elektronisches4. The method according to any one of claims 1 or 2, characterized in that the first (Bι e ) and / or second image (B 2e ) is shifted arithmetically (14) by changing the position information associated with the electrical image signals, so at least one electronic
Phantombild erzeugt wird, als eines der zu vergleichenden Bilder.Phantom image is generated as one of the images to be compared.
5. Verfahren nach einem der Ansprüche 1, 3 oder 4, dadurch gekennzeichnet, dass mindestens eines des ersten und zweiten Bildes (B2e) rechnerisch (14) an die Position des andern Bildes (Bιe) verschoben wird, indem die den elektrischen Bildsignalen zugeordneten5. The method according to any one of claims 1, 3 or 4, characterized in that at least one of the first and second image (B 2e ) is shifted arithmetically (14) to the position of the other image (Bι e ) by the electrical image signals assigned
Positionsinformationen in Funktion der Verschiebung ( S ) zwischen den Matrixpositionen geändert werden, damit mindestens ein Phantombild (BPhι) des anderen Bildes (Bχe) erzeugt wird und der Vergleich zwischen Phantombild (BPhι) und dem anderen Bild (Bιe) vorgenommen wird.Position information can be changed as a function of the displacement (S) between the matrix positions so that at least one phantom image (B Ph ι) of the other image (Bχ e ) is generated and the comparison between phantom image (B Ph ι) and the other image (Bι e ) is made.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass für die Erzeugung des Aufnahmebildes (BKι) elektrische Signale am ersten (Bιe) zweiten (B2e) oder Phantombild (Bphi) ersetzt werden, deren zugeordnete Sensorelemente Positionen haben (xz, yz; x'z, y'z), an denen, im Vergleichsresultat-Bild (Δ) , Vergleichsresultats-Signale über einem vorgegebenen Schwellwert liegen.6. The method according to claim 5, characterized in that for generating the recording image (B K ι) electrical signals on the first (Bι e ) second (B 2e ) or phantom image (Bp h i) are replaced, the associated sensor elements of which have positions ( x z , y z ; x ' z , y' z ), at which, in the comparison result image (Δ), comparison result signals lie above a predetermined threshold value.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Ersetzen durch elektrische Signale (A (xz/yz) ) eines der anderen Bilder erfolgt, und zwar von Sensorelementen stammend, deren Position der Positionsinformation entspricht an der, im Vergleichsresultats-Bild (Δ) , Vergleichsresultats-Signale über dem vorgegebenen Schwellwert liegen. 7. The method according to claim 6, characterized in that the replacement by electrical signals (A (x z / y z )) takes place of one of the other images, specifically from sensor elements whose position corresponds to the position information on the, in the comparison result image (Δ), comparison result signals are above the predetermined threshold.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass aus dem Vergleichsresultat-Bild (Δ) über störbehaftete Stellen (Z) an der Matrix und/oder über bewegte Bildbereiche (p) im Abbildungsstrahl geschlossen wird.8. The method according to any one of claims 1 to 7, characterized in that from the comparison result image (Δ) via interference-prone locations (Z) on the matrix and / or via moving image areas (p) in the imaging beam.
9. Verfahren nach dem Oberbegriff von Anspruch 1, dadurch gekennzeichnet, dass man nebst einer mechanischen9. The method according to the preamble of claim 1, characterized in that in addition to a mechanical
Verschiebung { S ) der Matrix (1) eine rechnerische Verschiebung mindestens eines der registrierten Bilder vornimmt und das unterschiedliche Abbildungsverhalten bei mechanischer Matrix- und elektronischer Bildverschiebung zur Interpretation der Abbildung auswertet.Shift {S) of the matrix (1) performs a computational shift of at least one of the registered images and evaluates the different imaging behavior with mechanical matrix and electronic image shift to interpret the image.
10. Digitalkamera mit einem den Abbildungsstrahl bildenden optischen System und einer Matrix (1) opto-elektrischer Sensorelemente, welche bezüglich dem Abbildungsstrahl der Kamera verschieblich ist, dadurch gekennzeichnet, dass der elektrische Ausgang (Ax) der Matrix (1) mit den Eingängen mindestens zweier Bildspeichereinheiten (7X, 72) wirkverbunden ist, deren Ausgänge (A7ι, A2) mit den Eingängen (E91, E92) einer Vergleichereinheit (9) wirkverbunden sind, deren Ausgang wiederum auf einen Eingang einer Rechnereinheit (12) geführt ist.10. Digital camera with an optical system forming the imaging beam and a matrix (1) of opto-electrical sensor elements which is displaceable with respect to the imaging beam of the camera, characterized in that the electrical output (A x ) of the matrix (1) with the inputs at least two image storage units (7 X , 7 2 ) are operatively connected, the outputs (A 7 ι, A 2 ) of which are operatively connected to the inputs (E 91 , E 92 ) of a comparator unit (9), the output of which in turn is connected to an input of a computer unit (12 ) is performed.
11. Digitalkamera nach Anspruch 9, dadurch gekennzeichnet, dass die Ausgänge der Bildspeichereinheiten (7ι, 72) gleich mit den Eingängen (E91, E92) der Vergleichseinheit (9) wirkverbunden sind.11. Digital camera according to claim 9, characterized in that the outputs of the image storage units (7ι, 7 2 ) are operatively connected to the inputs (E 9 1, E 92 ) of the comparison unit (9).
12. Digitalkamera nach Anspruch 10, dadurch gekennzeichnet, dass die Matrix (1) mit einer steuerbaren Antriebsanordnung (3) wirkverbunden ist, der Ausgang der einen Bildspeichereinheit (72) über eine Recheneinheit (14) auf den Eingang einer weiteren Bildspeichereinheit (7Ph) geführt ist, wobei ein weiterer Eingang der Recheneinheit (14) mit einem Verschiebungsaufnehmer an der Matrix (1) und/oder dem Antrieb (3) wirkverbunden ist, und dass der Ausgang der weiteren Bildspeichereinheit (7Ph) mit dem Eingang (E92) der Vergleichseinheit (9) wirkverbunden ist.12. Digital camera according to claim 10, characterized in that the matrix (1) is operatively connected to a controllable drive arrangement (3), the output of one image storage unit (7 2 ) via a computing unit (14) to the input of a further image storage unit (7 Ph ) A further input of the computing unit (14) is operatively connected to a displacement sensor on the matrix (1) and / or the drive (3), and the output of the further image storage unit (7 Ph ) is connected to the input (E 92 ). the comparison unit (9) is operatively connected.
13. Digitalkamera nach Anspruch 12, dadurch gekennzeichnet, dass ein Ausgang der Vergleichseinheit mit einem Ausleseselektionseingang (E(xπ, yn) ) wirkverbunden ist, deren Ausgang (APh) mit einem Eingang an der Recheneinheit (R) wirkverbunden ist.13. Digital camera according to claim 12, characterized in that an output of the comparison unit is operatively connected to a readout selection input (E (x π , y n )), the output (A Ph ) of which is operatively connected to an input on the computing unit (R).
14. Digitalkamera nach dem Oberbegriff von Anspruch 10, dadurch gekennzeichnet, dass sie eine Recheneinheit (14) hat, welche ein elektronisch abgespeichertes Bild (B2e) rechnerisch verschiebt (BPh) und die dieses (BPh) mit einem von der Matrix (1) registrierten Bild (Bιe) vergleicht. 14. Digital camera according to the preamble of claim 10, characterized in that it has a computing unit (14) which computationally shifts (B Ph ) an electronically stored image (B 2e ) and which this (B Ph ) with one of the matrix ( 1) compares the registered image (Bι e ).
EP01914941A 2001-03-30 2001-03-30 Digital photography method and digital camera Withdrawn EP1374564A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CH2001/000206 WO2001052525A2 (en) 2001-03-30 2001-03-30 Digital photography method and digital camera
US09/821,792 US20040207738A1 (en) 2001-03-30 2001-03-30 Digital photography method and digital camera

Publications (1)

Publication Number Publication Date
EP1374564A2 true EP1374564A2 (en) 2004-01-02

Family

ID=33541887

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01914941A Withdrawn EP1374564A2 (en) 2001-03-30 2001-03-30 Digital photography method and digital camera

Country Status (4)

Country Link
US (1) US20040207738A1 (en)
EP (1) EP1374564A2 (en)
AU (1) AU2001242209A1 (en)
WO (1) WO2001052525A2 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120315B2 (en) * 2002-03-18 2006-10-10 Creo Il., Ltd Method and apparatus for capturing images using blemished sensors
JP4179079B2 (en) * 2002-08-30 2008-11-12 株式会社ニコン Electronic camera and control program thereof
JP4757085B2 (en) * 2006-04-14 2011-08-24 キヤノン株式会社 IMAGING DEVICE AND ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
DE102006039389A1 (en) * 2006-08-22 2008-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for reducing transient artifacts in an overall image composed of sub-images
JP2008072565A (en) * 2006-09-15 2008-03-27 Ricoh Co Ltd Imaging device and defective pixel correction method
US8170321B2 (en) * 2008-05-23 2012-05-01 Siemens Aktiengesellschaft System and method for contour tracking in cardiac phase contrast flow MR images
CA2752734A1 (en) * 2009-02-16 2010-08-19 Manufacturing Resources International, Inc. Display characteristic feedback loop
US8441574B2 (en) * 2009-02-16 2013-05-14 Manufacturing Resources International, Inc. Visual identifier for images on an electronic display
JP5868039B2 (en) * 2011-06-30 2016-02-24 キヤノン株式会社 Imaging apparatus, image composition method, and computer program
US10319408B2 (en) 2015-03-30 2019-06-11 Manufacturing Resources International, Inc. Monolithic display with separately controllable sections
US10922736B2 (en) 2015-05-15 2021-02-16 Manufacturing Resources International, Inc. Smart electronic display for restaurants
US10269156B2 (en) 2015-06-05 2019-04-23 Manufacturing Resources International, Inc. System and method for blending order confirmation over menu board background
US10319271B2 (en) 2016-03-22 2019-06-11 Manufacturing Resources International, Inc. Cyclic redundancy check for electronic displays
CA3024512C (en) 2016-05-31 2020-12-29 Manufacturing Resources International, Inc. Electronic display remote image verification system and method
WO2018031717A2 (en) 2016-08-10 2018-02-15 Manufacturing Resources International, Inc. Dynamic dimming led backlight for lcd array
US11895362B2 (en) 2021-10-29 2024-02-06 Manufacturing Resources International, Inc. Proof of play for images displayed at electronic displays

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59186481A (en) * 1983-04-08 1984-10-23 Citizen Watch Co Ltd Image pickup device
US4748507A (en) * 1986-10-17 1988-05-31 Kenneth Gural Solid state imaging device having means to shift the image between scans and associated circuitry to improve the scanned image
JPS6462977A (en) * 1987-09-03 1989-03-09 Fujitsu Ltd Solid-state image pickup device
GB9211566D0 (en) * 1992-05-29 1992-07-15 Secr Defence Imaging system
US5889553A (en) * 1993-11-17 1999-03-30 Canon Kabushiki Kaisha Image pickup apparatus capable of high resolution imaging
US5514865A (en) * 1994-06-10 1996-05-07 Westinghouse Electric Corp. Dither image scanner with compensation for individual detector response and gain correction
JPH1038961A (en) * 1996-07-22 1998-02-13 Fujitsu Ltd Detecting apparatus for defect of pixel in two-dimensional solid-state image sensing device
FR2756129B1 (en) * 1996-11-15 1999-07-09 Sagem RESOLUTION INCREASING DEVICE VIDEO CAMERA
US6011584A (en) * 1996-12-09 2000-01-04 Raytheon Company Method and apparatus for correcting offsets of two detectors using respective functions of a difference
US5838813A (en) * 1996-12-20 1998-11-17 Lockheed Martin Corp. Dithered image reconstruction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO0152525A2 *

Also Published As

Publication number Publication date
US20040207738A1 (en) 2004-10-21
WO2001052525A3 (en) 2002-01-31
WO2001052525A2 (en) 2001-07-19
AU2001242209A1 (en) 2001-07-24

Similar Documents

Publication Publication Date Title
DE69131591T2 (en) Motion-dependent video signal processing
DE69222667T2 (en) Video signal processing device to compensate for camera shake
DE69733978T2 (en) image data interpolating
EP1374564A2 (en) Digital photography method and digital camera
DE69027479T2 (en) Motion-dependent video signal processing
DE69704896T2 (en) Camera with digital and analog clamp circuit
DE69016074T2 (en) Method and device for temporal interpolation of images with corrected motion compensation.
DE3687434T2 (en) DEVICE FOR COMPENSATING MOTION IN AN IMAGE DERIVED FROM A TELEVISION SIGNAL.
DE69611113T3 (en) Device for video noise reduction
DE69021431T2 (en) Motion-dependent video signal processing.
DE4108288C2 (en)
EP0702487A1 (en) Method and circuit for detecting and concealing errors in a video signal
DE3310826A1 (en) ADAPTIVE ERROR COVERING WITH SCANNED VIDEO INFORMATION
DE3609887A1 (en) CIRCUIT FOR THE ADAPTIVE CONTROL OF A RECURSIVE FILTER FOR VIDEO SIGNALS
EP1585059A2 (en) Method and apparatus for evaluation of motion vectors allocated to image regions
DE3636077C2 (en) Method for masking errors in a video signal and circuit for carrying out the method
EP0472239A2 (en) Method for evaluating horizontal movements in picture content of a television signal
DE69027704T2 (en) Motion-dependent video signal processing
DE3142602C2 (en) Compensation circuit
DE69029507T2 (en) Image adjustment and contour correction circuit and method for solid-state camera
DE69028033T2 (en) Motion-dependent video signal processing
EP1605405A1 (en) Procedure for the determination of movement vectors
DE69635259T2 (en) Masking of stains in video signals
DE2261228C2 (en) Method and circuit arrangement for suppressing the comb effect when recording video signals corresponding to the interlaced method on cinema film
DE2048349C3 (en) Color television camera with multiple image pickup tubes

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030826

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

17Q First examination report despatched

Effective date: 20040419

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RBV Designated contracting states (corrected)

Designated state(s): CH DE DK GB LI NL

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20051001