EP1446768A1 - Temporal noise reduction and local contrast amplification - Google Patents
Temporal noise reduction and local contrast amplificationInfo
- Publication number
- EP1446768A1 EP1446768A1 EP01274867A EP01274867A EP1446768A1 EP 1446768 A1 EP1446768 A1 EP 1446768A1 EP 01274867 A EP01274867 A EP 01274867A EP 01274867 A EP01274867 A EP 01274867A EP 1446768 A1 EP1446768 A1 EP 1446768A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- image
- structured
- images
- local
- pass filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000002123 temporal effect Effects 0.000 title abstract description 8
- 230000009467 reduction Effects 0.000 title description 4
- 230000003321 amplification Effects 0.000 title 1
- 238000003199 nucleic acid amplification method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 238000012935 Averaging Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000011161 development Methods 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Definitions
- the invention relates to a method for processing images, wherein images scanned by at least one detector device are processed, furthermore a device for carrying out the method and a computer program product.
- this conventional filtering method does not lead to a suppression or reduction of the noise level; Especially in structurally poor image areas, in which due to relatively uniform or homogeneous gray and color value gradients - as is the case, for example, in monotonous blue sky sections of an image - an existing detector appearance is significantly perceptible and thus impairs the image quality.
- the object is therefore to create a method of the type mentioned at the beginning and a device which is used to carry out this method, and also a computer program product with which the detector noise is reduced and the image quality is increased in the case of sequences of detected images.
- the object is achieved in that a resultant image is generated from a sequence of temporally successive individual images by averaging the individual images, that structured image areas are identified in an image during a classifying method step and in a further method step in the identified structured image areas. high-pass filtering is performed on the resulting image.
- the high-pass filtering in the method according to the invention extends to selected areas of an image, which in a previously performed classifying method step as structured areas were recognized.
- a time-averaged image is generated from images belonging to a sequence, in which the detector noise is significantly reduced due to the averaging over time.
- the number of images included in a sequence is defined beforehand.
- the resolution according to the invention is virtually increased by the high-pass filtering, which is limited to the structured image areas, and thus the image quality is improved.
- the method according to the invention is thus both in video camera devices with high detector performance as well as in devices which have detectors with low detector performance, such as so-called video handsets.
- a suitable area of application is, for example, the scanning ("scanning *) of texts with abrupt brightness transitions between text and background.
- the respectively associated intensities are summed up for the image matrix elements corresponding to the position coordinates in the chronologically successive individual images of a sequence and the sum formed thereby is divided by the number of individual images of the sequence.
- a temporally averaged intensity is thus assigned to each image matrix element or image pixel from the image matrix of the resulting image.
- the detector noise is reduced in proportion to the number of images on which the temporal averaging is based, the resulting image quality improvement in unstructured image areas with practically homogeneous gray or color values being most clearly detectable.
- One embodiment of the method according to the invention can consist of successively calculating local changes in the intensity of image matrix elements arranged adjacent to one another according to location coordinates, in order to identify the structured image areas of an image, and that, when a local change reaching or exceeding a predetermined threshold value parameter, the image matrix elements underlying this change are combined structured image area.
- the image information on which this change is based in each case is assigned to a structurally poor image area.
- local gradients are calculated in each case, the calculated local gradients in each case with amount standardization.
- a second-order high-pass filter is used for high-pass filtering.
- the high-pass filter is designed as a Laplace operator, the Laplace operator forming a second derivative according to location variables.
- a further development of the method according to the invention can consist in the strength of the high-pass filtering being controlled as a function of the magnitude-normalized gradient calculated in each case, so that, for example, the strength of the high-pass filtering decreases in the transition zones between structured and homogeneous image areas.
- a resultant image can be generated from a sequence of chronologically successive individual images by averaging the individual images over time and can be buffered
- structured image areas can be identified in an image during a classifying method step and high-pass filtering in a further method step in the identified structured image areas of the resulting image is feasible.
- the device according to the invention has a variety of fields of application.
- the above-mentioned object is further achieved by a computer program product on which the method according to one of claims 1 to 10 is implemented.
- the computer program product according to the invention can be designed, for example, as a machine program code and thereby requires a relatively small storage space.
- a detector device In the case of mobile terminals with a video camera function, images or sequences of images are recorded via a taking lens and imaged on a detector device, the detector device often being designed as a CCD array (charge-coupled device).
- This detector device is used to convert the optical information received into electrical signals, which are converted into digital data by a processor device with an upstream analog-digital converter.
- the digital data obtained in this way are shown on a display device connected downstream of the processor device, which can be designed, for example, as a miniature TFT display or LCD display.
- at devices of this type are either pure video camera devices or mobile end devices which can be designed as mobile telephones with a video camera additional function.
- detectors or detector arrays are often used, which are inexpensive but have a relatively high noise level and accordingly have a high temporal level Fluctuations in the color and gray values of the images determined thereby show which reduce the image quality.
- detectors typically have a resolution of 352 x 288 pixels or image matrix elements corresponding to the CIF standard image format (“Common Intermediate File *), with the relatively low resolution resulting in coarse scanning effects, particularly when imaging high-contrast object structures.
- a resulting image is then generated from this sequence of motion-compensated individual images by averaging over time, the resultant image first being temporarily stored. This temporal averaging in the resulting image results in a reduction of the noise compared to the underlying single or source images.
- To image matrix elements are selected for each individual image of a sequence, which correspond to position coordinates (x, y) in a coordinate system defining the image matrix of the individual images, and the associated intensity is added up and divided by the number n of individual images belonging to the sequence; the intensity resulting therefrom is thus the time-averaged intensity for the corresponding image matrix element in the image matrix of the temporarily stored resulting image.
- the intensity of an image matrix element is the respective electric field strength measured at the location of the detector device and includes both gray values and color values.
- a prerequisite for the use of the method according to the invention is that the detector noise obeys a Gaussian distribution, ie the intensity of the detector noise as a function of time follows a Gaussian bell curve.
- a classification procedure is carried out, with structured and relatively unstructured areas in the buffered
- Image can be identified and distinguished from one another.
- local changes in the intensity of image matrix elements which are arranged adjacent to one another according to location coordinates, are successively calculated within the temporarily stored resultant image;
- this is achieved in that the gradients, ie the first derivatives based on location variables, are calculated between immediately adjacent image matrix elements or pixels and their respective positive definite amounts are formed.
- these gradient amounts are standardized in such a way that the maximum of all calculated gradient amounts within the image matrix is searched for and set to 1, so that the gradient amounts standardized in this way move in an interval from 0 to 1.
- a threshold value parameter is defined in the exemplary embodiment, the value of which lies approximately intermediate in the interval limits between 0 and 1; the gradient amounts calculated for the respective underlying image matrix are compared with this threshold value parameter.
- the assigned image matrix element is assigned to a structured image area of the image matrix.
- the assigned image matrix element is assigned to an unstructured image area if the respective gradient amount is smaller than this threshold value parameter.
- high-pass filtering is carried out in the image areas of the image matrix identified as structured according to the classification procedure.
- a second-order filter is used as the high-pass filter, a so-called laplace filter having proven to be particularly efficient in the exemplary embodiment.
- the laplace filter is an operator which, when applied to adjacent image matrix elements in the underlying image matrix, locally forms a second derivative of the respectively assigned intensities according to location variables.
- the filter parameters of this high-pass filter are adapted to the resolution of the detector device used. As a result, the structured areas of the image, eg building edges, are more visible and the noise is reduced, so that there is virtually a higher resolution compared to the original image.
- the high-pass filtering can be controlled locally by means of the calculated gradient amounts so that the The maximum amount of high-pass filtering in the center of an image area recognized as structured becomes and decreases in its edge zones, so that edge effects are enhanced and the influence of high-pass filtering in the unstructured or homogeneous image areas disappears.
- a weighting function derived therefrom can be defined by means of the respectively calculated local gradient amounts, with which the different procedural steps of averaging over time and high-pass filtering can be weighted to one another, depending on the type and scope of the structured or unstructured image areas present in the respective image.
- the device intended for carrying out the method according to the invention has a taking lens and the detector device, the taking lens being used for imaging objects to be detected on the detector device. Furthermore, as already explained above, the device comprises an analog-digital converter device for converting the electrical image signals provided by the detector device, a processor device downstream of the analog-digital converter device, and a display device.
- a memory device which is electrically connected to the processor device serves to hold a memory-resident program code with the method steps according to the invention. In normal operation, the processor device accesses this program code and thus automatically carries out the method steps according to the invention, the target images calculated and filtered in each case being shown on the display device.
- the device according to the invention can be designed as a mobile telephone device with an additional video function.
- the individual procedural steps which include motion compensation, image classification and high-pass filtering, are interpolated two or four times Source images performed. Instead of the 352 x 288 pixel elements of the detector corresponding to the CIF format, the images processed afterwards have 704 x 576 or 1408 x 1152 pixel elements. Missing gray values in the highly interpolated image are calculated on the basis of gray values of pixel elements of the source image that are adjacent thereto, using bilinear interpolation.
- the method according to the invention for processing a respective sequence of images can improve the image quality with regard to the edge resolution and noise suppression, the images of a respective sequence each showing the same image detail, but in units of a few pixels or Subpixel positions can be shifted from each other.
- the method according to the invention carries out a temporal averaging to reduce the detector noise and allows classification of the image to be processed in each case into structured and structurally poor image regions on the basis of the determination of the local gradients, the high-pass filtering being carried out on the image regions recognized as structured limited and thereby the resolution is virtually increased.
- a field of application is, for example, the recognition of texts with abrupt differences in brightness between text and background.
- panorama images can be generated, which can be assembled from a sequence of successive images recorded by means of a pivoting movement.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
The invention relates to a method for processing images, wherein images scanned by at least one detector device are processed, and to a device for carrying out said method. According to the invention, an image is produced from a sequence of chronologically successive individual images by temporal averaging of said individual images. During a classification step of said method, structured image areas are identified in an image and high pass filtering occurs in another step of said method in the identified structured image areas of the resulting image. Temporal averaging enables detector noise to be reduced and subsequent high pass filtering, which is previously and selectively limited to structurally recognized images, increases the resolution virtually, thereby enhancing the overall image quality.
Description
Beschreibungdescription
ZEITLICHE RAUSCHMINDERUNG UND LOKALE KONTRASTVERSTÄRKUNGTIMELESS NOISE REDUCTION AND LOCAL CONTRAST ENHANCEMENT
Die Erfindung betrifft ein Verfahren zum Verarbeiten von Bildern, wobei von wenigstens einer Detektoreinrichtung abgetastete Bilder verarbeitet werden, ferner eine Vorrichtung zur Durchführung des Verfahrens sowie ein Computerprogram pro- dukt .The invention relates to a method for processing images, wherein images scanned by at least one detector device are processed, furthermore a device for carrying out the method and a computer program product.
Es ist bekannt, bei hochwertigen Bildaufnahmegeräten, wie Videokameras, die von dem Bilddetektor des Bildaufnahmegerätes detektierten Bilder zu filtern. Zuvor wird bei Sequenzen von Bildern eine Bewegungskompensation durchgeführt, sofern zwi- sehen den jeweils aufeinanderfolgenden Bildern einer Sequenz nur geringe Abweichungen auftreten, die durch Zitterbewegungen der Bedienungsperson beim Halten des Bildaufnahmegerätes verursacht werden. Üblicherweise werden dann alle Bilddaten bzw. Bildmatrixelemente eines Bildes einer Hochpaßfilterung unterzogen, so daß niederfrequente Störungen bzw. Störimpulse weitgehend unterdrückt werden. Da jedoch dieses herkömmliche Filterverfahren in hochwertigen Geräten mit Detektoren, die lediglich ein geringes Detektorrauschen aufweisen, eingesetzt wird, ist bei diesem Stand der Technik unbefriedigend, daß bei Verwendung relativ billiger Bilddetektoren, die häufig in mobilen Endgeräten mit Videozusatzfunktionen verwendet werden und gegenüber hochwertigen Bildaufnahmegeräten eine geringere Bildauflösung und einen relativ hohen Rauschpegel aufweisen, dieses herkömmliche Filterverfahren nicht zu einer Unterdrü- ckung oder Reduktion des Rauschpegels führt; insbesondere in strukturarmen Bildbereichen, in denen aufgrund relativ einheitlicher bzw. homogener Grau- und Farbwertverläufe - wie dies beispielsweise in monoton blauen Himmelsabschnitten eines Bildes der Fall ist - ist ein vorhandenes Detektorrau- sehen signifikant wahrnehmbar und beeinträchtigt dadurch die Bildqualität.
Es besteht daher die Aufgabe, ein Verfahren der eingangs genannten Art und eine der Durchführung dieses Verfahrens dienende Vorrichtung sowie ein Computerprogrammprodukt zu schaffen, mit denen bei Sequenzen von detektierten Bildern das De- tektorrauschen reduziert und die Bildqualität gesteigert wird.It is known in high-quality image recording devices, such as video cameras, to filter the images detected by the image detector of the image recording device. Movement compensation is carried out beforehand in the case of sequences of images, provided that only slight deviations occur between the successive images of a sequence, which are caused by trembling movements of the operator when holding the image recording device. Usually, all image data or image matrix elements of an image are then subjected to high-pass filtering, so that low-frequency interference or interference pulses are largely suppressed. However, since this conventional filter method is used in high-quality devices with detectors which have only a low detector noise, it is unsatisfactory in this prior art that when using relatively cheap image detectors, which are often used in mobile terminals with additional video functions, and compared to high-quality image recording devices have lower image resolution and a relatively high noise level, this conventional filtering method does not lead to a suppression or reduction of the noise level; Especially in structurally poor image areas, in which due to relatively uniform or homogeneous gray and color value gradients - as is the case, for example, in monotonous blue sky sections of an image - an existing detector appearance is significantly perceptible and thus impairs the image quality. The object is therefore to create a method of the type mentioned at the beginning and a device which is used to carry out this method, and also a computer program product with which the detector noise is reduced and the image quality is increased in the case of sequences of detected images.
Die Aufgabe ist in verfahrenstechnischer Hinsicht dadurch gelöst, daß aus einer Sequenz zeitlich aufeinanderfolgender Einzelbilder ein resultierendes Bild durch zeitliche Mittelung der Einzelbilder erzeugt wird, daß während eines klassifizierenden Verfahrensschrittes strukturierte Bildbereiche in einem Bild identifiziert werden und in einem weiteren Verfahrensschritt in den identifizierten strukturierten Bildberei- chen des resultierenden Bildes eine Hochpaßfilterung durchgeführt wird.From a procedural point of view, the object is achieved in that a resultant image is generated from a sequence of temporally successive individual images by averaging the individual images, that structured image areas are identified in an image during a classifying method step and in a further method step in the identified structured image areas. high-pass filtering is performed on the resulting image.
Charakteristisch für das erfindungsgemäße Verfahren ist mithin, daß im Unterschied zum Stand der Technik, bei dem je- weils das gesamte Bild einer Hochpaßfilterung unterzogen wird, sich beim erfindungsgemäßen Verfahren die Hochpaßfilterung auf selektierte Bereiche eines Bildes erstreckt, welche in einem zuvor erfolgenden klassifizierenden Verfahrensschritt als strukturierte Bereiche erkannt wurden. Bevor der klassifizierende Verfahrensschritt erfolgt, wird aus Bildern, die zu einer Sequenz gehören, ein zeitlich gemitteltes Bild erzeugt, bei dem das Detektorrauschen aufgrund der zeitlichen Mittelwertbildung signifikant reduziert ist. Dabei wird vorher die Anzahl der von einer Sequenz umfaßten Bilder festge- legt. Da die niedrige Bildauflösung billiger Detektoren in stark strukturierten Bildbereichen aufgrund der begrenzten Ausflösung und der daraus resultierenden groben Abtastung am deutlichsten wahrnehmbar ist, wird beim erfindungsgemäßen Verfahren durch die selektiv auf die strukturierten Bildbe- reiche beschränkte Hochpaßfilterung die Auflösung virtuell gesteigert und somit die Bildqualität verbessert. Das erfindungsgemäße Verfahren ist somit sowohl in Videokamerageräten
mit hoher Detektorperformance als auch in Geräten, die Detektoren mit niedriger Detektorperformance aufweisen, wie sog. Videohandies, anwendbar. Als Anwendungsgebiet eignet sich beispielsweise das Abtasten („Scanning* ) von Texten mit ab- rupten Helligkeitsübergängen zwischen Text und Hintergrund.It is therefore characteristic of the method according to the invention that, in contrast to the prior art, in which the entire image is subjected to high-pass filtering, the high-pass filtering in the method according to the invention extends to selected areas of an image, which in a previously performed classifying method step as structured areas were recognized. Before the classifying method step takes place, a time-averaged image is generated from images belonging to a sequence, in which the detector noise is significantly reduced due to the averaging over time. The number of images included in a sequence is defined beforehand. Since the low image resolution of cheap detectors in highly structured image areas is most clearly perceptible due to the limited resolution and the resulting coarse scanning, the resolution according to the invention is virtually increased by the high-pass filtering, which is limited to the structured image areas, and thus the image quality is improved. The method according to the invention is thus both in video camera devices with high detector performance as well as in devices which have detectors with low detector performance, such as so-called video handsets. A suitable area of application is, for example, the scanning ("scanning *) of texts with abrupt brightness transitions between text and background.
Nach einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens wird für die sich in den zeitlich aufeinanderfolgenden Einzelbildern einer Sequenz jeweils nach Ortskoordina- ten entsprechenden Bildmatrixelemente die jeweils zugehörigen Intensitäten aufsummiert und die dadurch gebildete Summe durch die Zahl der Einzelbilder der Sequenz dividiert wird. Jedem Bildmatrixelement bzw. Bildpixel aus der Bildmatrix des resultierenden Bildes wird somit jeweils eine zeitlich gemit- telte Intensität zugeordnet. Proportional zur Anzahl der bei der zeitlichen Mittelwertbildung zugrundegelegten Bilder pro Sequenz wird dabei das Detektorrauschen reduziert, wobei die daraus resultierende Bildqualitätsverbesserung in unstrukturierten Bildbereichen mit praktisch homogenen Grau- oder Farbwerten am deutlichsten nachweisbar ist.According to an advantageous development of the method according to the invention, the respectively associated intensities are summed up for the image matrix elements corresponding to the position coordinates in the chronologically successive individual images of a sequence and the sum formed thereby is divided by the number of individual images of the sequence. A temporally averaged intensity is thus assigned to each image matrix element or image pixel from the image matrix of the resulting image. The detector noise is reduced in proportion to the number of images on which the temporal averaging is based, the resulting image quality improvement in unstructured image areas with practically homogeneous gray or color values being most clearly detectable.
Eine Ausgestaltung des erfindungsgemäßen Verfahrens kann darin bestehen, daß zur Identifizierung der strukturierten Bildbereiche eines Bildes lokale Änderungen der Intensität von jeweils nach Ortskoordinaten benachbart angeordneten Bildmatrixelementen sukzessive berechnet werden und daß bei einer einen vorbestimmten Schwellwertparameter erreichenden oder überschreitenden lokalen Änderung die dieser Änderung jeweils zugrundeliegenden Bildmatrixelemente einem strukturierten Bildbereich zugeordnet werden. Demgegenüber werden bei einer den vorbestimmten Schwellwertparameter unterschreitenden lokalen Änderung der Intensität die dieser Änderung jeweils zugrundeliegenden Bildinformationen einem strukturarmen Bildbereich zugeordnet. Zum Ermitteln der jeweiligen lokalen Än- derung der Intensitäten werden jeweils lokale Gradienten berechnet, wobei die berechneten lokalen Gradienten jeweils mit
einer Betragsnormierung versehen werden.One embodiment of the method according to the invention can consist of successively calculating local changes in the intensity of image matrix elements arranged adjacent to one another according to location coordinates, in order to identify the structured image areas of an image, and that, when a local change reaching or exceeding a predetermined threshold value parameter, the image matrix elements underlying this change are combined structured image area. In contrast, in the event of a local change in intensity falling below the predetermined threshold value parameters, the image information on which this change is based in each case is assigned to a structurally poor image area. To determine the respective local change in the intensities, local gradients are calculated in each case, the calculated local gradients in each case with amount standardization.
Bei dem daran, anschließenden Verfahrensschritt wird zur Hochpaßfilterung ein Hochpaßfilter zweiter Ordnung verwendet. Ei- ne bevorzugte Ausführungsform der Erfindung besteht darin, daß der Hochpaßfilter als Laplaceoperator ausgebildet ist, wobei der Laplaceoperator eine zweite Ableitung nach Ortsvariablen bildet. Durch die sukzessive Anwendung der zweiten Ableitung auf die Intensitäten von jeweils benachbart ange- ordneten Bildmatrixelementen in strukturierten Bildbereichen wird der Anteil tiefer Ortsfrequenzen reduziert und der Anteil hoher Ortsfrequenzen stärker bewertet. Objektkanten werden durch diese Art der Filterung schärfer abgebildet, so daß die Bildauflösung virtuell vergrößert und dementsprechend die optische Bildauflösung virtuell verbessert wird. Um eine größtmögliche Verbesserung der Bildqualität zu erzielen, sieht eine abermalige Weiterbildung der Erfindung vor, daß Filterparameter des Hochpaßfilters in Abhängigkeit von der Auflösung der Detektoreinrichtung eingestellt werden. Eine nochmalige Weiterbildung des erfindungsgemäßen Verfahrens kann darin bestehen, daß die Stärke der Hochpaßfilterung in Abhängigkeit von den jeweils berechneten betragsnormierten Gradienten gesteuert werden, so daß beispielsweise in den Ü- bergangszonen zwischen strukturierten und homogen verlaufen- den Bildbereichen die Stärke der Hochpaßfilterung abnimmt.In the subsequent process step, a second-order high-pass filter is used for high-pass filtering. A preferred embodiment of the invention consists in that the high-pass filter is designed as a Laplace operator, the Laplace operator forming a second derivative according to location variables. Through the successive application of the second derivative to the intensities of adjacent image matrix elements in structured image areas, the proportion of low spatial frequencies is reduced and the proportion of high spatial frequencies is valued more strongly. Object edges are imaged more sharply by this type of filtering, so that the image resolution is virtually enlarged and, accordingly, the optical image resolution is virtually improved. In order to achieve the greatest possible improvement in the image quality, a further development of the invention provides that filter parameters of the high-pass filter are set as a function of the resolution of the detector device. A further development of the method according to the invention can consist in the strength of the high-pass filtering being controlled as a function of the magnitude-normalized gradient calculated in each case, so that, for example, the strength of the high-pass filtering decreases in the transition zones between structured and homogeneous image areas.
In vorrichtungstechnischer Hinsicht ist die oben angegebene Aufgabe bei einer zur Durchführung des erfindungsgemäßen Verfahrens dienenden Vorrichtung mit Mitteln zum Aufnehmen, Er- fassen und Verarbeiten von Bildern dadurch gelöst, daß aus einer Sequenz zeitlich aufeinanderfolgender Einzelbilder ein resultierendes Bild durch zeitliche Mittelung der Einzelbilder erzeugbar und zwischenspeicherbar ist, daß während eines klassifizierenden Verfahrensschrittes strukturierte Bildbe- reiche in einem Bild identifizierbar sind und in einem weiteren Verfahrensschritt in den identifizierten strukturierten Bildbereichen des resultierenden Bildes eine Hochpaßfilterung
durchführbar ist. Dabei sind zur Identifizierung der strukturierten Bildbereiche eines Bildes lokale Änderungen der Intensität von jeweils nach Ortskoordinaten benachbart angeordneten Bildmatrixelementen sukzessive berechenbar und bei ei- ner einen vorbestimmten Schwellwertparameter erreichenden o- der überschreitenden lokalen Änderung die dieser Änderung jeweils zugrundeliegenden Bildmatrixelemente einem strukturierten Bildbereich zuweisbar. Da das Detektorrauschen aufgrund der zeitlichen Mittelwertbildung reduziert und die Auflösung aufgrund der Hochpaßfilterung in den als strukturiert identifizierten Bildbereichen virtuell erhöht wird, ergeben sich für die erfindungsgemäße Vorrichtung vielseitige Anwendungsgebiete.In terms of device technology, the above-mentioned object is achieved in a device used to carry out the method according to the invention, with means for recording, recording and processing images, in that a resultant image can be generated from a sequence of chronologically successive individual images by averaging the individual images over time and can be buffered is that structured image areas can be identified in an image during a classifying method step and high-pass filtering in a further method step in the identified structured image areas of the resulting image is feasible. In order to identify the structured image areas of an image, local changes in the intensity of image matrix elements arranged adjacent to each other according to location coordinates can be successively calculated and, in the case of a local change that reaches or exceeds a predetermined threshold value parameter, the image matrix elements on which this change is based can be assigned to a structured image area. Since the detector noise is reduced due to the temporal averaging and the resolution is increased virtually due to the high-pass filtering in the image areas identified as structured, the device according to the invention has a variety of fields of application.
Die oben angegebene Aufgabe ist ferner durch ein Computerprogrammprodukt, auf welchem das Verfahren nach einem der Ansprüche 1 bis 10 implementiert ist, gelöst. Das erfindungsgemäße Computerprogrammprodukt kann beispielsweise als Maschinenprogrammcode ausgebildet sein und beansprucht dadurch eine relativ geringe Speicherplatzkapazität.The above-mentioned object is further achieved by a computer program product on which the method according to one of claims 1 to 10 is implemented. The computer program product according to the invention can be designed, for example, as a machine program code and thereby requires a relatively small storage space.
Nachstehend soll eine Ausführungsform des erfindungsgemäßen Verfahrens anhand eines Ausführungsbeispiels näher erläutert werden.An embodiment of the method according to the invention will be explained in more detail below using an exemplary embodiment.
Bei mobilen Endgeräten mit Videokamerafunktion werden Bilder oder Sequenzen von Bildern über ein Aufnahmeobjektiv aufgenommen und auf eine Detektoreinrichtung abgebildet, wobei die Detektoreinrichtung häufig als CCD-Array (Charge-Coupled- Device) ausgebildet ist. Diese Detektoreinrichtung dient zur Wandlung der empfangenen optischen Informationen in elektrische Signale, welche von einer Prozessoreinrichtung mit vorgeschaltetem Analog-Digital-Wandler in digitale Daten umgesetzt werden. Die dadurch gewonnenen digitalen Daten kommen auf einer der Prozessoreinrichtung nachgeschalteten Anzeigeeinrichtung, welche beispielsweise als Miniatur-TFT-Display oder LCD-Display ausgebildet sein kann, zur Darstellung. Bei
derartigen Geräten handelt es sich entweder um reine Videokamerageräte oder um mobile Endgeräte, die als Mobiltelefone mit Videokamerazusatzfunktion ausgebildet sein können. Insbesondere bei den Mobiltelefonen (sog. „Handies* ) mit zusätz- lieh eingebauter Videokamerafunktion (sog. „Videohandies*) werden aufgrund wirtschaftlicher Erwägungen häufig Detektoren bzw. Detektorarrays verwendet, die zwar preiswert sind, jedoch einen relativ hohen Rauschpegel aufweisen und demgemäß starke zeitliche Fluktuationen in den Färb- und Grauwerten der dadurch ermittelten Bilder zeigen, welche die Bildqualität mindern. Zudem weisen derartige Detektoren typischerweise ein dem CIF-Standardbildfor at („Common Intermediate File*) entsprechendes Auflösungsvermögen von 352 x 288 Pixel bzw. Bildmatrixelemente auf, wobei sich aufgrund der relativ nied- rigen Auflösung grobe Abtasteffekte insbesondere bei der Abbildung von kontrastreichen Objektstrukturen ergeben.In the case of mobile terminals with a video camera function, images or sequences of images are recorded via a taking lens and imaged on a detector device, the detector device often being designed as a CCD array (charge-coupled device). This detector device is used to convert the optical information received into electrical signals, which are converted into digital data by a processor device with an upstream analog-digital converter. The digital data obtained in this way are shown on a display device connected downstream of the processor device, which can be designed, for example, as a miniature TFT display or LCD display. at devices of this type are either pure video camera devices or mobile end devices which can be designed as mobile telephones with a video camera additional function. Particularly in the case of mobile telephones (so-called “cell phones *) with an additional built-in video camera function (so-called“ video cell phones *), due to economic considerations, detectors or detector arrays are often used, which are inexpensive but have a relatively high noise level and accordingly have a high temporal level Fluctuations in the color and gray values of the images determined thereby show which reduce the image quality. In addition, such detectors typically have a resolution of 352 x 288 pixels or image matrix elements corresponding to the CIF standard image format (“Common Intermediate File *), with the relatively low resolution resulting in coarse scanning effects, particularly when imaging high-contrast object structures.
Hier nun setzt das erfindungsgemäße Verfahren an, wobei zunächst in einem vorbereitenden Verfahrensschritt für jeweils eine Sequenz von mehreren Einzelbildern eine Bewegungskompen- sation durchgeführt wird. Voraussetzung hierfür ist, daß sich die Bilder einer Sequenz lediglich durch eine geringe translatorische und/oder rotatorische Abweichung voneinander unterscheiden, wobei derartige Abweichungen durch Zitterbewe- gungen der Bedienungsperson beim freihändigen Halten der Vorrichtung ergeben können. Um eine Verschiebung der einzelnen Bilder im Bereich von wenigen Pixel- bis hin zu Subpixelposi- tionen durchzuführen, werden die Quellbilder zwei- bis vierfach hochinterpoliert, so daß diese statt der dem CIF-Format entsprechenden 352 x 288 Pixelelemente des Detektors 704 xThis is where the method according to the invention comes in, with movement compensation being carried out first in a preparatory method step for a sequence of several individual images. The prerequisite for this is that the images of a sequence differ from one another only by a slight translational and / or rotational deviation, such deviations being able to result from trembling movements of the operator when the device is held hands-free. In order to shift the individual images in the range from a few pixel to sub-pixel positions, the source images are interpolated two to four times, so that these instead of the 352 x 288 pixel elements of the detector 704 x corresponding to the CIF format
576 bzw. 1408 x 1152 Pixelelemente aufweisen. Danach wird aus dieser Sequenz der bewegungskompensierten Einzelbilder ein resultierendes Bild durch zeitliche Mittelwertbildung erzeugt, wobei das dabei resultierende Bild zunächst zwischen- gespeichert wird. Diese zeitliche Mittelwertbildung im resultierenden Bild hat eine Reduktion des Rauschens gegenüber den zugrundeliegenden Einzel- bzw. Quellbildern zur Folge. Dazu
werden für jedes Einzelbild einer Sequenz Bildmatrixelemente, die sich nach Ortskoordinaten (x, y) in einem die Bildmatrix der Einzelbilder definierenden Koordinatensystem jeweils entsprechen, selektiert und die jeweils zugehörige Intensität aufsummiert und durch die Zahl n der zur Sequenz gehörenden Einzelbilder dividiert; die jeweils daraus resultierende Intensität ist somit die zeitlich gemittelte Intensität für das dazu korrespondierende Bildmatrixelement in der Bildmatrix des zwischengespeicherten resultierenden Bildes. Die Intensi- tat eines Bildmatrixelementes ist dabei die jeweilige am Ort der Detektoreinrichtung gemessene elektrische Feldstärke und umfaßt sowohl Grauwerte als auch Farbwerte. Voraussetzung für die Anwendung des erfindungsgemäßen Verfahrens ist, daß das Detektorrauschen einer Gaußverteilung gehorcht, d.h. die Intensität des Detektorrauschens in funktionaler Abhängigkeit von der Zeit folgt einer Gaußschen Glockenkurve.576 or 1408 x 1152 pixel elements. A resulting image is then generated from this sequence of motion-compensated individual images by averaging over time, the resultant image first being temporarily stored. This temporal averaging in the resulting image results in a reduction of the noise compared to the underlying single or source images. To image matrix elements are selected for each individual image of a sequence, which correspond to position coordinates (x, y) in a coordinate system defining the image matrix of the individual images, and the associated intensity is added up and divided by the number n of individual images belonging to the sequence; the intensity resulting therefrom is thus the time-averaged intensity for the corresponding image matrix element in the image matrix of the temporarily stored resulting image. The intensity of an image matrix element is the respective electric field strength measured at the location of the detector device and includes both gray values and color values. A prerequisite for the use of the method according to the invention is that the detector noise obeys a Gaussian distribution, ie the intensity of the detector noise as a function of time follows a Gaussian bell curve.
In einem daran anschließenden Verfahrensschritt wird eine Klassifikationsprozedur durchgeführt, wobei strukturierte und relativ unstrukturierte Bereiche im zwischengespeichertenIn a subsequent method step, a classification procedure is carried out, with structured and relatively unstructured areas in the buffered
Bild identifiziert und voneinander unterschieden werden. Dazu werden innerhalb des zwischengespeicherten resultierenden Bildes lokale Änderungen der Intensität von Bildmatrixelementen, die jeweils nach Ortskoordinaten benachbart voneinander angeordnet sind, sukzessive berechnet; praktisch wird dies dadurch erreicht, daß zwischen unmittelbar benachbarten Bildmatrixelementen bzw. Pixeln die Gradienten, d.h. die ersten Ableitungen nach Ortsvariablen, berechnet und deren jeweilige positiv definiten Beträge gebildet werden. Desweiteren werden diese Gradientenbeträge derart normiert, daß das Maximum aller berechneten Gradientenbeträge innerhalb der Bildmatrix gesucht und auf 1 gesetzt wird, so daß sich die derart normierten Gradientenbeträge in einem Intervall von 0 bis 1 bewegen. Da sich in strukturarmen, d.h. relativ homogen verlau- fenden, Bereichen eines Bildes, die durch relativ einheitliche Grauwerte bzw. Farbtonwerte definiert sind, wie dies beispielsweise bei Abbildungen von Himmelsblau der Fall ist, die
dort ermittelten Gradientenbeträge nur geringfügig ändern und somit nahe bei Null liegen, während die in den strukturierten Bildbereichen, wie dies beispielsweise Gebäudekanten oder dergleichen sein können, ermittelten Gradientenbeträge höhere Werte annehmen, welche eher gegen den Maximalbetrag von 1 streben, sind somit strukturierte und unstrukturierte Bildbereiche voneinander unterscheidbar und identifizierbar. Im Ausführungsbeispiel wird dazu ein Schwellwertparameter definiert, dessen Wert etwa intermediär in den Intervallgrenzen zwischen 0 und 1 liegt; die für die jeweils zugrundeliegende Bildmatrix errechneten Gradientenbeträge werden jeweils mit diesem Schwellwertparameter verglichen. Ergibt der Vergleich, daß der jeweilige Gradientenbetrag diesen Schwellwertparameter erreicht oder übersteigt, so wird das zugeordnete Bild- matrixelement einem strukturierten Bildbereich der Bildmatrix zugeordnet. Hingegen wird das zugeordnete Bildmatrixelement einem unstrukturierten Bildbereich zugeordnet, wenn der jeweilige Gradientenbetrag kleiner als dieser Schwellwertparameter ist.Image can be identified and distinguished from one another. For this purpose, local changes in the intensity of image matrix elements, which are arranged adjacent to one another according to location coordinates, are successively calculated within the temporarily stored resultant image; In practice, this is achieved in that the gradients, ie the first derivatives based on location variables, are calculated between immediately adjacent image matrix elements or pixels and their respective positive definite amounts are formed. Furthermore, these gradient amounts are standardized in such a way that the maximum of all calculated gradient amounts within the image matrix is searched for and set to 1, so that the gradient amounts standardized in this way move in an interval from 0 to 1. Since regions of an image which have little structure, ie which run relatively homogeneously, and which are defined by relatively uniform gray values or hue values, as is the case, for example, with images of sky blue, the The gradient amounts determined there change only slightly and are therefore close to zero, while the gradient amounts determined in the structured image areas, such as building edges or the like, assume higher values, which tend towards the maximum amount of 1, are thus structured and unstructured image areas distinguishable and identifiable. For this purpose, a threshold value parameter is defined in the exemplary embodiment, the value of which lies approximately intermediate in the interval limits between 0 and 1; the gradient amounts calculated for the respective underlying image matrix are compared with this threshold value parameter. If the comparison shows that the respective gradient amount reaches or exceeds this threshold value parameter, the assigned image matrix element is assigned to a structured image area of the image matrix. On the other hand, the assigned image matrix element is assigned to an unstructured image area if the respective gradient amount is smaller than this threshold value parameter.
In den gemäß der Klassifikationsprozedur als strukturiert i- dentifizierten Bildbereichen der Bildmatrix wird in einem weiteren Verfahrensschritt eine Hochpaßfilterung durchgeführt. Als Hochpaßfilter wird dazu ein Filter zweiter Ordnung eingesetzt, wobei sich im Ausführungsbeispiel ein sog. Lapla- cefilter als besonders effizient erwiesen hat. Bei dem Lapla- cefilter handelt es sich um einen Operator, welcher - auf jeweils benachbarte Bildmatrixelemente in der zugrundeliegenden Bildmatrix angewendet - jeweils lokal eine zweite Ableitung der jeweils zugeordneten Intensitäten nach Ortsvariablen bildet. Die Filterparameter dieses Hochpaßfilters sind an die Auflösung der eingesetzten Detektoreinrichtung adaptiert. Im Ergebnis sind die strukturierten Bereiche des Bildes, z.B. Gebäudekanten, besser sichtbar und das Rauschen reduziert, so daß sich virtuell eine höhere Auflösung gegenüber dem ursprünglichen Bild ergibt. Die Hochpaßfilterung ist mittels der errechneten Gradientenbeträge lokal so steuerbar, daß das
Maß der Hochpaßfilterung in der Mitte eines als strukuriert erkannten Bildbereichs maximal wird und in dessen Randzonen abnimmt, so daß Kanteneffekte verstärkt werden und der Einfluß der Hochpaßfilterung in den unstrukturierten bzw. ho- mogenen Bildbereichen verschwindet. Mittels der jeweils errechneten lokalen Gradientenbeträge ist eine daraus abgeleitete Gewichtungsfunktion definierbar, mit welcher die unterschiedlichen Verfahrensschritte der zeitlichen Mittelwertbildung und der Hochpaßfilterung zueinander gewichtet werden können und zwar in Abhängigkeit von der Art und dem Umfang der in dem jeweiligen Bild vorliegenden strukturierten bzw. unstrukturierten Bildbereichen.In a further method step, high-pass filtering is carried out in the image areas of the image matrix identified as structured according to the classification procedure. For this purpose, a second-order filter is used as the high-pass filter, a so-called laplace filter having proven to be particularly efficient in the exemplary embodiment. The laplace filter is an operator which, when applied to adjacent image matrix elements in the underlying image matrix, locally forms a second derivative of the respectively assigned intensities according to location variables. The filter parameters of this high-pass filter are adapted to the resolution of the detector device used. As a result, the structured areas of the image, eg building edges, are more visible and the noise is reduced, so that there is virtually a higher resolution compared to the original image. The high-pass filtering can be controlled locally by means of the calculated gradient amounts so that the The maximum amount of high-pass filtering in the center of an image area recognized as structured becomes and decreases in its edge zones, so that edge effects are enhanced and the influence of high-pass filtering in the unstructured or homogeneous image areas disappears. A weighting function derived therefrom can be defined by means of the respectively calculated local gradient amounts, with which the different procedural steps of averaging over time and high-pass filtering can be weighted to one another, depending on the type and scope of the structured or unstructured image areas present in the respective image.
Die zur Durchführung des erfindungsgemäßen Verfahrens be- stimmte Vorrichtung weist ein Aufnahmeobjektiv und die Detektoreinrichtung auf, wobei das Aufnahmeobjektiv zum Abbilden von zu erfassenden Objekten auf der Detektoreinrichtung dient. Ferner umfaßt die Vorrichtung, wie bereits vorstehend erläutert, eine Analog-Digital-Wandlereinrichtung zum Wandeln der von der Detektoreinrichtung bereitgestellten elektrischen Bildsignale, eine der Analog-Digital-Wandlereinrichtung nachgeschaltete Prozessoreinrichtung, sowie eine Anzeigeeinrichtung. Eine an die Prozessoreinrichtung elektrisch angeschlossene Speichereinrichtung dient zur Aufnahme eines speicherre- sidenten Programmcodes mit den erfindungsgemäßen Verfahrens- schritten. Im bestimmungsgemäßen Betrieb greift die Prozessoreinrichtung auf diesen Programmcode zu und führt somit automatisch die erfindungsgemäßen Verfahrensschritte aus, wobei die jeweils danach berechneten und gefilterten Zielbilder auf der Anzeigeeinrichtung dargestellt werden. In einer möglichen Anwendung kann die erfindungsgemäße Vorrichtung als Mobiltelefongerät mit Videozusatzfunktion ausgebildet sein.The device intended for carrying out the method according to the invention has a taking lens and the detector device, the taking lens being used for imaging objects to be detected on the detector device. Furthermore, as already explained above, the device comprises an analog-digital converter device for converting the electrical image signals provided by the detector device, a processor device downstream of the analog-digital converter device, and a display device. A memory device which is electrically connected to the processor device serves to hold a memory-resident program code with the method steps according to the invention. In normal operation, the processor device accesses this program code and thus automatically carries out the method steps according to the invention, the target images calculated and filtered in each case being shown on the display device. In one possible application, the device according to the invention can be designed as a mobile telephone device with an additional video function.
Die einzelnen Verfahrensschritte, welche die Bewegungskompen- sation, die Bildklassifikation und die Hochpaßfilterung umfassen, werden an zwei- oder vierfach hochinterpolierten
Quellbildern durchgeführt. Die danach verarbeiteten Bilder besitzen anstatt der dem CIF-Format entsprechenden 352 x 288 Pixelelemente des Detektors 704 x 576 bzw. 1408 x 1152 Pixelelemente. Dabei werden fehlende Grauwerte in dem jeweils hochinterpolierten Bild auf der Basis von Grauwerten jeweils dazu benachbarter Pixelelemente des Quellbildes mittels einer bilinearen Interpolation berechnet. Durch das erfindungsgemäße Verfahren zur Verarbeitung einer jeweiligen Sequenz von Bildern ist eine Verbesserung der Bildqualität hinsichtlich der Kantenauflösung und Rauschunterdrückung erzielbar, wobei die Bilder einer jeweiligen Sequenz zwar jeweils den gleichen Bildausschnitt zeigen, jedoch in Einheiten von wenigen Pixelbzw. Subpixelpositionen zueinander verschoben sein können.The individual procedural steps, which include motion compensation, image classification and high-pass filtering, are interpolated two or four times Source images performed. Instead of the 352 x 288 pixel elements of the detector corresponding to the CIF format, the images processed afterwards have 704 x 576 or 1408 x 1152 pixel elements. Missing gray values in the highly interpolated image are calculated on the basis of gray values of pixel elements of the source image that are adjacent thereto, using bilinear interpolation. The method according to the invention for processing a respective sequence of images can improve the image quality with regard to the edge resolution and noise suppression, the images of a respective sequence each showing the same image detail, but in units of a few pixels or Subpixel positions can be shifted from each other.
Zusammenfassend soll ausgeführt werden, daß das erfindungsgemäße Verfahren eine zeitliche Mittelwertbildung zur Reduktion des Detektorrauschens durchführt und eine Klassifikation des jeweils zu verarbeitenden Bildes in strukturierte und strukturarme Bildbereiche anhand der Ermittlung der lokalen Gra- dienten erlaubt, wobei sich die Hochpaßfilterung auf die als strukturiert erkannten Bildbereiche beschränkt und dadurch die Auflösung virtuell erhöht wird. Als Anwendungsgebiet eignet sich beispielsweise die Erkennung von Texten mit abrupt verlaufenden Helligkeitsunterschieden zwischen Text und Hin- tergrund. Bei einem weiteren Anwendungsgebiet sind Panoramabilder generierbar, die aus einer mittels Schwenkbewegung aufgenommenen Sequenz von aufeinanderfolgenden Bildern zusammensetzbar sind.
In summary, it should be stated that the method according to the invention carries out a temporal averaging to reduce the detector noise and allows classification of the image to be processed in each case into structured and structurally poor image regions on the basis of the determination of the local gradients, the high-pass filtering being carried out on the image regions recognized as structured limited and thereby the resolution is virtually increased. A field of application is, for example, the recognition of texts with abrupt differences in brightness between text and background. In another area of application, panorama images can be generated, which can be assembled from a sequence of successive images recorded by means of a pivoting movement.
Claims
1 . Verfahren zum Verarbeiten von Bildern, wobei von wenigstens einer Detektoreinrichtung abgetastete Bilder verar- beitet werden, d a d u r c h g e k e n n z e i c h n e t, daß aus einer Sequenz zeitlich aufeinanderfolgender Einzelbilder ein resultierendes Bild durch zeitliche Mittelung der Einzelbilder erzeugt wird, daß während eines klassifizierenden Verfahrensschrittes strukturierte1 . Method for processing images, wherein images scanned by at least one detector device are processed, so that a resultant image is generated from a sequence of successive individual images by averaging the individual images over time, which is structured during a classifying method step
Bildbereiche in einem Bild identifiziert werden und in einem weiteren Verfahrensschritt in den identifizierten strukturierten Bildbereichen des resultierenden Bildes eine Hochpaßfilterung durchgeführt wird .Image areas are identified in an image and, in a further method step, high-pass filtering is carried out in the identified structured image areas of the resulting image.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für die sich in den zeitlich aufeinanderfolgenden Einzelbildern einer Sequenz jeweils nach Ortskoordinaten entsprechenden Bildmatrixelemente die jeweils zugehörigen Intensitäten aufsummiert und die dadurch gebildete Summe durch die Zahl der Einzelbilder der Sequenz dividiert wird.2. The method according to claim 1, characterized in that for the image matrix elements corresponding to each other in the temporally successive individual images of a sequence according to location coordinates, the respective associated intensities are added up and the sum formed thereby is divided by the number of individual images of the sequence.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekenn- zeichnet, daß zur Identifizierung der strukturierten3. The method according to claim 1 or 2, characterized in that to identify the structured
Bildbereiche eines Bildes lokale Änderungen der Intensität von jeweils nach Ortskoordinaten benachbart angeordneten Bildmatrixelementen sukzessive berechnet werden und daß bei einer einen vorbestimmten Schwellwertparame- ter erreichenden oder überschreitenden lokalen Änderung die dieser Änderung jeweils zugrundeliegenden Bildmatrixelemente einem strukturierten Bildbereich zugeordnet werden.Image areas of an image, local changes in the intensity of image matrix elements arranged adjacent to each other according to location coordinates are successively calculated and that in the event of a local change that reaches or exceeds a predetermined threshold value parameter, the image matrix elements on which this change is based are assigned to a structured image area become.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß bei einer den vorbestimmten Schwellwertparame- ter unterschreitenden lokalen Änderung der Intensität die dieser Änderung jeweils zugrundeliegenden Bildinformationen einem strukturarmen Bildbereich zugeordnet werden.4. The method according to claim 3, characterized in that in the event of a local change in intensity falling below the predetermined threshold value parameters, the image information on which this change is based in each case is assigned to a structurally poor image area.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, daß zum Ermitteln der jeweiligen lokalen Änderung der Intensitäten jeweils lokale Gradienten berechnet werden.5. The method according to claim 3 or 4, characterized in that local gradients are calculated to determine the respective local change in the intensities.
6. Verfahren nach einem der Anspruch 5, dadurch gekennzeichnet, daß die berechneten lokalen Gradienten jeweils mit einer Betragsnormierung versehen werden.6. The method according to any one of claim 5, characterized in that the calculated local gradients are each provided with an amount normalization.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß zur Hochpaßfilterung ein Hochpaßfilter zweiter Ordnung verwendet wird.7. The method according to any one of claims 1 to 6, characterized in that a second order high-pass filter is used for high-pass filtering.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß der Hochpaßfilter als Laplaceoperator ausge- bildet ist, wobei der Laplaceoperator eine zweite Ableitung nach Ortsvariablen bildet.8. The method according to claim 7, characterized in that the high-pass filter is designed as a Laplace operator, the Laplace operator forming a second derivative according to location variables.
9. Verfahren nach Anspruch 7 bis 8, dadurch gekennzeichnet, daß Filterparameter des Hochpaßfilters in Abhängigkeit von der Auflösung der Detektoreinrichtung eingestellt werden. 9. The method according to claim 7 to 8, characterized in that filter parameters of the high-pass filter are set as a function of the resolution of the detector device.
10. Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, daß die Stärke der Hochpaßfilterung in Abhängigkeit von den jeweils berechneten betragsnormierten Gradienten gesteuert werden.10. The method according to any one of claims 5 to 9, characterized in that the strength of the high-pass filtering are controlled as a function of the gradient-normalized gradient calculated in each case.
11. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 10, mit Mitteln zum Aufnehmen, Erfassen und Verarbeiten von Bildern, dadurch gekennzeichnet, daß aus einer Sequenz zeitlich aufeinander- folgender Einzelbilder ein resultierendes Bild durch zeitliche Mittelung der Einzelbilder erzeugbar und zwischenspeicherbar ist, daß während eines klassifizierenden Verfahrensschrittes strukturierte Bildbereiche in einem Bild identifizierbar sind und in einem weiteren Verfahrensschritt in den identifizierten strukturierten Bildbereichen des resultierenden Bildes eine Hochpaßfilterung durchführbar ist.11. Device for performing the method according to one of claims 1 to 10, with means for recording, capturing and processing images, characterized in that a resultant image can be generated and buffered from a sequence of successive individual images by averaging the individual images that structured image areas can be identified in an image during a classifying method step and high-pass filtering can be carried out in a further method step in the identified structured image areas of the resulting image.
12. Vorrichtung nach Anspruch 11, dadurch gekennzeich- net, daß zur Identifizierung der strukturierten Bildbereiche eines Bildes lokale Änderungen der Intensität von jeweils nach Ortskoordinaten benachbart angeordneten Bildmatrixelementen sukzessive berechenbar sind und daß bei einer einen vorbestimmten Schwellwertparameter er- reichenden oder überschreitenden lokalen Änderung die dieser Änderung jeweils zugrundeliegenden Bildmatrixelemente einem strukturierten Bildbereich zuweisbar sind.12. The apparatus according to claim 11, characterized in that for the identification of the structured image areas of an image, local changes in the intensity of image matrix elements arranged adjacent to each other according to location coordinates can be successively calculated, and that in the event of a local change that reaches or exceeds a predetermined threshold value parameter, the latter Changes to the underlying image matrix elements can be assigned to a structured image area.
13. Computerprogrammprodukt auf welchem das Verfahren nach einem der Ansprüche 1 bis 10 implementiert ist. 13. Computer program product on which the method according to one of claims 1 to 10 is implemented.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/DE2001/004341 WO2003049031A1 (en) | 2001-11-19 | 2001-11-19 | Temporal noise reduction and local contrast amplification |
Publications (1)
Publication Number | Publication Date |
---|---|
EP1446768A1 true EP1446768A1 (en) | 2004-08-18 |
Family
ID=5648313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP01274867A Withdrawn EP1446768A1 (en) | 2001-11-19 | 2001-11-19 | Temporal noise reduction and local contrast amplification |
Country Status (4)
Country | Link |
---|---|
US (1) | US20050220354A1 (en) |
EP (1) | EP1446768A1 (en) |
JP (1) | JP2005512200A (en) |
WO (1) | WO2003049031A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI692970B (en) * | 2018-10-22 | 2020-05-01 | 瑞昱半導體股份有限公司 | Image processing circuit and associated image processing method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4334244A (en) * | 1980-07-28 | 1982-06-08 | Magnavox Government And Industrial Electronics Company | Adaptive image enhancement system |
KR910006460B1 (en) * | 1988-03-08 | 1991-08-26 | 삼성전자 주식회사 | Flicker removing apparatus and method of digital picture image tool |
JPH05328127A (en) * | 1992-05-20 | 1993-12-10 | Nikon Corp | Picture processor |
JP3359390B2 (en) * | 1993-09-27 | 2002-12-24 | 株式会社リコー | Spatial filter device |
JP3706206B2 (en) * | 1996-08-16 | 2005-10-12 | 富士写真フイルム株式会社 | Image filtering method and apparatus |
EP0883086B1 (en) * | 1997-06-02 | 2004-04-07 | Seiko Epson Corporation | Edge-enhancement processing apparatus and method |
US7043080B1 (en) * | 2000-11-21 | 2006-05-09 | Sharp Laboratories Of America, Inc. | Methods and systems for text detection in mixed-context documents using local geometric signatures |
US6728415B2 (en) * | 2001-03-30 | 2004-04-27 | Hewlett-Packard Development Company, L.P. | Method and apparatus for image processing using adaptive convolution filters |
-
2001
- 2001-11-19 EP EP01274867A patent/EP1446768A1/en not_active Withdrawn
- 2001-11-19 JP JP2003550150A patent/JP2005512200A/en not_active Withdrawn
- 2001-11-19 WO PCT/DE2001/004341 patent/WO2003049031A1/en not_active Application Discontinuation
- 2001-11-19 US US10/496,211 patent/US20050220354A1/en not_active Abandoned
Non-Patent Citations (1)
Title |
---|
See references of WO03049031A1 * |
Also Published As
Publication number | Publication date |
---|---|
US20050220354A1 (en) | 2005-10-06 |
JP2005512200A (en) | 2005-04-28 |
WO2003049031A1 (en) | 2003-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE602004009702T2 (en) | Method and system for automatic reduction of aliasing artifacts | |
DE60314692T2 (en) | Digital image method and apparatus for assembling removal of the mosaic effect and correction of bad pixels | |
DE69733882T2 (en) | CAMERA WITH A SINGLE PICTORIAN | |
DE69938227T2 (en) | Method and apparatus for motion artifact and noise reduction in video image processing | |
DE60104632T2 (en) | Method and system for noise removal for a sparsely sampled image with extended dynamic range | |
DE602004002618T2 (en) | Method and system for edge enhancement | |
DE112013006596B4 (en) | Image processing apparatus, image pickup apparatus, image processing method and program | |
DE112011102647T5 (en) | Method for producing super-resolution images and non-linear filter for its implementation | |
DE60104508T2 (en) | METHOD AND DEVICE FOR PRODUCING A PICTURE OF LOW RESOLUTION FROM A PICTURED PICTURE WITH AN ADVANCED DYNAMIC RANGE | |
WO2003063468A1 (en) | Method and device for image processing, in addition to a night viewing system for motor vehicles | |
DE3530759A1 (en) | TWO-DIMENSIONAL TAPE COMPENSATION CIRCUIT FOR AN ENDOSCOPE WITH A FIXED-BODY IMAGING DEVICE | |
DE102011006272A1 (en) | Image processing apparatus and method of controlling the same | |
DE112013004507T5 (en) | Image processing apparatus, image capturing apparatus, image processing method, program and recording medium | |
DE102012201696A1 (en) | Image processing apparatus, associated control method, program and recording medium | |
EP0658056A2 (en) | Method for hierarchical motion estimation in a television signal | |
DE102016112968A1 (en) | Determination of color values for pixels at intermediate positions | |
DE202017104747U1 (en) | Monochrome color imaging using a monochromatic imager and a color image sensor | |
DE10033751A1 (en) | Digital high resolution cine-film camera for replacement objectives, single flat sensor with color mosaic filter mask and optically acting low pass filtering using motion defocusing | |
WO2001052525A2 (en) | Digital photography method and digital camera | |
DE102010030108A1 (en) | Color sensor | |
DE60224125T2 (en) | Signal processing device, signal processing method of the device, operation process program of the method and storage medium for storing the program | |
EP1587319B1 (en) | Method and apparatus for interpolating a pixel of an intermediate line of a half-picture | |
DE10024374B4 (en) | Method and device for measuring the noise contained in an image | |
DE112010005744T5 (en) | Method for the detection and correction of a lateral chromatic aberration | |
DE60102411T2 (en) | Device for determining the best image from a two-resolution photosensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20040318 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR |
|
AX | Request for extension of the european patent |
Extension state: AL LT LV MK RO SI |
|
17Q | First examination report despatched |
Effective date: 20071109 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20080320 |