DE102007051612A1

DE102007051612A1 - Method and apparatus for automatically comparing two sets of measurements

Info

Publication number: DE102007051612A1
Application number: DE102007051612A
Authority: DE
Inventors: Christian Petersohn
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2007-10-24
Filing date: 2007-10-24
Publication date: 2009-05-07
Anticipated expiration: 2027-10-25
Also published as: CN101836203B; WO2009053110A2; US8249360B2; CN101836203A; WO2009053110A3; EP2215559A2; CA2703268A1; US20100260425A1; DE102007051612B4

Abstract

Die Erfindung betrifft ein Verfahren zum automatisierten Vergleichen zweier Sätze von Messwerten, bei dem . die Messwerte beider Sätze jeweils einer Klasse aus einer endlichen Zahl von durch Indizes definierten Klassen zugeordnet werden, so dass für jeden der beiden Sätze jeweils eine Häufigkeitsverteilung definiert wird, die für jede Klasse eine Häufigkeit der in diese Klasse fallenden Messwerte angibt, . wonach ein Abstandsmaß zwischen diesen Häufigkeitsverteilungen als Funktion eines endgültigen Werts einer ersten, beispielhaft als match bezeichneten Hilfsgröße berechnet wird, . wobei die erste Hilfsgröße match durch einen Algorithmus unter Verwendung zweier Variablensätze berechnet wird, indem bei einem gegebenen maximalen Abstand dmax >= 1 für alle ganzzahligen Abstände d mit 0 <= d <= dmax, beginnend mit d = 0 und zu größeren Abständen d hin fortschreitend, jeweils für alle um den Abstand d voneinander beabstandeten Indizes i und j - ein aktueller Wert einer weiteren Hilfsgröße definiert wird als m = min (qi', vj'), worin m für die weitere Hilfsgröße, qi' für die Variablen eines ersten der beiden Variablensätze und vj' für die Variablen des zweiten Variablensatzes steht, wobei die Variablen der beiden Variablensätze zu Beginn des Algorithmus definiert sind als qi' = qi, vj' = vj, worin qi für die Häufigkeiten aus einer ersten der beiden Häufigkeitsverteilungen und vj für die Häufigkeiten der zweiten Häufigkeitsverteilung steht, - ...The invention relates to a method for automatically comparing two sets of measured values, in which. the measured values of both sets are each assigned to a class of a finite number of classes defined by indices, so that a frequency distribution is defined for each of the two sets, indicating for each class a frequency of the measurements falling into that class,. after which a distance measure between these frequency distributions is calculated as a function of a final value of a first auxiliary quantity, exemplified as a match,. wherein the first auxiliary quantity match is computed by an algorithm using two sets of variables, for a given maximum distance dmax> = 1 for all integer distances d with 0 <= d <= dmax, starting with d = 0 and at greater distances d progressively, each for all indices i and j spaced apart by the distance d - a current value of a further auxiliary quantity is defined as m = min (qi ', vj'), where m is the further auxiliary quantity, qi 'is the variables of a first of the two sets of variables and vj 'stands for the variables of the second set of variables, where the variables of the two sets of variables are defined at the beginning of the algorithm as qi' = qi, vj '= vj, where qi for the frequencies from a first of the two frequency distributions and vj stands for the frequencies of the second frequency distribution, - ...

Description

Die Erfindung betrifft ein Verfahren zum automatisierten Vergleichen zweier Sätze von Messwerten sowie eine Vorrichtung zum Durchführen eines solchen Verfahrens.The The invention relates to a method for automated comparison two sets of measurements and a device for Perform such a process.

Bei den Sätzen von Messwerten kann es sich z. B. um Mengen von beispielsweise mit einer Kamera aufgenommenen Bilddaten handeln, die jeweils ein Bild charakterisieren. Das Verfahren kann dann zum Identifizieren ähnlicher Bilder dienen, beispielsweise zum automatischen Auffinden von Bildern eines Kamera-Shots aus einer großen Menge von Shots oder zum Auffinden von Trennstellen zwischen aufeinanderfolgenden Shots.at the sets of measurements can be z. B. by quantities act of, for example, image data taken with a camera, each characterizing a picture. The method can then for Identifying similar images serve, for example to automatically find images of a camera shot from a large quantity of shots or to find separation points between consecutive shots.

Es ist bekannt, Sätze von Messwerten zu bearbeiten, indem die Messwerte jeweils einer Klasse aus einer endlichen Zahl von mit Indizes benennbaren, gelegent lich auch als Bins bezeichneten Klassen zugeordnet werden, so dass diese Messwerte auf die Klassen verteilt und dadurch eine Häufigkeitsverteilung definiert wird, die für jede Klasse eine Häufigkeit der in diese Klasse fallenden Messwerte des jeweiligen Satzes angibt. Die Klassen können dabei typischerweise Subintervallen eines Intervalls von den Messwerten annehmbarer Werte entsprechen. Eine bekannte Darstellung derartiger Häufigkeitsverteilungen bilden Histogramme. Die technische Aufgabe, zwei oder mehr Sätze von Messwerten miteinander zu vergleichen, beispielsweise um bei einer Auswertung einer großen Zahl von Messwertsätzen automatisiert und schnell vergleichbare Ereignisse zu identifizieren, kann dann umformuliert werden zu der Aufgabe, zwei Histogramme miteinander zu vergleichen und eine Ähnlichkeit zwischen diesen Histogrammen zu messen.It is known to edit sets of readings by the measured values in each case of a class from a finite number of Identifiable with indices, occasionally referred to as bins Classes are assigned so that these metrics apply to the classes distributed and thereby a frequency distribution is defined, which for each class has a frequency of these Indicating class falling measured values of the respective set. The classes can typically have subintervals of an interval correspond to the values of acceptable values. An acquaintance Representation of such frequency distributions form histograms. The technical task, two or more sets of readings to compare with each other, for example, in an evaluation a large number of sets of measurements automated and then quickly identify comparable events be reformulated to the task of having two histograms together compare and see a similarity between these histograms to eat.

Zum Vergleichen von Histogrammen bzw. von durch Histogramme darstellbaren Verteilungen sind verschiedene Methoden bekannt. Bei den einfachsten dieser Verfahren werden die den einzelnen Klassen zugeordneten Häufigkeiten der zu vergleichenden Häufigkeitsverteilungen Klasse für Klasse – oder Bin für Bin – miteinander verglichen, beispielsweise durch Messung einer Überschneidung der den Häufigkeitsverteilungen entsprechenden Histogramme. Diese Verfahren sind zwar mit sehr geringem Rechenaufwand durchführbar, bringen aber den großen Nachteil mit sich, dass Ähnlichkeiten zwischen benachbarten Klassen nicht berücksichtigt werden. Messwerte, die zwar eng beieinander liegen, aufgrund der Wahl der Klassen aber zufällig zwei verschiedenen, z. B. benachbarten, Klassen zugeordnet wurden, werden dann als völlig unterschiedlich behandelt, und ihre Nähe bleibt für eine Bewertung der Ähnlichkeit der entsprechenden Histogramme unberück sichtigt. Diese einfachen Methoden führen daher in vielen Fällen zu unbefriedigend aussagearmen Ergebnissen, die insbesondere keine zuverlässige Aussage über die Ähnlichkeit von Messwertsätzen oder entsprechenden Ereignissen erlauben. Insbesondere sind die mit solchen Verfahren erhaltenen Ergebnisse nachteilig Abhängig von der Größe der Bins oder Klassen und von der genauen Lage der oft mehr oder weniger willkürlich gewählten Grenzen zwischen benachbarten Bins.To the Compare histograms or histograms Distributions are known various methods. The simplest These methods become the frequencies assigned to each class the frequency distributions to be compared class for Class - or Bin for Bin - with each other compared, for example by measuring an overlap the histograms corresponding to the frequency distributions. Although these methods can be carried out with very little computational effort but the big downside with that similarities between adjacent classes are not taken into account. Measurements, which are close together, due to the choice of Classes happen to be two different, z. B. adjacent, Classes are then assigned as completely different treated, and their proximity remains for a rating the similarity of the corresponding histograms. Therefore, these simple methods result in many cases to unsatisfactory low-impact results, in particular no reliable statement about the similarity of sets of measurements or corresponding events. In particular, the results obtained by such methods Dependent on the size of the Bins or classes and from the exact location of often more or less arbitrarily chosen boundaries between neighboring Bins.

Andere Verfahren zum Vergleichen von Histogrammen berücksichtigen nicht nur exakte Übereinstimmungen oder Überschneidungen, sondern auch die Ähnlichkeit benachbarter oder nah beieinander liegender Klassen oder Bins. Ein Beispiel dafür bietet das von Rubner et al. im International Journal of Computer Vision, 40(2), S. 99–121 veröffentlichte und als Earth Mover's Distance bezeichnete Abstandsmaß für Histogramme. Diese und vergleichbare Methoden eignen sich zwar für eine wesentlich aussagekräftige Bewertung der Ähnlichkeit von Häufigkeitsverteilungen oder Histogrammen, bringen aber den Nachteil einer außerordentlich hohen Rechenkomplexität mit sich. So nimmt der Rechenaufwand bei dem erwähnten Verfahren zum Berechnen der sogenannten Earth Mover's distance bei zunehmender Zahl von Messwertklassen mit zwischen O(N³) und exp(N) zu, wenn N die Zahl der Klassen ist.Other methods for comparing histograms not only take into account exact matches or clashes, but also the similarity of adjacent or close clusters or bins. An example of this is provided by Rubner et al. in the International Journal of Computer Vision, 40 (2), p. 99-121 published and called Earth Mover's Distance distance measure for histograms. Although these and comparable methods are suitable for a significantly meaningful evaluation of the similarity of frequency distributions or histograms, they entail the disadvantage of extraordinarily high computational complexity. Thus, as N number of classes increases, the computational cost of the aforementioned method of computing the so-called earth mover's distance increases as the number of measurement classes increases between O (N ³ ) and exp (N).

Insbesondere für Anwendungen, bei denen eine große Zahl von Messwertklassen verwendet werden und zu vergleichen sind, kann eine so hohe Rechenkomplexität schon beim Vergleich eines Paares von Messwertsätzen unakzeptabel sein.Especially for applications where a large number of Measurement classes can be used and compared to one another so much computational complexity even when comparing a pair of sets of measurements unacceptable.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum automatisierten Vergleichen zweier Sät ze von Messwerten vorzuschlagen, das eine zuverlässige Messung einer Ähnlichkeit zwischen diesen Sätzen erlaubt derart, dass auch eine größere Ähnlichkeit näher beieinander liegender Bins oder Klassen gegenüber weit entfernten Bins berücksichtigt wird, wobei das Verfahren mit einem vergleichsweise geringen Rechenaufwand durchführbar und so auch für eine Auswertung einer großen Zahl von Paaren von Messwertsätzen geeignet sein soll. Der Erfindung liegt ferner die Aufgabe zugrunde, eine entsprechende Vorrichtung zum automatisierten Vergleichen zweier Sätze von Messwerten zu entwickeln.Of the The invention is therefore based on the object, a method for automated Compare two sets of measurements, that is a reliable measure of similarity between these sentences allows such a greater similarity closer to each other bins or classes distant bins is taken into account, the procedure with a comparatively low computational effort feasible and so for an evaluation of a large number should be suitable for pairs of measurement sets. The invention is also the object of a corresponding device for automatically comparing two sets of measurements to develop.

Diese Aufgaben werden erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 13. Vorteilhafte Ausgestaltungen und Weiterentwicklungen der Erfindung ergeben sich mit den Ansprüchen der Unteransprüche.These objects are achieved by a method with the features of the present invention Claim 1 and by a device having the features of claim 13. Advantageous embodiments and further developments of the invention will become apparent with the claims of the dependent claims.

Bei dem vorgeschlagenen Verfahren zum automatisierten Vergleichen zweier Sätze von Messwerten werden also die Messwerte beider Sätze jeweils einer Klasse aus einer endlichen Zahl von durch Indizes definierten Klassen zugeordnet, so dass für jeden der beiden Sätze jeweils eine Häufigkeitsverteilung definiert wird, die für jede Klasse eine Häufigkeit der in diese Klasse fallenden Messwerte angibt, wonach ein Abstandsmaß zwischen diesen Häufigkeitsverteilungen, in nachfolgend beschriebener Weise als Funktion eines endgültigen Werts einer ersten, hier nur beispielhaft als match bezeichneten Hilfsgröße berechnet wird. Das Abstandsmaß wird dabei mit vergleichsweise geringem Rechenaufwand so bestimmt, dass es in aussagekräftiger Weise eine Ähnlichkeit oder Unähnlichkeit zwischen den beiden Sätzen von Messwerten angibt.at the proposed method for automated comparison of two Sets of measured values thus become the measured values of both sets each of a class of a finite number of indices assigned to defined classes, so that for each of the two Sets each a frequency distribution is defined, which for each class has a frequency of these Class falling readings indicating that a distance measure between these frequency distributions, described below Way as a function of a final value of a first, Here only as an example of a match called auxiliary size is calculated. The distance is measured with comparatively low computational effort so determined that it is more meaningful Make a similarity or dissimilarity between indicates the two sets of measured values.

Dazu wird die erste Hilfsgröße match durch einen Algorithmus unter Verwendung zweier Variablensätze berechnet, indem bei einem gegebenen maximalen Abstand d_max ≥ 1 für alle ganzzahligen Abstände d mit 0 ≤ d ≤ d_max, beginnend mit d = 0 und zu größeren Abständen d hin fortschreitend, jeweils für alle um den Abstand d voneinander beabstandeten Indizes i und j

– ein aktueller Wert einer weiteren Hilfsgröße definiert wird als m = min (qi', vj'),worin m für die weitere Hilfsgröße, q_i' für die Variablen eines ersten der beiden Variablensätze und v_j' für die Variablen des zweiten Variablensatzes steht, wobei die Variablen der beiden Variablensätze zu Beginn des Algorithmus definiert sind als q_i' = q_i, v_j' = v_j, worin q_i für die Häufigkeiten aus einer ersten der beiden Häufigkeitsverteilungen und v_j für die Häufigkeiten der zweiten Häufigkeitsverteilung steht,
– wonach jeweils die Variablen q_i' und v_j' durch Subtrahieren des aktuellen Werts der weiteren Hilfsgröße m neu definiert werden und der mit einem Matrixelement a_i,j multiplizierte aktuelle Wert der weiteren Hilfsgröße m zu einem aktuellen Wert der ursprünglich als match = 0 definierten ersten Hilfsgröße match hinzuaddiert wird, wobei die Matrixelemente a_i,j eine Ähnlichkeitsmatrix bilden mit a_i,i = 1 für alle Indizes i und 0 ≤ a_i,j < 1 für alle um höchstens d_max beabstandeten Indizes i und j mit i ≠ j.

For this purpose, the first auxiliary quantity match is calculated by an algorithm using two sets of variables by proceeding at a given maximum distance d _max ≥ 1 for all integer distances d with 0 ≤ d ≤ d _max starting with d = 0 and at larger distances d , each for all by the distance d spaced indices i and j

- a current value of another auxiliary variable is defined as m = min (q i ', v j '), where m stands for the further auxiliary quantity, q _i 'for the variables of a first of the two sets of variables and v _j ' for the variables of the second set of variables, wherein the variables of the two sets of variables are defined at the beginning of the algorithm as q _i '= q _i , v _j '= v _j , where q _{i is} the frequency of a first of the two frequency distributions and v _{j is} the frequency of the second frequency distribution,
In each case the variables q _i 'and v _j ' are newly defined by subtracting the current value of the further auxiliary variable m and the current value of the further auxiliary variable m multiplied by a matrix element a _{i, j} to a current value originally as match = 0 in which the matrix elements a _{i, j form} a similarity matrix with a _{i, i} = 1 for all indices i and 0 ≦ a _{i, j} <1 for all indices i and j spaced apart by at most d _max with i ≠ j.

Dieses Verfahren, das sich in einfacher Weise mit einer entsprechend programmtechnisch eingerichteten Vorrichtung durchführen lässt, zeichnet sich dadurch aus, dass einerseits – mit einer Abweichungen berücksichtigenden Wichtung durch die Matrixelemente der Ähnlichkeitsmatrix – auch die Häufigkeiten der Messwerte, die aus den zwei Sätzen nicht identischen, sondern lediglich nicht zu weit voneinander entfernten Klassen – festgelegt durch den als d_max bezeichneten maximalen Abstand – zugeordnet sind, miteinander verglichen werden, sofern nicht schon bei den identischen oder näher gelegenen Klassen eine Übereinstimmung der Häufigkeiten ermittelt wird. Das führt zu einem gegenüber herkömmlichen nur Bin für Bin durchgeführten Vergleichen zuverlässigeren und aussagekräftigeren Maß für die Ähnlichkeit der Sätze von Messwerten, das insbesondere eine zufällige Zuordnung ähnlicher Messwerte in benachbarte Klassen angemessen berücksichtigt. Andererseits lässt sich das Verfahren – anders als vergleichbar aussagekräftige bekannte Verfahren – in vorteilhafter Weise mit einem ausgesprochen geringen Rechenaufwand realisieren, was eine Bearbeitung auch großer Messwertmengen und einen Vergleich einer sehr großen Zahl von Messwertsätzen erlaubt. Bei einem gegebenen Wert des maximalen Abstands d_max ergibt sich nämlich ein Rechenaufwand, der in Abhängigkeit von der Zahl der Klassen lediglich von der Ordnung O(N) ist, wenn N die Zahl der Klassen bezeichnet. Das Verfahren kann u. U. bereits für d_max = 1 zu sehr befriedigenden Ergebnissen führen.This method, which can be carried out in a simple manner with a corresponding program-technically configured device, is characterized in that on the one hand-with a weighting taking into account deviations by the matrix elements of the similarity matrix-also the frequencies of the measured values which are not identical from the two sentences, but only classes that are not too far apart from each other - defined by the maximum distance designated as d _max - are compared with each other, unless coincidence of the frequencies is already determined for the identical or nearer classes. This leads to a more reliable and meaningful measure for the similarity of the sets of measured values compared to conventional comparisons performed only bin by bin, which duly takes into account, in particular, a random assignment of similar measured values to adjacent classes. On the other hand, unlike comparably meaningful known methods, the method can advantageously be implemented with a very low computation effort, which allows processing even large quantities of measured values and a comparison of a very large number of measured value sets. Namely, given a value of the maximum distance d _max , a computational effort results which, depending on the number of classes, is only of the order O (N) when N denotes the number of classes. The method may u. U. already for d _max = 1 lead to very satisfactory results.

Das Abstandsmaß kann auf verschiedene Weisen als Funktion der Hilfsgröße match oder genauer in Abhängigkeit vom nach dem beschriebenen Algorithmus gewonnenen endgültigen Wert der ersten Hilfsgröße match berechnet werden, beispielsweise als dist = 1 – match/(Σiqi),worin dist für das Abstandsmaß steht und q_i wie oben definiert ist, wobei die Summe über alle Klassen gebildet wird. Mit dieser Definition wird das Abstandsmaß leicht auswertbar, insofern dist = 0 für identische und größere Werte des Abstandsmaßes bis zu dist = 1 für unähnlichere Sätze von Messwertpaaren erhalten wird.The distance measure can be calculated in various ways as a function of the auxiliary variable match, or more precisely as a function of the final value of the first auxiliary variable match obtained according to the described algorithm, for example as dist = 1 - match / (Σ i q i ) where dist stands for the distance measure and q _{i is} as defined above, the sum being formed over all classes. With this definition, the distance measure is easily evaluable in that dist = 0 is obtained for identical and larger values of the distance measure up to dist = 1 for more dissimilar sets of measured value pairs.

Es sei klargestellt, dass alle Namen der Hilfsgrößen, Platzhalter und Variablen hier und nachfolgend selbstverständlich nur beispielhaft gewählt worden und beliebig auswechselbar sind.It It should be made clear that all the names of the auxiliary sizes, Wildcards and variables here and below, of course chosen only as an example and interchangeable are.

Bei einer typischen Ausführung der Erfindung, die mit einem einfach programmierbaren Algorithmus realisierbar ist, werden die Indizes durch n-Tupel gebildet mit einem ganzzahligen n ≥ 1, wobei der Abstand d zwischen zwei beliebigen Indizes i und j definiert ist als d = maxk(dk),worin das Maximum über alle k mit 1 ≤ k ≤ n gebildet wird und d_k jeweils definiert ist als dk = |ik – jk|oder als dk = min(|ik – jk|, Ik - |ik – jk|), wobei k die Stellen des jeweiligen n-Tupels indiziert und wobei i_k für die Stellen des Index i, j_k für die Stellen des Index j und I_k für die Anzahl der Werte steht, die von der k-ten Stelle der die Klassen bezeichnenden Indizes angenommen werden können. Im einfachsten Fall kann dabei n = 1 gelten und definiert sein als d = |i – j| oder d = min(|i – j|, I – |i – j'|) mit nur einstelligen Indizes i, j, die I Werte annehmen können. Die Klassen können dann beispielsweise verschiedenen Grauton-Intervallen zwischen Weiß und Schwarz entsprechen, wenn die Messwerte Helligkeiten in verschiedenen Bildpunkten zweier zu vergleichender Bildaufnahmen wiedergeben. Bei typischen Ausgestaltungen des beschriebenen Verfahrens wird aber n = 2 oder n = 3 gelten, und selbstverständlich kann n auch noch größer sein. Die zweite Alternative für die Definition von d_k bietet sich immer dann an, wenn mit der entsprechenden Stelle der Indizes Klassen oder Bins einer Messgröße mit zyklischer Eigenschaft indiziert werden, beispielsweise ein auf einem Farbkreis darstellbaren Farbton.In a typical embodiment of the invention using a simple programmable algorithm is realizable, the indices are formed by n-tuples with an integer n ≥ 1, wherein the distance d between any two indices i and j is defined as d = max k (d k ) where the maximum is formed over all k with 1 ≤ k ≤ n and d _k is defined as d k = | i k - j k | or as d k = min (| i k - j k |, I k - | i k - j k |) where k indicates the locations of the respective n-tuple and where i _{k stands} for the locations of the index i, j _k for the locations of the index j and I _k for the number of values which are the k-th place of the classes Indices can be accepted. In the simplest case n = 1 can apply and be defined as d = | i - j | or d = min (| i-j |, I-| i-j '|) with only single-digit indices i, j, which can assume I values. The classes may then correspond, for example, to different gray-tone intervals between white and black when the measured values reflect brightnesses in different pixels of two images to be compared. In typical embodiments of the described method, however, n = 2 or n = 3 will apply, and of course n may also be larger. The second alternative for the definition of d _k is always useful when indexing classes or bins of a measured variable with a cyclic property, for example a hue that can be displayed on a color wheel.

Die Matrixelemente a_i,j der Ähnlichkeitsmatrix können z. B. definiert sind als ai,j = 1/[1 + (Σkdk p)l/p],worin d_k wie oben definiert ist und p eine Potenz ist, die beispielsweise als p = 2 gewählt werden kann, wobei die Summe über alle k mit 1 ≤ k ≤ n gebildet wird. Mit einer so definierten Ähnlichkeitsmatrix lässt sich mit geringem Rechenaufwand eine angemessene Berücksichtigung der durch Aufteilung in mehr oder weniger benachbarte Bins oder Klassen verursachten Ähnlichkeit oder Unähnlichkeit von Messwertsätzen realisieren.The matrix elements a _{i, j of} the similarity matrix can, for. B. are defined as a i, j = 1 / [1 + (Σ k d k p ) l / p ] where d _{k is} as defined above and p is a power that can be chosen, for example, as p = 2, where the sum over all k is formed with 1 ≤ k ≤ n. With a similarity matrix defined in this way, an appropriate consideration of the similarity or dissimilarity of measurement value sets caused by division into more or less adjacent bins or classes can be realized with little computational effort.

Zur Berechnung der hier als match bezeichneten ersten Hilfsgröße können verschiedene Algorithmen verwendet werden. Eine besonders einfach programmierbare Ausführung der Erfindung sieht vor, dass zum Berechnen der ersten Hilfsgröße match

– eine erste Programmschleife geöffnet wird, in der der Abstand d in ganzzahligen Schritten von 0 bis zum ganzzahlig gewählten maximalen Abstand d_max läuft,
– wonach sukzessive für alle gnzzahligen k mit 1 ≤ k ≤ n (z. B. beginnend bei k = 1 und endend bei k = n) jeweils eine Programmschleife geöffnet wird, in der jeweils eine zusätzliche, hier beispielhaft als h_k bezeichnete Variable über alle ganzzahligen Werte mit –d ≤ h_k ≤ +d läuft (z. B. in ganzzahligen Schritten von –d bis +d),
– wonach sukzessive für alle ganzzahligen k mit 1 ≤ k ≤ n (z. B. beginnend bei k = 1 und endend bei k = n) jeweils eine weitere Programmschleife geöffnet wird, in der jeweils der Wert der Stelle i_k des Index i über alle I_k von dieser Stelle zur Indizierung der Klassen annehmbaren Werte läuft (z. B. in ganzzahligen Schritten von i_k = 1 bis i_k = I_k, wenn die Klassen entsprechend indiziert sind)
– wobei dann der aktuelle Wert der weiteren Hilfsgröße m definiert wird als m = min(qi', vi+h'),
– worin q_i' wie oben definiert ist, h für das aus den Variablen h_k gebildete n-Tupel steht und v_i+h' für die Variablen des zweiten Variablensatzes steht und zu Beginn des Algorithmus definiert ist als v_i+h' = v_i+h, wenn das n-Tupel i+h einen von den Indizes der Klassen annehmbaren Wert hat, und als v_i+h' = 0 oder als v_i+h' = v_i+h+L, wenn mindestens eine Stelle des n-Tupels i+h einen von der entsprechenden Stelle der Indizes der Klassen nicht annehmbaren Wert hat, wobei L für ein n-Tupel steht, das definiert ist durch L_k = 0, wenn die k-te Stelle des n-Tupels i+h einen von der entsprechenden Stelle der Indizes der Klassen annehmbaren Wert hat, und andernfalls durch L_k = I_k oder L_k = –I_k, so dass alle Stellen des n-Tupels i+h+L einen von den entsprechenden Stellen der Indizes der Klassen annehmbaren Wert haben,
– wonach jeweils die Variablen q_i' und v_i+h' durch Subtrahieren des aktuellen Werts der weiteren Hilfsgröße m neu definiert werden und der mit dem Matrixelement a_i,j+h multiplizierte aktuelle Wert der weiteren Hilfsgröße m zu einem aktuellen Wert der zu Beginn des Algorithmus als match = 0 definierten ersten Hilfsgröße match hinzuaddiert wird,
– worauf alle genannten Programmschleifen in umgekehrter Reihenfolge wieder geschlossen werden.

Various algorithms can be used to calculate the first auxiliary variable, referred to here as a match. A particularly simple programmable embodiment of the invention provides that for calculating the first auxiliary variable match

A first program loop is opened, in which the distance d runs in integer steps from 0 to the maximum selected distance d _max ,
- Which successively for each knzzahligen k with 1 ≤ k ≤ n (eg starting at k = 1 and ending at k = n) each a program loop is opened, in each case an additional, here exemplified as h _k variable over all integer values with -d ≤ h _k ≤ + d running (eg in integer steps from -d to + d),
- Which successively for each integer k with 1 ≤ k ≤ n (eg starting at k = 1 and ending at k = n) in each case a further program loop is opened, in each of the value of the point i _{k of} the index i over all I _k values acceptable from this point for indexing the classes are running (eg, in integer steps from i _k = 1 to i _k = I _k , if the classes are indexed accordingly)
- in which case the current value of the further auxiliary variable m is defined as m = min (q i ', v i + h '),
Where q _i 'is as defined above, h stands for the n-tuple formed from the variables h _k and v _{i + h} ' stands for the variables of the second set of variables and is defined at the beginning of the algorithm as v _{i + h} '= v _{i + h} , if the n-tuple i + h has a value acceptable from the indices of the classes, and as v _{i + h} '= 0 or as v _{i + h} ' = v _{i + h + L} , if at least one Location of the n-tuple i + h has a value unacceptable from the corresponding location of the indices of the classes, where L is an n-tuple defined by L _k = 0 if the k-th location of the n-tuple i + h has a value acceptable from the corresponding location of the indices of the classes, and otherwise by L _k = I _k or L _k = -I _k such that all locations of the n-tuple i + h + L one from the corresponding locations the indices of the classes have acceptable value,
- according to which the variables q _i 'and v _{i + h} ' are respectively newly defined by subtracting the current value of the further auxiliary variable m and the current value of the further auxiliary multiplied by the matrix element a _{i, j + h} size m is added to a current value of the first auxiliary variable match defined at the beginning of the algorithm as match = 0,
- whereupon all mentioned program loops are closed in reverse order.

Der damit beschriebene Algorithmus bringt mit sich, dass der mit der Neudefinition der weiteren Hilfsgröße m einhergehende Rechenschritt (oben beschrieben nach dem vierten Gliederungsstrich) sowie die darauf folgenden, oben nach dem fünften Gliederungsschritt beschriebenen Rechenschritte etwas öfters ausgeführt werden, als erforderlich wäre, weil für jeden neuen Wert von d, die Variablen h_k alle Werte zwischen –d und +d annehmen und das Minimum min(g_i', v_i+h') folglich auch für solche h berechnet wird, für die der Abstand zwischen i und i+h kleiner als d ist. Das ist aber unschädlich, denn der bei diesen überzähligen Rechenschritten ermittelte neue Wert von m verschwindet jeweils, weil mindestens eine der Variablen q_i' und v_i+h' in diesen Fällen aufgrund einer Neudefinition in vorhergehenden Durchläufen der Programmschleifen den Wert 0 erhalten hat.The algorithm thus described implies that the arithmetic step associated with the redefinition of the further auxiliary quantity m (described above after the fourth outline bar) and the subsequent arithmetic steps described above after the fifth structuring step are carried out a little more frequently than would be necessary because every new value of d, the variables h _k assume all values between -d and + d and consequently the minimum min (g _i ', v _{i + h} ') is also calculated for those h for which the distance between i and i + h is less than d. However, this is harmless, because the new value of m determined in these excess calculation steps disappears in each case because at least one of the variables q _i 'and v _{i + h} ' has received the value 0 in these cases due to a new definition in previous runs of the program loops.

Bei typischen Anwendungen der Erfindung werden die beide Sätze von Messwerten die Eigenschaft Σ_iv_i = Σ_iq_i haben, beispielsweise wenn jeder Messwerte einem Bildpunkt entspricht bei einem Vergleich zweier Bilder mit einer gleichen Zahl von Bildpunkten. In anderen Fällen kann es zweckmäßig sein, die Messwerte zunächst so zu normieren, dass Σ_iv_i = Σ_iq_i gilt. die Summen seien dabei wieder als über alle Klassen gebildet zu verstehen, und q_i und v_i seien wie oben definiert.In typical applications of the invention both sets of measurements will have the Σ _i v _i = Σ _i q _i property, for example if each measured value corresponds to one pixel in a comparison of two images with an equal number of pixels. In other cases, it may be expedient to first normalize the measured values such that Σ _i v _i = Σ _i q _i . the sums are again to be understood as being formed over all classes, and q _i and v _i are as defined above.

Für eine automatische Bewertung der Ähnlichkeit oder Unähnlichkeit zwischen den verglichenen Sätzen von Messwerten kann das berechnete Abstandsmaß mit einer Schwelle und/oder mit anderen entsprechend berechneten Abstandsmaßen zwischen Messwertsätzen verglichen werden. Die zwei Sätze von Messwerten können dann z. B. in Abhängigkeit von einem Ergebnis dieses Vergleichs als ähnlich einander zugeordnet werden.For an automatic evaluation of similarity or dissimilarity between the compared sets of measurements, the calculated distance measure with a threshold and / or with between other appropriately calculated distance measures Measured value sets are compared. The two sentences of measured values can then z. B. in dependence from a result of this comparison as similar to each other be assigned.

Eine bevorzugte Anwendung des beschriebenen Verfahrens sieht vor, dass es zum Ermitteln einer Ähnlich keit zwischen zwei Bildern verwendet wird, wobei die Messwerte der beiden Sätze Bilddaten dieser beiden Bilder wiedergeben. Die Messwerte können dabei insbesondere jeweils einem Bildpunkt zugeordnet sein. Typischerweise repräsentieren die Klassen dann Intervalle für Helligkeitswerte und/oder Farbtöne und/oder Farbsättigungen, wobei diese Intervalle dafür zweckmäßigerweise so gewählt werden, dass sie dicht an dicht liegen und alle möglichen Messwerte abdecken. Alternativ oder zusätzlich können die Bilder räumlich in jeweils einer Klasse oder einer Untermenge von Klassen zugeordnete Unterbereiche eingeteilt werden. Diese Unterbereiche können wieder z. B. mit einer oder zwei Indexstellen indiziert werden.A preferred application of the described method provides that it for determining a similarity between two images is used, with the measured values of the two sets of image data reproduce these two pictures. The readings can in each case in each case be associated with a pixel. typically, then the classes represent intervals for Brightness values and / or hues and / or color saturations, these intervals expediently be chosen so that they are close to each other and all cover possible measured values. Alternatively or in addition The images can be spatially in each class or subranges assigned to a subset of classes become. These sub-areas can again z. B. with a or two index points.

Wenn die Messwerte Bilddaten entsprechen, kann das Verfahren z. B. zum vorteilhaft einfachen und zuverlässigen automatischen Szenenerkennen oder zur Mustererkennung dienen. Dabei können auch Bilder aus einer Mehrzahl von Bildern in beschriebener Weise paarweise oder jeweils mit einem Referenzbild verglichen werden. Wegen der geringen Rechenkomplexität können dabei bei Bedarf auch sehr große Zahlen von Bildpaaren verglichen werden.If the measured values correspond to image data, the method z. B. for advantageous simple and reliable automatic scene recognition or for pattern recognition. It can also take pictures a plurality of images in the manner described in pairs or each be compared with a reference image. Because of the low Complexity of computation can also be done if necessary very large numbers of image pairs are compared.

Ausführungsbeispiele der Erfindung werden nachfolgend unter Bezugnahme auf die 1 und 2 beschrieben. Es zeigtEmbodiments of the invention will be described below with reference to FIGS 1 and 2 described. It shows

1 eine Auswahl von zu vergleichenden Histogrammen zur Veranschaulichung eines Ausführungsbeispiels der Erfindung und 1 a selection of histograms to be compared for illustrating an embodiment of the invention and

2 eine grafische Darstellung dreier Messgrößen, die sich für ein Vergleichen von Bildern mit einem Verfahren in einer beispielhaften Ausführung der Erfindung eignen. 2 a graphical representation of three measures that are suitable for comparing images with a method in an exemplary embodiment of the invention.

Das erste Ausführungsbeispiel der Erfindung stellt ein Verfahren zum Vergleichen zweier Bilder dar, die durch jeweils einen Satz von Messwerten repräsentiert werden, wobei diese Messwerte für jeden Bildpunkt des entsprechenden Bildes jeweils einen Grauwert zwischen Schwarz und Weiß repräsentieren und z. B. mit einer Videokamera erfasst worden sein können. Jeder der Messwerte beider Sätze wird jeweils einer auch als Bin bezeichneten Klasse aus einer endlichen Zahl von I Klassen zugeordnet, wobei jede dieser Klassen einem Grauwertintervall entspricht und diese Intervalle dicht an dicht liegen und alle Graustufen von Schwarz bis Weiß abdecken. So wird für jeden der beiden Sätze jeweils eine Häufigkeitsverteilung definiert, die in diesem Fall eine Grauwertverteilung wiedergibt, indem sie für jede Klasse eine Häufigkeit der in diese Klasse fallenden Messwerte des entsprechenden Satzes angibt. Jede dieser Häufigkeitsverteilungen lässt sich als Histogramm darstellen. Beispiele derartiger eindimensionaler Histogramme sind in 1 abgebildet.The first exemplary embodiment of the invention represents a method for comparing two images which are each represented by a set of measured values, wherein these measured values each represent a gray value between black and white for each pixel of the corresponding image and z. B. may have been detected with a video camera. Each of the measurements of both sets is each assigned to a class called a bin of a finite number of I classes, each of these classes corresponding to a gray scale interval, and these intervals are close to each other, covering all gray levels from black to white. Thus, a frequency distribution is defined for each of the two sentences, which in this case represents a gray value distribution by specifying for each class a frequency of the measured values of the corresponding sentence that fall into this class. Each of these frequency distributions can be represented as a histogram. Examples of such one-dimensional histograms are in 1 displayed.

Mittels einer entsprechend programmtechnisch eingerichteten Vorrichtung wird nun ein hier als dist bezeichnetes Abstandsmaß zwischen den Häufigkeitsverteilungen berechnet, das so definiert ist, dass es sich als Maß für eine Ähnlichkeit oder Unähnlichkeit zwischen den beiden Sätzen von Messwerten und damit für eine Ähnlichkeit bzw. Unähnlichkeit der beiden Bilder bezüglich ihrer Grauwertverteilungen eignet. Dieses Abstandsmaß muss dabei nicht alle Eigenschaften einer Metrik im mathematischen Sinn haben.through a corresponding programmatically installed device is now a here as dist distance between distance calculates the frequency distributions that defines so is that it is a measure of similarity or dissimilarity between the two sentences of readings and thus for a similarity or dissimilarity of the two images with respect their gray scale distributions. This distance measure must not all properties of a metric in the mathematical sense to have.

Das Abstandsmaß dist wird dabei mit einem Algorithmus berechnet, der nachfolgend in einer dann genauer erläuterten Weise wiedergegeben sei:

The distance dist is calculated using an algorithm, which is reproduced below in a manner that is explained in more detail below:

Jede Zeile dieser Darstellung soll für einen Programmbefehl stehen, wobei eine erste zur Berechung des Abstandsmaßes dist verwendete Hilfsgröße als match und eine weitere Hilfsgröße als m bezeichnet ist. Bei d, h, i, q_i und v_j (wobei j hier jeweils als i + h gewählt wird) handelt es sich um weitere Variablen, wobei q_i und v_j jeweils zu einem Variablensatz gehören und mit i bzw. j = i + h indiziert sind. Die mit FOR beginnenden Zeilen bezeichnen den Beginn einer Programmschleife, in der die danach genannte Variable in ganzzahligen Schritten von dem in der dahinter stehenden eckigen Klammer links stehenden Wert bis zu dem im selben Klammerausdruck rechts stehenden Wert läuft. Die den Ausdruck END enthaltenden Zeilen bezeichnen jeweils das Ende der entsprechenden Programmschleife. Alle anderen Zeilen, die die Form einer Gleichung haben, sind als Definition der links des Gleichheitszeichens stehenden Variablen durch den aus sich selbst heraus verständlichen mathematischen Ausdruck rechts des Gleichheitszeichens zu verstehen. Mit d_max ist ein Parameter bezeichnet, der einen maximalen Abstand zwischen solchen Klassen bezeichnet, deren Häufigkeiten, also deren Belegungen mit Messwerten der beiden Sätze, wegen der Ähnlichkeit dieser Klassen noch bei der Bewertung der Ähnlichkeit der Messwertsätze berücksichtigt werden sollen. Der maximale Abstand d_max kann bei einer einfachen Ausführung der Erfindung z. B. als d_max = 1 gewählt werden, möglich sind aber auch größere Werte. Die Zahl I der Klassen, die auch angibt, bis zu welchem Wert der Index i läuft, kann größenordnungsmäßig z. B. I = 50 betragen.Each line of this representation should stand for a program command, wherein a first used to calculate the distance measure dist auxiliary size as a match and another auxiliary size is referred to as m. For d, h, i, q _i and v _j (where j is chosen here as i + h in each case), these are further variables, where q _i and v _j each belong to a set of variables and i or j = i + h are indicated. The lines starting with FOR denote the beginning of a program loop in which the variable named after it runs in integer steps from the value left in the brackets on the left to the value on the right in the same parenthesis expression. The lines containing the expression END each indicate the end of the corresponding program loop. All other lines, which have the form of an equation, are to be understood as a definition of the variables to the left of the equal sign by the mathematically expressible expression on the right of the equal sign. With d _max a parameter is designated, which designates a maximum distance between such classes whose frequencies, thus their assignments with measured values of the two sets, because of the similarity of these classes still with the evaluation of the similarity of the measured value sets are to be considered. The maximum distance d _max can in a simple embodiment of the invention z. B. be selected as d _max = 1, but are also possible larger values. The number I of the classes, which also indicates up to which value the index i is running, can be of the order of magnitude z. B. I = 50.

Entscheidend ist ferner, dass die Variablen q_i und v_j (für Werte der Indizes i und j, die Klassen entsprechen) zu Beginn des Verfahrens als den (der jeweiligen Klasse zugeordneten) Häufigkeiten der beiden Häufigkeitsverteilungen entsprechend definiert werden, dass also die Variablen q_i vor der ersten Neudefinition dieser Variablen den Häufigkeiten der einem ersten Bild entsprechenden Häufigkeitsverteilung entsprechen, die Variablen v_j vor einer ersten Neudefinition beim Durchlaufen des Algorithmus den Häufigkeiten der dem zweiten Bild entsprechenden Häufigkeitsverteilung. Zusätzlich gelte vj = 0 wenn j ≤ 0 oder j > I, ai,j = 1/[1 + |i – j|],wobei die Parameter a_i,j als Matrixelemente einer Ähnlichkeitsmatrix zu verstehen sind.It is also decisive that the variables q _i and v _j (for values of the indices i and j corresponding to classes) are defined at the beginning of the method as the frequencies of the two frequency distributions assigned to the respective class, ie that the variables q _i before the first redefinition of these variables correspond to the frequencies of the frequency distribution corresponding to a first image, the variables v _j before a first redefinition when passing through the algorithm the frequencies of the frequency distribution corresponding to the second image. In addition, apply v j = 0 if j ≦ 0 or j> I, a i, j = 1 / [1 + | i - j |], where the parameters a _{i, j} are to be understood as matrix elements of a similarity matrix.

Das so gewonnene Abstandsmaß dist hat die Eigenschaft, bei einem Vergleich zweier identischer Bilder und damit einem Vergleich zweier identischer Häufigkeitsverteilungen den Wert dist = 0 und bei einem Vergleich zunehmend unterschiedlicherer Bilder, von denen hier allerdings nur jeweils die Grauwertverteilung berücksichtigt wird, größere Werte bis zu dist = 1 anzunehmen. Dabei berücksichtigt das Verfahren auch die Ähnlichkeit von Messwerten, hier also Grauwerten, die zwar nur geringfügig voneinander abweichen, aber in benachbarten Klassen oder Bins liegen. Der Rechenaufwand für die Durchführung des Verfahrens ist dennoch ausgesprochen gering und nimmt mit zunehmender Anzahl I von Klassen lediglich mit der Ordnung O(I) zu.The distance measure dist thus obtained has the property of comparing two identical images and thus a comparison of two identical frequency distributions, the value dist = 0 and comparing increasingly different images, of which, however, only the gray value distribution here is taken into account, to accept larger values up to dist = 1. The method also takes into account the similarity of measured values, in this case gray values, which differ only slightly from one another, but lie in neighboring classes or bins. The computational effort for the implementation of the method is still extremely low and increases with increasing number I of classes only with the order O (I).

Dabei entspricht die durch das Abstandsmaß dist angegebene Unähnlichkeit zwischen verschiedenen Häufigkeitsverteilungen einer unbefangen wahrgenommenen Abweichung zwischen den entsprechenden Histogrammen. Beispielhaft wird das in den 1(a) und (b) veranschaulicht.In this case, the dissimilarity between the different frequency distributions given by the distance dimension dist corresponds to an unobserved deviation between the corresponding histograms. This is exemplified in the 1 (a) and (b) illustrates.

In 1(a) links sind übereinander eine erste Häufigkeitsverteilung Q₁ und eine zweite Häufigkeitsverteilung V₁ und rechts daneben die gleiche erste Häufigkeitsverteilung Q₁ über einer anderen zweiten Häufigkeitsverteilung V₂ abgebildet. Sowohl die Häufigkeitsverteilungen Q₁ und V₁ als auch die Häufigkeitsverteilungen Q₁ und V₂ stimmen in genau einem Bin überein. Alle drei Häufigkeitsverteilungen Q₁, V₁ und V₂ zeigen jeweils genau ein weiteres Bin mit einer nicht verschwindenden Häufigkeit, wobei diese Bins aber zwischen Q₁ und V₁ sowie zwischen Q₁ und V₂ nicht übereinstimmen. Das mit dem beschriebenen Verfahren ermittelte Abstandsmaß wird jedoch bei einem Vergleich der in 1(a) links abgebildeten Häufigkeitsverteilungen Q₁ und V₁ kleiner ausfallen als bei einem Vergleich der dort rechts abgebildeten Häufigkeitsverteilungen Q₁ und V₂, weil die nicht übereinstimmenden Bins bei den beiden zuerst genannten Häufigkeitsverteilungen Q₁ und V₁ näher beieinander liegen als bei den Häufigkeitsverteilungen Q₁ und V₂. Insofern stimmt die Bewertung der Ähnlichkeit bzw. Unähnlichkeit zwischen den beiden Paaren von Häufigkeitsverteilungen Q₁ und V₁ bzw. Q₁ und V₂ mit der unbefangenen Wahrnehmung überein. Bei einem einfachen Vergleich jeweils der beiden Histogramme Bin für Bin dagegen würde die Ähnlichkeit bzw. Unähnlichkeit zwischen den Häufigkeitsverteilungen Q₁ und V₁ bzw. Q₁ und V₂ im Widerspruch zur unbefangenen Wahrnehmung gleich bewertet.In 1 (a) On the left side, a first frequency distribution Q ₁ and a second frequency distribution V ₁ are superimposed on one another and, to the right, the same first frequency distribution Q _{1 is shown} above another second frequency distribution V ₂ . Both the frequency distributions Q ₁ and V ₁ and the frequency distributions Q ₁ and V ₂ coincide in exactly one bin. All three frequency distributions Q ₁ , V ₁ and V ₂ each show exactly one more bin with a non-vanishing frequency, but these bins do not match between Q ₁ and V ₁ and between Q ₁ and V ₂ . However, the distance measure determined with the method described is determined by a comparison of in 1 (a) The frequency distributions Q ₁ and V ₁ shown on the left are smaller than in a comparison of the frequency distributions Q ₁ and V ₂ shown on the right, because the mismatched bins are closer to one another in the first frequency distributions Q ₁ and V ₁ than in the frequency distributions Q ₁ and V ₂ . In this respect, the evaluation of the similarity or dissimilarity between the two pairs of frequency distributions Q ₁ and V ₁ or Q ₁ and V ₂ agrees with the unbiased perception. In a simple comparison of each of the two histograms Bin for Bin, however, the similarity or dissimilarity between the frequency distributions Q ₁ and V ₁ or Q ₁ and V _{2 would be} assessed the same as the unbiased perception.

In entsprechender Darstellung ist in 1(b) ein weiteres Beispiel veranschaulicht, dem zufolge eine andere erste Häufigkeitsverteilung Q₂, wie dort links dargestellt, mit der schon in 1(a) gezeigten Häufigkeitsverteilung V₁ verglichen werden soll und zusätzlich bei Anwendung des gleichen Verfahrens mit einer anderen zweiten Häufigkeitsverteilung V₃, die in 1(b) rechts unter der Häufigkeitsverteilung Q₂ gezeigt ist. Die Häufigkeitsverteilung V₃ stellt dabei eine Gleichverteilung dar, während die Häufigkeitsverteilung Q₂ wieder nur zwei Bins mit nicht verschwindender Häufigkeit zeigt, die aber gegenüber den belegten Bins der Häufigkeitsverteilung V₁ leicht verschoben sind. Mit dem hier vorgeschlagenen Verfahren werden die beiden in 1(b) links dargestellten Häufigkeitsverteilungen Q₂ und V₁ als weniger voneinander abweichend bewertet als die beiden in 1(b) rechts dargestellten Häufigkeitsverteilungen Q₂ und V₃. Das entspricht wieder der unbefangenen Wahrnehmung. Bei Anwendung eines herkömmlichen einfachen Verfahrens, bei dem die Häufigkeitsverteilungen bzw. Histogramme nur Bin für Bin verglichen werden, würde dagegen der Abstand zwischen den beiden rechts abgebildeten Häufigkeitsverteilungen Q₂ und V₃ unangemessenerweise geringer bewertet als der Abstand bzw. die Unähnlichkeit zwischen den viel ähnlicheren Histogrammen bzw. Häufigkeitsverteilungen Q₂ und V₁. Auch ist das mit dem hier vorgeschlagenen Verfahren erzielte Ergebnis viel weniger sensitiv bezüglich einer von der genauen Lage der Grenzen zwischen den Bins abhängigen und daher in gewissem Rahmen zufälligen Zuordnung von Messwerten zu benachbarten Bins.In corresponding representation is in 1 (b) illustrates another example, according to which another first frequency distribution Q ₂ , as shown there on the left, with the already in 1 (a) frequency distribution V ₁ shown should be compared and in addition when using the same method with another second frequency distribution V ₃ , the in 1 (b) shown right under the frequency distribution Q ₂ . In this case, the frequency distribution V ₃ represents an equal distribution, while the frequency distribution Q ₂ once again shows only two bins with non-vanishing frequency, but these are slightly shifted in comparison with the occupied bins of the frequency distribution V ₁ . With the method proposed here, the two in 1 (b) The frequency distributions Q ₂ and V ₁ shown on the left are rated as less divergent than the two in 1 (b) Frequency distributions Q ₂ and V ₃ shown on the right. This again corresponds to the unbiased perception. By contrast, using a conventional simple method in which the frequency distributions or histograms are compared bin by bin, the distance between the two frequency distributions Q ₂ and V ₃ shown on the right would be inappropriately rated lower than the distance or dissimilarity between the much more similar ones Histograms or frequency distributions Q ₂ and V ₁ . Also, the result obtained by the method proposed here is much less sensitive to a correlation of measured values with neighboring bins, which depends on the exact location of the boundaries between the bins and therefore, to a certain extent, at random.

Selbstverständlich könnten auch Sätze jeder anderen Art von Messwerten, die in eindimensional indizierbare Klassen einteilbar sind, in beschriebener Weise miteinander verglichen werden. Dabei können die Messwerte auch Messgrößen wiedergeben, die insofern zyklische Struktur haben, als eine große Ähnlichkeit nicht nur zwischen unmittelbar benachbarten Bins, sondern auch zwischen einem ersten und einem letzten Bin zu berücksichtigen ist. Das kann z. B. der Fall sein, wenn die Messgröße einen Farbton wiedergibt, der auf einem Farbkreis darstellbar ist. In diesem Fall ist es zweckmäßig, in dem oben beschriebenen Algorithmus die Definition der Variablen v_j und a_i,j zu ersetzen durch folgende Definitionen: vj+I = vj, ai,j = 1/[1 + min(|i – j|, I – (|i – j|)] Of course, sentences of any other kind of measurement values that can be divided into one-dimensionally indexable classes could also be compared in the manner described. In this case, the measured values can also reproduce measured variables that have a cyclical structure insofar as a large similarity not only between directly adjacent bins but also between a first and a last bin must be taken into account. This can z. B. be the case when the measured variable reflects a hue that can be displayed on a color wheel. In this case, it is expedient to replace in the algorithm described above the definition of the variables v _j and a _{i, j} by the following definitions: v j + I = v j . a i, j = 1 / [1 + min (| i-j |, I - (| i-j |)]

Bei einer Weiterbildung der Erfindung, mit der eine Bearbeitung auch von Messwertsätzen mit verschiedenen Anzahlen von Messwerten pro Messwertsatz möglich ist, werden die Variablen v_i und q_i zusätzlich zunächst so normiert, dass Σ_iv_i = Σ_iq_i gilt.In a further development of the invention, with a processing and measuring value sets with different numbers of measurements per set of measured values is possible, the variables v _i and q _i also first normalized so that Σ is true _i v _i = Σ _i q _i.

Das in beschriebener Weise berechnete Abstandsmaß dist kann schließlich mit einer Schwelle und/oder mit anderen entsprechend berechneten Abständen zwischen anderen Messwertsätzen verglichen werden, worauf die zwei Sätze von Messwerten in Abhängigkeit von einem Ergebnis dieses Vergleichs als ähnlich einander zugeordnet oder als unähnlich bewertet werden können.Finally, the distance measure dist calculated in the manner described can be compared with a threshold and / or with other correspondingly calculated distances between other measured value sets, whereupon the two sets of measured values, as a function of a result of this comparison, are similar can be assigned to one another or rated as dissimilar.

Bei zur Ausführung dieser oder anderer Ausführungen der Erfindung verwendeten Vorrichtung kann es sich um ein System handeln, das zusätzlich zur Aufnahme der Messwerte geeignet ist und beispielsweise eine Kamera zum Aufnehmen von Bilddaten oder eine Einrichtung zum Auslesen solcher Messwerte umfassen.at to carry out this or other designs The device used in the invention may be a system act, in addition to recording the readings suitable is and for example a camera for taking image data or a device for reading such measured values.

Ein zweites Ausführungsbeispiel unterscheidet sich von dem eben beschriebenen Ausführungsbeispiel mit seinen Abwandlungen dadurch, dass die Klassen oder Bins, in die die Messwerte eingeteilt werden, durch ein Indexpaar indiziert werden. Das ist dann zweckmäßig, wenn die Messwerte zwei Messgrößen wiedergeben, also zweidimensional sind. (Der Begriff Messwert im Sinne der vorliegenden Schrift umfasse den Fall, dass der Messwert Mehrdimensional ist.) im Fall von Bilddaten können diese Messgrößen z. B. eine Helligkeit und eine Farbsättigung oder eine Helligkeit und einen Farbton oder einen Farbton und eine Farbsättigung sein. Jede Stelle des Indexpaars indiziert dann ein Unterintervall aus einem Messwertraum der entsprechenden Messgröße. Der für das Verfahren in dieser Ausführung der Erfindung verwendete Algorithmus unterscheidet sich geringfügig von dem zuvor beschrie benen Algorithmus und ist nachfolgend in entsprechender, selbsterklärender Weise wiedergegeben:

mit Vk,l = 0 wenn k ≤ 0 oder k > I oder l ≤ 0 oder l > J,und ai,j;k,l = 1/[1 + (|i – k|2 + |j – l|2)1/2] A second embodiment differs from the embodiment just described with its modifications in that the classes or bins into which the measured values are divided are indexed by an index pair. This is useful if the measured values reflect two measured quantities, ie are two-dimensional. (The term measured value in the context of the present document encompasses the case where the measured value is multidimensional.) In the case of image data, these measured variables can be used, for example. B. a brightness and a color saturation or a brightness and a hue or a hue and a color saturation. Each digit of the index pair then indexes a subinterval from a measurement space of the corresponding measurand. The algorithm used for the method in this embodiment of the invention differs slightly from the previously described algorithm and is reproduced below in a corresponding, self-explanatory manner:

With V k, l = 0 if k ≦ 0 or k> I or l ≦ 0 or l> J, and a i, j; k, l = 1 / [1 + (| i - k | 2 + | j - l | 2 ) 1.2 ]

Für eine Abwandlung des damit sich ergebenden Verfahrens sei angenommen, dass die Messwerte der beiden zu vergleichenden Sätze von Messwerten wieder jeweils einem Bildpunkt zweier zu vergleichender Bilder zuzuordnen sind und den Farbton und die Farbsättigung des jeweiligen Bildpunkts repräsentieren. Dabei sei ein Farbton-Kanal in I Bins oder Klassen eingeteilt, die durch die erste Stelle des Indexpaares (i, j) indiziert seien. Weil der Farbton zweckmäßigerweise auf einem Farbkreis darstellbar und insofern eine zyklische Messgröße ist, soll die erste und die letzte durch die erste Stelle des Indexpaares definierte Klasse als benachbart behandelt werden. Dafür sind die Definitionen der Variablen v_k,l und der Matrixelemente a_i,j;k,l wie folgt abzuwandeln: Vk,l = 0 wenn l ≤ 0 oder l > J, Vk+I,l = Vk,l, ai,j;k,l = 1/[1 + (min(|i – k|, I – |i – k|))2 + |j – l|2)1/2] For a modification of the method resulting therefrom, it is assumed that the measured values of the two sets of measured values to be compared are in each case again assigned to a pixel of two images to be compared and represent the hue and the color saturation of the respective pixel. Let a hue channel be divided into I bins or classes indexed by the first digit of the index pair (i, j). Since the hue is expediently representable on a color wheel and thus a cyclic measured variable, the first and the last class defined by the first digit of the index pair should be treated as adjacent. For this, the definitions of the variables v _{k, l} and the matrix elements a _{i, j; k, l are} to be modified as follows: V k, l = 0 if l ≦ 0 or 1> J, V k + l, l = V k, l . a i, j; k, l = 1 / [1 + (min (| i-k |, I-| i-k |)) 2 + | j - l | 2 ) 1.2 ]

Für die Variablen q_i,j und v_i,j deren Indizes Klassen entsprechen, soll natürlich jeweils wie bei dem ersten Ausführungsbeispiel gelten, dass diese Variablen zu Beginn des Algorithmus als den Häufigkeiten der beiden zu vergleichenden Häufigkeitsverteilungen entsprechend definiert sind.For the variables q _{i, j} and v _{i, j} whose indexes correspond to classes, it should of course apply in each case as in the first exemplary embodiment that these variables are defined correspondingly at the beginning of the algorithm as the frequencies of the two frequency distributions to be compared.

In analoger Weise können selbstverständlich auch Sätze von Messwerten verglichen werden, bei denen jeder Messwert Ergebnisse für eine größere Anzahl von allgemein n Messgrößen wiedergibt. In dem Fall ist es zweckmäßig, die Messwerte in Klassen einzuteilen, die mit n-Tupeln indiziert sind. Der dann zu verwendende Algorithmus ergäbe sich durch eine Abwandlung des zuvor beschriebenen Ausführungsbeispiels derart, dass der Kern des Algorithmus bei entsprechender Darstellungsweise wiedergegeben werden kann in folgender Weise:

Analogously, it is of course also possible to compare sets of measured values in which each measured value reproduces results for a larger number of generally n measured quantities. In that case, it is convenient to classify the measurements into classes indexed with n-tuples. The algorithm then to be used would result from a modification of the previously described embodiment such that the core of the algorithm can be reproduced in the following manner in the following manner:

Die jetzt mit n-stelligen Indizes indizierten Variablen q_i1, ..., i_n und v_j1, ..., j_n in werden wieder zu Beginn des Algorithmus als den Häufigkeiten der beiden zu vergleichenden Häufigkeitsverteilung entsprechend definiert, wobei analog zu den vorhergehenden Beispielen eine entsprechende Definition der Variablen v_j1, ..., j_n für solche Indexbelegungen, die keiner Klasse entsprechen, berücksichtigen kann, ob eine Messgröße zyklischen Charakter hat oder nicht.The variables q _i1 ,..., I _n and v _j1 ,..., J _n in which are now indexed with n-digit indices are again defined correspondingly at the beginning of the algorithm as the frequencies of the two frequency distributions to be compared previous examples, a corresponding definition of the variables v _j1 ,..., j _n for such index assignments that do not correspond to any class can take into account whether or not a measured variable has a cyclic character.

Die Zahl der Messgrößen n, die eine Dimension der dann mehrdimensionalen Messwerte wiedergibt, kann beliebige Werte mit n > 1 einnehmen.The Number of measurands n, which is one dimension of then reproduces multi-dimensional readings, can be arbitrary values with n> 1.

In einem zuletzt beschriebenen Beispiel sei n = 3 gewählt, wobei die Messwerte für jeden Bildpunkt zu vergleichender Bilder entsprechend der HSV- Darstellung des Farbraums eine Helligkeit, einen Farbton und eine Farbsättigung repräsentieren sollen. Eine grafische Veranschaulichung dieser Darstellung des Farbraums ist in 2 wiedergegeben, wobei dort V (value) für die Helligkeit, S (saturation) für die Farbsättigung und H (hue) für den Farbton steht. Von den drei Messgrößen ist also eine, nämlich der Farbton H, als zyklische Messgröße zu behandeln.In a last-described example, let n = 3 be selected, wherein the measured values for each pixel to be compared in accordance with the HSV representation of the color space should represent a brightness, a hue and a color saturation. A graphic illustration of this representation of the color space is in 2 where V (value) stands for the brightness, S (saturation) for the color saturation and H (hue) for the hue. Of the three measured quantities, one, ie the hue H, is to be treated as a cyclic measured quantity.

Das beschriebene Verfahren kann in seinen verschiedenen Ausgestaltungen insbesondere zum automatischen Szenenerkennen oder zur Mustererkennung dienen. Bei höherdimensionalen Messwerten kann zusätzlich zu den erwähnten Farbmerkmalen auch eine räumliche Struktur des Bildes berücksichtigt werden. Dabei können in beschriebener Weise auch Bilder aus einer unter Umständen sehr großen Zahl von Bildern paarweise oder jeweils mit einem oder mehreren Referenzbildern verglichen werden. Das beschriebene Verfahren, das allgemein einem Vergleich von Häufigkeitsverteilungen bei Messwerten dient, eignet sich also insbesondere für einen Vergleich von Häufigkeitsverteilungen, die Bildeigenschaften oder Bildmerkmale wiedergeben. Eine bevorzugte Anwendung liegt im Vergleich von Häufigkeitsverteilungen von Farben in zu vergleichenden Bildern.The described method can serve in its various embodiments in particular for automatic scene recognition or for pattern recognition. For higher-dimensional readings, too In addition to the color features mentioned also a spatial structure of the image are taken into account. In this way, images from a possibly very large number of images can be compared in pairs or in each case with one or more reference images in the manner described. The described method, which generally serves to compare frequency distributions for measured values, is therefore particularly suitable for comparing frequency distributions that reproduce image properties or image features. A preferred application is in comparison of frequency distributions of colors in images to be compared.

Aufgrund der geringen Rechenkomplexität des vorgeschlagenen Verfahrens ist es insbesondere für eine automatische Szenenerkennung nutzbringend einsetzbar, bevorzugt in Form des beschriebenen Vergleichs von Farbhistogrammen. Dabei leistet das beschriebene Verfahren bzw. der beschriebene Algorithmus insbesondere Folgendes:
Ähnliche Farben können als ähnlich behandelt und berücksichtigt werden, selbst dann, wenn sie unterschiedlichen Klassen oder Bins zugeordnet werden. Das entspricht sehr weitgehend einer stetigen Modellierung der Farbähnlichkeit im Gegensatz zu einer einfachen Diskretisierung des Farbraums ohne Berücksichtigung der genannten Ähnlichkeiten. So können auch Bilder verglichen und als ähnlich erkannt werden, die aus Shots mit leicht variierender Beleuchtung oder Beschattung stammen.Due to the low computational complexity of the proposed method, it is useful in particular for automatic scene recognition, preferably in the form of the described comparison of color histograms. The described method or the described algorithm makes in particular the following:
Similar colors can be treated and considered as similar, even if they are assigned to different classes or bins. This corresponds very much to a continuous modeling of the color similarity in contrast to a simple discretization of the color space without consideration of the above-mentioned similarities. Thus, images can be compared and recognized as similar, which come from shots with slightly varying lighting or shading.

Das vorgeschlagene Abstandsmaß eignet sich nach dem Gesagten auch für einen Vergleich mehrdimensionaler Farbhistogramme, die eine stärkere Unterscheidungskraft haben als eindimensionale Histogramme, weil mehr Information berücksichtigt wird.The proposed distance is suitable after what has been said also for a comparison of multidimensional color histograms, which are more distinctive than one-dimensional Histograms, because more information is taken into account.

All das wird mit ausgesprochen geringer Rechenkomplexität erreicht. So ist es z. B. denkbar, mit dem beschriebenen Verfahren einen Film zu untersuchen, der beispielsweise zwischen 1.000 und 2.000 Shots umfassen kann. Wenn mehrere Key-Frames (repräsentative Bilder eines Shots) für jeden Shot verwendet werden und jeder Shot beispielsweise mit seinen fünfzig Vorgängern verglichen werden soll, wobei für jedes Paar von Shots jeder Key-Frame eines Shots mit jedem Key-Frame des anderen Shots zu vergleichen ist, können bei solchen Anwendungen durchschnittlich größenordnungsmäßig 100.000 Histogramm-Vergleiche bzw. Vergleiche von Sätzen von Messwerten erforderlich sein. Mit den hier beschriebenen Verfahren kann diese Aufgabe aufgrund der ausgesprochen geringen Rechenkomplexität in befriedigender Weise bewältigt werden.Alles this is achieved with exceptionally low computational complexity. So it is z. B. conceivable, with the described method a film to investigate, for example, between 1,000 and 2,000 shots may include. If multiple keyframes (representative Pictures of a shot) can be used for each shot and every shot, for example, with its fifty predecessors should be compared, with each pair of shots each key frame of a shot with each key frame of the other shot can be compared to average in such applications on the order of 100,000 Histogram comparisons or comparisons of sets of measured values to be required. This can be done with the methods described here Task due to the extremely low computational complexity be handled satisfactorily.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

- Rubner et al. in the International Journal of Computer Vision, 40 (2), pp. 99-121 [0005]

Claims

Method for automatically comparing two sets of measured values, in which the measured values of both sets are each assigned to a class of a finite number of classes defined by indexes, so that a frequency distribution is defined for each of the two sets which is a frequency for each class the measurement values falling within this class indicate that a measure of distance between these frequency distributions reflecting a similarity or dissimilarity between the two sets of measurements is calculated as a function of a final value of a first auxiliary quantity, here exemplified as a match, where the first auxiliary quantity is match calculates an algorithm using two sets of variables by progressing at a given maximum distance d _max ≥ 1 for all integer distances d with 0 ≤ d ≤ d _max , starting with d = 0 and increasing to larger distances d, respectively for all e are indices i and j separated by the distance d from each other - a current value of a further auxiliary variable is defined as m = min (q i ', v j '), where m stands for the further auxiliary quantity, q _i 'for the variables of a first of the two sets of variables and v _j ' for the variables of the second set of variables, wherein the variables of the two sets of variables are defined at the beginning of the algorithm as q _i '= q _i , v _j '= v _j , where q _{i stands} for the frequencies of a first of the two frequency distributions and v _j for the frequencies of the second frequency distribution, whereafter the variables q _i ' and v _j 'are subtracted by subtracting the current value of the further auxiliary variable m is redefined and the current value of the further auxiliary variable m multiplied by a matrix element a _{i, j is added} to a current value of the first auxiliary variable match originally defined as match = 0, wherein the matrix elements a _{i, j form} a similarity matrix with a _{i , i} = 1 for all indices i and 0 ≦ a _{i, j} for all indices i and j spaced apart by at most d _max with i ≠ j.

A method according to claim 1, characterized in that the distance measure is calculated as a function of the final value of the first auxiliary quantity match dist = 1 - match / (Σ i q i ) where dist stands for the distance measure and q _{i is} as defined above, the sum being formed over all classes.

Method according to one of claims 1 or 2, characterized in that the indices are formed by n-tuples with an integer n ≥ 1, wherein the distance d between any two indices i and j is defined as d = max k (d k ) where the maximum is formed over all k with 1 ≤ k ≤ n and d _k is defined as d k = | i k - j k | or as d k = min (| i k - j k |, I k - | i k - j k |) where k indicates the locations of the respective n-tuple and where i _{k stands} for the locations of the index i, j _k for the locations of the index j and I _k for the number of values which are the k-th place of the classes Indices can be accepted.

Method according to claim 3, characterized in that the matrix elements a _{i, j of} the similarity matrix are defined as a i, j = 1 / [1 + (Σ k d k 2 ) 1.2 ] where d _k is defined as above and the sum over all k is formed with 1 ≤ k ≤ n.

Method according to one of claims 3 or 4, characterized in that for calculating the first auxiliary variable match - a first program loop is opened in which the distance d in integer steps from 0 to the integer selected maximum distance d _max runs, - which successively for each k with 1 ≤ k ≤ n a program loop is opened in each case an additional, here exemplarily as h _k designated variable over all integer values with -d ≤ h _k ≤ + d runs, - which successively for all k with 1 ≤ k ≤ n one more program loop is opened in each case in which the value of the point i _{k of} the index i over all I _k of this point for indexing the class acceptable values runs, - in which case the current value of the further auxiliary variable m is defined when m = min (q i ', v i + h '), where q _i 'is as defined above, h stands for the n-tuple formed from the variables h _k and v _{i + h} ' stands for the variables of the second set of variables and is defined at the beginning of the algorithm as v _{i + h} '= v _{i + h} if the n-tuple i + h has a value acceptable from the indices of the classes, and as v _{i + h} '= 0 or as n _{i + h} ' = v _{i + h + L} if at least one digit of the n-tuple i + h has a value unacceptable from the corresponding location of the indices of the classes, where L is an n-tuple defined by L _k = 0 when the k-th location of the n-tuple i + h has a value acceptable from the corresponding location of the indices of the classes, and otherwise by L _k = I _k or L _k = -I _k such that all locations of the n-tuple i + h + L are one of the corresponding locations of the Indexes of the classes have acceptable value, - according to which the variables q _i 'and v _{i + h} ' are respectively redefined by subtracting the current value of the further auxiliary variable m and that with the Matrix element a _{i, i + h} multiplied current value of the further auxiliary variable m is added to a current value of the first auxiliary variable match defined at the beginning of the algorithm as match = 0, - whereupon all the program loops mentioned are closed again in the reverse order.

Method according to one of claims 1 to 5, characterized in that the measured values are first normalized such that Σ _i v _i = Σ _i q _i , wherein q _i and v _i are defined as above and the sums are formed over all classes ,

Method according to one of claims 1 to 6, characterized in that the calculated distance measure with a threshold and / or with other appropriately calculated distance measures between sets of measurements and the two sets of measured values depending on a result of this comparison as similar to each other.

Method according to one of claims 1 to 7, characterized in that it is for determining a similarity is used between two images, with the readings of the two Play sets of picture data of both pictures.

Method according to claim 8, characterized in that that the measured values are each assigned to a pixel, wherein the classes intervals for brightness values and / or hues and / or represent color saturation.

Method according to one of claims 8 or 9, characterized in that it is for automatic recognition of Scene, Shot or Subshotwechsel or pattern recognition is used.

Method according to one of claims 8 to 10, characterized in that there are images of a plurality of images in pairs or each compared with a reference image become.

Method according to one of claims 1 to 11, characterized in that it is programmed accordingly Device is performed.

Device for automated comparison at least two sets of measured values, characterized in that programmatically for performing a method is arranged according to one of claims 1 to 12.