DE102012012626B4 - Method for emphasizing and detecting repeated useful signal components within a source signal - Google Patents
Method for emphasizing and detecting repeated useful signal components within a source signal Download PDFInfo
- Publication number
- DE102012012626B4 DE102012012626B4 DE102012012626.3A DE102012012626A DE102012012626B4 DE 102012012626 B4 DE102012012626 B4 DE 102012012626B4 DE 102012012626 A DE102012012626 A DE 102012012626A DE 102012012626 B4 DE102012012626 B4 DE 102012012626B4
- Authority
- DE
- Germany
- Prior art keywords
- signal
- values
- positions
- point
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 157
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000035508 accumulation Effects 0.000 claims abstract description 6
- 238000009825 accumulation Methods 0.000 claims abstract description 6
- 239000006227 byproduct Substances 0.000 claims abstract description 5
- 239000000047 product Substances 0.000 claims description 44
- 230000009466 transformation Effects 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims 4
- 238000001514 detection method Methods 0.000 description 22
- 238000003909 pattern recognition Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52001—Auxiliary means for detecting or identifying sonar signals or the like, e.g. sonar jamming signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Verfahren zur Hervorhebung und Detektion wiederholt auftretender Nutzsignalkomponenten innerhalb eines Quellsignals bei dem- ein eindimensionales Quellsignal q als Folge von Signalwerten vorliegt,- zwei Abstandswerte a1 und a2 als Schätzung der Abstände wiederholt auftretender Nutzsignalkomponenten bekannt sind, umfassend die Schritte- dass aus dem Quellsignal q punktweise Absolutwerte gewonnen werden, x(n) = |q(n)|, resultierend in einem Absolutsignal x,- dass eine um a1 Signalwerte verschobene Version x1 von x gebildet wird, x1(n) = x(n-a1),- dass durch punktweise Produktbildung ein Zwischensignal y1 gebildet wird, y1(n) = x1(n)*x(n),- dass eine um a2 Signalwerte verschobene Version x2 des Zwischensignals y1 gebildet wird, x2(n) = y1(n-a2),- dass durch punktweise Minimumbildung von x2 und y1 ein Resultatssignal y gebildet wird, y(n) = Min(x2(n), y1(n)),- dass aus dem Resultatsignal y durch Auffinden lokaler Maxima oder lokaler Energieanhäufungen Kandidatenpositionen bestimmt werden,- dass aus jeder der Kandidatenpositionen unter Berücksichtigung der Abstandswerte a1 und a2 Wiederholungspositionen im Quellsignal x bestimmt werden- dass die ermittelten Wiederholungspositionen zur weiteren Verarbeitung ausgegeben werden.Method for emphasizing and detecting repeatedly occurring useful signal components within a source signal in which- a one-dimensional source signal q is present as a sequence of signal values, Absolute values are obtained, x(n) = |q(n)|, resulting in an absolute signal x,- that a version x1 of x shifted by a1 signal values is formed, x1(n) = x(n-a1),- that an intermediate signal y1 is formed by product formation point by point, y1(n) = x1(n)*x(n),- that a version x2 of the intermediate signal y1 shifted by a2 signal values is formed, x2(n) = y1(n-a2) ,- that a result signal y is formed by forming a minimum of x2 and y1 point by point, y(n) = Min(x2(n), y1(n)),- that candidate positions are determined from the result signal y by finding local maxima or local energy accumulations ,- that repetition positions in the source signal x are determined from each of the candidate positions, taking into account the distance values a1 and a2- that the repetition positions determined are output for further processing.
Description
Die Erfindung betrifft ein Verfahren zur Hervorhebung und Detektion von Nutzsignalkomponenten, die innerhalb eines Quellsignals - in mehr oder weniger ähnlicher Form - wiederholt auftreten, entsprechend dem Oberbegriff des Anspruchs 1.The invention relates to a method for emphasizing and detecting useful signal components which occur repeatedly within a source signal - in a more or less similar form - according to the preamble of
Eine grundlegendes Problem im Bereich der Verarbeitung digitaler Signale besteht darin, alle potenziell in einem Quellsignal enthaltenen Nutzsignalkomponenten zu detektieren.A fundamental problem in the field of digital signal processing is to detect all useful signal components potentially contained in a source signal.
Die interessierenden Nutzsignalkomponenten können dabei anhand gewisser Kriterien wie Zeitdauer, enthaltenen Frequenzen, Bandbreiten oder Lautstärkeverlauf charakterisiert sein. Alternativ können interessierende Nutzsignalkomponenten anhand von Signalbeispielen gegeben sein.The useful signal components of interest can be characterized using certain criteria such as duration, frequencies contained, bandwidths or volume curve. Alternatively, useful signal components of interest can be given using signal examples.
Ein wichtiger Anwendungsbereich der Signaldetektion ist die Sprachsignalverarbeitung, wo die Detektionsaufgabe im Auffinden bestimmter Worte (Keyword Spotting) innerhalb eines Signals bestehen kann. Ein weiterer Anwendungsbereich ist die akustische Umgebungsüberwachung mittels Mikrophonen, wo das Auftreten bestimmter Objekte oder Sachverhalte anhand charakteristischer Geräusche detektiert werden soll, z.B. Trittschall erzeugt von Gehbewegungen, Fahrzeuggeräusche, Motorengeräusche, menschliche Sprache, Vogelrufe, Maschinenschäden.An important area of application for signal detection is speech signal processing, where the detection task can be to find specific words (keyword spotting) within a signal. Another area of application is acoustic environmental monitoring using microphones, where the occurrence of certain objects or circumstances is to be detected using characteristic noises, e.g. footsteps generated by walking movements, vehicle noises, engine noises, human speech, bird calls, machine damage.
Im Bereich der Funksignalanalyse kann die Detektionsaufgabe im Auffinden bestimmter Funksendungen bestehen. Betrachtet man mehrdimensionale Signale, ergeben sich zahlreiche weitere Anwendungen. So können digitale Bilder als zweidimensionale Signale aufgefasst werden. Eine Detektionsaufgabe besteht dann im Auffinden von Objekten innerhalb von Bildern. Beispiele sind das Auffinden aller Personen in einem von einer Überwachungskamera aufgezeichneten Bild, das Auffinden des Nummernschildes in einem Bild von einem Kraftfahrzeug, das Auffinden aller Gebäude in einem Luftbild, etc.In the field of radio signal analysis, the detection task can be to find specific radio transmissions. Considering multi-dimensional signals, there are numerous other applications. In this way, digital images can be understood as two-dimensional signals. A detection task then consists of finding objects within images. Examples are locating everyone in an image recorded by a surveillance camera, locating the license plate in an image of a motor vehicle, locating all buildings in an aerial photograph, etc.
Als Lösung solcher Detektionsaufgaben erwartet man meist eine Liste aller in einem Quellsignal detektierter Objekte. Im Folgenden werden diese Objekte auch als Nutzsignale bezeichnet. Es ist dabei sinnvoll, jedes detektierte Objekt in Form von seiner Position innerhalb des Quellsignals anzugeben. Die Position kann dabei in einem eindimensionalen Signal durch Start- (und eventuell Endpunkt) angegeben werden, in einem zweidimensionalen Signal als zweidimensionale Region - etwa speziell als Rechteck - und für Signale höherer Dimension entsprechend durch höherdimensionale Teilbereiche.A list of all objects detected in a source signal is usually expected as the solution to such detection tasks. In the following, these objects are also referred to as useful signals. It makes sense to specify each detected object in the form of its position within the source signal. The position can be specified in a one-dimensional signal by the start point (and possibly the end point), in a two-dimensional signal as a two-dimensional region - specifically as a rectangle - and for higher-dimensional signals accordingly by higher-dimensional sub-areas.
In dem erfindungsgemäßen Verfahren zu Grunde liegenden Anwendungskontext geht es um eine Detektionsaufgabe, bei der die zu detektierenden Nutzsignale mehr als einmal im Quellsignal - in einer mehr oder weniger ähnlichen Form - vorkommen, sich also in Form von Nutzsignalkomponenten, kurz auch Signalkomponenten, wiederholen.The application context underlying the method according to the invention involves a detection task in which the useful signals to be detected occur more than once in the source signal—in a more or less similar form—i.e. repeat themselves in the form of useful signal components, or signal components for short.
Beispiele sind für den Fall der Sprachdetektion wiederholte Hilferufe, für den Fall der akustischen Umgebungsüberwachung wiederholte Vogelrufe, Signalgeräusche oder Schrittfolgen (ein Schritt wird wiederholt), für das Funkbeispiel wiederholte Aussendungen derselben Nachricht und für das zweidimensionale Beispiel Luftbilder auf denen ein Fahrzeug eines bestimmten Typs mehrfach vorkommt.Examples are repeated calls for help in the case of voice detection, repeated calls of birds, signal noises or sequences of steps (one step is repeated) in the case of acoustic environmental monitoring, repeated transmissions of the same message for the radio example and aerial photographs showing a vehicle of a certain type several times for the two-dimensional example occurs.
Kommt eine Signalkomponente in einem Signal - in einer mehr oder weniger ähnlichen Form - zwei- (bzw. mehr-) mal vor, so kann man diesen Vorkommen mittels Differenz der jeweiligen Startpunkte einen Abstand zuordnen. Analog kann man bei noch zahlreicherem Vorkommen einer Signalkomponente Abstände aller möglicher Paare angeben - bei M Vorkommen sind dies beispielsweise M*(M-1)/2 mögliche Abstände. An Stelle von Abständen kann man auch von Offsets sprechen. Für den Fall höherer Dimensionen betrachtet man allgemeiner Offset-Vektoren, die den Abstand in jeder Dimension angeben.If a signal component occurs twice (or more) times in a signal - in a more or less similar form - then a distance can be assigned to these occurrences by means of the difference in the respective starting points. In the same way, if a signal component occurs even more frequently, the distances of all possible pairs can be specified - for M occurrences, these are, for example, M*(M-1)/2 possible distances. Instead of distances one can also speak of offsets. For the case of higher dimensions one considers more generally offset vectors which give the distance in each dimension.
Das erfindungsgemäße Verfahren betrifft insbesondere solche Detektionsaufgaben, bei denen vorab bestimmte Abstände wiederholter Nutzsignalkomponenten im Quellsignal bekannt sind. Dies wird von dem erfindungsgemäßen Verfahren vorteilhaft zum Zwecke der Hervorhebung und Detektion dieser fortan als „wiederholt“ bezeichneten Nutzsignalkomponenten innerhalb des Quellsignals genutzt.The method according to the invention relates in particular to such detection tasks in which certain distances between repeated useful signal components in the source signal are known in advance. This is advantageously used by the method according to the invention for the purpose of emphasizing and detecting these useful signal components, which are henceforth referred to as “repeated”, within the source signal.
Kennt man beispielsweise die normierte Drehzahl einer bestimmten Maschine und weiß, dass sich bestimmte Maschinendefekte immer nach einer Umdrehung in gleicher Form akustisch äußern, so kann man hieraus einen (zeitlichen) Abstand ableiten und mit dem erfindungsgemäßen Verfahren zum Auffinden von Maschinendefekten verwenden. Ein weiteres Beispiel ist die Detektion von Störsignalen im Funkspektrum, denen charakteristische Obertonspektren zu Grunde liegen, so dass sich Signalkomponenten einer bestimmten Störung stets in einem bekannten Frequenzabstand wiederholen.If one knows, for example, the normalized speed of a specific machine and knows that certain machine defects always express themselves acoustically after one revolution in the same form, a (time) interval can be derived from this and used with the method according to the invention for finding machine defects. Another example is the detection of interference signals in the radio spectrum, which are based on characteristic overtone spectra, so that signal components of a specific interference are always repeated at a known frequency spacing.
Stand der TechnikState of the art
Es werden im Folgenden Methoden zur Hervorhebung und Detektion wiederholter Nutzsignalkomponenten, auch wiederholte Signalkomponenten genannt, innerhalb von Quellsignalen nach dem Stand der Technik vorgestellt. Solche Verfahren sind beispielsweise schon aus der
Charakteristisch für eine Vielzahl von Verfahren zur Detektion wiederholter Signalkomponenten nach dem Stand der Technik ist ein Vorgehen, bei dem zunächst wiederholte Vorkommen einer Signalkomponente verstärkt (im Sinne von herausgearbeitet, hervorgehoben) werden, somit ein Zwischensignal abgeleitet wird, und nachfolgend einem solchen Verstärkungsschritt aus dem Zwischensignal signifikante Signalwerte, also Indizien auf eine Signalwiederholung, bestimmt werden.Characteristic of a large number of methods for detecting repeated signal components according to the prior art is a procedure in which first repeated occurrences of a signal component are amplified (in the sense of worked out, emphasized), thus an intermediate signal is derived, and subsequently such an amplification step from the Intermediate signal significant signal values, ie indications of a signal repetition, are determined.
Ein wichtiges Beispiel solcher Verfahren sind korrelative Verfahren, insbesondere Autokorrelationsverfahren. Die Autokorrelation, nachzulesen in jedem Standardwerk zur Signalverarbeitung, basiert darauf, ein gegebenes Nutzsignal mit um gewisse ganzzahlige Abstandswerte a verschobenen Versionen desselben Nutzsignals zu multiplizieren und das resultierende Produktsignal aufzusummieren, AKF[x] (a) = ... x(0)*x(a) + x(1)*x(1+a) + x(2)*x(2+a) +... , wobei die Summe über einen geeigneten Teilbereich des Quellsignals x bestimmt wird. Im Allgemeinen werden dazu systematisch eine Folge von Abstandswerten a, etwa a gleich 0, 1, 2, ... , n, durchlaufen. Im resultierenden Autokorrelationssignal AKF[x] zu x, bestehend aus den Werten AKF[x] (0), AKF[x] (1),... AKF[x] (n), deuten besonders stark ausgeprägte Werte, erkennbar im Allgemeinen durch lokale Maxima, auf im Quellsignal x wiederholte Signalkomponenten hin: ist AKF[x](a) besonders stark ausgeprägt, liegt im Quellsignal x gegebenenfalls eine Wiederholung einer Signalkomponenten im Abstand a vor. Dies macht sich beispielsweise das in der
Ein bekannter Vorteil der Autokorrelation ist, dass sie sehr robust ist in dem Sinne, dass (z. B. gegenüber einem Störpegel) auch äußerst schwache Wiederholungen detektiert werden können. Effiziente Verfahren zur Bestimmung von Korrelationen sind zum Beispiel aus der
In der
Aus der
Weitere Varianten korrelativer Verfahren sind in großer Zahl bekannt. So kann die Autokorrelation auf die Fouriertransformierte, auch Spektralsignal genannt, Dx eines Quellsignals x angewendet werden, um Wiederholungen innerhalb des Spektralsignals Dx zu detektieren. Beispiele solcher spektralen Wiederholungen sind Obertöne oder Harmonische eines Grundtons, beispielsweise vorkommend in Sprache- oder Musiksignalen. Weitere Beispiele sind sogenannte Mehrträgersignale im Bereich der Funksignale.From the
A large number of other variants of correlative methods are known. Thus, the autocorrelation can be applied to the Fourier transform, also called spectral signal, Dx of a source signal x in order to detect repetitions within the spectral signal Dx. Examples of such spectral repetitions are overtones or harmonics of a fundamental, for example occurring in speech or music signals. Further examples are so-called multi-carrier signals in the field of radio signals.
In einigen Fällen kann auch die Fouriertransformation eines Quellsignals für sich genommen dazu herangezogen werden, um das Auftreten - in einer mehr oder weniger ähnlichen Form - wiederholter Signalkomponenten zu detektieren. Bevorzugt geschieht dies in solchen Fällen, wenn besonders viele Wiederholungen und zugehörige Abstandswerte a1, a2,... einer Signalkomponente bekannt sind und zudem die Abstandswerte möglichst ganzzahlige Vielfache voneinander sind, etwa a2 = k*a1, wobei k eine positive ganze Zahl ist, wobei insbesondere bevorzugt ist, wenn alle Abstandswerte übereinstimmen. Im Gegensatz zur (Auto-) Korrelation, die besonders zur Detektion von wiederholten Signalkomponenten geeignet ist, ist die Fouriertransformation nämlich besonders zur Detektion periodischer Wiederholungen, also solcher Wiederholungen, die sich nach einem gewissen Abstandswert stets wiederholen, geeignet. Liegen in einem mittels der Fouriertransformation analysierten Quellsignal besonders viele Wiederholungen einer Signalkomponente vor, so ist dies mit Methoden nach dem Stand der Technik an bestimmten Stellen der Fouriertransformierten abzulesen.In some cases, the Fourier transform of a source signal can also be used by itself to detect the occurrence - in a more or less similar form - of repeated signal components. This is preferably done in such cases when a particularly large number of repetitions and associated distance values a1, a2,... of a signal component are known and the distance values are also integer multiples of one another, for example a2=k*a1, where k is a positive whole number, it being particularly preferred if all distance values match. In contrast to (auto) correlation, which is particularly suitable for detecting repeated signal components, the Fourier transformation is particularly suitable for detecting periodic repetitions, ie repetitions that are always repeated after a certain distance value. If there are a particularly large number of repetitions of a signal component in a source signal analyzed by means of the Fourier transformation, this can be read off at specific points of the Fourier transformation using methods according to the prior art.
Auch sind zahlreiche Kombinationen von korrelativen und Fouriertransformationsmethoden bekannt, beispielsweise die sogenannte Spektrale Korrelation oder die zyklische Autokorrelation [Gardner 1986]. Weiterhin die Anwendung korrelativer Techniken auf die sogenannte gefensterte Fouriertransformation, beispielsweise mit dem Ziele der Erkennung wiederholter Komponenten von Tierstimmen im Bereich der bioakustischen Mustererkennung [Bardeli et al. 2008].Numerous combinations of correlative and Fourier transformation methods are also known, for example the so-called spectral correlation or cyclic autocorrelation [Gardner 1986]. Furthermore, the application of correlative Techniques based on the so-called windowed Fourier transform, for example with the aim of recognizing repeated components of animal voices in the field of bioacoustic pattern recognition [Bardeli et al. 2008].
Eine im Bereich der Audiosignalverarbeitung verbreitete Methode zur Sichtbarmachung wiederholter Signalkomponenten basiert auf der Verwendung sogenannter Ähnlichkeitsmatrizen. Hierzu werden systematisch alle Positionen eines Quellsignals x = x (1) , x (2) ,..., x (n) paarweise miteinander verglichen, resultierend in einer (symmetrischen) Matrix S, deren Position (i,j) einen Ähnlichkeitswert S(i,j) zwischen x(i) und x(j) enthält. A method for visualizing repeated signal components that is widespread in the field of audio signal processing is based on the use of so-called similarity matrices. For this purpose, all positions of a source signal x = x (1) , x (2) ,..., x (n) are compared in pairs, resulting in a (symmetrical) matrix S whose position (i,j) has a similarity value S (i,j) between x(i) and x(j).
Selbstverständlich können Selbstähnlichkeitsmatrizen nicht nur unmittelbar für Quellsignale x, sondern auch in besonders vorteilhafter Weise für irgendwelche aus den Quellsignalen mit Mitteln der Merkmalsextraktion abgeleiteten sekundären Repräsentationen des Quellsignals gewonnen werden. Charakteristisch für Selbstähnlichkeitsmatrizen S ist, dass sich wiederholte Signalteile in Form deutlich hervortretender Nebendiagonalen äußern. Anhand einer solchen Nebendiagonalen können Beginn und Ende einer jeden Wiederholung eines Signalteils oder einer Signalkomponente bestimmt werden [Müller 2007].Of course, self-similarity matrices can be obtained not only directly for source signals x, but also in a particularly advantageous manner for any secondary representations of the source signal derived from the source signals by means of feature extraction. It is characteristic of self-similarity matrices S that repeated signal parts are expressed in the form of clearly prominent secondary diagonals. Such an off-diagonal can be used to determine the beginning and end of each repetition of a signal part or signal component [Müller 2007].
Bezogen auf die dem erfindungsgemäßen Verfahren zugrunde liegende Aufgabenstellung können Selbstähnlichkeitsmatrizen Anwendung finden, wobei zu vorgegebenen Abstandswerten a1, a2,... entsprechende Nebendiagonalen mit Abständen entsprechend a1, a2,... zur Hauptdiagonalen auf das simultane Vorkommen ausgeprägter Werte hin, entsprechend simultaner Wiederholungen einer Signalkomponente, untersucht werden müssen.In relation to the task on which the method according to the invention is based, self-similarity matrices can be used, with corresponding secondary diagonals with distances corresponding to a1, a2, . . a signal component, need to be examined.
Bevorzugt in solchen Fällen, in denen Signalbeispiele der wiederholten Signalkomponente bekannt sind, können nach dem Stand der Technik bekannte Verfahren der Mustererkennung (englische Bezeichnung Pattern Matching) zur Detektion wiederholt vorkommender Signalkomponenten verwendet werden. Eine große Klasse solcher Verfahren ist bekannt, die alle Vorkommen eines vorgegebenen Signalausschnitts (genannt Muster) in einem gegebenen Zielsignal oder einer Menge von Zielsignalen lokalisiert und alle entsprechenden Fundstellen meldet. Die Lokalisierung erfolgt durch Angabe eine Positionsinformation zu jeder Fundstelle. Man spricht auch davon, dass das das Muster in einem Zielsignal an einer Stelle als Teilsignal enthalten ist. Varianten dieser Aufgabe erlauben gewisse, vorab konfigurierbare Abweichungen zwischen Muster und Fundstelle oder fragen nur nach einer bestmöglichen Fundstelle bezüglich eines vorgegebenen Gütemaßes. Ein Überblick solcher Methoden nach dem Stand der Technik findet sich in [Ouyang et al. 2012].Preferably in such cases in which signal examples of the repeated signal component are known, methods of pattern recognition (pattern matching) known from the prior art can be used to detect repeatedly occurring signal components. A large class of such methods is known which locates all occurrences of a given portion of a signal (called a pattern) in a given target signal or set of target signals and reports all corresponding occurrences. The localization is carried out by specifying position information for each place of discovery. It is also said that the pattern is contained in a target signal at one point as a partial signal. Variants of this task allow certain, pre-configurable deviations between pattern and source or only ask for the best possible source with regard to a given quality measure. An overview of such prior art methods can be found in [Ouyang et al. 2012].
Eine andere Klasse von Methoden der Mustererkennung ist darauf spezialisiert, eine besonders robuste Detektionsleistung zu erbringen, insbesondere für den Fall, dass Muster und Fundstelle anwendungsbedingt signifikant voneinander abweichen können. Eine Klasse solcher Verfahren nutzt einen sogenannten generativen Ansatz, um anhand einer repräsentativen Menge vorhandener Muster der interessierenden Signalkomponenten in einem Vorverarbeitungsschritt ein repräsentatives Modell zu erzeugen. Anhand eines solchen Modells erfolgt alsdann der Abgleich mit einem Quellsignal, wobei wiederholte Vorkommen des Musters als diejenigen Stelle gemeldet werden, die besonders gut zu dem vorab erstellten Modell passen. Ein etwa in der Audiosignalverarbeitung sehr verbreitetes Beispiel bilden die Hidden Markov Modelle (HMMs) [Rabiner 1989].Another class of pattern recognition methods specializes in providing a particularly robust detection performance, especially in the event that the pattern and location can differ significantly from one another due to the application. One class of such methods uses a so-called generative approach to generate a representative model in a pre-processing step based on a representative set of existing patterns of the signal components of interest. Such a model is then matched to a source signal, with repeated occurrences of the pattern being reported as those locations that best match the pre-built model. A very common example in audio signal processing are the Hidden Markov Models (HMMs) [Rabiner 1989].
Ein Verfahren nach dem Stand der Technik zum gezielten Auffinden von in einer gewissen Anordnung (genannt Konstellation) in einem Signal vorkommenden Signalkomponenten wird in [Clausen et al. 2003] dargestellt. Die entsprechende Technik wird Konstellationssuche genannt. Auf Nutzsignale angewendet basiert diese Methode darauf, in einem Vorverarbeitungsschritt aus jedem der beteiligten Signale (Quellsignale) nach einer vorgegebenen Vorschrift Signalmerkmale verschiedener Typen zu erzeugen, die in sogenannten invertierten Listen abgelegt werden. Mit Hilfe dieser Listen und geeigneter Schnittmengenbildung kann alsdann eine vorliegende bekannte Signalkomponente, von der ebenfalls mittels Merkmalsextraktion eine Menge von Merkmalen erzeugt wurde, genannt Anfragekonstellation, effizient innerhalb in den beteiligten Signalen lokalisiert werden, wobei für jede Lokalisierung eine Trefferstelle zurückgegeben wird. Eine Trefferstelle beschreibt dabei anschaulich, wie die Anfragekonstellation zu verschieben ist, damit sie mit der lokalisierten Position im betreffenden Quellsignal übereinstimmt.A method according to the prior art for specifically finding signal components occurring in a certain arrangement (called a constellation) in a signal is described in [Clausen et al. 2003]. The corresponding technique is called constellation search. When applied to useful signals, this method is based on generating signal features of different types from each of the signals involved (source signals) in a pre-processing step according to a specified rule, which are stored in so-called inverted lists. With the help of these lists and suitable intersection formation, an existing known signal component, from which a set of features was also generated by means of feature extraction, called query constellation, can then be efficiently localized within the signals involved, with a hit point being returned for each localization. A hit position clearly describes how the query constellation is to be shifted so that it matches the localized position in the relevant source signal.
Auf das vorliegende Anwendungsszenario des erfindungsgemäßen Verfahrens übertragen, können die bekannten im Nutzsignal erwarteten Abstände a1, a2,... von Signalkomponenten dazu benutzt werden, um eine geeignete Anfragekonstellation zu erzeugen. Das gerade skizzierte Vorgehen zur Verwendung der Konstellationssuche kann jedoch leider die vorliegende Aufgabe nicht mit hinreichender Genauigkeit lösen. Es können aber gewisse der Konstellationssuche zugrunde liegenden Prinzipien, in abgewandelter und mit vollkommen anderen charakterisierenden Eigenschaften geeignet kombinierter Form, zur Lösung der Aufgabe des erfindungsgemäßen Verfahrens beitragen.Transferred to the present application scenario of the method according to the invention, the known distances a1, a2, . . . of signal components expected in the useful signal can be used to generate a suitable query constellation. Unfortunately, the procedure just outlined for using the constellation search cannot solve the present task with sufficient accuracy. However, certain principles on which the search for a constellation is based, in a modified form and in a form suitably combined with completely different characterizing properties, can contribute to the solution of the object of the method according to the invention.
Nachteile des Stands der TechnikDisadvantages of the Prior Art
Obwohl die Verfahren nach dem Stand der Technik in vielen Fällen eine gute Leistungsfähigkeit besitzen, gibt es verschiedene Situationen, in denen deren Leistungsfähigkeit limitiert ist. Solche Situationen sind insbesondere die Überlagerung eines oder mehrerer Nutzsignale (oder Nutzsignalkomponenten) oder die Überlagerung eines Nutzsignals (oder Nutzsignalkomponente) mit starken Stör- oder Rauschkomponenten.Although the prior art methods perform well in many cases, there are several situations where their performance is limited. Such situations are in particular the superimposition of one or more useful signals (or useful signal components) or the superimposition of a useful signal (or useful signal components) with strong interference or noise components.
Prinzipiell nachteilig bei korrelativen Verfahren ist, dass mit deren Hilfe zwar die für wiederholte Signalkomponenten charakteristischen Abstände zwischen den Positionen der Signalkomponenten aufgespürt werden können, jedoch keine direkte Aussage über die Positionen der wiederholten Signalkomponenten innerhalb des Quellsignals getroffen werden kann. Eine solche Lokalisierung der Signalkomponenten muss somit anderweitig vorgenommen werden. Weiterhin nachteilig ist, dass ein mehrfaches Vorliegen wiederholter Signalkomponenten nicht von einem einmaligen Vorliegen unterschieden werden kann. Ein wesentlicher Nachteil rein korrelativer Verfahren ist auch, dass hiermit zwar wiederholte Signalkomponenten verstärkt werden, aber andere, etwa nicht im vorgegebenen Abstand wiederholte, Signalkomponenten im Allgemeinen erhalten bleiben. Solche Komponenten werden zwar oft im Vergleich zu den wiederholten Signalkomponenten abgeschwächt, können aber trotzdem bei der weiteren Verarbeitung als Fehltreffer gemeldet werden.
Nachteilig bei der Verwendung der Fouriertransformation zur Detektion wiederholter Signalkomponenten ist die fehlende Möglichkeit zur direkten Bestimmung der Positionen der detektierten Signalkomponenten und die implizite Anforderung, dass mehrfache, günstigenfalls periodische Wiederholungen vorliegen. Somit ist die Fouriertransformation zur Detektion nur weniger, etwa 2, 3 oder 4, vorliegender Wiederholungen, im Allgemeinen nicht besonders gut geeignet, insbesondere wenn die entsprechenden Abstandswerte nicht irgendwelche ganzzahligen Vielfachen voneinander sind.A fundamental disadvantage of correlative methods is that although they can be used to detect the distances between the positions of the signal components that are characteristic of repeated signal components, no direct statement can be made about the positions of the repeated signal components within the source signal. Such a localization of the signal components must therefore be carried out in some other way. Another disadvantage is that a multiple presence of repeated signal components cannot be distinguished from a single presence. A major disadvantage of purely correlative methods is that although repeated signal components are amplified, other signal components, such as those not repeated at the specified interval, are generally retained. While such components are often attenuated compared to the repeated signal components, they can still be reported as a miss in further processing.
A disadvantage of using the Fourier transformation to detect repeated signal components is the lack of possibility of directly determining the positions of the detected signal components and the implicit requirement that multiple, preferably periodic, repetitions are present. Thus, the Fourier transform is generally not particularly well suited to detecting only a few, say 2, 3 or 4 repeats present, especially if the corresponding distance values are not some integer multiple of each other.
Selbstähnlichkeitsmatrizen eignen sich gegenüber reinen Korrelationsverfahren besser zur Ermittlung von Positionen einzelner wiederholter Signalkomponenten. Wiederholen sich bekanntermaßen Signalkomponenten mehrfach, wie in der dem erfindungsgemäßen Verfahren zugrunde liegenden Aufgabenstellung, so ist bei der Verwendung von Selbstähnlichkeitsmatrizen für jede Wiederholung das Vorhandensein einer ausgeprägten Nebendiagonalen im vorgegebenen Abstand zu erkennen. Dieser Prozess kann aber bei schwach ausgeprägten Wiederholungen unrobust sein und somit zu fehlenden Detektionen führen. Weiterhin ist die Verwendung von Selbstähnlichkeitsmatrizen auf einzelnen Signalwerten unrobust, da diese oftmals mit Rauschen versetzt sind, so dass sich schließlich keine klaren (Diagonal-) Strukturen in der Selbstähnlichkeitsmatrix ausprägen. Aus diesem Grunde wird in den allermeisten Fällen die Verwendung einer Vorverarbeitung des Quellsignals zur Extraktion von an die Aufgabenstellung angepassten Signalmerkmalen erforderlich. Diese Merkmale kombinieren meist mehrere benachbarte Werte des Quellsignals in ein einziges Signalmerkmal, das dann einen aussagekräftigeren Vergleichswert innerhalb der Ähnlichkeitsmatrix liefern soll. In einigen Anwendungsfällen ist dies allerdings nicht möglich bzw. es sind keine sinnvollen Signalmerkmale bekannt. Ein wesentlicher Nachteil der genannten Methoden der Mustererkennung nach dem Stand der Technik ist, dass vor allem beispielbasiert gesucht wird, wobei ein oder mehrere möglichst repräsentative Muster einer zu detektierenden Signalkomponente vorliegen müssen. Je robuster die Detektionsleistung gewünscht ist, desto zahlreicher und desto repräsentativer müssen die vorhandenen Muster sein. Eine große Anzahl an Mustern und eine hohe Robustheit gehen dabei zudem oft mit einer verminderten Leistungsfähigkeit einher.Compared to pure correlation methods, self-similarity matrices are more suitable for determining the positions of individual repeated signal components. If, as is known, signal components are repeated several times, as in the task on which the method according to the invention is based, then when using self-similarity matrices for each repetition the presence of a pronounced secondary diagonal at the specified distance can be seen. In the case of weak repetitions, however, this process can be unreliable and thus lead to missing detections. Furthermore, the use of self-similarity matrices on individual signal values is not robust, since these are often mixed with noise, so that ultimately no clear (diagonal) structures are formed in the self-similarity matrix. For this reason, in most cases it is necessary to use pre-processing of the source signal to extract signal features that are adapted to the task. These features usually combine several adjacent values of the source signal into a single signal feature, which is then intended to provide a more meaningful comparison value within the similarity matrix. In some applications, however, this is not possible or no meaningful signal characteristics are known. A major disadvantage of the methods of pattern recognition mentioned according to the prior art is that the search is primarily based on examples, with one or more patterns that are as representative as possible of a signal component to be detected having to be present. The more robust the detection performance is desired, the more numerous and the more representative the available samples must be. A large number of patterns and a high level of robustness are often associated with reduced performance.
Die Methode der Konstellationssuche erlaubt prinzipiell, bestimmte vorab bekannte Eigenschaften, hier Abstandswerte, betreffend erwarteter Wiederholungen von Signalkomponenten innerhalb eines Quellsignals, zu modellieren. Jedoch ist die Konstellationssuche erst nach einer Vorverarbeitung, bei der ein Quellsignal typischerweise nach bestimmten Kriterien einer Merkmalsextraktion unterzogen wird, auf signalbasierte Daten in praktikabler Form, das bedeutet hinreichend effizient, anwendbar. Die Trefferbestimmung erfolgt nämlich mengentheoretisch durch Schnittmengenbildungen und Vereinigungen sogenannter invertierter Listen. Weiterhin erfordert die Konstellationssuche zur Reduzierung fehlerhafter Detektionen eine gewisse Größe der Anfragekonstellation. Somit kann im vorliegenden Anwendungsfall, wo nur einige wenige, insbesondere nur zwei Abstandswerte zur möglichen Generierung einer Anfragekonstellation vorliegen, leider nicht ohne weiteres anhand der Konstellationssuche ein Verfahren zur Detektion wiederholter Signalkomponenten innerhalb eines Quellsignals abgeleitet werden.In principle, the constellation search method allows certain previously known properties, here distance values, relating to expected repetitions of signal components within a source signal to be modeled. However, the constellation search can only be applied to signal-based data in a practicable form, i.e. sufficiently efficiently, after pre-processing, in which a source signal is typically subjected to feature extraction according to certain criteria. The determination of hits takes place in a set-theoretical manner by forming intersections and combining so-called inverted lists. Furthermore, to reduce erroneous detections, the constellation search requires a certain size of the query constellation. Therefore, in the present application, where only a few, in particular only two, distance values are available for the possible generation of a query constellation, unfortunately a method for detecting repeated signal components within a source signal cannot be derived directly from the constellation search.
Das erfindungsgemäße Verfahren geht gegenüber dem dargestellten Stand der Technik einen prinzipiellen Schritt weiter, indem es bestimmte Komponenten von Verfahren zur Konstellationssuche in veränderter Form mit Teilen der Autokorrelation kombiniert, dabei jedoch an Stelle von Mengenoperationen (Konstellationssuche) und Produktsummen (Autokorrelation) die sich komplementierenden, nichtlinearen arithmetischen Operationen der Produkt- und Minimumbildung innerhalb eines iterativen Prozesses verwendet. The method according to the invention goes one step further in principle than the prior art presented, in that it combines certain components of methods for constellation search in a modified form with parts of the autocorrelation, but instead of set operations (constellation search) and product sums (autocorrelation) the complementary, nonlinear arithmetic operations of product and minimum formation within an iterative process.
Zudem wird durch den systematischen Einbezug bekannter Eigenschaften der erwarteten Signalwiederholungen in Form von Abstandswerten vorhandenes Vorwissen verwendet, jedoch ohne die bei Verfahren der Mustererkennung typische Erfordernis, die interessierenden Signalkomponenten mittels einer oder mehrerer Signalbeispiele beschreiben zu müssen. Hierdurch können die angegebenen Nachteile des Stands der Technik in einem weiten Umfang vermieden werden.In addition, existing prior knowledge is used through the systematic inclusion of known properties of the expected signal repetitions in the form of distance values, but without the need, which is typical for methods of pattern recognition, of having to describe the signal components of interest by means of one or more signal examples. As a result, the stated disadvantages of the prior art can be avoided to a large extent.
Aufgabe der Erfindungobject of the invention
Die Aufgabe des erfindungsgemäßen Verfahrens besteht im Lichte des dargelegten Standes der Technik darin, ein Verfahren zu schaffen, das eine geeignete Hervorhebung und nachfolgenden Detektion von innerhalb eines Quellsignals wiederholt vorkommenden Nutzsignalkomponenten ermöglicht. Hierzu wird wesentlich ausgenutzt, dass vorab Abstände wiederholt vorkommender Nutzsignalkomponenten bekannt sind.In the light of the prior art presented, the object of the method according to the invention is to provide a method which enables useful signal components which occur repeatedly within a source signal to be suitably emphasized and subsequently detected. For this purpose, use is made of the fact that distances between repeatedly occurring useful signal components are known in advance.
Lösung der Aufgabesolution of the task
Die Aufgabe wird durch die Merkmale eines Verfahrens nach Anspruch 1 gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich aus den Unteransprüchen.The object is solved by the features of a method according to
Beschreibung des VerfahrensDescription of the procedure
Die Erfindung macht sich Eigenschaften von Verfahren nach dem Oberbegriff des Anspruchs 1 zu Nutze.The invention makes use of properties of methods according to the preamble of
Zur besseren Orientierung, nicht jedoch einschränkend, ist ein Schema des im Folgenden beschriebenen erfindungsgemäßen Verfahrens in
Aus dem Absolutsignal (2) und dem verschobenen Absolutsignal (4) wird in einem nachfolgenden Schritt unter Anwendung einer punktweisen Multiplikation ein Zwischensignal y1 (5) gebildet. In Formeln werden die Werte des Zwischensignals dabei durch y1(1)=x1(1)*x(1),..., y1(m)=x1(m)*x(m) gebildet.In a subsequent step, an intermediate signal y1 (5) is formed from the absolute signal (2) and the shifted absolute signal (4) using point-by-point multiplication. In formulas, the values of the intermediate signal are formed by y1(1)=x1(1)*x(1),..., y1(m)=x1(m)*x(m).
Aus dem Zwischensignal (5) wird daraufhin in einem weiteren Schritt (6) unter Verwendung des zweiten vorgegebenen Abstandswertes a2 ein verschobenes Zwischensignal x2 (7) gebildet, wobei die Werte des verschobenen Zwischensignals x2 (7) sich aus den Werten des Zwischensignals y1 (5) durch die Vorschrift x2(n)=y1(n-a2) ergeben. Wie schon im Falle der Bestimmung des verschobenen Absolutsignal wird für den Fall, dass in letzterer Vorschrift n-a2 kleiner oder gleich Null ist, als Spezialfall und ohne Einschränkung x2(n)=0 gewählt. Für diesen Spezialfall gilt alles oben Genannte entsprechend.In a further step (6), a shifted intermediate signal x2 (7) is then formed from the intermediate signal (5) using the second predetermined distance value a2, the values of the shifted intermediate signal x2 (7) being derived from the values of the intermediate signal y1 (5th ) by the rule x2(n)=y1(n-a2). As in the case of the determination of the shifted absolute signal, x2(n)=0 is selected as a special case and without restriction if n-a2 is less than or equal to zero in the latter rule. Everything mentioned above applies accordingly to this special case.
Aus dem Zwischensignal y1 (5) und dem verschobenen Zwischensignal x2 (7) wird daraufhin durch punktweise Minimumbildung ein Resultatsignal y (8) gebildet, in Formeln y(1)=Min(x2(1),y1(1)),...,y(m)=Min(x2(m),y1(m)), wobei die Min-Funktion von zwei als Argument gegebenen Werten, wie im Stand der Technik üblich, den minimalen Wert zurückliefert.A result signal y (8) is then formed from the intermediate signal y1 (5) and the shifted intermediate signal x2 (7) by forming a minimum point by point, in formulas y(1)=Min(x2(1),y1(1)),.. .,y(m)=Min(x2(m),y1(m)), where the Min function returns the minimum value of two values given as an argument, as is usual in the prior art.
Innerhalb des Resultatsignals y (8) werden in einem weiteren Schritt (9) eine endliche Folge von Kandidatenpositionen (10), bezeichnet mit k(1), k(2),... bestimmt, wobei jede der Kandidatenpositionen eine ganze Zahl aus dem Intervall von 1 bis m bezeichnet. Jede Kandidatenposition kann somit als Positionsangabe innerhalb des Resultatsignals interpretiert werden. Bevorzugt werden die Kandidatenpositionen k(1), k(2),... so gewählt, dass sie Positionen innerhalb des Resultatsignals y bezeichnen, an denen besonders große Werte angenommen werden, d.h. y(k(1)), y(k(2)),... sind besonders groß. Bevorzugt werden die Kandidatenpositionen k(i) hierbei als Positionen lokaler Maxima von y gebildet. Lokale Maxima können dabei bezüglich eines Lokalitätsparameters L so definiert sein, dass k(i) als lokales Maximum genau dann bezeichnet wird, falls y(k(i)) > y(r) für alle r so dass der Betrag der Differenz k(i)-r kleiner as L ist, in Formeln, falls |k(i) - r| < L. Alternativ kann k(i) als lokales Maximum bezeichnet werden, falls die linksseitige Folge y(k(i)-L),...,y(k(i)-1),y(k(i)) eine streng monoton ansteigende Folge von Zahlen ist und gleichzeitig die rechtsseitige Folge y(k(i),y(k(i)+1),...,y(k(i)+L) eine streng monoton ansteigende Folge von Zahlen. Der Lokalitätsparameter wird dabei je nach Anwendungsbereich geeignet gewählt. Neben den genannten Methoden zur Bestimmung von Kandidatenpositionen können noch zahlreiche weitere Methoden nach dem Stand der Technik zur Bestimmung solcher Kandidatenpositionen verwendet werden. Besonders hervorzuheben sind dabei Methoden zur Signalsegmentierung, insbesondere zur sogenannten spektralen Signalsegmentierung. Ausgestaltungen solcher Methoden bestimmen Kandidatenpositionen durch die Ermittlung von Signalausschnitten y(s),y(s+1),...,y(s+N), der Länge N+1 in denen die Summe y(s)+y(s+1)+...+y(s+N) der Signalwerte besonders groß ist, insbesondere größer als in benachbarten Signalausschnitten. An Stelle der Summe der Werte sind auch andere Maße, wie etwa die Summe der Betragsquadrate, möglich. Eine weitere Klasse von Methoden nach dem Stand der Technik zur Bestimmung von Kandidatenpositionen sind Verfahren zur sogenannten Signalspitzen- oder Peak-Extraktion, etwa solche, die lokale Maxima in sogenannten Neuheits- oder Novelty-Kurven berechnen [Foote 2000], die aus dem Resultatssignal mittels geeigneter Vorverarbeitung nach dem Stand der Technik bestimmt werden.Within the result signal y (8), in a further step (9), a finite sequence of candidate positions (10) denoted by k(1), k(2),... is determined, with each of the candidate positions being an integer from the designated interval from 1 to m. Each candidate position can thus be interpreted as position information within the result signal. The candidate positions k(1), k(2), den, ie y(k(1)), y(k(2)),... are particularly large. The candidate positions k(i) are preferably formed here as positions of local maxima of y. Local maxima can be defined with respect to a locality parameter L in such a way that k(i) is called a local maximum if and only if y(k(i)) > y(r) for all r such that the absolute value of the difference k(i )-r is less than L, in formulas if |k(i) - r| < L. Alternatively, k(i) can be called a local maximum if the left-sided sequence y(k(i)-L),...,y(k(i)-1),y(k(i)) is a strictly increasing sequence of numbers and at the same time the right-hand sequence y(k(i),y(k(i)+1),...,y(k(i)+L) is a strictly increasing sequence of numbers The locality parameter is chosen appropriately depending on the area of application. In addition to the methods mentioned for determining candidate positions, numerous other methods according to the prior art can also be used for determining such candidate positions. Methods for signal segmentation, in particular for so-called spectral signal segmentation, should be particularly emphasized. Embodiments of such methods determine candidate positions by determining signal sections y(s),y(s+1),...,y(s+N) of length N+1 in which the sum y(s)+y(s +1)+...+y(s+N) of the signal values is particularly large, in particular larger than in neighboring signal sections Other dimensions, such as the sum of the squares of the absolute values, are also possible for the sum of the values. Another class of state-of-the-art methods for determining candidate positions are methods for so-called signal peak or peak extraction, such as those that calculate local maxima in so-called novelty curves [Foote 2000], which are extracted from the resultant signal using suitable pre-processing according to the state of the art.
Aus den Kandidatenpositionen k(1), k(2),.... (10) werden schließlich in einem letzten Schritt (11) eine Menge von Wiederholungspositionen w(1), w(2),... (12) bestimmt, wobei die bekannten Abstandswerte a1, a2 vorteilhaft einbezogen werden können. Stimmen die Abstandswerte dabei überein, also a1=a2, ist gemäß Anspruch 5 eine zu bevorzugende Wahl w(n)=k(n)-a1 für alle Werte n (übereinstimmend mit w(n)=k(n)-a2). Stimmen a1 und a2 nicht überein, und sind unter den Kandidatenpositionen solche Werte k(i) und k(j) zu finden, für die k(i)=k(j)+a1 exakt oder näherungsweise gilt, so besteht gemäß Anspruch 2 eine bevorzugte Wahl für mit k(i) und k(j) assoziierten Wiederholungspositionen in den drei Positionen k(j), k(j)-a2 und k(j)-a2-a1. Im Falle aller anderer ermittelter Kandidatenpositionen k(i) können als assoziierte Wiederholungspositionen gemäß Anspruch 6 bevorzugt die vier Positionen k(i), k(i)-a1, k(i)-a2 und k(i)-a1-a2 ausgegeben werden.Finally, in a last step (11), a set of repetition positions w(1), w(2),... (12) is determined from the candidate positions k(1), k(2),... (10). , where the known distance values a1, a2 can advantageously be included. If the distance values are the same, ie a1=a2, a preferred choice is w(n)=k(n)-a1 for all values n (corresponding to w(n)=k(n)-a2). If a1 and a2 do not match, and if the candidate positions include values k(i) and k(j) for which k(i)=k(j)+a1 applies exactly or approximately, then according to
In einer alternativen Ausgestaltung der Erfindung, die für bestimmte Anwendungsfälle vorteilhaft sein kann, werden die Schritte der punktweisen Minimumbildung und der punktweisen Produktbildung vertauscht. Dies bedeutet, dass erstens durch punktweise Minimumbildung ein Zwischensignal y1 (5) aus dem Absolutsignal x (2) und dem verschobenen Absolutsignal x1 (4) gebildet wird, in Formeln y1(n) = Min(x(n), x1(n)) für jeden Wert von n. Zweitens wird durch punktweise Produktbildung ein Resultatsignal y (8) aus dem Zwischensignal y1 (5) und dem verschobenen Zwischensignal x2 (7) gebildet, in Formeln y(n)=y1(n)*x2(n) für jeden Wert von n. Stimmen die Abstandswerte a1 und a2 dabei überein, also a1=a2, ist gemäß Anspruch 5 eine zu bevorzugende Wahl w(n)=k(n)-a1 für alle Werte n (übereinstimmend mit w(n)=k(n)-a2). Stimmen a1 und a2 nicht überein, und sind unter den Kandidatenpositionen solche Werte k(i) und k(j) zu finden, für die k(i)=k(j)+a2 exakt oder näherungsweise gilt, so besteht gemäß Anspruch 4 eine bevorzugte Wahl für mit k(i) und k(j) assoziierten Wiederholungspositionen in den drei Positionen k(i), k(i)-a2 und k(i)-a2-a1. Im Falle aller anderer ermittelter Kandidatenpositionen k(i) können gemäß Anspruch 6 als assoziierte Wiederholungspositionen bevorzugt die vier Positionen k(i), k(i)-a1, k(i)-a2 und k(i)-a1-a2 ausgegeben werden.In an alternative embodiment of the invention, which can be advantageous for certain applications, the steps of point-by-point minimum formation and point-by-point product formation are interchanged. This means that, firstly, an intermediate signal y1 (5) is formed from the absolute signal x (2) and the shifted absolute signal x1 (4) by forming a minimum point by point, in formulas y1(n) = Min(x(n), x1(n) ) for each value of n. Second, a result signal y (8) is formed from the intermediate signal y1 (5) and the shifted intermediate signal x2 (7) by pointwise product formation, in formulas y(n)=y1(n)*x2(n ) for each value of n. If the distance values a1 and a2 are the same, i.e. a1=a2, according to claim 5 a preferred choice is w(n)=k(n)-a1 for all values n (corresponding to w(n )=k(n)-a2). If a1 and a2 do not match, and if the candidate positions include values k(i) and k(j) for which k(i)=k(j)+a2 applies exactly or approximately, then according to
Sind mehr als zwei Abstandswerte bekannt, also allgemein K Abstandswerte a1,...,aK, kann nach Anspruch 7 eine Folge von K Zwischensignalen y1,...,y(K+1) gebildet werden, wobei in jedem von K Schritten eines der Zwischensignale y(i+1) durch eine der Operationen Produktbildung oder Minimumbildung aus dem vorhergehenden Zwischensignal yi und dem verschobenen Zwischensignal yi(n-ai) gebildet wird. Im Detail ist dieses Vorgehen in
Das erfindungsgemäße Verfahren lässt sich an Stelle von eindimensionalen Signalen wie im Vorherigen dargestellt auch auf mehrdimensionale Signale mit einer positiven ganzen Zahl D von Dimensionen anwenden. An die Stelle einer bei einem eindimensionalen Signal x = x(1), x(2) , .... , x (n) gegebenen Folge von Signalwerten, wobei durch die Positionsangabe j, j eine ganze Zahl, der Signalwert x(j) an Position j spezifiziert ist, tritt bei einem D-dimensionalen Signal eine D-dimensionale Folge von Signalwerten x (n1, ..., nD) , von denen jeder unter Angabe einer aus D ganzen Zahlen bestehenden Positionsinformation n1, ..., nD spezifiziert ist. In einem Anwendungsbeispiel mit D=2 erhält man (zweidimensionale) Bilder und x(n1, n2) bezeichnet den Signalwert an der x-Koordinate n1 und der y-Koordinate n2 des Bildes. In einem Anwendungsbeispiel kann x(n1, n2) etwa ein Graustufenwert, alternativ ein Farbwert, sein. In einem Anwendungsbeispiel mit D=3 kann eine Bildfolge, oder auch ein Film, beschrieben sein, wobei in einem Signalwert x(n1, n2, n3) zusätzlich zum letztgenannten Anwendungsbeispiel das Argument n3 eine Zeitangabe darstellt. Ein D-dimensionales Signal x kann unter Angabe eines Abstandswerts a und einer Dimensionskomponente j, wobei j eine ganze Zahl größergleich 1 und kleinergleich D ist, in ein in der j-ten Dimension um a verschobenes Signal überführt werden. In diesem verschobenen Signal tritt an die Stelle eines Signalwerts x (n1, ..., nj,...,nD) nunmehr der Wert x(n1, ..., nj-a,...,nD). Das erfindungsgemäße Verfahren lässt sich somit auf den Fall mehrdimensionaler Signale ausdehnen, wobei Verfahren nach Anspruch 7 derart erweitert werden, dass zusätzlich zu Abstandswerten a1, ..., aK nunmehr eine Spezifikationsliste d1, ..., dK auszuwählender Dimensionen, wobei für jedes i der Wert di größergleich 1 und kleinergleich D ist, gewählt wird. Das Zwischensignal y(i+1) wird nun aus dem Zwischensignal yi und einer in der di-ten Dimension um ai verschobenen Version des Zwischensignals yi gebildet. In Formeln wird y(i+1) im Falle einer Produktbildung durch y(i+1) (n1,...,nD) = Min (yi (n1,..., nj,..., nD) , yi (n1, .... nj-ai,..., nD) ) und im Falle einer Produktbildung durch y(i+1) (n1,...,nD) = yi (n1, ..., nj , ..., nD) *yi (n1,...,nj-ai,...,nD) gebildet. Die Entscheidung, ob im i-ten Schritt eine Produktbildung oder eine Minimumbildung vorgenommen wird, wird vorab anhand der gegebenen Aufgabenstellung getroffen. Im Prinzip sind hierzu alle 2^K denkbaren Kombinationen von Produkt- und Minimumbildung möglich. Besonders bevorzugt werden im erfindungsgemäßen Verfahren jedoch solche Abfolgen von Produkt- und Minimumbildung, die mindestens einmal eine Produktbildung und mindestens einmal eine Minimumbildung enthalten. Das Auffinden von Kandidatenpositionen im Resultatsignal kann wie im eindimensionalen Fall mit Methoden nach dem Stand der Technik zur Detektion lokaler Maxima oder Energieanhäufungen, vorgenommen werden. Die Bestimmung von Wiederholungspositionen kann von einem Fachmann unter Berücksichtigung der in den Ansprüchen 2, 4, 5, 6 und 8 offenbarten Prinzipien in naheliegender Weise vorgenommen werden, wenn berücksichtigt wird, dass diese Prinzipien für jede der D Dimensionen unabhängig angewandt werden. Ein weitere naheliegende Variante des erfindungsgemäßen Verfahrens besteht darin, beim vorliegen D-dimensionaler Signale an Stelle eines als Zahl vorliegenden Abstandswertes a nunmehr vektorwertige Abstandswerte (A1,..., AD) zu betrachten. Zwischensignale y(i+1) werden somit aus vorherigen Zwischensignalen yi und (A1,...,AD)-verschobenen Versionen gebildet, wobei sich jeder der Werte y(i+1) (n1, ..., nj , ..., nD) durch die Multiplikation yi (n1,...,nj,...,nD) *yi (n1-A1,..., nD-AD) oder, im Falle der Minimumbildung, durch Min(yi(n1,...,nj,...,nD) , yi(n1-A1,...,nD-AD)) ergibt, Anspruch 15.Instead of one-dimensional signals, as described above, the method according to the invention can also be applied to multidimensional signals with a positive whole number D of dimensions. Instead of a sequence of signal values given for a one-dimensional signal x = x(1), x(2) , .... , x (n), where the position specification j, j is an integer, the signal value x(j ) is specified at position j, a D-dimensional signal occurs in a D-dimensional sequence of signal values x (n1, ..., nD) , each of which is specified by specifying position information n1, ..., consisting of D integers. nD is specified. In an application example with D=2, one obtains (two-dimensional) images and x(n1, n2) denotes the signal value at the x-coordinate n1 and the y-coordinate n2 of the image. In an application example, x(n1, n2) can be a grayscale value, alternatively a color value. In an application example with D=3, an image sequence or also a film can be described, with the argument n3 representing a time specification in a signal value x(n1, n2, n3) in addition to the last-mentioned application example. A D-dimensional signal x can be converted into a signal shifted by a in the j-th dimension by specifying a distance value a and a dimension component j, where j is an integer greater than or equal to 1 and less than or equal to D. In this shifted signal, the value x(n1,...,nj-a,...,nD) now takes the place of a signal value x(n1,...,nj,...,nD). The method according to the invention can thus be extended to the case of multidimensional signals, the method according to
In zahlreichen technischen Anwendungen sind die Quellsignale sogenannte Zeitsignale q=q (1) ,..., q (m) wobei q (1) ,..., q (m) als zeitliche Abfolge von Signalwerten interpretiert wird. Das erfindungsgemäße Verfahren ist jedoch von solch einer Interpretation unabhängig und auf beliebige, als Folge oder sonst welche Funktion angegebenen Signale anwendbar. Ein für sehr viele technische Anwendungen wichtiger Spezialfall liegt dann vor, wenn das Quellsignal ein Spektralsignal ist. An Stelle einer zeitlichen Abfolge von Signalwerten tritt somit eine Abfolge von Frequenzwerten.
In einer für bestimmte Anwendungen besonders vorteilhaften Ausgestaltung nach Anspruch 10, siehe
Eine wesentliche Fähigkeit des erfindungsgemäßen Verfahrens ist die Hervorhebung von im Quellsignal wiederholten Nutzsignalkomponenten innerhalb des mittels des erfindungsgemäßen Verfahrens bestimmten Resultatsignals oder innerhalb eines zweiten Resultatsignals. Die hervorgehobenen Nutzsignalkomponenten sind dabei im Resultatsignal als besonders stark und an bestimmten Positionen hervortretende Signalwerte des Resultatsignals erkennbar. Solche Positionen sind meist durch besonders große einzelne Signalwerte oder durch eine besonders große Signalenergie (Summe oder Quadratsumme der Signalabsolutwerte) innerhalb eines im Vergleich zur Signallänge kurzen Intervalls von Signalwerten gegeben. Die Positionen solcher Signalwerte lassen sich mit nach dem Stand der Technik bekannten Methoden zum Auffinden lokaler Maxima oder lokaler Energieanhäufungen ermitteln und werden im erfindungsgemäßen Verfahren in Form der oben genannten Kandidatenpositionen weiterverarbeitet. Aus verschiedenen Bereichen der Signalverarbeitung und Mustererkennung sind zahlreiche weitere Verfahren zur Ermittlung von Kandidatenpositionen bekannt. Besonders bevorzugte Verfahren sind Verfahren zur sogenannten Spektralen Segmentierung, die aus dem Anwendungsbereich der Funksignalverarbeitung bekannt sind, beispielsweise aus der
An Stelle der zweistelligen mathematischen Operationen der Produkt- und Minimumbildung können auch alternative zweistellige Operationen verwendet werden. Dabei können an Stelle der Produktbildung bevorzugt solche Operationen verwendet werden, die zu zwei Eingangszahlwerten einen Ergebniszahlwert bestimmen, der nur dann größenordnungsmäßig klein ist, wenn beide der Eingangszahlwerte größenordnungsmäßig klein sind und ansonsten größenordnungsmäßig groß ist. Bevorzugte Beispiele solcher zweistelliger Operationen sind die Summenbildung zweier Zahlen und die Maximumbildung zweier Zahlen. Weiterhin können an Stelle der Minimumbildung bevorzugt solche Operationen verwendet werden, die zu zwei Eingangszahlwerten einen Ergebniszahlwert bestimmen, der nur dann größenordnungsmäßig groß ist, wenn beide der Eingangszahlwerte größenordnungsmäßig groß sind und ansonsten größenordnungsmäßig klein ist.Instead of the two-place mathematical operations of product and minimum formation, alternative two-place operations can also be used. In this case, instead of forming the product, those operations can preferably be used which, for two input numerical values, determine a result numerical value which is only small in terms of magnitude if both of the input numerical values are small in terms of magnitude and otherwise large in terms of magnitude. Preferred examples of such two-digit operations are the summation of two numbers and the maximum of two numbers. Furthermore, instead of forming the minimum, those operations can preferably be used which, for two input numerical values, determine a result numerical value which is only large in terms of order of magnitude if both of the input numerical values are of the same order of magnitude are large and otherwise small in magnitude.
Es ist auch eine Verwendung nur approximativ bekannter Abstandswerte a möglich. So kann beim Schritt der Bestimmung eines jeden Zwischensignals an Stelle der Bestimmung eines einzelnen Zwischensignals bezüglich eines vorgegebenen Abstandswertes a nunmehr für eine Menge von zu a ähnlichen Abstandswerten eine Menge von Zwischensignalen gebildet werden. Von diesen kann dann in der weiteren Verarbeitung bevorzugt nur dasjenige Zwischensignal verwendet werden, das besonders ausgeprägte Signalkomponenten aufweist. Dabei sind ähnliche Abstandswerte zu a solche mit ähnlicher Größenordnung, beispielsweise etwa nur um kleine ganze Zahlen abweichende Werte.It is also possible to use only approximately known distance values a. Thus, in the step of determining each intermediate signal, instead of determining a single intermediate signal with respect to a predetermined distance value a, a set of intermediate signals can now be formed for a set of distance values similar to a. Of these, only that intermediate signal which has particularly pronounced signal components can preferably be used in the further processing. In this case, similar distance values to a are those of a similar order of magnitude, for example values deviating only by small whole numbers.
Vorteile der ErfindungAdvantages of the Invention
Vorteile des erfindungsgemäßen Verfahrens sind eine extrem hohe Robustheit in dem Sinne, dass - in einer mehr oder weniger ähnlichen Form - wiederholt auftretende Nutzsignalkomponenten auch dann noch detektiert und lokalisiert werden können, wenn sie durch sehr starkes Rauschen überlagert sind und/oder von anderen, nicht interessierenden, Signalkomponenten überlagert sind. Weiterhin ist das erfindungsgemäße Verfahren universell auf prinzipiell alle Signaltypen und auf mehrdimensionale Signale anwendbar. Selbstverständlich ist das erfindungsgemäße Verfahren offensichtlich auch auf aus Signalen abgeleiteten Merkmalsrepräsentationen, insbesondere Merkmalsfolgen, anwendbar, da diese wiederum als Signale interpretiert werden können.Advantages of the method according to the invention are an extremely high level of robustness in the sense that—in a more or less similar form—repeatedly occurring useful signal components can still be detected and localized even if they are superimposed by very strong noise and/or by others of interest, signal components are superimposed. Furthermore, the method according to the invention can be applied universally to, in principle, all types of signals and to multidimensional signals. Of course, the method according to the invention can obviously also be applied to feature representations derived from signals, in particular feature sequences, since these in turn can be interpreted as signals.
Weiterhin ist das Verfahren sehr effizient implementierbar und eignet sich daher auch sehr für hardwarenahe Realisierungen, beispielsweise auf GPU-basierten (Graphics Processing Unit) Architekturen. Insofern umfasst die Erfindung auch eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens bzw. seiner Realisierungsvarianten. Ebenfalls von der Erfindung umfasst ist ein Softwareprogrammprodukt, das z. B. einen digitalen Signalprozessor (DSP) entsprechend programmiert bzw. in seiner Funktion steuert.Furthermore, the method can be implemented very efficiently and is therefore also very suitable for hardware-related realizations, for example on GPU-based (Graphics Processing Unit) architectures. In this respect, the invention also includes a device for carrying out the method according to the invention or its implementation variants. Also encompassed by the invention is a software program product which e.g. B. programmed accordingly a digital signal processor (DSP) or controls its function.
Wesentliche Vorteile des erfindungsgemäßen Verfahrens gegenüber dem Stand der Technik werden im Folgenden dargelegt. Gegenüber korrelationsbasierten Verfahren, insbesondere Autokorrelationsverfahren, bietet das erfindungsgemäße Verfahren den Vorteil, dass hiermit nicht nur das Vorliegen einer wiederholten Signalkomponente mit vorgegebenen Abstandswerten detektiert werden kann, sondern - gegenüber dem Stand der Technik - auch die Positionen der wiederholt auftretenden Signalkomponenten innerhalb des Quellsignals ermittelt werden können.Significant advantages of the method according to the invention compared to the prior art are set out below. Compared to correlation-based methods, in particular autocorrelation methods, the method according to the invention offers the advantage that not only can it be used to detect the presence of a repeated signal component with predetermined distance values, but also—compared to the prior art—the positions of the repeatedly occurring signal components within the source signal can be determined be able.
Weiterhin vorteilhaft ist, dass auch mehrfache, genauer alle, Vorkommen wiederholter Signalkomponenten mit den vorgegebenen Abstandswerten zusammen mit deren Positionen ermittelt werden können. Zur Vermeidung fehlerhafter Detektionsmeldungen ist weiterhin als sehr vorteilhaft anzuführen, dass das erfindungsgemäße Verfahren, im Gegensatz zu rein korrelativen Verfahren, nicht interessierende Signalkomponenten - durch die Minimumbildung - gezielt abschwächt oder ganz unterdrückt, aber gleichzeitig die vorteilhafte Eigenschaft korrelationsbasierter Verfahren, nämlich interessierende Wiederholungen in vorgegebenen Abständen zu verstärken, besitzt.It is also advantageous that multiple, more precisely all, occurrences of repeated signal components with the specified distance values can also be determined together with their positions. To avoid erroneous detection reports, it is also very advantageous that the method according to the invention, in contrast to purely correlative methods, specifically weakens or completely suppresses signal components that are not of interest - through the formation of the minimum - but at the same time the advantageous property of correlation-based methods, namely repetitions of interest in predetermined ones To reinforce distances, owns.
Gegenüber Verfahren nach dem Stand der Technik, die mehrere um gegebene Abstandswerte verschobene Versionen eines Quellsignals miteinander kombinieren, zeichnet sich das erfindungsgemäße Verfahren darin aus, dass es in iterativer Weise in jedem Schritt ein vorher erzeugtes Zwischensignal mit dem, um einen der gegebenen Abstandswerte verschobenen, Zwischensignal kombiniert, wodurch die Signalpegel der kombinierten Signale erst vergleichbar werden und wodurch nicht interessierende Signalkomponenten erst sinnvoll unterdrückt werden können.Compared to methods according to the prior art, which combine several versions of a source signal shifted by given distance values, the method according to the invention is characterized in that in each step iteratively combines a previously generated intermediate signal with the one of the given distance values shifted, Intermediate signal combined, whereby the signal level of the combined signals can only be compared and whereby signal components that are not of interest can only be meaningfully suppressed.
Gegenüber der Verwendung von Selbstähnlichkeitsmatrizen entfällt beim erfindungsgemäßen Verfahren bei Kenntnis mehrerer, etwa n, Abstandswerte a1, ..., an die Betrachtung von mehreren, nämlich n, verschiedenen Teilergebnissen, hier Nebendiagonalen, da das erfindungsgemäße Verfahren unter Ausnutzung aller Abstandswerte ein einzelnes Resultatsignal erzeugt, das schließlich alleinig zur Ermittlung der gesuchten wiederholten Signalkomponenten herangezogen werden kann. Dieses Prinzip vermeidet fehlende Detektionen, die bei Verwendung von Selbstähnlichkeitsmatrizen dadurch resultieren können, dass einige, im Grenzfall sogar nur eine, der prägnanten Nebendiagonalen nicht detektiert wurden. Zudem ist beim erfindungsgemäßen Verfahren der allgemein zusätzlich nötige Schritt der Merkmalsextraktion nicht erforderlich.Compared to the use of self-similarity matrices, the method according to the invention dispenses with the consideration of several, namely n, different partial results, in this case secondary diagonals, if several, for example n, distance values a1, . . . are known, since the method according to the invention generates a single result signal using all distance values , which can ultimately be used solely to determine the repeated signal components sought. This principle avoids missing detections, which can result when using self-similarity matrices because some, in the limit case even only one, of the concise secondary diagonals were not detected. In addition, the generally additionally required step of feature extraction is not required in the method according to the invention.
Gegenüber der Konstellationssuche bietet das erfindungsgemäße Verfahren einerseits eine Möglichkeit, unmittelbar und ohne Schritt der Merkmalsextraktion aus dem Quellsignal wiederholte Signalkomponenten zu ermitteln. Weiterhin ist dies auch und gerade dann mit hoher Detektionsgüte möglich, wenn nur wenige charakteristische Abstandswerte bekannt sind.Compared to the constellation search, the method according to the invention offers on the one hand a possibility of determining repeated signal components directly and without a feature extraction step from the source signal. Furthermore, this is also and especially possible with a high detection quality when only a few characteristic distance values are known.
Anwendungsgebieteapplication areas
Das erfindungsgemäße Verfahren bietet breite Anwendungsmöglichkeiten im Bereich der signalbasierten Mustererkennung und zwar auf allen Anwendungsgebieten, in denen die Detektion von Nutzsignalen innerhalb von Quellsignalen eine Rolle spielt und die Nutzsignale, auch Signalkomponenten oder Nutzsignalkomponenten genannt, in irgendeiner Form wiederholt vorkommen. Besonders hervorzuheben sind hierbei eindimensionale und zweidimensionale Nutzsignale und Quellsignale. Im Falle der eindimensionalen Quellsignale bestehen bevorzugt Anwendungsmöglichkeiten im Bereich der Audiosignalverarbeitung, insbesondere der Verarbeitung akustischer Signale, der Verarbeitung von Sprachsignalen, der bioakustischen Mustererkennung und der Musiksignalverarbeitung. Wiederholt vorliegende Nutzsignale sind in diesen Anwendungsgebieten beispielsweise, aber nicht ausschließend, Maschinengeräusche bei regulärem Betrieb und/oder bei Defekten, Schrittgeräusche, Klopfgeräusche, menschliche Rufe, bioakustische Geräusche (Tierstimmen, -rufe, Bewegungsgeräusche) oder im musikalischen Rhythmus auftretende Geräusche. Nach Anwendung einer Spektraltransformation, beispielsweise Fouriertransformation, sind häufig eine Vielzahl weiterer wiederholter Nutzsignale vorzufinden, beispielsweise harmonische Komponenten von Musik, harmonische Komponenten menschlicher Sprache, die besonders bei tonalen Sprachlauten anzutreffen sind, oder sonstwelche Nutzsignale, die harmonische, auch Oberton genannte, Komponenten besitzen. Solche Komponenten sind nämlich dadurch gekennzeichnet, dass zu einer gegebenen Frequenz F (auch Grundfrequenz oder Grundton) ebenfalls die Frequenzen 2*F, 3*F, 4*F,... Energie aufweisen, somit wiederholte Auftreten der Nutzsignalkomponenten bei Frequenz F mit Abstandswerten F, 2*F, 3*F,... sind. Solch ein Szenario kann im erfindungsgemäßen Verfahren auch so aufgefasst werden, dass Abstandswerte a1=F, a2=F, a3=F, .... bekannt sind. Typischerweise wird die Menge der verwendeten Abstandswerte jedoch klein, z.B. kleiner als 10, und endlich sein. Ebenfalls typisch, wie etwa bei harmonischen Signalen aus den Bereichen Sprache, Musik und Bioakustik, ist eine zeitliche Variabilität der Grundfrequenz F. Zur Anwendung des erfindungsgemäßen Verfahrens bietet es sich deswegen in diesem Fall besonders an, jeweils kurze zeitliche Ausschnitte zu betrachten. In einer besonderen Ausgestaltung wird eine sinnvolle Grundfrequenz F, also hier ein sinnvoller Abstandswert a=F, soweit nicht vorab bekannt, geeignet vor Anwendung des erfindungsgemäßen Verfahrens geschätzt. Hierbei wird typischerweise ein grober Wertebereich für F bekannt sein, innerhalb dessen unter Zuhilfenahme des Quellsignals die Schätzung erfolgen kann.The method according to the invention offers a wide range of possible applications in the field of signal-based pattern recognition in all areas of application in which the detection of useful signals within source signals plays a role and the useful signals, also known as signal components or useful signal components, occur repeatedly in some form. Particularly noteworthy here are one-dimensional and two-dimensional useful signals and source signals. In the case of the one-dimensional source signals, there are preferably possible applications in the field of audio signal processing, in particular the processing of acoustic signals, the processing of speech signals, bioacoustic pattern recognition and music signal processing. Repeatedly present useful signals in these areas of application are, for example, but not exclusively, machine noises during regular operation and/or in the event of defects, footstep noises, knocking noises, human calls, bioacoustic noises (animal voices, calls, movement noises) or noises occurring in the musical rhythm. After the application of a spectral transformation, for example Fourier transformation, a large number of other repeated useful signals are often found, for example harmonic components of music, harmonic components of human speech, which are particularly found in tonal speech sounds, or other useful signals that have harmonic components, also known as overtones. Such components are namely characterized in that the
Bei zweidimensionalen Signalen kann das erfindungsgemäße Verfahren besonders bevorzugt im Bereich der Bildverarbeitung und der Mustererkennung in der Bildverarbeitung eingesetzt werden. Einsatzmöglichkeiten sind insbesondere dort gegeben, wo bestimmte, exemplarisch bekannte Objekte, Objektkonstellationen, Gegenstände etc. als Teilbilder eines gegebenen Bildes gesucht werden, wobei die exemplarisch bekannten Objekte sich dadurch auszeichnen, dass bestimmte ihrer Teilkomponenten charakteristische Abstände voneinander haben, also Abstandswerte liefern, bevorzugt mindestens zwei Abstandswerte, die mittels des erfindungsgemäßen Verfahrens genutzt werden können. Beispiele solcher Objekte und charakteristischer Abstandswerte sind Gebäude oder Gebäudegrundrisse mit gegebenen Abständen der parallelen Außenwände voneinander, weiterhin Luftbilder von Straßen mit Abständen von Fahrbahnen und/oder Fahrbahnbegrenzungen, weiterhin Fahrzeuge mit aus Länge und Durchmesser resultierenden Abständen, weiterhin Bilder, beispielsweise urheberrechtlich geschützte Bilder, in denen wiederholte Teilkomponenten, beispielsweise parallele Linienzüge, vorkommen, die charakteristische Abstände voneinander haben. Im letzteren Anwendungsfall kann mittels des erfindungsgemäßen Verfahrens beispielsweise eine effiziente Methode zur Ermittlung der Verwendung eines gegebenen Bildes, etwa als Teilbild eines anderen Bildes, abgeleitet werden, wobei ein anwendungsrelevantes Anwendungsgebiet die Ermittlung von Urheberrechtsverletzungen ist.In the case of two-dimensional signals, the method according to the invention can be used particularly preferably in the field of image processing and pattern recognition in image processing. Possible uses are given in particular where certain, exemplary known objects, object constellations, objects, etc. are searched for as sub-images of a given image, with the exemplary known objects being characterized in that certain of their sub-components have characteristic distances from one another, i.e. provide distance values, preferably at least two distance values that can be used by means of the method according to the invention. Examples of such objects and characteristic distance values are buildings or building floor plans with given distances between the parallel outer walls, aerial photos of streets with distances between lanes and/or lane boundaries, also vehicles with distances resulting from length and diameter, further images, for example copyrighted images, in which repeated sub-components, for example parallel polylines, occur that have characteristic distances from each other. In the latter application, the method according to the invention can be used, for example, to derive an efficient method for determining the use of a given image, for example as a sub-image of another image, with an application-relevant area of application being the determination of copyright infringements.
Für das erfindungsgemäße Verfahren gibt es weiterhin Einsatzmöglichkeiten im Bereich der Funkaufklärung, sowie in der Überwachung und im Monitoring von Funkverkehr. Insbesondere besteht Anwendungspotenzial im Bereich des nicht autorisierten, oder auch „nicht kooperativen“, Empfangs. Hier gibt es Anwendungsszenarien, wo innerhalb eines erfassten Quellsignals, hier Funksignals, bestimmte Nutzsignale zu detektieren sind, von denen jedoch nicht die genaue Zeitposition und/oder die genaue Sendefrequenz bekannt sind. Bekannt sind aber in hier besonders bevorzugten Anwendungsszenarien Informationen über in diesen Nutzsignalen vorkommende Wiederholungen, genauer wiederholen sich Signalkomponenten zeitlich im Abstand bestimmter Abstandswerte und/oder in der Frequenz im Abstand bestimmter Frequenzabstände. Beispiele sind Burstsignale, etwa ARQ-Signale, oder Mehrträgersignale. Die Wiederholungen können dabei exakt oder auch nur annähernd exakt oder auch nur ähnlich sein. Das erfindungsgemäße Verfahren ist hier besonders vorteilhaft anzuwenden, wenn solche Nutzsignale zu detektieren sind, die sehr schwach sind, beispielsweise nur wenig stärker als das Hintergrundrauschen hervortreten. Weiterhin können solche Nutzsignale vom erfindungsgemäßen Verfahren besonders geeignet hervorgehoben werden, von denen eine oder mehrere der wiederholten Komponenten teilweise von anderen Signalen in Zeit und Frequenz überdeckt sind.There are also possible uses for the method according to the invention in the field of radio reconnaissance, as well as in the surveillance and monitoring of radio traffic. In particular, there is application potential in the area of unauthorized, or "non-cooperative" reception. There are application scenarios where specific useful signals are to be detected within a recorded source signal, in this case a radio signal, but the exact time position and/or the exact transmission frequency of which are not known. However, in application scenarios that are particularly preferred here, information is known about repetitions occurring in these useful signals; more precisely, signal components are repeated at intervals of certain interval values and/or in frequency at intervals of certain frequency intervals. Examples are burst signals, such as ARQ signals, or multi-carrier signals. The repetitions can be exact or only approximately exact or even similar. The method according to the invention can be used particularly advantageously here if useful signals are to be detected which are very weak, for example only slightly stronger than the background noise. Furthermore, such useful signals can be emphasized particularly suitably by the method according to the invention those in which one or more of the repeated components are partially obscured by other signals in time and frequency.
Gut geeignet ist das erfindungsgemäße Verfahren typischerweise auch zur Detektion von Störsignalen, also solchen Signalen, die unbeabsichtigt oder auch nicht kooperativ erzeugt wurden und sich in einem Frequenzsignal durch ungewollte Signalkomponenten äußern, und zudem andere Nutzsignale in unvorteilhafter Weise überlagern können. Störsignale liegen in einem Frequenzsignal oftmals in Form von in gewissen Abständen wiederholten Signalkomponenten vor. Hierbei gibt es ebenfalls oftmals vorab bekannte Abstandswerte, beispielsweise solche Abstände, die Vielfache der Wellenlänge oder der reziproken Wellenlänge der Netzspannungsfrequenz sind. Weiterhin ergeben sich oftmals Abstandswerte, die für bestimmte elektrische Geräte oder Maschinen charakteristisch sind. Das erfindungsgemäße Verfahren kann unter Ausnutzung solcher vorab bekannter Abstandswerte somit besonders vorteilhaft zu Detektion der resultierenden Störsignale eingesetzt werden.The method according to the invention is typically also well suited for detecting interference signals, i.e. signals that were generated unintentionally or not cooperatively and are expressed in a frequency signal by unwanted signal components, and can also disadvantageously superimpose other useful signals. Interfering signals are often present in a frequency signal in the form of signal components repeated at certain intervals. Here, too, there are often previously known distance values, for example distances that are multiples of the wavelength or the reciprocal wavelength of the mains voltage frequency. Furthermore, there are often distance values that are characteristic of specific electrical devices or machines. The method according to the invention can thus be used particularly advantageously for detecting the resulting interference signals using such previously known distance values.
Ausführungsbeispieleexemplary embodiments
Die Erfindung wird nachfolgend anhand eines in den
Der Schritt der Produktbildung bewirkt in vorteilhafter Weise eine Verstärkung von im Abstand a in einem Quellsignal wiederholten Signalkomponenten. Die in der Produktbildung resultierenden Komponenten G1 und G2 werden auch als Geisterkomponenten bezeichnet, da sie im nach der Produktbildung resultierenden Signal zusätzliche, im Quellsignal nicht vorhandene Signalkomponenten darstellen können. Insbesondere resultieren für jede in einem Quellsignal vorhandene Signalkomponente, die sich nicht im vorgegebenen Abstand a wiederholt, die also kein durch das erfindungsgemäße Verfahren zu verstärkendes oder zu detektierendes Nutzsignal darstellt, zwei Geisterkomponenten. Eine wesentliche Einsicht, die dem erfindungsgemäßen Verfahren zugrunde liegt ist, dass der Schritt der Minimumbildung den gegenteiligen Effekt der Produktbildung bewirkt, indem solche Signalkomponenten unterdrückt werden, die sich nicht im Abstand a wiederholen. Deswegen ist es besonders vorteilhaft, die beiden Schritte der Produktbildung und der Minimumbildung, wie im erfindungsgemäßen Verfahren offenbart, zu kombinieren.The step of product formation advantageously brings about an amplification of signal components repeated at a distance a in a source signal. The components G1 and G2 resulting in product formation are also referred to as ghost components, since they can represent additional signal components in the signal resulting after product formation that are not present in the source signal. In particular, two ghost components result for each signal component present in a source signal which is not repeated at the predetermined distance a, ie which does not represent a useful signal to be amplified or detected by the method according to the invention. An essential insight on which the method according to the invention is based is that the step of minimum formation has the opposite effect of product formation by suppressing those signal components which are not repeated at the distance a. It is therefore particularly advantageous to combine the two steps of product formation and minimum formation, as disclosed in the method according to the invention.
Gegenüber der gerade dargestellten Methode der zweimaligen Produktbildung zeigt
Eine bevorzugte Ausgestaltung des erfindungsgemäßen Verfahrens (der Verfahrensablauf selbst ist dargestellt in
Druckschriftenpamphlets
- [Müller 2007] Müller, M. (2007): Information Retrieval for Music and Motion. Springer, ISBN 978-3-540-74047-6.[Müller 2007] Müller, M. (2007): Information Retrieval for Music and Motion. Springer, ISBN 978-3-540-74047-6.
-
[Gardner 1986] Gardner, W. (1986): The Spectral Correlation Theory of Cyclostationary Time-Series, Signal Processing 11, S. 13-36.[Gardner 1986] Gardner, W. (1986): The Spectral Correlation Theory of Cyclostationary Time-Series,
Signal Processing 11, pp. 13-36. - [Bardeli et al. 2008] Bardeli R., Wolff D., Clausen M. (2008): Bird Song Recognition in Complex Audio Scenes, Proceedings of the International Expert meeting on IT-based Detection of Bioacoustical Patterns, BfN-Skripten 234: 93-101.[Bardeli et al. 2008] Bardeli R., Wolff D., Clausen M. (2008): Bird Song Recognition in Complex Audio Scenes, Proceedings of the International Expert meeting on IT-based Detection of Bioacoustical Patterns, BfN-Skripten 234: 93-101.
- [Ouyang et al. 2012] Ouyang, W., Tombari, F. ; Mattoccia, S. ; Di Stefano, L. ; Wai-Kuen Cham (2012): Performance Evaluation of Full Search Equivalent Pattern Matching Algorithms, IEEE Trans. on Pattern Matching and Machine Intelligence, vol. 34, no. 1.[Ouyang et al. 2012] Ouyang W, Tombari F; Mattoccia, S. ; Di Stefano, L. ; Wai-Kuen Cham (2012): Performance Evaluation of Full Search Equivalent Pattern Matching Algorithms, IEEE Trans. on Pattern Matching and Machine Intelligence, vol. 34, no. 1.
- [Rabiner 1989] Rabiner, L. (1986): A Tutorial on Hidden Markov Models an Selected Applications in Speech Recognition, Proc. of the IEEE, vol. 77, no. 2.[Rabiner 1989] Rabiner, L. (1986): A Tutorial on Hidden Markov Models in Selected Applications in Speech Recognition, Proc. of the IEEE, vol. 77, no. 2.
- [Clausen et al. 2003] Clausen M., Körner H., Kurth F. (2003): An Efficient Indexing and Search Technique for Multimedia Databases, SIGIR 2003 Workshop on Multimedia Retrieval.[Clausen et al. 2003] Clausen M., Körner H., Kurth F. (2003): An Efficient Indexing and Search Technique for Multimedia Databases, SIGIR 2003 Workshop on Multimedia Retrieval.
- [Kaupinnen 2002] Kauppinen, I. (2002): Methods for detecting impulsive noise in speech and audio signals. In 14th International Conf. on Digital Signal Processing Proc. DSP 2002 (Cat. No.02TH8628), vol. 2, S. 967-970.[Kaupinnen 2002] Kauppinen, I. (2002): Methods for detecting impulsive noise in speech and audio signals. In the 14th International Conf. on Digital Signal Processing Proc. DSP 2002 (Cat. No.02TH8628), vol. 2, pp. 967-970.
- [Bello et al 2005] Bello, J. P.; Daudet L.; Abdallah, S.; Duxbury, C.; Davies, M. and Sandler, M. (2005): A tutorial on onset detection in music signals. IEEE Transactions on Speech and Audio Processing, 13(5):1035-1047.[Bello et al 2005] Bello, J.P.; Daudet L.; Abdallah, S.; Duxbury, C.; Davies M and Sandler M (2005) A tutorial on onset detection in music signals. IEEE Transactions on Speech and Audio Processing, 13(5):1035-1047.
- [Foote 2000] J. Foote (2000): Automatic audio segmentation using a measure of audio novelty. In Proc. IEEE Int. Conf. Multimedia and Expo (ICME2000), vol. I, New York, S. 452-455.[Foote 2000] J Foote (2000): Automatic audio segmentation using a measure of audio novelty. In proc. IEEE Int. conf Multimedia and Expo (ICME2000), vol. I, New York, pp. 452-455.
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012012626.3A DE102012012626B4 (en) | 2012-06-25 | 2012-06-25 | Method for emphasizing and detecting repeated useful signal components within a source signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012012626.3A DE102012012626B4 (en) | 2012-06-25 | 2012-06-25 | Method for emphasizing and detecting repeated useful signal components within a source signal |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102012012626A1 DE102012012626A1 (en) | 2014-01-02 |
DE102012012626B4 true DE102012012626B4 (en) | 2022-05-12 |
Family
ID=49753782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102012012626.3A Active DE102012012626B4 (en) | 2012-06-25 | 2012-06-25 | Method for emphasizing and detecting repeated useful signal components within a source signal |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102012012626B4 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE1900289B1 (en) | 1969-01-03 | 1970-08-20 | Commissariat Energie Atomique | Method and arrangement for numerical analysis of signals |
DE3506449C1 (en) | 1985-02-23 | 1986-06-12 | Philips Patentverwaltung Gmbh, 2000 Hamburg | Correlator |
DE3220073C1 (en) | 1982-05-28 | 1993-01-28 | Battelle Institut E V | Method for detecting, detecting and distinguishing radio transmissions independently of each other within a certain frequency range |
DE4243113C2 (en) | 1992-12-21 | 1996-08-29 | Medav Digitale Signalverarbeit | Procedure for the automatic, spectral instruction of modulation type classifiers |
DE19918610A1 (en) | 1998-04-25 | 2000-10-26 | Wolfgang Hilberg | Correlation circuitry with shift register and sign bit inversion circuitry set according to Fibonacci series |
EP1543665B1 (en) | 2002-09-26 | 2007-05-02 | Infineon Technologies AG | Device and method for identifying a useful signal in a receiver |
-
2012
- 2012-06-25 DE DE102012012626.3A patent/DE102012012626B4/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE1900289B1 (en) | 1969-01-03 | 1970-08-20 | Commissariat Energie Atomique | Method and arrangement for numerical analysis of signals |
DE3220073C1 (en) | 1982-05-28 | 1993-01-28 | Battelle Institut E V | Method for detecting, detecting and distinguishing radio transmissions independently of each other within a certain frequency range |
DE3506449C1 (en) | 1985-02-23 | 1986-06-12 | Philips Patentverwaltung Gmbh, 2000 Hamburg | Correlator |
DE4243113C2 (en) | 1992-12-21 | 1996-08-29 | Medav Digitale Signalverarbeit | Procedure for the automatic, spectral instruction of modulation type classifiers |
DE19918610A1 (en) | 1998-04-25 | 2000-10-26 | Wolfgang Hilberg | Correlation circuitry with shift register and sign bit inversion circuitry set according to Fibonacci series |
EP1543665B1 (en) | 2002-09-26 | 2007-05-02 | Infineon Technologies AG | Device and method for identifying a useful signal in a receiver |
Also Published As
Publication number | Publication date |
---|---|
DE102012012626A1 (en) | 2014-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112017002799B4 (en) | METHOD AND SYSTEM FOR GENERATION OF MULTIMODAL DIGITAL IMAGES | |
EP1523719B1 (en) | Device and method for characterising an information signal | |
DE60123161T2 (en) | Method and apparatus for speech recognition in a variable noise environment | |
EP1405222B9 (en) | Method and device for producing a fingerprint and method and device for identifying an audio signal | |
EP4067937A1 (en) | Method for detecting obstacle objects and for predicting the change in position of known obstacle objects on the basis of signals from several sensors and for compression and decompression of sensor signals used for the above purposes | |
DE102014217681B4 (en) | Siren signal source detection, detection and localization | |
DE112007002014B4 (en) | A method of computing the rate of a music selection and tempo estimation system | |
WO2005048195A2 (en) | Method for the analysis of correspondences in image data sets | |
DE112018006885B4 (en) | TRAINING DEVICE, LANGUAGE ACTIVITY DETECTOR AND METHOD FOR DETECTING LANGUAGE ACTIVITY | |
EP2005361A1 (en) | Multi-sensorial hypothesis based object detector and object pursuer | |
DE10134471A1 (en) | Characterizing signal representing audio content involves determining measure of tonality of signal from spectral component and producing information re tonality of signal based on measure | |
DE112017006891T5 (en) | MOTOR MESSAGE DEVICE, SKILL DISTORTION DEVICE AND SKILL DISTORTION SYSTEM | |
DE19633693C1 (en) | Method of detecting target pattern in static or dynamic systems | |
DE112015005427T5 (en) | Quality control machine for complex physical systems | |
DE102004028693B4 (en) | Apparatus and method for determining a chord type underlying a test signal | |
DE112017006049B4 (en) | Method and device for sound identification based on periodic signs | |
DE102017104094B4 (en) | VOICE PROCESSING SYSTEM AND VOICE PROCESSING METHOD | |
DE102012012626B4 (en) | Method for emphasizing and detecting repeated useful signal components within a source signal | |
DE102016223484A1 (en) | Determining Similarities in Computer Software Codes for Performance Analysis | |
DE102007036277A1 (en) | Method and device for automatic pattern recognition | |
DE102018209898A1 (en) | Method for determining corresponding pixels, SoC for carrying out the method, camera system with the SoC, control unit and vehicle | |
DE102020203047A1 (en) | Efficient simultaneous inference calculation for multiple neural networks | |
DE102018101014B3 (en) | A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera | |
DE102004007049A1 (en) | Method for classifying an object with a stereo camera | |
DE102019119087A1 (en) | COMPONENT-BASED PROCESSING OF INPUT SIZES |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R006 | Appeal filed | ||
R008 | Case pending at federal patent court | ||
R009 | Remittal by federal patent court to dpma for new decision or registration | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06F0017000000 Ipc: G06F0017100000 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |