EP2062254A1 - Steganography in digital signal encoders - Google Patents

Steganography in digital signal encoders

Info

Publication number
EP2062254A1
EP2062254A1 EP07801969A EP07801969A EP2062254A1 EP 2062254 A1 EP2062254 A1 EP 2062254A1 EP 07801969 A EP07801969 A EP 07801969A EP 07801969 A EP07801969 A EP 07801969A EP 2062254 A1 EP2062254 A1 EP 2062254A1
Authority
EP
European Patent Office
Prior art keywords
information
codeword
signal
codebook
steganographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP07801969A
Other languages
German (de)
French (fr)
Other versions
EP2062254B1 (en
Inventor
Bernd Geiser
Peter Vary
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Rheinisch Westlische Technische Hochschuke RWTH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rheinisch Westlische Technische Hochschuke RWTH filed Critical Rheinisch Westlische Technische Hochschuke RWTH
Priority to EP11006299A priority Critical patent/EP2385521A1/en
Priority to SI200731014T priority patent/SI2062254T1/en
Priority to PL07801969T priority patent/PL2062254T3/en
Publication of EP2062254A1 publication Critical patent/EP2062254A1/en
Application granted granted Critical
Publication of EP2062254B1 publication Critical patent/EP2062254B1/en
Priority to CY20121100830T priority patent/CY1113155T1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04K—SECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K1/00—Secret communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0007—Codebook element generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

In a method for embedding steganographic information into the signal information of a signal encoder, a solution is to be created, which enables steganographic information being embedded into the signal information of a signal encoder such that a reduction of the voice quality is largely avoided. This is achieved by means of providing data information, particularly voice information, selecting steganographic information from a quantity of steganographic information, generating a code word from a code book provided by means of the signal encoder on the basis of the code elements forming the code book such that with the use of the code word generated within the scope of a transmission standard associated with the code book the data information is encoded into signal information containing the code word and/or making reference to the code word; and by the code word generated having an additional feature that can be calculated on the basis of the code elements forming the code word, wherein the additional feature represents the steganographic information.

Description

Steganographie in digitalen Signal-Codierern Steganography in digital signal coders
Die Erfindung richtet sich auf ein Verfahren zur Einbettung einer steganographischen Information in eine Signalinformati- on eines Signal-Codierers.The invention is directed to a method for embedding a steganographic information in a Signalinformati- on a signal encoder.
Neben den analogen Ton-, Bild- und Videoübertragungen gewinnt die digitale Übertragung immer mehr Gewicht. Dies liegt unter anderem auch daran, dass digitale Signalinformationen einfa- eher bearbeitet, d.h. kopiert oder auch komprimiert werden können. So führt insbesondere die Komprimierung von digitalen Signalinformationen dazu, dass mittels Signalübertragungskanälen mit begrenzten Datenübertragungsraten mit hoher Informationsdichte Informationen übertragen werden können.In addition to analogue audio, video and video transmissions, digital transmission is becoming increasingly important. Among other things, this is due to the fact that digital signal information is more easily processed, i. can be copied or compressed. In particular, the compression of digital signal information means that information can be transmitted by means of signal transmission channels with limited data transmission rates with high information density.
Neben der Komprimierung von Signalinformationen als eine Art der Bearbeitung hat sich in jüngster Zeit auch das Einbetten von "unsichtbaren" - steganographischen - Informationen in Signalinformationen durchgesetzt. Eine solche Einbettung von Zusatzinformationen ermöglicht beispielsweise eine Kennzeichnung von Urheberrechten - wenn es sich bei der Signalinformation beispielsweise um ein Musikstück handelt - oder allgemein gesprochen um eine allgemeine Herkunftsangabe, also ein "digitales Wasserzeichen" .In addition to the compression of signal information as a type of processing, the embedding of "invisible" - steganographic - information into signal information has recently gained acceptance. Such an embedding of additional information allows, for example, a marking of copyrights - if the signal information is, for example, a piece of music - or, generally speaking, a general indication of origin, ie a "digital watermark".
Auch wenn sich eine derartige Einbettung von steganographischen Informationen in Musik- und/oder Videosignalen bereits weitgehend durchgesetzt hat, so ist eine Einbettung von steganographischen Informationen in eine codierte Signalinforma- tion, insbesondere wenn sie in "Echtzeit" zu übertragen ist, weiterhin mit Schwierigkeiten verbunden. Dies ist in der Tatsache begründet, dass gewisse Codierungen keine Redundanz und damit keinen Raum für steganographische Informationen bieten, oder dass die steganographische Information beim Decodieren der codierten Signalinformation verloren geht. Eine derartige Ausgangssituation, bei der Signalinformationen, im gegebenen Fall vornehmlich Sprachinformationen, über einen Kanal gesendet und empfangen werden, und in Echtzeit codiert und decodiert werden, und bei der nicht unbeschränkt Übertragungsressourcen zur Verfügung stehen, findet man beispielsweise in der Mobilfunktelefonie . Hier erlaubt das GSM- Netz bestenfalls eine Übertragungsrate von maximal 13,0 kbit/s. Eine uncodierte Sprachinformation, d.h. hier eine nicht komprimierte Sprachinformation, wäre aufgrund der sehr geringen Übertragungsrate auf Empfängerseite kaum mehr zu verstehen. Um trotzdem verständliche Sprachinformationen beispielsweise von einem Mobilfunkgerät auf ein anderes zu übertragen, haben sich die sogenannten Sprach-Codecs als ein pro- bates Mittel zur komprimierten Sprachsignalübertragung herauskristallisiert. Sollen zusätzliche Informationen, d.h. steganographische Informationen, in eine solche Signalinformation eingebettet werden, so sind die sich aus der Codierung ergebenden Besonderheiten zu berücksichtigen.Even if such an embedding of steganographic information in music and / or video signals has already largely become established, the embedding of steganographic information in a coded signal information, in particular if it is to be transmitted in "real time", continues to be difficult , This is due to the fact that certain encodings do not provide redundancy and thus no room for steganographic information or that the steganographic information is lost in decoding the encoded signal information. Such an initial situation in which signal information, in this case primarily voice information, is transmitted and received over a channel and encoded and decoded in real time, and in which unrestricted transmission resources are available, can be found, for example, in mobile telephony. At best, the GSM network allows a maximum transmission rate of 13.0 kbit / s. An uncoded voice information, ie here a non-compressed voice information, would hardly be understood due to the very low transmission rate on the receiver side. In order nevertheless to transmit intelligible speech information, for example from one mobile radio device to another, the so-called voice codecs have emerged as a probable means for compressed speech signal transmission. If additional information, ie steganographic information, is to be embedded in such a signal information, then the peculiarities resulting from the coding must be taken into account.
Im Bereich der mobilen Telekommunikation werden beispielsweise in GSM (Global System for Mobile Communications) - Mobilfunknetzwerken oder UMTS (Universal Mobile Telecommunications Standard ) - Mobilfunknetzwerken die zu übertragenden Sprach- Informationen mittels des bekannten CELP (Code-book Excited Linear Predictive Coding) bzw. ACELP (Algebraic Code Excited Linear Prediction) oder zukünftig der AMR (Adaptive MultiRate) - Codierung codiert. Diese Sprachcodierungen basieren allesamt auf einem Modell der Spracherzeugung, bei dem in ei- ner ersten Nährung die Bildung des Sprachsignals in einer Anregungsstufe und einer Filterungsstufe erzeugt wird. Ein Signalcodierer, wie beispielsweise ein CELP-Codierer , ein ACELP-Codierer oder ein AMR-Codierer, erzeugt einen Codebucheintrag, in der Regel einen Vektor aus einem sogenannten Codebuch, wobei die Codeelemente des Codebucheintrages - also in der Regel die Vektorkomponenten - Informationen bezüglich der (Filter-) Anregung enthalten. Filterkoeffizienten, Verstärkungsfaktoren etc. werden als Zeitinformation mittels de- dizierter Codebücher codiert.In the field of mobile telecommunications, for example, in GSM (Global System for Mobile Communications) mobile radio networks or UMTS (Universal Mobile Telecommunications Standard) mobile radio networks, the voice information to be transmitted by means of the known CELP (Code-book Excited Linear Predictive Coding) or ACELP (Algebraic Code Excited Linear Prediction) or future encoded the AMR (Adaptive MultiRate) encoding. These speech codings are all based on a model of speech production in which the formation of the speech signal in an excitation stage and a filtering stage is generated in a first diet. A signal coder, such as a CELP coder, an ACELP coder or an AMR coder, generates a codebook entry, typically a vector of a so-called codebook, with the codebook entry code elements - ie usually the vector components - information regarding the (filter) excitation included. Filter coefficients, gain factors, etc. are encoded as time information by means of dedicated codebooks.
Ein Codebuch zur Anregungscodierung besteht in der Regel aus einer Menge von Vektoren, beispielsweise mit jeweils 10 Komponenten bei der ACELP-Codierung nach den Enhanced Füll Rate (EFR) Standard, die die zu übermittelnde Sprachinformation für eine bestimmte Länge, beispielsweise 5 Millisekunden, codieren. Aus dem fest vorgegebenen Codebuch, welches insgesamt eine große Vielzahl von Vektoren umfasst, wobei die Vektoren nach bekannten Kriterien aufgebaut sind, wird in der Regel eine Teilmenge des Codebuches, ein Sub-Codebuch, verwendet, die oftmals ausreichend ist, um die gewöhnlichen Sprachinformationen mit einer guten Qualität übertragen zu können.A codebook for excitation coding usually consists of a set of vectors, for example each with 10 components in the ACELP encoding according to the Enhanced Filling Rate (EFR) standard, which encode the speech information to be transmitted for a certain length, for example 5 milliseconds. From the fixed codebook, which comprises a total of a large variety of vectors, wherein the vectors are constructed according to known criteria, usually a subset of the codebook, a sub-codebook is used, which is often sufficient to the ordinary speech information with to transfer a good quality.
Zur Unterscheidung zwischen dem im Rahmen der Codierung vorgegebenen vollständigen Codebuch, wird das in der Praxis ver- wendete Sub-Codebuch als "praktisches Codebuch" bezeichnet.In order to distinguish between the complete codebook given in the context of the coding, the sub-codebook used in practice is referred to as a "practical codebook".
Zum schnellen Auffinden eines geeigneten Codebucheintrages wird das praktische Codebuch nur heuristisch durchsucht, d.h. es wird keine vollständige Suche nach einem geeigneten Code- bucheintrag durchgeführt.To quickly find a suitable codebook entry, the practical codebook is only searched heuristically, i. a complete search for a suitable codebook entry is not performed.
Ein Verfahren, welches die Zerlegung eines festen Codebuches berücksichtigt, wird in dem Artikel „Watermarking Combined with CELP Speech Coding for Authentication" von Zhe-Ming Lu et al. (in IEICE TRANS. INF. & SYST., Vol. E88-D, No. 2 Feb- ruary 2005) offenbart. Dabei wird zunächst ein Codebuch in drei Sub-Codebücher zerlegt, aus denen wiederum zwei Codebücher generiert werden, welche unterschiedliche Eigenschaften aufweisen. Je nachdem, welche steganographische Information übermittelt werden soll, wird nun ein Codebucheintrag aus dem dafür bestimmten Sub-Codebuch ausgewählt und zur Codierung der zu übermittelnden Sprachinformation verwendet. Diese Sprachinformation kann auf Empfängerseite decodiert werden, wobei der eigentliche Decodierer auch gleichzeitig erkennen kann, aus welcher Zerlegung des Codebuches der Codebucheintrag stammt. Um eine hinreichend gute Codierung aus einem der Sub-Codebücher bereitzustellen, wird in der Veröffentlichung auch das bekannte Analysis-by-Synthesis Verfahren beschrieben. Bei diesem Verfahren wird das ausgewählte Codewort be- wertet, d.h. die Güte der Codierung wird überprüft. Dies gescheht im Wesentlichen dadurch, dass, nachdem eine Sprachinformation codiert wurde, die Codierung decodiert, d.h. synthetisiert, wird und das Ergebnis der Decodierung, welches wiederum eine Sprachinformation darstellt, mit der ursprüng- liehen Sprachinformation verglichen wird. Somit wird vorab auf Senderseite - Codiererseite - eine Synthese durchgeführt, die, nach einer etwaigen Übertragung, ebenfalls auf Empfängerseite -Decodiererseite - durchgeführt wird. Mit einer solchen Analysis-by-Synthesis Schleife ist es möglich, ein Code- wort, d.h. in der Regel einen Vektor aus einem Codebuch, aufzufinden, welches zum einen die gewünschte Eigenschaft, d.h. aus dem entsprechend zerlegten Sub-Codebuch stammend, aufweist und dabei die Sprachinformation mit einer ausreichenden Qualität codiert.A method which takes into account the decomposition of a fixed codebook is described in the article "Watermarking Combined with CELP Speech Coding for Authentication" by Zhe-Ming Lu et al (in IEICE TRANS.INF. & SYST., Vol. E88-D, No. 2 February 2005.) In this case, a codebook is first broken down into three sub-codebooks, from which in turn two codebooks are generated which have different properties Depending on which steganographic information is to be transmitted, a codebook entry is now output the for this particular sub-codebook selected and used to encode the language information to be transmitted. This speech information can be decoded on the receiver side, wherein the actual decoder can also recognize at the same time from which decomposition of the codebook the codebook entry originates. In order to provide a sufficiently good coding from one of the sub-codebooks, the publication also describes the known analysis-by-synthesis method. In this method, the selected code word is evaluated, ie the quality of the coding is checked. This is essentially achieved by decoding, ie synthesizing, the coding after speech information has been encoded, and comparing the result of the decoding, which in turn represents speech information, with the original speech information. Thus, a synthesis is performed in advance on the transmitter side - encoder side - which, after any transmission, is also performed on the receiver side decoder side. With such an analysis-by-synthesis loop, it is possible to find a code word, ie, as a rule, a vector from a codebook, which on the one hand has the desired property, ie originating from the correspondingly decomposed sub-codebook, and thereby the voice information is encoded with sufficient quality.
Es zeigt sich jedoch, dass die feste Aufteilung eines praktischen Codebuchs - welches ja ohnehin schon eine Untermenge eines übergeordneten Codebuchs ist - in mehrere Sub- Codebücher die Anzahl der verwendbaren Codeworte pro Sub- Codebuch derart reduziert, dass eine hörbare Reduktion der Sprachqualität nicht ausgeschlossen ist.It turns out, however, that the fixed distribution of a practical codebook - which is already a subset of a higher-level codebook - reduces the number of usable codewords per sub-codebook in several sub-codebooks such that an audible reduction of the speech quality is not ruled out ,
Der Erfindung liegt daher die Aufgabe zugrunde, eine Lösung zu schaffen, die es ermöglicht, eine steganographische Infor- mation in eine Signalinformation eines Signalcodierers derart einzubetten, dass eine Reduktion der Sprachqualität weitest- gehend vermieden wird.The invention is therefore based on the object of providing a solution which makes it possible to provide steganographic information in a signal information of a signal coder in such a way that a reduction in voice quality is largely avoided.
Bei einem Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signal-Codierers wird die Aufgabe erfindungsgemäß gelöst durch Bereitstellen einer Dateninformation, insbesondere einer Sprachinformation, Auswählen einer steganographischen Information aus einer Menge von steganographischen Informationen, Erzeugen eines Code- wortes aus einem bereitgestellten Codebuch mittels eines Signal-Codierers auf Basis von das Codewort bildenden Codeelementen, derart, dass unter Verwendung des erzeugten Codewortes im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards die Dateninformation in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation codiert wird; und, dass das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt.In a method for embedding a steganographic information in a signal information of a signal coder, the object is achieved by providing a data information, in particular a language information, selecting a steganographic information from a set of steganographic information, generating a code word from a provided codebook means a signal coder based on the code word forming code elements, such that using the generated codeword in the context of a transmission standard associated with the codebook, the data information is coded into a codeword-containing and / or the codeword referring signal information; and that the generated codeword has an additional property computable on the basis of the codewords forming the codeword, the additional property representing the steganographic information.
Ein solches Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signalcodierers, bei dem ein Codewort aus einem bereitgestellten Codebuch mittels des Signalcodierers auf Basis von das Codewort bildenden Codeelementen erzeugt wird, ermöglicht es, ein Codewort bereitzustellen, welches zum einen eine berechenbare Eigenschaft aufweist, d.h. eine steganographische Information darstellt, und zum anderen gleichzeitig eine Signalinformation bereitstellt, welche für eine Dateninformation, insbesondere eine Sprachinformation, codiert. Dadurch, dass nicht von vor- neherein eine Zerlegung des Codebuches durchgeführt wird, sondern statt dessen ein Codebucheintrag erzeugt wird, und zwar auf Basis der das Codewort bildenden Codeelemente, können Codeworte berücksichtigt werden, die nicht in dem prakti- sehen Codebuch und/oder den Zerlegungen des praktischen Code- buches vorhanden waren. Dies erweitert die Anzahl der Codeelemente auf die zurückgegriffen werden kann erheblich, so dass entweder eine Zerlegung in mehr Sub-Codebϋchern im Vergleich zum Stand der Technik oder aber bei einer gleichen An- zahl von Sub-Codebüchern eine verbesserte Sprachqualität im Vergleich zum Stand der Technik bereitgestellt werden kann.Such a method for embedding steganographic information in signal information of a signal coder in which a codeword is generated from a provided codebook by means of the signal coder on the basis of codeword-forming code elements makes it possible to provide a codeword having a calculable property on the one hand, ie represents a steganographic information, and on the other hand at the same time provides signal information which for a data information, in particular a voice information, encoded. By not performing a decomposition of the codebook from the outset, but instead generating a codebook entry on the basis of the code elements forming the codeword, codewords which are not included in the practical codebook and / or the codebook can be considered Decompositions of the practical code book were available. This significantly expands the number of code elements that can be accessed, so that either a decomposition into more sub-codebooks compared to the prior art or an equal number of sub-codebooks results in an improved speech quality compared to the prior art can be provided.
Bevorzugt wird in einer Ausgestaltung der Erfindung eine Bewertung des erzeugten Codewortes im Rahmen eines mit dem be- reitgestellten Codebuch assoziierbaren Übertragungsstandards mittels Decodierens des Codewortes und anschließenden Ver- gleichens der decodierten Dateninformation mit der ursprünglichen Dateninformation durchgeführt.Preferably, in one embodiment of the invention, an evaluation of the generated codeword in the context of a transmission standard associable with the provided codebook is carried out by decoding the codeword and then comparing the decoded data information with the original data information.
Dies hat den Vorteil, dass die Qualität des erzeugten Codewortes bezüglich der Codierungs-Decodierungstreue, d.h. dem Verlust der (Sprach-) Qualität aufgrund der Codierung und De- codierung, bewertet werden kann.This has the advantage that the quality of the generated codeword with respect to the coding-decoding fidelity, i. the loss of (speech) quality due to coding and decoding.
Weiterhin bevorzugt wird in Ausgestaltung des erfindungsgemäßen Verfahrens das Erzeugen des Codewortes aus dem bereitgestellten Codebuch mittels des Signal-Codierers auf Basis der das Codewort bildenden Codeelemente unter Berücksichtigung der Bewertung durchgeführt.In another embodiment of the method according to the invention, the code word is generated from the provided codebook by means of the signal coder on the basis of the code elements forming the codeword, taking into account the evaluation.
Die Berücksichtigung der Bewertung bei der Erzeugung des Codewortes aus dem bereitgestellten Codebuch ermöglicht das Erzeugen von Codeworten, welche eine hohe Sprachqualität bezüglich der zu codierenden Information aufweisen.The consideration of the evaluation in the generation of the codeword from the provided codebook makes it possible to generate codewords which have a high speech quality with regard to the information to be coded.
In einer Ausgestaltung der Erfindung wird die Verwendung eines auf Basis des GSM (Global System for Mobile Communications)- und/oder des UMTS (Universal Mobile Telecommunications Standard) -Übertragungsstandards basierenden Codierers und Co- debuches vorgesehen. Dies hat den Vorteil, dass das Verfahren zur Einbettung einer steganographischen Information auch in Mobilfunknetzen verwendet werden kann.In an embodiment of the invention, the use of a coder and codebook based on the GSM (Global System for Mobile Communications) and / or the UMTS (Universal Mobile Telecommunications Standard) transmission standard is provided. This has the advantage that the method for embedding a steganographic information can also be used in mobile radio networks.
Zur weiteren Ausgestaltung der Erfindung ist das Erzeugen eines Codewortes auf Basis der CELP-, der ACELP (Algebraic Code Exited Linear Prediction) - und /oder der AMR-Codierung vorgesehen .For further embodiment of the invention, the generation of a codeword based on the CELP, the ACELP (Algebraic Code Exited Linear Prediction) - and / or the AMR encoding is provided.
Die hohe Verbreitung der CELP oder der ACELP Codierung ermöglicht die Verwendung des erfindungsgemäßen Verfahrens in vielen Bereichen der Technik, insbesondere der mobilen Telekommunikation. Dies gilt zukunftsweisend analog auch für die AMR-Codierung.The high prevalence of CELP or ACELP coding allows the use of the method according to the invention in many fields of technology, in particular mobile telecommunications. This also applies to the future by analogy for the AMR coding.
Weiterhin wird in einer Ausgestaltung die Berechnung der Eigenschaft des Codewortes als Ergebnis einer Anwendung mindestens einer Operation auf mindestens eines der das Codewort bildenden Codeelemente durchgeführt.Furthermore, in one embodiment, the calculation of the property of the code word is performed as a result of applying at least one operation to at least one of the code elements forming the code word.
So ist es möglich, auf Basis der das Codewort bildenden Codeelemente unter Anwendung mindestens einer, vorzugsweise mathematischen, Operation eine Eigenschaft des Codewortes zu bestimmen, welche die steganographische Information darstellt.It is thus possible, on the basis of the code elements forming the codeword, to determine a property of the codeword which represents the steganographic information using at least one, preferably mathematical, operation.
Weiterhin wird in Ausgestaltung des erfindungsgemäßen Verfahrens die Bereitstellung des Codewortes derart ausgeführt, dass das Codewort die Eigenschaft implizit erfüllt.Furthermore, in an embodiment of the method according to the invention, the provision of the code word is carried out such that the code word implicitly satisfies the property.
Dies hat den Vorteil, dass ein Codewort derartig erzeugt werden kann, dass es die Eigenschaft, welche die steganographische Information darstellt, bereits während seiner Erzeugung erfüllt. Weiterhin wird in einer Ausgestaltung des erfindungsgemäßen Verfahrens die Auswahl der steganographischen Information derart durchgeführt, dass die steganographische Information zur Signalverbesserung, insbesondere bei Sprachübertragung, wie eine künstliche Bandbreitenerweiterung und/oder Störreduktion, verwendet wird.This has the advantage that a codeword can be generated in such a way that it already fulfills the property which represents the steganographic information during its generation. Furthermore, in one embodiment of the method according to the invention, the selection of the steganographic information is carried out in such a way that the steganographic information is used for signal improvement, in particular for voice transmission, such as artificial bandwidth expansion and / or noise reduction.
Es wurde festgestellt, dass die zusätzliche übertragbare ste- ganographische Information genutzt werden kann, um beispielsweise eine Eigenschaft der eigentlich zu übertragenden Dateninformation zu beschreiben, so dass die steganographische Information zur Signalverbesserung benutzt werden kann. Das bedeutet, dass - sofern das für die Dateninformation codierende Codewort nach dem erfindungsgemäßen Verfahren erzeugt wird - der marginale Verlust in der Übertragungsqualität durch die steganographische Zusatzinformation nicht nur kompensiert, sondern sogar überkompensiert werden kann.It has been found that the additional transferable geographic information can be used, for example, to describe a property of the data information actually to be transmitted, so that the steganographic information can be used to improve the signal. This means that - if the code word coding for the data information is generated by the method according to the invention - the marginal loss in the transmission quality can not only be compensated by the steganographic additional information, but can even be overcompensated.
Weiterhin wird in einer Ausgestaltung die Auswahl der steganographischen Information derart durchgeführt, dass die steganographische Information als digitales Wasserzeichen verwendet wird.Furthermore, in one embodiment, the selection of steganographic information is performed such that the steganographic information is used as a digital watermark.
Bei der Verwendung der steganographischen Information als digitales Wasserzeichen können nicht nur die Originalität und die Herkunft von Dateninformationen gekennzeichnet werden, vielmehr können auch Urheberrechte an Dateninformationen mit Hilfe der steganographischen Information in Form eines digi- talen Wasserzeichens eingebracht werden. Dabei wird die Dateninformation im Rahmen des erfindungsgemäßen Verfahrens qualitativ kaum beeinträchtigt. In weiterer Ausgestaltung der Erfindung wird ein Übertragen der das Codewort beinhaltenden oder auf das Codewort verweisenden Signalinformationen an einen Empfänger durchgeführt.When using the steganographic information as a digital watermark, not only the originality and the origin of data information can be identified, but also copyrights to data information with the help of steganographic information in the form of a digital watermark can be introduced. The data information is qualitatively hardly impaired in the context of the method according to the invention. In a further embodiment of the invention, a transmission of the codeword-containing or referring to the codeword signal information is performed to a receiver.
Vorteilhafterweise ist es durch ein Übertragen an einen Empfänger möglich, die Dateninformation und die steganographi- sche Information in Form einer Signalinformation über eine räumliche Distanz zu übertragen.Advantageously, by transmitting to a receiver, it is possible to transmit the data information and the steganographic information in the form of signal information over a spatial distance.
Weiterhin wird in einer Ausgestaltung des erfindungsgemäßen Verfahrens ein empfangsseitiges Bereitstellen einer Dateninformation mittels Decodierens des Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards durchgeführt.Furthermore, in one refinement of the method according to the invention, provision of data information by means of decoding of the codeword is carried out in the context of a transmission standard associable with the provided codebook.
Durch die Decodierung des Codewortes können die in der Signalinformation beinhalteten Dateninformationen sowie die ste- ganographische Information zurückgewonnen und verwendet werden.By decoding the code word, the data information contained in the signal information as well as the geographic information can be recovered and used.
Weiterhin bevorzugt wird in Ausgestaltung des erfindungsgemäßen Verfahrens ein empfangsseitiges Bereitstellen der stega- nographischen Information mittels Berechnens der zusätzlichen Eigenschaft des Codewortes auf Basis der das Codewort bilden- den Codeelemente durchgeführt.Furthermore, in an embodiment of the method according to the present invention, provision of the steganographic information on the receiving side is carried out by calculating the additional characteristic of the codeword on the basis of the code elements forming the codeword.
Je nach Ausgestaltung des Empfängers ist es möglich, die ste- ganographische Information, welche sich in der Signalinformation beinhaltet, zu berechnen. Diese Möglichkeit kann optio- nal genutzt werden, d.h. Systeme, welche nicht in der Lage sind, die steganographische Information zurück zu berechnen, werden lediglich die Dateninformation aus der Signalinformation extrahieren, ohne an die steganographische Information zu gelangen. Schließlich wird in einer Ausgestaltung des Verfahrens weiterhin ein Ausführen des Verfahrens in einer Mobilfunkvorrichtung ausgeführt.Depending on the design of the receiver, it is possible to calculate the geographic information contained in the signal information. This possibility can be used as an option, ie systems which are not able to recalculate the steganographic information will only extract the data information from the signal information without reaching the steganographic information. Finally, in one refinement of the method, the method is also carried out in a mobile radio device.
Das Verfahren eignet sich insbesondere für die Signalinformationsübertragung, d.h. Sprach- oder sonstige Information, mittels Mobilfunkvorrichtungen, welche in einem Mobilfunknetz betreibbar sind.The method is particularly suitable for signal information transmission, i. Voice or other information, by means of mobile devices, which are operable in a mobile network.
Die vorgenannten sowie beanspruchten und in den Ausführungsbeispielen beschriebenen zu verwendenden Bauteile unterliegen in ihrer Größe, Form, Gestaltung, Materialauswahl und technischen Konzeptionen keinen besonderen Ausnahmebedingungen, so dass die in dem Anwendungsgebiet bekannten Auswahlkriterien uneingeschränkt Anwendung finden können.The above-mentioned and claimed components to be used described in the embodiments are subject in their size, shape, design, choice of materials and technical concepts no special conditions of exception, so that the well-known in the field of application selection criteria can apply without restriction.
Weitere Einzelheiten, Merkmale und Vorteile des Gegenstandes der Erfindung ergeben sich aus den Unteransprüchen sowie aus der nachfolgenden Beschreibung der zugehörigen Zeichnungen, in der - beispielhaft - ein bevorzugtes Ausführungsbeispiel der Erfindung dargestellt ist.Further details, features and advantages of the subject matter of the invention will become apparent from the subclaims and from the following description of the accompanying drawings, in which - by way of example - a preferred embodiment of the invention is shown.
Zu den beschriebenen Codierungsverfahren gemäß Ausführungsbeispielen der Erfindung werden entsprechende Codierer be- reitgestellt sowie entsprechende Verfahren zum Dekodieren und entsprechende Dekodierer.Corresponding coders as well as corresponding methods for decoding and corresponding decoders are provided for the described coding methods according to exemplary embodiments of the invention.
Figur 1 zeigt einen Codierer 100 gemäß einem Ausführungsbeispiel der Erfindung.FIG. 1 shows an encoder 100 according to an embodiment of the invention.
Figur 2 zeigt ein Codier/Decodiersystem 200 gemäß einem Ausführungsbeispiel der Erfindung.FIG. 2 shows a coding / decoding system 200 according to an embodiment of the invention.
Figur 3 zeigt einen Codierer 300 gemäß einem Ausführungsbei- spiel der Erfindung. Figur 4 zeigt einen Codierer 400 gemäß einem Ausführungsbeispiel der Erfindung.FIG. 3 shows an encoder 300 according to an embodiment of the invention. FIG. 4 shows an encoder 400 according to an embodiment of the invention.
Figur 5 zeigt ein Codebuch 500 gemäß einem Ausführungsbeispiel der Erfindung.FIG. 5 shows a codebook 500 according to an embodiment of the invention.
Fig.l zeigt einen Codierer 100 gemäß einem Ausführungsbeispiel der Erfindung.Fig.l shows an encoder 100 according to an embodiment of the invention.
Dem Codierer 100 wird ein zu codierende Signal 101, beispielsweise ein Sprachsignal 100, zugeführt. Außerdem werden dem Codierer 100 einzubettende Daten 102 zugeführt. Der Codierer erzeugt aus dem zu codierenden Signal 101 ein codier- tes Signal 103, in das die einzubettenden Daten 102 eingebettet sind, das heißt, aus dem ein entsprechender Decodierer die einzubettenden Daten 102 ermitteln kann.The coder 100 is supplied with a signal 101 to be coded, for example a speech signal 100. In addition, data 100 to be embedded is supplied to the encoder 100. From the signal 101 to be coded, the coder generates a coded signal 103 into which the data 102 to be embedded is embedded, that is, from which a corresponding decoder can determine the data 102 to be embedded.
Das codierte Signal 103 wird beispielsweise an einen Empfän- ger übermittelt, beispielsweise mittels eines Computernetzwerks oder mittels eines Funknetzwerks.The coded signal 103 is transmitted, for example, to a receiver, for example by means of a computer network or by means of a radio network.
Bei dem im Folgenden beschriebenen Ausführungsbeispiel wird angenommen, dass der Codierer 100 in einem Mobilfunknetzwerk gemäß GSM (Global System for Mobile Communications) eingesetzt wird. Bei anderen Ausgestaltungen der Erfindung kann der Codierer auch im Rahmen eines Mobilfunknetzwerks gemäß UMTS (Universal Mobile Telecommunications Standard) , CDMA2000 (CDMA: Code Division Multiple Access) oder gemäß FOMA (Free- dorn of Mobile Access) eingesetzt werden.In the embodiment described below, it is assumed that the encoder 100 is used in a GSM (Global System for Mobile Communications) mobile radio network. In other embodiments of the invention, the encoder can also be used within the framework of a mobile radio network according to UMTS (Universal Mobile Telecommunications Standard), CDMA2000 (CDMA: Code Division Multiple Access) or according to FOMA (Free- dorn of Mobile Access).
In dem im Folgenden beschriebenen Ausführungsbeispiel wird angenommen, dass das zu codierende Signal 101 ein Sprachsignal ist, das von dem Codierer 100 gemäß einem ACELP (Al- gebraic Code Excited Linear Prediction) - Sprachkompressions- verfahren, beispielsweise gemäß einem "Enhanced Full-Rate"- ACELP-Sprachkompressionsverfahren codiert werden soll, wie es in einem GSM-Mobilfunknetz eingesetzt wird.In the embodiment described below, it is assumed that the signal 101 to be encoded is a speech signal that is output by the encoder 100 according to an ACELP (Algebraic Code Excited Linear Prediction) speech compression signal. method, for example, according to an "Enhanced Full Rate" - encoded ACELP voice compression method, as it is used in a GSM mobile network.
Der Codierer 100 verwendet zur Informationseinbettung, das heißt zur Einbettung der einzubettenden Daten 102 in das codierte Signal 103 in einer Ausfϋhrungsform zur Codierung des sogenannten Restsignals ein festes (anders ausgedrückt sto- chastisches) Codebuch, welches in N Sub-Codebücher zerlegt wird. Zur eigentlichen Restsignal-Codierung wird je nach einzubettender Information gemäß einem Binning-Schema (binning scheme) das entsprechende Sub-Codebuch herangezogen.The encoder 100 uses a fixed (in other words stochastic) codebook, which is decomposed into N sub-codebooks, for information embedding, that is for embedding the data 102 to be embedded in the coded signal 103 in an embodiment for coding the so-called residual signal. For the actual residual signal coding, the corresponding sub-codebook is used depending on the information to be embedded in accordance with a binning scheme (binning scheme).
Da das Codebuch bei einem CELP-Sprach-Codierer nicht erschöp- fend (sondern lediglich heuristisch) durchsucht wird, können die Sub-Codebücher einen zum durchsuchten Teil des festen Codebuches durchaus vergleichbaren Umfang haben und die Qualität der CELP-Codierung leidet nur wenig unter der Informationseinbettung. Ferner kann die die Informationseinbettung mit geringer algorithmischer Komplexität durchgeführt werden.Since the codebook is not searched exhaustively (but only heuristically) in a CELP speech coder, the sub codebooks can have a comparable scope to the searched part of the fixed codebook, and the quality of the CELP coding suffers only slightly from that information embedding. Furthermore, the information embedding can be performed with low algorithmic complexity.
Bei dem im Folgenden beschriebenen Ausführungsbeispiel verwendet der Codierer 100 ein Codebuch, das wie folgt definiert ist :In the embodiment described below, the encoder 100 uses a codebook defined as follows:
Das in diesem Ausführungsbeispiel verwendete Codebuch C ist das Codebuch des GSM EFR (Enhanced Füll Rate) Codecs und ist gegeben durch die Vektoren c der ACELP-Pulspositionen, (in diesem Ausführungsbeispiel ohne Vorzeichen) für jeden Subrah- men der Länge 5ms:The codebook C used in this embodiment is the codebook of the GSM EFR (Enhanced Filling Rate) codec and is given by the vectors c of the ACELP pulse positions (unsigned in this embodiment) for each subframe of length 5ms:
C = {c = (c0, • • -, c9)} mit C0, C5 e {0,5,10,15,20,25,30,35} , C1, C6 ε {1,6,11,16,21,26,31,36}C = {c = (c 0 , • • -, c 9 )} with C 0 , C 5 e {0,5,10,15,20,25,30,35}, C 1 , C 6 ε {1,6,11,16,21,26,31,36}
C2, C7 e {2, 7, 12, 17, 22, 27, 32, 37}, C3, C8 e {3,8,13,18,23,28,33,38}C 2 , C 7 e {2, 7, 12, 17, 22, 27, 32, 37}, C 3 , C 8 e {3,8,13,18,23,28,33,38}
undand
C^1Co1 ε {4,9,14,19,24,29,34,39}C ^ 1 Co 1 ε {4,9,14,19,24,29,34,39}
Ein Codewort c aus dem Codebuch (d.h. der Menge aller möglichen Codeworte) C ist somit ein Vektor mit zehn Komponenten, wobei jede Komponente eine Position eines Pulses innerhalb eines Subrahmens beschreibt. Das Codebuch C hat in diesem Ausführungsbeispiel einen Umfang von 2Λ ( 10*log_2 (8 ) ) = 2Λ30 Codewörtern.A codeword c from the codebook (ie, the set of all possible codewords) C is thus a ten component vector, with each component describing a position of a pulse within a subframe. The codebook C in this embodiment has a scope of 2 Λ (10 * log_2 (8)) = 2 Λ 30 codewords.
In einem anderen Ausführungsbeispiel sind die Komponenten der Vektoren c, wie gemäß EFR vorgesehen, vorzeichenbehaftet. Die Verwendung von vorzeichenbehafteten Komponenten ermöglicht eine verbesserte Informationseinbettung. In einer Ausführungsform wird bei EFR jedoch aus Komplexitätsgründen auf die Verwendung von vorzeichenbehafteten Komponenten verzichtet.In another embodiment, the components of the vectors c, as provided in accordance with EFR, are signed. The use of signed components allows for improved information embedding. However, in one embodiment, EFR dispenses with the use of signed components for complexity reasons.
Das Codebuch C wird in einer Ausführungsform derart in zwei Sub-Codebücher C(I) und C (2) zerlegt, dass pro Codewort in das codierte Signal 102 ein Bit der einzubettenden Daten 101 eingebettet werden kann und dementsprechend ein Bit der einzubettenden Daten 101 pro Subrahmen übermittelt wird, was bei einer Subrahmendauer von 5ms einer Datenrate von 200bit/s entspricht .The codebook C is decomposed in such an embodiment into two sub-codebooks C (I) and C (2) that per codeword in the coded signal 102 one bit of the data to be embedded 101 can be embedded and accordingly one bit of the data to be embedded 101 per Subframe is transmitted, which corresponds to a sub-frame duration of 5ms a data rate of 200bit / s.
Die Codewörter der Sub-Codebücher unterscheiden sich darin, dass die Summe der Komponenten c-j_ eines Codewortes aus dem einen Sub-Codebuch gerade und aus dem anderen Sub-Codebuch ungerade ist. Beispielsweise erfüllen alle Codeworte aus C(I) die Bedingung Ci The codewords of the sub-codebooks differ in that the sum of the components c-j_ of a codeword is even from the one sub-codebook and odd from the other sub-codebook. For example, all code words from C (I) satisfy the condition ci
(d.h. Summe der Komponenten ist gerade) und alle Codeworte aus C (2) die Bedingung(i.e., the sum of the components is even) and all code words from C (2) the condition
(d.h. Summe der Komponenten ist ungerade) wobei trunc die Ab- rundungsoperation, das heißt das Abrunden auf die nächstkleinere ganze Zahl, bezeichnet.(i.e., the sum of the components is odd) where trunc denotes the rounding operation, that is, rounding down to the next smallest integer.
Soll eine erste Nachricht (in diesem Beispiel bestehend aus einem Bit, beispielsweise dem Bitwert 0) übermittelt werden, so wird ein Codewort aus C(I) zur Codierung (der aktuellen Signalwerte des zu codierenden Signals 101) verwendet, und soll eine zweite Nachricht (in diesem Beispiel bestehend aus einem Bit, beispielsweise dem Bitwert 1) übermittelt werden, so wird ein Codewort aus C(I) zur Codierung verwendet. Ein Empfänger bzw. ein Decodierer kann basierend auf der Zugehörigkeit eines empfangenen Codeworts zu C(I) oder zu C (2) ermitteln, ob die erste Nachricht oder die zweite Nachricht eingebettet worden ist.If a first message (in this example consisting of one bit, for example the bit value 0) is to be transmitted, then a codeword from C (I) is used for coding (the current signal values of the signal to be coded 101), and a second message ( in this example consisting of one bit, for example the bit value 1), a codeword from C (I) is used for the coding. A receiver or decoder may determine whether the first message or the second message has been embedded based on the membership of a received codeword to C (I) or C (2).
In einer anderen Ausführungsform wird die Unterteilung von C nach gerader und ungerader Parität der Summe der Komponenten der Codeworte durchgeführt. Beispielsweise gehört ein Code-In another embodiment, the division of C is performed in even and odd parity of the sum of the components of the codewords. For example, a code
9 wort zu C(I) wenn ^T c^ in Binärdarstellung eine gerade An- i=0 zahl von Einsen aufweist und zu C (2) andernfalls. In einer Ausführungsform werden vier Bits pro Subrahmen eingebettet und damit eine Datenrate von 400bit/s erreicht. Dies geschieht durch eine Unterteilung des Codebuchs C in vier Sub-Codebücher C(I) bis C (4), wobei die Codeworte der Sub- Codebücher beispielsweise die folgenden Bedingungen erfüllen:9 word to C (I) if ^ T c ^ in binary representation has an even An i = 0 number of ones and to C (2) otherwise. In one embodiment, four bits are embedded per subframe, thereby achieving a data rate of 400bit / s. This is done by dividing the codebook C into four sub-codebooks C (I) to C (4), wherein the codewords of the sub-codebooks satisfy, for example, the following conditions:
C ( I ) : C (I):
C ( 2 ) : ^ C2i + i = 2 • trunc 1 ^ ö 2 . ∑ C2i + 1 i = 0 i = 0C (2): ^ C2i + i = 2 • trunc 1 ^ ö 2. Σ C 2i + 1 i = 0 i = 0
' 3 ) : '3):
c ( 4 : ∑ C2i+1 = 2 • trunc - 1 V ∑ c2i+l + 1 i = 0 2 i = 0c (4: Σ C 2i + 1 = 2 • trunc - 1 V Σ c 2 i + 1 + 1 i = 0 2 i = 0
anschaulich wird hierbei die Unterscheidung basierend auf Geradzahligkeit bzw. Ungeradzahligkeit der Summe der Komponenten mit geradem bzw. ungeraden Index durchgeführt.In this case, the distinction is made on the basis of the even-numbered or odd-numberedness of the sum of the components with even or odd index.
Analog zu der obigen Alternative kann auch bei der Unterteilung des Codebuchs C in vier Sub-Codebücher dies basierend auf der Parität einer Binärdarstellung der Summe von Komponenten mit geradem bzw. ungeradem Index durchgeführt werden,Analogous to the above alternative, even in the subdivision of the codebook C into four sub-codebooks, this can be done based on the parity of a binary representation of the sum of even-numbered components,
4 4 also basierend auf der Parität von ∑ c2i bzw . ∑ C2i + χ . i=0 i=04 4 based on the parity of Σ c 2 i resp. Σ C2i + χ. i = 0 i = 0
In den obigen Bedingungen für die Codebücher C(I) und C (2) bzw. C(I) bis C (4) kann alternativ statt einer Komponente CJ_ selbst auch der Ausdruck trunc (CJ_/5) verwendet werden, der eine Pulsposition innerhalb eines sogenannten Tracks eindeutig bezeichnet. Alternativ kann auch die jeweils Gray- codierte Version GRAY(CjJ bzw. GRAY (trunc (ci/5) ) verwendet werden, wie sie zur Kanalcodierung bei EFR vorgesehen ist. Unter Berücksichtigung der tatsächlichen Übertragung der Codeworte über einen GSM-Mobilfunkkanal erweist sich diese Möglichkeit zur Codebuchzerlegung als besonders vorteilhaft. Da- mit wird erreicht, dass besonders wenige Kanalbits einen Ein- fluss auf die eingebetteten Daten haben, wodurch die Bitfehlerrate der übertragenen eingebetteten Daten bei gestörter Übertragung sinkt.In the above conditions for the codebooks C (I) and C (2) or C (I) to C (4), alternatively, instead of a component CJ_ itself, the expression trunc (CJ_ / 5) having a pulse position within clearly labeled a so-called track. Alternatively, the respective Gray-coded version GRAY (CjJ or GRAY (trunc (ci / 5)) can also be used as intended for channel coding in EFR. Taking into account the actual transmission of the code words over a GSM mobile radio channel, this possibility for codebook decomposition proves to be particularly advantageous. This ensures that very few channel bits have an influence on the embedded data, which reduces the bit error rate of the transmitted embedded data in the event of disturbed transmission.
Allgemein kann das Codebuch C in einer Ausführungsform derart zerlegt werden, dass die Codeworte des Sub-Codebuchs, das zur Codierung verwendet wird, wenn ein Nachrichtenbit mj_ übermittelt werden soll, die Bedingung mj_ = θ bj erfüllen, wobeiGenerally, in one embodiment, the codebook C may be decomposed such that the codewords of the sub-codebook used for coding when a message bit mj_ is to be transmitted satisfy the condition mj_ = θ bj, where
JeA1 JeA 1
A^ eine Indexmenge, bj die Komponenten des jeweiligen Code- worts bezeichnen. Die Summation wird dabei modulo 2 durchgeführt, so dass gefordert wird, dass die Summe modulo 2 mehrerer Codewortbits bj gleich dem einzubettenden Nachrichtenbit mj_ ist.A ^ denotes an index set, bj the components of the respective code word. The summation is carried out modulo 2, so that it is required that the sum modulo 2 of several codeword bits bj is equal to the message bit mj_ to be embedded.
Zur Rekonstruktion einer eingebetteten Nachricht in einem empfangenen bzw. zu decodierenden Codewort ist es lediglich erforderlich, dass der Decodierer ermittelt, zu welchem Sub- Codebuch das Codewort gehört. Werden die Codeworte ungestört an den Decodierer übermittelt, so können auch die eingebette- ten Informationen fehlerlos rekonstruiert werden.To reconstruct an embedded message in a codeword to be received or decoded, it is only necessary for the decoder to determine to which sub-codebook the codeword belongs. If the codewords are transmitted undisturbed to the decoder, the embedded information can also be reconstructed flawlessly.
Die oben beschriebene Vorgehensweise zur Einbettung von Informationen kann auch bei anderen Codierern eingesetzt werden, beispielsweise bei allen CELP Sprach-Codierern aber auch bei anderen Signal-Codierern wie Video-Codierern, Bild- Codierern etc.The above-described procedure for embedding information can also be used in other coders, for example in all CELP speech coders but also in other signal coders such as video coders, image coders, etc.
Die Übertragung von Seiteninformationen (eingebetteten Informationen) mittels Steganographie kann auch zur Signalverbes- serung eingesetzt werden und stellt eine Lösung für das Problem der Rückwärtskompatibilität dar. Ein Empfänger ohne Kenntnis der eingebetteten Informationen kann das (Sprach- ) Signal, in das die Informationen eingebettet wurden, wie ge- wohnt, das heißt wie im Falle keiner Einbettung von Informationen mit nur geringen Verlusten decodieren. Kennt der Empfänger hingegen die eingebetteten Informationen, so können die Seiteninformationen zur Signalverbesserung verwendet werden. Ein entsprechendes Ausführungsbeispiel wird im Folgenden mit Bezug auf Fig.2 beschrieben.The transmission of side information (embedded information) by means of steganography can also be used for signal processing. A receiver without knowledge of the embedded information can use the (speech) signal in which the information has been embedded, as in the case of no embedding of information decode with only minor losses. If the recipient knows the embedded information, the page information can be used to improve the signal. A corresponding exemplary embodiment will be described below with reference to FIG.
Fig.2 zeigt ein Codier/Decodiersystem 200 gemäß einem weiteren Ausführungsbeispiel der Erfindung.2 shows a coding / decoding system 200 according to a further embodiment of the invention.
Das Codier/Decodiersystem 200 weist einen Codierer 201 wie mit Bezug auf Fig.l beschrieben auf. Entsprechend werden dem Codierer 201 ein zu codierendes Signal 202 und einzubettende Daten 203 zugeführt. Die einzubettenden Daten werden zur Signalverbesserung verwendet und werden dementsprechend von ei- ner Signal-Analyse-Einrichtung 204, dem das zu codierendeThe encoding / decoding system 200 includes an encoder 201 as described with reference to FIG. Accordingly, a signal 202 to be encoded and data 203 to be embedded are supplied to the encoder 201. The data to be embedded are used for signal enhancement and are accordingly transmitted by a signal analysis device 204 to which the signal to be coded
Signal 202 zugeführt wird, in für eine Signalverbesserung codierenden Signals 202 geeigneter Weise erzeugt.Signal 202 is generated in signal encoding signal 202 suitably generated.
Analog zu Fig.l gibt der Codierer 201 ein codiertes Signal 205 aus, in das die einzubettenden Daten 203 eingebettet sind. Das codierte Signal 205 kann nun an einen Empfänger ü- bermittelt werden, beispielsweise, wie oben beschrieben, mittels eines Mobilfunk-Kommunikationsnetzwerks.Analogously to FIG. 1, the coder 201 outputs a coded signal 205 in which the data 203 to be embedded are embedded. The coded signal 205 can now be transmitted to a receiver, for example, as described above, by means of a mobile radio communication network.
Weist der Empfänger einen "konventionellen" Decodierer 206 auf, das heißt einen Decodierer, der die eingebetteten Daten nicht aus dem codierten Signal 205 ermitteln kann, so decodiert der Decodierer 206 lediglich das codierte Signal 205 zu einem decodierten Signal 207, welches (bis auf Übertragungs- fehler und Codier/Decodierverluste) dem zu codierenden Signal 202 entspricht.If the receiver has a "conventional" decoder 206, that is, a decoder that can not detect the embedded data from the encoded signal 205, the decoder 206 decodes only the encoded signal 205 to a decoded signal 207 which (except for transmission - error and coding / decoding losses) corresponds to the signal 202 to be coded.
Weist der Empfänger einen "erweiterten" Decodierer 208 auf, das heißt einen Decodierer, der die eingebetteten Daten aus dem codierten Signal 205 ermitteln kann, so werden die eingebetteten Daten extrahiert und die extrahierten Daten 209 von einer Signalverbesserungseinheit 210 zur Signalverbesserung verwendet, welche ein decodiertes und (gegenüber dem deco- dierten Signal 207) verbessertes Signal 211 erzeugt.If the receiver has an "extended" decoder 208, that is, a decoder capable of detecting the embedded data from the encoded signal 205, then the embedded data is extracted and the extracted data 209 is used by a signal enhancement unit 210 which decodes a signal and (compared to the decoded signal 207) improved signal 211 generated.
Als Signalverbesserung kann z.B. künstliche Bandbreitenerweiterung, oder Störreduktion eingesetzt werden. Auch die Koeffizienten eines sendeseitig bestimmten Postfilters können per Steganographie übertragen werden.As a signal enhancement, e.g. artificial bandwidth expansion, or noise reduction can be used. The coefficients of a postfilter determined by the transmitter can also be transmitted by steganography.
Insbesondere die Anwendung der künstlichen Bandbreitenerweiterung ist vorteilhaft, da das Telefonnetz historisch bedingt auf eine akustische Bandbreite von 3.IkHz (300Hz-3.4kHz) be- grenzt ist, eine Übertragung von Breitbandsprache (50Hz-7kHz) jedoch nur mit enormem Aufwand seitens der Netzbetreiber und der Endgerätehersteller zu bewerkstelligen wäre. Änderungen im (Mobilfunk-) Übertragungsnetz sind zur Realisierung der o- ben beschriebenen Ausführungsformen hingegen nicht erforder- lieh. Entsprechende (leistungsfähige) Bandbreitenerweiterungsalgorithmen sind beispielsweise in der Veröffentlichung von Peter Jax, Bernd Geiser, Stefan Schandl, Herve Taddei, und Peter Vary, "An Embedded Scalable Wideband Codec Based on the GSM EFR Codec", in Proceedings of ICASSP, Toulouse, Mai 2006 beschrieben. Weiterhin wird in der Veröffentlichung von Peter Jax und Peter Vary, "Bandwidth Extension of Speech Signals: A Catalyst for the Introduction of Wideband Speech Coding?", IEEE Communications Magazine, vol. 44, no. 5, Mai 2006 die Einführung breitbandiger Sprachübertragung über den Umweg der Bandbreitenerweiterung (ggf. mit Unterstützung von digitalen Wasserzeichen) erwähnt.In particular, the application of artificial bandwidth expansion is advantageous because the telephone network historically limited to an acoustic bandwidth of 3.IkHz (300Hz-3.4kHz) is limited, a transmission of broadband speech (50Hz-7kHz) but only with enormous effort on the part of the network operators and the terminal equipment manufacturer would be accomplished. Changes in the (mobile) transmission network, however, are not necessary for realizing the embodiments described above. Corresponding (high-performance) bandwidth expansion algorithms are described, for example, in the publication by Peter Jax, Bernd Geiser, Stefan Schandl, Herve Taddei, and Peter Vary, "An Embedded Scalable Wideband Codec Based on the GSM EFR Codec" in Proceedings of ICASSP, Toulouse, May 2006 described. Further, in the publication by Peter Jax and Peter Vary, "Bandwidth Extension of Speech Signals: A Catalyst for the Introduction of Wideband Speech Coding?", IEEE Communications Magazine, vol. 44, no. 5, May 2006 the introduction of broadband voice over the Detour of the bandwidth extension (possibly with the support of digital watermarks) mentioned.
Im Folgenden wird eine weitere Möglichkeit für eine Zerlegung des oben definierten Codebuchs C (EFR ACELP Codebuch) beschrieben .In the following, a further possibility for a decomposition of the above-defined codebook C (EFR ACELP codebook) will be described.
Zunächst wird zum besseren Verständnis kurz die Suchstrategie des EFR-Codecs erläutert:First, for a better understanding, the search strategy of the EFR codec is explained briefly:
1) Zunächst wird die erste Pulsposition ig e {0, ... , 39} heuristisch ermittelt und bleibt während der gesamten Suche fest. Der zu ig gehörige "Track" ist beispielsweise x = 4 oder x = 9. Für die x-te Komponente Cx des entsprechenden Codeworts gilt Cx = in .1) First, the first pulse position ig e {0, ..., 39} is determined heuristically and remains fixed throughout the search. The associated "track" is, for example, x = 4 or x = 9. For the x-th component C x of the corresponding code word, C x = in.
2) Die Position des zweiten Pulses i]_ e {0, ... , 39} wird ebenfalls heuristisch ermittelt, wobei für jede der vier Iterationen des unten stehenden Algorithmus (Schritt 3) ein anderer Wert angenommen wird. Beispielsweise gehöre für die erste Iteration zur gewählten Position i]_ der Track y=3 oder y=8, d.h. Cy = ±ι .2) The position of the second pulse i ] _ e {0, ..., 39} is also determined heuristically, whereby a different value is assumed for each of the four iterations of the algorithm below (step 3). For example, for the first iteration to the selected position i] _, the track y = 3 or y = 8, ie Cy = ± ι belong.
3) Für die verbleibenden acht Tracks werden für jede von vier Iterationen die Pulse sukzessive in Paaren zu je zwei Tracks durch erschöpfende Suche optimiert. In jeder der vier Iterationen werden die Track-Paare durch Permutation neu zusammengestellt, wobei Cx und Cy nicht wiederverwendet werden3) For the remaining eight tracks, for each of four iterations, the pulses are successively optimized in pairs of two tracks by exhaustive search. In each of the four iterations, the track pairs are reassembled by permutation, with C x and Cy not being reused
Beispielsweise wird für das Track-Paar cg / cg die Optimierung entsprechend dem folgenden Pseudocode durchgeführt: for(i = 0, 5, 10, ..., 35) // Iteration über alle zulässigen Elemente für CQ for(j = 1, 6, 11, ..., 36) // Iteration über alle zulässigen Elemente für cg Teste Puls-Paar (CQ=I, cg=j ) entsprechend CELP-Kriterium auf OptimalitätFor example, for the track pair cg / cg, the optimization is performed according to the following pseudocode: for (i = 0, 5, 10, ..., 35) // iteration over all valid elements for CQ for (j = 1, 6, 11, ..., 36) // iteration over all valid elements for cg Test pulse pair (C Q = I, cg = j) according to CELP criterion for optimality
Bei dieser Suchstrategie gemäß EFR werden insgesamt 1024 Kombinationen (4 Iterationen * 4 Track-Paare * 8 PuIs- Positionen * 8 Puls-Positionen = 1024 Kombinationen) untersucht und daraus die optimalen Puls-Paare ausgewählt.In this search strategy according to EFR, a total of 1024 combinations (4 iterations * 4 track pairs * 8 puI positions * 8 pulse positions = 1024 combinations) are examined and from this the optimal pulse pairs are selected.
Zur Einbettung von Informationen, im Folgenden Beispiel eines einzelnen (Wasserzeichen-) bits b, in ein Codewort c = (CQ, - - -, C9) wird gemäß einem Ausführungsbeispiel der Erfindung der obige Algorithmus wie im Folgenden beschrieben abgeändert .For embedding information, in the following example of a single (watermark) bit b, into a codeword c = (CQ, - - -, C9), according to an embodiment of the invention, the above algorithm is modified as described below.
Wenn bei einer Suche bereits ein Puls für einen Track , bei- spielsweise c\ , ermittelt wurde, kann bei der Wahl des (i- dentisch aufgebauten) Tracks cg durch ein Wasserzeichenbit b in das Puls-Positionenpaar c]_ und cg eingebettet werden, indem cg in Abhängigkeit des Bits b gewählt wird. Die paarweise Suche wird dazu beispielsweise wie folgt modifiziert:If a search has already determined a pulse for a track, for example c \, then when selecting the (identically constructed) track cg can be embedded in the pulse position pair c ] _ and cg by a watermark bit b, by selecting cg as a function of bit b. For example, the pairwise search is modified as follows:
cβ_offset = 5 * ((cl + b + 1) mod 2) for(i = 0, 5, 10, ..., 35) // Iteration über alle zulässigen Elemente für Cg for(j = 1,11,21,31) // Iteration über alle zulässigen EIe- mente für cg (gegenüber oben halbecβ_offset = 5 * ((cl + b + 1) mod 2) for (i = 0, 5, 10, ..., 35) // iteration over all valid elements for Cg for (j = 1,11,21, 31) // iteration over all permissible elements for cg (opposite to above half
Anzahl)Number)
Teste Puls-Paar (cg=i, cg=j+cβ_offset ) entsprechend CELP- Kriterium auf Optimalität Das eingebettete Bit b kann im Empfänger bzw. Decodierer durch die OperationTest pulse pair (cg = i, cg = j + cβ_offset) according to CELP criterion for optimality The embedded bit b may be in the receiver or decoder through the operation
b = (ci + cg) mod 2b = (ci + cg) mod 2
ermittelt werden.be determined.
Statt c6_offset = 5 * ( (cl + b + 1) mod 2) können auch andere Kombinationen von bereits ermittelten Pulspositionen und einzubettenden Bis verwendet werden. In dem obigen Beispiel wurde der Suchraum für die Pulsposition cg in zwei gleiche Teile (ungerade/gerade Werte) aufgeteilt. Weitere Aufteilungen (etwa erste/zweite Wertehälfte) sind auch möglich, wobei die Gleichung für c6_offset entsprechend anzupassen ist.Instead of c6_offset = 5 * ((cl + b + 1) mod 2), other combinations of already determined pulse positions and embedded bis can also be used. In the above example, the search space for the pulse position cg has been divided into two equal parts (odd / even values). Further divisions (for example, first / second half of the value) are also possible, with the equation for c6_offset being adapted accordingly.
Die Anzahl der untersuchten Pulsposition-Kombinationen ist durch das auf diese Weise eingebettete Bit aufThe number of pulse position combinations examined is due to the bit embedded in this way
4 Iterationen * (3 Paare * 8 Pos. * 8 Pos. + 1 Paar * 8 Pos. * 4 Pos.) = 896 Kombinationen4 iterations * (3 pairs * 8 pos. * 8 pos. + 1 pair * 8 pos. * 4 pos.) = 896 combinations
gesunken.declined.
Zur Einbettung mehrerer Bits in ein Codewort c_ kann der Suchraum für cg noch einmal halbiert werden, oder ein identisches Verfahren für ein zweites Pulspaar angewendet werden. Es ist günstig, gerade solche Pulse im Rahmen der Informationseinbettung durch cβ_offset (bzw. das Bit b) zu koppeln, die in einem Track liegen. Anderenfalls kann, aufgrund der Vorzeichencodierung des EFR, im Empfänger keine eindeutige Zuordnung der Pulse mehr vorgenommen werden. Durch entsprechenden Zusatzaufwand im Sender kann diese Beschränkung aufgehoben werden. Im Empfänger sind cl und cβ nicht voneinander zu unterscheiden. Die Datenextraktion via b=(cl+c6) mod 2 macht daher keine Probleme, allerdings ist es schwierig, beispielsweise b=(cl+c5) mod 2 zu berechnen, da (je nach Vorzeichen) „versehentlich" b=(c6+c5) mod 2 berechnet werden könn- te. Der sendeseitige „Zusatzaufwand" besteht darin, die Vorzeichencodierung in den Optimierungsschleifen zu berücksichtigen und quasi pro Optimierungsschritt vorwegzunehmen.In order to embed several bits in a codeword c_, the search space for cg can be halved once again, or an identical method can be used for a second pulse pair. It is favorable to couple precisely such pulses as part of the information embedding by cβ_offset (or the bit b) which lie in a track. Otherwise, due to the sign encoding of the EFR, no definite assignment of the pulses can be made in the receiver. By appropriate additional expenditure in the transmitter this restriction can be canceled. In the receiver, cl and cβ are not different from each other to distinguish. The data extraction via b = (cl + c6) mod 2 does not cause any problems, but it is difficult to compute b = (cl + c5) mod 2, for example (because of the sign) "accidentally" b = (c6 + c5 ) mod 2. The transmission-side "additional effort" consists in considering the sign encoding in the optimization loops and, as it were, anticipating it per optimization step.
Durch die der reduzierte Anzahl von untersuchten Kombinatio- nen (896 statt 1024 in dem obigen Beispiel) ergibt sich eine geringere Codierqualität durch Wasserzeicheneinbettung. Dies kann durch eine erweiterte Suche, das heißt eine Erweiterung des Suchraums, kompensiert werden. Dazu werden die Tracks nicht mehr in Paaren sondern in Gruppen zu 3 oder 4 (oder auch mehr) Tracks gemeinsam durchsucht. Die gemeinsame Suche (ohne Wasserzeicheneinbettung) für 3 Tracks (z.B. CQ , cς und cη ) wird beispielsweise wie folgt realisiert:The reduced number of combina- tions examined (896 instead of 1024 in the example above) results in a lower encoding quality due to watermark embedding. This can be compensated by an extended search, ie an extension of the search space. For this purpose, the tracks are no longer searched in pairs but in groups of 3 or 4 (or even more) tracks together. The common search (without watermark embedding) for 3 tracks (eg C Q , cς and cη) is realized for example as follows:
for(i2 = 0, 5, 10, ..., 35) // Iteration über die zulässigen Werte von cθ for(i3 = 1, 6, 11, ..., 36) // Iteration über die zulässigen Werte von c6 for(i4 = 2, 7, 12,..., 37) // Iteration über die zulässigenfor (i2 = 0, 5, 10, ..., 35) // iteration over the permissible values of cθ for (i3 = 1, 6, 11, ..., 36) // iteration over the permissible values of c6 for (i4 = 2, 7, 12, ..., 37) // iteration over the allowed ones
Werte von c7 Suche optimales Tripel (cθ=i2, c6=i3, c7=i4)Values of c7 search optimal triple (cθ = i2, c6 = i3, c7 = i4)
Für jedes Tripel bedeutet dies, dass 8*8*8 = 512 Kombinationen durchsucht werden. Wird die gesamte Suche für die 8 variablen Pulspositionen (gemäß den Schritten 1 und 2 sind ja zwei Pulspositionen fest) so aufgeteilt, dass 2 Tripel und 1 Paar gemeinsam optimiert werden, so ergibt sich, dassFor each triple, this means that 8 * 8 * 8 = 512 combinations are searched. If the entire search for the 8 variable pulse positions (according to steps 1 and 2, two pulse positions are fixed) so that 2 triples and 1 pair are optimized together, it follows that
4 Iterationen * (2 Tripel * 8 Pos. *8 Pos. *8 Pos. + 1 Paar * 8 Pos. * 8 Pos.) = 4352 Kombinationen untersucht werden, was gegenüber den 1024 Kombinationen gemäß EFR einen erheblichen Mehraufwand bedeutet.4 iterations * (2 triple * 8 pos. * 8 pos. * 8 pos. + 1 pair * 8 pos. * 8 pos.) = 4352 combinations which, compared to the 1024 combinations according to EFR, means a considerable additional effort.
Werden jedoch z.B. im Zuge der Optimierung des ersten Tripels 3 Wasserzeichenbits, im Zuge der Optimierung des zweiten Tripels 2 Wasserzeichenbits wie oben beschrieben eingebettet, während für das Pulspositionen-Paar keine Einbettung vorgenommen wird, so ergibt sich die Zahl der zu untersuchenden Kombinationen zuHowever, if e.g. in the course of the optimization of the first triple 3 watermark bits, embedded in the course of the optimization of the second triple 2 watermark bits as described above, while for the pulse position pair no embedding is made, then the number of combinations to be examined
4 Iterationen * (1 Tripel * 4 Pos. * 4 Pos. * 4 Pos. +1 Tripel * 8 Pos. * 4 Pos. * 4 Pos + 1 Paar * 8 Pos. * 8 Pos.) = 1024 Kombinationen,4 iterations * (1 tripel * 4 pos. * 4 pos. * 4 pos. +1 triplet * 8 pos. * 4 pos. * 4 pos + 1 pair * 8 pos. * 8 pos.) = 1024 combinations,
d.h. exakt die Anzahl der untersuchten Kombinationen im Stan- dard-EFR-Codec. Die Wasserzeichendatenrate liegt in diesem Fall bei (2+3)bit/5ms = lkbit/s.i.e. exactly the number of tested combinations in the standard EFR codec. The watermark data rate in this case is (2 + 3) bit / 5ms = 1kbit / s.
Schließlich ist eine weitere Möglichkeit zur Erweiterung des Suchraumes die Erhöhung der Iterationszahl, d.h. die Untersuchung weiterer Track-Permutationen.Finally, another way to expand the search space is to increase the iteration number, i. the investigation of further track permutations.
Die einem Ausführungsbeispiel zu Grunde liegende Idee kann darin gesehen werden, dass die Informationseinbettung dem Signal-Codierer bekannt ist, was durch eine gemeinsame Dateneinbettung und Signalcodierung erreicht wird, das heißt es wird beispielsweise die Wasserzeichen-Einbettung in den Codierer integriert. Dies kann innerhalb einer Analyse-durch- Synthese Schleife durchgeführt werden ( "closed-loop" ) , wie es in Fig.3 dargestellt ist.The idea underlying an embodiment can be seen in that the information embedding is known to the signal encoder, which is achieved by a common data embedding and signal coding, that is, for example, the watermark embedding is integrated into the encoder. This can be done within an analysis-by-synthesis loop ("closed-loop"), as shown in FIG.
Fig.3 zeigt einen Codierer 300 gemäß einem weiteren Ausführungsbeispiel der Erfindung. Dem Codierer werden ein zu codierendes Signal und einzubettende Daten 302 zugeführt.3 shows an encoder 300 according to a further exemplary embodiment of the invention. The encoder is supplied with a signal to be encoded and data 302 to be embedded.
Ein codiertes Signal 303 wird aus dem zu codierenden Signal 301 mittels einer Schleife erzeugt, die ein Codebuch 304, eine Syntheseeinrichtung 305 und einen Vergleicher 306 aufweist. Dabei wird eine mögliche Codierung des zu codierenden Signals 301 von dem Codebuch 304 erzeugt und es wird mittels der Syntheseeinrichtung 305 und dem Vergleicher 306 über- prüft, wie gut es das zu codierende Signal 301 widerspiegelt und gegebenenfalls, basierend auf der Ausgabe des Vergleichers 306, abgeändert.An encoded signal 303 is generated from the signal 301 to be encoded by means of a loop comprising a codebook 304, a synthesizer 305 and a comparator 306. In this case, a possible coding of the signal 301 to be coded is generated by the codebook 304 and it is checked by means of the synthesis device 305 and the comparator 306 how well it reflects the signal 301 to be coded and, if appropriate, based on the output of the comparator 306, amended.
Die einzubettenden Daten 302 werden im Laufe das Codierungs- prozesses in das codierte Signal 303 eingebettet, beispielsweise gemäß einer der oben beschriebenen Vorgehensweisen.The data to be embedded 302 are embedded in the encoded signal 303 during the encoding process, for example according to one of the procedures described above.
Beispielsweise wird basierend auf den einzubettenden Daten 302 ein Sub-Codebuch des Codebuchs 304 ausgewählt, wie es in Fig.4 dargestellt ist.For example, based on the data 302 to be embedded, a sub-codebook of the codebook 304 is selected, as shown in FIG.
Fig.4 zeigt einen Codierer 400 gemäß einem weiteren Ausführungsbeispiel der Erfindung.4 shows an encoder 400 according to a further embodiment of the invention.
Analog zu dem in Fig.3 dargestellten Codierer 300 werden dem Codierer einzubettende Daten 402 und ein zu codierendes Signal 401 zugeführt und er erzeugt ein codiertes Signal 403, in das die einzubettenden Daten 402 eingebettet sind. Neben einer Syntheseeinrichtung 405 und einem Vergleicher 406 analog zu dem Codierer 300 in Fig.3 weist der Codierer 400 ein Mehrzahl von Sub-Codebüchern 404 also ein in mehrere Sub- Codebücher 404 unterteiltes Codebuch auf. Basierend auf den einzubettenden Daten werden die Sub-Codebücher bei der Codierung des zu codierenden Signals 401 ausgewählt. Beispielswei- se wird einem Datenwort des zu codierenden Signals 401 ein Codewort aus einem ersten Sub-Codebuch zugeordnet, wenn eine erste Seiteninformation aus den einzubettenden Daten 402, beispielsweise ein Bit mit dem Wert 0, eingebettet werden soll und es wird ein Codewort aus einem zweiten Sub-Codebuch zugeordnet, wenn eine zweite Seiteninformation aus den einzubettenden Daten 402, beispielsweise ein Bit mit dem Wert 1, eingebettet werden soll.Analogously to the coder 300 shown in FIG. 3, data 402 to be embedded and a signal 401 to be coded are fed to the coder and it generates a coded signal 403 into which the data 402 to be embedded is embedded. In addition to a synthesis device 405 and a comparator 406 analogous to the encoder 300 in FIG. 3, the encoder 400 has a plurality of sub-codebooks 404, that is to say a codebook subdivided into a plurality of sub-codebooks 404. Based on the data to be embedded, the sub-codebooks are selected in coding the signal 401 to be coded. For example, a data word of the signal to be coded 401 is input Codeword assigned from a first sub-codebook, when a first page information from the data to be embedded 402, for example a bit with the value 0, to be embedded and it is assigned a codeword from a second sub-codebook, if a second page information from the einzubettenden Data 402, for example a bit with the value 1, should be embedded.
Die Aufteilung eines Codebuchs in mehrere Sub-Codebücher ist in Fig.5 illustriert.The division of a codebook into several sub-codebooks is illustrated in FIG.
Fig.5 zeigt ein Codebuch 500 gemäß einem weiteren Ausführungsbeispiel der Erfindung.5 shows a codebook 500 according to a further exemplary embodiment of the invention.
Das Codebuch 500 ist mit C bezeichnet. Aus Effizienzgründen wird, wenn der Codewortumfang des Codebuchs 500 sehr groß ist, das Codebuch 500 beim Codieren nur teilweise durchsucht, d.h. es werden Codeworte zur Codierung nur aus einer Codebuch-Teilmenge 501, welche mit C (praktisches Codebuch) be- zeichnet ist, ausgewählt.The codebook 500 is labeled C. For efficiency reasons, if the codeword extent of the codebook 500 is very large, the codebook 500 is only partially searched during coding, i. Codewords for coding are selected only from a codebook subset 501, which is denoted by C (practical codebook).
Bei den obigen Ausführungsbeispielen wird das Codebuch 500 zur Dateneinbettung wie oben erläutert in Codebücher zerlegt, beispielsweise in vier Sub-Codebücher 502, welche mit C(I) bis C (4) bezeichnet sind.In the above embodiments, the codebook 500 for data embedding is decomposed into codebooks as explained above, for example, four sub codebooks 502 designated C (I) to C (4).
Da ein Sub-Codebuch 502 einen geringeren Codewortumfang hat als die Codebuch-Teilmenge 501 und damit die Qualität der Signalcodierung (abhängig von der Anzahl der Sub-Codebücher 502) gegenüber einer Verwendung der gesamten Codebuch- Teilmenge 501 sinken würde, wird in einem Ausführungsbeispiel der Codeumfang der Sub-Codebücher 502 erweitert, so dass insgesamt eine erweiterte Codebuch-Teilmenge 503 zur Codierung verwendet wird. Dabei steigt die algorithmische Komplexität nur geringfügig an, die Qualität der Codierung sinkt nicht und es kann in Sonderfällen sogar eine Qualitätssteigerung erzielt werden.Since a sub-codebook 502 would have a smaller codeword extent than codebook subset 501, and thus the quality of the signal coding (depending on the number of sub-codebooks 502) would decrease from using the entire codebook subset 501, in one embodiment Code extent of the sub-codebooks 502 extended, so that a total of an extended codebook subset 503 is used for coding. The algorithmic complexity increases only slightly, the quality of the coding does not decrease and in special cases even an increase in quality can be achieved.
In einer Ausführungsform wird ein algebraisches Codebuch ver- wendet. Im Gegensatz zu einem gewöhnlichen Codebuch in Tabellenform existiert ein algebraisches Codebuch nur im Sinne einer algebraischen Konstruktionsvorschrift. Dies bedeutet, dass die einzelnen Codebuch-Einträge (Codewörter) im Zuge der Signalcodierung durch einen Codewortgenerator erzeugt werden. Das "Binning Scheine" zur Informationseinbettung, das heißt die Zerlegung des Codebuchs in Sub-Codebücher und Auswahl des zur Codierung verwendeten Sub-Codebuchs in Abhängigkeit der einzubettenden Information, bei einem Codierer mit algebraischem Codebuch besteht nun nicht mehr lediglich in der Auf- teilung des Codebuches in eine Anzahl von Sub-Codebüchern, sondern darüber hinaus auch in der Modifikation des Codewortgenerators dahingehend, dass jeweils nur zu dem durch die aktuell einzubettende Nachricht i ausgewählten Sub-Codebuch C(i) gehörige Codewörter ausgegeben werden. In one embodiment, an algebraic codebook is used. In contrast to an ordinary codebook in tabular form, an algebraic codebook exists only in the sense of an algebraic design rule. This means that the individual codebook entries (codewords) are generated during the signal coding by a codeword generator. The "binning note" for information embedding, that is, the decomposition of the codebook into sub-codebooks and selection of the sub-codebook used for coding depending on the information to be embedded, in an encoder with algebraic codebook now no longer consists only in the division of the Codebook in a number of sub-codebooks, but also in the modification of the codeword generator to the effect that in each case only to the selected by the currently embedded message i sub-codebook C (i) corresponding codewords are output.

Claims

Patentansprüche claims
1. Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signal-Codierers, gekennzeichnet durch1. A method for embedding a steganographic information in a signal information of a signal encoder, characterized by
Bereitstellen einer Dateninformation, insbesondere einer Sprachinformation,Providing data information, in particular voice information,
Auswählen einer steganographischen Information aus einer Menge von steganographischen Informationen, - Erzeugen eines Codewortes aus einem bereitgestellten Codebuch mittels des Signal-Codierers auf Basis von das Codewort bildenden Codeelementen, derart, dassSelecting a steganographic information from a set of steganographic information, generating a codeword from a provided codebook by means of the signal coder on the basis of code elements forming the codeword such that
• unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbarenUsing the generated codeword within a codebook associable
Übertragungsstandards die Dateninformation in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation codiert wird; und, dass • das erzeugte Codewort eine zusätzliche, aufTransmission standards the data information is encoded in a codeword-containing and / or referring to the codeword signal information; and that • the generated codeword has an additional, on
Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt.Base of the codeword forming code elements computable property, wherein the additional property represents the steganographic information.
2. Verfahren nach Anspruch 1, gekennzeichnet durch eine Bewertung des erzeugten Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards mittels Decodierens des Codewortes und an- schließenden Vergleichens der decodierten Dateninformation mit der ursprünglichen Dateninformation.2. Method according to claim 1, characterized by an evaluation of the generated codeword in the context of a transmission standard associable with the provided codebook by decoding of the codeword and subsequent comparison of the decoded data information with the original data information.
3. Verfahren nach Anspruch 2, gekennzeichnet durch das Erzeugen des Codewortes aus dem bereitgestellten Codebuch mittels des Signal-Codierers auf Basis der das Codewort bildenden Codeelemente unter Berücksichtigung der Bewertung.3. The method according to claim 2, characterized by generating the codeword from the provided codebook by means of the signal coder based on the codeword forming code elements taking into account the evaluation.
4. Verfahren nach einem der vorhergehenden Ansprüche, ge- kennzeichnet durch die Verwendung eines auf Basis des4. The method according to any one of the preceding claims, characterized by the use of a based on the
GSM- und/oder des UMTS-Übertragungsstandards basierenden Codierers und Codebuches.GSM and / or the UMTS transmission standards based coder and codebook.
5. Verfahren nach einem der vorhergehenden Ansprüche, ge- kennzeichnet durch das Erzeugen eines Codewortes auf Basis der CELP-, der ACELP- oder der AMR-Codierung.5. The method according to any one of the preceding claims, characterized by generating a codeword based on the CELP, the ACELP or the AMR encoding.
6. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Berechnung der Eigenschaft des Codewortes als Ergebnis einer Anwendung mindestens einer Operation auf mindestens eines der das Codewort bildenden Codeelemente.6. The method according to any one of the preceding claims, characterized by the calculation of the property of the codeword as a result of applying at least one operation to at least one of the codeword forming code elements.
7. Verfahren nach einem der vorhergehenden Ansprüche, ge- kennzeichnet durch die Bereitstellung des Codewortes derart, dass das Codewort die Eigenschaft implizit erfüllt.7. The method according to any one of the preceding claims, characterized by the provision of the codeword such that the codeword implicitly satisfies the property.
8. Verfahren nach einem der vorhergehenden Ansprüche, ge- kennzeichnet durch die Auswahl der steganographischen8. The method according to any one of the preceding claims, characterized by the selection of the steganographic
Information derart, dass die steganographische Information empfangsseitig zur Signalverbesserung, insbesondere bei Sprachübertragung, wie eine künstliche Bandbreitenerweiterung und/oder Störreduktion, verwendet wird.Information in such a way that the steganographic information is used on the receiving side for improving the signal, in particular in voice transmission, such as artificial bandwidth expansion and / or noise reduction.
9. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Auswahl der steganographischen Information derart, dass die steganographische Information als digitales Wasserzeichen verwendet wird. 9. The method according to any one of the preceding claims, characterized by the selection of the steganographic information such that the steganographic information is used as a digital watermark.
10. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Übertragen der das Codewort beinhaltenden oder auf das Codewort verweisenden Signalinformation an einen Empfänger.10. The method according to any one of the preceding claims, characterized by transmitting the codeword-containing or referring to the codeword signal information to a receiver.
11. Verfahren nach Anspruch 10, gekennzeichnet durch ein empfangsseitiges Bereitstellen einer Dateninformation mittels Decodierens des Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertra- gungsstandards .11. The method according to claim 10, characterized by receiving on the receiving side a data information by means of decoding the code word in the context of a transmission standard associable with the provided codebook.
12. Verfahren nach Anspruch 10 oder 11, gekennzeichnet durch ein empfangsseitiges Bereitstellen der steganographi- schen Information mittels Berechnens der zusätzlichen Eigenschaft des Codewortes auf Basis der das Codewort bildenden Codeelemente.12. The method according to claim 10 or 11, characterized by a receiving side providing the steganographic information by means of calculating the additional property of the code word based on the codeword forming code elements.
13. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Ausführen des Verfahrens in einer Mobilfunkvorrichtung. 13. The method according to any one of the preceding claims, characterized by performing the method in a mobile device.
EP07801969A 2006-09-15 2007-08-29 Steganography in digital signal encoders Active EP2062254B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11006299A EP2385521A1 (en) 2006-09-15 2007-08-29 Steganography in digital signal encoding
SI200731014T SI2062254T1 (en) 2006-09-15 2007-08-29 Steganography in digital signal encoders
PL07801969T PL2062254T3 (en) 2006-09-15 2007-08-29 Steganography in digital signal encoders
CY20121100830T CY1113155T1 (en) 2006-09-15 2012-09-12 DIGNITY IN DIGITAL SIGNAL INCIDENTS

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006044181 2006-09-15
DE102007007627A DE102007007627A1 (en) 2006-09-15 2007-02-16 Method for embedding steganographic information into signal information of signal encoder, involves providing data information, particularly voice information, selecting steganographic information, and generating code word
PCT/EP2007/007548 WO2008031498A1 (en) 2006-09-15 2007-08-29 Steganography in digital signal encoders

Related Child Applications (1)

Application Number Title Priority Date Filing Date
EP11006299.9 Division-Into 2011-07-29

Publications (2)

Publication Number Publication Date
EP2062254A1 true EP2062254A1 (en) 2009-05-27
EP2062254B1 EP2062254B1 (en) 2012-06-13

Family

ID=39105180

Family Applications (2)

Application Number Title Priority Date Filing Date
EP07801969A Active EP2062254B1 (en) 2006-09-15 2007-08-29 Steganography in digital signal encoders
EP11006299A Ceased EP2385521A1 (en) 2006-09-15 2007-08-29 Steganography in digital signal encoding

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP11006299A Ceased EP2385521A1 (en) 2006-09-15 2007-08-29 Steganography in digital signal encoding

Country Status (10)

Country Link
US (1) US8412519B2 (en)
EP (2) EP2062254B1 (en)
CY (1) CY1113155T1 (en)
DE (1) DE102007007627A1 (en)
DK (1) DK2062254T3 (en)
ES (1) ES2389012T3 (en)
PL (1) PL2062254T3 (en)
PT (1) PT2062254E (en)
SI (1) SI2062254T1 (en)
WO (1) WO2008031498A1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767823B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and detecting a watermarked signal
US9767822B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and decoding a watermarked signal
US8930182B2 (en) * 2011-03-17 2015-01-06 International Business Machines Corporation Voice transformation with encoded information
US9417221B2 (en) 2013-08-27 2016-08-16 International Business Machines Corporation Food steganography
US9600793B2 (en) 2013-12-09 2017-03-21 International Business Machines Corporation Active odor cancellation
US9665828B2 (en) 2014-01-16 2017-05-30 International Business Machines Corporation Using physicochemical correlates of perceptual flavor similarity to enhance, balance and substitute flavors
CN104010193B (en) * 2014-05-29 2017-02-22 中国科学院信息工程研究所 Video steganographic method based on macro block partition mode disturbance
CN105704489B (en) * 2016-01-30 2019-01-04 武汉大学 A kind of adaptive video motion vector steganography method based on macro block complexity
CN109346091B (en) * 2018-09-13 2021-12-14 中国科学院信息工程研究所 Compressed audio self-adaptive steganography method and system based on equal-length entropy code word replacement
CN111462765B (en) * 2020-04-02 2023-08-01 宁波大学 Adaptive audio complexity characterization method based on one-dimensional convolution kernel
CN112738355B (en) * 2020-12-24 2021-10-26 华南理工大学 Non-degraded HEVC video steganography method capable of resisting deep learning network detection
CN117614740B (en) * 2024-01-18 2024-04-16 华侨大学 IP voice steganography method based on multistage vector joint optimization

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US5636292C1 (en) * 1995-05-08 2002-06-18 Digimarc Corp Steganography methods employing embedded calibration data
US6330672B1 (en) * 1997-12-03 2001-12-11 At&T Corp. Method and apparatus for watermarking digital bitstreams
JP3022462B2 (en) * 1998-01-13 2000-03-21 興和株式会社 Vibration wave encoding method and decoding method
JP3355521B2 (en) 1998-03-23 2002-12-09 東洋通信機株式会社 A method for embedding watermark bits in speech coding
AU6533799A (en) * 1999-01-11 2000-07-13 Lucent Technologies Inc. Method for transmitting data in wireless speech channels
US20030161469A1 (en) * 2002-02-25 2003-08-28 Szeming Cheng Method and apparatus for embedding data in compressed audio data stream
KR100520711B1 (en) * 2002-08-14 2005-10-17 아주대학교산학협력단 A Blind Watermarking Method by Grouping Codewords for VQ-Quantized Images
US20040225500A1 (en) * 2002-09-25 2004-11-11 William Gardner Data communication through acoustic channels and compression
JP4527369B2 (en) * 2003-07-31 2010-08-18 富士通株式会社 Data embedding device and data extraction device
CN1867970A (en) * 2003-10-17 2006-11-22 皇家飞利浦电子股份有限公司 Signal encoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008031498A1 *

Also Published As

Publication number Publication date
US20110131047A1 (en) 2011-06-02
EP2385521A1 (en) 2011-11-09
PT2062254E (en) 2012-09-19
DK2062254T3 (en) 2012-08-20
EP2062254B1 (en) 2012-06-13
US8412519B2 (en) 2013-04-02
CY1113155T1 (en) 2016-04-13
ES2389012T3 (en) 2012-10-22
SI2062254T1 (en) 2012-10-30
PL2062254T3 (en) 2012-11-30
WO2008031498A1 (en) 2008-03-20
DE102007007627A1 (en) 2008-03-27

Similar Documents

Publication Publication Date Title
EP2062254B1 (en) Steganography in digital signal encoders
DE602004003610T2 (en) Half-breed vocoder
DE602004005784T2 (en) Improved excitation for higher-band coding in a codec based on frequency band separation coding method
DE69927505T2 (en) METHOD FOR INSERTING ADDITIONAL DATA INTO AN AUDIO DATA STREAM
DE60024123T2 (en) LPC HARMONIOUS LANGUAGE CODIER WITH OVERRIDE FORMAT
EP1869671B1 (en) Noise suppression process and device
DE602004005197T2 (en) DEVICE AND METHOD FOR CODING AN AUDIO SIGNAL AND DEVICE AND METHOD FOR DECODING A CODED AUDIO SIGNAL
DE60213394T2 (en) AUDIO CODING WITH PARTIAL ENCRYPTION
DE19730130A1 (en) Method for coding an audio signal
DE112012000698B4 (en) Voice transformation with coded information
WO1999004505A1 (en) Method for signalling a noise substitution during audio signal coding
DE102004009954A1 (en) Apparatus and method for processing a multi-channel signal
DE602004007550T2 (en) IMPROVED FREQUENCY RANGE ERROR
EP1023777B1 (en) Method and device for limiting a stream of audio data with a scaleable bit rate
EP1926082A1 (en) Process for scaleable encoding of stereo signals
DE102017204244A1 (en) Coding apparatus for processing an input signal and decoding apparatus for processing a coded signal
EP1080464A1 (en) Method and device for voice encoding
DE60016305T2 (en) Method for operating a speech coder
EP1388230B1 (en) Method and device for encrypting a discrete signal and method and device for decrypting the same
EP1390946B1 (en) Method for estimating a codec parameter
EP0905918A2 (en) Method and apparatus for encoding audio signals
DE19906512C2 (en) Method for unnoticed transmission and / or storage of additional information within a signal, in particular an audio signal
DE102005019863A1 (en) Noise suppression process for decoded signal comprise first and second decoded signal portion and involves determining a first energy envelope generating curve, forming an identification number, deriving amplification factor
AT509439B1 (en) METHOD AND MEANS FOR SCALABLE IMPROVEMENT OF THE QUALITY OF A SIGNAL CODING METHOD
EP1030290A2 (en) Method for hidden transferring and/or storing of additional information within a signal, particularly an audio signal

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090317

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

17Q First examination report despatched

Effective date: 20090729

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: H04K 1/00 20060101ALI20111005BHEP

Ipc: G10L 19/12 20060101ALI20111005BHEP

Ipc: G10L 19/00 20060101AFI20111005BHEP

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ERICSSON AB

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: TELEFONAKTIEBOLAGET L M ERICSSON (PUBL)

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 562303

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120615

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502007010060

Country of ref document: DE

Effective date: 20120809

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: ISLER & PEDRAZZINI AG

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: RO

Ref legal event code: EPE

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: PT

Ref legal event code: SC4A

Free format text: AVAILABILITY OF NATIONAL TRANSLATION

Effective date: 20120913

REG Reference to a national code

Ref country code: NL

Ref legal event code: T3

REG Reference to a national code

Ref country code: EE

Ref legal event code: FG4A

Ref document number: E007020

Country of ref document: EE

Effective date: 20120801

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2389012

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20121022

REG Reference to a national code

Ref country code: GR

Ref legal event code: EP

Ref document number: 20120401790

Country of ref document: GR

Effective date: 20120920

REG Reference to a national code

Ref country code: PL

Ref legal event code: T3

REG Reference to a national code

Ref country code: SK

Ref legal event code: T3

Ref document number: E 12437

Country of ref document: SK

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20130314

REG Reference to a national code

Ref country code: HU

Ref legal event code: AG4A

Ref document number: E015359

Country of ref document: HU

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502007010060

Country of ref document: DE

Effective date: 20130314

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: EE

Payment date: 20180802

Year of fee payment: 12

Ref country code: LT

Payment date: 20180731

Year of fee payment: 12

Ref country code: MC

Payment date: 20180802

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20180730

Year of fee payment: 12

Ref country code: BG

Payment date: 20180823

Year of fee payment: 12

Ref country code: BE

Payment date: 20180827

Year of fee payment: 12

Ref country code: SK

Payment date: 20180731

Year of fee payment: 12

Ref country code: AT

Payment date: 20180801

Year of fee payment: 12

Ref country code: GR

Payment date: 20180829

Year of fee payment: 12

Ref country code: LV

Payment date: 20180801

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PT

Payment date: 20180802

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: MT

Payment date: 20180806

Year of fee payment: 12

Ref country code: CY

Payment date: 20180807

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20190828

Year of fee payment: 13

Ref country code: IE

Payment date: 20190827

Year of fee payment: 13

Ref country code: TR

Payment date: 20190806

Year of fee payment: 13

Ref country code: IT

Payment date: 20190826

Year of fee payment: 13

Ref country code: SE

Payment date: 20190828

Year of fee payment: 13

Ref country code: ES

Payment date: 20190902

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20190805

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20190903

Year of fee payment: 13

REG Reference to a national code

Ref country code: EE

Ref legal event code: MM4A

Ref document number: E007020

Country of ref document: EE

Effective date: 20190831

REG Reference to a national code

Ref country code: FI

Ref legal event code: MAE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MM4D

Effective date: 20190829

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 562303

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: FI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: LV

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: EE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190831

Ref country code: GR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200305

Ref country code: PT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200302

Ref country code: HU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190830

Ref country code: BG

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200229

Ref country code: LT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

REG Reference to a national code

Ref country code: SK

Ref legal event code: MM4A

Ref document number: E 12437

Country of ref document: SK

Effective date: 20190829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: SK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: CY

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190902

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190830

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190831

REG Reference to a national code

Ref country code: SI

Ref legal event code: KO00

Effective date: 20200723

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20200825

Year of fee payment: 14

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20200831

REG Reference to a national code

Ref country code: SE

Ref legal event code: EUG

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200830

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190901

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200829

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20220110

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200830

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200829

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20220826

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20220829

Year of fee payment: 16

Ref country code: DE

Payment date: 20220629

Year of fee payment: 16

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502007010060

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MM

Effective date: 20230901

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20230829