EP2062254B1 - Steganographie in digitalen signal-codierern - Google Patents

Steganographie in digitalen signal-codierern Download PDF

Info

Publication number
EP2062254B1
EP2062254B1 EP07801969A EP07801969A EP2062254B1 EP 2062254 B1 EP2062254 B1 EP 2062254B1 EP 07801969 A EP07801969 A EP 07801969A EP 07801969 A EP07801969 A EP 07801969A EP 2062254 B1 EP2062254 B1 EP 2062254B1
Authority
EP
European Patent Office
Prior art keywords
code
information
code word
signal
steganographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP07801969A
Other languages
English (en)
French (fr)
Other versions
EP2062254A1 (de
Inventor
Bernd Geiser
Peter Vary
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Priority to PL07801969T priority Critical patent/PL2062254T3/pl
Priority to EP11006299A priority patent/EP2385521A1/de
Priority to SI200731014T priority patent/SI2062254T1/sl
Publication of EP2062254A1 publication Critical patent/EP2062254A1/de
Application granted granted Critical
Publication of EP2062254B1 publication Critical patent/EP2062254B1/de
Priority to CY20121100830T priority patent/CY1113155T1/el
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K1/00Secret communication
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0007Codebook element generation

Definitions

  • the invention is directed to a method for embedding a steganographic information in a signal information of a signal encoder.
  • digital transmission is becoming increasingly important. Among other things, this is due to the fact that digital signal information is processed more easily, i. can be copied or compressed.
  • the compression of digital signal information means that information can be transmitted by means of signal transmission channels with limited data transmission rates with high information density.
  • the voice information to be transmitted by means of the well-known CELP (Code-book Excited Linear Predictive Coding) or ACELP (Algebraic Code Excited Linear Prediction) or in the future the AMR (Adaptive Multi-Rate) coding coded.
  • CELP Code-book Excited Linear Predictive Coding
  • ACELP Algebraic Code Excited Linear Prediction
  • AMR Adaptive Multi-Rate
  • a signal coder such as a CELP coder, an ACELP coder or an AMR coder, generates a codebook entry, typically a vector of a so-called codebook, with the codebook entry code elements - ie usually the vector components - information regarding the (filter) excitation included. Filter coefficients, gain factors, etc. are encoded as time information by means of dedicated codebooks.
  • a codebook for excitation coding usually consists of a set of vectors, for example each with 10 components in the ACELP encoding according to the Enhanced Full Rate (EFR) standard, which encode the speech information to be transmitted for a certain length, for example 5 milliseconds.
  • EFR Enhanced Full Rate
  • This speech information can be decoded on the receiver side, wherein the actual decoder can also recognize at the same time from which decomposition of the codebook the codebook entry originates.
  • the publication also describes the known analysis-by-synthesis method.
  • the selected codeword is evaluated, ie the quality of the coding is checked. This is essentially achieved by decoding, ie synthesizing, the coding after speech information has been coded, and comparing the result of the decoding, which in turn represents speech information, with the original speech information.
  • a synthesis is performed in advance on the transmitter side - encoder side - which, after any transmission, is also performed on the receiver side decoder side.
  • a codeword that is to say generally a vector from a codebook, which firstly has the desired property, ie originating from the correspondingly decomposed subcodebook, and thereby the speech information coded with sufficient quality.
  • the invention is therefore based on the object to provide a solution that makes it possible to embed a steganographic information in a signal information of a signal encoder such that a reduction in voice quality is largely avoided.
  • the object is achieved by providing a data information, in particular a speech information, selecting a steganographic information from a set of steganographic information, generating a codeword from a provided codebook by means of a signal coder based on the codeword forming code elements, such that using the generated codeword in the context of a the codebook associable transmission standards, the data information is encoded in a codeword-containing and / or referring to the codeword signal information; and that the generated codeword has an additional property computable on the basis of the codewords forming the codeword, the additional property representing the steganographic information.
  • Such a method for embedding steganographic information in signal information of a signal coder in which a codeword is generated from a provided codebook by means of the signal coder on the basis of codeword-forming code elements makes it possible to provide a codeword having a calculable property on the one hand, ie represents a steganographic information, and on the other hand at the same time provides signal information which for a data information, in particular a voice information, encoded.
  • codewords not in the practical codebook and / or the decompositions of the practical code may be considered book were available. This significantly expands the number of code elements that can be accessed so that either decomposition in more sub-codebooks compared to the prior art or with an equal number of sub-codebooks provides improved speech quality over the prior art can.
  • an evaluation of the generated codeword is carried out in the context of a transmission standard associable with the provided codebook by decoding the codeword and then comparing the decoded data information with the original data information.
  • the code word is generated from the provided codebook by means of the signal coder on the basis of the codeword-forming code elements, taking into account the evaluation.
  • the use of a based on the GSM (Global System for Mobile Communications) - and / or UMTS (Universal Mobile Telecommunications Standard) transmission standards based coder and codebook is provided.
  • GSM Global System for Mobile Communications
  • UMTS Universal Mobile Telecommunications Standard
  • the generation of a codeword on the basis of the ACELP (Algebraic Code Exited Linear Prediction) - and / or the AMR encoding is provided.
  • ACELP coding allows the use of the method according to the invention in many fields of technology, in particular mobile telecommunications. This also applies to the future by analogy for the AMR coding.
  • the calculation of the property of the code word is performed as a result of applying at least one operation to at least one of the code elements forming the code word.
  • the provision of the code word is carried out such that the code word implicitly satisfies the property.
  • the selection of the steganographic information is carried out in such a way that the steganographic information is used for signal improvement, in particular for voice transmission, such as artificial bandwidth expansion and / or noise reduction.
  • the additional transferable steganographic information can be used, for example, to describe a property of the data information actually to be transmitted, so that the steganographic information can be used for signal enhancement.
  • the code word coding for the data information is generated by the method according to the invention - the marginal loss in the transmission quality can not only be compensated by the steganographic additional information, but can even be overcompensated.
  • the selection of steganographic information is performed such that the steganographic information is used as a digital watermark.
  • the steganographic information When using the steganographic information as a digital watermark not only the originality and the origin of data information can be marked, but also copyright to data information can be introduced using the steganographic information in the form of a digital watermark.
  • the data information is qualitatively hardly impaired in the context of the method according to the invention.
  • a transmission of the codeword-containing or referring to the codeword signal information is performed to a receiver.
  • provision of data information by means of decoding of the codeword is carried out in the context of a transmission standard associable with the provided codebook.
  • the data information included in the signal information as well as the steganographic information can be recovered and used.
  • the steganographic information is provided on the receiving side by means of calculating the additional property of the codeword on the basis of the code elements forming the codeword.
  • the receiver it is possible to calculate the steganographic information contained in the signal information. This possibility can optionally be used, ie systems which are not able to recalculate the steganographic information will only extract the data information from the signal information without getting to the steganographic information.
  • the method is also carried out in a mobile radio device.
  • the method is particularly suitable for signal information transmission, i. Voice or other information, by means of mobile devices, which are operable in a mobile network.
  • Fig. 1 shows an encoder 100 according to an embodiment of the invention.
  • the coder 100 is supplied with a signal 101 to be coded, for example a speech signal 100.
  • data 100 to be embedded is supplied to the encoder 100.
  • the coder generates a coded signal 103 from the signal 101 to be coded, into which the data 102 to be embedded is embedded, that is, from which a corresponding decoder can determine the data 102 to be embedded.
  • the coded signal 103 is transmitted, for example, to a receiver, for example by means of a computer network or by means of a radio network.
  • the encoder 100 is used in a GSM (Global System for Mobile Communications) mobile radio network.
  • the encoder can also be used within the framework of a mobile radio network in accordance with UMTS (Universal Mobile Telecommunications Standard), CDMA2000 (CDMA: Code Division Multiple Access) or according to FOMA (Freedom of Mobile Access).
  • UMTS Universal Mobile Telecommunications Standard
  • CDMA2000 CDMA: Code Division Multiple Access
  • FOMA Freedom of Mobile Access
  • the signal 101 to be encoded is a speech signal outputted from the encoder 100 according to an ACELP (Algebraic Code Excited Linear Prediction) speech compression method.
  • ACELP Algebraic Code Excited Linear Prediction
  • ACCELP Enhanced Full Rate
  • the encoder 100 uses a codebook defined as follows:
  • the codebook C used in this embodiment is the codebook of the GSM EFR (Enhanced Full Rate) codec and is given by the vectors c of the ACELP pulse positions (unsigned in this embodiment) for each 5ms subframe:
  • a codeword c from the codebook (ie, the set of all possible codewords) C is thus a ten component vector, with each component describing a position of a pulse within a subframe.
  • the components of the vectors c are signed.
  • the use of signed components allows for improved information embedding.
  • EFR dispenses with the use of signed components for complexity reasons.
  • the codebook C is in one embodiment decomposed into two sub-codebooks C (1) and C (2) so that one bit of the data to be embedded 102 can be embedded per codeword in the coded signal 103 and accordingly one bit of the data 102 to be embedded per Subframe is transmitted, which corresponds to a sub-frame duration of 5ms a data rate of 200bit / s.
  • the codewords of the sub-codebooks differ in that the sum of the components c i of a codeword is even from the one sub-codebook and odd from the other sub-codebook.
  • a codeword from C (1) is used for coding (the current signal values of the signal to be coded 101), and a second message ( in this example consisting of one bit, for example bit value 1), a codeword from C (1) is used for coding.
  • a receiver or decoder may determine whether the first message or the second message has been embedded based on the membership of a received codeword to C (1) or C (2).
  • four bits are embedded per subframe, thereby achieving a data rate of 400bit / s.
  • the expression trunc (c i / 5) may also be used Pulse position clearly indicated within a so-called track.
  • the respective graycoded version GRAY (c i ) or GRAY (trunc (c i / 5)) may be used as intended for channel coding in EFR.
  • the summation is carried out modulo 2, so that it is required that the sum modulo 2 of several codeword bits b j is equal to the message bit m i to be embedded.
  • the above-described procedure for embedding information can also be used in other coders, for example in all CELP speech coders but also in other signal coders such as video coders, image coders, etc.
  • the transmission of page information (embedded information) by means of steganography can also improve the signal
  • a receiver without knowledge of the embedded information can use the (speech) signal in which the information was embedded as usual, that is, as in the case of no embedding of information with only a small amount of information Decode losses. If the recipient knows the embedded information, the page information can be used to improve the signal.
  • a corresponding embodiment will be described below with reference to Fig.2 described.
  • Fig.2 shows an encoder / decoder system 200 according to another embodiment of the invention.
  • the encoding / decoding system 200 includes an encoder 201 as described with reference to FIG Fig. 1 described on. Accordingly, a signal 202 to be encoded and data 203 to be embedded are supplied to the encoder 201. The data to be embedded are used for signal enhancement and are accordingly generated in a signal-enhancement-encoding signal 202 by a signal analyzer 204 to which the signal 202 to be coded is supplied.
  • the encoder 201 outputs a coded signal 205 into which the data 203 to be embedded is embedded.
  • the coded signal 205 can now be transmitted to a receiver, for example, as described above, by means of a mobile radio communication network.
  • the receiver has a "conventional" decoder 206, that is, a decoder that can not detect the embedded data from the encoded signal 205, the decoder 206 decodes only the encoded signal 205 to a decoded signal 207 which (except for transmission errors and coding / decoding losses) corresponds to the signal 202 to be coded.
  • a "conventional" decoder 206 that is, a decoder that can not detect the embedded data from the encoded signal 205
  • the decoder 206 decodes only the encoded signal 205 to a decoded signal 207 which (except for transmission errors and coding / decoding losses) corresponds to the signal 202 to be coded.
  • the receiver has an "extended" decoder 208, that is, a decoder capable of detecting the embedded data from the encoded signal 205, then the embedded data is extracted and the extracted data 209 is used by a signal enhancement unit 210 which decodes a signal and (compared to the decoded signal 207) improved signal 211 generated.
  • extended decoder 208 that is, a decoder capable of detecting the embedded data from the encoded signal 205
  • the embedded data is extracted and the extracted data 209 is used by a signal enhancement unit 210 which decodes a signal and (compared to the decoded signal 207) improved signal 211 generated.
  • the coefficients of a postfilter determined by the transmitter can also be transmitted by steganography.
  • the application of artificial bandwidth expansion is advantageous because the telephone network is historically limited to an acoustic bandwidth of 3.1kHz (300Hz-3.4kHz), a transmission of broadband (50Hz-7kHz) but only with enormous effort on the part of the network operators and the terminal manufacturers would be accomplished. Changes in the (mobile) transmission network, however, are not required to implement the embodiments described above.
  • Corresponding (powerful) bandwidth expansion algorithms are disclosed, for example, in the publication of Peter Jax, Bernd Geiser, Stefan Schandl, Hervé Taddei, and Peter Vary, "An Embedded Scalable Wideband Codec Based on the GSM EFR Codec," described in Proceedings of ICASSP, Toulouse, May 2006 s.
  • c6_offset 5 * ((c1 + b + 1) mod 2)
  • other combinations of already determined pulse positions and embedded bis can also be used.
  • the search space for the pulse position c 6 was divided into two equal parts (odd / even values). Further divisions (for example, first / second half of the value) are also possible, with the equation for c6_offset being adapted accordingly.
  • the idea underlying an embodiment can be seen in that the information embedding is known to the signal encoder, which is achieved by a common data embedding and signal coding, that is, for example, the watermark embedding is integrated into the encoder. This can be done within an analysis-by-synthesis loop ("closed-loop") as described in Figure 3 is shown.
  • Figure 3 shows an encoder 300 according to another embodiment of the invention.
  • the encoder is supplied with a signal to be encoded and data 302 to be embedded.
  • An encoded signal 303 is generated from the signal 301 to be encoded by means of a loop comprising a codebook 304, a synthesizer 305 and a comparator 306.
  • a possible coding of the signal 301 to be coded is generated by the codebook 304 and it is checked by means of the synthesizer 305 and the comparator 306 how well it reflects the signal 301 to be coded and, if appropriate, modified based on the output of the comparator 306.
  • the data to be embedded 302 are embedded in the encoded signal 303 during the encoding process, for example according to one of the procedures described above.
  • a sub-codebook of the codebook 304 is selected as shown in FIG Figure 4 is shown.
  • Figure 4 shows an encoder 400 according to another embodiment of the invention.
  • the encoder 300 to be embedded is supplied with data 402 to be embedded in the encoder and a signal 401 to be encoded, and generates a coded signal 403 in which the data 402 to be embedded is embedded.
  • the encoder 400 has a plurality of sub-codebooks 404, a codebook divided into a plurality of sub-codebooks 404. Based on the data to be embedded, the sub-codebooks are selected in coding the signal 401 to be coded.
  • a data word of the signal to be coded 401 is input Codeword assigned from a first sub-codebook, when a first page information from the data to be embedded 402, for example a bit with the value 0, to be embedded and it is assigned a codeword from a second sub-codebook, if a second page information from the Trobettenden Data 402, for example a bit with the value 1, should be embedded.
  • Fig. 5 shows a codebook 500 according to another embodiment of the invention.
  • the codebook 500 is labeled C. For efficiency reasons, if the codeword extent of the codebook 500 is very large, the codebook 500 is only partially searched during coding, i. Codewords for coding are selected only from a codebook subset 501 denoted C '(practical codebook).
  • the codebook 500 for data embedding is decomposed into codebooks as explained above, for example, four subcodebooks 502 designated C (1) to C (4).
  • a sub-codebook 502 Since a sub-codebook 502 has a smaller codeword extent than the codebook subset 501, and thus the quality of the signal coding (depending on the number of subcodebooks 502) would decrease from using the entire codebook subset 501, in one embodiment Code extent of the sub-codebooks 502 extended, so that a total of an extended codebook subset 503 is used for coding.
  • the algorithmic complexity increases only slightly, the quality of the coding does not decrease and in special cases even an increase in quality can be achieved.
  • an algebraic codebook is used.
  • an algebraic codebook exists only in the sense of an algebraic design rule. This means that the individual codebook entries (codewords) are generated during the signal coding by a codeword generator.
  • the "binning scheme" for information embedding that is, the decomposition of the codebook in sub-codebooks and selection of the sub-codebook used for coding depending on the information to be embedded, in an encoder with algebraic codebook now no longer consists only in the division of the codebook in a number of sub-codebooks, but moreover in the modification of the codeword generator in that only codewords associated with the sub-codebook C (i) selected by the currently-to-be-embedded message i are output.

Abstract

Bei einem Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signalcodierers soll eine Lösung geschaffen werden, die es ermöglicht, eine steganographische Information in eine Signalinformation eine Signalcodierers derart einzubetten, dass eine Reduktion der Sprachqualität weitestgehend vermieden wird. Die wird erreicht durch Bereitstellen einer Dateninformation, insbesondere einer Sprachinformation, Auswählen einer steganographischen Information aus einer Menge von steganographischen Informationen, Erzeugen eines Codewortes aus einem bereitgestellten Codebuch mittels des Signal-Codierers auf Basis von das Codewort bildenden Codeelementen, derart, dass unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards die Dateninformation in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation codiert wird; und, dass das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt.

Description

  • Die Erfindung richtet sich auf ein Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signal-Codierers.
  • Neben den analogen Ton-, Bild- und Videoübertragungen gewinnt die digitale Übertragung immer mehr Gewicht. Dies liegt unter anderem auch daran, dass digitale Signalinformationen einfacher bearbeitet, d.h. kopiert oder auch komprimiert werden können. So führt insbesondere die Komprimierung von digitalen Signalinformationen dazu, dass mittels Signalübertragungskanälen mit begrenzten Datenübertragungsraten mit hoher Informationsdichte Informationen übertragen werden können.
  • Neben der Komprimierung von Signalinformationen als eine Art der Bearbeitung hat sich in jüngster Zeit auch das Einbetten von "unsichtbaren" - steganographischen - Informationen in Signalinformationen durchgesetzt. Eine solche Einbettung von Zusatzinformationen ermöglicht beispielsweise eine Kennzeichnung von Urheberrechten - wenn es sich bei der Signalinformation beispielsweise um ein Musikstück handelt - oder allgemein gesprochen um eine allgemeine Herkunftsangabe, also ein "digitales Wasserzeichen".
  • Auch wenn sich eine derartige Einbettung von steganographischen Informationen in Musik- und/oder Videosignalen bereits weitgehend durchgesetzt hat, so ist eine Einbettung von steganographischen Informationen in eine codierte Signalinformation, insbesondere wenn sie in "Echtzeit" zu übertragen ist, weiterhin mit Schwierigkeiten verbunden. Dies ist in der Tatsache begründet, dass gewisse Codierungen keine Redundanz und damit keinen Raum für steganographische Informationen bieten, oder dass die steganographische Information beim Decodieren der codierten Signalinformation verloren geht.
  • Eine derartige Ausgangssituation, bei der Signalinformationen, im gegebenen Fall vornehmlich Sprachinformationen, über einen Kanal gesendet und empfangen werden, und in Echtzeit codiert und decodiert werden, und bei der nicht unbeschränkt Übertragungsressourcen zur Verfügung stehen, findet man beispielsweise in der Mobilfunktelefonie. Hier erlaubt das GSM-Netz bestenfalls eine Übertragungsrate von maximal 13,0 kbit/s. Eine uncodierte Sprachinformation, d.h. hier eine nicht komprimierte Sprachinformation, wäre aufgrund der sehr geringen Übertragungsrate auf Empfängerseite kaum mehr zu verstehen. Um trotzdem verständliche Sprachinformationen beispielsweise von einem Mobilfunkgerät auf ein anderes zu übertragen, haben sich die sogenannten Sprach-Codecs als ein probates Mittel zur komprimierten Sprachsignalübertragung herauskristallisiert. Sollen zusätzliche Informationen, d.h. steganographische Informationen, in eine solche Signalinformation eingebettet werden, so sind die sich aus der Codierung ergebenden Besonderheiten zu berücksichtigen.
  • Im Bereich der mobilen Telekommunikation werden beispielsweise in GSM (Global System for Mobile Communications) - Mobilfunknetzwerken oder UMTS (Universal Mobile Telecommunications Standard) - Mobilfunknetzwerken die zu übertragenden Sprachinformationen mittels des bekannten CELP (Code-book Excited Linear Predictive Coding) bzw. ACELP (Algebraic Code Excited Linear Prediction) oder zukünftig der AMR (Adaptive Multi-Rate) - Codierung codiert. Diese Sprachcodierungen basieren allesamt auf einem Modell der Spracherzeugung, bei dem in einer ersten Nährung die Bildung des Sprachsignals in einer Anregungsstufe und einer Filterungsstufe erzeugt wird.
  • Ein Signalcodierer, wie beispielsweise ein CELP-Codierer, ein ACELP-Codierer oder ein AMR-Codierer, erzeugt einen Codebucheintrag, in der Regel einen Vektor aus einem sogenannten Codebuch, wobei die Codeelemente des Codebucheintrages - also in der Regel die Vektorkomponenten - Informationen bezüglich der (Filter-)Anregung enthalten. Filterkoeffizienten, Verstärkungsfaktoren etc. werden als Zeitinformation mittels dedizierter Codebücher codiert.
  • Ein Codebuch zur Anregungscodierung besteht in der Regel aus einer Menge von Vektoren, beispielsweise mit jeweils 10 Komponenten bei der ACELP-Codierung nach den Enhanced Full Rate (EFR) Standard, die die zu übermittelnde Sprachinformation für eine bestimmte Länge, beispielsweise 5 Millisekunden, codieren. Aus dem fest vorgegebenen Codebuch, welches insgesamt eine große Vielzahl von Vektoren umfasst, wobei die Vektoren nach bekannten Kriterien aufgebaut sind, wird in der Regel eine Teilmenge des Codebuches, ein Sub-Codebuch, verwendet, die oftmals ausreichend ist, um die gewöhnlichen Sprachinformationen mit einer guten Qualität übertragen zu können.
  • Zur Unterscheidung zwischen dem im Rahmen der Codierung vorgegebenen vollständigen Codebuch, wird das in der Praxis verwendete Sub-Codebuch als "praktisches Codebuch" bezeichnet.
  • Zum schnellen Auffinden eines geeigneten Codebucheintrages wird das praktische Codebuch nur heuristisch durchsucht, d.h. es wird keine vollständige Suche nach einem geeigneten Codebucheintrag durchgeführt.
  • Ein Verfahren, welches die Zerlegung eines festen Codebuches berücksichtigt, wird in dem Artikel "Watermarking Combined with CELP Speech Coding for Authentication" von Zhe-Ming Lu et al. (in IEICE TRANS. INF. & SYST., Vol. E88-D, No. 2 February 2005) offenbart. Dabei wird zunächst ein Codebuch in drei Sub-Codebücher zerlegt, aus denen wiederum zwei Codebücher generiert werden, welche unterschiedliche Eigenschaften aufweisen. Je nachdem, welche steganographische Information übermittelt werden soll, wird nun ein Codebucheintrag aus dem dafür bestimmten Sub-Codebuch ausgewählt und zur Codierung der zu übermittelnden Sprachinformation verwendet. Diese Sprachinformation kann auf Empfängerseite decodiert werden, wobei der eigentliche Decodierer auch gleichzeitig erkennen kann, aus welcher Zerlegung des Codebuches der Codebucheintrag stammt. Um eine hinreichend gute Codierung aus einem der Sub-Codebücher bereitzustellen, wird in der Veröffentlichung auch das bekannte Analysis-by-Synthesis Verfahren beschrieben. Bei diesem Verfahren wird das ausgewählte Codewort bewertet, d.h. die Güte der Codierung wird überprüft. Dies gescheht im Wesentlichen dadurch, dass, nachdem eine Sprachinformation codiert wurde, die Codierung decodiert, d.h. synthetisiert, wird und das Ergebnis der Decodierung, welches wiederum eine Sprachinformation darstellt, mit der ursprünglichen Sprachinformation verglichen wird. Somit wird vorab auf Senderseite - Codiererseite - eine Synthese durchgeführt, die, nach einer etwaigen Übertragung, ebenfalls auf Empfängerseite -Decodiererseite - durchgeführt wird. Mit einer solchen Analysis-by-Synthesis Schleife ist es möglich, ein Codewort, d.h. in der Regel einen Vektor aus einem Codebuch, aufzufinden, welches zum einen die gewünschte Eigenschaft, d.h. aus dem entsprechend zerlegten Sub-Codebuch stammend, aufweist und dabei die Sprachinformation mit einer ausreichenden Qualität codiert.
  • Es zeigt sich jedoch, dass die feste Aufteilung eines praktischen Codebuchs - welches ja ohnehin schon eine Untermenge eines übergeordneten Codebuchs ist - in mehrere Sub-Codebücher die Anzahl der verwendbaren Codeworte pro Sub-Codebuch derart reduziert, dass eine hörbare Reduktion der Sprachqualität nicht ausgeschlossen ist.
  • In dem Dokument JP 11 272299 A wird ein Verfahren zum Einbetten eines Wasserzeichen-Bit im Rahmen einer ACELP-basierten Sprachkodierung beschrieben. In diesem Zusammenhang wird eine vierte Pulsposition m3, die dem einzubettenden Wasserzeichen-Bit entspricht, aus einer Reihe von möglichen Kandidaten ausgewählt. Ungeeignete Kandidaten werden zwar prinzipiell erzeugt und berücksichtigt, jedoch im Anschluss in einem Prüfungsschritt verworfen.
  • Aus Nicolas Chetry and Mike Davies "Embedding side information into a speech codec residual" European Signal Processing Conference, 4 September 2006 (2006-09-04), 8 September 2006, Florence, Italy, ist ein Verfahren bekannt, um Seiteninformationen im Rahmen einer Sprachkodierung einzubetten. In diesem Zusammenhang wird das Codebuch eines Quantisierers in zwei Sub-Codebücher unterteilt, wobei einem der beiden Codebücher eine logische "1" und dem anderen eine logische "0" zugeordnet ist. Durch Auswahl eines der beiden Sub-Codebücher lässt sich daher wahlweise eine logische "1" oder eine logische "0" als Seiteninformation im Rahmen der Sprachkodierung einbetten.
  • Der Erfindung liegt daher die Aufgabe zugrunde, eine Lösung zu schaffen, die es ermöglicht, eine steganographische Information in eine Signalinformation eines Signalcodierers derart einzubetten, dass eine Reduktion der Sprachqualität weitestgehend vermieden wird.
  • Diese Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1 sowie einen Signal-Codierer gemäß Anspruch 17. Empfangsseitig wird diese Aufgabe gelöst durch eine Verfahren gemäß Anspruch 21 sowie eine Vorrichtung gemäß Anspruch 23. Die Unteransprüche betreffen vorteilhafte Ausgestaltungen und Weiterbildungen der Verfahren bzw. der Vorrichtungen.
  • Bei einem Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signal-Codierers wird die Aufgabe erfindungsgemäß gelöst durch Bereitstellen einer Dateninformation, insbesondere einer Sprachinformation, Auswählen einer steganographischen Information aus einer Menge von steganographischen Informationen, Erzeugen eines Codewortes aus einem bereitgestellten Codebuch mittels eines Signal-Codierers auf Basis von das Codewort bildenden Codeelementen, derart, dass unter Verwendung des erzeugten Codewortes im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards die Dateninformation in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation codiert wird; und, dass das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt.
  • Ein solches Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signalcodierers, bei dem ein Codewort aus einem bereitgestellten Codebuch mittels des Signalcodierers auf Basis von das Codewort bildenden Codeelementen erzeugt wird, ermöglicht es, ein Codewort bereitzustellen, welches zum einen eine berechenbare Eigenschaft aufweist, d.h. eine steganographische Information darstellt, und zum anderen gleichzeitig eine Signalinformation bereitstellt, welche für eine Dateninformation, insbesondere eine Sprachinformation, codiert. Dadurch, dass nicht von vorneherein eine Zerlegung des Codebuches durchgeführt wird, sondern statt dessen ein Codebucheintrag erzeugt wird, und zwar auf Basis der das Codewort bildenden Codeelemente, können Codeworte berücksichtigt werden, die nicht in dem praktischen Codebuch und/oder den Zerlegungen des praktischen Code buches vorhanden waren. Dies erweitert die Anzahl der Codeelemente auf die zurückgegriffen werden kann erheblich, so dass entweder eine Zerlegung in mehr Sub-Codebüchern im Vergleich zum Stand der Technik oder aber bei einer gleichen Anzahl von Sub-Codebüchern eine verbesserte Sprachqualität im Vergleich zum Stand der Technik bereitgestellt werden kann.
  • Bevorzugt wird in einer Ausgestaltung der Erfindung eine Bewertung des erzeugten Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards mittels Decodierens des Codewortes und anschließenden Vergleichens der decodierten Dateninformation mit der ursprünglichen Dateninformation durchgeführt.
  • Dies hat den Vorteil, dass die Qualität des erzeugten Codewortes bezüglich der Codierungs-Decodierungstreue, d.h. dem Verlust der (Sprach-)Qualität aufgrund der Codierung und Decodierung, bewertet werden kann.
  • Weiterhin bevorzugt wird in Ausgestaltung des erfindungsgemä-βen Verfahrens das Erzeugen des Codewortes aus dem bereitgestellten Codebuch mittels des Signal-Codierers auf Basis der das Codewort bildenden Codeelemente unter Berücksichtigung der Bewertung durchgeführt.
  • Die Berücksichtigung der Bewertung bei der Erzeugung des Codewortes aus dem bereitgestellten Codebuch ermöglicht das Erzeugen von Codeworten, welche eine hohe Sprachqualität bezüglich der zu codierenden Information aufweisen.
  • In einer Ausgestaltung der Erfindung wird die Verwendung eines auf Basis des GSM (Global System for Mobile Communications)- und/oder des UMTS (Universal Mobile Telecommunications Standard)-Übertragungsstandards basierenden Codierers und Codebuches vorgesehen.
  • Dies hat den Vorteil, dass das Verfahren zur Einbettung einer steganographischen Information auch in Mobilfunknetzen verwendet werden kann.
  • Zur weiteren Ausgestaltung der Erfindung ist das Erzeugen eines Codewortes auf Basis der ACELP (Algebraic Code Exited Linear Prediction)- und /oder der AMR-Codierung vorgesehen.
  • Die hohe Verbreitung der ACELP Codierung ermöglicht die Verwendung des erfindungsgemäßen Verfahrens in vielen Bereichen der Technik, insbesondere der mobilen Telekommunikation. Dies gilt zukunftsweisend analog auch für die AMR-Codierung.
  • Weiterhin wird in einer Ausgestaltung die Berechnung der Eigenschaft des Codewortes als Ergebnis einer Anwendung mindestens einer Operation auf mindestens eines der das Codewort bildenden Codeelemente durchgeführt.
  • So ist es möglich, auf Basis der das Codewort bildenden Codeelemente unter Anwendung mindestens einer, vorzugsweise mathematischen, Operation eine Eigenschaft des Codewortes zu bestimmen, welche die steganographische Information darstellt.
  • Weiterhin wird in Ausgestaltung des erfindungsgemäßen Verfahrens die Bereitstellung des Codewortes derart ausgeführt, dass das Codewort die Eigenschaft implizit erfüllt.
  • Dies hat den Vorteil, dass ein Codewort derartig erzeugt werden kann, dass es die Eigenschaft, welche die steganographische Information darstellt, bereits während seiner Erzeugung erfüllt.
  • Weiterhin wird in einer Ausgestaltung des erfindungsgemäßen Verfahrens die Auswahl der steganographischen Information derart durchgeführt, dass die steganographische Information zur Signalverbesserung, insbesondere bei Sprachübertragung, wie eine künstliche Bandbreitenerweiterung und/oder Störreduktion, verwendet wird.
  • Es wurde festgestellt, dass die zusätzliche übertragbare steganographische Information genutzt werden kann, um beispielsweise eine Eigenschaft der eigentlich zu übertragenden Dateninformation zu beschreiben, so dass die steganographische Information zur Signalverbesserung benutzt werden kann. Das bedeutet, dass - sofern das für die Dateninformation codierende Codewort nach dem erfindungsgemäßen Verfahren erzeugt wird - der marginale Verlust in der Übertragungsqualität durch die steganographische Zusatzinformation nicht nur kompensiert, sondern sogar überkompensiert werden kann.
  • Weiterhin wird in einer Ausgestaltung die Auswahl der steganographischen Information derart durchgeführt, dass die steganographische Information als digitales Wasserzeichen verwendet wird.
  • Bei der Verwendung der steganographischen Information als digitales Wasserzeichen können nicht nur die Originalität und die Herkunft von Dateninformationen gekennzeichnet werden, vielmehr können auch Urheberrechte an Dateninformationen mit Hilfe der steganographischen Information in Form eines digitalen Wasserzeichens eingebracht werden. Dabei wird die Dateninformation im Rahmen des erfindungsgemäßen Verfahrens qualitativ kaum beeinträchtigt.
  • In weiterer Ausgestaltung der Erfindung wird ein Übertragen der das Codewort beinhaltenden oder auf das Codewort verweisenden Signalinformationen an einen Empfänger durchgeführt.
  • Vorteilhafterweise ist es durch ein Übertragen an einen Empfänger möglich, die Dateninformation und die steganographische Information in Form einer Signalinformation über eine räumliche Distanz zu übertragen.
  • Weiterhin wird in einer Ausgestaltung des erfindungsgemäßen Verfahrens ein empfangsseitiges Bereitstellen einer Dateninformation mittels Decodierens des Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards durchgeführt.
  • Durch die Decodierung des Codewortes können die in der Signalinformation beinhalteten Dateninformationen sowie die steganographische Information zurückgewonnen und verwendet werden.
  • Weiterhin bevorzugt wird in Ausgestaltung des erfindungsgemä-βen Verfahrens ein empfangsseitiges Bereitstellen der steganographischen Information mittels Berechnens der zusätzlichen Eigenschaft des Codewortes auf Basis der das Codewort bildenden Codeelemente durchgeführt.
  • Je nach Ausgestaltung des Empfängers ist es möglich, die steganographische Information, welche sich in der Signalinformation beinhaltet, zu berechnen. Diese Möglichkeit kann optional genutzt werden, d.h. Systeme, welche nicht in der Lage sind, die steganographische Information zurück zu berechnen, werden lediglich die Dateninformation aus der Signalinformation extrahieren, ohne an die steganographische Information zu gelangen.
  • Schließlich wird in einer Ausgestaltung des Verfahrens weiterhin ein Ausführen des Verfahrens in einer Mobilfunkvorrichtung ausgeführt.
  • Das Verfahren eignet sich insbesondere für die Signalinformationsübertragung, d.h. Sprach- oder sonstige Information, mittels Mobilfunkvorrichtungen, welche in einem Mobilfunknetz betreibbar sind.
  • Die vorgenannten sowie beanspruchten und in den Ausführungsbeispielen beschriebenen zu verwendenden Bauteile unterliegen in ihrer Größe, Form, Gestaltung, Materialauswahl und technischen Konzeptionen keinen besonderen Ausnahmebedingungen, so dass die in dem Anwendungsgebiet bekannten Auswahlkriterien uneingeschränkt Anwendung finden können.
  • Weitere Einzelheiten, Merkmale und Vorteile des Gegenstandes der Erfindung ergeben sich aus den Unteransprüchen sowie aus der nachfolgenden Beschreibung der zugehörigen Zeichnungen, in der - beispielhaft - ein bevorzugtes Ausführungsbeispiel der Erfindung dargestellt ist.
  • Zu den beschriebenen Codierungsverfahren gemäß Ausführungsbeispielen der Erfindung werden entsprechende Codierer bereitgestellt sowie entsprechende Verfahren zum Dekodieren und entsprechende Dekodierer.
  • Figur 1
    zeigt einen Codierer 100 gemäß einem Ausführungsbeispiel der Erfindung.
    Figur 2
    zeigt ein Codier/Decodiersystem 200 gemäß einem Ausführungsbeispiel der Erfindung.
    Figur 3
    zeigt einen Codierer 300 gemäß einem Ausführungsbeispiel der Erfindung.
    Figur 4
    zeigt einen Codierer 400 gemäß einem Ausführungsbeispiel der Erfindung.
    Figur 5
    zeigt ein Codebuch 500 gemäß einem Ausführungsbeispiel der Erfindung.
  • Fig. 1 zeigt einen Codierer 100 gemäß einem Ausführungsbeispiel der Erfindung.
  • Dem Codierer 100 wird ein zu codierende Signal 101, beispielsweise ein Sprachsignal 100, zugeführt. Außerdem werden dem Codierer 100 einzubettende Daten 102 zugeführt. Der Codierer erzeugt aus dem zu codierenden Signal 101 ein codiertes Signal 103, in das die einzubettenden Daten 102 eingebettet sind, das heißt, aus dem ein entsprechender Decodierer die einzubettenden Daten 102 ermitteln kann.
  • Das codierte Signal 103 wird beispielsweise an einen Empfänger übermittelt, beispielsweise mittels eines Computernetzwerks oder mittels eines Funknetzwerks.
  • Bei dem im Folgenden beschriebenen Ausführungsbeispiel wird angenommen, dass der Codierer 100 in einem Mobilfunknetzwerk gemäß GSM (Global System for Mobile Communications) eingesetzt wird. Bei anderen Ausgestaltungen der Erfindung kann der Codierer auch im Rahmen eines Mobilfunknetzwerks gemäß UMTS (Universal Mobile Telecommunications Standard), CDMA2000 (CDMA: Code Division Multiple Access) oder gemäß FOMA (Freedom of Mobile Access) eingesetzt werden.
  • In dem im Folgenden beschriebenen Ausführungsbeispiel wird angenommen, dass das zu codierende Signal 101 ein Sprachsignal ist, das von dem Codierer 100 gemäß einem ACELP (Algebraic Code Excited Linear Prediction) - Sprachkompressionsverfahren, beispielsweise gemäß einem "Enhanced Full-Rate"-ACELP-Sprachkompressionsverfahren codiert werden soll, wie es in einem GSM-Mobilfunknetz eingesetzt wird.
  • Bei dem im Folgenden beschriebenen Ausführungsbeispiel verwendet der Codierer 100 ein Codebuch, das wie folgt definiert ist:
  • Das in diesem Ausführungsbeispiel verwendete Codebuch C ist das Codebuch des GSM EFR (Enhanced Full Rate) Codecs und ist gegeben durch die Vektoren c der ACELP-Pulspositionen, (in diesem Ausführungsbeispiel ohne Vorzeichen) für jeden Subrahmen der Länge 5ms: C = c ̲ = c 0 c 9
    Figure imgb0001
    c 0 , c 5 0 5 10 15 20 25 30 35 , c 1 , c 6 1 6 11 16 21 26 31 36 , c 2 , c 7 2 7 12 17 22 27 32 37 , c 3 , c 8 3 8 13 18 23 28 33 38 , und c 4 , c 9 4 9 14 19 24 29 34 39
    Figure imgb0002
  • Ein Codewort c aus dem Codebuch (d.h. der Menge aller möglichen Codeworte) C ist somit ein Vektor mit zehn Komponenten, wobei jede Komponente eine Position eines Pulses innerhalb eines Subrahmens beschreibt. Das Codebuch C hat in diesem Ausführungsbeispiel einen Umfang von 2^(10*log_2(8)) = 2^30 Codewörtern.
  • In einem anderen Ausführungsbeispiel sind die Komponenten der Vektoren c, wie gemäß EFR vorgesehen, vorzeichenbehaftet. Die Verwendung von vorzeichenbehafteten Komponenten ermöglicht eine verbesserte Informationseinbettung. In einer Ausführungsform wird bei EFR jedoch aus Komplexitätsgründen auf die Verwendung von vorzeichenbehafteten Komponenten verzichtet.
  • Das Codebuch C wird in einer Ausführungsform derart in zwei Sub-Codebücher C(1) und C(2) zerlegt, dass pro Codewort in das codierte Signal 103 ein Bit der einzubettenden Daten 102 eingebettet werden kann und dementsprechend ein Bit der einzubettenden Daten 102 pro Subrahmen übermittelt wird, was bei einer Subrahmendauer von 5ms einer Datenrate von 200bit/s entspricht.
  • Die Codewörter der Sub-Codebücher unterscheiden sich darin, dass die Summe der Komponenten ci eines Codewortes aus dem einen Sub-Codebuch gerade und aus dem anderen Sub-Codebuch ungerade ist. Beispielsweise erfüllen alle Codeworte aus C(1) die Bedingung i = 0 9 c i = 2 trunc 1 2 i = 0 9 c i ,
    Figure imgb0003
    (d.h. Summe der Komponenten ist gerade) und alle Codeworte aus C(2) die Bedingung i = 0 9 c i = 2 trunc 1 2 i = 0 9 c i + 1
    Figure imgb0004
    (d.h. Summe der Komponenten ist ungerade) wobei trunc die Abrundungsoperation, das heißt das Abrunden auf die nächstkleinere ganze Zahl, bezeichnet.
  • Soll eine erste Nachricht (in diesem Beispiel bestehend aus einem Bit, beispielsweise dem Bitwert 0) übermittelt werden, so wird ein Codewort aus C(1) zur Codierung (der aktuellen Signalwerte des zu codierenden Signals 101) verwendet, und soll eine zweite Nachricht (in diesem Beispiel bestehend aus einem Bit, beispielsweise dem Bitwert 1) übermittelt werden, so wird ein Codewort aus C(1) zur Codierung verwendet. Ein Empfänger bzw. ein Decodierer kann basierend auf der Zugehörigkeit eines empfangenen Codeworts zu C(1) oder zu C(2) ermitteln, ob die erste Nachricht oder die zweite Nachricht eingebettet worden ist.
  • In einer anderen Ausführungsform wird die Unterteilung von C nach gerader und ungerader Parität der Summe der Komponenten der Codeworte durchgeführt. Beispielsweise gehört ein Code-wort zu C(1) wenn i = 0 9 c i
    Figure imgb0005
    in Binärdarstellung eine gerade Ani=0 zahl von Einsen aufweist und zu C(2) andernfalls.
  • In einer Ausführungsform werden vier Bits pro Subrahmen eingebettet und damit eine Datenrate von 400bit/s erreicht. Dies geschieht durch eine Unterteilung des Codebuchs C in vier Sub-Codebücher C(1) bis C(4), wobei die Codeworte der Sub-Codebücher beispielsweise die folgenden Bedingungen erfüllen: i = 0 4 c 2 i = 2 trunc 1 2 i = 0 4 c 2 i ,
    Figure imgb0006
    i = 0 4 c 2 i + 1 = 2 trunc 1 2 i = 0 4 c 2 i + 1 ,
    Figure imgb0007
    i = 0 4 c 2 i = 2 trunc 1 2 i = 0 4 c 2 i + 1
    Figure imgb0008
    i = 0 4 c 2 i + 1 = 2 trunc 1 2 i = 0 4 c 2 i + 1 + 1.
    Figure imgb0009
    anschaulich wird hierbei die Unterscheidung basierend auf Geradzahligkeit bzw. Ungeradzahligkeit der Summe der Komponenten mit geradem bzw. ungeraden Index durchgeführt.
  • Analog zu der obigen Alternative kann auch bei der Unterteilung des Codebuchs C in vier Sub-Codebücher dies basierend auf der Parität einer Binärdarstellung der Summe von Komponenten mit geradem bzw. ungeradem Index durchgeführt werden, 4 4 also basierend auf der Parität von i = 0 4 c 2 i
    Figure imgb0010
    bzw. i = 0 4 c 2 i + 1 .
    Figure imgb0011
  • In den obigen Bedingungen für die Codebücher C(1) und C(2) bzw. C(1) bis C(4) kann alternativ statt einer Komponente ci selbst auch der Ausdruck trunc(ci/5) verwendet werden, der eine Pulsposition innerhalb eines sogenannten Tracks eindeutig bezeichnet. Alternativ kann auch die jeweils Graycodierte Version GRAY(ci) bzw. GRAY(trunc(ci/5)) verwendet werden, wie sie zur Kanalcodierung bei EFR vorgesehen ist. Unter Berücksichtigung der tatsächlichen Übertragung der Codeworte über einen GSM-Mobilfunkkanal erweist sich diese Möglichkeit zur Codebuchzerlegung als besonders vorteilhaft. Damit wird erreicht, dass besonders wenige Kanalbits einen Einfluss auf die eingebetteten Daten haben, wodurch die Bitfehlerrate der übertragenen eingebetteten Daten bei gestörter Übertragung sinkt.
  • Allgemein kann das Codebuch C in einer Ausführungsform derart zerlegt werden, dass die Codeworte des Sub-Codebuchs, das zur Codierung verwendet wird, wenn ein Nachrichtenbit mi übermittelt werden soll, die Bedingung m i = j A i b j
    Figure imgb0012
    erfüllen, wobei Ai eine Indexmenge, bj die Komponenten des jeweiligen Codeworts bezeichnen. Die Summation wird dabei modulo 2 durchgeführt, so dass gefordert wird, dass die Summe modulo 2 mehrerer Codewortbits bj gleich dem einzubettenden Nachrichtenbit mi ist.
  • Zur Rekonstruktion einer eingebetteten Nachricht in einem empfangenen bzw. zu decodierenden Codewort ist es lediglich erforderlich, dass der Decodierer ermittelt, zu welchem Sub-Codebuch das Codewort gehört. Werden die Codeworte ungestört an den Decodierer übermittelt, so können auch die eingebetteten Informationen fehlerlos rekonstruiert werden.
  • Die oben beschriebene Vorgehensweise zur Einbettung von Informationen kann auch bei anderen Codierern eingesetzt werden, beispielsweise bei allen CELP Sprach-Codierern aber auch bei anderen Signal-Codierern wie Video-Codierern, Bild-Codierern etc.
  • Die Übertragung von Seiteninformationen (eingebetteten Informationen) mittels Steganographie kann auch zur Signalverbesserung eingesetzt werden und stellt eine Lösung für das Problem der Rückwärtskompatibilität dar. Ein Empfänger ohne Kenntnis der eingebetteten Informationen kann das (Sprach-)Signal, in das die Informationen eingebettet wurden, wie gewohnt, das heißt wie im Falle keiner Einbettung von Informationen mit nur geringen Verlusten decodieren. Kennt der Empfänger hingegen die eingebetteten Informationen, so können die Seiteninformationen zur Signalverbesserung verwendet werden. Ein entsprechendes Ausführungsbeispiel wird im Folgenden mit Bezug auf Fig.2 beschrieben.
  • Fig.2 zeigt ein Codier/Decodiersystem 200 gemäß einem weiteren Ausführungsbeispiel der Erfindung.
  • Das Codier/Decodiersystem 200 weist einen Codierer 201 wie mit Bezug auf Fig. 1 beschrieben auf. Entsprechend werden dem Codierer 201 ein zu codierendes Signal 202 und einzubettende Daten 203 zugeführt. Die einzubettenden Daten werden zur Signalverbesserung verwendet und werden dementsprechend von einer Signal-Analyse-Einrichtung 204, dem das zu codierende Signal 202 zugeführt wird, in für eine Signalverbesserung codierenden Signals 202 geeigneter Weise erzeugt.
  • Analog zu Fig. 1 gibt der Codierer 201 ein codiertes Signal 205 aus, in das die einzubettenden Daten 203 eingebettet sind. Das codierte Signal 205 kann nun an einen Empfänger übermittelt werden, beispielsweise, wie oben beschrieben, mittels eines Mobilfunk-Kommunikationsnetzwerks.
  • Weist der Empfänger einen "konventionellen" Decodierer 206 auf, das heißt einen Decodierer, der die eingebetteten Daten nicht aus dem codierten Signal 205 ermitteln kann, so decodiert der Decodierer 206 lediglich das codierte Signal 205 zu einem decodierten Signal 207, welches (bis auf Übertragungsfehler und Codier/Decodierverluste) dem zu codierenden Signal 202 entspricht.
  • Weist der Empfänger einen "erweiterten" Decodierer 208 auf, das heißt einen Decodierer, der die eingebetteten Daten aus dem codierten Signal 205 ermitteln kann, so werden die eingebetteten Daten extrahiert und die extrahierten Daten 209 von einer Signalverbesserungseinheit 210 zur Signalverbesserung verwendet, welche ein decodiertes und (gegenüber dem decodierten Signal 207) verbessertes Signal 211 erzeugt.
  • Als Signalverbesserung kann z.B. künstliche Bandbreitenerweiterung, oder Störreduktion eingesetzt werden. Auch die Koeffizienten eines sendeseitig bestimmten Postfilters können per Steganographie übertragen werden.
  • Insbesondere die Anwendung der künstlichen Bandbreitenerweiterung ist vorteilhaft, da das Telefonnetz historisch bedingt auf eine akustische Bandbreite von 3.1kHz (300Hz-3.4kHz) begrenzt ist, eine Übertragung von Breitbandsprache (50Hz-7kHz) jedoch nur mit enormem Aufwand seitens der Netzbetreiber und der Endgerätehersteller zu bewerkstelligen wäre. Änderungen im (Mobilfunk-)Übertragungsnetz sind zur Realisierung der oben beschriebenen Ausführungsformen hingegen nicht erforderlich. Entsprechende (leistungsfähige) Bandbreitenerweiterungsalgorithmen sind beispielsweise in der Veröffentlichung von Peter Jax, Bernd Geiser, Stefan Schandl, Hervé Taddei, und Peter Vary, "An Embedded Scalable Wideband Codec Based on the GSM EFR Codec", in Proceedings of ICASSP, Toulouse, Mai 2006 beschrieben. Weiterhin wird in der Veröffentlichung von Peter Jax und Peter Vary, "Bandwidth Extension of Speech Signals: A Catalyst for the Introduction of Wideband Speech Coding?", IEEE Communications Magazine, vol. 44, no. 5, Mai 2006 die Einführung breitbandiger Sprachübertragung über den Umweg der Bandbreitenerweiterung (ggf. mit Unterstützung von digitalen Wasserzeichen) erwähnt.
  • Im Folgenden wird eine weitere Möglichkeit für eine Zerlegung des oben definierten Codebuchs C (EFR ACELP Codebuch) beschrieben.
  • Zunächst wird zum besseren Verständnis kurz die Suchstrategie des EFR-Codecs erläutert:
    1. 1) Zunächst wird die erste Pulsposition i0 ∈ {0, ... , 39} heuristisch ermittelt und bleibt während der gesamten Suche fest. Der zu i0 gehörige "Track" ist beispielsweise x = 4 oder x = 9. Für die x-te Komponente cx des entsprechenden Codeworts gilt cx = i0.
    2. 2) Die Position des zweiten Pulses i1 ∈ {0,...,39} wird ebenfalls heuristisch ermittelt, wobei für jede der vier Iterationen des unten stehenden Algorithmus (Schritt 3) ein anderer Wert angenommen wird. Beispielsweise gehöre für die erste Iteration zur gewählten Position i1 der Track y=3 oder y=8, d.h. cy = i1.
    3. 3) Für die verbleibenden acht Tracks werden für jede von vier Iterationen die Pulse sukzessive in Paaren zu je zwei Tracks durch erschöpfende Suche optimiert. In jeder der vier Iterationen werden die Track-Paare durch Permutation neu zusammengestellt, wobei cx und cy nicht wiederverwendet werden
  • Beispielsweise wird für das Track-Paar c0/c6 die Optimierung entsprechend dem folgenden Pseudocode durchgeführt:
    • for(i = 0,5,10,...,35) // Iteration über alle zulässigen Elemente für c0
    • for (j = 1, 6, 11,..., 36) // Iteration über alle zulässigen Elemente für c6
    • Teste Puls-Paar (c0=i, c6=j) entsprechend CELP-Kriterium auf Optimalität
  • Bei dieser Suchstrategie gemäß EFR werden insgesamt 1024 Kombinationen (4 Iterationen * 4 Track-Paare * 8 Puls-Positionen * 8 Puls-Positionen = 1024 Kombinationen) untersucht und daraus die optimalen Puls-Paare ausgewählt.
  • Zur Einbettung von Informationen, im Folgenden Beispiel eines einzelnen (Wasserzeichen-)bits b, in ein Codewort c = (c0, ..., c9) wird gemäß einem Ausführungsbeispiel der Erfindung der obige Algorithmus wie im Folgenden beschrieben abgeändert.
  • Wenn bei einer Suche bereits ein Puls für einen Track , beispielsweise c1, ermittelt wurde, kann bei der Wahl des (identisch aufgebauten) Tracks c6 durch ein Wasserzeichenbit b in das Puls-Positionenpaar c1 und c6 eingebettet werden, indem c6 in Abhängigkeit des Bits b gewählt wird. Die paarweise Suche wird dazu beispielsweise wie folgt modifiziert:
    • c6_offset = 5 * ((c1 + b + 1) mod 2)
    • for(i = 0,5,10,...,35) // Iteration über alle zulässigen Elemente für c0
    • for (j = 1,11,21,31) // Iteration über alle zulässigen Elemente für c6 (gegenüber oben halbe Anzahl)
    • Teste Puls-Paar (c0=i, c6=j+c6_offset) entsprechend CELP-Kriterium auf Optimalität
  • Das eingebettete Bit b kann im Empfänger bzw. Decodierer durch die Operation b = c 1 + c 6 mod 2
    Figure imgb0013
    ermittelt werden.
  • Statt c6_offset = 5 * ((c1 + b + 1) mod 2) können auch andere Kombinationen von bereits ermittelten Pulspositionen und einzubettenden Bis verwendet werden. In dem obigen Beispiel wurde der Suchraum für die Pulsposition c6 in zwei gleiche Teile (ungerade/gerade Werte) aufgeteilt. Weitere Aufteilungen (etwa erste/zweite Wertehälfte) sind auch möglich, wobei die Gleichung für c6_offset entsprechend anzupassen ist.
  • Die Anzahl der untersuchten Pulsposition-Kombinationen ist durch das auf diese Weise eingebettete Bit auf 4 Iterationen * 3 Paare * 8 Pos . * 8 Pos . + 1 Paar * 8 Pos . * 4 Pos . = 896 Kombinationen
    Figure imgb0014
    gesunken.
  • Zur Einbettung mehrerer Bits in ein Codewort c kann der Suchraum für c6 noch einmal halbiert werden, oder ein identisches Verfahren für ein zweites Pulspaar angewendet werden. Es ist günstig, gerade solche Pulse im Rahmen der Informationseinbettung durch c6_offset (bzw. das Bit b) zu koppeln, die in einem Track liegen. Anderenfalls kann, aufgrund der Vorzeichencodierung des EFR, im Empfänger keine eindeutige Zuordnung der Pulse mehr vorgenommen werden. Durch entsprechenden Zusatzaufwand im Sender kann diese Beschränkung aufgehoben werden. Im Empfänger sind c1 und c6 nicht voneinander zu unterscheiden. Die Datenextraktion via b=(c1+c6) mod 2 macht daher keine Probleme, allerdings ist es schwierig, beispielsweise b=(c1+c5) mod 2 zu berechnen, da (je nach Vorzeichen) "versehentlich" b=(c6+c5) mod 2 berechnet werden könnte. Der sendeseitige "Zusatzaufwand" besteht darin, die Vorzeichencodierung in den Optimierungsschleifen zu berücksichtigen und quasi pro Optimierungsschritt vorwegzunehmen. Durch die der reduzierte Anzahl von untersuchten Kombinationen (896 statt 1024 in dem obigen Beispiel) ergibt sich eine geringere Codierqualität durch Wasserzeicheneinbettung. Dies kann durch eine erweiterte Suche, das heißt eine Erweiterung des Suchraums, kompensiert werden. Dazu werden die Tracks nicht mehr in Paaren sondern in Gruppen zu 3 oder 4 (oder auch mehr) Tracks gemeinsam durchsucht. Die gemeinsame Suche (ohne Wasserzeicheneinbettung) für 3 Tracks (z.B. c0, c6 und c7) wird beispielsweise wie folgt realisiert:
    • for (i2 = 0,5,10,...,35) // Iteration über die zulässigen Werte von c0
    • for (i3 = 1, 6, 11,..., 36) // Iteration über die zulässigen Werte von c6
    • for (i4 = 2,7,12,...,37) // Iteration über die zulässigen Werte von c7
    • Suche optimales Tripel (c0=i2, c6=i3, c7=i4)
  • Für jedes Tripel bedeutet dies, dass 8*8*8 = 512 Kombinationen durchsucht werden. Wird die gesamte Suche für die 8 variablen Pulspositionen (gemäß den Schritten 1 und 2 sind ja zwei Pulspositionen fest) so aufgeteilt, dass 2 Tripel und 1 Paar gemeinsam optimiert werden, so ergibt sich, dass 4 Iterationen * 2 Tripel * 8 Pos . * 8 Pos . * 8 Pos . + 1 Paar * 8 Pos . * 8 Pos = 4352 Kombinationen
    Figure imgb0015
    untersucht werden, was gegenüber den 1024 Kombinationen gemäß EFR einen erheblichen Mehraufwand bedeutet.
  • Werden jedoch z.B. im Zuge der Optimierung des ersten Tripels 3 Wasserzeichenbits, im Zuge der Optimierung des zweiten Tripels 2 Wasserzeichenbits wie oben beschrieben eingebettet, während für das Pulspositionen-Paar keine Einbettung vorgenommen wird, so ergibt sich die Zahl der zu untersuchenden Kombinationen zu 4 Iterationen * 1 Tripel * 4 Pos . * 4 Pos . * 4 Pos . + 1 Tripel * 8 Pos . * 4 Pos . * 4 Pos + 1 Paar * 8 Pos . = 1024 Kombinationen ,
    Figure imgb0016
    d.h. exakt die Anzahl der untersuchten Kombinationen im Standard-EFR-Codec. Die Wasserzeichendatenrate liegt in diesem Fall bei (2+3)bit/5ms = 1kbit/s.
  • Schließlich ist eine weitere Möglichkeit zur Erweiterung des Suchraumes die Erhöhung der Iterationszahl, d.h. die Untersuchung weiterer Track-Permutationen.
  • Die einem Ausführungsbeispiel zu Grunde liegende Idee kann darin gesehen werden, dass die Informationseinbettung dem Signal-Codierer bekannt ist, was durch eine gemeinsame Dateneinbettung und Signalcodierung erreicht wird, das heißt es wird beispielsweise die Wasserzeichen-Einbettung in den Codierer integriert. Dies kann innerhalb einer Analyse-durch-Synthese Schleife durchgeführt werden ("closed-loop"), wie es in Fig.3 dargestellt ist.
  • Fig.3 zeigt einen Codierer 300 gemäß einem weiteren Ausführungsbeispiel der Erfindung.
  • Dem Codierer werden ein zu codierendes Signal und einzubettende Daten 302 zugeführt.
  • Ein codiertes Signal 303 wird aus dem zu codierenden Signal 301 mittels einer Schleife erzeugt, die ein Codebuch 304, eine Syntheseeinrichtung 305 und einen Vergleicher 306 aufweist. Dabei wird eine mögliche Codierung des zu codierenden Signals 301 von dem Codebuch 304 erzeugt und es wird mittels der Syntheseeinrichtung 305 und dem Vergleicher 306 überprüft, wie gut es das zu codierende Signal 301 widerspiegelt und gegebenenfalls, basierend auf der Ausgabe des Vergleichers 306, abgeändert.
  • Die einzubettenden Daten 302 werden im Laufe das Codierungsprozesses in das codierte Signal 303 eingebettet, beispielsweise gemäß einer der oben beschriebenen Vorgehensweisen.
  • Beispielsweise wird basierend auf den einzubettenden Daten 302 ein Sub-Codebuch des Codebuchs 304 ausgewählt, wie es in Fig.4 dargestellt ist.
  • Fig.4 zeigt einen Codierer 400 gemäß einem weiteren Ausführungsbeispiel der Erfindung.
  • Analog zu dem in Fig.3 dargestellten Codierer 300 werden dem Codierer einzubettende Daten 402 und ein zu codierendes Signal 401 zugeführt und er erzeugt ein codiertes Signal 403, in das die einzubettenden Daten 402 eingebettet sind. Neben einer Syntheseeinrichtung 405 und einem Vergleicher 406 analog zu dem Codierer 300 in Fig.3 weist der Codierer 400 ein Mehrzahl von Sub-Codebüchern 404 also ein in mehrere Sub-Codebücher 404 unterteiltes Codebuch auf. Basierend auf den einzubettenden Daten werden die Sub-Codebücher bei der Codierung des zu codierenden Signals 401 ausgewählt. Beispielsweise wird einem Datenwort des zu codierenden Signals 401 ein Codewort aus einem ersten Sub-Codebuch zugeordnet, wenn eine erste Seiteninformation aus den einzubettenden Daten 402, beispielsweise ein Bit mit dem Wert 0, eingebettet werden soll und es wird ein Codewort aus einem zweiten Sub-Codebuch zugeordnet, wenn eine zweite Seiteninformation aus den einzubettenden Daten 402, beispielsweise ein Bit mit dem Wert 1, eingebettet werden soll.
  • Die Aufteilung eines Codebuchs in mehrere Sub-Codebücher ist in Fig.5 illustriert.
  • Fig. 5 zeigt ein Codebuch 500 gemäß einem weiteren Ausführungsbeispiel der Erfindung.
  • Das Codebuch 500 ist mit C bezeichnet. Aus Effizienzgründen wird, wenn der Codewortumfang des Codebuchs 500 sehr groß ist, das Codebuch 500 beim Codieren nur teilweise durchsucht, d.h. es werden Codeworte zur Codierung nur aus einer Codebuch-Teilmenge 501, welche mit C' (praktisches Codebuch) bezeichnet ist, ausgewählt.
  • Bei den obigen Ausführungsbeispielen wird das Codebuch 500 zur Dateneinbettung wie oben erläutert in Codebücher zerlegt, beispielsweise in vier Sub-Codebücher 502, welche mit C(1) bis C(4) bezeichnet sind.
  • Da ein Sub-Codebuch 502 einen geringeren Codewortumfang hat als die Codebuch-Teilmenge 501 und damit die Qualität der Signalcodierung (abhängig von der Anzahl der Sub-Codebücher 502) gegenüber einer Verwendung der gesamten Codebuch-Teilmenge 501 sinken würde, wird in einem Ausführungsbeispiel der Codeumfang der Sub-Codebücher 502 erweitert, so dass insgesamt eine erweiterte Codebuch-Teilmenge 503 zur Codierung verwendet wird. Dabei steigt die algorithmische Komplexität nur geringfügig an, die Qualität der Codierung sinkt nicht und es kann in Sonderfällen sogar eine Qualitätssteigerung erzielt werden.
  • In einer Ausführungsform wird ein algebraisches Codebuch verwendet. Im Gegensatz zu einem gewöhnlichen Codebuch in Tabellenform existiert ein algebraisches Codebuch nur im Sinne einer algebraischen Konstruktionsvorschrift. Dies bedeutet, dass die einzelnen Codebuch-Einträge (Codewörter) im Zuge der Signalcodierung durch einen Codewortgenerator erzeugt werden. Das "Binning Scheme" zur Informationseinbettung, das heißt die Zerlegung des Codebuchs in Sub-Codebücher und Auswahl des zur Codierung verwendeten Sub-Codebuchs in Abhängigkeit der einzubettenden Information, bei einem Codierer mit algebraischem Codebuch besteht nun nicht mehr lediglich in der Aufteilung des Codebuches in eine Anzahl von Sub-Codebüchern, sondern darüber hinaus auch in der Modifikation des Codewortgenerators dahingehend, dass jeweils nur zu dem durch die aktuell einzubettende Nachricht i ausgewählten Sub-Codebuch C(i) gehörige Codewörter ausgegeben werden.

Claims (24)

  1. Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signal-Codierers (100), gekennzeichnet durch
    - Bereitstellen einer Dateninformation, insbesondere einer Sprachinformation, als zu codierendes Signal (101),
    - Auswählen einer steganographischen Information als einzubettende Daten (102), wobei die steganografische Information aus einer Menge von steganographischen Informationen ausgewählt wird,
    - Erzeugen eines Codewortes aus einem bereitgestellten algebraischen Codebuch (500) im Sinne einer algebraischen Konstruktionsvorschrift mittels des Signal-Codierers (100) auf Basis von das Codewort bildenden Codeelementen, derart, dass
    • unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards die Dateninformation in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation als codiertes Signal (103) codiert wird; dass
    • das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt; und, dass
    • das Codebuch (500) im Sinne der algebraischen Konstruktionsvorschrift in eine Anzahl von Sub-Codebüchern aufgeteilt ist und dass durch den Signal-Codierer (100) jeweils nur ein zu dem durch die aktuell einzubettende steganografische Information ausgewählten Sub-Codebuch gehöriges Codewort ausgegeben wird.
  2. Verfahren nach Anspruch 1, gekennzeichnet durch eine Bewertung des erzeugten Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards mittels Decodierens des Codewortes und anschließenden Vergleichens der decodierten Dateninformation mit der ursprünglichen Dateninformation.
  3. Verfahren nach Anspruch 2, gekennzeichnet durch das Erzeugen des Codewortes aus dem bereitgestellten Codebuch mittels des Signal-Codierers (100) auf Basis der das Codewort bildenden Codeelemente unter Berücksichtigung der Bewertung.
  4. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Verwendung eines auf Basis des GSM- und/oder des UMTS-Übertragungsstandards basierenden Codierers (100) und Codebuches.
  5. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch das Erzeugen eines Codewortes auf Basis der der ACELP- oder der AMR-Codierung.
  6. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Berechnung der Eigenschaft des Codewortes als Ergebnis einer Anwendung mindestens einer Operation auf mindestens eines der das Codewort bildenden Codeelemente.
  7. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Bereitstellung des Codewortes derart, dass das Codewort die Eigenschaft implizit erfüllt.
  8. Verfahren nach Anspruch 7, gekennzeichnet durch Erzeugung des Codeworts derart, dass es die Eigenschaft, welche die steganografische Information darstellt, bereits während seiner Erzeugung erfüllt.
  9. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Auswahl der steganographischen Information derart, dass die steganographische Information empfangsseitig zur Signalverbesserung, insbesondere bei Sprachübertragung, wie eine künstliche Bandbreitenerweiterung und/oder Störreduktion, verwendet wird.
  10. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Auswahl der steganographischen Information derart, dass die steganographische Information als digitales Wasserzeichen verwendet wird.
  11. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Übertragen der das Codewort beinhaltenden oder auf das Codewort verweisenden Signalinformation an einen Empfänger.
  12. Verfahren nach Anspruch 11, gekennzeichnet durch ein empfangsseitiges Bereitstellen einer Dateninformation mittels Decodierens des Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards.
  13. Verfahren nach Anspruch 11 oder 12, gekennzeichnet durch ein empfangsseitiges Bereitstellen der steganographischen Information mittels Berechnens der zusätzlichen Eigenschaft des Codewortes auf Basis der das Codewort bildenden Codeelemente.
  14. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Ausführen des Verfahrens in einer Mobilfunkvorrichtung.
  15. Verfahren nach einem der vorhergehenden Ansprüche, wobei dem Signal-Codierer (100) die einzubettende Information zugeführt wird.
  16. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Signal-Codierer (100) ein erstes Codeelement und ein zweites Codeelement des Codewortes ermittelt, wobei das zweite Codeelement in Abhängigkeit des ersten Codeelements und der einzubettenden Information ermittelt wird.
  17. Signal-Codierer (100) zur Einbettung einer steganographischen Information in eine Signalinformation des Signal-Codierers (100), gekennzeichnet durch
    - eine Einrichtung zum Empfangen einer Dateninformation, insbesondere einer Sprachinformation, als zu codierendes Signal (101),
    - eine Einrichtung zum Empfangen einer steganographischen Information als einzubettende Daten (102), wobei die steganografische Information aus einer Menge von steganographischen Informationen ausgewählt wird,
    - eine Einrichtung zum Erzeugen eines Codewortes aus einem bereitgestellten algebraischen Codebuch (500) im Sinne einer algebraischen Konstruktionsvorschrift mittels des Signal-Codierers (100) auf Basis von das Codewort bildenden Codeelementen, derart, dass
    • unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards die Dateninformation in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation als codiertes Signal (103) codiert wird; dass
    • das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt; und, dass
    • das Codebuch (500) im Sinne der algebraischen Konstruktionsvorschrift in eine Anzahl von Sub-Codebüchern aufgeteilt ist und dass durch den Signal-Codierer (100) jeweils nur ein zu dem durch die aktuell einzubettende steganografische Information ausgewählten Sub-Codebuch gehöriges Codewort ausgegeben wird.
  18. Signal-Codierer nach Anspruch 17, ausgebildet zur Bereitstellung des Codewortes derart, dass das Codewort die Eigenschaft implizit erfüllt.
  19. Vorrichtung nach Anspruch 18, ausgebildet zur Erzeugung des Codeworts derart, dass es die Eigenschaft, welche die steganografische Information darstellt, bereits während seiner Erzeugung erfüllt.
  20. Vorrichtung nach einem der Ansprüche 17 bis 19, wobei der Signal-Codierer (100) ausgebildet ist, ein erstes Codeelement und ein zweites Codeelement des Codewortes zu ermitteln, wobei der Signal-Codierer (100) das zweite Codeelement in Abhängigkeit des ersten Codeelements und der einzubettenden Information ermittelt.
  21. Verfahren zur empfangsseitigen Bereitstellung einer steganographischen Information, die von einem Signal-Codierer (100) in eine Signalinformation eingebettet wurde durch Erzeugen eines Codewortes aus einem bereitgestellten algebraischen Codebuch (500) im Sinne einer algebraischen Konstruktionsvorschrift mittels des Signal-Codierers (100) auf Basis von das Codewort bildenden Codeelementen, derart, dass
    • unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards eine Dateninformation als zu codierendes Signal (101) in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation als codiertes Signal (103) codiert ist; dass
    • das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt; und, dass
    • das Codebuch (500) im Sinne der algebraischen Konstruktionsvorschrift in eine Anzahl von Sub-Codebüchern aufgeteilt ist und dass durch den Signal-Codierer (100) jeweils nur ein zu dem durch die aktuell einzubettende steganografische Information ausgewählten Sub-Codebuch gehöriges Codewort ausgegeben wird;
    wobei die empfangsseitige Bereitstellung der steganografischen Information das Berechnen der zusätzlichen Eigenschaft des Codeworts auf Basis der das Codewort bildenden Codeelemente umfasst.
  22. Verfahren nach Anspruch 21, wobei empfangsseitig ein erstes Codeelement und ein zweites Codeelement des Codewortes ermittelt werden, wobei die steganografische Information in Abhängigkeit des ersten Codeelements und des zweiten Codeelements ermittelt wird.
  23. Vorrichtung (208) zur empfangsseitigen Bereitstellung einer steganographischen Information, die von einem Signal-Codierer (100) in eine Signalinformation eingebettet wurde durch Erzeugen eines Codewortes aus einem bereitgestellten algebraischen Codebuch (500) im Sinne einer algebraischen Konstruktionsvorschrift mittels des Signal-Codierers (100) auf Basis von das Codewort bildenden Codeelementen, derart, dass
    • unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards eine Dateninformation als zu codierendes Signal (101) in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation als codiertes Signal (103) codiert ist; dass
    • das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt; und, dass
    • das Codebuch (500) im Sinne der algebraischen Konstruktionsvorschrift in eine Anzahl von Sub-Codebüchern aufgeteilt ist und dass durch den Signal-Codierer (100) jeweils nur ein zu dem durch die aktuell einzubettende steganografische Information ausgewählten Sub-Codebuch gehöriges Codewort ausgegeben wird;
    wobei die Vorrichtung (208) zur empfangsseitige Bereitstellung der steganografischen Information durch Berechnen der zusätzlichen Eigenschaft des Codeworts auf Basis der das Codewort bildenden Codeelemente ausgebildet ist.
  24. Vorrichtung nach Anspruch 23, die zurempfangsseitigen Ermittlung eines ersten Codeelements und eines zweiten Codeelements des Codewortes sowie zur Ermittlung der steganografischen Information in Abhängigkeit des ersten Codeelements und des zweiten Codeelements ausgebildet ist.
EP07801969A 2006-09-15 2007-08-29 Steganographie in digitalen signal-codierern Active EP2062254B1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PL07801969T PL2062254T3 (pl) 2006-09-15 2007-08-29 Steganografia w kodowaniu sygnału cyfrowego
EP11006299A EP2385521A1 (de) 2006-09-15 2007-08-29 Steganographie in digitalen Signal-Codierern
SI200731014T SI2062254T1 (sl) 2006-09-15 2007-08-29 Steganografija v digitalnih signalnih kodirnikih
CY20121100830T CY1113155T1 (el) 2006-09-15 2012-09-12 Στενογραφια σε εγκωδικευτες ψηφιακου σηματος

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006044181 2006-09-15
DE102007007627A DE102007007627A1 (de) 2006-09-15 2007-02-16 Steganographie in digitalen Signal-Codierern
PCT/EP2007/007548 WO2008031498A1 (de) 2006-09-15 2007-08-29 Steganographie in digitalen signal-codierern

Related Child Applications (1)

Application Number Title Priority Date Filing Date
EP11006299.9 Division-Into 2011-07-29

Publications (2)

Publication Number Publication Date
EP2062254A1 EP2062254A1 (de) 2009-05-27
EP2062254B1 true EP2062254B1 (de) 2012-06-13

Family

ID=39105180

Family Applications (2)

Application Number Title Priority Date Filing Date
EP07801969A Active EP2062254B1 (de) 2006-09-15 2007-08-29 Steganographie in digitalen signal-codierern
EP11006299A Ceased EP2385521A1 (de) 2006-09-15 2007-08-29 Steganographie in digitalen Signal-Codierern

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP11006299A Ceased EP2385521A1 (de) 2006-09-15 2007-08-29 Steganographie in digitalen Signal-Codierern

Country Status (10)

Country Link
US (1) US8412519B2 (de)
EP (2) EP2062254B1 (de)
CY (1) CY1113155T1 (de)
DE (1) DE102007007627A1 (de)
DK (1) DK2062254T3 (de)
ES (1) ES2389012T3 (de)
PL (1) PL2062254T3 (de)
PT (1) PT2062254E (de)
SI (1) SI2062254T1 (de)
WO (1) WO2008031498A1 (de)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767823B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and detecting a watermarked signal
US9767822B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and decoding a watermarked signal
US8930182B2 (en) * 2011-03-17 2015-01-06 International Business Machines Corporation Voice transformation with encoded information
US9417221B2 (en) * 2013-08-27 2016-08-16 International Business Machines Corporation Food steganography
US9600793B2 (en) 2013-12-09 2017-03-21 International Business Machines Corporation Active odor cancellation
US9665828B2 (en) 2014-01-16 2017-05-30 International Business Machines Corporation Using physicochemical correlates of perceptual flavor similarity to enhance, balance and substitute flavors
CN104010193B (zh) * 2014-05-29 2017-02-22 中国科学院信息工程研究所 基于宏块划分方式扰动的视频隐写方法
CN105704489B (zh) * 2016-01-30 2019-01-04 武汉大学 一种基于宏块复杂度的自适应视频运动矢量隐写方法
CN109346091B (zh) * 2018-09-13 2021-12-14 中国科学院信息工程研究所 一种基于等长熵码字替换的压缩音频自适应隐写方法和系统
CN111462765B (zh) * 2020-04-02 2023-08-01 宁波大学 一种基于一维卷积核的自适应音频复杂度表征方法
CN112738355B (zh) * 2020-12-24 2021-10-26 华南理工大学 能抵御深度学习网络检测的非降质hevc视频隐写方法
CN117614740B (zh) * 2024-01-18 2024-04-16 华侨大学 一种基于多级矢量联合优化的ip语音隐写方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272299A (ja) * 1998-03-23 1999-10-08 Toyo Commun Equip Co Ltd 音声符号化時の透かしビットの埋込方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5636292C1 (en) * 1995-05-08 2002-06-18 Digimarc Corp Steganography methods employing embedded calibration data
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US6330672B1 (en) * 1997-12-03 2001-12-11 At&T Corp. Method and apparatus for watermarking digital bitstreams
JP3022462B2 (ja) * 1998-01-13 2000-03-21 興和株式会社 振動波の符号化方法及び復号化方法
AU6533799A (en) * 1999-01-11 2000-07-13 Lucent Technologies Inc. Method for transmitting data in wireless speech channels
US20030161469A1 (en) * 2002-02-25 2003-08-28 Szeming Cheng Method and apparatus for embedding data in compressed audio data stream
KR100520711B1 (ko) * 2002-08-14 2005-10-17 아주대학교산학협력단 벡터 양자화 기법에서 코드북 그룹화를 이용한 블라인드 이미지 워터마킹 처리 방법
US20040225500A1 (en) * 2002-09-25 2004-11-11 William Gardner Data communication through acoustic channels and compression
JP4527369B2 (ja) * 2003-07-31 2010-08-18 富士通株式会社 データ埋め込み装置及びデータ抽出装置
BRPI0415316A (pt) * 2003-10-17 2006-12-05 Koninkl Philips Electronics Nv sistema de codificação e distribuição de sinal, método para codificar um sinal, programa de computação, e, portador de gravação

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272299A (ja) * 1998-03-23 1999-10-08 Toyo Commun Equip Co Ltd 音声符号化時の透かしビットの埋込方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MUNETOSHI IWAKIRI ET AL: "Embedding a text into conjugate strusture algebraic code excited linear prediction audio codes", COMPUTER SYSTEM SYMPOSIUM, INFORMATION PROCESSING SOCIETY OF JAPAN, JP, vol. 39, no. 3, 1 September 1998 (1998-09-01), pages 2623 - 2630, XP007916951 *

Also Published As

Publication number Publication date
US8412519B2 (en) 2013-04-02
DK2062254T3 (da) 2012-08-20
PL2062254T3 (pl) 2012-11-30
PT2062254E (pt) 2012-09-19
ES2389012T3 (es) 2012-10-22
WO2008031498A1 (de) 2008-03-20
DE102007007627A1 (de) 2008-03-27
EP2385521A1 (de) 2011-11-09
SI2062254T1 (sl) 2012-10-30
EP2062254A1 (de) 2009-05-27
CY1113155T1 (el) 2016-04-13
US20110131047A1 (en) 2011-06-02

Similar Documents

Publication Publication Date Title
EP2062254B1 (de) Steganographie in digitalen signal-codierern
EP0954909B1 (de) Verfahren zum codieren eines audiosignals
DE602004003610T2 (de) Halbrätiger Vocoder
DE602004005784T2 (de) Verbesserte Anregung für Höherband-Kodierung in einem Codec basierend auf Frequenzbandtrennungs-Kodierungsverfahren
DE19604273C5 (de) Verfahren und Vorrichtung zum Durchführen einer Suche in einem Kodebuch im Hinblick auf das Kodieren eines Klangsignales, Zellkommunikationssystem, Zellnetzwerkelement und mobile Zell-Sender-/Empfänger-Einheit
DE60024123T2 (de) Lpc-harmonischer sprachkodierer mit überrahmenformat
DE602004005197T2 (de) Vorrichtung und verfahren zum kodieren eines audiosignals und vorrichtung und verfahren zum dekodieren eines kodierten audiosignals
EP1869671B1 (de) Verfahren und vorrichtung zur geräuschunterdrückung
DE69815650T2 (de) Sprachkodierer
DE69839312T2 (de) Kodierverfahren für vibrationswellen
EP1016319B1 (de) Verfahren und vorrichtung zum codieren eines zeitdiskreten stereosignals
DE112012000698B4 (de) Stimmentransformation mit codierten Informationen
WO1999004505A1 (de) Verfahren zum signalisieren einer rauschsubstitution beim codieren eines audiosignals
DE102006051673A1 (de) Vorrichtung und Verfahren zum Nachbearbeiten von Spektralwerten und Encodierer und Decodierer für Audiosignale
DE102004009954A1 (de) Vorrichtung und Verfahren zum Verarbeiten eines Multikanalsignals
EP1397799B1 (de) Verfahren und vorrichtung zum verarbeiten von zeitdiskreten audio-abtastwerten
DE60303346T2 (de) Encodier- und/oder Decodierverfahren für digitale Audiosignale, basierend auf Zeit-Frequenzkorrelation und Vorrichtung hierzu
EP1080464A1 (de) Verfahren und anordnung zur sprachcodierung
DE60016305T2 (de) Verfahren zum Betrieb eines Sprachkodierers
DE10138650A1 (de) Verfahren und Vorrichtung zum Verschlüsseln eines diskreten Signals sowie Verfahren und Vorrichtung zur Entschlüsselung
DE19906512C2 (de) Verfahren zum unbemerkten Übertragen und/oder Speichern von Zusatzinformationen innerhalb eines Signals, insbesondere Audiosignals
EP1390946A1 (de) Verfahren zur schätzung eines codecparameters
EP1834322B1 (de) Verfahren zum codieren eines analogen signals
AT509439B1 (de) Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens
EP1030290A2 (de) Verfahren zum unbemerkten übertragen und/oder Speichern von Zusatzinformationen innerhalb eines Signals, insbesondere Audiosignals

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090317

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

17Q First examination report despatched

Effective date: 20090729

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: H04K 1/00 20060101ALI20111005BHEP

Ipc: G10L 19/12 20060101ALI20111005BHEP

Ipc: G10L 19/00 20060101AFI20111005BHEP

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ERICSSON AB

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: TELEFONAKTIEBOLAGET L M ERICSSON (PUBL)

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 562303

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120615

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502007010060

Country of ref document: DE

Effective date: 20120809

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: ISLER & PEDRAZZINI AG

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: RO

Ref legal event code: EPE

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: PT

Ref legal event code: SC4A

Free format text: AVAILABILITY OF NATIONAL TRANSLATION

Effective date: 20120913

REG Reference to a national code

Ref country code: NL

Ref legal event code: T3

REG Reference to a national code

Ref country code: EE

Ref legal event code: FG4A

Ref document number: E007020

Country of ref document: EE

Effective date: 20120801

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2389012

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20121022

REG Reference to a national code

Ref country code: GR

Ref legal event code: EP

Ref document number: 20120401790

Country of ref document: GR

Effective date: 20120920

REG Reference to a national code

Ref country code: PL

Ref legal event code: T3

REG Reference to a national code

Ref country code: SK

Ref legal event code: T3

Ref document number: E 12437

Country of ref document: SK

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20130314

REG Reference to a national code

Ref country code: HU

Ref legal event code: AG4A

Ref document number: E015359

Country of ref document: HU

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502007010060

Country of ref document: DE

Effective date: 20130314

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: EE

Payment date: 20180802

Year of fee payment: 12

Ref country code: LT

Payment date: 20180731

Year of fee payment: 12

Ref country code: MC

Payment date: 20180802

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20180730

Year of fee payment: 12

Ref country code: BG

Payment date: 20180823

Year of fee payment: 12

Ref country code: BE

Payment date: 20180827

Year of fee payment: 12

Ref country code: SK

Payment date: 20180731

Year of fee payment: 12

Ref country code: AT

Payment date: 20180801

Year of fee payment: 12

Ref country code: GR

Payment date: 20180829

Year of fee payment: 12

Ref country code: LV

Payment date: 20180801

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PT

Payment date: 20180802

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: MT

Payment date: 20180806

Year of fee payment: 12

Ref country code: CY

Payment date: 20180807

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20190828

Year of fee payment: 13

Ref country code: IE

Payment date: 20190827

Year of fee payment: 13

Ref country code: TR

Payment date: 20190806

Year of fee payment: 13

Ref country code: IT

Payment date: 20190826

Year of fee payment: 13

Ref country code: SE

Payment date: 20190828

Year of fee payment: 13

Ref country code: ES

Payment date: 20190902

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20190805

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20190903

Year of fee payment: 13

REG Reference to a national code

Ref country code: EE

Ref legal event code: MM4A

Ref document number: E007020

Country of ref document: EE

Effective date: 20190831

REG Reference to a national code

Ref country code: FI

Ref legal event code: MAE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MM4D

Effective date: 20190829

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 562303

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: FI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: LV

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: EE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190831

Ref country code: GR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200305

Ref country code: PT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200302

Ref country code: HU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190830

Ref country code: BG

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200229

Ref country code: LT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

REG Reference to a national code

Ref country code: SK

Ref legal event code: MM4A

Ref document number: E 12437

Country of ref document: SK

Effective date: 20190829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: SK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: CY

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190829

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190902

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190830

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190831

REG Reference to a national code

Ref country code: SI

Ref legal event code: KO00

Effective date: 20200723

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20200825

Year of fee payment: 14

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20200831

REG Reference to a national code

Ref country code: SE

Ref legal event code: EUG

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200830

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190901

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200829

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20220110

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200830

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200829

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20220826

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20220829

Year of fee payment: 16

Ref country code: DE

Payment date: 20220629

Year of fee payment: 16

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502007010060

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MM

Effective date: 20230901