EP2062254B1 - Steganographie in digitalen signal-codierern - Google Patents
Steganographie in digitalen signal-codierern Download PDFInfo
- Publication number
- EP2062254B1 EP2062254B1 EP07801969A EP07801969A EP2062254B1 EP 2062254 B1 EP2062254 B1 EP 2062254B1 EP 07801969 A EP07801969 A EP 07801969A EP 07801969 A EP07801969 A EP 07801969A EP 2062254 B1 EP2062254 B1 EP 2062254B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- code
- information
- code word
- signal
- steganographic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000005540 biological transmission Effects 0.000 claims abstract description 30
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 8
- 239000013598 vector Substances 0.000 description 9
- 238000000354 decomposition reaction Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 5
- 241001136792 Alle Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000002730 additional effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 210000001550 testis Anatomy 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04K—SECRET COMMUNICATION; JAMMING OF COMMUNICATION
- H04K1/00—Secret communication
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0007—Codebook element generation
Definitions
- the invention is directed to a method for embedding a steganographic information in a signal information of a signal encoder.
- digital transmission is becoming increasingly important. Among other things, this is due to the fact that digital signal information is processed more easily, i. can be copied or compressed.
- the compression of digital signal information means that information can be transmitted by means of signal transmission channels with limited data transmission rates with high information density.
- the voice information to be transmitted by means of the well-known CELP (Code-book Excited Linear Predictive Coding) or ACELP (Algebraic Code Excited Linear Prediction) or in the future the AMR (Adaptive Multi-Rate) coding coded.
- CELP Code-book Excited Linear Predictive Coding
- ACELP Algebraic Code Excited Linear Prediction
- AMR Adaptive Multi-Rate
- a signal coder such as a CELP coder, an ACELP coder or an AMR coder, generates a codebook entry, typically a vector of a so-called codebook, with the codebook entry code elements - ie usually the vector components - information regarding the (filter) excitation included. Filter coefficients, gain factors, etc. are encoded as time information by means of dedicated codebooks.
- a codebook for excitation coding usually consists of a set of vectors, for example each with 10 components in the ACELP encoding according to the Enhanced Full Rate (EFR) standard, which encode the speech information to be transmitted for a certain length, for example 5 milliseconds.
- EFR Enhanced Full Rate
- This speech information can be decoded on the receiver side, wherein the actual decoder can also recognize at the same time from which decomposition of the codebook the codebook entry originates.
- the publication also describes the known analysis-by-synthesis method.
- the selected codeword is evaluated, ie the quality of the coding is checked. This is essentially achieved by decoding, ie synthesizing, the coding after speech information has been coded, and comparing the result of the decoding, which in turn represents speech information, with the original speech information.
- a synthesis is performed in advance on the transmitter side - encoder side - which, after any transmission, is also performed on the receiver side decoder side.
- a codeword that is to say generally a vector from a codebook, which firstly has the desired property, ie originating from the correspondingly decomposed subcodebook, and thereby the speech information coded with sufficient quality.
- the invention is therefore based on the object to provide a solution that makes it possible to embed a steganographic information in a signal information of a signal encoder such that a reduction in voice quality is largely avoided.
- the object is achieved by providing a data information, in particular a speech information, selecting a steganographic information from a set of steganographic information, generating a codeword from a provided codebook by means of a signal coder based on the codeword forming code elements, such that using the generated codeword in the context of a the codebook associable transmission standards, the data information is encoded in a codeword-containing and / or referring to the codeword signal information; and that the generated codeword has an additional property computable on the basis of the codewords forming the codeword, the additional property representing the steganographic information.
- Such a method for embedding steganographic information in signal information of a signal coder in which a codeword is generated from a provided codebook by means of the signal coder on the basis of codeword-forming code elements makes it possible to provide a codeword having a calculable property on the one hand, ie represents a steganographic information, and on the other hand at the same time provides signal information which for a data information, in particular a voice information, encoded.
- codewords not in the practical codebook and / or the decompositions of the practical code may be considered book were available. This significantly expands the number of code elements that can be accessed so that either decomposition in more sub-codebooks compared to the prior art or with an equal number of sub-codebooks provides improved speech quality over the prior art can.
- an evaluation of the generated codeword is carried out in the context of a transmission standard associable with the provided codebook by decoding the codeword and then comparing the decoded data information with the original data information.
- the code word is generated from the provided codebook by means of the signal coder on the basis of the codeword-forming code elements, taking into account the evaluation.
- the use of a based on the GSM (Global System for Mobile Communications) - and / or UMTS (Universal Mobile Telecommunications Standard) transmission standards based coder and codebook is provided.
- GSM Global System for Mobile Communications
- UMTS Universal Mobile Telecommunications Standard
- the generation of a codeword on the basis of the ACELP (Algebraic Code Exited Linear Prediction) - and / or the AMR encoding is provided.
- ACELP coding allows the use of the method according to the invention in many fields of technology, in particular mobile telecommunications. This also applies to the future by analogy for the AMR coding.
- the calculation of the property of the code word is performed as a result of applying at least one operation to at least one of the code elements forming the code word.
- the provision of the code word is carried out such that the code word implicitly satisfies the property.
- the selection of the steganographic information is carried out in such a way that the steganographic information is used for signal improvement, in particular for voice transmission, such as artificial bandwidth expansion and / or noise reduction.
- the additional transferable steganographic information can be used, for example, to describe a property of the data information actually to be transmitted, so that the steganographic information can be used for signal enhancement.
- the code word coding for the data information is generated by the method according to the invention - the marginal loss in the transmission quality can not only be compensated by the steganographic additional information, but can even be overcompensated.
- the selection of steganographic information is performed such that the steganographic information is used as a digital watermark.
- the steganographic information When using the steganographic information as a digital watermark not only the originality and the origin of data information can be marked, but also copyright to data information can be introduced using the steganographic information in the form of a digital watermark.
- the data information is qualitatively hardly impaired in the context of the method according to the invention.
- a transmission of the codeword-containing or referring to the codeword signal information is performed to a receiver.
- provision of data information by means of decoding of the codeword is carried out in the context of a transmission standard associable with the provided codebook.
- the data information included in the signal information as well as the steganographic information can be recovered and used.
- the steganographic information is provided on the receiving side by means of calculating the additional property of the codeword on the basis of the code elements forming the codeword.
- the receiver it is possible to calculate the steganographic information contained in the signal information. This possibility can optionally be used, ie systems which are not able to recalculate the steganographic information will only extract the data information from the signal information without getting to the steganographic information.
- the method is also carried out in a mobile radio device.
- the method is particularly suitable for signal information transmission, i. Voice or other information, by means of mobile devices, which are operable in a mobile network.
- Fig. 1 shows an encoder 100 according to an embodiment of the invention.
- the coder 100 is supplied with a signal 101 to be coded, for example a speech signal 100.
- data 100 to be embedded is supplied to the encoder 100.
- the coder generates a coded signal 103 from the signal 101 to be coded, into which the data 102 to be embedded is embedded, that is, from which a corresponding decoder can determine the data 102 to be embedded.
- the coded signal 103 is transmitted, for example, to a receiver, for example by means of a computer network or by means of a radio network.
- the encoder 100 is used in a GSM (Global System for Mobile Communications) mobile radio network.
- the encoder can also be used within the framework of a mobile radio network in accordance with UMTS (Universal Mobile Telecommunications Standard), CDMA2000 (CDMA: Code Division Multiple Access) or according to FOMA (Freedom of Mobile Access).
- UMTS Universal Mobile Telecommunications Standard
- CDMA2000 CDMA: Code Division Multiple Access
- FOMA Freedom of Mobile Access
- the signal 101 to be encoded is a speech signal outputted from the encoder 100 according to an ACELP (Algebraic Code Excited Linear Prediction) speech compression method.
- ACELP Algebraic Code Excited Linear Prediction
- ACCELP Enhanced Full Rate
- the encoder 100 uses a codebook defined as follows:
- the codebook C used in this embodiment is the codebook of the GSM EFR (Enhanced Full Rate) codec and is given by the vectors c of the ACELP pulse positions (unsigned in this embodiment) for each 5ms subframe:
- a codeword c from the codebook (ie, the set of all possible codewords) C is thus a ten component vector, with each component describing a position of a pulse within a subframe.
- the components of the vectors c are signed.
- the use of signed components allows for improved information embedding.
- EFR dispenses with the use of signed components for complexity reasons.
- the codebook C is in one embodiment decomposed into two sub-codebooks C (1) and C (2) so that one bit of the data to be embedded 102 can be embedded per codeword in the coded signal 103 and accordingly one bit of the data 102 to be embedded per Subframe is transmitted, which corresponds to a sub-frame duration of 5ms a data rate of 200bit / s.
- the codewords of the sub-codebooks differ in that the sum of the components c i of a codeword is even from the one sub-codebook and odd from the other sub-codebook.
- a codeword from C (1) is used for coding (the current signal values of the signal to be coded 101), and a second message ( in this example consisting of one bit, for example bit value 1), a codeword from C (1) is used for coding.
- a receiver or decoder may determine whether the first message or the second message has been embedded based on the membership of a received codeword to C (1) or C (2).
- four bits are embedded per subframe, thereby achieving a data rate of 400bit / s.
- the expression trunc (c i / 5) may also be used Pulse position clearly indicated within a so-called track.
- the respective graycoded version GRAY (c i ) or GRAY (trunc (c i / 5)) may be used as intended for channel coding in EFR.
- the summation is carried out modulo 2, so that it is required that the sum modulo 2 of several codeword bits b j is equal to the message bit m i to be embedded.
- the above-described procedure for embedding information can also be used in other coders, for example in all CELP speech coders but also in other signal coders such as video coders, image coders, etc.
- the transmission of page information (embedded information) by means of steganography can also improve the signal
- a receiver without knowledge of the embedded information can use the (speech) signal in which the information was embedded as usual, that is, as in the case of no embedding of information with only a small amount of information Decode losses. If the recipient knows the embedded information, the page information can be used to improve the signal.
- a corresponding embodiment will be described below with reference to Fig.2 described.
- Fig.2 shows an encoder / decoder system 200 according to another embodiment of the invention.
- the encoding / decoding system 200 includes an encoder 201 as described with reference to FIG Fig. 1 described on. Accordingly, a signal 202 to be encoded and data 203 to be embedded are supplied to the encoder 201. The data to be embedded are used for signal enhancement and are accordingly generated in a signal-enhancement-encoding signal 202 by a signal analyzer 204 to which the signal 202 to be coded is supplied.
- the encoder 201 outputs a coded signal 205 into which the data 203 to be embedded is embedded.
- the coded signal 205 can now be transmitted to a receiver, for example, as described above, by means of a mobile radio communication network.
- the receiver has a "conventional" decoder 206, that is, a decoder that can not detect the embedded data from the encoded signal 205, the decoder 206 decodes only the encoded signal 205 to a decoded signal 207 which (except for transmission errors and coding / decoding losses) corresponds to the signal 202 to be coded.
- a "conventional" decoder 206 that is, a decoder that can not detect the embedded data from the encoded signal 205
- the decoder 206 decodes only the encoded signal 205 to a decoded signal 207 which (except for transmission errors and coding / decoding losses) corresponds to the signal 202 to be coded.
- the receiver has an "extended" decoder 208, that is, a decoder capable of detecting the embedded data from the encoded signal 205, then the embedded data is extracted and the extracted data 209 is used by a signal enhancement unit 210 which decodes a signal and (compared to the decoded signal 207) improved signal 211 generated.
- extended decoder 208 that is, a decoder capable of detecting the embedded data from the encoded signal 205
- the embedded data is extracted and the extracted data 209 is used by a signal enhancement unit 210 which decodes a signal and (compared to the decoded signal 207) improved signal 211 generated.
- the coefficients of a postfilter determined by the transmitter can also be transmitted by steganography.
- the application of artificial bandwidth expansion is advantageous because the telephone network is historically limited to an acoustic bandwidth of 3.1kHz (300Hz-3.4kHz), a transmission of broadband (50Hz-7kHz) but only with enormous effort on the part of the network operators and the terminal manufacturers would be accomplished. Changes in the (mobile) transmission network, however, are not required to implement the embodiments described above.
- Corresponding (powerful) bandwidth expansion algorithms are disclosed, for example, in the publication of Peter Jax, Bernd Geiser, Stefan Schandl, Hervé Taddei, and Peter Vary, "An Embedded Scalable Wideband Codec Based on the GSM EFR Codec," described in Proceedings of ICASSP, Toulouse, May 2006 s.
- c6_offset 5 * ((c1 + b + 1) mod 2)
- other combinations of already determined pulse positions and embedded bis can also be used.
- the search space for the pulse position c 6 was divided into two equal parts (odd / even values). Further divisions (for example, first / second half of the value) are also possible, with the equation for c6_offset being adapted accordingly.
- the idea underlying an embodiment can be seen in that the information embedding is known to the signal encoder, which is achieved by a common data embedding and signal coding, that is, for example, the watermark embedding is integrated into the encoder. This can be done within an analysis-by-synthesis loop ("closed-loop") as described in Figure 3 is shown.
- Figure 3 shows an encoder 300 according to another embodiment of the invention.
- the encoder is supplied with a signal to be encoded and data 302 to be embedded.
- An encoded signal 303 is generated from the signal 301 to be encoded by means of a loop comprising a codebook 304, a synthesizer 305 and a comparator 306.
- a possible coding of the signal 301 to be coded is generated by the codebook 304 and it is checked by means of the synthesizer 305 and the comparator 306 how well it reflects the signal 301 to be coded and, if appropriate, modified based on the output of the comparator 306.
- the data to be embedded 302 are embedded in the encoded signal 303 during the encoding process, for example according to one of the procedures described above.
- a sub-codebook of the codebook 304 is selected as shown in FIG Figure 4 is shown.
- Figure 4 shows an encoder 400 according to another embodiment of the invention.
- the encoder 300 to be embedded is supplied with data 402 to be embedded in the encoder and a signal 401 to be encoded, and generates a coded signal 403 in which the data 402 to be embedded is embedded.
- the encoder 400 has a plurality of sub-codebooks 404, a codebook divided into a plurality of sub-codebooks 404. Based on the data to be embedded, the sub-codebooks are selected in coding the signal 401 to be coded.
- a data word of the signal to be coded 401 is input Codeword assigned from a first sub-codebook, when a first page information from the data to be embedded 402, for example a bit with the value 0, to be embedded and it is assigned a codeword from a second sub-codebook, if a second page information from the Trobettenden Data 402, for example a bit with the value 1, should be embedded.
- Fig. 5 shows a codebook 500 according to another embodiment of the invention.
- the codebook 500 is labeled C. For efficiency reasons, if the codeword extent of the codebook 500 is very large, the codebook 500 is only partially searched during coding, i. Codewords for coding are selected only from a codebook subset 501 denoted C '(practical codebook).
- the codebook 500 for data embedding is decomposed into codebooks as explained above, for example, four subcodebooks 502 designated C (1) to C (4).
- a sub-codebook 502 Since a sub-codebook 502 has a smaller codeword extent than the codebook subset 501, and thus the quality of the signal coding (depending on the number of subcodebooks 502) would decrease from using the entire codebook subset 501, in one embodiment Code extent of the sub-codebooks 502 extended, so that a total of an extended codebook subset 503 is used for coding.
- the algorithmic complexity increases only slightly, the quality of the coding does not decrease and in special cases even an increase in quality can be achieved.
- an algebraic codebook is used.
- an algebraic codebook exists only in the sense of an algebraic design rule. This means that the individual codebook entries (codewords) are generated during the signal coding by a codeword generator.
- the "binning scheme" for information embedding that is, the decomposition of the codebook in sub-codebooks and selection of the sub-codebook used for coding depending on the information to be embedded, in an encoder with algebraic codebook now no longer consists only in the division of the codebook in a number of sub-codebooks, but moreover in the modification of the codeword generator in that only codewords associated with the sub-codebook C (i) selected by the currently-to-be-embedded message i are output.
Abstract
Description
- Die Erfindung richtet sich auf ein Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signal-Codierers.
- Neben den analogen Ton-, Bild- und Videoübertragungen gewinnt die digitale Übertragung immer mehr Gewicht. Dies liegt unter anderem auch daran, dass digitale Signalinformationen einfacher bearbeitet, d.h. kopiert oder auch komprimiert werden können. So führt insbesondere die Komprimierung von digitalen Signalinformationen dazu, dass mittels Signalübertragungskanälen mit begrenzten Datenübertragungsraten mit hoher Informationsdichte Informationen übertragen werden können.
- Neben der Komprimierung von Signalinformationen als eine Art der Bearbeitung hat sich in jüngster Zeit auch das Einbetten von "unsichtbaren" - steganographischen - Informationen in Signalinformationen durchgesetzt. Eine solche Einbettung von Zusatzinformationen ermöglicht beispielsweise eine Kennzeichnung von Urheberrechten - wenn es sich bei der Signalinformation beispielsweise um ein Musikstück handelt - oder allgemein gesprochen um eine allgemeine Herkunftsangabe, also ein "digitales Wasserzeichen".
- Auch wenn sich eine derartige Einbettung von steganographischen Informationen in Musik- und/oder Videosignalen bereits weitgehend durchgesetzt hat, so ist eine Einbettung von steganographischen Informationen in eine codierte Signalinformation, insbesondere wenn sie in "Echtzeit" zu übertragen ist, weiterhin mit Schwierigkeiten verbunden. Dies ist in der Tatsache begründet, dass gewisse Codierungen keine Redundanz und damit keinen Raum für steganographische Informationen bieten, oder dass die steganographische Information beim Decodieren der codierten Signalinformation verloren geht.
- Eine derartige Ausgangssituation, bei der Signalinformationen, im gegebenen Fall vornehmlich Sprachinformationen, über einen Kanal gesendet und empfangen werden, und in Echtzeit codiert und decodiert werden, und bei der nicht unbeschränkt Übertragungsressourcen zur Verfügung stehen, findet man beispielsweise in der Mobilfunktelefonie. Hier erlaubt das GSM-Netz bestenfalls eine Übertragungsrate von maximal 13,0 kbit/s. Eine uncodierte Sprachinformation, d.h. hier eine nicht komprimierte Sprachinformation, wäre aufgrund der sehr geringen Übertragungsrate auf Empfängerseite kaum mehr zu verstehen. Um trotzdem verständliche Sprachinformationen beispielsweise von einem Mobilfunkgerät auf ein anderes zu übertragen, haben sich die sogenannten Sprach-Codecs als ein probates Mittel zur komprimierten Sprachsignalübertragung herauskristallisiert. Sollen zusätzliche Informationen, d.h. steganographische Informationen, in eine solche Signalinformation eingebettet werden, so sind die sich aus der Codierung ergebenden Besonderheiten zu berücksichtigen.
- Im Bereich der mobilen Telekommunikation werden beispielsweise in GSM (Global System for Mobile Communications) - Mobilfunknetzwerken oder UMTS (Universal Mobile Telecommunications Standard) - Mobilfunknetzwerken die zu übertragenden Sprachinformationen mittels des bekannten CELP (Code-book Excited Linear Predictive Coding) bzw. ACELP (Algebraic Code Excited Linear Prediction) oder zukünftig der AMR (Adaptive Multi-Rate) - Codierung codiert. Diese Sprachcodierungen basieren allesamt auf einem Modell der Spracherzeugung, bei dem in einer ersten Nährung die Bildung des Sprachsignals in einer Anregungsstufe und einer Filterungsstufe erzeugt wird.
- Ein Signalcodierer, wie beispielsweise ein CELP-Codierer, ein ACELP-Codierer oder ein AMR-Codierer, erzeugt einen Codebucheintrag, in der Regel einen Vektor aus einem sogenannten Codebuch, wobei die Codeelemente des Codebucheintrages - also in der Regel die Vektorkomponenten - Informationen bezüglich der (Filter-)Anregung enthalten. Filterkoeffizienten, Verstärkungsfaktoren etc. werden als Zeitinformation mittels dedizierter Codebücher codiert.
- Ein Codebuch zur Anregungscodierung besteht in der Regel aus einer Menge von Vektoren, beispielsweise mit jeweils 10 Komponenten bei der ACELP-Codierung nach den Enhanced Full Rate (EFR) Standard, die die zu übermittelnde Sprachinformation für eine bestimmte Länge, beispielsweise 5 Millisekunden, codieren. Aus dem fest vorgegebenen Codebuch, welches insgesamt eine große Vielzahl von Vektoren umfasst, wobei die Vektoren nach bekannten Kriterien aufgebaut sind, wird in der Regel eine Teilmenge des Codebuches, ein Sub-Codebuch, verwendet, die oftmals ausreichend ist, um die gewöhnlichen Sprachinformationen mit einer guten Qualität übertragen zu können.
- Zur Unterscheidung zwischen dem im Rahmen der Codierung vorgegebenen vollständigen Codebuch, wird das in der Praxis verwendete Sub-Codebuch als "praktisches Codebuch" bezeichnet.
- Zum schnellen Auffinden eines geeigneten Codebucheintrages wird das praktische Codebuch nur heuristisch durchsucht, d.h. es wird keine vollständige Suche nach einem geeigneten Codebucheintrag durchgeführt.
- Ein Verfahren, welches die Zerlegung eines festen Codebuches berücksichtigt, wird in dem Artikel "Watermarking Combined with CELP Speech Coding for Authentication" von Zhe-Ming Lu et al. (in IEICE TRANS. INF. & SYST., Vol. E88-D, No. 2 February 2005) offenbart. Dabei wird zunächst ein Codebuch in drei Sub-Codebücher zerlegt, aus denen wiederum zwei Codebücher generiert werden, welche unterschiedliche Eigenschaften aufweisen. Je nachdem, welche steganographische Information übermittelt werden soll, wird nun ein Codebucheintrag aus dem dafür bestimmten Sub-Codebuch ausgewählt und zur Codierung der zu übermittelnden Sprachinformation verwendet. Diese Sprachinformation kann auf Empfängerseite decodiert werden, wobei der eigentliche Decodierer auch gleichzeitig erkennen kann, aus welcher Zerlegung des Codebuches der Codebucheintrag stammt. Um eine hinreichend gute Codierung aus einem der Sub-Codebücher bereitzustellen, wird in der Veröffentlichung auch das bekannte Analysis-by-Synthesis Verfahren beschrieben. Bei diesem Verfahren wird das ausgewählte Codewort bewertet, d.h. die Güte der Codierung wird überprüft. Dies gescheht im Wesentlichen dadurch, dass, nachdem eine Sprachinformation codiert wurde, die Codierung decodiert, d.h. synthetisiert, wird und das Ergebnis der Decodierung, welches wiederum eine Sprachinformation darstellt, mit der ursprünglichen Sprachinformation verglichen wird. Somit wird vorab auf Senderseite - Codiererseite - eine Synthese durchgeführt, die, nach einer etwaigen Übertragung, ebenfalls auf Empfängerseite -Decodiererseite - durchgeführt wird. Mit einer solchen Analysis-by-Synthesis Schleife ist es möglich, ein Codewort, d.h. in der Regel einen Vektor aus einem Codebuch, aufzufinden, welches zum einen die gewünschte Eigenschaft, d.h. aus dem entsprechend zerlegten Sub-Codebuch stammend, aufweist und dabei die Sprachinformation mit einer ausreichenden Qualität codiert.
- Es zeigt sich jedoch, dass die feste Aufteilung eines praktischen Codebuchs - welches ja ohnehin schon eine Untermenge eines übergeordneten Codebuchs ist - in mehrere Sub-Codebücher die Anzahl der verwendbaren Codeworte pro Sub-Codebuch derart reduziert, dass eine hörbare Reduktion der Sprachqualität nicht ausgeschlossen ist.
- In dem Dokument
JP 11 272299 A - Aus Nicolas Chetry and Mike Davies "Embedding side information into a speech codec residual" European Signal Processing Conference, 4 September 2006 (2006-09-04), 8 September 2006, Florence, Italy, ist ein Verfahren bekannt, um Seiteninformationen im Rahmen einer Sprachkodierung einzubetten. In diesem Zusammenhang wird das Codebuch eines Quantisierers in zwei Sub-Codebücher unterteilt, wobei einem der beiden Codebücher eine logische "1" und dem anderen eine logische "0" zugeordnet ist. Durch Auswahl eines der beiden Sub-Codebücher lässt sich daher wahlweise eine logische "1" oder eine logische "0" als Seiteninformation im Rahmen der Sprachkodierung einbetten.
- Der Erfindung liegt daher die Aufgabe zugrunde, eine Lösung zu schaffen, die es ermöglicht, eine steganographische Information in eine Signalinformation eines Signalcodierers derart einzubetten, dass eine Reduktion der Sprachqualität weitestgehend vermieden wird.
- Diese Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1 sowie einen Signal-Codierer gemäß Anspruch 17. Empfangsseitig wird diese Aufgabe gelöst durch eine Verfahren gemäß Anspruch 21 sowie eine Vorrichtung gemäß Anspruch 23. Die Unteransprüche betreffen vorteilhafte Ausgestaltungen und Weiterbildungen der Verfahren bzw. der Vorrichtungen.
- Bei einem Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signal-Codierers wird die Aufgabe erfindungsgemäß gelöst durch Bereitstellen einer Dateninformation, insbesondere einer Sprachinformation, Auswählen einer steganographischen Information aus einer Menge von steganographischen Informationen, Erzeugen eines Codewortes aus einem bereitgestellten Codebuch mittels eines Signal-Codierers auf Basis von das Codewort bildenden Codeelementen, derart, dass unter Verwendung des erzeugten Codewortes im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards die Dateninformation in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation codiert wird; und, dass das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt.
- Ein solches Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signalcodierers, bei dem ein Codewort aus einem bereitgestellten Codebuch mittels des Signalcodierers auf Basis von das Codewort bildenden Codeelementen erzeugt wird, ermöglicht es, ein Codewort bereitzustellen, welches zum einen eine berechenbare Eigenschaft aufweist, d.h. eine steganographische Information darstellt, und zum anderen gleichzeitig eine Signalinformation bereitstellt, welche für eine Dateninformation, insbesondere eine Sprachinformation, codiert. Dadurch, dass nicht von vorneherein eine Zerlegung des Codebuches durchgeführt wird, sondern statt dessen ein Codebucheintrag erzeugt wird, und zwar auf Basis der das Codewort bildenden Codeelemente, können Codeworte berücksichtigt werden, die nicht in dem praktischen Codebuch und/oder den Zerlegungen des praktischen Code buches vorhanden waren. Dies erweitert die Anzahl der Codeelemente auf die zurückgegriffen werden kann erheblich, so dass entweder eine Zerlegung in mehr Sub-Codebüchern im Vergleich zum Stand der Technik oder aber bei einer gleichen Anzahl von Sub-Codebüchern eine verbesserte Sprachqualität im Vergleich zum Stand der Technik bereitgestellt werden kann.
- Bevorzugt wird in einer Ausgestaltung der Erfindung eine Bewertung des erzeugten Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards mittels Decodierens des Codewortes und anschließenden Vergleichens der decodierten Dateninformation mit der ursprünglichen Dateninformation durchgeführt.
- Dies hat den Vorteil, dass die Qualität des erzeugten Codewortes bezüglich der Codierungs-Decodierungstreue, d.h. dem Verlust der (Sprach-)Qualität aufgrund der Codierung und Decodierung, bewertet werden kann.
- Weiterhin bevorzugt wird in Ausgestaltung des erfindungsgemä-βen Verfahrens das Erzeugen des Codewortes aus dem bereitgestellten Codebuch mittels des Signal-Codierers auf Basis der das Codewort bildenden Codeelemente unter Berücksichtigung der Bewertung durchgeführt.
- Die Berücksichtigung der Bewertung bei der Erzeugung des Codewortes aus dem bereitgestellten Codebuch ermöglicht das Erzeugen von Codeworten, welche eine hohe Sprachqualität bezüglich der zu codierenden Information aufweisen.
- In einer Ausgestaltung der Erfindung wird die Verwendung eines auf Basis des GSM (Global System for Mobile Communications)- und/oder des UMTS (Universal Mobile Telecommunications Standard)-Übertragungsstandards basierenden Codierers und Codebuches vorgesehen.
- Dies hat den Vorteil, dass das Verfahren zur Einbettung einer steganographischen Information auch in Mobilfunknetzen verwendet werden kann.
- Zur weiteren Ausgestaltung der Erfindung ist das Erzeugen eines Codewortes auf Basis der ACELP (Algebraic Code Exited Linear Prediction)- und /oder der AMR-Codierung vorgesehen.
- Die hohe Verbreitung der ACELP Codierung ermöglicht die Verwendung des erfindungsgemäßen Verfahrens in vielen Bereichen der Technik, insbesondere der mobilen Telekommunikation. Dies gilt zukunftsweisend analog auch für die AMR-Codierung.
- Weiterhin wird in einer Ausgestaltung die Berechnung der Eigenschaft des Codewortes als Ergebnis einer Anwendung mindestens einer Operation auf mindestens eines der das Codewort bildenden Codeelemente durchgeführt.
- So ist es möglich, auf Basis der das Codewort bildenden Codeelemente unter Anwendung mindestens einer, vorzugsweise mathematischen, Operation eine Eigenschaft des Codewortes zu bestimmen, welche die steganographische Information darstellt.
- Weiterhin wird in Ausgestaltung des erfindungsgemäßen Verfahrens die Bereitstellung des Codewortes derart ausgeführt, dass das Codewort die Eigenschaft implizit erfüllt.
- Dies hat den Vorteil, dass ein Codewort derartig erzeugt werden kann, dass es die Eigenschaft, welche die steganographische Information darstellt, bereits während seiner Erzeugung erfüllt.
- Weiterhin wird in einer Ausgestaltung des erfindungsgemäßen Verfahrens die Auswahl der steganographischen Information derart durchgeführt, dass die steganographische Information zur Signalverbesserung, insbesondere bei Sprachübertragung, wie eine künstliche Bandbreitenerweiterung und/oder Störreduktion, verwendet wird.
- Es wurde festgestellt, dass die zusätzliche übertragbare steganographische Information genutzt werden kann, um beispielsweise eine Eigenschaft der eigentlich zu übertragenden Dateninformation zu beschreiben, so dass die steganographische Information zur Signalverbesserung benutzt werden kann. Das bedeutet, dass - sofern das für die Dateninformation codierende Codewort nach dem erfindungsgemäßen Verfahren erzeugt wird - der marginale Verlust in der Übertragungsqualität durch die steganographische Zusatzinformation nicht nur kompensiert, sondern sogar überkompensiert werden kann.
- Weiterhin wird in einer Ausgestaltung die Auswahl der steganographischen Information derart durchgeführt, dass die steganographische Information als digitales Wasserzeichen verwendet wird.
- Bei der Verwendung der steganographischen Information als digitales Wasserzeichen können nicht nur die Originalität und die Herkunft von Dateninformationen gekennzeichnet werden, vielmehr können auch Urheberrechte an Dateninformationen mit Hilfe der steganographischen Information in Form eines digitalen Wasserzeichens eingebracht werden. Dabei wird die Dateninformation im Rahmen des erfindungsgemäßen Verfahrens qualitativ kaum beeinträchtigt.
- In weiterer Ausgestaltung der Erfindung wird ein Übertragen der das Codewort beinhaltenden oder auf das Codewort verweisenden Signalinformationen an einen Empfänger durchgeführt.
- Vorteilhafterweise ist es durch ein Übertragen an einen Empfänger möglich, die Dateninformation und die steganographische Information in Form einer Signalinformation über eine räumliche Distanz zu übertragen.
- Weiterhin wird in einer Ausgestaltung des erfindungsgemäßen Verfahrens ein empfangsseitiges Bereitstellen einer Dateninformation mittels Decodierens des Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards durchgeführt.
- Durch die Decodierung des Codewortes können die in der Signalinformation beinhalteten Dateninformationen sowie die steganographische Information zurückgewonnen und verwendet werden.
- Weiterhin bevorzugt wird in Ausgestaltung des erfindungsgemä-βen Verfahrens ein empfangsseitiges Bereitstellen der steganographischen Information mittels Berechnens der zusätzlichen Eigenschaft des Codewortes auf Basis der das Codewort bildenden Codeelemente durchgeführt.
- Je nach Ausgestaltung des Empfängers ist es möglich, die steganographische Information, welche sich in der Signalinformation beinhaltet, zu berechnen. Diese Möglichkeit kann optional genutzt werden, d.h. Systeme, welche nicht in der Lage sind, die steganographische Information zurück zu berechnen, werden lediglich die Dateninformation aus der Signalinformation extrahieren, ohne an die steganographische Information zu gelangen.
- Schließlich wird in einer Ausgestaltung des Verfahrens weiterhin ein Ausführen des Verfahrens in einer Mobilfunkvorrichtung ausgeführt.
- Das Verfahren eignet sich insbesondere für die Signalinformationsübertragung, d.h. Sprach- oder sonstige Information, mittels Mobilfunkvorrichtungen, welche in einem Mobilfunknetz betreibbar sind.
- Die vorgenannten sowie beanspruchten und in den Ausführungsbeispielen beschriebenen zu verwendenden Bauteile unterliegen in ihrer Größe, Form, Gestaltung, Materialauswahl und technischen Konzeptionen keinen besonderen Ausnahmebedingungen, so dass die in dem Anwendungsgebiet bekannten Auswahlkriterien uneingeschränkt Anwendung finden können.
- Weitere Einzelheiten, Merkmale und Vorteile des Gegenstandes der Erfindung ergeben sich aus den Unteransprüchen sowie aus der nachfolgenden Beschreibung der zugehörigen Zeichnungen, in der - beispielhaft - ein bevorzugtes Ausführungsbeispiel der Erfindung dargestellt ist.
- Zu den beschriebenen Codierungsverfahren gemäß Ausführungsbeispielen der Erfindung werden entsprechende Codierer bereitgestellt sowie entsprechende Verfahren zum Dekodieren und entsprechende Dekodierer.
- Figur 1
- zeigt einen Codierer 100 gemäß einem Ausführungsbeispiel der Erfindung.
- Figur 2
- zeigt ein Codier/Decodiersystem 200 gemäß einem Ausführungsbeispiel der Erfindung.
- Figur 3
- zeigt einen Codierer 300 gemäß einem Ausführungsbeispiel der Erfindung.
- Figur 4
- zeigt einen Codierer 400 gemäß einem Ausführungsbeispiel der Erfindung.
- Figur 5
- zeigt ein Codebuch 500 gemäß einem Ausführungsbeispiel der Erfindung.
-
Fig. 1 zeigt einen Codierer 100 gemäß einem Ausführungsbeispiel der Erfindung. - Dem Codierer 100 wird ein zu codierende Signal 101, beispielsweise ein Sprachsignal 100, zugeführt. Außerdem werden dem Codierer 100 einzubettende Daten 102 zugeführt. Der Codierer erzeugt aus dem zu codierenden Signal 101 ein codiertes Signal 103, in das die einzubettenden Daten 102 eingebettet sind, das heißt, aus dem ein entsprechender Decodierer die einzubettenden Daten 102 ermitteln kann.
- Das codierte Signal 103 wird beispielsweise an einen Empfänger übermittelt, beispielsweise mittels eines Computernetzwerks oder mittels eines Funknetzwerks.
- Bei dem im Folgenden beschriebenen Ausführungsbeispiel wird angenommen, dass der Codierer 100 in einem Mobilfunknetzwerk gemäß GSM (Global System for Mobile Communications) eingesetzt wird. Bei anderen Ausgestaltungen der Erfindung kann der Codierer auch im Rahmen eines Mobilfunknetzwerks gemäß UMTS (Universal Mobile Telecommunications Standard), CDMA2000 (CDMA: Code Division Multiple Access) oder gemäß FOMA (Freedom of Mobile Access) eingesetzt werden.
- In dem im Folgenden beschriebenen Ausführungsbeispiel wird angenommen, dass das zu codierende Signal 101 ein Sprachsignal ist, das von dem Codierer 100 gemäß einem ACELP (Algebraic Code Excited Linear Prediction) - Sprachkompressionsverfahren, beispielsweise gemäß einem "Enhanced Full-Rate"-ACELP-Sprachkompressionsverfahren codiert werden soll, wie es in einem GSM-Mobilfunknetz eingesetzt wird.
- Bei dem im Folgenden beschriebenen Ausführungsbeispiel verwendet der Codierer 100 ein Codebuch, das wie folgt definiert ist:
-
- Ein Codewort c aus dem Codebuch (d.h. der Menge aller möglichen Codeworte) C ist somit ein Vektor mit zehn Komponenten, wobei jede Komponente eine Position eines Pulses innerhalb eines Subrahmens beschreibt. Das Codebuch C hat in diesem Ausführungsbeispiel einen Umfang von 2^(10*log_2(8)) = 2^30 Codewörtern.
- In einem anderen Ausführungsbeispiel sind die Komponenten der Vektoren c, wie gemäß EFR vorgesehen, vorzeichenbehaftet. Die Verwendung von vorzeichenbehafteten Komponenten ermöglicht eine verbesserte Informationseinbettung. In einer Ausführungsform wird bei EFR jedoch aus Komplexitätsgründen auf die Verwendung von vorzeichenbehafteten Komponenten verzichtet.
- Das Codebuch C wird in einer Ausführungsform derart in zwei Sub-Codebücher C(1) und C(2) zerlegt, dass pro Codewort in das codierte Signal 103 ein Bit der einzubettenden Daten 102 eingebettet werden kann und dementsprechend ein Bit der einzubettenden Daten 102 pro Subrahmen übermittelt wird, was bei einer Subrahmendauer von 5ms einer Datenrate von 200bit/s entspricht.
- Die Codewörter der Sub-Codebücher unterscheiden sich darin, dass die Summe der Komponenten ci eines Codewortes aus dem einen Sub-Codebuch gerade und aus dem anderen Sub-Codebuch ungerade ist. Beispielsweise erfüllen alle Codeworte aus C(1) die Bedingung
- Soll eine erste Nachricht (in diesem Beispiel bestehend aus einem Bit, beispielsweise dem Bitwert 0) übermittelt werden, so wird ein Codewort aus C(1) zur Codierung (der aktuellen Signalwerte des zu codierenden Signals 101) verwendet, und soll eine zweite Nachricht (in diesem Beispiel bestehend aus einem Bit, beispielsweise dem Bitwert 1) übermittelt werden, so wird ein Codewort aus C(1) zur Codierung verwendet. Ein Empfänger bzw. ein Decodierer kann basierend auf der Zugehörigkeit eines empfangenen Codeworts zu C(1) oder zu C(2) ermitteln, ob die erste Nachricht oder die zweite Nachricht eingebettet worden ist.
-
- In einer Ausführungsform werden vier Bits pro Subrahmen eingebettet und damit eine Datenrate von 400bit/s erreicht. Dies geschieht durch eine Unterteilung des Codebuchs C in vier Sub-Codebücher C(1) bis C(4), wobei die Codeworte der Sub-Codebücher beispielsweise die folgenden Bedingungen erfüllen:
-
- In den obigen Bedingungen für die Codebücher C(1) und C(2) bzw. C(1) bis C(4) kann alternativ statt einer Komponente ci selbst auch der Ausdruck trunc(ci/5) verwendet werden, der eine Pulsposition innerhalb eines sogenannten Tracks eindeutig bezeichnet. Alternativ kann auch die jeweils Graycodierte Version GRAY(ci) bzw. GRAY(trunc(ci/5)) verwendet werden, wie sie zur Kanalcodierung bei EFR vorgesehen ist. Unter Berücksichtigung der tatsächlichen Übertragung der Codeworte über einen GSM-Mobilfunkkanal erweist sich diese Möglichkeit zur Codebuchzerlegung als besonders vorteilhaft. Damit wird erreicht, dass besonders wenige Kanalbits einen Einfluss auf die eingebetteten Daten haben, wodurch die Bitfehlerrate der übertragenen eingebetteten Daten bei gestörter Übertragung sinkt.
- Allgemein kann das Codebuch C in einer Ausführungsform derart zerlegt werden, dass die Codeworte des Sub-Codebuchs, das zur Codierung verwendet wird, wenn ein Nachrichtenbit mi übermittelt werden soll, die Bedingung
- Zur Rekonstruktion einer eingebetteten Nachricht in einem empfangenen bzw. zu decodierenden Codewort ist es lediglich erforderlich, dass der Decodierer ermittelt, zu welchem Sub-Codebuch das Codewort gehört. Werden die Codeworte ungestört an den Decodierer übermittelt, so können auch die eingebetteten Informationen fehlerlos rekonstruiert werden.
- Die oben beschriebene Vorgehensweise zur Einbettung von Informationen kann auch bei anderen Codierern eingesetzt werden, beispielsweise bei allen CELP Sprach-Codierern aber auch bei anderen Signal-Codierern wie Video-Codierern, Bild-Codierern etc.
- Die Übertragung von Seiteninformationen (eingebetteten Informationen) mittels Steganographie kann auch zur Signalverbesserung eingesetzt werden und stellt eine Lösung für das Problem der Rückwärtskompatibilität dar. Ein Empfänger ohne Kenntnis der eingebetteten Informationen kann das (Sprach-)Signal, in das die Informationen eingebettet wurden, wie gewohnt, das heißt wie im Falle keiner Einbettung von Informationen mit nur geringen Verlusten decodieren. Kennt der Empfänger hingegen die eingebetteten Informationen, so können die Seiteninformationen zur Signalverbesserung verwendet werden. Ein entsprechendes Ausführungsbeispiel wird im Folgenden mit Bezug auf
Fig.2 beschrieben. -
Fig.2 zeigt ein Codier/Decodiersystem 200 gemäß einem weiteren Ausführungsbeispiel der Erfindung. - Das Codier/Decodiersystem 200 weist einen Codierer 201 wie mit Bezug auf
Fig. 1 beschrieben auf. Entsprechend werden dem Codierer 201 ein zu codierendes Signal 202 und einzubettende Daten 203 zugeführt. Die einzubettenden Daten werden zur Signalverbesserung verwendet und werden dementsprechend von einer Signal-Analyse-Einrichtung 204, dem das zu codierende Signal 202 zugeführt wird, in für eine Signalverbesserung codierenden Signals 202 geeigneter Weise erzeugt. - Analog zu
Fig. 1 gibt der Codierer 201 ein codiertes Signal 205 aus, in das die einzubettenden Daten 203 eingebettet sind. Das codierte Signal 205 kann nun an einen Empfänger übermittelt werden, beispielsweise, wie oben beschrieben, mittels eines Mobilfunk-Kommunikationsnetzwerks. - Weist der Empfänger einen "konventionellen" Decodierer 206 auf, das heißt einen Decodierer, der die eingebetteten Daten nicht aus dem codierten Signal 205 ermitteln kann, so decodiert der Decodierer 206 lediglich das codierte Signal 205 zu einem decodierten Signal 207, welches (bis auf Übertragungsfehler und Codier/Decodierverluste) dem zu codierenden Signal 202 entspricht.
- Weist der Empfänger einen "erweiterten" Decodierer 208 auf, das heißt einen Decodierer, der die eingebetteten Daten aus dem codierten Signal 205 ermitteln kann, so werden die eingebetteten Daten extrahiert und die extrahierten Daten 209 von einer Signalverbesserungseinheit 210 zur Signalverbesserung verwendet, welche ein decodiertes und (gegenüber dem decodierten Signal 207) verbessertes Signal 211 erzeugt.
- Als Signalverbesserung kann z.B. künstliche Bandbreitenerweiterung, oder Störreduktion eingesetzt werden. Auch die Koeffizienten eines sendeseitig bestimmten Postfilters können per Steganographie übertragen werden.
- Insbesondere die Anwendung der künstlichen Bandbreitenerweiterung ist vorteilhaft, da das Telefonnetz historisch bedingt auf eine akustische Bandbreite von 3.1kHz (300Hz-3.4kHz) begrenzt ist, eine Übertragung von Breitbandsprache (50Hz-7kHz) jedoch nur mit enormem Aufwand seitens der Netzbetreiber und der Endgerätehersteller zu bewerkstelligen wäre. Änderungen im (Mobilfunk-)Übertragungsnetz sind zur Realisierung der oben beschriebenen Ausführungsformen hingegen nicht erforderlich. Entsprechende (leistungsfähige) Bandbreitenerweiterungsalgorithmen sind beispielsweise in der Veröffentlichung von Peter Jax, Bernd Geiser, Stefan Schandl, Hervé Taddei, und Peter Vary, "An Embedded Scalable Wideband Codec Based on the GSM EFR Codec", in Proceedings of ICASSP, Toulouse, Mai 2006 beschrieben. Weiterhin wird in der Veröffentlichung von Peter Jax und Peter Vary, "Bandwidth Extension of Speech Signals: A Catalyst for the Introduction of Wideband Speech Coding?", IEEE Communications Magazine, vol. 44, no. 5, Mai 2006 die Einführung breitbandiger Sprachübertragung über den Umweg der Bandbreitenerweiterung (ggf. mit Unterstützung von digitalen Wasserzeichen) erwähnt.
- Im Folgenden wird eine weitere Möglichkeit für eine Zerlegung des oben definierten Codebuchs C (EFR ACELP Codebuch) beschrieben.
- Zunächst wird zum besseren Verständnis kurz die Suchstrategie des EFR-Codecs erläutert:
- 1) Zunächst wird die erste Pulsposition i0 ∈ {0, ... , 39} heuristisch ermittelt und bleibt während der gesamten Suche fest. Der zu i0 gehörige "Track" ist beispielsweise x = 4 oder x = 9. Für die x-te Komponente cx des entsprechenden Codeworts gilt cx = i0.
- 2) Die Position des zweiten Pulses i1 ∈ {0,...,39} wird ebenfalls heuristisch ermittelt, wobei für jede der vier Iterationen des unten stehenden Algorithmus (Schritt 3) ein anderer Wert angenommen wird. Beispielsweise gehöre für die erste Iteration zur gewählten Position i1 der Track y=3 oder y=8, d.h. cy = i1.
- 3) Für die verbleibenden acht Tracks werden für jede von vier Iterationen die Pulse sukzessive in Paaren zu je zwei Tracks durch erschöpfende Suche optimiert. In jeder der vier Iterationen werden die Track-Paare durch Permutation neu zusammengestellt, wobei cx und cy nicht wiederverwendet werden
- Beispielsweise wird für das Track-Paar c0/c6 die Optimierung entsprechend dem folgenden Pseudocode durchgeführt:
- for(i = 0,5,10,...,35) // Iteration über alle zulässigen Elemente für c0
- for (j = 1, 6, 11,..., 36) // Iteration über alle zulässigen Elemente für c6
- Teste Puls-Paar (c0=i, c6=j) entsprechend CELP-Kriterium auf Optimalität
- Bei dieser Suchstrategie gemäß EFR werden insgesamt 1024 Kombinationen (4 Iterationen * 4 Track-Paare * 8 Puls-Positionen * 8 Puls-Positionen = 1024 Kombinationen) untersucht und daraus die optimalen Puls-Paare ausgewählt.
- Zur Einbettung von Informationen, im Folgenden Beispiel eines einzelnen (Wasserzeichen-)bits b, in ein Codewort c = (c0, ..., c9) wird gemäß einem Ausführungsbeispiel der Erfindung der obige Algorithmus wie im Folgenden beschrieben abgeändert.
- Wenn bei einer Suche bereits ein Puls für einen Track , beispielsweise c1, ermittelt wurde, kann bei der Wahl des (identisch aufgebauten) Tracks c6 durch ein Wasserzeichenbit b in das Puls-Positionenpaar c1 und c6 eingebettet werden, indem c6 in Abhängigkeit des Bits b gewählt wird. Die paarweise Suche wird dazu beispielsweise wie folgt modifiziert:
- c6_offset = 5 * ((c1 + b + 1) mod 2)
- for(i = 0,5,10,...,35) // Iteration über alle zulässigen Elemente für c0
- for (j = 1,11,21,31) // Iteration über alle zulässigen Elemente für c6 (gegenüber oben halbe Anzahl)
- Teste Puls-Paar (c0=i, c6=j+c6_offset) entsprechend CELP-Kriterium auf Optimalität
-
- Statt c6_offset = 5 * ((c1 + b + 1) mod 2) können auch andere Kombinationen von bereits ermittelten Pulspositionen und einzubettenden Bis verwendet werden. In dem obigen Beispiel wurde der Suchraum für die Pulsposition c6 in zwei gleiche Teile (ungerade/gerade Werte) aufgeteilt. Weitere Aufteilungen (etwa erste/zweite Wertehälfte) sind auch möglich, wobei die Gleichung für c6_offset entsprechend anzupassen ist.
-
- Zur Einbettung mehrerer Bits in ein Codewort c kann der Suchraum für c6 noch einmal halbiert werden, oder ein identisches Verfahren für ein zweites Pulspaar angewendet werden. Es ist günstig, gerade solche Pulse im Rahmen der Informationseinbettung durch c6_offset (bzw. das Bit b) zu koppeln, die in einem Track liegen. Anderenfalls kann, aufgrund der Vorzeichencodierung des EFR, im Empfänger keine eindeutige Zuordnung der Pulse mehr vorgenommen werden. Durch entsprechenden Zusatzaufwand im Sender kann diese Beschränkung aufgehoben werden. Im Empfänger sind c1 und c6 nicht voneinander zu unterscheiden. Die Datenextraktion via b=(c1+c6) mod 2 macht daher keine Probleme, allerdings ist es schwierig, beispielsweise b=(c1+c5) mod 2 zu berechnen, da (je nach Vorzeichen) "versehentlich" b=(c6+c5) mod 2 berechnet werden könnte. Der sendeseitige "Zusatzaufwand" besteht darin, die Vorzeichencodierung in den Optimierungsschleifen zu berücksichtigen und quasi pro Optimierungsschritt vorwegzunehmen. Durch die der reduzierte Anzahl von untersuchten Kombinationen (896 statt 1024 in dem obigen Beispiel) ergibt sich eine geringere Codierqualität durch Wasserzeicheneinbettung. Dies kann durch eine erweiterte Suche, das heißt eine Erweiterung des Suchraums, kompensiert werden. Dazu werden die Tracks nicht mehr in Paaren sondern in Gruppen zu 3 oder 4 (oder auch mehr) Tracks gemeinsam durchsucht. Die gemeinsame Suche (ohne Wasserzeicheneinbettung) für 3 Tracks (z.B. c0, c6 und c7) wird beispielsweise wie folgt realisiert:
- for (i2 = 0,5,10,...,35) // Iteration über die zulässigen Werte von c0
- for (i3 = 1, 6, 11,..., 36) // Iteration über die zulässigen Werte von c6
- for (i4 = 2,7,12,...,37) // Iteration über die zulässigen Werte von c7
- Suche optimales Tripel (c0=i2, c6=i3, c7=i4)
- Für jedes Tripel bedeutet dies, dass 8*8*8 = 512 Kombinationen durchsucht werden. Wird die gesamte Suche für die 8 variablen Pulspositionen (gemäß den Schritten 1 und 2 sind ja zwei Pulspositionen fest) so aufgeteilt, dass 2 Tripel und 1 Paar gemeinsam optimiert werden, so ergibt sich, dass
- Werden jedoch z.B. im Zuge der Optimierung des ersten Tripels 3 Wasserzeichenbits, im Zuge der Optimierung des zweiten Tripels 2 Wasserzeichenbits wie oben beschrieben eingebettet, während für das Pulspositionen-Paar keine Einbettung vorgenommen wird, so ergibt sich die Zahl der zu untersuchenden Kombinationen zu
- Schließlich ist eine weitere Möglichkeit zur Erweiterung des Suchraumes die Erhöhung der Iterationszahl, d.h. die Untersuchung weiterer Track-Permutationen.
- Die einem Ausführungsbeispiel zu Grunde liegende Idee kann darin gesehen werden, dass die Informationseinbettung dem Signal-Codierer bekannt ist, was durch eine gemeinsame Dateneinbettung und Signalcodierung erreicht wird, das heißt es wird beispielsweise die Wasserzeichen-Einbettung in den Codierer integriert. Dies kann innerhalb einer Analyse-durch-Synthese Schleife durchgeführt werden ("closed-loop"), wie es in
Fig.3 dargestellt ist. -
Fig.3 zeigt einen Codierer 300 gemäß einem weiteren Ausführungsbeispiel der Erfindung. - Dem Codierer werden ein zu codierendes Signal und einzubettende Daten 302 zugeführt.
- Ein codiertes Signal 303 wird aus dem zu codierenden Signal 301 mittels einer Schleife erzeugt, die ein Codebuch 304, eine Syntheseeinrichtung 305 und einen Vergleicher 306 aufweist. Dabei wird eine mögliche Codierung des zu codierenden Signals 301 von dem Codebuch 304 erzeugt und es wird mittels der Syntheseeinrichtung 305 und dem Vergleicher 306 überprüft, wie gut es das zu codierende Signal 301 widerspiegelt und gegebenenfalls, basierend auf der Ausgabe des Vergleichers 306, abgeändert.
- Die einzubettenden Daten 302 werden im Laufe das Codierungsprozesses in das codierte Signal 303 eingebettet, beispielsweise gemäß einer der oben beschriebenen Vorgehensweisen.
- Beispielsweise wird basierend auf den einzubettenden Daten 302 ein Sub-Codebuch des Codebuchs 304 ausgewählt, wie es in
Fig.4 dargestellt ist. -
Fig.4 zeigt einen Codierer 400 gemäß einem weiteren Ausführungsbeispiel der Erfindung. - Analog zu dem in
Fig.3 dargestellten Codierer 300 werden dem Codierer einzubettende Daten 402 und ein zu codierendes Signal 401 zugeführt und er erzeugt ein codiertes Signal 403, in das die einzubettenden Daten 402 eingebettet sind. Neben einer Syntheseeinrichtung 405 und einem Vergleicher 406 analog zu dem Codierer 300 inFig.3 weist der Codierer 400 ein Mehrzahl von Sub-Codebüchern 404 also ein in mehrere Sub-Codebücher 404 unterteiltes Codebuch auf. Basierend auf den einzubettenden Daten werden die Sub-Codebücher bei der Codierung des zu codierenden Signals 401 ausgewählt. Beispielsweise wird einem Datenwort des zu codierenden Signals 401 ein Codewort aus einem ersten Sub-Codebuch zugeordnet, wenn eine erste Seiteninformation aus den einzubettenden Daten 402, beispielsweise ein Bit mit dem Wert 0, eingebettet werden soll und es wird ein Codewort aus einem zweiten Sub-Codebuch zugeordnet, wenn eine zweite Seiteninformation aus den einzubettenden Daten 402, beispielsweise ein Bit mit dem Wert 1, eingebettet werden soll. - Die Aufteilung eines Codebuchs in mehrere Sub-Codebücher ist in
Fig.5 illustriert. -
Fig. 5 zeigt ein Codebuch 500 gemäß einem weiteren Ausführungsbeispiel der Erfindung. - Das Codebuch 500 ist mit C bezeichnet. Aus Effizienzgründen wird, wenn der Codewortumfang des Codebuchs 500 sehr groß ist, das Codebuch 500 beim Codieren nur teilweise durchsucht, d.h. es werden Codeworte zur Codierung nur aus einer Codebuch-Teilmenge 501, welche mit C' (praktisches Codebuch) bezeichnet ist, ausgewählt.
- Bei den obigen Ausführungsbeispielen wird das Codebuch 500 zur Dateneinbettung wie oben erläutert in Codebücher zerlegt, beispielsweise in vier Sub-Codebücher 502, welche mit C(1) bis C(4) bezeichnet sind.
- Da ein Sub-Codebuch 502 einen geringeren Codewortumfang hat als die Codebuch-Teilmenge 501 und damit die Qualität der Signalcodierung (abhängig von der Anzahl der Sub-Codebücher 502) gegenüber einer Verwendung der gesamten Codebuch-Teilmenge 501 sinken würde, wird in einem Ausführungsbeispiel der Codeumfang der Sub-Codebücher 502 erweitert, so dass insgesamt eine erweiterte Codebuch-Teilmenge 503 zur Codierung verwendet wird. Dabei steigt die algorithmische Komplexität nur geringfügig an, die Qualität der Codierung sinkt nicht und es kann in Sonderfällen sogar eine Qualitätssteigerung erzielt werden.
- In einer Ausführungsform wird ein algebraisches Codebuch verwendet. Im Gegensatz zu einem gewöhnlichen Codebuch in Tabellenform existiert ein algebraisches Codebuch nur im Sinne einer algebraischen Konstruktionsvorschrift. Dies bedeutet, dass die einzelnen Codebuch-Einträge (Codewörter) im Zuge der Signalcodierung durch einen Codewortgenerator erzeugt werden. Das "Binning Scheme" zur Informationseinbettung, das heißt die Zerlegung des Codebuchs in Sub-Codebücher und Auswahl des zur Codierung verwendeten Sub-Codebuchs in Abhängigkeit der einzubettenden Information, bei einem Codierer mit algebraischem Codebuch besteht nun nicht mehr lediglich in der Aufteilung des Codebuches in eine Anzahl von Sub-Codebüchern, sondern darüber hinaus auch in der Modifikation des Codewortgenerators dahingehend, dass jeweils nur zu dem durch die aktuell einzubettende Nachricht i ausgewählten Sub-Codebuch C(i) gehörige Codewörter ausgegeben werden.
Claims (24)
- Verfahren zur Einbettung einer steganographischen Information in eine Signalinformation eines Signal-Codierers (100), gekennzeichnet durch- Bereitstellen einer Dateninformation, insbesondere einer Sprachinformation, als zu codierendes Signal (101),- Auswählen einer steganographischen Information als einzubettende Daten (102), wobei die steganografische Information aus einer Menge von steganographischen Informationen ausgewählt wird,- Erzeugen eines Codewortes aus einem bereitgestellten algebraischen Codebuch (500) im Sinne einer algebraischen Konstruktionsvorschrift mittels des Signal-Codierers (100) auf Basis von das Codewort bildenden Codeelementen, derart, dass• unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards die Dateninformation in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation als codiertes Signal (103) codiert wird; dass• das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt; und, dass• das Codebuch (500) im Sinne der algebraischen Konstruktionsvorschrift in eine Anzahl von Sub-Codebüchern aufgeteilt ist und dass durch den Signal-Codierer (100) jeweils nur ein zu dem durch die aktuell einzubettende steganografische Information ausgewählten Sub-Codebuch gehöriges Codewort ausgegeben wird.
- Verfahren nach Anspruch 1, gekennzeichnet durch eine Bewertung des erzeugten Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards mittels Decodierens des Codewortes und anschließenden Vergleichens der decodierten Dateninformation mit der ursprünglichen Dateninformation.
- Verfahren nach Anspruch 2, gekennzeichnet durch das Erzeugen des Codewortes aus dem bereitgestellten Codebuch mittels des Signal-Codierers (100) auf Basis der das Codewort bildenden Codeelemente unter Berücksichtigung der Bewertung.
- Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Verwendung eines auf Basis des GSM- und/oder des UMTS-Übertragungsstandards basierenden Codierers (100) und Codebuches.
- Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch das Erzeugen eines Codewortes auf Basis der der ACELP- oder der AMR-Codierung.
- Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Berechnung der Eigenschaft des Codewortes als Ergebnis einer Anwendung mindestens einer Operation auf mindestens eines der das Codewort bildenden Codeelemente.
- Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Bereitstellung des Codewortes derart, dass das Codewort die Eigenschaft implizit erfüllt.
- Verfahren nach Anspruch 7, gekennzeichnet durch Erzeugung des Codeworts derart, dass es die Eigenschaft, welche die steganografische Information darstellt, bereits während seiner Erzeugung erfüllt.
- Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Auswahl der steganographischen Information derart, dass die steganographische Information empfangsseitig zur Signalverbesserung, insbesondere bei Sprachübertragung, wie eine künstliche Bandbreitenerweiterung und/oder Störreduktion, verwendet wird.
- Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Auswahl der steganographischen Information derart, dass die steganographische Information als digitales Wasserzeichen verwendet wird.
- Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Übertragen der das Codewort beinhaltenden oder auf das Codewort verweisenden Signalinformation an einen Empfänger.
- Verfahren nach Anspruch 11, gekennzeichnet durch ein empfangsseitiges Bereitstellen einer Dateninformation mittels Decodierens des Codewortes im Rahmen eines mit dem bereitgestellten Codebuch assoziierbaren Übertragungsstandards.
- Verfahren nach Anspruch 11 oder 12, gekennzeichnet durch ein empfangsseitiges Bereitstellen der steganographischen Information mittels Berechnens der zusätzlichen Eigenschaft des Codewortes auf Basis der das Codewort bildenden Codeelemente.
- Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Ausführen des Verfahrens in einer Mobilfunkvorrichtung.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei dem Signal-Codierer (100) die einzubettende Information zugeführt wird.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei der Signal-Codierer (100) ein erstes Codeelement und ein zweites Codeelement des Codewortes ermittelt, wobei das zweite Codeelement in Abhängigkeit des ersten Codeelements und der einzubettenden Information ermittelt wird.
- Signal-Codierer (100) zur Einbettung einer steganographischen Information in eine Signalinformation des Signal-Codierers (100), gekennzeichnet durch- eine Einrichtung zum Empfangen einer Dateninformation, insbesondere einer Sprachinformation, als zu codierendes Signal (101),- eine Einrichtung zum Empfangen einer steganographischen Information als einzubettende Daten (102), wobei die steganografische Information aus einer Menge von steganographischen Informationen ausgewählt wird,- eine Einrichtung zum Erzeugen eines Codewortes aus einem bereitgestellten algebraischen Codebuch (500) im Sinne einer algebraischen Konstruktionsvorschrift mittels des Signal-Codierers (100) auf Basis von das Codewort bildenden Codeelementen, derart, dass• unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards die Dateninformation in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation als codiertes Signal (103) codiert wird; dass• das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt; und, dass• das Codebuch (500) im Sinne der algebraischen Konstruktionsvorschrift in eine Anzahl von Sub-Codebüchern aufgeteilt ist und dass durch den Signal-Codierer (100) jeweils nur ein zu dem durch die aktuell einzubettende steganografische Information ausgewählten Sub-Codebuch gehöriges Codewort ausgegeben wird.
- Signal-Codierer nach Anspruch 17, ausgebildet zur Bereitstellung des Codewortes derart, dass das Codewort die Eigenschaft implizit erfüllt.
- Vorrichtung nach Anspruch 18, ausgebildet zur Erzeugung des Codeworts derart, dass es die Eigenschaft, welche die steganografische Information darstellt, bereits während seiner Erzeugung erfüllt.
- Vorrichtung nach einem der Ansprüche 17 bis 19, wobei der Signal-Codierer (100) ausgebildet ist, ein erstes Codeelement und ein zweites Codeelement des Codewortes zu ermitteln, wobei der Signal-Codierer (100) das zweite Codeelement in Abhängigkeit des ersten Codeelements und der einzubettenden Information ermittelt.
- Verfahren zur empfangsseitigen Bereitstellung einer steganographischen Information, die von einem Signal-Codierer (100) in eine Signalinformation eingebettet wurde durch Erzeugen eines Codewortes aus einem bereitgestellten algebraischen Codebuch (500) im Sinne einer algebraischen Konstruktionsvorschrift mittels des Signal-Codierers (100) auf Basis von das Codewort bildenden Codeelementen, derart, dass• unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards eine Dateninformation als zu codierendes Signal (101) in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation als codiertes Signal (103) codiert ist; dass• das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt; und, dass• das Codebuch (500) im Sinne der algebraischen Konstruktionsvorschrift in eine Anzahl von Sub-Codebüchern aufgeteilt ist und dass durch den Signal-Codierer (100) jeweils nur ein zu dem durch die aktuell einzubettende steganografische Information ausgewählten Sub-Codebuch gehöriges Codewort ausgegeben wird;wobei die empfangsseitige Bereitstellung der steganografischen Information das Berechnen der zusätzlichen Eigenschaft des Codeworts auf Basis der das Codewort bildenden Codeelemente umfasst.
- Verfahren nach Anspruch 21, wobei empfangsseitig ein erstes Codeelement und ein zweites Codeelement des Codewortes ermittelt werden, wobei die steganografische Information in Abhängigkeit des ersten Codeelements und des zweiten Codeelements ermittelt wird.
- Vorrichtung (208) zur empfangsseitigen Bereitstellung einer steganographischen Information, die von einem Signal-Codierer (100) in eine Signalinformation eingebettet wurde durch Erzeugen eines Codewortes aus einem bereitgestellten algebraischen Codebuch (500) im Sinne einer algebraischen Konstruktionsvorschrift mittels des Signal-Codierers (100) auf Basis von das Codewort bildenden Codeelementen, derart, dass• unter Verwendung des erzeugten Codeworts im Rahmen eines mit dem Codebuch assoziierbaren Übertragungsstandards eine Dateninformation als zu codierendes Signal (101) in eine das Codewort beinhaltende und/oder auf das Codewort verweisende Signalinformation als codiertes Signal (103) codiert ist; dass• das erzeugte Codewort eine zusätzliche, auf Basis der das Codewort bildenden Codeelemente berechenbare Eigenschaft aufweist, wobei die zusätzliche Eigenschaft die steganographische Information darstellt; und, dass• das Codebuch (500) im Sinne der algebraischen Konstruktionsvorschrift in eine Anzahl von Sub-Codebüchern aufgeteilt ist und dass durch den Signal-Codierer (100) jeweils nur ein zu dem durch die aktuell einzubettende steganografische Information ausgewählten Sub-Codebuch gehöriges Codewort ausgegeben wird;wobei die Vorrichtung (208) zur empfangsseitige Bereitstellung der steganografischen Information durch Berechnen der zusätzlichen Eigenschaft des Codeworts auf Basis der das Codewort bildenden Codeelemente ausgebildet ist.
- Vorrichtung nach Anspruch 23, die zurempfangsseitigen Ermittlung eines ersten Codeelements und eines zweiten Codeelements des Codewortes sowie zur Ermittlung der steganografischen Information in Abhängigkeit des ersten Codeelements und des zweiten Codeelements ausgebildet ist.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PL07801969T PL2062254T3 (pl) | 2006-09-15 | 2007-08-29 | Steganografia w kodowaniu sygnału cyfrowego |
EP11006299A EP2385521A1 (de) | 2006-09-15 | 2007-08-29 | Steganographie in digitalen Signal-Codierern |
SI200731014T SI2062254T1 (sl) | 2006-09-15 | 2007-08-29 | Steganografija v digitalnih signalnih kodirnikih |
CY20121100830T CY1113155T1 (el) | 2006-09-15 | 2012-09-12 | Στενογραφια σε εγκωδικευτες ψηφιακου σηματος |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006044181 | 2006-09-15 | ||
DE102007007627A DE102007007627A1 (de) | 2006-09-15 | 2007-02-16 | Steganographie in digitalen Signal-Codierern |
PCT/EP2007/007548 WO2008031498A1 (de) | 2006-09-15 | 2007-08-29 | Steganographie in digitalen signal-codierern |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP11006299.9 Division-Into | 2011-07-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2062254A1 EP2062254A1 (de) | 2009-05-27 |
EP2062254B1 true EP2062254B1 (de) | 2012-06-13 |
Family
ID=39105180
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP07801969A Active EP2062254B1 (de) | 2006-09-15 | 2007-08-29 | Steganographie in digitalen signal-codierern |
EP11006299A Ceased EP2385521A1 (de) | 2006-09-15 | 2007-08-29 | Steganographie in digitalen Signal-Codierern |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP11006299A Ceased EP2385521A1 (de) | 2006-09-15 | 2007-08-29 | Steganographie in digitalen Signal-Codierern |
Country Status (10)
Country | Link |
---|---|
US (1) | US8412519B2 (de) |
EP (2) | EP2062254B1 (de) |
CY (1) | CY1113155T1 (de) |
DE (1) | DE102007007627A1 (de) |
DK (1) | DK2062254T3 (de) |
ES (1) | ES2389012T3 (de) |
PL (1) | PL2062254T3 (de) |
PT (1) | PT2062254E (de) |
SI (1) | SI2062254T1 (de) |
WO (1) | WO2008031498A1 (de) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767823B2 (en) | 2011-02-07 | 2017-09-19 | Qualcomm Incorporated | Devices for encoding and detecting a watermarked signal |
US9767822B2 (en) | 2011-02-07 | 2017-09-19 | Qualcomm Incorporated | Devices for encoding and decoding a watermarked signal |
US8930182B2 (en) * | 2011-03-17 | 2015-01-06 | International Business Machines Corporation | Voice transformation with encoded information |
US9417221B2 (en) * | 2013-08-27 | 2016-08-16 | International Business Machines Corporation | Food steganography |
US9600793B2 (en) | 2013-12-09 | 2017-03-21 | International Business Machines Corporation | Active odor cancellation |
US9665828B2 (en) | 2014-01-16 | 2017-05-30 | International Business Machines Corporation | Using physicochemical correlates of perceptual flavor similarity to enhance, balance and substitute flavors |
CN104010193B (zh) * | 2014-05-29 | 2017-02-22 | 中国科学院信息工程研究所 | 基于宏块划分方式扰动的视频隐写方法 |
CN105704489B (zh) * | 2016-01-30 | 2019-01-04 | 武汉大学 | 一种基于宏块复杂度的自适应视频运动矢量隐写方法 |
CN109346091B (zh) * | 2018-09-13 | 2021-12-14 | 中国科学院信息工程研究所 | 一种基于等长熵码字替换的压缩音频自适应隐写方法和系统 |
CN111462765B (zh) * | 2020-04-02 | 2023-08-01 | 宁波大学 | 一种基于一维卷积核的自适应音频复杂度表征方法 |
CN112738355B (zh) * | 2020-12-24 | 2021-10-26 | 华南理工大学 | 能抵御深度学习网络检测的非降质hevc视频隐写方法 |
CN117614740B (zh) * | 2024-01-18 | 2024-04-16 | 华侨大学 | 一种基于多级矢量联合优化的ip语音隐写方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11272299A (ja) * | 1998-03-23 | 1999-10-08 | Toyo Commun Equip Co Ltd | 音声符号化時の透かしビットの埋込方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5636292C1 (en) * | 1995-05-08 | 2002-06-18 | Digimarc Corp | Steganography methods employing embedded calibration data |
US5748763A (en) * | 1993-11-18 | 1998-05-05 | Digimarc Corporation | Image steganography system featuring perceptually adaptive and globally scalable signal embedding |
US6330672B1 (en) * | 1997-12-03 | 2001-12-11 | At&T Corp. | Method and apparatus for watermarking digital bitstreams |
JP3022462B2 (ja) * | 1998-01-13 | 2000-03-21 | 興和株式会社 | 振動波の符号化方法及び復号化方法 |
AU6533799A (en) * | 1999-01-11 | 2000-07-13 | Lucent Technologies Inc. | Method for transmitting data in wireless speech channels |
US20030161469A1 (en) * | 2002-02-25 | 2003-08-28 | Szeming Cheng | Method and apparatus for embedding data in compressed audio data stream |
KR100520711B1 (ko) * | 2002-08-14 | 2005-10-17 | 아주대학교산학협력단 | 벡터 양자화 기법에서 코드북 그룹화를 이용한 블라인드 이미지 워터마킹 처리 방법 |
US20040225500A1 (en) * | 2002-09-25 | 2004-11-11 | William Gardner | Data communication through acoustic channels and compression |
JP4527369B2 (ja) * | 2003-07-31 | 2010-08-18 | 富士通株式会社 | データ埋め込み装置及びデータ抽出装置 |
BRPI0415316A (pt) * | 2003-10-17 | 2006-12-05 | Koninkl Philips Electronics Nv | sistema de codificação e distribuição de sinal, método para codificar um sinal, programa de computação, e, portador de gravação |
-
2007
- 2007-02-16 DE DE102007007627A patent/DE102007007627A1/de not_active Withdrawn
- 2007-08-29 SI SI200731014T patent/SI2062254T1/sl unknown
- 2007-08-29 EP EP07801969A patent/EP2062254B1/de active Active
- 2007-08-29 PL PL07801969T patent/PL2062254T3/pl unknown
- 2007-08-29 WO PCT/EP2007/007548 patent/WO2008031498A1/de active Application Filing
- 2007-08-29 DK DK07801969.2T patent/DK2062254T3/da active
- 2007-08-29 ES ES07801969T patent/ES2389012T3/es active Active
- 2007-08-29 PT PT07801969T patent/PT2062254E/pt unknown
- 2007-08-29 EP EP11006299A patent/EP2385521A1/de not_active Ceased
- 2007-08-29 US US12/441,209 patent/US8412519B2/en active Active
-
2012
- 2012-09-12 CY CY20121100830T patent/CY1113155T1/el unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11272299A (ja) * | 1998-03-23 | 1999-10-08 | Toyo Commun Equip Co Ltd | 音声符号化時の透かしビットの埋込方法 |
Non-Patent Citations (1)
Title |
---|
MUNETOSHI IWAKIRI ET AL: "Embedding a text into conjugate strusture algebraic code excited linear prediction audio codes", COMPUTER SYSTEM SYMPOSIUM, INFORMATION PROCESSING SOCIETY OF JAPAN, JP, vol. 39, no. 3, 1 September 1998 (1998-09-01), pages 2623 - 2630, XP007916951 * |
Also Published As
Publication number | Publication date |
---|---|
US8412519B2 (en) | 2013-04-02 |
DK2062254T3 (da) | 2012-08-20 |
PL2062254T3 (pl) | 2012-11-30 |
PT2062254E (pt) | 2012-09-19 |
ES2389012T3 (es) | 2012-10-22 |
WO2008031498A1 (de) | 2008-03-20 |
DE102007007627A1 (de) | 2008-03-27 |
EP2385521A1 (de) | 2011-11-09 |
SI2062254T1 (sl) | 2012-10-30 |
EP2062254A1 (de) | 2009-05-27 |
CY1113155T1 (el) | 2016-04-13 |
US20110131047A1 (en) | 2011-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2062254B1 (de) | Steganographie in digitalen signal-codierern | |
EP0954909B1 (de) | Verfahren zum codieren eines audiosignals | |
DE602004003610T2 (de) | Halbrätiger Vocoder | |
DE602004005784T2 (de) | Verbesserte Anregung für Höherband-Kodierung in einem Codec basierend auf Frequenzbandtrennungs-Kodierungsverfahren | |
DE19604273C5 (de) | Verfahren und Vorrichtung zum Durchführen einer Suche in einem Kodebuch im Hinblick auf das Kodieren eines Klangsignales, Zellkommunikationssystem, Zellnetzwerkelement und mobile Zell-Sender-/Empfänger-Einheit | |
DE60024123T2 (de) | Lpc-harmonischer sprachkodierer mit überrahmenformat | |
DE602004005197T2 (de) | Vorrichtung und verfahren zum kodieren eines audiosignals und vorrichtung und verfahren zum dekodieren eines kodierten audiosignals | |
EP1869671B1 (de) | Verfahren und vorrichtung zur geräuschunterdrückung | |
DE69815650T2 (de) | Sprachkodierer | |
DE69839312T2 (de) | Kodierverfahren für vibrationswellen | |
EP1016319B1 (de) | Verfahren und vorrichtung zum codieren eines zeitdiskreten stereosignals | |
DE112012000698B4 (de) | Stimmentransformation mit codierten Informationen | |
WO1999004505A1 (de) | Verfahren zum signalisieren einer rauschsubstitution beim codieren eines audiosignals | |
DE102006051673A1 (de) | Vorrichtung und Verfahren zum Nachbearbeiten von Spektralwerten und Encodierer und Decodierer für Audiosignale | |
DE102004009954A1 (de) | Vorrichtung und Verfahren zum Verarbeiten eines Multikanalsignals | |
EP1397799B1 (de) | Verfahren und vorrichtung zum verarbeiten von zeitdiskreten audio-abtastwerten | |
DE60303346T2 (de) | Encodier- und/oder Decodierverfahren für digitale Audiosignale, basierend auf Zeit-Frequenzkorrelation und Vorrichtung hierzu | |
EP1080464A1 (de) | Verfahren und anordnung zur sprachcodierung | |
DE60016305T2 (de) | Verfahren zum Betrieb eines Sprachkodierers | |
DE10138650A1 (de) | Verfahren und Vorrichtung zum Verschlüsseln eines diskreten Signals sowie Verfahren und Vorrichtung zur Entschlüsselung | |
DE19906512C2 (de) | Verfahren zum unbemerkten Übertragen und/oder Speichern von Zusatzinformationen innerhalb eines Signals, insbesondere Audiosignals | |
EP1390946A1 (de) | Verfahren zur schätzung eines codecparameters | |
EP1834322B1 (de) | Verfahren zum codieren eines analogen signals | |
AT509439B1 (de) | Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens | |
EP1030290A2 (de) | Verfahren zum unbemerkten übertragen und/oder Speichern von Zusatzinformationen innerhalb eines Signals, insbesondere Audiosignals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20090317 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA HR MK RS |
|
17Q | First examination report despatched |
Effective date: 20090729 |
|
DAX | Request for extension of the european patent (deleted) | ||
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: H04K 1/00 20060101ALI20111005BHEP Ipc: G10L 19/12 20060101ALI20111005BHEP Ipc: G10L 19/00 20060101AFI20111005BHEP |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: ERICSSON AB |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: TELEFONAKTIEBOLAGET L M ERICSSON (PUBL) |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 562303 Country of ref document: AT Kind code of ref document: T Effective date: 20120615 Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502007010060 Country of ref document: DE Effective date: 20120809 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: ISLER & PEDRAZZINI AG |
|
REG | Reference to a national code |
Ref country code: DK Ref legal event code: T3 |
|
REG | Reference to a national code |
Ref country code: RO Ref legal event code: EPE |
|
REG | Reference to a national code |
Ref country code: SE Ref legal event code: TRGR |
|
REG | Reference to a national code |
Ref country code: PT Ref legal event code: SC4A Free format text: AVAILABILITY OF NATIONAL TRANSLATION Effective date: 20120913 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: T3 |
|
REG | Reference to a national code |
Ref country code: EE Ref legal event code: FG4A Ref document number: E007020 Country of ref document: EE Effective date: 20120801 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2389012 Country of ref document: ES Kind code of ref document: T3 Effective date: 20121022 |
|
REG | Reference to a national code |
Ref country code: GR Ref legal event code: EP Ref document number: 20120401790 Country of ref document: GR Effective date: 20120920 |
|
REG | Reference to a national code |
Ref country code: PL Ref legal event code: T3 |
|
REG | Reference to a national code |
Ref country code: SK Ref legal event code: T3 Ref document number: E 12437 Country of ref document: SK |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20130314 |
|
REG | Reference to a national code |
Ref country code: HU Ref legal event code: AG4A Ref document number: E015359 Country of ref document: HU |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502007010060 Country of ref document: DE Effective date: 20130314 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 10 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 11 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 12 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: EE Payment date: 20180802 Year of fee payment: 12 Ref country code: LT Payment date: 20180731 Year of fee payment: 12 Ref country code: MC Payment date: 20180802 Year of fee payment: 12 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: AT Payment date: 20180730 Year of fee payment: 12 Ref country code: BG Payment date: 20180823 Year of fee payment: 12 Ref country code: BE Payment date: 20180827 Year of fee payment: 12 Ref country code: SK Payment date: 20180731 Year of fee payment: 12 Ref country code: AT Payment date: 20180801 Year of fee payment: 12 Ref country code: GR Payment date: 20180829 Year of fee payment: 12 Ref country code: LV Payment date: 20180801 Year of fee payment: 12 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: PT Payment date: 20180802 Year of fee payment: 12 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: MT Payment date: 20180806 Year of fee payment: 12 Ref country code: CY Payment date: 20180807 Year of fee payment: 12 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DK Payment date: 20190828 Year of fee payment: 13 Ref country code: IE Payment date: 20190827 Year of fee payment: 13 Ref country code: TR Payment date: 20190806 Year of fee payment: 13 Ref country code: IT Payment date: 20190826 Year of fee payment: 13 Ref country code: SE Payment date: 20190828 Year of fee payment: 13 Ref country code: ES Payment date: 20190902 Year of fee payment: 13 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: PL Payment date: 20190805 Year of fee payment: 13 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20190903 Year of fee payment: 13 |
|
REG | Reference to a national code |
Ref country code: EE Ref legal event code: MM4A Ref document number: E007020 Country of ref document: EE Effective date: 20190831 |
|
REG | Reference to a national code |
Ref country code: FI Ref legal event code: MAE |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MM4D Effective date: 20190829 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 562303 Country of ref document: AT Kind code of ref document: T Effective date: 20190829 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RO Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190829 Ref country code: FI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190829 Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190829 Ref country code: LV Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190829 Ref country code: EE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190831 Ref country code: GR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200305 Ref country code: PT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200302 Ref country code: HU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190830 Ref country code: BG Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200229 Ref country code: LT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190829 |
|
REG | Reference to a national code |
Ref country code: SK Ref legal event code: MM4A Ref document number: E 12437 Country of ref document: SK Effective date: 20190829 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190829 Ref country code: SK Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190829 Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190829 Ref country code: CY Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190829 Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190902 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20190831 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190830 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190831 |
|
REG | Reference to a national code |
Ref country code: SI Ref legal event code: KO00 Effective date: 20200723 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20200825 Year of fee payment: 14 |
|
REG | Reference to a national code |
Ref country code: DK Ref legal event code: EBP Effective date: 20200831 |
|
REG | Reference to a national code |
Ref country code: SE Ref legal event code: EUG |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200831 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200831 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200830 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190901 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200829 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200831 Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200829 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FD2A Effective date: 20220110 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190829 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200830 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200829 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20210831 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200829 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: NL Payment date: 20220826 Year of fee payment: 16 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20220829 Year of fee payment: 16 Ref country code: DE Payment date: 20220629 Year of fee payment: 16 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 502007010060 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MM Effective date: 20230901 |