KR20030037174A - Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal - Google Patents

Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal Download PDF

Info

Publication number
KR20030037174A
KR20030037174A KR1020010068291A KR20010068291A KR20030037174A KR 20030037174 A KR20030037174 A KR 20030037174A KR 1020010068291 A KR1020010068291 A KR 1020010068291A KR 20010068291 A KR20010068291 A KR 20010068291A KR 20030037174 A KR20030037174 A KR 20030037174A
Authority
KR
South Korea
Prior art keywords
echo
kernel
audio signal
echo kernel
delay time
Prior art date
Application number
KR1020010068291A
Other languages
Korean (ko)
Other versions
KR100430566B1 (en
Inventor
석종원
홍진우
오현오
윤대희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2001-0068291A priority Critical patent/KR100430566B1/en
Publication of KR20030037174A publication Critical patent/KR20030037174A/en
Application granted granted Critical
Publication of KR100430566B1 publication Critical patent/KR100430566B1/en

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation

Abstract

PURPOSE: An apparatus and a method for inserting echo in audio watermarking using echo are provided to improve watermark signal detection using both of positive echo kernel and negative echo kernel while minimizing distortion of sound. CONSTITUTION: An audio signal splitter(602) receives an audio signal to be watermarked to split the signal into predetermined time units. The first echo kernel generator(603) generates the first echo kernel composed of positive echo kernel having the first delay time and negative echo kernel having the second delay time different from the first delay time on the basis of the split audio signal. The second echo kernel generator(604) generates the second echo kernel, which is distinguished from the first echo kernel and composed of positive echo kernel having the third delay time and negative echo kernel having the fourth delay time different from the third delay time, on the basis of the split audio signal. An echo kernel selector(605) selects the first and second echo kernels to allow a watermark detector to detect the selected echo kernel. A convolution calculator(607) calculates convolution of the split audio signals and the selected echo kernel. A convolution adder(608) receives the split audio signals output from the convolution calculator and convolution-adds up the signals to generate a watermarked audio signal.

Description

반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치 및 그 방법 {Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal}Apparatus and method for echo insertion in audio watermarking using echo {Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal}

본 발명은 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 양의 반향 커널과 음의 반향 커널을 함께 사용하여 워터마크 신호검출의 강인성을 유지하면서 반향 커널에 의한 음질의 왜곡을 최소화시키는 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for inserting echoes in audio watermarking using echo, and a method and a computer readable recording medium recording a program for realizing the method. More specifically, a positive echo kernel and a negative echo The kernel is used together to minimize the distortion of sound quality caused by the echo kernel while maintaining the robustness of watermark signal detection.

오디오 워터마킹이란, 오디오 정보를 포함하고 있는 디지털 컨텐츠에 저작권 혹은 기타의 정보를 들리지 않도록 삽입하고 추출하는 기술이다. 저작권 보호를 위한 용도로 사용하기 위한 워터마크의 가장 중요한 요구사항은 인간의 귀에 지각되지 않아야 한다는 것이다. 즉, 워터마크가 삽입된 오디오 신호는 삽입 이전의 원 신호와 비교했을 때 음질의 차이가 나지 않아야 한다. 또한, 삽입되는 워터마크 신호는 쉽게 소실되지 않아야 하는 중요한 정보이므로 오디오 신호가 임의의 시스템에서 일반적으로 거쳐야 하는 디지털/아날로그 변환, 아날로그/디지털 변환, 편집, 필터링, 압축 등의 신호처리 과정 이후에도 검출이 가능하도록 강인해야만 한다.Audio watermarking is a technique of inserting and extracting copyright or other information in a digital content containing audio information without being heard. The most important requirement of a watermark to be used for copyright protection is that it should not be perceived by the human ear. That is, the audio signal embedded with the watermark should not have a difference in sound quality when compared with the original signal before insertion. Also, since the inserted watermark signal is important information that should not be easily lost, detection is not possible even after signal processing such as digital / analog conversion, analog / digital conversion, editing, filtering, compression, etc. It must be as strong as possible.

지금까지 개발된 대표적인 오디오 워터마킹 방법으로는 LSB(Least Significant Bit) 부호화 방법, 위상 정보를 변형하는 방법, 대역 확산을 이용한 방법, 반향(Echo) 신호를 이용하는 방법 등이 있다. 이 가운데 특히, 반향을 이용한 워터마킹이란 귀에 들리지 않을 만큼의 작은 반향을 오디오 신호에 삽입함으로써 워터마크 정보를 삽입하는 기술이다.Representative audio watermarking methods developed so far include a Least Significant Bit (LSB) encoding method, a method of transforming phase information, a method using spread spectrum, and a method using echo signals. Among them, watermarking using echo is a technique of inserting watermark information by inserting small echoes into the audio signal that are inaudible.

즉, 오디오 신호를 일정한 구간별로 나누고 각 구간에 삽입하고자 하는 이진수 워터마크 값에 따라 지연시간이 다른 반향을 삽입함으로써 부호화하고, 복호화 과정에서는 각 구간 별로 삽입된 반향의 지연시간을 검출함으로써 워터마크 정보를 복호화한다. 반향을 이용한 워터마킹은 삽입되는 워터마크 신호가 부가의 잡음이 아닌 오디오 신호 자체이기 때문에 음질면에서 우수한 장점을 갖는다. 하지만 이러한 우수한 음질상의 우수성에도 불구하고, 워터마크 신호 검출의 강인성을 고려하지 않을 수 없으며, 강인한 워터마크 신호 검출을 위해서 반향 커널의 크기를 크게하여야 한다. 그런데 종래 기술로는 이렇듯 큰 반향 커널의 삽입으로 인한 음질의 왜곡은 피할 수 없으며, 워터마크 신호 검출의 강인성과 음질의 왜곡 방지라는 두 상충되는 조건을 동시에 충족시킬 수 없는 문제점이 있었다.That is, the audio signal is divided by a predetermined section and encoded by inserting an echo having a different delay time according to the binary watermark value to be inserted into each section. In the decoding process, watermark information is detected by detecting a delay time of an inserted echo for each section. Decode Echo watermarking has an advantage in terms of sound quality because the inserted watermark signal is not an additional noise but an audio signal itself. However, despite the superior sound quality, the robustness of watermark signal detection cannot be considered, and the size of the echo kernel must be increased for robust watermark signal detection. However, in the prior art, distortion of sound quality due to the insertion of such a large echo kernel is inevitable, and there is a problem in that two conflicting conditions such as robustness of watermark signal detection and prevention of distortion of sound quality cannot be simultaneously satisfied.

이하, 첨부된 도면을 참조하여 종래 기술의 문제점에 대해 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the problems of the prior art.

도 1 은 종래기술에 따른 양의 크기를 갖는 단 반향 커널에 대한 설명도이다.1 is an explanatory diagram of a mono echo kernel having a positive magnitude according to the prior art.

여기서, 반향 커널(kernel)이라 함은, 시간축에서의 충격 응답을 나타낸다.Here, the echo kernel represents the shock response on the time axis.

워터마킹에 사용되는 반향 커널은 지연시간 t1(103)이 매우 짧기 때문에 인간의 귀에 같은 소리가 지연되어 들리는 현상인 메아리로 지각되지 않고 원 신호의 음색이 변화하는 착색(coloration) 효과를 일으키며 지각된다. 착색 효과의 정도를 분석하기 위해서는 반향 커널이 삽입된 오디오 신호를 주파수 영역에서 분석해야 한다.The echo kernel used for watermarking has a very short delay time t1 (103), so it is not perceived as an echo, a phenomenon in which the same sound is delayed in the human ear, and is perceived by causing a coloring effect in which the tone of the original signal changes. . In order to analyze the degree of coloring effect, an audio signal with an echo kernel inserted must be analyzed in the frequency domain.

도 2 는 상기 도 1 의 반향 커널에 대한 주파수 크기 응답을 나타내는 설명도로서, 양의 단 반향 커널에 대한 주파수 크기 응답을 나타낸다.FIG. 2 is an explanatory diagram showing a frequency magnitude response for the echo kernel of FIG. 1 and shows a frequency magnitude response for the positive single echo kernel.

여기서, 가로축은 인간의 주파수 분해능력을 모방하여 만든 임계 대역율(critical-band rate)(105)을 사용하였다. 이 응답 곡선(106)이 전 대역에서 편평할수록, 즉 0 데시벨 기준선(107)에 가까울수록 착색 효과가 적어서 그만큼 원음에 가까운 소리를 제공한다. 인간의 귀는 한 임계 대역내에서는 응답 곡선이 심하게 변화하여도 그것을 분해할만한 주파수 해상력을 갖지 못하고 그 평균적인 크기에 의해 소리를 인지하게 되므로 높은 주파수 영역보다는 낮은 주파수 영역에서의 응답 특성이 보다 중요하다. 그런데, 양의 단 반향에 대한 주파수 응답 곡선(106)은 낮은 주파수 영역에서 각 임계 대역의 크기가 크게 변화하고 있기 때문에 이 대역에서의 음색 변화, 즉 왜곡이 크다. 이때, 최대 이득과 최소 이득 사이의 폭 A1(108)은 단 반향 커널(102)의 크기 a1(104)에 의해 결정되고, 주파수 대역에서 상하로 변화하는 빈도는 지연시간 t1(103)에 의해 결정되게 된다.Here, the horizontal axis used a critical-band rate 105 made by mimicking human frequency resolution. The flatter the response curve 106 in the entire band, i.e., the closer to 0 decibel baseline 107, the less the coloring effect, thus providing a sound closer to the original sound. The human ear does not have a frequency resolution capable of resolving it even if the response curve changes severely within a critical band and perceives the sound by its average size, so the response characteristics in the low frequency region are more important than in the high frequency region. . By the way, the frequency response curve 106 for the positive short echo has a large tone change, i.e., distortion, in this band because the magnitude of each critical band is greatly changed in the low frequency region. At this time, the width A1 108 between the maximum gain and the minimum gain is determined by the size a1 104 of the echo kernel 102, and the frequency of changing up and down in the frequency band is determined by the delay time t1 103. Will be.

즉, 단 반향 커널(102)의 크기 a1(104)이 클수록 주파수 대역에서의 최대 이득과 최소 이득 사이의 폭 A1(108)은 커지며, 지연시간 t1(103)이 길어질수록 주파수 대역에서 상하로 변화하는 빈도는 잦게 된다. 따라서, 응답의 크기 변화폭 A1(108)을 낮추기 위해서는 반향 커널(102)의 크기 a1(104)을 작게 할 수 밖에 없으며, 이는 반향 커널(102)의 검출을 어렵게 하는 원인이 된다.That is, the larger the size a1 (104) of the echo kernel (102), the larger the width A1 (108) between the maximum gain and the minimum gain in the frequency band, and the longer the delay time t1 (103), the higher and lower the frequency band. Frequently the frequency of doing so. Therefore, in order to reduce the magnitude change A1 108 of the response, the size a1 104 of the echo kernel 102 must be made small, which makes it difficult to detect the echo kernel 102.

도 3 은 상기 도 1 의 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도로서 양의 단 반향 커널(102)이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타낸다.FIG. 3 is an exemplary explanatory diagram illustrating a cepstrum for an arbitrary audio signal into which the echo kernel of FIG. 1 is inserted, and illustrates a spectrum for any audio signal into which a positive short echo kernel 102 is inserted. Indicates.

반향 커널(102)이 삽입되기 전의 오디오 신호에 대한 켑스트럼(109)과 비교할 때, 반향 커널(102)의 지연시간 t1(103) 및 그의 배수에 해당하는 샘플 위치에서 피크(111, 112)가 검출되는 현상이 나타난다. 워터마크 복호화기에서는 이 피크(111, 112)의 위치를 이용하여 워터마크를 복호화한다. 이때, 피크(111, 112)의 상대적 돌출 정도는 삽입할 때 사용한 반향 커널(102)의 크기 a1(104)에 비례하게 되므로 크게 삽입할수록 검출이 용이하다. 특히, 워터마크가 삽입된 오디오 신호가 압축, 필터링과 같은 신호처리적인 과정을 거치고 나면 켑스트럼의 피크(111,112)는 무뎌지거나 사라지기 쉬우며, 복호화기에서 켑스트럼 피크를 검출하지 못하면 올바른 워터마크를 복호화할 수 없다.The peaks 111 and 112 at the sample position corresponding to the delay time t1 103 of the echo kernel 102 and multiples thereof, as compared to the cepstrum 109 for the audio signal before the echo kernel 102 is inserted. Is detected. The watermark decoder decodes the watermark using the positions of the peaks 111 and 112. At this time, since the relative protrusion of the peaks 111 and 112 is proportional to the size a1 104 of the echo kernel 102 used at the time of insertion, the larger the insertion, the easier the detection. In particular, after an audio signal with a watermark is subjected to signal processing such as compression and filtering, the peaks 111 and 112 of the cepstrum become dull or disappear, and if the decoder does not detect the spectrum peak, The watermark cannot be decoded.

반향 커널(102)의 삽입으로 인한 왜곡(착색 효과)을 최소화하기 위해서 반향 커널(102)의 크기 a1(104)을 가급적 작게 해야 하고, 반대로 검출의 강인성을 향상시기키 위해서는 반향 커널(102)의 크기 a1(104)을 크게 해야 하므로 이 두 요구사항은 상충되며, 이러한 상충되는 요구사항을 동시에 충족시키지 못하는 문제점이 있었다.In order to minimize the distortion (coloring effect) caused by the insertion of the echo kernel 102, the size a1 104 of the echo kernel 102 should be made as small as possible, and conversely, in order to improve the robustness of detection, Since the size a1 (104) must be large, these two requirements are in conflict, and there is a problem in that these conflicting requirements cannot be met simultaneously.

도 4 는 종래기술에 따른 양의 크기를 갖는 다중 반향 커널에 대한 설명도이다.4 is an explanatory diagram of a multiple echo kernel having a positive size according to the prior art.

도 5 는 상기 도 4 의 반향 커널에 대한 주파수 크기 응답을 나타내는 설명도로서, 양의 다중 반향 커널 중 특히 그 반향 커널의 개수가 2 개인 반향 커널에 대한 주파수 크기 응답을 나타낸다.FIG. 5 is an explanatory diagram illustrating a frequency magnitude response for the echo kernel of FIG. 4, and particularly a frequency magnitude response for an echo kernel having two echo kernels, in which the number of echo kernels is two.

도 6 은 상기 도 4 의 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타내는 설명도로서 양의 다중 반향 커널 중 특히 그 반향 커널의 개수가 2개인 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타낸다.FIG. 6 is an explanatory diagram illustrating a cepstrum of an arbitrary audio signal into which the echo kernel of FIG. 4 is inserted, and of any positive multiple echo kernels, in particular, an arbitrary audio signal into which an echo kernel having two echo kernels is inserted Represents the cepstrum for.

도 4 의 경우처럼 하나의 큰 반향 커널(102) 대신 두 개 이상의 양의 반향 커널(202, 203)을 삽입하는 경우, 도 6 에 도시한 바와 같이 켑스트럼을 이용한 피크(211, 212)의 검출은 가능하지만, 도 5 에 나타나듯 낮은 주파수 영역(208)에서의 음질 왜곡(착색 효과)은 상기 도 2 에서와 마찬가지로 피하기 어려우며, 높은 주파수 영역(210)에서도 주파수 응답에 왜곡이 생겨 단 반향 커널(102)을 사용하는경우보다 음질은 더 나빠질 수 있는 문제점이 있었다.In the case of inserting two or more positive echo kernels 202 and 203 instead of one large echo kernel 102 as shown in FIG. 4, the peaks 211 and 212 using the cepstrum as shown in FIG. Although detection is possible, sound distortion (coloring effect) in the low frequency region 208 is difficult to avoid as in FIG. 2, as shown in FIG. 5, and in the high frequency region 210, distortion occurs in the frequency response. There was a problem that the sound quality can be worse than when using the (102).

따라서, 종래의 방법으로 반향 커널을 삽입하면, 음질 왜곡을 발생시키지 않으면서도 검출에 강인한 워터마크를 생성하기 어려운 문제점이 있었다.Therefore, when the echo kernel is inserted by the conventional method, it is difficult to generate a watermark that is robust to detection without generating sound quality distortion.

본 발명은, 상기한 바와 같은 종래 기술의 제반 문제점을 해결하기 위하여 제안된 것으로, 음질의 왜곡을 최소화시키면서 워터마크 검출의 강인성을 향상시킨 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함에 그 목적이 있다.The present invention has been proposed to solve the above-mentioned problems of the prior art, and an apparatus and method for inserting an echo in audio watermarking using echo that minimizes the distortion of sound quality and improves the robustness of watermark detection; It is an object of the present invention to provide a computer-readable recording medium having recorded thereon a program for realizing the method.

즉, 본 발명은 기존의 반향 커널과 같이 반향 커널의 부호가 항상 양의 값을 갖는 경우와는 달리 음의 값을 갖는 반향 커널을 고려하여, 양의 반향 커널과 음의 반향 커널을 조합한 반향 커널을 삽입함으로써, 임계 대역율 축에서의 주파수 응답이 상대적으로 평평한 전달 특성을 얻는다. 다시 말하면, 워터마크 검출의 강인성을 유지하면서도 음질의 왜곡을 최소화하게 된다.That is, the present invention considers an echo kernel having a negative value, unlike a case in which the sign of the echo kernel always has a positive value, as in the conventional echo kernel, and combines a positive echo kernel and a negative echo kernel. By inserting the kernel, the frequency response at the critical bandwidth rate axis obtains a relatively flat propagation characteristic. In other words, the distortion of sound quality is minimized while maintaining the robustness of watermark detection.

도 1 은 종래기술에 따른 양의 크기를 갖는 단 반향 커널에 대한 일실시예 설명도.1 is an illustration of one embodiment of a mono echo kernel with a positive magnitude in accordance with the prior art;

도 2 는 상기 도 1 의 반향 커널에 대한 주파수 크기 응답을 나타내는 일실시예 설명도.FIG. 2 is an exemplary diagram illustrating a frequency magnitude response for the echo kernel of FIG. 1. FIG.

도 3 은 상기 도 1 의 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도.3 is an explanatory diagram illustrating a cepstrum for any audio signal into which the echo kernel of FIG. 1 is inserted;

도 4 는 종래기술에 따른 양의 크기를 갖는 다중 반향 커널에 대한 일실시예 설명도.4 illustrates one embodiment of a multiple echo kernel having a positive magnitude in accordance with the prior art;

도 5 는 상기 도 4 의 반향 커널에 대한 주파수 크기 응답을 나타내는 일실시예 설명도.FIG. 5 is an exemplary diagram illustrating a frequency magnitude response for the echo kernel of FIG. 4. FIG.

도 6 은 상기 도 4 의 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도.6 is an explanatory diagram illustrating a cepstrum for any audio signal into which the echo kernel of FIG. 4 is inserted.

도 7 은 음의 크기를 갖는 단 반향 커널에 대한 일실시예 설명도.7 illustrates one embodiment of a mono echo kernel with a negative magnitude.

도 8 은 상기 도 7 의 반향 커널에 대한 주파수 크기 응답을 나타내는 일실시예 설명도.FIG. 8 is an exemplary diagram illustrating a frequency magnitude response for the echo kernel of FIG. 7. FIG.

도 9 는 상기 도 7 의 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도.9 is an explanatory diagram illustrating a cepstrum for any audio signal into which the echo kernel of FIG. 7 is inserted;

도 10 은 본 발명에 따른 양의 단 반향 커널과 음의 단 반향 커널을 함께 가지는 반향 커널에 대한 일실시예 설명도.FIG. 10 illustrates an embodiment of an echo kernel having both a positive mono echo kernel and a negative mono echo kernel in accordance with the present invention. FIG.

도 11 은 상기 도 10 의 반향 커널에 대한 주파수 크기 응답을 나타내는 일실시예 설명도.FIG. 11 is an exemplary diagram illustrating a frequency magnitude response for the echo kernel of FIG. 10. FIG.

도 12 는 상기 도 10 의 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도.FIG. 12 is an explanatory diagram illustrating a cepstrum for any audio signal into which the echo kernel of FIG. 10 is inserted.

도 13a 는 종래기술에 따른 양의 단 반향 커널이 삽입된 임의의 오디오 신호의 파형을 나타내는 일실시예 설명도.FIG. 13A is an exemplary explanatory diagram showing a waveform of an arbitrary audio signal into which a positive mono echo kernel is inserted according to the prior art; FIG.

도 13b 는 도 13a 의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도.FIG. 13B is an exemplary explanatory diagram illustrating a cepstrum for the audio signal of FIG. 13A; FIG.

도 14a 는 본 발명에 따른 양의 단 반향 커널과 음의 단 반향 커널을 함께 가지는 반향 커널이 삽입된 임의의 오디오 신호의 파형을 나타내는 일실시예 설명도.FIG. 14A is an exemplary explanatory diagram illustrating waveforms of an arbitrary audio signal into which an echo kernel having both a positive mono echo kernel and a negative mono echo kernel is inserted according to the present invention; FIG.

도 14b 는 상기 도 14a 의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도.14B is an explanatory diagram illustrating a cepstrum of the audio signal of FIG. 14A.

도 15 는 본 발명에 따른 반향을 이용한 오디오 워터마킹에서의 반향 삽입장치의 일실시예 구성도.15 is a block diagram of an embodiment of an echo insertion device in audio watermarking using echo according to the present invention;

도 16 은 본 발명에 따른 반향을 이용한 오디오 워터마킹에서의 반향 삽입 방법에 대한 일실시예 흐름도.16 is a flow diagram of an embodiment of an echo insertion method in audio watermarking using echo according to the present invention.

* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

601 : 오디오 입력신호 602 : 분할부601: Audio input signal 602: Division

603 : "0" 반향 커널 발생부 604 : "1" 반향 커널 발생부603: "0" echo kernel generator 604: "1" echo kernel generator

605 : 반향 커널 선택부 606 : 워터마크 신호605: echo kernel selector 606: watermark signal

607 : 컨벌루션부 608 : 중첩가산부607: convolutional unit 608: overlap addition unit

609 : 워터마킹된 오디오 신호609: Watermarked Audio Signal

610 : 반향 삽입 장치610: echo insertion device

상기 목적을 달성하기 위한 본 발명은, 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치에 있어서, 워터마킹하고자 하는 오디오 신호를 입력받아, 소정의 시간단위로 분할하기 위한 오디오 신호 분할수단; 상기 분할된 오디오 신호를기준으로, 제 1 지연시간을 갖는 양의 단 반향 커널과 상기 제 1 지연시간과 다른 제 2 지연시간을 갖는 음의 단 반향 커널로 이루어진 제 1 반향 커널을 생성하기 위한 제 1 반향 커널 생성수단; 상기 분할된 오디오 신호를 기준으로, 제 3 지연시간을 갖는 양의 단 반향 커널과 상기 제 3 지연시간과 다른 제 4 지연시간을 갖는 음의 단 반향 커널로 이루어져, 상기 제 1 반향 커널과 구분되는 제 2 반향 커널을 생성하기 위한 제 2 반향 커널 생성수단; 상기 반향 커널 생성수단에서 생성된 상기 제 1 반향 커널 및 제 2 반향 커널을 워터마크 검출장치에서 검출할 수 있도록 그 정해진 순서에 따라 상기 반향 커널을 선택하기 위한 반향 커널 선택수단; 상기 오디오 신호 분할수단으로부터 입력받은 상기 분할된 오디오 신호와 상기 반향 커널 선택수단으로부터 입력받은 상기 선택된 반향 커널에 대해 상호 컨벌루션 연산을 취하기 위한 컨벌루션 연산수단; 및 상기 컨벌루션 연산수단에 의해 컨벌루션 연산된 분할된 오디오 신호를 입력받아 중첩가산시킴으로써, 워터마킹된 오디오 신호를 생성하기 위한 중첩가산수단을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for inserting echoes in audio watermarking using echo, comprising: audio signal splitting means for receiving an audio signal to be watermarked and dividing the audio signal into predetermined time units; A first echo kernel comprising a positive single echo kernel having a first delay time and a negative single echo kernel having a second delay time different from the first delay time, based on the divided audio signal; 1 echo kernel generating means; A positive single echo kernel having a third delay time and a negative single echo kernel having a fourth delay time different from the third delay time, based on the divided audio signal, are distinguished from the first echo kernel. Second echo kernel generating means for generating a second echo kernel; Echo kernel selecting means for selecting the echo kernel in a predetermined order so that the first echo kernel and the second echo kernel generated by the echo kernel generating means can be detected by the watermark detection apparatus; Convolution calculation means for performing a mutual convolution operation on the divided audio signal received from the audio signal dividing means and the selected echo kernel received from the echo kernel selecting means; And overlapping addition means for generating a watermarked audio signal by overlapping and adding the divided audio signal convolutionally calculated by the convolution calculation means.

한편 본 발명은, 반향을 이용한 오디오 워터마킹에서의 반향 삽입 방법에 있어서, 워터마킹하고자 하는 오디오 신호를 입력받아, 소정의 시간단위로 분할하는 제 1 단계; 상기 분할된 오디오 신호를 기준으로, 제 1 지연시간을 갖는 양의 단 반향 커널과 상기 제 1 지연시간과 다른 제 2 지연시간을 갖는 음의 단 반향 커널로 이루어진 제 1 반향 커널을 생성하는 제 2 단계; 상기 분할된 오디오 신호를 기준으로, 제 3 지연시간을 갖는 양의 단 반향 커널과 상기 제 3 지연시간과 다른 제 4 지연시간을 갖는 음의 단 반향 커널로 이루어져, 상기 제 1 반향 커널과 구분되는 제 2 반향 커널을 생성하는 제 3 단계; 상기 제 1 반향 커널 및 제 2 반향 커널을 워터마크 검출장치에서 검출할 수 있도록 그 정해진 순서에 따라 상기 반향 커널을 선택하는 제 4 단계; 상기 제 1 단계에서 생성된 분할된 오디오 신호와 상기 제 4 단계에서 생성된 선택된 반향 커널을 상호 컨벌루션 연산을 취하는 제 5 단계; 및 상기 제 5 단계에서 컨벌루션 연산된 분할된 오디오 신호를 중첩가산시킴으로써 워터마킹된 오디오 신호를 생성하는 제 6 단계를 포함하는 것을 특징으로 한다.Meanwhile, the present invention provides a method of inserting echo in audio watermarking using echo, comprising: a first step of receiving an audio signal to be watermarked and dividing the audio signal into predetermined time units; Generating a first echo kernel comprising a positive mono echo kernel having a first delay time and a negative mono echo kernel having a second delay time different from the first delay based on the divided audio signal step; A positive single echo kernel having a third delay time and a negative single echo kernel having a fourth delay time different from the third delay time, based on the divided audio signal, are distinguished from the first echo kernel. Generating a second echo kernel; A fourth step of selecting the echo kernel in a predetermined order so that the first echo kernel and the second echo kernel can be detected by a watermark detection apparatus; A fifth step of performing a convolution operation on the divided audio signal generated in the first step and the selected echo kernel generated in the fourth step; And a sixth step of generating a watermarked audio signal by over-adding the divided audio signal convolutionally calculated in the fifth step.

한편 본 발명은, 프로세서를 구비한 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치에, 워터마킹하고자 하는 오디오 신호를 입력받아, 소정의 시간단위로 분할하는 제 1 기능; 상기 분할된 오디오 신호를 기준으로, 제 1 지연시간을 갖는 양의 단 반향 커널과 상기 제 1 지연시간과 다른 제 2 지연시간을 갖는 음의 단 반향 커널로 이루어진 제 1 반향 커널을 생성하는 제 2 기능; 상기 분할된 오디오 신호를 기준으로, 제 3 지연시간을 갖는 양의 단 반향 커널과 상기 제 3 지연시간과 다른 제 4 지연시간을 갖는 음의 단 반향 커널로 이루어져, 상기 제 1 반향 커널과 구분되는 제 2 반향 커널을 생성하는 제 3 기능; 상기 제 1 반향 커널 및 제 2 반향 커널을 워터마크 검출장치에서 검출할 수 있도록 그 정해진 순서에 따라 상기 반향 커널을 선택하는 제 4 기능; 상기 제 1 기능에서 생성된 분할된 오디오 신호와 상기 제 4 기능에서 생성된 선택된 반향 커널을 상호 컨벌루션 연산을 취하는 제 5 기능; 및 상기 제 5 기능에서 컨벌루션 연산된 분할된 오디오 신호를 중첩가산시킴으로써 워터마킹된 오디오 신호를 생성하는 제 6 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.On the other hand, the present invention, the echo insertion device in the audio watermarking using the echo processor, the first function of receiving an audio signal to be watermarked, and divides by a predetermined time unit; Generating a first echo kernel comprising a positive mono echo kernel having a first delay time and a negative mono echo kernel having a second delay time different from the first delay based on the divided audio signal function; A positive single echo kernel having a third delay time and a negative single echo kernel having a fourth delay time different from the third delay time, based on the divided audio signal, are distinguished from the first echo kernel. A third function of generating a second echo kernel; A fourth function of selecting the echo kernel in a predetermined order so that the first echo kernel and the second echo kernel can be detected by a watermark detection apparatus; A fifth function for performing a mutual convolution operation on the divided audio signal generated in the first function and the selected echo kernel generated in the fourth function; And a computer-readable recording medium having recorded thereon a program for realizing a sixth function of generating a watermarked audio signal by superimposing the divided audio signal convolutionally calculated in the fifth function.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 7 은 음의 크기를 갖는 단 반향 커널에 대한 설명도로서, 상기 도 1 의 양의 크기를 갖는 단 반향 커널(102)과 크기는 갖지만 부호가 반대인 단 반향 커널(302)을 나타낸다.FIG. 7 is an explanatory diagram of a negative echo kernel having a negative magnitude, and illustrates a single echo kernel 102 having a positive magnitude but opposite sign in size with the positive echo kernel 102 of FIG.

도 8 은 상기 도 7 의 반향 커널에 대한 주파수 크기 응답을 나타내는 설명도로서, 음의 크기를 갖는 단 반향 커널에 대한 주파수 크기 응답을 나타낸다.FIG. 8 is an explanatory diagram illustrating a frequency magnitude response for the echo kernel of FIG. 7, and illustrates a frequency magnitude response for a single echo kernel having a loudness.

도 9 는 상기 도 7 의 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타내는 설명도로서, 음의 크기를 갖는 단 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타낸다.FIG. 9 is an explanatory diagram illustrating a cepstrum of an arbitrary audio signal into which the echo kernel of FIG. 7 is inserted, and illustrates a cepstrum of any audio signal into which a single echo kernel having a loudness is inserted.

음의 단 반향 커널(302)의 삽입은, 시간 영역에서 관찰할 경우 위상 반전된 단 반향 신호를 삽입하는 것을 의미하며, 상기 도 7 의 주파수 응답곡선(306) 역시 상기 도 2 의 양의 단 반향 커널의 주파수 응답(106)과 비교할 때, 0 데시벨 기준선(305)을 기준으로 상하 반전되어 있는 형태이다.Insertion of the negative single echo kernel 302 means to insert a phase inverted single echo signal when observed in the time domain, and the frequency response curve 306 of FIG. 7 also represents the positive single echo of FIG. Compared to the frequency response 106 of the kernel, it is inverted up and down relative to the zero decibel reference line 305.

한편, 도 9 에 도시된 바와 같이, 음의 단 반향 커널(302)이 삽입된 오디오 신호에 대해서 켑스트럼 연산을 하면, 상기 도 3 의 켑스트럼과 유사하게 피크(307, 308)를 검출할 수 있다. 즉, 복호화기의 검출 성능은 반향 펄스의 부호와는 무관하다.On the other hand, as shown in FIG. 9, when the negative single echo kernel 302 performs a chop strum operation on the inserted audio signal, the peaks 307 and 308 are detected similarly to the chop strum shown in FIG. can do. In other words, the detection performance of the decoder is independent of the sign of the echo pulse.

상기 도 8 의 주파수 응답 형태를 보면, 상기 도 2 의 주파수 응답 형태와 상하 반전되어 있으므로 이 두 반향이 함께 삽입되면 반향에 의한 착색 효과가 서로 상쇄되어 음질 왜곡이 없어질 것이다. 그러나, 양의 반향 커널의 지연시간과 음의 반향 커널의 지연시간이 완전히 같게 되면 실제로 삽입되는 반향은 "0" 이 되므로 워터마크를 삽입할 수 없다. 하지만, 두 반향 커널의 지연시간이 미세하게 차이가 나게 되면, 주파수가 비슷한 두개의 정현파가 맥놀이 현상을 일으키듯 두 반향 커널에 의한 주파수 응답이 서로 상쇄되는 구간이 존재하게 된다. 이렇게 상쇄되는 구간이 특히 낮은 주파수 영역이 되도록 양의 반향 커널와 음의 반향 커널의 지연시간을 조절하게 되면, 결국 반향에 의한 음질 왜곡이 최소화할 수 있다.Referring to the frequency response form of FIG. 8, since the two types of echoes are inserted into the frequency response form of FIG. However, when the delay time of the positive echo kernel and the delay time of the negative echo kernel are exactly the same, the actually inserted echo becomes "0", and thus the watermark cannot be inserted. However, if the delay time of the two echo kernels is slightly different, there is a section in which the frequency responses of the two echo kernels cancel each other, as two sinusoids having similar frequencies cause a pulsation phenomenon. By adjusting the delay times of the positive echo kernel and the negative echo kernel so that the canceled period becomes a particularly low frequency region, the sound quality distortion due to the echo can be minimized.

도 10 은 본 발명에 따른 양의 단 반향 커널과 음의 단 반향 커널을 함께 가지는 반향 커널에 대한 일실시예 설명도이다.FIG. 10 is a diagram illustrating an embodiment of an echo kernel having both a positive single echo kernel and a negative single echo kernel according to the present invention.

도 11 은 상기 도 10 의 반향 커널에 대한 주파수 크기 응답을 나타내는 설명도로서, 양의 단 반향 커널(402)과 음의 단 반향 커널(403)을 함께 가지는 반향 커널에 대한 주파수 크기 응답을 나타낸다.FIG. 11 is an explanatory diagram illustrating the frequency magnitude response of the echo kernel of FIG. 10, and illustrates the frequency magnitude response of the echo kernel having both the positive single echo kernel 402 and the negative single echo kernel 403 together.

도 11 에 도시된 바와 같이, 종래의 반향 삽입 방법에 비교할 때, 낮은 주파수 영역의 왜곡이 거의 0 데시벨 기준선(409)에 가까움을 관찰할 수 있다. 중간 임계 대역 이상에서는 착색 효과를 일으킬 수 있는 크기를 갖는 구간이 일부 존재하지만, 이 영역에서도 종래의 양의 단 반향 커널 내지 양의 다중 반향 커널의 경우와 같은 왜곡 이상으로 증가하지는 않는다. 일반적인 오디오 신호는 대부분의 에너지를 낮은 주파수 대역에 포함하고 있기 때문에 이 대역에서의 응답이 투명하게 되면 결국 좋은 음질을 제공할 수 있게 된다.As shown in FIG. 11, it can be observed that the distortion in the low frequency region is close to zero decibel baseline 409 when compared to the conventional echo insertion method. Above the mid-critical band, there are some sections with sizes that can cause tinting effects, but even in this region they do not increase beyond the distortion as in the case of conventional positive single echo kernels or positive multiple echo kernels. A typical audio signal contains most of its energy in the lower frequency bands, so the response in this band becomes transparent, eventually providing good sound quality.

도 12 는 상기 도 10 의 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도로서, 양의 단 반향 커널(402)과 음의 단 반향 커널(403)을 함께 가지는 반향 커널이 삽입된 임의의 오디오 신호에 대한 켑스트럼을 나타낸다.FIG. 12 is an exemplary explanatory diagram showing a cepstrum for any audio signal into which the echo kernel of FIG. 10 is inserted, having a positive single echo kernel 402 and a negative single echo kernel 403 together. The echo kernel represents the spectral for any audio signal inserted.

도 12 에 도시된 바와 같이, 양과 음의 두 반향 커널이 존재하는 위치에 상응하는 샘플에서 피크(411, 412)가 형성되며, 이 두 피크(411, 412)의 합을 이용하여 워터마크 신호를 검출할 수 있다.As shown in Fig. 12, peaks 411 and 412 are formed in a sample corresponding to the position where two positive and negative echo kernels exist, and the sum of these two peaks 411 and 412 is used to generate a watermark signal. Can be detected.

도 13a 는 종래기술에 따른 양의 단 반향 커널이 삽입된 임의의 오디오 신호의 파형을 나타내는 설명도로서, 상기 도 1 의 양의 크기를 갖는 단 반향 커널(102)이 삽입된 임의의 오디오 신호를 시간영역에서 도시하고 있다.FIG. 13A is an explanatory diagram showing a waveform of an arbitrary audio signal in which a positive single echo kernel is inserted according to the prior art, and illustrates an arbitrary audio signal in which a single echo kernel 102 having a positive magnitude in FIG. 1 is inserted. It is shown in the time domain.

도 13a 에 도시된 바와 같이, 양의 단 반향 커널(102)이 워터마크로서 삽입된 임의의 오디오 신호의 파형(502)은 원 오디오 신호(501)와 상당한 차이가 있다. 즉, 그만큼 오디오 신호가 왜곡되었다는 것을 반증한다.As shown in FIG. 13A, the waveform 502 of any audio signal with a positive short echo kernel 102 inserted as a watermark differs significantly from the original audio signal 501. In other words, the audio signal is distorted.

도 13b 는 상기 도 13a 의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도이다.FIG. 13B is an explanatory diagram illustrating a cepstrum of the audio signal of FIG. 13A.

도 14a 는 본 발명에 따른 양의 단 반향 커널과 음의 단 반향 커널을 함께 가지는 반향 커널이 삽입된 임의의 오디오 신호의 파형을 나타내는 일실시예 설명도로서, 상기 도 10 의 양의 단 반향 커널과 음의 단 반향 커널을 함께 가지는 반향 커널(402, 403)이 삽입된 임의의 오디오 신호를 시간영역에서 도시하고 있다.FIG. 14A is an exemplary explanatory diagram showing a waveform of an arbitrary audio signal in which an echo kernel having both a positive mono echo kernel and a negative mono echo kernel is inserted according to the present invention. FIG. An arbitrary audio signal into which echo kernels 402 and 403 are inserted, together with a negative acoustic echo kernel, is shown in the time domain.

도 14a 에 도시된 바와 같이, 반향 커널(402, 403)이 삽입된 임의의 오디오 신호의 파형(505)은 원 오디오 신호와 거의 겹쳐진 형태이다. 즉, 그만큼 오디오 신호가 반향 커널(402, 403)의 삽입 후에도 왜곡이 없다는 것을 의미한다.As shown in Fig. 14A, the waveform 505 of any audio signal into which the echo kernels 402 and 403 are inserted is almost superimposed with the original audio signal. That is, it means that the audio signal has no distortion even after insertion of the echo kernels 402 and 403.

도 14b 는 상기 도 14a 의 오디오 신호에 대한 켑스트럼을 나타내는 일실시예 설명도이다.FIG. 14B is an explanatory diagram illustrating a cepstrum of the audio signal of FIG. 14A.

도 14b 에 도시된 바와 같이, 켑스트럼의 피크(507, 508) 역시 모두 검출이 가능할 정도로 충분히 크다.As shown in Fig. 14B, the peaks 507 and 508 of the cepstrum are also large enough to be detectable.

즉, 본 발명에 따라, 양의 단 반향 커널과 음의 단 반향 커널을 함께 가지는 반향 커널(402, 403)을 워터마크 신호로써 삽입한 오디오 신호는 원신호에 거의 왜곡을 주지 않으면서, 검출의 강인성을 유지할 수 있다.In other words, according to the present invention, an audio signal in which echo kernels 402 and 403 having both a positive single echo kernel and a negative single echo kernel together are inserted as a watermark signal, while the distortion of the original signal is hardly detected. Toughness can be maintained.

도 15 는 본 발명에 따른 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치의 일실시예 구성도이다.15 is a configuration diagram of an echo insertion device in audio watermarking using echo according to the present invention.

도 15 에 도시된 바와 같이, 반향 삽입 장치(610)는 워터마킹 하고자 하는 오디오 신호를 입력받아, 소정의 시간단위로 분할하기 위한 분할부(602)와 상기 분할된 오디오 신호를 기준으로, 제 1 지연시간을 갖는 양의 단 반향 커널과 상기 제 1 지연시간과 다른 제 2 지연시간을 갖는 음의 단 반향 커널로 이루어진 반향 커널을 생성하기 위한 "0" 반향 커널 발생부(603)와 상기 분할된 오디오 신호를 기준으로, 제 3 지연시간을 갖는 양의 단 반향 커널과 상기 제 3 지연시간과 다른 제 4 지연시간을 갖는 음의 단 반향 커널로 이루어져, 상기 "0" 반향 커널과 구분되는 "1" 반향 커널을 생성하기 위한 "1" 반향 커널 발생부(604)와 상기 반향 커널 발생부(603, 604)에서 생성된 "0" 반향 커널 및 "1" 반향 커널을 워터마크 검출장치에서 검출할 수 있도록 그 정해진 순서에 따라 반향커널을 선택하기 위한 반향 커널 선택 선택부(605)와 분할부(602)로부터 입력받은 분할된 오디오 신호와 반향 커널 선택부(605)로부터 입력받은 상기 선택된 반향 커널에 대해 상호 컨벌루션 연산을 취하기 위한 컨벌루션(Convolution)부(607)와 컨벌루션부(607)에 의해 컨벌루션 연산된 분할된 오디오 신호를 입력받아 중첩가산시킴으로써, 워터마킹된 오디오 신호를 생성하기 위한 중첩가산부(608)를 포함한다.As illustrated in FIG. 15, the echo insertion apparatus 610 receives an audio signal to be watermarked, and divides the audio signal to be divided into predetermined units of time based on the divided audio signal. And the " 0 " echo kernel generator 603 for generating an echo kernel comprising a positive mono echo kernel having a delay time and a negative mono echo kernel having a second delay time different from the first delay time. A "1" distinguished from the "0" echo kernel, comprising a positive single echo kernel having a third delay time and a negative single echo kernel having a fourth delay time different from the third delay based on the audio signal "1" echo kernel generator 604 for generating echo kernel, " 0 " echo kernel and " 1 " echo kernel generated by echo kernel generator 603, 604 can be detected by the watermark detection apparatus. So that according to the prescribed order Echo kernel selection selector 605 and the splitting audio signal received from the splitter 602 and the selected echo kernel input from the echo kernel selector 605 for selecting a echo kernel for mutual convolution operation And a superimposed adder 608 for generating a watermarked audio signal by superimposing and receiving the convolutional calculated segmented audio signal by the convolutional unit 607 and the convolutional unit 607.

최초로, 분할부(602)는 반향 삽입 장치(610)에 입력되는 오디오 입력신호(601)를 받아, 적절한 시간단위로 분할한다.First, the division unit 602 receives the audio input signal 601 input to the echo insertion device 610, and divides it into appropriate units of time.

이와는 별도로, "0" 반향 커널 발생부(603)와 "1" 반향 커널 발생부(604)는 서로 다른 지연시간을 가지는 반향 커널을 발생시킨다. 그 일실시예로서, 상기 도 15 에 도시된 바와 같이 "1" 반향 커널은 "0" 반향 커널보다 그 지연시간이 더 길다. 검출 장치는 이러한 다른 지연시간의 정보를 추출하여 워터마크 신호의 복호화를 수행하는 것이다.Separately, the "0" echo kernel generator 603 and the "1" echo kernel generator 604 generate echo kernels having different delay times. As an example, as shown in FIG. 15, the "1" echo kernel has a longer delay than the "0" echo kernel. The detection apparatus extracts the information of the other delay time and decodes the watermark signal.

한편, 각 반향 커널은 다시 양의 단 반향 커널과 음의 단 반향 커널로 이루어져 있는데, 이는 본 발명에 있어 중요한 특징을 가지며, 그에 대한 자세한 설명은 전술한 바와 같다.On the other hand, each echo kernel is composed of a positive single echo kernel and a negative single echo kernel, which has an important feature in the present invention, a detailed description thereof is as described above.

한편, 반향 커널 선택부(605)는 그 정해진 순서에 따라 "0" 반향 커널과 "1"반향 커널을 선택한다. 여기서, "010010..." 등의 워터마크 신호의 배열이 생성되며, 검출 장치에서 상기 신호의 배열을 이용하여 검출하게 된다.On the other hand, the echo kernel selector 605 selects the "0" echo kernel and the "1" echo kernel according to the predetermined order. Here, an array of watermark signals such as "010010 ..." is generated, and the detection apparatus detects using the arrangement of the signals.

한편, 컨벌루션부(607)는 분할부(602)에 의해 분할된 오디오 신호와 반향 커널 선택부(605)에 의해 선택된 "0" 반향 커널 또는 "1" 반향 커널을 입력받아 컨벌루션 연산을 취한다.The convolution unit 607 receives a convolution operation by receiving the audio signal divided by the divider 602 and the "0" echo kernel or the "1" echo kernel selected by the echo kernel selector 605.

이어서, 중첩가산부(608)는 부분별로 컨벌루션 연산을 취한 분할된 오디오 신호를 입력받아, 각 부분을 중첩가산 시킴으로써 비로소 워터마킹된 오디오 신호를 발생시킨다.Subsequently, the overlap adder 608 receives the divided audio signal having a convolution operation for each part, and overlaps each part to generate a watermarked audio signal.

도 16 은 본 발명에 따른 반향을 이용한 오디오 워터마킹에서의 반향 삽입 방법에 대한 일실시예 흐름도이다.16 is a flowchart illustrating an echo insertion method in audio watermarking using echo according to the present invention.

먼저, 외부로부터 오디오 신호가 입력되면(701), 반향 삽입 장치의 분할부(602)에서 그 입력받은 오디오 신호를 분할한다(702).First, when an audio signal is input from the outside (701), the division unit 602 of the echo insertion apparatus divides the received audio signal (702).

한편, 반향 커널 발생부(603, 604)에서 "0" 반향 커널 및 "1" 반향 커널을 생성한다(703). 여기서, 각 반향 커널은 양의 단 반향 커널과 음의 단 반향 커널로 이루어져 있으며, "0" 반향 커널과 "1" 반향 커널이 서로 다른 지연시간을 가짐은 본 발명에 있어서 중요한 특징을 가지며 그에 대한 상세한 설명은 전술한 바와 같다.Meanwhile, the echo kernel generators 603 and 604 generate a "0" echo kernel and a "1" echo kernel (703). Here, each echo kernel is composed of a positive single echo kernel and a negative single echo kernel, and the "0" echo kernel and the "1" echo kernel have a different delay time, which is an important feature of the present invention. The detailed description is as described above.

이어서, 반향 커널 선택부(605)는 그 정해진 순서에 따라 "0" 반향 커널과 "1" 반향 커널을 선택한다(703). 여기서, "010010..." 등의 워터마크 신호의 배열이 생성되며, 검출 장치에서 이러한 워터마크 신호의 배열을 이용하여 검출하게 된다.Then, the echo kernel selector 605 selects the "0" echo kernel and the "1" echo kernel in accordance with the predetermined order (703). Here, an array of watermark signals such as "010010 ..." is generated, and the detection apparatus detects using this arrangement of watermark signals.

이후, 컨벌루션부(607)는 분할부(602)에 의해 분할된 오디오 신호와 반향 커널 선택부(605)에 의해 선택된 "0" 반향 커널 또는 "1" 반향 커널을 입력받아, 컨벌루션 연산을 취한다(705).Thereafter, the convolution unit 607 receives the audio signal divided by the divider 602 and the "0" echo kernel or the "1" echo kernel selected by the echo kernel selector 605 and performs a convolution operation. (705).

마지막으로, 중첩가산부(608)에서 부분별로 컨벌루션 연산이 취해진 분할된 오디오 신호를 입력받아, 각 부분을 중첩적으로 가산시킴으로써 비로소 워터마킹된 오디오 신호를 발생시킨다(706).Finally, the overlap adder 608 receives the divided audio signal subjected to the convolution operation for each part, and adds each part overlappingly to generate a watermarked audio signal (706).

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It will be apparent to those of ordinary knowledge.

상기한 바와 같은 본 발명은, 양의 반향 커널과 음의 반향 커널의 상쇄효과를 이용하여, 이의 조합을 통해 워터마크로 삽입될 반향 커널을 설계함으로써, 시간 영역에서 관찰할 경우 에너지가 매우 작고 임계 대역율을 이용한 주파수 영역에서 관찰할 경우 낮은 주파수 영역의 왜곡이 매우 낮은 반향을 삽입하여, 반향의 지각적 감춤 효과를 월등히 향상시키면서 워터마크의 검출시에는 충분히 큰 신호 검출을 가능하게 함으로써 반향을 이용한 강인한 디지털 오디오 워터마킹을 실현할수 있다.As described above, the present invention designes an echo kernel to be inserted into a watermark through a combination thereof by using the offset effect of the positive echo kernel and the negative echo kernel, so that the energy is very small and the critical band when observed in the time domain In the case of observation in the frequency domain using the rate, a low-frequency distortion inserts a reverb with very low distortion, which greatly improves the perceptual concealment effect of the reverberation and enables the detection of a sufficiently large signal when detecting the watermark. Digital audio watermarking can be realized.

이러한 특성으로 인해, 본 발명에 따른 반향 커널을 사용하면 같은 에너지를 갖는 단 반향을 사용하는 경우보다 음색의 변화, 즉 음질의 왜곡을 현저하게 줄일 수 있다. 이로 인해, 양의 단 반향 혹은 양의 다중 반향을 이용하는 경우에 비해 더 큰 에너지를 갖는 반향을 삽입하고도 지각되지 않는 오디오 신호를 생성할 수 있으며, 결국 왜곡을 증가시키지 않으면서 강인성을 향상시킬 수 있는 효과가 있다.Due to this characteristic, the use of the reverberation kernel according to the present invention can significantly reduce the tone change, that is, the distortion of the sound quality, than when using the single reverberation having the same energy. This makes it possible to produce an audio signal that is not perceived even by inserting more energized echoes than when using positive single echoes or positive multiple echoes, which in turn improves robustness without increasing distortion. It has an effect.

Claims (7)

반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치에 있어서,In an echo insertion apparatus in audio watermarking using echo, 워터마킹하고자 하는 오디오 신호를 입력받아, 소정의 시간단위로 분할하기 위한 오디오 신호 분할수단;Audio signal dividing means for receiving an audio signal to be watermarked and dividing the audio signal into predetermined time units; 상기 분할된 오디오 신호를 기준으로, 제 1 지연시간을 갖는 양의 단 반향 커널과 상기 제 1 지연시간과 다른 제 2 지연시간을 갖는 음의 단 반향 커널로 이루어진 제 1 반향 커널을 생성하기 위한 제 1 반향 커널 생성수단;A first echo kernel comprising a positive single echo kernel having a first delay time and a negative single echo kernel having a second delay time different from the first delay time, based on the divided audio signal; 1 echo kernel generating means; 상기 분할된 오디오 신호를 기준으로, 제 3 지연시간을 갖는 양의 단 반향 커널과 상기 제 3 지연시간과 다른 제 4 지연시간을 갖는 음의 단 반향 커널로 이루어져, 상기 제 1 반향 커널과 구분되는 제 2 반향 커널을 생성하기 위한 제 2 반향 커널 생성수단;A positive single echo kernel having a third delay time and a negative single echo kernel having a fourth delay time different from the third delay time, based on the divided audio signal, are distinguished from the first echo kernel. Second echo kernel generating means for generating a second echo kernel; 상기 반향 커널 생성수단에서 생성된 상기 제 1 반향 커널 및 제 2 반향 커널을 워터마크 검출장치에서 검출할 수 있도록 그 정해진 순서에 따라 상기 반향 커널을 선택하기 위한 반향 커널 선택수단;Echo kernel selecting means for selecting the echo kernel in a predetermined order so that the first echo kernel and the second echo kernel generated by the echo kernel generating means can be detected by the watermark detection apparatus; 상기 오디오 신호 분할수단으로부터 입력받은 상기 분할된 오디오 신호와 상기 반향 커널 선택수단으로부터 입력받은 상기 선택된 반향 커널에 대해 상호 컨벌루션 연산을 취하기 위한 컨벌루션 연산수단; 및Convolution calculation means for performing a mutual convolution operation on the divided audio signal received from the audio signal dividing means and the selected echo kernel received from the echo kernel selecting means; And 상기 컨벌루션 연산수단에 의해 컨벌루션 연산된 분할된 오디오 신호를 입력받아 중첩가산시킴으로써, 워터마킹된 오디오 신호를 생성하기 위한 중첩가산수단Superimposed addition means for generating a watermarked audio signal by overlapping and adding the divided audio signal convolutionally calculated by the convolution operation means 을 포함하는 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치.Echo insertion device in audio watermarking using the echo comprising a. 제 1 항에 있어서,The method of claim 1, 상기 제 1 및 제 2 반향 커널은,The first and second echo kernels, 실질적으로, 상기 양의 반향 커널의 크기와 음의 반향 커널의 크기의 절대값이 같은 것을 특징으로 하는 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치.Substantially, the echo insertion apparatus in the audio watermarking using echo, characterized in that the absolute value of the size of the positive echo kernel and the size of the negative echo kernel. 제 1 항에 있어서,The method of claim 1, 상기 제 1 및 제 2 반향 커널은,The first and second echo kernels, 실질적으로, 상기 양의 반향 커널의 크기와 음의 반향 커널의 크기의 절대값이 소정의 차이로 다른 것을 특징으로 하는 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치.Substantially, an echo insertion apparatus in audio watermarking using echo, characterized in that the absolute value of the magnitude of the positive echo kernel and the magnitude of the negative echo kernel differ by a predetermined difference. 반향을 이용한 오디오 워터마킹에서의 반향 삽입 방법에 있어서,In the echo insertion method in audio watermarking using echo, 워터마킹하고자 하는 오디오 신호를 입력받아, 소정의 시간단위로 분할하는 제 1 단계;A first step of receiving an audio signal to be watermarked and dividing the audio signal into predetermined time units; 상기 분할된 오디오 신호를 기준으로, 제 1 지연시간을 갖는 양의 단 반향 커널과 상기 제 1 지연시간과 다른 제 2 지연시간을 갖는 음의 단 반향 커널로 이루어진 제 1 반향 커널을 생성하는 제 2 단계;Generating a first echo kernel comprising a positive mono echo kernel having a first delay time and a negative mono echo kernel having a second delay time different from the first delay based on the divided audio signal step; 상기 분할된 오디오 신호를 기준으로, 제 3 지연시간을 갖는 양의 단 반향 커널과 상기 제 3 지연시간과 다른 제 4 지연시간을 갖는 음의 단 반향 커널로 이루어져, 상기 제 1 반향 커널과 구분되는 제 2 반향 커널을 생성하는 제 3 단계;A positive single echo kernel having a third delay time and a negative single echo kernel having a fourth delay time different from the third delay time, based on the divided audio signal, are distinguished from the first echo kernel. Generating a second echo kernel; 상기 제 1 반향 커널 및 제 2 반향 커널을 워터마크 검출장치에서 검출할 수 있도록 그 정해진 순서에 따라 상기 반향 커널을 선택하는 제 4 단계;A fourth step of selecting the echo kernel in a predetermined order so that the first echo kernel and the second echo kernel can be detected by a watermark detection apparatus; 상기 제 1 단계에서 생성된 분할된 오디오 신호와 상기 제 4 단계에서 생성된 선택된 반향 커널을 상호 컨벌루션 연산을 취하는 제 5 단계; 및A fifth step of performing a convolution operation on the divided audio signal generated in the first step and the selected echo kernel generated in the fourth step; And 상기 제 5 단계에서 컨벌루션 연산된 분할된 오디오 신호를 중첩가산시킴으로써 워터마킹된 오디오 신호를 생성하는 제 6 단계A sixth step of generating a watermarked audio signal by superimposing and adding the convolutionally calculated partitioned audio signal in the fifth step; 를 포함하는 반향을 이용한 오디오 워터마킹에서의 반향 삽입 방법.Echo insertion method in audio watermarking using the echo comprising a. 제 4 항에 있어서,The method of claim 4, wherein 상기 제 1 및 제 2 반향 커널은,The first and second echo kernels, 실질적으로, 상기 양의 반향 커널의 크기와 음의 반향 커널의 크기의 절대값이 같은 것을 특징으로 하는 반향을 이용한 오디오 워터마킹에서의 반향 삽입 방법.Substantially, the echo insertion method in the audio watermarking using echo, characterized in that the absolute value of the size of the positive echo kernel and the size of the negative echo kernel. 제 4 항에 있어서,The method of claim 4, wherein 상기 제 1 및 제 2 반향 커널은,The first and second echo kernels, 실질적으로, 상기 양의 반향 커널의 크기와 음의 반향 커널의 크기의 절대값이 소정의 차이로 다른 것을 특징으로 하는 반향을 이용한 오디오 워터마킹에서의 반향 삽입 방법.Substantially, the echo insertion method in the audio watermarking using echo, characterized in that the absolute value of the magnitude of the positive echo kernel and the magnitude of the negative echo kernel differ by a predetermined difference. 프로세서를 구비한 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치에,In an echo insertion device in audio watermarking using echo with a processor, 워터마킹하고자 하는 오디오 신호를 입력받아, 소정의 시간단위로 분할하는 제 1 기능;A first function of receiving an audio signal to be watermarked and dividing the audio signal into predetermined time units; 상기 분할된 오디오 신호를 기준으로, 제 1 지연시간을 갖는 양의 단 반향 커널과 상기 제 1 지연시간과 다른 제 2 지연시간을 갖는 음의 단 반향 커널로 이루어진 제 1 반향 커널을 생성하는 제 2 기능;Generating a first echo kernel comprising a positive mono echo kernel having a first delay time and a negative mono echo kernel having a second delay time different from the first delay based on the divided audio signal function; 상기 분할된 오디오 신호를 기준으로, 제 3 지연시간을 갖는 양의 단 반향 커널과 상기 제 3 지연시간과 다른 제 4 지연시간을 갖는 음의 단 반향 커널로 이루어져, 상기 제 1 반향 커널과 구분되는 제 2 반향 커널을 생성하는 제 3 기능;A positive single echo kernel having a third delay time and a negative single echo kernel having a fourth delay time different from the third delay time, based on the divided audio signal, are distinguished from the first echo kernel. A third function of generating a second echo kernel; 상기 제 1 반향 커널 및 제 2 반향 커널을 워터마크 검출장치에서 검출할 수 있도록 그 정해진 순서에 따라 상기 반향 커널을 선택하는 제 4 기능;A fourth function of selecting the echo kernel in a predetermined order so that the first echo kernel and the second echo kernel can be detected by a watermark detection apparatus; 상기 제 1 기능에서 생성된 분할된 오디오 신호와 상기 제 4 기능에서 생성된 선택된 반향 커널을 상호 컨벌루션 연산을 취하는 제 5 기능; 및A fifth function for performing a mutual convolution operation on the divided audio signal generated in the first function and the selected echo kernel generated in the fourth function; And 상기 제 5 기능에서 컨벌루션 연산된 분할된 오디오 신호를 중첩가산시킴으로써 워터마킹된 오디오 신호를 생성하는 제 6 기능A sixth function of generating a watermarked audio signal by superimposing and adding the convolutionally-operated partitioned audio signal in the fifth function 을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for realizing this.
KR10-2001-0068291A 2001-11-02 2001-11-02 Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal KR100430566B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0068291A KR100430566B1 (en) 2001-11-02 2001-11-02 Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0068291A KR100430566B1 (en) 2001-11-02 2001-11-02 Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal

Publications (2)

Publication Number Publication Date
KR20030037174A true KR20030037174A (en) 2003-05-12
KR100430566B1 KR100430566B1 (en) 2004-05-10

Family

ID=29567816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0068291A KR100430566B1 (en) 2001-11-02 2001-11-02 Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal

Country Status (1)

Country Link
KR (1) KR100430566B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2460306A (en) * 2008-05-29 2009-12-02 Intrasonics Ltd Audio signal data embedding using echo polarity
KR100947466B1 (en) * 2008-03-28 2010-03-17 주식회사 마크애니 Apparatus and method for generating and emitting watermark
CN102237093A (en) * 2011-05-23 2011-11-09 南京邮电大学 Echo hiding method based on forward and backward echo kernels
CN101115124B (en) * 2006-07-26 2012-04-18 日电(中国)有限公司 Method and apparatus for identifying media program based on audio watermark

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100589706B1 (en) * 1997-12-22 2006-06-15 코닌클리케 필립스 일렉트로닉스 엔.브이. Embedding supplemental data in an encoded signal
US6330673B1 (en) * 1998-10-14 2001-12-11 Liquid Audio, Inc. Determination of a best offset to detect an embedded pattern
GB2363300B (en) * 1998-12-29 2003-10-01 Kent Ridge Digital Labs Digital audio watermarking using content-adaptive multiple echo hopping
US7543148B1 (en) * 1999-07-13 2009-06-02 Microsoft Corporation Audio watermarking with covert channel and permutations

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115124B (en) * 2006-07-26 2012-04-18 日电(中国)有限公司 Method and apparatus for identifying media program based on audio watermark
KR100947466B1 (en) * 2008-03-28 2010-03-17 주식회사 마크애니 Apparatus and method for generating and emitting watermark
GB2460306A (en) * 2008-05-29 2009-12-02 Intrasonics Ltd Audio signal data embedding using echo polarity
US8560913B2 (en) 2008-05-29 2013-10-15 Intrasonics S.A.R.L. Data embedding system
CN102237093A (en) * 2011-05-23 2011-11-09 南京邮电大学 Echo hiding method based on forward and backward echo kernels
CN102237093B (en) * 2011-05-23 2012-08-15 南京邮电大学 Echo hiding method based on forward and backward echo kernels

Also Published As

Publication number Publication date
KR100430566B1 (en) 2004-05-10

Similar Documents

Publication Publication Date Title
Hua et al. Twenty years of digital audio watermarking—a comprehensive review
RU2405218C2 (en) Method for incorporation of digital watermark into wanted signal
Kirovski et al. Spread-spectrum watermarking of audio signals
Lie et al. Robust and high-quality time-domain audio watermarking based on low-frequency amplitude modification
JP3554825B2 (en) Digital watermark system
JP4664431B2 (en) Apparatus and method for generating an ambience signal
US7328161B2 (en) Audio decoding method and apparatus which recover high frequency component with small computation
US8116514B2 (en) Water mark embedding and extraction
JP2008529046A5 (en)
US20100057231A1 (en) Audio watermarking apparatus and method
Xiang et al. Digital audio watermarking: fundamentals, techniques and challenges
KR100430566B1 (en) Method and Apparatus of Echo Signal Injecting in Audio Water-Marking using Echo Signal
Petrovic et al. Data hiding within audio signals
JP5554658B2 (en) Audio digital watermark embedding apparatus and program
Cho et al. An acoustic data transmission system based on audio data hiding: method and performance evaluation
Huang et al. Robust and inaudible multi-echo audio watermarking
US20060168448A1 (en) Raising detectability of additonal data in a media signal having few frequency components
He et al. A high capacity watermarking technique for stereo audio
Lin et al. Audio watermarking techniques
Liew et al. Inaudible watermarking via phase manipulation of random frequencies
Shiu et al. A stereo audio steganography by inserting low-frequency and octave equivalent pure tones
KR100611412B1 (en) Method for inserting and extracting audio watermarks using masking effects
Wei et al. Audio watermarking of stereo signals based on echo-hiding method
JP4125520B2 (en) Decoding method for transform-coded data and decoding device for transform-coded data
JP3753956B2 (en) Encoder

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100401

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee