KR101268830B1 - watermark relay device, method and system for efficient information transmission - Google Patents

watermark relay device, method and system for efficient information transmission Download PDF

Info

Publication number
KR101268830B1
KR101268830B1 KR1020110098851A KR20110098851A KR101268830B1 KR 101268830 B1 KR101268830 B1 KR 101268830B1 KR 1020110098851 A KR1020110098851 A KR 1020110098851A KR 20110098851 A KR20110098851 A KR 20110098851A KR 101268830 B1 KR101268830 B1 KR 101268830B1
Authority
KR
South Korea
Prior art keywords
watermark
terminal
information
input signal
wired
Prior art date
Application number
KR1020110098851A
Other languages
Korean (ko)
Other versions
KR20130034784A (en
Inventor
신동환
Original Assignee
주식회사 마크애니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마크애니 filed Critical 주식회사 마크애니
Priority to KR1020110098851A priority Critical patent/KR101268830B1/en
Publication of KR20130034784A publication Critical patent/KR20130034784A/en
Application granted granted Critical
Publication of KR101268830B1 publication Critical patent/KR101268830B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

다양한 환경에서 개선된 성능을 갖는 워터마킹 기술을 구현하기 위한 워터마킹 중계 장치, 방법 및 시스템이 개시된다. 제 1 워터마크가 삽입된 컨텐츠 신호로부터 제 1 워터마크를 검출하고 이를 제 2 워터마크로 변환하여 컨텐츠 신호에 삽입하거나 이를 유무선 통신 방식으로 전송하는 워터마크 중계 장치, 방법 및 시스템이 개시된다. A watermarking relay apparatus, method, and system are disclosed for implementing a watermarking technique with improved performance in various environments. Disclosed is a watermark relay apparatus, method, and system for detecting a first watermark from a content signal having a first watermark embedded therein, converting the first watermark into a second watermark, and inserting the same watermark into a content signal or transmitting the same in a wired / wireless communication manner.

Description

효율적인 정보전달을 위한 워터마크 중계 장치, 방법 및 시스템 {watermark relay device, method and system for efficient information transmission}Watermark relay device, method and system for efficient information transmission

저작권 보호를 요하는 컨텐츠를 송수신함에 있어서 보다 효율적인 정보전달을 위한 워터마크 중계 방법 및 시스템에 관한 발명으로, 보다 상세하게는, 서로 다른 특성을 갖는 2 개 이상의 워터마킹 알고리즘을 결합하여 다양한 환경에서도 우수한 성능을 나타낼 수 있도록 하는 워터마킹 중계 장치, 방법 및 시스템에 관한 발명이다.The present invention relates to a watermark relay method and system for more efficient information transfer in transmitting and receiving contents requiring copyright protection. More specifically, the combination of two or more watermarking algorithms having different characteristics is excellent in various environments. An invention is directed to a watermarking relay device, method and system for exhibiting performance.

워터마킹 기술은 이미지, 오디오, 비디오, 텍스트 등의 컨텐츠 내에 부가정보를 비인지적 (또는 인지적) 으로 삽입하고 추출하는 기술로, 저장 매체 및 통신 기술, 특히 인터넷의 발달에 따라 불법 복제에 대응하여 저작권을 보호하기 위한 기술로서 최근 대두 되고 있다. 여기서, 부가정보는 저작권자와 소유권자에 대한 정보, 구매자 정보, 기타 제어 정보 등을 지칭한다. Watermarking technology is a technology for non-cognitively (or cognitively) inserting and extracting additional information into content such as images, audio, video, and text. In response to the development of storage media and communication technology, especially the Internet, It is recently emerging as a technology for protecting copyright. Here, the additional information refers to information about the copyright holder and the owner, buyer information, and other control information.

워터마킹 기술은, 삽입되는 정보의 종류에 따라 여러 가지 용도로 사용 가능한데, 소유권자의 정보가 삽입되어 있을 경우 컨텐츠의 소유권 정보를 추출하여 불법 복사본을 판별할 수 있고, 삽입 정보가 구매자 정보인 경우에는 처음 컨텐츠를 유출한 구매자를 역추적할 수 있게 해 준다. 또한 삽입되어 있는 정보에 따라 컨텐츠의 사용제한을 가하거나 위, 변조 여부를 탐지하는 등의 기타 다른 부가적인 서비스도 가능하게 해준다.Watermarking technology can be used for various purposes according to the type of information to be inserted. If the owner's information is inserted, the owner's information can be extracted and the illegal copy can be determined. It allows you to trace back the buyer who originally leaked the content. It also enables other additional services, such as restricting the use of content, detecting forgery, and tampering, depending on the information inserted.

이러한 워터마킹 기술 개발을 위해 고려해야 할 요구사항들로는 다음과 같은 것이 있다. The requirements to be considered for the development of this watermarking technology are as follows.

- 비인지성(Imperceptibility) Imperceptibility

특히, 비인지적 (Invisible) 워터마킹 기술에 있어 중요한 요구사항으로, 워터마크를 삽입한 후의 컨텐츠의 품질이 삽입 전과 동일하게 유지해야 된다는 조건이다. 예를 들어, 워터마크가 음악에 삽입되었을 때, 원래의 음악과 워터마킹 된 음악 사이의 차이를 청취자가 구별할 수 없을 정도여야 하며, 영상 또는 비디오의 경우에도 마찬가지로 화질의 차이를 느낄 수 없어야 한다. In particular, an important requirement in invisible watermarking technology is the condition that the quality of the content after the watermark is inserted should remain the same as before the insertion. For example, when a watermark is inserted into the music, the difference between the original music and the watermarked music must be indistinguishable from the listener, and in the case of video or video, the difference in image quality should not be felt. .

- 강인성(Robustness) Robustness

강인성은 저작권 소유권자를 위해 고려되어야 할 중요한 요구사항으로, 다양한 공격에도 워터마크가 소유권자에 의해 검출되어야 한다는 조건이다. 예를 들면, 영상에 대한 공격으로는 JPEG 과 같은 손실 부호화, 필터링, 크기변환, 대비강조(contrast enhancement), 클리핑(cropping), 재양자화(requantization), 회전(rotation), 변위(translation) 등이 있다. 이와 같은 공격은 워터마크 검출시 소유권자의 워터마크와 삽입된 워터마크 간의 동기(synchronization)를 잃도록 함으로써 워터마크를 제거하려는 시도로서, 이미지에 대한 워터마킹 기술은 이 공격에 매우 강인하여야 한다. Toughness is an important requirement to be considered for copyright owners, and the condition that watermarks should be detected by the owners in various attacks. For example, attacks on images include lossy coding, filtering, scaling, contrast enhancement, clipping, requantization, rotation, and translation, such as JPEG. have. Such an attack is an attempt to remove the watermark by losing synchronization between the owner's watermark and the embedded watermark upon watermark detection, and the watermarking technique for the image should be very robust to this attack.

- 삽입량(Capacity) -Capacity

제한된 크기의 컨텐츠에 삽입되는 워터마크가 수용할 수 있는 정보의 양으로 비트로 표현된다. 저작물의 정보나 구매자의 정보 등의 많은 정보를 수용하기 위해서는 큰 삽입량을 확보해야 하지만, 반대로 강인성의 조건을 만족시키기 위해서는 삽입량을 작게 해야 한다. Watermarks embedded in content of limited size are represented in bits by the amount of information that can be accommodated. In order to accommodate a lot of information such as the information of the copyrighted work or the buyer's information, a large insertion amount must be secured.

- 검출률(False Negative Alarm, False Positive Alarm) -Detection rate (False Negative Alarm, False Positive Alarm)

검출률은 워터마크가 삽입된 컨텐츠에서 정확하게 워터마크를 검출할 확률을 나타내는 것으로 검출에 성공한 정도를 나타내는 검출률(False Negative Alarm)과 부정확한 워터마크를 검출한 정도를 나타내는 오검출률(False Positive Alarm)로 나뉜다. 오검출률은 판단오류라고도 하며 삽입된 워터마크가 아닌 다른 워터마크가 검출될 확률로 워터마크의 진위를 가리는데 큰 부정적 영향을 미칠 수도 있으므로 아주 작은 값을 갖도록 설계되어야 한다.The detection rate indicates the probability of detecting the watermark accurately in the watermarked content. It is a false negative alarm indicating the degree of successful detection and a false positive alarm indicating the degree of inaccurate watermark detection. Divided. The false detection rate is also called a decision error and should be designed to have a very small value because it may have a big negative effect on the authenticity of the watermark with the probability that a watermark other than the inserted watermark is detected.

이러한 요구사항들은 대상 컨텐츠 및 적용 분야에 따라 달라질 수 있는 것으로, 강인성, 비인지성, 정보 삽입량은 서로 트레이드 오프 관계에 있어 적용되는 응용분야에 따라 적절한 보정을 필요로 한다.These requirements may vary depending on the target content and the field of application. Toughness, non-cognition, and the amount of information insertion need to be appropriately corrected according to the applied field in the trade-off relationship.

종래의 워터마킹 기술은 특정 환경에 적합하도록 만들어지는 것이 일반적이었다. 왜냐하면, 종래의 워터마킹 기술에 이용되는 워터마킹 알고리즘은 특정 환경에서 우수한 성능을 갖도록 설계되어 사용되고 있기 때문이다. 여기서 말하는 환경이라 함은 워터마크를 검출하기 어렵게 만드는 다양한 요인을 지칭하며, 압축, 잡음 첨가, A/D 또는 D/A 변환, 타임스케일링, 피치 이동, 음질 열화, 영상 왜곡 등이 있다. Conventional watermarking techniques have typically been made to suit a particular environment. This is because the watermarking algorithm used in the conventional watermarking technology is designed and used to have excellent performance in a specific environment. The environment referred to herein refers to various factors that make the watermark difficult to detect, and may include compression, noise addition, A / D or D / A conversion, time scaling, pitch shift, sound quality degradation, and image distortion.

다만, 특정 환경에 대하여 우수한 성능을 나타내는 워터마킹 알고리즘은 그 특정 환경과 다른 환경에서는 우수한 성능을 나타내지 못하는 것이 일반적으로, 모든 환경에서 우수한 성능을 나타내는 알고리즘을 구현하는 것은 극히 어려운 일이다. 일 예로, 압축에 강한 워터마킹 알고리즘은 A/D 또는 D/A 변환에 대해 매우 취약한 단점을 가질 수도 있으며, A/D 또는 D/A 변환에 강한 워터마킹 알고리즘은 반대로 압축에 대해 매우 취약한 단점을 가질 수도 있다. However, it is generally difficult to implement an algorithm that shows excellent performance in a specific environment in which a watermarking algorithm that exhibits excellent performance in a specific environment does not show excellent performance in an environment different from that of a specific environment. For example, a watermarking algorithm that is resistant to compression may have a very weak point for A / D or D / A conversion, and a watermarking algorithm that is strong for A / D or D / A conversion may have a weak point for compression. May have

본 발명은 이러한 종래 기술의 문제점을 개선하여, 다양한 환경에서도 우수한 성능을 나타내는 워터마킹 기술을 구현하고자 한다.The present invention is to improve the problems of the prior art, to implement a watermarking technique that shows excellent performance in various environments.

효율적인 정보전달을 위한 워터마크 중계 장치는, 제 1 단말기로부터 컨텐츠 및 제 1 워터마크를 포함하는 입력신호를 수신하고, 수신된 입력신호로부터 제 1 워터마크를 검출하는 제 1 워터마크 검출부, 제 1 워터마크를 제 2 워터마크로 변환하는 워터마크 변환부, 및 제 2 워터마크를 포함하는 출력 신호를 제 2 단말기로 출력하는 제 2 워터마크 삽입부를 포함하고, 여기서, 제 1 워터마크와 제 2 워터마크는 동일한 워터마크 정보에 기초하고, 제 1 워터마크와 제 2 워터마크는 컨텐츠에 대한 상이한 환경 특성을 가지며, 워터마크 변환부는 제 2 워터마크의 변환 및 삽입에 필요한 설정을 변경하도록 구성될 수도 있다. 이 때, 워터마크 정보는 사용자 정보, 저작권 정보, 컨텐츠의 복제 정보, 유통 정보, 불법 여부에 관한 정보 및 과금 여부에 관한 정보 중 적어도 하나 이상을 포함할 수도 있다.The watermark relay apparatus for efficient information transmission comprises: a first watermark detection unit for receiving an input signal including content and a first watermark from a first terminal, and detecting a first watermark from the received input signal; A watermark conversion unit for converting the watermark into a second watermark, and a second watermark embedding unit for outputting an output signal including the second watermark to the second terminal, wherein the first watermark and the second watermark The mark is based on the same watermark information, the first watermark and the second watermark have different environmental characteristics for the content, and the watermark converting unit may be configured to change settings necessary for the conversion and insertion of the second watermark. have. In this case, the watermark information may include at least one or more of user information, copyright information, content duplication information, distribution information, illegal information, and billing information.

바람직하게는, 워터마크 중계 장치는, 입력신호를 제 2 워터마크 삽입부로 전달할지 여부를 결정하는 입력신호 제어부를 더 포함하고, 이 때, 제 2 워터마크 삽입부는, 입력신호 제어부의 결정에 따라 입력신호를 선택적으로 수신하여, 입력신호에 제 2 워터마크를 삽입한 신호 또는 상기 제 2 워터마크를 상기 출력신호로 생성할 수도 있다. Preferably, the watermark relay apparatus further includes an input signal controller for determining whether to transmit the input signal to the second watermark inserting unit, wherein the second watermark inserting unit is according to the determination of the input signal controller. An input signal may be selectively received to generate a signal obtained by embedding a second watermark in the input signal or the second watermark as the output signal.

바람직하게는, 제 1 워터마크 검출부는 제 1 워터마크를 유무선 방식으로 송수신가능하도록 구성된 유무선 입출력부로 대체될 수도 있으며, 또는, 제 2 워터마크 삽입부가 제 2 워터마크를 유무선 방식으로 송수신가능하도록 구성된 유무선 입출력부로 대체될 수도 있다.Preferably, the first watermark detection unit may be replaced with a wired / wireless input / output unit configured to transmit / receive the first watermark in a wired / wireless manner, or the second watermark insertion unit may be configured to transmit / receive the second watermark in a wired / wireless manner. It may be replaced by a wired or wireless input / output unit.

일 실시형태에서, 워터마크 중계 장치는, 제 1 단말기 및 제 2 단말기와는 독립적으로 운영될 수도 있다. 또 다른 실시형태에서, 워터마크 중계 장치는, 제 1 단말기 내에서 운영될 수도 있다.In one embodiment, the watermark relay apparatus may operate independently of the first terminal and the second terminal. In yet another embodiment, the watermark relay device may be operated in the first terminal.

워터마크 중계 방법은, 제 1 단말기로부터 입력신호를 획득하는 단계, 획득된 입력신호로부터 제 1 워터마크를 검출하는 단계, 검출된 제 1 워터마크를 제 2 워터마크로 변환하는 단계, 및 제 2 워터마크를 포함하는 출력신호를 생성하고 생성된 출력신호를 제 2 단말기로 출력하는 단계를 포함하고, 여기서, 제 1 워터마크와 제 2 워터마크는 동일한 워터마크 정보에 기초하고, 제 1 워터마크와 제 2 워터마크는 컨텐츠에 대한 상이한 환경 특성을 가지며, 제 2 워터마크로 변환하는 단계는 제 2 워터마크의 변환 및 삽입에 필요한 설정을 변경하도록 구성될 수도 있다. 이 때, 워터마크 정보는 사용자 정보, 저작권 정보, 컨텐츠의 복제 정보, 유통 정보, 불법 여부에 관한 정보 및 과금 여부에 관한 정보 중 적어도 하나 이상을 포함할 수도 있다. The watermark relay method may include obtaining an input signal from a first terminal, detecting a first watermark from the obtained input signal, converting the detected first watermark into a second watermark, and a second watermark. Generating an output signal including the mark and outputting the generated output signal to the second terminal, wherein the first watermark and the second watermark are based on the same watermark information, The second watermark has different environmental characteristics for the content, and the step of converting to the second watermark may be configured to change settings necessary for the conversion and insertion of the second watermark. In this case, the watermark information may include at least one or more of user information, copyright information, content duplication information, distribution information, illegal information, and billing information.

바람직하게는, 제 2 워터마크로 변환하는 단계 이후 상기 출력 신호를 생성하는 단계 이전에, 입력신호를 출력신호 생성에 사용할지 여부를 결정하는 단계를 더 포함할 수도 있고, 출력신호를 생성하고 생성된 출력신호를 제 2 단말기로 출력하는 단계는, 입력신호를 출력신호에 사용할지 여부를 결정하는 단계에서의 결정에 따라 입력신호를 선택적으로 수신하여, 입력신호에 제 2 워터마크를 삽입한 신호 또는 제 2 워터마크를 출력신호로 생성하는 단계를 더 포함할 수도 있다. Preferably, the method may further include determining whether to use an input signal to generate an output signal after converting to the second watermark and before generating the output signal. The outputting of the output signal to the second terminal may include selectively receiving the input signal according to the determination in the step of determining whether to use the input signal as the output signal, or inserting a second watermark into the input signal. The method may further include generating a second watermark as an output signal.

워터마크 중계 시스템은, 제 1 워터마크가 삽입된 컨텐츠를 재생하는 제 1 단말기, 제 1 워터마크를 제 2 워터마크로 변환하여 전송하는 워터마크 중계 장치, 및 제 2 워터마크를 추출하고 관련된 서비스를 제공하는 제 2 단말기를 포함하고, 워터마크 중계 장치는, 제 1 단말기로부터 제 1 워터마크가 삽입된 컨텐츠를 입력신호로 수신하고, 입력신호로부터 제 1 워터마크를 검출하는 제 1 워터마크 검출부, 제 1 워터마크를 제 2 워터마크로 변환하는 워터마크 변환부, 및 제 2 워터마크를 포함하는 출력신호를 제 2 단말기로 출력하는 제 2 워터마크 삽입부를 포함하며, 제 1 워터마크와 제 2 워터마크는 동일한 워터마크 정보에 기초하고, 제 1 워터마크와 제 2 워터마크는 컨텐츠에 대한 상이한 환경 특성을 가지며, 워터마크 변환부는 제 2 워터마크의 변환 및 삽입에 필요한 설정을 변경하도록 더 구성될 수도 있다. The watermark relay system includes a first terminal for reproducing content inserted with a first watermark, a watermark relay device for converting and transmitting a first watermark to a second watermark, and extracting a second watermark and a related service. A watermark relay device comprising: a first watermark detection unit for receiving a content having a first watermark embedded therein as an input signal and detecting a first watermark from the input signal; A watermark converting unit for converting the first watermark into a second watermark, and a second watermark inserting unit for outputting an output signal including the second watermark to the second terminal, the first watermark and the second watermark The mark is based on the same watermark information, the first watermark and the second watermark have different environmental characteristics for the content, and the watermark converting unit converts the second watermark and It may be further configured to change the settings required for your mouth.

바람직하게는, 워터마크 중계 시스템 내의 워터마크 중계 장치는, 입력신호를 제 2 워터마크 삽입부로 전달할지 여부를 결정하는 입력신호 제어부를 더 포함할 수도 있고, 제 2 워터마크 삽입부는 입력신호 제어부의 결정에 따라 입력신호를 선택적으로 수신하여, 입력신호에 제 2 워터마크를 삽입한 신호 또는 제 2 워터마크를 출력신호로 생성할 수도 있다. Preferably, the watermark relay apparatus in the watermark relay system may further include an input signal controller for determining whether to transmit an input signal to the second watermark inserter, and the second watermark inserter may further include an input signal controller. According to the determination, the input signal may be selectively received to generate a signal having a second watermark embedded in the input signal or a second watermark as an output signal.

바람직하게는, 제 1 워터마크 검출부는 제 1 워터마크를 유무선 방식으로 송수신가능하도록 구성된 유무선 입출력부로 대체될 수도 있으며, 또는, 제 2 워터마크 삽입부가 제 2 워터마크를 유무선 방식으로 송수신가능하도록 구성된 유무선 입출력부로 대체될 수도 있다. 이 때, 유무선 입출력부는, 유선으로 통신하는 경우에는 RS232, RS482, 또는 유선 IP 네트워크망을 이용하고, 무선으로 통신하는 경우에는 WIFI, 블루투스 (Bluetooth), 지그비 (zigbee), 또는 무선 USB 를 이용할 수도 있다. Preferably, the first watermark detection unit may be replaced with a wired / wireless input / output unit configured to transmit / receive the first watermark in a wired / wireless manner, or the second watermark insertion unit may be configured to transmit / receive the second watermark in a wired / wireless manner. It may be replaced by a wired or wireless input / output unit. In this case, the wired / wireless input / output unit may use RS232, RS482, or a wired IP network network for wired communication, and WIFI, Bluetooth, Zigbee, or wireless USB for wireless communication. have.

일 실시형태에서, 워터마크 중계 시스템은, 제 1 단말기 및 제 2 단말기와는 독립적으로 운영될 수도 있다. 또 다른 실시형태에서, 워터마크 중계 시스템은, 제 1 단말기 내에서 운영될 수도 있다.In one embodiment, the watermark relay system may operate independently of the first terminal and the second terminal. In another embodiment, the watermark relay system may be operated within the first terminal.

특정 환경에 대하여 우수한 성능을 나타내는 2 개 이상의 알고리즘을 결합함으로써, 다양한 환경에 대하여 성능이 개선된 워터마크 중계 방법 및 시스템을 구현할 수 있다.By combining two or more algorithms that exhibit excellent performance for a particular environment, a watermark relay method and system with improved performance for various environments can be implemented.

도 1 은 일 예시적인 워터마크 중계 시스템의 기능 블록도를 나타낸다.
도 2 는 일 예시적인 워터마크 중계 시스템의 흐름도를 나타낸다.
도 3 은 본 발명의 일 실시형태에 따른, 워터마크 중계 시스템의 개략도를 나타낸다.
도 4 는 본 발명의 다른 실시형태에 따른, 워터마크 중계 시스템의 개략도를 나타낸다.
도 5 는 본 발명의 또 다른 실시형태에 따른, 워터마크 중계 시스템의 개략도를 나타낸다.
도 6 은 본 발명의 또 다른 실시형태에 따른, 워터마크 중계 시스템의 개략도를 나타낸다.
도 7 은 다른 예시적인 워터마크 중계 시스템의 기능 블록도를 나타낸다.
도 8 은 또 다른 예시적인 워터마크 중계 시스템의 기능 블록도를 나타낸다.
도 9 는 본 발명의 또 다른 실시형태에 따른, 워터마크 중계 시스템의 개략도를 나타낸다.
1 illustrates a functional block diagram of an exemplary watermark relay system.
2 shows a flowchart of an exemplary watermark relay system.
3 shows a schematic diagram of a watermark relay system, in accordance with an embodiment of the present invention.
4 shows a schematic diagram of a watermark relay system, in accordance with another embodiment of the present invention.
5 shows a schematic diagram of a watermark relay system, in accordance with another embodiment of the present invention.
6 shows a schematic diagram of a watermark relay system, in accordance with another embodiment of the present invention.
7 illustrates a functional block diagram of another exemplary watermark relay system.
8 illustrates a functional block diagram of another exemplary watermark relay system.
9 shows a schematic diagram of a watermark relay system, in accordance with another embodiment of the present invention.

도 1 은 일 예시적인 워터마크 중계 시스템 (100) 의 기능 블록도이다. 워터마크 중계 시스템 (100) 은 제 1 워터마크 검출부 (104), 워터마크 변환부 (106), 제 2 워터마크 삽입부 (108), 입력신호 제어부 (110) 을 통합하여 구성된다. 1 is a functional block diagram of an exemplary watermark relay system 100. The watermark relay system 100 is configured by integrating the first watermark detection unit 104, the watermark conversion unit 106, the second watermark insertion unit 108, and the input signal control unit 110.

입력신호 (102) 는 제 1 워터마크 정보가 삽입되어 있는 컨텐츠에 대한 신호이다. 컨텐츠는 이미지 컨텐츠, 오디오 컨텐츠, 또는 비디오 컨텐츠일 수도 있다. 컨텐츠 재생시, 제 1 워터마크 정보가 삽입되었는지 여부는 대개 컨텐츠 이용자에게 식별되지 않는다. 제 1 워터마크 정보를 컨텐츠에 삽입하기 위해 제 1 워터마크 삽입 알고리즘이 이용된다. The input signal 102 is a signal for the content in which the first watermark information is inserted. The content may be image content, audio content, or video content. When content is played back, whether or not the first watermark information has been inserted is usually not identified to the content user. A first watermark embedding algorithm is used to embed the first watermark information in the content.

제 1 워터마크 검출부 (104) 는 제 1 워터마크 정보가 삽입되어 있는 컨텐츠에 대한 신호인 입력신호 (102) 로부터 제 1 워터마크 정보를 검출하는 기능을 한다. 제 1 워터마크 정보를 검출하기 위해 제 1 워터마크 검출 알고리즘이 사용되며, 제 1 워터마크 삽입 알고리즘 및 제 1 워터마크 검출 알고리즘을 포함하는 제 1 워터마킹 알고리즘은, 예를 들면, 압축 또는 일부 자르기 공격에 강한 특성을 갖는 반면에, 잡음 첨가 또는 A/D 변환 (또는 D/A 변환) 에 쉽게 열화되는 특성을 가질 수도 있다.  The first watermark detection unit 104 functions to detect the first watermark information from the input signal 102 which is a signal for the content in which the first watermark information is inserted. A first watermark detection algorithm is used to detect the first watermark information, and the first watermarking algorithm comprising the first watermark embedding algorithm and the first watermark detection algorithm is, for example, compressed or partially cropped. While resistant to attack, it may have a property that is easily degraded to noise addition or A / D conversion (or D / A conversion).

워터마크 변환부 (106) 는 제 1 워터마크 정보를 제 2 워터마크 정보로 변환시키는 기능을 수행한다. 여기서 제 1 워터마크 정보와 제 2 워터마크 정보는 동일한 워터마크 정보에 기초하고 각각 특정 환경 특성에 적합한 상이한 알고리즘에 기초한 것으로, 구체적으로, 워터마크 정보는 사용자 정보, 저작권 정보, 컨텐츠의 복제 정보, 유통 정보, 불법 여부에 관한 정보 및 과금 여부에 관한 정보 중 적어도 하나 이상을 포함할 수도 있다.  The watermark converter 106 performs a function of converting the first watermark information into the second watermark information. Here, the first watermark information and the second watermark information are based on the same watermark information and are based on different algorithms suitable for specific environmental characteristics. Specifically, the watermark information includes user information, copyright information, copy information of content, It may include at least one or more of distribution information, information on whether or not illegal, and information on whether or not to be charged.

또한, 워터마크 변환부 (106) 는 제 1 워터마크를 제 2 워터마크로 변환하는 기능 뿐만 아닐, 제 2 워터마크 생성에 필요한 다양한 기능을 수행한다. 예를 들면, 제 1 워터마크가 오디오 워터마크이고, 제 2 워터마크가 비디오 워터마크인 경우에, 비디오 워터마크에 사용자 정보 등을 포함하는 워터마크 정보를 삽입하기 위해서는, 비디오 워터마킹에 필요한 프레임 레이트, 워터마크 삽입을 위한 영상 해상도, 워터마크 삽입 구간, 워터마크 삽입 강도 등의 제반 조건을 설정해주는 기능을 수행할 수도 있다. In addition, the watermark converter 106 performs not only a function of converting the first watermark into a second watermark but also various functions required for generating the second watermark. For example, when the first watermark is an audio watermark and the second watermark is a video watermark, in order to insert watermark information including user information or the like into the video watermark, a frame rate required for video watermarking is required. It may also perform a function of setting various conditions such as an image resolution for inserting a watermark, a watermark insertion section, and a watermark insertion intensity.

또한, 워터마크 변환부 (106) 는, 도 7 의 경우와 같이, 제 1 워터마크 검출부가 유무선 입출력부 (704) 로 대체된 경우에는, 유무선 입출력부에서 획득한 정보를 이용하여 제 2 워터마크를 생성하는 기능을 수행하고, 도 8 의 경우와 같이, 제 2 워터마크 삽입부가 유무선 입출력부 (808) 로 대체된 경우에는, 제 1 워터마크 검출부로부터 전달된 제 1 워터마크를 유무선 입출력부의 프로토콜에 일치하도록 정보를 구성하는 역할을 수행한다.In addition, as in the case of FIG. 7, the watermark conversion unit 106 uses the information acquired by the wired / wireless input / output unit when the first watermark detection unit is replaced with the wired / wireless input / output unit 704. 8, and when the second watermark insertion unit is replaced with the wired / wireless input / output unit 808, as shown in FIG. 8, the protocol of the first watermark transferred from the first watermark detection unit is used as a protocol of the wired / wireless input / output unit. It is responsible for organizing the information to match.

제 2 워터마크 삽입부 (108) 는 워터마크 변환부 (104) 의 출력신호인 제 2 워터마크 정보 및 입력신호 제어부 (110) 의 출력신호인 입력신호 (102) 를 이용하여 워터마크 중계 시스템 (100) 의 출력신호를 만들어내는 기능을 수행한다. 제 2 워터마크를 입력신호에 삽입하는데 이용되는 제 2 워터마크 삽입 알고리즘을 포함하는 제 2 워터마킹 알고리즘은 전술한 제 1 워터마킹 알고리즘과 상이하며, 특히, 상호 보완적인 특성을 갖는다. 예를 들면, 제 1 워터마킹 알고리즘이 압축 또는 일부 자르기 공격에 강한 특성을 갖는 동시에, 잡음 첨가 또는 A/D 변환 (또는 D/A 변환) 에 쉽게 열화되는 특성이 있는 반면에, 제 2 워터마킹 알고리즘은 압축에는 매우 취약한 알고리즘이지만 제 1 워터마킹 알고리즘의 단점인 A/D 변환 (또는 D/A 변환) 공격에 대해서는 높은 검출율을 나타내는 강한 특성을 가질 수도 있다. 즉, 제 1 워터마킹 알고리즘의 단점을 보완하는 제 2 워터마킹 알고리즘을 선택함으로써 두 알고리즘의 장점을 모두 누릴 수도 있다. The second watermark inserting unit 108 uses the second watermark information, which is an output signal of the watermark converting unit 104, and an input signal 102, which is an output signal of the input signal control unit 110, to generate a watermark relay system ( 100) to produce the output signal. The second watermarking algorithm including the second watermark embedding algorithm used to embed the second watermark in the input signal is different from the above-described first watermarking algorithm, and in particular, has a complementary characteristic. For example, while the first watermarking algorithm has characteristics that are resistant to compression or some cropping attacks, while it is easily degraded by noise addition or A / D conversion (or D / A conversion), the second watermarking Although the algorithm is very vulnerable to compression, it may have a strong characteristic indicating a high detection rate against A / D conversion (or D / A conversion) attack, which is a disadvantage of the first watermarking algorithm. That is, by selecting the second watermarking algorithm that compensates for the shortcomings of the first watermarking algorithm, it is possible to enjoy the advantages of both algorithms.

입력신호 제어부 (110) 는 입력신호 (102) 를 출력으로 전달할지 여부를 결정하는 것으로, 워터마크 변환부 (106) 로부터의 제어신호에 의해서 제어되며, 입력신호 (102) 를 제 2 워터마크 삽입부 (108) 로 전달할지 여부를 제어하는 기능을 수행한다. 입력신호 제어부 (110) 가 ON 이 되면 입력신호 (102) 가 제 2 워터마크 삽입부 (108) 로 전달되며, OFF 가 되면 입력신호 (102) 는 제 2 워터마크 삽입부 (108) 로 전달되지 않는다. The input signal controller 110 determines whether or not to transmit the input signal 102 to the output, which is controlled by a control signal from the watermark converter 106 and embeds the second watermark into the input signal 102. It performs the function of controlling whether or not to deliver to the unit 108. When the input signal controller 110 is ON, the input signal 102 is transmitted to the second watermark inserting unit 108, and when it is OFF, the input signal 102 is not transmitted to the second watermark embedding unit 108. Do not.

출력신호 (112) 는 워터마크 중계 시스템 (100) 의 출력신호로서, 입력신호 제어부 (110) 이 ON 이 되어 입력신호 (102) 가 제 2 워터마크 삽입부 (108) 에 전달된 경우에는 입력신호 (102) 에 제 2 워터마크 정보가 삽입된 신호가 출력신호 (112) 가 될 수 있다. 만일 입력신호 제어부 (110) 가 OFF 가 되어 입력신호 (102) 가 제 2 워터마크 삽입부 (108) 로 전달되지 않는 경우에는 단지 제 2 워터마크 신호만이 출력신호 (112) 로서 출력된다.The output signal 112 is an output signal of the watermark relay system 100. When the input signal control unit 110 is turned on and the input signal 102 is transmitted to the second watermark inserting unit 108, the input signal is output. The signal into which the second watermark information is inserted into the 102 may be the output signal 112. If the input signal control unit 110 is turned off and the input signal 102 is not transmitted to the second watermark inserting unit 108, only the second watermark signal is output as the output signal 112.

도 7 은 다른 예시적인 워터마크 중계 시스템 (700)의 기능 블록도를 나타낸다. 도 7 에 도시된 워터마크 중계 시스템은, 도 1 의 워터마크 중계 시스템 중에서 제 1 워터마크 검출부 (104) 가 유무선 입출력부 (704) 로 대체된 것이다. 도 1 의 워터마크 중계 시스템 (100) 과 같이 제 1 워터마크 정보를 제 1 워터마크 검출 부에서 획득하는 대신에, 워터마크 중계 시스템 (700) 에서는 유무선 입출력부 (704) 를 이용하여 직접 제 1 워터마크 정보를 수신한다. 즉, 워터마크 중계 시스템 (700) 의 입력신호는 제 1 워터마크 정보가 된다. 7 illustrates a functional block diagram of another exemplary watermark relay system 700. In the watermark relay system shown in FIG. 7, the first watermark detection unit 104 is replaced with the wired / wireless input / output unit 704 in the watermark relay system of FIG. 1. Instead of acquiring the first watermark information by the first watermark detection unit as in the watermark relay system 100 of FIG. 1, the watermark relay system 700 directly uses the wired / wireless input / output unit 704 to perform the first watermark information. Receive watermark information. That is, the input signal of the watermark relay system 700 becomes the first watermark information.

도 8 은 또 다른 예시적인 워터마크 중계 시스템 (800) 의 기능 블록도를 나타낸다. 도 8 에 도시된 워터마크 중계 시스템은, 도 1 의 워터마크 중계 시스템 중에서 제 2 워터마크 삽입부 (108) 가 유무선 입출력부 (808) 로 대체된 것이다. 도 1 의 워터마크 중계 시스템에서 제 2 워터마크 삽입부 (108) 가 입력 신호에 워터마크 정보를 삽입하여 출력하는 대신에, 워터마크 중계 시스템 (800) 에서는 유무선 입출력 기능 (808) 을 이용하여 제 2 워터마크 정보를 전송한다. 즉, 워터마크 중계 시스템 (800) 의 출력신호는 제 2 워터마크 정보가 된다.8 illustrates a functional block diagram of another exemplary watermark relay system 800. In the watermark relay system illustrated in FIG. 8, the second watermark insertion unit 108 is replaced with the wired / wireless input / output unit 808 in the watermark relay system of FIG. 1. Instead of the second watermark inserting unit 108 inserting watermark information into an input signal and outputting the watermark information in the watermark relay system of FIG. 1, the watermark relay system 800 uses a wired / wireless input / output function 808. 2 Send watermark information. In other words, the output signal of the watermark relay system 800 becomes the second watermark information.

도 7 및 8 에 사용된 유무선 입출력 기능은 유선으로 통신하는 방식으로 RS232, RS482, 유선 ip 네트워크망같이 유선으로는 통신하기 위한 기능을 할 수도 있고, 또한 무선인 경우에는 WIFI, 블루투스 (Bluetooth), 지그비 (zigbee), 무선 USB 등과 같이 근거리 무선통신을 하기 위한 기능을 할 수도 있다.Wired and wireless input and output functions used in Figures 7 and 8 may be a function for communicating by wire, such as RS232, RS482, wired ip network in a wired communication manner, and in the case of wireless, WIFI, Bluetooth (Bluetooth), It may also function for short-range wireless communication such as Zigbee and wireless USB.

도 2 는 일 예시적인 워터마크 중계 시스템의 흐름도를 나타낸다. 입력신호 획득 단계 (201) 는 워터마크 중계 시스템에 입력되는 입력 신호를 획득하는 단계이다. 제 1 워터마크 검출 단계 (202) 는 입력신호로부터 제 1 워터마크를 검출하는 단계이다. 워터마크 변환 단계 (203) 는 검출된 제 1 워터마크를 제 2 워터마크 로 변환하는 단계로, 이 때, 제 1 워터마크와 제 2 워터마크는 동일한 워터마크 정보에 기초한 것이나, 각각 특정 환경 특성에 적합한 상이한 알고리즘에 기초한다. 워터마크 변환 단계 (203) 는 또한, 제 2 워터마크 생성에 필요한 설정을 변경하는 것을 포함할 수도 있다. 제 2 워터마크 생성 단계 (204) 는 워터마크 변환 단계 (203) 에서 변환된 제 2 워터마크 신호를 생성하는 단계이다. 다음은 입력신호 사용 판단 단계 (205) 로 워터마크 중계 시스템의 출력신호에 입력신호를 사용할 것인지 여부를 판단하는 단계이다. 만일 입력신호를 사용한다고 판단되면 입력신호에 단계 (203) 에서 생성된 제 2 워터마크 신호를 삽입하여 출력신호를 구성한다. 입력신호를 사용하지 않는다고 판단되면 생성된 제 2 워터마크 신호만으로 출력신호를 구성한다. 출력신호 생성 단계 (207) 는 워터마크 중계 시스템의 출력신호를 생성하는 단계이다. 응용분야에 맞도록 적절한 출력신호를 생성한다.2 shows a flowchart of an exemplary watermark relay system. The input signal obtaining step 201 is a step of obtaining an input signal input to the watermark relay system. The first watermark detection step 202 is a step of detecting the first watermark from the input signal. The watermark converting step 203 converts the detected first watermark into a second watermark, wherein the first watermark and the second watermark are based on the same watermark information, respectively, Based on different algorithms suitable for. The watermark conversion step 203 may also include changing a setting necessary for generating the second watermark. The second watermark generation step 204 is a step of generating a second watermark signal converted in the watermark conversion step 203. In the next step of determining the input signal use step 205, it is determined whether or not to use the input signal as an output signal of the watermark relay system. If it is determined that the input signal is used, an output signal is constructed by inserting the second watermark signal generated in step 203 into the input signal. If it is determined that the input signal is not used, the output signal is composed of only the generated second watermark signal. The output signal generating step 207 is a step of generating an output signal of the watermark relay system. Produces an output signal appropriate for the application.

도 3 은 다른 예시적인 워터마크 중계 시스템의 개략도를 나타낸다. 제 1 단말기 (301) 는 제 1 워터마크가 삽입된 컨텐츠를 재생한다. 제 1 단말기 (301) 는 TV 일 수도 있다. 재생된 컨텐츠의 오디오는 워터마크 중계 시스템 (303) 으로 입력된다. 도 3 에 도시된 워터마크 중계 시스템 (303) 은 독립된 장치로서, 제 1 단말기 (301) 및 제 2 단말기 (309) 와는 독립적으로 운영될 수 있다. 워터마크 중계 장치 (305) 는 도 1 의 워터마크 중계 시스템 (100) 일 수도 있다. 제 1 단말기에서 출력된 오디오 신호는 사용자가 사용하는 제 2 단말기 (309) 의 입력으로 들어간다. 또한 워터마크 중계 시스템의 출력신호도 함께 제 2 단말기와 연결된 마이크로폰 (307) 의 입력으로 들어간다. 출력신호는 제 1 단말기에서 출력된 오디오 신호에 제 2 워터마크가 삽입된 신호 또는 제 2 워터마크만으로 구성된 신호일 수도 있다. 여기서 마이크로폰은 대부분 스마트 네트워크 단말에 장착된 전용 마이크로폰을 사용할 수 있다. 제 2 단말기 (309) 는 단말기에 입력된 오디오 신호를 이용하여 제 2 워터마크를 검출하고 관련된 서비스를 진행한다. 3 shows a schematic diagram of another exemplary watermark relay system. The first terminal 301 plays the content in which the first watermark is inserted. The first terminal 301 may be a TV. The audio of the reproduced content is input to the watermark relay system 303. The watermark relay system 303 shown in FIG. 3 is an independent device and may operate independently of the first terminal 301 and the second terminal 309. The watermark relay device 305 may be the watermark relay system 100 of FIG. 1. The audio signal output from the first terminal enters an input of the second terminal 309 used by the user. The output signal of the watermark relay system also enters the input of the microphone 307 connected to the second terminal. The output signal may be a signal having a second watermark embedded in the audio signal output from the first terminal or a signal composed of only the second watermark. Here, most of the microphones may use dedicated microphones mounted on smart network terminals. The second terminal 309 detects the second watermark using the audio signal input to the terminal and proceeds with the related service.

이 때, 제 2 단말기 (309) 는 스마트 네트워크 단말일 수도 있으며, 스마트 네트워크 단말은 기능상 네트워크를 통해서 인터넷에 연결이 가능한 단말이다. 스마트 네트워크 단말에 입력된 신호로부터 검출된 제 2 워터마크를 이용하여, 제 1 단말기에서 현재 방영되고 있는 프로그램과 관련된 광고, 부가 정보 링킹 서비스, 시청률 조사, 소셜 커머스 등의 서비스를 제공할 수도 있다. 스마트 네트워크 단말이 인터넷에 연결 가능하지 않은 환경에 있는 경우에도, 자체 내장된 기능만을 이용하여서도 스마트 네트워크 단말에 입력된 신호로부터 검출된 제 2 워터마크를 이용하여, 위와 같은 서비스를 제공하도록 구성될 수 있다. 또한, 제 2 단말기 (309) 는 스마트 네트워크 단말 뿐만 아니라, 네트워크에 연결 기능이 없는 일반 단말기 (즉, MP3, 전자사전, PMP 등), 가전기기 및 완구 (예를 들면, 애니메이션 캐릭터 완구 등) 등으로 구현될 수도 있다.In this case, the second terminal 309 may be a smart network terminal, and the smart network terminal is a terminal capable of connecting to the Internet through a network. By using the second watermark detected from the signal input to the smart network terminal, it is also possible to provide services such as advertisements, additional information linking service, viewership survey, social commerce, etc. related to the program currently being aired on the first terminal. Even when the smart network terminal is in an environment that is not connectable to the Internet, the second watermark detected from a signal input to the smart network terminal may be used to provide the above service even using only its own built-in function. Can be. In addition, the second terminal 309 is not only a smart network terminal, but also a general terminal (i.e., MP3, electronic dictionary, PMP, etc.), household appliances and toys (e.g., anime character toys, etc.) having no connection function to the network. It may be implemented as.

도 4 는 또 다른 예시적인 워터마크 중계 시스템의 개략도를 나타낸다. 제 1 단말기 (401) 는 제 1 워터마크가 삽입된 컨텐츠를 재생한다. 제 1 단말기는 TV 일 수도 있다. 제 1 단말기에서 재생된 오디오는 제 1 단말기 내부에서 워터마크 중계 시스템 (403) 의 입력으로 들어간다. 여기서 워터마크 중계 시스템은 소프트웨어로 구현되어 TV 와 같은 출력장치에 포함되어 동작할 수도 있다. 워터마크 중계 장치의 출력신호 (즉, 제 2 워터마크가 삽입된 오디오 신호 또는 제 2 워터마크 신호) 를 제 1 단말기의 스피커 등과 같은 출력 장치를 이용하여 오디오 신호의 형태로 출력한다. 출력된 오디오 신호는 제 2 단말기 (409) 에 연결된 마이크로폰 (407) 으로 입력된다. 여기서 마이크로폰은 대부분 제 2 단말기에 장착된 전용 마이크로폰을 사용할 수 있다. 제 2 단말기 (409) 는 입력된 오디오 신호를 이용하여 제 2 워터마크를 검출하고 관련된 서비스를 진행한다. 제 2 단말기는 스마트 네트워크 단말일 수도 있다.4 shows a schematic diagram of another exemplary watermark relay system. The first terminal 401 plays back the content with the first watermark embedded therein. The first terminal may be a TV. The audio reproduced at the first terminal enters the watermark relay system 403 inside the first terminal. The watermark relay system may be implemented in software and included in an output device such as a TV to operate. An output signal of the watermark relay device (that is, an audio signal having a second watermark or a second watermark signal) is output in the form of an audio signal using an output device such as a speaker of the first terminal. The output audio signal is input to the microphone 407 connected to the second terminal 409. In this case, the microphone may mostly use a dedicated microphone mounted on the second terminal. The second terminal 409 detects the second watermark using the input audio signal and proceeds with the related service. The second terminal may be a smart network terminal.

도 5 는 또 다른 예시적인 워터마크 중계 시스템의 개략도를 나타낸다. 제 1 단말기 (501) 는 제 1 워터마크가 삽입된 컨텐츠를 재생한다. 제 1 단말기는 TV 일 수도 있다. 재생된 오디오신호는 제 1 단말기 내부에서 워터마크 중계 장치 (505) 의 입력으로 들어간다. 여기서 워터마크 중계 시스템 (503) 은 소프트웨어로 구현되어 제 1 단말기 (501) 내부에서 동작할 수도 있다. 이렇게 소프트웨어로 구현된 워터마크 중계 시스템 (503) 은, 제 1 단말기 내부에서 입력된 오디오 신호를 이용하여 제 1 워터마크를 검출하고, 검출된 제 1 워터마크 정보를 제 2 워터마크 정보로 삽입하지 않고, 워터마크 정보를 오디오 신호 형태가 아닌 다른 형태로 유무선 입출력 장치를 이용하여 전송한다. 참고로, 도 5 의 워터마크 중계 시스템 (503) 은 도 8 에 도시된 워터마크 중계 시스템으로도 표현될 수도 있다. 5 shows a schematic diagram of another exemplary watermark relay system. The first terminal 501 plays the content in which the first watermark is inserted. The first terminal may be a TV. The reproduced audio signal enters the watermark relay device 505 inside the first terminal. The watermark relay system 503 may be implemented in software to operate inside the first terminal 501. The software implemented watermark relay system 503 detects the first watermark using the audio signal input inside the first terminal and does not insert the detected first watermark information into the second watermark information. Instead, the watermark information is transmitted using a wired / wireless input / output device in a form other than an audio signal. For reference, the watermark relay system 503 of FIG. 5 may also be represented by the watermark relay system shown in FIG. 8.

여기서 유무선 입출력 장치 (506 및 507) 는 유선으로 통신하는 방식으로 RS232, RS482, 유선 ip 네트워크망 등을 이용할 수도 있고, 무선으로 통신하는 방식으로 WIFI, 블루투스 (Bluetooth), 지그비 (zigbee), 무선 USB 등과 같이 근거리 무선통신을 하기 위한 방식을 이용할 수도 있다. Here, the wired / wireless input / output devices 506 and 507 may use RS232, RS482, wired ip network, etc. as a wired communication method, or wirelessly communicate with WIFI, Bluetooth, Zigbee, and wireless USB. For example, a method for short-range wireless communication may be used.

스마트 네트워크 단말일 수도 있는, 제 2 단말기 (509) 는 또한 유무선 입출력 장치 (507) 를 포함하고 있으며, 제 2 단말기의 유무선 입출력 장치 (507) 는 제 1 단말기에서 전송된 유무선 데이터, 즉, 워터마크 정보를 포함하고 있는 유무선 데이터를 수신한다. 제 2 단말기 (509) 는 입력받은 데이터를 이용하여 관련된 정보를 제 2 단말기의 표시장치 (508) 에 표시한다. The second terminal 509, which may be a smart network terminal, also includes a wired / wireless input / output device 507, wherein the wired / wireless input / output device 507 of the second terminal is a wired / wireless data transmitted from the first terminal, that is, a watermark. Receive wired or wireless data that contains information. The second terminal 509 displays the related information on the display device 508 of the second terminal using the received data.

도 6 은 또 다른 예시적인 워터마크 중계 시스템의 개략도를 나타낸다. 제 1 단말기 (601) 는 제 1 워터마크가 삽입된 컨텐츠를 재생한다. 제 1 단말기는 TV 일 수도 있다. 제 1 단말기 (601) 는 제 1 워터마크 정보를 제 1 단말기에 포함된 유무선 입출력 장치 (602) 를 이용하여 워터마크 중계 시스템 (603) 으로 전송한다. 이 때, 워터마크 중계 시스템은 제 1 워터마크를 검출하는 기능을 독립된 기능으로 포함하지 않을 수도 있다. 제 1 워터마크를 검출하는 기능 대신 유무선 입출력 기능을 포함하는 워터마크 중계 시스템은 도 7 에 상세하게 나타나 있다. 워터마크 중계 시스템 (603) 은 제 1 단말기 및 제 2 단말기와는 독립된 장치일 수도 있다. 워터마크 중계 시스템 (603) 에 포함된 유무선 입출력 장치 (604) 는 제 1 단말기의 유무선 입출력 장치 (602) 와 통신하여 제 1 워터마크 정보를 수신한다. 수신된 제 1 워터마크 정보를 워터마크 중계 장치 (워터마크 변환 장치) (605) 에서 제 2 워터마크로 변환하고 오디오 신호 형태의 워터마크 정보를 생성한다. 생성된 오디오 신호를 워터마크 중계 시스템 (603) 에 내장된 스피커를 이용하여 출력한다. 6 shows a schematic diagram of another exemplary watermark relay system. The first terminal 601 plays back the content with the first watermark embedded therein. The first terminal may be a TV. The first terminal 601 transmits the first watermark information to the watermark relay system 603 using the wired / wireless input / output device 602 included in the first terminal. At this time, the watermark relay system may not include the function of detecting the first watermark as an independent function. The watermark relay system including the wired / wireless input / output function instead of the function of detecting the first watermark is shown in detail in FIG. 7. The watermark relay system 603 may be a device independent of the first terminal and the second terminal. The wired / wireless input / output device 604 included in the watermark relay system 603 communicates with the wired / wireless input / output device 602 of the first terminal to receive first watermark information. The received first watermark information is converted into a second watermark by a watermark relay device (watermark conversion device) 605, and watermark information in the form of an audio signal is generated. The generated audio signal is output using a speaker built in the watermark relay system 603.

여기서 유무선 입출력 장치 (602 및 604) 는 유선으로 통신하는 방식으로 RS232, RS482, 유선 ip 네트워크망 등을 이용할 수도 있고, 무선으로 통신하는 방식으로 WIFI, 블루투스 (Bluetooth), 지그비 (zigbee), 무선 USB 등과 같이 근거리 무선통신을 하기 위한 방식을 이용할 수도 있다. Here, the wired / wireless input / output devices 602 and 604 may use RS232, RS482, a wired ip network as a wired communication method, or wirelessly communicate with WIFI, Bluetooth, Zigbee, and wireless USB. For example, a method for short-range wireless communication may be used.

제 2 단말기는 (609) 은 이와 연결된 마이크로폰 (607) 을 이용하여 제 2 워터마크 정보를 포함하고 있는 오디오 신호와 함께 컨텐츠 정보를 포함하고 있는 제 1 단말기로부터 출력된 오디오 신호를 입력받는다. 제 2 단말기는 스마트 네트워크 단말일 수도 있다. 제 2 단말기 (609) 는 마이크로폰으로부터 입력된 오디오 신호에서 제 2 워터마크 정보를 검출하여 관련된 서비스를 제공할 수도 있다.The second terminal 609 receives the audio signal output from the first terminal including the content information together with the audio signal including the second watermark information using the microphone 607 connected thereto. The second terminal may be a smart network terminal. The second terminal 609 may detect the second watermark information in the audio signal input from the microphone and provide a related service.

도 9 는, 또 다른 예시적인 워터마크 중계 시스템의 개략도를 나타낸다. 도 9 에 나타난 워터마크 중계 시스템에, 도 8 의 워터마크 중계 시스템 (800) 이 이용될 수도 있다. 도 9 에서, 워터마크 중계 시스템 (903) 은 독립 장치로 구현될 수도 있다.9 shows a schematic diagram of another exemplary watermark relay system. The watermark relay system 800 of FIG. 8 may be used for the watermark relay system shown in FIG. 9. In FIG. 9, the watermark relay system 903 may be implemented as an independent device.

제 1 단말기 (901) 는 제 1 워터마크가 삽입된 컨텐츠를 재생한다. 제 1 단말기는 TV 일 수도 있다. 워터마크 중계 시스템 (903) 은 제 1 단말기로부터 출력되는 오디오 신호로부터 제 1 워터마크 정보를 검출하고, 검출된 제 1 워터마크 정보를 유무선 입출력 장치 (906) 을 이용하여 제 2 단말기 (909) 로 제공할 수도 있다. 워터마크 중계 시스템 (903) 은 입력 장치로서 오디오 신호를 입력받을 수 있는 마이크로폰 (902) 등을 포함할 수도 있다. 입력 장치 (902) 에 의해 입력된 오디오 신호는 워터마크 중계 장치 (905) 로 입력된다. 워터마크 중계 장치 (905) 는 입력된 오디오 신호로부터 제 1 워터마크를 검출하고, 검출된 제 1 워터마크를 제 2 워터마크로 변환하는 기능을 수행할 수도 있다. 변환된 제 2 워터마크를 유무선 입출력 장치 (906) 를 이용하여, 제 2 단말기 (909) 의 유무선 입출력 장치 (907) 와 주고받을 수 있으며, 유선으로 통신하는 경우에는 RS232, RS482, 또는 유선 IP 네트워크망을 이용하고, 무선으로 통신하는 경우에는 WIFI, 블루투스, 지그비 , 또는 무선 USB 를 이용할 수도 있다. 제 2 단말기는, 유무선 입출력 장치 (907) 에 의해 입력된 제 2 워터마크에 대한 정보로부터 관련된 서비스를 제공할 수도 있다. The first terminal 901 plays the content in which the first watermark is inserted. The first terminal may be a TV. The watermark relay system 903 detects the first watermark information from the audio signal output from the first terminal and transmits the detected first watermark information to the second terminal 909 using the wired / wireless input / output device 906. You can also provide The watermark relay system 903 may include a microphone 902 or the like capable of receiving an audio signal as an input device. The audio signal input by the input device 902 is input to the watermark relay device 905. The watermark relay device 905 may perform a function of detecting a first watermark from the input audio signal and converting the detected first watermark into a second watermark. The converted second watermark may be exchanged with the wired / wireless input / output device 907 of the second terminal 909 by using the wired / wireless input / output device 906, and in case of wired communication, RS232, RS482, or wired IP network If you use a network and communicate wirelessly, you can use WIFI, Bluetooth, Zigbee, or Wireless USB. The second terminal may provide a related service from information on the second watermark input by the wired / wireless input / output device 907.

상기에서와 같이, 본 발명은, 제 1 워터마크를 제 2 워터마크로 변환 (및 삽입) 하여, 제 1 워터마킹 알고리즘의 단점을 보완하는 제 2 워터마킹 알고리즘을 결합함으로써, 다양한 환경에서 개선된 성능, 즉, 종래의 워터마킹 기술에 비해 높아진 강인성을 갖는 워터마킹 기술을 구현할 수 있다. As described above, the present invention improves performance in various environments by combining a second watermarking algorithm, which converts (and embeds) the first watermark into a second watermark to compensate for the shortcomings of the first watermarking algorithm. That is, it is possible to implement a watermarking technology having a higher toughness than the conventional watermarking technology.

본 발명은 다양한 방식에 의해서 구현될 수도 있다. 또한, 개시된 실시형태 이전의 설명은 당업자가 본 발명을 수행 또는 사용할 수 있도록 제공된다. 이들 실시형태에 대한 다양한 변형은 당업자에게는 용이하게 명백할 것이며, 여기에 정의된 일반적인 원리는 본 발명의 범위 또는 사상을 벗어나는 것 없이 다른 실시형태에 적용될 수도 있다. 따라서, 본 발명은 여기에서 설명된 실시형태로 제한하려는 것이 아니라, 여기에 개시된 원리 및 신규한 특성에 부합되는 최광의 범위를 부여하려는 것이다.The invention may be implemented in various ways. In addition, the descriptions provided before the disclosed embodiments are provided to enable any person skilled in the art to make or use the present invention. Various modifications to these embodiments will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope or spirit of the invention. Thus, the present invention is not intended to be limited to the embodiments described herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.

Claims (17)

제 1 단말기로부터 컨텐츠 및 제 1 워터마크를 포함하는 입력신호를 수신하고, 상기 입력신호로부터 상기 제 1 워터마크를 검출하는 제 1 워터마크 검출부;
상기 제 1 워터마크를 제 2 워터마크로 변환하는 워터마크 변환부; 및
상기 제 2 워터마크를 포함하는 출력 신호를 제 2 단말기로 출력하는 제 2 워터마크 삽입부를 포함하고,
상기 제 1 워터마크와 상기 제 2 워터마크는 동일한 워터마크 정보에 기초하고, 상기 제 1 워터마크와 상기 제 2 워터마크는 상기 컨텐츠에 대한 상이한 환경 특성을 가지며,
상기 워터마크 변환부는 또한 상기 제 2 워터마크의 변환 및 삽입에 필요한 설정을 변경하도록 구성되는, 워터마크 중계 장치.
A first watermark detection unit receiving an input signal including a content and a first watermark from a first terminal and detecting the first watermark from the input signal;
A watermark converting unit converting the first watermark into a second watermark; And
A second watermark embedding unit configured to output an output signal including the second watermark to a second terminal,
Wherein the first watermark and the second watermark are based on the same watermark information, the first watermark and the second watermark have different environmental characteristics for the content,
And the watermark converting unit is further configured to change a setting necessary for converting and embedding the second watermark.
제 1 항에 있어서,
상기 입력신호를 상기 제 2 워터마크 삽입부로 전달할지 여부를 결정하는 입력신호 제어부를 더 포함하고,
상기 제 2 워터마크 삽입부는, 상기 입력신호 제어부의 결정에 따라 상기 입력신호를 선택적으로 수신하여, 상기 입력신호에 상기 제 2 워터마크를 삽입한 신호 또는 상기 제 2 워터마크를 상기 출력신호로 생성하는 것을 특징으로 하는, 워터마크 중계 장치.
The method of claim 1,
And an input signal controller configured to determine whether to transmit the input signal to the second watermark inserting unit.
The second watermark inserting unit selectively receives the input signal according to the determination of the input signal controller, and generates a signal obtained by embedding the second watermark in the input signal or the second watermark as the output signal. A watermark relay device, characterized in that.
제 1 항에 있어서,
상기 제 1 워터마크 검출부는 상기 제 1 워터마크를 유무선 방식으로 송수신가능하도록 구성된 유무선 입출력부로 대체되는, 워터마크 중계 장치.
The method of claim 1,
And the first watermark detection unit is replaced with a wired / wireless input / output unit configured to transmit and receive the first watermark in a wired or wireless manner.
제 1 항에 있어서,
상기 제 2 워터마크 삽입부는 상기 제 2 워터마크를 유무선 방식으로 송수신 가능하도록 구성된 유무선 입출력부로 대체되는, 워터마크 중계 장치.
The method of claim 1,
And the second watermark inserting unit is replaced with a wired / wireless input / output unit configured to transmit and receive the second watermark in a wired or wireless manner.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 워터마크 중계 장치는, 상기 입력신호를 출력하는 상기 제 1 단말기 및 상기 출력신호를 수신하는 상기 제 2 단말기와는 독립적으로 운영되는 것을 특징으로 하는, 워터마크 중계 장치.
The method according to any one of claims 1 to 4,
And the watermark relay device is operated independently from the first terminal for outputting the input signal and the second terminal for receiving the output signal.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 워터마크 중계 장치는 상기 제 1 단말기 내에서 운영되는 것을 특징으로 하는, 워터마크 중계 장치.
The method according to any one of claims 1 to 4,
And the watermark relay device is operated in the first terminal.
제 1 항에 있어서,
상기 워터마크 정보는 사용자 정보, 저작권 정보, 컨텐츠의 복제 정보, 유통 정보, 불법 여부에 관한 정보 및 과금 여부에 관한 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는, 워터마크 중계 장치.
The method of claim 1,
And the watermark information comprises at least one of user information, copyright information, copy information of contents, distribution information, information on illegal status, and information on billing status.
제 1 단말기로부터 컨텐츠 및 제 1 워터마크를 포함하는 입력신호를 획득하는 단계;
상기 입력신호로부터 제 1 워터마크를 검출하는 단계;
검출된 제 1 워터마크를 제 2 워터마크로 변환하는 단계; 및
상기 제 2 워터마크를 포함하는 출력신호를 생성하고 생성된 출력신호를 제 2 단말기로 출력하는 단계를 포함하고,
상기 제 1 워터마크와 상기 제 2 워터마크는 동일한 워터마크 정보에 기초하고, 상기 제 1 워터마크와 상기 제 2 워터마크는 상기 컨텐츠에 대한 상이한 환경 특성을 가지며,
상기 제 2 워터마크로 변환하는 단계는 또한 상기 제 2 워터마크의 변환 및 삽입에 필요한 설정을 변경하도록 구성되는, 워터마크 중계 방법.
Obtaining an input signal including content and a first watermark from a first terminal;
Detecting a first watermark from the input signal;
Converting the detected first watermark into a second watermark; And
Generating an output signal including the second watermark and outputting the generated output signal to a second terminal;
Wherein the first watermark and the second watermark are based on the same watermark information, the first watermark and the second watermark have different environmental characteristics for the content,
The converting to the second watermark is further configured to change a setting necessary for converting and embedding the second watermark.
제 8 항에 있어서,
상기 제 2 워터마크로 변환하는 단계 이후에, 상기 입력신호를 상기 출력신호에 사용할지 여부를 결정하는 단계를 더 포함하고,
상기 출력신호를 생성하고 생성된 출력신호를 제 2 단말기로 출력하는 단계는, 상기 입력신호를 상기 출력신호에 사용할지 여부를 결정하는 단계에서의 상기 결정에 따라 상기 입력신호를 선택적으로 수신하여, 상기 입력신호에 상기 제 2 워터마크를 삽입한 신호 또는 상기 제 2 워터마크를 상기 출력신호로 생성하는 단계를 더 포함하는, 워터마크 중계 방법.
The method of claim 8,
After converting to the second watermark, determining whether to use the input signal for the output signal;
Generating the output signal and outputting the generated output signal to the second terminal, selectively receiving the input signal according to the determination in the step of determining whether to use the input signal for the output signal, And generating the signal in which the second watermark is inserted into the input signal or the second watermark as the output signal.
제 8 항에 있어서,
상기 워터마크 정보는 사용자 정보, 저작권 정보, 컨텐츠의 복제 정보, 유통 정보, 불법 여부에 관한 정보 및 과금 여부에 관한 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는, 워터마크 중계 방법.
The method of claim 8,
And the watermark information includes at least one of user information, copyright information, copy information of contents, distribution information, information on illegality, and information on whether or not to be charged.
제 1 워터마크가 삽입된 컨텐츠를 재생하는 제 1 단말기;
상기 제 1 워터마크를 제 2 워터마크로 변환하여 전송하는 워터마크 중계 장치; 및
상기 제 2 워터마크를 추출하고 관련된 서비스를 제공하는 제 2 단말기를 포함하고,
상기 워터마크 중계 장치는,
상기 제 1 단말기로부터 상기 제 1 워터마크가 삽입된 컨텐츠를 입력신호로 수신하고, 상기 입력신호로부터 상기 제 1 워터마크를 검출하는 제 1 워터마크 검출부,
상기 제 1 워터마크를 제 2 워터마크로 변환하는 워터마크 변환부, 및
상기 제 2 워터마크를 포함하는 출력신호를 상기 제 2 단말기로 출력하는 제 2 워터마크 삽입부를 포함하며,
상기 제 1 워터마크와 상기 제 2 워터마크는 동일한 워터마크 정보에 기초하고, 상기 제 1 워터마크와 상기 제 2 워터마크는 상기 컨텐츠에 대한 상이한 환경 특성을 가지며,
상기 워터마크 변환부는 또한 상기 제 2 워터마크의 변환 및 삽입에 필요한 설정을 변경하도록 구성되는, 워터마크 중계 시스템.
A first terminal for playing the content having the first watermark embedded therein;
A watermark relay device converting the first watermark into a second watermark and transmitting the converted watermark; And
A second terminal extracting the second watermark and providing a related service;
The watermark relay device,
A first watermark detection unit which receives the first watermark-embedded content from the first terminal as an input signal and detects the first watermark from the input signal;
A watermark converting unit converting the first watermark into a second watermark, and
A second watermark embedding unit configured to output an output signal including the second watermark to the second terminal,
Wherein the first watermark and the second watermark are based on the same watermark information, the first watermark and the second watermark have different environmental characteristics for the content,
And the watermark converting unit is further configured to change a setting necessary for converting and embedding the second watermark.
제 11 항에 있어서,
상기 워터마크 중계 장치는, 상기 입력신호를 상기 제 2 워터마크 삽입부로 전달할지 여부를 결정하는 입력신호 제어부를 더 포함하고,
상기 제 2 워터마크 삽입부는, 상기 입력신호 제어부의 결정에 따라 상기 입력신호를 선택적으로 수신하여, 상기 입력신호에 상기 제 2 워터마크를 삽입한 신호 또는 상기 제 2 워터마크를 상기 출력신호로 생성하는 것을 특징으로 하는, 워터마크 중계 시스템.
The method of claim 11,
The watermark relay apparatus further includes an input signal controller for determining whether to transmit the input signal to the second watermark inserting unit.
The second watermark inserting unit selectively receives the input signal according to the determination of the input signal controller, and generates a signal obtained by embedding the second watermark in the input signal or the second watermark as the output signal. Watermark relay system, characterized in that.
제 11 항에 있어서,
상기 제 1 워터마크 검출부는 상기 제 1 워터마크를 유무선 방식으로 송수신가능하도록 구성된 유무선 통신부로 대체되는, 워터마크 중계 시스템.
The method of claim 11,
And the first watermark detection unit is replaced with a wired / wireless communication unit configured to transmit and receive the first watermark in a wired or wireless manner.
제 11 항에 있어서,
상기 제 2 워터마크 삽입부는 상기 제 2 워터마크를 유무선 방식으로 송수신 가능하도록 구성된 유무선 통신부로 대체되는, 워터마크 중계 시스템.
The method of claim 11,
And the second watermark inserting unit is replaced with a wired / wireless communication unit configured to transmit and receive the second watermark in a wired or wireless manner.
제 11 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 워터마크 중계 시스템은, 상기 제 1 단말기 및 상기 제 2 단말기와는 독립된 장치로서 운영되는 것을 특징으로 하는, 워터마크 중계 시스템.
15. The method according to any one of claims 11 to 14,
And the watermark relay system is operated as a device independent of the first terminal and the second terminal.
제 11 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 워터마크 중계 시스템은, 상기 제 1 단말기 내에서 운영되는 것을 특징으로 하는, 워터마크 중계 시스템.
15. The method according to any one of claims 11 to 14,
And the watermark relay system is operated in the first terminal.
제 13 항 또는 제 14 항에 있어서,
상기 유무선 통신부는, 유선으로 통신하는 경우에는 RS232, RS482, 또는 유선 IP 네트워크망을 이용하고, 무선으로 통신하는 경우에는 WIFI, 블루투스 (Bluetooth), 지그비 (zigbee), 또는 무선 USB 를 이용하는 것을 특징으로 하는, 워터마크 중계 시스템.
The method according to claim 13 or 14,
The wired / wireless communication unit may use RS232, RS482, or a wired IP network for wired communication, and WIFI, Bluetooth, Zigbee, or wireless USB for wireless communication. Watermark relay system.
KR1020110098851A 2011-09-29 2011-09-29 watermark relay device, method and system for efficient information transmission KR101268830B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110098851A KR101268830B1 (en) 2011-09-29 2011-09-29 watermark relay device, method and system for efficient information transmission

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110098851A KR101268830B1 (en) 2011-09-29 2011-09-29 watermark relay device, method and system for efficient information transmission

Publications (2)

Publication Number Publication Date
KR20130034784A KR20130034784A (en) 2013-04-08
KR101268830B1 true KR101268830B1 (en) 2013-05-29

Family

ID=48436789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110098851A KR101268830B1 (en) 2011-09-29 2011-09-29 watermark relay device, method and system for efficient information transmission

Country Status (1)

Country Link
KR (1) KR101268830B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507709B1 (en) * 2013-11-27 2015-04-07 (주)마크애니 fingerprinting methods for providing additional information service related in broadcasting

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110133A (en) 2003-10-01 2005-04-21 Canon Inc Information processing device, information processing system and method, recording medium readable by computer and computer program
JP2005117154A (en) 2003-10-03 2005-04-28 Canon Inc Method and apparatus for embedding electronic watermark, method and apparatus for extracting electronic watermark, computer program capable of executing each of above method, and storage medium storing the same
JP2005311836A (en) 2004-04-23 2005-11-04 Kyocera Mita Corp Image forming device and image forming device system
JP2007181229A (en) 2002-11-08 2007-07-12 Sanyo Electric Co Ltd Digital watermarking apparatus and digital watermark extracting apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181229A (en) 2002-11-08 2007-07-12 Sanyo Electric Co Ltd Digital watermarking apparatus and digital watermark extracting apparatus
JP2005110133A (en) 2003-10-01 2005-04-21 Canon Inc Information processing device, information processing system and method, recording medium readable by computer and computer program
JP2005117154A (en) 2003-10-03 2005-04-28 Canon Inc Method and apparatus for embedding electronic watermark, method and apparatus for extracting electronic watermark, computer program capable of executing each of above method, and storage medium storing the same
JP2005311836A (en) 2004-04-23 2005-11-04 Kyocera Mita Corp Image forming device and image forming device system

Also Published As

Publication number Publication date
KR20130034784A (en) 2013-04-08

Similar Documents

Publication Publication Date Title
TWI330487B (en) Wireless communication method and apparatus for generating, watermarking and securely transmitting content
Zamani et al. A genetic-algorithm-based approach for audio steganography
US8175322B2 (en) Method of digital watermark and the corresponding device, and digital camera which can append watermark
KR102384008B1 (en) Watermark embedding method and apparatus, and system
US20170316189A1 (en) Object-based watermarking
JP2003528538A (en) Transmarking watermark embedding function as rendering command and watermark embedding processing based on multimedia signal features
CN110163787A (en) Digital audio Robust Blind Watermarking Scheme embedding grammar based on dual-tree complex wavelet transform
CN101807402A (en) Method for embedding character information in broadcasting signal
Tanwar et al. Audio steganography
Malviya et al. Audio steganography by different methods
JP4142423B2 (en) Detection data processing device, recipient identification system, identification method, recipient identification method, and program
Zamani et al. An approach to improve the robustness of substitution techniques of audio steganography
JP2009540644A (en) Encoding device and detection device
KR101268830B1 (en) watermark relay device, method and system for efficient information transmission
Huang et al. A Fast and Low-Distortion Capacity Adaptive Synchronized Acoustic-to-Acoustic Steganography Scheme
Zamani et al. A novel approach for audio watermarking
Zamani et al. An artificial-intelligence-based approach for audio steganography
CN102123327A (en) Method for embedding and extracting digital watermark on basis of streaming media noncritical frame
KR100659870B1 (en) Mobile terminal and method for servicing contents
JP2004147290A (en) Data processing apparatus and method
Bandyopadhyay Genetic Algorithm Based Substitution Technique of Image Steganography
TWI279733B (en) Image authentication method of semi-fragile watermark
US6978371B1 (en) Data hiding in digital multimedia
JP4187916B2 (en) Digital watermark embedding device and detection device
Mishra et al. Information security through digital image steganography using multilevel and compression technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160906

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170518

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190516

Year of fee payment: 7