KR20050025221A

KR20050025221A - 전자 워터마킹 검출방법 및 장치

Info

Publication number: KR20050025221A
Application number: KR1020040013456A
Authority: KR
Inventors: 아사노와타루; 야마카게토모오; 고토신이치로; 고그레나카바
Original assignee: 가부시끼가이샤 도시바
Priority date: 2003-09-05
Filing date: 2004-02-27
Publication date: 2005-03-14
Also published as: JP2005086349A; KR100586051B1; JP3917572B2; CN100336396C; US20050053259A1; CN1592399A; US7471807B2

Abstract

본 발명은, 스케일링이나 회전 등의 공격에 의해 약해진 워터마킹 정보를 연산량이나 회로규모의 증대를 수반하는 것 없이 정확하게 검출한다.

본 발명은, 입력화상신호(10)가 화상축소기(11)에 의해 화상의 크기에 관해서 축소되어 축소화상신호가 생성된다. 축소화상신호로부터 HPF 또는 BPF를 이용한 특정 주파수성분 추출기(21)에 의해 특정 주파수성분 신호가 추출되고, 위상제어기(22)에 의해 특정 주파수성분 신호에 대해 위상제어가 수행된다. 상관기(23)에 의해 위상제어 후의 특정 주파수성분 신호와 축소화상신호 사이의 상호 상관값이 산출되고, 워터마킹 정보 추정기(24)에 의해 상호 상관값으로부터 입력화상신호(10)에 매립되어 있는 워터마킹 정보가 검출된다.

Description

전자 워터마킹 검출방법 및 장치{METHOD AND APPARATUS FOR DETECTING DIGITAL WATERMARKING}

본 발명은, 예컨대 기록매체를 매개로 제공되는 디지탈 동화상신호의 부정 복제를 방지하는데 유효한 전자 워터마킹 검출방법 및 장치에 관한 것이다.

디지탈 VTR 또는 DVD(Digital Versatile Disc)와 같은 디지탈 화상 데이터를 기록 및 재생하는 장치의 보급에 의해, 이들의 장치에서 재생이 가능한 수많은 디지탈 동화상이 제공되도록 되어 가고 있다. 또한, 인터넷, 방송위성, 통신위성 등을 매개한 디지탈 텔레비전방송을 통해 다양한 디지탈 동화상이 유통되어, 유저는 고품질의 디지탈 동화상을 이용하는 것이 가능하게 되어 있다.

디지탈 동화상은 디지탈신호 레벨로 간단하게 고품질의 복제를 작성하는 것이 가능하여, 어떠한 복제금지 또는 복제제어를 실시하지 않은 경우에는 무제한으로 복제되는 염려가 있다. 따라서, 디지탈 동화상의 부정 복제(카피)를 방지하고, 또는 정규 유저에 의한 복제의 세대수(世代數)를 제어하기 위해서 디지탈 동화상에 복제제어를 위한 정보를 부가하고, 이 부가정보를 이용해서 부정복제를 방지하여 복제를 제한하는 방법이 고려되고 있다.

이와 같이 디지탈 동화상에 별도의 부가정보를 중첩하는 기술로서 전자 워터마킹(digital watermarking)이 알려져 있다. 전자 워터마킹은 디지탈 데이터화된 음성, 음악, 동화상, 정지화상 등의 콘텐츠에 대해 콘텐츠의 저작권자나 이용자의 식별정보, 저작권자의 권리정보, 콘텐츠의 이용조건, 그 이용시에 필요한 비밀정보, 또는 상기한 복제제어정보 등의 정보(이들을 워터마킹 정보로 칭함)를 지각이 용이하지 않은 상태로 되도록 매립하고, 후에 필요에 따라 워터마킹 정보를 콘텐츠로부터 검출하는 것에 의해, 이용제어, 복제제어를 포함하는 저작권 보호를 수행하거나, 2차이용의 촉진을 수행하기 위한 기술이다.

전자 워터마킹의 하나의 방식으로서, 스펙트럼 확산기술을 응용한 방식이 알려져 있다. 이 방식에서는 이하의 수순에 의해 워터마킹 정보를 디지탈 동화상에 매립한다.

[단계 E1] 화상신호에 PN(Pseudorandom Noise) 계열을 승적(乘積)해서 스펙트럼확산을 수행한다.

[단계 E2] 스펙트럼 확산 후의 화상신호를 주파수변환(예컨대, DCT변환)한다.

[단계 E3] 특정의 주파수 성분의 값을 변경하는 것으로 워터마킹 정보를 매립한다.

[단계 E4] 역주파수변환(예컨대, IDCT변환)을 실시한다.

[단계 E5] 스펙트럼 역확산을 실시한다(단계 E1과 동일한 PN계열을 승적한다).

한편, 이와 같이 하여 워터마킹 정보가 매립된 디지탈 동화상으로부터의 워터마킹 정보의 검출은 이하의 수순에 의해 행한다.

[단계 D1] 화상신호에 PN계열(단계 E1과 동일한 PN계열)을 승적하여 스펙트럼 확산을 수행한다.

[단계 D2] 스펙트럼 확산 후의 화상신호를 주파수변환(예컨대, DCT변환)한다.

[단계 D3] 특정의 주파수 성분의 값에 주목해서, 매립된 워터마킹 정보를 추출한다.

한편, 입력화상신호로부터 특정 주파수성분 신호를 추출하고, 이 특정 주파수성분 신호를 위상제어하며, 위상제어된 신호의 상관값을 산출해서 워터마킹 정보를 검출하는 기술도 제안되어 있다.(예컨대, 일본 특허공개공보 제2002-325233호의 청구항 제2항, 도 7 참조)

부정 이용의 방지를 목적으로 하여 전자 워터마킹을 적용하는 경우, 디지탈 저작물에 대해 통상으로 실시되는 것으로 가정되는 각종의 조작이나 의도적인 공격에 의해, 워터마킹 정보가 소실되거나 고쳐 바로잡거나 하지 않는 것과 같은 성질(로버스트성)을 갖을 필요가 있다. 워터마킹 정보를 매립한 디지탈 화상에 대해 워터마킹 정보를 검출할 수 없게 하는 공격으로서는 화상의 잘라냄, 스케일링(확대/축소) 및, 회전등이 고려된다.

이와 같은 공격을 받은 화상이 입력된 경우, 종래의 기술에서는 먼저 워터마킹 정보의 검출시에 매립시의 단계 E1에서 이용한 PN계열을 추정하는 처리를 행해서 PN계열의 동기를 회복한 후, 단계 D1∼D3의 처리를 행해서 매립된 워터마킹 정보를 추출한다. 그러나, 화상신호만으로부터 PN계열의 동기를 회복하는데에는 복수의 후보로 처리를 시도하고, 목적한 대로 검출할 수 있었던 것을 채용한다는 탐색을 수행할 필요가 있다. 이 때문에, 연산량이나 회로규모가 증가한다는 문제가 있다. 이 문제는 특히 화상신호가 고해상도의 경우에 현저하다. 또한, 공격을 받은 화상에서는 워터마킹 정보가 약해져 있기 때문에, 스케일링이나 회전을 알고, 그에 대응한 검출을 수행하여도 워터마킹 정보가 검출될 수 없게 된다는 문제가 있다.

본 발명은 상기한 점을 감안하여 발명된 것으로, 특히 고해상도의 화상신호로부터 화상의 잘라냄, 스케일링 및, 회전 등의 공격에 의해 약해진 워터마킹 정보를 연산량이나 회로규격의 증대를 수반하는 것 없이, 정확하게 검출할 수 있는 전자 워터마킹 검출방법 및 장치를 제공함에 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 하나의 관점에 의하면, 입력화상신호에 매립되어 있는 워터마킹 정보를 검출하기 위해, 상기 입력화상신호를 화상 크기에 대해 축소해서 축소화상신호를 생성하고, 상기 축소화상신호로부터 워터마킹 정보를 검출한다. 이와 같이 하는 것에 의해, 입력화상신호가 고해상도 신호인 경우에도 연산량이나 회로규격을 억제하면서 워터마킹 정보의 검출이 가능하게 된다. 입력화상신호를 화상 크기에 대해 축소하는 것은, 예컨대 해상도를 저하시키는 것에 의해 실현된다.

본 발명의 다른 관점에 의하면, 상기 축소화상신호로부터 특정 주파수성분 신호가 추출된다. 추출된 상기 특정 주파수성분 신호의 위상이 제어되고, 위상이 제어된 특정 주파수성분 신호와 상기 축소화상신호 사이의 상호 상관값이 산출된다. 상기 상호 상관값으로부터 상기 워터마킹 정보가 검출된다. 위상제어량을 변화시키면서 상호 상관값의 산출을 위한 상관연산을 수행하는 것에 의해 입력화상신호가 스케일링 공격을 받고 있어도 워터마킹 정보가 검출된다. 이와 같이 축소화상신호에 대한 위상제어량이 변화되면서 상관연산이 수행된다. 따라서, 입력화상신호가 고해상도이면서 스케일링 공격을 받고있는 경우에도 연산량이나 회로규모를 증가시키는 것 없이 워터마킹 정보의 검출이 가능하게 된다.

본 발명의 또 다른 관점에 의하면, 상기 축소화상신호의 자기상관함수가 산출된다. 상기 자기상관함수가 필터링되는 것에 의해 특정 주파수성분 신호가 생성되고, 상기 특정 주파수성분 신호로부터 상기 워터마킹 정보가 검출된다. 자기상관함수는 축소화상신호와 축소화상신호에 대한 위상제어 후의 화상신호와의 상관연산에 의해 구해진다. 자기상관함수를 구하기 전에, 축소화상신호에 대해 화상회전을 실시하여도 된다. 이와 같이 축소화상신호에 대한 위상제어량이나 화상회전량을 변화시키면서 자기상관함수를 구하는 연산을 수행하는 것에 의해 스케일링 공격이나 회전공격을 받은 입력화상신호로부터의 워터마킹 정보의 검출을 수행할 수 있게 된다.

본 발명의 또 다른 관점에 의하면, 축소화상신호의 자기상관함수가 산출된다. 상기 자기상관함수가 제1기간에 걸쳐 누적되는 것에 의해 제1누적신호가 생성된다. 상기 제1누적신호로부터 특정 주파수성분 신호가 추출되고, 더욱이 상기 특정 주파수성분 신호가 진폭에 대해 정규화된다. 정규화된 특정 주파수성분 신호가 상기 제1기간 보다 긴 제2기간에 걸쳐 누적되는 것에 의해 제2누적신호가 생성된다. 상기 제2누적신호로부터 상기 워터마킹 정보가 검출된다. 이 경우에는 축소화상신호에 대한 위상제어량이나 화상회전량을 변화시키면서 자기상관연산을 수행하는 것에 의해 스케일링 공격이나 회전공격을 받은 입력화상신호로부터의 워터마킹 정보의 검출이 수행된다. 더욱이, 자기상관신호를 누적해서 특정 주파수성분 신호를 추출하는 것에 의해 특정 주파수성분 신호 추출을 위한 필터연산횟수를 삭감해서 워터마킹 정보의 검출성능을 떨어뜨리지 않고서 검출비용을 절감할 수 있게 된다.

입력화상신호는, 예컨대 HD(High Definition) 화상신호이고, 축소화상신호는 HD 화상신호로부터 변환되는 SD(Standard Definition) 화상신호이다. SD 화상신호에 대해 워터마킹 정보의 검출을 수행하는 것에 의해, 연산량이나 회로규모의 증가를 억제하면서 올바른 검출이 가능하다. 이 때, 추출되는 특정 주파수성분 신호의 정규화 주파수를 HD 화상신호로부터 SD 화상신호로의 스케일링율에 일치시켜 변화시키는 것으로, 워터마킹 정보의 검출성능이 유지될 수 있다.

(실시예)

제1실시형태

도 1에 도시된 가장 기본적인 본 발명의 제1실시형태에 의하면, 워터마킹 정보가 매립된 입력화상신호(10)는 화상축소기(11)에 입력된다. 화상축소기(11)는 입력화상신호(10)에 대해 화상 크기에 대한 축소처리를 실시한다. 화상크기는 일반적으로 화상의 (수평방향의 화소수)×(수직방향의 화소수)로 정의된다. 따라서, 화상축소기(11)는 화상의 축소처리를 위해 해상도를 저하시키는 처리를 실시하고, 해상도가 저하된 축소화상신호를 생성한다.

화상축소기(11)에 의해 생성된 축소화상신호는 워터마킹 정보 검출기(12)에 입력된다. 워터마킹 정보 검출기(12)는 축소화상신호로부터 워터마킹 정보를 검출한다. 워터마킹 정보의 검출방법에 대해서는 후에 상세히 설명한다. 워터마킹 정보 검출기(12)로부터 검출된 워터마킹 정보(13)가 출력된다.

이와 같이 본 실시형태에 의하면, 고해상도의 화상에 대해서도 축소처리에 대한 비용만의 증가로 종래와 마찬가지로 워터마킹 정보의 검출이 가능하게 된다.

다음에, 도 1중의 워터마킹 정보 검출기(12)를 보다 구체화한 본 발명의 다른 실시형태에 대해 설명한다. 이하에서 설명하는 다른 실시형태에 따른 전자 워터마킹 검출장치에서는, 그와 대응하는 도시하지 않은 전자 워터마킹 매립장치에 의해 생성된, 워터마킹 정보가 매립된 화상신호가 기록매체 또는 전송매체를 매개로 입력된다.

여기서, 상기 전자 워터마킹 매립장치에 대해 간단히 설명하여 둔다. 전자 워터마킹 매립장치에 있어서는 원화상신호로부터 특정 주파수성분 추출기에 의해 측정의 주파수 성분, 예컨대 비교적 높은 주파수 성분의 신호가 추출된다. 특정 주파수성분 신호는 위상제어기에 의해 입력화상신호에 매립될 디지탈 정보인 워터마킹 정보에 의해, 미리 정해진 고유의 위상제어량에 따른 위상제어를 받는다. 위상이 제어된 특정 주파수성분 신호는 디지탈 가산기로 이루어진 워터마킹 정보 중첩기에 제공되어, 원화상신호에 중첩된다. 이에 의해, 워터마킹 정보가 매립된 화상신호가 생성된다.

이와 같이 하여 워터마킹 정보가 매립된 화상신호는, 예컨대 DVD 시스템과 같은 디지탈 화상기록재생장치에 의해 기록매체에 기록되거나, 또는 인터넷, 방송위성, 통신위성 등의 전송매체를 매개로 전송된다.

제2실시형태

도 2에 도시된 제2실시형태에 의하면, 화상축소기(11)로부터의 축소화상신호는 워터마킹 정보 검출기(12)내의 특정 주파수성분 추출기(21)의 입력과 상관기(23)의 제1입력에 부여된다. 워터마킹 정보 검출기(12)는 특정 주파수성분 추출기(21), 위상제어기(22), 상관기(23) 및, 워터마킹 정보 추정기(24)를 갖춘다. 특정 주파수성분 추출기(21)는 상기 전자 워터마킹 매립장치내의 특정 주파수성분 추출기와 마찬가지의 주파수영역의 디지탈 필터, 예컨대 특정 컷오프 주파수를 갖는 HPF(하이패스필터), 또는 특정 통과대역 중심주파수를 갖춘 BPF(밴드패스필터)가 이용된다. 특정 주파수성분 추출기(21)에 의해 축소화상신호로부터 특정 주파수성분, 예컨대 비교적 높은 주파수성분의 신호가 추출된다.

특정 주파수성분 신호는 위상제어기(22)에 의해 미리 정해진 범위의 위상제어량의 위상제어, 즉 위상시프트를 받는다. 위상제어기(22)는, 예컨대 디지탈위상 시프터에 의해 실현된다. 예컨대, 도 3에 도시되는 위상제어기(22)에 의한 위상시프트의 예에서는 특정 주파수성분 신호의 위상은 원파형을 유지하면서 단순히 시프트된다. 위상시프트량은 연속적 또는 단계적으로 제어된다.

위상제어기(22)에 의해 위상제어를 받은 특정 주파수성분 신호는 상관기(23)의 제2입력에 부여된다. 상관기(23)에서는 위상제어기(22)에 의해 위상제어를 받은 특정 주파수성분 신호와 축소화상신호와의 사이의 상호 상관값이 계산된다. 상관기(23)로부터 출력되는 상호 상관값은 워터마킹 정보 추정기(24)에 입력된다.

워터마킹 정보 추정기(24)는, 예컨대 도 4에 도시된 바와 같이 상호 상관값의 피크를 탐색하는 것에 의해 워터마킹 정보를 추정한다. 위상제어기(22)에 의한 위상시프트량에 대한 상호 상관값의 변화를 보면, 소정 위상시프트량의 위치에서 피크가 나타난다. 해당 피크의 극성은 워터마킹 정보를 표현한다. 입력화상신호(10)가 스케일링 공격을 받고 있으면, 입력화상신호(10)에 포함되는 특정 주파수성분 신호가 갖는 위상시프트량은 전자 워터마킹 매립장치에 있어서 위상제어기(22)에 의해 특정 주파수성분 신호에 부여된 위상시프트량과 달리된 값으로 된다.

여기서, 본 실시형태에 있어서는 위상제어기(22)에서의 위상시프트량이 연속적 또는 단계적으로 제어되고, 이 제어에 따라 워터마킹 정보 추정기(24)에 의해 상관기(23)로부터 출력되는 상호 상관값의 피크가 검색된다. 검색된 피크의 극성으로부터 워터마킹 정보가 추정된다. 상호 상관값의 피크는 워터마킹 정보의 값에 따라 정ㆍ부의 어느 하나의 극성을 나타내고, 예컨대 도 4의 예에서는 피크의 극성이 정인 경우는 워터마킹 정보는 "1", 부인 경우는 워터마킹 정보는 "0"으로 판정된다. 이와 같이 하여 워터마킹 정보 추정기(24)로부터 검출된 워터마킹 정보(13)가 출력된다.

이와 같이 본 실시형태에 의하면, 워터마킹 정보 검출기(12)에 있어서 입력화상신호를 축소처리해서 얻어지는 축소화상신호로부터 특정 주파수성분 신호가 추출되고, 특정 주파수성분 신호에 대해 위상제어가 수행된다. 위상이 제어된 특정 주파수성분 신호와 축소화상신호와의 사이의 상호 상관값이 산출되고, 상호 상관값으로부터 워터마킹 정보가 검출된다. 위상제어량을 변화시키면서 상호 상관값의 피크를 탐색하는 것에 의해 스케일링공격을 받은 입력화상신호로부터 용이하게 워터마킹 정보가 검출된다.

도 2중에 도시되는 워터마킹 정보 검출기(12)는 스케일링을 받은 화상신호로부터 워터마킹 정보를 검출하는 것이 가능하다. 따라서, 특정 주파수성분 신호를 추출하기 전에, 입력화상신호(10)에서 화상 크기에 대한 축소처리를 실시하는 것이 가능하므로 고해상도의 입력화상신호에 대해서도 축소처리에 대한 비용만의 증가로 워터마킹 정보가 검출된다.

제3실시형태

도 5에 도시된 제3실시형태에 의하면, 화상축소기(11)로부터의 축소화상신호는 위상제어기(31)의 입력과 상관기(32)의 제1입력에 부여된다. 위상제어기(31)에 의해 위상제어를 받은 축소화상신호는 상관기(32)의 제2입력에 부여되고, 상관기(32)에서 제1입력의 축소화상신호와의 상관연산이 수행되는 것에 의해 자기상관함수가 생성된다. 자기상관함수는 특정 주파수성분 추출기(33)에 입력된다.

특정 주파수성분 추출기(33)는 도 2중에 나타낸 특정 주파수성분 추출기(21)와 마찬가지로 HPF 또는 BPF로 이루어지고, 자기상관함수를 필터링하는 것에 의해 특정 주파수성분 신호를 추출한다. 추출된 특정 주파수성분 신호에 대해 워터마킹 정보 추정기(34)에 의해 피크가 탐색되고, 더욱이 피크의 극성이 판정된다.

특정 주파수성분 신호의 피크는 입력화상신호(10)에 매립되어 있는 워터마킹 정보에 따라 정ㆍ부의 어느 하나의 값으로 된다. 워터마킹 정보 추정기(34)에서는, 예컨대 특정 주파수성분 신호의 피크가 정인 경우는 워터마킹 정보 "1", 부인 경우는 워터마킹 정보 "0"으로 판정된다. 이와 같이 하여 워터마킹 정보 추정기(34)로부터 검출된 워터마킹 정보(13)가 출력된다. 위상제어기(31)의 위상제어와, 상관기(32)의 상관연산 및, 특정 주파수성분 추출기(33)의 필터링이 선형연산인 경우, 본 실시형태의 전자 워터마킹 검출장치는 도 2에 도시된 전자 워터마킹 검출장치와 등가이다.

본 실시형태에 의하면, 워터마킹 정보 검출기(12)에 있어서 축소화상신호의 자기상관함수가 연산되고, 자기상관함수가 필터링되는 것에 의해 특정 주파수성분 신호가 생성된다. 축소화상신호에 대한 위상제어량을 변화시키면서 자기상관함수를 산출하고, 그리고 특정 주파수성분 신호의 피크를 탐색하며, 피크의 극성을 판정하는 것에 의해 스케일링공격을 받은 입력화상신호로부터 용이하게 워터마킹 정보가 검출된다.

도 5중에 도시된 워터마킹 정보 검출기(12)도 스케일링을 받은 화상신호로부터 워터마킹 정보를 검출하는 것이 가능하다. 따라서, 특정 주파수성분 신호를 추출하기 전에, 입력화상신호(10)에 화상 크기에 대한 축소처리를 실시하는 것이 가능하므로, 고해상도의 입력화상신호에 대해서도 축소처리에 대한 비용만의 증가로 워터마킹 정보가 검출된다.

제4실시형태

다음에, 도 6을 이용해서 본 발명의 제4실시형태에 따른 전자 워터마킹 검출장치에 대해 설명한다. 도 6에 있어서, 화상축소기(11)로부터의 축소화상신호는 위상제어기(31)의 입력과 상관기(32)의 제1입력에 부여된다. 위상제어기(31)에 의해 위상제어를 받은 축소화상신호는 상관기(32)의 제2입력에 부여되고, 여기서 위상제어를 받기 전의 축소화상신호와의 사이의 상관연산이 수행되는 것에 의해 자기상관함수가 산출된다. 지금까지의 처리는 제3실시형태와 마찬가지이다.

제4실시형태에 의하면, 상관기(32)로부터의 자기상관함수는 제1누적기(41)에 입력된다. 제1누적기(41)는 자기상관함수를 예컨대 라인 기간, 1필드 기간, 수(數) 필드 기간, 1프레임 기간, 수 프레임 기간과 같은, 입력화상신호에 대응하는 화상의 특성이 크게 변화하지 않는 짧은 제1기간에 걸쳐 누적하는 것에 의해, 제1누적신호를 생성한다. 제1누적기(41)는 제1누적신호를 생성할 때 마다 리세트되어, 자기상관함수의 누적을 재개한다.

제1누적신호는 특정 주파수성분 추출기(42)에 입력되고, 여기서 필터링되는 것에 의해 특정 주파수성분 신호가 추출된다. 특정 주파수성분 신호는 정규화기(43)에 입력된다. 정규화기(43)에서는 입력화상신호(10)에 대응하는 화상의 특성이 워터마킹 정보의 나감에 영향을 미치지 않도록 하기 위해, 특정 주파수성분 신호가 진폭에 대해 정규화된다. 정규화된 특정 주파수성분 신호는 제2누적기(44)에 입력된다.

제2누적기(44)는 정규화된 특정 주파수성분 신호를 제2기간에 걸쳐 누적하는 것에 의해 제2누적신호를 생성한다. 제2기간은 제1누적기(41)의 누적기간인 제1기간 보다 긴 시간, 예컨대 15초, 30초, 1분과 같이 선택된다. 제2누적기(44)는 제2누적신호를 생성할 때 마다 리세트되고, 정규화된 특정 주파수성분 신호의 누적을 재개한다. 제2누적신호는 워터마킹 정보 추정기(45)에 입력되고, 여기서 피크가 탐색되며, 피크의 극성이 판정되는 것에 의해, 검출된 워터마킹 정보(13)가 출력된다.

본 실시형태에 의하면, 워터마킹 정보 검출기(12)에 있어서 축소화상신호의 자기상관함수가 산출되고, 이 자기상관신호가 누적된 후에 특정 주파수성분 신호가 추출된다. 특정 주파수성분 신호가 진폭에 대해 정규화되고 나서 다시 누적되고, 누적된 정규화 특정 주파수성분 신호로부터 워터마킹 정보가 검출된다. 축소화상신호에 대한 위상제어량을 변화시키면서 자기상관함수를 산출하고, 그리고 특정 주파수성분 신호의 피크를 탐색하며, 더욱이 피크의 극성을 판정하는 것에 의해 스케일링 공격을 받은 입력화상신호로부터 용이하게 워터마킹 정보가 검출된다. 자기상관함수를 누적해서 특정 주파수성분 추출기(42)에서 필터링을 행하기 때문에, 입력화상신호와 필터링된 화상신호와의 사이의 상호 상관값을 누적하는 경우와 비교해서 필터 연산횟수가 삭감된다. 따라서 워터마킹 정보의 검출성능을 떨어뜨리지 않고 검출비용을 절감할 수 있게 된다.

도 6중에 도시되는 워터마킹 정보 검출기(12)도 스케일링을 받은 화상신호로부터 워터마킹 정보를 검출하는 것이 가능하다. 따라서, 특정 주파수성분 신호를 추출하기 전에 입력화상신호(10)에 화상 크기에 대한 축소처리를 실시하는 것이 가능하기 때문에, 고해상도의 입력화상신호에 대해서도 축소처리에 대한 비용만의 증가로 워터마킹 정보가 검출된다.

제5실시형태

도 7에 본 발명의 제5실시형태에 따른 전자 워터마킹 검출장치의 주요부의 구성을 나타낸다. 도 7의 전자 워터마킹 검출장치에서는 도 6에 나타낸 전자 워터마킹 검출장치에 연산량 제어기(46)가 추가되어 있다. 본 실시형태는 전자 워터마킹 검출장치의 처리의 일부 또는 전부를 범용 CPU(Central Processing Unit)나 전용 CPU 또는 전용 DSP(Digital Signal Processor)와 같은 프로세서를 이용해서 소프트웨어처리에 의해 실현하는 경우를 고려하고 있다. 연산량 제어기(46)는 프로세서의 드로우풋을 나타내는 정보(47)를 예컨대 OS(오퍼레이팅 시스템)으로부터 취득한다. 여기서, 드로우풋이라는 것은 프로세서가 원래 갖고 있는 성능, 또는 프로세서의 시시각각 변화하는 성능으로, 이들의 양자를 포함하고 있어도 된다.

프로세서의 드로우풋이 부족하면, 연산량 제어기(46)에 의해 상관기(32)의 단위시간당 연산량이 감소하도록 상관기(32)가 제어된다. 구체적으로는, 즉 드로우풋이 미리 정해진 임계값 보다 작아지게 되면, 상관기(32)는 연산량 제어기(46)에 의해 입력화상신호(10)의 화소단위, 라인단위, 필드단위, 또는 프레임단위로 주기적으로 동작이 정지된다.

상관기(32)의 연산량을 감소시키면, 제2누적기(44)에서의 특정 주파수성분 신호의 누적량이 감소하기 때문에, 전자 워터마킹의 검출성능이 저하된다. 여기서, 누적량을 확보하기 위해서 상관기(32)에 의해 제2누적기(44)의 누적기간(제2기간)이 제어된다. 예컨대, 1라인 마다 상관기(32)를 정지시켜 상관연산을 1라인 걸러 수행하도록 하면, 단위시간당 연산량은 반분으로 되지만, 상관값의 누적량도 반분으로 되어 버린다. 그리고, 연산량 제어기(46)는 제2누적기(44)의 누적기간을 2배로 하는 것에 의해 상관기(32)의 연산량 제어를 수행하지 않는 경우와 동일한 누적량을 확보한다.

이와 같이 하는 것으로, 원래 성능이 낮은 프로세서를 이용한 경우나, 프로세서의 드로우풋이 전자 워터마킹 검출처리 이외의 처리등을 위해서 상기 임계값 보다 작아지게 된 경우에도, 프로세서에 큰 부하를 거는 것 없이 워터마킹 정보의 검출이 가능하게 된다. 반대로, 프로세서의 드로우풋에 여유가 있으면, 상관연산을 정지시키는 빈도를 절감하여 누적량을 증가시키는 것으로 워터마킹 정보의 검출성능을 향상시키는 것이 가능하다.

이와 같이 본 실시형태에 의하면, 프로세서의 처리성능이 낮을 때에는 상관기(32)의 단위시간당 연산량을 감소시킴과 더불어 제2누적기(44)의 단위시간당 누적량을 감소해서 누적기간을 연장시키는 것으로, 워터마킹 정보의 검출성능을 유지한 채 단위시간당 연산량을 삭감하는 것이 가능하다. 프로세서의 처리능력에 여유가 있을 때는 상관기(32)의 연산량 및 제2누적기(44)의 단위시간당 누적량을 증가시키는 것으로 워터마킹 정보의 검출성능이 향상된다.

제5실시형태에서는 도 6에 나타낸 전자 워터마킹 장치에 연산량 제어기(46)가 조합되어 있지만, 도 2 또는 도 6에 도시된 전자 워터마킹 장치에 마찬가지의 연산량 제어기가 조합되어도 된다.

제6실시형태

도 8에는 본 발명의 제6실시형태에 따른 전자 워터마킹 검출장치의 주요부의 구성을 나타낸다. 도 8의 전자 워터마킹 검출장치에서는 회전변환된 화상신호의 전자 워터마킹을 검출하기 위해, 도 6의 전자 워터마킹 검출장치에 있어서 상관기(32)의 전단에 축소화상신호에 대해 화상회전조작을 실시하는 화상회전기(48)가 삽입되어 있다. 화상회전기(48)는 도 8에서는 화상축소기(11)의 직후에 배치되어 있는 경우를 고려하고 있지만, 화상축소기(11)의 직전에 배치되어 있어도 된다. 화상회전기(48)는 축소화상신호에 대응하는 화상을 회전각도정보(49)에 따라 회전시킨 화상에 대응하는 화상신호를 출력한다. 이에 의해 입력화상신호(10)가 회전공격을 받고 있는 경우에도 워터마킹 정보를 검출하는 것이 가능하다.

화상회전기(48)는, 예컨대 도 9에 나타낸 바와 같이 라인버퍼(51)와 독출유니트(52)를 갖는다. 라인버퍼(51)에는 축소화상신호가 복수 라인분 읽어 넣어져 일시적으로 저장된다. 라인버퍼(51)에 저장된 복수 라인분의 화상신호는 회전각도정보(49)에 따라 독출유니트(52)에 의해 독출라인이 서서히 변경되면서 독출된다. 독출유니트(52)에서는 회전각도정보(49)에 따른 라인시프트량이 설정된다.

도 10에 입력화상신호(10)에 대응하는 화상의 화소(1104)의 배열이 도시된다. 통상의 전자 워터마킹 검출장치의 상관기에서는 참조부호 1101로 나타내어지도록 라인방향에 대해 상관연산이 수행된다. 한편, 본 실시형태에서는 회전변환을 받은 입력화상신호에 대해서는 화상회전기(27)에서 참조부호 1102로 나타내어지도록, 예컨대 소정 화소수 마다 상관기(32)에 입력되는 라인이 시프트된다. 이에 의해, 상관기(32)에서는 화상의 경사방향으로, 즉 도 10의 검은색 동그라미를 붙인 화소(1103)의 화상신호가 순차입력되는 것에 의해 화상의 경사방향으로 상관연산이 수행된다.

독출유니트(52)에 있어서 회전각도정보(49)에 따른 라인시프트량의 변경을 소정의 화소수 n(예컨대, 8화소)의 정수배의 위치(예컨대, 도 10의 예에서는 검은색 동그라미를 붙인 화소 1103의 위치)에서 수행하면, 라인버퍼(51)내의 화상신호 데이터에 효율 좋게 억세스할 수 있다. 따라서, 입력화상신호(10)에 대응하는 화상이 고속으로 회전하는 것에 대한 경우에도 전자 워터마킹 검출이 가능하게 된다.

화상의 회전각도(θ)가 작아 θ≒0일 때는, cosθ≒1, sinθ≒tanθ≒θ이기 때문에, 도 9에 나타낸 화상회전기(48)에 의해 상관기(32)에 입력하는 화상신호의 라인을 시프트하는 것으로, 연산량을 증가시키지 않고서 회전공격을 받은 입력화상신호로부터의 워터마킹 정보의 검출을 수행하는 것이 가능하게 된다.

이와 같이 제6실시형태에서는 상관기(32)에 대한 화상신호(입력화상신호 또는 축소화상신호)의 입력라인을 서서히 비켜서 가게 하는 것으로, 화상의 회전을 근사시킬 수 있게 된다. 특히, 화상회전기(48)를 도 10과 같이 라인버퍼(51)와 독출유니트(52)에 의해 실현하면, 독출유니트(52)에 있어서 독출 어드레스의 변경에 의한 라인 시프트량의 변경만으로 회전공격을 받은 입력화상신호로부터의 워터마킹 정보의 검출이 가능하게 된다. 따라서, 연산량, 라인버퍼(51)의 메모리밴드폭 및 회로규모의 증대가 회피된다. 더욱이, 라인시프트량을 변경하는 위치를 라인버퍼(51)의 워드폭에 일치시키는 것으로 메모리 억세스 효율이 향상하기 때문에, 입력화상신호(10)가 고속 회전공격을 받고 있는 경우에도 워터마킹 정보의 검출을 용이하게 수행하는 것이 가능하다.

워터마킹 정보 추정기의 구체예1

다음에, 도 6의 전자 워터마킹 검출장치에 있어서 워터마킹 정보 추정기(45)의 구체예에 대해 도 11을 이용해서 설명한다. 워터마킹 정보 추정기(45)는 본 예에서는 임계값 설정기(61)와, 워터마킹 검출기(62) 및, 워터마킹 판정기(63)를 갖춘다.

임계값 설정기(61)는 도 6에 도시된 제2누적기(44)의 누적기간인 제2기간을 나타내는 정보를 취득하고, 해당 누적기간에 따라 워터마킹 판정기(63)에 있어서 워터마킹 정보의 판정을 위한 임계값을 변화시킨다. 구체적으로는, 도 12에 나타낸 바와 같이 누적기간이 길어지게 되는 만큼 임계값은 작아지게 되도록 설정된다. 한편, 워터마킹 검출기(62)는 제2누적기(44)로부터의 제2누적신호(자기상관신호의 특정 주파수성분을 정규화하여 누적한 신호)로부터 워터마킹 정보의 검출을 수행하고, 워터마킹 정보와 레벨(제2누적신호의 피크의 진폭의 절대값)을 워터마킹 판정기(63)에 제공한다.

워터마킹 판정기(63)는 임계값 설정기(61)에 의해 설정된 임계값과 워터마킹 검출기(62)로부터 부여되는 레벨의 비교를 수행한다. 워터마킹 판정기(63)는 이 비교의 결과, 레벨이 임계값 이상이면, 워터마킹 검출기(62)에서 워터마킹 정보가 올바르게 검출된 것으로 판단하여, 검출된 워터마킹 정보를 출력한다. 워터마킹 판정기(63)는 레벨이 임계값 미만이면 워터마킹 정보가 매립되어 있지 않은 것으로 판단하여, 「워터마킹 없음」이라는 정보를 출력한다. 판정을 위한 임계값은 기본적으로는 누적기간이 길어지게 되는 만큼 임계값이 낮아지게 되도록 설정되지만, 역이어도 된다. 워터마킹 판정기(63)는 미리 정해진 기간(예컨대, 15초, 30초, 1분 등) 마다 그 기간에 따른 임계값으로 판정을 수행하여도 되고, 연속적으로 변화하는 임계값으로 판정을 수행하여도 된다.

이와 같이 본 실시형태에서는 누적기간을 길게한 때에 워터마킹 정보의 판정을 위한 임계값을 낮추는 것으로 워터마킹 정보를 검출할 수 있는 확율이 높아지게 된다. 따라서, 워터마킹 정보의 검출에 요하는 연산량이나 회로규모를 증대시키는 것 없이 검출성능이 향상된다.

워터마킹 정보 추정기의 구체예2

다음에, 도 6의 전자 워터마킹 검출장치에 있어서 워터마킹 정보 추정기(45)의 다른 구체예에 대해 도 13을 이용해서 설명한다. 본 예의 워터마킹 정보 추정기(45)는 워터마킹 검출방법의 다른 적어도 2개의 워터마킹 검출기(71A,71B)와, 워터마킹 판정기(72)를 갖춘다. 워터마킹 검출기(71A,71B)는 각각 독립으로 워터마킹 정보의 검출을 수행한다. 워터마킹 판정기(72)는 워터마킹 검출기(71A,71B)의 각각의 검출결과가 일치하고 있는가의 판정을 수행한다.

워터마킹 검출기(71A)는 상관기(23)로부터 자기상관신호의 특정 주파수성분를 정규화하여 누적한 제2누적신호를 받고, 제1검출방법을 이용해서 제2누적신호로부터 워터마킹 정보를 검출하며, 검출결과를 워터마킹 판정기(72)에 제공한다. 마찬가지로 워터마킹 검출기(71B)는 제1검출방법을 이용해서 제2누적신호로부터 워터마킹 정보를 검출하고, 검출결과를 워터마킹 판정기(72)에 제공한다. 워터마킹 판정기(72)는 워터마킹 검출기(71A,71B)로부터의 각각의 워터마킹 정보를 비교한다. 워터마킹 판정기(72)는 양자가 일치하고 있으면 전자 워터마킹이 검출된 것으로 판단하여 워터마킹 정보를 그대로 출력하고, 일치하고 있지 않으면 전자 워터마킹이 매립되어 있지 않은 것으로 판단하여 「워터마킹 없음」이라는 정보를 출력한다.

예컨대, 워터마킹 검출기(71A)에 의해 제1검출방법으로 워터마킹 정보 "A"가 검출되고, 워터마킹 검출기(71B)에 의해 제2검출방법으로도 "A"가 검출된 경우, 2개의 검출결과가 일치하고 있기 때문에 최종적으로 워터마킹 정보 "A"가 검출결과로서 얻어진다. 한편, 제1검출방법으로 워터마킹 정보 "B"가 검출되고, 제2검출방법으로 워터마킹 정보 "C"가 검출된 경우, 2개의 검출결과가 다르기 때문에 워터마킹 정보의 추정이 불가능하여, 전자 워터마킹 정보가 매립되어 있지 않은 것으로 판단한다. 검출방법이 3개 이상인 경우에도 본 실시형태와 마찬가지의 고려를 적용할 수 있다.

이와 같이 본 실시형태에서는 복수의 검출방법에서의 워터마킹 정보의 검출결과를 비교하는 것으로 워터마킹 정보의 정확한 검출이 가능하여, 오검출의 확율을 낮추는 것이 가능하게 된다.

워터마킹 정보 추정기의 구체예3

다음에, 워터마킹 정보 추정기(45)의 또 다른 구체예에 대해 도 14를 이용해서 설명한다. 본 예에서는 워터마킹 정보 추정기(45)의 전단에 도 6에 있어서 제2누적기(44)와는 별도로 자기상관신호의 정규화 특정 주파수성분의 누적을 수행하는 제3누적기(80)가 전단에 배치되어 있다. 워터마킹 정보 추정기(45)는 워터마킹 검출기(81)와, 워터마킹 가검출기(82), 가검출 판정기(83) 및, 워터마킹 판정기(84)를 갖춘다.

제2누적기(44)는 정규화된 특정 주파수성분 신호를 제2기간에 걸쳐 누적해서, 제2누적신호를 워터마킹 검출기(81)에 제공한다. 워터마킹 검출기(81)는 워터마킹 정보의 검출을 수행해서, 검출결과를 워터마킹 판정기(84)에 제공한다. 제3누적기(80)는 정규화된 특정 주파수성분 신호를 제2누적기(44)의 누적기간인 제2기간 보다 짧은 n(n은 1을 넘는 임의의 정수)분의 1의 기간(제3기간)에 걸쳐 누적해서, 누적신호를 워터마킹 가검출기(82)에 제공한다.

워터마킹 가검출기(82)는 워터마킹 정보의 가검출을 수행하고, 가검출결과를 가검출 판정기(83)에 출력한다. 가검출 판정기(83)는 가검출결과를 n회 누적한 후, n개의 가검출 결과의 비교를 수행하고, n개의 가검출결과의 과반수가 일치하고 있는가의 여부를 나타내는 판정결과를 워터마킹 판정기(84)에 제공한다.

워터마킹 판정기(84)는 가검출 판정기(83)로부터 n개의 가검출 결과의 과반수가 일치하고 있는 것으로 판정결과가 얻어지면, 워터마킹 정보가 검출된 것으로 판단하여 워터마킹 검출기(81)로부터의 워터마킹 정보를 출력한다. 한편, 워터마킹 판정기(84)는 가검출 판정기(83)로부터 n개의 가검출 결과의 반수 이하 밖에 일치하고 있지 않는다는 판정결과가 얻어진 경우는 아무런 워터마킹 정보가 매립되어 있지 않은 것으로 판단하여, 「워터마킹 없음」이라는 정보를 출력한다.

예컨대, 워터마킹 가검출기(82)의 검출시간이 10초에서 n=2인 경우, 최초의 5초간에서 워터마킹 정보 "A"가 가검출되고, 다음의 5초간에서도 "A"가 가검출된 것으로 한다. 이 경우, 가검출 결과는 과반수가 일치하고 있기 때문에, 검출결과는 유효로 되어, 가검출 판정기(83)에 의해 워터마킹 정보가 매립되어 있는 것으로 판정되고, 워터마킹 검출기(81)에 의해 검출된 워터마킹 정보가 출력된다. 한편, 최초의 5초간에서 "B"가 가검출되고, 다음의 5초간에서는 "C"가 가검출된 경우에는 가검출 결과의 과반수가 일치하고 있지 않기 때문에, 검출결과는 무효로 되어 워터마킹 정보가 매립되어 있지 않은 것으로 판정된다.

이와 같이 본 실시형태에 의하면, 워터마킹 정보의 시간적 연속성을 평가하는 것에 의해 워터마킹 정보의 정확한 검출이 되기 때문에, 오검출의 확율을 낮추는 것이 가능하다.

상관기에 대해

다음에 지금까지의 실시형태에서 설명한 전자 워터마킹 검출장치에 있어서 상관기(23 및 32)에 대해 구체적으로 설명한다. 통상, 상관연산은 각 화소끼리의 승산결과를 서로 합하는 것에 의해 얻어진다. 소정 신호 X(n)과 신호 Y(n) 사이의 상호 상관값(상관함수) C는 다음 식으로 얻어진다

여기서 1은 신호길이이다. 자기상관의 경우 Y(n) =X(n)이다.

도 15에 일반적인 상관연산을 나타낸다. 이 연산은 승산과 가산을 화소수횟수 만큼 수행하기 때문에, 많은 연산량을 필요로 하게 된다. 여기서, 본 실시형태에서는 화소를 빼내어 연산량을 절감하고 있다. 예컨대, n화소 마다 승산과 가산을 행하는 블록과 행하지 않는 블록으로 절환하는 것으로 연산량을 반분으로 한다. 이에 의해 상관함수의 정밀도는 저하되지만, 전자 워터마킹의 검출에는 충분하여 효과적으로 연산량이 삭감될 수 있다. 예컨대, 도 16과 같이 1화소 마다 승산과 가산을 수행하면, 상관함수 C는 다음 식으로 된다.

승산을 행하는 위치와 행하지 않는 위치는 역이어도 된다. 이에 의해, 연산량은 종래의 반분으로 된다.

도 17과 같이 최초의 8화소 승산과 가산을 수행하고, 다음의 8화소는 승산과 가산을 행하지 않도록 하여도 된다. 이 연산을 교대로 반복하면, 상관함수 C는 다음 식으로 된다.

이 경우도 승산을 행하는 위치와 행하지 않는 위치는 역이어도 된다. 이에 의해 연산량은 종래의 반분으로 된다.

더욱이, 식 (2)와 (3)을 조합시켜 도 18과 같이 최초의 8화소는 1화소 마다 승산과 가산을 행하지만, 다음의 8화소는 승산과 가산을 행하지 않도록 하여도 된다. 이 경우, 상관함수 C는 다음 식으로 되어 연산량은 종래의 4분의 1로 된다.

이와 같이 상관연산을 빼내서 행하는 것으로, 상관연산에 관한 연산량이나 회로규모가 절감되므로, 워터마킹 정보의 검출성능을 떨어뜨리지 않고서 검출비용을 효과적으로 삭감하는 것이 가능하다.

제7실시형태

다음에, HD(High Definition) 화상신호에 매립된 워터마킹 정보의 검출에 대해 구체예를 나타낸다. 도 19에 나타낸 바와 같이, 예컨대 HD 화상은 수평방향의 화소수가 1920, 수직방향의 화소수가 1080이다. 한편, 예컨대 NTSC방식을 기초로 SD(Standard Definition) 화상은 수평방향의 화소수가 720, 수직방향의 화소수가 480이다. 이와 같이 HD 화상은 화소수가 SD화상의 6배이기 때문에, HD 화상신호에 매립되어 있는 워터마킹 정보를 직접 검출하고자 하면, 처리에 요하는 비용이 커지게 되어 버린다.

본 발명의 실시형태에 따른 전자 워터마킹 검출장치는 스케일링이 되어도 워터마킹 정보를 검출하는 것이 가능하다. 따라서, 입력화상신호(10)가 HD 화상신호인 경우, 상기한 화상축소기(11)에 HD 화상신호를 SD 화상신호로 다운콘버트하는 콘버터를 이용해서 SD 화상신호를 워터마킹 정보 검출기(12)에 입력하는 것에 의해 워터마킹 정보의 검출을 행하는 것이 가능 하다. 이에 의해 비용의 증가를 억제하면서 HD 화상신호에 매립되어 있는 워터마킹 정보의 검출이 가능하게 된다.

현재, HD 화상신호를 취급하는 비디오기기로서 디지탈 방송수신용 HDTV 튜너나, HD에 대응한 VCR(Video Cassette Record) 및, HDD(Hard Disk Drive) 레코더가 존재하고 있다. 더욱이, HD에 대응한 DVD(Digital Versatile Disc)와 같은 광디스크 시스템의 개발도 진행되고 있다. 이들의 HD에 대응한 비디오기기는 일반적으로 HD 화상신호만이 아니고, SD 화상신호를 출력하는 기능을 갖추고 있다. 즉, 이들의 비디오기기는 HD 화상신호로부터 SD 화상신호로의 다운콘버트기능을 갖고 있다. 따라서, 이들의 비디오기기의 다운콘버트 기능을 화상축소기(11) 대신 이용하는 것에 의해 다운콘버트를 위한 새로운 비용 증가는 회피된다.

도 20에는 제7실시형태에 따른 시스템의 구성을 나타낸다. 전자 워터마킹 검출장치의 외부에 설치된 HD 대응의 비디오기기(101,102,103,104)로부터 HD 화상신호(105) 및 SD 화상신호(106)가 출력되어 도시되지 않은 디스플레이장치에 공급된다. SD 화상신호(106)는 워터마킹 정보 검출기(12)에도 입력된다. 워터마킹 정보 검출기(12)의 상세한 구성은, 예컨대 도 2, 도 5 또는 도 6에 나타낸 바와 같다. 이와 같이 HD 화상신호를 SD 화상신호로 다운콘버트하는 기능을 갖는 비디오기기(101,102,103,104)를 화상축소기(11) 대신 이용하는 것에 의해 다운콘버트를 위한 새로운 비용 증가를 회피할 수 있다.

제8실시형태

제7실시형태에 있어서 예시한 바와 같이, HD 화상신호를 SD 화상신호로 다운콘버트하면 화상의 수평방향의 화소수가 3/8로 되기 때문에, 상기한 전자 워터마킹 매립장치에 있어서 이용한 특정 주파수성분 신호의 주파수특성이 크게 변화한다. 이 때문에, 전자 워터마킹 검출장치에 있어서 특정 주파수성분 추출기(33 또는 42)에 전자 워터마킹 매립장치에 있어서 이용되고 있는 특정 주파수성분 추출기와 동일한 HPF 또는 BPF를 이용하면, 전자 워터마킹 검출성능이 저하되는 경우가 있다. 여기서, 본 실시형태에서는 입력화상신호의 다운콘버트에 의한 스케일링율에 따라 전자 워터마킹 검출장치가 추출하는 주파수성분을 변화시키는 것으로 한다.

도 21 및 도 22를 이용해서 설명한다. HD 화상신호중에 매립된 워터마킹 정보의 정규화 주파수특성을 도 21중의 곡선(211)로 하면, HD 화상신호를 다운콘버트해서 얻어지는 SD 화상신호중의 워터마킹 정보의 정규화 주파수특성은 도 22중의 곡선(221)로 나타낸다. 상기한 전자 워터마킹 매립장치에 있어서 특정 주파수성분 추출기에 BPF가 이용되고 있는 경우, 이와 동일한 BPF를 전자 워터마킹 검출장치중의 특정 주파수성분 추출기(33 또는 42)에 이용한 경우에는 특정 주파수성분 추출기(33 또는 42)에 의해 추출되는 주파수성분의 정규화 주파수특성은 도 22중의 곡선(222)로 나타나고, 이는 매립되어 있는 워터마킹 정보의 정규화 주파수특성(221)과 일치하지 않는다.

여기서, 입력화상신호(10)인 SD 화상신호중에 매립되어 있는 워터마킹 정보의 정규화 주파수특성(221)에 가까운 도 22중의 곡선(223)으로 나타나는 정규화 주파수특성을 갖는 BPF를 특정 주파수성분 추출기(33 또는 42)에 이용한다. 이에 의해 워터마킹 정보의 검출을 보다 정확하게 수행하는 것이 가능하다.

도 23은 본 발명의 제8실시형태에 따른 전자 워터마킹 검출장치의 주요부를 나타내고 있다. 화상축소기(11)는 입력화상신호(10)를 필요에 따라 화상 크기에 관해서 축소함과 더불어 축소율 정보(35)를 출력한다. 예컨대, 입력화상신호(10)가 HD 화상신호인 경우에는 화상축소기(11)는 HD 화상신호를 SD 화상신호로 다운콘버트하고, 축소율 정보(35)로서 수평방향 축소율=720/1920, 수직방향 축소율 480/1080이라는 정보를 출력한다. 한편, 입력화상신호(10)가 SD 화상신호인 경우에는 화상축소기(11)는 어떠한 축소처리를 행하지 않고, SD 화상신호를 그대로 출력하며, 축소율 정보(35)로서는 축소율이 수평방향 및 수직방향 함께 1, 즉 등배라는 정보를 출력한다.

축소율 정보(35)는 추출 주파수성분 선택기(36)에 입력된다. 추출 주파수성분 선택기(36)는 특정 주파수성분 추출기(33)가 추출할 특정 주파수성분 신호의 주파수를 축소율 정보(35)에 따라 결정하고, 그에 따른 추출 주파수정보(37)를 특정 주파수성분 추출기(33)에 부여한다. 특정 주파수성분 추출기(33)는 추출 주파수정보(37)에 의해 지정되는 주파수를 갖춘 특정 주파수성분 신호를 추출한다.

이와 같이 본 실시형태의 전자 워터마킹 검출장치에서는 입력화상신호(10)로서 HD 화상신호 및 SD 화상신호와 같이 화상 크기가 다른 다양한 화상신호가 입력되는 경우에는 각각의 화상신호에 대한 축소비율(등배를 포함)에 따라 특정 주파수성분 추출기(33)가 추출할 특정 주파수성분 신호의 주파수를 변화시킨다. 이에 의해 다양한 화상 크기의 입력화상신호로부터 워터마킹 정보를 높은 검출성능으로 검출하는 것이 가능하다.

한편, 전자 워터마킹 검출장치의 성능에 여유가 있는 경우, HD 화상신호가 입력되는 경우에도 축소처리를 행하지 않고서 그대로 전자 워터마킹 검출장치에 입력하여도 된다. 그 경우, 특정 주파수성분 추출기(33)에는 전자 워터마킹 매립장치에서 이용되고 있는 것과 동일한 HPF 또는 BPF를 이용하는 것이 가능하다.

도 23의 전자 워터마킹장치에서는, 도 5에 나타낸 전자 워터마킹 검출장치에 추출 주파수성분 선택기(36)가 조합되어 있지만, 도 2, 도 6 또는 도 7에 나타낸 전자 워터마킹 검출장치에 마찬가지의 추출 주파수성분 선택기가 조합되어도 된다. 또한, 도 23에 있어서 화상축소기(11) 대신 제7실시형태에서 설명한 바와 같은 HD 화상신호를 SD 화상신호로 다운콘버트하는 기능을 갖춘 비디오기기의 다운콘버트기능을 이용하여도 된다. 그 경우, 해당 비디오기기로부터 축소율 정보 또는 축소율에 관련하는 정보를 수취해서 축소율을 추출 주파수성분 선택기에서 알도록 하여도 된다.

본 발명은 상기 실시형태로 한정되는 것은 아니고, 실시단계에서는 그 요지를 일탈하지 않는 범위에서 구성요소를 변형하여 구체화할 수 있다. 또한, 상기 실시형태에 개시되어 있는 복수의 구성요소의 적절한 조합에 의해 다양한 발명을 형성할 수 있다. 예컨대, 실시형태에서 나타나는 전체 구성요소로부터 몇가지의 구성요소를 삭제하여도 된다. 더욱이, 다른 실시형태에 따른 구성요소를 적절히 조합시켜도 된다.

이상 설명한 바와 같이 본 발명에 의하면, 화상의 잘라냄, 스케일링 및, 회전 등의 공격에 대해 입력화상신호가 고해상도 신호인 경우에도 연산량이나 회로규모의 증대를 수반하는 것 없이 워터마킹 정보를 정확하게 검출할 수 있게 된다.

본 발명의 전자 워터마킹 검출기술은 기록매체를 매개로 제공되는 고해상도의 디지탈 동화상신호의 부정 복제의 방지에 유용하다.

도 1은 본 발명의 제1실시형태에 따른 전자 워터마킹 검출장치의 구성을 나타낸 블록도,

도 2는 본 발명의 제2실시형태에 따른 전자 워터마킹 검출장치의 구성을 나타낸 블록도,

도 3은 도 2중의 위상제어기에 의한 특정 주파수성분 신호의 위상시프트에 대해 설명하는 도면,

도 4는 제2실시형태에 있어서 상호 상관값의 피크검색과 워터마킹 정보검출의 동작예를 나타낸 도면,

도 5는 본 발명의 제3실시형태에 따른 전자 워터마킹 검출장치의 구성을 나타낸 블록도,

도 6은 본 발명의 제4실시형태에 따른 전자 워터마킹 검출장치의 구성을 나타낸 블록도,

도 7은 본 발명의 제5실시형태에 따른 전자 워터마킹 검출장치의 주요부의 구성을 나타낸 블록도,

도 8은 본 발명의 제6실시형태에 따른 전자 워터마킹 검출장치의 주요부의 구성을 나타낸 블록도,

도 9는 도 8중의 화상회전기의 구성예를 나타낸 블록도,

도 10은 제6실시형태에 있어서 회전변환된 화상으로부터 워터마킹을 정보검출하는 때에 경사방향에서 상관연산을 수행하는 것을 나타낸 도면,

도 11은 전자 워터마킹 검출장치에 포함되는 워터마킹 추정기의 제1구체예를 나타낸 블록도,

도 12는 누적기간에 의해 워터마킹 정보검출의 판정 임계값이 변화되는 것을 나타낸 도면,

도 13은 전자 워터마킹 검출장치에 포함되는 워터마킹 추정기의 제2구체예를 나타낸 블록도,

도 14는 전자 워터마킹 검출장치에 포함되는 워터마킹 추정기의 제3구체예를 나타낸 블록도,

도 15는 일반적인 상관연산의 동작을 나타낸 도면,

도 16은 화소를 1화소 마다 빼내서 수행하는 상관연산의 동작을 나타낸 도면,

도 17은 화소를 8화소 마다 빼내서 수행하는 상관연산의 동작을 나타낸 도면,

도 18은 화소를 8화소 마다 빼내고 다시 1화소 마다 빼내서 수행하는 상관연산의 동작을 나타낸 도면,

도 19는 HD 화상과 SD 화상을 설명하는 도면,

도 20은 본 발명의 제7실시형태에 따른 시스템의 구성을 나타낸 블록도,

도 21은 HD 화상신호에 매립된 워터마킹 정보의 주파수특성을 나타낸 도면,

도 22는 HD 화상신호를 다운콘버트해서 얻어지는 SD 화상신호로부터 추출되는 특정 주파수성분 신호의 주파수특성을 설명하는 도면,

도 23은 본 발명의 제8실시형태에 따른 전자 워터마킹 검출장치의 주요부 구성을 나타낸 블록도이다.

<부호의 설명>

10 --- 입력화상신호 11 --- 화상축소기

12 --- 워터마킹 정보 검출기 13 --- 검출되는 워터마킹 정보

21 --- 특정 주파수성분 추출기 22 --- 위상제어기

23 --- 상관기 24 --- 워터마킹 정보 추정기

31 --- 위상제어기 32 --- 상관기

33 --- 특정 주파수성분 추출기 34 --- 워터마킹 정보 추정기

35 --- 축소율 정보 36 --- 추출 주파수성분 선택기

37 --- 추출 주파수정보 41 --- 제1누적기

42 --- 특정 주파수성분 추출기 43 --- 정규화기

44 --- 제2누적기 45 --- 워터마킹 정보 추정기

46 --- 연산량 제어기 47 --- CPU 성능정보

48 --- 화상회전기 49 --- 회전각도정보

51 --- 라인버퍼 52 --- 독출유니트

61 --- 임계값 설정기 62 --- 워터마킹 검출기

63 --- 워터마킹 판정기 71A,71B --- 워터마킹 검출기

72 --- 워터마킹 판정기 81 --- 워터마킹 검출기

82 --- 워터마킹 가검출기 83 --- 가검출 판정기

84 --- 워터마킹 판정기 101∼104 --- HD 대응 비디오기기

Claims

입력화상신호에 매립되어 있는 워터마킹 정보를 검출하는 전자 워터마킹 검출방법에 있어서,

상기 입력화상신호를 화상 크기에 대해 축소해서 축소화상신호를 생성하는 단계와,

상기 축소화상신호로부터 상기 워터마킹 정보를 검출하는 검출단계를 구비하여 이루어진 것을 특징으로 하는 전자 워터마킹 검출방법.
입력화상신호에 매립되어 있는 워터마킹 정보를 검출하는 전자 워터마킹 검출장치에 있어서,

상기 입력화상신호에 대해 화상 크기에 대해 축소해서 축소화상신호를 생성하는 화상축소기와,

상기 축소화상신호로부터 상기 워터마킹 정보를 검출하는 검출기를 구비하여 구성된 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항에 있어서, 상기 검출기가,

상기 축소화상신호로부터 특정 주파수성분 신호를 추출하는 추출기와,

상기 특정 주파수성분 신호의 위상을 제어하는 위상제어기,

위상이 제어된 특정 주파수성분 신호와 상기 축소화상신호와의 사이의 상호 상관값을 산출하는 상관기 및,

상기 상호 상관값으로부터 상기 워터마킹 정보를 추정하는 추정기를 갖춘 것을 특징으로 하는 전자 워터마킹 검출장치.
제3항에 있어서, 상기 추정기가, 상기 상호 상관값의 피크를 검출하는 것에 의해 상기 워터마킹 정보를 추정하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항에 있어서, 상기 검출기가,

상기 축소화상신호의 자기상관함수를 산출하는 상관기와,

상기 자기상관함수를 필터링하는 것에 의해 특정 주파수성분 신호를 추출하는 추출기 및,

상기 특정 주파수성분 신호로부터 상기 워터마킹 정보를 추정하는 추정기를 갖춘 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항에 있어서, 상기 검출기가,

상기 축소화상신호의 자기상관함수를 산출하는 상관기와,

상기 자기상관함수를 제1기간에 걸쳐 누적하는 것에 의해 제1누적신호를 생성하는 제1누적기,

상기 제1누적신호로부터 특정 주파수성분 신호를 추출하는 추출기,

상기 특정 주파수성분 신호를 진폭에 대해 정규화하는 정규화기,

정규화된 특정 주파수성분 신호를 상기 제1기간 보다 긴 제2기간에 걸쳐 누적하는 것에 의해 제2누적신호를 생성하는 제2누적기 및,

상기 제2누적신호로부터 상기 워터마킹 정보를 추정하는 추정기를 갖춘 것을 특징으로 하는 전자 워터마킹 검출장치.
제5항 또는 제6항에 있어서, 상기 상관기가, 상기 입력화상신호의 위상을 제어하는 제어기를 포함하고, 위상이 제어된 화상신호와 상기 입력화상신호의 사이의 상관값을 상기 자기상관함수로서 산출하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항, 제5항, 제6항중 어느 한항에 있어서, 상기 상관기가, 상기 축소화상신호의 화소를 빼내서 얻어진 결과를 기초로 상기 자기상관함수를 산출하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항, 제5항, 제6항중 어느 한항에 있어서, 상기 추정기가, 상기 특정 주파수성분 신호의 피크의 극성을 판정하는 것에 의해 상기 워터마킹 정보를 추정하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항, 제5항, 제6항중 어느 한항에 있어서, 상기 추정기가, 적어도 제1 및 제2검출방법에 의해 상기 워터마킹 정보를 검출하고, 해당 제1 및 제2검출방법의 각각에 의한 검출결과가 서로 일치하고 있으면 상기 워터마킹 정보 있음으로 판정하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항, 제5항, 제6항중 어느 한항에 있어서, 상기 상관기가 프로세서를 포함하고, 상기 전자 워터마킹 검출장치가 해당 프로세서의 드로우풋에 따라 상기 상관기의 단위시간당 연산량을 제어하는 제어기를 더 구비하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제6항에 있어서, 상기 상관기와, 제1누적기, 추출기, 정규화기, 제2누적기 및, 추정기의 적어도 하나가 프로세서를 포함하고, 상기 전자 워터마킹 검출장치가 해당 프로세서의 드로우풋에 따라 상기 상관기의 단위시간당 연산량을 제어하는 제어기를 더 구비하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제11항에 있어서, 상기 제어기가, 상기 드로우풋이 임계값 보다 작아지게 되면 상기 상관기의 계산을 주기적으로 정지시키는 것에 의해 상기 연산량을 감소시키는 것을 특징으로 하는 전자 워터마킹 검출장치.
제12항에 있어서, 상기 제어기가, 상기 프로세서의 드로우풋이 임계값 보다 작아지게 되면 상기 상관기의 계산을 주기적으로 정지시키면서 상기 제2기간을 길게하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항, 제5항, 제6항중 어느 한항에 있어서, 상기 상관기의 전단에 있어서 상기 축소화상신호에 대해 화상회전조작을 실시하는 화상회전기를 더 구비하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제15항에 있어서, 상기 화상회전기가, 상기 축소화상신호를 복수 라인분 읽어 넣어 일시적으로 저장하는 라인버퍼와, 저장된 복수 라인분의 화상신호를 서로 독출위치를 시프트하면서 독출해서 상기 상관기에 부여하는 독출유니트를 포함하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제16항에 있어서, 상기 독출유니트가, 상기 축소화상신호의 일정 화소수 마다 상기 독출위치를 변경하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제6항에 있어서, 상기 추정기가, 상기 제2누적신호의 레벨을 상기 제2기간에 따라 변경되는 임계값에 의해 판정하는 것에 의해 상기 워터마킹 정보를 추정하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제6항에 있어서, 상기 정규화된 특정 주파수성분 신호를 상기 제1기간 보다 길면서 상기 제2기간 보다 짧은 제3기간에 걸쳐 누적하는 것에 의해 제3누적신호를 생성하는 제3누적기를 더 구비하고, 상기 추정기가 상기 제3누적신호로부터 상기 워터마킹 정보의 가검출을 행해서 복수의 해당 가검출결과를 취득하고, 해당 가검출결과의 과반수가 일치하면, 상기 제2누적신호로부터의 상기 워터마킹 정보의 검출결과가 유효인 것으로 결정하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항, 제5항, 제6항중 어느 한항에 있어서, 상기 축소화상신호가 상기 입력화상신호에 대해 특정의 축소비율을 갖추고, 상기 전자 워터마킹 검출장치가 상기 특정 주파수성분 신호의 주파수를 상기 축소화상의 축소비율에 따라 선택하는 선택기를 더 구비하는 것을 특징으로 하는 전자 워터마킹 검출장치.
제2항에 있어서, 상기 입력화상신호가 특정의 해상도를 갖추고, 상기 화상축소기가 상기 입력화상신호에 대해 상기 해상도를 저하시키는 처리를 실시하는 것에 의해 상기 축소를 행하는 것을 특징으로 하는 전자 워터마킹 검출장치.
입력화상신호를 화상의 크기에 대해 축소해서 축소화상신호를 생성하는 기능을 갖는 외부장치로부터 상기 축소화상신호를 수취하고, 상기 입력화상신호에 매립되어 있는 워터마킹 정보를 검출하는 전자 워터마킹 검출장치에 있어서,

상기 축소화상신호로부터 특정 주파수성분 신호를 추출하는 추출기와,

상기 특정 주파수성분 신호의 위상을 제어하는 위상제어기,

위상이 제어된 특정 주파수성분 신호와 상기 축소화상신호 사이의 상호 상관값을 산출하는 상관기 및,

상기 상호 상관값으로부터 상기 워터마킹 정보를 추정하는 추정기를 구비하여 구성된 것을 특징으로 하는 전자 워터마킹 검출장치.
입력화상신호를 화상의 크기에 대해 축소해서 축소화상신호를 생성하는 기능을 갖는 외부장치로부터 상기 축소화상신호를 수취하고, 상기 입력화상신호에 매립되어 있는 워터마킹 정보를 검출하는 전자 워터마킹 검출장치에 있어서,

상기 축소화상신호의 자기상관함수를 산출하는 상관기와,

상기 자기상관함수를 필터링하는 것에 의해 특정 주파수성분 신호를 추출하는 추출기 및,

상기 특정 주파수성분 신호로부터 상기 워터마킹 정보를 추정하는 추정기를 구비하여 구성된 것을 특징으로 하는 전자 워터마킹 검출장치.
입력화상신호를 화상의 크기에 대해 축소해서 축소화상신호를 생성하는 기능을 갖춘 외부장치로부터 상기 축소화상신호를 수취하고, 상기 입력화상신호에 매립되어 있는 워터마킹 정보를 검출하는 전자 워터마킹 검출장치에 있어서,

상기 축소화상신호의 자기상관함수를 산출하는 상관기와,

상기 자기상관함수를 제1기간에 걸쳐 누적하는 것에 의해 제1누적신호를 생성하는 제1누적기,

상기 제1누적신호로부터 특정 주파수성분 신호를 추출하는 추출기,

상기 특정 주파수성분 신호를 진폭에 대해 정규화하는 정규화기,

정규화된 특정 주파수성분 신호를 상기 제1기간 보다 긴 제2기간에 걸쳐 누적하는 것에 의해 제2누적신호를 생성하는 제2누적기 및,

상기 제2누적신호로부터 상기 워터마킹 정보를 추정하는 추정기를 구비하여 구성된 것을 특징으로 하는 전자 워터마킹 검출장치.
제1항, 제2항, 제6항, 제22항, 제23항중 어느 한항에 있어서, 상기 입력화상신호가 HD(High Definition) 화상신호이고, 상기 축소화상신호가 SD(Standard Definition) 화상신호인 것을 특징으로 하는 전자 워터마킹 검출장치.