KR20080087047A

KR20080087047A - 전자 워터마크 검출방법, 전자 워터마크 검출장치, 및 프로그램

Info

Publication number: KR20080087047A
Application number: KR1020087020898A
Authority: KR
Inventors: 타카오 나카무라; 수수무 야마모토; 료 키타하라; 타카시 미야타케; 아츠시 카타야마; 히사토 미야치
Original assignee: 니폰 덴신 덴와 가부시끼가이샤
Priority date: 2005-08-04
Filing date: 2006-07-31
Publication date: 2008-09-29
Also published as: JP4809840B2; US20110228972A1; TWI480842B; WO2007015452A1; TW200733001A; JP5550760B2; CN101609546B; JP5425115B2; KR100901142B1; US20080089552A1; KR100876006B1; JP2013179640A; TWI351000B; CN101053256B; CN101053256A; TW201203188A; CN101866475A; US7970164B2; JPWO2007015452A1; EP1928180A1

Abstract

본 발명의 전자 워터마크 임베딩방법은, 동영상 데이터의 각 프레임 영상 및 프레임 표시시각을 순차 취득하는 단계와, 워터마크 정보와 프레임 표시시각과 워터마크 패턴 전환 정보를 이용하여, 워터마크 패턴을 생성하는 단계와, 워터마크 패턴을 상기 프레임 영상에 중첩하고, 상기 처리를 순차 반복하여 얻어지는 워터마크가 임베딩된 프레임 영상군을 결합하여 워터마크 임베딩된 동영상 데이터를 생성하는 단계를 갖는다. 또, 전자 워터마크 검출방법은, 프레임 영상을 순차 취득하는 단계와, 이번에 취득한 프레임 영상과, 이전에 취득한 프레임 영상의 차분 영상을 생성하는 단계와, 차분 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하고, 전자 워터마크 검출처리를 계속 수행하는 경우는, 새로운 프레임 영상을 다시 취득하고, 상기 처리를 반복하는 단계를 갖는다.

워터마크, 검출, 차분 영상

Description

전자 워터마크 검출방법, 전자 워터마크 검출장치, 및 프로그램{Digital watermark detecting method, digital watermark detection device, and program}

본 발명은 전자 워터마크 기술 및 전자 워터마크 검출기술에 관한 것으로, 특히 영상 콘텐츠에 부(副)정보를 사람이 지각하지 못하도록 임베딩하는 전자 워터마크 기술 및 이 부정보를 읽는 기술인 전자 워터마크 검출기술에 관한 것이다.

오늘날 전자 워터마크 기술은 콘텐츠의 저작권 보호/관리 시스템이나 콘텐츠 관련 서비스제공 시스템 등에 이용되고 있다.

화상, 영상, 또는 음성 등의 콘텐츠 유통시, 콘텐츠 식별/관리나 저작권 보호/관리, 관련정보의 제공 등을 목적으로 콘텐츠 내에 지각할 수 없도록 별도의 정보를 임베딩하는 전자 워터마크 기술을 이용하는 방법이 있다.

예를 들면, 인쇄물 등 정지영상을 카메라에 입력하고, 입력 영상으로부터 전자 워터마크를 검출하여 관련정보를 얻는 이용방법이 있다(예 : 비 특허문헌 1 참조).

또한, 카메라 입력 및 전자 워터마크 검출을 실시간으로 연속적으로 수행하여 검출 성능을 향상시키는 방법도 있다(예 : 비 특허문헌 2 참조).

비 특허문헌 1:中村(Nakamura), 片山(Katayama), 宮地(Miyaji), 山下(Yamashita), 山室(Yamamuro) : '카메라 내장 휴대전화기를 이용한 서비스 중개를 위한 전자 워터마크 검출 방식', 정보과학기술포럼 FIT 2003, N-020, 2003년 9월

비 특허문헌 2:中村(Nakamura), 宮武(Miyatake), 林(Hayashi), 片山(Katayama), 山室(Yamamuro) : '카메라 입력 영상으로부터의 실시간 전자 워터마크 검출방식'. 정보과학기술포럼 FIT 2004. J-036, 2004년 9월

그러나, 예를 들어 TV 화면 등의 동영상을 카메라 내장 휴대전화기 등으로 촬영하고, 촬영한 동영상으로부터 실시간으로 전자 워터마크 검출처리를 수행하는 방법이 없었다. 이와 같은 방법이 있다면 TV에서 방송중인 화면으로부터 관련된 정보를 취득할 수 있고, 동영상 콘텐츠와 실시간으로 연계가능한 다양한 정보 서비스를 실현할 수 있다. 그러나, 카메라촬영에 동반되는 D/A변환이나 A/D변환 등에서 발생하는 노이즈에 대해 충분한 내성을 실현하기가 어렵다는 문제가 있다. 또한, 카메라 촬영시에 캡처한 프레임 영상의 어느 부분이 전자 워터마크의 검출대상인지를 특정하기가 어렵다는 문제도 있다.

본 발명은 상기의 문제를 해결하기 위해 제안된 것으로, 종래에 존재하지 않았던 TV 등의 동영상을 카메라로 촬영하고, 촬영한 동영상으로부터 실시간으로 전자 워터마크 검출을 수행할 수 있는 기술을 제공하는데 목적이 있다. 또한, 캡처한 프레임 영상 중 어느 부분으로부터 전자 워터마크 검출을 수행하면 되는지를 특정하여, 다양한 촬영각도나 배경영상의 조건하에서도 확실하게 전자 워터마크 검출을 수행할 수 있는 기술을 제공하는데도 목적이 있다.

상기 과제는 동영상에 전자 워터마크를 임베딩하는 전자 워터마크 임베딩장치의 전자 워터마크 임베딩방법에 있어서, 프레임 영상군으로 이루어지는 동영상 데이터, 워터마크정보, 워터마크 패턴의 시간변화를 지정하는 워터마크 패턴 전환 정보를 입력하는 단계; 프레임 영상 취득 수단에서, 동영상 데이터의 각 프레임 영상 및 상기 프레임 영상의 표시시각인 프레임 표시시각을 순차 취득하는 프레임 영상 취득 단계; 워터마크 패턴 생성 수단에서, 상기 워터마크 정보와 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여 워터마크 패턴을 생성하는 워터마크 패턴 생성 단계; 워터마크 패턴 중첩 수단에서, 상기 워터마크 패턴을 상기 프레임 영상에 중첩하는 워터마크 패턴 중첩 단계; 상기 프레임 영상 취득 수단에서의 처리, 상기 워터마크 패턴 생성 수단에서의 처리, 및 상기 워터마크 패턴 중첩 수단에서의 처리를 순차 반복하여 얻어지는 워터마크가 임베딩된 프레임 영상 군을 결합하여 워터마크 임베딩 동영상 데이터를 생성하는 동영상 데이터 재구성 단계;를 포함하는 것을 특징으로 하는 전자 워터마크 임베딩방법에 의해 해결할 수 있다.

상기 워터마크 패턴 생성 단계에서, 상기 워터마크 패턴의 전환 타이밍이 일정 시간 주기로 반복되도록 해도 좋다.

또한, 상기 워터마크 패턴 생성 단계는, 상기 워터마크 정보와 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여, 상기 워터마크 정보에 대응하는 워터마크 패턴을 생성하는 단계; 또한 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여, 상기 워터마크 패턴의 시간변화 상태를 검출시에 추정하기 위한 위상 판정용 워터마크 패턴을 생성하고, 그 위상 판정용 워터마크 패턴을 상기 워터마크 정보에 대응하는 워터마크 패턴에 다중화하여 얻어지는 패턴을 워터마크 패턴으로 하는 단계;를 갖는 것으로 해도 좋다.

또한, 본 발명은 동영상에 전자 워터마크를 임베딩하는 전자 워터마크 임베딩장치의 전자 워터마크 임베딩방법에 있어서, 프레임 영상군으로 이루어지는 동영상 데이터, 워터마크 정보, 워터마크 패턴의 위상변동을 지정하는 주기정보인 워터마크 패턴 전환 정보를 입력하는 단계; 프레임 영상 취득 수단에서, 상기 동영상 데이터의 각 프레임 영상 및 상기 프레임 영상의 표시시각인 프레임 표시시각을 순차 취득하는 프레임 영상 취득 단계; 워터마크 패턴 생성 수단에서, 상기 워터마크 정보와 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여, 워터마크 패턴을 생성하는 워터마크 패턴 생성 단계; 워터마크 패턴 중첩 수단에서, 상기 워터마크 패턴을 상기 프레임 영상에 중첩하는 워터마크 패턴 중첩 단계; 상기 프레임 영상 취득 단계부터 상기 워터마크 패턴 중첩 단계를 순차 반복하여 얻어지는 워터마크가 임베딩된 프레임 영상군을 결합하여 워터마크 임베딩 동영상 데이터를 생성하는 동영상 데이터 재구성 단계;를 갖는 것을 특징으로 하는 전자 워터마크 임베딩방법에 의해서도 해결할 수 있다.

상기 전자 워터마크 임베딩방법에서, 상기 워터마크 패턴 생성 단계는 상기 워터마크 정보를 이용하여 기본 워터마크 패턴을 생성하는 기본 워터마크 패턴 생성 단계; 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여, 직전의 워터마크 패턴에 대해 상기 기본 워터마크 패턴에서 정해지는 위상변동을 주어 새로운 워터마크 패턴을 생성하는 단계;를 갖는 것으로 해도 좋다.

상기 워터마크 패턴 생성 단계는, 상기 워터마크 정보를 이용하여 기본 워터마크 패턴을 생성하는 기본 워터마크 패턴 생성 단계; 상기 기본 워터마크 패턴의 화소값에 기초하여 부호 패턴을 생성하는 부호 패턴 생성 단계; 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여, 직전의 프레임으로부터의 시간 차분에 대응하는 워터마크 패턴 전환 위상 변동값을 구하는 워터마크 패턴 전환 위상 변동값 산출 단계; 상기 워터마크 패턴 전환 위상 변동값에 상기 부호 패턴 생성 단계에서 생성된 상기 부호 패턴의 각 요소 부호를 부여하고, 이를 직전의 워터마크 위상 패턴으로부터의 위상 차분으로 하여 현재 프레임에 대한 워터마크 위상 패턴을 생성하는 워터마크 위상 패턴 생성 단계; 상기 워터마크 위상 패턴에 기초하여 워터마크 패턴을 생성하는 워터마크 위상 패턴 영상화 단계;를 갖는 것으로 해도 좋다.

또한, 상기 워터마크 패턴 생성 단계는, 상기 워터마크 위상 패턴으로부터 상기 워터마크 패턴을 생성할 때, 상기 기본 워터마크 패턴의 각 화소값에 기초하여 워터마크 패턴이 대응하는 화소값의 진폭을 증감하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 워터마크 패턴 생성 단계는, 상기 기본 워터마크 패턴이 나타내는 위상 차분 변동을, 영상의 복수 성분으로부터 얻어지는 좌표계에서의 회전량에 대응시키고, 위상 차분 변동으로 회전되어 얻어지는 새로운 복수 성분값을 토대로, 상기 워터마크 패턴을 생성하는 단계를 갖는 것으로 해도 좋다.

상기 전자 워터마크 임베딩방법에서, 상기 영상의 복수 성분으로서 영상의 Cb-Cr 성분을 이용할 수 있다.

또한, 상기 워터마크 패턴 생성 단계는, 상기 워터마크 정보와 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여, 상기 워터마크 정보를 데이터 블록으로 분할하는 단계; 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보로부터 정해지는 데이터 블록 ID 및 상기 데이터 블록 ID의 데이터 블록 정보를 토대로 워터마크 패턴을 생성하는 단계;를 갖는 것으로 해도 좋다.

또한, 상기 워터마크 패턴 생성 단계는, 상기 워터마크 정보와 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여, 상기 워터마크 정보를 데이터 블록으로 분할하는 단계; 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보로부터 정해지는 데이터 블록 ID 및 상기 데이터 블록 ID의 데이터 블록 정보를 토대로 상기 워터마크 패턴을 생성할 때, 상기 데이터 블록 ID가 위상 판정용 워터마크 정보를 겸하도록 하여 워터마크 패턴을 생성하는 단계;를 갖는 것으로 해도 좋다.

상기 워터마크 패턴 중첩 단계는, 상기 워터마크 패턴을 상기 프레임 영상 이하의 사이즈로 스케일 변경하여 상기 프레임 영상 내부에 중첩하는 단계를 갖는 것으로 해도 좋다.

상기 전자 워터마크 임베딩방법에 있어서 상기 워터마크 패턴 생성 단계는, 상기 워터마크 정보를 이용하여 기본 워터마크 패턴을 생성하는 단계; 또한, 전자 워터마크 검출시의 검출 대상 영역 추출을 위한 위치정렬을 위한 패턴을 기본 워터마크 패턴에 추가하는 단계; 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여 기본 워터마크 패턴을 변경함으로써 워터마크 패턴을 생성하는 단계;를 갖는 것으로 해도 좋다.

상기 전자 워터마크 임베딩방법에 있어서 상기 워터마크 패턴 생성 단계는, 상기 워터마크 정보를 기존의 2차원 코드에 의해 기본 워터마크 패턴으로 변조하고, 상기 프레임 표시시각과 상기 워터마크 패턴 전환 정보를 이용하여 상기 기본 워터마크 패턴으로부터 워터마크 패턴을 생성하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 임베딩방법에 있어서, 상기 전자 워터마크 임베딩장치는 복수의 워터마크 패턴 생성 수단을 가지며, 상기 전자 워터마크 임베딩 단계에 있어서 각각의 상기 워터마크 패턴 생성 수단은 다른 워터마크 패턴을 생성하고, 상기 워터마크 패턴 중첩 수단은 상기 워터마크 패턴을 프레임 영상 내에 복 수 중첩하도록 해도 좋다.

상기 워터마크 패턴 중첩 단계는 움직임이 많은 프레임 영상일수록 워터마크 패턴의 진폭을 증폭하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 워터마크 패턴 중첩 단계는, 이전에 입력한 프레임 영상을 기억 수단에 저장해 두고, 이번에 입력한 프레임 영상과 이전 프레임 영상과의 차분 영상을 생성하여, 상기 차분 영상의 화소값에 기초하여 기본 워터마크 패턴의 진폭을 증폭하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 임베딩방법에 있어서 상기 워터마크 패턴 중첩 단계는, 워터마크 패턴 전체의 진폭을 증폭하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 워터마크 패턴 중첩 단계는, 프레임 영상 중의 움직임이 큰 화소 영역에 대응하는 워터마크 패턴의 화소 영역을 증폭하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 과제는 동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출 장치의 전자 워터마크 검출방법에 있어서, 동영상 입력 수단에서 프레임 영상을 순차 취득하는 동영상 입력 단계; 차분 영상 생성 수단에서 이번에 취득한 상기 프레임 영상과 이전에 취득한 프레임 영상의 차분 영상을 생성하는 차분 영상 생성 단계; 전자 워터마크 검출 수단에서 상기 차분 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크 검출상황을 출력하는 전자 워터마크 검출 단계;를 가지며, 상기 전자 워터마크 검출이 불가능했던 경우를 포함하는 전자 워터마크 검출처리를 계속 수행하는 경우는, 상기 동영상 입력 수단에서 새로운 프레임 영상을 다시 취득하고, 상기 각 단계를 반복하는 것을 특징으로 하는 전자 워터마크 검출방법에 의해서도 해결할 수 있다.

상기 전자 워터마크 검출방법에 있어서, 상기 전자 워터마크 검출 단계에서 얻어진 워터마크 정보로부터 데이터 블록 ID와 데이터 블록 정보를 얻어, 검출 워터마크 정보 버퍼의 상기 데이터 블록 ID 정보에 검출한 데이터 블록 정보를 기록하고, 모든 데이터 블록 ID에 대해 검출이 완료된 경우에 전자 워터마크 검출이 성공했음을 출력하도록 해도 좋다.

또한, 상기 동영상 입력 단계는, 상기 프레임 영상과 상기 프레임 영상의 표시시각인 프레임 표시시각을 순차 취득하는 단계를 가지며, 상기 전자 워터마크 검출방법은, 전자 워터마크 임베딩시의 워터마크 패턴 전환 정보를 이용하여, 이번 프레임 표시시각과 이전에 취득한 프레임 영상의 프레임 표시시각의 시간간격으로부터 검출 필요 여부를 판정하는 판정 단계를 더 가지며, 판정 단계에서 검출이 불필요하다고 판정된 경우는 상기 동영상 입력 수단에서 새로운 프레임 영상을 다시 취득하고, 검출이 필요하다고 판정된 경우는 상기 차분 영상 생성 단계 이후의 처리를 계속 수행하도록 해도 좋다.

또한, 상기 전자 워터마크 검출방법은, 전자 워터마크 임베딩시의 워터마크 패턴 전환 정보를 이용하여, 프레임 캡처 타이밍을 설정하는 캡처 타이밍 제어 단계를 가지며, 상기 동영상 입력 수단에서 상기 캡처 타이밍에 기초하여 프레임 영상을 순차 취득하도록 해도 좋다.

또한, 상기 전자 워터마크 검출방법은, 전자 워터마크 임베딩시의 워터마크 패턴 전환 정보를 이용하여, 차분 영상을 얻기 위한 프레임간의 시간간격을 나타내는 차분 타이밍을 설정하는 단계를 가지며, 상기 동영상 입력 수단에서 상기 프레임 영상과 상기 프레임 표시시각을 순차 취득하고, 상기 차분 영상 생성 수단에서 이번에 취득한 프레임 영상과 상기 차분 타이밍으로 지정되는 시간만큼 이전에 취득한 프레임 영상의 차분 영상을 생성하도록 해도 좋다.

또한, 상기 전자 워터마크 검출방법에 있어서 상기 전자 워터마크 검출 단계는, 상기 차분 영상에 임베딩되어 있는 워터마크 패턴의 위상을 판정하고, 워터마크 패턴의 위상이 역상인 경우는, 검출한 워터마크 정보의 비트 반전을 수행하여, 전자 워터마크 검출상황을 출력하는 단계를 갖는 것으로 해도 좋다.

상기 차분 영상 생성 단계에서 상기 차분 영상을 차분 영상 축적 버퍼에 가산하고, 상기 전자 워터마크 검출 단계에서 상기 차분 영상 축적 버퍼로부터의 전자 워터마크 검출을 수행하여 워터마크 정보를 검출하고 검출상황을 출력하도록 해도 좋다.

또한, 상기 전자 워터마크 검출방법은 상기 차분 영상에 임베딩되어 있는 워터마크 패턴의 위상을 판정하는 단계와, 순차 처리되는 모든 차분 영상에서 상기 위상이 동상이 되도록 차분 영상을 변경하는 단계를 가지며, 이들 단계에서 얻어진 차분 영상을 이용하여 상기 차분 영상 생성 단계 및 상기 전자 워터마크 검출 단계를 실행하도록 해도 좋다.

상기 전자 워터마크 검출 단계는, 검출시에 산출되는 상관값을 검출 처리시마다 기억 수단에 축적하고, 축적된 상관값을 이용하여 검출 성공 여부를 판정하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출 단계는, 검출시에 산출되는 상관값의 절대치를 검출 처리시마다 기억 수단에 축적하고, 축적된 상기 상관값의 절대치를 이용하여 검출 성공 여부를 판정하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법에서, 임베딩시에 이용한 워터마크 패턴 전환 정보와, 프레임 영상 취득시에 얻어지는 프레임 표시시각의 관계로부터, 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것으로 해도 좋다.

상기 차분 영상 중에 임베딩된 워터마크 패턴으로 표현된 워터마크 정보 중의 미리 정한 비트 위치의 비트값을 검출하고, 상기 비트값에 기초하여 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법은, 위상 판정용 워터마크를 검출하여 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법은, 워터마크 검출처리에 의해 산출되는 상관값의 플러스(+) 마이너스(-) 극성을 이용하여 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법은, 상기 차분 영상으로부터의 전자 워터마크 검출을 수행하여 워터마크 정보인 데이터 블록 정보 및 데이터 블록 ID를 검출하고, 데이터 블록 ID 검출시의 상관값의 플러스(+) 마이너스(-) 극성을 이용하여 상기 차분 영상에 임베딩되어 있는 워터마크 패턴의 위상을 판정하는 단계를 갖는 것으로 해도 좋다.

상기 차분 영상 생성 단계는, 이번에 취득한 프레임 영상과 이전에 취득한 프레임 영상의 차분 영상을 생성하고, 또한 상기 차분 영상 중의 특정성분으로부터 위상값과 진폭값을 구하고, 상기 위상값이 주어진 복수의 그룹 중 어느 것에 속하는지를 판정하고, 그 판정결과와 상기 진폭값을 토대로 상기 차분 영상을 수정하여 출력하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법에서 상기 차분 영상 생성 단계는, 이번에 취득한 프레임 영상과 영상 기억 수단으로부터 독출한 이전에 취득한 프레임 영상의 차분 영상(A)을 생성하고, 상기 이번에 취득한 프레임 영상을 상기 영상 기억 수단에 저장하는 단계를 가지며, 상기 전자 워터마크 검출방법은, 이번에 취득한 차분 영상(A)에 기초하여 위상 패턴을 생성하고, 이번에 취득한 위상 패턴과 위상 패턴 기억 수단으로부터 독출한 이전에 취득한 위상 패턴의 위상차를 계측하고, 위상차에 기초하여 차분 영상(B)을 생성하고, 상기 이번에 취득한 위상 패턴을 상기 위상 패턴 기억 수단에 저장하는 위상 차분 계측 단계를 가지며, 상기 전자 워터마크 검출 단계는, 상기 차분 영상(B)으로부터의 전자 워터마크 검출을 수행하여 전자 워터마크 검출상황을 출력하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 위상 차분 계측 단계는, 상기 차분 영상(A)으로부터 위상 패턴을 생성할 때, 위상값과 함께 진폭값을 구하여 위상 패턴의 요소값으로 하는 단계; 상기 이번에 취득한 위상 패턴과 상기 이전에 취득한 위상 패턴의 위상차를 계측하고, 위상차에 기초하여 부호를 결정하는 단계; 또한 상기 이번에 취득한 위상 패턴 과 상기 이전에 취득한 위상 패턴의 진폭값과, 부호에 기초하여 상기 차분 영상(B)을 생성하는 단계;를 갖는 것으로 해도 좋다.

또한, 상기 위상 차분 계측 단계는, 상기 차분 영상(A)으로부터 상기 위상 패턴을 생성할 때, 상기 이번에 취득한 위상 패턴과 상기 이전에 취득한 위상 패턴의 진폭값에 대해 단조증가하는 값을 진폭으로 하고, 상기 부호와 조합하여 얻어지는 값에 기초하여 상기 차분 영상(B)을 생성하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법에서, 상기 차분 영상 생성 단계에서의 상기 차분 영상 중의 특정성분이 복수의 성분인 것으로 해도 좋다.

또한, 상기 위상 차분 계측 단계에서, 상기 차분 영상(A)으로부터 위상 패턴을 얻을 때, 상기 차분 영상(A) 중의 복수성분으로부터 얻어지는 좌표계의 위상 및 진폭을 이용하도록 해도 좋다.

상기 차분 영상 중의 특정성분으로서 Cb성분 및 Cr성분을 사용할 수 있다.

또한, 상기 전자 워터마크 검출방법은, 상기 차분 영상(B)을 차분 영상 축적 버퍼에 가산하는 단계를 더 가지며, 전자 워터마크 검출 단계는, 상기 차분 영상 축적 버퍼로부터의 전자 워터마크 검출을 수행하여 워터마크 정보를 검출하고, 검출상황을 출력하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법은, 순차 취득되는 상기 프레임 영상에 대해, 이번 프레임 영상 중의 검출 대상 영역을 추출하고, 왜곡을 보정하고, 사이즈를 정규화하여 검출 대상 영역 영상을 생성하는 단계를 가지며, 상기 차분 영상 생성 단계에서, 이번에 취득한 검출 대상 영역 영상과, 이전에 취득한 검출 대상 영역 영상의 차분 영상을 생성하는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법은, 순차 취득되는 상기 차분 영상으로부터 검출 대상 영역을 추출하여 검출 대상 영역 영상을 생성하는 단계를 가지며, 상기 전자 워터마크 검출 단계에서, 상기 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크 검출상황을 출력하는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법은, 상기 프레임 영상을 순차 취득한 후에, 상기 프레임 영상으로부터 특징영역을 추출하고 왜곡 보정 및 사이즈 정규화를 수행하여 특징영역 영상을 생성하는 특징영역 추출 단계; 이번에 취득한 특징영역 영상과, 이전에 취득한 특징영역 영상의 차분 영상을 생성하는 상기 차분 영상 생성 단계; 상기 차분 영상으로부터 검출 대상 영역을 추출하여 검출 대상 영역 영상을 생성하는 검출 대상 영역 추출 단계; 상기 추출 대상 영역으로부터의 전자 워터마크 검출을 수행하는 상기 전자 워터마크 검출 단계;를 갖는 것으로 해도 좋다.

상기 검출 대상 영역 추출 단계는, 상기 차분 영상으로부터 상기 검출 대상 영역을 추출할 때, 상기 차분 영상의 화소값을 절대치화하여 검출 대상 영역을 탐색하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 검출 대상 영역 추출 단계는, 상기 차분 영상으로부터 상기 검출 대상 영역을 추출할 때, 임베딩시의 기본 워터마크 패턴에 부가된 위치정렬 패턴을 이용하여 검출 대상 영역을 탐색하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 검출 대상 영역 추출 단계는, 과거의 전자 워터마크 검출시행에서 검출상황이 양호했을 때의 검출 대상 영역 근방의 영역으로 한정한 탐색을 수행 하여, 이번 검출 대상 영역 추출 처리를 수행하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 검출 대상 영역 추출 단계는, 상기 위치정렬 패턴을 이용하여, 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 검출 대상 영역 추출 단계는, 상기 차분 영상을 기억 수단에 가산 축적하고, 축적한 상기 차분 영상 중으로부터 검출 대상 영역을 탐색하고 추출하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 검출 대상 영역 추출 단계는, 상기 차분 영상을 상기 기억 수단에 가산 축적할 때, 상기 차분 영상 중의 워터마크 패턴의 위상을 일치시켜, 가산 축적을 수행하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 과제는 동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치의 전자 워터마크 검출 방법에 있어서, 동영상 입력 수단에서, 프레임 영상을 순차 취득하는 프레임 영상 취득 단계; 특징영역 추출 수단에서, 프레임 영상 중의 특징영역을 추출하고 특징영역 영상을 취득하는 특징영역 추출 단계; 차분 영상 생성 수단에서, 이번에 취득한 특징영역 영상과, 특징영역 영상 버퍼로부터 독출한 이전에 취득한 특징영역 영상의 차분 영상을 생성하여 차분 영상(A)을 취득함과 동시에, 상기 이번에 취득한 특징영역 영상을 상기 특징영역 영상 버퍼에 저장하는 차분 영상 생성 단계; 위상 차분 계측 수단에서, 이번에 취득한 차분 영상(A)에 기초하여 위상 패턴을 생성하고, 이번에 취득한 위상 패턴과 위상 패턴 버퍼로부터 독출한 이전에 취득한 위상 패턴의 위상차를 계측하고, 위상차와 진폭에 기초하여 차분 영상(B)을 생성함과 동시에, 상기 이번에 취득한 차분 영상(A)을 상기 위상 패턴 버퍼에 저장하는 위상 차분 계측 단계; 검출 대상 영역 추출 수단에서, 상기 차분 영상(B)을 각 화소마다 화소값의 가산 축적을 수행하고, 가산 축적에 의해 얻어지는 차분 영상(B) 축적 버퍼로부터 검출 대상 영역을 추출하고, 검출 대상 영역 영상을 취득하는 검출 대상 영역 추출 단계; 전자 워터마크 검출 수단에서, 상기 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하는 전자 워터마크 검출 단계; 전자 워터마크의 검출이 불가능했던 경우를 포함하는 전자 워터마크 검출처리를 계속 수행하는 경우는, 상기 동영상 입력 수단에서 새로운 프레임 영상을 다시 취득하고 상기 각 단계를 반복하는 단계;를 갖는 것을 특징으로 하는 전자 워터마크 검출방법에 의해서도 해결할 수 있다.

상기 검출 대상 영역 추출 단계는, 가산 축적에 의해 얻어지는 상기 차분 영상(B) 축적 버퍼로부터 검출 대상 영역을 추출할 때, 상기 차분 영상(B) 축적 버퍼의 화소값의 절대치를 취한 것으로부터 검출 대상 영역을 추출하고, 절대치를 취하기 전의 차분 영상(B) 축적 버퍼의 검출 대상 영역의 영상을 검출 대상 영역 영상으로서 얻는 단계를 갖는 것으로 해도 좋다.

상기 검출 대상 영역 추출 단계에서, 복수의 검출 대상 영역을 추출하고, 상기 전자 워터마크 검출 단계에서, 상기 복수의 검출 대상 영역 각각에 대해 전자 워터마크 검출 시행을 수행하여, 검출결과를 출력하도록 해도 좋다.

또한, 상기 전자 워터마크 검출 단계는, 워터마크 정보를 검출할 때, 기존 의 2차원 코드의 복호처리를 이용하여 워터마크 정보를 검출하는 단계를 갖는 것으로 해도 좋다.

또한, 상기 전자 워터마크 검출방법에서, 차분 처리에 의해 생성되는 상기 차분 영상에 대해, 필터 처리를 더 수행하고 필터 처리를 수행한 차분 영상을 출력하는 단계를 갖는 것으로 해도 좋다. 상기 필터 처리로서 비선형 필터를 이용할 수 있다.

또한, 상기 전자 워터마크 검출 방법에서, 입력으로 하는 동영상이 카메라로 촬영되고 캡처된 영상신호인 것으로 해도 좋다.

또한, 검출 대상 영역 추출상황, 전자 워터마크 검출상황, 데이터 블록 검출상황 중 어느 하나 또는 복수의 처리상황에 따른 피드백 출력을 화면 또는 음성을 출력하는 외부 출력 수단으로 수행하는 단계를 가져도 좋다.

또한, 상기 검출 대상 영역 추출 단계에서, 검출 대상 영역의 사이즈 및 위치를 나타내는 검출 대상 영역 정보를 더 생성하고, 상기 전자 워터마크 생성방법은, 상기 검출 대상 영역 정보에 기초하여 검출 대상 영역이 주어진 화소 사이즈가 되도록 줌 파라미터를 설정하고, 상기 줌 파라미터를 상기 동영상 입력 수단에 부여하여 줌 처리를 수행하는 줌 처리 단계를 갖는 것으로 해도 좋다.

상기 줌 처리 단계는, 상기 전자 워터마크 검출 단계에서 검출상황이 양호했을 경우에, 상기 검출 대상 영역 정보에 기초하여, 검출 대상 영역이 주어진 화소 사이즈가 되도록 줌 파라미터를 설정하고, 상기 동영상 입력 수단에 부여하여 줌 처리를 수행하는 단계를 포함하여 구성해도 좋다.

입력으로 하는 동영상은, 표시 디스플레이 상에 표시되고 있는 상태를 카메라로 실시간 촬영되고 캡처된 것이며, 전자 워터마크 검출에 의해 얻어진 워터마크 정보에 기초하여, 표시되고 있는 동영상에 관련된 정보를 취득하는 단계를 갖는 것으로 해도 좋다.

또한, 본 발명에 따르면 상기 방법의 실시에 적합한 전자 워터마크 임베딩장치, 전자 워터마크 검출장치, 프로그램, 및 프로그램을 기록한 기록매체가 제공된다.

본 발명에 따르면, TV 등의 동영상을 카메라로 촬영하고, 촬영한 동영상으로부터 실시간으로 전자 워터마크 검출을 수행할 수 있도록 하는 기술을 제공할 수 있다. 또한, 캡처한 프레임 영상 중의 어느 부분으로부터 전자 워터마크 검출을 수행하면 되는지를 특정하여, 다양한 촬영각도나 배경 영상 조건하에서도 확실하게 전자 워터마크 검출을 수행할 수 있는 기술을 제공할 수 있다.

이하, 도면을 참조하여 본 발명의 실시형태를 설명한다.

우선, 실시형태의 개요에 대해 설명한다. 도 1a ~ 도 2b는 실시형태의 개요 A를 나타내는 도면이다.

도 1a에 실시형태 개요 A의 전자 워터마크 임베딩방법의 흐름도를 나타낸다. 이 방법은, 동영상에 전자 워터마크를 임베딩하는 전자 워터마크 임베딩장치의 전자 워터마크 임베딩방법으로, 우선 프레임 영상군으로 이루어지는 동영상 데이 터, 워터마크 정보, 워터마크 패턴 전환 정보가 전자 워터마크 임베딩장치에 입력된다(SA1). 이어, 전자 워터마크 임베딩장치는 동영상 데이터의 각 프레임 영상 및 상기 프레임 표시시각을 순차 취득하고(SA2), 워터마크 정보와 프레임 표시시각과 워터마크 패턴 전환 정보를 이용하여 워터마크 패턴을 생성하고(SA3), 워터마크 패턴을 프레임 영상에 중첩한다(SA4). 그리고, 전자 워터마크 임베딩장치는 단계 2 ~ 단계 4를 순차 반복하여 얻어지는 워터마크가 임베딩된 프레임 영상군을 결합하여 워터마크 임베딩 동영상 데이터를 생성한다(SA5).

도 1b에 실시형태 개요 A의 전자 워터마크 검출방법의 흐름도를 나타낸다. 이 방법은, 동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치의 전자 워터마크 검출방법으로, 우선 프레임 영상을 순차 취득한다(SA6). 이어, 전자 워터마크 검출장치는, 이번에 취득한 프레임 영상과 이전에 취득한 프레임 영상의 차분 영상을 생성하고(SA7), 차분 영상으로부터의 전자 워터마크 검출을 수행하여 전자 워터마크의 검출상황을 출력한다(SA8). 그리고, 전자 워터마크 검출장치는 전자 워터마크의 검출이 불가능했던 경우를 포함하는 전자 워터마크 검출처리를 계속 수행하는 경우는, 동영상 입력 수단에서 새로운 프레임 영상을 다시 취득하고, 상기 처리를 반복한다(SA9).

도 2a에 실시형태 개요 A의 전자 워터마크 임베딩장치의 구성도를 나타낸다. 이 전자 워터마크 임베딩장치는, 입력된 프레임 영상군으로 이루어진 동영상 데이터의 각 프레임 영상 및 상기 프레임 표시시각을 순차 취득하는 프레임 영상 취득 수단(A110), 입력된 워터마크 정보와 프레임 표시시각과 입력된 워터마크 패 턴 전환 정보를 이용하여 워터마크 패턴을 생성하는 워터마크 패턴 생성 수단(A120), 워터마크 패턴을 프레임 영상에 중첩하는 워터마크 패턴 중첩 수단(A130), 프레임 영상 취득 수단(A110)부터 워터마크 패턴 중첩 수단(A130)까지의 처리를 순차 반복하여 얻어지는 워터마크가 임베딩된 프레임 영상군을 결합하여 워터마크 임베딩 동영상 데이터를 생성하는 동영상 데이터 재구성 수단(A140)을 갖는다.

도 2b에 실시형태 개요 A의 전자 워터마크 검출장치의 구성도를 나타낸다. 이 전자 워터마크 검출장치는, 프레임 영상을 순차 취득하는 동영상 입력 수단(A210), 이번에 취득한 프레임 영상과 이전에 취득한 프레임 영상의 차분 영상을 생성하는 차분 영상 생성 수단(A230), 차분 영상으로부터의 전자 워터마크 검출을 수행하여 전자 워터마크 검출상황을 출력하는 전자 워터마크 검출 수단(A240)을 갖는다.

도 3a ~ 도 4b는 실시형태 개요 B를 나타내는 도면이다. 도 3a에 실시형태 개요 B의 전자 워터마크 임베딩방법의 흐름도를 나타낸다. 이 방법은, 동영상에 전자 워터마크를 임베딩하는 전자 워터마크 임베딩장치의 전자 워터마크 임베딩방법으로, 우선 프레임 영상군으로 이루어진 동영상 데이터, 워터마크 정보, 워터마크 패턴의 위상변동을 지정하는 주기정보인 워터마크 패턴 전환 정보가 입력된다. 그리고, 전자 워터마크 임베딩장치는 동영상 데이터의 각 프레임 영상 및 상기 프레임 영상의 표시시각을 순차 취득한다(SB1). 그리고, 전자 워터마크 임베딩장치는 워터마크 정보와 프레임 영상 표시시각과 워터마크 패턴 전환 정보를 이용하여 워 터마크 패턴을 생성하고(SB2), 워터마크 패턴을 프레임 영상에 중첩한다(SB3). 그리고, 전자 워터마크 임베딩장치는 단계 B1에서 단계 B3을 순차 반복하여 얻어지는 워터마크가 임베딩된 프레임 영상군을 결합하여 워터마크 임베딩 동영상 데이터를 생성한다(SB4).

도 3b에 실시형태 개요 B의 전자 워터마크 검출방법의 흐름도를 나타낸다. 이 방법은, 동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치의 전자 워터마크 검출방법으로, 우선 프레임 영상을 순차 취득한다(SB11). 전자 워터마크 검출장치는 이번에 취득한 프레임 영상과 영상 기억 수단으로부터 독출한 이전에 취득한 프레임 영상의 차분 영상(A)을 생성하고, 상기 이번에 취득한 프레임 영상을 상기 영상 기억 수단에 저장한다(SB12). 전자 워터마크 검출장치는 이번에 취득한 차분 영상(A)에 기초하여 위상 패턴을 생성하고, 이번에 취득한 위상 패턴과 위상 패턴 기억 수단으로부터 독출한 이전에 취득한 위상 패턴의 위상차를 계측하고, 위상차에 기초하여 차분 영상(B)을 생성하고, 상기 이번에 취득한 위상 패턴을 상기 위상 패턴 기억 수단에 저장한다(SB13). 그리고, 전자 워터마크 검출장치는 차분 영상(B)으로부터의 전자 워터마크 검출을 수행하여 전자 워터마크의 검출상황을 출력하고(SB14), 전자 워터마크 검출처리를 계속 수행하는 경우는, 새로운 프레임 영상을 다시 취득하고, 상기 처리를 반복한다(SB15).

도 4a에 실시형태 개요 B의 전자 워터마크 임베딩장치의 구성도를 나타낸다. 이 전자 워터마크 임베딩장치는, 입력된 프레임 영상군으로 이루어진 동영상 데이터의 각 프레임 영상 및 상기 프레임 영상의 표시시각을 순차 취득하는 프레임 영상 취득 수단(B110), 입력된 워터마크 정보와 프레임 영상 표시시각과 워터마크 패턴의 위상변동을 지정하는 주기정보인 워터마크 패턴 전환 정보를 이용하여 워터마크 패턴을 생성하는 워터마크 패턴 생성 수단(B120), 워터마크 패턴을 프레임 영상에 중첩하는 워터마크 패턴 중첩 수단(B130), 워터마크가 임베딩된 프레임 영상군을 결합하여 워터마크 임베딩 동영상 데이터를 생성하여 출력하는 동영상 데이터 재구성 수단(B140)을 갖는다.

도 4b에 실시형태 개요 B의 전자 워터마크 검출장치의 구성도를 나타낸다. 이 전자 워터마크 검출장치는, 프레임 영상을 순차 취득하는 동영상 입력 수단(B210), 이번에 취득한 프레임 영상과, 영상 기억 수단으로부터 독출한 이전에 취득한 프레임 영상의 차분 영상(A)을 생성하고, 상기 이번에 취득한 프레임 영상을 상기 영상 기억 수단(B250)에 저장하는 차분 영상 생성 수단(B230), 이번에 취득한 차분 영상(A)에 기초하여 위상 패턴을 생성하고, 이번에 취득한 위상 패턴과 위상 패턴 기억 수단(B370)으로부터 독출한 이전에 취득한 위상 패턴의 위상차를 계측하고, 위상차에 기초하여 차분 영상(B)을 생성하고, 상기 이번에 취득한 위상 패턴을 상기 위상 패턴 기억 수단에 저장하는 위상 차분 계측 수단(B360), 차분 영상(B)으로부터의 전자 워터마크 검출을 수행하여 전자 워터마크의 검출상황을 출력하는 전자 워터마크 검출 수단(B240)을 갖는다.

도 5a ~ 도 6b는 실시형태 개요 C를 나타내는 도면이다. 도 5a에 실시형태 개요 C의 전자 워터마크 임베딩방법의 흐름도를 나타낸다. 이 방법은, 동영상에 전자 워터마크를 임베딩하는 전자 워터마크 임베딩장치의 전자 워터마크 임베딩방법 으로, 우선 프레임 영상군으로 이루어진 동영상 데이터, 워터마크 정보, 워터마크 패턴 전환 정보가 전자 워터마크 임베딩장치에 입력된다(SC1). 그리고, 전자 워터마크 임베딩장치는 동영상 데이터의 각 프레임 영상 및 상기 프레임 표시시각을 순차 취득하고(SC2), 워터마크 정보와 프레임 표시시각과 워터마크 패턴 전환 정보를 이용하여 워터마크 패턴을 생성한다(SC3). 전자 워터마크 임베딩장치는 워터마크 패턴을 프레임 영상 이하의 사이즈로 스케일 변경하여 프레임 영상의 내부에 중첩하고(SC4), 단계 C2 ~ 단계 C4를 순차 반복하여 얻어지는 워터마크가 임베딩된 프레임 영상군을 결합하여 워터마크 임베딩 동영상 데이터를 생성한다(SC5).

도 5B에 실시형태 개요 C의 전자 워터마크 검출방법의 흐름도를 나타낸다. 이 방법은, 동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치의 전자 워터마크 검출방법으로, 우선 프레임 영상을 순차 취득한다(SC6). 전자 워터마크 검출장치는 이번에 취득한 프레임 영상과 이전에 취득한 프레임 영상의 차분 영상을 생성하고(SC7), 차분 영상으로부터 검출 대상 영역을 추출하여 검출 대상 영역 영상을 생성한다(SC8). 그리고, 전자 워터마크 검출장치는 검출 대상 영역 영상으로부터 전자 워터마크 검출을 수행하여 전자 워터마크의 검출상황을 출력하고(SC9), 검출상황에 따라 전자 워터마크 검출처리를 계속 수행하는 경우는 새로운 프레임 영상을 다시 취득하고 상기 처리를 반복한다(SC10).

도 6a에 실시형태 개요 C의 전자 워터마크 임베딩장치의 구성도를 나타낸다. 이 전자 워터마크 임베딩장치는 동영상 데이터의 각 프레임 영상 및 프레임 표시시각을 순차 취득하는 프레임 영상 취득 수단(C110), 입력된 워터마크 정보와 워 터마크 패턴 전환 정보와 프레임 표시시각을 이용하여 워터마크 패턴을 생성하는 워터마크 패턴 생성 수단(C120), 워터마크 패턴을 프레임 영상 이하의 사이즈로 스케일 변경하여 프레임 영상의 내부에 중첩하는 워터마크 패턴 중첩 수단(C130), 상기 처리를 순차 반복하여 얻어지는 워터마크가 임베딩된 프레임 영상군을 결합하여 워터마크 임베딩 동영상 데이터를 생성하는 동영상 데이터 재구성 수단(C140)을 갖는다.

도 6b에 실시형태 개요 C의 전자 워터마크 검출장치의 구성도를 나타낸다. 이 전자 워터마크 검출장치는 프레임 영상을 순차 취득하는 동영상 입력수단(C210), 이번에 취득한 프레임 영상과 이전에 취득한 프레임 영상의 차분 영상을 생성하는 차분 영상 생성 수단(C230), 차분 영상으로부터 검출 대상 영역을 추출하여 검출 대상 영역 영상을 생성하는 검출 대상 영역 추출 수단(C220), 검출 대상 영역 영상으로부터 전자 워터마크 검출을 수행하여 전자 워터마크의 검출상황을 출력하는 전자 워터마크 검출 수단(C240)을 갖는다.

[제1 실시형태]

<전자 워터마크 임베딩장치>

도 7은, 본 발명의 제1 실시형태에 따른 전자 워터마크 임베딩장치의 구성을 나타낸다 .

도 7에 나타낸 전자 워터마크 임베딩장치(100)는, 프레임 영상 취득부(110), 워터마크 패턴 생성부(120), 워터마크 패턴 중첩부(130), 동영상 데이터 재구성부(140)를 갖는다.

프레임 영상 취득부(110)에는 원(原) 동영상 데이터가 입력되고, 워터마크 패턴 생성부(120)에는 워터마크 정보와 워터마크 패턴 전환 정보가 입력된다. 또, 동영상 데이터 재구성부(140)는 워터마크 임베딩 동영상 데이터를 출력한다.

이하에 전자 워터마크 임베딩장치(100)의 동작을 설명한다.

도 8은, 본 발명의 제1 실시형태에 따른 전자 워터마크 임베딩장치의 동작흐름도이다.

S110) 프레임 영상 취득부(110)는, 도 9에 나타낸 바와 같이 원 동영상 데이터로부터 프레임 영상 및 상기 프레임 표시시각을 한 장씩 순차 취득한다. 여기서, 프레임 표시시각이란, 예를 들면 타임코드와 재생시의 프레임 레이트로부터 정해지는 동영상 시작부터의 절대적인 시각을 나타내는 것이어도 좋고, 또는 프레임마다 부여되는 일련번호 등, 재생시 프레임간의 상대적인 시간간격을 측정할 수 있는 것이어도 좋다. 프레임 영상 취득부(110)는, 입력 동영상 데이터가 MPEG 등의 부호화 데이터인 경우는 복호를 수행하여 프레임 영상을 취득한다.

S120) 워터마크 패턴 생성부(120)에는, 워터마크 정보와 워터마크 패턴 전환 정보가 입력되고, 워터마크 정보, 프레임 표시시각, 워터마크 패턴 전환 정보를 이용하여 워터마크 패턴을 생성한다.

S130) 워터마크 패턴 중첩부(130)에서는, 워터마크 패턴 생성부(120)에서 생성된 워터마크 패턴을 상술한 프레임 영상에 중첩하여 워터마크 임베딩 프레임 영상을 생성한다.

S140) 마지막으로, 동영상 데이터 재구성부(140)에서, 순차 생성되는 워터 마크 임베딩 프레임 영상의 예를, 동영상 데이터로서 재구성하여 워터마크 임베딩 동영상 데이터로서 출력한다. 이때, 필요하다면 MPEG 인코드 등의 부호화를 수행해도 좋다.

다음으로, 워터마크 패턴 생성부(120)에 대해 상세히 설명한다.

도 10은, 본 발명의 제1 실시형태에 따른 워터마크 패턴 생성부의 구성을 나타낸다.

워터마크 패턴 생성부(120)는, 기본 워터마크 패턴 생성부(121), 워터마크 패턴 전환부(122)를 갖는다.

도 11은, 본 발명의 제1 실시형태에 따른 워터마크 패턴 생성부의 동작흐름도이다.

S121) 기본 워터마크 생성부(121)는 워터마크 정보가 입력되면 상기 워터마크 정보를 2차원 패턴인 기본 워터마크 패턴으로 변환한다.

이 변환 방법은 도 12에 나타낸 바와 같이, 통상 정지영상을 대상으로 하는 전자 워터마크 기술에서 이용되는 방법, 예를 들면 '中村, 片山, 山室, 曾根原 : '카메라 내장 휴대전화기를 이용한 아날로그 영상으로부터의 고속 전자 워터마크 방식', 신학론(D-Ⅱ), Vol.J87-D-Ⅱ, No.12, pp.2145-2155, 2004년 12월'(이하, 문헌 1로 기재)에 기재되어 있는 방법을 이용할 수 있다. 그 방법에는, 워터마크 정보의 비트값을 확장계열에 의해 직접 스펙트럼 확산변조하여 얻어지는 계열의 값에 따라, 화소값의 크고 작음을 대응시키는 방법(도 12:변조방법(A-1)), 블록의 파형 패턴을 전환하는 방법(도 12:변조방법(A-2)), 혹은 계열의 항(term) 값을 두 블록에 대응시켜 화소값의 변화 유무로 값을 나타내는 방법(도 12:변조방법(A-3)), 파형 패턴의 위상변화 유무로 나타내는 방법(도 12:변조방법(A-4)) 등이 있다. 또한, (도 12:A-3), (도 12:A-4)와 같은 변조시에는 계열의 항에 대응하는 두 블록의 위치를 한 블록씩 옮겨 겹쳐가면서 변조할 수 있다.

또는, 도 13의 예에 나타낸 바와 같이, 워터마크 정보를 어느 정도 길이의 심볼로 나누고(도 13에서는 1비트씩 1심볼로 나눔), 각 심볼이 취할 수 있는 값마다 다른 독립 확산계열을 대응시켜, 이들을 연결 또는 중첩하고 다중화(미도시)하여 얻어지는 계열의 값을, 도 12의 경우와 마찬가지로 2차원 패턴으로 변환하는 방법도 생각할 수 있다. 또한 이들 기본 워터마크 패턴은, 카메라 캡처시의 해상도가 낮아지는 경우도 고려하여 블록의 크기를 크게 잡거나 파형 패턴을 저주파 패턴으로 해 두는 것이 바람직하다. 또한, 도 12 및 도 13에서는 워터마크 정보를 스펙트럼 확산변조한 결과를 직접 화소 패턴화하였으나, 문헌 2 'T.Nakamura, H. Ogawa, A. Tomioka, Y. Takashima, "Improved digital watermark robustness against translation and/or cropping of an image area", IEICE Trans. Fundamentals, vol. E83-A, No.1, pp.68-76, Jan. 2000'(이하, 문헌 2로 기재) 와 같이 주파수공간에서 동일하게 수행하여 역직교변환으로 영상 패턴화해도 좋다. 어느 쪽이든 영상에 대해 가법적(加法的; an adding manner)으로 중첩되는 타입의 전자 워터마크 방식이라면 어떠한 것이든 무관하다.

이하, 설명을 위해 기본 워터마크 패턴의 각 화소값은 플러스(+), 마이너스(-)의 값을 가지며, 화소값의 평균값은 0인 것으로 한다. 임의의 기본 워터마크 패턴의 평균값을 시프트하면 이와 같이 하는 것이 용이함은 자명하다.

S122) 워터마크 패턴 생성부(120)는, 이어서 워터마크 패턴 전환부(122)에서, 프레임 표시시각과 패턴 전환 정보의 관계로부터, 기본 워터마크 패턴의 위상반전 필요 여부를 판정한다.

S123) 위상반전이 필요한 경우는, 기본 워터마크 패턴의 위상을 반전하여 워터마크 패턴으로서 출력한다.

S124) 위상반전이 불필요한 경우는, 기본 워터마크 패턴을 그대로 워터마크 패턴으로서 출력한다.

도 14a~c는 본 발명의 제1 실시형태에 따른 워터마크 패턴 전환 정보의 예를 나타낸다. 워터마크 패턴 전환 정보는, 동영상 재생시의 시간축에 대해 기본 워터마크 패턴의 위상을 어떻게 변경하는지를 나타내는 정보이며, 도 14a와 같이 일정시간으로 기본 워터마크 패턴이 반전하도록 지시하거나, 도 14b와 같이 어느 시간단위로 랜덤으로 반전하도록 지시하거나, 혹은 도 14c와 같이 복잡한 타이밍으로 반전하도록 지시할 수도 있다. 랜덤 전환 등 복잡한 패턴을 이용함으로써 해석이 곤란해지므로, 저작권보호 등 보안 목적으로 본 발명을 이용하는 경우, 전자 워터마크에 대한 공격에 대해 안전성이 증대된다. 또한, 도 14a~c의 예는, 위상 0과 π의 두 값을 직사각형 모양으로 그린 경우만 나타내었으나 예를 들면 사인곡선 등 매끄럽게 위상이 변화하는 것을 이용해도 좋다.

도 15는, 본 발명의 제1 실시형태에 따른 워터마크 패턴 전환부의 처리를 설명하기 위한 도면이다. 도 15에서는 상술한 변조방법(A-1)을 이용한 경우에 대해 나타낸다. 워터마크 패턴 전환부(122)는, 워터마크 패턴 전환 정보와 프레임 표시시각, 기본 워터마크 패턴을 입력으로 하고, 도 15와 같이 워터마크 패턴 전환 정보가 1/10초마다 반전을 지시하도록 하는 것이라고 한다. 또한, 원 동영상은 30프레임/초로 재생되는 것이라고 하면, 매 3프레임마다 위상이 반전하게 된다. 이때 프레임 영상 취득부(110)에서 취득한 프레임 표시시각 t를 워터마크 패턴 전환 정보의 시간축 상에 놓았을 때, 워터마크 패턴 전환 정보에서 나타내어지는 위상이 π가 되어 있다고 하면, 이 경우는 기본 워터마크 패턴의 위상을 반전한 것을 상기 프레임 표시시각에 대한 워터마크 패턴으로 한다.

또한, 기본 워터마크 패턴은 플러스(+) 마이너스(-)의 화소값을 가지며, 평균값이 0이므로 위상 반전은 각 화소값에 -1을 곱함으로써 얻을 수 있다. 또한, 프레임 표시시각 t'를 워터마크 패턴 전환 정보의 시간축 상에 놓았을 때의 위상이 0인 경우는, 기본 워터마크 패턴의 위상변화량을 0, 즉, 변화를 주지않고 그대로 워터마크 패턴으로서 출력한다.

또한, 도 16에 도시한 바와 같이, 워터마크 패턴 전환부(122)에서의 위상변조는 화소값의 진폭에 대해 수행되는 것이므로, 예를 들어 변조방법(A-2)과 같이 블록마다 파형 패턴을 이용한 기본 워터마크 패턴의 경우는, 파형의 방향은 변화하지 않고 화소값이 반전하는 형태가 된다. 또, 워터마크 패턴 전환 정보에서 나타내어지는 워터마크 패턴의 위상변화는, 워터마크 임베딩 동영상의 화질 열화를 억제하기 위해, 어느 정도의 시간구간(예를 들면 1초간) 범위에서, 정위상과 역위상으로의 치우침(bias)이 없는 것이 바람직하다. 즉, 도 14 그래프 표시의 가로축을 위 상 치우침 0으로 하고 시간구간으로 적분한 값이 0이 되는 것이 바람직하다.

반전·비(非)반전만 하는 워터마크 패턴 전환의 경우에 대해서 말하자면, 시간구간 내의 반전·비반전의 시간합계가 대략 같아지도록 하는 것이 바람직하다.

다음으로, 워터마크 패턴 중첩부(130)에 대해 상세히 설명한다.

도 17은, 본 발명의 제1 실시형태에 따른 워터마크 패턴 중첩부의 처리를 설명하기 위한 도면이다.

워터마크 패턴 중첩부(130)는, 프레임 영상과 상기 프레임 표시시각에 기초하여 생성된 워터마크 패턴을 입력한다. 워터마크 패턴 중첩부(130)에서는, 우선 워터마크 패턴을 프레임 영상 사이즈까지 늘리고, 그 후에 프레임 영상에 가산하여 워터마크가 임베딩된 프레임 영상을 얻는다. 가산하기 전에 워터마크 패턴의 진폭을 적절히 증감하고나서 가산함으로써, 전자 워터마크의 내성(tolerance)과 화질 열화의 트레이드 오프 밸런스(trade off balance)를 조정하는 것도 가능하다. 또, 워터마크 패턴을 프레임 영상에 가산할 때, 어떠한 성분에 가산하는지에 대하여도 다양한 형태가 있을 수 있다. 예를 들면, 프레임 영상의 휘도값에 가산하거나 혹은 RGB 표색계의 Blue 성분에 가산한다. CMYK 표색계의 Yellow 성분에 가산한다. HSV 표색계의 Hue 성분에 가산한다. YCbCr 표색계의 Cb 성분에 가산한다 등 다양하다. 또, 워터마크 패턴의 1화소가 하나의 값이 아니라, 2개의 값을 가지는 복수성분을 이용하는 워터마크 패턴의 경우도 있을 수 있는데, 이 경우는 예를 들면, RGB 표색계의 Red 성분 및 Green 성분에 워터마크 패턴의 각 면(plane)의 화소값을 각각 가산하거나 하여 복수의 성분을 변경할 수도 있다.

마지막으로, 동영상 데이터 재구성부(140)에 대해 상세히 설명한다.

동영상 데이터 재구성부(140)는, 상기 처리에 의해 순차 생성되는 워터마크가 임베딩된 프레임 영상을 동영상 데이터로서 재구성하여 워터마크 임베딩 동영상 데이터로서 출력한다. 재구성시에는 MPEG 인코드 등의 부호화를 수행해도 좋다.

이상이 본 실시형태에 따른 워터마크 임베딩장치(100)의 설명이다.

여기서, 본 실시형태의 이용장면에 대해 설명한다.

도 18은, 본 발명의 제1 실시형태에 따른 이용장면을 설명하기 위한 도면이다.

위에서 설명한 워터마크 임베딩 동영상 데이터가 예를 들면, TV 방송 등에 의해 TV 표시장치상에서 재생되고 있다(1). 시청자가 시청하는 프로그램에 관련된 정보서비스를 이용할 때는, 예를 들면 카메라 내장 휴대전화기 등의 카메라를 TV 표시화면을 향해 촬영을 시작한다(2). 촬영에 의해 휴대전화기상에 비디오 프레임이 실시간으로 순차 캡처 입력되고, 이 프레임군으로부터 전자 워터마크의 검출을 수행한다(3). 검출한 전자 워터마크 정보를 토대로, 예를 들면 네트워크상의 정보자원을 취득하는 등의 관련정보서비스를 이용할 수 있다(4).

<전자 워터마크 검출장치>

다음으로 전자 워터마크 검출장치에 대해서 설명한다.

도 19는, 본 발명의 제1 실시형태에 따른 전자 워터마크 검출장치의 구성을 나타낸다.

도 19에 나타낸 전자 워터마크 검출장치(200A)는, 동영상 입력부(210), 검 출 대상 영역 추출부(220), 차분 영상 생성부(230), 전자 워터마크 검출부(240), 검출 대상 영역 영상 버퍼(250)를 갖는다. 동영상 입력부(210)에는, TV 등에 디스플레이 표시된 아날로그 동영상, 혹은 MPEG 인코드된 디지털 동영상이 입력되고, 전자 워터마크 검출부(240)는 검출결과를 출력한다.

도 20은, 본 발명의 제1 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

S201) 동영상 입력부(210)에서, 아날로그 또는 디지털 동영상이 입력되면 순차 프레임 영상을 취득한다. 아날로그 동영상 입력시는, 카메라나 스캐너, 혹은 아날로그 비디오신호 등이 입력되어 프레임 영상을 취득하며, 또 디지털 동영상이면 디코드 처리 등을 수행하여 프레임 영상을 취득한다.

S202) 이어, 검출 대상 영역 추출부(220)에서, 순차 입력되는 각 프레임 영상 중의 워터마크 검출 대상이 되는 검출 대상 영역을 추출하여 검출 대상 영역 영상을 취득한다.

S203) 이어, 차분 영상 생성부(230)에서, 현재 취득한 검출 대상 영역 영상과 검출 대상 영역 영상 버퍼(250)에 축적되어 있는 이전에 취득한 검출 대상 영역 영상과의 차분 영상을 생성한다.

S204) 또, 차분 영상 생성부(230)는, 다음 검출 시행에 대비해 검출 대상 영역 영상 버퍼(250)에 이번 검출 대상 영역 영상을 버퍼링해 둔다.

S205) 전자 워터마크 검출부(240)에서, 차분 영상으로부터 전자 워터마크 검출을 시도하고 검출결과를 출력한다. 전자 워터마크 검출에 성공하지 못했을 경 우는 동영상 입력부(210)에서 다음 프레임 영상을 취득하고 상기 처리를 순차 반복한다.

다음으로, 검출 대상 영역 추출부(220)의 처리를 상세히 설명한다.

도 21은, 본 발명의 제1 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면이다.

검출 대상 영역 추출부(220)는, 프레임 영상을 입력으로 한다. 도 21에서는 카메라 입력의 예를 나타낸다. 카메라 입력의 경우, 촬영각도에 의해 발생하는 평면 사영 변환(plane projection conversion)이나 손떨림 등에 의해 프레임 영상 중의 검출 대상 영역이 다양한 형태로 기하왜곡되어 변화한다. 따라서, 검출 대상 영역 추출부(220)에서는 캡처한 프레임 영상마다 TV의 표시영역 등을, 예를 들면 '片山, 中村, 山室, 曾根原 : '전자 워터마크 독출을 위한 i appli 고속 코너 검출 알고리즘', 신학론(D-Ⅱ), Vol.J88-D-Ⅱ, No.6, pp.1035-1046, 2005년 6월'(이하, 문헌 3으로 기재)과 같은 에지 검출/코너검출 등의 수법으로 검출한다. 이어서 수행할 차분 영상 생성을 위해, 검출한 표시영역의 평면 사영 왜곡을 보정하고, 또한 영상사이즈를 정규화하여 일정하게 한 것을 검출 대상 영역 영상으로서 출력한다. 또한, NTSC 등의 아날로그 비디오신호 입력이나 MPEG 등의 디지털 동영상 입력의 경우에는, 프레임에 발생하는 왜곡이나 프레임 영상 중의 일부만을 잘라내는 처리는 불필요하며, 프레임 영상을 그대로 검출 대상 영역 영상으로서 출력하면 된다.

다음으로 차분 영상 생성부(230)에 대해서 상세히 설명한다.

도 22는, 본 발명의 제1 실시형태에 따른 차분 영상 생성부의 처리를 설명 하기 위한 도면이다.

차분 영상 생성부(230)는, 검출 대상 영역 영상을 입력으로 한다. 차분 영상 생성부(230)는, 현재 입력된 검출 대상 영역 영상과 검출 대상 영역 영상 버퍼(250)에 축적되어 있는 이전에 취득한 검출 대상 영역 영상의 차분 영상을 생성한다. 가장 간단하게는 직전의 검출 대상 영상이 버퍼링 되어있고, 이를 차분 대상으로 하는 것을 생각할 수 있으나, 검출 대상 영역 영상에는 복수의 영상이 버퍼링 되어있고 적절히 차분 대상을 선택하여 차분 영상을 생성하는 것으로 해도 좋다. 또한, 다음 검출 시행에 대비해 검출 대상 영역 영상 버퍼(250)에 이번 검출 대상 영역 영상을 버퍼링해 둔다. 이때, 검출 대상 영역 영상 버퍼(250) 중의 시간적으로 오래된 검출 대상 영역 영상은 파기해도 좋다.

또한, 최초의 검출 대상 영역 영상이 입력된 타이밍에서는 검출 대상 영역 영상 버퍼(250)는 비어있는데, 이 경우는 차분을 구하지 않고 최초 검출 대상 영역 영상 자체를 차분 영상으로서 출력하여 전자 워터마크 검출을 시도해도 좋으며, 혹은 전자 워터마크 검출을 스킵하고 다음 프레임 캡처 처리를 수행해도 좋다.

다음으로, 전자 워터마크 검출부(240)에 대해서 상세히 설명한다.

전자 워터마크 검출부(240)는, 차분 영상을 입력으로 하고, 차분 영상으로부터 전자 워터마크 검출을 시도한다.

도 23은, 본 발명의 제1 실시형태에 따른 전자 워터마크 검출부의 처리 예를 설명하기 위한 도면이다. 도 23은 전자 워터마크 임베딩시의 변조방법(B-1)에 대응하는 검출시의 복조방법이다.

우선, 차분 영상의 임베딩에 이용한 성분채널을 취출한다. 그것이 휘도이면 휘도성분을 취출한다. 그리고, 임베딩시의 워터마크 패턴의 블록 개수로 차분 영상을 블록 분할한다.

이어, 블록 내 휘도값의 합계를 구하고, 블록 순으로 나열하여 1차원 계열인 검출 대상 계열을 얻는다. 변조정보(B-2)와 같은 경우는, 블록 내의 파형 패턴 에너지를 구하고, 복수의 파형 패턴 중 어느 패턴이 지배적인지를 나타내는 지표값을 산출하여 1차원으로 나열한다(문헌 1).

이어, 임베딩시에는 1비트 심볼을 계열의 구간마다 변조한 것에 대응하여, 검출 대상 계열의 심볼 위치별 구간을 취출하고, 각 구간에 대해 심볼값 "0"을 나타내는 확산계열 및 "1"을 나타내는 확산계열과의 상관연산을 수행한다. 각 심볼 위치에 대해 상관값(의 절대치)이 최대가 되는 심볼값이 검출한 워터마크 정보가 된다. 도 23의 예에서는 첫 번째 심볼은 "0", 두 번째 심볼은 "1"이, 검출한 워터마크 정보가 된다. 또, 이때 얻은 상관값(의 절대치)이 미리 정한 문턱값 이상이 되는 등, 충분히 큰 경우는 전자 워터마크 검출에 성공했다고 본다. 또한, 변조방법(A-1)~(A-4)의 검출방법에 대해서는, 문헌 1과 같이 상관값의 플러스(+), 마이너스(-)로 비트값을 결정하면 된다.

전자 워터마크 검출부(240)에서 전자 워터마크 검출에 성공한 경우에는, 검출한 워터마크 정보를 출력하여 검출 처리를 종료하고 관련정보 서비스 제공으로 상태를 천이해도 좋으며, 혹은 'J. Rekimoto, Y. Ayatsuka, "CyberCode: Designing Augmented Reality Environments with Visual Tags", Designing Augmented Reality Environments(DARE 2000), 2000년'(이하 문헌 4로 기재)등과 같이 촬영영상과 CG(Computer Graphic)등을 합성하는 확장현실(Augmented Reality) 어플리케이션의 경우는, 계속해서 연속적으로 전자 워터마크 검출을 수행해도 좋다. 전자 워터마크 검출에 성공하지 못한 경우는, 이어서 동영상 입력부(210)의 프레임 캡처 처리로 복귀하고, 검출 시도를 반복한다. 혹은 동영상 입력이 종료되면 검출 처리를 종료한다.

<본 실시형태의 효과>

본 실시형태에 따르면, 동영상으로의 전자 워터마크 임베딩시, 프레임마다 전자 워터마크 패턴을 전환하여 임베딩함으로써, 단순히 프레임 영상에 정지영상 알고리즘 적용을 반복하여 고정된 워터마크 패턴이 임베딩되는 임베딩방법과 비교하여, 고정 패턴을 피할 수 있으므로 화질열화를 억제할 수 있다. 특히, 전환 속도가 고속일 경우, 인간의 시각특성에서는 시간주파수가 높은 경우 시각감도가 저하한다는 시간주파수 특성에 관한 지식을 적용한다면, 화질열화는 더 지각하기 어렵게 된다 ('桶渡編, 영상공학 핸드북, 朝倉書店, ISBN4-254-20033-1, pp.10-56, 1986년'(이하, 문헌 5로 기재)).

또, 전자 워터마크 검출 처리에서는, 캡처된 프레임 영상의 시간 차분을 구해 차분 영상으로부터의 전자 워터마크 검출을 수행한다. 도 24에 나타낸 바와 같이, 일반적으로 동영상은 시간방향의 프레임간 상관관계가 높다는 것이 알려져 있으며, 차분을 구함으로써 심한 움직임을 동반하는 부분 등을 제외하고 원 영상성분의 대부분은 지워진다. 이와 동시에, 워터마크 패턴이 역전된 2개의 프레임간 차분 의 경우는, 임베딩시의 워터마크 패턴 진폭의 두 배의 진폭을 갖는 워터마크 패턴을 얻게 된다. 이에 따라 영상에 대해 가법적으로 워터마크 패턴을 중첩하는 타입의 전자 워터마크 방식 공통의 과제였던 워터마크 신호에 대한 큰 잡음성분인 원 영상신호(original image signal)를 억압하고, 또한 워터마크 신호의 진폭을 두 배로 할 수 있으므로, 검출시 워터마크 신호의 S/N비를 대폭 향상시킬 수 있어 전자 워터마크의 내성이 향상된다.

또한, 차분 영상을 생성하기 전에 캡처한 프레임 영상 중의 검출 대상 영역 추출을 수행하고, 왜곡을 보정하고, 정규화함으로써, 카메라 입력과 같이 촬영각도에 따른 평면 사영 변환 왜곡이나, 카메라 이동, 시점 이동 등에 따른 평행 이동 등, 캡처 프레임 중의 검출 대상 영역의 다양한 왜곡 요인을 없앨 수 있어, 카메라 입력으로부터의 전자 워터마크 검출을 실현할 수 있다. 뿐만 아니라, 이 보정을 각 캡처 프레임마다 수행함으로써, 카메라를 손에 들고 있는 경우에 발생하는 카메라 자체의 이동에 따른 촬영 프레임마다 다른 왜곡요인을 없앨 수 있으므로, 차분 영상 생성에 의해 확실히 원 영상 신호를 억압할 수 있어, 카메라 내장 휴대전화기를 손에 들고 촬영하는 경우에도 문제없이 검출에 성공할 수 있다.

[제2 실시형태]

본 실시형태에서는 전자 워터마크 검출장치에 대해서 설명한다.

본 실시형태는 이하에 설명하는 부분을 제외하고 상술한 제1 실시형태와 동일하다.

도 25는, 본 발명의 제2 실시형태에 따른 전자 워터마크 검출장치의 구성을 나타낸다. 도 25에 나타낸 전자 워터마크 검출장치(200B)는, 상술한 제1 실시형태에 따른 도 15의 구성에 검출 필요 여부 판정부(260)를 부가한 구성이다.

도 26은, 본 발명의 제2 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

S301) 전자 워터마크 검출장치(200B)의 동영상 입력부(210)는, 아날로그 또는 디지털 동영상을 입력하고, 순차 프레임 영상을 취득함과 동시에 해당 프레임 표시시각을 취득한다. 프레임 표시시각은, 예를 들어 MPEG 인코딩된 동영상 등의 경우에는 타임코드나 프레임 레이트 등을 토대로 취득할 수 있다. 카메라 등의 경우는 표시계와의 동기를 취할 수 없는 경우가 있다. 이 경우는 동영상 입력부(210) 내에 타이머를 갖고, 캡처시의 시각을 취득하거나, 혹은 직전 캡처로부터의 지연시간을 취득하는 등의 방법으로 해당 캡처 프레임의 프레임 표시시각을 얻을 수 있다.

S302) 이어, 검출 대상 영역 추출부(220)에서, 순차 입력되는 각 프레임 영상 중의 워터마크 검출의 대상이 되는 검출 대상 영역을 추출하여 검출 대상 영역을 취득한다.

S303) 이어, 검출 필요 여부 판정부(260)에서, 현재 취득한 검출 대상 영역 영상에 대응하는 프레임 표시시각과, 검출 대상 영역 영상 버퍼에 축적되어 있는 이전에 취득한 검출 대상 영역 영상에 대응하는 프레임 표시시각을, 임베딩시와 동일한 워터마크 패턴 전환 정보를 참조하면서 비교하여 2장의 검출 대상 영역 영상 중의 워터마크 패턴이 동상인 경우는 검출이 불필요한 것으로 보고 S304 처리로 이 행한다. 동상이 아니라고 판정한 경우는 S305로 이행한다.

S304) 검출이 불필요한 경우는, 검출 대상 영역 영상 버퍼(250)에 이번 검출 대상 영역 영상 및 대응하는 표시시각을 버퍼링한 후에 동영상 입력부(210)의 캡처 처리로 복귀한다(S301로 이행).

S305) 차분 영상 생성부(230)에 이번 검출 대상 영역 영상을 보낸다. 차분 영상 생성부(230)는, 현재 취득한 검출 대상 영역 영상과, 검출 대상 영역 영상 버퍼(250)에 축적되어 있는 이전에 취득한 검출 대상 영역 영상과의 차분 영상을 생성한다.

S306) 또, 차분 영상 생성부(230)는, 다음 검출 시행에 대비하여 검출 대상 영역 영상 버퍼(250)에 이번 검출 대상 영역 영상 및 프레임 표시시각을 버퍼링해 둔다. 이때, 검출 대상 영역 영상 버퍼 중의 시간적으로 오래된 검출 대상 영역 영상 및 프레임 표시시각은 파기해 둔다.

S307) 이어서, 전자 워터마크 검출부(240)에서 차분 영상으로부터의 전자 워터마크 검출을 시도하고 검출결과를 출력한다.

S308) 전자 워터마크 검출에 성공했는지를 판정하고 성공하지 못한 경우는, 동영상 입력부(210)에서 다음 프레임 영상을 취득하고 상기 처리를 순차 반복한다(S301로 이행). 성공한 경우에는 처리를 종료한다.

상기 검출 필요 여부 판정부(260)는, 프레임 표시시각, 검출 대상 영역 영상, 워터마크 패턴 전환 정보를 입력으로 한다. 검출 필요 여부 판정부(260)는, 현재 취득한 검출 대상 영역 영상에 대응하는 프레임 표시시각과, 검출 대상 영역 영 상 버퍼(250)에 축적되어 있는 이전에 취득한 검출 대상 영역 영상에 대응하는 프레임 표시시각을, 임베딩시와 동일한 워터마크 패턴 전환 정보를 참조하면서 비교하여 2장의 검출 대상 영역 영상 중의 워터마크 패턴이 동상인지 아닌지 그 여부로 검출 필요 여부를 판정하고, 검출이 불필요한 경우는 동영상 입력부(210)의 캡처 처리로 복귀한다. 검출이 필요한 것으로 판정한 경우는 차분 영상 생성부(230)에 검출 대상 영역 영상을 보낸다.

도 27은, 본 발명의 제2 실시형태에 따른 검출 필요 여부 판정부의 처리를 설명하기 위한 도면이다.

예를 들어, 워터마크 패턴 전환 정보가 '1/10초마다 전환' 이고, 동영상은 30프레임/초로 재생되고 있다고 한다. 또, 검출 대상 영역 영상 버퍼(250)에 축적되어 있는 이전 프레임의 프레임 표시시각을 t라 한다. 이번에 취득한 프레임 표시시각이 t0 또는 t1인 경우, t0-t=3/30초, 또는 t1-t=5/30초는 각각 1/10초마다 반전하는데 있어서 워터마크 패턴이 역상이 되는 것을 나타내며, 차분 영상으로부터의 전자 워터마크 검출 가능성이 높다는 것을 알 수 있으므로, '검출 필요'로 판정한다. 또, 이번에 취득한 프레임 표시시각이 t2인 경우는, t2-t=6/30초가 1/10초마다 반전하는데 있어서 워터마크 패턴이 동상이 되는 것을 나타내며, 차분 영상으로부터 전자 워터마크 검출 가능성이 낮다는 것을 알 수 있으므로, '검출 불필요'로 판정한다.

이 예와 같이, 프레임 표시시각은 동영상의 시작부터 측정되는 절대시간일 필요는 없으며, 재생되고 있는 동영상의 캡처 타이밍 간의 지연시간을 얻을 수 있 으면 된다.

<본 실시형태의 효과>

본 실시형태에 따르면, 제1 실시형태의 효과와 더불어, 검출 필요 여부 판정을 수행하여 불필요한 전자 워터마크 검출처리를 생략함으로써, 효율적인 검출처리를 수행할 수 있다. 도 28a,b에 나타낸 바와 같이, 캡처 타이밍을 평가하여 워터마크 패턴이 역상이 된 경우만 차분 영상을 생성하고 검출시행을 수행하므로, 검출이 곤란한 동상의 경우를 피할 수 있어 불필요한 검출시행을 생략할 수 있다. 처리량을 줄인 만큼 캡처 프레임 레이트를 높임에 따른 검출 성능 향상과, 유저인터페이스를 고도화함에 따라 검출장치의 편리성을 향상시키는 효과를 얻을 수 있다.

[제3 실시형태]

본 실시형태는 이하에 설명하는 부분을 제외하고 제1 실시형태와 동일하다.

도 29는, 본 발명의 제3 실시형태에 따른 전자 워터마크 검출장치의 구성을 나타낸다.

도 29에 나타낸 전자 워터마크 검출장치(200C)는, 제1 실시형태에 따른 도 19의 구성에 캡처 타이밍 제어부(270)를 부가한 구성이다.

캡처 타이밍 제어부(270)는, 워터마크 패턴 전환 정보를 입력으로 하고, 캡처 타이밍 신호를 동영상 입력부(210)로 보낸다. 또, 차분 타이밍 신호를 차분 영상 생성부(230)로 보낸다.

도 30은, 본 발명의 제3 실시형태에 따른 전자 워터마크 검출장치의 동작흐 름도 이다.

S401) 동영상 입력부(210)는, 캡처 타이밍 제어부(270)로부터 입력된 캡처 타이밍 신호로 지정되는 캡처 시간간격으로 아날로그 또는 디지털 동영상을 입력하고, 순차 프레임 영상을 취득한다.

S402) 검출 대상 영역 추출부(220)에서, 순차 입력되는 각 프레임 영상 중의 워터마크 검출의 대상이 되는 검출 대상 영역을 추출하여 검출 대상 영역 영상을 취득한다.

S403) 이어, 차분 영상 생성부(230)에서 현재 취득한 검출 대상 영역 영상과, 검출 대상 영역 영상 버퍼(250)에 축적되어 있는 차분 타이밍 신호로 지정되는 시간적으로 이전의 검출 대상 영역 영상과의 차분 영상을 생성한다.

S404) 또, 차분 영상 생성부(230)는, 다음 검출 시행에 대비해 검출 대상 영역 영상 버퍼(250)에 이번 검출 대상 영역 영상을 버퍼링해 둔다.

S405) 이어, 전자 워터마크 검출부(240)에서, 차분 영상으로부터의 전자 워터마크 검출을 시도하고 검출결과를 출력한다.

S406) 전자 워터마크 검출에 성공하지 못한 경우는, 동영상 입력부(210)에서 다음 프레임 영상을 취득하고, 상기 처리를 순차 반복한다(S401로 이행). 성공한 경우는 처리를 종료한다.

도 31은 본 발명의 제3 실시형태에 따른 캡처 타이밍 제어부의 처리를 설명하기 위한 도면이다. 예를 들어 워터마크 패턴 전환 정보가 '1/10초마다 전환'이고, 동영상은 30프레임/초로 재생되고 있다고 한다. 이 경우는 캡처 타이밍 신호를 1/10초마다 발신하고, 그것을 수신한 동영상 입력부(210)에서 1/10초 간격으로 캡처를 수행하도록 한다. 혹은, 최초에 '1/10초 간격으로 캡처할 것'이라는 정보를 캡처 타이밍 신호로서 보내고, 동영상 입력부(210) 내부에서 타이밍을 재면서 1/10초 간격으로 캡처 동작을 하도록 해도 좋다.

또, 차분 타이밍 신호로서, '1/10초(의 홀수배) 떨어진 검출 대상 영역 영상의 차분을 구함'이라는 지시를 차분 영상 생성부(230)로 보내는 것으로 한다. 카메라 입력 등의 경우, 캡처의 시간간격만을 지정했다 하더라도 실제로 캡처되는 프레임군이 다를 경우가 있을 수 있다(도 31의 캡처 예 A와 캡처 예 B의 차이). 그러나, 어느 쪽의 캡처 예의 경우에도 1/10초마다 캡처함으로써 반드시 역상의 워터마크 패턴이 임베딩된 프레임을 번갈아 캡처 가능하다. 이에 따라 연속하는 어떠한 2장의 차분으로부터도 전자 워터마크 검출의 가능성을 높일 수 있다. 즉, 캡처의 개시 타이밍과는 무관하다.

또한, 도 32에 나타낸 바와 같이 '1/30초 간격으로 캡처하고, 차분은 1/10초(의 홀수배) 떨어진 검출 대상 영역 영상 간에 수행' 하도록 지시하고, 검출 대상 영역 영상 버퍼(250)에는, 1/30초로 캡처된 프레임으로부터 얻어진 최근 3장의 검출 대상 영역 영상이 버퍼링 되어 있다고 하면, 1/30초마다 입력되는 새로운 검출 대상 영역 영상과, 1/10초 전, 즉 3장 전의 검출 대상 영역 영상과의 차분을 순차 구함으로써, 매회 워터마크 검출 시행에서 검출 가능성을 모두 높일 수 있다.

또한, 입력이 MPEG 등의 디지털인 경우나, 아날로그 비디오신호 등, 입력 프레임 표시시각을 정확히 얻을 수 있는 경우는, 동기를 맞출 수 있음은 자명하므 로 상기와 동일한 처리로 각 검출 시행에서 검출 가능성을 높일 수 있다.

<본 실시형태의 효과>

본 실시형태에 따르면, 제1 실시형태의 효과와 더불어, 도 33a,b에 도시한 바와 같이, 워터마크 패턴 전환 타이밍과 동기를 취한 타이밍으로 캡처 및 차분 영상 생성을 수행함으로써, 항상 워터마크 패턴이 역상이 되는 것에 대한 차분을 산출하여 검출을 수행할 수 있으므로, 모든 검출 시행에서 워터마크 패턴이 강조된 차분 영상으로부터 검출하게 되어, 검출 가능성을 높일 수 있다. 이에 따라, 검출 가능성이 낮은 불필요한 시행을 수행하지 않게 되므로, 전자 워터마크 검출에 이르기까지의 필요한 시간을 단축할 수 있고, 캡처를 개시하고 나서 신속하게 검출을 성공시킬 수 있다. 또, 확장현실(Augmented Reality) 어플리케이션 등, 워터마크 검출에 성공해도 검출을 계속 수행하는 경우는, 검출 성공 상태가 끊기지 않고 지속되므로 유저인터페이스가 개선되어 편리성이 향상되는 효과도 얻을 수 있다.

[제4 실시형태]

본 실시형태에서는, 워터마크 패턴의 위상반전에 의해 검출된 워터마크 정보의 비트가 반전하는 타입의 변조방법을 이용한 경우에도 올바른 워터마크 정보를 검출하기 위한 방법에 대해 설명한다.

본 실시형태는 이하에 설명하는 부분을 제외하고 제1~제3 실시형태와 동일하다.

도 34a,b는, 본 발명의 제4 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 내용을 나타낸다. 도 34a,b는, 제1 실시형태에 따른 도 10에 나타낸 전자 워 터마크 임베딩장치(100)의 워터마크 패턴 생성부(120)의 기본 워터마크 패턴 생성부(121)의 처리 내용을 나타내고 있다.

제1~제3 실시형태에 따른 기본 워터마크 패턴 생성부(121)에서는, 입력된 워터마크 정보만을 기본 워터마크 패턴으로 변조했다. 본 실시형태에서는 입력된 워터마크 정보에, 워터마크 정보의 비트 반전 판정용 플래그비트를 1비트 추가하여 기본 워터마크 패턴을 생성한다. 혹은, 제1 실시형태 내지 제3 실시형태와 비교해서 워터마크 정보의 비트길이를 1비트 적은 것을 상정하고 비트 반전 판정용 플래그비트를 추가하여, 제1 내지 제3 실시형태와 동일한 비트길이의 정보를 토대로 기본 워터마크 패턴을 생성하도록 해도 좋다. 도 34의 예에서는, 비트 반전 판정용 플래그비트로서 비트값 "0"이 정위상, 즉 비트 반전 없음을 나타내는 것으로서 부가된다.

도 35는, 본 발명의 제4 실시형태에 따른 전자 워터마크 검출부의 동작흐름도이다.

S501) 전자 워터마크 검출부(240)는, 차분 영상을 입력으로 하고, 우선 제1 내지 제3 실시형태의 경우와 마찬가지로 차분 영상으로부터의 전자 워터마크 검출을 시도한다.

S502) 전자 워터마크가 검출된 경우는, S504로 이행하고, 검출되지 못한 경우는 S503으로 이행한다.

S503) 검출되지 못한 경우는 다음 프레임 캡처로 복귀한다.

S504) 전자 워터마크가 검출된 경우, 검출한 정보 중의 비트 반전 판정 플 래그의 값을 보고, 그 값이 정위상을 나타내는 것인지 아닌지를 평가한다. 정위상을 나타내는 것인 경우는 S506으로 이행하고, 역위상을 나타내는 경우는 S505로 이행한다.

S505) 비트 반전 판정 플래그가 역위상을 나타내는 것인 경우는, 비트 반전 판정 플래그를 제외한 정보비트를 반전한 것을, 검출한 워터마크 정보로서 검출결과를 출력한다.

S506) 정위상을 나타내는 것인 경우는, 검출정보로부터 비트 반전 판정용 플래그를 제외한 정보를, 검출한 워터마크 정보로서 검출결과를 출력한다.

또한, 제3 실시형태와 같이, 임베딩시의 워터마크 패턴 전환 정보와, 캡처시의 프레임 표시시각을 이용함으로써, 현재 차분 영상 중의 워터마크 패턴 위상을 판정하는 것도 가능함은 명백하다.

<본 실시형태의 효과>

본 실시형태의 효과를 도 36 ~ 도 38을 이용하여 설명한다.

전자 워터마크 임베딩시의 변조방법이 제1 실시형태에서 서술한 도 12의 변조방법(A-1)인 경우, 검출시에는 차분 영상의 화소값으로부터 검출 대상 계열을 얻어, 이것과 확산계열과의 상관관계를 구해, 상관값의 플러스(+), 마이너스(-)로 비트값 "0", "1"를 검출하게 된다. 도 36에 변조방법(A-1)의 경우의 복조를 설명한다. 변조에 의해 얻어진 기본 워터마크 패턴은 적절히 위상을 반전하여 동영상 프레임 영상에 임베딩된다. 워터마크 임베딩 동영상이 부호화되거나 아날로그 표시를 캡처하거나 하는 과정에서 임베딩된 워터마크 패턴에는 여러 가지 노이즈가 더해지 게 되므로, 차분 영상으로부터 얻어지는 검출 대상 계열은, 임베딩시 변조된 워터마크 정보와 비교하여 신호가 변화되어 있다. 그러나, 임베딩시에 이용한 확산계열과의 상관을 구하면, 비트 "1"에 상당하는 구간의 상관값은 양의 큰 값을 취하고, 비트 "0"에 상당하는 구간의 상관값은 음의 큰 값을 취할 것이다. 이에 따라 임베딩된 비트 정보의 복조를 수행하게 된다.

그러나, 도 37에 도시한 바와 같이, 기본 워터마크 패턴의 위상은, 워터마크 패턴 전환부(122)에 의해 시간방향에서 정위상/역위상으로 전환되고 있으므로, 예를 들어, 도 37의 (ㄱ)과 (ㄴ)의 프레임으로부터 얻어지는 차분 영상을 보면, (ㄱ)에는 기본 워터마크 패턴의 역상, (ㄴ)에는 기본 워터마크 패턴의 동상이 임베딩되어 있으므로, (ㄴ)-(ㄱ)에서 얻어지는 차분 영상은 기본 워터마크 패턴과 동상, 즉 정위상이 되며, 워터마크 정보는 올바르게 검출할 수 있다. 그러나, 캡처 타이밍에 따라서는 (ㄷ)과 (ㄹ)의 프레임으로부터 얻어지는 차분 영상의 경우도 있다. 이 경우, (ㄷ)은 기본 워터마크 패턴과 동상, (ㄹ)은 기본 워터마크 패턴과 역상이므로, 차분 영상은 기본 워터마크 패턴의 역상 형태가 된다. 이때, 워터마크 검출을 수행하면, 도 36에서 서술한 검출 대상 계열의 각 항(item) 값이 + - 역전되므로 상관값의 부호가 반전되어 버린다. 즉, 워터마크 정보 "01"를 임베딩했음에도 불구하고 그 비트 반전인 "10"을 올바른 것으로 검출하는 문제가 발생한다.

본 실시형태는 이 문제를 회피하기 위한 것으로, 도 38과 같이 임베딩되어 있는 워터마크 정보에 비트 반전 판정 플래그를 추가하였다. 이것으로 검출시의 워터마크 정보가 비트 반전되어 있는지 그 여부를 판정할 수 있다. 즉, 차분 영상이 기본 워터마크 패턴과 동상인지 역상인지를 판정할 수 있다. 검출정보의 비트 반전 플래그가 정위상을 나타내는 값인 경우에는 그대로 비트값을 워터마크 정보로 하고, 역상을 나타내는 값인 경우는 검출정보의 비트값을 반전하여 워터마크 정보로 함으로써, 캡처에서 얻어진 2장의 프레임을 취득하는 방법에 관계없이 항상 올바른 워터마크 정보를 검출할 수 있다. 이 방법은 극성이용형 변조방법이라면 모두 적용 가능하다.

또한, 제1 실시형태에서 서술한 변조방법(A-2)~(A-4), (B-2)~(B-4)은, 차분 영상의 화소값(의 단순한 총합)을 토대로 검출 대상 계열을 구성하는 것이 아니므로, 차분 영상의 취득 방법에 상관없이 항상 일정한 워터마크 정보를 검출할 수 있다. 또, 변조방법 (B-1)과 같이, 상관값의 플러스(+) 마이너스(-)로 정보를 나타내는 것이 아니라, 어느 확산계열과 큰 상관절대치를 취했는지에 따라 정보를 변복조 하는 것이 가능한 타입의 변조방법에서는, 차분 영상이 정위상인 경우는 양의 상관값, 역상인 경우는 음의 상관값이 산출되는 점은 (A-1)과 동일하나, 상관값의 절대치가 큰 것을 검출 심볼로 하게 되면 차분 영상이 정위상 혹은 역상이어도 항상 문제없이 검출할 수 있으므로, 이와 같은 방법은 필요 없다. 정리하면 이하와 같다.

<2차원 패턴 변복조 타입>

(1) 패턴 진폭 이용형 : 영상 중의 패턴 진폭을 토대로 검출 대상 계열을 구성하므로, 차분 영상이 반전하면 검출 대상 계열이 반전한다.(변조방법(A-1), (B-1))

(2) 패턴 형상 이용형 : 영상 중의 패턴 형상을 토대로 검출 대상 계열을 구성하므로, 차분 영상이 반전해도 검출 대상 계열은 반전하지 않는다.(변조방법(A-2)~(A-4), 변조방법(B-2)~(B-4))

<스펙트럼 확산 변복조 타입>

(a) 극성이용형 : 확산계열과의 상관값의 플러스(+) 마이너스(-) 극성으로 정보를 표현하는 방법(변조방법(A-1)~(A-4))

(b) 비극성이용형 : 복수의 확산계열 중 최대 절대상관값을 취하는 계열종류에 따라 정보를 표현하는 방법(변조방법(B-1)~(B-4))

차분 영상이 반전한 경우에 비트값이 반전하는 것은 (1)과 (a), 즉 예시 중에서는 변조방법(A-1)의 경우뿐이다.

[제5 실시형태]

본 실시형태에서는 제4 실시형태에서 이용한 위상 판정용 플래그를 이용하지 않고 위상동기신호의 다중 워터마크 임베딩을 이용하는 예를 설명한다.

본 실시형태는, 이하에 설명하는 부분을 제외하고 상술한 제1 내지 제3 실시형태와 동일하다.

도 39는, 본 발명의 제5 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면이다. 도 39는, 전자 워터마크 임베딩장치(100)에서의 워터마크 패턴 생성부(120)의 기본 워터마크 생성부(121)의 처리 내용을 나타낸다. 제1 내지 제3 실시형태에 따른 기본 워터마크 패턴 생성부(121)에서는, 입력된 워터마크 정보만을 기본 워터마크 패턴으로 변조했다. 본 실시형태에서는 입력된 워터마크 정보뿐만이 아니라, 검출시 차분 영상의 워터마크 패턴 위상을 특정하기 위 한 위상동기신호도 임베딩되도록 기본 워터마크 패턴을 생성한다.

도 39의 예에서는 변조방법(A-1)을 이용하여 제1 내지 제3 실시형태와 마찬가지로 기본 워터마크 패턴(甲)을 얻고, 또한 항상 "0"의 값을 취하는 위상동기신호를 변조방법(B-1)으로 변조하여 얻어지는 기본 워터마크 패턴(乙)을 위상 판정용 워터마크 패턴으로서 생성하고, 양자를 중첩에 의해 다중화한 것을 기본 워터마크 패턴으로서 임베딩에 이용하기로 한다.

본 실시형태에 따른 전자 워터마크 검출장치(200)의 전자 워터마크 검출부(240)의 처리 과정에 대해 설명한다.

도 40은, 본 발명의 제5 실시형태에 따른 전자 워터마크 검출부의 동작흐름도이다.

S601) 전자 워터마크 검출부(240)는, 차분 영상을 입력으로 하고, 우선 제1 내지 제3 실시형태의 경우와 마찬가지로 차분 영상으로부터의 전자 워터마크 검출을 시도한다.

S602) 전자 워터마크가 검출되지 못한 경우는 S603으로 이행하고, 검출된 경우는 S604로 이행한다.

S603) 다음 프레임 캡처로 복귀한다.

S604) 전자 워터마크가 검출된 경우는 위상동기신호의 검출을 시도한다. 위상동기신호는 변조방법(B-1)으로 임베딩되어 있으므로, "0"을 나타내는 확산계열과의 상관값의 절대치가 크면 위상동기신호를 검출할 수 있고, 상관값의 +, - 극성으로 차분 영상 중의 워터마크 패턴이 임베딩시의 기본 워터마크 패턴과 동상인지 역 상인지를 판정할 수 있다.

S605) 위상동기신호의 검출시 상관값이 양의 경우는 동상, 음의 경우는 역상으로 판정한다. 동상으로 판정한 경우는 S606으로 이행하고, 역상으로 판정한 경우는 S607로 이행한다.

S606) 동상으로 판정한 경우는 검출한 워터마크 정보를 그대로 검출결과로서 출력한다.

S607) 역상으로 판정한 경우는 검출한 워터마크 정보의 비트를 반전하여 검출결과로서 출력한다.

<본 실시형태의 효과>

제4 실시형태에서는 워터마크 정보의 일부를 비트 반전 판정용 플래그로서 이용한 것에 대해, 본 실시형태에서는 차분 영상 중의 워터마크 패턴 위상을 판정하기 위한 위상동기신호를 워터마크 정보와 함께 다중화하여 임베딩했다. 이때, 위상동기신호가 패턴진폭이용형, 그리고 극성비이용형의 변조에 의해 임베딩되므로, 검출시에 극성을 이용하여 차분 영상 중의 워터마크 패턴 위상을 판별할 수 있다. 이에 따라, 제4 실시형태와 마찬가지로 캡처로 얻어진 2장의 프레임 취득방법에 상관없이 항상 올바른 워터마크 정보를 검출할 수 있다.

또, 제4 실시형태와 비교하면, 비트 반전 판정용 플래그를 이용하지 않으므로, 워터마크 정보의 비트길이를 1비트 짧게 할 필요가 없다. 또한, 패턴형상이용형이라도 차분 영상의 반전을 특정할 수 있는 것이라면 위상동기신호 임베딩에 이용해도 무관하다.

[제6 실시형태]

본 실시형태에서는 차분 영상 중의 워터마크 패턴 임베딩시의 기본 워터마크 패턴과 동상인지 역상인지를 판정하고, 필요에 따라 위상 반전하여 축적하는 예를 설명한다.

본 실시형태에서는 이하에 설명할 부분을 제외하고, 제1 내지 제5 실시형태와 동일하다. 이하, 설명을 간단히 하기 위해, 제1 실시형태와의 차이를 서술한다.

도 41은, 본 발명의 제6 실시형태에 따른 전자 워터마크 검출부의 구성을 나타낸다.

도 41에 나타낸 전자 워터마크 검출장치(200)의 전자 워터마크 검출부(240)는, 차분 영상 위상 판정부(241), 워터마크 정보 검출부(242), 및 차분 영상 축적 버퍼(255)로 구성된다.

도 42는, 본 발명의 제6 실시형태에 따른 전자 워터마크 검출부의 동작흐름도이다.

S701) 차분 영상 위상 판정부(241)는, 차분 영상이 입력되면 입력된 해당 차분 영상 중의 워터마크 패턴의 위상을 판별한다.

S702) 차분 영상 위상 판정부(241)는, 입력된 차분 영상 중의 워터마크 패턴 위상이, 임베딩시의 기본 워터마크 패턴과 동상인지 역상인지를 판정한다. 동상인 경우는 S703으로 이행하고, 역상인 경우는 S704로 이행한다.

S703) 동상인 경우는, 이번에 입력된 차분 영상을 그대로 차분 영상 축적 버퍼(255)에 가산하고, S705로 이행한다.

S704) 역상인 경우는, 이번에 입력된 차분 영상을 위상반전시켜 차분 영상 축적 버퍼(255)에 가산한다.

S705) 이어, 워터마크 정보 검출부(242)에서, 차분 영상 축적 버퍼(255)에 축적 가산된 차분 영상으로부터의 워터마크 정보 검출을 시도한다.

S706) 검출에 성공한 경우는 S708로 이행하고, 성공하지 못한 경우는 S707로 이행한다.

S707) 성공하지 못한 경우는 동영상 입력부(210)에서 다음 프레임 캡처를 수행하는 처리로 복귀한다.

S708) 성공한 경우는 검출결과를 출력한다.

다음으로, 차분 영상 위상 판정부(241)에 대해 설명한다.

도 43은, 본 발명의 제6 실시형태에 따른 차분 영상 위상 판정부의 처리를 설명하기 위한 도면이다.

차분 영상 위상 판정부(241)는, 차분 영상이 입력되면 상기 차분 영상 중의 워터마크 패턴 위상이, 임베딩시의 기본 워터마크 패턴과 동상인지 역상인지를 판정한다. 판정 방법으로는, 차분 영상으로부터 제4 실시형태에서 나타낸 비트 반전 판정 플래그를 검출하고, 그 값으로 동상/역상을 판정하는 방법과, 제5 실시형태에 나타낸 위상동기신호를 검출하고, 그 값으로 동상/역상을 판정하는 방법 등이 있을 수 있다. 또는, 제1 실시형태의 변조방법(B-1)과 같은 패턴진폭이용형 그리고 극성비이용형의 변조를 이용하여 워터마크 정보를 변조하는 경우는, 각 심볼마다 검출처리에서 검출된 절대치 최대의 상관값의 총합이, 플러스인 경우는 동상, 마이너스 인 경우는 역상으로 판별하는 방법 등이 가능하다.

차분 영상 중의 워터마크 패턴이 임베딩시의 기본 워터마크 패턴과 동상으로 판정된 경우는, 이번에 입력된 차분 영상을 그대로 차분 영상 축적 버퍼(255)에 가산한다. 역상으로 판정된 경우는, 이번에 입력된 차분 영상의 위상을 반전시켜서 차분 영상 축적 버퍼(255)에 가산한다. 위상 반전하기 위해서는, 예를 들어 휘도 성분이면 영상 전체 화소값의 +,-를 역전시키거나, 혹은 이번의 차분 영상을 생성하는데 이용한 검출 대상 영역 영상이 X,Y 2장이고, 이번의 차분 영상이 X-Y로 구해진 것이라고 하면, 위상 반전하기 위해서는 Y-X의 차분 영상을 이용하면 된다.

또한, 제3 실시형태와 같이, 임베딩시의 워터마크 패턴 전환 정보를 이용하여 워터마크 패턴 전환 타이밍의 동기를 취할 수 있는 경우에는, 전환 타이밍으로부터, 예를 들면, 인접한 워터마크 패턴의 전환은 역상이 되지만 하나 걸러서는 동상이 되는 원리를 이용하여, 이하의 차분 영상 축적시에 모두 동상이 되도록 하나 걸러 위상 반전하면서 축적하면 된다.

상기 처리에 의해 도 44에 나타낸 바와 같이, 차분 영상 축적 버퍼(255)에는 항상 기본 워터마크 패턴과 동상인 워터마크 패턴을 갖는 차분 영상이 차례 차례로 가산되게 된다. 또한, 여기서 '차분 영상 가산'이란, 영상의 각 좌표마다 화소값을 가산하여 얻어지는 동일 사이즈의 영상을 얻는 것을 가리킨다.

또한, 상술한 제3 실시형태를 이용한 축적의 경우, 차분 영상 축적 버퍼(255)에 축적된 결과는, 임베딩시의 기본 워터마크 패턴과 동상 또는 역상의 어느 한 상태가 일치된 형태로 가산된 것이 얻어지는데, 차분 영상 축적 버퍼(255)로 부터의 검출에 제4 실시형태 또는 제5 실시형태와 같은 방법을 이용하면 역상에 의한 문제는 회피할 수 있다.

<본 실시형태의 효과>

본 실시형태에서는, 차분 영상 중의 워터마크 패턴이 임베딩시의 기본 워터마크 패턴과 동상인지 아닌지를 판정하고, 필요에 따라 위상 반전함으로써, 차분 영상 축적 버퍼(255)에 항상 정위상인 상태로 순차 가산을 수행하여, 가산된 차분 영상으로부터 워터마크 정보 검출을 시행할 수 있다.

이에 따라, 1장의 차분 영상 중의 워터마크 패턴이 미약하여 충분히 검출할 수 없는 경우에도, 복수의 차분 영상을 통합하여 검출을 수행하게 되므로, 검출이 가능해진다. 도 44에 나타낸 바와 같이 워터마크 패턴은 항상 정위상인 형태로 가산되어 가므로, 차분 영상 축적 버퍼(255)에는 원리상 가산한 횟수만큼 증폭된 워터마크 패턴이 얻어진다. 그러나, 일반적으로 원 동영상의 차분은 각각의 타이밍에서 다르기 때문에, 워터마크 패턴에 대한 노이즈인 원 동영상의 차분신호는 가산 횟수만큼 증폭되지 않는다. 이로 인해, 워터마크 신호의 S/N비가 향상하고 제1 내지 5의 실시형태와 비교하여 전자 워터마크의 내성이 향상된다.

또, 이 내성 향상을 화질열화를 억제하는데 이용할 수도 있다. 즉, 제1 내지 제5 실시형태와 같이 1장의 차분 영상으로부터 검출을 가능하게 하기 위한 워터마크 임베딩 강도보다 더 약한 강도이더라도 차분 영상 축적에 의해 검출을 할 수 있으므로, 화질개선을 실현할 수 있다.

[제7 실시형태]

본 실시형태에서는, 1장의 차분 영상으로부터는 충분한 검출 성능을 얻을 수 없는 경우라도 검출을 가능하게 하는 방법에 대해 설명한다.

본 실시형태는 이하에 설명하는 부분을 제외하고 제1 내지 제6 실시형태와 동일하다. 이하, 설명을 간단히 하기 위해 제1 실시형태와의 차이를 서술한다.

도 45는 본 발명의 제7 실시형태에 따른 전자 워터마크 검출부의 구성을 나타낸다.

도 45에 나타낸 전자 워터마크 검출장치(200)의 전자 워터마크 검출부(240)는, 상관연산부(243), 검출 가능 여부 판정부(244), 및 상관값 버퍼(245)를 갖는다.

도 46은, 본 발명의 제7 실시형태에 따른 전자 워터마크 검출부의 동작흐름도이다.

S801) 전자 워터마크 검출부(240)는, 차분 영상을 입력으로 하고, 상관연산부(243)에서, 통상의 전자 워터마크 검출처리와 마찬가지로 차분 영상으로부터 검출 대상 계열을 얻어, 확산계열과의 상관값을 구한다. 또한, 이때 입력된 차분 영상만으로부터 워터마크 정보 검출에 성공한 경우는, 워터마크 정보를 검출결과로서 출력하고 처리를 종료해도 좋다. 상관값은 변조방법(A-1)~(A-4)과 같은 비트별 확산 방식이라면 워터마크 정보의 비트수 만큼, 변조방법(B-1)~(B-4)과 같은 심볼별 확산방식이라면 심볼수×심볼값의 범위값 만큼 얻어진다.

S802) 상관연산부(243)에서 얻어진 상관값군은 상관값 버퍼(245)에 각 항(term) 가산된다.

S803) 이어, 검출 가능 여부 판정부(244)에서, 상관값 버퍼(245)에 저장된 상관값군에 대해 문턱값 판정을 수행하고, 워터마크 정보의 검출 가능 여부 판정을 수행한다.

S804) 검출된 경우는 S806으로 이행하고, 검출되지 못하는 경우는 S805로 이행한다.

S805) 워터마크 정보를 검출할 수 없는 경우는, 동영상 입력부(210)의 다음 프레임 캡처로 복귀한다.

S806) 문턱값 판정에 패스하면 검출 성공으로 보고 상관값 버퍼(245)의 내용을 토대로 검출한 워터마크 정보를 구성하여 검출결과를 출력한다.

다음으로, 상관값 버퍼(245)에 관한 처리 내용을 설명한다.

도 47은, 본 발명의 제7 실시형태에 따른 상관값 버퍼에 관한 처리 내용을 설명하기 위한 도면이다.

상관연산부(243)에서는, 차분 영상으로부터 검출 대상 계열을 취출하고, 변조시에 이용한 확산계열과의 상관을 계산한다. 변조방법(A-1)~(A-4)과 같은 비트별 확산방식이라면 워터마크 정보의 비트수 만큼, 변조방법(B-1)~(B-4)과 같은 심볼별 확산방식이라면, 심볼수*심볼값의 범위값 만큼 얻어진다(도 47에서는 1심볼=1비트, 각 심볼마다 "0" 또는 "1"의 두 값을 취하는 심볼이 4개 있는 예를 나타낸다).

변조방법(A-1)과 같이 차분의 위상에 의해 비트가 반전할 가능성이 있는 것에 대해서는, 제4 실시형태 또는 제5 실시형태와 같은 방법으로 정위상으로 일치시킨 뒤 상관을 구하도록 한다. 또, 변조방법(B-1)~(B-4)의 경우는, 차분의 위상이 반전한 경우 상관값이 마이너스(-)를 취하므로, 절대치화 한다. 상관연산부(243)에서 얻어진 상관값군은, 상관값 버퍼(245)에 각 상관값의 항마다 가산된다.

또, 제3 실시형태와 같이, 임베딩시의 워터마크 패턴 전환 정보를 이용하여 워터마크 패턴 전환 타이밍의 동기를 취할 수 있는 경우에는, 전환 타이밍으로부터, 예를 들면, 인접한 워터마크 패턴의 전환은 역상이 되지만 하나 걸러서는 동상이 되는 원리를 이용하여, 하나 걸러 상관값의 극성을 반전시켜 축적함으로써 항상 상관값의 극성을 일치시켜서 가산 축적할 수도 있다.

도 48a,b는, 본 발명의 제7 실시형태에 따른 상관값 버퍼에 관한 처리 내용을 설명하기 위한 도면이다.

검출 가능 여부 판정부(244)는, 상관값 버퍼(245)에 축적된 상관값에 대해 문턱값 판정을 수행하고, 검출 성공인지 아닌지 그 여부를 판정한다. 변조방법(A-1)~(A-4)과 같은 비트별 확산방식의 경우는, 각 비트 위치마다 상관값의 절대치가 모두 문턱값 이상이면 검출 성공으로 판정하거나, 도 48a,b와 같이 각 비트 위치마다 상관값의 절대치 합을 구해, 그 결과에 대해 문턱값 판정을 수행해도 좋다. 또, 변조방법(B-1)~(B-4)과 같은 심볼별 확산방식이면, 각 심볼 위치마다 상관값의 최대치가 모두 문턱값 이상이면 검출 성공으로 판정하거나 하면 된다. 또한, 문턱값의 값을 상관값 축적 버퍼(245)로의 가산 횟수에 따라 변화시키거나, 문턱값 판정 전에 상관 축적 버퍼(245)의 각 항값을 가산 횟수로 나누는 등 적절히 수행하는 것으로 한다.

또한, 상기 제3 실시형태를 이용한 축적의 경우, 상관값 버퍼(245)에 축적 된 결과에 대해, 제4 실시형태 또는 제5 실시형태와 같은 방법을 이용하면, 극성반전에 따른 문제를 회피할 수 있다.

< 본 실시형태의 효과>

본 실시형태에서는, 차분 영상으로부터의 검출시에 산출되는 상관값에 대해 가산 축적한 결과를 토대로 검출 가능 여부를 판정한다. 이에 따라, 1회의 검출시행으로는 검출이 곤란했던 경우라도, 복수의 차분 영상으로부터의 검출 결과를 통합함으로써 검출 가능하게 할 수 있고, 검출 성능이 향상한다.

[제8 실시형태]

본 실시형태에서는 이하에 설명하는 부분을 제외하고, 상술한 제1 내지 제7 실시형태와 동일하다. 이하, 설명을 간단히 하기 위해 제1 실시형태와의 차이를 서술하다.

도 49는, 본 발명의 제8 실시형태에 따른 워터마크 패턴 생성부의 구성을 나타낸다. 도 49에 나타낸 전자 워터마크 임베딩 장치(100)의 워터마크 패턴 생성부(120)는, 기본 워터마크 패턴 생성부(121), 워터마크 패턴 전환부(122), 워터마크 정보 분해부(123)로 구성된다.

도 50은, 본 발명의 제8 실시형태에 따른 워터마크 패턴 생성부의 동작흐름도이다.

S901) 워터마크 패턴 생성부(120)에 워터마크 정보, 워터마크 패턴 전환 정보, 프레임 표시시각이 입력되면, 워터마크 정보 분해부(123)에서 워터마크 정보를 보다 짧은 비트 정보인 데이터 블록 정보로 세분한다.

S902) 워터마크 정보 분해부(123)는, 프레임 표시시각을 참조하여 이번 프레임 영상에 임베딩해야 할 데이터 블록이 몇 번째인지를 나타내는 데이터 블록 ID와, 상기 데이터 블록 ID의 데이터 블록 비트 정보인 데이터 블록 정보를 기본 워터마크 패턴 생성부(121)로 보낸다.

S903) 기본 워터마크 패턴 생성부(121)에서는, 데이터 블록 ID와 데이터 블록 정보로부터 기본 워터마크 패턴을 생성한다.

S904) 마지막으로, 워터마크 패턴 전환부(122)에서, 프레임 표시시각과 워터마크 패턴 전환 정보의 관계로부터, 기본 워터마크 패턴의 위상 반전 필요 여부를 판정한다.

S905) 기본 워터마크 패턴의 위상 반전이 필요한 경우는, S906으로 이행하고, 필요하지 않은 경우에는 S907로 이행한다.

S906) 필요한 경우에는 기본 워터마크 패턴의 위상을 변경하여, 워터마크 패턴으로서 출력하고, 처리를 종료한다.

S907) 기본 워터마크 패턴으로서 출력하고, 처리를 종료한다.

다음으로, 워터마크 정보 분할부(123)에 대해 상세히 설명한다.

도 51은, 본 발명의 제8 실시형태에 따른 워터마크 정보 분할부의 처리를 설명하기 위한 도면이다.

도 51의 예에서는, 워터마크 패턴 전환 정보가 '1/10초마다 반전'을 지시하는 것으로 하고, 원 동영상 데이터가 30프레임/초의 프레임 레이트이며, 워터마크 정보가 16비트인 것으로 한다. 워터마크 정보 분할부(123)는, 워터마크 정보를 미 리 정한 비트길이의 데이터 블록으로 분할한다. 도 51의 예에서는 16비트의 워터마크 정보를 4비트의 데이터 블록 4개로 분할하고 있다.

또한, 각 데이터 블록이 몇 번째 것인지를 나타내는 데이터 블록 ID(도 51의 a,b,c,d)를 동시에 취득한다. 그리고, 워터마크 패턴 전환 정보를 참조하면서, 이번 프레임에 임베딩해야 할 데이터 블록을 선택하고, 선택된 데이터 블록 정보와 데이터 블록 ID를 기본 워터마크 패턴 생성부(121)로 보낸다. 도 51의 예에서는, '워터마크 패턴 반전 1주기(6/30초)마다 데이터 블록을 전환'이라는 처리 내용을 나타내고 있으며, 6프레임마다 데이터 블록을 전환하고 있다.

또한, 데이터 블록이 마지막 데이터 블록까지 도달한 경우는, 선두로 돌아가 순환적으로 선택을 수행한다. 또, 마지막 데이터 블록을 선택한 경우는, 워터마크 정보의 종단(終端)임을 나타내는 종단정보도 기본 워터마크 패턴 생성부(121)로 보내도록 해도 좋다.

도 51에서는 워터마크 패턴의 반전 1주기마다 데이터 블록을 순차 전환하는 예를 나타내고 있으나, 반전 3주기마다, 반전 주기와는 별도의 데이터 블록 전환 주기마다, 데이터 블록의 전환을 순차가 아닌 랜덤으로 선택하는 등, 다양한 변형이 있을 수 있다.

다음으로, 기본 워터마크 패턴 생성부(121)에 대해 설명한다.

도 52a,b는 본 발명의 제8 실시형태에 따른 기본 워터마크 패턴 생성부의 처리를 설명하기 위한 도면이다.

기본 워터마크 패턴 생성부(121)는, 제1 내지 제6 실시형태와 달리, 워터마 크 정보 자체가 아니라, 워터마크 정보를 세분한 데이터 블록과 상기 데이터 블록의 순서를 나타내는 데이터 블록 ID를 변조하여 기본 워터마크 패턴을 생성한다.

또, 워터마크 정보 분할부(123)로부터 마지막 데이터 블록을 나타내는 종단정보를 받은 경우는, "1"로 하거나 하여 검출시에 데이터 블록의 종단 판별이 가능하도록 해도 좋으나, 항상 고정된 데이터 블록 수, 예를 들어 4개만을 전제로 하는 경우에는 필요 없다.

또한, 제4 내지 제6 실시형태와 같이, 검출시 차분 영상의 위상을 판별하기 위한 정보의 임베딩을 동시에 수행해도 좋다.

도 53은, 본 발명의 제8 실시형태에 따른 전자 워터마크 검출장치의 구성을 나타낸다. 도 53에 나타낸 전자 워터마크 검출장치(200D)와 제1 실시형태에 따른 장치(200A)의 차이는, 전자 워터마크 검출부(240) 이후의 처리이다.

도 54는, 본 발명의 제8 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

S1001) 동영상 입력부(210)에서, 동영상을 캡처하여 프레임 영상을 순차 취득한다.

S1002) 검출 대상 영역 추출부(220)에서, 현재 캡처한 프레임 영상 중의 검출 대상 영역 영상을 추출한다.

S1003) 차분 영상 생성부(230)에서, 현재 취득한 검출 대상 영역 영상과 이전에 취득한 검출 대상 영역 영상과의 차분 영상을 생성한다.

S1004) 전자 워터마크 검출부(240)는, 제1 실시형태와 마찬가지로 차분 영 상으로부터의 전자 워터마크 검출 시행에 의해, 임베딩되어 있는 정보의 검출을 시도한다.

S1005) 검출에 성공한 경우는 S1006으로 이행하고 검출에 성공하지 못한 경우는 S1001로 이행한다.

S1006) 검출에 성공한 경우, 제1 실시형태와 달리, 검출한 정보는 워터마크 정보 자체가 아니라, 그 일부인 데이터 블록 정보와 대응하는 데이터 블록 ID이므로, 이들 정보를 검출 데이터 블록 축적부(280)로 보낸다. 검출 데이터 블록 축적부(280)는, 이번에 검출한 데이터 블록 ID로 나타내어지는 위치의 검출 워터마크 정보 버퍼의 데이터 값에, 검출 데이터 블록 정보의 값을 설정한다.

S1007) 모든 검출 워터마크 정보 버퍼 중의 데이터 블록 검출이 성공하면, S1008로 이행한다. 전자 워터마크 검출부(240)에서 차분 영상으로부터의 전자 워터마크 검출에 실패하거나, 검출 데이터 블록 축적부(280)에서 아직 버퍼링 되지 않은 데이터 블록이 존재하는 경우는, 동영상 입력부(210)의 캡처로 복귀하고, 검출처리를 계속 수행한다.

S1008) 검출 워터마크 정보 버퍼 값을, 검출한 워터마크 정보로서 검출결과를 출력한다.

도 55는, 본 발명의 제8 실시형태에 따른 검출 데이터 블록 축적부의 구성을 나타낸다. 도 55에 나타낸 검출 데이터 블록 축적부(280)는, 검출 데이터 블록 버퍼링부(281), 검출완료 확인부(282), 검출 워터마크 정보 버퍼(283)을 갖는다.

상기 검출 데이터 블록 축적부(280)의 동작을 설명한다.

도 56은, 본 발명의 제8 실시형태에 따른 검출 데이터 블록 축적부의 동작흐름도이다. 도 57, 도 58은, 검출 데이터 블록 축적부의 처리 내용을 나타낸다.

S1101) 검출 데이터 블록 축적부(280)는, 검출 데이터 블록 ID와 검출 데이터 블록 정보가 입력된다.

S1102) 우선, 검출 워터마크 데이터 블록 버퍼링부(281)에서, 검출 워터마크 정보 버퍼(283)중의, 입력된 검출 데이터 블록 ID로 나타내어지는 데이터 위치의 데이터 값을, 입력된 검출 데이터 블록 정보의 값으로 설정한다.

검출 워터마크 정보 버퍼(283)는, 도 57과 같이 초기상태에서는 모든 데이터 블록 ID의 데이터 블록이 미검출 상태로 되어 있고, 검출 데이터 블록 ID 및 검출 데이터 블록 정보가 입력될 때마다 순차적으로 미검출에서 검출완료 상태로 변화한다. 또한, 이미 검출완료된 데이터 블록 ID가 입력된 경우는, 검출 워터마크 정보 버퍼(283)의 상기 데이터 블록 ID의 데이터 값을, 검출 데이터 블록 정보로 덮어쓰기 해도 좋으며, 덮어쓰지 않고 아무것도 하지 않아도 무관하다.

도 57은, 데이터 블록의 개수가 미리 정해져 있는 경우의 처리 내용을 나타내고 있다. 또, 임베딩시에 데이터 블록의 종단 플래그를 임베딩한 경우, 도 58과 같이, 초기상태에서는 데이터 블록이 전부 몇 개 있는지는 알 수 없다. 그러나, 종단 플래그가 서있는 데이터 블록 ID를 입력하면, 전부 몇 개의 데이터 블록인지가 판명되므로 미검출 데이터 블록을 특정할 수 있다. 이후는 데이터 블록의 개수가 정해져 있는 경우의 처리와 동일하게 처리하면 된다. 종단정보를 이용함으로써, 임의 길이의 워터마크 정보의 임베딩·검출을 취급하는 것이 가능해진다.

S1103) 이어, 검출 완료 확인부(282)에서, 검출 워터마크 정보 버퍼(283) 중의 모든 데이터 블록이 검출 완료되었는지 아닌지를 판정하고, 모두 검출 완료된 경우는 S1104로 이행하고, 미검출한 데이터 블록이 남아있는 경우에는 S1105로 이행한다.

S1104) 모두 검출 완료된 경우는, 검출 워터마크 정보 버퍼(283)의 데이터 값을 검출한 워터마크 정보로서 검출결과를 출력한다.

S1105) 미검출한 데이터 블록이 남아있는 경우에는, 동영상 입력부(210)의 프레임 캡처로 복귀하고 검출시행을 계속 수행한다.

또한, 본 실시형태에서는, 주로 제1 실시형태와의 차이를 설명하였으나, 본 실시형태 방법을 제2 내지 제7 실시형태 방법과 조합하여 실시하는 것이 용이함은 자명하다. 예를 들면, 데이터 블록마다, 제6 실시형태와 같이 차분 영상을 축적하거나, 제7 실시형태와 같이 상관값을 축적하거나 하여 검출함으로써 검출성능이 향상하는 것 등은 자명하다.

<본 실시형태의 효과>

본 실시형태에서는, 워터마크 정보를 데이터 블록으로 분할하여 시간적으로 데이터 블록을 전환하면서 워터마크 임베딩을 수행하고, 검출측에서는 검출한 데이터 블록을 순차 축적하고, 모든 데이터 블록이 검출 완료된 경우에 워터마크 검출 성공으로 하고 있다. 이에 따라, 1장의 차분 영상에 대한 워터마크 알고리즘의 임베딩 정보 길이의 한계를 넘은, 보다 긴 정보길이의 워터마크 정보의 임베딩·검출이 가능해진다. 혹은, 각 프레임의 임베딩할 정보 길이를 줄여 내성 향상을 실현할 수 있다.

또, 종단정보의 임베딩·검출에 의해, 임의 길이의 정보를 취급할 수 있어, 보다 긴 정보를 필요로 하는 어플리케이션을 실현할 수 있는 등, 이용범위가 넓어진다.

[제9 실시형태]

본 실시형태에서는 데이터 블록 ID를 패턴진폭이용형, 그리고 극성비이용형의 변조로 워터마크 정보에 다중화하여 임베딩을 수행하는 예를 설명한다.

본 실시형태는 이하에 설명하는 부분을 제외하고 상술한 제8 실시형태와 동일하다.

본 실시형태에 따른 전자 워터마크 임베딩장치(100) 내의 기본 워터마크 패턴 생성부(121)의 처리 내용을 설명한다.

도 59는, 본 발명의 제9 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면이다.

본 실시형태에서는, 기본 워터마크 패턴의 입력인 데이터 블록 정보와 데이터 블록 ID에 대해, 우선 데이터 블록 정보에 대해 제5 실시형태와 같이 변조방법(A-1)으로 변조하여 기본 워터마크 패턴(甲)을 얻는다.

이어, 데이터 블록 ID에 대해서는, 제5 실시형태의 위상동기신호(항상 같은값) 대신, 다치(多値)의 데이터 블록 ID(필요하면 데이터 블록 종단정보도 포함)를 변조방법(B-1)을 이용하여 기본 워터마크 패턴(乙)을 얻는다.

마지막으로 기본 워터마크 패턴(甲)과 기본 워터마크 패턴(乙)을 중첩하여 합성하여, 기본 워터마크 패턴을 얻는다.

도 60은, 본 발명의 제9 실시형태에 따른 전자 워터마크 검출부의 동작흐름도이다.

S1201) 전자 워터마크 검출부(240)는, 차분 영상을 입력으로 하고, 우선 제8 실시형태의 경우와 마찬가지로 차분 영상으로부터의 데이터 블록 정보 검출을 시도한다.

S1202) 데이터 블록 정보가 검출된 경우는 S1204로 이행하고, 검출되지 못한 경우는 S1203으로 이행한다.

S1203) 동영상 입력부(210)의 다음 프레임 캡처로 복귀한다.

S1204) 데이터 블록 정보가 검출된 경우는, 계속해서 데이터 블록 ID 검출을 시도한다.

S1205) 데이터 블록 ID는 변조방법(B-2)으로 임베딩되어 있으므로, 우선 상관연산의 절대치를 이용하여 데이터 블록 ID를 검출할 수 있고, 그때 상관값의 +,- 극성으로 차분 영상 중의 워터마크 패턴이 임베딩시의 기본 워터마크 패턴과 동상인지 역상인지를 판정할 수 있다. 데이터 블록 ID의 검출시 상관값이 양의 경우는 정위상, 음의 경우는 역상으로 판정한다. 정위상으로 판정한 경우는 S1207로 이행하고, 역상으로 판정한 경우는 S1206으로 이행한다.

S1206) 역상의 경우는, 검출한 데이터 블록 정보의 비트를 반전한 후에 데이터 블록 ID와 함께 출력한다.

S1207) 정위상으로 판정한 경우는, 검출한 데이터 블록 정보를 그대로 데이 터 블록 ID와 함께 출력한다.

또한, 본 실시형태에서는, 제8 실시형태와 마찬가지로, 본 실시형태의 방법을 제1 내지 제7 방법과 조합하여 실시하는 것이 용이함은 자명하다. 예를 들어, 데이터 블록마다 제6 실시형태와 같이 차분 영상을 축적하거나, 제7 실시형태와 같이 상관값을 축적하거나 하여 검출함으로써 검출성능이 향상하는 것 등은 자명하다.

<본 실시형태의 효과>

본 실시형태에서는, 데이터 블록 ID를 패턴진폭이용형, 그리고 극성비이용형의 변조로 워터마크 정보에 다중화하여 임베딩을 수행하고 있다. 이에 따라, 각 프레임에 임베딩되는 데이터 블록 정보의 정보길이를 길게 할 수 있다.

뿐만 아니라, 데이터 블록 ID 검출시의 상관극성을 이용하여 워터마크 패턴의 위상판정을 수행할 수 있으므로, 별도의 비트 판정용 플래그 등을 준비할 필요도 없으며, 또 정보길이의 확대에 기여할 수 있다. 즉, 데이터 블록 ID의 극성비이용형 변조를 이용함으로써, 데이터 블록 ID의 검출과 동시에 워터마크 패턴의 위상판정도 가능해지므로 일석이조이다.

또한, 패턴형상이용형이라도 차분 영상의 반전을 특정할 수 있는 것이라면 데이터 블록 ID 임베딩에 이용해도 무관하다.

[제10 실시형태]

본 실시형태에서는 위상을 맞춘 차분 영상 축적을 수행하는 예를 설명한다.

본 실시형태는 이하에 설명하는 부분을 제외하고 제1 내지 제9 실시형태와 동일하다. 이하, 설명을 간단히 하기 위해 제8 실시형태와의 차이를 서술한다.

본 실시형태에 따른 전자 워터마크 검출장치(200) 내의 전자 워터마크 검출부(240)에 대해 설명한다.

도 61은, 본 발명의 제10 실시형태에 따른 전자 워터마크 검출부의 구성을 나타낸다.

도 61에 나타낸 전자 워터마크 검출부(240)는, 차분 영상 위상 판정부(241), 데이터 블록 ID 검출부(246), 데이터 블록 정보 검출부(247), 및 복수의 데이터 블록 ID=n용 차분 영상 축적 버퍼(248)로 구성된다.

도 62는, 본 발명의 제10 실시형태에 따른 전자 워터마크 검출부의 동작흐름도이다.

S1301) 전자 워터마크 검출부(240)는, 차분 영상이 입력되면, 데이터 블록 ID 검출부(246)에서 데이터 블록 ID의 검출을 시도한다.

S1302) 이어, 차분 영상 위상 판정부(241)에서, 차분 영상 중의 워터마크 패턴 위상을 상술한 제6 실시형태와 같이 검출한다.

S1303) 차분 영상 위상 판정부(241)는, 정위상인 경우는 S1304로 이행하고, 역위상인 경우는 S1305로 이행한다.

S1304) 정위상인 경우는, 이번의 차분 영상을 검출 데이터 블록 ID에 대응하는 차분 영상 버퍼(248)에 가산 축적하고, S1306으로 이행한다.

S1305) 역위상인 경우는, 정위상이 되도록 차분 영상을 변경한 후에, 검출 데이터 블록 ID에 대응하는 차분 영상 버퍼(248)에 축적한다. 도 61에 도시한 바와 같이, 전자 워터마크 검출부(240)는, 차분 영상 버퍼(248)를 데이터 블록 ID의 종류만큼 갖고 있다.

S1306) 이어, 데이터 블록 정보 검출부(247)에서, 이번 검출한 데이터 블록 ID에 대응하는 차분 영상 축적 버퍼(248)로부터의 데이터 블록 정보 검출을 시도한다.

S1307) 검출에 성공한 경우는, S1308로 이행하고, 검출에 성공하지 못한 경우는 S1309로 이행한다.

S1308) 검출에 성공한 경우는, 이번 데이터 블록 ID와 검출한 데이터 블록 정보를 출력한다.

S1309) 검출에 성공하지 못한 경우는, 동영상 입력부(210)의 캡처 처리로 복귀한다.

<본 실시형태의 효과>

본 실시형태에 따르면, 데이터 블록을 이용한 워터마크 정보길이 확대시에, 차분 영상 축적에 따른 내성향상도 동시에 실현할 수 있어, 검출성능이 향상한다.

[제11 실시형태]

본 실시형태에서는 상관값을 축적하는 예를 설명한다.

본 실시형태는 이하에 설명하는 부분을 제외하고 제1 내지 제10 실시형태와 동일하다. 이하, 설명을 간단히 하기 위해 제8 실시형태와의 차이를 서술한다.

도 63은, 본 발명의 제11 실시형태에 따른 전자 워터마크 검출부의 구성을 나타낸다.

도 63에 나타낸 전자 워터마크 검출부(240)는, 데이터 블록 ID 검출부(246), 검출 가능 여부 판정부(244), 상관연산부(249), 데이터 블록 ID=n용 상관값 버퍼(251)를 갖는다. 도 63에 나타낸 바와 같이, 전자 워터마크 검출부(240)는, 데이터 블록 ID=n용 상관값 버퍼(251)를 데이터 블록 ID의 종류만큼 갖고 있다.

상기 구성의 전자 워터마크 검출부(240)의 동작을 설명한다.

도 64는, 본 발명의 제11 실시형태에 따른 전자 워터마크 검출부의 동작흐름도이다.

S1401) 전자 워터마크 검출부(240)는, 차분 영상이 입력되면, 우선 데이터 블록 ID 검출부(246)에서 데이터 블록 ID의 검출을 시도한다.

S1402) 이어 상관연산부(249)에서, 데이터 블록 정보 검출시행을 수행함으로써 산출되는 상관값을 구한다.

S1403) 구해진 상관값을 검출 데이터 블록 ID에 대응하는 상관값 버퍼(251)에 가산 축적한다. 또한, 이때 입력된 차분 영상만으로부터 데이터 블록 정보 검출에 성공한 경우는, 데이터 블록 ID와 함께 출력하고 처리를 종료해도 좋다.

S1404) 이어, 검출 가능 여부 판정부(244)에서, 이번 검출한 데이터 블록 ID에 대응하는 상관값 버퍼(251)에 대해, 제7 실시형태와 마찬가지로 문턱값 판정에 의해 데이터 블록 정보의 검출 가능 여부를 판정한다.

S1405) 검출 가능으로 판정한 경우는 S1406으로 이행하고, 검출이 성공하지 못한 경우는 S1407로 이행한다.

S1406) 검출 가능으로 판정된 경우에는 이번 상관값 버퍼(251)의 값으로부 터 데이터 블록 정보를 구성하고, 이번 데이터 블록 ID와 함께 출력한다.

S1407) 검출이 성공하지 못한 경우는, 동영상 입력부(210)의 캡처 처리로 복귀한다.

<본 실시형태의 효과>

본 실시형태에 따르면, 데이터 블록을 이용한 워터마크 정보길이 확대시에, 상관값 버퍼(251)에 의한 내성향상도 동시에 실현할 수 있어, 검출성능이 향상한다.

[제12 실시형태]

본 실시형태에서는 전자 워터마크 검출처리 상황을 실시간으로 피드백 출력하는 예를 설명한다.

본 실시형태는 이하에 설명하는 부분을 제외하고, 제1 내지 제11 실시형태와 동일하다. 이하 설명을 간단히 하기 위해 제1 실시형태와의 차이를 서술한다.

도 65는, 본 발명의 제12 실시형태에 따른 전자 워터마크 검출장치의 구성을 나타낸다. 도 65에 나타낸 전자 워터마크 검출장치(200E)와 제1 실시형태와의 차이는, 현재의 캡처 프레임 영상, 현재의 검출 대상 영역 추출상황 정보, 현재의 전자 워터마크 검출의 검출상황 정보를 수시 입력하고, 제1 실시형태에 상당하는 전자 워터마크 검출 처리와 병렬로 피드백 정보를 생성하고 출력하는 피드백 출력부(265)를 갖는 점이다.

도 66은, 본 발명의 제12 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

도 66에서, S1501~S1506은, 도 20의 S201~S206의 처리와 동일하므로 설명은 생략하나, 이하의 S1507 처리를 이들 처리와 병렬로 수행한다.

S1507) 피드백 출력부(265)에서, 현재 프레임 영상, 현재의 검출 대상 영역 추출상황 정보, 현재의 전자 워터마크 검출의 검출상황 정보를 수시 입력하고, 제1 실시형태에 상당하는 전자 워터마크 검출처리와 병렬로 피드백 정보를 생성하고 출력한다.

도 67, 68, 69는, 본 발명의 제12 실시형태에 따른 전자 워터마크 검출장치의 피드백 출력 예이다.

전자 워터마크 검출장치(200E)의 동영상 입력부(210)에서 얻어진 캡처 프레임 영상을 실시간으로 드로잉(drawing)하는 프리뷰 화면을 갖고, 검출 대상 영역 추출부(220)에서 얻어진 검출 대상 영역을 프리뷰 화면상에 합성하고(도 67의 a), 전자 워터마크 검출부(240)에서 얻어진 검출강도, 예를 들면 복조시의 상관값 크기를 그래픽적으로 표시하거나(도 67의 b), 검출강도에 따라 음색이나 음량을 바꾸어 음성출력하거나 한다.

또, 데이터 블록을 이용하고 있는 경우에는, 도 68과 같이 현재까지 버퍼링된 데이터 블록의 검출상황을 합성하거나 한다.

혹은, 도 69와 같이, 촬영각도에 의해 발생하는 평면 사영 왜곡의 정도가 심하거나, 떨어진 위치에서 촬영하기 때문에 캡처 프레임 영상 중의 검출 대상 영역의 화소 면적이 너무 작거나 하여, 전자 워터마크 검출이 곤란한 경우에는, 촬영각도의 조정이나 줌 업(zoom up)이 필요하다는 메시지를 표시하고, 사용자에게 조 정을 촉구하도록 하거나 한다.

<본 실시형태의 효과>

본 실시형태에서는 전자 워터마크 검출처리 상황을, 실시간으로 피드백 출력함으로써, 상호작용성(interactivity)이 증대하여 편리성이 향상된다. 특히, 검출하기 쉬운 상황이 되도록 사용자를 촉구함으로써, 검출성능의 향상을 기대할 수 있다.

[제13 실시형태]

본 실시형태는, 이하에 설명하는 부분을 제외하고 제1 내지 제12 실시형태와 동일하다. 이하, 설명을 간단히 하기 위해 제1 실시형태와의 차이를 서술한다.

본 실시형태에 따른 전자 워터마크 임베딩장치(100) 내의 워터마크 패턴 중첩부(130)의 처리에 대해 설명한다.

도 70은, 본 발명의 제13 실시형태에 따른 워터마크 패턴 중첩부의 처리를 설명하기 위한 도면이다.

워터마크 패턴 중첩부(130)는, 프레임 영상과 상기 프레임 표시시각에 기초하여 생성된 워터마크 패턴을 입력한다. 워터마크 패턴 중첩부(130)에서는, 우선 워터마크 패턴을 프레임 영상 이하의 주어진 사이즈까지 사이즈 변경하고, 그 후 프레임 영상의 중앙영역에 가산하여, 워터마크 임베딩 프레임 영상을 얻는다.

다음으로, 본 실시형태에 따른 전자 워터마크 검출장치(200F)에 대해 설명한다.

도 71은, 본 발명의 제13 실시형태에 따른 전자 워터마크 검출장치의 구성 을 나타낸다.

도 71에 나타낸 전자 워터마크 검출장치(200F)는, TV 등에 디스플레이 표시된 아날로그 동영상을 카메라로 실시간 비디오 캡처한 것이나, 혹은 MPEG 인코드된 디지털 동영상이 입력되는 동영상 입력부(210), 차분 영상 생성부(230), 검출 대상 영역 추출부(220), 전자 워터마크 검출부(240), 및 프레임 영상 버퍼(301)로 구성된다.

상기 구성에 따른 동작을 설명한다.

도 72는, 본 발명의 제13 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

S1501) 동영상 입력부(210)에서, 아날로그 또는 디지털 동영상을 입력하고, 순차 프레임 영상을 취득한다. 아날로그 동영상의 입력시는 카메라나 스캐너, 혹은 아날로그 비디오신호 등을 입력하여 프레임 영상을 취득하고, 디지털 동영상이면 디코드 처리 등을 수행하여 프레임 영상을 취득한다.

S1502) 이어, 차분 영상 생성부(230)에서, 현재 취득한 프레임 영상과, 프레임 영상 버퍼(301)에 축적되어 있는 이전에 취득한 프레임 영상과의 차분을 취득하고, 차분 프레임 영상을 생성한다.

S1503) 또, 다음 검출 시행에 대비하여, 프레임 영상 버퍼(301)에 이번 프레임 영상을 버퍼링해 둔다.

S1504) 이어, 검출 대상 영역 추출부(220)에서, 차분 프레임 영상 중의, 워터마크 검출 대상이 되는 검출 대상 영역을 추출하여 검출 대상 영역 영상을 취득 한다.

S1505) 이어, 전자 워터마크 검출부(240)에서, 검출 대상 영역 영상으로부터 전자 워터마크 검출을 시도하고, 검출결과를 출력한다.

S1506) 전자 워터마크 검출에 성공하지 못한 경우는, 동영상 입력부(210)에서 다음 프레임 영상을 취득하여 상기 처리를 순차 반복한다.

다음으로, 상기 차분 영상 생성부(230)의 처리를 상세히 설명한다.

도 73은, 본 발명의 제13 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면이다.

차분 영상 생성부(230)는, 현재 취득한 프레임 영상과, 프레임 영상 버퍼(301)에 축적되어 있는 이전에 취득한 프레임 영상과의 차분을 취득하고, 차분 프레임 영상을 생성한다. 여기서, 상기 2장의 프레임 영상을 촬영할 때의 카메라의 움직임은 거의 없는 것으로 한다. 도 73과 같이, 차분 프레임 영상에서는 워터마크 패턴 전환에 의해 발생한 차분의 변화가 큰 부분과, 변화가 없는 배경부분을 구별할 수 있게 된다.

도 74는, 본 발명의 제13 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면이다.

검출 대상 영역 추출부(220)는, 차분 프레임 영상을 입력으로 하고, 차분 프레임 영상 중의, 워터마크 검출 대상이 되는 검출 대상 영역을 추출하여, 검출 대상 영역 영상을 취득한다. 도 74에서는, 차분 프레임 영상을 절대치화하고, 문헌 3의 에지 검출방법을 이용하여 검출 대상 영역의 왜곡 파라미터를 검출하고, 절대치화하기 전의 원 차분 프레임 영상의 왜곡 보정, 사이즈 정규화를 수행하여 검출 대상 영역 영상으로 하고 있다. 이렇게 하여 얻어진 검출 대상 영역 영상은 임베딩시의 기본 워터마크 패턴과 노이즈에 의한 영향 등을 제외하고 동일하므로, 전자 워터마크 검출이 가능해짐은, 제1 내지 제12 실시형태의 내용으로부터 명백하다.

또한, 본 실시형태는 제1 내지 제12 각각의 방법을 임의로 조합해도 실시할 수 있음도 자명하다.

<본 실시형태의 효과>

본 실시형태에 따른 효과를 도 75 ~ 도 77을 이용하여 설명한다.

우선, 제1 내지 제12 실시형태에 따른 전자 워터마크 임베딩에서는, 입력된 동영상의 프레임 사이즈와 동일한 사이즈의 워터마크 패턴이 중첩되었다. 또, 전자 워터마크 검출시는, 카메라로 캡처한 프레임 중의 TV 수신기의 표시영역의 에지를 검출하거나 하여 검출 대상 영역을 추출했다. 그러나, 도 75에 나타낸 바와 같이, TV 수신기의 형상 등 동영상의 재생환경은 일정하지 않다는 것을 생각할 수 있으므로, 도 75(A)와 같이, 올바르게 표시화면 영역을 검출 대상 영역으로서 추출한 경우는 전자 워터마크 검출에 성공하지만, 도 75(B)의 예와 같이 TV 수신기의 외측을 에지로 검출하거나, 도 75(C)의 예와 같이 TV 수신기의 표시화면 외측에 부착된 틀 모양의 의장(意匠)을 검출해버리거나 하여, 검출 대상 영역을 올바르게 검출할 수 없는 경우가 있을 수 있다.

이 경우, 워터마크 패턴은 차분 영상 상의 차분 영상의 내측에 축소된 형태 가 되어 버려, 정확하게 블록 분할을 할 수 없으므로 제1 내지 제12의 방법으로는 전자 워터마크 검출에 실패하고 만다.

또, 도 76의 예에서, 원래의 동영상이 어스펙트비(aspect ratio) 16:9의 와이드영상이라 하고, 이것을 어스펙트비 4:3의 모니터에 표시하는 것을 상정한다. 이 경우, 일반적으로 자주 이용되는 표시 방법으로서, 와이드 화면의 좌우 단부를 잘라서 표시하거나, 또는 16:9의 와이드화면이 4:3의 화면에 들어가도록 축소하여 화면상에 집어넣는 방법이 있다. 이와 같이하여 표시된 경우에, 검출 대상 영역 추출에 의해 표시화면의 에지가 올바로 검출되었다 하더라도, 원래 표시되고 있는 영상 자체가 일부 잘려 있거나, 불필요한 여백이 붙어 있거나 하기 때문에, 도 75의 예와 마찬가지로 전자 워터마크 검출에 실패하고 만다. 또, 화면의 단부가 잘리는 문제에 대해서는, 와이드 영상뿐만 아니라, 예를 들면 브라운관 표시할 때 영상신호의 단부의 부분은 원래 표시되지 않는 이른바 오버스캔에 의해 영상신호의 일부가 잘려, 전자 워터마크 검출이 곤란해지는 경우를 생각할 수 있다.

본 실시형태는 이 문제를 해결하기 위한 것으로, 워터마크 패턴을 프레임 영상의 사이즈보다도 작게 하고, 프레임 영상의 중앙영역에 중첩한다. 이에 따라, 예를 들면 와이드화면을 4:3으로 표시할 때의 프레임 영상의 잘림을 예측하고, 확실히 표시되는 영역에만 워터마크 패턴을 중첩할 수 있다. 그러나, 이것만으로는 검출시에 검출 대상 영역과 워터마크 패턴의 영역이 일치하지 않는다. 따라서, 본 실시형태에서는, 도 73과 같이, 캡처한 프레임 영상간의 차분 프레임 영상을 생성하고, 도 74와 같이 차분 프레임 영상으로부터 검출 대상 영역을 추출하도록 한다. 카메라 촬영시에 카메라의 움직임이 거의 없다고 하면, 차분 프레임 영상에서는 워터마크 패턴 전환에 의해 검출 대상 영역만이 차분(의 절대치)이 큰 상태가 된다. 이에 따라 에지를 이용한 직사각형 인식기술 등에 의해 검출 대상 영역을 추출하고, 도 77 및 도 78과 같이 전자 워터마크 검출이 가능해진다.

[제 14 실시형태]

본 실시형태는 이하에 설명하는 부분을 제외하고 제 13 실시형태와 동일하다.

도 79는, 본 발명의 제 14 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면이다.

본 실시형태에 따른 워터마크 패턴 생성부(120)의 기본 워터마크 패턴 생성부(121)는, 제1 내지 제12 실시형태와 동일하게 생성되는 기본 워터마크 패턴에, 플러스/마이너스의 화소값을 이용하여 틀을 부가하고, 이것을 기본 워터마크 패턴으로 한다.

도 80은, 본 발명의 제14 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면이다.

검출 대상 영역 추출부(220)는, 차분 프레임 영상을 입력으로 하고, 차분 프레임 영상 중의 워터마크 검출 대상이 되는 검출 대상 영역을 추출하여, 검출 대상 영역 영상을 취득한다. 도 80에서는, 차분 프레임 영상에 대해, 문헌 3의 에지 검출 방법을 이용하여 검출 대상 영역의 왜곡 파라미터를 검출하고, 왜곡 보정, 사이즈 정규화를 수행하여 검출 대상 영역 영상으로 하고 있다. 이렇게 하여 얻어진 검출 대상 영역 영상은 임베딩시의 기본 워터마크 패턴과 노이즈에 의한 영향 등을 제외하고 동일하므로, 전자 워터마크 검출이 가능해짐은, 제1 내지 제12 실시형태의 내용으로부터 명백하다.

또한, 본 실시형태는 제1 내지 제13 실시형태의 각각의 방법을 임의로 조합해도 실시할 수 있음도 자명하다.

<본 실시형태의 효과>

본 실시형태의 효과를 도 81a,b를 이용하여 설명한다. 우선, 제13 실시형태에 따른 검출 대상 영역 추출 처리는, 차분 프레임 영상의 절대치를 이용하여 에지 검출 등을 수행함으로써 영역 추출을 하였다. 이때, 에지 부분의 에지 콘트라스트(edge contrast)는, 차분 프레임 영상의 절대치화이므로, 노이즈의 영향 등을 무시하면 임베딩시의 워터마크 패턴 진폭의 2배의 차이가 있다.

본 실시형태에서는 기본 워터마크 패턴으로서 제1 내지 제12 실시형태에 따른 기본 워터마크 패턴에 플러스/마이너스의 화소값을 갖는 틀을 부가한다. 또, 검출 대상 영역 추출시에는 차분 프레임 영상 그대로 에지 인식 등을 수행함으로써 영역 추출을 수행한다. 따라서, 에지 부분의 에지 콘트라스트는, 임베딩시의 워터마크 패턴 진폭의 4배가 되어, 제13 실시형태와 비교하여 에지의 검출이 쉬워진다. 따라서, 검출 대상 영역의 추출이 보다 확실히 높은 신뢰도로 수행할 수 있게 되어, 전자 워터마크의 검출 성능 향상을 실현할 수 있다.

[제15 실시형태]

본 실시형태는 이하에 설명하는 부분을 제외하고 제14 실시형태와 동일하 다.

본 실시형태의 전자 워터마크 임베딩장치의 워터마크 패턴 생성부(120) 내의 기본 워터마크 패턴 생성부(121)의 처리에 대해 설명한다.

도 82는, 본 발명의 제15 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면이다.

본 실시형태에 따른 기본 워터마크 패턴 생성부(121)는, 제1 내지 제12의 실시형태와 동일하게 생성되는 기본 워터마크 패턴에, 플러스/마이너스의 화소값을 이용하여 위치조정(position adjustment)을 위한 마커를 부가하고, 이것을 기본 워터마크 패턴으로 한다. 제14 실시형태에 따른 틀도 위치조정 마커의 일 예라고 생각할 수 있다. 도 82에서는, 위치조정 마커로서 QR코드(등록상표) 등의 2차원 코드에서 이용되고 있는 코너(corner)를 찾아내기 위한 위치조정 마커를 부가한다. 또한, 도 82의 기본 워터마크 패턴은, 실은 QR코드(등록상표) 자체의 화소값을 플러스/마이너스화 한 것이나, 이와 같이 2차원 코드 자체를 기본 워터마크 패턴으로서 이용해도 문제없다.

다음으로, 본 실시형태에 따른 검출 대상 영역 추출부(220)에 대해 설명한다.

도 83은, 본 발명의 제15 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면이다.

검출 대상 영역 추출부(220)는, 차분 프레임 영상을 입력으로 하고, 차분 프레임 영상 중의 워터마크 검출 대상이 되는 검출 대상 영역을 추출하여 검출 대 상 영역 영상을 취득한다. 도 83에서는 차분 프레임 영상에 대해 통상의 QR코드(등록상표) 독출시의 위치조정 마커 검출과 동일한 방법으로 검출 대상 영역을 추출한다.

또한, 본 실시형태와 같이 2차원 코드를 기본 워터마크 패턴으로 하는 경우에 대해, 전자 워터마크 검출부(240)는, 2차원 코드의 독출 처리를 수행하는 것이라고 생각하면 문제없이 워터마크 정보를 검출할 수 있음은 명백하다. 또, 본 실시형태는 제1 내지 제12 실시형태의 각각의 방법을 임의로 조합해도 실시할 수 있음도 자명하다.

<본 실시형태의 효과>

본 실시형태에서는 제14 실시형태에서 틀이었던 위치조정 마커를, 코너를 특정하는 마커로한 경우의 예에 대해서 나타내었다. 본 실시형태의 경우도, 제14 실시형태와 마찬가지로, 차분 프레임 영상 중의 명암의 콘트라스트 차이가 임베딩시의 워터마크 패턴 진폭의 4배가 되어 검출성능이 향상한다.

또, 본 실시형태에 의해, 워터마크 패턴 생성의 방법으로서 기존의 2차원 코드 패턴을 용이하게 전용(轉用)할 수 있음을 알 수 있다. 이에 따라, 전자 워터마크 임베딩·검출장치의 일부로서 기존의 부품을 사용함으로써 비용절감 효과도 얻을 수 있다.

[제16 실시형태]

본 실시형태에서는 특징영역의 왜곡보정, 사이즈 정규화를 수행한 특징영역 영상간의 차분 영상으로부터 검출 대상 영역을 추출하는 예를 설명한다.

본 실시형태는, 이하에 설명하는 부분을 제외하고 제13 내지 제15 실시형태와 동일하다.

본 실시형태의 전자 워터마크 검출장치에 대해 설명한다.

도 84는, 본 발명의 제16 실시형태에 따른 전자 워터마크 검출장치의 구성을 나타낸다. 도 84에 나타낸 전자 워터마크 검출장치(200G)는, 동영상 입력부(210), 특징영역 추출부(290), 차분 영상 생성부(230), 검출 대상 영역 추출부(220), 전자 워터마크 검출부(240), 및 특징영역 영상 버퍼(302)로 구성된다.

다음으로, 상기 구성에 따른 전자 워터마크 검출장치의 동작을 설명한다.

도 85는, 본 발명의 제16 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

S1601) 동영상 입력부(210)에서, TV 등의 디스플레이 표시된 아날로그 동영상을 카메라로 실시간 비디오 캡처한 것이나, 혹은 MPEG 인코딩된 디지털 동영상이 입력되면 순차 프레임 영상을 취득한다. 아날로그 동영상의 입력시는 카메라나 스캐너, 혹은 아날로그 비디오신호 등을 입력하여 프레임 영상을 취득하고, 디지털 동영상이면 디코드 처리 등을 수행하여 프레임 영상을 취득한다.

S1602) 이어, 특징영역 추출부(290)에서, 프레임 영상 중의 특징영역을 추출한다. 특징영역 추출에는, 문헌 3의 에지 인식에 따른 직사각형영역 검출 등의 기술을 이용한다. 추출된 특징영역은 카메라 촬영각도 등에 의해 발생하는 왜곡을 보정하고, 사이즈를 정규화한 후에 특징영역 추출 영상으로서 출력된다.

S1603) 이어, 차분 영상 생성부(230)에서, 현재 취득한 특징영역 영상과, 특징영역 영상 버퍼(302)에 축적되어 있는 이전에 취득한 특징영역 영상과의 차분을 취득하여, 특징영역 차분 영상을 생성한다.

S1604) 또, 다음 검출 시행에 대비하여, 특징영역 영상 버퍼(302)에 이번 특징영역 영상을 버퍼링해 둔다.

S1605) 이어, 검출 대상 영역 추출부(220)에서, 특징영역 차분 영상 중의, 워터마크 검출 대상이 되는 검출 대상 영역을 추출하여 검출 대상 영역 영상을 취득한다.

S1606) 이어, 전자 워터마크 검출부(240)에서, 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 시도하고, 검출결과를 출력한다.

S1607) 전자 워터마크 검출에 성공하지 못한 경우는, 동영상 입력부(210)에서 다음 프레임 영상을 취득하고 상기 처리를 순차 반복한다.

다음으로, 상기 특징영역 추출부(290)의 처리 내용을 설명한다.

도 86~ 도 90은, 본 발명의 제16 실시형태에 따른 특징영역 추출부의 처리를 설명하기 위한 도면이다.

특징영역 추출부(290)는, 프레임 영상을 입력으로 하고, 프레임 영상 중의 특징영역을 추출한다. 특징영역 추출에는, 문헌 3의 에지 인식에 따른 직사각형영역 검출 등의 기술을 이용한다. 추출된 특징영역은 카메라 촬영각도 등에 의해 발생하는 왜곡을 보정하고, 사이즈를 정규화한 후에 특징영역 추출 영상으로서 출력된다. 문헌 3과 같은 직사각형영역 추출기술을 이용함으로써, 도 86과 도 90과 같이 TV의 표시영역을 특징영역으로서 검출하거나, 도 87과 도 89와 같이, TV의 케이 스 외측을 특징영역으로 하거나, 혹은 도 88과 같이 TV의 표시화면 외측에 있는 틀 모양의 의장을 특징영역으로서 검출하거나, 혹은 도시하지 않았으나 TV의 배경에 있는 직사각형영역 등을 특징영역으로 하는 경우 등, 입력된 프레임 영상의 내용에 따라 특징영역이 어떤 영역이 되는지는 다양한 경우가 있을 수 있는데, 중요한 점은, 촬영각도의 차이에 관계없이 동일한 대상을 촬영하고 있는 경우에는, 각 프레임 영상으로부터 검출되는 특징영역이 실질적으로 같도록 되어 있다면, 왜곡을 보정하고, 사이즈를 정규화하여 얻어지는 특징영역 영상은, 도 86 ~ 도 90과 같이 캡처 시각에 따라 시시각각으로 변화하는 촬영각도 등에 대해 동일한 상태로 얻을 수 있다는 것이다.

상기한 '촬영각도의 차이에 관계없이 동일한 대상을 촬영하고 있는 경우에는, 각 프레임 영상으로부터 검출되는 특징영역이 실질적으로 같다'라는 조건을 만족하기만 하면, 특징영역이 도 86이나 도 90의 예와 같이, 어떠한 상태에서 검출되어도 무관하다. 이와 같은 조건을 만족하는 프레임 영상 중으로부터의 안정적인 특징영역 추출방법이라면, 문헌 3과 같은 에지 라인을 이용한 직사각형영역 검출에 한정하지 않고 어떠한 방법을 이용해도 좋다.

다음으로, 차분 영상 생성부(230)의 처리 내용에 대해 설명한다.

도 91 ~ 도 93은, 본 발명의 제16 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면이다.

차분 영상 생성부(230)는, 현재 취득한 특징영역 영상과, 특징영역 영상 버퍼(302)에 축적되어 있는 이전에 취득한 특징영역 영상과의 차분을 취득하여, 특징 영역 차분 영상을 생성한다. 또, 다음 검출시행에 대비해, 특징영역 영상 버퍼(302)에 이번 특징영역 영상을 버퍼링해 둔다. 도 91 ~ 도 93에 나타낸 바와 같이, 특징영역 추출 처리로 인해, 캡처 프레임간의 카메라 이동 등에 따른 왜곡의 차이는 흡수되므로, 특징영역 영상의 시간차분으로 얻어지는 특징영역 차분 영상은, 워터마크 패턴 전환에 의해 발생하는 부분의 변화량은 크고, 그 밖의 부분은 거의 차분이 없는 형태가 된다. 이에 따라, 제13 내지 제15의 검출 대상 영역 추출 처리와 마찬가지로, 특징영역 차분 영상으로부터 검출 대상 영역을 추출하고, 왜곡의 보정 등을 수행한 후에 전자 워터마크 검출을 시도하면 전자 워터마크 정보의 검출이 가능해진다.

<본 실시형태의 효과>

본 실시형태에서는 제13 내지 제15 실시형태의 효과와 더불어, 전제로 한 '촬영시 카메라에 거의 움직임이 없는 경우'라는 제약 없이도 전자 워터마크 검출이 가능해진다. 이것은 우선, 캡처 프레임 영상마다 특징영역을 추출한 후에 왜곡을 보정함으로써 프레임간의 왜곡 차이를 흡수해버리고, 그 후의 차분 영상 생성에서 확실히 워터마크 패턴 부분의 차분을 변위(displacement)없이 수행하기 때문이다. 이에 따라, 카메라 내장 휴대전화기를 한 손으로 들고 TV를 향해 캡처할 때 발생하는 손떨림 등의 영향을 받지않고 전자 워터마크 검출성능이 향상되게 된다.

[제17 실시형태]

본 실시형태에서는 전자 워터마크 검출상황이 양호했을 때의 위치 근방만을 탐색함으로써 특징영역·검출 대상 영역의 추출을 수행하는 예를 설명한다.

본 실시형태는 이하에 설명하는 부분을 제외하고 제13 내지 제16 실시형태와 동일하다. 이하, 제16 실시형태와의 차이를 중심으로 설명한다.

먼저, 전자 워터마크 검출장치(200G)의 특징영역 추출부(290)의 처리 내용을 설명한다.

도 94는, 본 발명의 제17 실시형태에 따른 특징영역 추출부의 처리를 설명하기 위한 도면이다.

본 실시형태에 따른 특징영역 추출부(290)는, 이전 전자 워터마크 검출시행에서 검출상황이 양호했을 때의 특징영역 위치나 형상을 기억해 두고(어떠한 방법으로든 기억해 둠), 이번에 입력된 프레임 영상으로부터의 특징영역 탐색 시에는, 이전 특징영역 근방만으로부터 탐색을 수행한다. 차분 연산을 수행하는 2장의 캡처 시간간격에서는, 카메라 이동은 그다지 크기 않기 때문에, 이전의 검출상황이 양호했을 때는 이번 프레임 영상에서도 그 근방에 정확한 특징영역이 존재한다. 이 원리를 이용하여, 특징영역 탐색범위를 좁힘으로써 보다 안정적인 특징영역 추출을 실현한다.

또한, '검출상황이 양호'하다는 것은, 예를 들면 문헌 1의 검출 신뢰도 지표값이 어느 정도 의미있는 값이지만 아직 전자 워터마크 검출에 성공하지 못한 상태라든지, 혹은 제8 실시형태 등의 데이터 블록마다 검출하는 경우에, 어느 데이터 블록의 검출에 성공한 상태, 즉 전자 워터마크 검출부(240)의 검출상황으로부터 전자 워터마크의 존재가 의미있게 명백한 경우를 가리키는 것으로 한다. 또, 탐색시의 근방 크기를, 차분을 구하는 2장의 캡처 시각간격에 따라 변동시키도록 해도 좋 다. 예를 들면 캡처 시간간격이 짧은 경우, 카메라의 이동량은 적다고 예상할 수 있으므로, 근방을 작게 잡는다. 반대로, 캡처 시간간격이 긴 경우, 카메라의 이동량이 큰 경우도 있을 수 있음을 예상할 수 있으므로, 근방을 크게 잡도록 해도 좋다.

본 실시형태에 따른 검출 대상 영역 추출부(220)의 처리 내용을 설명한다.

도 95는, 본 발명의 제17 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면이다.

검출 대상 영역을 추출할 때에도 특징영역 추출부(290)와 마찬가지로, 이전 전자 워터마크 검출시행에서 검출상황이 양호했을 때의 검출 대상 영역의 위치나 형상을 기억해 두고(어떠한 방법으로든 기억해 둠), 이번에 입력된 특징영역 차분 영상으로부터의 검출 대상 영역의 탐색시에는, 이전 특징영역의 근방에서부터 탐색을 수행한다. 이에 따라 검출 대상 영역의 탐색도 안정적이게 된다.

또한, 제16 실시형태에 본 실시형태를 적용한 경우, 카메라 이동 등에 따른 왜곡 요인은 특징영역 추출 처리로 인해 흡수되므로, 도 95와 같이 이전과 이번의 검출 대상 영역은 거의 동일해져, 근방 사이즈를 작게 잡아도 무관하다. 검출 대상 영역 추출에 실패하는 요인으로서 생각할 수 있는 것은, 동영상 자체가 움직임이 있는 장면의 경우에, 차분에 워터마크 패턴뿐만이 아니라 동영상의 움직임 성분도 노이즈로서 나타나버리는 경우가 있는데, 근방 사이즈를 작게 해 두면, 검출 대상 영역 탐색이 상당히 안정적이게 된다.

또, 제13 내지 제15 실시형태에 본 실시형태를 적용한 경우는, 원래 카메라 의 움직임이 큰 경우는 전자 워터마크 검출이 곤란하므로, 이 경우도 마찬가지로 근방 영역을 잡게 잡아도 좋으며, 이로써 검출 대상 영역의 탐색이 상당히 안정적이게 된다.

또, 본 실시형태를 제1 내지 제12 실시형태에 따른 전자 워터마크 검출장치의 검출 대상 영역 추출부(220)에 적용하는 것도 용이하다. 이 경우, 이전 전자 워터마크 검출시행에서 검출상황이 양호했을 때, 이전 검출 대상 영역 근방에서부터, 이번 프레임 영상 중의 검출 대상 영역을 탐색하도록 하면 된다.

또한, 본 실시형태에서는 '이전 전자 워터마크 검출시행에서 검출상황이 양호'했던 경우를 이용하는 예를 나타냈으나, 이전으로 한정하지 않고 '시간적으로 가까운 양호한 전자 워터마크 검출 시행시'의 특징영역 또는 검출 대상 영역을 이용하도록 해도 좋다.

또, 일정시간 전자 워터마크 검출정보가 양호하지 않은 상태가 이어지는 경우는, 근방 탐색을 수행하지 않고, 제13 내지 제16 실시형태와 동일하게 처리를 수행하도록 해도 좋다.

<본 실시형태의 효과>

본 실시형태에서는 제13 내지 제15 실시형태의 효과와 더불어, 특징영역 또는 검출 대상 영역의 안정성, 신뢰성이 향상되므로, 전자 워터마크 검출성능의 향상을 실현할 수 있다. 특히, 특징영역 또는 검출 대상 영역의 검출방법이 그다지 로버스트(robust)하지 않을 경우에 큰 효과가 있으며, 전자 워터마크 검출성능의 대폭적인 향상을 가져온다.

[제18 실시형태]

본 실시형태는 이하에 설명하는 부분을 제외하고 제14 내지 제17 실시형태와 동일하다. 이하, 제14 실시형태와의 차이를 중심으로 설명한다.

본 실시형태의 전자 워터마크 검출장치의 검출 대상 영역 추출부(220)의 처리에 대해 설명한다.

도 96 ~ 도 99는, 본 발명의 제18 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면이다.

차분 프레임 영상으로부터의 검출 대상 영역 추출 처리는, 제14 실시형태의 워터마크 패턴이 임베딩된 동영상 프레임간 차분 영상으로부터 수행된다. 이때, 제14 실시형태에서는, 미리 검출 대상 영역 추출을 높은 정밀도로 수행하기 위해서, 기본 워터마크 패턴에 대해 외측:명(明), 내측:암(暗)의 틀 패턴이 부가되어 있다(또한, 명·암은 화소값의 대소를 나타내기 위해 이용하며, 휘도값만으로 한정되어 져야하는 것이 아닌 것은, 제1 실시형태에서 서술한 바와 같다). 검출 대상 영역 추출부(220)에서는 차분 프레임 영상 중으로부터 검출 대상 영역 탐색 시, 틀 부분의 화소값 변화를 조사한다. 도 96의 예에서는 검출 대상 영역의 외측:명(明), 내측:암(暗)으로 되어 있으므로, 검출 대상 영역 영상 중의 워터마크 패턴은, 임베딩시의 기본 패턴과 동상(정위상)이라고 판단하고, 제4 실시형태 등에서 이용한 것처럼, 전자 워터마크 검출 처리에 이 위상정보를 이용할 수 있다. 도 97은, 위상이 역전된 예를 나타낸다. 검출 대상 영역의 에지 부분을 조사함으로써, 정위상/역상을 판정할 수 있음을 알 수 있다.

또, 본 실시형태를 제15 실시형태에 적용한 경우의 예를 도 98, 도 99에 나타낸다. 이 예에서는 QR코드(등록상표)의 위치조정 마커의 기본 패턴과, 검출 대상 영역으로부터 찾아낸 위치정렬 패턴이 양(+)의 상관관계를 가질 때는 정위상으로 판단하고(도 98), 음(-)의 상관관계를 가질 때 역상으로 판정한다(도 99). 또, 역상인 경우는 검출 대상 영역 영상의 위상을 반전한 후에 전자 워터마크 검출을 시행해도 좋다. 반전을 하는 이유는, 기존의 2차원 코드의 독출 방법은, 위상 반전된 코드 인식에 대응하고 있지 않은 경우가 많으므로, 기존의 2차원 코드 독출 처리를 사용할 때 필요하기 때문이다.

본 실시형태를 제16 실시형태에 적용하는 경우는, 검출 대상 영역 추출부(220)의 입력이, 차분 프레임 영상이 아니라 특징영역 차분 영상이 되는 경우뿐이며, 그 이외는 상기와 동일한 처리를 수행하면 됨은 자명하다.

<본 실시형태의 효과>

본 실시형태에서는, 검출 대상 영역의 추출 신뢰성 향상을 위해 기본 워터마크 패턴에 부가된 틀이나 위치조정 마커 등의 패턴을 이용하여, 추출한 검출 대상 영역의 해당 패턴 부분의 위상이 기본 워터마크 패턴시와 동상인지 아닌지에 따라, 검출 대상 영역 영상 중의 워터마크 패턴의 정위상/역상을 판정하고 있다. 이 위상 정보를 이용하여 제4 실시형태 등에서 나타낸 검출 성능 향상을 도모할 수 있다.

또, 본 실시형태에 따르면, 틀이나 위치조정 마커 등의 패턴이, 검출 대상 영역 추출 신뢰도 향상과 위상 정보 취득의 두 가지 역할을 해내므로, 일석이조이 다. 즉, 위치정렬을 위해 워터마크 정보에 플래그를 부가함으로써 워터마크 정보의 비트길이를 짧게 하거나, 워터마크 정보로서는 노이즈가 되는 위상 판정 신호를 다중화할 필요가 없어지므로, 전자 워터마크 검출성능이 향상한다.

[제19 실시형태]

본 실시형태는, 이하에 나타내는 부분을 제외하고 제13 내지 제18 실시형태와 동일하다.

도 100은, 본 발명의 제19 실시형태에 따른 전자 워터마크 검출장치의 구성을 나타낸다.

도 100에 나타낸 전자 워터마크 검출장치(200H)는, 동영상 입력부(210), 차분 영상 생성부(230), 검출 대상 영역 추출부(220), 전자 워터마크 검출부(240), 프레임 영상 버퍼(301), 차분 프레임 영상 버퍼(303)로 구성된다.

제13 실시형태와의 차이는, 검출 대상 영역 추출부(220)의 처리 내용과 새로이 차분 프레임 영상 버퍼(303)를 마련한 점이다.

도 101은, 본 발명의 제19 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

S1701) 동영상 입력부(210)에서, 아날로그 또는 디지털 동영상을 입력하고, 순차 프레임 영상을 취득한다. 아날로그 동영상의 입력시는 카메라나 스캐너, 혹은 아날로그 비디오신호 등을 입력하여 프레임 영상을 취득하고, 디지털 동영상이면 디코드 처리 등을 수행하여 프레임 영상을 취득한다.

S1702) 이어, 차분 영상 생성부(230)에서, 현재 취득한 프레임 영상과, 프 레임 영상 버퍼(301)에 축적되어 있는 이전에 취득한 프레임 영상과의 차분을 취득하여, 차분 프레임 영상을 생성한다.

S1703) 이번에 입력된 프레임 영상을 차분 프레임 버퍼(301)에 버퍼링한다.

S1704) 이번에 얻어진 차분 프레임 영상을 차분 프레임 버퍼(301)에 가산 축적한다.

S1705) 차분 프레임 버퍼(301) 중의 가산 축적된 차분 프레임 영상으로부터, 워터마크 검출의 대상이 되는 검출 대상 영역을 추출하고, 검출 대상 영역 영상을 취득한다.

이때, 도 102에 나타낸 바와 같이, 차분 프레임 영상의 화소값을 절대치화 한 후 차분 프레임 영상 버퍼(303)에 가산 축적하고, 차분 프레임 영상 버퍼(303)에 가산 축적된 차분 프레임 영상으로부터 검출 대상 영역을 추출하고, 이번 차분 프레임 영상의 상기 검출대상 영역의 영상을 왜곡 보정, 사이즈 정규화를 수행하여 검출 대상 영역 영상으로 해도 좋다. 이 방법에 따르면, 차분 프레임 영상의 절대치 영상을 가산 축적하므로, 입력된 차분 프레임 영상 중의 워터마크 패턴 위상에 관계없이, 가산 축적에 의해 검출 대상 영역과 배경 영역의 콘트라스트가 높아져, 검출 대상 영역의 추출 신뢰도가 증대된다.

또는, 제3 실시형태와 같이, 워터마크 패턴 전환 정보로 나타내어지는 워터마크 패턴의 전환 타이밍과 동기를 취해 차분 프레임 영상을 생성할 수 있는 경우 등에서는, 얻어진 차분 프레임 영상 중의 워터마크 패턴이, 기본 워터마크 패턴과 동상/역상 중 어느 것인지 캡처 개시 타이밍 등으로 판별은 할 수 없지만, 이번에 얻어진 차분 프레임 영상은 이전에 얻어진 차분 프레임 영상과 동상인지 역상인지 판별 가능하다(예를 들면, 도 31의 예에서는, 동일한 위상상태가 차분 영상 하나 걸러 얻어짐). 이를 이용하여 도 103과 같이 차분 프레임 영상 버퍼(303)에 축적하는 차분 영상의 위상을 일치시켜, 차분 프레임 영상 버퍼(303)에 가산 축적하고(결과적으로 기본 워터마크 패턴과 동상인 것만 가산되거나, 역상인 것만 가산되거나 둘 중 하나이다), 차분 프레임 영상 버퍼(303)에 가산 축적된 차분 프레임 영상을 절대치화 한 후 검출 대상 영역을 추출하고, 차분 프레임 영상 버퍼(303)에 가산 축적된 차분 프레임 영상의 상기 검출 대상 영역의 영상을 왜곡 보정, 사이즈 정규화를 수행하여 검출 대상 영역 영상으로 해도 좋다. 이 방법에 따르면, 가산 축적에 의해 워터마크 패턴도 강조되어, 검출 대상 영역 추출 신뢰도의 향상 외에, 전자 워터마크 검출 성능이 향상하는 효과도 얻을 수 있다.

S1706) 이어, 전자 워터마크 검출부(240)에서, 검출 대상 영역 영상으로부터 전자 워터마크 검출을 시도하고, 검출결과를 출력한다.

S1707) 전자 워터마크 검출에 성공하지 못한 경우는, 동영상 입력부(210)에서 다음 프레임 영상을 취득하고 상기 처리를 순차 반복한다.

또, 본 실시형태를 제16 실시형태에 적용한 경우의 전자 워터마크 검출장치에 대해 설명한다.

도 104는, 본 발명의 제19 실시형태에 따른 전자 워터마크 검출장치의 구성을 나타낸다.

도 104에 나타낸 전자 워터마크 검출장치(200I)는, 동영상 입력부(210), 특 징영역 추출부(290), 차분 영상 생성부(230), 검출 대상 영역 추출부(220), 전자 워터마크 검출부(240), 특징 영역 영상 버퍼(302), 특징영역 차분 영상 버퍼(304)로 구성된다.

제16 실시형태와의 차이는, 검출 대상 영역 추출부(220)의 처리 내용과 새로이 특징영역 차분 영상 버퍼(304)를 준비한 점이다.

도 105는, 본 발명의 제19 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도(제16 실시형태에 적용)이다.

S1801) 동영상 입력부(210)에서, TV 등의 디스플레이 표시된 아날로그 동영상을 카메라로 실시간 비디오 캡처한 것이나, 혹은 MPEG 인코딩된 디지털 동영상이 입력되면 순차 프레임 영상을 취득한다. 아날로그 동영상의 입력시는 카메라나 스캐너, 혹은 아날로그 비디오신호 등을 입력하여 프레임 영상을 취득하고, 디지털 동영상이면 디코드 처리 등을 수행하여 프레임 영상을 취득한다.

S1802) 이어, 특징영역 추출부(290)에서, 프레임 영상 중의 특징영역을 추출한다. 특징영역 추출에는, 문헌 3의 에지 인식에 따른 직사각형영역 검출 등의 기술을 이용한다. 추출된 특징영역은 카메라 촬영각도 등에 의해 발생하는 왜곡을 보정하고, 사이즈를 정규화한 후에 특징영역 추출 영상으로서 출력된다.

S1803) 이어, 차분 영상 생성부(230)에서, 현재 취득한 특징영역 영상과 특징영역 영상 버퍼(302)에 축적되어 있는 이전에 취득한 특징영역 영상과의 차분을 취득하여, 특징영역 차분 영상을 생성한다.

S1804) 또, 다음 검출 시행에 대비하여, 특징영역 영상 버퍼(302)에 이번 특징영역 영상을 버퍼링해 둔다.

S1805) 검출 대상 영역 추출부(220)에서, 특징영역 차분 영상을 특징영역 차분 영상 버퍼(304)에 축적한다.

이때, 도 106, 도 107에 나타낸 바와 같이, 특징영역 차분 영상 버퍼(304)에 축적하는 특징영역 차분 영상의 위상을 일치시켜, 특징영역 차분 영상 버퍼(304)에 가산 축적하도록 한다. 위상의 일치 방법은, 상기 워터마크 패턴 전환 타이밍과의 동기 외에, 제6 실시형태나 제17 실시형태에 나타낸 바와 같은 방법을 이용할 수 있다. 이 결과, 특징영역 차분 영상 버퍼(304)에는, 기본 워터마크 패턴과 동상인 것만 가산되거나, 역상인 것만 가산되거나 둘 중 하나가 된다.

S1806) 이어, 특징영역 차분 영상 버퍼(304)에 가산 축적된 특징영역 차분 영상으로부터 워터마크 검출의 대상이 되는 검출 대상 영역을 추출하고, 왜곡 보정, 사이즈 정규화를 수행하여 검출 대상 영역 영상을 취득한다.

S1807) 이어, 전자 워터마크 검출부(240)에서, 검출 대상 영역 영상으로부터 전자 워터마크 검출을 시도하고, 검출결과를 출력한다.

S1808) 전자 워터마크 검출에 성공하지 못한 경우는, 동영상 입력부(210)에서 다음 프레임 영상을 취득하고 상기 처리를 순차 반복한다.

상기와 같이, 위상을 일치시킨 가산 축적에 의해, 1장의 차분 영상만으로도 상대적으로 검출 대상 영역의 워터마크 패턴이 두드러지므로, 검출 대상 영역의 추출 신뢰도가 향상하는 것 외에, 제6 실시형태와 마찬가지로 전자 워터마크 검출 성능이 향상한다.

<본 실시형태의 효과>

본 실시형태에서는, 차분 프레임 영상 혹은 특징영역 차분 영상을 축적하여, 상대적으로 워터마크 패턴의 강도를 강화시켜 검출 대상 영역을 추출함으로써, 검출 대상 영역의 추출 신뢰성 향상을 실현하고 있다.

또, 특히 차분 영상 중의 워터마크 패턴의 위상을 일치시켜 가산 축적을 수행함으로써 검출 대상의 신뢰성 향상뿐만이 아니라, 전자 워터마크의 검출 성능 향상을 동시에 실현할 수 있다. 일반적으로 워터마크 패턴은 사람이 지각할 수 없는 정도로 미약한 진폭으로 영상에 부가되기 때문에, 1장의 차분 영상 안에서는 명확하게 검출 대상 영역을 특정할 수 없는 경우가 있을 수 있다. 본 실시형태는 상기 방법으로 이 문제를 해결할 수 있다.

[제20 실시형태]

본 실시형태는 이하에 설명하는 부분을 제외하고 제1 내지 제19 실시형태와 동일하다. 이하, 제13 실시형태와의 차이를 중심으로 설명한다.

본 실시형태의 전자 워터마크 임베딩장치(100) 내의 워터마크 패턴 중첩부(130)의 처리에 대해 설명한다.

도 108, 도 109는, 본 발명의 제20 실시형태에 따른 워터마크 패턴 중첩부의 처리를 설명하기 위한 도면이다.

워터마크 패턴 중첩부(130)는, 프레임 영상과 상기 프레임 표시시각에 기초하여, 생성된 워터마크 패턴을 입력한다. 이때, 1장의 프레임 영상에 복수의 워터마크 패턴을 중첩할 수 있도록, 필요에 따라 워터마크 패턴이 복수장 생성되어 있 는 것으로 한다. 예를 들면, 다른 3개의 정보를 나타내는 3장의 워터마크 패턴이 주어졌다고 하자. 워터마크 패턴 중첩부(130)에서는, 각각의 워터마크 패턴의 진폭을 적절히 조정하고, 각 워터마크 패턴이 나타내는 정보와 관련짓고자 하는 프레임 영상 중의 오브젝트에 맞춘 위치, 사이즈를 조정하여 프레임 영상에 중첩한다. 도 108에서는, 프레임 영상 중의 서로 다른 3개의 오브젝트 영역에 워터마크 패턴을 중첩하는 예를 나타내고 있다. 또는, 도 109와 같이, 영상 전체에 상당하는 워터마크 패턴 안에, 오브젝트에 대응하는 워터마크 패턴을 네스팅(nesting)과 같이 중첩해도 좋다. 이 경우, 네스팅된 내측의 워터마크 패턴 값으로 외측의 워터마크 패턴의 값을 덮어쓰기 하도록 해도 좋다. 또, 도 109에서는, 제14 실시형태나 제15 실시형태와 같이, 워터마크 패턴에 검출 대상 영역 추출용 마커 등이 부가되어 있는 것으로 한다.

다음으로, 본 실시형태에 따른 전자 워터마크 검출장치의 차분 영상 생성부(230)의 처리에 대해 설명한다.

도 110은, 본 발명의 제20 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면이다.

차분 영상 생성부(230)의 처리 자체는, 제13 실시형태와 완전히 동일하지만, 입력되는 프레임 영상 중의 워터마크 패턴 영역이 복수개 존재하므로, 도 110과 같이 차분 프레임 영상에는 복수의 워터마크 패턴 영역이 얻어진다.

다음으로, 본 실시형태에 따른 검출 대상 영역 추출부(220)의 처리에 대해 설명한다.

도 111, 도 112는, 본 발명의 제20 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면이다. 제13 실시형태와 마찬가지로, 차분 프레임 영상의 화소값의 절대치를 구해 직사각형영역을 탐색하면, 도 111과 같이 3개의 검출 대상 영역을 찾아낼 수 있다. 3개의 검출 대상 영역마다 검출 대상 영역 영상을 생성하고, 각각 전자 워터마크 검출시행을 수행하도록 한다.

또, 도 109와 같은 워터마크 패턴 중첩을 수행한 경우의 검출 대상 영역 추출부(220)의 처리 내용을 도 112를 이용하여 설명한다. 차분 프레임 영상 중에서 워터마크 패턴 영역이 네스팅되어 있다고 해도, 제14 실시형태나 제15 실시형태와 같은 위치정렬을 위한 마커 등을 이용하면, 네스트구조의 검출 대상 영역을 찾을 수 있으며, 각기마다 검출 대상 영역 영상을 생성하여 전자 워터마크 검출 시행을 수행하도록 한다. 또한, 도 112에서, 외측 워터마크 패턴 안에는 내측 워터마크 패턴이 네스팅 되어 있고, 이 영역에 대해서는 외측 워터마크 패턴 모양이 남아있지 않지만, 전자 워터마크 방식 자체가 갖는 로부스트성(robustness)에 의해, 패턴 결손에 대해서도 대응 가능하므로, 전자 워터마크 검출은 가능하다.

다음으로, 본 실시형태에 따른 전자 워터마크 검출장치(200)의 피드백 출력 예를 나타낸다.

도 113 ~ 도 116은, 본 발명의 제20 실시형태에 따른 전자 워터마크 검출장치의 피드백 출력 예를 나타낸다.

검출 대상 영역마다 얻어진 검출상황은, 전자 워터마크 검출장치(200)의 표시화면상에서, 검출 대상 영역의 위치나 사이즈 등에 맞춰서 프리뷰 화면에 합성된 다. 도 113에서는, 3개의 검출 대상 영역으로부터의 전자 워터마크 검출상황을, 원래의 워터마크 패턴에 관련지어진 오브젝트 위치에 합성하여 표시하고 있다.

또, 도 114에서는, 네스팅된 2개의 검출 대상 영역으로부터의 전자 워터마크 검출상황의 합성 예를 나타내고 있다. 이와 같이 복수의 전자 워터마크 검출 대상 영역이 얻어진 경우, 각각의 전자 워터마크 검출상황을 동시에 피드백할 수 있다.

또, 도 115나 도 116과 같이, 표시화면의 일부분을 줌인(zoom in)하여 촬영하는 경우에는, 그 촬영부분만의 전자 워터마크 검출상황을 출력할 수 있다. 이를 이용하면, 예를 들어 표시화면 중의 복수의 오브젝트로부터 몇 개를 선택하도록 하는 지시를 전자 워터마크 검출을 이용하여 실현할 수 있다.

또한, 본 실시형태는, 제1 내지 제19 실시형태에 따른 방법을 임의로 조합해도 실시할 수 있음은 자명하다.

<본 실시형태의 효과>

본 실시형태에 따르면, 동영상의 1프레임 안에 복수의 워터마크 패턴을 중첩하여 임베딩을 수행하고, 카메라 캡처로 얻어지는 프레임 영상 중의 복수의 검출 대상 영역을 추출하여 각각 전자 검출을 수행한다. 이에 따라 프레임 영상 중의 오브젝트에 관련된 전자 워터마크의 임베딩·검출이 가능해지고, 편리성이 향상한다. 또, 촬영시에 특정 오브젝트에 줌인하여 캡처·검출을 수행함으로써, 화면 중의 특정 오브젝트를 선택하는 것과 같은 유저인터페이스에 이용할 수 있다.

[제21 실시형태]

본 실시형태에서는 워터마크 정보를 워터마크 패턴의 위상 차분 변동을 이용하여 임베딩을 수행하는 예를 설명한다.

본 실시형태는, 이하에 설명하는 부분을 제외하고 제1 내지 제20 실시형태와 동일하다. 이하, 제1 실시형태와의 차이를 중심으로 설명한다.

본 실시형태에 따른 전자 워터마크 임베딩장치(100)의 워터마크 패턴 생성부(120)에 대해 설명한다.

도 117은, 본 발명의 제21 실시형태에 따른 워터마크 패턴 전환 정보의 예를 설명하기 위한 도면이다.

본 실시형태에 따른 워터마크 패턴 전환 정보는, 패턴의 반전에 대해 직접적으로 지시하는 정보가 아니라, 워터마크 패턴의 주기와 주기 중의 전환 포인트를 나타내는 정보이다.

도 118, 도 119는, 본 발명의 제21 실시형태에 따른 워터마크 패턴 전환부의 처리를 설명하기 위한 도면이다.

워터마크 패턴 전환부(122)에서는, 우선 입력된 기본 워터마크 패턴의 농담값을, 위상 차분 변동 패턴으로 변환한다. 변환 프로세스는, 예를 들면 도 118과 같이 2진수(binary)의 기본 워터마크 패턴인 경우는, 명암에 대응하는 2개의 위상 차분 변동값을 구해, 기본 워터마크 패턴상의 명암 각각의 화소값을 갖는 화소위치에 위상 차분 변동값을 대응시킴으로써 얻을 수 있다. 여기서 2진수의 위상 변동 차분값을 구하는 방법은, 도 118과 같이, 워터마크 패턴 전환 정보가 '3/10초가 1주기가 되도록 1/10초마다 단속적으로 전환'인 경우에는, 3/10초가 1주기이고 전환 타이밍이 1/10초이므로, 1/10초에 2π/3 만큼 위상을 변화시키면, 3/10초 후에 원래의 위상으로 돌아오므로, 위상 차분 변동값을 2π/3 및 그 반대방향의 -2π/3의 2진값을 이용하도록 한다.

상기와 같이하여 위상 차분 변동 패턴을 얻은 후, 워터마크 패턴 전환부(122)는, 입력된 프레임 표시시각을 워터마크 패턴 전환 정보의 시간축으로 하고, 전환 타이밍마다, 직전의 워터마크 위상 패턴에 위상 차분 변동 패턴을 부가한다. 도 118의 예에서는, 시각 t0, t1, t2의 타이밍에서 워터마크 위상 패턴에 위상 차분 변동 패턴이 부가된다. 또한, 동영상의 선두 프레임 등에서의 워터마크 위상 패턴의 초기값은, 0 및 상기 차분 변동값 중 어느 하나를 워터마크 위상 패턴의 각 요소가 임의로 취하도록 하여 설정되는 것으로 한다.

상기와 같이하여 워터마크 위상 패턴을 취득한 후, 워터마크 패턴 전환부(122)는 워터마크 위상 패턴을 워터마크 패턴으로 변환한다. 변환 방법으로는, 예를 들면 도 119에 나타낸 바와 같이, 워터마크 위상 패턴의 각 요소값을, 영상의 2개 이상의 성분, 도면에서는 YcbCr 표색계의 Cb와 Cr을 직교축에 둔 좌표계의 원점(0,0)을 중심으로 한 반지름r(r은 주어진 값)인 원 위의 점에 대응시킨다. 이 결과로 얻어지는 Cb-Cr 좌표계의 Cb좌표, Cr좌표를, 상기 워터마크 위상 패턴의 요소에 대응하는 워터마크 패턴의 화소값으로 하고, 모든 워터마크 패턴의 화소값을 구한다. 이렇게 하여 얻어진 워터마크 패턴은, 각 화소 복수의 성분값을 갖는 패턴이 된다.

또한, 본 실시형태에서는, Cb, Cr을 예로 이용했으나, RGB 표색계의 R-G를 이용하거나, 혹은 XYZ 표색계의 X-Y를 이용하거나, HSV 표색계의 H-S를 이용하는 등, 다양한 방법이 있을 수 있다.

또, 각 축마다의 변동량에 대한 시각감도가 다른 경우에는, 적절히 스케일을 보정하여 각 축의 변동량과 시각감도가 일치하도록 해도 좋다. 본 실시형태에서는, YCbCr 표색계에서는 Y에 비해 지각되기 어렵다는 이유로 Cb와 Cr성분을 이용한 예를 나타내었다.

또, 복수의 영상성분이 아니라, 단일성분, 예를 들면 휘도성분 등을 이용하여 본 실시형태를 실시하기 위해서는, 제1 실시형태의 변조방법(A-2)과 같이, 기본 워터마크 패턴에 파형 패턴을 이용하여, 파형 패턴의 위상을 변동시킴으로써 본 실시형태와 마찬가지로 위상 차분 변동을 이용한 전자 워터마크 임베딩을 실현할 수 있다.

이와 같이하여 얻어진 워터마크 패턴이, 순차 프레임 영상에 중첩됨으로써, 워터마크가 임베딩된 동영상이 얻어지는 것에 대해서는 제1 실시형태와 동일하다.

본 실시형태에 따른 전자 워터마크 검출장치(200) 내의 차분 영상 생성부(230)의 처리에 대해 설명한다.

도 120은, 본 발명의 제21 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면이다. 차분 영상 생성부(230)는, 제1 실시형태와 동일한 처리를 수행하여 차분 영상을 얻은 후, 차분 영상에 수정을 더 가한다. 수정 방법의 예는, 도 120과 같이, 차분 영상의 각 화소에 대해 Cb,Cr성분값(cb,cr)을 얻어, 이것을 임베딩시와 동일하게 Cb-Cr 직교좌표계에 플로팅했을 때의 극(polar) 좌표표현(R, θ)을 얻는다. 다음으로, θ가 도면 중의 동그라미 표시 각도(π/6, π/2, 5π/6, 7π/6, 3π/2, 11π/6)중 어느 것에 가장 가까운지를 판정하고, 가장 가까운 각도에 할당된 부호(+ 또는 -)를 얻는다. 마지막으로 원점으로부터의 거리 R에 이 부호를 곱한 것을 구하여 차분 영상의 해당 화소의 화소값으로서 덮어쓰기 한다. 이것을 모든 차분 영상의 화소에 대해 수행한다.

차분 영상 생성부(230) 이후의 처리에 대해서는 제1 실시형태와 동일하다.

다음으로, 본 실시형태의 원리에 대해 설명한다.

설명의 전제로서, 본 실시형태에 따른 전자 워터마크 검출장치에서는, 도 121과 같이, 제3 실시형태와 마찬가지로 워터마크 패턴 전환 정보에 기초하여 캡처 타이밍, 차분 타이밍이 지정되어 있다고 한다. 도 121에서는, 차분은 1/10 떨어진 검출 대상 영역 영상의 차분을 취득하도록 지정되어 있다. 제4 실시형태 등에서 서술한 대로, 제1 내지 제20 실시형태에서 설명한 전자 워터마크 임베딩·검출방법에서는, 차분 취득 타이밍에 따라, 얻어진 차분 영상 중의 워터마크 패턴이 임베딩시와 동상 또는 역상 중 어느 하나가 되어, 각종 방법으로 대응할 필요가 있었다.

도 122와 도 123을 이용하여 본 실시형태의 원리를 설명한다. 도 122는, 임베딩시의 위상 차분 변동 패턴값이 2π/3의 경우에 대해, 1/10초 떨어진 2장의 프레임에 임베딩된 Cb-Cr 성분값, 즉 임베딩시의 위상 패턴에 상당하는 값과, 차분에 의해 얻어지는 Cb-Cr값의 있을 수 있는 패턴 모두를 열거한 것이다. 이와 같이, 임베딩시의 위상 차분 변동값이 2π/3이면, 차분 영상 중의 Cb-Cr 성분값은 π/6, 5π/6, 3π/2 3개 중 어느 하나의 위상을 가진다.

위상 차분 변동값이 -2π/3인 경우에 대해서, 도 123에 나타낸다. 이 경우, 차분 영상 중의 Cb-Cr 성분값은, 7π/6, π/2, 11π/6의 3개 중 어느 하나의 위상을 가진다. 즉, 위상 차분 변동값에 따라 차분 화상 중의 Cb-Cr 성분값은, 2개의 그룹으로 분류할 수 있다. 이를 이용하면, 도 120과 같이 검출시의 Cb-Cr 성분의 위상이 2개의 그룹 중 어느 쪽에 속하는지 판정함으로써, 캡처 타이밍에 관계없이 항상 임베딩시의 위상 차분 변동값을 일정하게 얻을 수 있다. 위상 차분 변동값은, 워터마크 정보를 확산한 계열의 항값에 대응하고 있으므로, 결국 캡처 타이밍에 관계없이 차분으로부터 얻어지는 워터마크 패턴(도 120에서 수정된 차분 영상 중의 워터마크 패턴에 상당)은 반전하는 것 없이, 임베딩시의 기본 워터마크 패턴과 동상이 된다.

이 '차분으로부터 얻어지는 워터마크 패턴이 타이밍에 관계없이 항상 일정'하다는 특성은, 극히 중요하다. 예를 들면, 제1 실시형태의 변조방법(A-1)은, 차분 영상 중의 워터마크 패턴이 반전하면, 검출 워터마크 정보 비트가 반전하므로 위상을 특정하기 위해 제4 실시형태나 제5 실시형태와 같은 방법을 필요로 했다.

또, 제1 실시형태의 그 밖의 변조방법도, 예를 들면 제6 실시형태나 제19 실시형태와 같이, 워터마크 정보나 검출 대상 영역의 검출 성능 향상을 위해 차분 영상을 축적할 때, 위상을 맞출 필요가 있으므로 각종 방법을 이용했으나, 본 실시형태를 이용함으로써 이 문제는 일체 해소되며, 차분 취득 방법에 상관없이 워터마크 패턴은 일정하므로 당연히 검출 워터마크 정보의 비트 반전은 일어나지 않으며, 차분 영상의 가산 축적시에 위상에 신경쓰지 않고 단순히 가산만 하면 된다.

또, 제8 실시형태와 같이 워터마크 정보를 데이터 블록으로 분할하여 시간방향으로 순차 임베딩을 수행하는 경우에, 제1 실시형태와 같은 변조방법에서는, 도 124에 나타낸 바와 같이 데이터 블록의 경계에 걸친 차분 영상에서는, 올바르지 않은 워터마크 정보를 검출해버릴 위험성이 있었다. 따라서 안전을 확보하기 위해서는 데이터 블록 구간 사이에 워터마크를 임베딩하지 않는 구간을 끼울 필요가 있으며, 이에 따라 단위시간당 워터마크 정보길이가 줄어드는 문제가 있었다.

그러나, 본 실시형태를 이용하면, 워터마크 정보는 위상 차분 변동에 의해 나타내어지므로, 직전의 데이터 블록 종단에서의 위상 패턴에, 이번 데이터 블록 정보를 나타내는 위상 차분 변동을 주어 임베딩을 수행하면, 검출시에 데이터 블록 경계에 걸친 차분 영상을 얻어도, 그 차분으로부터 올바르게 데이터 블록 정보를 검출할 수 있다. 이에 따라, 필요없는 블랭크를 끼워넣지 않고 연속적으로 데이터 블록을 전환하여 임베딩·검출할 수 있으므로, 단위시간당 워터마크 정보량을 증대시킬 수도 있다.

또한, 본 실시형태를 제1 내지 제20 실시형태의 각각의 방법을 임의로 조합해도 실시할 수 있음은 자명하다.

<본 실시형태의 효과>

본 실시형태에 따르면, 워터마크 정보를 위상 차분 변동을 이용하여 임베딩을 수행하므로, 차분 영상의 취득 타이밍에 상관없이, 일정한 워터마크 패턴을 포함하도록 차분 영상을 얻을 수 있다. 이에 따라 워터마크 정보의 비트 반전을 막거나, 차분 영상 축적시에 위상을 맞출 필요가 없어지고, 단순히 차분 영상을 가산 축적하도록 하면 되므로, 장치구성의 단순화, 처리의 고속화, 및 위상동기신호를 불필요로 함에 따른 워터마크 정보길이의 증대와 내성향상을 실현할 수 있다. 또, 제8 실시형태와 같은 데이터 블록 이용형의 경우에, 데이터 블록 사이에 불필요한 블랭크를 끼우지 않아도 검출정보의 신뢰성을 담보할 수 있으므로, 단위시간당 워터마크 정보길이의 증대를 실현할 수 있다.

[제22 실시형태]

본 실시형태는 이하에 설명하는 부분을 제외하고 제1 내지 제21 실시형태와 동일하다.

이하, 제1 실시형태와의 차이를 설명한다.

전자 워터마크 검출장치(200)의 차분 영상 생성부(230)의 처리에 대해 설명한다.

도 125는, 본 발명의 제22 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면이다.

본 실시형태에서는, 차분 영상 생성부(230)에서, 검출 대상 영역 영상의 차분 영상을 생성한 후, 차분 영상에 대해 필터 처리를 더 수행하여 출력한다.

도 126a,b는, 본 발명의 제22 실시형태에 따른 필터 처리의 예를 설명하기 위한 도면이다. 설명을 위해 차분 영상을 1차원 신호로서 나타내고 있다. 도 126a에서는, 차분 영상의 화소값의 절대치가 주어진 문턱값 이상인 경우, 문턱값으로 클리핑하는 비선형 필터 처리를 수행한다. 또, 도 126b에서는 차분 영상의 화소값의 절대치가 주어진 문턱값 이상인 경우, 화소값을 0으로 하는 비선형 필터 처리를 수행한다.

<본 실시형태의 효과>

본 실시형태에 따르면, 움직임이 있는 동영상을 촬영한 경우에 발생하는 큰 차분 성분을 필터처리에 의해 억압할 수 있다. 일반적으로 워터마크 패턴은 미약한 진폭으로 임베딩되어 있으므로, 영상 자체의 움직임에 기인하는 차분 성분은, 차분 영상상의 큰 절대치를 갖는 차분 화소값으로서 나타난다. 따라서, 본 실시형태와 같은 비선형 필터를 이용하면, 동영상의 움직임에 따른 차분 성분을 억압하고, 또 워터마크 패턴 성분은 억압하지 않으므로, 워터마크 패턴의 S/N비가 향상하여, 움직임이 있는 동영상으로부터의 검출성능을 향상시키는 것이 가능해진다.

[제23 실시형태]

본 실시형태는 이하에 설명하는 부분을 제외하고, 제1 내지 제22 실시형태와 동일하다. 이하, 제1 실시형태와의 차이를 설명한다.

도 127은, 본 발명의 제23 실시형태에 따른 워터마크 패턴 중첩부의 처리를 설명하기 위한 도면이다.

본 실시형태에 따른 워터마크 패턴 중첩부(130)는, 순차 입력되는 프레임 영상을 과거 여러 장 분을 축적하는 기능을 가지며, 새로이 입력된 이번 프레임 영상과 이전 프레임 영상과의 차분 영상을 생성한다. 이전의 프레임 영상은 직전의 것이어도 좋고, 여러 프레임 전의 것이어도 좋다. 이어, 워터마크 패턴은, 제1 내지 제22 실시형태와 같이 적절히 스케일링된다. 이어, 차분 영상에 기초하여, 워터마크 패턴의 진폭을 조정한다. 그 후의 처리는 제1 내지 제22 실시형태와 마찬가지 로 프레임 영상에 대해 진폭이 조정된 워터마크 패턴을 중첩하는 것뿐이다.

도 128은, 본 발명의 제23 실시형태에 따른 워터마크 패턴의 진폭조정 예를 설명하기 위한 도면이다. 도 128(1)에서는, 차분 영상의 화소값 절대치의 총합을 구하고, 이 총합 값에 기초하여 워터마크 패턴 전체의 진폭을 조정한다. 조정 방법은, 예를 들면 총합 값에 대해 비례하는 값으로 진폭을 증폭하는 등, 총합 값이 클수록 진폭이 커지도록 한다. 혹은, 도 128(2)와 같이, 차분 영상의 각 좌표 화소값에 기초하여, 워터마크 패턴이 대응하는 좌표의 화소값의 진폭을 조정하는 방법도 있을 수 있다. 이 경우는, 예를 들어 차분 영상 화소값의 절대치가 클수록 대응하는 위치의 워터마크 패턴 진폭을 크게 하도록 한다. 도 128(1),(2) 둘 다, 차분 영상에 큰 절대치를 갖는 화소가 많을수록, 즉, 동영상의 움직임이 심할수록 워터마크 패턴의 진폭이 증폭되도록 되어있다. 또, 도 128(1)을 실시한 후에 또 도 128(2)를 실시하는 등, 진폭 방법을 더 복잡하게 해도 좋다.

<본 실시형태의 효과>

본 실시형태에 따르면, 움직임이 있는 동영상에 워터마크 패턴을 중첩할 때, 차분 영상 중의 큰 절대치를 갖는 화소가 많은, 즉, 움직임이 심한 프레임은, 움직임이 적은 프레임에 대해서보다 더 진폭이 큰 워터마크 패턴을 중첩하게 된다. 일반적으로 움직임이 심한 동영상 장면에서는, 정지하고 있는 장면에 비해 노이즈를 지각하기 어려우므로, 상기와 같이 움직임이 심한 프레임에서 워터마크 패턴 진폭을 강화해도 워터마크 임베딩에 따른 화질 열화를 지각할 수 없도록 하는 것이 가능하다.

또, 특히 움직임이 많은 장면에서는, 검출시의 차분 영상에 큰 절대치를 갖는 화소가 많으므로, 워터마크 검출에 대해서는 노이즈가 많다는 문제가 있었으나, 본 실시형태와 같이, 움직임이 심한 장면은 미리 강하게 워터마크 패턴을 임베딩해 놓음으로써, S/N비가 향상하여 워터마크의 검출 성능이 향상한다.

[제24 실시형태]

본 실시형태는 이하에 설명하는 부분은 제외하고 제1 내지 제23 실시형태와 동일하다. 이하, 제1 실시형태와의 차이를 중심으로 설명한다.

도 129는, 본 발명의 제24 실시형태에 따른 전자 워터마크 검출장치의 구성을 나타낸다.

도 129에 나타낸 전자 워터마크 검출장치(200J)는, 동영상 입력부(210), 검출 대상 영역 추출부(220), 차분 영상 생성부(230), 전자 워터마크 검출부(240), 검출 대상 영역 영상 버퍼(250), 줌 처리부(310)로 구성된다. 도 129에 나타낸 구성은, 제1 실시형태의 전자 워터마크 검출장치(100A)에 줌 처리부(310)를 부가한 구성이다.

도 130은, 본 발명의 제24 실시형태에 따른 동작흐름도이다.

도 130에 나타낸 흐름도의 S1901~S1906까지의 동작은 도 20의 S201~S206과 동일하므로 그 설명은 생략한다.

S1907) 전자 워터마크 검출부(240)의 검출상황이 양호하지 않은 경우는, S1901로 이행하고, 양호한 경우는 S1908 처리를 수행한다.

S1908) 줌 처리부(310)에서, 검출 대상 영역의 크기나 위치를 나타내는 검 출 대상 영역 정보와 전자 워터마크 검출부(240)의 검출상황을 이용하여, 검출상황이 양호한 경우에, 검출 대상 영역이 주어진 사이즈가 되도록 줌 파라미터를 생성하고, 동영상 입력부(210)에 부여하고, S1901 처리로 이행한다. 이에 따라, 동영상 입력부(210)에서는, 주어진 줌 파라미터에 기초하여, 카메라나 스캐너 등을 자동적으로 줌시킨다.

여기서, '검출상황이 양호'하다는 것은, 제17 실시형태와 마찬가지로, 예를 들어 문헌 1의 검출 신뢰도 지표값이 어느 정도 의미 있는 값이지만, 아직 전자 워터마크 검출에 성공하지 못한 상황이라든지, 혹은 제8 실시형태 등의 데이터 블록마다 검출하는 경우에, 어느 데이터 블록 검출에 성공한 상태, 즉, 전자 워터마크 검출부(240)의 검출상황으로부터, 전자 워터마크의 존재가 의미 있게 명백한 경우를 가리키는 것으로 한다. 예를 들면, 검출 대상 영역의 면적이 프레임 영상 면적의 40% 이상이 되도록, 이번 검출 대상 영역 정보로 나타내어지는 검출 대상 영역이 40% 미만인 경우에, 자동적으로 줌인하여 40% 이상이 되도록 한다. 혹은, 어느 검출 시행시 검출상황이 양호하고, 또한 검출 대상 영역의 면적이 20%이었던 경우, 검출 시행마다 서서히 줌인시킴으로써 표시를 매끄럽게 변화시켜 유저인터페이스를 개선해도 좋다.

또, 줌인할 때, 너무 많이 줌인하면 검출 대상 영역의 에지 검출에 실패하는 경우는, 검출 대상 영역이 프레임 영상에 가득 찰 때까지 줌인하지 않고, 주어진 사이즈(예를 들면, 프레임 영상의 50%)까지 줌 하도록 해도 좋다. 또한, 주어진 사이즈가 아니라, 현재의 검출 대상 영역 정보로 정해지는 검출 대상 영역의 정 점(vertexes)이나 변(sides)이 프레임 영상에 들어가도록, 적절히 줌 비율을 변화시켜도 좋다(예를 들면, 프레임 영상의 중앙에 검출 대상 영역이 있는 경우와 가장자리에 있는 경우 중에서는 후자가 줌인 정도가 낮아진다).

또한, 상기에서는 제1 실시형태와의 차이에 대해 설명했으나, 제13 내지 제15 실시형태와의 조합, 제16 실시형태의 특징영역을 주어진 사이즈가 되도록 줌인하는 것, 제17 실시형태에서 근방 탐색의 범위를 줌 비율의 변화에 따라 동일하게 줌 시켜 조합하는 것, 제20 실시형태에서 복수의 워터마크 패턴 중 하나를 촬영영상의 중앙에 프레이밍(framing)하여 검출시행함으로써 자동 줌으로 특정 영상영역에 관련된 워터마크 정보를 검출하는 것 등은 용이하게 실현 가능하다.

<본 실시형태의 효과>

본 실시형태에 따르면, 촬영시 프레임 영상 중의 검출 대상 영역의 화소 사이즈가 작은 경우에, 자동적으로 줌인하여 보다 큰 화소 사이즈의 검출 대상 영역을 취득할 수 있다. 일반적으로 화소 샘플이 적어지면 전자 워터마크 검출이 곤란해지므로, 줌인하여 검출 대상 영역의 화소 샘플수를 증대시킴으로써, 전자 워터마크의 검출성능을 향상시킬 수 있다.

또, 전자 워터마크의 검출상황에 기초하여, 검출상황이 양호할 때만 줌인함으로써, 예를 들어 도 131a와 같이 검출상황이 양호한 경우, 줌인에 의해 검출 대상 영역의 화소 샘플수를 증대시켜 검출 성능을 향상시킬 수 있음과 동시에, 도 131b와 같이, 본래의 검출 대상 영역이 아닌 영역을 잘못하여 검출 대상 영역으로 하고 있는 경우에는, 전자 워터마크 검출상황이 양호해지지 않으므로, 줌인하지 않 는다, 즉, 확실하게 전자 워터마크의 존재가 분명한 검출 대상 영역의 경우에만, 검출 성능이 향상하도록 줌인하므로, 불필요한 줌인을 하지않아도 되며, 유용성의 향상을 도모할 수 있다.

[제25 실시형태]

본 실시형태에서는 워터마크 정보를 위상 차분 변동을 이용하여 임베딩을 수행하고, 검출시에는 우선 차분 영상(A)을 생성하고, 또한 시간적으로 인접한 차분 영상(A)의 위상 차분을 계측하고, 위상차를 이용하여 얻어지는 차분 영상(B)으로부터 전자 워터마크 검출을 수행함으로써, 검출시의 캡처 타이밍 및 캡처 시간간격, 혹은 셔터 속도 등에 상관없이 항상 동일 조건에서 전자 워터마크 검출을 가능하게 하는 것이다.

본 실시형태는 이하에 설명하는 부분을 제외하고, 제1 내지 제24 실시형태와 동일하다. 이하, 제1 실시형태와의 차이를 중심으로 설명한다. 본 실시형태에 따른 전자 워터마크 임베딩장치의 구성은, 제1 실시형태와 동일한 구성이다.

도 132는, 본 발명의 제25 실시형태에 따른 전자 워터마크 패턴 전환 정보의 예를 설명하기 위한 도면이다.

본 실시형태에 따른 전자 워터마크 임베딩장치(100)의 워터마크 패턴 생성부(120)의 워터마크 패턴 전환 정보는, 패턴 반전에 대해 직접적으로 지시하는 정보가 아니라, 6/30초가 1주기가 되는 정현파 등, 연속적인 함수로 표현되는 것으로, 구체적으로는 정현파의 주기를 나타내는 정보이다. 실제로는 입력되는 동영상은 특정의 프레임 레이트, 예를 들면 30프레임/초와 같은 이산적인 프레임 영상군 으로서 주어지므로, 도 132의 아래 도면과 같이, 정현파상을 이산적으로 샘플링하여 임베딩에 이용하게 된다. 또한, 본 실시형태에서는 이하에 나타내는 바와 같이, 정현파 주기에 대한 위상 값을 이용한다.

도 133은, 본 발명의 제25 실시형태에 따른 전자 워터마크 패턴 전환부의 처리를 설명하기 위한 도면이다. 워터마크 패턴 전환부(122)에서는, 우선 입력된 기본 워터마크 패턴의 농담값을, 부호 패턴으로 변환한다. 부호 패턴은, 기본 워터마크 패턴의 각 농담값의 + 또는 - 부호를 취출하여, 크기를 1로 한 값을 각 요소값으로서 갖는 배열이다.

다음으로, 워터마크 패턴 전환부(122)에서, 입력된 프레임 표시시각을 워터마크 패턴 전환 정보의 시간축으로 하고, 프레임 표시시각에 대응하는 워터마크 패턴 전환 정보의 주기에 대한 위상(이하 워터마크 패턴 전환 위상이라 함)을 취득한다. 그리고, 직전의 프레임에 대한 워터마크 패턴 전환 위상 간의 위상 변동값을 구해(도 133에서는 +π/3), 이 위상 변동값에 부호 패턴의 요소값을 곱한 것을 워터마크 위상 패턴의 각 요소값의 위상 변동량으로 한다. 워터마크 위상 패턴은 부호 패턴과 동일한 사이즈의 배열이며, 각 요소는 0~2π의 위상값을 취한다. 워터마크 위상 패턴의 각 요소의 초기값은 임의의 값이어도 무관하다.

상기와 같이하여 워터마크 위상 패턴을 취득한 후, 워터마크 패턴 전환부(122)는 위상 패턴을 워터마크 패턴으로 변환한다. 변환방법으로는, 예를 들면 도 134에 나타내는 바와 같이, 워터마크 위상 패턴의 각 요소값을, 영상의 2개 이상의 성분, 도면에서는 YCbCr 표색계의 Cb와 Cr을 직교축에 둔 좌표계의 원점(0,0) 을 중심으로 한 반지름r(r은 주어진 값)인 원 위의, 각도가 위상 패턴 요소값인 점에 대응시킨다. 이 결과 얻어지는 Cb-Cr 좌표계의 Cb좌표, Cr좌표를, 상기 워터마크 위상 패턴의 요소에 대응하는 워터마크 패턴의 화소값으로 하고, 모든 워터마크 패턴의 화소값을 구한다. 이렇게 하여 얻어진 워터마크 패턴은, 각 화소 복수의 성분값을 갖는 패턴이 된다. 또한, 본 실시형태에서는, Cb, Cr을 예로 이용했으나, RGB 표색계의 R-G를 이용하거나, 혹은 XYZ 표색계의 X-Y를 이용하거나, HSV 표색계의 Hue-Saturation를 이용(이 경우는, Hue-Saturation을 직교좌표에 두는 것이 아니라, 위상값을 직접 Hue값으로 설정하고, 주어진 Saturation 값을 갖도록 해도 좋다)하는 등, 다양한 방법이 있을 수 있다.

또, 각 축마다의 변동량에 대한 시각감도가 다른 경우에는, 적절히 스케일을 보정하여 각 축의 변동량과 시각감도가 일치하도록 해도 좋다(예를 들면 도 134에서 원이 아닌 타원을 이용하는 등). 본 실시형태에서는, YCbCr 표색계에서는 Y에 비해 지각되기 어렵다는 이유로 Cb와 Cr성분을 이용한 예를 나타내었다.

이와 같이하여 얻어진 워터마크 패턴이, 워터마크 패턴 중첩부(130)에서 순차 프레임 영상에 중첩됨으로써, 워터마크가 임베딩된 동영상이 얻어지는 것에 대 해서는 제1 실시형태와 동일하다.

또한, Cb-Cr을 이용한 경우, 워터마크 패턴의 진폭을 조정한다는 것은, Cb-Cr 좌표계에서의 진폭(도 134에서의 점 a0과 원점과의 거리)을 증감하는 것이 된다. 또, Hue-Saturation을 이용하는 경우는 Saturation을 증감하는 것에 해당한다. 또, 기본 워터마크 패턴이 2진값이 아닌 복수의 값인 경우는, 기본 워터마크 패턴의 화소값의 절대치 크기에 따라, 대응하는 워터마크 패턴의 화소값 진폭을 증감시켜도 좋다.

도 135는, 본 발명의 제25 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

본 실시형태에 따른 전자 워터마크 검출장치(200)는, 동영상 입력부(210), 검출 대상 영역 추출부(220), 차분 영상 생성부(230), 위상 차분 계측부(360), 전자 워터마크 검출부(240), 검출 대상 영역 영상 버퍼(250), 위상 패턴 버퍼(370)를 갖는다.

도 136은, 본 발명의 제25 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

제1 실시형태와의 차이에 대해 설명하면, 도 137과 같이 제1 실시형태와 동일하게 차분 영상 생성부(230)에서 출력된 차분 영상(본 실시형태에서는 차분 영상(A)으로 표기)을 위상 차분 계측부(360)에 입력하고, 위상 차분 계측부(360)에서 차분 영상(A)으로부터 위상 패턴을 생성하고(S2040), 현재 취득한 위상 패턴과 이전에 취득한 위상 패턴과의 위상차를 측정하고, 위상차에 기초하여 새로이 차분 영 상(B)을 구성하여 출력한다(S2050). 전자 워터마크 검출부(240)는 차분 영상(B)을 입력하고, 제1 실시형태와 마찬가지로 차분 영상(B)으로부터 전자 워터마크 검출을 수행한다(S2070).

도 138은, 본 발명의 제25 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면이다.

위상 차분 계측부(360)는, 차분 영상(A)을 입력으로 한다. 위상 차분 계측부(360)는, 차분 영상(A)을 임베딩시와 동일하게 블록 분할하고, 각 블록마다 Cb성분, Cr성분의 총 집합을 각각 구해, 그 결과(Cb,Cr)를 Cb-Cr 좌표계의 점으로서 나타냈을 때의 진폭 R과 위상θ를 구하여, 이들을 위상 패턴의 해당 블록 위치에 대응하는 요소값으로서 설정한다. 위상 패턴은 각 요소 위치마다 진폭과 위상을 취하는 배열이며, 그 각 요소는 차분 영상의 각 블록과 대응되고 있다.

다음으로 위상 차분 계측부(360)는, 도 139와 같이, 위상 패턴 버퍼(370)에 축적되어 있는 이전에 취득한 위상 패턴과, 현재 취득한 위상 패턴을 비교하고, 각 요소의 위상차에 기초하여 + 또는 - 부호를 결정하고, 또한 2개의 위상 패턴 각각의 진폭이 클수록 큰 값을 취하는 단조증가함수를 이용하여 새로운 진폭을 결정하고, 상기 부호와 상기 진폭을 값으로서 갖는 차분 영상(B)의 각 요소값을 결정한다.

도 140a,b는, 본 발명의 제25 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면이다.

현재 취득한 위상 패턴의 어느 요소의 위상값 θ와, 이전에 취득한 위상 패 턴이 대응하는 요소의 위상값 θ'의 위상차 θ-θ'를 구하고, 그 값이 0~π의 범위 내에 있으면 부호 "+"를, -π~0의 범위 내에 있으면 부호 "-"를 선택하도록 한다. 또, 현재 취득한 위상 패턴의 어느 요소의 진폭값 R과, 이전에 취득한 위상 패턴이 대응하는 요소의 진폭값 R'로부터, 새로운 진폭값 ρ를 구하는데 이용하는 단조증가함수의 예로서는, 예를 들면 ρ(R,R')=R+R'이라든지, ρ(R,R')=R*R' 등을 이용할 수 있다. 진폭값 R,R'에 대해 단조증가로 하는 이유는, 워터마크 신호가 강하게 남아있는 것일수록, 즉, 진폭 R,R'이 큰 것일수록 가중치를 부여함으로써 전자 워터마크 검출성능을 개선하기 위해서이다.

모든 요소에 대해 부호선택과 새로운 진폭값을 구하는 처리를 종료한 후, 차분 영상(B)을 전자 워터마크 검출부로 보내, 차분 영상(B)으로부터의 워터마크 검출을 시도한다. 또한, 이번에 취득한 위상 패턴은 나중의 검출 시행에서 이용하므로 위상 패턴 버퍼(370)에 축적해 둔다.

다음으로, 검출시의 캡처 타이밍이 다른 예를 몇 개 이용하여 본 실시형태의 원리를 설명한다.

도 141의 캡처 예 A는, 1/15초마다, 즉 1프레임 걸러 프레임 캡처를 수행하는 예이다. 인접 캡처 프레임(도 141에서는 (1),(2),(3),(4)...등으로 표기)사이에서 얻어지는 차분 영상(A)(도 141에서는 (a),(b),(c),...등으로 표기)중의 워터마크 패턴의 Cb-Cr값을 생각하면, 도 133의 부호 패턴이 양의 요소에 대해서는 도 142와 같이, 음의 요소에 대해서는 도 143과 같이 Cb-Cr 성분값을 벡터로 간주한 경우의 차분을 구한 결과가 나타난다. 이것은 차분 영상의 계산이 Cb성분, Cr성분 의 각항의 차분 계산에 대응하기 때문이며(이에 따라 원 영상 성분이 대폭 억압된다), 차분 영상(A) 중에서는, 도 142나 도 143과 같은 복수의 위상이 얻어지는 것은 제21 실시형태에서 서술한 대로이다.

본 실시형태에서는 차분 영상(A)을 얻은 후, 차분 영상(A)의 Cb-Cr 성분의 위상값을 토대로 위상 패턴을 생성하고, 시간적으로 인접하고 있는 위상 패턴간의 위상차를 계측하고 있다(도 141에서는 위상 패턴간의 위상 차분 데이터를 (α),(β),(γ),...등으로 표기). 그 상황을 도 144(부호 패턴이 양의 경우) 및 도 145(부호 패턴이 음의 경우)에 나타낸다. 도 144 및 도 145에서는, 위상의 차를 구함으로써, 위상 패턴의 위상차로부터 임베딩시의 워터마크 패턴의 위상차 2π/3가, 어떠한 인접 캡처 프레임간에서도 동일하게 얻어지는 것을 알 수 있다.

본 실시형태에서는, 위상차의 플러스(+), 마이너스(-)를 이용하여 차분 영상(B)의 부호를 결정하고 전자 워터마크 검출을 수행하는데, 지금 서술한 대로 위상차가 임베딩시의 부호 패턴과 대응되고 있으므로, 전자 워터마크 검출이 가능하다는 것은 자명하다. 즉, 캡처 프레임의 어떤 타이밍에서도 동일하게 전자 워터마크 검출을 수행할 수 있다.

도 146에, 캡처 예 A(도 141)와는 다른 캡처 예 B를 나타낸다. 캡처 예 B는 캡처 예 A와 마찬가지로 1/15초마다 캡처하는데, 캡처 개시 타이밍이 어긋나 있는 경우이다. 캡처 예 B의 경우, 우선 차분 영상(A)을 생성하면, 캡처 예 A(도 141)와는 각 캡처 프레임에 임베딩되어 있는 워터마크 패턴의 위상이 어긋나 있기 때문에, 차분 영상(A) 중의 워터마크 패턴의 Cb-Cr값(위상 패턴의 위상값)의 조합은, 도 147 및 도 148과 같이 캡처 예 A의 경우(도 142 및 도 143)와 비교하여 다르다. 이에 따라, 차분 영상(A) 중의 워터마크 패턴의 Cb-Cr값(위상 패턴의 위상값)의 조합만으로부터 워터마크 정보를 검출하는 제21 실시형태의 경우에서는, 부호 패턴 "+" 또는 "-"를 분류할 수 있으나, 2개의 그룹 중 어느 쪽이 "+"이고 "-"인지 알 수 없다는 것을 알 수 있다.

그러나, 본 실시형태에서는 도 149 및 도 150과 같이 인접하는 차분 영상(A)의 위상차를 계측함으로써, 항상 임베딩시의 부호 패턴 요소와 동일한 부호를 검출할 수 있다. 즉, 본 실시형태에 따르면, 캡처 예 A와 캡처 B의 차이는 없으며, 임의의 캡처 개시 타이밍에서 동일하게 전자 워터마크 검출을 수행할 수 있다.

도 151에 캡처 예 A,B와는 다른 캡처 예 C를 나타낸다. 캡처 예 C는, 캡처 타이밍이 1/30초 간격이었다가 1/15초 간격이었다가 일정하지 않은 경우이다. 캡처 예 C의 경우, 우선 차분 영상(A)을 생성하면, 도 152 및 도 153과 같이 캡처 예 A 및 캡처 예 B와는 다른 조합으로, 차분 영상(A) 중의 Cb-Cr값(위상 패턴 중의 위상값)이 얻어진다. 또 캡처 예 C와 같이 캡처의 시간간격이 각각 다른 경우에는, 차분 영상(A) 중의 Cb-Cr값(위상 패턴 중의 위상값)을 2개로 분류하는 것이 곤란하므로, 제21 실시형태와 같은 방법으로는 검출이 곤란하다.

그러나, 본 실시형태에서는, 도 154 및 도 155와 같이 인접하는 차분 영상(A)의 위상차를 계측한다. 이때, 위상차 값은 캡처 시간간격이 변동함에 따라 제각각이지만, 위상차로부터 정해지는 부호(0~π→+, -π~0→-)는, 캡처 시간간격에 상관없이 일정하고, 또한 임베딩시의 부호 패턴과 동일한 값을 취한다. 이에 따라, 본 실시형태에 따르면 캡처 예 C와 같이 캡처 시간간격이 변동하는 경우에도, 문제없이 전자 워터마크 검출을 수행할 수 있다.

도 156에, 캡처 예 A,B,C와는 다른 캡처 예 D를 나타내는 동영상 카메라 캡처 등의 경우에서는, 셔터 속도가 느린 경우에 1장의 캡처 프레임에 복수의 동영상 프레임이 다중으로 노출되어 합성되어버리는 경우가 있다. 예를 들면 도 156의 캡처 예 D에서는, 1/30초마다 표시되고 있는 동영상 프레임이 다중노출에 의해 1장의 캡처 프레임으로 합성되어 있다. 그러나, 이 합성에서 얻어지는 캡처 프레임 중의 워터마크 패턴의 위상은 다중화된 각각의 동영상 프레임 중의 위상의 합성이므로(복수 프레임의 Cb,Cr 성분 각 항을 적당한 비율로 가중평균함으로써 합성 영상을 얻을 수 있으므로), 도 157과 같이 다중화된 각각의 동영상 프레임 중의 위상의 중간값을 취한다(도 157은 2장의 프레임이 정확히 1:1의 비율로 다중노출에 의해 합성된 예를 나타내고 있으나, 예를 들면 2:1 등에서도 그 내분비율에 따른 중간값을 취하는 것은 명백하다). 캡처 예 D의 경우, 우선 차분 영상(A)을 생성하면, 도 158 및 도 159와 같이 캡처 예 A,B,C와는 다른 조합으로, 차분 영상(A) 중의 Cb-Cr값(위상 패턴 중의 위상값)이 얻어진다. 캡처 예 D와 같이 다중노출된 캡처 프레임의 경우, 차분 영상(A) 중의 Cb-Cr값(위상 패턴 중의 위상값)을 2개로 분류하는 것이 곤란하므로, 제21 실시형태와 같은 방법으로는 검출이 곤란해진다.

그러나, 본 실시형태에서는 도 160 및 도 161과 같이 인접하는 차분 영상(A)의 위상차를 계측함으로써, 항상 임베딩시의 부호 패턴 요소와 동일한 부호를 검출할 수 있다. 즉, 본 실시형태에 따르면 캡처시의 타이밍이 동영상 프레임 표시 시각보다 작은 임의의 시간 쉬프트(shifts)에 대해, 가령 캡처 프레임 중에 복수의 동영상 프레임이 다중노출되어 합성되어 있는 경우라 하더라도, 마찬가지로 전자 워터마크 검출을 수행할 수 있다.

이 '차분으로부터 얻어지는 워터마크 패턴이 캡처 타이밍 및 캡처 시간간격, 혹은 셔터 속도 등에 상관없이 항상 일정'하다는 특성은 극히 중요하다. 예를 들면, 제1 실시형태의 변조방법(A-1)은 차분 영상 중의 워터마크 패턴이 반전하면 검출 워터마크 정보의 비트가 반전하므로, 위상을 특정하기 위해서 제4 또는 제5 실시형태와 같은 방법을 필요로 했다.

또, 제1 실시형태의 그 밖의 변조 방법도, 예를 들면 제6 또는 제9 실시형태와 같이, 워터마크 정보나 검출 대상 영역의 검출 성능 향상을 위해 차분 영상을 축적할 때, 위상을 맞출 필요가 있으므로 각종 방법을 이용했으나, 본 실시형태를 이용함으로써 이 문제는 일체 해소되며, 차분 취득 방법에 관계없이 워터마크 패턴은 일정하므로 당연히 검출 워터마크 정보의 비트 반전은 일어나지 않으며, 차분 영상(본 실시형태에 따른 차분 영상(B))의 가산 축적시에 위상에 신경쓰지 않고 단순히 가산만 하면 된다.

또, 제8 실시형태와 같이 워터마크 정보를 데이터 블록으로 분할하여 시간방향으로 순차 임베딩을 수행하는 경우에, 제1 실시형태와 같은 변조방법에서는, 도 124에 나타낸 바와 같이 데이터 블록의 경계에 걸친 차분 영상에서는, 올바르지 않은 워터마크 정보를 검출해버릴 위험성이 있었다. 따라서 안전을 확보하기 위해서는 데이터 블록 구간 사이에 워터마크를 임베딩하지 않는 구간을 끼울 필요가 있 으며, 이에 따라 단위시간당 워터마크 정보길이가 줄어드는 문제가 있었다.

그러나, 본 실시형태를 이용하면, 워터마크 정보는 위상 차분 변동에 의해 나타내어지므로, 직전의 데이터 블록 종단에서의 위상 패턴에, 이번 데이터 블록 정보를 나타내는 위상 차분 변동을 주어 임베딩을 수행하면, 검출시에 데이터 블록 경계에 걸친 차분 영상을 얻어도, 그 차분으로부터 올바르게 데이터 블록 정보를 검출할 수 있다. 이에 따라, 불필요한 블랭크를 끼워넣지 않고 연속적으로 데이터 블록을 전환하여 임베딩·검출할 수 있으므로, 단위시간당 워터마크 정보량을 증대시킬 수도 있다.

또한 제21 실시형태에서는 곤란했던 캡처 간격이 변동한 경우, 및 다중노출에 의해 복수의 동영상 프레임이 합성된 캡처 프레임이 되는 경우에도, 본 실시형태에 따르면 앞서 서술한 대로 문제없이 검출가능하며, 또한 상기 각 실시형태와의 조합에 따른 효과도 얻을 수 있다.

또한, 본 실시형태를 제1 내지 제24 실시형태의 각각의 방법을 임의로 조합해도 실시할 수 있음은 자명하다. 즉, 본 실시형태에 따른 위상 차분 계측부의 처리를 각 실시형태에서 대응하는 개소(전자 워터마크 검출부나 검출 대상 영역 추출부의 앞 등)에 임베딩하여 처리를 수행하면 앞서 서술한 효과를 실현할 수 있다. 다른 실시형태와 조합하는 경우는, 본 실시형태에 따른 차분 영상(B)을, 차분 영상 또는 검출 대상 영역 영상과 바꿔 읽으면 된다. 이하, 각 실시형태에 대해 본 실시형태의 방법을 적용하는 경우에 대해 간단히 설명하면,

·실시형태 1,2,3,4,5,6,7,8,9,10,11,12,21,22,23,24 : 전자 워터마크 검출 장치의 차분 영상 생성부의 출력을 차분 영상(A)으로 하여 위상 차분 계측부에 입력하고, 차분 영상(B)을 얻어 이를 전자 워터마크 검출부에 입력한다;

·실시형태 13,14,15,16,17,18,19,20 : 검출 대상 영역 추출부의 출력인 검출 대상 영역 영상을, 본 실시형태의 차분 영상(A)으로 하여 위상 차분 계측부에 입력하고, 차분 영상(B)을 얻어 이를 전자 워터마크 검출부에 입력한다;

와 같이 하면 된다.

<제25 실시형태의 효과>

본 실시형태에 따르면, 워터마크 정보를 위상 차분 변동을 이용하여 임베딩을 수행하고, 검출시에는 우선 차분 영상(A)을 생성하고, 또한 시간적으로 인접한 차분 영상(A)의 위상 차분을 계측하고, 위상차를 이용하여 얻어지는 차분 영상(B)으로부터 전자 워터마크 검출을 수행하므로, 앞서 서술한 대로 검출시의 캡처 타이밍 및 캡처 시간간격, 혹은 셔터 속도 등에 관계없이 항상 동일한 조건에서 전자 워터마크 검출이 가능해진다. 이에 따라 워터마크 정보의 비트 반전을 막거나, 차분 영상 축적시에 위상을 맞출 필요가 없어지고, 단순히 차분 영상을 가산 축적하도록 하면 되므로, 장치구성의 단순화, 처리의 고속화, 및 위상동기신호를 불필요로 함에 따른 워터마크 정보길이의 증대와 내성향상을 실현할 수 있다.

또, 제8 실시형태와 같은 데이터 블록 이용형의 경우에, 데이터 블록 사이에 불필요한 블랭크를 끼우지 않아도 검출정보의 신뢰성을 담보할 수 있으므로, 단위시간당 워터마크 정보길이의 증대를 실현할 수 있다. 또, 검출장치의 캡처 타이밍이 변동하는 경우나, 카메라 촬영 등에 의해 복수의 동영상 프레임이 다중노출에 의해 합성되어 캡처되는 경우에도, 아무 문제없이 전자 워터마크 검출이 가능하므로, 전자 워터마크 검출장치(200)의 동영상 입력부(210)의 구성을 간단히 하거나(정확한 클록으로 캡처하지 않아도 됨), 카메라와 같은 아날로그 광학적 독출을 사용하는 경우의 전자 워터마크 검출 성능을 향상시키는 것이 가능해진다.

[제26 실시형태]

본 실시형태에서는, 워터마크 정보를 위상 차분 변동을 이용하여 임베딩을 수행하고, 검출시에는 우선 차분 영상(A)을 생성하고, 또한 시간적으로 인접한 차분 영상(A)의 위상 차분을 계측하고, 위상차를 이용하여 얻어지는 차분 영상(B)을 생성하고, 차분 영상(B)을 가산 축적하여 검출 대상 영역을 추출하고, 검출 대상 영역 영상으로부터 전자 워터마크 검출을 수행하므로, 앞서 서술한 대로 검출시의 캡처 타이밍 및 캡처 시간간격, 혹은 셔터 속도 등에 관계없이 항상 동일한 조건에서 전자 워터마크 검출을 가능하게 하고, 촬영각도에 의해 발생하는 왜곡의 영향을 보정하고, 또한 축적에 의해 워터마크 내성을 향상시켜, 보다 안정적인 전자 워터마크 검출을 실현하는 것이다.

도 162는, 본 발명의 제26 실시형태에 따른 전자 워터마크 임베딩장치의 구성도이다.

도 162에 나타낸 전자 워터마크 임베딩장치(100)는, 프레임 영상 취득부(110), 워터마크 패턴 생성부(120), 워터마크 패턴 중첩부(130), 동영상 데이터 재구성부(140)로 구성된다. 본 실시형태의 전자 워터마크 임베딩장치(100)는, 원 동영상 데이터, 워터마크 정보, 워터마크 패턴 전환 정보를 입력으로 한다.

도 163은, 본 발명의 제26 실시형태에 따른 전자 워터마크 임베딩장치의 동작흐름도이다.

S100) 우선 프레임 영상 취득부(110)에서 도 164와 같이 원 동영상 데이터로부터 프레임 영상 및 상기 프레임 영상의 표시시각을 1장씩 순차 취득한다. 여기서 프레임 영상 표시시각이란, 예를 들어 타임코드와 재생시의 프레임 레이트로부터 정해지는 동영상 시작부터 측정된 절대적인 시각을 나타내는 것이어도 좋고, 또는 재생시 프레임간의 상대적인 시간간격을 측정할 수 있는 것이어도 좋다. 프레임 영상 취득부(110)는, 입력 동영상 데이터가 MPEG 등의 부호화 데이터인 경우는 복호 등을 수행하여 프레임 영상을 취득한다.

S110) 이어, 워터마크 패턴 생성부(120)에서, 워터마크 정보, 프레임 표시시각, 워터마크 패턴 전환 정보를 이용하여 워터마크 패턴을 생성한다.

S120) 이어, 워터마크 패턴 중첩부(130)에서, 상기 워터마크 패턴을 프레임 영상에 중첩하여 워터마크 임베딩된 프레임 영상을 생성한다.

S130) 마지막으로, 동영상 데이터 재구성부(140)에서, 순차 생성되는 워터마크 임베딩된 프레임 영상의 예를, 동영상 데이터로서 재구성하여 워터마크 임베딩 동영상 데이터로서 출력한다. 이때, 필요하다면 MPEG 인코드 등의 부호화를 수행해도 좋다.

도 165는, 본 발명의 제26 실시형태에 따른 워터마크 패턴 생성부의 구성도이며, 도 166은, 본 발명의 제26 실시형태에 따른 워터마크 패턴 생성부의 동작흐름도이다.

워터마크 패턴 생성부(120)는, 기본 워터마크 패턴 생성부(121)와 워터마크 패턴 전환부(122)를 가지며, 워터마크 정보, 워터마크 패턴 전환 정보, 프레임 표시시각을 입력으로 한다.

S2100) 우선 기본 워터마크 생성부(121)에서, 워터마크 정보를 2차원 패턴인 기본 워터마크 패턴으로 변환한다. 이 변환방법은, 제1 실시형태에 나타낸 바와 같이 다양한 방법이 있을 수 있으나, 본 실시형태에서는 설명을 간단히 하기 위해 제1 실시형태의 변조방법을 이용하기로 한다.

도 167에 기본 워터마크 패턴 생성부(121)의 처리 예를 나타낸다. 본 실시형태에서는, 워터마크 정보의 비트값을 확산계열에 의해 직접 스펙트럼 확산변조하여 얻어지는 계열의 값에 따라, 화소값의 대소를 대응시키는 방법을 이용한다. 이때 기본 워터마크 패턴의 각 화소값은 플러스(+) 또는 마이너스(-)의 값을 취하는 것으로 한다.

S2110) 워터마크 패턴 생성부(120)는, 이어 워터마크 패턴 전환부(122)에서, 프레임 표시시각과 워터마크 패턴 전환 정보의 관계로부터, 기본 워터마크 패턴의 위상 반전 필요 여부를 판정하고, 필요에 따라 기본 워터마크 패턴의 위상을 변경하고, 워터마크 패턴으로서 출력한다.

도 168은, 본 발명의 제26 실시형태에 따른 워터마크 패턴 전환부의 구성도이다.

워터마크 패턴 전환부(122)는, 부호 패턴 생성부(1221), 워터마크 패턴 전환 위상 변동값 산출부(1222), 워터마크 위상 차분 패턴 생성부(1223), 워터마크 위상 패턴 생성부(1224), 워터마크 위상 패턴 영상화부(1225)를 갖는다.

도 169는, 본 발명의 제26 실시형태에 따른 워터마크 패턴 전환부의 동작흐름도이다.

S2200) 워터마크 패턴 전환부(122)는, 우선 부호 패턴 생성부(1221)에서, 기본 워터마크 패턴을 부호 패턴으로 변환한다.

S2210) 이어 워터마크 패턴 전환 위상 변동값 산출부(1222)에서, 프레임 표시시각으로 나타내어지는 직전의 프레임과 이번 프레임의 시간차에 기초하여, 워터마크 패턴 전환 정보로 나타내어지는 워터마크 패턴 전환 위상의 차분값을 구해, 이것을 워터마크 패턴 전환 위상 변동값으로 한다.

S2220) 이어 워터마크 위상 차분 패턴 생성부(1223)에서, 부호 패턴으로 나타내어지는 부호를 가지며, 워터마크 패턴 전환 위상 변동값을 절대치로서 갖는 워터마크 위상 차분 패턴을 생성한다.

S2230) 이어 워터마크 위상 패턴 생성부(1224)에서, 직전의 프레임에 대한 워터마크 위상 패턴의 각 요소값에 대해, 이번 워터마크 위상 차분 패턴을 위상차로서 부여하여, 이번 워터마크 위상 패턴을 얻는다.

S2240) 마지막으로 워터마크 위상 패턴 영상화부(1225)에서, 워터마크 위상 패턴을 영상 패턴으로 변환하고, 그 결과를 워터마크 패턴으로서 출력한다.

도 170은, 본 발명의 제26 실시형태에 따른 워터마크 패턴 전환 정보의 예를 설명하기 위한 도면이다.

본 실시형태에 따른 전자 워터마크 임베딩장치(100)의 워터마크 패턴 생성 부(120)의 워터마크 패턴 전환 정보는, 패턴 반전에 대해 직접적으로 지시하는 정보가 아니라, 6/30초가 1주기가 되는 정현파 등 연속적인 함수로 표현되는 것으로, 구체적으로는 정현파의 주기를 나타내는 정보이다. 실제로는 입력되는 동영상은 특정의 프레임 레이트, 예를 들면 30프레임/초와 같은 이산적인 프레임 영상군으로서 주어지므로, 도 170의 아래 도면과 같이, 정현파상을 이산적으로 샘플링하여 임베딩에 이용하게 된다. 또한, 본 실시형태에서는 이하에 나타내는 것과 같이, 정현파 주기에 대한 위상 값을 이용한다.

도 171은, 본 발명의 제26 실시형태에 따른 전자 워터마크 패턴 전환부의 처리를 설명하기 위한 도면이다.

워터마크 패턴 전환부(122)에서는, 우선 입력된 기본 워터마크 패턴의 농담값을, 부호 패턴으로 변환한다. 부호 패턴은, 기본 워터마크 패턴의 각 농담값의 + 또는 - 부호를 취출하여, 크기를 1로 한 값을 각 요소값으로서 갖는 배열이다.

다음으로, 입력된 프레임 표시시각을 워터마크 패턴 전환 정보의 시간축으로 하고, 프레임 표시시각에 대응하는 워터마크 패턴 전환 정보의 주기에 대한 위상(이하 워터마크 패턴 전환 위상이라 함)을 취득한다. 그리고, 직전의 프레임에 대한 워터마크 패턴 전환 위상간의 위상 변동값을 구해(도 171에서는 +π/3), 이것을 워터마크 패턴 전환 위상 변동값으로 하고, 이 워터마크 패턴 전환 위상 변동값에 부호 패턴의 요소값을 곱한 것을 워터마크 위상 차분 패턴으로 한다. 그리고 직전의 프레임에 대응하는 워터마크 위상 패턴의 각 요소값에 대해 워터마크 위상 패턴의 각 요소값을 위상 변동량으로서 주어, 이번 워터마크 위상 패턴으로 한다. 워 터마크 위상 패턴은 부호 패턴과 동일한 사이즈의 배열이며, 각 요소는 0~2π의 위상값을 취한다. 워터마크 위상 패턴의 각 요소의 초기값은 임의의 값이어도 무관하다.

상기와 같이 워터마크 위상 패턴을 취득한 후, 워터마크 위상 패턴 영상화부(1225)에서 워터마크 위상 패턴을 워터마크 패턴으로 변환한다. 변환방법으로는, 예를 들면 도 172에 나타내는 바와 같이, 워터마크 위상 패턴의 각 요소값을, 영상의 2개 이상의 성분, 도면에서는 YCbCr 표색계의 Cb와 Cr을 직교축에 둔 좌표계의 원점(0,0)을 중심으로 한 반지름r(r은 주어진 값)인 원 위의, 각도가 위상 패턴 요소값인 점에 대응시킨다. 이 결과 얻어지는 Cb-Cr 좌표계의 Cb좌표, Cr좌표를, 상기 위상 패턴의 요소에 대응하는 워터마크 패턴의 화소값으로 하고, 모든 워터마크 패턴의 화소값을 구한다. 이렇게 하여 얻어진 워터마크 패턴은, 각 화소 복수의 성분값을 갖는 패턴이 된다.

또한, 본 실시형태에서는, Cb, Cr을 예로 이용했으나, RGB 표색계의 R-G를 이용하거나, 혹은 XYZ 표색계의 X-Y를 이용하거나, HSV 표색계의 Hue-Saturation를 이용(이 경우는, Hue-Saturation을 직교좌표에 두는 것이 아니라, 위상값을 직접 Hue값으로 설정하고, 주어진 Saturation 값을 갖도록 해도 좋다)하는 등, 다양한 방법이 있을 수 있다.

또, 각 축마다의 변동량에 대한 시각감도가 다른 경우에는, 적절히 스케일을 보정하여 각 축의 변동량과 시각감도가 일치하도록 해도 좋다(예를 들면 도 134에서 원이 아닌 타원을 이용하는 등). 본 실시형태에서는, YCbCr 표색계에서는 Y에 비해 지각되기 어렵다는 이유로 Cb와 Cr성분을 이용한 예를 나타내었다. 또, 복수의 영상성분이 아니라, 단일성분, 예를 들면 휘도성분 등을 이용하여 본 실시형태를 실시하기 위해서는, 제1 실시형태의 변조방법(A-2)과 같이, 기본 워터마크 패턴에 파형 패턴을 이용하여, 파형 패턴의 위상을 변동시킴으로써 본 실시형태와 마찬가지로 위상 차분 변동을 이용한 전자 워터마크 임베딩을 실현할 수 있다.

이와 같이하여 얻어진 워터마크 패턴을, 도 173에 나타낸 바와 같이, 워터마크 패턴 중첩부(130)에서 적절히 워터마크 패턴의 진폭을 변경하여 순차 프레임 영상에 중첩함으로써, 워터마크가 임베딩된 동영상이 얻어지는 것에 대해서는 제1 실시형태와 동일하다. 이때, 워터마크 패턴을 프레임 영상 이하의 사이즈로 스케일링하고, 프레임 영상의 중앙에 중첩하는 것으로 한다. 또한, Cb-Cr을 이용한 경우, 워터마크 패턴의 진폭을 조정한다는 것은, Cb-Cr 좌표계에서의 진폭(도 172에서의 점 a0과 원점과의 거리)을 증감하는 것이 된다. 또, Hue-Saturation을 이용하는 경우는 Saturation을 증감하는 것에 해당한다.

또, 기본 워터마크 패턴이 2진값이 아닌 복수의 값인 경우는, 기본 워터마크 패턴의 화소값의 절대치 크기에 따라, 대응하는 워터마크 패턴의 화소값 진폭을 증감시켜도 좋다. 마지막으로 동영상 데이터 재구성부(140)에서, 상기 처리에 의해 순차 생성되는 워터마크 임베딩된 프레임 영상을 동영상 데이터로서 재구성하여 워터마크 임베딩된 동영상 데이터로서 출력한다. 재구성시에는 MPEG 인코드 등의 부호화를 수행해도 좋다.

이상이 본 실시형태에 따른 전자 워터마크 임베딩장치의 설명이다.

다음으로, 본 실시형태에 따른 전자 워터마크 검출장치에 대해 설명한다.

도 174는, 본 발명의 제26 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

전자 워터마크 검출장치(200)는, 동영상 입력부(210), 특징영역 추출부(290), 차분 영상 생성부(230), 위상 차분 계산부(360), 검출 대상 영역 추출부(220), 전자 워터마크 검출부(240), 특징영역 영상 버퍼(302), 위상 패턴 버퍼(370), 차분 영상(B) 축적 버퍼(390)를 갖는다.

전자 워터마크 검출장치(200)는, TV 등에 디스플레이 표시된 아날로그 동영상, 혹은 MPEG 인코딩된 것과 같은 디지털 동영상을 입력으로 한다.

도 175는, 본 발명의 제26 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

S2300) 동영상 입력부(210)에서, 아날로그 또는 디지털 동영상을 입력하고 순차 프레임 영상을 취득한다. 아날로그 동영상의 입력시는 카메라나 스캐너, 혹은 아날로그 비디오신호 등을 입력하여 프레임 영상을 취득하고, 디지털 동영상이면 디코드 처리 등을 수행하여 프레임 영상을 취득한다.

S2310) 이어, 특징영역 추출부(290)에서, 제 16 실시형태와 동일하게 캡처한 프레임 영상 중의 특징영역을 추출하여 특징영역 영상을 얻는다.

S2320) 이어, 차분 영상 생성부(230)에서, 현재 취득한 특징영역 영상과, 특징영역 영상 버퍼(302)에 축적되어 있는 이전에 취득한 특징영역 영상과의 차분 영상을 생성하고, 차분 영상(A)으로서 출력한다.

S2330) 또, 다음 검출 시행에 대비하여, 특징영역 영상 버퍼(302)에 이번 특징영역 영상을 버퍼링해 둔다.

S2340) 이어 위상 차분 계측부(360)에서, 차분 영상(A)을 위상 패턴으로 변환한다.

S2350) 위상 차분 계측부(360)에서, 현재 취득한 위상 패턴과, 위상 패턴 버퍼(370)에 축적되어 있는 이전에 취득한 위상 패턴과의 위상차를 계측하고, 이 위상차와 상기 2개의 위상 패턴의 진폭값에 기초하여 새롭게 차분 영상(B)을 생성한다.

S2360~2380) 이어 검출 대상 영역 추출부(220)에서, 이번 차분 영상(B)을 차분 영상(B) 축적 버퍼(390)에 가산 축적하고, 축적된 차분 영상(B)으로부터 검출 대상 영역을 추출하고, 검출 대상 영역 영상을 얻는다.

S2390) 마지막으로, 전자 워터마크 검출부(240)에서, 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 시도하고, 검출결과를 출력한다.

S2400) 전자 워터마크 검출에 성공하지 못한 경우는, 동영상 입력부(210)에서 다음 프레임 영상을 취득하고 상기 처리를 순차 반복한다.

도 176은, 본 발명의 제26 실시형태에 따른 특징영역 추출부의 처리를 설명하기 위한 도면이다.

특징영역 추출부(290)는, 프레임 영상을 입력으로 하고, 프레임 영상 중의 특징영역을 제16 실시형태 등과 동일하게 추출하고, 특징영역 영상을 얻는다.

도 177은, 본 발명의 제 26 실시형태에 따른 차분 영상 생성부의 처리를 설 명하기 위한 도면이다. 차분 영상 생성부(230)는 특징영역 영상을 입력으로 한다. 차분 영상 생성부(230)는, 현재 입력된 특징영역 영상과, 특징영역 영상 버퍼(302)에 축적되어 있는 이전에 취득한 특징영역 영상의 차분 영상을 생성하고, 차분 영상(A)으로서 출력한다. 차분 처리는, R.G.B나 Y, Cb, Cr 등의 각 성분마다 뺄셈에 의해 수행된다. 또, 다음 검출 시행에 대비해, 특징영역 영상 버퍼(302)에 이번 특징영역 영상을 버퍼링해 둔다.

도 178은, 본 발명의 제26 실시형태에 따른 위상 차분 계산부의 처리 내용을 설명하기 위한 도면이다.

위상 차분 계측부(360)는, 차분 영상(A)을 입력으로 한다. 위상 차분 계측부(360)는, 차분 영상(A)의 각 화소마다 Cb성분, Cr성분을 각각 구해, 그 결과(Cb,Cr)를 Cb-Cr 좌표계의 점으로서 나타냈을 때의 진폭 R과 위상θ를 구하여, 이들을 위상 패턴의 해당 화소 위치에 대응하는 요소값으로서 설정한다. 위상 패턴은 각 요소 위치마다 진폭과 위상을 취하는 배열이며, 그 각 요소는 차분 영상의 각 화소와 대응되고 있다.

다음으로 위상 차분 계측부(360)는, 도 179와 같이, 위상 패턴 버퍼(370)에 축적되어 있는 이전에 취득한 위상 패턴과, 현재 취득한 위상 패턴을 비교하고, 각 요소의 위상차에 기초하여 + 또는 - 부호를 결정하고, 또한 2개의 위상 패턴 각각의 진폭이 클수록 큰 값을 취하는 단조증가함수를 이용하여 새로운 진폭을 결정하고, 상기 부호와 상기 진폭을 값으로서 갖는 차분 영상(B)의 각 요소값을 결정한다.

도 180a,b에 위상차에 따른 부호 선택 방법의 예를 나타낸다. 현재 취득한 위상 패턴의 어느 요소의 위상값 θ와, 이전에 취득한 위상 패턴이 대응하는 요소의 위상값 θ'의 위상차 θ-θ'를 구하고, 그 값이 0~π의 범위 내에 있으면 부호 "+"를, -π~0의 범위 내에 있으면 부호 "-"를 선택하도록 한다. 또, 현재 취득한 위상 패턴의 어느 요소의 진폭값 R과, 이전에 취득한 위상 패턴이 대응하는 요소의 진폭값 R'로부터, 새로운 진폭값 ρ를 구하는데 이용하는 단조증가함수의 예로서는, 예를 들면 ρ(R,R')=R+R'이라든지, ρ(R,R')=R*R 등을 이용할 수 있다. 진폭값 R,R'에 대해 단조증가로 하는 이유는, 워터마크 신호가 강하게 남아있는 것일수록, 즉, 진폭 R,R'이 큰 것일수록 가중치를 부여함으로써 전자 워터마크 검출성능을 개선하기 위해서이다. 모든 요소에 대해 부호선택과 새로운 진폭값을 구하는 처리를 종료한 후, 차분 영상(B)을 출력한다. 또 다음 검출시행에 대비해, 위상 패턴 버퍼(370)에 이번 위상 패턴을 버퍼링해 둔다.

다음으로 검출 대상 영역 추출부(220)의 처리 내용을 설명한다.

검출 대상 영역 추출부(220)는 차분 영상(B)을 입력으로 한다. 검출 대상 영역 추출부(220)는, 입력된 차분 영상(B)을 차분 영상(B) 축적 버퍼(390)에 가산 축적한다.

도 181은, 본 발명의 제26 실시형태에 따른 차분 영상(B) 축적 버퍼를 설명하기 위한 도면이다. 차분 영상(B) 축적 버퍼(390)는, 차분 영상(B)과 동일한 사이즈의 화소 배열이며, 새로이 입력된 차분 영상(B)의 각 화소마다, 차분 영상(B) 축적 버퍼(390)가 대응하는 화소 위치에 화소값을 가산한다.

도 182는, 본 발명의 제26 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면이다. 검출 대상 영역 추출부(220)에서는, 상기와 같이 차분 영상(B)을 차분 영상(B) 축적 버퍼(390)에 가산 축적한 후, 차분 영상(B) 축적 버퍼(390)의 화소값을 절대치화하여, 그 중에서 제13 실시형태 등과 동일하게 검출 대상 영역을 추출한다. 그리고 절대치화 전의 차분 영상(B) 축적 버퍼(390)의 검출 대상 영역 영상을, 주어진 사이즈의 직사각형이 되도록 왜곡 보정하고, 또한 사이즈 정규화하여 검출 대상 영역 영상을 생성하고 출력한다.

상기와 같은 처리에 따른 검출 대상 영역 추출부(220)의 효과를 설명한다. 위상 차분 계측부(360)에서 얻어지는 차분 영상(B)에 대해 생각해보면, 워터마크 패턴이 임베딩되어 있는 화소영역에 대해서는, 워터마크 패턴이 임베딩되어 있지 않은 화소영역에 비해 화소값의 절대치가 일반적으로 크다. 이것은 워터마크 패턴이 각 캡처 프레임마다 다르기 때문에, 워터마크 패턴이 임베딩되어 있는 화소영역에 대해서는 차분 영상(A)의 화소값의 절대치가 크지만, 워터마크 패턴이 임베딩되어 있지 않은 화소 영역에 대해서는 원화 성분이 시간상관이 높기 때문에, 차분 영상(A)의 화소값 절대치가 작기 때문이다. 또, 위상 차분 계측부(360)에서, 위상 차분을 이용하여 차분 영상(B)의 화소값의 부호를 결정하고 있으므로, 제25의 실시형태에서 서술한 바와 같이, 캡처 타이밍에 상관없이, 워터마크 패턴이 임베딩되어 있는 화소영역에 대해서는 동일 화소 위치에서 항상 동일한 부호이다. 따라서 차분 영상(B) 축적 버퍼(390)에서 가산 축적하면, 가산할 때마다 절대치가 커지게 된다. 그러나 워터마크 패턴이 임베딩되어 있지 않은 화소영역에 대해서는, 부호가 동일 하지 않고 제각각이며, 앞서 서술한 화소값의 절대치가 작은 것과 함께, 가산 축적에 의해 화소값의 절대치는 그만큼 커지지 않아, 상대적으로 워터마크 패턴이 임베딩되어 있는 화소영역과의 콘트라스트가, 가산 축적할 때마다 커져 간다. 따라서, 가산 축적에 의해 얻어지는 차분 영상(B) 버퍼(390)의 화소값을 절대치화하면, 워터마크 패턴의 플러스(+), 마이너스(-)의 차이가 없어지고, 배경영역인 워터마크 패턴이 임베딩되어 있지 않은 화소 영역 중에, 워터마크 패턴이 임베딩된 화소영역이 높은 콘트라스트로 부상한다. 이에 따라 워터마크 패턴이 임베딩된 영역을 검출 대상 영역으로서 확실히 추출할 수 있다.

또한, 가산 축적에 의해 도 181과 같이 워터마크 패턴이 상대적으로 강해지므로, 후술할 전자 워터마크 검출에서 검출성능을 개선하고, 보다 높은 내성을 갖는 전자 워터마크 검출을 실현할 수 있다.

마지막으로 전자 워터마크 검출부(240)는 검출 대상 영역 영상을 입력으로 하고, 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 시도한다. 도 183을 이용하여 전자 워터마크 검출부(240)의 처리 예를 설명한다. 도 183은 전자 워터마크 임베딩시의 변조방법(A-1)에 대응하는 검출시의 복조방법이다(문헌 1).

우선, 검출 대상 영역 영상을 임베딩시의 워터마크 패턴의 블록 개수로 블록 분할한다. 다음으로 블록 내의 화소값의 합계를 구해, 블록 순으로 나열하여 1차원 계열인 검출 대상 계열을 얻는다. 이어, 임베딩시의 1비트에 대응하는 구간을 검출 대상 계열로부터 취출하고, 확산계열의 대응하는 구간과 상관연산을 수행한다. 상관값이 플러스의 큰 값이라면 비트값 "1"을 검출, 마이너스의 큰 값이라면 비트값 "0"을 검출하는 것으로 하여, 모든 비트에 대해 검출 처리를 수행한다. 또 필요에 따라 검출 처리를 마친 워터마크 정보에 오류정정·검출 복호 처리 등을 실시해도 좋다. 전자 워터마크 검출에 성공하지 못한 경우는 계속해서 동영상 입력부(210)의 프레임 캡처 처리로 복귀하고, 검출시행을 반복한다. 또는 동영상 입력이 종료하면 검출 처리를 종료한다.

<제26 실시형태의 효과>

본 실시형태에 따르면, 제25 실시형태와 마찬가지로 어떠한 타이밍에서 동영상을 캡처해도 문제가 없다는 효과와 더불어, 차분 영상(A)으로부터 차분 영상(B)을 각 화소마다 얻어, 차분 영상(B)을 가산 축적하고, 절대치화 한 것으로부터 검출 대상 영역을 추출하여 전자 워터마크 검출을 수행함으로써, 제19 실시형태의 효과를 더불어 더 구비할 수 있다.

또, 워터마크 정보를 위상 차분 변동을 이용하여 임베딩을 수행하므로, 차분 영상(B)의 가산 축적시에는 그대로 화소값을 가산하면 되며, 또한 워터마크 정보의 비트가 반전하지 않으므로, 제19 실시형태와 비교해도 보다 간편하고 효율적인 전자 워터마크 방식이 된다.

또, 본 실시형태에 따르면 다양한 방법으로 캡처한 프레임 레이트 영상 중의 어느 부분으로부터 전자 워터마크 검출을 수행하면 되는지를 특정하여, 다양한 촬영각도나 배경영상의 조건하에서도, 확실히 전자 워터마크 검출을 가능하게 할 수 있어, 전자 워터마크 검출 성능을 더 향상시키고 있다. 이에 따라 TV 등의 동영상을 카메라로 촬영하고, 촬영한 동영상으로부터 실시간 전자 워터마크 검출처리를 확실하게 수행할 수 있게 된다.

또, 상기 형태에 따른 전자 워터마크 임베딩장치(100), 전자 워터마크 검출장치(200)의 각 동작을 프로그램으로서 구축하고, 전자 워터마크 임베딩장치, 전자 워터마크 검출장치로서 이용되는 컴퓨터에 인스톨하여 실행시키거나 또는, 네트워크를 통해 유통시키는 것이 가능하다. 또, 해당 프로그램을 CD-ROM, 전자 메모리 등의 컴퓨터 독출 가능한 기록매체에 저장하여 이용하는 것도 가능하다.

또한, 본 발명은, 상기의 실시형태에 한정되는 것이 아니며, 특허청구 범위 내에서 얼마든지 변경 응용이 가능하다. 또, 본 발명은 전자 워터마크 기술에 적용가능하며, 본 발명은 상기 실시형태에만 한정되는 것이 아니라, 예를 들면 3차원 표시 시스템, 3차원 촬영 시스템이나 음성 정보 등에 적용, 적외선 등의 지각 불가능한 신호영역에 적용 등 다양한 적용이 가능하다.

[효과]

본 발명의 실시형태에 따르면, 동영상 프레임에 대해 시간적으로 전환하는 워터마크 패턴의 임베딩을 수행함으로써, 동영상의 각 프레임에 대해 고정된 패턴을 임베딩하는 것이 아니라, 고속으로 전환하는 패턴을 임베딩함으로써, 인간의 시각특성에 있어서 시간주파수 특성에 대해 고주파에 대한 시각감도가 낮다는 것이 알려져 있으므로, 워터마크 임베딩에 따른 화질열화를 저감할 수 있다.

또, 검출시에는 카메라 등 아날로그 입력 디바이스로부터 연속으로 입력되는 프레임 영상에 대해, 시간적으로 근접한 2장의 캡처 프레임 영상의 차분 영상을 생성하여 전자 워터마크 검출을 수행하므로, 전자 워터마크 신호에 있어서 잡음이 되는 원 영상신호를 대폭 억제할 수 있어 전자 워터마크 검출성능의 향상을 실현할 수 있다.

또, 임베딩시의 워터마크 패턴의 전환 타이밍을 검출측에서 이미 알고 있다면, 캡처한 2장의 프레임 시각을 이용하여, 차분 영상에 워터마크 패턴이 잔존하는 것을 선택할 수 있어, 불필요한 전자 워터마크 검출을 수행할 필요가 없어진다. 또한, 검출측의 카메라의 캡처 타이밍, 혹은 차분 영상 취득시의 2장의 영상의 시간차를, 워터마크 패턴 전환 타이밍에 맞춰 제어함으로써, 항상 차분 영상 중에 워터마크 패턴이 잔존하도록 할 수 있어, 효율적인 전자 워터마크 검출이 가능해진다.

또, 차분 영상 중의 워터마크 패턴 위상을 판정함으로써, 워터마크 패턴 위상의 반전에 의해 검출 워터마크 정보의 비트가 반전하는 타입의 변조방법을 이용한 경우에도, 올바른 워터마크 정보를 검출할 수 있다. 이때, 워터마크 정보 중의 1비트를 위상 판정용 플래그로서 이용해도 좋으며 혹은 워터마크 정보와는 별개의 위상판정용 전자 워터마크를 이용해도 좋다.

또, 연속되는 캡처에 의해 순차 얻어지는 차분 정보를, 위상을 맞춘 후에 가산 축적함으로써, 워터마크 패턴의 강도를 상대적으로 증가시켜, 축적 버퍼로부터의 전자 워터마크 검출을 시도함으로써, 1장의 차분 영상으로부터는 충분한 검출 성능을 얻을 수 없는 경우에도, 검출 가능하게 할 수 있다. 또한, 위상을 맞추기 위해서는 상기 위상반전 판정용 플래그를 이용하거나, 워터마크 정보와는 별개의 위상 판정용 워터마크를 이용하는 방법 외에, 스펙트럼 확산변조의 상관값 부호 극성을 이용하는 방법도 있을 수 있다.

또한, 전자 워터마크 검출시에 산출되는 상관값을 순차 가산 축적하고, 축적된 상관값을 평가하여 검출 가능 여부 판정을 수행함으로써, 1장의 차분 영상으로부터는 충분한 검출 성능을 얻을 수 없는 경우에도 검출 가능하게 할 수 있다. 이때, 차분 영상의 위상을 맞춤으로써, 상관값이 항상 동일한 위상으로 축적되도록 하거나, 상관값의 절대치를 축적하도록 해도 좋다.

또한, 임베딩 정보를 작은 데이터 블록으로 분할하고, 시간방향으로 데이터 블록을 전환하여 임베딩을 수행하고, 검출시는 데이터 블록마다 검출을 수행하여 얻어진 데이터 블록을 연결함으로써, 보다 긴 워터마크 정보의 임베딩·검출이 가능해진다. 또한, 하나의 차분 영상에 대한 처리와 마찬가지로, 작은 데이터 블록 검출마다 차분 위상 판정을 수행하거나, 데이터 블록의 순서를 나타내는 데이터 블록 ID를 임베딩에 의해 위상 판정을 겸하거나, 위상을 맞춘 차분 영상 축적을 수행하거나, 상관값의 축적을 수행하거나 하여, 전자 워터마크 검출성능을 더 향상시키는 것도 가능하다.

또한, 카메라로부터의 실시간 검출처리를 수행하는 상황하에서는, 전자 워터마크 검출처리 상황을, 실시간으로 피드백 출력함으로써, 상호작용성(interactivity)이 증대하여 편리성이 향상한다. 특히, 검출하기 쉬운 상황이 되도록 사용자를 촉구함으로써, 검출성능의 향상을 기대할 수 있다.

또한, 워터마크 정보를 워터마크 패턴의 위상 차분 변동으로서 임베딩을 수행함으로써, 차분 영상의 취득 타이밍에 관계없이, 일정한 워터마크 패턴을 포함하도록 차분 영상을 얻을 수 있다. 이에 따라 워터마크 정보의 비트 반전을 막거나, 차분 영상 축적시와 상관값 축적시에 위상을 맞출 필요가 없어지고, 단순히 차분 영상을 가산 축적하도록 하면 되므로, 장치구성의 단순화, 처리의 고속화, 및 위상동기신호를 불필요로 함에 따른 워터마크 정보길이의 증대와 내성향상을 실현할 수 있다. 또, 데이터블록이용형의 경우에, 데이터 블록 사이에 필요없는 블랭크를 끼우지 않아도 검출정보의 신뢰성을 담보할 수 있으므로, 단위시간당 워터마크 정보길이의 증대를 실현할 수 있다.

또, 본 발명의 실시형태에 따르면, 동영상 프레임에 대해 시간적으로 전환하는 워터마크 패턴 임베딩을 수행할 때, 동영상 데이터의 프레임 사이즈보다 작은 워터마크 패턴을 중첩한다. 또, 검출시에는 캡처로 얻어진 프레임 영상간의 차분 영상을 생성하고, 차분이 큰 영역, 즉 전자 워터마크 검출 대상이 되는 영역을 차분 영상 중으로부터 추출함으로써, 촬영각도나 배경영상에 관계없이 안정적인 전자 워터마크 검출을 실현할 수 있다.

또, 캡처 프레임마다 특징영역의 왜곡을 보정, 사이즈 정규화를 수행하여 얻어지는 특징영역 영상간의 차분 영상으로부터 검출 대상 영역을 추출함으로써, 촬영중에 카메라가 움직여도 안정적으로 검출 대상 영역을 추출할 수 있게 된다.

또한, 임베딩시에 다른 정보를 나타내는 복수의 워터마크 패턴을 영상 중의 오브젝트 등과 관련지어서 배치하여 중첩하고, 검출시에는 차분 영상 중으로부터 복수의 검출 대상 영역을 추출하도록 하여, 동시에 복수의 전자 워터마크 정보를 검출하거나 오브젝트마다 다른 정보를 추출할 수 있게 된다.

또한, 워터마크 정보를 위상 차분 변동을 이용하여 임베딩을 수행하고, 검 출시에는 우선 차분 영상(A)을 생성하고, 또한 시간적으로 인접한 차분 영상(A)의 위상 차분을 계측하고, 위상차를 이용하여 얻어지는 차분 영상(B)으로 부터 전자 워터마크의 검출을 수행하므로, 검출시의 캡처 타이밍 및 캡처 시간간격, 혹은 셔터 속도 등에 관계없이 항상 동일한 조건에서 전자 워터마크 검출이 가능해진다.

또한, 워터마크 정보를 위상 차분 변동을 이용하여 임베딩을 수행하고, 검출시에는 우선 차분 영상(A)을 생성하고, 또한 시간적으로 인접한 차분 영상(A)의 위상 차분을 계측하고, 위상차를 이용하여 얻어지는 차분 영상(B)을 생성하고, 차분 영상(B)을 가산 축적하여 검출 대상 영역을 추출하고, 검출 대상 영역 영상으로부터 전자 워터마크 검출을 수행하므로, 앞서 서술한 대로 검출시의 캡처 타이밍 및 캡처 시간간격, 혹은 셔터 속도 등에 관계없이 항상 동일한 조건에서 전자 워터마크 검출이 가능한 것 외에도, 촬영각도에 의해 발생하는 왜곡의 영향을 보정하고, 또한 축적에 의해 워터마크 내성을 향상시켜, 보다 안정적인 전자 워터마크 검출을 실현할 수 있게 된다.

또, 본 발명의 실시형태에 따르면, 동영상 프레임에 대해 시간적으로 전환 하는 워터마크 패턴의 임베딩을 수행할 때, 동영상 데이터의 프레임 사이즈보다 작은 워터마크 패턴을 중첩한다. 또, 검출시에는 캡처로 얻어진 프레임 영상간의 차분 영상을 생성하고, 차분이 큰 영역, 즉 전자 워터마크 검출 대상이 되는 영역을 차분 영상 중으로부터 추출함으로써, 촬영각도나 배경영상에 관계없이 안정적인 전자 워터마크 검출을 실현할 수 있다.

또, 캡처 프레임마다 특징영역을 추출하고, 특징영역의 왜곡을 보정, 사이즈 정규화를 수행하여 얻어지는 특징영역 영상간의 차분 영상으로부터 검출 대상 영역을 추출함으로써, 촬영중에 카메라가 움직여도 안정적으로 검출 대상 영역을 추출하는 것이 가능해진다.

또, 검출 대상 영역이나 특징영역 탐색시에, 이전에 전자 워터마크 검출 상황이 양호했을 때 위치의 근방만을 탐색함으로써, 보다 안정적인 영역 추출이 가능해진다.

또, 차분 영상을 가산 축적하고, 가산 축적한 차분 영상 중으로부터 검출 대상 영역을 추출함으로써, 더 안정적인 영역추출과 전자 워터마크 검출성능의 향상이 가능해진다.

또한, 임베딩시에 다른 정보를 나타내는 복수의 워터마크 패턴을 영상 중의 오브젝트 등과 관련지어서 배치하여 중첩하고, 검출시에는 차분 영상 중으로부터 복수의 검출 대상 영역을 추출하도록 하여, 동시에 복수의 전자 워터마크 정보를 검출하거나 오브젝트마다 다른 정보를 추출하는 것이 가능해진다.

또, 촬영시 프레임 영상 중의 검출 대상 영역의 화소 사이즈가 작은 경우 에, 자동적으로 줌인하여 보다 큰 화소 사이즈의 검출 대상 영역을 취득할 수 있다. 일반적으로 화소 샘플이 적어지면 전자 워터마크 검출이 곤란해지므로, 줌인하여 검출 대상 영역의 화소 샘플수를 증대시킴으로써, 전자 워터마크의 검출성능을 향상시킬 수 있다.

이상 서술한 대로, 본 발명의 실시형태에 따르면, 다양한 방법으로 전자 워터마크 검출 성능을 향상시킴으로써, TV 등의 동영상을 카메라로 촬영하고, 촬영한 동영상으로부터 실시간으로 전자 워터마크 검출 처리를 수행하는 것이 가능해진다.

또, 캡처한 프레임 영상 중의 어느 부분으로부터 전자 워터마크 검출을 수행하면 되는지를 특정하고, 다양한 촬영각도나 배경영상의 조건하에서도 확실하게 전자 워터마크 검출을 가능하게 할 수 있어, 전자 워터마크의 검출 성능을 더 향상시킨다. 이에 따라, TV 등의 동영상을 카메라로 촬영하고, 촬영한 동영상으로부터 실시간으로 전자 워터마크 검출 처리를 확실히 수행하는 것이 가능해진다.

본 발명의 실시형태에 의해, 예를 들면, TV에서 시청중인 영상을 카메라 내장 휴대전화기로 촬영하여, 시청하는 프로그램 관련 정보를 취득하거나, 혹은 퀴즈프로그램이나 시청자 앙케이트의 선택지를 워터마크 검출에 의해 선택하고, 그 결과를 통신에 의해 방송국으로 보냄으로써, 실시간으로 프로그램 내용에 피드백하는 것과 같은 양방향 TV 방송을 실현하거나, 혹은 종래는 바코드 등을 필요로 했던 확장현실 시스템에서, 눈에 보이지 않는 전자 워터마크를 이용함으로써 바코드가 필요 없게 되어 부자연스러움을 해소하거나, 혹은 TV 게임 등에서 조작대상의 오브젝트를 워터마크 검출로 특정하는 등에 의해 게임 조작에 이용하거나, 혹은 거리의 오로라비젼(aurora vision) 등에서 상기와 동일한 어플리케이션을 실시하거나, 혹은 PC(personal computer)등의 표시화면에 워터마크를 임베딩하고, 이것을 카메라 내장 휴대전화기로 촬영함으로써, PC에서 휴대전화기로 정보를 보내 기기를 연계하거나, 혹은 정지영상을 복제하여 임의의 n장(n은 2 이상의 정수)으로 하고, n 프레임의 동영상으로 간주하여 본 발명을 적용하고, 애니메이션 GIF 등의 방법으로 부호화해 두고, 이것을 브라우저화면 등으로 표시함으로써, 표시화면상의 정지영상에 대해서도 워터마크 임베딩·검출을 할 수 있도록 하거나, 혹은, PC상에서 HTML 등의 하이퍼텍스트를 해석하여 브라우저 등에 표시할 때, 하이퍼링크가 붙은 오브젝트의 표시영역에 본 발명을 이용하여 하이퍼링크 정보를 임베딩하여, PC의 표시화면상을 카메라 내장 휴대전화기로 촬영하여 휴대전화기에서 브라우즈를 하거나, 혹은 휴대전화기의 표시화면을 이용하여 상기 응용을 수행함에 따른 휴대전화기간 연계나 휴대전화기→PC 연계 등, 극히 광범위한 응용 분야를 가진다. 게다가, 종래부터 전자 워터마크 기술의 적용 목적인 저작권관리, 저작권보호 등에도 적용가능함은 명백하다.

도 1a는, 실시형태 개요 A의 전자 워터마크 임베딩방법의 흐름도이다.

도 1b는, 실시형태 개요 A의 전자 워터마크 검출방법의 흐름도이다.

도 2a는, 실시형태 개요 A의 전자 워터마크 임베딩장치의 구성도이다.

도 2b는, 실시형태 개요 A의 전자 워터마크 검출장치의 구성도이다.

도 3a는, 실시형태 개요 B의 전자 워터마크 임베딩방법의 흐름도이다.

도 3b는, 실시형태 개요 B의 전자 워터마크 검출방법의 흐름도이다.

도 4a는, 실시형태 개요 B의 전자 워터마크 임베딩장치의 구성도이다.

도 4b는, 실시형태 개요 B의 전자 워터마크 검출장치의 구성도이다.

도 5a는, 실시형태 개요 C의 전자 워터마크 임베딩방법의 흐름도이다.

도 5b는, 실시형태 개요 C의 전자 워터마크 검출방법의 흐름도이다.

도 6a는, 실시형태 개요 C의 전자 워터마크 임베딩장치의 구성도이다.

도 6b는, 실시형태 개요 C의 전자 워터마크 검출장치의 구성도이다.

도 7은, 본 발명의 제1 실시형태에 따른 전자 워터마크 임베딩장치의 구성도이다.

도 9는, 본 발명의 제1 실시형태에 따른 프레임 영상 취득부의 처리를 설명하기 위한 도면이다.

도 10은, 본 발명의 제1 실시형태에 따른 워터마크 패턴 생성부의 구성도이 다.

도 12는, 본 발명의 제1 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면(예1)이다.

도 13은, 본 발명의 제1 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면(예2)이다.

도 14a는, 본 발명의 제1 실시형태에 따른 워터마크 패턴 전환 정보의 예를 설명하기 위한 도면이다.

도 14b는, 본 발명의 제1 실시형태에 따른 워터마크 패턴 전환 정보의 예를 설명하기 위한 도면이다.

도 14c는, 본 발명의 제1 실시형태에 따른 워터마크 패턴 전환 정보의 예를 설명하기 위한 도면이다.

도 15는, 본 발명의 제1 실시형태에 따른 워터마크 패턴 전환부의 처리를 설명하기 위한 도면(예1)이다.

도 16은, 본 발명의 제1 실시형태에 따른 워터마크 패턴 전환부의 처리를 설명하기 위한 도면(예2)이다.

도 18은, 본 발명의 이용장면을 설명하기 위한 도면이다.

도 19는, 본 발명의 제1 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

도 22는, 본 발명의 제1 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면이다.

도 23은, 본 발명의 제1 실시형태에 따른 전자 워터마크 검출부의 처리 예를 설명하기 위한 도면이다.

도 24는, 본 발명의 제1 실시형태에 따른 효과를 설명하기 위한 도면이다.

도 25는, 본 발명의 제2 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

도 28a는, 본 발명의 제2 실시형태에 따른 효과를 설명하기 위한 도면이다.

도 28b는, 본 발명의 제2 실시형태에 따른 효과를 설명하기 위한 도면이다.

도 29는, 본 발명의 제3 실시형태에 따른 전자 워터마크 검출장치의 구성도 이다.

도 30은, 본 발명의 제3 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

도 31은, 본 발명의 제3 실시형태에 따른 캡처 타이밍 제어부의 처리를 설명하기 위한 도면(예1)이다.

도 32는, 본 발명의 제3 실시형태에 따른 캡처 타이밍 제어부의 처리를 설명하기 위한 도면(예2)이다.

도 33a는, 본 발명의 제3 실시형태에 따른 효과를 설명하기 위한 도면이다.

도 33b는, 본 발명의 제3 실시형태에 따른 효과를 설명하기 위한 도면이다.

도 34a는, 본 발명의 제4 실시형태에 따른 기본 워터마크 패턴 생성부의 처리를 설명하기 위한 도면이다.

도 34b는, 본 발명의 제4 실시형태에 따른 기본 워터마크 패턴 생성부의 처리를 설명하기 위한 도면이다.

도 36은, 본 발명의 제4 실시형태에 따른 효과를 설명하기 위한 도면(예1)이다.

도 37은, 본 발명의 제4 실시형태에 따른 효과를 설명하기 위한 도면(예2)이다.

도 38은, 본 발명의 제4 실시형태에 따른 효과를 설명하기 위한 도면(예3) 이다.

도 39는, 본 발명의 제5 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면이다.

도 41은, 본 발명의 제6 실시형태에 따른 전자 워터마크 검출부의 구성도이다.

도 44는, 본 발명의 제6 실시형태에 따른 차분 영상 축적 버퍼를 설명하기 위한 도면이다.

도 45는, 본 발명의 제7 실시형태에 따른 전자 워터마크 검출부의 구성도이다.

도 48a는, 본 발명의 제7 실시형태에 따른 검출 가능 여부 판정부의 처리 내용을 설명하기 위한 도면이다.

도 48b는, 본 발명의 제7 실시형태에 따른 검출 가능 여부 판정부의 처리 내용을 설명하기 위한 도면이다.

도 49는, 본 발명의 제8 실시형태에 따른 워터마크 패턴 생성부의 구성도이다.

도 52a는, 본 발명의 제8 실시형태에 따른 기본 워터마크 패턴 생성부의 처리를 설명하기 위한 도면이다.

도 52b는, 본 발명의 제8 실시형태에 따른 기본 워터마크 패턴 생성부의 처리를 설명하기 위한 도면이다.

도 53은, 본 발명의 제8 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

도 55는, 본 발명의 제8 실시형태에 따른 검출 데이터 블록 축적부의 구성도이다.

도 56은, 본 발명의 제8 실시형태에 따른 검출 데이터 블록 축적부의 동작 흐름도이다.

도 57은, 본 발명의 제8 실시형태에 따른 검출 데이터 블록 축적부의 처리를 설명하기 위한 도면(예1)이다.

도 58은, 본 발명의 제8 실시형태에 따른 검출 데이터 블록 축적부의 처리를 설명하기 위한 도면(예2)이다.

도 59는, 본 발명의 제 9 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면이다.

도 61은, 본 발명의 제10 실시형태에 따른 전자 워터마크 검출부의 구성도이다.

도 63은, 본 발명의 제11 실시형태에 따른 전자 워터마크 검출부의 구성도이다.

도 65는, 본 발명의 제12 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

도 66은, 본 발명의 제12 실시형태에 따른 전자 워터마크 검출장치의 동작 흐름도이다.

도 67은, 본 발명의 제12 실시형태에 따른 전자 워터마크 검출장치의 피드백 출력 예(예1)이다.

도 68은, 본 발명의 제12 실시형태에 따른 전자 워터마크 검출장치의 피드백 출력 예(예2)이다.

도 69는, 본 발명의 제12 실시형태에 따른 전자 워터마크 검출장치의 피드백 출력 예이다.

도 70은, 본 발명의 제13 실시형태에 따른 전자 워터마크 패턴 중첩부의 처리를 설명하기 위한 도면이다.

도 71은, 본 발명의 제13 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

도 75는, 본 발명의 제13 실시형태에 따른 효과를 설명하기 위한 도면(예1)이다.

도 76은, 본 발명의 제13 실시형태에 따른 효과를 설명하기 위한 도면(예2) 이다.

도 77은, 본 발명의 제13 실시형태에 따른 효과를 설명하기 위한 도면(예3)이다.

도 78은, 본 발명의 제13 실시형태에 따른 효과를 설명하기 위한 도면(예4)이다.

도 79는, 본 발명의 제14 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면이다.

도 81a는, 본 발명의 제14 실시형태에 따른 효과를 설명하기 위한 도면이다.

도 81b는, 본 발명의 제14 실시형태에 따른 효과를 설명하기 위한 도면이다.

도 82는, 본 발명의 제14 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면이다.

도 84는, 본 발명의 제16 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

도 85는, 본 발명의 제16 실시형태에 따른 전자 워터마크 검출장치의 동작 흐름도이다.

도 86은, 본 발명의 제16 실시형태에 따른 특징영역 추출부의 처리를 설명하기 위한 도면(예1)이다.

도 87은, 본 발명의 제16 실시형태에 따른 특징영역 추출부의 처리를 설명하기 위한 도면(예2)이다.

도 88은, 본 발명의 제16 실시형태에 따른 특징영역 추출부의 처리를 설명하기 위한 도면(예3)이다.

도 89는, 본 발명의 제16 실시형태에 따른 특징영역 추출부의 처리를 설명하기 위한 도면(예4)이다.

도 90은, 본 발명의 제16 실시형태에 따른 특징영역 추출부의 처리를 설명하기 위한 도면(예5)이다.

도 91은, 본 발명의 제16 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면(예1)이다.

도 92는, 본 발명의 제16 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면(예2)이다.

도 93은, 본 발명의 제16 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면(예3)이다.

도 94는, 본 발명의 제16 실시형태에 따른 특징영역 추출부의 처리를 설명하기 위한 도면이다.

도 96은, 본 발명의 제18 실시형태에 따른 검출 대상 영역 추출의 처리를 설명하기 위한 도면(예1)이다.

도 97은, 본 발명의 제18 실시형태에 따른 검출 대상 영역 추출의 처리를 설명하기 위한 도면(예2)이다.

도 98은, 본 발명의 제18 실시형태에 따른 검출 대상 영역 추출의 처리를 설명하기 위한 도면(예3)이다.

도 99는, 본 발명의 제18 실시형태에 따른 검출 대상 영역 추출의 처리를 설명하기 위한 도면(예4)이다.

도 100은, 본 발명의 제19 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

도 102는, 본 발명의 제19 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면(예1)이다.

도 103은, 본 발명의 제19 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면(예2)이다.

더 104는, 본 발명의 제19 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

도 105는, 본 발명의 제19 실시형태에 따른 전자 워터마크 검출장치의 동작 흐름도이다.

도 106은, 본 발명의 제19 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면(예1)이다.

도 107은, 본 발명의 제19 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면(예2)이다.

도 108은, 본 발명의 제20 실시형태에 따른 워터마크 패턴 중첩부의 처리를 설명하기 위한 도면(예1)이다.

도 109는, 본 발명의 제20 실시형태에 따른 워터마크 패턴 중첩부의 처리를 설명하기 위한 도면(예2)이다.

도 111은, 본 발명의 제20 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면(예1)이다.

도 112는, 본 발명의 제20 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면(예2)이다.

도 113은, 본 발명의 제20 실시형태에 따른 전자 워터마크 검출장치의 피드백 출력 예(예1)이다.

도 114는, 본 발명의 제20 실시형태에 따른 전자 워터마크 검출장치의 피드백 출력 예(예2)이다.

도 115는, 본 발명의 제20 실시형태에 따른 전자 워터마크 검출장치의 피드 백 출력 예(예3)이다.

도 116은, 본 발명의 제20 실시형태에 따른 전자 워터마크 검출장치의 피드백 출력 예(예4)이다.

도 117은, 본 발명의 제21 실시형태에 따른 전자 워터마크 패턴 전환 정보의 예를 설명하기 위한 도면이다.

도 118은, 본 발명의 제21 실시형태에 따른 전자 워터마크 패턴 전환부의 처리를 설명하기 위한 도면이다.

도 119는, 본 발명의 제21 실시형태에 따른 전자 워터마크 패턴 전환부의 처리를 설명하기 위한 도면이다.

도 120은, 본 발명의 제21 실시형태에 따른 차분 영상 생성부의 처리 예를 설명하기 위한 도면이다.

도 121은, 본 발명의 제21 실시형태의 원리를 설명하기 위한 도면(예1)이다.

도 122는, 본 발명의 제21 실시형태의 원리를 설명하기 위한 도면(예2)이다.

도 123은, 본 발명의 제21 실시형태의 원리를 설명하기 위한 도면(예3)이다.

도 124는, 본 발명의 제21 실시형태의 효과를 설명하기 위한 도면이다.

도 126a는, 본 발명의 제22 실시형태에 따른 필터 처리 예를 설명하기 위한 도면이다.

도 126b는, 본 발명의 제22 실시형태에 따른 필터 처리 예를 설명하기 위한 도면이다.

도 127은, 본 발명의 제23 실시형태에 따른 워터마크 중첩부의 처리를 설명하기 위한 도면이다.

도 128은, 본 발명의 제23 실시형태에 따른 워터마크 패턴 진폭 조정 예를 설명하기 위한 도면이다.

도 129는, 본 발명의 제24 실시형태에 따른 전자 워터마크 검출장치의 구성도이다.

도 130은, 본 발명의 제24 실시형태에 따른 전자 워터마크 검출장치의 동작흐름도이다.

도 131a는, 본 발명의 제24 실시형태의 효과를 설명하기 위한 도면이다.

도 131b는, 본 발명의 제24 실시형태의 효과를 설명하기 위한 도면이다.

도 132는, 본 발명의 제25 실시형태에 따른 워터마크 패턴 전환 정보의 예를 설명하기 위한 도면이다.

도 133은, 본 발명의 제25 실시형태에 따른 워터마크 패턴 전환부의 처리를 설명하기 위한 도면(예1)이다.

도 134는, 본 발명의 제25 실시형태에 따른 워터마크 패턴 전환부의 처리를 설명하기 위한 도면(예2)이다.

도 137은, 본 발명의 제25 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면이다.

도 138은, 본 발명의 제25 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면(예1)이다.

도 139는, 본 발명의 제25 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면(예2)이다.

도 140a는, 본 발명의 제25 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면(예3)이다.

도 140b는, 본 발명의 제25 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면(예3)이다.

도 141은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예1)이다.

도 142는, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예2)이다.

도 143은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예3)이다.

도 144는, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예4)이다.

도 145는, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예5)이다.

도 146은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예6)이다.

도 147은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예7)이다.

도 148은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예8)이다.

도 149는, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예9)이다.

도 150은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예10)이다.

도 151은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예11)이다.

도 152는, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예12)이다.

도 153은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예13)이다.

도 154는, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예14)이다.

도 155는, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예15)이다.

도 156은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예16)이다.

도 157은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예17)이다.

도 158은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예18)이다.

도 159는, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예19)이다.

도 160은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예20)이다.

도 161은, 본 발명의 제25 실시형태의 효과를 설명하기 위한 도면(예21)이다.

도 164는, 본 발명의 제26 실시형태에 따른 프레임 영상 취득부의 처리를 설명하기 위한 도면이다.

도 165는, 본 발명의 제26 실시형태에 따른 워터마크 패턴 생성부의 구성도이다.

도 166은, 본 발명의 제26 실시형태에 따른 워터마크 패턴 생성부의 동작흐름도이다.

도 167은, 본 발명의 제26 실시형태에 따른 기본 워터마크 패턴 생성부의 처리 예를 설명하기 위한 도면이다.

도 171은, 본 발명의 제26 실시형태에 따른 워터마크 패턴 전환부의 처리를 설명하기 위한 도면이다.

도 172는, 본 발명의 제26 실시형태에 따른 워터마크 위상 패턴 영상화부의 처리를 설명하기 위한 도면이다.

도 173은, 본 발명의 제26 실시형태에 따른 워터마크 패턴 중첩부의 처리를 설명하기 위한 도면이다.

도 177은, 본 발명의 제26 실시형태에 따른 차분 영상 생성부의 처리를 설명하기 위한 도면이다.

도 178은, 본 발명의 제26 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면(예1)이다.

도 179는, 본 발명의 제26 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면(예2)이다.

도 180a는, 본 발명의 제26 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면(예3)이다.

도 180b는, 본 발명의 제26 실시형태에 따른 위상 차분 계측부의 처리 내용을 설명하기 위한 도면(예3)이다.

도 181은, 본 발명의 제26 실시형태에 따른 차분 영상(B) 축적 버퍼를 설명하기 위한 도면이다.

도 182는, 본 발명의 제26 실시형태에 따른 검출 대상 영역 추출부의 처리를 설명하기 위한 도면이다.

도 183은, 본 발명의 제26 실시형태에 따른 전자 워터마크 검출부의 처리 예를 설명하기 위한 도면이다.

*부호의 설명

100 : 전자 워터마크 임베딩장치 110 : 프레임 영상 취득부

120 : 워터마크 패턴 생성부 121 : 기본 워터마크 패턴 생성부

122 : 워터마크 패턴 전환부 123 : 워터마크 정보 분해부

130 : 워터마크 패턴 중첩부 140 : 동영상 데이터 재구성부

200 : 정자 워터마크 검출장치 210 : 동영상 입력부

220 : 검출 대상 영역 추출부 230 : 차분 영상 생성부

240 : 전자 워터마크 검출부 241 : 차분 영상 위상 판정부

242 : 워터마크 정보 검출부 243 : 상관연산부

244 : 검출 가능 여부 판정부 246 : 데이터 블록 ID 검출부

247 : 데이터 블록 정보 검출부

248 : 데이터 블록 ID = n용 차분 영상 축적 버퍼

249 : 상관 연산부 250 : 검출 대상 영역 영상 버퍼

251 : 데이터 블록 ID = n용 상관값 버퍼

255 : 차분 영상 축적 버퍼 260 : 검출 필요 여부 판정부

265 : 피드백 출력부 270 : 캡처 타이밍 제어부

280 : 검출 데이터 블록 축적부 281 : 검출 데이터 블록 버퍼링부

282 : 검출 완료 확인부 283 : 검출 워터마크 정보 버퍼

290 : 특징영역 추출부 301 : 프레임 영상 버퍼

302 : 특징영역 영상 버퍼 303 : 차분 프레임 영상 버퍼

304 : 특징영역 차분 영상 버퍼 310 : 줌 처리부

360 : 위상 차분 계측부 370 : 위상 패턴 버퍼

390 : 차분 영상(B) 축적 버퍼 1221 : 부호 패턴 생성부

1222 : 워터마크 패턴 전환 위상 변동값 산출부

1223 : 워터마크 위상 차분 패턴 생성부

1224 : 워터마크 위상 패턴 생성부

1225 : 워터마크 위상 패턴 영상화부

Claims

동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치의 전자 워터마크 검출방법에 있어서,

동영상 입력 수단에서, 프레임 영상을 순차 취득하는 동영상 입력 단계;

차분 영상 생성 수단에서, 이번에 취득한 상기 프레임 영상과, 이전에 취득한 프레임 영상의 차분 영상을 생성하는 차분 영상 생성 단계;

전자 워터마크 검출 수단에서, 상기 차분 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하는 전자 워터마크 검출 단계;를 가지며,

상기 전자 워터마크 검출이 불가능했던 경우를 포함하는 전자 워터마크 검출처리를 계속 수행하는 경우는, 상기 동영상 입력 수단에서 새로운 프레임 영상을 다시 취득하고, 상기 각 단계를 반복하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 전자 워터마크 검출 단계에서 얻어진 워터마크 정보로부터 데이터 블록 ID와 데이터 블록 정보를 얻어, 검출 워터마크 정보 버퍼의 상기 데이터 블록 ID 정보에 검출한 데이터 블록 정보를 기록하고, 모든 데이터 블록 ID에 대해 검출이 완료된 경우에 전자 워터마크 검출이 성공했음을 출력하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항 또는 2항에 있어서,

상기 동영상 입력 단계는, 상기 프레임 영상과 상기 프레임 영상의 표시시각인 프레임 표시시각을 순차 취득하는 단계를 가지며,

상기 전자 워터마크 검출방법은, 전자 워터마크 임베딩시의 워터마크 패턴 전환 정보를 이용하여, 이번 프레임 표시시각과, 이전에 취득한 프레임 영상의 프레임 표시시각의 시간간격으로부터 검출 필요 여부를 판정하는 판정 단계를 더 가지며,

판정 단계에서 검출이 불필요하다고 판정된 경우는 상기 동영상 입력 수단에서 새로운 프레임 영상을 다시 취득하고, 검출이 필요하다고 판정된 경우는 상기 차분 영상 생성 단계 이후의 처리를 계속 수행하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 전자 워터마크 검출방법은, 전자 워터마크 임베딩시의 워터마크 패턴 전환 정보를 이용하여, 프레임의 캡처 타이밍을 설정하는 캡처 타이밍 제어 단계를 가지며,

상기 동영상 입력 수단에서, 상기 캡처 타이밍에 기초하여 프레임 영상을 순차 취득하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 전자 워터마크 검출방법은, 전자 워터마크 임베딩시의 워터마크 패턴 전환 정보를 이용하여, 차분 영상을 얻기 위한 프레임간의 시간간격을 나타내는 차분 타이밍을 설정하는 단계를 가지며,

상기 동영상 입력 수단에서, 상기 프레임 영상과 상기 프레임 표시시각을 순차 취득하고, 상기 차분 영상 생성 수단에서, 이번에 취득한 프레임 영상과, 상기 차분 타이밍으로 지정되는 시간만큼 이전에 취득한 프레임 영상의 차분 영상을 생성하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 전자 워터마크 검출 단계는, 상기 차분 영상에 임베딩되어 있는 워터마크 패턴의 위상을 판정하고, 워터마크 패턴의 위상이 역상인 경우는, 검출한 워터마크 정보의 비트 반전을 수행하여, 전자 워터마크 검출상황을 출력하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 차분 영상 생성 단계에서 상기 차분 영상을 차분 영상 축적 버퍼에 가산하고, 상기 전자 워터마크 검출 단계에서, 상기 차분 영상 축적 버퍼로부터의 전자 워터마크 검출을 수행하여 워터마크 정보를 검출하고, 검출상황을 출력하는 것 을 특징으로 하는 전자 워터마크 검출방법.
제 7항에 있어서,

상기 전자 워터마크 검출방법은, 상기 차분 영상에 임베딩되어 있는 워터마크 패턴의 위상을 판정하는 단계와, 순차 처리되는 모든 차분 영상에서 해당 위상이 동상이 되도록 차분 영상을 변경하는 단계를 가지며, 이들 단계에서 얻어진 차분 영상을 이용하여 상기 차분 영상 생성 단계 및 상기 전자 워터마크 검출 단계를 실행하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 전자 워터마크 검출 단계는, 검출시에 산출되는 상관값을 검출 처리시마다 기억 수단에 축적하고, 축적된 상관값을 이용하여 검출 성공 여부를 판정하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 전자 워터마크 검출 단계는, 검출시에 산출되는 상관값의 절대치를 검출 처리시마다 기억 수단에 축적하고, 축적된 상기 상관값의 절대치를 이용하여 검출 성공 여부를 판정하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 6항에 있어서,

임베딩시에 이용한 워터마크 패턴 전환 정보와, 프레임 영상 취득시에 얻어지는 프레임 표시시각의 관계로부터, 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 6항에 있어서,

상기 차분 영상 중에 임베딩된 워터마크 패턴으로 표현된 워터마크 정보 중의 미리 정한 비트 위치의 비트값을 검출하고, 상기 비트값에 기초하여 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 6항에 있어서,

위상 판정용 워터마크를 검출하여 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 6항에 있어서,

워터마크 검출 처리에 의해 산출되는 상관값의 플러스(+) 마이너스(-) 극성을 이용하여 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 6항에 있어서,

상기 차분 영상으로부터의 전자 워터마크 검출을 수행하여 워터마크 정보인 데이터 블록 정보 및 데이터 블록 ID를 검출하고, 데이터 블록 ID 검출시의 상관값의 플러스(+) 마이너스(-) 극성을 이용하여 상기 차분 영상에 임베딩되어 있는 워터마크 패턴의 위상을 판정하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 차분 영상 생성 단계는,

이번에 취득한 프레임 영상과, 이전에 취득한 프레임 영상의 차분 영상을 생성하고, 또한 상기 차분 영상 중의 특정성분으로부터 위상값과 진폭값을 구하고, 상기 위상값이 주어진 복수 그룹의 어느 것에 속하는지를 판정하고, 그 판정결과와 상기 진폭값을 토대로 상기 차분 영상을 수정하여 출력하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 차분 영상 생성 단계는, 이번에 취득한 프레임 영상과, 영상 기억 수단으로부터 독출한 이전에 취득한 프레임 영상의 차분 영상(A)을 생성하고, 상기 이번에 취득한 프레임 영상을 상기 영상 기억 수단에 저장하는 단계를 가지며,

상기 전자 워터마크 검출방법은, 이번에 취득한 차분 영상(A)에 기초하여 위상 패턴을 생성하고, 이번에 취득한 위상 패턴과 위상 패턴 기억 수단으로부터 독출한 이전에 취득한 위상 패턴의 위상차를 계측하고, 위상차에 기초하여 차분 영상(B)을 생성하고, 상기 이번에 취득한 위상 패턴을 상기 위상 패턴 기억 수단에 저장하는 위상 차분 계측 단계를 가지며,

상기 전자 워터마크 검출 단계는, 상기 차분 영상(B)으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 17항에 있어서,

상기 위상 차분 계측 단계는,

상기 차분 영상(A)으로부터 위상 패턴을 생성할 때, 위상값과 함께 진폭값을 구하여 위상 패턴의 요소값으로 하는 단계;

상기 이번에 취득한 위상 패턴과 상기 이전에 취득한 위상 패턴의 위상차를 계측하고, 위상차에 기초하여 부호를 결정하는 단계;

또한 상기 이번에 취득한 위상 패턴과 상기 이전에 취득한 위상 패턴의 진폭값과, 부호에 기초하여 상기 차분 영상(B)을 생성하는 단계;

를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 18항에 있어서,

상기 위상 차분 계측 단계는,

상기 차분 영상(A)으로부터 상기 위상 패턴을 생성할 때, 상기 이번에 취득한 위상 패턴과 상기 이전에 취득한 위상 패턴의 진폭값에 대해 단조증가하는 값을 진폭으로 하고, 상기 부호와 조합하여 얻어지는 값에 기초하여 상기 차분 영상(B)을 생성하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 16항에 있어서,

상기 차분 영상 생성 단계에서의 상기 차분 영상 중의 특정성분이 복수의 성분인 것을 특징으로 하는 전자 워터마크 검출방법.
제 17항 내지 19항 중 어느 한 항에 있어서,

상기 위상 차분 계측 단계에서, 상기 차분 영상(A)으로부터 위상 패턴을 얻을 때, 상기 차분 영상(A) 중의 복수의 성분으로부터 얻어지는 좌표계의 위상 및 진폭을 이용하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 20항에 있어서,

상기 차분 영상 중의 특정성분이 Cb성분 및 Cr성분인 것을 특징으로 하는 전자 워터마크 검출방법.
제 17항에 있어서,

상기 전자 워터마크 검출방법은, 상기 차분 영상(B)을 차분 영상 축적 버퍼 에 가산하는 단계를 더 가지며,

전자 워터마크 검출 단계는, 상기 차분 영상 축적 버퍼로부터의 전자 워터마크 검출을 수행하여 워터마크 정보를 검출하고, 검출상황을 출력하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 전자 워터마크 검출방법은, 순차 취득되는 상기 프레임 영상에 대해, 이번 프레임 영상 중의 검출 대상 영역을 추출하고, 왜곡을 보정하고, 사이즈를 정규화하여 검출 대상 영역 영상을 생성하는 단계를 가지며,

상기 차분 영상 생성 단계에서, 이번에 취득한 검출 대상 영역 영상과, 이전에 취득한 검출 대상 영역 영상의 차분 영상을 생성하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 전자 워터마크 검출방법은, 순차 취득되는 상기 차분 영상으로부터 검출 대상 영역을 추출하여 검출 대상 영역 영상을 생성하는 단계를 가지며,

상기 전자 워터마크 검출 단계에서, 상기 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항에 있어서,

상기 프레임 영상을 순차 취득한 후에, 상기 프레임 영상으로부터 특징영역을 추출하여 왜곡 보정 및 사이즈 정규화를 수행하여 특징영역 영상을 생성하는 특징영역 추출 단계;

이번에 취득한 특징영역 영상과, 이전에 취득한 특징영역 영상의 차분 영상을 생성하는 상기 차분 영상 생성 단계;

상기 차분 영상으로부터 검출 대상 영역을 추출하여 검출 대상 영역 영상을 생성하는 검출 대상 영역 추출 단계;

상기 검출 대상 영역으로부터의 전자 워터마크 검출을 수행하는 상기 전자 워터마크 검출 단계;

를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 25항 또는 26항에 있어서,

상기 검출 대상 영역 추출 단계는, 상기 차분 영상으로부터 상기 검출 대상 영역을 추출할 때, 상기 차분 영상의 화소값을 절대치화하여 검출 대상 영역을 탐색하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 25항에 있어서,

상기 검출 대상 영역 추출 단계는, 상기 차분 영상으로부터 상기 검출 대상 영역을 추출할 때, 임베딩시의 기본 워터마크 패턴에 부가된 위치정렬 패턴을 이용 하여 검출 대상 영역을 탐색하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 25항에 있어서,

상기 검출 대상 영역 추출 단계는, 과거의 전자 워터마크 검출시행에서 검출상황이 양호했을 때의 검출 대상 영역 근방의 영역으로 한정한 탐색을 수행하여, 이번 검출 대상 영역 추출 처리를 수행하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 28항에 있어서,

상기 검출 대상 영역 추출 단계는, 상기 위치정렬 패턴을 이용하여, 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 25항에 있어서,

상기 검출 대상 영역 추출 단계는, 상기 차분 영상을 기억 수단에 가산 축적하고, 축적한 상기 차분 영상 중으로부터 검출 대상 영역을 탐색하고, 추출하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 31항에 있어서,

상기 검출 대상 영역 추출 단계는, 상기 차분 영상을 상기 기억 수단에 가산 축적할 때, 상기 차분 영상 중의 워터마크 패턴의 위상을 일치시켜, 가산 축적을 수행하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치의 전자 워터마크 검출방법에 있어서,

동영상 입력 수단에서, 프레임 영상을 순차 취득하는 프레임 영상 취득 단계;

특징영역 추출 수단에서, 프레임 영상 중의 특징영역을 추출하고 특징영역 영상을 취득하는 특징영역 추출 단계;

차분 영상 생성 수단에서, 이번에 취득한 특징영역 영상과, 특징영역 영상 버퍼로부터 독출한 이전에 취득한 특징영역 영상의 차분 영상을 생성하여 차분 영상(A)을 취득함과 동시에, 상기 이번에 취득한 특징영역 영상을 상기 특징영역 영상 버퍼에 저장하는 차분 영상 생성 단계;

위상 차분 계측 수단에서, 이번에 취득한 차분 영상(A)에 기초하여 위상 패턴을 생성하고, 이번에 취득한 위상 패턴과 위상 패턴 버퍼로부터 독출한 이전에 취득한 위상 패턴의 위상차를 계측하여, 위상차와 진폭에 기초하여 차분 영상(B)을 생성함과 동시에, 상기 이번에 취득한 차분 영상(A)을 상기 위상 패턴 버퍼에 저장하는 위상 차분 계측 단계;

검출 대상 영역 추출 수단에서, 상기 차분 영상(B)을 각 화소마다 화소값의 가산 축적을 수행하고, 가산 축적에 의해 얻어지는 차분 영상(B) 축적 버퍼로부터 검출 대상 영역을 추출하고, 검출 대상 영역 영상을 취득하는 검출 대상 영역 추출 단계;

전자 워터마크 검출 수단에서, 상기 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하는 전자 워터마크 검출 단계;

전자 워터마크의 검출이 불가능했던 경우를 포함하는 전자 워터마크 검출처리를 계속 수행하는 경우는, 상기 동영상 입력 수단에서 새로운 프레임 영상을 다시 취득하고 상기 각 단계를 반복하는 단계;

를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 33항에 있어서,

상기 검출 대상 영역 추출 단계는,

가산 축적에 의해 얻어지는 상기 차분 영상(B) 축적 버퍼로부터 검출 대상 영역을 추출할 때, 상기 차분 영상(B) 축적 버퍼 화소값의 절대치를 취한 것으로부터 검출 대상 영역을 추출하고, 절대치를 취하기 전의 차분 영상(B) 축적 버퍼의 검출 대상 영역의 영상을 검출 대상 영역 영상으로서 얻는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 24항 또는 제 34항에 있어서,

상기 검출 대상 영역 추출 단계에서, 복수의 검출 대상 영역을 추출하고, 상기 전자 워터마크 검출 단계에서, 상기 복수의 검출 대상 영역 각각에 대해 전자 워터마크 검출시행을 수행하여, 검출결과를 출력하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항 또는 제 33항에 있어서,

상기 전자 워터마크 검출 단계는, 워터마크 정보를 검출할 때, 기존의 2차원 코드의 복호처리를 이용하여 워터마크 정보를 검출하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항 또는 제 33항에 있어서,

차분 처리에 의해 생성되는 상기 차분 영상에 대해, 필터 처리를 더 수행하고, 필터 처리를 수행한 차분 영상을 출력하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 37항에 있어서,

상기 필터 처리로서, 비선형 필터를 이용하는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항 또는 제 33항에 있어서,

입력으로 하는 동영상이, 카메라로 촬영되고 캡처된 영상신호인 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항 또는 제 33항에 있어서,

검출 대상 영역 추출상황, 전자 워터마크 검출상황, 데이터 블록 검출상황 중 어느 하나 또는 복수의 처리상황에 따른 피드백 출력을 화면 혹은 음성을 출력하는 외부 출력수단에 의해 수행하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 24항 또는 제 33항에 있어서,

상기 검출 대상 영역 추출 단계에서, 검출 대상 영역의 사이즈 및 위치를 나타내는 검출 대상 영역 정보를 더 생성하고, 상기 전자 워터마크 생성방법은, 상기 검출 대상 영역 정보에 기초하여, 검출 대상 영역이 주어진 화소 사이즈가 되도록 줌 파라미터를 설정하고, 상기 줌 파라미터를 상기 동영상 입력 수단에 부여하여 줌 처리를 수행하는 줌 처리 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 41항에 있어서,

상기 줌 처리 단계는, 상기 전자 워터마크 검출 단계에서의 검출 상황이 양호했을 경우에, 상기 검출 대상 영역 정보에 기초하여, 검출 대상 영역이 주어진 화소 사이즈가 되도록 줌 파라미터를 설정하고, 상기 동영상 입력 수단에 부여하여 줌 처리를 수행하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
제 1항 또는 제 33항에 있어서,

입력으로 하는 동영상은, 디스플레이상에 표시되고 있는 상태를 카메라로 실시간 촬영되고 캡처된 것이며,

전자 워터마크 검출에 의해 얻어진 워터마크 정보에 기초하여, 표시되고 있는 동영상에 관련된 정보를 취득하는 단계를 갖는 것을 특징으로 하는 전자 워터마크 검출방법.
동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치에 있어서,

프레임 영상을 순차 취득하는 동영상 입력 수단;

이번에 취득한 상기 프레임 영상과, 이전에 취득한 프레임 영상의 차분 영상을 생성하는 차분 영상 생성 수단;

상기 차분 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하는 전자 워터마크 검출 수단;

상기 전자 워터마크 검출이 불가능했던 경우를 포함하는 전자 워터마크 검출처리를 계속 수행하는 경우는, 상기 동영상 입력 수단에서의 처리, 상기 차분 영상 생성 수단에서의 처리, 및 전자 워터마크 검출 수단에서의 처리를 반복하는 수 단;

을 갖는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 전자 워터마크 검출 수단에서 얻어진 워터마크 정보로부터 데이터 블록 ID와 데이터 블록 정보를 얻어, 검출 워터마크 정보 버퍼의 상기 데이터 블록 ID 정보에 검출한 데이터 블록 정보를 기록하고, 모든 데이터 블록 ID에 대해 검출이 완료된 경우에 전자 워터마크 검출이 성공했음을 출력하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항 또는 45항에 있어서,

상기 동영상 입력 수단은, 상기 프레임 영상과 상기 프레임 영상의 표시시각인 프레임 표시시각을 순차 취득하고,

상기 전자 워터마크 검출장치는, 전자 워터마크 임베딩시의 워터마크 패턴 전환 정보를 이용하여, 이번 프레임 표시시각과, 이전에 취득한 프레임 영상의 프레임 표시시각의 시간간격으로부터 검출 필요 여부를 판정하는 검출 필요 여부 판정 수단을 더 가지며,

상기 검출 필요 여부 판정 수단에서 검출이 불필요하다고 판정된 경우는 상기 동영상 입력수단에서 새로운 프레임 영상을 다시 취득하고, 검출이 필요하다고 판정된 경우는 상기 차분 영상 생성 수단의 처리 이후의 처리를 계속 수행하는 것 을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 전자 워터마크 검출장치는, 전자 워터마크 임베딩시의 워터마크 패턴 전환 정보를 이용하여, 프레임의 캡처 타이밍을 설정하는 캡처 타이밍 제어 수단을 가지며,

상기 동영상 입력 수단은, 상기 캡처 타이밍에 기초하여 프레임 영상을 순차 취득하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 전자 워터마크 검출장치는, 전자 워터마크 임베딩시의 워터마크 패턴 전환 정보를 이용하여, 차분 영상을 얻기 위한 프레임간의 시간간격을 나타내는 차분 타이밍을 설정하는 수단을 가지며,

상기 동영상 입력 수단은, 상기 프레임 영상과 상기 프레임 표시시각을 순차 취득하고, 상기 차분 영상 생성 수단은, 이번에 취득한 프레임 영상과, 상기 차분 타이밍으로 지정되는 시간만큼 이전에 취득한 프레임 영상의 차분 영상을 생성하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 전자 워터마크 검출장치는, 상기 차분 영상에 임베딩되어 있는 워터마 크 패턴의 위상을 판정하는 차분 위상 판정 수단을 가지며,

상기 차분 위상 판정 수단에 의한 판정 결과, 워터마크 패턴의 위상이 역상인 경우는, 검출한 워터마크 정보의 비트 반전을 수행하여, 전자 워터마크의 검출상황을 출력하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 차분 영상 생성 수단은, 상기 차분 영상을 차분 영상 축적 버퍼에 가산하고, 상기 전자 워터마크 검출 수단은, 상기 차분 영상 축적 버퍼로부터의 전자 워터마크 검출을 수행하여 워터마크 정보를 검출하고, 검출상황을 출력하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 50항에 있어서,

상기 차분 영상에 임베딩되어 있는 워터마크 패턴의 위상을 판정하고, 순차 처리되는 모든 차분 영상에서 해당 위상이 동상이 되도록 차분 영상을 변경하고, 얻어진 차분 영상을 이용하여 상기 차분 영상 생성 수단에서의 처리 및 상기 전자 워터마크 검출 수단에서의 처리를 실행하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 전자 워터마크 검출 수단은, 검출시에 산출되는 상관값을 검출 처리시 마다 기억 수단에 축적하고, 축적된 상관값을 이용하여 검출 성공 여부를 판정하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 전자 워터마크 검출 수단은, 검출시에 산출되는 상관값의 절대치를 검출 처리시마다 기억 수단에 축적하고, 축적된 상기 상관값의 절대치를 이용하여 검출 성공 여부를 판정하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 49항 또는 51항에 있어서,

상기 차분 위상 판정 수단은, 임베딩시에 이용한 워터마크 패턴 전환 정보와, 프레임 영상 취득시에 얻어지는 프레임 표시시각의 관계로부터, 차분 영상 중의 워터마크 패턴의 위상을 판정하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 49항 또는 51항에 있어서,

상기 차분 위상 판정 수단은, 상기 차분 영상 중에 임베딩된 워터마크 패턴으로 표현된 워터마크 정보 중의 미리 정한 비트 위치의 비트값을 검출하고, 상기 비트값에 기초하여 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 49항 또는 51항에 있어서,

상기 차분 위상 판정 수단은, 위상 판정용 워터마크를 검출하여 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 49항 또는 51항에 있어서,

상기 차분 위상 판정 수단은, 워터마크 검출 처리에 의해 산출되는 상관값의 플러스(+) 마이너스(-) 극성을 이용하여 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 49항 또는 51항에 있어서,

상기 차분 위상 판정 수단은, 상기 차분 영상으로부터의 전자 워터마크 검출을 수행하여 워터마크 정보인 데이터 블록 정보 및 데이터 블록 ID를 검출하고, 데이터 블록 ID 검출시의 상관값의 플러스(+) 마이너스(-) 극성을 이용하여 상기 차분 영상에 임베딩되어 있는 워터마크 패턴의 위상을 판정하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 차분 영상 생성 수단은,

이번에 취득한 프레임 영상과, 이전에 취득한 프레임 영상의 차분 영상을 생성하고, 상기 차분 영상 중의 특정성분으로부터 위상값과 진폭값을 구하고, 상기 위상값이 주어진 복수 그룹의 어느 것에 속하는지를 판정하고, 그 판정결과와 상기 진폭값을 토대로 상기 차분 영상을 수정하여 출력하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 차분 영상 생성 수단은, 이번에 취득한 프레임 영상과, 영상 기억 수단으로부터 독출한 이전에 취득한 프레임 영상의 차분 영상(A)을 생성하고, 상기 이번에 취득한 프레임 영상을 상기 영상 기억 수단에 저장하고,

상기 전자 워터마크 검출장치는, 이번에 취득한 차분 영상(A)에 기초하여 위상 패턴을 생성하고, 이번에 취득한 위상 패턴과 위상 패턴 기억 수단으로부터 독출한 이전에 취득한 위상 패턴의 위상차를 계측하고, 위상차에 기초하여 차분 영상(B)을 생성하고, 상기 이번에 취득한 위상 패턴을 상기 위상 패턴 기억 수단에 저장하는 위상 차분 계측 수단을 가지며,

상기 전자 워터마크 검출 수단은, 상기 차분 영상(B)으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 60항에 있어서,

상기 위상 차분 계측 수단은,

상기 차분 영상(A)으로부터 위상 패턴을 생성할 때, 위상값과 함께 진폭값 을 구하여 위상 패턴의 요소값으로 하는 수단;

상기 이번에 취득한 위상 패턴과 상기 이전에 취득한 위상 패턴의 위상차를 계측하고, 위상차에 기초하여 부호를 결정하는 수단;

또한 상기 이번에 취득한 위상 패턴과 상기 이전에 취득한 위상 패턴의 진폭값과, 부호에 기초하여 상기 차분 영상(B)을 생성하는 수단;

을 갖는 것을 특징으로 하는 전자 워터마크 검출장치.
제 61항에 있어서,

상기 위상 차분 계측 수단은,

상기 차분 영상(A)으로부터 상기 위상 패턴을 생성할 때, 상기 이번에 취득한 위상 패턴과 상기 이전에 취득한 위상 패턴의 진폭값에 대해 단조증가하는 값을 진폭으로 하고, 상기 부호와 조합하여 얻어지는 값에 기초하여 상기 차분 영상(B)을 생성하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 59항에 있어서,

상기 차분 영상 생성 수단에서의 상기 차분 영상 중의 특정성분이 복수의 성분인 것을 특징으로 하는 전자 워터마크 검출장치.
제 60항 내지 62항 중 어느 한 항에 있어서,

상기 위상 차분 계측 수단은, 상기 차분 영상(A)으로부터 위상 패턴을 얻을 때, 상기 차분 영상(A) 중의 복수의 성분으로부터 얻어지는 좌표계의 위상 및 진폭을 이용하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 63항에 있어서,

상기 차분 영상 중의 특정성분이 Cb성분 및 Cr성분인 것을 특징으로 하는 전자 워터마크 검출장치.
제 60항에 있어서,

상기 전자 워터마크 검출장치는, 상기 차분 영상(B)을 차분 영상 축적 버퍼에 가산하는 수단을 더 가지며,

상기 전자 워터마크 검출 수단은, 상기 차분 영상 축적 버퍼로부터의 전자 워터마크 검출을 수행하여 워터마크 정보를 검출하고, 검출상황을 출력하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 전자 워터마크 검출장치는, 순차 취득되는 상기 프레임 영상에 대해, 이번 프레임 영상 중의 검출 대상 영역을 추출하여, 왜곡을 보정하고, 사이즈를 정규화하여 검출 대상 영역 영상을 생성하는 검출 대상 영역 추출 수단을 가지며,

상기 차분 영상 생성 수단은, 이번에 취득한 검출 대상 영역 영상과, 이전에 취득한 검출 대상 영역 영상의 차분 영상을 생성하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 전자 워터마크 검출장치는, 순차 취득되는 상기 차분 영상으로부터 검출 대상 영역을 추출하여 검출 대상 영역 영상을 생성하는 검출 대상 영역 추출 수단을 가지며,

상기 전자 워터마크 검출 수단은, 상기 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 수행하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항에 있어서,

상기 전자 워터마크 검출장치는, 상기 프레임 영상을 순차 취득한 후에, 상기 프레임 영상으로부터 특징영역을 추출하여 왜곡 보정 및 사이즈 정규화를 수행하여 특징영역 영상을 생성하는 특징영역 추출 수단을 가지며,

상기 차분 영상 생성 수단은, 이번에 취득한 특징영역 영상과, 이전에 취득한 특징영역 영상의 차분 영상을 생성하고,

검출 대상 영역 추출 수단은, 상기 차분 영상으로부터 검출 대상 영역을 추출하여 검출 대상 영역 영상을 생성하고,

상기 전자 워터마크 검출 수단은, 상기 검출 대상 영역으로부터의 전자 워터마크 검출을 수행하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 68항 또는 69항에 있어서,

상기 검출 대상 영역 추출 수단은, 상기 차분 영상으로부터 상기 검출 대상 영역을 추출할 때, 상기 차분 영상의 화소값을 절대치화하여 검출 대상 영역을 탐색하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 68항에 있어서,

상기 검출 대상 영역 추출 수단은, 상기 차분 영상으로부터 상기 검출 대상 영역을 추출할 때, 임베딩시의 기본 워터마크 패턴에 부가된 위치정렬 패턴을 이용하여 검출 대상 영역을 탐색하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 68항에 있어서,

상기 검출 대상 영역 추출 수단은, 과거의 전자 워터마크 검출시행에서 검출상황이 양호했을 때의 검출 대상 영역 근방의 영역으로 한정한 탐색을 수행하여, 이번 검출 대상 영역 추출 처리를 수행하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 71항에 있어서,

상기 검출 대상 영역 추출 수단은, 상기 위치정렬 패턴을 이용하여, 상기 차분 영상 중의 워터마크 패턴의 위상을 판정하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 68항에 있어서,

상기 검출 대상 영역 추출 수단은, 상기 차분 영상을 기억 수단에 가산 축적하고, 축적한 상기 차분 영상 중으로부터 검출 대상 영역을 탐색하고, 추출하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 74항에 있어서,

상기 검출 대상 영역 추출 수단은, 상기 차분 영상을 상기 기억 수단에 가산 축적할 때, 상기 차분 영상 중의 워터마크 패턴의 위상을 일치시켜, 가산 축적을 수행하는 것을 특징으로 하는 전자 워터마크 검출장치.
동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치에 있어서,

프레임 영상을 순차 취득하는 동영상 입력 수단;

프레임 영상 중의 특징영역을 추출하고 특징영역 영상을 취득하는 특징영역 추출 수단;

이번에 취득한 특징영역 영상과, 특징영역 영상 버퍼로부터 독출한 이전에 취득한 특징영역 영상의 차분 영상을 생성하여 차분 영상(A)을 취득함과 동시에, 상기 이번에 취득한 특징영역 영상을 상기 특징영역 영상 버퍼에 저장하는 차분 영상 생성 수단;

이번에 취득한 차분 영상(A)에 기초하여 위상 패턴을 생성하고, 이번에 취득한 위상 패턴과 위상 패턴 버퍼로부터 독출한 이전에 취득한 위상 패턴의 위상차를 계측하여, 위상차와 진폭에 기초하여 차분 영상(B)을 생성함과 동시에, 상기 이번에 취득한 차분 영상(A)을 상기 위상 패턴 버퍼에 저장하는 위상 차분 계측 수단;

상기 차분 영상(B)을 각 화소마다 화소값의 가산 축적을 수행하고, 가산 축적에 의해 얻어지는 차분 영상(B) 축적 버퍼로부터 검출 대상 영역을 추출하고, 검출 대상 영역 영상을 취득하는 검출 대상 영역 추출 수단;

상기 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하는 전자 워터마크 검출 수단;

전자 워터마크의 검출이 불가능했던 경우를 포함하는 전자 워터마크 검출처리를 계속 수행하는 경우는, 상기 동영상 입력 수단에서 새로운 프레임 영상을 다시 취득하고 상기 각 수단의 처리를 반복하는 수단;

을 갖는 것을 특징으로 하는 전자 워터마크 검출장치.
제 76항에 있어서,

상기 검출 대상 영역 추출 수단은,

가산 축적에 의해 얻어지는 상기 차분 영상(B) 축적 버퍼로부터 검출 대상 영역을 추출할 때, 상기 차분 영상(B) 축적 버퍼 화소값의 절대치를 취한 것으로부터 검출 대상 영역을 추출하고, 절대치를 취하기 전의 차분 영상(B) 축적 버퍼의 검출 대상 영역의 영상을 검출 대상 영역 영상으로서 얻는 것을 특징으로 하는 전자 워터마크 검출장치.
제 67항 또는 제 77항에 있어서,

상기 검출 대상 영역 추출 수단은, 복수의 검출 대상 영역을 추출하고,

상기 전자 워터마크 검출 수단은, 상기 복수의 검출 대상 영역 각각에 대해 전자 워터마크 검출시행을 수행하여, 검출결과를 출력하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항 또는 제 76항에 있어서,

상기 전자 워터마크 검출 수단은, 워터마크 정보를 검출할 때, 기존의 2차원 코드의 복호처리를 이용하여 워터마크 정보를 검출하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항 또는 제 76항에 있어서,

차분 처리에 의해 생성되는 상기 차분 영상에 대해, 필터 처리를 더 수행하고, 필터 처리를 수행한 차분 영상을 출력하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 80항에 있어서,

상기 필터 처리로서, 비선형 필터를 이용하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항 또는 제 76항에 있어서,

입력으로 하는 동영상이, 카메라로 촬영되고 캡처된 영상신호인 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항 또는 제 76항에 있어서,

검출 대상 영역 추출상황, 전자 워터마크 검출상황, 데이터 블록 검출상황 중 어느 하나 또는 복수의 처리상황에 따른 피드백 정보를 화면 혹은 음성으로서 출력하는 출력 수단을 갖는 것을 특징으로 하는 전자 워터마크 검출장치.
제 83항에 있어서,

상기 검출 대상 영역 추출 수단은, 검출 대상 영역의 사이즈 및 위치를 나타내는 검출 대상 영역 정보를 더 생성하고, 상기 전자 워터마크 생성장치는, 상기 검출 대상 영역 정보에 기초하여, 검출 대상 영역이 주어진 화소 사이즈가 되도록 줌 파라미터를 설정하고, 상기 줌 파라미터를 상기 동영상 입력 수단에 부여하여 줌 처리를 수행하는 줌 처리 수단을 갖는 것을 특징으로 하는 전자 워터마크 검출장치.
제 84항에 있어서,

상기 줌 처리 수단은, 상기 전자 워터마크 검출 수단에서의 검출상황이 양호했을 경우에, 상기 검출 대상 영역 정보에 기초하여, 검출 대상 영역이 주어진 화소 사이즈가 되도록 줌 파라미터를 설정하고, 상기 동영상 입력 수단에 부여하여 줌 처리를 수행하는 것을 특징으로 하는 전자 워터마크 검출장치.
제 44항 또는 제 76항에 있어서,

입력으로 하는 동영상은, 디스플레이상에 표시되고 있는 상태를 카메라로 실시간 촬영되고 캡처된 것이며,

전자 워터마크 검출에 의해 얻어진 워터마크 정보에 기초하여, 표시되고 있는 동영상에 관련된 정보를 취득하는 수단을 갖는 것을 특징으로 하는 전자 워터마크 검출장치.
컴퓨터를, 동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치로서 기능시키는 전자 워터마크 검출 프로그램이 기록된 컴퓨터 판독 가능 매체에 있어서, 컴퓨터를,

프레임 영상을 순차 취득하는 동영상 입력 수단;

이번에 취득한 상기 프레임 영상과, 이전에 취득한 프레임 영상의 차분 영상을 생성하는 차분 영상 생성 수단;

상기 차분 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크 의 검출상황을 출력하는 전자 워터마크 검출 수단;

상기 전자 워터마크 검출이 불가능했던 경우를 포함하는 전자 워터마크 검출처리를 계속 수행하는 경우는, 상기 동영상 입력 수단에서의 처리, 상기 차분 영상 생성 수단에서의 처리, 및 전자 워터마크 검출 수단에서의 처리를 반복하는 수단;

으로서 기능시키는 전자 워터마크 검출 프로그램이 기록된 컴퓨터 판독 가능 매체.
컴퓨터를, 동영상으로부터 전자 워터마크를 검출하는 전자 워터마크 검출장치로서 기능시키는 전자 워터마크 검출 프로그램이 기록된 컴퓨터 판독 가능 매체에 있어서, 컴퓨터를,

프레임 영상을 순차 취득하는 동영상 입력 수단;

프레임 영상 중의 특징영역을 추출하고 특징영역 영상을 취득하는 특징영역 추출 수단;

이번에 취득한 특징영역 영상과, 특징영역 영상 버퍼로부터 독출한 이전에 취득한 특징영역 영상의 차분 영상을 생성하여 차분 영상(A)을 취득함과 동시에, 상기 이번에 취득한 특징영역 영상을 상기 특징영역 영상 버퍼에 저장하는 차분 영상 생성 수단;

이번에 취득한 차분 영상(A)에 기초하여 위상 패턴을 생성하고, 이번에 취득한 위상 패턴과 위상 패턴 버퍼로부터 독출한 이전에 취득한 위상 패턴의 위상차 를 계측하여, 위상차와 진폭에 기초하여 차분 영상(B)을 생성함과 동시에, 상기 이번에 취득한 차분 영상(A)을 상기 위상 패턴 버퍼에 저장하는 위상 차분 계측 수단;

상기 차분 영상(B)을 각 화소마다 화소값의 가산 축적을 수행하고, 가산 축적에 의해 얻어지는 차분 영상(B) 축적 버퍼로부터 검출 대상 영역을 추출하고, 검출 대상 영역 영상을 취득하는 검출 대상 영역 추출 수단;

상기 검출 대상 영역 영상으로부터의 전자 워터마크 검출을 수행하여, 전자 워터마크의 검출상황을 출력하는 전자 워터마크 검출 수단;

전자 워터마크의 검출이 불가능했던 경우를 포함하는 전자 워터마크 검출처리를 계속 수행하는 경우는, 상기 동영상 입력 수단에서 새로운 프레임 영상을 다시 취득하고 상기 각 수단의 처리를 반복하는 수단;

으로서 기능시키는 전자 워터마크 검출 프로그램이 기록된 컴퓨터 판독 가능 매체.