CN101609546A - 电子水印检测方法和电子水印检测装置 - Google Patents

电子水印检测方法和电子水印检测装置 Download PDF

Info

Publication number
CN101609546A
CN101609546A CNA2009101510528A CN200910151052A CN101609546A CN 101609546 A CN101609546 A CN 101609546A CN A2009101510528 A CNA2009101510528 A CN A2009101510528A CN 200910151052 A CN200910151052 A CN 200910151052A CN 101609546 A CN101609546 A CN 101609546A
Authority
CN
China
Prior art keywords
watermark
detected object
mentioned
image
difference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009101510528A
Other languages
English (en)
Other versions
CN101609546B (zh
Inventor
中村高雄
山本奏
北原亮
宫武隆
片山淳
宫地寿人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101609546A publication Critical patent/CN101609546A/zh
Application granted granted Critical
Publication of CN101609546B publication Critical patent/CN101609546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种电子水印检测方法和电子水印检测装置，本发明的电子水印嵌入方法具有如下的步骤：依次取得运动图像数据的各帧图像和帧显示时刻；使用水印信息和帧显示时刻以及水印图案切换信息来生成水印图案；以及将水印与依次重复上述处理所得到的嵌入有水印的帧图像组相结合而生成嵌入有水印的运动图像数据。另外，电子水印检测方法具有如下的步骤：依次取得帧图像；生成此次取得的帧图像和以前所取得的帧图像之间的差分图像；以及从差分图像中检测出电子水印，输出电子水印的检测状况，在继续执行电子水印的检测处理的情况下，重新取得新的帧图像，重复上述处理。

Description

电子水印检测方法和电子水印检测装置
本申请是申请日为2006年7月31日，申请号为200680001135.3，发明名称为“电子水印嵌入方法、电子水印嵌入装置、电子水印检测方法、电子水印检测装置及程序”的发明专利申请的分案申请。
技术领域
本发明涉及电子水印检测技术，本发明特别涉及读取以不被人们察觉的方式向影像内容中嵌入的副信息的电子水印检测技术。
背景技术
当今的电子水印技术正在用于内容的著作权保护/管理系统和内容相关服务提供系统等中。
具有如下的方法：在图像、影像或者音频这样的内容进行流通之际，为了实现内容的识别/管理和著作权保护/管理、相关信息提供等的目的，使用不被察觉地在内容内部嵌入其他信息的电子水印技术。
例如还具有相机输入印刷物等的静止图像，根据输入图像来检测电子水印以得到相关信息的使用方法(例如参照非专利文献1)。
进而，还具有实时地持续进行相机输入和电子水印检测，来提高检测性能的方法(例如参照非专利文献2)。
非专利文献1：中村、片山、宮地、山下、山室：「カメラ付き携帯電話機を用いたサ一ビス仲介のための電子透かし検出方式」、情報科学技術フオ一ラムFIT2003，N-020，2003年9月
非专利文献2：中村、宮武、林、片山、山室：「カメラ入力画像からのリアルタイム電子透かし検出方式」、情報科学技術フオ一ラムFIT2004，J-036，2004年9月
发明内容
但是，一直以来没有例如用带相机的移动电话等来拍摄电视画面等的运动图像，从拍摄到的运动图像中实时地检测电子水印的处理那样的方法。如果具有这种方法，则可以从电视所播放的画面中取得相关信息，能够实现与运动图像内容可以实时连接的各种信息服务。但是，具有对于相机拍摄所伴随的D/A转换和A/D转换等所产生的噪声，难以实现足够的耐性的问题。另外，还具有难以对相机拍摄时所捕捉的帧图像的哪个部分是电子水印的检测对象的情况进行确定的问题。
本发明是鉴于上述问题而完成的，其目的在于提供一种到目前还不曾有过的如下的技术：可以用相机拍摄电视等的运动图像，根据拍摄到的运动图像实时地进行电子水印检测。进而，本发明的目的还在于提供一种确定出根据捕捉到的帧图像中的哪个部分进行电子水印的检测为好，从而即使在各种的拍摄角度和背景图像的条件下都能够可靠地进行电子水印检测的技术。
上述课题可以使用电子水印嵌入方法来解决，该电子水印嵌入方法用于在运动图像中嵌入电子水印的电子水印嵌入装置，该电子水印嵌入方法的特征在于，该电子水印嵌入方法具有：输入由帧图像组构成的运动图像数据、水印信息、对水印图案的时间变化进行指定的水印图案切换信息的步骤；帧图像取得步骤，在帧图像取得单元中，依次取得运动图像数据的各帧图像和作为该帧图像的显示时刻的帧显示时刻；水印图案生成步骤，在水印图案生成单元中，使用上述水印信息和上述帧显示时刻以及上述水印图案切换信息来生成水印图案；水印图案重叠步骤，在水印图案重叠单元中，将上述水印图案重叠在上述帧图像上；以及运动图像数据再构成步骤，将依次重复进行在上述帧图像取得单元中的处理、在上述水印图案生成单元中的处理和在上述水印图案重叠单元中的处理而得到的嵌入有水印的帧图像组结合起来生成嵌入有水印的运动图像数据。
在上述水印图案生成步骤中，可以以一定时间周期重复上述水印图案的切换的定时。
另外，上述水印图案生成步骤可以具有如下的步骤：使用上述水印信息和上述帧显示时刻以及上述水印图案切换信息来生成对应于该水印信息的水印图案；以及还使用上述帧显示时刻和上述水印图案切换信息，生成用于在检测时推定该水印图案的时间变化状态的相位判断用水印图案，将把该相位判断用水印图案复用于与上述水印信息对应的水印图案而得到的图案作为水印图案。
另外，本发明还通过如下的电子水印嵌入方法来解决，该电子水印嵌入方法用于在运动图像中嵌入电子水印的电子水印嵌入装置，该电子水印嵌入方法的特征在于，该电子水印嵌入方法具有：输入由帧图像组构成的运动图像数据、水印信息、作为对水印图案的相位变动进行指定的周期信息的水印图案切换信息的步骤；帧图像取得步骤，在帧图像取得单元中，依次取得上述运动图像数据的各帧图像和作为该帧图像的显示时刻的帧显示时刻；水印图案生成步骤，在水印图案生成单元中，使用上述水印信息和上述帧显示时刻以及上述水印图案切换信息来生成水印图案；水印图案重叠步骤，在水印图案重叠单元中，将上述水印图案重叠在上述帧图像上；以及运动图像数据再构成步骤，将依次重复进行上述帧图像取得步骤至上述水印图案重叠步骤而得到的嵌入有水印的帧图像组结合起来生成嵌入有水印的运动图像数据。
在上述电子水印嵌入方法中，上述水印图案生成步骤可以具有：使用上述水印信息来生成基本水印图案的基本水印图案生成步骤；以及使用上述帧显示时刻和上述水印图案切换信息，对之前的水印图案施加由上述基本水印图案确定的相位变动来生成新的水印图案的步骤。
上述水印图案生成步骤可以具有：使用上述水印信息来生成基本水印图案的基本水印图案生成步骤；根据上述基本水印图案的像素值来生成符号图案的符号图案生成步骤；水印图案切换相位变动值计算步骤，使用上述帧显示时刻和上述水印图案切换信息，求出对应于与之前的帧之间的时间差分的水印图案切换相位变动值；水印相位图案生成步骤，对上述水印图案切换相位变动值赋予在上述符号图案生成步骤中生成的上述符号图案的各要素的符号，将其作为与之前的水印相位图案之间的相位差分来生成相对于当前帧的水印相位图案；以及根据上述水印相位图案生成水印图案的水印相位图案图像化步骤(watermark phase patternimaging step)。
另外，上述水印图案生成步骤可以具有如下的步骤：在根据上述水印相位图案生成上述水印图案时，根据上述基本水印图案的各像素值来增减与水印图案对应的像素值的振幅。
另外，上述水印图案生成步骤可以具有如下的步骤：使上述基本水印图案所表示的相位差分变动与从图像的多个分量中得到的坐标系上的旋转量对应起来，以通过相位差分变动而旋转得到的新的多个分量值为基础，生成上述水印图案。
在上述电子水印嵌入方法中，可以使用图像的Cb-Cr分量作为上述图像的多个分量。
另外，上述水印图案生成步骤可以具有如下的步骤：使用上述水印信息和上述帧显示时刻以及上述水印图案切换信息，将该水印信息分割为数据块；以及以由上述帧显示时刻和上述水印图案切换信息确定的数据块ID和该数据块ID的数据块信息为基础来生成水印图案。
另外，上述水印图案生成步骤可以具有如下的步骤：使用上述水印信息和上述帧显示时刻以及上述水印图案切换信息，将该水印信息分割为数据块；以及在以由上述帧显示时刻和上述水印图案切换信息确定的数据块ID和该数据块ID的数据块信息为基础来生成上述水印图案时，将上述数据块ID兼用作相位判断用水印信息来生成水印图案。
上述水印图案重叠步骤可以具有如下的步骤：将上述水印图案的大小改变为上述帧图像的大小以下的大小而将上述水印图案重叠于该帧图像的内部。
在上述电子水印嵌入方法中，上述水印图案生成步骤可以具有如下的步骤：使用上述水印信息来生成基本水印图案；还将在电子水印检测时用于检测对象区域提取的定位用的图案追加到基本水印图案中；以及使用上述帧显示时刻和上述水印图案切换信息来改变基本水印图案，从而生成水印图案。
在上述电子水印嵌入方法中，上述水印图案生成步骤可以具有如下的步骤：通过已有的2维码将上述水印信息调制为基本水印图案，根据该基本水印图案使用上述帧显示时刻和上述水印图案切换信息来生成水印图案。
另外，在上述电子水印嵌入方法中，上述电子水印嵌入装置具有多个水印图案生成单元，在上述电子水印嵌入步骤中，各个上述水印图案生成单元生成不同的水印图案，上述水印图案重叠单元将多个上述水印图案重叠于帧图像内。
上述水印图案重叠步骤可以具有动作越多的帧图像就越放大水印图案的振幅的步骤。
另外，上述水印图案重叠步骤可以具有如下的步骤：将以前输入的帧图像保持在存储单元内，生成此次输入的帧图像和以前的帧图像之间的差分图像，根据该差分图像的像素值来放大基本水印图案的振幅。
另外，在上述电子水印嵌入方法中，上述水印图案重叠步骤可以具有放大水印图案整体的振幅的步骤。
进而，上述水印图案重叠步骤可以具有放大帧图像中的对应于动作大的像素区域的水印图案的像素区域的步骤。
另外，上述课题可以使用电子水印检测方法来解决，该电子水印检测方法用于从运动图像中检测出电子水印的电子水印检测装置，该电子水印检测方法的特征在于，该电子水印检测方法具有：运动图像输入步骤，在运动图像输入单元中，依次取得帧图像；差分图像生成步骤，在差分图像生成单元中，生成此次取得的上述帧图像和以前取得的帧图像之间的差分图像；以及电子水印检测步骤，在电子水印检测单元中，从上述差分图像中检测出电子水印，输出电子水印的检测状况，在包含无法检测上述电子水印的情况在内的要继续执行电子水印检测处理的情况下，用上述运动图像输入单元重新取得新的帧图像，重复上述的各步骤。
在上述电子水印检测方法中，可以根据在上述电子水印检测步骤中得到的水印信息来得到数据块ID和数据块信息，将检测出的数据块信息记录在检测水印信息缓存的该数据块ID的信息中，当对所有的数据块ID结束了检测的情况下，输出表示电子水印检测成功的内容。
另外，上述运动图像输入步骤可以具有依次取得上述帧图像和作为该帧图像的显示时刻的帧显示时刻的步骤，上述电子水印检测方法还具有判断步骤，在该判断步骤中，使用在电子水印嵌入时的水印图案切换信息，根据此次的帧显示时刻和以前取得的帧图像的帧显示时刻之间的时间间隔来判断是否需要进行检测，当在判断步骤中判断为不需要进行检测的情况下，在上述运动图像输入单元中重新取得新的帧图像，在判断为需要进行检测的情况下，继续执行上述差分图像生成步骤之后的处理。
另外，上述电子水印检测方法可以具有捕捉定时控制步骤，在该捕捉定时控制步骤中，使用在电子水印嵌入时的水印图案切换信息，来设定帧的捕捉定时，在上述运动图像输入单元中根据上述捕捉定时来依次取得帧图像。
另外，上述电子水印检测方法可以具有如下的步骤：使用在电子水印嵌入时的水印图案切换信息，来设定表示用于得到差分图像的帧之间的时间间隔的差分定时，在上述运动图像输入单元中，依次取得上述帧图像和该帧显示时刻，在上述差分图像生成单元中，生成此次取得的帧图像和在比此次早由上述差分定时指定的时间的时刻取得的帧图像之间的差分图像。
另外，上述电子水印检测方法中，上述电子水印检测步骤可以具有如下的步骤：判断嵌入于上述差分图像中的水印图案的相位，当水印图案的相位与上述差分图像的相位相反时，进行检测出的水印信息的位反转(bit reversal)，输出电子水印的检测状况。
在上述差分图像生成步骤中可以将上述差分图像相加到差分图像蓄积缓存中，在上述电子水印检测步骤中，从上述差分图像蓄积缓存中检测出电子水印来检测出水印信息，从而输出检测状况。
另外，上述电子水印检测方法可以具有如下的步骤：判断嵌入于上述差分图像中的水印图案的相位；以及改变差分图像，以在依次得到处理的所有差分图像中，相应的相位变得相同，并且，在上述电子水印检测方法中，使用在这些步骤中得到的差分图像执行上述差分图像生成步骤和上述电子水印检测步骤。
上述电子水印检测步骤可以具有如下的步骤：在每次进行检测处理时，将在检测时计算出的相关值蓄积在存储单元内，使用所蓄积的相关值来判断检测是否成功。
另外，上述电子水印检测步骤可以具有如下的步骤：在每次进行检测处理时，将在检测时计算出的相关值的绝对值蓄积在存储单元内，使用所蓄积的该相关值的绝对值来判断检测是否成功。
另外，所述电子水印检测方法可以具有如下的步骤：根据在嵌入时所用的水印图案切换信息与在帧图像取得时得到的帧显示时刻之间的关系来判断差分图像中的水印图案的相位。
还可以具有如下的步骤：对水印信息中的预定的位位置(bit position)上的位值(bitvalue)进行检测，根据该位值判断该差分图像中的水印图案的相位，其中，所述水印信息是由嵌入在上述差分图像中的水印图案来得以表现的。
另外，所述电子水印检测方法可以具有通过检测相位判断用水印来判断上述差分图像中的水印图案的相位的步骤。
另外，所述电子水印检测方法可以具有使用由水印检测处理计算出的相关值的正负的极性来判断上述差分图像中的水印图案的相位的步骤。
另外，所述电子水印检测方法可以具有如下的步骤：从上述差分图像中检测出电子水印，从而检测出作为水印信息的数据块信息和数据块ID，使用在数据块ID检测时的相关值的正负的极性来判断嵌入于上述差分图像中的水印图案的相位。
上述差分图像生成步骤可以具有如下的步骤：生成此次取得的帧图像与以前取得的帧图像之间的差分图像，还根据该差分图像中的特定分量求出相位值和振幅值，判断该相位值属于给定的多组中的哪一组，以其判断结果和该振幅值为基础修改该差分图像而对该差分图像进行输出。
另外，在上述电子水印检测方法中，上述差分图像生成步骤可以具有如下的步骤：生成此次取得的帧图像和从图像存储单元中读取出的以前取得的帧图像之间的差分图像(A)，将该此次取得的帧图像存储在该图像存储单元中，上述电子水印检测方法具有相位差分计量步骤，在该相位差分计量步骤中，根据此次取得的差分图像(A)生成相位图案，对此次取得的相位图案和从相位图案存储单元中读取出的以前取得的相位图案之间的相位差进行计量，根据相位差生成差分图像(B)，将该此次取得的相位图案存储在该相位图案存储单元中，上述电子水印检测步骤具有如下的步骤：从上述差分图像(B)中检测出电子水印，输出电子水印的检测状况。
另外，上述相位差分计量步骤可以具有如下的步骤：在从上述差分图像(A)中生成相位图案时，与相位值一起求出振幅值来作为相位图案的要素值；对上述此次取得的相位图案与上述以前取得的相位图案之间的相位差进行计量，根据相位差来确定符号；以及还根据上述此次取得的相位图案和上述以前取得的相位图案的振幅值以及符号来生成上述差分图像(B)。
另外，上述相位差分计量步骤可以具有如下的步骤：在从上述差分图像(A)中生成上述相位图案时，将相对于上述此次取得的相位图案和上述以前取得的相位图案的振幅值递增的值作为振幅，根据将该振幅与上述符号组合而得的值来生成上述差分图像(B)。
另外，在所述电子水印检测方法中，上述差分图像生成步骤中的上述差分图像中的特定分量可以为多个分量。
另外，在上述相位差分计量步骤中，可以在从上述差分图像(A)得到相位图案时，使用从该差分图像(A)中的多个分量得到的坐标系上的相位和振幅。
作为上述差分图像中的特定分量可以使用Cb分量和Cr分量。
另外，上述电子水印检测方法还可以具有将上述差分图像(B)相加到差分图像蓄积缓存中的步骤，电子水印检测步骤具有如下的步骤：从上述差分图像蓄积缓存中检测出电子水印，从而检测出水印信息，并输出检测状况。
另外，上述电子水印检测方法还可以具有如下的步骤：针对依次取得的上述帧图像，提取此次的帧图像中的检测对象区域，校正失真，对大小进行归一化，从而生成检测对象区域图像，在上述差分图像生成步骤中，生成此次取得的检测对象区域图像和以前取得的检测对象区域图像之间的差分图像。
另外，上述电子水印检测方法还可以具有从依次取得的上述差分图像中提取出检测对象区域来生成检测对象区域图像的步骤，在上述电子水印检测步骤中，从上述检测对象区域图像中检测出电子水印，输出电子水印的检测状况。
另外，上述电子水印检测方法还可以具有：特征区域提取步骤，在依次取得了上述帧图像之后，从上述帧图像中提取出特征区域，进行失真校正和大小归一化来生成特征区域图像；上述差分图像生成步骤，生成此次取得的特征区域图像和以前取得的特征区域图像之间的差分图像；从上述差分图像中提取出检测对象区域来生成检测对象区域图像的检测对象区域提取步骤；以及从上述检测对象区域中检测出电子水印的上述电子水印检测步骤。
上述检测对象区域提取步骤可以具有如下的步骤：在从上述差分图像中提取出上述检测对象区域时，对该差分图像的像素值取绝对值来搜索检测对象区域。
另外，上述检测对象区域提取步骤可以具有如下的步骤：在从上述差分图像中提取出上述检测对象区域时，使用在嵌入时附加到基本水印图案上的定位图案来搜索检测对象区域。
另外，上述检测对象区域提取步骤可以具有如下的步骤：限定于在过去的电子水印检测尝试中当检测状况良好时的检测对象区域的附近区域来进行搜索，从而进行此次的检测对象区域提取处理。
另外，上述检测对象区域提取步骤可以具有使用上述定位图案来判断上述差分图像中的水印图案的相位的步骤。
另外，上述检测对象区域提取步骤可以具有如下的步骤：将上述差分图像相加蓄积到存储单元内，从所蓄积的该差分图像中搜索并提取出检测对象区域。
另外，上述检测对象区域提取步骤可以具有如下的步骤：在将上述差分图像相加蓄积在上述存储单元内时，使该差分图像中的水印图案的相位变得一致后进行相加蓄积。
而且，上述课题通过这样一种电子水印检测方法也可以得到解决，该电子水印检测方法用于从运动图像中检测出电子水印的电子水印检测装置，该电子水印检测方法的特征在于，该电子水印检测方法具有：帧图像取得步骤，在运动图像输入单元中，依次取得帧图像；特征区域提取步骤，在特征区域提取单元中，提取出帧图像中的特征区域来取得特征区域图像；差分图像生成步骤，在差分图像生成单元中，生成此次取得的特征区域图像与从特征区域图像缓存中读取出的以前取得的特征区域图像之间的差分图像来取得差分图像(A)，并且将该此次取得的特征区域图像存储在该特征区域图像缓存中；相位差分计量步骤，在相位差分计量单元中，根据此次取得的差分图像(A)来生成相位图案，计量此次取得的相位图案与从相位图案缓存中读取出的以前取得的相位图案之间的相位差，根据相位差和振幅来生成差分图像(B)，并且将该此次取得的差分图像(A)存储在该相位图案缓存中；检测对象区域提取步骤，在检测对象区域提取单元中，对上述差分图像(B)按照各像素进行像素值的相加蓄积，从由相加蓄积而得到的差分图像(B)蓄积缓存中提取检测对象区域，取得检测对象区域图像；电子水印检测步骤，在电子水印检测单元中，从上述检测对象区域图像中检测出电子水印，输出电子水印的检测状况；以及执行如下处理的步骤：在包含无法检测电子水印的情况在内的要继续执行电子水印检测处理的情况下，用上述运动图像输入单元重新取得新的帧图像，重复上述的各步骤。
上述检测对象区域提取步骤可以具有如下的步骤：在从由相加蓄积而得到的上述差分图像(B)蓄积缓存中提取检测对象区域时，可以从对上述差分图像(B)蓄积缓存的像素值取绝对值而得到的值中提取检测对象区域，将取绝对值之前的差分图像(B)蓄积缓存的检测对象区域的图像作为检测对象区域图像。
可以在上述检测对象区域提取步骤中提取出多个检测对象区域，在上述电子水印检测步骤中，对上述多个检测对象区域分别进行电子水印检测尝试，输出检测结果。
另外，上述电子水印检测步骤可以具有在检测水印信息时使用已有的2维码的解码处理来检测水印信息的步骤。
另外，所述电子水印检测方法可以具有如下的步骤：对于由差分处理生成的上述差分图像进一步进行滤波处理，输出经过滤波处理后的差分图像。可以使用非线性滤波器进行上述滤波处理。
另外，所述电子水印检测方法中，作为输入的运动图像可以是由相机进行拍摄而捕捉到的影像信号。
另外，可以具有如下的步骤：通过外部输出单元以视频或者音频的方式进行对应于检测对象区域提取状况、电子水印检测状况、数据块检测状况之中的某一个或者多个处理状况的反馈输出。
另外，在上述检测对象区域提取步骤中，可以还生成表示检测对象区域的大小和位置的检测对象区域信息，上述电子水印检测方法具有缩放(zoom)处理步骤，在该缩放处理步骤中，根据上述检测对象区域信息，设定缩放参数，以使检测对象区域的像素大小成为给定的像素大小，将该缩放参数提供给上述运动图像输入单元来进行缩放处理。
上述缩放处理步骤可以具有如下的步骤：在上述电子水印检测步骤中的检测状况良好时，根据上述检测对象区域信息，设定缩放参数，以使检测对象区域的像素大小成为给定的像素大小，并将该缩放参数提供给上述运动图像输入单元来进行缩放处理。
作为输入的运动图像可以是通过由相机实时地进行拍摄而捕捉到显示在显示器上的状态来得到的图像，该电子水印检测方法具有如下的步骤：根据电子水印检测所得到的水印信息，取得所显示的运动图像的相关信息。
而且，根据本发明，可以提供适于上述方法的实施的电子水印嵌入装置、电子水印检测装置、程序以及记录有程序的记录介质。
根据本发明，可以提供一种可以用相机拍摄电视等的运动图像，从拍摄到的运动图像中实时地进行电子水印检测的技术。进而，其还可以提供一种确定从捕捉到的帧图像中的哪个部分进行电子水印的检测为好，即使在各种的拍摄角度和背景图像的条件下都能够可靠地进行电子水印检测的技术。
附图说明
图1A是实施方式的概要A的电子水印嵌入方法的流程图。
图1B是实施方式的概要A的电子水印检测方法的流程图。
图2A是实施方式的概要A的电子水印嵌入装置的结构图。
图2B是实施方式的概要A的电子水印检测装置的结构图。
图3A是实施方式的概要B的电子水印嵌入方法的流程图。
图3B是实施方式的概要B的电子水印检测方法的流程图。
图4A是实施方式的概要B的电子水印嵌入装置的结构图。
图4B是实施方式的概要B的电子水印检测装置的结构图。
图5A是实施方式的概要C的电子水印嵌入方法的流程图。
图5B是实施方式的概要C的电子水印检测方法的流程图。
图6A是实施方式的概要C的电子水印嵌入装置的结构图。
图6B是实施方式的概要C的电子水印检测装置的结构图。
图7是本发明的第1实施方式的电子水印嵌入装置的结构图。
图8是本发明的第1实施方式的电子水印嵌入装置的动作的流程图。
图9是用于说明本发明的第1实施方式的帧图像取得部的处理的图。
图10是本发明的第1实施方式的水印图案生成部的结构图。
图11是本发明的第1实施方式的水印图案生成部的动作的流程图。
图12是用于说明本发明的第1实施方式的基本水印图案生成部的处理的例子的图(之一)。
图13是用于说明本发明的第1实施方式的基本水印图案生成部的处理的例子的图(之二)。
图14A是用于说明本发明的第1实施方式的水印图案切换信息的例子的图。
图14B是用于说明本发明的第1实施方式的水印图案切换信息的例子的图。
图14C是用于说明本发明的第1实施方式的水印图案切换信息的例子的图。
图15是用于说明本发明的第1实施方式的水印图案切换部的处理的图(之一)。
图16是用于说明本发明的第1实施方式的水印图案切换部的处理的图(之二)。
图17是用于说明本发明的第1实施方式的水印图案重叠部的处理的图。
图18是用于说明本发明的使用场景的图。
图19是本发明的第1实施方式的电子水印检测装置的结构图。
图20是本发明的第1实施方式的电子水印检测装置的动作的流程图。
图21是用于说明本发明的第1实施方式的检测对象区域提取部的处理的图。
图22是用于说明本发明的第1实施方式的差分图像生成部的处理的图。
图23是用于说明本发明的第1实施方式的电子水印检测部的处理的例子的图。
图24是用于说明本发明的第1实施方式的效果的图。
图25是本发明的第2实施方式的电子水印检测装置的结构图。
图26是本发明的第2实施方式的电子水印检测装置的动作的流程图。
图27是用于说明本发明的第2实施方式的是否需要检测判断部的处理的图。
图28A是用于说明本发明的第2实施方式的效果的图。
图28B是用于说明本发明的第2实施方式的效果的图。
图29是本发明的第3实施方式的电子水印检测装置的结构图。
图30是本发明的第3实施方式的电子水印检测装置的动作的流程图。
图31是用于说明本发明的第3实施方式的捕捉定时控制部的处理的图(之一)。
图32是用于说明本发明的第3实施方式的捕捉定时控制部的处理的图(之二)。
图33A是用于说明本发明的第3实施方式的效果的图。
图33B是用于说明本发明的第3实施方式的效果的图。
图34A是用于说明本发明的第4实施方式的基本水印图案生成部的处理的图。
图34B是用于说明本发明的第4实施方式的基本水印图案生成部的处理的图。
图35是本发明的第4实施方式的电子水印检测部的动作的流程图。
图36是用于说明本发明的第4实施方式的效果的图(之一)。
图37是用于说明本发明的第4实施方式的效果的图(之二)。
图38是用于说明本发明的第4实施方式的效果的图(之三)。
图39是用于说明本发明的第5实施方式的基本水印图案生成部的处理的例子的图。
图40是本发明的第5实施方式的电子水印检测部的动作的流程图。
图41是本发明的第6实施方式的电子水印检测部的结构图。
图42是本发明的第6实施方式的电子水印检测部的动作的流程图。
图43是用于说明本发明的第6实施方式的差分图像相位判断部的处理的图。
图44是用于说明本发明的第6实施方式的差分图像蓄积缓存的图。
图45是本发明的第7实施方式的电子水印检测部的结构图。
图46是本发明的第7实施方式的电子水印检测部的动作的流程图。
图47是用于说明本发明的第7实施方式的相关值缓存的相关处理的内容的图。
图48A是用于说明本发明的第7实施方式的可否检测判断部的处理的内容的图。
图48B是用于说明本发明的第7实施方式的可否检测判断部的处理的内容的图。
图49是本发明的第8实施方式的水印图案生成部的结构图。
图50是本发明的第8实施方式的水印图案生成部的动作的流程图。
图51是用于说明本发明的第8实施方式的水印信息分割部的处理的图。
图52A是用于说明本发明的第8实施方式的基本水印图案生成部的处理的图。
图52B是用于说明本发明的第8实施方式的基本水印图案生成部的处理的图。
图53是本发明的第8实施方式的电子水印检测装置的结构图。
图54是本发明的第8实施方式的电子水印检测装置的动作的流程图。
图55是本发明的第8实施方式的检测数据块蓄积部的结构图。
图56是本发明的第8实施方式的检测数据块蓄积部的动作的流程图。
图57是用于说明本发明的第8实施方式的检测数据块蓄积部的处理的图(之一)。
图58是用于说明本发明的第8实施方式的检测数据块蓄积部的处理的图(之二)。
图59是用于说明本发明的第9实施方式的基本水印图案生成部的处理的例子的图。
图60是本发明的第9实施方式的电子水印检测部的动作的流程图。
图61是本发明的第10实施方式的电子水印检测部的结构图。
图62是本发明的第10实施方式的电子水印检测部的动作的流程图。
图63是本发明的第11实施方式的电子水印检测部的结构图。
图64是本发明的第11实施方式的电子水印检测部的动作的流程图。
图65是本发明的第12实施方式的电子水印检测装置的结构图。
图66是本发明的第12实施方式的电子水印检测装置的动作的流程图。
图67是本发明的第12实施方式的电子水印检测装置的反馈输出的例子(之一)。
图68是本发明的第12实施方式的电子水印检测装置的反馈输出的例子(之二)。
图69是本发明的第12实施方式的电子水印检测装置的反馈输出的例子。
图70是用于说明本发明的第13实施方式的水印图案重叠部的处理的图。
图71是本发明的第13实施方式的电子水印检测装置的结构图。
图72是本发明的第13实施方式的电子水印检测装置的动作的流程图。
图73是用于说明本发明的第13实施方式的差分图像生成部的处理的图。
图74是用于说明本发明的第13实施方式的检测对象区域提取部的处理的图。
图75是用于说明本发明的第13实施方式的效果的图(之一)。
图76是用于说明本发明的第13实施方式的效果的图(之二)。
图77是用于说明本发明的第13实施方式的效果的图(之三)。
图78是用于说明本发明的第13实施方式的效果的图(之四)。
图79是用于说明本发明的第14实施方式的基本水印图案生成部的处理的例子的图。
图80是用于说明本发明的第14实施方式的检测对象区域提取部的处理的图。
图81A是用于说明本发明的第14实施方式的效果的图。
图81B是用于说明本发明的第14实施方式的效果的图。
图82是用于说明本发明的第14实施方式的基本水印图案生成部的处理的例子的图。
图83是用于说明本发明的第15实施方式的检测对象区域提取部的处理的图。
图84是本发明的第16实施方式的电子水印检测装置的结构图。
图85是本发明的第16实施方式的电子水印检测装置的动作的流程图。
图86是用于说明本发明的第16实施方式的特征区域提取部的处理的图(之一)。
图87是用于说明本发明的第16实施方式的特征区域提取部的处理的图(之二)。
图88是用于说明本发明的第16实施方式的特征区域提取部的处理的图(之三)。
图89是用于说明本发明的第16实施方式的特征区域提取部的处理的图(之四)。
图90是用于说明本发明的第16实施方式的特征区域提取部的处理的图(之五)。
图91是用于说明本发明的第16实施方式的差分图像生成部的处理的图(之一)。
图92是用于说明本发明的第16实施方式的差分图像生成部的处理的图(之二)。
图93是用于说明本发明的第16实施方式的差分图像生成部的处理的图(之三)。
图94是用于说明本发明的第17实施方式的特征区域提取部的处理的图。
图95是用于说明本发明的第17实施方式的检测对象区域提取部的处理的图。
图96是用于说明本发明的第18实施方式的检测对象区域提取的处理的图(之一)。
图97是用于说明本发明的第18实施方式的检测对象区域提取的处理的图(之二)。
图98是用于说明本发明的第18实施方式的检测对象区域提取的处理的图(之三)。
图99是用于说明本发明的第18实施方式的检测对象区域提取的处理的图(之四)。
图100是本发明的第19实施方式的电子水印检测装置的结构图。
图101是本发明的第19实施方式的电子水印检测装置的动作的流程图。
图102是用于说明本发明的第19实施方式的检测对象区域提取部的处理的图(之一)。
图103是用于说明本发明的第19实施方式的检测对象区域提取部的处理的图(之二)。
图104是本发明的第19实施方式的电子水印检测装置的结构图。
图105是本发明的第19实施方式的电子水印检测装置的动作的流程图。
图106是用于说明本发明的第19实施方式的检测对象区域提取部的处理的图(之一)。
图107是用于说明本发明的第19实施方式的差分图像生成部的处理的图(之二)。
图108是用于说明本发明的第20实施方式的水印图案重叠部的处理的图(之一)。
图109是用于说明本发明的第20实施方式的水印图案重叠部的处理的图(之二)。
图110是用于说明本发明的第20实施方式的差分图像生成部的处理的图。
图111是用于说明本发明的第20实施方式的检测对象区域提取部的处理的图(之一)。
图112是用于说明本发明的第20实施方式的检测对象区域提取部的处理的图(之二)。
图113是本发明的第20实施方式的电子水印检测装置的反馈输出的例子(之一)。
图114是本发明的第20实施方式的电子水印检测装置的反馈输出的例子(之二)。
图115是本发明的第20实施方式的电子水印检测装置的反馈输出的例子(之三)。
图116是本发明的第20实施方式的电子水印检测装置的反馈输出的例子(之四)。
图117是用于说明本发明的第21实施方式的水印图案切换信息的例子的图。
图118是用于说明本发明的第21实施方式的水印图案切换部的处理的图。
图119是用于说明本发明的第21实施方式的水印图案切换部的处理的图。
图120是用于说明本发明的第21实施方式的差分图像生成部的处理的例子的图。
图121是用于说明本发明的第21实施方式的原理的图(之一)。
图122是用于说明本发明的第21实施方式的原理的图(之二)。
图123是用于说明本发明的第21实施方式的原理的图(之三)。
图124是用于说明本发明的第21实施方式的效果的图。
图125是用于说明本发明的第22实施方式的差分图像生成部的处理的图。
图126A是用于说明本发明的第22实施方式的滤波处理的例子的图。
图126B是用于说明本发明的第22实施方式的滤波处理的例子的图。
图127是用于说明本发明的第23实施方式的水印重叠部的处理的图。
图128是用于说明本发明的第23实施方式的水印图案振幅调整的例子的图。
图129是本发明的第24实施方式的电子水印检测装置的结构图。
图130是本发明的第24实施方式的电子水印检测装置的动作的流程图。
图131A是用于说明本发明的第24实施方式的效果的图。
图131B是用于说明本发明的第24实施方式的效果的图。
图132是用于说明本发明的第25实施方式的水印图案切换信息的例子的图。
图133是用于说明本发明的第25实施方式的水印图案切换部的处理的图(之一)。
图134是用于说明本发明的第25实施方式的水印图案切换部的处理的图(之二)。
图135是本发明的第25实施方式的电子水印检测装置的结构图。
图136是本发明的第25实施方式的电子水印检测装置的动作的流程图。
图137是用于说明本发明的第25实施方式的差分图像生成部的处理的图。
图138是用于说明本发明的第25实施方式的相位差分计量部的处理的内容的图(之一)。
图139是用于说明本发明的第25实施方式的相位差分计量部的处理的内容的图(之二)。
图140A是用于说明本发明的第25实施方式的相位差分计量部的处理的内容的图(之三)。
图140B是用于说明本发明的第25实施方式的相位差分计量部的处理的内容的图(之三)。
图141是用于说明本发明的第25实施方式的效果的图(之一)。
图142是用于说明本发明的第25实施方式的效果的图(之二)。
图143是用于说明本发明的第25实施方式的效果的图(之三)。
图144是用于说明本发明的第25实施方式的效果的图(之四)。
图145是用于说明本发明的第25实施方式的效果的图(之五)。
图146是用于说明本发明的第25实施方式的效果的图(之六)。
图147是用于说明本发明的第25实施方式的效果的图(之七)。
图148是用于说明本发明的第25实施方式的效果的图(之八)。
图149是用于说明本发明的第25实施方式的效果的图(之九)。
图150是用于说明本发明的第25实施方式的效果的图(之十)。
图151是用于说明本发明的第25实施方式的效果的图(之十一)。
图152是用于说明本发明的第25实施方式的效果的图(之十二)。
图153是用于说明本发明的第25实施方式的效果的图(之十三)。
图154是用于说明本发明的第25实施方式的效果的图(之十四)。
图155是用于说明本发明的第25实施方式的效果的图(之十五)。
图156是用于说明本发明的第25实施方式的效果的图(之十六)。
图157是用于说明本发明的第25实施方式的效果的图(之十七)。
图158是用于说明本发明的第25实施方式的效果的图(之十八)。
图159是用于说明本发明的第25实施方式的效果的图(之十九)。
图160是用于说明本发明的第25实施方式的效果的图(之二十)。
图161是用于说明本发明的第25实施方式的效果的图(之二十一)。
图162是本发明的第26实施方式的电子水印嵌入装置的结构图。
图163是本发明的第26实施方式的电子水印嵌入装置的动作的流程图。
图164是用于说明本发明的第26实施方式的帧图像取得部的处理的图。
图165是本发明的第26实施方式的水印图案生成部的结构图。
图166是本发明的第26实施方式的水印图案生成部的动作的流程图。
图167是用于说明本发明的第26实施方式的基本水印图案生成部的处理的例子的图。
图168是本发明的第26实施方式的水印图案切换部的结构图。
图169是本发明的第26实施方式的水印图案切换部的动作的流程图。
图170是用于说明本发明的第26实施方式的水印图案切换信息的例子的图。
图171是用于说明本发明的第26实施方式的水印图案切换部的处理的图。
图172是用于说明本发明的第26实施方式的水印相位图案图像化部的处理的图。
图173是用于说明本发明的第26实施方式的水印图案重叠部的处理的图。
图174是本发明的第26实施方式的电子水印检测装置的结构图。
图175是本发明的第26实施方式的电子水印检测装置的动作的流程图。
图176是用于说明本发明的第26实施方式的特征区域提取部的处理的图。
图177是用于说明本发明的第26实施方式的差分图像生成部的处理的图。
图178是用于说明本发明的第26实施方式的相位差分计量部的处理的内容的图(之一)。
图179是用于说明本发明的第26实施方式的相位差分计量部的处理的内容的图(之二)。
图180A是用于说明本发明的第26实施方式的相位差分计量部的处理的内容的图(之三)。
图180B是用于说明本发明的第26实施方式的相位差分计量部的处理的内容的图(之三)。
图181是用于说明本发明的第26实施方式的差分图像(B)蓄积缓存的图。
图182是用于说明本发明的第26实施方式的检测对象区域提取部的处理的图。
图183是用于说明本发明的第26实施方式的电子水印检测部的处理的例子的图。
符号说明
100电子水印嵌入装置；110帧图像取得部；120水印图案生成部；121基本水印图案生成部；122水印图案切换部；123水印信息分割部；130水印图案重叠部；140运动图像数据再构成部；200电子水印检测装置；210运动图像输入部；220检测对象区域提取部；230差分图像生成部；240电子水印检测部；241差分图像相位判断部；242水印信息检测部；243相关运算部；244可否检测判断部；246数据块ID检测部；247数据块信息检测部；248数据块ID＝n用差分图像蓄积缓存；249相关运算部；250检测对象区域图像缓存；251数据块ID＝n用相关值缓存；255差分图像蓄积缓存；260是否需要检测判断部；265反馈输出部；270捕捉定时控制部；280检测数据块蓄积部；281检测数据块缓存部；282检测结束确认部；283检测水印信息缓存；290特征区域提取部；301帧图像缓存；302特征区域图像缓存；303差分帧图像缓存；304特征区域差分图像缓存；310缩放处理部；360相位差分计量部；370相位图案缓存；390差分图像(B)蓄积缓存；1221符号图案生成部；1222水印图案切换相位变动值计算部；1223水印相位差分图案生成部；1224水印相位图案生成部；1225水印相位图案图像化部
具体实施方式
下面说明附图和本发明的实施方式。
[实施方式的概要]
首先说明实施方式的概要。图1A～图2B为表示实施方式的概要A的图。
在图1A中表示了实施方式的概要A的电子水印嵌入方法的流程图。该方式是在运动图像中嵌入电子水印的电子水印嵌入装置的电子水印嵌入方法，首先将由帧图像组构成的运动图像数据、水印信息、水印图案切换信息输入到电子水印嵌入装置中(步骤A1)。接着，电子水印嵌入装置依次取得运动图像数据的各帧图像和该帧显示时刻(步骤A2)，使用水印信息和帧显示时刻以及水印图案切换信息，生成水印图案(步骤A3)，将水印图案重叠在帧图像上(步骤A4)。然后，电子水印嵌入装置将依次重复步骤A2到步骤A4而得到的嵌入有水印的帧图像组进行结合来生成嵌入有水印的运动图像数据(步骤A5)。
图1B表示实施方式的概要A的电子水印检测方法的流程图。该方法为从运动图像中检测出电子水印的电子水印检测装置的电子水印检测方法，首先，依次取得帧图像(步骤A6)。接着，电子水印检测装置生成此次取得的帧图像和以前取得的帧图像之间的差分图像(步骤A7)，从差分图像中检测出电子水印，输出电子水印的检测状况(步骤A8)。而且，电子水印检测装置在包含无法检测电子水印的情况在内的继续执行电子水印检测处理的情况下，用运动图像输入单元重新取得新的帧图像，重复上述处理(步骤A9)。
图2A表示实施方式的概要A的电子水印嵌入装置的结构图。该电子水印嵌入装置具有：依次取得由所输入的帧图像组构成的运动图像数据的各帧图像和该帧显示时刻的帧图像取得单元A110；使用所输入的水印信息和帧显示时刻以及所输入的水印图案切换信息，生成水印图案的水印图案生成单元A120；将水印图案重叠在帧图像上的水印图案重叠单元A130；以及将依次重复从帧图像取得单元A110到水印图案重叠单元为止的处理而得到的嵌入有水印的帧图像组进行结合来生成嵌入有水印的运动图像数据的运动图像数据再构成单元A140。
图2B表示实施方式的概要A的电子水印检测装置的结构图。该电子水印检测装置具有：依次取得帧图像的运动图像输入单元A210；生成此次取得的帧图像和以前取得的帧图像之间的差分图像的差分图像生成单元A230；以及从差分图像中检测出电子水印，输出电子水印的检测状况的电子水印检测单元A240。
图3A-图4B是表示实施方式的概要B的图。图3A表示实施方式的概要B的电子水印嵌入方法的流程图。该方法为在运动图像中嵌入电子水印的电子水印嵌入装置中的电子水印嵌入方法。首先，输入由帧图像组构成的运动图像数据、水印信息、作为指定水印图案的相位变动的周期信息的水印图案切换信息。然后，电子水印嵌入装置依次取得运动图像数据的各帧图像和该帧图像的显示时刻(步骤B1)。接着，电子水印嵌入装置使用水印信息和帧图像显示时刻以及水印图案切换信息，生成水印图案(步骤B2)，将水印图案重叠在帧图像上(步骤B3)。然后，电子水印嵌入装置将依次重复步骤B1-步骤B3所得的嵌入有水印的帧图像组进行结合来生成嵌入有水印的运动图像数据(步骤B4)。
图3B表示实施方式的概要B的电子水印检测方法的流程图。该方法为使用从运动图像中检测出电子水印的电子水印检测装置的电子水印检测方法，首先依次取得帧图像(步骤B11)。电子水印检测装置生成此次取得的帧图像和从图像存储单元读取的以前取得的帧图像之间的差分图像(A)，将该此次取得的帧图像存储在该图像存储单元中(步骤B12)。电子水印检测装置根据此次取得的差分图像(A)生成相位图案，对此次取得的相位图案和从相位图案存储单元读取的以前取得的相位图案之间的相位差进行计量，根据相位差来生成差分图像(B)，将该此次取得的相位图案存储在该相位图案存储单元中(步骤B13)。然后，电子水印检测装置从差分图像(B)中检测出电子水印，输出电子水印的检测状况(步骤B14)，在继续执行电子水印检测处理的情况下，重新取得新的帧图像来重复上述处理(步骤B15)。
图4A表示实施方式的概要B的电子水印嵌入装置的结构图。该电子水印嵌入装置具有：依次取得由所输入的帧图像组构成的运动图像数据的各帧图像和该帧图像的显示时刻的帧图像取得单元B110；使用所输入的水印信息和帧图像显示时刻以及作为指定水印图案的相位变动的周期信息的水印图案切换信息，来生成水印图案的水印图案生成单元B120；将水印图案重叠于帧图像上的水印图案重叠单元B130；以及结合嵌入有水印的帧图像组来生成嵌入有水印的运动图像数据并输出的运动图像数据再构成单元B140。
图4B表示实施方式的概要B的电子水印检测装置的结构图。该电子水印检测装置具有：依次取得帧图像的运动图像输入单元B210；生成此次取得的帧图像和从图像存储单元读取的以前取得的帧图像之间的差分图像(A)，将该此次取得的帧图像存储在该图像存储单元B250中的差分图像生成单元B230；根据此次取得的差分图像(A)生成相位图案，对此次取得的相位图案和从相位图案存储单元B370读取的以前取得的相位图案之间的相位差进行计量，根据相位差生成差分图像(B)，将该此次取得的相位图案存储在该相位图案存储单元中的相位差分计量单元B360；以及从差分图像(B)中检测出电子水印，输出电子水印的检测状况的电子水印检测单元B240。
图5A-图6B是表示实施方式的概要C的图。图5A表示实施方式的概要C的电子水印嵌入方法的流程图。该方法为使用将电子水印嵌入到运动图像中的电子水印嵌入装置的电子水印嵌入方法，首先向电子水印嵌入装置输入由帧图像组构成的运动图像数据、水印信息、水印图案切换信息(步骤C1)。然后，电子水印嵌入装置依次取得运动图像的各帧图像和该帧显示时刻(步骤C2)，使用水印信息和帧显示时刻以及水印图案切换信息，生成水印图案(步骤C3)。电子水印嵌入装置将水印图案的大小变更为帧图像以下的大小，将水印图案重叠于帧图像的内部(步骤C4)，将依次重复步骤C2到步骤C4而得到的嵌入有水印的帧图像组结合起来生成嵌入有水印的运动图像数据(步骤C5)。
图5B表示实施方式的概要C的电子水印检测方法的流程图。该方法为从运动图像中检测出电子水印的电子水印检测装置的电子水印检测方法，首先依次取得帧图像(步骤C6)。电子水印检测装置生成此次取得的帧图像和以前取得的帧图像之间的差分图像(步骤C7)，从差分图像中提取出检测对象区域来生成检测对象区域图像(步骤C8)。然后，电子水印检测装置从检测对象区域图像中检测出电子水印，输出电子水印的检测状况(步骤C9)，在根据检测状况继续执行电子水印检测处理的情况下，重新取得新的帧图像，重复上述处理(步骤C10)。
图6A表示实施方式的概要C的电子水印嵌入装置的结构图。该电子水印嵌入装置具有：依次取得运动图像数据的各帧图像和帧显示时刻的帧图像取得单元C110；使用所输入的水印信息和水印图案切换信息以及帧显示时刻来生成水印图案的水印图案生成单元C120；将水印图案大小变更为帧图像以下的大小，将水印图案重叠于帧图像的内部的水印图案重叠单元C130；以及将依次重复上述处理而得到的嵌入有水印的帧图像组结合起来生成嵌入有水印的运动图像数据的运动图像数据再构成单元C140。
图6B表示实施方式的概要C的电子水印检测装置的结构图。该电子水印检测装置具有：依次取得帧图像的运动图像输入单元C210；生成此次取得的帧图像和以前取得的帧图像之间的差分图像的差分图像生成单元C230；从差分图像中提取出检测对象区域来生成检测对象区域图像的检测对象区域提取单元C220；以及从检测对象区域图像中检测出电子水印，输出电子水印的检测状况的电子水印检测单元C240。
[第1实施方式]
<电子水印嵌入装置>
图7表示本发明的第1实施方式的电子水印嵌入装置的结构。
该图所示的电子水印嵌入装置100具有帧图像取得部110、水印图案生成部120、水印图案重叠部130、以及运动图像数据再构成部140。
在帧图像取得部110中输入有原始运动图像数据，在水印图案生成部120中输入有水印信息和水印图案切换信息。另外，运动图像数据再构成部140输出嵌入有水印的运动图像数据。
下面说明电子水印嵌入装置100的动作。
图8表示本发明的第1实施方式的电子水印嵌入装置的动作的流程图。
步骤110)如图9所示，帧图像取得部110从原始运动图像数据中依次分别取得一张帧图像和一个相应的帧显示时刻。此处，所谓帧显示时刻，例如既可以表示根据时间代码和再现时的帧速率来确定的运动图像的起始处起的绝对时刻，或者也可以为赋予各个帧的连号等测量了再现时的帧之间的相对时间间隔的时刻。帧图像取得部110在输入运动图像数据为MPEG等的编码数据的情况下，进行解码来取得帧图像。
步骤120)在水印图案生成部120中输入有水印信息和水印图案切换信息，使用水印信息、帧显示时刻、以及水印图案切换信息来生成水印图案。
步骤130)在水印图案重叠部130中，将在水印图案生成部120中生成的水印图案重叠于上述的帧图像上来生成嵌入有水印的帧图像。
步骤140)最后，在运动图像数据再构成部140中，将依次生成的嵌入有水印的帧图像串，作为运动图像数据进行再构成之后作为嵌入有水印的运动图像数据来输出。此时，如果需要也可以进行MPEG编码等的编码。
接着详细说明水印图案生成部120。
图10表示本发明的第1实施方式的水印图案生成部的结构。
水印图案生成部120具有基本水印图案生成部121和水印图案切换部122。
图11为本发明的第1实施方式的水印图案生成部的动作的流程图。
步骤121)当输入了水印信息时，基本水印图案生成部121将该水印信息转换为作为2维图案的基本水印图案。
如图12所示，该转换的方法可以使用通常的用于静止图像的电子水印技术中所用的方法、例如可以使用「中村、片山、山室、曾根原：「カメラ付携帯電話機を用いたアナログ画像からの高速電子透かし方式」、信学論(D-II)、Vol.J87-D-II，No.12，pp.2145-2155、2004年12月」(下面记作文献1)中所述的方法。作为该方法，具有：根据通过用扩展序列对水印信息的位值进行直接光谱扩散调制所得到的序列的值，来使其与像素值的大小对应起来的方法(图12：调制方法(A-1))、切换块的波形图案的方法(图12：调制方法(A-2))、或者将序列的项的值对应于2个块而用像素值有无变化来表示值的方法(图12：调制方法(A-3))、用波形图案的相位变化的有无来表示的方法(图12：调制方法(A-4))等。而且，进行(图12：A-3)、(图12：A-4)那样的调制时，可以将对应于序列的项的2个块的位置各错开1个块，一边使其重合一边进行调制。
或者如图13的例子所示，还考虑到如下的做法：将水印信息划分为某程度的长度的码元(在图13中将1位划分为1个码元)，使其与按照各个码元的能够取到的每个值而不同的独立的扩散序列对应起来，将它们连接或者重叠而进行复用(未图示)，将如此得到的序列的值与图12的情况同样地转换为2维图案。而且，还考虑到相机捕捉时的分辨率变低的情况，这些基本水印图案优选将块的大小取得较大，或是将波形图案设为低频图案。另外，在图12和图13中，把对水印信息进行了光谱扩散调制的结果直接进行像素图案化，但也可以像文献2“T.Nakamura，H.Ogawa，A.Tomioka，Y.Takashima，”Improved digital watermark robustnessagainst translation and/or cropping of an image area”，IEICE Trans，Fundamentals，vol.E83-A，No.1，pp.68-76，Jan.2000”(下面记作文献2)那样在频率空间内同样进行，用逆正交转换来进行图像图案化。无论如何，只要是以相加的方式重叠于图像上的类型的电子水印方式就可为任意形式。
下面为了说明，设基本水印图案的各像素值具有正负的值，像素值的平均值为0。可知，如果使任意的基本水印图案的平均值移位，则可以很容易得到上述结果。
步骤122)水印图案生成部120接着在水印图案切换部122中根据帧显示时刻和图案切换的信息之间的关系，来判断是否需要反转基本水印图案的相位。
步骤123)当需要相位反转时，反转基本水印图案的相位，作为水印图案输出。
步骤124)当不需要相位反转时，将基本水印图案直接作为水印图案输出。
图14A-C表示本发明的第1实施方式的水印图案切换信息的例子。水印图案切换信息是表示相对于运动图像的再现时的时间轴而如何改变基本水印图案的相位的信息，可以像图14A那样指示为按照一定时间使基本水印图案进行反转，或者像图14B那样指示为按照某时间单位进行随机反转，或者像图14C那样指示为按照复杂的定时进行反转。由于通过随机切换等复杂的图案而使得分析变得困难，所以在著作权保护等以安全性目的下使用本发明的情况下，对于攻击电子水印增加了安全性。而且，在图14A-C的例子中只表示了使用相位0和π的2个值来取为矩形的情况，但例如也可以使用正弦曲线等平滑地改变相位的形状。
图15是用于说明本发明的第1实施方式的水印图案切换部的处理的图。在该图中，表示使用上述的调制方法(A-1)的情况。假设为如下情况：水印图案切换部122将水印图案切换信息、帧显示时刻和基本水印图案作为输入，如图15那样指示为使水印图案切换信息每隔1/10秒进行反转。另外，原始运动图像如果按照30帧/秒来进行再现，则每隔3帧进行相位反转。如果设当在水印图案切换信息的时间轴上取了此时由帧图像取得部110取得的帧显示时刻t时，用水印图案切换信息表示的相位为π，则该情况下，将对基本水印图案的相位进行了反转而得到的图案作为针对该帧显示时刻的水印图案。
而且，由于基本水印图案具有正负的像素值，平均值为0，所以可以通过对各像素值乘以“-1”来得到相位反转。另外，当在水印图案切换信息的时间轴上取了帧显示时刻t’时的相位为0时，基本水印图案的相位变化量为0、即不使其变化地直接作为水印图案输出。
而且，如图16所示，由于对于像素值的振幅进行水印图案切换部122的相位调制，所以例如调制方法(A-2)那样为按照每个块使用了波形图案的基本水印图案的情况下，波形的朝向不发生变化，成为像素值反转的形式。另外，用水印图案切换信息表示的水印图案的相位变化由于抑制了嵌入有水印的运动图像的画质恶化，所以优选在某一程度的时间区间(例如1秒之间)的范围内，没有向正相位和逆相位的偏离。即，优选是将相位偏离设为0而按照时间区间对图14的曲线图显示的横轴进行积分得到的值为0。
关于仅有反转/不反转的水印图案切换的情况而言，优选时间区间内的反转/不反转的时间的合计大致相同。
接着详细说明水印图案重叠部130。
图17是用于说明本发明的第1实施方式的水印图案重叠部的处理的图。
水印图案重叠部130输入根据帧图像和相应的帧显示时刻所生成的水印图案。在水印图案重叠部130中，首先，将水印图案拉伸至帧图像的大小，之后与帧图像相加，得到嵌入有水印的帧图像。通过在相加之前在适当增减水印图案的振幅之后开始进行相加，从而可以调整电子水印的耐性和画质恶化之间的权衡(trade off balance)。另外，在将水印图案与帧图像相加时，关于与何种分量相加也能具有各种方式。例如，与帧图像的亮度值相加或者与RGB色系的Blue分量相加。与CMYK色系的Yellow分量相加。是如下的各种方式：与HSV色系的Hue分量相加，与YCbCr色系的Cb分量相加等。另外，也可能水印图案的1个像素不是一个值，而是具有两个值那样的使用多个分量的水印图案的情况，此时，例如可以对RGB色系的Red分量和Green分量分别加上水印图案的各平面的像素值等来改变多个分量。
最后详细说明运动图像数据再构成部140。
运动图像数据再构成部140将通过上述处理依次生成的嵌入有水印的帧图像作为运动图像数据进行再构成，作为嵌入有水印的运动图像数据输出。在进行再构成时，也可以进行MPEG编码等的编码。
以上是本实施方式的水印嵌入装置100的说明。
此处说明本实施方式的使用场景。
图18是用于说明本发明的第1实施方式的使用场景的图。
上述说明过的嵌入有水印的运动图像数据例如通过电视播放等在电视显示装置上得以再现(1)。当受众使用关于视听节目的信息服务时，例如将带相机的移动电话等的相机朝向电视的显示画面开始拍摄(2)。通过拍摄使视频帧实时地依次被捕捉输入到移动电话上，从其帧组中检测出电子水印(3)。以检测出的电子水印的信息为基础，例如可以使用取得网络上的信息资源等的相关信息服务(4)。
<电子水印检测装置>
下面说明电子水印检测装置。
图19表示本发明的第1实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200A具有：运动图像输入部210、检测对象区域提取部220、差分图像生成部230、电子水印检测部240、以及检测对象区域图像缓存250。在运动图像输入部210中输入有显示于电视等显示器上的模拟运动图像或者被MPEG编码后的数字运动图像，电子水印检测部240输出检测结果。
图20表示本发明的第1实施方式的电子水印检测装置的动作的流程图。
步骤201)在运动图像输入部210中，当输入了模拟或者数字运动图像时，依次取得帧图像。在输入模拟运动图像时，进行相机、扫描仪或者模拟视频信号等的输入，取得帧图像，另外如果是数字运动图像，则进行解码处理等而取得帧图像。
步骤202)接着，在检测对象区域提取部220中，提取依次输入的各帧图像中的成为水印检测对象的检测对象区域，取得检测对象区域图像。
步骤203)然后，在差分图像生成部230中，生成当前取得的检测对象区域图像和蓄积在检测对象区域图像缓存250中的以前取得的检测对象区域图像之间的差分图像。
步骤204)另外，为准备接下来的检测尝试，差分图像生成部230将此次的检测对象区域图像缓存到检测对象区域图像缓存250中。
步骤205)在电子水印检测部240中，尝试从差分图像中检测出电子水印，输出检测结果。当电子水印检测不成功时，在运动图像输入部210中，取得下一个帧图像，依次重复上述处理。
下面详细说明检测对象区域提取部220的处理。
图21是用于说明本发明的第1实施方式的检测对象区域提取部的处理的图。
检测对象区域提取部220将帧图像作为输入。在图21中表示相机输入的例子。在相机输入时，由于拍摄角度所产生的平面射影转换或手抖等而使帧图像中的检测对象区域以各种形态呈现畸变而发生变化。因此，在检测对象区域提取部220中，例如使用「片山、中村、山室、曾根原：「電子透かし読み取りのためのi アプリ高速コ一ナ一検出アルゴリズム」、信学論(D-II)，Vol.J88-D-II，No.6，pp.1035-1046，2005年6月」(下面记作文献3)所述那样的边缘检测/角检测等的方法来对捕捉到的每个帧图像检测出TV的显示区域等。为了接下来进行的差分图像生成，校正检测出的显示区域的平面射影失真(plane projection distortion)，进而把归一化了图像大小而成为一定大小的图像作为检测对象区域图像输出。而且，在输入NTSC等的模拟视频信号或输入MPEG等的数字运动图像的情况下，不需要对帧中生成的失真进行处理，或进行仅切取帧图像中的一部分的处理，将帧图像直接作为检测对象区域图像输出即可。
接下来详细说明差分图像生成部230。
图22是用于说明本发明的第1实施方式的差分图像生成部的处理的图。
差分图像生成部230将检测对象区域图像作为输入。差分图像生成部230生成当前输入的检测对象区域图像和蓄积在检测对象区域图像缓存250中的以前取得的检测对象区域图像之间的差分图像。最简单的方式可以考虑到，对之前的检测对象图像进行缓存后，作为差分对象，但也可以在检测对象区域图像中缓存多个图像，适当选择差分对象来生成差分图像。另外，准备接下来的检测尝试，将此次的检测对象区域图像缓存在检测对象区域图像缓存250中。此时，可以丢弃检测对象区域图像缓存250中的时间上较早的检测对象区域图像。
而且，在输入了最开始的检测对象区域图像的定时中，虽然检测对象区域图像缓存250是空的，但此时也可以不取差分地将最开始的检测对象区域图像本身作为差分图像输出来尝试电子水印检测，或者也可以跳过电子水印检测来进行下一个的帧捕捉处理。
接着详细说明电子水印检测部240。
电子水印检测部240以差分图像作为输入，尝试从差分图像中检测出电子水印。
图23是用于说明本发明的第1实施方式的电子水印检测部的处理的例子的图。该图是对应于电子水印嵌入时的调制方法(B-1)的检测时的解调方法。
首先，取出用于差分图像的嵌入的分量通道。如果其为亮度则取出亮度分量。然后，将差分图像块分割成嵌入时的水印图案的块的个数。
接着求出块内的亮度值的合计，按照块顺序进行排列而得到作为一维序列的检测对象序列。在调制方法(B-2)那种情况下，求出块内的波形图案的能量，计算多个波形图案中哪个图案处于支配地位这样的指标值，将其排列为一维(文献1)。
接着，在嵌入时对应于1位码元按照序列的每个区间进行调制的情况，取出检测对象序列的每个码元位置的区间，对于各区间进行表示码元值为“0”的扩散序列和表示码元值为“1”的扩散序列之间的相关运算。关于各码元位置、相关值(的绝对值)最大的码元值成为检测出的水印信息。在图23的例子中，第1码元为“0”，第2码元为“1”的信息成为检测出的水印信息。另外，将此时所得的相关值(的绝对值)为预定的阈值以上等足够大的情况视为成功地检测出电子水印的情况。而且，关于调制方法(A-1)～(A-4)的检测方法，像文献1那样用相关值的正负来确定位值即可。
当在电子水印检测部240成功地检测出了电子水印时，也可以输出检测出的水印信息来结束检测处理而将状态迁移为提供相关信息服务，或者像“J.Rekimoto，Y.Ayatsuka，”CyberCode：Designing Augmented RealityEnvironments with Visual Tags”，Designing Augmented RealityEnvironments(DARE 2000)，2000年”(下面称作文献4)等那样，在合成了拍摄图像和CG(计算机图形)等的扩展现实感的应用的情况下，也可以继续进行持续的电子水印检测。在电子水印检测未成功的情况下，接下来回到运动图像输入部210的帧捕捉处理，重复检测尝试。或者当运动图像的输入结束后结束检测处理。
<本实施方式的效果>
根据本实施方式，在向运动图像嵌入电子水印时，通过按照每帧切换水印图案来进行嵌入，从而与通过单纯地对帧图像重复应用静止图像算法来嵌入固定的水印图案的嵌入方法相比，可以避免固定图案，因此能够将画质恶化抑制到较低水平。特别地，当切换速度为高速的情况下，如果应用人的视觉特性中时间频率较高则视觉灵敏度降低这样的时间频率特性相关的知识，则更难以察觉画质恶化(「樋渡編、画像工学ハンドブツク、朝倉書店、ISBN4-254-20033-1，pp.10-56，1986年」(以下称作文献5))。
另外，在电子水印检测处理中，取所捕捉的帧图像的时间差分来从差分图像中检测出电子水印。如图24所示，可知运动图像一般在时间方向上的帧间相关度较高，通过取差分而去除伴随激烈的动作的部分等，将原始图像分量的大半取消掉。与此同时，在水印图案反转的2个帧间的差分的情况下，可以得到嵌入时的水印图案的振幅的一倍的振幅的水印图案。由此，可以解决作为对图像以相加的方式重叠水印图案的类型的电子水印方式共同的课题，所以能够大幅度提高检测时的水印信号的S/N比，提高电子水印的耐性，其中，所述解决的课题是对作为相对于水印信号的较大的噪声分量的原始图像信号进行抑制，进而可以使水印信号的振幅加倍。
进而，在生成差分图像之前，进行捕捉到的帧图像中的检测对象区域提取，校正失真来进行归一化，从而可以消除相机输入那样的拍摄角度引起的平面射影转换失真和伴随相机的移动、视点移动等的平行移动等的捕捉帧中的检测对象区域的各种失真要因，可以实现对相机输入的电子水印检测。进而，通过将该校正对每个捕捉帧进行，从而可以消除手持相机那样的情况下产生的伴随相机本身的移动而在每个拍摄帧不同的失真要因，所以能够通过差分图像生成来可靠地抑制原始图像信号，即使在手持带相机的移动电话那样的情况下也能没有问题地成功进行检测。
[第2实施方式]
在本实施方式中，说明电子水印检测装置。
本实施方式除了以下说明的部分以外，与上述的第1实施方式相同。
图25表示本发明的第2实施方式的电子水印检测装置的结构。该图所示的电子水印检测装置200B为在上述的第1实施方式的图15的结构中附加了是否需要检测判断部260的结构。
图26是本发明的第2实施方式的电子水印检测装置的动作的流程图。
步骤301)电子水印检测装置200B的运动图像输入部210输入模拟或者数字运动图像，依次取得帧图像，同时取得相应的帧显示时刻。帧显示时刻可以例如在进行MPEG编码后的运动图像等的情况下以时间代码或帧速率等为基础取得。还能考虑到在相机等的情况下无法与显示系统取得同步的情况。此时在运动图像输入部210内具有定时器，通过取得捕捉时的时刻，或者取得之前的捕捉起的延迟时间等的方法可以得到该捕捉帧的帧显示时刻。
步骤302)接着在检测对象区域提取部220中提取依次输入的各帧图像中的成为水印检测的对象的检测对象区域来取得检测对象区域。
步骤303)接着，在是否需要检测判断部260中将对应于当前取得的检测对象区域图像的帧显示时刻和对应于蓄积在检测对象区域图像缓存中的以前取得的检测对象区域图像的帧显示时刻同与嵌入时相同的水印图案切换信息一边进行参照一边进行比较，当2张检测对象区域图像中的水印图案的相位相同时为不需要检测，转移到步骤304的处理。如果判断为相位不相同则转移到步骤305。
步骤304)当不需要检测时，在检测对象区域图像缓存250中缓存了此次的检测对象区域图像和对应的帧显示时刻的基础上，回到运动图像输入部210的捕捉处理中(转移到步骤301)。
步骤305)向差分图像生成部230发送此次的检测对象区域图像。差分图像生成部230生成当前取得的检测对象区域图像和蓄积在检测对象区域图像缓存250中的以前取得的检测对象区域图像之间的差分图像。
步骤306)另外，为准备接下来的检测尝试，差分图像生成部230将此次的检测对象区域图像和帧显示时刻缓存在检测对象区域图像缓存250中。此时，丢弃在检测对象区域图像缓存中的时间上较早的检测对象区域图像和帧显示时刻等。
步骤307)接着，在电子水印检测部240中尝试从差分图像中检测出电子水印，输出检测结果。
步骤308)判断电子水印检测是否成功，当未成功的情况下，在运动图像输入部210中取得下一个帧图像，依次重复上述处理(转移到步骤301)。当成功的情况下，结束处理。
上述是否需要检测判断部260将帧显示时刻、检测对象区域图像、水印图案切换信息作为输入。是否需要检测判断部260将对应于当前取得的检测对象区域图像的帧显示时刻和对应于蓄积在检测对象区域图像缓存250中的以前取得的检测对象区域图像的帧显示时刻同与嵌入时相同的水印图案切换信息一边进行参照一边进行比较，通过2张检测对象区域图像中的水印图案的相位是否相同来判断是否需要检测，不需要检测的情况下回到运动图像输入部210的捕捉处理。判断为需要检测的情况下将检测对象区域图像发送给差分图像生成部230。
图27是用于说明本发明的第2实施方式的是否需要检测判断部的处理的图。
例如，假设：水印图案切换信息为“每隔1/10秒进行切换”，以30帧/秒再现运动图像。另外，设蓄积在检测对象区域图像缓存250中的以前帧的帧显示时刻为t。当此次取得的帧显示时刻为t0或者t1时，t0-t＝3/30秒、或者t1-t＝5/30秒分别表示在每隔1/10秒的反转中水印图案的相位相反，可知从差分图像中检测出电子水印的可能性较高，因此判断为“需要检测”。另外，当此次取得的帧显示时刻为t2时，t2-t＝6/30秒表示在每隔1/10秒的反转中水印图案的相位相同，可知从差分图像中检测出电子水印的可能性较低，因此判断为“不需要检测”。
如该例所示，帧显示时刻不必为从运动图像的起始处起的绝对时间，只要得到所再现的运动图像的捕捉定时间的延迟时间即可。
<本实施方式的效果>
根据本实施方式，除了第1实施方式的效果以外，还可以得到如下的效果：通过进行是否需要检测判断来节省无为的电子水印检测处理，从而可以进行高效的检测处理。如图28A、B所示，由于评价捕捉的定时而只在水印图案的相位相反的情况下生成差分图像来进行检测尝试，所以可以避免难以检测的相位相同的情况，能够节省无为的检测尝试。相应于削减的处理量，可以得到提高捕捉的帧速率所带来的检测性能提高和通过高度化用户接口等来提高检测装置的方便性的效果。
[第3实施方式]
本实施方式中说明电子水印检测装置。
本实施方式除了以下所说明的部分以外，与第1实施方式相同。
图29表示本发明的第3实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200C为在第1实施方式的图19的结构上附加了捕捉定时控制部270的结构。
捕捉定时控制部270以水印图案切换信息作为输入，将捕捉定时信号发送给运动图像输入部210。另外，将差分定时信号发送给差分图像生成部230。
图30是本发明的第3实施方式的电子水印检测装置的动作的流程图。
步骤401)运动图像输入部210以从捕捉定时控制部270输入的捕捉定时信号所指定的捕捉时间间隔输入模拟或者数字运动图像，依次取得帧图像。
步骤402)在检测对象区域提取部220中，提取依次输入的各帧图像中的成为水印检测的对象的检测对象区域来取得检测对象区域图像。
步骤403)接着，在差分图像生成部230中生成当前取得的检测对象区域图像和蓄积在检测对象区域图像缓存250中的用差分定时信号表示的时间上靠前的检测对象区域图像之间的差分图像。
步骤404)另外，为准备接下来的检测尝试，差分图像生成部230将此次的检测对象区域图像缓存在检测对象区域图像缓存250中。
步骤405)接着，在电子水印检测部240中尝试从差分图像中检测出电子水印，输出检测结果。
步骤406)当电子水印检测未成功的情况下，在运动图像输入部210中取得下一个帧图像，依次重复上述处理(转移到步骤401)。当成功的情况下，结束处理。
图31是用于说明本发明的第3实施方式的捕捉定时控制部的处理的图。例如设为，水印图案切换信息为“每隔1/10秒进行切换”，以30帧/秒再现运动图像。此时，每隔1/10秒发送捕捉定时信号，在接收到该信号的运动图像输入部210中以1/10秒的间隔进行捕捉。或者也可以在最开始将“以1/10秒的间隔进行捕捉”这样的信息作为捕捉定时信号进行发送，在运动图像输入部210的内部一边取得定时一边以1/10秒的间隔进行捕捉动作。
另外，作为差分定时信号，设将“取得相隔1/10秒(的奇数倍)的检测对象区域图像之间的差分”这样的指示发送给差分图像生成部230。在相机输入等的情况下，即使只指定了捕捉的时间间隔实际所捕捉的帧组也有可能不同(图31的捕捉例A和捕捉例B之间的不同)。但是，无论哪个捕捉例的情况下，通过每隔1/10秒的捕捉一定可以交替地捕捉到嵌入有相位相反的水印图案的帧。由此可以使得从任何相连续的2张的差分图像中检测出电子水印的可能性变高。即，不依赖于捕捉的开始定时。
另外，如果如图32所示进行“以1/30秒的间隔进行捕捉，在相隔1/10(的奇数倍)的检测对象区域图像之间进行差分”这样的指示，在检测对象区域图像缓存250中对从按照1/30秒捕捉到的帧中得到的最近3张的检测对象区域图像进行了缓存，则依次取得每隔1/30秒所输入的新的检测对象区域图像和1/10秒之前、即3张之前的检测对象区域图像之间的差分，从而在每次的水印检测尝试中，可以全部提高检测可能性。
而且，当输入为MPEG等的数字的情况下，以及当正确得到了模拟视频信号等输入的帧显示时刻的情况下，当然可以取得同步，所以能够通过与上述相同的处理在各检测尝试中提高检测可能性。
<本实施方式的效果>
根据本实施方式，除了具有第1实施方式的效果以外，由于如图33A、B所示那样，以与水印图案切换定时取得同步的定时来进行捕捉和差分图像生成，从而可以对水印图案的相位始终相反的图像取差分来进行检测，所以还具有如下的效果：在所有的检测尝试中实现强调了水印图案的从差分图像进行的检测，能够提高检测可能性。由此，由于消除了检测可能性较低的无为的尝试，所以可以缩短到检测出电子水印为止的所需时间，可以自开始捕捉起尽早使检测成功。另外，在扩展现实感的应用等即使水印检测成功也继续执行检测的情况下，由于检测成功状态不中断地持续，所以还可以得到用户接口得到改善，方便性提高的效果。
[第4实施方式]
在本实施方式中说明用于执行如下处理的方法：即使使用通过水印图案的相位的反转而使检测出的水印信息的位反转的类型的调制方法的情况下，也能检测出正确的水印信息。
本实施方式除了下面说明的部分以外，与第1-第3实施方式相同。
图34A、B表示本发明的第4实施方式的基本水印图案生成部的处理内容。该图表示第1实施方式的图10所示的电子水印嵌入装置100的水印图案生成部120的基本水印图案生成部121的处理内容。
在第1-第3实施方式中的基本水印图案生成部121中，只将所输入的水印信息调制为基本水印图案。在本实施方式中，对所输入的水印信息追加1位水印信息的位反转判断用的标记位来生成基本水印图案。或者也可以设想相比于第1实施方式至第3实施方式而言、水印信息的位长减少1位的信息，追加位反转判断用的标记位，以位长与第1至第3实施方式的位长相同的信息为基础生成基本水印图案。在图34的例子中，作为位反转判断用的标记位，将位值“0”作为表示正相位、即没有位反转的值来附加。
图35是本发明的第4实施方式的电子水印检测部的动作的流程图。
步骤501)电子水印检测部240将差分图像作为输入，首先与第1至第3实施方式同样地尝试从差分图像中检测出电子水印。
步骤502)在能够检测出电子水印时，转移到步骤504，当无法检测时转移到步骤503。
步骤503)当无法检测时回到下一个帧捕捉。
步骤504)在可以检测出电子水印时，观看所检测到的信息中的位反转判断标记的值，评价该值是否表示正相位。如果表示正相位，则转移到步骤506。如果表示逆相位，则转移到步骤505。
步骤505)如果位反转判断标记表示逆相位，则以将除去位反转判断标记之后的信息的位反转后的信息作为检测到的水印信息，来输出检测结果。
步骤506)当表示正相位时，则将从检测信息中除去位反转判断用标记之后的信息作为检测出的水印信息，输出检测结果。
而且，可知，像第3实施方式那样，通过使用嵌入时的水印图案切换信息和捕捉时的帧显示时刻，还能够判断当前差分图像中的水印图案的相位。
<本实施方式的效果>
使用图36-38说明本实施方式的效果。
当使用第1实施方式中所述的图12的调制方法(A-1)作为电子水印嵌入时的调制方法时，在检测时从差分图像的像素值取得检测对象序列，取其与扩散序列之间的相关度，用相关值的正负来检测位值“0”、“1”。图36说明调制方法(A-1)时的解调。通过调制所得的基本水印图案适当反转相位而嵌入到运动图像的帧图像中。对于在对嵌入有水印的运动图像进行编码，或者捕捉模拟显示的过程中所嵌入的水印图案而言，由于被加入了各种噪声，所以从差分图像得到的检测对象序列相比于嵌入时所调制的水印信息，信号发生变化。但是，如果取与嵌入时使用的扩散序列之间的相关度，则相当于位为“1”的区间的相关值应该取较大的正值，相当于位为“0”的区间的相关值应该取较大的负值。由此进行所嵌入的位信息的解调。
但是，如图37所示，基本水印图案的相位由于通过水印图案切换部122而在时间方向上切换为正相位/逆相位，所以例如考虑图37的从(1)和(2)的帧得到的差分图像时，由于(1)中嵌入有基本水印图案的相反相位，(2)中嵌入有基本水印图案的相同相位，所以(2)-(1)所得的差分图像作为基本水印图案成为相同相位、即正相位，从而可以正确地检测出水印信息。但是，也有可能根据捕捉的定时而产生根据(3)和(4)的帧得到的差分图像。此时由于(3)的相位与基本水印图案的相位相同，(4)的相位与基本水印图案的相位相反，所以差分图像为其相位与基本水印图案的相位相反的形式。此时，如果进行水印检测，则由于在图36所述的检测对象序列的各项的值被正负调转，所以相关值的符号反转。即，产生如下的问题：尽管嵌入了水印信息“01”，但是正确地检测到了作为其位反转得到的“10”。
本实施方式用于避免该问题，如图38那样在所嵌入的水印信息中追加了位反转判断标记。可以判断在检测时水印信息是否发生了位反转。即，可以判断差分图像的相位与基本水印图案的相位相同还是相反。当检测信息的位反转标记为表示正相位的值时直接以位值作为水印信息，当为表示逆相的值时反转检测信息的位值来作为水印信息，从而不依赖于捕捉所得的2张帧的取法，始终可以检测出正确的水印信息。该方法只要是极性利用型的调制方法就都可以进行应用。
而且，关于第1实施方式中所述的调制方法(A-2)～(A-4)、(B-2)～(B-4)，并非以差分图像的像素值(的单纯的总和)为基础构成检测对象序列，而是不依赖于差分图像的取法而可以始终检测一定的水印信息。另外，像调制方法(B-1)那样，在并非用相关值的正负来表示信息，而是根据与何种扩散序列取较大的相关绝对值来可以调制解调信息的类型的调制方法中，差分图像为正相位的情况下出现正的相关值、逆相的情况下出现负的相关值，这一点与(A-1)相同，但如果将相关值的绝对值较大的图像作为检测码元，则差分图像无论为正相位还是逆相，都始终能够没有问题地进行检测，所以不需要这种处理。总结如下。
<2维图案调制解调的类别>
(1)图案振幅利用型：由于以图像中的图案的振幅为基础构成检测对象序列，所以如果反转差分图像则检测对象序列也反转(调制方法(A-1)、(B-1))。
(2)图案形状利用型：由于以图像中的图案形状为基础构成检测对象序列，所以即使反转了差分图像，检测对象序列也不反转(调制方法(A-2)～(A-4)、调制方法(B-2)～(B-4))。
<光谱扩散调制解调的类别>
(a)极性利用型：用与扩散序列之间的相关值的正负的极性来表现信息的方法(调制方法(A-1)～(A-4))
(b)极性不利用型：通过多个扩散序列中的取最大绝对相关值的序列的种类来表现信息的方法(调制方法(B-1)～(B-4))
在反转了差分图像的情况下，位值反转的是(1)和(a)、即在所举的例子中只在调制方法(A-1)的情况下位值反转。
[第5实施方式]
在本实施方式中，说明不使用在第4实施方式中所使用的相位判断用标记而使用相位同步信号的复用水印嵌入的例子。
本实施方式除了下面说明的部分以外，与前述的第1至第3实施方式相同。
图39是用于说明本发明的第5实施方式的基本水印图案生成部的处理的例子的图。该图表示电子水印嵌入装置100的水印图案生成部120的基本水印图案生成部121的处理的内容。在第1至第3实施方式的基本水印图案生成部121中，只将所输入的水印信息调制为基本水印图案。在本实施方式中，以如下方式来生成基本水印图案：不只是嵌入所输入的水印信息，还嵌入有用于确定检测时的差分图像的水印图案的相位的相位同步信号。
在图39的例子中，使用调制方法(A-1)与第1至第3实施方式相同地得到基本水印图案(甲)，进而生成使用调制方法(B-1)调制始终取“0”的值的相位同步信号所得的基本水印图案(乙)作为相位判断用水印图案，将通过重叠两者而复用来得到的图案作为基本水印图案，将其用于嵌入。
说明本实施方式的电子水印检测装置200的电子水印检测部240的处理的流程。
图40是用于说明本发明的第5实施方式的电子水印检测部的动作的流程图。
步骤601)电子水印检测部240将差分图像作为输入，首先与第1至第3实施方式相同地尝试从差分图像中检测出电子水印。
步骤602)在无法检测出电子水印时，转移到步骤603，在可以检测时转移到步骤604。
步骤603)回到下一个帧捕捉。
步骤604)当可以检测出电子水印时，尝试相位同步信号的检测。由于用调制方法(B-1)嵌入相位同步信号，所以如果与表示“0”的扩散序列之间的相关值的绝对值较大则可以检测出相位同步信号，可使用相关值的正负的极性来判断差分图像中的水印图案的相位与嵌入时的基本水印图案的相位相同还是相反。
步骤605)相位同步信号的检测时的相关值为正的情况下判断为相位相同，为负的情况下判断为相位相反。判断为相位相同的情况下转移到步骤606，判断为相位相反的情况下转移到步骤607。
步骤606)判断为相位相同的情况下直接将检测出的水印信息作为检测结果输出。
步骤607)判断为相位相反的情况下将检测出的水印信息的位进行反转之后作为检测结果输出。
<本实施方式的效果>
在第4实施方式中使用水印信息的一部分作为位反转判断用标记，与此相对，在本实施方式中，将用于判断差分图像中的水印图案的相位的相位同步信号与水印信息一起复用来进行了嵌入。此时，由于使用图案振幅利用型和极性不利用型的调制来嵌入相位同步信号，所以可以在检测时使用极性判断差分图像中的水印图案的相位。由此，可与第4实施方式同样地不依赖于捕捉所得的2张的帧的取法，而始终检测出正确的水印信息。
另外，当与第4实施方式相比时，由于不使用位反转判断用标记，所以不需要将水印信息的位长缩短1位。而且，即使为图案形状利用型，只要是可以确定差分图像的反转的图案，就可以用于相位同步信号嵌入。
[第6实施方式]
在本实施方式中，说明判断差分图像中的水印图案的相位与嵌入时的基本水印图案的相位是否相同，根据需要反转相位来进行蓄积的例子。
本实施方式除了下面说明的部分以外，与第1至第5实施方式相同。下面为了方便说明，叙述与第1实施方式之间的不同之处。
图41表示本发明的第6实施方式的电子水印检测部的结构。
该图所示的电子水印检测装置200的电子水印检测部240由差分图像相位判断部241和水印信息检测部242以及差分图像蓄积缓存255构成。
图42是本发明的第6实施方式的电子水印检测部的动作的流程图。
步骤701)当输入了差分图像时，差分图像相位判断部241判断所输入的该差分图像中的水印图案的相位。
步骤702)差分图像相位判断部241判断所输入的差分图像中的水印图案的相位与嵌入时的基本水印图案的相位相同还是相反。在相位相同的情况下转移到步骤703，相位相反的情况下转移到步骤704。
步骤703)在相位相同的情况下，将此次输入的差分图像直接相加到差分图像蓄积缓存255中，转移到步骤705。
步骤704)在相位相反的情况下使此次输入的差分图像反转相位后相加到差分图像蓄积缓存255中。
步骤705)接下来，在水印信息检测部242中，尝试从蓄积在差分图像蓄积缓存255中的相加后的差分图像中检测出水印信息。
步骤706)在成功地进行了检测的情况下转移到步骤708，在未成功的情况下转移到步骤707。
步骤707)在未成功的情况下回到运动图像输入部210中进行下一个帧捕捉的处理。
步骤708)在成功的情况下输出检测结果。
接着，说明差分图像相位判断部241。
图43是用于说明本发明的第6实施方式的差分图像相位判断部的处理的图。
当输入了差分图像时，差分图像相位判断部241判断该差分图像中的水印图案的相位与嵌入时的基本水印图案的相位相同还是相反。作为判断的方法，可以有：从差分图像中检测出第4实施方式所示的位反转判断标记，用其值判断相位相同/相位相反的方法；和检测出第5实施方式所示的相位同步信号，用其值判断相位相同/相位相反的方法等。或者使用第1实施方式的调制方法(B-1)那样的图案振幅利用型和极性不利用型的调制来对水印信息进行调制时，可以把在各个码元的检测处理中所检测出的绝对值最大的相关值的总和为正的情况判断为相位相同，负的情况判断为相位相反。
当差分图像中的水印图案被判断为其相位与嵌入时的基本水印图案的相位相同时，将此次输入的差分图像直接相加到差分图像蓄积缓存255中。当判断为相位相反时，将此次输入的差分图像的相位进行反转后相加到差分图像蓄积缓存255中。在进行相位反转时，例如如果为亮度分量则使图像整体的像素值的正负调转，或者如果为用于生成此次的差分图像所用的检测对象区域图像为X、Y的2张，而此次的差分图像为用X-Y来求出的，则在进行相位反转时，使用Y-X的差分图像即可。
另外，如第3实施方式那样，使用嵌入时的水印图案切换信息获取水印图案切换定时的同步的情况下，根据切换定时、例如使用相邻的水印图案的切换虽然为相位相反，但相隔一个就变为相同相位的原理，隔开一个进行相位反转以使下面的差分图像蓄积时全都相位相同地进行蓄积即可。
如图44所示，通过上述处理，始终接连向差分图像蓄积缓存255中加入具有相位与基本水印图案的相位相同的水印图案的差分图像。而且，此处所谓“加入差分图像”是指获得相加了图像的各坐标的像素值而得到的相同大小的图像的情况。
而且，在使用上述的第3实施方式进行蓄积的情况下，蓄积在差分图像蓄积缓存255中的结果是假设为通过具有相位与嵌入时的基本水印图案的相位相同或者相反的状态中的某一种状态的形式来进行了相加而得到的，但如果在从差分图像蓄积缓存255进行的检测中使用了第4实施方式或者第5实施方式那样的技术，则可以避免相位相反引起的问题。
<本实施方式的效果>
在本实施方式中，判断差分图像中的水印图案的相位与嵌入时的基本水印图案的相位是否相同，根据需要进行相位反转，从而始终以正相位的状态对差分图像蓄积缓存255依次进行相加，根据从相加得到的差分图像中尝试检测出水印信息。
由此，即使在1张的差分图像中的水印图案较微弱而无法充分地进行检测的情况下，也能综合多个差分图像来进行检测，所以能够实现检测。如图44所示，由于水印图案始终以正相位的形式进行相加，所以在差分图像蓄积缓存255中理论上可以得到放大了相加次数量的水印图案。但是，由于一般原始运动图像的差分在各个定时是不同的，所以作为相对于水印图案的噪声的原始运动图像的差分信号不会放大相加次数量。由此提高了水印信号的S/N比，相比于第1至第5实施方式提高了电子水印的耐性。
另外，还可以将该耐性提高用于抑制画质恶化。即，由于在比用于像第1至第5实施方式那样可实现从1张差分图像中进行检测的水印嵌入强度更弱的强度下也能由差分图像蓄积来进行检测，所以可以实现画质改善。
[第7实施方式]
在本实施方式中说明即使在利用1张差分图像则无法取得足够的检测性能的情况下也能进行检测的方法。
本实施方式除了下面说明的部分以外，与第1至第6实施方式相同。下面，为了方便说明，叙述与第1实施方式之间的不同之处。
图45表示本发明的第7实施方式的电子水印检测部的结构。
该图所示的电子水印检测装置200的电子水印检测部240具有相关运算部243、可否检测判断部244和相关值缓存245。
图46是本发明的第7实施方式的电子水印检测部的动作的流程图。
步骤801)电子水印检测部240以差分图像作为输入，在相关运算部243中，与通常的电子水印检测处理相同地从差分图像中得到检测对象序列，求出与扩散序列之间的相关值。而且，此时，当仅从所输入的差分图像中成功地检测出水印信息时，也可以将水印信息作为检测结果输出而结束处理。如果为调制方法(A-1)～(A-4)那样的每位扩散方式则得到水印信息的位数量的相关值，如果为调制方法(B-1)～(B-4)那样的每码元扩散方式则得到码元数×码元值的值域量的相关值。
步骤802)在相关运算部243得到的相关值组被加入到相关值缓存245中。
步骤803)接着在可否检测判断部244中，对于存储于相关值缓存245中的相关值组进行阈值判断，进行可否检测水印信息的判断。
步骤804)在能够检测的情况下转移到步骤806，在不能检测的情况下转移到步骤805。
步骤805)在无法检测水印信息时，回到运动图像输入部210的下一个帧捕捉。
步骤806)通过阈值判断之后，作为检测成功，构成以相关值缓存245的内容为基础而检测出的水印信息来输出检测结果。
接着说明相关值缓存245的相关处理的内容。
图47是用于说明本发明的第7实施方式的相关值缓存的相关处理的内容的图。
在相关运算部243中，从差分图像中取出检测对象序列，计算与调制时使用的扩散序列之间的相关度。如果为调制方法(A-1)～(A-4)那样的每位扩散方式则得到水印信息的位数量的相关值，如果为调制方法(B-1)～(B-4)那样的每码元扩散方式则得到码元数×码元值的值域量的相关值(在图47中表示了1码元＝1位、各码元取“0”或者“1”这2个值的码元有4个的例子)。
关于像调制方法(A-1)那样根据差分的相位而具有位反转的可能性的情况，用第4实施方式或者第5实施方式那样的方法转变为正相位之后取相关度。另外，如果为调制方法(B-1)～(B-4)，则由于在差分的相位反转时相关值取负，所以取其绝对值。在相关运算部243取得的相关值组按照各相关值的每项相加到相关值缓存245中。
另外，如第3实施方式那样，使用嵌入时的水印图案切换信息获取水印图案切换定时的同步的情况下，根据切换定时、例如使用相邻的水印图案的切换虽然为相位相反，但相隔一个则变为相位相同的原理，可以隔开一个使相关值的极性反转而进行蓄积，从而使相关值的极性相同地进行相加蓄积。
图48A、B是用于说明本发明的第7实施方式的相关值缓存的相关处理的内容的图。
可否检测判断部244对蓄积在相关值缓存245中的相关值进行阈值判断，判断检测是否成功。当调制方法(A-1)～(A-4)那样的每位扩散方式时，如果各位位置的相关值的绝对值都在阈值以上则判断为检测成功，或者还可以按图48A、B那样取各位位置的相关值的绝对值和，对其结果进行阈值判断。另外，如果为调制方法(B-1)～(B-4)那样的每码元扩散方式，则设为各码元位置的相关值的最大值都在阈值以上就判断为检测成功等即可。而且，适当地使阈值的值根据对相关值蓄积缓存245的相加次数发生变化，或者在阈值判断之前用相关值蓄积缓存245的各项值除以相加次数等。
而且，在使用上述的第3实施方式进行蓄积的情况下，对于蓄积在相关值缓存245内的结果，如果使用第4实施方式或者第5实施方式那样的技术，则可以避免极性反转带来的问题。
<本实施方式的效果>
在本实施方式中，以利用差分图像来进行检测时所计算出的相关值进行相加蓄积的结果为基础判断可否进行检测。由此，即使在通过1次检测尝试是难以检测出来的情况下，通过综合根据多张的差分图像的检测结果，也能够进行检测，从而提高检测性能。
[第8实施方式]
在本实施方式中，除了下面说明的部分以外，与上述的第1至第7实施方式相同。下面为了便于说明，叙述与第1实施方式之间不同的地方。
图49表示本发明的第8实施方式的水印图案生成部的结构。该图所示的电子水印嵌入装置100的水印图案生成部120由基本水印图案生成部121、水印图案切换部122和水印信息分割部123构成。
图50是本发明的第8实施方式的水印图案生成部的动作的流程图。
步骤901)如果向水印图案生成部120输入了水印信息、水印图案切换信息、以及帧显示时刻，则在水印信息分割部123中细分为短于水印信息的位信息即数据块信息。
步骤902)水印信息分割部123参照帧显示时刻，将表示应该嵌入此次的帧图像中的数据块为第几个的数据块ID和作为该数据块ID的数据块的位信息的数据块信息发送给基本水印图案生成部121。
步骤903)在基本水印图案生成部121中，根据数据块ID和数据块信息生成基本水印图案。
步骤904)最后在水印图案切换部122中，根据帧显示时刻和水印图案切换信息之间的关系，判断是否需要反转基本水印图案的相位。
步骤905)当需要反转基本水印图案的相位时，转移到步骤906，不需要时转移到步骤907。
步骤906)当需要时改变基本水印图案的相位，作为水印图案输出，结束处理。
步骤907)将基本水印图案作为水印图案输出，结束处理。
接着，详细说明水印信息分割部123。
图51是用于说明本发明的第8实施方式的水印信息分割部的处理的图。
在该图的例子中，设水印图案切换信息指示“每隔1/10秒进行反转”，设原始运动图像数据为30帧/秒的帧速率，水印信息为16位。水印信息分割部123将水印信息分割为预定的位长的数据块。在图51的例子中，将16位的水印信息分割为4个4位的数据块。
另外，同时取得表示各数据块为第几个的数据块ID(图51的a、b、c、d)。然后一边参照水印图案切换信息，一边选择应嵌入到此次的帧中的数据块，将所选择的数据块信息和数据块ID发送给基本水印图案生成部121。在图51的例子中表示着“水印图案每反转一个周期(6/30秒)就要切换数据块”这样的处理的内容，每隔6帧就切换数据块。
而且，当数据块到达最后的数据块时，回到起始处循环地进行选择。另外，当选择了最后的数据块时，也可以将表示水印信息的结尾的终端信息也发送给基本水印图案生成部121。
在图51中虽然示出了按照水印图案的每个反转周期依次切换数据块的例子，但也可以像按照每3个反转周期切换数据块、按照每个与反转周期不同的数据块切换周期切换数据块、并非依次而是随机地选择数据块的切换等各种的变换。
下面说明基本水印图案生成部121。
图52A、B是用于说明本发明的第8实施方式的基本水印图案生成部的处理的图。
基本水印图案生成部121与第1至第6实施方式不同，不对水印信息本身，而是对将水印信息进行了细分的数据块和表示该数据块的顺序的数据块ID进行调制来生成基本水印图案。
另外，在从水印信息分割部123接受到表示最后的数据块的终端信息的情况下，可以设为“1”等，使其可以在检测时判断数据块的结尾，但在始终为固定的数据块数量、例如以仅4个为前提的情况下并不需要。
另外，还可以像第4至第6实施方式那样，同时进行用于判断检测时的差分图像的相位的信息的嵌入。
图53表示本发明的第8实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200D和第1实施方式的装置200A的差异在于电子水印检测部240之后的处理。
图54是本发明的第8实施方式的电子水印检测装置的动作的流程图。
步骤1001)在运动图像输入部210中捕捉运动图像而依次取得帧图像。
步骤1002)在检测对象区域提取部220中，提取当前捕捉的帧图像中的检测对象区域图像。
步骤1003)在差分图像生成部230中，生成当前取得的检测对象区域图像和以前取得的检测对象区域图像之间的差分图像。
步骤1004)电子水印检测部240与第1实施方式相同地尝试从差分图像中检测出电子水印，从而尝试检测所嵌入的信息。
步骤1005)在检测成功的情况下，转移到步骤1006，检测未成功的情况下转移到步骤1001。
步骤1006)在检测成功的情况下，与第1实施方式不同，检测出的信息并非是水印信息本身，而是其一部分即数据块信息和对应的数据块ID，所以将这些信息发送给检测数据块蓄积部280。检测数据块蓄积部280对此次所检测出的数据块ID所示的位置处的检测水印信息缓存的数据值设定检测数据块信息的值。
步骤1007)当所有的检测水印信息缓存中的数据块的检测都成功时转移到步骤1008。在电子水印检测部240中如果根据差分图像的电子水印检测失败，或者检测数据块蓄积部280中存在尚未缓存的数据块的情况下，回到运动图像输入部210的捕捉，继续执行检测处理。
步骤1008)将检测水印信息缓存的值作为检测出的水印信息来输出检测结果。
图55表示本发明的第8实施方式的检测数据块蓄积部的结构。该图所示的检测数据块蓄积部280具有检测数据块缓存部281、检测结束确认部282和检测水印信息缓存283。
说明上述检测数据块蓄积部280的动作。
图56是本发明的第8实施方式的检测数据块蓄积部的动作的流程图。图57、图58表示检测数据块蓄积部的处理的内容。
步骤1101)检测数据块蓄积部280输入有检测数据块ID和检测数据块信息。
步骤1102)首先在检测数据块缓存部281中，将检测水印信息缓存283中的所输入的检测数据块ID所表示的数据位置处的数据值设定为所输入的检测数据块信息的值。
如图57所示，检测水印信息缓存283在初始状态下为未检测出所有的数据块ID的数据块的状态，每当输入了检测数据块ID和检测数据块信息时，依次从未检测转化为已检测的状态。而且，当已经输入了已检测的数据块ID时，既可以将检测水印信息缓存283的该数据块ID的数据值覆盖在检测数据块信息上，也可以不覆盖而结束。
图57表示预定了数据块的个数的情况下的处理的内容。另外，在嵌入时嵌入了数据块的终端标记的情况下，如图58所示，在初始状态下，数据块共有多少个是不明确的。但是，如果输入了有终端标记的数据块ID，则可以明确共有多少个数据块，所以能够确定未检测的数据块。这之后，与确定了数据块的个数的情况下的处理相同地进行处理即可。通过使用终端信息，从而可以处理任意长度的水印信息的嵌入/检测。
步骤1103)接着，在检测结束确认部282中，判断检测水印信息缓存283中的所有数据块是否都已经检测，当都已经检测时转移到步骤1104，当还残留有未检测的数据块时转移到步骤1105。
步骤1104)当都已经检测时作为检测出了检测水印信息缓存283的数据值的水印信息而输出检测结果。
步骤1105)当还残留有未检测的数据块时，回到运动图像输入部210的帧捕捉，继续执行检测尝试。
而且，在本实施方式中，主要对与第1实施方式之间的差异进行了叙述，但很容易将本实施方式的技术结合到第2至第7实施方式的技术中去加以实施，这是不言自明的。例如，针对每个数据块，像第6实施方式那样蓄积差分图像，或者像第7实施方式那样蓄积相关值来进行检测，从而提高检测性能等，这都是不言自明的。
<本实施方式的效果>
在本实施方式中，将水印信息分割为数据块，时间上一边切换数据块一边进行水印嵌入，在检测侧依次蓄积检测出的数据块，在所有的数据块都已检测的情况下为水印检测成功。由此，可以进行超过对于一张差分图像的水印算法的嵌入信息长度界限的更长的信息长度的水印信息的嵌入/检测。或者，可以缩短各帧的嵌入信息长度来实现耐性提高。
另外，通过终端信息的嵌入/检测，从而可以处理任意长度的信息，能够实现需要更长信息的应用等，拓宽了使用范围。
[第9实施方式]
在本实施方式中，说明用图案振幅利用型和极性不利用型的调制将数据块ID复用在水印信息中进行嵌入的例子。
本实施方式中除了以下说明的部分以外，与上述的第8实施方式相同。
说明本实施方式的电子水印嵌入装置100内的基本水印图案生成部121的处理的内容。
图59是用于说明本发明的第9实施方式的基本水印图案生成部的处理的例子的图。
在本实施方式中，关于作为基本水印图案的输入的数据块信息和数据块ID，首先关于数据块信息与第5实施方式同样地用调制方法(A-1)来调制，得到基本水印图案(甲)。
接着关于数据块ID，取代调制第5实施方式的相位同步信号(始终为相同值)，使用调制方法(B-1)调制多值的数据块ID(如果需要则也一起调制数据块终端信息)来得到基本水印图案(乙)。
最后重叠基本水印图案(甲)和基本水印图案(乙)进行合成，得到基本水印图案。
图60是本发明的第9实施方式的电子水印检测部的动作的流程图。
步骤1201)电子水印检测部240将差分图像作为输入，首先与第8实施方式的情况同样地尝试从差分图像中检测出数据块信息。
步骤1202)当可以检测数据块信息时，转移到步骤1204，当无法检测时，转移到步骤1203。
步骤1203)回到运动图像输入部210的下一个帧捕捉。
步骤1204)当可以检测数据块信息时，接下来尝试检测数据块ID。
步骤1205)由于数据块ID通过调制方法(B-2)被嵌入，所以首先可以使用相关运算的绝对值检测数据块ID，用此时的相关值的正负的极性来判断差分图像中的水印图案的相位与嵌入时的基本水印图案的相位相同还是相反。当数据块ID的检测时的相关值为正的情况下判断为正相位，为负的情况下判断为逆相。在判断为正相位的情况下转移到步骤1207，判断为逆相的情况下转移到步骤1206。
步骤1206)在逆相的情况下将检测出的数据块信息的位进行反转后与数据块ID一起输出。
步骤1207)在判断为正相位的情况下直接将检测出的数据块信息与数据块ID一起输出。
而且，在本实施方式中，与第8实施方式同样地，很容易将本实施方式的技术结合到第1至第7实施方式的技术中去加以实施，这是不言自明的。例如，针对每个数据块，像第6实施方式那样蓄积差分图像，或者像第7实施方式那样蓄积相关值来进行检测，从而提高检测性能等，这都是不言自明的。
<本实施方式的效果>
在本实施方式中，用图案振幅利用型和极性不利用型的调制将数据块ID复用在水印信息中进行了嵌入。由此，嵌入在各帧中的数据块信息的信息长度可以变长。
进而，由于使用数据块ID检测时的相关度的极性来进行水印图案的相位判断，所以不需要另外准备位反转判断用的标记等，而且能够帮助增大信息长度。即，通过使用数据块ID的极性不利用型调制，从而可以与检测数据块ID同时地进行水印图案的相位判断，所以是一举两得的。
而且，即使为图案形状利用型，但只要能够确定差分图像的反转，就可以应用于数据块ID的嵌入。
[第10实施方式]
本实施方式中说明进行统一了相位的差分图像蓄积的例子。
在本实施方式中，除了下面说明的部分以外，与第1至第9实施方式相同。下面为了便于说明，叙述与第8实施方式不同的地方。
说明本实施方式的电子水印检测装置200内的电子水印检测部240。
图61表示本发明的第10实施方式的电子水印检测部的结构。
该图所示的电子水印检测部240由差分图像相位判断部241、数据块ID检测部246、数据块信息检测部247和多个数据块ID＝n用差分图像蓄积缓存248构成。
图62是本发明的第10实施方式的电子水印检测部的动作的流程图。
步骤1301)当输入了差分图像时，电子水印检测部240在数据块ID检测部246中尝试数据块ID的检测。
步骤1302)接着在差分图像相位判断部241中按照上述第6实施方式那样检测差分图像中的水印图案的相位。
步骤1303)当差分图像相位判断部241的处理结果为正相位时，转移到步骤1304，在逆相时转移到步骤1305。
步骤1304)当正相位时，将此次的差分图像与对应于检测数据块ID的差分图像蓄积缓存248相加而蓄积，转移到步骤1306。
步骤1305)当逆相时，改变差分图像而使其相位变为正相位，之后蓄积在对应于检测数据块ID的差分图像蓄积缓存248中。如图61所示，电子水印检测部240具有数据块ID的种类那么多的差分图像蓄积缓存248。
步骤1306)接着在数据块信息检测部247中，尝试从对应于此次检测出的数据块ID的差分图像蓄积缓存248中检测出数据块信息。
步骤1307)当检测成功时，转移到步骤1308，当检测不成功时，转移到步骤1309。
步骤1308)当检测成功时，输出此次的数据块ID和检测出的数据块信息。
步骤1309)当检测不成功时，回到运动图像输入部210的捕捉处理。
<本实施方式的效果>
根据本实施方式，可以在使用数据块的水印信息长度增大时同时实现差分图像蓄积下的耐性提高，从而提高检测性能。
[第11实施方式]
在本实施方式中说明蓄积相关值的例子。
在本实施方式中，除了下面说明的部分以外，与第1至第10实施方式相同。下面为了便于说明，叙述与第8实施方式不同的地方。
图63表示本发明的第11实施方式的电子水印检测部的结构。
该图所示的电子水印检测部240具有数据块ID检测部246、可否检测判断部244、相关运算部249、以及数据块ID＝n用相关值缓存251。如该图所示，电子水印检测部240具有数据块ID的种类那么多的数据块ID＝n用相关值缓存251。
说明上述结构的电子水印检测部240。
图64是本发明的第11实施方式的电子水印检测部的动作的流程图。
步骤1401)当输入了差分图像时，电子水印检测部240首先在数据块ID检测部246中尝试检测出数据块ID。
步骤1402)接着在相关运算部249中通过进行数据块信息检测尝试来求出所计算的相关值。
步骤1403)将所求出的相关值相加并蓄积在对应于检测数据块ID的相关值缓存251中。而且，此时仅根据所输入的差分图像来成功地进行了数据块信息的检测时，也可以将其与数据块ID一起输出来结束处理。
步骤1404)接着在可否检测判断部244中，关于对应于此次检测出的数据块ID的相关值缓存251，通过与第7实施方式相同的阈值判断来判断可否检测数据块信息。
步骤1405)当判断为可以检测时转移到步骤1406，当检测不成功时转移到步骤1407。
步骤1406)当判断为可以检测时根据此次的相关值缓存251的值来构成数据块信息，与此次的数据块ID一起输出。
步骤1407)当检测不成功时，回到运动图像输入部210的捕捉处理。
<本实施方式的效果>
根据本实施方式，可以在使用数据块的水印信息长度增大时同时实现相关值缓存251的耐性提高，从而提高检测性能。
[第12实施方式]
在本实施方式中说明实时反馈输出电子水印检测处理的状况的例子。
在本实施方式中，除了下面说明的部分以外，与第1至第11实施方式相同。下面为了便于说明，叙述与第1实施方式不同的地方。
图65表示本发明的第12实施方式的电子水印检测装置的结构。该图所示的电子水印检测装置200E和第1实施方式不同之处在于，具有随时输入当前的捕捉帧图像、当前的检测对象区域提取状况信息、当前的电子水印检测的检测状况信息，与相当于第1实施方式的电子水印检测处理并列地生成并输出反馈信息的反馈输出部265的点。
图66是本发明的第12实施方式的电子水印检测装置的动作的流程图。
该图中，步骤1501至步骤1506与图20的步骤201至步骤206的处理相同，所以省略其说明，但之后的步骤1507的处理与这些处理是并列进行的。
步骤1507)在反馈输出部265中，随时输入当前的捕捉帧图像、当前的检测对象区域提取状况信息、当前的电子水印检测的检测状况信息，与相当于第1实施方式的电子水印检测处理并列地生成并输出反馈信息。
图67、68、69是本发明的第12实施方式的电子水印检测装置的反馈输出的例子。
具有对通过电子水印检测装置200E的运动图像输入部210来得到的捕捉帧图像实时描绘得到的预览画面，在预览画面上合成在检测对象区域提取部220得到的检测对象区域(图67的a)，在图像上显示在电子水印检测部240得到的检测强度、例如解调时的相关值的大小(图67的b)，或者根据检测强度改变音色和音量进行音频输出。
另外，在使用了数据块的情况下，如图68那样对到当前为止进行了缓存的数据块的检测状况进行合成。
或者如图69那样，当由于要考虑到拍摄角度所产生的平面射影失真的程度，或因在相隔一定距离的位置进行拍摄而捕捉帧图像中的检测对象区域的像素面积过小，因此难以检测出电子水印的情况下，显示拍摄角度的调整或需要放大的消息，促使用户作出调整。
<本实施方式的效果>
在本实施方式中，通过实时反馈输出电子水印检测处理的状况，从而增加了对话性而提高了方便性。特别地，通过促使用户采用易于检测的状况，从而可以期待提高检测性能。
[第13实施方式]
在本实施方式中，除了下面说明的部分以外，与第1至第12实施方式相同。下面为了便于说明，叙述与第1实施方式不同的地方。
说明本实施方式的电子水印嵌入装置100内的水印图案重叠部130的处理。
图70是用于说明本发明的第13实施方式的水印图案重叠部的处理的图。
水印图案重叠部130输入帧图像和根据相应的帧显示时刻而生成的水印图案。在水印图案重叠部130中，首先将水印图案的大小变更为帧图像的大小以下的给定的大小，之后相加到帧图像的中央区域，得到嵌入有水印的帧图像。
接着说明本实施方式的电子水印检测装置200F。
图71表示本发明的第13实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200F由输入有通过相机实时视频捕捉在电视等显示器上显示的模拟运动图像得到的图像、或者进行了MPEG编码的数字运动图像的运动图像输入部210、差分图像生成部230、检测对象区域提取部220、电子水印检测部240和帧图像缓存301构成。
说明上述结构的动作。
图72是本发明的第13实施方式的电子水印检测装置的动作的流程图。
步骤1501)在运动图像输入部210中，输入模拟或者数字运动图像，依次取得帧图像。在输入模拟运动图像时，通过相机、扫描仪来进行输入而取得帧图像，或者通过输入模拟视频信号等取得帧图像，如果是数字运动图像，则进行解码处理等来取得帧图像。
步骤1502)接着在差分图像生成部230中获取当前取得的帧图像和蓄积在帧图像缓存301中的以前取得的帧图像之间的差分，生成差分帧图像。
步骤1503)另外，准备下一次的检测尝试，将此次的帧图像缓存在帧图像缓存301中。
步骤1504)接着，在检测对象区域提取部220中提取出差分帧图像中的成为水印检测对象的检测对象区域来取得检测对象区域图像。
步骤1505)接着，在电子水印检测部240中尝试从检测对象区域图像中检测出电子水印，输出检测结果。
步骤1506)当电子水印检测不成功时，在运动图像输入部210中取得下一个帧图像而依次重复上述处理。
接着详细说明上述差分图像生成部230的处理。
图73是用于说明本发明的第13实施方式的差分图像生成部的处理的图。
差分图像生成部230取当前取得的帧图像和蓄积在帧图像缓存301中的以前取得的帧图像之间的差分，生成差分帧图像。此处，假设拍摄上述2张帧图像时的相机几乎没有移动。如图73所示，在差分帧图像中可以划分出水印图案的切换所产生的差分的变化较大的部分和没有变化的背景部分。
接着详细说明检测对象区域提取部220的处理。
图74是用于说明本发明的第13实施方式的检测对象区域提取部的处理的图。
检测对象区域提取部220以差分帧图像作为输入，提取出差分帧图像中成为水印检测对象的检测对象区域来取得检测对象区域图像。在图74中，将差分帧图像绝对值化，使用文献3的边缘检测方法检测出检测对象区域的失真参数，对进行绝对值化之前的原来的差分帧图像的失真进行校正、大小归一化来作为检测对象区域图像。根据第1至第12实施方式的内容可知，由于这样得到的检测对象区域图像除去噪声带来的影响等而与嵌入时的基本水印图案相同，所以可以进行电子水印的检测。
另外，本实施方式可以任意地将第1至第12实施方式各自的技术进行组合来实施，这点是不言自明的。
<本实施方式的效果>
使用图75至图77说明本实施方式的效果。
首先在第1至第12实施方式的电子水印嵌入中，重叠了与所输入的运动图像的帧大小相同大小的水印图案。另外，在电子水印检测时检测出用相机捕捉到的帧中的电视接收机的显示区域的边缘等来提取出检测对象区域。但是，如图75所示，由于考虑到电视接收机的形状等运动图像的再现环境并非一定的情况，所以如图75(A)所示，在正确地将显示画面区域作为检测对象区域提取出来的情况下为成功地进行了电子水印的检测，但如图75(B)的例子那样边缘检测出了电视接收机的外侧，或是如图75(C)的例子那样检测出了附着于电视接收机的显示画面的外侧的框状的外观，有时无法正确地提取出检测对象区域。
此时，在差分图像上成为缩小于水印图案差分图像的内侧的形式，而无法正确进行块分割，所以在第1至第12的方法中，电子水印的检测遭到失败。
另外，在图76的例子中，设原来的运动图像为纵横比(Aspect Ratio)是16∶9的广角影像，考虑将其显示于纵横比是4∶3的监视器上。此时，作为一般经常使用的显示方法，切取广角画面的左右的端部来显示，或者将16∶9的广角画面缩小为能容纳于4∶3的画面上来放入到画面上。在这样进行显示时，即使用检测对象区域提取来正确检测了显示画面的边缘，也由于原本显示的影像自身的一部分被切取掉，或是留有多余的空白，所以与图75的例子相同，电子水印的检测遭到失败。另外，关于画面的端部被切取掉的问题，不只存在于广角影像，例如在显像管显示时，也能考虑到由于影像信号的端部的部分原本就未显示这样的、所谓过扫描(Over Scan)而切取掉了影像信号的一部分，从而难以检测到电子水印的情况。
本实施方式用于解决该问题，使水印图案的大小小于帧图像的大小，重叠于帧图像的中央区域。由此，例如预计将广角画面进行4∶3显示时的帧图像的缺损，可以将水印图案只重叠于确实可显示出的区域上。但若仅是这样做，则在检测时无法使检测对象区域和水印图案的区域一致。因此，在本实施方式中，如图73那样，生成捕捉到的帧图像间的差分帧图像，如图74那样从差分帧图像中提取出检测对象区域。如果在相机拍摄时几乎没有发生相机的移动，则在差分帧图像中通过水印图案的切换，来仅使检测对象区域处于差分(的绝对值)较大的状态。由此通过使用了边缘的矩形识别技术等来提取检测对象区域，如图77和图78所示，可以进行电子水印检测。
[第14实施方式]
在本实施方式中，除了下面说明的部分以外，与第13实施方式相同。
图79是用于说明本发明的第14实施方式的基本水印图案生成部的处理的例子的图。
本实施方式的水印图案生成部120的基本水印图案生成部121与第1至第12实施方式同样地在所生成的基本水印图案上使用正/负的像素值附加框，将其作为基本水印图案。
图80是用于说明本发明的第14实施方式的检测对象区域提取部的处理的图。
检测对象区域提取部220以差分帧图像作为输入，提取出差分帧图像中成为水印检测对象的检测对象区域来取得检测对象区域图像。在图80中，对差分帧图像使用文献3的边缘检测方法来检测出检测对象区域的失真参数，对失真进行校正、大小归一化来作为检测对象区域图像。根据第1至第12实施方式的内容可知，由于这样得到的检测对象区域图像除去了噪声带来的影响等而与嵌入时的基本水印图案相同，所以可以进行电子水印的检测。
另外，本实施方式可以任意地将第1至第13实施方式各自的技术进行组合来实施，这点是不言自明的。
<本实施方式的效果>
使用图81A、B说明本实施方式的效果。首先，第13实施方式的检测对象区域提取处理中使用差分帧图像的绝对值进行边缘检测等而进行了区域提取。但此时边缘部分的边缘的对比度由于为差分帧图像的绝对值，所以如果忽视噪声的影响等，则具有嵌入时的水印图案的振幅的2倍的差异。
在本实施方式中，作为基本水印图案，在第1至第12实施方式的基本水印图案上附加具有正/负的像素值的框。另外，在检测对象区域提取时，通过对差分帧图像直接进行边缘识别等来进行区域提取。因此，边缘部分的边缘的对比度成为嵌入时的水印图案振幅的4倍，与第13实施方式相比易于进行边缘的检测。因此，能够以更可靠且高的可信度来进行检测对象区域的提取，可以实现电子水印的检测性能提高。
[第15实施方式]
本实施方式除了下面说明的部分以外，与第14实施方式相同。
说明本实施方式的电子水印嵌入装置的水印图案生成部120内的基本水印图案生成部121的处理。
图82是用于说明本发明的第15实施方式的基本水印图案生成部的处理的例子的图。
本实施方式的基本水印图案生成部121与第1至第12实施方式同样地在所生成的基本水印图案上使用正/负的像素值附加定位标记，将其作为基本水印图案。将第14实施方式的框也考虑为定位标记的一个例子。在图82中，作为定位标记，附加在QR码(注册商标)等的2维码中所用的用于寻找角的定位标记。而且，图82的基本水印图案实际上是将QR码(注册商标)本身的像素值进行了正/负化的值，即使这样地将2维码本身作为基本水印图案使用也不会出现问题。
接着说明本实施方式的检测对象区域提取部220。
图83是用于说明本发明的第15实施方式的检测对象区域提取部的处理的图。
检测对象区域提取部220以差分帧图像作为输入，提取出差分帧图像中成为水印检测的对象的检测对象区域来取得检测对象区域图像。在图83中，对差分帧图像通过与通常的QR码(注册商标)读取时的定位标记检测相同的方法来提取了检测对象区域。
而且，关于本实施方式那样将2维码作为基本水印图案的情况，电子水印检测部240只要考虑为进行2维码的读取处理就可以没有问题地检测出水印信息，这一点是不言自明的。另外，本实施方式可以任意地将第1至第12实施方式各自的技术进行组合来实施，这点是不言自明的。
<本实施方式的效果>
在本实施方式中表示了将在第14实施方式中作为框的定位标记作为确定角的标记的情况下的例子。在本实施方式的情况下，也与第14实施方式同样地，差分帧图像中的明暗的对比度差成为嵌入时的水印图案的振幅的4倍，从而提高了检测性能。
另外，根据本实施方式，可知能够将已有的2维码的图案容易地转用作水印图案的生成方法。由此还能得到循环使用已有部件作为电子水印嵌入/检测装置的一部分所带来的成本削减效果。
[第16实施方式]
在本实施方式中说明从进行了特征区域的失真的校正、大小归一化后的特征区域图像间的差分图像中提取出检测对象区域的例子。
本实施方式除了以下说明的部分以外，与第13至第15实施方式相同。
说明本实施方式的电子水印检测装置。
图84表示本发明的第16实施方式的电子水印检测装置的结构。该图所示的电子水印检测装置200G由运动图像输入部210、特征区域提取部290、差分图像生成部230、检测对象区域提取部220、电子水印检测部240和特征区域图像缓存302构成。
下面说明上述结构下的电子水印检测装置的动作。
图85是本发明的第16实施方式的电子水印检测装置的动作的流程图。
步骤1601)在运动图像输入部210中，当输入了通过相机实时视频捕捉到显示在电视等显示器上的模拟运动图像而得到的图像、或者输入了进行了MPEG编码的数字运动图像时，依次取得帧图像。当输入模拟运动图像时，通过相机、扫描仪来进行输入而取得帧图像，或者通过输入模拟视频信号等来取得帧图像，如果是数字运动图像，则进行解码处理等来取得帧图像。
步骤1602)接着在特征区域提取部290中，提取帧图像中的特征区域。在特征区域提取中，使用文献3的边缘识别下的矩形区域检测等的技术。所提取出的特征区域在校正相机拍摄角度等产生的失真，对大小进行归一化的基础上，作为特征区域提取图像而进行输出。
步骤1603)接着在差分图像生成部230中，取当前取得的特征区域图像与蓄积在特征区域图像缓存302中的以前取得的特征区域图像之间的差分，生成特征区域差分图像。
步骤1604)另外，为准备下一次的检测尝试，将此次的特征区域图像缓存在特征区域图像缓存302中。
步骤1605)下面，在检测对象区域提取部220中，提取出特征区域差分图像中的成为水印检测的对象的检测对象区域来取得检测对象区域图像。
步骤1606)接下来在电子水印检测部240中，尝试从检测对象区域图像中检测出电子水印，输出检测结果。
步骤1607)当电子水印检测未成功的情况下，在运动图像输入部210中取得下一个帧图像，依次重复上述处理。
接着说明上述特征区域提取部290的处理的内容。
图86至图90是用于说明本发明的第16实施方式的特征区域提取部的处理的图。
特征区域提取部290将帧图像作为输入，提取出帧图像中的特征区域。在特征区域提取中，使用文献3的边缘识别下的矩形区域检测等的技术。所提取出的特征区域校正相机拍摄角度等产生的失真，在对大小进行归一化的基础上，作为特征区域提取图像进行输出。通过使用文献3那样的矩形区域检测技术，从而如图86和图90那样，将电视的显示区域作为特征区域检测出来，或者如图87和图89那样将电视的壳体的外侧作为特征区域，或者如图88那样将位于电视的显示画面的外侧的框状的外观作为特征区域检测出来，或者虽然没有图示，但将位于电视的背景的矩形区域等作为特征区域的情况等，根据所输入的帧图像的内容，特征区域为何种区域可以具有各种各样的情况，最重要的点在于，在不依赖于拍摄角度的不同，而拍摄相同的对象的情况下，从各帧图像检测出的特征区域只要实质上相同，则可以像图86至图90那样对于根据捕捉时刻而时刻变化的拍摄角度等，使用相同状态来得到校正失真、归一化了大小而得到的特征区域图像。
只要满足了上述的“在不依赖于拍摄角度的不同，而拍摄相同的对象的情况下，从各帧图像检测出的特征区域只要实质上相同”这样的条件，按照图86、图90的例子那样以何种状态检测特征区域都可以。只要是利用满足这些条件的帧图像来实现的稳定的特征区域提取方法，则不限于文献3那样的使用边缘线的矩形区域检测，可以使用任意方法。
接着，说明差分图像生成部230的处理的内容。
图91至图93是用于说明本发明的第16实施方式的差分图像生成部的处理的图。
差分图像生成部230取当前取得的特征区域图像与蓄积在特征区域图像缓存302中的以前取得的特征区域图像之间的差分，生成特征区域差分图像。然后准备下一次的检测尝试，将此次的特征区域图像缓存在特征区域图像缓存302中。如图91至图93所示，通过特征区域提取处理，从而捕捉帧之间的因相机移动等而伴随的失真的不同得到吸收，所以由特征区域图像的时间差分所得到的特征区域差分图像成为水印图案切换所产生的部分的变化量较大，而其他部分几乎没有差分的形式。由此，与第13至第15的检测对象区域提取处理同样地，从特征区域差分图像中提取出检测对象区域，对失真进行校正等，在此基础上如果尝试电子水印检测，则可以检测出电子水印信息。
<本实施方式的效果>
在本实施方式中，除了第13至第15实施方式的效果之外，还可以具有如下的效果：即使没有作为前提的“拍摄时的相机几乎没有发生移动的情况”这种制约也能进行电子水印检测。这是因为，首先按照每个捕捉帧图像提取特征区域，在此基础上校正失真，从而吸收了帧之间的失真的不同，之后通过差分图像生成而可靠地没有位置偏移地进行水印图案部分的差分。由此，可以不受单手握住带相机的移动电话朝电视进行捕捉等时产生的手抖等的影响，来提高电子水印检测性能。
[第17实施方式]
在本实施方式中说明通过仅搜索电子水印检测状况为良好时的位置的附近，从而进行特征区域/检测对象区域的提取的例子。
本实施方式除了以下说明的部分以外，与第13至第16实施方式相同。下面以与第16实施方式的不同为中心进行说明。
最开始说明电子水印检测装置200G的特征区域提取部290的处理的内容。
图94是用于说明本发明的第17实施方式的特征区域提取部的处理的图。
本实施方式的特征区域提取部290记住在上次的电子水印检测尝试中检测状况为良好时的特征区域的位置和形状(用某种方法来进行存储)，在从此次输入的帧图像中搜索特征区域之际，只从上次的特征区域的附近进行搜索。在进行差分运算的2张的捕捉时间间隔中，由于相机的移动不很大，所以在上次检测状况为良好时，在此次的帧图像中也在其附近存在正确的特征区域。使用该原理，通过缩小特征区域搜索范围可以实现更稳定的特征区域提取。
而且，所谓“检测状况良好”是指如下的情况：例如文献1的检测可信度指标值在某种程度上虽然为有意义的值，但仍处于尚未成功地检测出电子水印的状态，或者在第8实施方式等的按照每个数据块进行检测时在某个数据块的检测中获得成功等的状态、即、指根据电子水印检测部240的检测状况明显地存在有意义的电子水印。另外，也可以使用取差分的2张的捕捉时间间隔来使搜索时的附近的大小发生改变。例如，当捕捉时间间隔较短时，由于预测为相机的移动量较少，所以将附近取得较小。反之，如果当捕捉时间间隔较长时，由于可以预测为有时相机的移动量较大，所以将附近取得较大等。
说明本实施方式的检测对象区域提取部220的处理的内容。
图95是用于说明本发明的第17实施方式的检测对象区域提取部的处理的图。
在提取检测对象区域时也与特征区域提取部290同样地，记住在上次的电子水印检测尝试中检测状况为良好时的检测对象区域的位置和形状(用某种方法来进行存储)，在从此次输入的特征区域差分图像搜索检测对象区域之际，从上次的特征区域的附近进行搜索。由此，检测对象区域的搜索也变得稳定。
而且，在将本实施方式应用到第16实施方式中时，由于相机移动等造成的失真要因通过特征区域提取处理来吸收，所以如图95那样此次和上次的检测对象区域大致相同，即使将附近大小取得较小也无所谓。考虑作为在检测对象区域的提取中失败的原因，有在运动图像本身活动的场景的情况下，不只是水印图案、连运动图像的活动分量也作为噪声显现于差分中的情况，但只要减小附近大小，检测对象区域的搜索就会变得非常稳定。
另外，在将本实施方式应用到第13至第15实施方式中时，由于当相机的移动较大时原本就难以检测电子水印，所以此时也可以同样地将附近区域取得较小，检测对象区域的搜索就会变得非常稳定。
另外，还能够容易地将本实施方式应用到第1至第12实施方式中的电子水印检测装置的检测对象区域提取部220中。此时，当在上次的电子水印检测尝试中检测状况为良好时，只要从上次的检测对象区域的附近搜索此次的帧图像中的检测对象区域即可。
而且，在本实施方式中表示了使用“在上次的电子水印检测尝试中检测状况为良好”的情况的例子，但也可以不限于上次，而使用“时间上邻近的良好的电子水印检测尝试时”的特征区域或者检测对象区域。
另外，当在一定时间内持续着电子水印检测信息并非良好状态的情况下，也可以不进行附近搜索，而进行与第13至第16实施方式相同的处理。
<本实施方式的效果>
在本实施方式中，除了第13至第15实施方式的效果之外，还具有如下的效果：由于提高了特征区域或者检测对象区域的稳定性、可靠性，所以可以实现电子水印检测性能的提高。特别地，在特征区域或者检测对象区域的检测方法的鲁棒性不太好的情况下，具有很大的效果，能够大幅提高电子水印检测性能。
[第18实施方式]
本实施方式除了下面说明的部分以外，与第14至第17实施方式相同。下面主要说明与第14实施方式的不同之处。
说明本实施方式的电子水印检测装置的检测对象区域提取部220的处理。
图96至图99是用于说明本发明的第18实施方式的检测对象区域提取部的处理的图。
根据差分帧图像来进行的检测对象区域提取处理根据嵌入有第14实施方式的水印图案的运动图像的帧之间差分图像来进行。此时，在第14实施方式中，为了高精度地进行检测对象区域提取，预先对基本水印图案在外侧附加明亮的框图案，在内侧附加较暗的框图案(而且，明/暗是用于表示像素值的大小，并非只限定于亮度值，这已在第1实施方式中叙述过)。在检测对象区域提取部220中，在从差分帧图像中搜索检测对象区域时，调查框部分的像素值变化。在图96的例子中，由于检测对象区域的外侧明亮而内侧较暗，所以检测对象区域图像中的水印图案被判断为其相位与嵌入时的基本图案的相位相同(正相位)，可以像在第4实施方式等中使用的那样，将该相位信息用于电子水印检测处理。图97表示相位颠倒的例子。可知通过调查检测对象区域的边缘部分，能够判断正相位/逆相。
并且，图98、图99表示了将本实施方式应用到第15实施方式中的情况下的例子。该例子中，当QR码(注册商标)的定位标记的基础图案与从检测对象区域寻找到的定位图案具有正相关时，判断为正相位(图98)，具有负相关时判断为逆相(图99)。另外，当逆相时，也可以反转了检测对象区域图像的相位之后尝试电子水印检测。进行反转的理由在于，由于现有的2维码的读取方法大多不对应于反转了相位的码的识别，所以在沿用现有的2维码读取处理时需要进行反转。
将本实施方式应用到第16实施方式中时，检测对象区域提取部220的输入并非是差分帧图像而仅为特征区域差分图像，这之外与上述进行同样处理即可，这是不言自明的。
<本实施方式的效果>
在本实施方式中，为了提高检测对象区域的提取可靠性而使用了附加在基本水印图案上的框和定位标记等的图案，根据提取出的检测对象区域的该图案部分的相位与基本水印图案时的相位是否相同，来判断检测对象区域图像中的水印图案的正相位/逆相。使用该相位信息可以实现第4实施方式等所示的检测性能的提高。
另外，根据本实施方式，框和定位标记等的图案由于可以取得提高检测对象区域提取可靠度和获取相位信息这两个效果，所以一举两得。即，通过将标记附加到水印信息上以使相位一致，从而无需缩短位长，对水印信息而言，无需对成为噪声的相位判断信号进行复用，所以提高了电子水印检测性能。
[第19实施方式]
本实施方式除了下面说明的部分以外，与第13至第18实施方式相同。
图100表示本发明的第19实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200H由运动图像输入部210、差分图像生成部230、检测对象区域提取部220、电子水印检测部240、帧图像缓存301、以及差分帧图像缓存303构成。
与第13实施方式的不同之处在于，检测对象区域提取部220的处理内容和新设置了差分帧图像缓存303。
图101是本发明的第19实施方式的电子水印检测装置的动作的流程图。
步骤1701)在运动图像输入部210中，输入模拟或者数字运动图像，依次取得帧图像。在输入模拟运动图像时，通过相机、扫描仪来进行输入而取得帧图像，或者通过输入模拟视频信号等来取得帧图像，如果是数字运动图像，则进行解码处理等来取得帧图像。
步骤1702)接着在差分图像生成部230中取当前取得的帧图像与蓄积在帧图像缓存301中的以前取得的帧图像之间的差分，生成差分帧图像。
步骤1703)将此次输入的帧图像缓存到帧图像缓存301中。
步骤1704)将此次获得的差分帧图像相加蓄积在差分帧图像缓存303中。
步骤1705)从差分帧图像缓存303中所相加蓄积的差分帧图像之中提取出成为水印检测对象的检测对象区域，取得检测对象区域图像。
此时，如图102所示，也可以将差分帧图像的像素值取绝对值之后相加蓄积在差分帧图像缓存303中，从相加蓄积在差分帧图像缓存303中的差分帧图像之中提取出检测对象区域，对此次的差分帧图像的该检测对象区域的图像进行失真校正、大小归一化来作为检测对象区域图像。如果采用这种方法，则由于相加蓄积差分帧图像的绝对值图像，所以不依赖于所输入的差分帧图像中的水印图案的相位，通过相加蓄积提高检测对象区域和背景区域之间的对比度，增加检测对象区域的提取可靠度。
或者如第3实施方式那样，在可以与水印图案切换信息所表示的水印图案的切换定时获取同步地生成差分帧图像的情况下等，通过捕捉的开始定时等无法判断所得到的差分帧图像中的水印图案的相位与基本水印图案的相位相同还是相反，但可以判断此次取得的差分帧图像的相位是否与以前取得的差分帧图像的相位相同(例如在图31的例子中，每隔一个差分图像能得到相同的相位状态)。使用该原理可以如图103那样使蓄积在差分帧图像缓存303中的差分帧图像的相位一致，相加蓄积到差分帧图像缓存303中(其结果为只相加了相位与基本水印图案的相位相同的图像或者只相加了相位相反的图像)，对相加蓄积在差分帧图像缓存303中的差分帧图像取绝对值后提取检测对象区域，对相加蓄积在差分帧图像缓存303中的差分帧图像的该检测对象区域的图像进行失真校正、大小归一化来作为检测对象区域图像。如果使用该方法，则通过相加蓄积还强调了水印图案，提高了检测对象区域提取可靠度，之外还能得到提高电子水印检测性能的效果。
步骤1706)接着在电子水印检测部240中尝试从检测对象区域图像中检测出电子水印，输出检测结果。
步骤1707)当电子水印检测不成功时，在运动图像输入部210中取得下一个帧图像来依次重复上述处理。
另外，说明将本实施方式应用到第16实施方式中时的电子水印检测装置。
图104表示本发明的第19实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200I由运动图像输入部210、特征区域提取部290、差分图像生成部230、检测对象区域提取部220、电子水印检测部240、特征区域图像缓存302、特征区域差分图像缓存304构成。
与第16实施方式的不同之处在于，检测对象区域提取部220的处理内容和新设置了特征区域差分图像缓存304。
图105是本发明的第19实施方式的电子水印检测装置的动作的流程图(应用到第16实施方式)。
步骤1801)在运动图像输入部210中，当输入了用相机对显示于电视等的显示器上的模拟运动图像进行了实时视频捕捉而得到的图像或者进行了MPEG编码后的数字运动图像时，依次取得帧图像。在输入模拟运动图像时，通过相机、扫描仪来输入而取得帧图像，或者通过输入模拟视频信号等取得帧图像，如果为数字运动图像，则进行解码处理等来取得帧图像。
步骤1802)接着在特征区域提取部290中，提取出帧图像中的特征区域。在特征区域提取中，使用文献3的边缘识别下的矩形区域检测等的技术。所提取出的特征区域在校正相机拍摄角度等所产生的失真，对大小进行归一化的基础上，作为特征区域提取图像而输出。
步骤1803)接着在差分图像生成部230中，取当前取得的特征区域图像与蓄积在特征区域图像缓存302中的以前取得的特征区域图像之间的差分，生成特征区域差分图像。
步骤1804)另外，准备下一次的检测尝试，将此次的特征区域图像缓存在特征区域图像缓存302中。
步骤1805)在检测对象区域提取部220中，将特征区域差分图像蓄积在特征区域差分图像缓存304中。
此时，如图106、图107所示，对齐蓄积在特征区域差分图像缓存304中的特征区域差分图像的相位，相加蓄积在特征区域差分图像缓存304中。相位的对齐方法除了上述的与水印图案切换定时的同步之外，还可以使用第6实施方式和第17实施方式所示那样的方法。其结果，在特征区域差分图像缓存304中只相加了相位与基本水印图案的相位相同的图像或者只相加了相位相反的图像。
步骤1806)接着从特征区域差分图像缓存304中所相加蓄积的特征区域差分图像之中提取出成为水印检测对象的检测对象区域，进行失真校正、大小归一化来取得检测对象区域图像。
步骤1807)接着在电子水印检测部240中尝试从检测对象区域图像中检测出电子水印，输出检测结果。
步骤1808)当电子水印检测不成功时，在运动图像输入部210中取得下一个帧图像来依次重复上述处理。
如上所述，由于通过对齐了相位的相加蓄积，相比于仅一张差分图像的情况，检测对象区域的水印图案相对更为显眼，所以可以提高检测对象区域的提取可靠度，并可与第6实施方式同样地提高电子水印的检测性能。
<本实施方式的效果>
在本实施方式中，蓄积差分帧图像或者特征区域差分图像，相对强化了水印图案的强度之后提取出检测对象区域，从而实现检测对象区域的提取可靠性的提高。
另外，特别地，通过对齐差分图像中的水印图案的相位进行相加蓄积，从而不只可以提高检测对象的可靠性，还能同时实现电子水印的检测性能提高。由于一般在图像上以人无法察觉的程度的微弱的振幅附加了水印图案，所以有时在一张差分图像中无法明确地确定检测对象区域。本实施方式通过上述技术能够解决该问题。
[第20实施方式]
本实施方式除了下面说明的部分以外，与第1至第19实施方式相同。下面主要说明与第13实施方式的不同之处。
说明本实施方式的电子水印嵌入装置100内的水印图案重叠部130的处理。
图108、图109是用于说明本发明的第20实施方式的水印图案重叠部的处理的图。
水印图案重叠部130输入帧图像和根据相应的帧显示时刻所生成的水印图案。此时，根据需要生成多张水印图案，以使一张帧图像上可以重叠多个水印图案。例如设赋予了表示不同的3个信息的3张水印图案。在水印图案重叠部130中，适当调整各自的水印图案的振幅，调整欲与各水印图案表示的信息相关联的帧图像中的对象对齐的位置、大小来重叠在帧图像上。在图108中，表示出了在帧图像中的互不相同的3个对象区域上重叠了水印图案的例子。或者，也可以像在图109中，在相当于图像整体的水印图案中，将对应于对象的水印图案像嵌套一样重叠。此时，也可以在成为嵌套的内侧的水印图案的值上覆写外侧的水印图案的值。另外，在图109中，像第14实施方式和第15实施方式那样，在水印图案上附加有检测对象区域提取用的标记等。
接着说明本实施方式的电子水印检测装置的差分图像生成部230的处理。
图110是用于说明本发明的第20实施方式的差分图像生成部的处理的图。
差分图像生成部230的处理本身与第13实施方式完全相同，但由于存在多个所输入的帧图像中的水印图案区域，所以如图110那样，在差分帧图像中可得到多个水印图案区域。
下面说明本实施方式的检测对象区域提取部220的处理。
图111、图112是用于说明本发明的第20实施方式的检测对象区域提取部的处理的图。与第13实施方式相同，当取差分帧图像的像素值的绝对值来搜索矩形区域时，如图111那样可以发现3个检测对象区域。在3个检测对象区域的每个中生成检测对象区域图像，分别尝试电子水印检测。
另外，使用图112说明进行图109那样的水印图案重叠时的检测对象区域提取部220的处理的内容。即使在差分帧图像中水印图案区域成为嵌套，如果使用第14实施方式和第15实施方式那样的用于定位的标记等，就能够发现嵌套结构的检测对象区域，在各自中生成检测对象区域图像来进行电子水印检测尝试。而且，在图112中，在外侧的水印图案中，内侧的水印图案成为嵌套，关于该区域虽然没有留下外侧的水印图案的样式，但通过电子水印方式本身具有的鲁棒性，也可以对应于图案的缺失，所以可以进行电子水印检测。
接着，表示本实施方式的电子水印检测装置200的反馈输出的例子。
图113至图116表示本发明的第20实施方式的电子水印检测装置的反馈输出的例子。
在电子水印检测装置200I的显示画面上，按照每个检测对象区域得到的检测状况与检测对象区域的位置和大小等对应地合成到预览画面上。在图113中，根据3个检测对象区域得到的电子水印检测状况合成在与原本的水印图案关联起来的对象位置上进行显示。
另外，在图114中，表示根据成为嵌套的2个检测对象区域得到的电子水印检测状况的合成的例子。在这样得到多个电子水印检测对象区域的情况下，可以同时反馈各自的电子水印检测状况。
另外，如图115和图116所示，在移近(zoom in)显示画面的一部分进行拍摄时，可以仅输出该拍摄部分的电子水印检测状况。如果使用该技术，可以例如使用电子水印检测来实现从显示画面的多个对象中选择几个这样的指示。
另外，本实施方式可以任意地将第1至第19实施方式各自的技术进行组合来实施，这点是不言自明的。
<本实施方式的效果>
根据本实施方式，将多个水印图案重叠于运动图像的1帧中进行嵌入，提取出相机捕捉所得到的帧图像中的多个检测对象区域而分别进行电子水印检测。由此可以进行与帧图像中的对象关联起来的电子水印的嵌入/检测，提高了方便性。另外，通过在拍摄时移近到特定的对象上来进行捕捉/检测，从而可以在用户界面上使用选择画面中的特定的对象。
[第21实施方式]
在本实施方式中说明将水印信息作为水印图案的相位差分变动进行嵌入的例子。
本实施方式除了下面说明的部分以外，与第1至第20实施方式相同。下面主要说明与第1实施方式不同之处。
说明本实施方式的电子水印嵌入装置100的水印图案生成部120。
图117是用于说明本发明的第21实施方式的水印图案切换信息的例子的图。
本实施方式的水印图案切换信息并非是对图案的反转直接进行指示的信息，而是表示水印图案的周期和周期中的切换点的信息。
图118、图119是用于说明本发明的第21实施方式的水印图案切换部的处理的图。
在水印图案切换部122中，首先将所输入的基本水印图案的浓淡值转换为相位差分变动图案。转换的流程例如在图118那样的2值的基本水印图案时，求出对应于明/暗的两个相位差分变动值，通过在基本水印图案上的具有明/暗各自的像素值的像素位置上与相位差分变动值对应起来而得到转换。此处关于怎样求出2值的相位差分变动值，如图118所示，在水印图案切换信息为“以3/10秒为一周期地每隔1/10秒断续地切换”的情况下，由于以3/10秒为一周期而且切换定时为1/10秒，所以如果在隔1/10秒就使相位变化2π/3，则3/10秒后恢复到原来的相位，所以相位差分变动值使用2π/3和其反方向上的-2π/3的2个值。
如上所述得到相位差分变动图案之后，水印图案切换部122将所输入的帧显示时刻取为水印图案切换信息的时间轴，按照每个切换定时在之前的水印相位的图案上加上相位差分变动图案。在图118的例子中，在时刻t0、t1、t2的定时，对水印相位图案加上相位差分变动图案。而且，位于运动图像的起始帧等的水印相位图案的初始值被设定为水印相位图案的各要素可以任意取0和上述差分变动值的某一个。
如上所述那样取得了水印相位图案之后，水印图案切换部122将水印相位图案转换为水印图案。作为转换的方法，例如如图119所示，将水印相位图案的各要素值与图像的2个以上的分量对应起来，在图中为与以将YcbCr色系的Cb和Cr放在正交轴上的坐标系的原点(0，0)为中心的半径r(r为给定的值)的圆上的点对应了起来。其结果将所得的Cb-Cr的坐标系的Cb坐标、Cr坐标作为对应于该水印相位图案的要素的水印图案的像素值，求出所有的水印图案的像素值。这样所得的水印图案成为具有各像素多个分量值的图案。
而且，在本实施方式中，使用Cb、Cr作为例子，但还可以使用RGB色系的R-G或者XYZ色系的X-Y或者HSV色系的H-S等各种方法。
另外，在对于各轴的变动量的视觉灵敏度不同的情况下，也可以适当校正尺度来使各轴的变动量和视觉灵敏度一致。在本实施方式中，表示了在YCbCr色系中，因相比Y而难以察觉的理由使用Cb和Cr分量的例子。
另外，当并非是多个图像分量，而是单一的分量、例如使用亮度分量等实施本实施方式时，像第1实施方式的调制方法(A-2)那样地在基本水印图案中使用波形图案，使波形图案的相位变动，从而能够实现与本实施方式同样的使用相位差分变动的电子水印嵌入。
通过将这样得到的水印图案依次重叠于帧图像上，从而得到嵌入有水印的运动图像，这与第1实施方式相同。
说明本实施方式的电子水印检测装置200内的差分图像生成部230的处理。
图120是用于说明本发明的第21实施方式的差分图像生成部的处理的图。差分图像生成部230进行与第1实施方式相同的处理而得到差分图像之后，进而对差分图像进行修改。修改方法例如图120那样，对于差分图像的各像素得到Cb、Cr的分量值(cb、cr)，得到与将其嵌入时同样地描绘在Cb-Cr的正交坐标系上时的局坐标表现(R，θ)。接着，判断θ与图中的圆标记的角度(π/6、π/2、π/6、5π/6、7π/6、3π/2、11π/6)的哪一个最近，得到分配给最近的角度的符号(+或者-)。最后求出对距原点的距离R乘以了该符号的值，作为差分图像的该像素的像素值来进行覆盖。对所有的差分图像的像素进行上述处理。
关于差分图像生成部230之后的处理与第1实施方式相同。
下面说明本实施方式的原理。
作为说明的前提，在本实施方式的电子水印检测装置中，如图121所示，设为，与第3实施方式相同地，根据水印图案切换信息指定捕捉定时、差分定时。在图121中，差分被指定为取相隔1/10秒的检测对象区域图像之间的差分。如第4实施方式等所述那样，在第1至第20实施方式中所说明的电子水印嵌入/检测方法中，根据差分取得定时，所得到的差分图像中的水印图案的相位与嵌入时的相位或相同或相反，需要用各种技术来应对。
使用图122和图123说明本实施方式的原理。图122关于嵌入时的相位差分变动值为2π/3的情况，列举了嵌入在相隔1/10秒的2张帧中的Cb-Cr分量值、即相当于嵌入时的相位图案的值和通过差分所得到的Cb-Cr能出现的所有图案。这样，如果嵌入时的相位差分变动值为2π/3，则差分图像中的Cb-Cr分量值具有π/6、5π/6、3π/2这3个值中的某一个相位。
图123表示相位差分变动值为-2π/3的情况。此时，差分图像中的Cb-Cr分量值具有7π/6、π/2、11π/6这3个值中的某一个相位。即，根据相位差分变动值，差分图像中的Cb-Cr分量值可以分为2组。如果用这个原理，通过判断如图120所示检测时的Cb-Cr分量的相位属于2个组中的哪个组，从而可以不依赖于捕捉的定时，而始终恒定地得到嵌入时的相位差分变动值。由于相位差分变动值对应于将水印信息进行了扩散的序列的项的值，所以最终不依赖于捕捉定时而根据差分得到的水印图案(相当于图120中所修改的差分图像中的水印图案)不进行反转，相位与嵌入时的基本水印图案的相位相同。
该“从差分得到的水印图案不依赖于定时而始终恒定”的特性极为重要。例如第1实施方式的调制方法(A-1)由于当差分图像中的水印图案反转时，检测水印信息的位也反转，所以为了确定相位而需要第4实施方式和第5实施方式那样的措施。
另外，第1实施方式的其他的调制方法也例如像第6实施方式和第19实施方式那样，为了提高水印信息和检测对象区域的检测性能而在蓄积差分图像之际，需要对齐相位，所以曾使用了各种措施，但通过使用本实施方式，一举解决了该问题，不依赖于差分的取法而水印图案为恒定，所以当然不引起检测水印信息的位反转，而且在对差分图像进行相加蓄积之际不用在意相位地只单纯进行相加即可。
另外，在像第8实施方式那样将水印信息分割为数据块而在时间方向上依次进行嵌入时，在第1实施方式那样的调制方法中，如图124所示那样跨越数据块的界线的差分图像中，具有检测出不正确的水印信息的危险性。因此为了确保安全，需要在数据块区间之间夹持有未嵌入水印的区间，由此具有每单位时间的水印信息长度减少的问题。
但是，由于如果使用本实施方式，水印的信息就由相位差分变动所表示出来，所以如果对之前的数据块终端上的相位图案给予表示此次的数据块信息的相位差分变动来进行嵌入，就可以即使在检测时得到了跨越数据块界线的差分图像，也能根据该差分正确地检测出数据块信息。由此，由于可以不混入没有用的空白而连续地切换数据块进行嵌入/检测，所以能够增大每单位时间的水印信息量。
而且，本实施方式可以任意地将第1至第20实施方式各自的技术进行组合来实施，这点是不言自明的。
<本实施方式的效果>
根据本实施方式，由于将水印的信息作为相位差分变动进行嵌入，所以不依赖于差分图像的取得定时，而可以以包含恒定的水印图案的方式取得差分图像。由此防止了水印信息的位反转，还无需在差分图像蓄积时对齐相位，只要单纯地相加蓄积差分图像即可，所以可以实现装置结构的单纯化、处理的高速化和因不需要相位同步信号而得到的水印信息长度增大和耐性提高。另外，在第8实施方式那样的数据块利用型的情况下，即使在数据块之间没有夹持着没有用的空白，也能确保检测信息的可靠性，所以能够实现每单位时间的水印信息长度的增大。
[第22实施方式]
本实施方式除了下面说明的部分以外，与第1至第21实施方式相同。
下面说明与第1实施方式的不同之处。
说明电子水印检测装置200的差分图像生成部230的处理。
图125是用于说明本发明的第22实施方式的差分图像生成部的处理的图。
在本实施方式中，在差分图像生成部230生成了检测对象区域图像的差分图像之后，还对差分图像进行滤波处理来输出。
图126A、B是用于说明本发明的第22实施方式的滤波处理的例子的图。为了便于说明，将差分图像表示为一维信号。在图126A中，当差分图像的像素值的绝对值在所给定的阈值以上时，进行对阈值限幅的非线性滤波处理。另外，在该图B中，当差分图像的像素值的绝对值在所给定的阈值以上时，进行使像素值为0的非线性滤波处理。
<本实施方式的效果>
根据本实施方式，可以用滤波处理抑制在拍摄活动的运动图像的情况下产生的较大的差分分量。由于一般水印图案以微弱振幅被嵌入，所以起因于图像自身的动作的差分分量作为具有较大的绝对值的差分图像上的差分像素值而显现。因此，如果使用本实施方式那样的非线性滤波器，可以抑制运动图像的动作引起的差分分量，还由于不抑制水印图案的分量，所以水印图案的S/N比提高，因而可以提高根据活动的运动图像来实现的检测性能。
[第23实施方式]
本实施方式除了下面说明的部分以外，与第1至第22实施方式相同。下面说明与第1实施方式的不同之处。
图127是用于说明本发明的第23实施方式的水印图案重叠部的处理的图。
本实施方式的水印图案重叠部130具有蓄积过去多张量的所依次输入的帧图像的功能，生成新输入的此次帧图像和以前的帧图像之间的差分图像。以前的帧图像可以是刚刚之前的图像，也可以是几帧之前的图像。接着，水印图案按照第1至第22实施方式那样适当进行校准(scaling)。接着，根据差分图像，调整水印图案的振幅。之后的处理与第1至第22实施方式同样，对帧图像只重叠振幅被调整过的水印图案。
图128是用于说明本发明的第23实施方式的水印图案振幅调整的例子的图。该图(1)中，求出差分图像的像素值的绝对值的总和，根据该总和的值来调整水印图案整体的振幅。调整的方法例如用与总和值成正比的值来放大振幅等，总和值越大越使振幅增大。或者如该图(2)所示，还可以有根据差分图像的各坐标的像素值来调整水印图案对应的坐标的像素值的振幅的方法。此时，例如差分图像的像素值的绝对值越大，越增大对应位置上的水印图案的振幅。该图(1)、(2)都为差分图像中具有较大的绝对值的像素越多、即运动图像的动作越激烈，水印图案的振幅越增大。另外，也可以在进行了该图(1)的措施后，进而进行该图(2)等，使放大的方法更复杂。
<本实施方式的效果>
根据本实施方式，在将水印图案重叠在活动的运动图像上时，对于差分图像中具有较大的绝对值的像素较多、即动作较激烈的帧，比对于动作较少的帧要重叠振幅更大的水印图案。由于一般在动作激烈的运动图像场景中，比起静止的场景而难以察觉噪声，所以即使如上述那样在动作激烈的帧中增强了水印图案的振幅，也可以使得无法察觉到水印嵌入带来的画质恶化。
另外，特别是在动作多的场景中，由于检测时的差分图像中具有较大绝对值的像素较多，所以具有水印检测中噪声较多的问题，但如本实施方式，通过预先将水印图案强化地嵌入到动作激烈的场景中，从而提高S/N比来增强水印的检测性能。
[第24实施方式]
本实施方式除了下面说明的部分以外，与第1至第23实施方式相同。下面主要说明与第1实施方式的不同之处。
图129表示本发明的第24实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200J由运动图像输入部210、检测对象区域提取部220、差分图像生成部230、电子水印检测部240、检测对象区域图像缓存250、缩放处理部310构成。该图所示的结构是在第1实施方式的电子水印检测装置100A中附加了缩放处理部310的结构。
图130是本发明的第24实施方式的动作的流程图。
由于该图所示的流程图中的步骤1901至步骤1906为止的动作与图20的步骤201至步骤206相同，所以省略其说明。
步骤1907)当电子水印检测部240的检测状况并非良好时，转移到步骤1901，为良好时进行步骤1908的处理。
步骤1908)在缩放处理部310中，使用表示检测对象区域的大小和位置的检测对象区域信息和电子水印检测部240的检测状况，当检测状况为良好时生成缩放参数来使检测对象区域成为所给的大小，提供给运动图像输入部210，转移到步骤1901的处理。由此，在运动图像输入部210中，根据所给予的缩放参数，使相机和扫描仪等自动变焦。
此处，所谓“检测状况良好”，与第17实施方式同样地，指虽然例如文献1的检测可信度指标值在某种程度上为有意义的值但仍处于尚未成功地检测出电子水印的状态，或者在第8实施方式等的按照每个数据块进行检测时在某个数据块的检测中获得成功等的状态、即、指根据电子水印检测部240的检测状况明显地存在有意义的电子水印这样的情况。例如当此次的检测对象区域信息所表示的检测对象区域不足40％时，为了使检测对象区域的面积为帧图像的面积的40％以上，自动地进行移近而成为40％以上。或者，在某个检测尝试时检测状况为良好，而且检测对象区域的面积为20％时，也可以每当检测尝试时逐渐缩小而平滑地改变显示来改善用户界面。
另外在缩小时，如果过分移近则导致检测对象区域的边缘检测失败，在这种情况下，也可以不将移近进行至使检测对象区域充满帧图像，而是缩放为给定的大小(例如帧图像的50％)。进而，还可以不为给定的大小，而是适当改变缩放率而使当前的检测对象区域信息所确定的检测对象区域的顶点和边收敛于帧图像中(例如当在帧图像的中央具有检测对象区域和在端部具有检测对象区域的情况下，后者的移近程度降低)。
而且，上面说明了与第1实施方式的不同，但在与第13至第15实施方式的组合、移近为使第16实施方式的特征区域成为给定的大小、在第17实施方式中根据缩放率的变化同样地缩放附近搜索的范围而进行组合、在第20实施方式中将多个水印图案中的一个成帧(framing)于拍摄图像的中央进行检测尝试而通过自动缩放来检测与特定的图像区域结合在一起的水印信息等，可以容易得以实现。
<本实施方式的效果>
根据本实施方式，当拍摄时的帧图像中的检测对象区域的像素大小较小时，可以自动移近来取得更大的像素大小的检测对象区域。由于一般像素样本较少时难以进行电子水印检测，所以通过移近来增大检测对象区域的像素样本数，从而可以提高电子水印的检测性能。
另外，根据电子水印的检测状况，通过只在检测状况良好时进行移近，从而例如在图131A那样检测状况为良好时用移近来增大检测对象区域的像素样本数而提高检测性能，同时如该图B那样错误地将不是原来的检测对象区域的区域作为检测对象区域的情况下，由于电子水印检测状况不是良好，所以不移近、即只在电子水印确实存在的现象较明显的检测对象区域的情况下进行移近以提高检测性能，所以可以不需要无为的移近，可以实现可用性(User Friendly)的提高。
[第25实施方式]
在本实施方式中，将水印的信息作为相位差分变动进行嵌入，在检测时首先生成差分图像(A)，然后计量时间上相邻的差分图像(A)的相位差分，通过使用相位差从差分图像(B)中检测出电子水印，从而不依赖于检测时的捕捉定时和捕捉时间间隔或者快门速度等而可以始终以相同条件进行电子水印检测。
本实施方式除了下面说明的部分以外，与第1至第24实施方式相同。下面主要说明与第1实施方式的不同之处。本实施方式的电子水印嵌入装置的结构与第1实施方式的结构相同。
图132是用于说明本发明的第25实施方式的水印图案切换信息的例子的图。
本实施方式的电子水印嵌入装置100的水印图案生成部120的水印图案切换信息并非是对图案的反转进行直接指示的信息，而是用6/30秒为一周期的正弦波等连续函数来表现的信息，具体而言是表示正弦波的周期的信息。实际上所输入的运动图像被给出为特定的帧速率、例如30帧/秒那样的离散的帧图像组，所以如图132的下图所示，将正弦波上离散地取样来用于嵌入。而且，本实施方式中如下所示，使用相对于正弦波的周期的相位的值。
图133是用于说明本发明的第25实施方式的水印图案切换部的处理的图。在水印图案切换部122中，首先将所输入的基本水印图案的浓淡值转换为符号图案。符号图案是取出基本水印图案的各浓淡值的“+”或者“-”的符号，将大小为1的值作为各要素值的排列。
接着，在水印图案切换部122中，在水印图案切换信息的时间轴上取所输入的帧显示时刻，取得对应于帧显示时刻的相对于水印图案切换信息的周期的相位(下面称为水印图案切换相位)。然后求出与对于之前的帧的水印图案切换相位之间的相位变动值(在图133中为+π/3)，将对该相位变动值乘以符号图案的要素值的值作为水印相位图案的各要素值的相位变动量。水印相位图案是大小与符号图案的大小相同的排列，各要素取0至2π的相位值。水印相位图案的各要素的初始值可以为任意值。
如上所述取得了水印相位图案后，水印图案切换部122将相位图案转换为水印图案。作为转换的方法，例如如图134所示，将水印相位图案的各要素值与图像的2个以上的分量对应起来，在图中为与以将YCbCr色系的Cb和Cr放在正交轴上的坐标系的原点(0，0)为中心的半径r(r为给定的值)的圆上的，角度为相位图案要素值的点对应了起来。其结果将所得的Cb-Cr的坐标系的Cb坐标、Cr坐标作为对应于该相位图案的要素的水印图案的像素值求出所有的水印图案的像素值。这样所得的水印图案成为具有各像素多个分量值的图案。而且，在本实施方式中，使用Cb、Cr作为例子，但还可以使用RGB色系的R-G或者XYZ色系的X-Y或者HSV色系的Hue-Saturation(此时并非在正交坐标上取Hue-Saturation，而是可以将相位值直接设定为Hue值，使其具有给定的Saturation值)等各种方法。
另外，在对于各轴的变动量的视觉灵敏度不同的情况下，也可以适当校正尺度来使各轴的变动量和视觉灵敏度一致(例如在图134中使用椭圆而不使用圆等)。在本实施方式中，表示了在YCbCr色系中，以相比于Y而难以察觉的理由使用Cb和Cr的分量的例子。
另外，当并非是多个图像分量，而是单一的分量、例如使用亮度分量等实施本实施方式时，像第1实施方式的调制方法(A-2)那样地在基本水印图案中使用波形图案，使波形图案的相位变动，从而能够实现与本实施方式同样地使用相位差分变动的电子水印嵌入。
通过将这样得到的水印图案在水印图案重叠部130中依次重叠于帧图像上，从而得到嵌入有水印的运动图像，这与第1实施方式相同。
而且，在使用Cb-Cr时，所谓调整水印图案的振幅，是指增减Cb-Cr坐标系上的振幅(图134上的点a0和原点之间的距离)。另外，使用Hue-Saturation时相当于增减Saturation。还有，当基本水印图案不是2值而是多值时，根据基本水印图案的像素值的绝对值的大小，可以增减对应的水印图案的像素值的振幅。
图135是本发明的第25实施方式的电子水印检测装置的结构图。
本实施方式的电子水印检测装置200具有运动图像输入部210、检测对象区域提取部220、差分图像生成部230、相位差分计量部360、电子水印检测部240、检测对象区域图像缓存250、相位图案缓存370。
图136是本发明的第25实施方式的电子水印检测装置的动作的流程图。
如果说明与第1实施方式之间的不同，则如图137那样与第1实施方式同样地将在差分图像生成部230中所输出的差分图像(在本实施方式中标记为差分图像(A))输入到相位差分计量部360中，在相位差分计量部360中根据差分图像(A)生成相位图案(步骤2040)，测量当前取得的相位图案和以前取得的相位图案之间的相位差，根据相位差新构成差分图像(B)来输出(步骤2050)。电子水印检测部240输入差分图像(B)，与第1实施方式同样地根据差分图像(B)来进行电子水印检测(步骤2070)。
图138是用于说明本发明的第25实施方式的相位差分计量部的处理的内容的图。
相位差分计量部360以差分图像(A)作为输入。相位差分计量部360将差分图像(A)与嵌入时同样地进行块分割，按照每个块来分别求出Cb分量、Cr分量的总和，求出将其结果(Cb、Cr)作为Cb-Cr坐标系的点表示时的振幅R和相位θ，将它们设定为相位图案的对应于该块位置的要素的值。相位图案是按照各要素位置来取振幅和相位的排列，其各要素与差分图像的各块对应起来。
接着，相位差分计量部360如图139所示，将蓄积在相位图案缓存370中的以前取得的相位图案和当前取得的相位图案进行比较，根据各要素的相位差确定正或者负的符号，进而使用两个相位图案各自的振幅越大越取大值的递增函数确定新的振幅，确定将上述符号和上述振幅作为值而具有的差分图像(B)的各要素值。
图140A、B是用于说明本发明的第25实施方式的相位差分计量部的处理的内容的图。
求出当前取得的相位图案的某要素的相位值θ和以前取得的相位图案对应的要素的相位值θ’的相位差θ-θ’，如果该值在0～π的范围内则选择符号“+”，如果在-π～0的范围内则选择符号“-”。另外，作为根据当前取得的相位图案的某要素的振幅值R和以前取得的相位图案对应的要素的振幅值R’来求出新的振幅值ρ时所用的递增函数的例子，例如可以使用ρ(R、R’)＝R+R’或者ρ(R、R’)＝R×R’等。对于振幅值R、R’而递增的理由，是因为残留的水印信号越强烈、即振幅R、R’越大的图案越能通过对其进行加权来改善电子水印检测性能。
当对所有的要素结束了符号选择和求出新振幅值的处理之后，将差分图像(B)发送给电子水印检测部，尝试从差分图像(B)中检测出水印。而且，由于在以后的检测尝试中使用此次取得的相位图案，所以将其蓄积在相位图案缓存370中。
接着使用检测时的捕捉定时不同的几个例子来说明本实施方式的原理。
图141的捕捉例A是每隔1/15秒、即每隔1帧来进行帧捕捉的例子。如果考虑在相邻捕捉帧(在图141中标记为(1)、(2)、(3)、(4)…等)之间得到的差分图像(A)(在图141中标记为(a)、(b)、(c)…等)中的水印图案的Cb-Cr值，则成为关于图133中的符号图案为正的要素则如图142那样、对于负的要素则如图143那样，求出将Cb-Cr分量值看作矢量时的差分的结果。这是因为差分图像的计算对应于Cb分量、Cr分量的各项的差分计算(由此可大幅度地抑制原始图像分量)，在差分图像(A)中，可以得到如图142和图143中那样的多个相位，这与第21实施方式所述相同。
在本实施方式中得到差分图像(A)之后，进而以差分图像(A)的Cb-Cr分量的相位值为基础生成相位图案，计量时间上相邻的相位图案之间的相位差(在图141中将相位图案之间的相位差分数据标记为(α)、(β)、(γ)…等)。该状况表示在图144(符号图案为正时)和图145(符号图案为负时)中。在图144和图145中，可知，通过求出相位差，嵌入时的水印图案的相位差2π/3无论在哪个相邻捕捉帧之间都可以根据相位图案的相位差相等地得到。
在本实施方式中，使用相位差的正负来确定差分图像(B)的符号进行电子水印检测，但由于如现在所述，相位差与嵌入时的符号图案相对应着，所以可以进行电子水印的检测，这是不言自明的。即，根据捕捉帧的任何定时都可以同样地进行电子水印的检测。
图146表示与捕捉例A(图141)不同的捕捉例B。捕捉例B与捕捉例A同样地为每隔1/15秒的捕捉，但为捕捉开始定时错开的情况。捕捉例B的情况下，当首先生成了差分图像(A)时，由于嵌入到各捕捉帧中的水印图案的相位与捕捉例A(图141)的情况下的相位错开，所以差分图像(A)中的水印图案的Cb-Cr值(相位图案的相位值)的组合如图147和图148那样相比于捕捉例A的情况(图142和图143)而不同。由此可知，虽然在仅凭差分图像(A)中的水印图案的Cb-Cr值(相位图案的相位值)的组合来检测水印信息的第21实施方式的情况下可以分类为符号图案“+”或者“-”，但不清楚两个组中的哪个是“+”哪个是“-”。
但是在本实施方式中，进而通过如图149和图150那样计量相邻的差分图像(A)之间的相位差，从而可以始终检测与嵌入时的符号图案要素相同的符号。即、根据本实施方式没有捕捉例A和捕捉例B的差，可以在任意的捕捉开始定时同样进行电子水印检测。
图151表示与捕捉例A、B不同的捕捉例C。捕捉例C为捕捉定时是或1/30秒间隔或1/15秒间隔的不定的情况。捕捉例C的情况下，首先当生成了差分图像(A)时，如图152和图153那样以与捕捉例A和捕捉例B不同的组合来得到差分图像(A)中的Cb-Cr值(相位图案的相位值)。另外按照捕捉例C那样捕捉的时间间隔各自不同的情况下，由于难以将差分图像(A)中的Cb-Cr值(相位图案的相位值)分为2类，所以用第21实施方式的方法难以进行检测。
但是在本实施方式中，进而如图154和图155那样计量相邻的差分图像(A)之间的相位差。此时，相位差的值由于捕捉时间间隔发生变动而各不相同，但通过相位差所确定的符号(0～π→+、-π～0→-)不依赖于捕捉时间间隔而是恒定的，而且取与嵌入时的符号图案相同的值。由此，根据本实施方式可如捕捉例C那样即使在捕捉时间间隔发生变动的情况下，也能没有问题地进行电子水印的检测。
图156表示与捕捉例A、B、C不同的捕捉例D。在运动图像的相机捕捉等的情况下，有时在快门速度较慢时多个运动图像帧复用地曝光于1张捕捉帧上而被合成。例如在图156的捕捉例D中，通过复用曝光而将每隔1/30秒显示的运动图像帧合成在1张捕捉帧上。但是，该合成所得的捕捉帧中的水印图案的相位由于是被复用的各个运动图像帧中的相位的合成(因为通过用适当的比率来加权平均多帧的Cb、Cr分量各项来得到合成图像)，所以如图157那样，取被复用的各个运动图像帧中的相位的中间值(图157表示正好以1∶1的比率用复用曝光来合成2帧的例子，但例如即使为2∶1等也能取对应于该内分比率的中间值，这是显而易见的)。捕捉例D的情况下，首先当生成了差分图像(A)时，如图158和图159那样以与捕捉例A、B、C不同的组合来得到差分图像(A)中的Cb-Cr值(相位图案的相位值)。如捕捉例D那样所复用曝光的捕捉帧的情况下，由于难以将差分图像(A)中的Cb-Cr值(相位图案的相位值)分为2类，所以用第21实施方式的方法难以进行检测。
但是在本实施方式中，进而如图160和图161那样计量相邻的差分图像(A)之间的相位差，从而可以始终检测与嵌入时的符号图案要素相同的符号。即根据本实施方式，在捕捉时的定时从运动图像的帧显示定时微小地错开任意的时间的情况下，即使捕捉帧中被复用曝光而合成了多个运动图像帧时，也能同样进行电子水印检测。
该“从差分得到的水印图案不依赖于捕捉定时和捕捉时间间隔或快门速度等而始终恒定”的特性极为重要。例如第1实施方式的调制方法(A-1)由于当差分图像中的水印图案反转时，检测水印信息的位也反转，所以为了确定相位而需要第4实施方式和第5实施方式那样的措施。
另外，第1实施方式的其他的调制方法也例如像第6实施方式和第19实施方式那样，为了提高水印信息和检测对象区域的检测性能而在蓄积差分图像之际，需要对齐相位，所以曾使用了各种措施，但通过使用本实施方式，一举解决了该问题，不依赖于差分的取法而水印图案为恒定的，所以当然不引起检测水印信息的位反转，而且在对差分图像(本实施方式的差分图像(B))进行相加蓄积之际不用在意相位地只单纯进行相加即可。
另外，在像第8实施方式那样将水印信息分割为数据块而在时间方向上依次进行嵌入时，在第1实施方式那样的调制方法中，如图124所示那样跨越数据块的界线的差分图像中，具有检测出不正确的水印信息的危险性。因此为了确保安全，需要在数据块区间之间夹持有未嵌入水印的区间，由此具有每单位时间的水印信息长度减少的问题。
但是，由于如果使用本实施方式，水印的信息就由相位差分变动表示出来，所以如果对之前的数据块终端上的相位图案给予表示此次的数据块信息的相位差分变动来进行嵌入，就可以在检测时得到了跨越数据块界线的差分图像，也能根据该差分检测出正确的数据块信息。由此，由于可以不混入没有用的空白而连续地切换数据块来进行嵌入/检测，所以能够增大每单位时间的水印信息量。
进而，即使在第21实施方式中较为困难的、捕捉间隔变动的情况和成为由复用曝光合成了多个运动图像帧的捕捉帧的情况下，根据本实施方式也能没有问题地如上所述进行检测，而且还能享受到通过与上述各实施方式进行组合带来的效果。
而且，本实施方式可以任意地将第1至第24实施方式各自的技术进行组合来实施，这点是不言自明的。即，如果将本实施方式的相位差分计量部的处理插入进各实施方式中对应的部位(电子水印检测部或检测对象区域提取部之前等)进行处理，则可以实现先前所述的效果。当与其他实施方式之间的组合时，只要将本实施方式的差分图像(B)试着替换为差分图像或者检测对象区域图像即可。下面对把本实施方式的技术应用到各实施方式中的情况进行简单说明，
●第1、2、3、4、5、6、7、8、9、10、11、12、21、22、23、24实施方式：将电子水印检测装置的差分图像生成部的输出作为差分图像(A)输入到相位差分计量部中，得到差分图像(B)而将其输入到电子水印检测部；
●第13、14、15、16、17、18、19、20实施方式：将作为检测对象区域提取部的输出的检测对象区域图像作为本实施方式的差分图像(A)输入到相位差分计量部中，得到差分图像(B)而将其输入到电子水印检测部；
这样进行处理即可。
<第25实施方式的效果>
根据本实施方式，由于将水印的信息作为相位差分变动进行嵌入，在检测时首先生成差分图像(A)，进而计量时间上相邻的差分图像(A)的相位差分，使用相位差根据得到的差分图像(B)进行电子水印检测，所以如上所述不依赖于检测时的捕捉定时和捕捉时间间隔或者快门速度等而可以始终在相同条件下进行电子水印检测。由此防止了水印信息的位反转，还无需在差分图像蓄积时对齐相位，只要单纯地相加蓄积差分图像即可，所以可以实现装置结构的单纯化、处理的高速化和不需要相位同步信号所得到的水印信息长度增大和耐性提高。
另外，在第8实施方式那样的数据块利用型的情况下，即使在数据块之间没有夹持着没有用的空白，也能确保检测信息的可靠性，所以能够实现每单位时间的水印信息长度的增大。另外，在检测装置的捕捉定时变动的情况和通过相机拍摄等通过复用曝光来合成多个运动图像帧而进行捕捉的情况下，都能没有任何问题地进行电子水印检测，所以可以使电子水印检测装置200的运动图像输入部210的结构变得简单(不以正确的时钟进行捕捉也可以)，或者可以提高在相机那样的模拟光学读取的情况下的电子水印检测性能。
[第26实施方式]
在本实施方式中，将水印的信息作为相位差分变动进行嵌入，在检测时首先生成差分图像(A)，然后计量时间上相邻的差分图像(A)的相位差分，生成使用相位差得到的差分图像(B)，相加蓄积差分图像(B)来提取检测对象区域，根据检测对象区域图像来进行电子水印检测，所以如上所述，可以不依赖于检测时的捕捉定时和捕捉时间间隔或者快门速度等而可以始终在相同条件下进行电子水印检测，校正拍摄角度所产生的失真的影响，而且通过蓄积提高水印的耐性，实现更稳定的电子水印检测。
图162是本发明的第26实施方式的电子水印嵌入装置的结构图。
该图所示的电子水印嵌入装置100由帧图像取得部110、水印图案生成部120、水印图案重叠部130、运动图像数据再构成部140构成。本实施方式的电子水印嵌入装置100以原始运动图像数据、水印信息、水印图案切换信息作为输入。
图163是本发明的第26实施方式的电子水印嵌入装置的动作的流程图。
步骤100)首先在帧图像取得部110中如图164那样根据原始运动图像数据依次各取得一个帧图像和该帧图像的显示时刻。此处所谓帧图像显示时刻既可以表示例如根据时间代码和再现时的帧速率来确定的运动图像的起始处起的绝对时刻，或者也可以为测量了再现时的帧之间的相对的时间间隔的时刻。帧图像取得部110在输入运动图像数据为MPEG等的编码数据的情况下，进行解码等来取得帧图像。
步骤110)接着在水印图案生成部120中使用水印信息、帧显示时刻、水印图案切换信息来生成水印图案。
步骤120)然后在水印图案重叠部130中，将该水印图案重叠于帧图像上来生成嵌入有水印的帧图像。
步骤130)最后，在运动图像数据再构成部140中，将依次生成的嵌入有水印的帧图像串，作为运动图像数据进行再构成之后作为嵌入有水印的运动图像数据来输出。此时，如果需要也可以进行MPEG编码等的编码。
图165是本发明的第26实施方式的水印图案生成部的结构图，图166是本发明的第26实施方式的水印图案生成部的动作的流程图。
水印图案生成部120具有基本水印图案生成部121和水印图案切换部122，将水印信息、水印图案切换信息、帧显示时刻作为输入。
步骤2100)首先在基本水印图案生成部121中，将水印信息转换为作为2维图案的基本水印图案。该转换的方法如第1实施方式所示那样具有各种方法，但在本实施方式中为了简化说明，使用第1实施方式的调制方法。
图167表示基本水印图案生成部121的处理的例子。在本实施方式中，使用根据用扩散序列对水印信息的位值进行直接光谱扩散调制所得到的序列的值，将像素值的大小对应起来的方法。此时基本水印图案的各像素值取正或者负的值。
步骤2110)水印图案生成部120接着在水印图案切换部122中根据帧显示时刻和水印图案切换信息之间的关系，来判断是否需要反转基本水印图案的相位，根据需要改变基本水印图案的相位，作为水印图案输出。
图168是本发明的第26实施方式的水印图案切换部的结构图。
水印图案切换部122具有符号图案生成部1221、水印图案切换相位变动值计算部1222、水印相位差分图案生成部1223、水印相位图案生成部1224、水印相位图案图像化部1225。
图169是本发明的第26实施方式的水印图案切换部的动作的流程图。
步骤2200)水印图案切换部122首先在符号图案生成部1221中将基本水印图案转换为符号图案。
步骤2210)接着在水印图案切换相位变动值计算部1222中，根据帧显示时刻所表示的之前的帧与此次的帧之间的时间差，来求出水印图案切换信息表示的水印图案切换相位的差分值，将其作为水印图案切换相位变动值。
步骤2220)接着在水印相位差分图案生成部1223中，生成如下的水印相位差分图案：具有符号图案所表示的符号，将水印图案切换相位变动值作为绝对值来设置。
步骤2230)接着在水印相位图案生成部1224中，对相对于之前的帧的水印相位图案的各要素值赋予此次的水印相位差分图案作为相位差，得到此次的水印相位图案。
步骤2240)最后在水印相位图案图像化部1225中，将水印相位图案转换为图像图案，将其结果作为水印图案输出。
图170是用于说明本发明的第26实施方式的水印图案切换信息的例子的图。
本实施方式的电子水印嵌入装置100的水印图案生成部120的水印图案切换信息并非是对图案的反转进行直接指示的信息，而是用6/30秒为一周期的正弦波等连续函数来表现的信息，具体而言是表示正弦波的周期的信息。实际上所输入的运动图像作为特定的帧速率、例如30帧/秒那样的离散的帧图像组而给出，所以如图170的下图所示，在正弦波上离散地取样来用于嵌入。而且，本实施方式中如下所示，使用相对于正弦波的周期的相位的值。
图171是用于说明本发明的第26实施方式的水印图案切换部的处理的图。
在水印图案切换部122中，首先将所输入的基本水印图案的浓淡值转换为符号图案。符号图案是取出基本水印图案的各浓淡值的“+”或者“-”的符号，将大小作为1的值作为各要素值的排列。
接着，在水印图案切换信息的时间轴上取所输入的帧显示时刻，取得对应于帧显示时刻的相对于水印图案切换信息的周期的相位(下面称为水印图案切换相位)。然后求出与对于之前的帧的水印图案切换相位之间的相位变动值(在图171中为+π/3)，将其作为水印图案切换相位变动值，将对该水印图案切换相位变动值乘以符号图案的要素值的值作为水印相位差分图案。然后对对应于之前的帧的水印相位图案的各要素值赋予水印相位图案的各要素值来作为相位变动量，作为此次的水印相位图案。水印相位图案是大小与符号图案的大小相同的排列，各要素取0至2π的相位值。水印相位图案的各要素的初始值可以为任意值。
如上所述取得了水印相位图案后，在水印相位图案图像化部1225中将水印相位图案转换为水印图案。作为转换的方法，例如如图172所示，将水印相位图案的各要素值与图像的2个以上的分量对应起来，在图中为与以将YCbCr色系的Cb和Cr放在正交轴上的坐标系的原点(0，0)为中心的半径r(r为给定的值)的圆上的、角度为相位图案要素值的点对应了起来。其结果将所得的Cb-Cr的坐标系的Cb坐标、Cr坐标作为对应于该相位图案的要素的水印图案的像素值求出所有的水印图案的像素值。这样所得的水印图案成为具有各像素多个分量值的图案。
而且，在本实施方式中，使用Cb、Cr作为例子，但还可以使用RGB色系的R-G或者XYZ色系的X-Y或者HSV色系的Hue-Saturation(此时并非在正交坐标上取Hue-Saturation，而是可以将相位值直接设定为Hue值，使其具有给定的Saturation值)等各种方法。
另外，在对于各轴的变动量的视觉灵敏度不同的情况下，也可以适当校正尺度来使各轴的变动量和视觉灵敏度一致(例如在图134中使用椭圆而不使用圆等)。在本实施方式中，表示了在YCbCr色系中，以相比于Y而难以察觉的理由使用Cb和Cr的分量的例子。另外，当并非是多个图像分量，而是单一的分量、例如使用亮度分量等实施本实施方式时，像第1实施方式的调制方法(A-2)那样地在基本水印图案中使用波形图案，使波形图案的相位变动，从而能够实现与本实施方式同样地使用相位差分变动的电子水印嵌入。
如图173所示，通过将这样得到的水印图案在水印图案重叠部130中适当改变水印图案的振幅来依次重叠于帧图像上，从而得到嵌入有水印的运动图像，这与第1实施方式相同。此时，设将水印图案校准为帧图像以下的大小，重叠于帧图像的中央。而且，在使用Cb-Cr时，所谓调整水印图案的振幅，是指增减Cb-Cr坐标系上的振幅(图172上的点a0和原点之间的距离)。另外，使用Hue-Saturation时相当于增减Saturation。
还有，当基本水印图案不是2值而是多值时，根据基本水印图案的像素值的绝对值的大小，可以增减对应的水印图案的像素值的振幅。最后在运动图像数据再构成部140中，将通过上述处理而依次生成的嵌入有水印的帧图像作为运动图像数据再构成而作为嵌入有水印的运动图像数据输出。进行再构成时也可以进行MPEG编码等的编码。
上面说明了本实施方式的电子水印嵌入装置。
接着说明本实施方式的电子水印检测装置。
图174是本发明的第26实施方式的电子水印检测装置的结构图。
电子水印检测装置200具有运动图像输入部210、特征区域提取部290、差分图像生成部230、相位差分计算部360、检测对象区域提取部220、电子水印检测部240、特征区域图像缓存302、相位图案缓存370、差分图像(B)蓄积缓存390。
电子水印检测装置200将在TV等的显示器上显示的模拟运动图像或者被MPEG编码后的数字运动图像作为输入。
图175是本发明的第26实施方式的电子水印检测装置的动作的流程图。
步骤2300)在运动图像输入部210中，当输入了模拟或者数字运动图像时，依次取得帧图像。在输入模拟运动图像时，通过相机、扫描仪来进行输入而取得帧图像，或者通过输入模拟视频信号等来取得帧图像，另外如果是数字运动图像，则进行解码处理等而取得帧图像。
步骤2310)接着，在特征区域提取部290中，与第16实施方式等同样地提取捕捉到的帧图像中的特征区域，取得特征区域图像。
步骤2320)然后，在差分图像生成部230中，生成当前取得的特征区域图像和蓄积在特征区域图像缓存302中的以前取得的特征区域图像之间的差分图像，作为差分图像(A)输出。
步骤2330)另外，为准备下一个检测尝试，将此次的特征区域图像缓存到特征区域图像缓存302中。
步骤2340)接着在相位差分计量部360中，将差分图像(A)转换为相位图案。
步骤2350)在相位差分计量部360中，计量当前取得的相位图案和蓄积在相位图案缓存370中的以前取得的相位图案之间的相位差，根据该相位差和上述2个相位图案的振幅值来新生成差分图像(B)。
步骤2360～2380)接着在检测对象区域提取部220中，将此次的差分图像(B)相加蓄积在差分图像(B)蓄积缓存390中，从所蓄积的差分图像(B)中提取检测对象区域，得到检测对象区域图像。
步骤2390)最后在电子水印检测部240中，尝试从检测对象区域图像中检测出电子水印，输出检测结果。
步骤2400)当电子水印检测不成功时，在运动图像输入部210中取得下一个帧图像来依次重复上述处理。
图176是用于说明本发明的第26实施方式的特征区域提取部的处理的图。
特征区域提取部290将帧图像作为输入，与第16实施方式等同样地提取帧图像中的特征区域，得到特征区域图像。
图177是用于说明本发明的第26实施方式的差分图像生成部的处理的图。差分图像生成部230将特征区域图像作为输入。差分图像生成部230生成当前输入的特征区域图像和蓄积在特征区域图像缓存302中的以前取得的特征区域图像之间的差分图像，作为差分图像(A)输出。差分处理使用R、G、B和Y、Cb、Cr等的各分量的减法运算来进行。另外，为准备下一个检测尝试，将此次的特征区域图像缓存到特征区域图像缓存302中。
图178是用于说明本发明的第26实施方式的相位差分计量部的处理的内容的图。
相位差分计量部360以差分图像(A)作为输入。相位差分计量部360按照差分图像(A)的每个像素来分别求出Cb分量、Cr分量，求出将其结果(cb、cr)作为Cb-Cr坐标系的点表示时的振幅R和相位θ，将它们设定为相位图案的对应于该像素位置的要素的值。相位图案是按照各要素位置来取振幅和相位的排列，其各要素与差分图像的各像素对应起来。
接着，相位差分计量部360如图179所示，将蓄积在相位图案缓存370中的以前取得的相位图案和当前取得的相位图案进行比较，根据各要素的相位差确定正或者负的符号，进而使用两个相位图案各自的振幅越大越取大值的递增函数确定新的振幅，确定将上述符号和上述振幅作为值而具有的差分图像(B)的各要素值。
图180A、B表示相位差的符号选择方法的例子。求出当前取得的相位图案的某要素的相位值θ和以前取得的相位图案对应的要素的相位值θ’之间的相位差θ-θ’，该值在0～π的范围内则选择符号“+”，如果在-π～0的范围内则选择符号“-”。另外，作为根据当前取得的相位图案的某要素的振幅值R和以前取得的相位图案对应的要素的振幅值R’来求出新的振幅值ρ时所用的递增函数的例子，例如可以使用ρ(R、R’)＝R+R’或者ρ(R、R’)＝R×R’等。对于振幅值R、R’而递增的理由，是因为当残留的水印信号越强烈、即振幅R、R’越大的图案就越是能通过对其进行加权来改善电子水印检测性能。当对所有的要素结束了符号选择和求出新振幅值的处理之后，输出差分图像(B)。而且，准备下一个检测尝试，将此次的相位图案缓存在相位图案缓存370中。
接着说明检测对象区域提取部220的处理的内容。
检测对象区域提取部220以差分图像(B)作为输入。检测对象区域提取部220将所输入的差分图像(B)相加蓄积在差分图像(B)蓄积缓存390中。
图181是用于说明本发明的第26实施方式的差分图像(B)蓄积缓存的图。差分图像(B)蓄积缓存390是大小与差分图像(B)的大小相同的像素排列，按照新输入的差分图像(B)的每个像素，对差分图像(B)蓄积缓存390的对应的像素位置加上像素值。
图182是用于说明本发明的第26实施方式的检测对象区域提取部的处理的图。在检测对象区域提取部220中，如上所述在差分图像(B)蓄积缓存390中相加蓄积了差分图像(B)后，取差分图像(B)蓄积缓存390的像素值的绝对值，与第13实施方式等相同地从其中提取出检测对象区域。然后以使绝对值化之前的差分图像(B)蓄积缓存390的检测对象区域的图像成为给定的大小的矩形的方式进行失真校正，再进行大小归一化来生成检测对象区域图像而进行输出。
说明上述处理中的检测对象区域提取部220的效果。考虑在相位差分计量部360中得到的差分图像(B)时，关于嵌入有水印图案的像素区域，相比于未嵌入有水印图案的像素区域，像素值的绝对值一般较大。这是由于：水印图案按照各捕捉帧而不同，所以关于嵌入有水印图案的像素区域，差分图像(A)的像素值的绝对值较大，但关于未嵌入有水印图案的像素区域，由于原始图像分量的时间相关度较高，所以差分图像(A)的像素值的绝对值较小。另外，在相位差分计量部360中，由于使用相位差分来确定差分图像(B)的像素值的符号，所以如第25实施方式所述，不依赖于捕捉定时，对于嵌入有水印图案的像素区域，在相同的像素位置始终为相同的符号。因此，如果在差分图像(B)蓄积缓存390进行相加蓄积，则每当相加时绝对值都会变大。但关于未嵌入有水印图案的像素区域，符号不相同而是各种各样，再加上刚才所述的像素值的绝对值较小，即使通过相加蓄积后，像素值的绝对值也不会很大，相对地与嵌入有水印图案的像素区域之间的对比度在每当相加蓄积时增大。因此，如果对通过相加蓄积得到的差分图像(B)蓄积缓存390的像素值取绝对值，则水印图案的正负区别消失，在未嵌入有作为背景区域的水印图案的像素区域中，嵌入有水印图案的像素区域以较高的对比度显现出来。由此可以可靠地将嵌入有水印图案的区域作为检测对象区域提取出来。
而且如图181所示，由于通过相加蓄积，水印图案相对得到强化，所以可以改善后面所述的电子水印检测的检测性能，实现具有更高耐性的电子水印检测。
最后，电子水印检测部240以检测对象区域图像作为输入，尝试从检测对象区域图像中检测出电子水印。使用图183说明电子水印检测部240的处理例子。图183是对应于电子水印嵌入时的调制方法(A-1)的检测时的解调方法(文献1)。
首先将检测对象区域图像块分割为嵌入时的水印图案的块的个数。接着求出块内的像素值的合计，按照块的顺序排列来得到作为一维序列的检测对象序列。接着，从检测对象序列取出对应于嵌入时的1位的区间，与扩散序列的对应的区间进行相关运算。如果相关值为较大的正值则检测为位值“1”，如果为较大的负值则检测为位值“0”，对所有的位进行检测处理。还可以根据需要对结束了检测处理的水印信息进行纠错/检测解码处理等。当电子水印检测不成功的情况下接着回到运动图像输入部210的帧捕捉处理，重复检测尝试。或者结束了运动图像的输入后结束检测处理。
<第26实施方式的效果>
根据本实施方式，除了与第25实施方式同样地具有无论在什么定时捕捉运动图像都没有问题的效果，除此之外，通过按照各像素从差分图像(A)得到差分图像(B)，相加蓄积差分图像(B)，将取了绝对值之后的值从检测对象区域提取出来进行电子水印检测，从而还可以兼具第19实施方式的效果。
而且，由于将水印的信息作为相位差分变动进行嵌入，所以在差分图像(B)的相加蓄积中直接进行像素值的相加即可，还由于不反转水印信息的位，所以与第19实施方式相比，成为更简单和更高效的电子水印方式。
还有，根据本实施方式，通过各种技术确定从捕捉到的帧图像中的哪个部分进行电子水印检测较好，即使在各种拍摄角度和背景图像的条件下，都能可靠地进行电子水印检测，还能提高电子水印的检测性能。由此，可以用相机拍摄电视等的运动图像，可靠地根据拍摄到的运动图像实时地进行电子水印检测处理。
另外，还可以将上述方式中的电子水印嵌入装置100、电子水印检测装置200的各动作构建为程序，安装于用作电子水印嵌入装置、电子水印检测装置的计算机内使其执行、或者可经由网络使其流通。当然还可以将该程序存储在CD-ROM、数字存储器等的计算机可读取的记录介质中来使用。
而且，本发明不限于上述实施方式，可以在权利要求的范围内进行各种变更/应用。另外，本发明可应用于电子水印技术，本发明不仅限于上述实施方式，可以应用于例如3维显示系统、3维拍摄系统和音频信息等中，还可以应用于红外线等无法察觉的信号区域中等，可进行各种应用。
[效果]
根据本实施方式，通过对运动图像的帧进行时间性的切换的水印图案的嵌入，从而并非是对运动图像的各帧嵌入固定的图案，而是嵌入高速切换的图案，由于对于人的视觉特性中的时间频率特性而对于高频的视觉灵敏度较低，所以可以降低水印嵌入带来的画质恶化。
另外，在检测时对于从相机等模拟输入设备连续输入的帧图像，生成时间上临近的2张捕捉帧图像之间的差分图像，进行电子水印检测，所以可以大幅消除对电子水印信号而言成为噪声的原始图像信号，能够实现电子水印检测性能的提高。
另外，如果嵌入时的水印图案的切换定时在检测侧为已知的，则可以使用捕捉到的2帧的时刻来选择差分图像中残留着水印图案的部分，无需进行无为的电子水印检测。而且，通过按照水印图案切换定时来控制检测侧的相机的捕捉定时或者差分图像取得时的2张图像之间的时间差，从而可以始终在差分图像中残留水印图案，能够高效地进行电子水印检测。
再有，通过判断差分图像中的水印图案的相位，从而即使在使用通过水印图案的相位的反转而使检测水印信息的位反转的类型的调制方法的情况下，也能正确地检测水印信息。此时，可以将水印信息中的1位用作相位判断用标记，或者可以使用不同于水印信息的相位判断用电子水印。
另外，通过将连续的捕捉所依次得到的差分信息，在对齐相位的基础上进行相加蓄积，从而相对增加了水印图案的强度，通过尝试从蓄积缓存中检测出电子水印，从而即使在用1张差分图像则无法得到足够的检测性能的情况下也能进行检测。而且，除了具有为了对齐相位而使用上述相位反转用标记，或者使用不同于水印信息的相位判断用水印的方法以外，还有使用光谱扩散调制的相关值的符号极性的方法。
另外，通过对电子水印检测时计算出的相关值依次相加蓄积，评价所蓄积的相关值来进行可否检测判断，从而即使在用1张差分图像则无法得到足够的检测性能的情况下也能进行检测。此时，也可以通过对齐差分图像的相位，使相关值始终以相同相位得到蓄积，或者蓄积相关值的绝对值。
另外，将嵌入信息分割为小数据块，在时间方向上切换数据块来进行嵌入，检测时通过连接按照每个数据块进行检测而得到的数据块，从而可以嵌入/检测更长的水印信息。进而，与对一个差分图像时的处理同样地，每当检测出小数据块时进行差分相位判断，或者通过嵌入表示数据块的顺序的数据块ID来进行嵌入而一并进行相位判断，或进行对齐了相位的差分图像蓄积，或进行相关值的蓄积，从而更能提高电子水印的检测性能。
进而，在进行来自相机的实时检测处理的状况下，通过实时反馈输出电子水印检测处理的状况，从而可以通过增加对话性而提高了方便性。特别地，通过促使用户采用易于检测的状况，从而可以期待提高检测性能。
进而，由于将水印的信息作为水印图案的相位差分变动进行嵌入，所以不依赖于差分图像的取得定时，而可以以包含恒定的水印图案的方式取得差分图像。由此防止了水印信息的位反转，还无需在差分图像蓄积时和相关值蓄积时对齐相位，只要单纯地相加蓄积差分图像即可，所以可以实现装置结构的单纯化、处理的高速化和因不需要相位同步信号而得到的水印信息长度增大和耐性提高。另外，在数据块利用型的情况下，即使在数据块之间没有夹持着没有用的空白，也能确保检测信息的可靠性，所以能够实现每单位时间的水印信息长度的增大。
而且，根据本实施方式，在对运动图像的帧进行时间上切换的水印图案的嵌入时，重叠小于运动图像数据的帧大小的水印图案。另外，在检测时生成捕捉而得到的帧图像之间的差分图像，通过从差分图像中提取出差分较大的区域、即成为电子水印检测对象的区域，从而可不依赖于拍摄角度和背景图像来实现稳定的电子水印检测。
再有，通过从按照每个捕捉帧校正特征区域的失真、进行归一化来得到的特征区域图像间的差分图像中提取出检测对象区域，从而即使在拍摄中相机移动也能稳定地提取检测对象区域。
进而，在嵌入时将表示不同信息的多个水印图案与图像中的对象等关联起来进行配置来重叠，在检测时从差分图像中提取出多个检测对象区域，可以同时检测多个电子水印信息，或是提取出按照每个对象而不同的信息。
而且，将水印的信息作为相位差分变动进行嵌入，在检测时首先生成差分图像(A)，然后计量时间上相邻的差分图像(A)的相位差分，使用相位差根据差分图像(B)进行电子水印检测，从而不依赖于检测时的捕捉定时和捕捉时间间隔或者快门速度等而可以始终以相同条件进行电子水印检测。
还有，将水印的信息作为相位差分变动进行嵌入，在检测时首先生成差分图像(A)，然后计量时间上相邻的差分图像(A)的相位差分，使用相位差生成所得到的差分图像(B)，相加蓄积差分图像(B)来提取检测对象区域，根据检测对象区域图像来进行电子水印检测，所以如上所述，可以不依赖于检测时的捕捉定时和捕捉时间间隔或者快门速度等而可以始终在相同条件下进行电子水印检测，还能校正拍摄角度所产生的失真的影响，而且通过蓄积提高水印的耐性，实现更稳定的电子水印检测。
另外，如果嵌入时的水印图案的切换定时在检测侧为已知的，则可以使用捕捉到的2帧的时刻来选择差分图像中残留着水印图案的部分，无需进行无为的电子水印检测。而且，通过按照水印图案切换定时来控制检测侧的相机的捕捉定时或者差分图像取得时的2张图像之间的时间差，从而可以始终在差分图像中残留水印图案，能够高效地进行电子水印检测。
而且，根据本实施方式，在对运动图像的帧进行时间上切换的水印图案的嵌入时，重叠小于运动图像数据的帧大小的水印图案。另外，在检测时生成捕捉而得到的帧图像之间的差分图像，通过从差分图像中提取出差分较大的区域、即成为电子水印检测对象的区域，从而可不依赖于拍摄角度和背景图像来实现稳定的电子水印检测。
再有，通过从按照每个捕捉帧提取特征区域，校正特征区域的失真、进行大小归一化来得到的特征区域图像间的差分图像中提取出检测对象区域，从而即使在拍摄中相机移动也能稳定地提取检测对象区域。
另外，在检测对象区域和特征区域的搜索时，通过只搜索以前电子水印检测状况为良好时的位置的附近，从而可以进行更稳定的区域提取。
还有，通过相加蓄积差分图像，从所相加蓄积的差分图像中提取出检测对象区域，从而可以进行更稳定的区域提取和提高电子水印检测性能。
进而，在嵌入时将表示不同信息的多个水印图案与图像中的对象等关联起来进行配置来重叠，在检测时从差分图像中提取出多个检测对象区域，可以同时检测多个电子水印信息，或是提取出按照每个对象而不同的信息。
再次，当拍摄时的帧图像中的检测对象区域的像素大小较小时，可以自动移近来取得更大的像素大小的检测对象区域。由于一般像素样本较少时难以进行电子水印检测，所以通过进行移近来增大检测对象区域的像素样本数，从而可以提高电子水印的检测性能。
如上所述，根据本发明的实施方式，通过用各种技术来提高电子水印的检测性能，从而可以用相机拍摄电视等的运动图像，根据拍摄到的运动图像来实时地进行电子水印检测处理。
还有，确定从捕捉到的帧图像中的哪个部分进行电子水印检测较好，即使在各种拍摄角度和背景图像的条件下，都能可靠地进行电子水印检测，还能提高电子水印的检测性能。由此，可以用相机拍摄电视等的运动图像，可靠地根据拍摄到的运动图像实时地进行电子水印检测处理。
通过本发明的实施方式，例如用带相机的移动电话拍摄电视所播放中的影像，取得播放节目相关信息或者使用水印检测来选择问答节目和观众调查的选项，通过通信将该结果发送给电台，从而可实现实时向节目内容反馈的对话性电视播放，或者在以往需要条形码等的扩展现实感系统中，通过使用无法看到的电子水印来无需条形码地消除该不自然的感受，或者在电视游戏等中用水印检测确定操作对象的对象等，从而用于游戏操作，或者在街头的室外大屏幕等中实施与上述同样的应用，或是在PC(个人计算机)等的显示画面上嵌入水印，用带相机的移动电话拍摄该水印，从PC向移动电话发送信息进行设备连接，或复制静止图像使其为任意的n张(n为2以上的整数)，将其看作为n帧的运动图像来应用本发明，用运动图像GIF等的方法来进行编码，将其显示在浏览器画面上等，从而也可以对显示画面上的静止图像进行水印嵌入/检测，或者在PC上分析HTML等的超文本(hyper text)而显示于浏览器等上时，在贴有超链接的对象的显示区域上应用本发明来嵌入超链接信息，用带相机的移动电话拍摄PC的显示画面来用移动电话进行浏览，或者使用移动电话的显示画面进行上述应用来实现移动电话间连接和移动电话→PC连接等，其具有极为广泛的应用领域。进而，当然也能应用于以往以来作为电子水印技术的应用目的的著作权管理、著作权保护等，这是不言自明的。
本国际申请主张基于2005年8月4日申请的日本专利申请2005-226755号、2005年8月4日申请的日本专利申请2005-226756号和2005年9月22日申请的日本专利申请2005-275965号的优先权，在本国际申请中引用了2005-226755号、2005-226756号和2005-275965号的所有内容。

Claims (22)

1.一种电子水印检测方法，该电子水印检测方法用于从运动图像中检测出电子水印的电子水印检测装置，该电子水印检测方法的特征在于，该电子水印检测方法具有：
在运动图像输入单元中依次取得帧图像的帧图像取得步骤；
特征区域提取步骤，在特征区域提取单元中，提取出帧图像中的特征区域来取得特征区域图像；
差分图像生成步骤，在差分图像生成单元中，生成此次取得的特征区域图像和从特征区域图像缓存中读取出的以前取得的特征区域图像之间的差分图像来取得差分图像(A)，并且将该此次取得的特征区域图像存储在该特征区域图像缓存中；
相位差分计量步骤，在相位差分计量单元中，根据此次取得的差分图像(A)来生成相位图案，对此次取得的相位图案和从相位图案缓存中读取出的以前取得的相位图案之间的相位差进行计量，根据相位差和振幅来生成差分图像(B)，并且将该此次取得的差分图像(A)存储在该相位图案缓存中；
检测对象区域提取步骤，在检测对象区域提取单元中，针对上述差分图像(B)按照各像素进行像素值的相加蓄积，从由相加蓄积而得到的差分图像(B)蓄积缓存中提取出检测对象区域，取得检测对象区域图像；
电子水印检测步骤，在电子水印检测单元中，从上述检测对象区域图像中检测出电子水印，输出电子水印的检测状况；以及
执行如下处理的步骤：在包含无法检测电子水印的情况在内的要继续执行电子水印检测处理的情况下，用上述运动图像输入单元重新取得新的帧图像，重复进行上述的各步骤。
2.根据权利要求1所述的电子水印检测方法，其中，上述检测对象区域提取步骤具有执行如下处理的步骤：在从由相加蓄积而得到的上述差分图像(B)蓄积缓存中提取检测对象区域时，可以从对上述差分图像(B)蓄积缓存的像素值取绝对值而得到的值中提取检测对象区域，将取绝对值之前的差分图像(B)蓄积缓存的检测对象区域的图像作为检测对象区域图像。
3.根据权利要求1或2所述的电子水印检测方法，其中，在上述检测对象区域提取步骤中提取出多个检测对象区域，
在上述电子水印检测步骤中，对上述多个检测对象区域分别进行电子水印检测尝试，输出检测结果。
4.根据权利要求1所述的电子水印检测方法，其中，上述电子水印检测步骤具有在检测水印信息时使用已有的2维码的解码处理来检测水印信息的步骤。
5.根据权利要求1所述的电子水印检测方法，其中，该电子水印检测方法具有执行如下处理的步骤：针对由差分处理生成的上述差分图像进一步进行滤波处理，输出经过滤波处理后的差分图像。
6.根据权利要求5所述的电子水印检测方法，其中，使用非线性滤波器来进行上述滤波处理。
7.根据权利要求1所述的电子水印检测方法，其中，作为输入的运动图像是由相机进行拍摄而捕捉到的影像信号。
8.根据权利要求1所述的电子水印检测方法，其中，该电子水印检测方法具有执行如下处理的步骤：通过外部输出单元以视频或者音频的方式进行对应于检测对象区域提取状况、电子水印检测状况、数据块检测状况之中的某一个或者多个处理状况的反馈输出。
9.根据权利要求1所述的电子水印检测方法，其中，在上述检测对象区域提取步骤中，还生成表示检测对象区域的大小和位置的检测对象区域信息，上述电子水印检测方法具有缩放处理步骤，在该缩放处理步骤中，根据上述检测对象区域信息，来设定缩放参数，以使检测对象区域的像素大小成为给定的像素大小，将该缩放参数提供给上述运动图像输入单元来进行缩放处理。
10.根据权利要求9所述的电子水印检测方法，其中，上述缩放处理步骤具有执行如下处理的步骤：在上述电子水印检测步骤中的检测状况为良好时，根据上述检测对象区域信息，来设定缩放参数，以使检测对象区域的像素大小成为给定的像素大小，并将该缩放参数提供给上述运动图像输入单元来进行缩放处理。
11.根据权利要求1所述的电子水印检测方法，其中，作为输入的运动图像是通过由相机实时地进行拍摄而捕捉到显示在显示器上的状态来得到的图像，
该电子水印检测方法具有执行如下处理的步骤：根据电子水印检测所得到的水印信息，取得所显示的运动图像的相关信息。
12.一种电子水印检测装置，该电子水印检测装置用于从运动图像中检测出电子水印，该电子水印检测装置的特征在于，该电子水印检测装置具有：
依次取得帧图像的运动图像输入单元；
提取出帧图像中的特征区域来取得特征区域图像的特征区域提取单元；
差分图像生成单元，其生成此次取得的特征区域图像和从特征区域图像缓存中读取出的以前取得的特征区域图像之间的差分图像来取得差分图像(A)，并且将该此次取得的特征区域图像存储在该特征区域图像缓存中；
相位差分计量单元，其根据此次取得的差分图像(A)来生成相位图案，对此次取得的相位图案和从相位图案缓存中读取出的以前取得的相位图案之间的相位差进行计量，根据相位差和振幅来生成差分图像(B)，并且将该此次取得的差分图像(A)存储在该相位图案缓存中；
检测对象区域提取单元，其针对上述差分图像(B)按照各像素进行像素值的相加蓄积，从由相加蓄积而得到的差分图像(B)蓄积缓存中提取出检测对象区域，取得检测对象区域图像；
电子水印检测单元，其从上述检测对象区域图像中检测出电子水印，输出电子水印的检测状况；以及
执行如下处理的单元：在包含无法检测电子水印的情况在内的要继续执行电子水印检测处理的情况下，通过上述运动图像输入单元来重新取得新的帧图像，重复进行上述的各单元的处理。
13.根据权利要求12所述的电子水印检测装置，其中，上述检测对象区域提取单元执行如下的处理：在从由相加蓄积而得到的上述差分图像(B)蓄积缓存中提取出检测对象区域时，可以从对上述差分图像(B)蓄积缓存的像素值取绝对值而得到的值中提取出检测对象区域，将取绝对值之前的差分图像(B)蓄积缓存的检测对象区域的图像作为检测对象区域图像。
14.根据权利要求12或13所述的电子水印检测装置，其中，上述检测对象区域提取单元提取出多个检测对象区域，
上述电子水印检测单元对上述多个检测对象区域分别进行电子水印检测尝试，输出检测结果。
15.根据权利要求12所述的电子水印检测装置，其中，上述电子水印检测单元在检测水印信息时使用已有的2维码的解码处理来检测水印信息。
16.根据权利要求12所述的电子水印检测装置，其中，该电子水印检测装置针对由差分处理生成的上述差分图像进一步进行滤波处理，输出经过滤波处理后的差分图像。
17.根据权利要求16所述的电子水印检测装置，其中，使用非线性滤波器来进行上述滤波处理。
18.根据权利要求12所述的电子水印检测装置，其中，作为输入的运动图像是由相机进行拍摄而捕捉到的影像信号。
19.根据权利要求12所述的电子水印检测装置，其中，该电子水印检测装置具有输出单元，在该输出单元中，以视频或者音频的方式输出对应于检测对象区域提取状况、电子水印检测状况、数据块检测状况之中的某一个或者多个处理状况的反馈信息。
20.根据权利要求12所述的电子水印检测装置，其中，上述检测对象区域提取单元还生成表示检测对象区域的大小和位置的检测对象区域信息，上述电子水印检测装置具有缩放处理单元，在该缩放处理单元中，根据上述检测对象区域信息，来设定缩放参数，以使检测对象区域的像素大小成为给定的像素大小，将该缩放参数提供给上述运动图像输入单元来进行缩放处理。
21.根据权利要求20所述的电子水印检测装置，其中，上述缩放处理单元在上述电子水印检测单元的检测状况为良好时，根据上述检测对象区域信息，设定缩放参数，以使检测对象区域的像素大小成为给定的像素大小，并将该缩放参数提供给上述运动图像输入单元来进行缩放处理。
22.根据权利要求12所述的电子水印检测装置，其中，作为输入的运动图像是通过由相机实时地进行拍摄而捕捉到显示在显示器上的状态来得到的图像，
该电子水印检测装置具有根据电子水印检测所得到的水印信息，取得所显示的运动图像的相关信息的单元。
CN2009101510528A 2005-08-04 2006-07-31 电子水印检测方法和电子水印检测装置 Active CN101609546B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2005226755 2005-08-04
JP2005226756 2005-08-04
JP2005-226756 2005-08-04
JP2005226756 2005-08-04
JP2005-226755 2005-08-04
JP2005226755 2005-08-04
JP2005275965 2005-09-22
JP2005-275965 2005-09-22
JP2005275965 2005-09-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2006800011353A Division CN101053256B (zh) 2005-08-04 2006-07-31 电子水印嵌入方法及装置

Publications (2)

Publication Number Publication Date
CN101609546A true CN101609546A (zh) 2009-12-23
CN101609546B CN101609546B (zh) 2012-05-23

Family

ID=37708732

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2009101510528A Active CN101609546B (zh) 2005-08-04 2006-07-31 电子水印检测方法和电子水印检测装置
CN2010101589392A Active CN101866475B (zh) 2005-08-04 2006-07-31 电子水印检测方法及装置
CN2006800011353A Active CN101053256B (zh) 2005-08-04 2006-07-31 电子水印嵌入方法及装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN2010101589392A Active CN101866475B (zh) 2005-08-04 2006-07-31 电子水印检测方法及装置
CN2006800011353A Active CN101053256B (zh) 2005-08-04 2006-07-31 电子水印嵌入方法及装置

Country Status (7)

Country Link
US (2) US7970164B2 (zh)
EP (1) EP1928180A1 (zh)
JP (3) JP4809840B2 (zh)
KR (2) KR100876006B1 (zh)
CN (3) CN101609546B (zh)
TW (2) TWI480842B (zh)
WO (1) WO2007015452A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104661087A (zh) * 2013-11-20 2015-05-27 北京思博途信息技术有限公司 一种生成电视广告监播信息的方法及装置
US11810496B1 (en) 2022-07-27 2023-11-07 AUO Corporation Display apparatus and image displaying method

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US9055239B2 (en) 2003-10-08 2015-06-09 Verance Corporation Signal continuity assessment using embedded watermarks
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
AU2005209707B2 (en) * 2005-09-13 2008-08-14 Canon Kabushiki Kaisha Adaptive mark placement
US8208683B2 (en) 2006-03-07 2012-06-26 Nippon Telegraph And Telephone Corporation Digital watermark embedding method, apparatus and storage medium for reducing image quality deterioration and increasing detection reliability
GB0708813D0 (en) * 2007-05-08 2007-06-13 Wesby Philip B System and method for data acquisition and processing
WO2008146353A1 (ja) * 2007-05-28 2008-12-04 Mitsubishi Electric Corporation 電子透かし埋め込み装置および方法、及び、電子透かし検出装置および方法
US8300080B2 (en) * 2007-06-29 2012-10-30 Microsoft Corporation Techniques for detecting a display device
GB2451437B (en) * 2007-07-27 2012-11-14 Hewlett Packard Development Co Content encoder and decoder and methods of encoding and decoding content
JPWO2009025019A1 (ja) * 2007-08-17 2010-11-18 Ｓｂｉネットシステムズ株式会社 電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置、プログラムおよびコンピューター読み取り可能な記録媒体
US8648911B2 (en) * 2008-03-10 2014-02-11 Nec Corporation Communication system, control device, and reception device
JP5541153B2 (ja) * 2008-03-10 2014-07-09 日本電気株式会社 通信システム、送信装置及び受信装置
JP2009245349A (ja) * 2008-03-31 2009-10-22 Namco Bandai Games Inc 位置検出システム、プログラム、情報記憶媒体及び画像生成装置
CN101561921B (zh) * 2008-04-14 2012-09-26 哈尔滨理工大学 抗差分检测的高位空域隐藏方法
US20090294538A1 (en) * 2008-05-28 2009-12-03 Sony Ericsson Mobile Communications Ab Embedded tags in a media signal
US20090300101A1 (en) * 2008-05-30 2009-12-03 Carl Johan Freer Augmented reality platform and method using letters, numbers, and/or math symbols recognition
US20100009713A1 (en) * 2008-07-14 2010-01-14 Carl Johan Freer Logo recognition for mobile augmented reality environment
US8049930B2 (en) * 2008-09-15 2011-11-01 National Taiwan University Of Science And Technology Method of halftone watermarking for hiding multi-tone watermark or two-tone watermark
US8731301B1 (en) * 2008-09-25 2014-05-20 Sprint Communications Company L.P. Display adaptation based on captured image feedback
DE102008043953A1 (de) * 2008-11-21 2010-05-27 Robert Bosch Gmbh Vorrichtung zur Erzeugung und/oder Verarbeitung einer Objektsignatur, Überwachungsvorrichtung, Verfahren und Computerprogramm
WO2010062290A1 (en) * 2008-11-26 2010-06-03 Verimatrix, Inc. Multiphase watermark patterns
JP5089571B2 (ja) * 2008-12-26 2012-12-05 株式会社Ｐｆｕ 画像読取装置
EP2333718B1 (en) * 2009-01-29 2013-08-28 Nec Corporation Feature amount selecting device
US8817330B2 (en) * 2009-04-14 2014-08-26 Troy Group, Inc. Method for adjusting quality of a pantograph background pattern
US10008212B2 (en) * 2009-04-17 2018-06-26 The Nielsen Company (Us), Llc System and method for utilizing audio encoding for measuring media exposure with environmental masking
KR101240467B1 (ko) * 2009-06-30 2013-03-11 한국전자통신연구원 동영상 저작권 보호 장치, 동영상 저작권 보호 방법 및 기록매체
JP2011015210A (ja) * 2009-07-02 2011-01-20 Mitsubishi Electric Corp 電子透かし埋込装置、検出装置及びそれらの方法
JP5540770B2 (ja) * 2009-07-30 2014-07-02 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
US9277183B2 (en) * 2009-10-13 2016-03-01 Sony Corporation System and method for distributing auxiliary data embedded in video data
JP5021061B2 (ja) 2009-12-08 2012-09-05 株式会社 資生堂 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラム
KR101104649B1 (ko) * 2010-03-09 2012-01-13 한국과학기술원 접근 불가능 콘텐츠를 위한 오버레이채널을 이용한 동영상 워터마킹 시스템 및 그 방법
KR20110121866A (ko) * 2010-05-03 2011-11-09 삼성전자주식회사 휴대용 장치 및 그의 측정 데이터 처리 방법
WO2012001623A1 (en) * 2010-06-30 2012-01-05 Koninklijke Philips Electronics N.V. Interactive image analysis
US8358347B2 (en) * 2010-08-17 2013-01-22 Hewlett-Packard Development Company, L.P. Frame rate measurement
WO2012026039A1 (ja) * 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
WO2012034280A1 (en) * 2010-09-16 2012-03-22 Hewlett-Packard Development Company, L.P. Digital watermarking
US8718322B2 (en) * 2010-09-28 2014-05-06 Qualcomm Innovation Center, Inc. Image recognition based upon a broadcast signature
KR101424049B1 (ko) * 2010-11-29 2014-07-29 주식회사 씨케이앤비 워터마크 생성 방법, 이를 포함하는 방송 콘텐츠 생성 방법 및 워터마크 삽입 시스템
CN102169534A (zh) * 2011-02-21 2011-08-31 北京书生国际信息技术有限公司 一种显示水印的方法和装置
JP5729464B2 (ja) * 2011-03-22 2015-06-03 富士通株式会社 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置
MX337186B (es) 2011-04-19 2016-02-16 Nagravision Sa Dispositivo decodificador de ethernet y metodo para acceder a contenido protegido.
JP2012244601A (ja) * 2011-05-24 2012-12-10 Sharp Corp 情報取得装置、情報出力装置、情報通信システム、情報取得方法、情報出力方法、制御プログラムおよび記録媒体
CN104689428B (zh) * 2011-07-15 2018-04-10 赛诺菲-安万特德国有限公司 药物输送装置
CN103648552B (zh) 2011-07-15 2016-08-31 赛诺菲-安万特德国有限公司 带机电式驱动机构的药物递送装置
JP5751071B2 (ja) * 2011-07-28 2015-07-22 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法、及びプログラム
EP2565667A1 (en) * 2011-08-31 2013-03-06 Friedrich-Alexander-Universität Erlangen-Nürnberg Direction of arrival estimation using watermarked audio signals and microphone arrays
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
CN103946871A (zh) * 2011-12-02 2014-07-23 索尼公司 图像处理装置、图像识别装置、图像识别方法以及程序
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
EP2798844A4 (en) * 2011-12-28 2015-09-23 Intel Corp METHOD AND APPARATUS FOR PERFORMING OBJECTIVE EVALUATION OF VIDEO QUALITY USING NON-INTRUSIVE TRACKING OF VIDEO IMAGES
KR20130112313A (ko) * 2012-04-03 2013-10-14 삼성전자주식회사 영상에 관련된 정보를 영상에 임베딩하기 위한 방법 및 장치
US9516223B2 (en) 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US10013623B2 (en) * 2012-06-29 2018-07-03 Blackberry Limited System and method for determining the position of an object displaying media content
US8750630B2 (en) 2012-07-13 2014-06-10 International Business Machines Corporation Hierarchical and index based watermarks represented as trees
EP2690593A1 (en) 2012-07-24 2014-01-29 Nagravision S.A. Method for marking and transmitting a content and method for detecting an identifyier of said content
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
JP6107037B2 (ja) * 2012-10-01 2017-04-05 富士通株式会社 画像処理装置、方法、及びプログラム
JP5952720B2 (ja) * 2012-11-21 2016-07-13 日本電信電話株式会社 情報提示装置、情報入力装置、識別情報埋め込み方法、及びプログラム
US8813154B1 (en) * 2012-12-07 2014-08-19 American Megatrends, Inc. Injecting a code into video data without or with limited human perception by flashing the code
US20140267907A1 (en) * 2013-03-13 2014-09-18 Verance Corporation Multimedia presentation tracking in networked environment
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
KR101788100B1 (ko) * 2013-03-29 2017-10-19 도레이 카부시키가이샤 도전 페이스트 및 도전 패턴의 제조 방법
FR3004051A1 (fr) 2013-03-29 2014-10-03 France Telecom Procede et dispositif de tatouage d'une sequence d'images, procede et dispositif d'authentification d'une sequence d'images tatouees et programme d'ordinateur correspondant.
CN103237271B (zh) * 2013-04-02 2016-04-06 北京中视广信科技有限公司 大容量视频数字水印的嵌入和检测方法及其系统
KR101932538B1 (ko) * 2013-04-10 2018-12-27 한화테크윈 주식회사 워터마크 처리 장치 및 방법, 그리고 영상 촬영 장치
TWI501094B (zh) * 2013-04-26 2015-09-21 Newtype Software Systems Co Ltd 產生浮水印文件的方法、電腦程式產品及電子裝置
US9542585B2 (en) * 2013-06-06 2017-01-10 Apple Inc. Efficient machine-readable object detection and tracking
JP6221394B2 (ja) * 2013-06-19 2017-11-01 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9485089B2 (en) 2013-06-20 2016-11-01 Verance Corporation Stego key management
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9646358B2 (en) 2013-09-20 2017-05-09 Infosys Limited Methods for scene based video watermarking and devices thereof
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
TWI512671B (zh) * 2013-11-22 2015-12-11 Univ Yuan Ze 可視資訊隱藏方法
JP6152787B2 (ja) 2013-11-29 2017-06-28 富士通株式会社 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
CN103731759B (zh) * 2013-12-09 2017-03-22 乐视网信息技术（北京）股份有限公司 一种水印添加方法及装置
CN103778592B (zh) * 2014-01-14 2016-07-06 鲁东大学 一种基于进制余码的双彩色图像盲水印方法
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
EP3117626A4 (en) 2014-03-13 2017-10-25 Verance Corporation Interactive content acquisition using embedded codes
JP6101656B2 (ja) * 2014-03-28 2017-03-22 日本電信電話株式会社 マーカ埋め込み装置、マーカ検出装置、及びプログラム
US9760818B2 (en) 2014-04-29 2017-09-12 Hewlett-Packard Development Company, L.P. Machine-readable watermarks and barcodes in images
CN104144297A (zh) * 2014-08-19 2014-11-12 诚迈科技（南京）股份有限公司 一种自动给拍摄的照片添加水印的系统及方法
WO2016028936A1 (en) 2014-08-20 2016-02-25 Verance Corporation Watermark detection using a multiplicity of predicted patterns
JP6433014B2 (ja) * 2014-09-02 2018-12-05 国立大学法人 奈良先端科学技術大学院大学 情報取得装置及び情報伝達システム
JP5726359B1 (ja) * 2014-09-05 2015-05-27 株式会社電通 テレビ番組関連コンテンツ提供システム、および提供方法
US9769543B2 (en) 2014-11-25 2017-09-19 Verance Corporation Enhanced metadata and content delivery using watermarks
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
WO2016100916A1 (en) 2014-12-18 2016-06-23 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
JP6443982B2 (ja) * 2015-02-26 2018-12-26 国立大学法人 鹿児島大学 撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法
WO2016176056A1 (en) 2015-04-30 2016-11-03 Verance Corporation Watermark based content recognition improvements
WO2017015399A1 (en) 2015-07-20 2017-01-26 Verance Corporation Watermark-based data recovery for content with multiple alternative components
CN105141409B (zh) * 2015-08-12 2018-05-04 深圳市联软科技股份有限公司 一种屏幕数字水印的实现方法、终端及服务器
KR102094510B1 (ko) 2015-08-25 2020-03-27 삼성전자주식회사 워터마크 데이터 삽입 방법, 장치 및 시스템
TWI621081B (zh) 2015-09-18 2018-04-11 財團法人工業技術研究院 產生與解碼具有驗證資料的影像串流的方法與裝置
WO2017052392A1 (en) * 2015-09-25 2017-03-30 Intel Corporation Facilitating efficient detection of patterns in graphics display streams prior to their display at computing devices
WO2017119620A1 (ko) * 2016-01-08 2017-07-13 서울과학기술대학교 산학협력단 디스플레이에 은닉된 부가데이터 전송용 가시광 통신 방법
KR101718279B1 (ko) * 2016-01-08 2017-03-21 서울과학기술대학교 산학협력단 디스플레이에 은닉된 부가데이터 전송용 가시광 통신
WO2017159844A1 (en) 2016-03-17 2017-09-21 Sharp Kabushiki Kaisha Emergency messages in watermarks
WO2017184648A1 (en) 2016-04-18 2017-10-26 Verance Corporation System and method for signaling security and database population
US10027850B2 (en) 2016-04-19 2018-07-17 Blackberry Limited Securing image data detected by an electronic device
US10019639B2 (en) 2016-04-19 2018-07-10 Blackberry Limited Determining a boundary associated with image data
US10136194B2 (en) * 2016-07-06 2018-11-20 Cisco Technology, Inc. Streaming piracy detection method and system
CN106327156A (zh) * 2016-08-23 2017-01-11 苏州华兴源创电子科技有限公司 一种车辆定损方法、客户端和系统
CN106385539A (zh) * 2016-09-22 2017-02-08 深圳市思创奇科技有限公司 一种照片处理方法及系统
JP6784122B2 (ja) * 2016-09-29 2020-11-11 富士通株式会社 電子透かし埋込プログラム、電子透かし埋込装置、及び電子透かし埋込方法
CN106485645A (zh) * 2016-10-31 2017-03-08 珠海赛纳打印科技股份有限公司 一种水印调整的方法及装置
JP6740868B2 (ja) * 2016-11-11 2020-08-19 株式会社デンソー 撮像装置、及び画像処理システム
TWI640195B (zh) * 2016-12-14 2018-11-01 日商夏普股份有限公司 具有統一資源識別符訊息浮水印有效負載之廣播系統
US10698988B2 (en) * 2017-03-30 2020-06-30 Cisco Technology, Inc. Difference attack protection
JP6909055B2 (ja) * 2017-05-31 2021-07-28 キヤノン株式会社 情報処理装置、制御方法及びプログラム
WO2018237191A1 (en) 2017-06-21 2018-12-27 Verance Corporation ACQUISITION AND TREATMENT OF METADATA BASED ON A WATERMARK
JP6907047B2 (ja) * 2017-06-28 2021-07-21 キヤノン株式会社 情報処理装置、その制御方法およびプログラム
JP7182858B2 (ja) * 2017-06-28 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11176396B2 (en) 2017-06-29 2021-11-16 Hewlett-Packard Development Company, L.P. Detection of whether mobile computing device is pointing to visual code
US10701421B1 (en) * 2017-07-19 2020-06-30 Vivint, Inc. Embedding multiple videos into a video stream
US11032625B2 (en) * 2018-02-03 2021-06-08 Irdeto B.V. Method and apparatus for feedback-based piracy detection
CN108537945B (zh) * 2018-03-09 2020-09-15 深圳怡化电脑股份有限公司 票据水印检测方法、系统及自助设备
US10678929B2 (en) * 2018-03-09 2020-06-09 Citrix Systems, Inc. Systems and methods for embedding data in remote session displays
US11468149B2 (en) 2018-04-17 2022-10-11 Verance Corporation Device authentication in collaborative content screening
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US11025900B2 (en) * 2018-07-18 2021-06-01 Universal City Studios Llc System and method for identifying b-roll conditions in live streams or live rendered content
CN108989816B (zh) * 2018-09-03 2021-05-14 广州海格通信集团股份有限公司 一种基于小波变换的编码信道信息隐藏方法
JP7227453B2 (ja) 2018-10-19 2023-02-22 日本電信電話株式会社 映像配信方法、配信方法、再生方法、配信装置、再生装置、及びプログラム
JP7180299B2 (ja) * 2018-11-13 2022-11-30 富士通株式会社 赤外線検出器の制御回路、撮像素子及び赤外線検出器の制御方法
CN110111232A (zh) * 2019-05-07 2019-08-09 绍兴聚量数据技术有限公司 一种基于核心张量的灰度视频水印算法
CN112151048B (zh) * 2019-06-11 2024-04-02 李庆成 音视图数据生成以及处理的方法
US11659123B2 (en) * 2019-06-28 2023-05-23 Rakuten Group, Inc. Information processing device, information processing system, information processing method and program for extracting information of a captured target image based on a format of the captured image
CN110611784B (zh) * 2019-10-17 2021-07-23 江苏省水利科学研究院 一种可防篡改的多摄像头记录仪的拍摄存储方法
US11176746B2 (en) * 2019-11-08 2021-11-16 Msg Entertainment Group, Llc Modulated display AR tracking systems and methods
US11734784B2 (en) * 2019-11-14 2023-08-22 Sony Interactive Entertainment Inc. Metadata watermarking for ‘nested spectating’
CN111340677B (zh) * 2020-02-27 2023-10-27 北京百度网讯科技有限公司 视频水印检测方法、装置、电子设备、计算机可读介质
US11474799B2 (en) * 2020-07-31 2022-10-18 Snowflake Inc. Providing code translation related to resilient distributed datasets in database systems
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes
US20230186421A1 (en) * 2021-12-09 2023-06-15 Huawei Technologies Co., Ltd. Devices, methods, and computer readable media for screen-capture communication

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
EP0941605B1 (en) * 1997-09-02 2004-12-15 Koninklijke Philips Electronics N.V. Method and arrangement for detecting a watermark
US6404926B1 (en) * 1997-09-02 2002-06-11 Sony Corporation Apparatus and method of processing image data, transmission medium, and recording medium
JP4064506B2 (ja) * 1997-09-17 2008-03-19 パイオニア株式会社 電子透かし重畳方法及び検出方法並びに装置
JPH11164235A (ja) 1997-11-26 1999-06-18 Sony Corp 付加情報の重畳伝送方法、付加情報の重畳伝送装置
JP3490332B2 (ja) * 1998-03-24 2004-01-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 動画像電子透かしシステム
KR100302436B1 (ko) 1998-03-24 2001-09-26 포만 제프리 엘 동화상 전자 워터마크 시스템
JP3642956B2 (ja) 1998-06-22 2005-04-27 ソニー株式会社 画像データ処理装置及び方法、並びに記録装置及び方法
JP4026933B2 (ja) * 1998-06-24 2007-12-26 キヤノン株式会社 情報処理装置及び方法並びに記録媒体
JP2000035002A (ja) 1998-07-22 2000-02-02 Toyota Autom Loom Works Ltd 作動油タンク
JP2000175161A (ja) 1998-12-01 2000-06-23 Kdd Corp 動画像に対する透かしデータ埋め込み装置および検出装置
JP3678084B2 (ja) 1998-12-02 2005-08-03 株式会社日立製作所 電子透かし情報の抽出方法および電子透かし情報のビット値判定方法
JP3636915B2 (ja) * 1999-02-22 2005-04-06 ソニー株式会社 付加情報重畳方法、付加情報検出方法、付加情報重畳装置および付加情報検出装置
JP2000244725A (ja) * 1999-02-22 2000-09-08 Sony Corp 付加情報重畳方法、付加情報検出方法、付加情報重畳装置および付加情報検出装置
GB2349536B (en) 1999-03-23 2003-03-12 Ibm Motion picture electronic watermark system
JP3722646B2 (ja) * 1999-06-01 2005-11-30 松下電器産業株式会社 データに透かし情報を埋め込む方法およびプログラム記録媒体
JP3656728B2 (ja) 2000-03-10 2005-06-08 株式会社日立製作所 電子透かしを用いた情報埋め込み方法および抽出方法
TW538636B (en) 2000-09-01 2003-06-21 Matsushita Electric Ind Co Ltd Reproduction equipment, reproduction equipment specifying equipment, reproduction equipment specifying system and methods and recording media for said equipment and system
US6563936B2 (en) * 2000-09-07 2003-05-13 Sarnoff Corporation Spatio-temporal channel for images employing a watermark and its complement
JP2002112210A (ja) * 2000-09-28 2002-04-12 Sony Corp 付加情報埋め込み装置及び方法、並びに記憶媒体
US7058201B2 (en) * 2001-03-28 2006-06-06 Lg Electronics Inc. Method of embedding watermark into digital image
JP3736379B2 (ja) 2001-04-19 2006-01-18 ソニー株式会社 電子透かし埋め込み処理装置、電子透かし検出処理装置、および電子透かし埋め込み処理方法、電子透かし検出処理方法、並びにプログラム記憶媒体、およびプログラム
JP3576993B2 (ja) * 2001-04-24 2004-10-13 株式会社東芝 電子透かし埋め込み方法及び装置
CN1305312C (zh) * 2001-06-21 2007-03-14 皇家菲利浦电子有限公司 在运动图像信号中嵌入和检测水印的方法和设备
US7203335B2 (en) * 2001-08-07 2007-04-10 Gabriel Fielding System and method for extracting a watermark signal in a digital image sequence
US7114071B1 (en) * 2001-09-13 2006-09-26 Dts Canada, Ulc Method and apparatus for embedding digital watermarking into compressed multimedia signals
JP2003174631A (ja) 2001-12-05 2003-06-20 Nippon Hoso Kyokai <Nhk> 電子透かし埋込方法、電子透かし検出方法および電子透かし埋込装置、電子透かし検出装置ならびに電子透かし埋込プログラム、電子透かし検出プログラム
JP4370752B2 (ja) 2002-03-05 2009-11-25 沖電気工業株式会社 電子透かし検出装置
JP2003304389A (ja) 2002-04-11 2003-10-24 Sony Corp 付加情報重畳処理装置、付加情報検出処理装置、および方法、並びにコンピュータ・プログラム
JP4541632B2 (ja) * 2002-05-13 2010-09-08 パナソニック株式会社 電子透かし埋め込み装置、その方法及び記録媒体
JP4268377B2 (ja) 2002-06-10 2009-05-27 日本放送協会 電子透かし埋込装置、その検出装置および電子透かし埋込プログラム
JP4127636B2 (ja) * 2002-08-30 2008-07-30 株式会社東芝 電子透かし埋め込み装置及び方法
KR100948381B1 (ko) * 2003-05-15 2010-03-22 삼성전자주식회사 인간시각시스템을 이용한 영상 워터마킹 방법
JP4258283B2 (ja) 2003-06-18 2009-04-30 三菱電機株式会社 電子透かし埋め込み方法および電子透かし検出方法
JP2005142836A (ja) * 2003-11-06 2005-06-02 Hitachi Ltd 電子透かし埋め込みプログラム及び情報処理装置
TWI228376B (en) * 2003-12-23 2005-02-21 Ind Tech Res Inst Watermark encoding method and recording medium thereof
JP4534530B2 (ja) 2004-03-08 2010-09-01 三菱電機株式会社 電子透かし検出方法および電子透かし検出装置
US8208683B2 (en) 2006-03-07 2012-06-26 Nippon Telegraph And Telephone Corporation Digital watermark embedding method, apparatus and storage medium for reducing image quality deterioration and increasing detection reliability

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104661087A (zh) * 2013-11-20 2015-05-27 北京思博途信息技术有限公司 一种生成电视广告监播信息的方法及装置
US11810496B1 (en) 2022-07-27 2023-11-07 AUO Corporation Display apparatus and image displaying method

Also Published As

Publication number Publication date
TWI480842B (zh) 2015-04-11
KR20070073839A (ko) 2007-07-10
KR20080087047A (ko) 2008-09-29
JP2011078141A (ja) 2011-04-14
TW201203188A (en) 2012-01-16
JP5425115B2 (ja) 2014-02-26
KR100901142B1 (ko) 2009-06-04
US7970164B2 (en) 2011-06-28
EP1928180A1 (en) 2008-06-04
US8126202B2 (en) 2012-02-28
CN101866475B (zh) 2012-11-21
CN101866475A (zh) 2010-10-20
JP4809840B2 (ja) 2011-11-09
CN101053256B (zh) 2010-09-01
TW200733001A (en) 2007-09-01
KR100876006B1 (ko) 2008-12-26
CN101053256A (zh) 2007-10-10
WO2007015452A1 (ja) 2007-02-08
US20110228972A1 (en) 2011-09-22
JPWO2007015452A1 (ja) 2009-02-19
US20080089552A1 (en) 2008-04-17
TWI351000B (zh) 2011-10-21
CN101609546B (zh) 2012-05-23
JP5550760B2 (ja) 2014-07-16
JP2013179640A (ja) 2013-09-09

Similar Documents

Publication Publication Date Title
CN101053256B (zh) 电子水印嵌入方法及装置
US10282470B2 (en) Distributed computing for portable computing devices
Yuan et al. Dynamic and invisible messaging for visual MIMO
US20180131976A1 (en) Serializable visually unobtrusive scannable video codes
Shi et al. Reading between lines: High-rate, non-intrusive visual codes within regular videos via implicitcode
US9189827B2 (en) Video codes for encoding/decoding streaming data
CN103517046A (zh) 用于捕获视频内容的方法、装置和计算机程序产品
US9626934B2 (en) Display format using display device for machine-readable dot patterns
CN103455966B (zh) 数字水印嵌入设备、数字水印嵌入方法和数字水印检测设备
CN103324873A (zh) 版权管理水印发布系统以及水印嵌入方法
CN111898448A (zh) 一种基于深度学习的行人属性识别方法和系统
CN201994039U (zh) 补偿led显示屏图像失真的系统
CN118413723A (zh) 基于hdr的可见光通信方法及装置
Jia et al. Hidden Barcode in Sub-Images with Invisible Locating Marker
MXPA01007925A (es) Metodo para el procesamiento de video digital y aparato para el mismo.
Liu Print-to-Web Linking Technology Using a Mobile Phone Camera and its Applications in Japan

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant