JP2011078141A - 電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム - Google Patents

電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム Download PDF

Info

Publication number
JP2011078141A
JP2011078141A JP2011007320A JP2011007320A JP2011078141A JP 2011078141 A JP2011078141 A JP 2011078141A JP 2011007320 A JP2011007320 A JP 2011007320A JP 2011007320 A JP2011007320 A JP 2011007320A JP 2011078141 A JP2011078141 A JP 2011078141A
Authority
JP
Japan
Prior art keywords
watermark
detection
image
pattern
digital watermark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011007320A
Other languages
English (en)
Other versions
JP5425115B2 (ja
Inventor
Takao Nakamura
高雄 中村
Kana Yamamoto
奏 山本
Akira Kitahara
亮 北原
Takashi Miyatake
隆 宮武
Atsushi Katayama
淳 片山
Hisato Miyaji
寿人 宮地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011007320A priority Critical patent/JP5425115B2/ja
Publication of JP2011078141A publication Critical patent/JP2011078141A/ja
Application granted granted Critical
Publication of JP5425115B2 publication Critical patent/JP5425115B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain

Abstract

【課題】撮影した動画からリアルタイムに電子透かし検出を行うことを可能とする。
【解決手段】電子透かし埋め込み方法を、フレーム画像群からなる動画像データ、透かし情報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を入力するステップと、前記動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するステップと、前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしステップと、前記透かしパターンを前記フレーム画像に重畳するステップと、上記ステップを順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成するステップと、を備えて構成する。
【選択図】図３A

Description

本発明は、電子透かし埋め込み技術及び電子透かし検出技術に関し、特に、映像コンテンツに、副情報を人に知覚されないように埋め込み電子透かし埋め込み技術、及びこの副情報を読み取る技術である電子透かし検出技術に関する。
今日、電子透かし技術は、コンテンツの著作権保護・管理システムや、コンテンツ関連サービス提供システムなどに用いられている。
画像、映像、もしくは音声といったコンテンツの流通の際、コンテンツ識別・管理や著作権保護・管理、関連情報提供などの目的のため、コンテンツ内に知覚できないように別の情報を埋め込む電子透かし技術を用いる方法がある。
例えば、印刷物など静止画をカメラ入力し、入力画像から電子透かしを検出して関連情報を得るような利用の方法がある（例えば、非特許文献１参照）。
さらに、カメラ入力及び電子透かし検出をリアルタイムで連続的に行い、検出性能を向上させるという方法もある（例えば、非特許文献２参照）。
中村、片山、宮地、山下、山室：「カメラ付き携帯電話機を用いたサービス仲介のための電子透かし検出方式」、情報科学技術フォーラムFIT2003, N-020, 2003年9月 中村、宮武、林、片山、山室：「カメラ入力画像からのリアルタイム電子透かし検出方式」、情報科学技術フォーラムFIT2004, J-036, 2004年9月
しかしながら、例えばテレビ画面などの動画像をカメラ付携帯電話機などで撮影し、撮影した動画からリアルタイムに電子透かし検出処理を行うような方法がなかった。このような方法があれば、ＴＶで放送中の画面から関連する情報を取得することができ、動画コンテンツとリアルタイムに連携可能な様々な情報サービスを実現することができる。しかし、カメラ撮影に伴うＤ／Ａ変換やＡ／Ｄ変換などで生じるノイズに対して、十分な耐性を実現することが困難であるという問題がある。また、カメラ撮影時にキャプチャしたフレーム画像のどの部分が電子透かしの検出対象であるかを特定することが困難であるという問題もある。
本発明は、上記の点に鑑みなされたもので、従来存在しなかった、テレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出を行うことを可能とする技術を提供することを目的とする。さらに、キャプチャしたフレーム画像中のどの部分から電子透かしの検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を行うことが可能な技術を提供することも目的とする。
上記の課題は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、
フレーム画像群からなる動画像データ、透かし情報、透かしパターンの時間変化を指定する透かしパターン切り替え情報を入力するステップと、
フレーム画像取得手段において、動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得ステップと、
透かしパターン生成手段において、前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成ステップと、
透かしパターン重畳手段において、前記透かしパターンを前記フレーム画像に重畳する透かしパターン重畳ステップと、
前記フレーム画像取得手段での処理、前記透かしパターン生成手段での処理、及び前記透かしパターン重畳手段での処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成ステップと、
を有することを特徴とする電子透かし埋め込み方法により解決できる。
前記透かしパターン生成ステップにおいて、前記透かしパターンの切り替えのタイミングが、一定の時間周期で繰り返されるようにしてもよい。
また、前記透かしパターン生成ステップは、
前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かし情報に対応する透かしパターンを生成するステップと、
さらに、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かしパターンの時間変化状態を検出時に推定するための位相判定用透かしパターンを生成し、その位相判定用透かしパターンを前記透かし情報に対応する透かしパターンに多重化して得られるパターンを透かしパターンとするステップとを有する、こととしてもよい。
また、本発明は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、
フレーム画像群からなる動画像データ、透かし情報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を入力するステップと、
フレーム画像取得手段において、前記動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得ステップと、
透かしパターン生成手段において、前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成ステップと、
透かしパターン重畳手段において、前記透かしパターンを前記フレーム画像に重畳する透かしパターン重畳ステップと、
前記フレーム画像取得ステップから前記透かしパターン重畳ステップを順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成ステップと、
を有することを特徴とする電子透かし埋め込み方法によっても解決できる。
前記電子透かし埋め込み方法において、前記透かしパターン生成ステップは、
前記透かし情報を用いて基本透かしパターンを生成する基本透かしパターン生成ステップと、
前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前の透かしパターンに対して前記基本透かしパターンで定まる位相変動を加えて新たな透かしパターンを生成するステップと、を有することとしてもよい。
前記透かしパターン生成ステップは、
前記透かし情報を用いて基本透かしパターンを生成する基本透かしパターン生成ステップと、
前記基本透かしパターンの画素値に基づいて符号パターンを生成する符号パターン生成ステップと、
前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前のフレームからの時間差分に対応する透かしパターン切り替え位相変動値を求める透かしパターン切り替え位相変動値算出ステップと、
前記透かしパターン切り替え位相変動値に前記符号パターン生成ステップで生成された前記符号パターンの各要素の符号を付与して、これを直前の透かし位相パターンからの位相差分として現在のフレームに対する透かし位相パターンを生成する透かし位相パターン生成ステップと、
前記透かし位相パターンに基づいて透かしパターンを生成する透かし位相パターン画像化ステップと、を有することとしてもよい。
また、前記透かしパターン生成ステップは、前記透かし位相パターンから前記透かしパターンを生成する際に、前記基本透かしパターンの各画素値に基づいて透かしパターンの対応する画素値の振幅を増減するステップを有することとしてもよい。
また、前記透かしパターン生成ステップは、前記基本透かしパターンが表す位相差分変動を、画像の複数の成分から得られる座標系における回転量に対応させ、位相差分変動で回転されて得られる新たな複数の成分値をもとに、前記透かしパターンを生成するステップを有する、こととしてもよい。
前記電子透かし埋め込み方法において、前記画像の複数の成分として、画像のCb-Cr成分を用いることができる。
また、前記透かしパターン生成ステップは、
前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かし情報をデータブロックに分割するステップと、
前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロックＩＤ及び該データブロックＩＤのデータブロック情報を元に透かしパターンを生成するステップと、を有することとしてもよい。
また、前記透かしパターン生成ステップは、
前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かし情報をデータブロックに分割するステップと、
前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロックＩＤ及び該データブロックＩＤのデータブロック情報を元に前記透かしパターンを生成する際に、前記データブロックＩＤが位相判定用透かし情報を兼ねるようにして透かしパターンを生成するステップと、を有することとしてもよい。
前記透かしパターン重畳ステップは、前記透かしパターンを前記フレーム画像以下のサイズにスケール変更して該フレーム画像の内部に重畳するステップを有する、こととしてもよい。
前記電子透かし埋め込み方法において、前記透かしパターン生成ステップは、
前記透かし情報を用いて基本透かしパターンを生成するステップと、
さらに、電子透かし検出時の検出対象領域抽出のための位置合わせのためのパターンを基本透かしパターンに追加するステップと、
前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて基本透かしパターンを変更することで透かしパターンを生成するステップとを有することとしてもよい。
前記電子透かし埋め込み方法において、前記透かしパターン生成ステップは、
前記透かし情報を既存の２次元コードにより基本透かしパターンに変調し、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて該基本透かしパターンから透かしパターンを生成するステップを有することとしてもよい。
また、前記電子透かし埋め込み方法において、前記電子透かし埋め込み装置は複数の透かしパターン生成手段を有し、前記電子透かし埋め込みステップにおいて、各々の前記透かしパターン生成手段は異なる透かしパターンを生成し、前記透かしパターン重畳手段は、前記透かしパターンをフレーム画像内に複数重畳する、こととしてもよい。
前記透かしパターン重畳ステップは、動きの多いフレーム画像ほど透かしパターンの振幅を増幅するステップを有する、こととしてもよい。
また、前記透かしパターン重畳ステップは、以前に入力したフレーム画像を記憶手段に保持しておき、今回入力したフレーム画像と以前のフレーム画像との差分画像を生成し、該差分画像の画素値に基づいて基本透かしパターンの振幅を増幅するステップを有する、こととしてもよい。
また、前記電子透かし埋め込み方法において、前記透かしパターン重畳ステップは、透かしパターン全体の振幅を増幅するステップを有する、こととしてもよい。
更に、前記透かしパターン重畳ステップは、フレーム画像中の動きの大きい画素領域に対応する透かしパターンの画素領域を増幅するステップを有する、こととしてもよい。
また、上記の課題は、動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、
動画像入力手段において、フレーム画像を順次取得する動画像入力ステップと、
差分画像生成手段において、今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成ステップと、
電子透かし検出手段において、前記差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出ステップとを有し、
前記電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し、上記の各ステップを繰り返す、ことを特徴とする電子透かし検出方法によって解決することができる。
前記電子透かし検出方法において、前記電子透かし検出ステップで得られた透かし情報からデータブロックＩＤとデータブロック情報を得て、検出透かし情報バッファの該データブロックＩＤの情報に検出したデータブロック情報を記録し、全てのデータブロックＩＤについて検出が完了した場合に電子透かし検出成功の旨を出力する、ようにしてもよい。
また、前記動画像入力ステップは、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するステップを有し、
前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、今回のフレーム表示時刻と、以前に取得したフレーム画像のフレーム表示時刻の時間間隔から検出要否を判定する判定ステップを更に有し、
判定ステップにおいて検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成ステップ以降の処理を続行する、こととしてもよい。
また、前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、フレームのキャプチャタイミングを設定するキャプチャタイミング制御ステップを有し、
前記動画像入力手段において、前記キャプチャタイミングに基づいてフレーム画像を順次取得する、ようにしてもよい。
また、前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、差分画像を得るためのフレーム間の時間間隔を表す差分タイミングを設定するステップを有し、
前記動画像入力手段において、前記フレーム画像と該フレーム表示時刻を順次取得し、前記差分画像生成手段において、今回取得したフレーム画像と、前記差分タイミングで指定される時間だけ以前に取得したフレーム画像の差分画像を生成する、こととしてもよい。
また、前記電子透かし検出方法において、前記電子透かし検出ステップは、前記差分画像に埋め込まれている透かしパターンの位相を判定し、透かしパターンの位相が逆相の場合は、検出した透かし情報のビット反転を行って、電子透かしの検出状況を出力するステップを有する、こととしてもよい。
前記差分画像生成ステップにおいて前記差分画像を差分画像蓄積バッファに加算し、前記電子透かし検出ステップにおいて、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力する、ようにしてもよい。
また、前記電子透かし検出方法は、前記差分画像に埋め込まれている透かしパターンの位相を判定するステップと、順次処理される差分画像の全てで当該位相が同相となるように差分画像を変更するステップを有し、これらのステップで得られた差分画像を用いて前記差分画像生成ステップ及び前記電子透かし検出ステップを実行する、こととしてもよい。
前記電子透かし検出ステップは、検出の際に算出される相関値を検出処理の度に記憶手段に蓄積し、蓄積された相関値を用いて検出成功か否かを判定するステップを有する、こととしてもよい。
また、前記電子透かし検出ステップは、検出の際に算出される相関値の絶対値を検出処理の度に記憶手段に蓄積し、蓄積された該相関値の絶対値を用いて検出成功か否かを判定するステップを有する、こととしてもよい。
また、前記電子透かし検出方法において、埋め込み時に用いた透かしパターン切り替え情報と、フレーム画像取得時に得られるフレーム表示時刻の関係から、差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
前記差分画像中に埋め込まれた透かしパターンで表現された透かし情報中の予め定めたビット位置のビット値を検出し、該ビット値に基づいて該差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
また、前記電子透かし検出方法は、位相判定用透かしを検出して前記差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
また、前記電子透かし検出方法は、透かし検出処理によって算出される相関値の正負の極性を利用して前記差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
また、前記電子透かし検出方法は、前記差分画像からの電子透かし検出を行って透かし情報であるデータブロック情報及びデータブロックＩＤを検出し、データブロックＩＤ検出時の相関値の正負の極性を利用して前記差分画像に埋め込まれている透かしパターンの位相を判定するステップを有する、こととしてもよい。
前記差分画像生成ステップは、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し、さらに、該差分画像中の特定成分から位相値と振幅値を求め、該位相値が所与の複数のグループのいずれに属するかを判定し、その判定結果と該振幅値を元に該差分画像を修正して出力するステップを有する、こととしてもよい。
また、前記電子透かし検出方法において、前記差分画像生成ステップは、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段に格納するステップを有し、
前記電子透かし検出方法は、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計測ステップを有し、
前記電子透かし検出ステップは、前記差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力するステップを有する、ようにしてもよい。
また、前記位相差分計測ステップは、
前記差分画像（Ａ）から位相パターンを生成する際に、位相値と共に振幅値を求めて位相パターンの要素値とするステップと、
前記今回取得した位相パターンと前記以前に取得した位相パターンの位相差を計測し、位相差に基づいて符号を決定するステップと、
さらに前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値と、符号に基づいて前記差分画像（Ｂ）を生成するステップと、を有することとしてもよい。
また、前記位相差分計測ステップは、
前記差分画像（Ａ）から前記位相パターンを生成する際に、前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値に対して単調増加する値を振幅とし、前記符号と組み合わせて得られる値に基づいて前記差分画像（Ｂ）を生成するステップを有する、ようにしてもよい。
また、前記電子透かし検出方法において、前記差分画像生成ステップにおける前記差分画像中の特定成分が複数の成分であることとしてもよい。
また、前記位相差分計測ステップにおいて、前記差分画像（Ａ）から位相パターンを得る際に、該差分画像（Ａ）中の複数の成分から得られる座標系おける位相及び振幅を利用する、ようにしてもよい。
前記差分画像中の特定成分としてCb成分及びCr成分を使用することができる。
また、前記電子透かし検出方法は、前記差分画像（Ｂ）を差分画像蓄積バッファに加算するステップを更に有し、
電子透かし検出ステップは、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力するステップを有する、こととしてもよい。
また、前記電子透かし検出方法は、順次取得される前記フレーム画像に対し、今回のフレーム画像中の検出対象領域を抽出し、歪みを補正し、サイズを正規化して検出対象領域画像を生成するステップを有し、
前記差分画像生成ステップにおいて、今回取得した検出対象領域画像と、以前に取得した検出対象領域画像の差分画像を生成する、こととしてもよい。
また、前記電子透かし検出方法は、順次取得される前記差分画像から検出対象領域を抽出して検出対象領域画像を生成するステップを有し、
前記電子透かし検出ステップにおいて、前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する、こととしてもよい。
また、前記電子透かし検出方法は、前記フレーム画像を順次取得した後に、前記フレーム画像から特徴領域を抽出して歪み補正及びサイズ正規化を行って特徴領域画像を生成する特徴領域抽出ステップと、
今回取得した特徴領域画像と、以前に取得した特徴領域画像の差分画像を生成する前記差分画像生成ステップと、
前記差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出ステップと、
前記検出対象領域からの電子透かし検出を行う前記電子透かし検出ステップと、
を有することとしてもよい。
前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、該差分画像の画素値を絶対値化して検出対象領域を探索するステップを有する、こととしてもよい。
また、前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、埋め込み時の基本透かしパターンに付加された位置合わせパターンを用いて検出対象領域を探索するステップを有する、こととしてもよい。
また、前記検出対象領域抽出ステップは、過去の電子透かし検出試行で検出状況が良好であったときの検出対象領域の近傍の領域に限定した探索を行って、今回の検出対象領域抽出処理を行うステップを有する、こととしてもよい。
また、前記検出対象領域抽出ステップは、前記位置合わせパターンを用いて、前記差分画像中の透かしパターンの位相を判定するステップを有する、こととしてもよい。
また、前記検出対象領域抽出ステップは、前記差分画像を記憶手段に加算蓄積し、蓄積した該差分画像中から検出対象領域を探索し、抽出するステップを有する、こととしてもよい。
また、前記検出対象領域抽出ステップは、前記差分画像を前記記憶手段に加算蓄積する際に、該差分画像中の透かしパターンの位相を揃えて、加算蓄積を行うステップを有する、こととしてもよい。
また、上記の課題は、動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、
動画像入力手段において、フレーム画像を順次取得するフレーム画像取得ステップと、
特徴領域抽出手段において、フレーム画像中の特徴領域を抽出し特徴領域画像を取得する特徴領域抽出ステップと、
差分画像生成手段において、今回取得した特徴領域画像と、特徴領域画像バッファから読み出した以前に取得した特徴領域画像の差分画像を生成して差分画像（Ａ）を取得すると共に、該今回取得した特徴領域画像を該特徴領域画像バッファに格納する差分画像生成ステップと、
位相差分計測手段において、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターンバッファから読み出した以前に取得した位相パターンの位相差を計測し、位相差と振幅に基づいて差分画像（Ｂ）を生成すると共に、該今回取得した差分画像（Ａ）を該位相パターンバッファに格納する位相差分計測ステップと、
検出対象領域抽出手段において、前記差分画像（Ｂ）を各画素毎に画素値の加算蓄積を行い、加算蓄積によって得られる差分画像（Ｂ）蓄積バッファから検出対象領域を抽出し、検出対象領域画像を取得する検出対象領域抽出ステップと、
電子透かし検出手段において、前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出ステップと、
電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、上記動画像入力手段で新たなフレーム画像を取得し直し上記各ステップを繰り返すステップと、
を有することを特徴とする電子透かし検出方法によっても解決できる。
前記検出対象領域抽出ステップは、加算蓄積によって得られる前記差分画像（Ｂ）蓄積バッファから検出対象領域を抽出する際に、前記差分画像（Ｂ）蓄積バッファの画素値の絶対値をとったものから検出対象領域を抽出し、絶対値を取る前の差分画像（Ｂ）蓄積バッファの検出対象領域の画像を検出対象領域画像として得るステップを有する、こととしてもよい。
前記検出対象領域抽出ステップにおいて、複数の検出対象領域を抽出し、
前記電子透かし検出ステップにおいて、前記複数の検出対象領域の各々に対して電子透かし検出試行を行い、検出結果を出力する、ようにしてもよい。
また、前記電子透かし検出ステップは、透かし情報を検出する際に、既存の２次元コードの復号処理を用いて透かし情報を検出するステップを有する、こととしてもよい。
また、前記電子透かし検出方法において、差分処理によって生成される前記差分画像に対して、さらにフィルタ処理を施し、フィルタ処理を施した差分画像を出力するステップを有する、こととしてもよい。前記フィルタ処理として、非線形フィルタを用いることができる。
また、前記電子透かし検出方法において、入力とする動画像が、カメラで撮影され、キャプチャされた映像信号である、こととしてもよい。
また、検出対象領域抽出状況、電子透かし検出状況、データブロック検出状況のうちのいずれか又は複数の処理状況に応じたフィードバック出力を画面あるいは、音声を出力する外部出力手段により行うステップを有してもよい。
また、前記検出対象領域抽出ステップにおいて、検出対象領域のサイズ及び位置を表す検出対象領域情報を更に生成し、前記電子透かし生成方法は、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズとなるようにズームパラメタを設定し、当該ズームパラメタを前記動画像入力手段に与えてズーム処理を行うズーム処理ステップを有する、こととしてもよい。
前記ズーム処理ステップは、前記電子透かし検出ステップにおける検出状況が良好であった場合に、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズになるようにズームパラメタを設定し、前記動画像入力手段に与えてズーム処理を行うステップを有して構成してもよい。
入力とする動画像が、表示ディスプレイ上に表示されている状態をカメラでリアルタイムに撮影され、キャプチャされたものであり、
電子透かし検出によって得られた透かし情報に基づいて、表示されている動画像に関連する情報を取得するステップを有する、こととしてもよい。
また、本発明によれば、上記の方法の実施に適した電子透かし埋め込み装置、電子透かし検出装置、プログラム、及びプログラムを記録した記録媒体が提供される。
本発明によれば、テレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出を行うことを可能とする後術を提供できる。また、キャプチャしたフレーム画像中のどの部分から電子透かしの検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を行うことが可能な技術を提供できる。
実施の形態の概要Ａの電子透かし埋め込み方法のフローチャートである。 実施の形態の概要Ａの電子透かし検出方法のフローチャートである。 実施の形態の概要Ａの電子透かし埋め込み装置の構成図である。 実施の形態の概要Ａの電子透かし検出装置の構成図である。 実施の形態の概要Ｂの電子透かし埋め込み方法のフローチャートである。 実施の形態の概要Ｂの電子透かし検出方法のフローチャートである。 実施の形態の概要Ｂの電子透かし埋め込み装置の構成図である。 実施の形態の概要Ｂの電子透かし検出装置の構成図である。 実施の形態の概要Ｃの電子透かし埋め込み方法のフローチャートである。 実施の形態の概要Ｃの電子透かし検出方法のフローチャートである。 実施の形態の概要Ｃの電子透かし埋め込み装置の構成図である。 実施の形態の概要Ｃの電子透かし検出装置の構成図である。 本発明の第１の実施の形態における電子透かし埋め込み装置の構成図である。 本発明の第１の実施の形態における電子透かし埋め込み装置の動作のフローチャートである。 本発明の第１の実施の形態におけるフレーム画像取得部の処理を説明するための図である。 本発明の第１の実施の形態における透かしパターン生成部の構成図である。 本発明の第１の実施の形態における透かしパターン生成部の動作のフローチャートである。 本発明の第１の実施の形態における基本透かしパターン生成部の処理の例を説明するための図（その１）である。 本発明の第１の実施の形態における基本透かしパターン生成部の処理の例を説明するための図（その２）である。 本発明の第１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。 本発明の第１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。 本発明の第１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。 本発明の第１の実施の形態における透かしパターン切り替え部の処理を説明するための図（その１）である。 本発明の第１の実施の形態における透かしパターン切り替え部の処理を説明するための図（その２）である。 本発明の第１の実施の形態における透かしパターン重畳部の処理を説明するための図である。 本発明の利用シーンを説明するための図である。 本発明の第１の実施の形態における電子透かし検出装置の構成図である。 本発明の第１の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第１の実施の形態における検出対象領域抽出部の処理を説明するための図である。 本発明の第１の実施の形態における差分画像生成部の処理を説明するための図である。 本発明の第１の実施の形態における電子透かし検出部の処理の例を説明するための図である。 本発明の第１の実施の形態における効果を説明するための図である。 本発明の第２の実施の形態における電子透かし検出装置の構成図である。 本発明の第２の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第２の実施の形態における検出要否判定部の処理を説明するための図である。 本発明の第２の実施の形態における効果を説明するための図である。 本発明の第２の実施の形態における効果を説明するための図である。 本発明の第３の実施の形態における電子透かし検出装置の構成図である。 本発明の第３の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第３の実施の形態におけるキャプチャタイミング制御部の処理を説明するための図（その１）である。 本発明の第３の実施の形態におけるキャプチャタイミング制御部の処理を説明するための図（その２）である。 本発明の第３の実施の形態における効果を説明するための図である。 本発明の第３の実施の形態における効果を説明するための図である。 本発明の第４の実施の形態における基本透かしパターン生成部の処理を説明するための図である。 本発明の第４の実施の形態における基本透かしパターン生成部の処理を説明するための図である。 本発明の第４の実施の形態における電子透かし検出部の動作のフローチャートである。 本発明の第４の実施の形態における効果を説明するための図（その１）である。 本発明の第４の実施の形態における効果を説明するための図（その２）である。 本発明の第４の実施の形態における効果を説明するための図（その３）である。 本発明の第５の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。 本発明の第５の実施の形態における電子透かし検出部の動作のフローチャートである。 本発明の第６の実施の形態における電子透かし検出部の構成図である。 本発明の第６の実施の形態における電子透かし検出部の動作のフローチャートである。 本発明の第６の実施の形態における差分画像位相判定部の処理を説明するための図である。 本発明の第６の実施の形態における差分画像蓄積バッファを説明するための図である。 本発明の第７の実施の形態における電子透かし検出部の構成図である。 本発明の第７の実施の形態における電子透かし検出部の動作のフローチャートである。 本発明の第７の実施の形態における相関値バッファに関する処理の内容を説明するための図である。 本発明の第７の実施の形態における検出可否判定部の処理の内容を説明するための図である。 本発明の第７の実施の形態における検出可否判定部の処理の内容を説明するための図である。 本発明の第８の実施の形態における透かしパターン生成部の構成図である。 本発明の第８の実施の形態における透かしパターン生成部の動作のフローチャートである。 本発明の第８の実施の形態における透かし情報分割部の処理を説明するための図である。 本発明の第８の実施の形態における基本透かしパターン生成部の処理を説明するための図である。 本発明の第８の実施の形態における基本透かしパターン生成部の処理を説明するための図である。 本発明の第８の実施の形態における電子透かし検出装置の構成図である。 本発明の第８の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第８の実施の形態における検出データブロック蓄積部の構成図である。 本発明の第８の実施の形態における検出データブロック蓄積部の動作のフローチャートである。 本発明の第８の実施の形態における検出データブロック蓄積部の処理を説明するための図（その１）である。 本発明の第８の実施の形態における検出データブロック蓄積部の処理を説明するための図（その２）である。 本発明の第９の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。 本発明の第９の実施の形態における電子透かし検出部の動作のフローチャートである。 本発明の第１０の実施の形態における電子透かし検出部の構成図である。 本発明の第１０の実施の形態における電子透かし検出部の動作のフローチャートである。 本発明の第１１の実施の形態における電子透かし検出部の構成図である。 本発明の第１１の実施の形態における電子透かし検出部の動作のフローチャートである。 本発明の第１２の実施の形態における電子透かし検出装置の構成図である。 本発明の第１２の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第１２の実施の形態における電子透かし検出装置のフィードバック出力の例（その１）である。 本発明の第１２の実施の形態における電子透かし検出装置のフィードバックの出力の例（その２）である。 本発明の第１２の実施の形態における電子透かし検出装置のフィードバック出力の例である。 本発明の第１３の実施の形態における透かしパターン重畳部の処理を説明するための図である。 本発明の第１３の実施の形態における電子透かし検出装置の構成図である。 本発明の第１３の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第１３の実施の形態における差分画像生成部の処理を説明するための図である。 本発明の第１３の実施の形態における検出対象領域抽出部の処理を説明するための図である。 本発明の第１３の実施の形態の効果を説明するための図（その１）である。 本発明の第１３の実施の形態の効果を説明するための図（その２）である。 本発明の第１３の実施の形態の効果を説明するための図（その３）である。 本発明の第１３の実施の形態の効果を説明するための図（その４）である。 本発明の第１４の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。 本発明の第１４の実施の形態における検出対象領域抽出部の処理を説明するための図である。 本発明の第１４の実施の形態の効果を説明するための図である。 本発明の第１４の実施の形態の効果を説明するための図である。 本発明の第１４の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。 本発明の第１５の実施の形態における検出対象領域抽出部の処理を説明するための図である。 本発明の第１６の実施の形態における電子透かし検出装置の構成図である。 本発明の第１６の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その１）である。 本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その２）である。 本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その３）である。 本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その４）である。 本発明の第１６の実施の形態における特徴領域抽出部の処理を説明するための図（その５）である。 本発明の第１６の実施の形態における差分画像生成部の処理を説明するための図（その１）である。 本発明の第１６の実施の形態における差分画像生成部の処理を説明するための図（その２）である。 本発明の第１６の実施の形態における差分画像生成部の処理を説明するための図（その３）である。 本発明の第１７の実施の形態における特徴領域抽出部の処理を説明するための図である。 本発明の第１７の実施の形態における検出対象領域抽出部の処理を説明するための図である。 本発明の第１８の実施の形態における検出対象領域抽出の処理を説明するための図（その１）である。 本発明の第１８の実施の形態における検出対象領域抽出の処理を説明するための図（その２）である。 本発明の第１８の実施の形態における検出対象領域抽出の処理を説明するための図（その３）である。 本発明の第１８の実施の形態における検出対象領域抽出の処理を説明するための図（その４）である。 本発明の第１９の実施の形態における電子透かし検出装置の構成図である。 本発明の第１９の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第１９の実施の形態における検出対象領域抽出部の処理を説明するための図（その１）である。 本発明の第１９の実施の形態における検出対象領域抽出部の処理を説明するための図（その２）である。 本発明の第１９の実施の形態における電子透かし検出装置の構成図である。 本発明の第１９の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第１９の実施の形態における検出対象領域抽出部の処理を説明するための図（その１）である。 本発明の第１９の実施の形態における差分画像生成部の処理を説明するための図（その２）である。 本発明の第２０の実施の形態における透かしパターン重畳部の処理を説明するための図（その１）である。 本発明の第２０の実施の形態における透かしパターン重畳部の処理を説明するための図（その２）である。 本発明の第２０の実施の形態における差分画像生成部の処理を説明するための図である。 本発明の第２０の実施の形態における検出対象領域抽出部の処理を説明するための図（その１）である。 本発明の第２０の実施の形態における検出対象領域抽出部の処理を説明するための図（その２）である。 本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例（その１）である。 本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例（その２）である。 本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例（その３）である。 本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例（その４）である。 本発明の第２１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。 本発明の第２１の実施の形態における透かしパターン切り替え部の処理を説明するための図である。 本発明の第２１の実施の形態における透かしパターン切り替え部の処理を説明するための図である。 本発明の第２１の実施の形態における差分画像生成部の処理の例を説明するための図である。 本発明の第２１の実施の形態の原理を説明するための図（その１）である。 本発明の第２１の実施の形態の原理を説明するための図（その２）である。 本発明の第２１の実施の形態の原理を説明するための図（その３）である。 本発明の第２１の実施の形態の効果を説明するための図である。 本発明の第２２の実施の形態における差分画像生成部の処理を説明するための図である。 本発明の第２２の実施の形態におけるフィルタ処理の例を説明するための図である。 本発明の第２２の実施の形態におけるフィルタ処理の例を説明するための図である。 本発明の第２３の実施の形態における透かし重量部の処理を説明するための図である。 本発明の第２３の実施の形態における透かしパターン振幅調整の例を説明するための図である。 本発明の第２４の実施の形態における電子透かし検出装置の構成図である。 本発明の第２４の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第２４の実施の形態の効果を説明するための図である。 本発明の第２４の実施の形態の効果を説明するための図である。 本発明の第２５の実施の形態における透かしパターン切替情報の例を説明するための図である。 本発明の第２５の実施の形態における透かしパターン切り替え部の処理を説明するための図（その１）である。 本発明の第２５の実施の形態における透かしパターン切り替え部の処理を説明するための図（その２）である。 本発明の第２５の実施の形態における電子透かし検出装置の構成図である。 本発明の第２５の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第２５の実施の形態における差分画像生成部の処理を説明するための図である。 本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図（その１）である。 本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図（その２）である。 本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図（その３）である。 本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図（その３）である。 本発明の第２５の実施の形態の効果を説明するための図（その１）である。 本発明の第２５の実施の形態の効果を説明するための図（その２）である。 本発明の第２５の実施の形態の効果を説明するための図（その３）である。 本発明の第２５の実施の形態の効果を説明するための図（その４）である。 本発明の第２５の実施の形態の効果を説明するための図（その５）である。 本発明の第２５の実施の形態の効果を説明するための図（その６）である。 本発明の第２５の実施の形態の効果を説明するための図（その７）である。 本発明の第２５の実施の形態の効果を説明するための図（その８）である。 本発明の第２５の実施の形態の効果を説明するための図（その９）である。 本発明の第２５の実施の形態の効果を説明するための図（その１０）である。 本発明の第２５の実施の形態の効果を説明するための図（その１１）である。 本発明の第２５の実施の形態の効果を説明するための図（その１２）である。 本発明の第２５の実施の形態の効果を説明するための図（その１３）である。 本発明の第２５の実施の形態の効果を説明するための図（その１４）である。 本発明の第２５の実施の形態の効果を説明するための図（その１５）である。 本発明の第２５の実施の形態の効果を説明するための図（その１６）である。 本発明の第２５の実施の形態の効果を説明するための図（その１７）である。 本発明の第２５の実施の形態の効果を説明するための図（その１８）である。 本発明の第２５の実施の形態の効果を説明するための図（その１９）である。 本発明の第２５の実施の形態の効果を説明するための図（その２０）である。 本発明の第２５の実施の形態の効果を説明するための図（その２１）である。 本発明の第２６の実施の形態における電子透かし埋め込み装置の構成図である。 本発明の第２０の実施の形態における電子透かし埋め込み装置の動作のフローチャートである。 本発明の第２６の実施の形態におけるフレーム画像取得部の処理を説明するための図である。 本発明の第２６の実施の形態における透かしパターン生成部の構成図である。 本発明の第２６の実施の形態における透かしパターン生成部の動作のフローチャートである。 本発明の第２６の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。 本発明の第２６の実施の形態における透かしパターン切り替え部の構成図である。 本発明の第２６の実施の形態における透かしパターン切り替え部の動作のフローチャートである。 本発明の第２６の実施の形態における透かしパターン切り替え情報の例を説明するための図である。 本発明の第２６の実施の形態における透かしパターン切り替え部の処理を説明するための図である。 本発明の第２６の実施の形態における透かし位相パターン画像化部の処理を説明するための図である。 本発明の第２６の実施の形態における透かしパターン重畳部の処理説明するための図である。 本発明の第２６の実施の形態における電子透かし検出装置の構成図である。 本発明の第２６の実施の形態における電子透かし検出装置の動作のフローチャートである。 本発明の第２６の実施の形態における特徴領域抽出部の処理を説明するための図である。 本発明の第２６の実施の形態における差分画像生成部の処理を説明するための図ある。 本発明の第２６の実施の形態における位相差分計測部の処理の内容を説明するための図（その１）である。 本発明の第２６の実施の形態における位相差分計測部の処理の内容を説明するための図（その２）である。 本発明の第２６の実施の形態における位相差分計測部の処理の内容を説明するための図（その３）である。 本発明の第２６の実施の形態における位相差分計測部の処理の内容を説明するための図（その３）である。 本発明の第２６の実施の形態における差分画像（Ｂ）蓄積バッファを説明するための図である。 本発明の第２６の実施の形態における検出対象領域抽出部の処理を説明するための図である。 本発明の第２６の実施の形態における電子透かし検出部の処理の例を説明するための図である。
以下、図面と共に本発明の実施の形態を説明する。
［実施の形態の概要］
まず、実施の形態の概要について説明する。図１Ａ〜図２Ｂは実施の形態の概要Ａを示す図である。
図１Ａに、実施の形態の概要Ａの電子透かし埋め込み方法のフローチャートを示す。この方法は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であり、まず、フレーム画像群からなる動画像データ、透かし情報、透かしパターン切り替え情報が電子透かし埋め込み装置に入力される（ステップＡ１）。次に、電子透かし埋め込み装置は、動画像データの各フレーム画像及び該フレーム表示時刻を順次取得し（ステップＡ２）、透かし情報とフレーム表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成し（ステップＡ３）、透かしパターンをフレーム画像に重畳する（ステップＡ４）。そして、電子透かし埋め込み装置は、ステップ２〜ステップ４を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する（ステップＡ５）。
図１Ｂに、実施の形態の概要Ａの電子透かし検出方法のフローチャートを示す。この方法は、動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、まず、フレーム画像を順次取得する（ステップＡ６）。次に、電子透かし検出装置は、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し（ステップＡ７）、差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する（ステップＡ８）そして、電子透かし検出装置は、電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、動画像入力手段で新たなフレーム画像を取得し直し、上記の処理を繰り返す（ステップＡ９）。
図２Ａに、実施の形態の概要Ａの電子透かし埋め込み装置の構成図を示す。この電子透かし埋め込み装置は、入力されたフレーム画像群からなる動画像データの各フレーム画像及び該フレーム表示時刻を順次取得するフレーム画像取得手段Ａ１１０と、入力された透かし情報とフレーム表示時刻と入力された透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成手段Ａ１２０と、透かしパターンをフレーム画像に重畳する透かしパターン重畳手段Ａ１３０と、フレーム画像取得手段Ａ１１０から透かしパターン重畳手段までの処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段Ａ１４０と、を有する。
図２Ｂに、実施の形態の概要Ａの電子透かし検出装置の構成図を示す。この電子透かし検出装置は、フレーム画像を順次取得する動画像入力手段Ａ２１０と、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段Ａ２３０と、差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段Ａ２４０と、を有する。
図３Ａ〜図４Ｂは実施の形態の概要Ｂを示す図である。図３Ａに、実施の形態の概要Ｂの電子透かし埋め込み方法のフローチャートを示す。この方法は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、まず、フレーム画像群からなる動画像データ、透かし情報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報が入力される。そして、電子透かし埋め込み装置は、動画像データの各フレーム画像及び該フレーム画像の表示時刻を順次取得する（ステップＢ１）。そして、電子透かし埋め込み装置は、透かし情報とフレーム画像表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成し（ステップＢ２）、透かしパターンをフレーム画像に重畳する（ステップＢ３）。そして、電子透かし埋め込み装置は、ステップＢ１〜ステップＢ３を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する（ステップＢ４）。
図３Ｂに、実施の形態の概要Ｂの電子透かし検出方法のフローチャートを示す。この方法は、動画像から電子透かしを検出する電子透かし検出装置により電子透かし検出方法であって、まず、フレーム画像を順次取得する（ステップＢ１１）。電子透かし検出装置は、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段に格納する（ステップＢ１２）。電子透かし検出装置は、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する（ステップＢ１３）。そして、電子透かし検出装置は、差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力し（ステップＢ１４）、電子透かし検出処理を続行する場合は、新たなフレーム画像を取得し直し上記処理を繰り返す（ステップＢ１５）。
図４Ａに、実施の形態の概要Ｂの電子透かし埋め込み装置の構成図を示す。この電子透かし埋め込み装置は、入力されたフレーム画像群からなる動画像データの各フレーム画像及び該フレーム画像の表示時刻を順次取得するフレーム画像取得手段Ｂ１１０と、入力された透かし情報とフレーム画像表示時刻と透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成手段Ｂ１２０と、透かしパターンをフレーム画像に重畳する透かしパターン重畳手段Ｂ１３０と、透かし入りフレーム画像群を結合して透かし入り動画像データを生成し、出力する動画像データ再構成手段Ｂ１４０と、を有する。
図４Ｂに、実施の形態の概要Ｂの電子透かし検出装置の構成図を示す。この電子透かし検出装置は、フレーム画像を順次取得する動画像入力手段Ｂ２１０と、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段Ｂ２５０に格納する差分画像生成手段Ｂ２３０と、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段Ｂ３７０から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計算手段Ｂ３６０と、差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段Ｂ２４０と、を有する。
図５Ａ〜図６Ｂは実施の形態の概要Ｃを示す図である。図５Ａに、実施の形態の概要Ｃの電子透かし埋め込み方法のフローチャートを示す。この方法は、動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、まず、フレーム画像群からなる動画像データ、透かし情報、透かしパターン切り替え情報が電子透かし埋め込み装置に入力される（ステップＣ１）。そして、電子透かし埋め込み装置は、動画像データの各フレーム画像及び該フレーム表示時刻を順次取得し（ステップＣ２）、透かし情報とフレーム表示時刻と透かしパターン切り替え情報を用いて、透かしパターンを生成する（ステップＣ３）。電子透かし埋め込み装置は、透かしパターンをフレーム画像以下のサイズにスケール変更してフレーム画像の内部に重畳し（ステップＣ４）、ステップＣ２〜ステップＣ４を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する（ステップＣ５）。
図５Ｂに、実施の形態の概要Ｃの電子透かし検出方法のフローチャートを示す。この方法は、動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、まず、フレーム画像を順次取得する（ステップＣ６）。電子透かし検出装置は、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し（ステップＣ７）、差分画像から検出対象領域を抽出して検出対象領域画像を生成する（ステップＣ８）。そして、電子透かし検出装置は、検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力し（ステップＣ９）、検出状況により電子透かし検出処理を続行する場合は、新たなフレーム画像を取得し直し、上記の処理を繰り返す（ステップＣ１０）。
図６Ａに、実施の形態の概要Ｃの電子透かし埋め込み装置の構成図を示す。この電子透かし埋め込み装置は、動画像データの各フレーム画像及びフレーム表示時刻を順次取得するフレーム画像取得手段Ｃ１１０と、入力された透かし情報と透かしパターン切り替え情報とフレーム表示時刻とを用いて、透かしパターンを生成する透かしパターン生成手段Ｃ１２０と、透かしパターンをフレーム画像以下のサイズにスケール変更してフレーム画像の内部に重畳する透かしパターン重畳手段Ｃ１３０と、上記処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段Ｃ１４０と、を有する。
図６Ｂに、実施の形態の概要Ｃの電子透かし検出装置の構成図を示す。この電子透かし検出装置は、フレーム画像を順次取得する動画像入力手段Ｃ２１０と、今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段Ｃ２３０と、差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出手段Ｃ２２０と、検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段Ｃ２４０と、を有する。
［第１の実施の形態］
＜電子透かし埋め込み装置＞
図７は、本発明の第１の実施の形態における電子透かし埋め込み装置の構成を示す。
同図に示す電子透かし埋め込み装置１００は、フレーム画像取得部１１０、透かしパターン生成部１２０、透かしパターン重畳部１３０、動画像データ再構成部１４０を有している。
フレーム画像取得部１１０には、原動画像データが入力され、透かしパターン生成部１２０には、透かし情報と透かしパターン切り替え情報が入力される。また、動画像データ再構成部１４０は、透かし入り動画像データを出力する
以下に、電子透かし埋め込み装置１００の動作を説明する。
図８は、本発明の第１の実施の形態における電子透かし埋め込み装置の動作のフローチャートである。
ステップ１１０） フレーム画像取得部１１０は、図９に示すように、原動画像データからフレーム画像及び当該フレーム表示時刻を一枚ずつ順次取得する。ここで、フレーム表示時刻とは、例えば、タイムコードと再生時のフレームレートから定まる動画像の先頭からの絶対的な時刻を表すものでもよいし、あるいは、フレーム毎に付与される通し番号など、再生時のフレーム間の相対的な時間間隔が測れるようなものでもよい。フレーム画像取得部１１０は、入力動画像データがＭＰＥＧなどの符号化データである場合は、復号を行ってフレーム画像を取得する。
ステップ１２０） 透かしパターン生成部１２０には、透かし情報と透かしパターン切り替え情報が入力され、透かし情報、フレーム表示時刻、透かしパターン切り替え情報を用いて透かしパターンを生成する。
ステップ１３０） 透かしパターン重畳部１３０において、透かしパターン生成部１２０で生成された透かしパターンを前述のフレーム画像に重畳して透かし入りフレーム画像を生成する。
ステップ１４０） 最後に、動画像データ再構成部１４０において、順次生成される透かし入りフレーム画像の列を、動画像データとして再構成して透かし入り動画像データとして出力する。この際、必要ならばMPEGエンコードなどの符号化を行ってもよい。
次に、透かしパターン生成部１２０について詳細に説明する。
図１０は、本発明の第１の実施の形態における透かしパターン生成部の構成を示す。
透かしパターン生成部１２０は、基本透かしパターン生成部１２１と、透かしパターン切り替え部１２２を有する。
図１１は、本発明の第１の実施の形態における透かしパターン生成部の動作のフローチャートである。
ステップ１２１） 基本透かしパターン生成部１２１は、透かし情報が入力されると、当該透かし情報を２次元パターンである基本透かしパターンに変換する。
この変換の仕方は、図１２に示すように、通常の静止画向け電子透かし技術で用いられている方法、例えば、「中村、片山、山室、曽根原：「カメラ付携帯電話機を用いたアナログ画像からの高速電子透かし方式」、信学論（D-II）、Vol. J87-D-II, No.12, pp.2145-2155, 2004年12月」（以下、文献１と記す）に記載されている方法を用いることができる。その方法には、透かし情報のビット値を拡張系列によって直接スペクトラム拡散変調して得られる系列の値に応じて、画素値の大小を対応付ける方法（図１２：変調方法（Ａ−１））、ブロックの波形パターンを切り替える方法（図１２：変調方法（Ａ−２））、あるいは系列の項の値を２ブロックに対応付けて画素値の変化の有無で値を表す方法（図１２：変調方法（Ａ−３））、波形パターンの位相変化の有無で表す方法（図１２：変調方法（Ａ−４））などがある。なお、（図１２：Ａ−３），（図１２：Ａ−４）のような変調の際には、系列の項に対応する２ブロックの位置を、１ブロックずつずらしてダブらせながら変調できる。
あるいは、図１３の例に示すように、透かし情報をある程度の長さのシンボルに区切り（図１３では、１ビットずつ１シンボルとして区切っている）、各シンボルの取り得る値毎に異なる独立な拡散系列を対応付け、それらを連結、あるいは、重畳して多重化（図示せず）して得られる系列の値を、図１２の場合と同様に２次元パターンに変換する、といったやり方も考えられる。なお、これらの基本透かしパターンは、カメラキャプチャ時の解像度が低くなる場合も考慮して、ブロックの大きさを大きくとったり、波形パターンを低周波パターンとしておくことが望ましい。また、図１２及び図１３では、透かし情報をスペクトラム拡散変調した結果を直接画素パターン化しているが、文献２「T. Nakamura, H. Ogawa, A. Tomioka, Y. Takashima, "Improved digital watermark robustness against translation and/or cropping of an image area", IEICE Trans. Fundamentals, vol. E83-A, No.1, pp.68-76, Jan. 2000」（以下、文献２と記す）のように周波数空間で同様に行い、逆直交変換で画像パターン化してもよい。いずれにせよ、画像に対して加法的に重畳されるタイプの電子透かし方式であればどのようなものでも構わない。
以下、説明のため、基本透かしパターンの各画素値は正負の値を持ち、画素値の平均値は０であるものとする。任意の基本透かしパターンの平均値をシフトすれば、このようにすることが容易であるのは自明である。
ステップ１２２） 透かしパターン生成部１２０は、続いて透かしパターン切り替え部１２２において、フレーム表示時刻とパターン切り替えの情報の関係から、基本透かしパターンの位相反転の要否を判定する。
ステップ１２３） 位相反転が必要である場合は、基本透かしパターンの位相を反転し、透かしパターンとして出力する。
ステップ１２４） 位相反転が不要な場合は、基本透かしパターンをそのまま透かしパターンとして出力する。
図１４Ａ〜Ｃは、本発明の第１の実施の形態における透かしパターン切り替え情報の例を示す。透かしパターン切り替え情報は、動画像の再生時の時間軸に対して基本透かしパターンの位相をどのように変更するかを表す情報であり、図１４Ａのように一定時間で基本透かしパターンが反転するように指示したり、図１４Ｂのようにある時間単位でランダムに反転するように指示したり、あるいは、図１４Ｃのように複雑なタイミングで反転するように指示することもできる。ランダム切り替えなど、複雑なパターンを用いることで解析が困難となるから、著作権保護などセキュリティ目的で本発明を用いる場合、電子透かしに対する攻撃に対して安全性が増す。なお、図１４Ａ〜Ｃの例は、位相０とπの２値を矩形的にとるケースのみを示しているが、例えば、サインカーブなど、滑らかに位相が変化するものを用いてもよい。
図１５は、本発明の第１の実施の形態における透かしパターン切り替え部の処理を説明するための図である。同図では、前述の変調方法（Ａ−１）を用いた場合について示す。透かしパターン切り替え部１２２は、透かしパターン切り替え情報とフレーム表示時刻、基本透かしパターンを入力とし、図１５のように透かしパターン切り替え情報が１／１０秒毎に反転を指示するようなものであったとする。また、原動画像は、３０フレーム／秒で再生されるものとすると、３フレームおきに位相反転することとなる。このときフレーム画像取得部１１０で取得したフレーム表示時刻ｔを透かしパターン切り替え情報の時間軸上にとったときに、透かしパターン切り替え情報で表される位相はπとなっているとすると、この場合は、基本透かしパターンの位相を反転したものを当該フレーム表示時刻に対する透かしパターンとする。
なお、基本透かしパターンは正負の画素値を持ち、平均値が０であるので、位相反転は各画素値に−１を掛け算することによって得られる。また、フレーム表示時刻ｔ'を透かしパターン切り替え情報の時間軸上にとったときの位相が０である場合は、基本透かしパターンの位相変化量を０、すなわち変化を与えず、そのまま透かしパターンとして出力する。
なお、図１６に示すように、透かしパターン切り替え部１２２における位相変調は画素値の振幅に対して行われるものであるので、例えば、変調方法（Ａ−２）のようにブロック毎に波形パターンを用いた基本透かしパターンの場合は、波形の向きは変化せず、画素値が反転する形となる。また、透かしパターン切り替え情報で表される透かしパターンの位相変化は、透かし入り動画像の画質劣化を抑えるため、ある程度の時間区間（例えば、１秒間）の範囲で、正位相と逆位相への偏りがないことが望ましい。即ち、図１４のグラフ表示の横軸を位相偏り０として時間区間で積分した値が０となることが望ましい。
反転・非反転のみの透かしパターン切り替えの場合について言えば、時間区間内の反転・非反転の時間の合計が略同じとなるようにすることが望ましい。
次に、透かしパターン重畳部１３０について詳細に説明する。
図１７は、本発明の第１の実施の形態における透かしパターン重畳部の処理を説明するための図である。
透かしパターン重畳部１３０は、フレーム画像と、当該フレーム表示時刻に基づいて生成された透かしパターンを入力する。透かしパターン重畳部１３０では、まず、透かしパターンをフレーム画像のサイズまで引き伸ばして、その後フレーム画像に加算して、透かし入りフレーム画像を得る。加算の前に透かしパターンの振幅を適宜増減してから加算することで、電子透かしの耐性と画質劣化のトレードオフバランスを調整することも可能である。また、透かしパターンをフレーム画像に加算する際に、どのような成分に加算するかも様々な態様が有り得る。例えば、フレーム画像の輝度値に加算する、あるいは、ＲＧＢ表色系のBlue成分に加算する。CMYK表色系のYellow成分に加算する。HSV表色系のHue成分に加算する、YCbCr表色系のCb成分に加算するなど、様々である。また、透かしパターンの１画素が一つの値ではなく、２つの値を持つような、複数成分を利用する透かしパターンの場合も有り得るが、その場合は、例えば、RGB表色系のRed成分及びGreen成分に透かしパターンの各プレーンの画素値をそれぞれ加算するなどして複数の成分を変更することも有り得る。
最後に、動画像データ再構成部１４０について詳細に説明する。
動画像データ再構成部１４０は、上記の処理により順次生成される透かし入りフレーム画像を動画像データとして再構成して透かし入り動画像データとして出力する。再構成の際には、MPEGエンコードなどの符号化を行ってもよい。
以上が本実施の形態における透かし埋め込み装置１００の説明である。
ここで、本実施の形態の利用シーンについて説明する。
図１８は、本発明の第１の実施の形態における利用シーンを説明するための図である。
上記で説明した透かし入り動画像データが、例えば、テレビ放送などによってテレビ表示装置上で再生されている（１）。視聴者が視聴番組に関連する情報サービスを利用する際には、例えば、カメラ付携帯電話機などのカメラをテレビの表示画面に向けて撮影を始める（２）。撮影によって携帯電話機上にビデオフレームがリアルタイムに順次キャプチャ入力され、このフレーム群から電子透かしの検出を行う（３）。検出した電子透かしの情報を元に、例えば、ネットワーク上の情報資源を取得するなどの関連情報サービスを利用することができる（４）。
＜電子透かし検出装置＞
次に、電子透かし検出装置について説明する。
図１９は、本発明の第１の実施の形態における電子透かし検出装置の構成を示す。
同図に示す電子透かし検出装置２００Ａは、動画像入力部２１０、検出対象領域抽出部２２０、差分画像生成部２３０、電子透かし検出部２４０、検出対象領域画像バッファ２５０を有している。動画像入力部２１０には、テレビなどにディスプレイ表示されたアナログ動画像、あるいは、MPEGエンコードされたディジタル動画像が入力され、電子透かし検出部２４０は、検出結果を出力する。
図２０は、本発明の第１の実施の形態における電子透かし検出装置の動作のフローチャートである。
ステップ２０１） 動画像入力部２１０において、アナログまたはディジタル動画像が入力されると、順次フレーム画像を取得する。アナログ動画像の入力の際は、カメラやスキャナ、あるいは、アナログビデオ信号などが入力され、フレーム画像を取得し、また、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
ステップ２０２） 次に、検出対象領域抽出部２２０において、順次入力される各フレーム画像中の透かし検出の対象となる検出対象領域を抽出して、検出対象領域画像を取得する。
ステップ２０３） 次に、差分画像生成部２３０において、現在取得した検出対象領域画像と検出対象領域画像バッファ２５０に蓄積されている以前に取得した検出対象領域画像との差分画像を生成する。
ステップ２０４） また、差分画像生成部２３０は、次の検出試行に備えて、検出対象領域画像バッファ２５０に今回の検出対象領域画像をバッファリングしておく。
ステップ２０５） 電子透かし検出部２４０において、差分画像から電子透かし検出を試み、検出結果を出力する。電子透かし検出が成功しなかった場合は、動画像入力部２１０において、次のフレーム画像を取得し、上記の処理を順次繰り返す。
次に、検出対象領域抽出部２２０の処理を詳細に説明する。
図２１は、本発明の第１の実施の形態における検出対象領域抽出部の処理を説明するための図である。
検出対象領域抽出部２２０は、フレーム画像を入力とする。図２１では、カメラ入力の例を示す。カメラ入力の場合、撮影角度によって生じる平面射影変換や、手振れなどによってフレーム画像中の検出対象領域が様々な形で幾何歪みを被って変化する。そのため、検出対象領域抽出部２２０では、キャプチャしたフレーム画像毎にＴＶの表示領域などを、例えば、「片山、中村、山室、曽根原：「電子透かし読み取りのためのｉアプリ高速コーナー検出アルゴリズム」、信学論（D-II）, Vol. J88-D-II, No. 6, pp.1035-1046, 2005年６月」（以下、文献３と記す）のような縁検出・コーナー検出などの手法によって検出する。続いて行う差分画像生成のために、検出した表示領域の平面射影歪みを補正し、さらに画像サイズを正規化して一定としたものを検出対象領域画像として出力する。なお、ＮＴＳＣなどのアナログビデオ信号入力や、MPEGなどのディジタル動画像入力の場合には、フレームに生じる歪みや、フレーム画像中の一部のみを切り出すといった処理は不要であり、フレーム画像をそのまま検出対象領域画像として出力すればよい。
次に、差分画像生成部２３０について詳細に説明する。
図２２は、本発明の第１の実施の形態における差分画像生成部の処理を説明するための図である。
差分画像生成部２３０は、検出対象領域画像を入力とする。差分画像生成部２３０は、現在入力された検出対象領域画像と、検出対象領域画像バッファ２５０に蓄積されている、以前に取得した検出対象領域画像の差分画像を生成する。最も簡単には、直前の検出対象画像がバッファリングされており、差分対象とすることが考えられるが、検出対象領域画像には複数の画像がバッファリングされており、適宜差分対象を選んで差分画像を生成するとしてもよい。また、次の検出試行に備えて、検出対象領域画像バッファ２５０に今回の検出対象領域画像をバッファリングしておく。この際、検出対象領域画像バッファ２５０中の時間的に古くなった検出対象領域画像は破棄してもよい。
なお、最初の検出対象領域画像が入力されたタイミングでは、検出対象領域画像バッファ２５０は空であるが、この場合は差分をとらずに最初の検出対象領域画像自体を差分画像として出力して電子透かし検出を試みてもよいし、あるいは電子透かし検出をスキップして次のフレームキャプチャ処理を行ってもよい。
次に、電子透かし検出部２４０について詳細に説明する。
電子透かし検出部２４０は、差分画像を入力とし、差分画像から電子透かし検出を試みる。
図２３は、本発明の第１の実施の形態における電子透かし検出部の処理の例を説明するための図である。同図は、電子透かし埋め込み時の変調方法（Ｂ−１）に対応する検出時の復調方法である。
まず、差分画像の埋め込みに用いた成分チャネルを取り出す。それが輝度であるとすると輝度成分、を取り出す。そして、埋め込み時の透かしパターンのブロックの個数に差分画像をブロック分割する。
次に、ブロック内の輝度値の合計を求め、ブロック順に並べて一次元の系列である検出対象系列を得る。変調情報（Ｂ−２）のような場合は、ブロック内の波形パターンのエネルギーを求め、複数の波形パターンのうちどのパターンが支配的かという指標値を算出して一次元に並べる（文献１）。
次に、埋め込み時には１ビットシンボルを系列の区間毎に変調していたことに対応して、検出対象系列のシンボル位置毎の区間を取り出し、各区間についてシンボル値"０"を表す拡散系列及び"１"を表す拡散系列との相関演算を行う。各シンボル位置について相関値（の絶対値）が最大となるシンボル値が検出した透かし情報となる。図２３の例では、１シンボル目が"０"、２シンボル目が"１"、が検出した透かし情報となる。また、この際に得られた相関値（の絶対値）が予め定めた閾値以上となるなど、十分に大きい場合は電子透かしの検出に成功したとする。なお、変調方法（Ａ−１）〜（Ａ−４）の検出方法については、文献１のように相関値の正負でビット値を決定すればよい
電子透かし検出部２４０で電子透かしの検出が成功した場合には、検出した透かし情報を出力して検出処理を終了して関連情報サービスの提供に状態遷移してもよいし、あるいは、「J. Rekimoto, Y. Ayatsuka, "CyberCode: Designing Augmented Reality Environments with Visual Tags", Designing Augmented Reality Environments (DARE 2000), 2000年」（以下、文献４と記す）等のように、撮影画像とＣＧ（コンピュータグラフィクス）などを合成する拡張現実感的なアプリケーションの場合は、続けて連続的に電子透かし検出を続けてもよい。電子透かし検出に成功しなかった場合は、引き続き動画像入力部２１０のフレームキャプチャ処理に復帰し、検出試行を繰り返す。あるいは、動画像の入力が終了したら検出処理を終了する。
＜本実施の形態の効果＞
本実施の形態によれば、動画像への電子透かし埋め込みの際に、フレーム毎に透かしパターンを切り替えて埋め込みを行うことによって、単純にフレーム画像に静止画アルゴリズムの適用を繰り返すことで固定の透かしパターンが埋め込まれるような埋め込み方と比較して、固定パターンを避けることができるので画質劣化を低く抑えることができる。特に、切り替え速度が高速な場合、人間の視覚特性においては時間周波数が高い場合は視覚感度が低下するという時間周波数特性に関する知見を適用すれば、画質劣化がより知覚しにくくなる（「樋渡編、画像工学ハンドブック、朝倉書店、ISBN4-254-20033-1, pp.10-56, 1986年」（以下、文献５と記す））。
また、電子透かし検出処理においては、キャプチャされたフレーム画像の時間差分をとり差分画像からの電子透かし検出を行っている。図２４に示すように、一般に動画像は時間方向のフレーム間相関が高いことが知られており、差分をとることで激しい動きを伴う部分などを除いて原画像成分の大半はキャンセルされる。これと同時に、透かしパターンが逆転している２つのフレーム間の差分の場合は、埋め込み時の透かしパターンの振幅の倍の振幅の透かしパターンが得られることとなる。これによって画像に対して加法的に透かしパターンを重畳するタイプの電子透かし方式共通の課題であった、透かし信号に対する大きな雑音成分である原画信号を抑圧し、さらに透かし信号の振幅を倍にすることができるので、検出時の透かし信号のＳ／Ｎ比を大幅に向上することができ、電子透かしの耐性が向上する
さらに、差分画像を生成する前に、キャプチャしたフレーム画像中の検出対象領域抽出を行い、歪みを補正し、正規化することで、カメラ入力のように撮影角度による平面射影変換歪みや、カメラの移動、視点移動などに伴う平行移動など、キャプチャフレーム中の検出対象領域の様々な歪み要因をキャンセルでき、カメラ入力からの電子透かし検出を実現することができる。さらに、この補正を各キャプチャフレーム毎に対して行うことで、カメラを手で持っているような場合に生じるカメラ自体の移動に伴う撮影フレーム毎の異なる歪み要因をキャンセルことができるため、差分画像生成によって確実に原画信号を抑圧することができ、カメラ付携帯電話機を手で持って撮影するような場合でも問題なく検出成功することが可能である。
［第２の実施の形態］
本実施の形態では、電子透かし検出装置について説明する。
本実施の形態は、以下に説明する部分を除いて、前述の第１の実施の形態と同一である。
図２５は、本発明の第２の実施の形態における電子透かし検出装置の構成を示す。同図に示す電子透かし検出装置２００Ｂは、前述の第１の実施の形態における図１５の構成に検出要否判定部２６０を付加した構成である。
図２６は、本発明の第２の実施の形態における電子透かし検出装置の動作のフローチャートである。
ステップ３０１） 電子透かし検出装置２００Ｂの動画像入力部２１０は、アナログまたは、ディジタル動画像を入力し、順次フレーム画像を取得すると同時に、当該フレーム表示時刻を取得する。フレーム表示時刻は、例えば、MPEGエンコードされた動画像などの場合ではタイムコードやフレームレートなどを元に取得できる。カメラなどの場合は表示系との同期が取れないことが考えられる。この場合は動画像入力部２１０内にタイマを持ち、キャプチャ時の時刻を取得する、あるいは直前のキャプチャからの遅延時間を取得するなどの方法で当該キャプチャフレームのフレーム表示時刻を得ることができる。
ステップ３０２） 次に、検出対象領域抽出部２２０において、順次入力される各フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域を取得する。
ステップ３０３） 次に、検出要否判定部２６０において、現在取得した検出対象領域画像に対応するフレーム表示時刻と、検出対象領域画像バッファに蓄積されている以前に取得した検出対象領域画像に対応するフレーム表示時刻を、埋め込み時と同じ透かしパターン切り替え情報を参照しながら比較し、２枚の検出対象領域画像中の透かしパターンが同相となっている場合は検出不要とし、ステップ３０４の処理に移行する。同相でないと判定した場合はステップ３０５に移行する。
ステップ３０４） 検出不要である場合は、検出対象領域画像バッファ２５０に今回の検出対象領域画像及び対応するフレーム表示時刻をバッファリングした上で動画像入力部２１０のキャプチャ処理に復帰する（ステップ３０１に移行する）。
ステップ３０５） 差分画像生成部２３０に今回の検出対象領域画像を送る。差分画像生成部２３０は、現在取得した検出対象領域画像と、検出対象領域画像バッファ２５０に蓄積されている以前に取得した検出対象領域画像との差分画像を生成する。
ステップ３０６） また、差分画像生成部２３０は、次の検出試行に備えて、検出対象領域画像バッファ２５０に今回の検出対象領域画像及びフレーム表示時刻をバッファリングしておく。この際、検出対象領域画像バッファ中の時間的に古くなった検出対象領域画像及びフレーム表示時刻は破棄するなどしておく。
ステップ３０７） 続いて、電子透かし検出部２４０において、差分画像からの電子透かし検出を試み、検出結果を出力する。
ステップ３０８） 電子透かし検出が成功したかを判定し、成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す（ステップ３０１に移行する）。成功した場合には、処理を終了する。
上記の検出要否判定部２６０は、フレーム表示時刻、検出対象領域画像、透かしパターン切り替え情報を入力とする。検出要否判定部２６０は、現在取得した検出対象領域画像に対応するフレーム表示時刻と、検出対象領域画像バッファ２５０に蓄積されている以前に取得した検出対象領域画像に対応するフレーム表示時刻を、埋め込み時と同じ透かしパターン切り替え情報を参照しながら比較し、２枚の検出対象領域画像中の透かしパターンが同相となっているか否かで検出要否を判定し、検出不要の場合は、動画像入力部２１０のキャプチャ処理に復帰する。検出要と判定した場合は差分画像生成部２３０に検出対象領域画像を送る。
図２７は、本発明の第２の実施の形態における検出要否判定部の処理を説明するための図である。
例として、透かしパターン切り替え情報が「１／１０秒毎に切り替え」であり、動画像は３０フレーム／秒で再生されているとする。また、検出対象領域画像バッファ２５０に蓄積されている以前のフレームのフレーム表示時刻をｔとする。今回取得したフレーム表示時刻がｔ０またはｔ１の場合は、ｔ０−ｔ＝３／３０秒、あるいは、ｔ１−ｔ＝５／３０秒はそれぞれ１／１０秒毎反転において透かしパターンが逆相になることを表し、差分画像からの電子透かし検出可能性が高いことがわかるため、「検出要」と判定する。また、今回取得したフレーム表示時刻がｔ２の場合は、ｔ２−ｔ＝６／３０秒が１／１０秒毎反転において透かしパターンが同相になることを表し、差分画像からの電子透かし検出可能性が低いことがわかるため、「検出不要」と判定する。
この例のように、フレーム表示時刻は動画像の先頭からの絶対時間である必要はなく、再生されている動画像のキャプチャタイミング間の遅延時間が得られればよい。
＜本実施の形態の効果＞
本実施の形態によれば、第１の実施の形態の効果に加え、検出要否判定を行うことで無駄な電子透かし検出処理を省くことで効率的な検出処理を行うことができる。図２８Ａ、Ｂに示すとおり、キャプチャのタイミングを評価して透かしパターンが逆相となっている場合のみ差分画像を生成して検出試行を行うので、検出が困難な同相の場合を避けることができ、無駄な検出試行を省くことができる。処理量を減らした分は、キャプチャのフレームレートを高めることによる検出性能向上や、ユーザインタフェースを高度化するなどによって検出装置の利便性を向上させるといった効果が得られる。
［第３の実施の形態］
本実施の形態では、電子透かし検出装置について説明する。
本実施の形態は、以下に説明する部分を除いて、第１の実施の形態と同一である。
図２９は、本発明の第３の実施の形態における電子透かし検出装置の構成を示す。
同図に示す電子透かし検出装置２００Ｃは、第１の実施の形態における図１９の構成に、キャプチャタイミング制御部２７０を付加した構成である。
キャプチャタイミング制御部２７０は、透かしパターン切り替え情報を入力とし、キャプチャタイミング信号を動画像入力部２１０に送る。また、差分タイミング信号を差分画像生成部２３０に送る。
図３０は、本発明の第３の実施の形態における電子透かし検出装置の動作のフローチャートである。
ステップ４０１） 動画像入力部２１０は、キャプチャタイミング制御部２７０から入力されたキャプチャタイミング信号で指定されるキャプチャ時間間隔でアナログまたはディジタル動画像を入力し、順次フレーム画像を取得する。
ステップ４０２） 検出対象領域抽出部２２０において、順次入力される各フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。
ステップ４０３） 次に、差分画像生成部２３０において現在取得した検出対象領域画像と、検出対象領域画像バッファ２５０に蓄積されている、差分タイミング信号で示される時間的に前の検出対象領域画像との差分画像を生成する。
ステップ４０４） また、差分画像生成部２３０は、次の検出試行に備えて、検出対象領域画像バッファ２５０に今回の検出対象領域画像をバッファリングしておく。
ステップ４０５） 続いて、電子透かし検出部２４０において、差分画像からの電子透かし検出を試み、検出結果を出力する。
ステップ４０６） 電子透かし検出が成功しなかった場合は、動画像入力部２１０において、次のフレーム画像を取得して、上記の処理を順次繰り返す（ステップ４０１に移行する）。成功した場合は処理を終了する。
図３１は、本発明の第３の実施の形態におけるキャプチャタイミング制御部の処理を説明するための図である。例として透かしパターン切り替え情報が「１／１０秒毎に切り替え」であり、動画像は３０フレーム／秒で再生されているとする。この場合は、キャプチャタイミング信号を１／１０秒毎に発信し、それを受信した動画像入力部２１０で１／１０秒間隔でキャプチャを行うようにする。あるいは、最初に「１／１０秒間隔でキャプチャすること」という情報をキャプチャタイミング信号として送り、動画像入力部２１０内部でタイミングを取りながら１／１０秒間隔でキャプチャ動作をするようにしてもよい。
また、差分タイミング信号として、「１／１０秒（の奇数倍）離れた検出対象領域画像の差分をとる」という指示を差分画像生成部２３０に送るものとする。カメラ入力などの場合、キャプチャの時間間隔だけを指定したとしても実際にキャプチャされるフレーム群が異なるケースが有り得る（図３１のキャプチャ例Ａとキャプチャ例Ｂの違い）。しかし、どちらのキャプチャ例の場合も、１／１０秒毎のキャプチャによって必ず逆相の透かしパターンが埋め込まれたフレームを交互にキャプチャ可能である。これによって連続するどの２枚の差分からも電子透かし検出の可能性が高いようにできる。つまり、キャプチャの開始タイミングによらない。
また、図３２に示すように「１／３０秒間隔でキャプチャし、差分は１／１０（の奇数倍）離れた検出対象領域画像間で行う」ように指示を行い、検出対象領域画像バッファ２５０には、１／３０秒でキャプチャされたフレームから得られた直近３枚分の検出対象領域画像がバッファリングされているとすると、１／３０秒毎に入力される新たな検出対象領域画像と、１／１０秒前、即ち、３枚前の検出対象領域画像との差分を順次とることで、毎回の透かし検出試行において、検出可能性が全て高いようにできる。
なお、入力がMPEGなどのディジタルの場合や、アナログビデオ信号など、入力のフレーム表示時刻を正確に得られる場合は、同期を合わせることができるのは自明であるので、上記と同様の処理によって各検出試行で検出可能性が高くなるようにできる。
＜本実施の形態の効果＞
本実施の形態によれば、第１の実施の形態の効果に加え、図３３Ａ、Ｂに示すように、透かしパターン切り替えタイミングと同期をとったタイミングでキャプチャ及び差分画像生成を行うことにより、常に透かしパターンが逆相となるものについての差分をとって検出を行うことができるので、全ての検出試行で透かしパターンが強調された差分画像からの検出となり、検出可能性を高くすることができる。これにより、検出可能性の低い無駄な試行を行うことがなくなるので、電子透かし検出に至るまでに必要な時間を短縮でき、キャップチャを開始してから素早く検出を成功させることができる。また、拡張現実感的なアプリケーションなど、透かし検出が成功しても検出を続行する場合は、検出成功状態が途切れることなく持続するので、ユーザインタフェースが改善され、利便性が向上するという効果も得られる。
［第４の実施の形態］
本実施の形態では、透かしパターンの位相の反転によって検出された透かし情報のビットが反転するタイプの変調方法を用いた場合でも正しい透かし情報を検出するための方法について説明する。
本実施の形態は、以下に説明する部分を除いて、第１〜第３の実施の形態と同様である。
図３４Ａ、Ｂは、本発明の第４の実施の形態における基本透かしパターン生成部の処理内容を示す。同図は、第１の実施の形態における図１０に示す電子透かし埋め込み装置１００の透かしパターン生成部１２０の基本透かしパターン生成部１２１の処理内容を示している。
第１〜第３の実施の形態における基本透かしパターン生成部１２１では、入力された透かし情報のみを基本透かしパターンに変調していた。本実施の形態では、入力された透かし情報に、透かし情報のビット反転判定用のフラグビットを１ビット追加して基本透かしパターンを生成する。あるいは、第１の実施の形態乃至第３の実施の形態と比較して透かし情報のビット長を１ビット少ないものを想定してビット反転判定用のフラグビットを追加し、第１乃至第３の実施の形態と同じビット長の情報を元に基本透かしパターンを生成するとしてもよい。図３４の例では、ビット反転判定用のフラグビットとしてビット値"０"が正位相、即ち、ビット反転なしを表すものとして付加される。
図３５は、本発明の第４の実施の形態における電子透かし検出部の動作のフローチャートである。
ステップ５０１） 電子透かし検出部２４０は、差分画像を入力として、まず、第１乃至第３の実施の形態の場合と同様に差分画像からの電子透かし検出を試みる。
ステップ５０２） 電子透かしが検出できた場合は、ステップ５０４に移行し、検出できない場合はステップ５０３に移行する。
ステップ５０３） 検出できない場合は、次のフレームキャプチャに復帰する。
ステップ５０４） 電子透かしが検出できた場合、検出した情報中のビット反転判定フラグの値を見て、その値が正位相を表すものであるかどうかを評価する。正位相を表すものである場合は、ステップ５０６に移行し、逆位相を表す場合はステップ５０５に移行する。
ステップ５０５） ビット反転判定フラグが逆位相を表すものであった場合は、ビット反転判定フラグを除いた情報のビットを反転したものを検出した透かし情報として検出結果を出力する。
ステップ５０６） 正位相を表すものであった場合は、検出情報からビット反転判定用フラグを除いた情報を検出した透かし情報とし、検出結果を出力する。
なお、第３の実施の形態のように、埋め込み時の透かしパターン切り替え情報と、キャプチャ時のフレーム表示時刻を用いることで、現在の差分画像中の透かしパターンの位相を判定することも可能であるのは明らかである。
＜本実施の形態の効果＞
本実施の形態の効果を図３６〜図３８を用いて説明する。
電子透かし埋め込み時の変調方法が第１の実施の形態で述べた図１２の変調方法（Ａ−１）の場合、検出の際には差分画像の画素値から検出対象系列を得て、これと拡散系列との相関をとって、相関値の正負でビット値"０"、"１"を検出することになる。図３６に変調方法（Ａ−１）の場合の復調を説明する。変調によって得られた基本透かしパターンは適宜位相を反転して動画像のフレーム画像に埋め込まれる。透かし入り動画像が符号化されたり、アナログ表示をキャプチャしたりする過程で埋め込まれた透かしパターンには様々なノイズが加わることになるので、差分画像から得られる検出対象系列は、埋め込み時の変調された透かし情報と比較して信号が変化している。しかし、埋め込み時に用いた拡散系列との相関をとれば、ビット"１"に相当する区間の相関値は正の大きな値を取り、ビット"０"に相当する区間の相関値は負の大きな値を取るはずである。これによって埋め込まれたビット情報の復調を行うことになる。
しかしながら、図３７に示すように、基本透かしパターンの位相は、透かしパターン切り替え部１２２によって時間方向で正位相・逆位相に切り替えられているので、例えば、図３７の（イ）と（ロ）のフレームから得られる差分画像を考えると、（イ）には基本透かしパターンの逆相、（ロ）には基本透かしパターンの同相が埋め込まれているので、（ロ）−（イ）で得られる差分画像は基本透かしパターンとして同相、即ち正位相となり、透かし情報は正しく検出できる。しかしながら、キャプチャのタイミングによっては（ハ）と（ニ）のフレームからの差分画像のケースも有り得る。この場合（ハ）は基本透かしパターンと同相、（ニ）は基本透かしパターンと逆相であるため、差分画像は基本透かしパターンの逆相の形となる。このとき、透かし検出を行うと、図３６で述べた検出対象系列の各項の値が正負逆転しているため、相関値の符号が反転してしまう。即ち、透かし情報"０１"を埋め込んだにも関わらず、そのビット反転である"１０"を正しく検出、といった問題が生じる。
本実施の形態は、この問題を避けるためのものであり、図３８のように埋め込まれている透かし情報にビット反転判定フラグを追加している。これに検出時の透かし情報がビット反転してしまっているか否かを判定できる。即ち、差分画像が基本透かしパターンと同相であるか逆相であるかを判定できる。検出情報のビット反転フラグが正位相を表す値だった場合にはそのままビット値で透かし情報とし、逆相を表す値となっている場合は、検出情報のビット値を反転して透かし情報とすることで、キャプチャで得られた２枚のフレームの取り方によらず、常に正しい透かし情報を検出することができる。この方法は、極性利用型の変調方法であれば全て適用することが可能である。
なお、第１の実施の形態で述べた変調方法（Ａ−２）〜（Ａ−４）、（Ｂ−２）〜（Ｂ−４）については、差分画像の画素値（の単純な総和）を元に検出対象系列を構成するものではなく、差分画像の取り方によらず常に一定の透かし情報を検出できる。また、変調方法（Ｂ−１）のように、相関値の正負で情報を表すものではなく、どの拡散系列と大きな相関絶対値を取ったかによって情報を変復調することが可能なタイプの変調方法では、差分画像が正位相の場合は正の相関値、逆相の場合は負の相関値が出ることについては（Ａ−１）と同様であるが、相関値の絶対値が大きいものを検出シンボルとすれば差分画像が正位相あるいは逆相であっても、常に問題なく検出ができるため、このような工夫は必要ない。まとめると以下のようになる。
＜２次元パターン変復調の種別＞
（１）パターン振幅利用型：画像中のパターンの振幅を元に検出対象系列を構成するため、差分画像が反転すると検出対象系列が反転する（変調方法（Ａ−１），（Ｂ−１））
（２）パターン形状利用型：画像中のパターン形状を元に検出対象系列を構成するため、差分画像が反転しても検出対象系列が反転しない（変調方法（Ａ−２）〜（Ａ−４）、変調方法（Ｂ−２）〜（Ｂ−４））
＜スペクトラム拡散変復調の種別＞
（ａ）極性利用型：拡散系列との相関値の正負の極性で情報を表現している方法（変調方法（Ａ−１）〜（Ａ−４））
（ｂ）極性非利用型：複数の拡散系列のうちの最大絶対相関値をとる系列の種類によって情報を表現している方法（変調方法（Ｂ−１）〜（Ｂ−４））
差分画像が反転した場合にビット値が反転するのは（１）かつ（ａ）、すなわち例示した中では変調方法（Ａ−１）の場合のみである。
［第５の実施の形態］
本実施の形態では、第４の実施の形態において用いた位相判定用フラグを用いずに位相同期信号の多重透かし埋め込みを用いる例を説明する。
本実施の形態は、以下に説明する部分を除いて、前述の第１乃至第３の実施の形態と同一である。
図３９は、本発明の第５の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。同図は、電子透かし埋め込み装置１００における透かしパターン生成部１２０の基本透かしパターン生成部１２１の処理の内容を示す。第１乃至第３の実施の形態における基本透かしパターン生成部１２１では、入力された透かし情報のみを基本透かしパターンに変調していた。本実施の形態では、入力された透かし情報のみではなく、検出時の差分画像の透かしパターンの位相を特定するための位相同期信号も埋め込まれるように基本透かしパターンを生成する。
図３９の例では、変調方法（Ａ−１）を用いて第１乃至第３の実施の形態と同様に、基本透かしパターン（甲）を得て、さらに、常に"０"の値を取る位相同期信号を変調方法（Ｂ−１）で変調して得られる基本透かしパターン（乙）を位相判定用透かしパターンとして生成し、両者を重畳によって多重化したものを基本透かしパターンとして埋め込みに用いることとする。
本実施の形態における電子透かし検出装置２００における電子透かし検出部２４０の処理の流れについて説明する。
図４０は、本発明の第５の実施の形態における電子透かし検出部の動作のフローチャートである。
ステップ６０１） 電子透かし検出部２４０は、差分画像を入力として、まず、第１乃至第３の実施の形態の場合と同様に差分画像からの電子透かし検出を試みる。
ステップ６０２） 電子透かしが検出できない場合は、ステップ６０３に移行し、検出できた場合はステップ６０４に移行する。
ステップ６０３） 次のフレームキャプチャに復帰する。
ステップ６０４） 電子透かしが検出できた場合は、位相同期信号の検出を試みる。位相同期信号は変調方法（Ｂ−１）で埋め込まれているので、"０"を表す拡散系列との相関値の絶対値が大きければ位相同期信号を検出でき、相関値の正負の極性で差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相か逆相かを判定できる。
ステップ６０５） 位相同期信号の検出時の相関値が正の場合は同相、負の場合は逆相と判定する。同相と判定した場合はステップ６０６に移行し、逆相と判定した場合はステップ６０７に移行する。
ステップ６０６） 同相と判定した場合は、検出した透かし情報をそのまま検出結果として出力する。
ステップ６０７） 逆相と判定した場合は、検出した透かし情報のビットを反転した上で検出結果として出力する。
＜本実施の形態の効果＞
第４の実施の形態では透かし情報の一部をビット反転判定用フラグとして用いたのに対し、本実施の形態では、差分画像中の透かしパターンの位相を判定するための位相同期信号を透かし情報と共に多重化して埋め込んでいる。この際、位相同期信号がパターン振幅利用型かつ、極性非利用型の変調により埋め込まれるので、検出時に極性を用いて差分画像中の透かしパターンの位相を判別することができる。これにより、第４の実施の形態と同様にキャプチャで得られた２枚のフレームの取り方によらず、常に正しい透かし情報を検出することができる。
また、第４の実施の形態と比較すると、ビット反転判定用フラグを用いないため、透かし情報のビット長を１ビット短くする必要がない。なお、パターン形状利用型であっても差分画像の反転を特定できるものなら位相同期信号埋め込みに用いても構わない。
［第６の実施の形態］
本実施の形態では、差分画像中の透かしパターンの埋め込み時の基本透かしパターンと同相か否かを判定し、必要に応じて位相反転して蓄積する例を説明する。
本実施の形態では、以下に説明する部分を除いて、第１〜第５の実施の形態と同一である。以下、説明を簡易にするため、第１の実施の形態との差分を述べる。
図４１は、本発明の第６の実施の形態における電子透かし検出部の構成を示す。
同図に示す電子透かし検出装置２００の電子透かし検出部２４０は、差分画像位相判定部２４１と透かし情報検出部２４２と差分画像蓄積バッファ２５５から構成される。
図４２は、本発明の第６の実施の形態における電子透かし検出部の動作のフローチャートである。
ステップ７０１） 差分画像位相判定部２４１は、差分画像が入力されると、入力された当該差分画像中の透かしパターンの位相を判別する。
ステップ７０２） 差分画像位相判定部２４１は、入力された差分画像中の透かしパターンの位相が、埋め込み時の基本透かしパターンと同相か逆相かを判定する。同相であった場合はステップ７０３に移行し、逆相であった場合はステップ７０４に移行する。
ステップ７０３） 同相であった場合は、今回入力された差分画像をそのまま差分画像蓄積バッファ２５５に加算し、ステップ７０５に移行する。
ステップ７０４） 逆相であった場合は、今回入力された差分画像を位相反転させて差分画像蓄積バッファ２５５に加算する。
ステップ７０５） 次に、透かし情報検出部２４２において、差分画像蓄積バッファ２５５に蓄積された加算された差分画像からの透かし情報の検出を試みる。
ステップ７０６） 検出に成功した場合はステップ７０８に移行し、成功しなかった場合はステップ７０７に移行する。
ステップ７０７） 成功しなかった場合は動画像入力部２１０において次のフレームキャプチャを行う処理に復帰する。
ステップ７０８） 成功した場合は、検出結果を出力する。
次に、差分画像位相判定部２４１について説明する。
図４３は、本発明の第６の実施の形態における差分画像位相判定部の処理を説明するための図である。
差分画像位相判定部２４１は、差分画像が入力されると、当該差分画像中の透かしパターンの位相が、埋め込み時の基本透かしパターンと同相か逆相かを判定する。判定の方法としては、差分画像から第４の実施の形態に示したビット反転判定フラグを検出し、その値で同相／逆相を判定する方法や、第５の実施の形態に示した位相同期信号を検出し、その値で同相／逆相を判定する方法などが有り得る。あるいは、第１の実施の形態の変調方法（Ｂ−１）のような、パターン振幅利用型かつ、極性非利用型の変調を用いて透かし情報を変調している場合は、各シンボル毎の検出処理において検出された絶対値最大の相関値の総和が、プラスの場合は同相、マイナスの場合は逆相と判別することなどが可能である。
差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相だと判定した場合は、今回入力された差分画像をそのまま差分画像蓄積バッファ２５５に加算する。逆相だと判定した場合は、今回入力された差分画像の位相を反転させて差分画像蓄積バッファ２５５に加算する。位相反転するには、例えば輝度成分であれば画像全体の画素値の正負を逆転させたり、あるいは今回の差分画像を生成するのに用いた検出対象領域画像がＸ，Ｙの２枚で、今回の差分画像がＸ−Ｙで求められたのだとすると、位相反転するにはＹ−Ｘの差分画像を用いればよい。
また、第３の実施の形態のように、埋め込み時の透かしパターン切り替え情報を用いて透かしパターン切り替えタイミングの同期が取れる場合には、切り替えタイミングから、例えば、隣あった透かしパターンの切り替えは逆相になるが、一つおきなら同相になるという原理を利用して、以下の差分画像蓄積時に全て同相となるように一つおきに位相反転しながら蓄積すればよい。
上記の処理によって図４４に示すように、差分画像蓄積バッファ２５５には、常に基本透かしパターンと同相な透かしパターンを持つ差分画像が次々に加算されていることになる。なお、ここで、「差分画像を加算」とは、画像の各座標毎の画素値を加算して得られる同サイズの画像を得ることを指す。
なお、前述の第３の実施の形態を利用した蓄積の場合、差分画像蓄積バッファ２５５に蓄積された結果は、埋め込み時の基本透かしパターンと同相あるいは逆相のいずれかの状態がそろった形で加算されたものとして得られるが、差分画像蓄積バッファ２５５からの検出に第４の実施の形態または、第５の実施の形態のような工夫を用いれば、逆相による問題を回避できる。
＜本実施の形態の効果＞
本実施の形態では、差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相か否かを判定し、必要に応じて位相反転することで、差分画像蓄積バッファ２５５に常に正位相な状態で順次加算を行い、加算された差分画像から透かし情報検出を試行している。
これにより、１枚の差分画像中の透かしパターンが微弱で十分に検出できない場合でも、複数の差分画像を統合して検出を行うこととなるので、検出が可能となる。図４４に示すとおり、透かしパターンは常に正位相な形で加算されていくので、差分画像蓄積バッファ２５５には原理上加算した回数分増幅された透かしパターンが得られる。しかし、一般に原動画像の差分は各々のタイミングで異なるので、透かしパターンに対するノイズである原動画像の差分信号は加算回数分増幅されない。これによって透かし信号のＳ／Ｎ比が向上し、第１乃至第５の実施の形態と比べて電子透かしの耐性が向上する。
また、この耐性向上を、画質劣化を抑えるように用いることもできる。即ち、第１乃至第５の実施の形態のように１枚の差分画像から検出を可能とするための透かし埋め込み強度よりさらに弱い強度でも差分画像蓄積によって検出ができるため、画質改善を実現できる。
［第７の実施の形態］
本実施の形態では、１枚の差分画像からは十分な検出性能が得られない場合でも検出可能とする方法について説明する。
本実施の形態は、以下に説明する部分を除いて、第１乃至第６の実施の形態と同一である。以下、説明を簡易にするため、第１の実施の形態との差分を述べる。
図４５は、本発明の第７の実施の形態における電子透かし検出部の構成を示す。
同図に示す電子透かし検出装置２００の電子透かし検出部２４０は、相関演算部２４３と、検出可否判定部２４４及び、相関値バッファ２４５を有する。
図４６は、本発明の第７の実施の形態における電子透かし検出部の動作のフローチャートである。
ステップ８０１） 電子透かし検出部２４０は、差分画像を入力とし、相関演算部２４３において、通常の電子透かし検出処理と同様に差分画像から検出対象系列を得て、拡散系列との相関値を求める。なお、この際、入力された差分画像のみから透かし情報の検出が成功した場合は、透かし情報を検出結果として出力して処理を終了してもよい。相関値は変調方法（Ａ−１）〜（Ａ−４）のようなビット毎拡散方式であれば透かし情報のビット数分、変調方法（Ｂ−１）〜（Ｂ−４）のようなシンボル毎拡散方式であればシンボル数×シンボル値の値域分得られる。
ステップ８０２） 相関演算部２４３で得られた相関値群は相関値バッファ２４５に各項加算される。
ステップ８０３） 次に、検出可否判定部２４４において、相関値バッファ２４５に格納された相関値群に対して閾値判定を行い、透かし情報の検出可否の判定を行う。
ステップ８０４） 検出できた場合はステップ８０６に移行し、検出できない場合はステップ８０５に移行する。
ステップ８０５） 透かし情報の検出ができない場合は、動画像入力部２１０の次のフレームキャプチャに復帰する。
ステップ８０６） 閾値判定にパスしたら、検出成功として相関値バッファ２４５の内容を元に検出した透かし情報を構成して検出結果を出力する。
次に、相関値バッファ２４５に関する処理の内容を説明する。
図４７は、本発明の第７の実施の形態における相関値バッファに関する処理の内容を説明するための図である。
相関演算部２４３では、差分画像から検出対象系列を取り出し、変調時に用いた拡散系列との相関を計算する。変調方法（Ａ−１）〜（Ａ−４）のようなビット毎拡散方式であれば、透かし情報のビット数分、変調方法（Ｂ−１）〜（Ｂ−４）のようなシンボル毎拡散方式であれば、シンボル数×シンボル値の値域分得られる（図４７では１シンボル＝１ビット、各シンボル毎に"０"または"１"の２値をとるようなシンボルが４つある例を示す）。
変調方法（Ａ−１）のように差分の位相によってビットが反転する可能性があるものについては、第４の実施の形態、または、第５の実施の形態のような方法で正位相に揃えてから相関をとるようにする。また、変調方法（Ｂ−１）〜（Ｂ−４）の場合は、差分の位相が反転している場合は相関値がマイナスをとるので、絶対値化しておく。相関演算部２４３で得られた相関値群は、相関値バッファ２４５に各相関値の項ごとに加算される。
また、第３の実施の形態のように、埋め込み時の透かしパターン切り替え情報を用いて透かしパターン切り替えタイミングの同期がとれる場合には、切り替えタイミングから、例えば、隣り合った透かしパターンの切り替えは逆相になるが、一つおきなら同相になる、という原理を利用して、一つおきに相関値の極性を反転させて蓄積することで常に相関値の極性を揃えて加算蓄積することもできる。
図４８Ａ、Ｂは、本発明の第７の実施の形態における相関値バッファに関する処理の内容を説明するための図である。
検出可否判定部２４４は、相関値バッファ２４５に蓄えられた相関値に対して閾値判定を行い、検出成功か否かを判定する。変調方法（Ａ−１）〜（Ａ−４）のようなビット毎拡散方式の場合は、各ビット位置毎の相関値の絶対値がすべて閾値以上なら検出成功と判定したり、図４８Ａ、Ｂのように各ビット位置毎の相関値の絶対値和をとり、その結果に対して閾値判定をしてもよい。また、変調方法（Ｂ−１）〜（Ｂ−４）のようなシンボル毎拡散方式であれば、各シンボル位置毎の相関値の最大値がすべて閾値以上なら検出成功と判定する、などとすればよい。なお、閾値の値を相関値蓄積バッファ２４５への加算回数に応じて変化させたり、閾値判定前に相関蓄積バッファ２４５の各項値を加算回数で割り算するなどを適宜行うものとする。
なお、上記の第３の実施の形態を利用した蓄積の場合、相関値バッファ２４５に蓄積された結果に対して、第４の実施の形態、または、第５の実施の形態のような工夫を用いれば、極性反転による問題を回避できる。
＜本実施の形態の効果＞
本実施の形態では、差分画像からの検出の際に算出される相関値について加算蓄積した結果を元に検出可否を判定している。これにより、１回の検出試行では検出が困難であった場合でも、複数枚の差分画像からの検出結果を統合することにより検出可能とすることができ、検出性能が向上する。
［第８の実施の形態］
本実施の形態では、以下に説明する部分を除いて、前述の第１乃至第７の実施の形態と同一である。以下、説明を簡単にするため第１の実施の形態との差分を述べる。
図４９は、本発明の第８の実施の形態における透かしパターン生成部の構成を示す。同図に示す電子透かし埋め込み装置１００の透かしパターン生成部１２０は、基本透かしパターン生成部１２１、透かしパターン切り替え部１２２、透かし情報分解部１２３から構成される。
図５０は、本発明の第８の実施の形態における透かしパターン生成部の動作のフローチャートである。
ステップ９０１） 透かしパターン生成部１２０に透かし情報、透かしパターン切り替え情報、フレーム表示時刻が入力されると、透かし情報分解部１２３において、透かし情報をより短いビット情報であるデータブロック情報に細分する。
ステップ９０２） 透かし情報分割部１２３は、フレーム表示時刻を参照して今回のフレーム画像に埋め込むべきデータブロックが何番目かを示すデータブロックＩＤと、当該データブロックＩＤのデータブロックのビット情報であるデータブロック情報を基本透かしパターン生成部１２１に送る。
ステップ９０３） 基本透かしパターン生成部１２１では、データブロックＩＤとデータブロック情報から基本透かしパターンを生成する。
ステップ９０４） 最後に、透かしパターン切り替え部１２２において、フレーム表示時刻と透かしパターン切り替え情報の関係から、基本透かしパターンの位相反転の要否を判定する。
ステップ９０５） 基本透かしパターンの位相反転が必要である場合は、ステップ９０６に移行し、必要でない場合にはステップ９０７に移行する。
ステップ９０６） 必要がある場合には基本透かしパターンの位相を変更し、透かしパターンとして出力し、処理を終了する。
ステップ９０７） 基本透かしパターンとして出力し、処理を終了する。
次に、透かし情報分割部１２３について詳細に説明する。
図５１は、本発明の第８の実施の形態における透かし情報分割部の処理を説明するための図である。
同図の例では、透かしパターン切り替え情報が「１／１０秒毎に反転」を指示するものであるとし、原動画像データが３０フレーム／秒のフレームレートであるとし、透かし情報が１６ビットであるとしている。透かし情報分割部１２３は、透かし情報を予め定めたビット長のデータブロックに分割する。図５１の例では、１６ビットの透かし情報を４ビットのデータブロック４つに分割している。
また、各データブロックが何番目のものかを表すデータブロックＩＤを（図５１のａ，ｂ，ｃ，ｄ）を同時に取得する。そして透かしパターン切り替え情報を参照しながら、今回のフレームに埋め込むべきデータブロックを選択し、選択されたデータブロック情報とデータブロックＩＤを基本透かしパターン生成部１２１に送る。図５１の例では、「透かしパターン反転一周期（６／３０秒）毎にデータブロックを切り替え」という処理の内容を示しており、６フレーム毎にデータブロックを切り替えている。
なお、データブロックが最後のデータブロックまで到達した場合は、先頭に戻って循環的に選択を行う。また、最後のデータブロックを選択した場合は、透かし情報の終端であることを示す終端情報も基本透かしパターン生成部１２１に送るようにしてもよい。
図５１では、透かしパターンの一反転周期毎にデータブロックを順次切り替える例を示しているが、３反転周期毎にする、反転周期と別のデータブロック切り替え周期毎とする、データブロックの切り替えを順次ではなくランダムに選択するなど、様々なバリエーションが有り得る。
次に、基本透かしパターン生成部１２１について説明する。
図５２Ａ、Ｂは、本発明の第８の実施の形態における基本透かしパターン生成部の処理を説明するための図である。
基本透かしパターン生成部１２１は、第１乃至第６の実施の形態とは異なり、透かし情報そのものではなく、透かし情報を細分したデータブロックと該データブロックの順番を表すデータブロックＩＤを変調して基本透かしパターンを生成する。
また、透かし情報分割部１２３から最後のデータブロックを表す終端情報を受け付けた場合は、 "１"にするなどして、検出時にデータブロックの終端の判別ができるようしてもよいが、常に固定のデータブロック数、例えば、４つのみを前提としている場合には不要である。
また、第４乃至第６の実施の形態のように、検出時の差分画像の位相を判別するための情報の埋め込みを同時に行ってもよい。
図５３は、本発明の第８の実施の形態における電子透かし検出装置の構成を示す。
同図に示す電子透かし検出装置２００Ｄと第１の実施の形態における装置２００Ａとの差異は、電子透かし検出部２４０以降の処理である。
図５４は、本発明の第８の実施の形態における電子透かし検出装置の動作のフローチャートである。
ステップ１００１） 動画像入力部２１０において、動画像をキャプチャしてフレーム画像を順次取得する。
ステップ１００２） 検出対象領域抽出部２２０において、現在キャプチャしたフレーム画像中の検出対象領域画像を抽出する。
ステップ１００３） 差分画像生成部２３０において、現在取得した検出対象領域画像と、以前に取得した検出対象領域画像との差分画像を生成する。
ステップ１００４） 電子透かし検出部２４０は、第１の実施の形態と同様に差分画像からの電子透かし検出試行により、埋め込まれている情報の検出を試みる。
ステップ１００５） 検出成功した場合は、ステップ１００６に移行する、検出成功しなかった場合はステップ１００１に移行する。
ステップ１００６） 検出成功した場合、第１の実施の形態とは異なり、検出した情報は透かし情報そのものではなく、その一部であるデータブロック情報と対応するデータブロックＩＤであるので、これらの情報を検出データブロック蓄積部２８０に送る。検出データブロック蓄積部２８０は、今回検出したデータブロックＩＤで示される位置の検出透かし情報バッファのデータ値に、検出データブロック情報の値を設定する。
ステップ１００７） 全ての検出透かし情報バッファ中のデータブロックの検出が成功したらステップ１００８に移行する。電子透かし検出部２４０で差分画像からの電子透かし検出に失敗したり、検出データブロック蓄積部２８０において未だバッファリングされていないデータブロックが存在する場合は、動画像入力部２１０におけるキャプチャに復帰し、検出処理を続行する。
ステップ１００８） 検出透かし情報バッファの値を、検出した透かし情報として検出結果を出力する。
図５５は、本発明の第８の実施の形態における検出データブロック蓄積部の構成を示す。同図に示す検出データブロック蓄積部２８０は、検出データブロックバッファリング部２８１、検出完了確認部２８２、検出透かし情報バッファ２８３を有する。
上記の検出データブロック蓄積部２８０の動作を説明する。
図５６は、本発明の第８の実施の形態における検出データブロック蓄積部の動作のフローチャートである。図５７、図５８は、検出データブロック蓄積部の処理の内容を示す。
ステップ１１０１） 検出データブロック蓄積部２８０は、検出データブロックＩＤと、検出データブロック情報が入力される。
ステップ１１０２） まず、検出透かしデータブロックバッファリング部２８１において、検出透かし情報バッファ２８３中の、入力された検出データブロックＩＤで示されるデータ位置のデータ値を、入力された検出データブロック情報の値にセットする。
検出透かし情報バッファ２８３は、図５７のように、初期状態では全てのデータブロックＩＤのデータブロックが未検出という状態になっており、検出データブロックＩＤ及び検出データブロック情報が入力される度に、順次未検出から検出済みの状態に変化する。なお、既に検出済みのデータブロックＩＤが入力された場合は、検出透かし情報バッファ２８３の当該データブロックＩＤのデータ値を、検出データブロック情報で上書してもよいし、上書きせずに何もしなくても構わない。
図５７は、データブロックの個数が予め定まっている場合の処理の内容を示している。また、埋め込みの際にデータブロックの終端フラグを埋め込んでいるような場合、図５８のように、初期状態では、データブロックが全部で何個あるのかは分からない。しかし、終端フラグの立っているデータブロックＩＤを入力すると、全部で何個のデータブロックであるかが判明するので、未検出のデータブロックを特定することができる。これ以降は、データブロックの個数が定まっている場合の処理と同様に処理すればよい。終端情報を利用することで、任意長の透かし情報の埋め込み・検出を取り扱うことが可能となる。
ステップ１１０３） 次に、検出完了確認部２８２において、検出透かし情報バッファ２８３中の全てのデータブロックが検出済みとなったか否かを判定し、全て検出済みとなった場合はステップ１１０４に移行し、未検出のデータブロックが残っている場合にはステップ１１０５に移行する。
ステップ１１０４） 全て検出済みとなった場合は、検出透かし情報バッファ２８３のデータ値を検出した透かし情報として検出結果を出力する。
ステップ１１０５） 未検出のデータブロックが残っている場合には、動画像入力部２１０のフレームキャプチャに復帰し、検出試行を続行する。
なお、本実施の形態では、主に、第１の実施の形態との差分を述べたが、本実施の形態の工夫を、第２乃至第７の実施の形態の工夫と組み合わせて実施することが容易であるのは自明である。例えば、データブロック毎に、第６の実施の形態のように差分画像を蓄積したり、第７の実施の形態のように相関値を蓄積したりして検出することで検出性能が向上することなどは自明である。
＜本実施の形態の効果＞
本実施の形態では、透かし情報をデータブロックに分割して時間的にデータブロックを切り替えながら透かし埋め込みを行い、検出側では検出したデータブロックを順次蓄積し、全てのデータブロックの検出済みとなった場合に透かし検出成功としている。これにより、一枚の差分画像に対する透かしアルゴリズムの埋め込み情報長限界を超えた、より長い情報長の透かし情報の埋め込み・検出が可能となる、あるいは、各フレームの埋め込む情報長を減らして耐性向上を実現することができる。
また、終端情報の埋め込み・検出により、任意長の情報を取り扱うことができ、より長い情報を必要とするアプリケーションが実現できるなど、利用範囲が広がる。
［第９の実施の形態］
本実施の形態では、データブロックＩＤをパターン振幅利用型かつ、極性非利用型の変調で透かし情報に多重化して埋め込みを行う例を説明する。
本実施の形態は、以下に説明する部分を除いて、前述の第８の実施の形態と同一である。
本実施の形態における電子透かし埋め込み装置内１００の基本透かしパターン生成部１２１の処理の内容を説明する。
図５９は、本発明の第９の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。
本実施の形態では、基本透かしパターンの入力であるデータブロック情報とデータブロックＩＤについて、まず、データブロック情報について第５の実施の形態と同様に、変調方法（Ａ−１）で変調して基本透かしパターン（甲）を得る。
次に、データブロックＩＤについては、第５の実施の形態の位相同期信号（常に同じ値）の代わりに、多値のデータブロックＩＤ（必要ならデータブロック終端情報も合わせて）を変調方法（Ｂ−１）を用いて基本透かしパターン（乙）を得る。
最後に基本透かしパターン（甲）と基本透かしパターン（乙）を重畳して合成し、基本透かしパターンを得る。
図６０は、本発明の第９の実施の形態における電子透かし検出部の動作のフローチャートである。
ステップ１２０１） 電子透かし検出部２４０は、差分画像を入力として、まず、第８の実施の形態の場合と同様に差分画像からのデータブロック情報検出を試みる。
ステップ１２０２） データブロック情報が検出できた場合は、ステップ１２０４に移行し、検出できなかった場合は、ステップ１２０３に移行する。
ステップ１２０３） 動画像入力部２１０の次のフレームキャプチャに復帰する。
ステップ１２０４） データブロック情報が検出できた場合は、続いて、データブロックＩＤの検出を試みる。
ステップ１２０５） データブロックＩＤは変調方法（Ｂ−２）で埋め込まれているので、まず、相関演算の絶対値を用いてデータブロックＩＤを検出することができ、そのときの相関値の正負の極性で差分画像中の透かしパターンが埋め込み時の基本透かしパターンと同相か逆相かを判定できる。データブロックＩＤの検出時の相関値が正の場合は、正位相、負の場合は逆相と判定する。正位相と判定した場合はステップ１２０７に移行し、逆相と判定した場合は、ステップ１２０６に移行する。
ステップ１２０６） 逆相の場合は、検出したデータブロック情報のビットを反転した上で、データブロックＩＤと共に出力する。
ステップ１２０７） 正位相と判定した場合は、検出したデータブロック情報をそのままとし、データブロックＩＤと共に出力する。
なお、本実施の形態では、第８の実施の形態と同様に、本実施の形態の工夫を第１乃至第７の工夫と組み合わせて実施することが容易であるのは自明である。例えば、データブロック毎に第６の実施の形態のように差分画像を蓄積したり、第７の実施の形態のように相関値を蓄積したりして検出することで検出性能が向上することなどは自明である。
＜本実施の形態の効果＞
本実施の形態では、データブロックＩＤをパターン振幅利用型かつ、極性非利用型の変調で透かし情報に多重化して埋め込みを行っている。これにより、各フレームに埋め込まれるデータブロック情報の情報長を長くできる。
さらに、データブロックＩＤ検出時の相関の極性を利用して透かしパターンの位相判定を行えるため、別途ビット反転判定用のフラグなどを用意する必要もなく、さらに、情報長の拡大に寄与できる。即ち、データブロックＩＤの極性非利用型変調を用いることにより、データブロックＩＤの検出と同時に透かしパターンの位相判定も可能となるので、一石二鳥である。
なお、パターン形状利用型であっても差分画像の反転を特定できるものならデータブロックＩＤ埋め込みに用いて構わない。
［第１０の実施の形態］
本実施の形態では、位相を合わせた差分画像蓄積を行う例を説明する。
本実施の形態は、以下に説明する部分を除いて、第１乃至第９の実施の形態と同一である。以下、説明を簡易にするため第８の実施の形態との差分を述べる。
本実施の形態における電子透かし検出装置２００内の電子透かし検出部２４０について説明する。
図６１は、本発明の第１０の実施の形態における電子透かし検出部の構成を示す。
同図に示す電子透かし検出部２４０は、差分画像位相判定部２４１、データブロックＩＤ検出部２４６、データブロック情報検出部２４７、及び複数のデータブロックＩＤ＝ｎ用差分画像蓄積バッファ２４８から構成される。
図６２は、本発明の第１０の実施の形態における電子透かし検出部の動作のフローチャートである。
ステップ１３０１） 電子透かし検出部２４０は、差分画像が入力されると、データブロックＩＤ検出部２４６において、データブロックＩＤの検出を試みる。
ステップ１３０２） 次に、差分画像位相判定部２４１において、差分画像中の透かしパターンの位相を前述の第６の実施の形態のようにして検出する。
ステップ１３０３） 差分画像位相判定部２４１は、正位相である場合は、ステップ１３０４に移行し、逆位相である場合はステップ１３０５に移行する。
ステップ１３０４） 正位相である場合は、今回の差分画像を検出データブロックＩＤに対応する差分画像バッファ２４８に加算し蓄積し、ステップ１３０６に移行する。
ステップ１３０５） 逆位相である場合は、正位相となるように差分画像を変更した上で、検出データブロックＩＤに対応する差分画像バッファ２４８に蓄積する。図６１に示すように、電子透かし検出部２４０は、差分画像バッファ２４８をデータブロックＩＤの種類分有している。
ステップ１３０６） 次に、データブロック情報検出部２４７において、今回検出したデータブロックＩＤに対応する差分画像蓄積バッファ２４８からのデータブロック情報の検出を試みる。
ステップ１３０７） 検出成功した場合は、ステップ１３０８に移行し、検出成功しなかった場合は、ステップ１３０９に移行する。
ステップ１３０８） 検出成功した場合は、今回のデータブロックＩＤと検出したデータブロック情報を出力する。
ステップ１３０９） 検出成功しなかった場合は、動画像入力部２１０のキャプチャ処理に復帰する。
＜本実施の形態の効果＞
本実施の形態によれば、データブロックを用いた透かし情報長拡大時に、差分画像蓄積による耐性向上も同時に実現でき、検出性能が向上する。
［第１１の実施の形態］
本実施の形態では、相関値を蓄積する例を説明する。
本実施の形態は、以下に説明する部分を除いて、第１乃至第１０の実施の形態と同一である。以下、説明を簡易にするため第８の実施の形態との差分を述べる。
図６３は、本発明の第１１の実施の形態における電子透かし検出部の構成を示す。
同図に示す電子透かし検出部２４０は、データブロックＩＤ検出部２４６、検出可否判定部２４４、相関演算部２４９、データブロックＩＤ＝ｎ用相関値バッファ２５１を有する。同図に示すように、電子透かし検出部２４０は、データブロックＩＤ＝ｎ用相関値バッファ２５１をデータブロックＩＤの種類分持っている。
上記の構成の電子透かし検出部２４０の動作を説明する。
図６４は、本発明の第１１の実施の形態における電子透かし検出部の動作のフローチャートである。
ステップ１４０１） 電子透かし検出部２４０は、差分画像が入力されると、まず、データブロックＩＤ検出部２４６において、データブロックＩＤの検出を試みる。
ステップ１４０２） 次に、相関演算部２４９において、データブロック情報検出試行を行うことで算出される相関値を求める。
ステップ１４０３） 求められた相関値を検出データブロックＩＤに対応する相関値バッファ２５１に加算蓄積する。なお、この際、入力された差分画像のみからデータブロック情報の検出が成功した場合は、データブロックＩＤと共に出力して処理を終了してもよい。
ステップ１４０４） 次に、検出可否判定部２４４において、今回検出したデータブロックＩＤに対応する相関値バッファ２５１について、第７の実施の形態と同様に閾値判定によりデータブロック情報の検出可否を判定する。
ステップ１４０５） 検出可能と判定した場合はステップ１４０６に移行し、検出成功しなかった場合は、ステップ１４０７に移行する。
ステップ１４０６） 検出可能と判定された場合には、今回の相関値バッファ２５１の値からデータブロック情報を構成し、今回のデータブロックＩＤと共に出力する。
ステップ１４０７） 検出成功しなかった場合は、動画像入力部２１０のキャプチャ処理に復帰する。
＜本実施の形態の効果＞
本実施の形態によれば、データブロックを用いた透かし情報長拡大時に、相関値バッファ２５１による耐性向上も同時に実現でき、検出性能が向上する。
［第１２の実施の形態］
本実施の形態では、電子透かし検出処理の状況をリアルタイムにフィードバック出力する例を説明する。
本実施の形態は、以下に説明する部分を除いて、第１乃至第１１の実施の形態と同一である。以下説明を簡易にするため第１の実施の形態との差分を述べる。
図６５は、本発明の第１２の実施の形態における電子透かし検出装置の構成を示す。同図に示す電子透かし検出装置２００Ｅと第１の実施の形態との相違は、現在のキャプチャフレーム画像、現在の検出対象領域抽出状況情報、現在の電子透かし検出の検出状況情報を随時入力し、第１の実施の形態相当の電子透かし検出処理と並列にフィードバック情報を生成し出力するフィードバック出力部２６５を有する点である。
図６６は、本発明の第１２の実施の形態における電子透かし検出装置の動作のフローチャートである。
同図において、ステップ１５０１〜ステップ１５０６は、図２０のステップ２０１〜ステップ２０６の処理と同様であるので説明は省略するが、以下のステップ１５０７の処理をこれらの処理と並列に行うものである。
ステップ１５０７） フィードバック出力部２６５において、現在フレーム画像、現在の検出対象領域抽出状況情報、現在の電子透かし検出の検出状況情報を随時入力し、第１の実施の形態相当の電子透かし検出処理と並列にフィードバック情報を生成し出力する。
図６７，６８，６９は、本発明の第１２の実施の形態における電子透かし検出装置のフィードバック出力の例である。
電子透かし検出装置２００Ｅの動画像入力部２１０で得られたキャプチャフレーム画像をリアルタイムに描画するプレビュー画面を持ち、検出対象領域抽出部２２０で得られた検出対象領域をプレビュー画面上に合成し（図６７のａ）、電子透かし検出部２４０で得られた検出強度、例えば、復調時の相関値の大きさをグラフィカルに表示したり（図６７のｂ）、検出強度に応じて音色や音量を変えて音声出力したりする。
また、データブロックを用いている場合には、図６８のように現在までにバッファリングできたデータブロックの検出状況を合成したりする。
あるいは、図６９のように、撮影角度によって生じる平面射影歪みの程度がきつかったり、離れた位置から撮影しているため、キャプチャフレーム画像中の検出対象領域の画素面積が小さすぎたりして、電子透かしの検出が困難になっている場合には、撮影角度の調整や、ズームアップが必要であるというメッセージを表示し、ユーザに調整を促すようにしたりする。
＜本実施の形態の効果＞
本実施の形態では、電子透かし検出処理の状況を、リアルタイムにフィードバック出力することで、インタラクティブ性が増すことによって利便性が向上する。特に、検出しやすい状況になるようにユーザを促すことにより、検出性能の向上が期待できる。
［第１３の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第１２の実施の形態と同一である。以下、説明を簡易にするために第１の実施の形態との差分を述べる。
本実施の形態における電子透かし埋め込み装置１００内の透かしパターン重畳部１３０の処理について説明する。
図７０は、本発明の第１３の実施の形態における透かしパターン重畳部の処理を説明するための図である。
透かしパターン重畳部１３０は、フレーム画像と、当該フレーム表示時刻に基づいて生成された透かしパターンを入力する。透かしパターン重畳部１３０では、まず、透かしパターンをフレーム画像以下の所与のサイズまでサイズ変更して、その後フレーム画像の中央領域に加算して、透かし入りフレーム画像を得る。
次に、本実施の形態における電子透かし検出装置２００Ｆについて説明する。
図７１は、本発明の第１３の実施の形態における電子透かし検出装置の構成を示す。
同図に示す電子透かし検出装置２００Ｆは、テレビなどにディスプレイ表示されたアナログ動画像をカメラによりリアルタイムビデオキャプチャしたものや、あるいは、MPEGエンコードされたようなディジタル動画像が入力される動画像入力部２１０、差分画像生成部２３０、検出対象領域抽出部２２０、電子透かし検出部２４０、及びフレーム画像バッファ３０１から構成される。
上記の構成における動作を説明する。
図７２は、本発明の第１３の実施の形態における電子透かし検出装置の動作のフローチャートである。
ステップ１５０１） 動画像入力部２１０において、アナログまたはディジタル動画像を入力し、順次フレーム画像を取得する。アナログ動画像の入力の際はカメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
ステップ１５０２） 次に、差分画像生成部２３０において、現在取得したフレーム画像と、フレーム画像バッファ３０１に蓄積されている、以前に取得したフレーム画像との差分を取り、差分フレーム画像を生成する。
ステップ１５０３） また、次の検出試行に備えて、フレーム画像バッファ３０１に今回のフレーム画像をバッファリングしておく。
ステップ１５０４） 次に、検出対象領域抽出部２２０において、差分フレーム画像中の、透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。
ステップ１５０５） 続いて、電子透かし検出部２４０において、検出対象領域画像から電子透かし検出を試み、検出結果を出力する。
ステップ１５０６） 電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
次に、上記の差分画像生成部２３０の処理を詳細に説明する。
図７３は、本発明の第１３の実施の形態における差分画像生成部の処理を説明するための図である。
差分画像生成部２３０は、現在取得したフレーム画像と、フレーム画像バッファ３０１に蓄積されている、以前に取得したフレーム画像との差分を取り、差分フレーム画像を生成する。ここで、上記２枚のフレーム画像を撮影しているときのカメラの動きが殆ど無いとする。図７３のように、差分フレーム画像では透かしパターンの切り替えによって生じた差分の変化の大きい部分と、変化の無い背景部分が区別可能となる。
次に、検出対象領域抽出部２２０の処理を詳細に説明する。
図７４は、本発明の第１３の実施の形態における検出対象領域抽出部の処理を説明するための図である。
検出対象領域抽出部２２０は、差分フレーム画像を入力とし、差分フレーム画像中の、透かし検出の対象となる検出対象領域を抽出して、検出対象領域画像を取得する。図７４では、差分フレーム画像を絶対値化して、文献３の縁検出方法を用いて検出対象領域の歪みパラメータを検出し、絶対値化する前の元の差分フレーム画像の歪み補正、サイズ正規化を行って検出対象領域画像としている。このようにして得られた検出対象領域画像は埋め込み時の基本透かしパターンとノイズによる影響などを除いて同一であるから、電子透かしの検出が可能になることは、第１乃至第１２の実施の形態の内容から明らかである。
また、本実施の形態は、第１乃至第１２の各々の工夫を任意に組み合わせても実施できることも自明である。
＜本実施の形態の効果＞
本実施の形態における効果を図７５〜図７７を用いて説明する。
まず、第１乃至第１２の実施の形態における電子透かし埋め込みにおいては、入力された動画像のフレームサイズと同じサイズの透かしパターンが重畳されていた。また、電子透かし検出時は、カメラでキャプチャしたフレーム中のテレビ受像機の表示領域の縁を検出するなどして検出対象領域を抽出していた。しかし、図７５に示すように、テレビ受像機の形状など動画像の再生環境は一定ではないことが考えられるため、図７５（Ａ）のように、正しく表示画面領域を検出対象領域として抽出した場合は電子透かしの検出に成功するが、図７５（Ｂ）の例のようにテレビ受像機の外側を縁検出してしまったり、図７５（Ｃ）の例のようにテレビ受像機の表示画面の外側に付けられた枠状の意匠を検出してしまったりして、検出対象領域を正しく抽出できないことが有り得る。
この場合、差分画像上では透かしパターン差分画像の内側に縮小された形になってしまい、正しくブロック分割ができないことから第１乃至第１２の方法では、電子透かしの検出に失敗してしまう。
また、図７６の例に、もともとの動画像がアスペクト比１６：９のワイド映像であったとし、これをアスペクト比４：３のモニタに表示することを考える。この場合、一般によく用いられる表示の仕方として、ワイド画面の左右の端を切り取って表示したり、あるいは、１６：９のワイド画面が４：３の画面に収まるように縮小して画面上に押し込める、といったことがある。このようにして表示された場合に、検出対象領域抽出によって表示画面の縁が正しく検出できたとしても、そもそも表示されている映像自体が一部切り取られていたり、余計な余白がついていたりするため、図７５の例と同様に、電子透かし検出に失敗してしまう。また、画面の端が切り取られるという問題については、ワイド映像のみならず、例えば、ブラウン管表示の際に、映像信号の端の部分はそもそも表示されないという、いわゆるオーバースキャンによって映像信号の一部が切り取られ、電子透かしの検出が困難になることが考えられる。
本実施の形態は、この問題を解決するためのものであり、透かしパターンをフレーム画像のサイズよりも小さくし、フレーム画像の中央領域に重畳する。これによって、例えば、ワイド画面を４：３表示する際のフレーム画像の欠けを見込んで、確実に表示される領域のみに透かしパターンを重畳することができる。しかしこのままでは検出時に検出対象領域と透かしパターンの領域が一致しない。このため、本実施の形態では、図７３のように、キャプチャしたフレーム画像間の差分フレーム画像を生成し、図７４のように差分フレーム画像から検出対象領域を抽出するようにする。カメラ撮影時にカメラの動きが殆どないとすると、差分フレーム画像では透かしパターンの切り替えによって、検出対象領域のみが差分（の絶対値）が大きい状態になる。これによって縁を用いた矩形認識技術などにより検出対象領域を抽出し、図７７及び図７８のように、電子透かし検出が可能となる。
［第１４の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１３の実施の形態と同一である。
図７９は、本発明の第１４の実施の形態における基本透かしパターン生成部の処理の例を説明するためのである。
本実施の形態における透かしパターン生成部１２０の基本透かしパターン生成部１２１は、第１乃至第１２の実施の形態と同様にして生成される基本透かしパターンに、プラス／マイナスの画素値を用いて枠を付加し、これを基本透かしパターンとする。
図８０は、本発明の第１４の実施の形態における検出対象領域抽出部の処理を説明するための図である。
検出対象領域抽出部２２０は、差分フレーム画像を入力とし、差分フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。図８０では、差分フレーム画像に対して、文献３の縁検出方法を用いて検出対象領域の歪みパラメータを検出し、歪み補正、サイズ正規化を行って検出対象領域画像としている。このようにして得られた検出対象領域画像は埋め込み時の基本透かしパターンとノイズによる影響などを除いて同一であるから、電子透かしの検出が可能となることは、第１乃至第１２の実施の形態の内容から明らかである。
また、本実施の形態は、第１乃至第１３の実施の形態の各々の工夫を任意に組み合わせても実施できることも自明である。
＜本実施の形態の効果＞
本実施の形態の効果を、図８１Ａ、Ｂを用いて説明する。まず、第１３の実施の形態における検出対象領域抽出処理は、差分フレーム画像の絶対値を用いて縁検出などを行うことで領域抽出をしていた。この際、縁部分のエッジのコントラストは、差分フレーム画像の絶対値化であるため、ノイズの影響などを無視すれば、埋め込み時の透かしパターン振幅の２倍の差がある。
本実施の形態では、基本透かしパターンとして、第１乃至第１２の実施の形態における基本透かしパターンにプラス／マイナスの画素値を持つ枠を付加する。また、検出対象領域抽出時には、差分フレーム画像のまま、縁認識などを行うことで領域抽出を行う。このため、縁部分のエッジのコントラストは、埋め込み時の透かしパターン振幅の４倍となり、第１３の実施の形態と比べてエッジの検出がしやすくなる。このため、検出対象領域の抽出がより確実に高い信頼度で行えるようになり、電子透かしの検出性能向上を実現できる。
［第１５の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１４の実施の形態と同一である。
本実施の形態の電子透かし埋め込み装置における透かしパターン生成部１２０内の基本透かしパターン生成部１２１の処理について説明する。
図８２は、本発明の第１５の実施の形態における基本透かしパターン生成部の処理の例を説明するための図である。
本実施の形態における基本透かしパターン生成部１２１は、第１乃至第１２の実施の形態と同様にして生成される基本透かしパターンに、プラス／マイナスの画素値を用いて位置合わせマーカを付加し、これを基本透かしパターンとする。第１４の実施の形態における枠も位置合わせマーカの一例と考えられる。図８２では、位置合わせマーカとしてＱＲコード（登録商標）などの２次元コードで用いられているコーナーを見つけるための位置あわせマーカを付加する。なお、図８２の基本透かしパターンは、実はＱＲコード（登録商標）そのものの画素値をプラス／マイナス化したものであるが、このように２次元コードそのものを基本透かしパターンとして用いても問題ない。
次に、本実施の形態における検出対象領域抽出部２２０について説明する。
図８３は、本発明の第１５の実施の形態における検出対象領域抽出部の処理を説明するための図である。
検出対象領域抽出部２２０は、差分フレーム画像を入力とし、差分フレーム画像中の透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。図８３では、差分フレーム画像に対して通常のＱＲコード（登録商標）読み取り時の位置合わせマーカ検出と同様の方法により、検出対象領域を抽出している。
なお、本実施の形態のように２次元コードを基本透かしパターンとしている場合について、電子透かし検出部２４０は、２次元コードの読み取り処理を行うものと考えれば問題なく透かし情報を検出できることは明らかである。また、本実施の形態は、第１乃至第１２の実施の形態の各々の工夫を任意に組み合わせても実施できることも自明である。
＜本実施の形態の効果＞
本実施の形態では、第１４の実施の形態で枠であった位置合わせマーカを、コーナーを特定するマーカとした場合の例について示した。本実施の形態の場合も、第１４の実施の形態と同様差分フレーム画像中の明暗のコントラスト差が埋め込み時の透かしパターン振幅の４倍となり、検出性能が向上する。
また、本実施の形態により、透かしパターン生成の方法として既存の２次元コードのパターンを容易に転用できることがわかる。これによって電子透かし埋め込み・検出装置の一部を既存の部品を使いまわすことによるコスト削減効果も得られる。
［第１６の実施の形態］
本実施の形態では、特徴領域の歪みの補正、サイズ正規化を行った特徴領域画像間の差分画像から検出対象領域を抽出する例を説明する。
本実施の形態は、以下に説明する部分を除いて、第１３乃至第１５の実施の形態と同一である。
本実施の形態の電子透かし検出装置について説明する。
図８４は、本発明の第１６の実施の形態における電子透かし検出装置の構成を示す。同図に示す電子透かし検出装置２００Ｇは、動画像入力部２１０、特徴領域抽出部２９０、差分画像生成部２３０、検出対象領域抽出部２２０、電子透かし検出部２４０、及び、特徴領域画像バッファ３０２から構成される。
次に、上記の構成における電子透かし検出装置の動作を説明する。
図８５は、本発明の第１６の実施の形態における電子透かし検出装置の動作のフローチャートである。
ステップ１６０１） 動画像入力部２１０において、テレビなどのディスプレイ表示されたアナログ動画像をカメラによりリアルタイムビデオキャプチャしたものや、あるいは、MPEGエンコードされたようなディジタル動画像が入力されると、順次フレーム画像を取得する。アナログ動画像の入力の際は、カメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
ステップ１６０２） 次に、特徴領域抽出部２９０において、フレーム画像中の特徴領域を抽出する。特徴領域抽出には、文献３の縁認識による矩形領域検出などの技術を用いる。抽出された特徴領域はカメラ撮影角度などによって生じる歪みを補正し、サイズを正規化した上で特徴領域抽出画像として出力される。
ステップ１６０３） 次に、差分画像生成部２３０において、現在取得した特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている、以前に取得した特徴領域画像との差分を取り、特徴領域差分画像を生成する。
ステップ１６０４） また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。
ステップ１６０５） 次に、検出対象領域抽出部２２０において、特徴領域差分画像中の、透かし検出の対象となる検出対象領域を抽出して検出対象領域画像を取得する。
ステップ１６０６） 続いて、電子透かし検出部２４０において、検出対象領域画像からの電子透かし検出を試み、検出結果を出力する。
ステップ１６０７） 電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
次に、上記の特徴領域抽出部２９０の処理の内容を説明する。
図８６〜図９０は、本発明の第１６の実施の形態における特徴抽出部の処理を説明するための図である。
特徴領域抽出部２９０は、フレーム画像を入力とし、フレーム画像中の特徴領域を抽出する。特徴領域抽出には、文献３の縁認識による矩形領域検出などの技術を用いる。抽出された特徴領域は、カメラ撮影角度などによって生じる歪みを補正し、サイズを正規化した上で特徴領域抽出画像として出力される。文献３のような矩形領域抽出技術を用いることで、図８６や図９０のように、テレビの表示領域を特徴領域として検出したり、図８７や図８９のようにテレビの筐体の外側を特徴領域としたり、あるいは、図８８のようにテレビの表示画面の外側にある枠状の意匠を特徴領域として検出したり、あるいは図示しないがテレビの背景にある矩形領域などを特徴領域とするケースなど、入力されたフレーム画像の内容によって、特徴領域がどのような領域となるかは様々なケースがあり得るが、重要な点は、撮影角度の違いによらず、同一の対象を撮影している場合には、各フレーム画像から検出される特徴領域が実質的に同じであるようになっていれば、歪みを補正し、サイズを正規化して得られる特徴領域画像は、図８６〜図９０のようにキャプチャ時刻によって刻々と変化する撮影角度などに対して同じ状態で得られるということである。
上記の「撮影角度の違いによらず、同一の対象を撮影している場合には、各フレーム画像から検出される特徴領域が実質的に同じ」という条件を満たしてさえいれば、特徴領域が図８６や、図９０の例のように、どのような状態で検出されても構わない。このような条件を満たすフレーム画像中からの安定的な特徴領域抽出方法であれば、文献３のような縁線を利用した矩形領域検出に限らず、どのような方法を用いてもよい。
次に、差分画像生成部２３０の処理の内容について説明する。
図９１〜図９３は、本発明の第１６の実施の形態における差分画像生成部の処理を説明するための図である。
差分画像生成部２３０は、現在取得した特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている、以前に取得した特徴領域画像との差分を取り、特徴領域差分画像を生成する。また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。図９１〜図９３に示したとおり、特徴領域抽出処理により、キャプチャフレーム間のカメラ移動などに伴う歪みの違いは吸収されるため、特徴領域画像の時間差分で得られる特徴領域差分画像は、透かしパターン切り替えによって生じる部分の変化量が大きく、その他の部分は殆ど差分がないという形になる。これにより、第１３乃至第１５の検出対象領域抽出処理と同様に、特徴領域差分画像から検出対象領域を抽出し、歪みを補正するなどした上で、電子透かし検出を試みれば電子透かし情報の検出が可能となる。
＜本実施の形態の効果＞
本実施の形態では、第１３乃至第１５の実施の形態の効果に加え、前提としていた「撮影時のカメラに殆ど動きがない場合」という制約なしでも電子透かし検出が可能となる。これはまずキャプチャフレーム画像毎に特徴領域を抽出した上で歪みを補正することでフレーム間の歪みの違いを吸収してしまい、その後の差分画像生成で確実に透かしパターン部分の差分を位置ずれなく行うからである。これにより、カメラつき携帯電話機を片手で持ってテレビに向けてキャプチャするなどといった際に生じる手ぶれなどの影響を受けずに、電子透かし検出性能が向上することになる。
［第１７の実施の形態］
本実施の形態では、電子透かし検出状況が良好であったときの位置の近傍のみを探索することにより特徴領域・検出対象領域の抽出を行う例を説明する。
本実施の形態は、以下に説明する部分を除いて、第１３乃至第１６の実施の形態と同一である。以下、第１６の実施の形態との差分を中心に説明する。
最初に、電子透かし検出装置２００Ｇにおける特徴領域抽出部２９０の処理の内容を説明する。
図９４は、本発明の第１７の実施の形態におけると特徴領域抽出部の処理を説明するための図である。
本実施の形態における特徴領域抽出部２９０は、前回の電子透かし検出試行で検出状況が良好であったときの特徴領域の位置や形状を覚えておき（何らかの方法で記憶しておく）、今回入力されたフレーム画像からの特徴領域の探索の際には、前回の特徴領域の近傍のみから探索を行う。差分演算を行う２枚のキャプチャ時間間隔では、カメラの移動はそれほど大きくないため、前回検出状況が良好であったときには今回のフレーム画像においてもその近傍に正解の特徴領域が存在する。この原理を利用し、特徴領域探索範囲を狭めることでより安定的な特徴領域抽出を実現する。
なお、「検出状況が良好」とは、例えば、文献１の検出信頼度指標値がある程度有意な値であるが未だ電子透かし検出が成功していない状態であるとか、あるいは、第８の実施の形態などのデータブロック毎検出の場合に、あるデータブロックの検出に成功した、などといった状態、即ち、電子透かし検出部２４０の検出状況から、電子透かしの存在が有意に明らかである、といった場合を指すものとする。また、探索時の近傍の大きさを、差分をとる２枚のキャプチャ時間間隔によって変動させるようにしてもよい。例えば、キャプチャ時間間隔が短い場合、カメラの移動量は少ないと予想できるため、近傍を小さくとる。逆に、キャプチャ時間間隔が長い場合、カメラの移動量が大きい場合もありうると予想できるため、近傍を大きくとる、などとしてもよい。
本実施の形態における、検出対象領域抽出部２２０の処理の内容を説明する。
図９５は、本発明の第１７の実施の形態における検出対象領域抽出部の処理を説明するための図である。
検出対象領域を抽出する際にも特徴領域抽出部２９０と同様に、前回の電子透かし検出試行で検出状況が良好であったときの検出対象領域の位置や形状を覚えておき（何らかの方法で記憶しておく）、今回入力された特徴領域差分画像からの検出対象領域の探索の際には、前回の特徴領域の近傍から探索を行う。これによって検出対象領域の探索も安定的になる。
なお、第１６の実施の形態に本実施の形態を適用した場合、カメラ移動などによる歪み要因は特徴領域抽出処理により吸収されているため、図９５のように前回と今回の検出対象領域はほぼ同一となり、近傍サイズを小さめにとっても構わない。検出対象領域の抽出に失敗する要因として考えられるものは、動画像自体が動きのあるシーンの場合に、差分に透かしパターンだけでなく動画像の動き成分もノイズとして現れてしまうようなケースであるが、近傍サイズを小さくしておけば検出対象領域の探索が非常に安定的になる。
また、第１３乃至第１５の実施の形態に本実施の形態を適用した場合は、そもそもカメラの動きが大きい場合は電子透かしの検出が困難であるので、この場合も同じく近傍領域を小さくとってよく、検出対象領域の探索が非常に安定的になる。
また、本実施の形態を第１乃至第１２の実施の形態における電子透かし検出装置における検出対象領域抽出部２２０に適用することも容易である。この場合、前回の電子透かし検出試行で検出状況が良好であったとき、前回の検出対象領域の近傍から、今回のフレーム画像中の検出対象領域を探索するようにすればよい。
なお、本実施の形態では、「前回の電子透かし検出試行において検出状況が良好であった」場合を利用する例を示したが、前回に限らず「時間的に近い良好な電子透かし検出試行時」の特徴領域、あるいは、検出対象領域を利用するようにしてもよい。
また、一定時間電子透かし検出情報が良好ではない状態が続いた場合は、近傍探索を行わず、第１３乃至第１６の実施の形態と同様に処理を行うようにしてもよい。
＜本実施の形態の効果＞
本実施の形態では、第１３乃至第１５の実施の形態の効果に加え、特徴領域あるいは検出対象領域の安定性、信頼性が向上するため、電子透かし検出性能の向上を実現できる。特に、特徴領域あるいは検出対象領域の検出方法があまりロバストでない場合に、大きな効果があり、電子透かし検出性能の大幅な向上をもたらす。
［第１８の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１４乃至第１７の実施の形態と同一である。以下、第１４の実施の形態との差分を中心に説明する。
本実施の形態の電子透かし検出装置における検出対象領域抽出部２２０の処理について説明する。
図９６〜図９９は、本発明の第１８の実施の形態における検出対象領域抽出部の処理を説明するための図である。
差分フレーム画像からの検出対象領域抽出処理は、第１４の実施の形態の透かしパターンが埋め込まれた動画像のフレーム間差分画像から行われる。この際、第１４の実施の形態では、予め検出対象領域抽出を高精度に行うために、基本透かしパターンに対して外側：明、内側：暗の枠パターンが付加されている（なお、明・暗は画素値の大小を表すために用いており、輝度値のみに限定されるべきものではないことは、第１の実施の形態で述べたとおりである）。検出対象領域抽出部２２０では、差分フレーム画像中から検出対象領域探索の際に、枠部分の画素値変化を調べる。図９６の例では、検出対象領域の外側：明、内側：暗となっているので、検出対象領域画像中の透かしパターンは、埋め込み時の基本パターンと同相（正位相）であると判断し、第４の実施の形態などで用いたように、電子透かし検出処理にこの位相情報を利用することができる。図９７は、位相が逆転している例を示す。検出対象領域の縁部分を調べることで、正位相／逆相が判定できることがわかる。
また、本実施の形態を第１５の実施の形態に適用した場合の例を図９８、図９９に示す。この例では、ＱＲコード（登録商標）の位置合わせマーカの基礎パターンと、検出対象領域から見つけた位置合わせパターンが正の相関を持つときは正位相と判断し（図９８）、負の相関を持つとき逆相と判定する（図９９）。また、逆相であった場合は、検出対象領域画像の位相を反転してから電子透かし検出を試行してもよい。反転をする理由は、既存の２次元コードの読み取り方法は、位相反転したコードの認識に対応していないことが多いため、既存の２次元コード読み取り処理を使いまわす際に必要だからである。
本実施の形態を第１６の実施の形態に適用する場合は、検出対象領域抽出部２２０の入力が、差分フレーム画像ではなく特徴領域差分画像となることのみで、それ以外は上記と同様の処理を行えばよいことは自明である。
＜本実施の形態の効果＞
本実施の形態では、検出対象領域の抽出信頼性向上のために基本透かしパターンに付加された枠や位置合わせマーカなどのパターンを用いて、抽出した検出対象領域の当該パターン部分の位相が基本透かしパターンの時と同相か否かによって、検出対象領域画像中の透かしパターンの正位相／逆相を判定している。この位相情報を用いて第４の実施の形態などで示した検出性能向上が図れる。
また、本実施の形態によれば、枠や位置合わせマーカなどのパターンが、検出対象領域抽出信頼度向上と位相情報取得の二役をこなすので、一石二鳥である。即ち、位相合わせのために透かし情報にフラグを付加することによって透かし情報のビット長を短くしたり、透かし情報にとってはノイズとなる位相判定信号を多重化する必要がなくなるので、電子透かし検出性能が向上する。
［第１９の実施の形態］
本実施の形態は、以下に示す部分を除いて第１３乃至第１８の実施の形態と同一である。
図１００は、本発明の第１９の実施の形態における電子透かし検出装置の構成を示す。
同図に示す電子透かし検出装置２００Ｈは、動画像入力部２１０、差分画像生成部２３０、検出対象領域抽出部２２０、電子透かし検出部２４０、フレーム画像バッファ３０１、差分フレーム画像バッファ３０３から構成される。
第１３の実施の形態との違いは、検出対象領域抽出部２２０の処理内容と、新たに差分フレーム画像バッファ３０３を設けた点である。
図１０１は、本発明の第１９の実施の形態における電子透かし検出装置の動作のフローチャートである。
ステップ１７０１） 動画像入力部２１０において、アナログまたはディジタル動画像を入力し、順次フレーム画像を取得する。アナログ動画像の入力の際はカメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
ステップ１７０２） 次に、差分画像生成部２３０において、現在取得したフレーム画像と、フレーム画像バッファ３０１に蓄積されている、以前に取得したフレーム画像との差分を取り、差分フレーム画像を生成する。
ステップ１７０３） 今回入力されたフレーム画像を差分フレームバッファ３０１にバッファリングする。
ステップ１７０４） 今回得られた差分フレーム画像を差分フレームバッファ３０１に加算蓄積する。
ステップ１７０５） 差分フレームバッファ３０１中の加算蓄積された差分フレーム画像から、透かし検出の対象となる検出対象領域を抽出して、検出対象領域画像を取得する。
この際、図１０２に示すように、差分フレーム画像の画素値を絶対値化してから差分フレーム画像バッファ３０３に加算蓄積し、差分フレーム画像バッファ３０３に加算蓄積された差分フレーム画像から検出対象領域を抽出し、今回の差分フレーム画像の当該検出対象領域の画像を歪み補正、サイズ正規化を行って検出対象領域画像としてもよい。この方法だと、差分フレーム画像の絶対値画像を加算蓄積するので、入力された差分フレーム画像中の透かしパターンの位相によらず、加算蓄積によって検出対象領域と背景領域のコントラストが高まり、検出対象領域の抽出信頼度が増す。
あるいは、第３の実施の形態のように、透かしパターン切り替え情報で表される透かしパターンの切り替えタイミングと同期をとって差分フレーム画像を生成できる場合などでは、得られた差分フレーム画像中の透かしパターンが、基本透かしパターンと同相／逆相のどちらであるかはキャプチャの開始タイミングなどにより判別はできないが、今回得られた差分フレーム画像は以前に得られた差分フレーム画像と同相か否か判別可能である（例えば、図３１の例では、同じ位相状態が差分画像一つ置きに得られる）。これを用いて図１０３のように差分フレーム画像バッファ３０３に蓄積する差分画像の位相を揃え、差分フレーム画像バッファ３０３に加算蓄積し（結果としては基本透かしパターンと同相のもののみが加算されるか、逆相のもののみが加算されるかのどちらかである）、差分フレーム画像バッファ３０３に加算蓄積された差分フレーム画像を絶対値化してから検出対象領域を抽出し、差分フレーム画像バッファ３０３に加算蓄積された差分フレーム画像の当該検出対象領域の画像を歪み補正、サイズ正規化を行って検出対象領域画像としてもよい。この方法だと、加算蓄積によって透かしパターンも強調され、検出対象領域抽出信頼度の向上のほか、電子透かし検出性能が向上するという効果も得られる。
ステップ１７０６） 続いて、電子透かし検出部２４０において、検出対象領域画像から電子透かし検出を試み、検出結果を出力する。
ステップ１７０７） 電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
また、本実施の形態を第１６の実施の形態に適用した場合の電子透かし検出装置について説明する。
図１０４は、本発明の第１９の実施の形態における電子透かし検出装置の構成を示す。
同図に示す電子透かし検出装置２００Ｉは、動画像入力部２１０、特徴領域抽出部２９０、差分画像生成部２３０、検出対象領域抽出部２２０、電子透かし検出部２４０、特徴領域バッファ３０２、特徴領域差分画像バッファ３０４から構成される。
第１６の実施の形態との違いは、検出対象領域抽出部２２０の処理内容と新たに特徴領域差分画像バッファ３０４を用意した点である。
図１０５は、本発明の第１９の実施の形態における電子透かし検出装置の動作のフローチャート（第１６の実施の形態に適用）である。
ステップ１８０１） 動画像入力部２１０において、テレビなどのディスプレイ表示されたアナログ動画像をカメラによりリアルタイムビデオキャプチャしたものや、あるいは、MPEGエンコードされたようなディジタル動画像が入力されると、順次フレーム画像を取得する。アナログ動画像の入力の際は、カメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であれば、デコード処理などを行ってフレーム画像を取得する。
ステップ１８０２） 次に、特徴領域抽出部２９０において、フレーム画像中の特徴領域を抽出する。特徴領域抽出には、文献３の縁認識による矩形領域検出などの技術を用いる。抽出された特徴領域はカメラ撮影角度などによって生じる歪みを補正し、サイズを正規化した上で特徴領域抽出画像として出力される。
ステップ１８０３） 次に、差分画像生成部２３０において、現在取得した特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている、以前に取得した特徴領域画像との差分を取り、特徴領域差分画像を生成する。
ステップ１８０４） また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。
ステップ１８０５） 検出対象領域抽出部２２０において、特徴領域差分画像を特徴領域差分画像バッファ３０４に蓄積する。
この際、図１０６、図１０７に示すように、特徴領域差分画像バッファ３０４に蓄積する特徴領域差分画像の位相を揃え、特徴領域差分画像バッファ３０４に加算蓄積するようにする。位相の揃え方は、上記の透かしパターン切り替えタイミングとの同期のほか、第６の実施の形態や第１７の実施の形態に示したような方法を利用することができる。この結果、特徴領域差分画像バッファ３０４には、基本透かしパターンと同相のもののみが加算されるか、逆相のもののみが加算されるかのどちらかになる。
ステップ１８０６） 次に、特徴領域差分画像バッファ３０４に加算蓄積された特徴領域差分画像から透かし検出の対象となる中の検出対象領域を抽出し、歪み補正、サイズ正規化を行って検出対象領域画像を取得する。
ステップ１８０７） 続いて、電子透かし検出部２４０において、検出対象領域画像からの電子透かし検出を試み、検出結果を出力する。
ステップ１８０８） 電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
上記のように、位相を揃えた加算蓄積により、一枚の差分画像のみよりも相対的に検出対象領域の透かしパターンが際立つため、検出対象領域の抽出信頼度が向上するほか、第６の実施の形態と同様、電子透かしの検出性能が向上する。
＜本実施の形態の効果＞
本実施の形態では、差分フレーム画像あるいは、特徴領域差分画像を蓄積して、相対的に透かしパターンの強度を強めてから検出対象領域を抽出することにより、検出対象領域の抽出信頼性向上を実現している。
また、特に、差分画像中の透かしパターンの位相を揃えて加算蓄積を行うことで検出対象の信頼性向上のみならず、電子透かしの検出性能向上を同時に実現できる。一般に透かしパターンは人間に知覚できない程度に微弱な振幅で画像に付加されるため、一枚の差分画像の中では明確に検出対象領域を特定できないことがありうる。本実施の形態は上記の工夫によりこの問題を解決できる。
［第２０の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第１９の実施の形態と同一である。以下、第１３の実施の形態との差分を中心に説明する。
本実施の形態の電子透かし埋め込み装置１００内の透かしパターン重畳部１３０の処理について説明する。
図１０８、図１０９は、本発明の第２０の実施の形態における透かしパターン重畳部の処理を説明するための図である。
透かしパターン重畳部１３０は、フレーム画像と、当該フレーム表示時刻に基づいて、生成された透かしパターンを入力する。このとき、一枚のフレーム画像に複数の透かしパターンが重畳できるように、必要に応じて透かしパターンが複数枚生成されているものとする。例えば、異なる３つの情報を表す３枚の透かしパターンが与えられているとする。透かしパターン重畳部１３０では、各々の透かしパターンの振幅を適宜調整し、各透かしパターンの表す情報と関連付けたいフレーム画像中のオブジェクトに合わせての位置、サイズを調整してフレーム画像に重畳する。図１０８では、フレーム画像中の相異なる３つのオブジェクト領域に透かしパターンを重畳する例を示している。あるいは、図１０９のように、画像全体に相当する透かしパターンの中に、オブジェクトに対応する透かしパターンを入れ子のように重畳する、としてもよい。この場合、入れ子になっている内側の透かしパターンの値で外側の透かしパターンの値を上書きするようにしてもよい。また、図１０９では、第１４の実施の形態や第１５の実施の形態のように、透かしパターンに検出対象領域抽出用のマーカなどが付けられているとする。
次に、本実施の形態における電子透かし検出装置の差分画像生成部２３０の処理について説明する。
図１１０は、本発明の第２０の実施の形態における差分画像生成部の処理を説明するための図である。
差分画像生成部２３０の処理自体は、第１３の実施の形態と完全に同じであるが、入力されるフレーム画像中の透かしパターン領域が複数個存在するため、図１１０のように、差分フレーム画像には複数の透かしパターン領域が得られる。
次に、本実施の形態における検出対象領域抽出部２２０の処理について説明する。
図１１１、図１１２は、本発明の第２０の実施の形態における検出対象領域抽出部の処理を説明するための図である。第１３の実施の形態と同様に、差分フレーム画像の画素値の絶対値をとって矩形領域を探索すると、図１１１のように３つの検出対象領域を見つけることができる。３つの検出対象領域毎に検出対象領域画像を生成し、それぞれ電子透かし検出試行を行うようにする。
また、図１０９のような透かしパターン重畳を行った場合の検出対象領域抽出部２２０の処理の内容を図１１２を用いて説明する。差分フレーム画像中で透かしパターン領域が入れ子になっていたとしても、第１４の実施の形態や第１５の実施の形態のような位置合わせのためのマーカなどを用いれば、入れ子構造の検出対象領域を見つけることができ、それぞれ毎に検出対象領域画像を生成して電子透かし検出試行を行うようにする。なお、図１１２において、外側の透かしパターンの中には、内側の透かしパターンが入れ子になっており、この領域については外側の透かしパターンの模様が残っていないが、電子透かし方式自体が持つロバスト性により、パターンの欠損に対しても対応できるため、電子透かし検出は可能である。
次に、本実施の形態における電子透かし検出装置２００のフィードバック出力の例を示す。
図１１３〜図１１６は、本発明の第２０の実施の形態における電子透かし検出装置のフィードバック出力の例を示す。
検出対象領域毎に得られた検出状況は、電子透かし検出装置２００の表示画面上で、検出対象領域の位置やサイズなどに合わせてプレビュー画面に合成される。図１１３では、３つの検出対象領域からの電子透かし検出状況を、もともとの透かしパターンに関連付けられたオブジェクト位置に合成して表示している。
また、図１１４では、入れ子になった２つの検出対象領域からの電子透かし検出状況の合成の例を示している。このように複数の電子透かし検出対象領域が得られた場合、それぞれの電子透かし検出状況を同時にフィードバックすることが可能である。
また、図１１５や図１１６のように、表示画面の一部分をズームインして撮影している場合には、その撮影部分のみの電子透かし検出状況を出力できる。これを用いれば、例えば、表示画面中の複数のオブジェクトからいくつかを選択するような指示を電子透かし検出を用いて実現できる。
なお、本実施の形態は、第１乃至第１９の実施の形態における工夫を任意に組み合わせても実施できることは自明である。
＜本実施の形態の効果＞
本実施の形態によれば、動画像の１フレーム中に複数の透かしパターンを重畳して埋め込みを行い、カメラキャプチャで得られるフレーム画像中の複数の検出対象領域を抽出して各々電子検出を行う。これによりフレーム画像中のオブジェクトに関連付けた電子透かしの埋め込み・検出が可能となり、利便性が向上する。また、撮影時に特定のオブジェクトにズームインしてキャプチャ・検出を行うことで、画面中の特定のオブジェクトを選択するようなユーザインタフェースに利用できる。
［第２１の実施の形態］
本実施の形態では、透かしの情報を透かしパターンの位相差分変動として埋め込みを行う例を説明する。
本実施の形態は、以下に説明する部分を除いて、第１乃至第２０の実施の形態と同一である。以下、第１の実施の形態との差分を中心に説明する。
本実施の形態における電子透かし埋め込み装置１００における透かしパターン生成部１２０について説明する。
図１１７は、本発明の第２１の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
本実施の形態における透かしパターン切り替え情報は、パターンの反転について直接的に指示する情報ではなく、透かしパターンの周期と周期中の切り替えポイントを示すような情報である。
図１１８、図１１９は、本発明の第２１の実施の形態における透かしパターン切り替え部の処理を説明するための図である。
透かしパターン切り替え部１２２では、まず、入力された基本透かしパターンの濃淡値を、位相差分変動パターンに変換する。変換のプロセスは、例えば、図１１８のように２値の基本透かしパターンである場合は、明・暗に対応する二つの位相差分変動値を求め、基本透かしパターン上の明・暗それぞれの画素値を持つ画素位置に位相差分変動値を対応付けることにより得られる。ここで２値の位相変動差分値をどのようにして求めるかであるが、図１１８のように、透かしパターン切り替え情報が「３／１０秒で一周期となるように１／１０秒毎に断続的に切り替え」である場合には、３／１０秒が一周期で切り替えタイミングが１／１０秒であるから、１／１０秒に２π／３だけ位相を変化させれば、３／１０秒後に元の位相に戻るため、位相差分変動値を２π／３、及びその反対方向の−２π／３の２値を用いるようにする。
上記のようにして位相差分変動パターンを得た後、透かしパターン切り替え部１２２は、入力されたフレーム表示時刻を透かしパターン切り替え情報の時間軸にとり、切り替えタイミング毎に、直前の透かし位相のパターンに位相差分変動パターンを加える。図１１８の例では、時刻ｔ０，ｔ１，ｔ２のタイミングで、透かし位相パターンに位相差分変動パターンが加えられる。なお、動画像の先頭フレームなどにおける、透かし位相パターンの初期値は、０及び上記の差分変動値のいずれかを透かし位相パターンの各要素が任意に取るようにして設定されるものとする。
上記のようにして透かし位相パターンを取得した後、透かしパターン切り替え部１２２は、透かし位相パターンを透かしパターンに変換する。変換の仕方としては、例えば、図１１９に示すように、透かし位相パターンの各要素値を、画像の２つ以上の成分、図では、YcbCr表色系におけるCbとCrを直交軸においた座標系における原点（０，０）を中心とした半径ｒ（ｒは所与の値）の円上の点に対応付ける。この結果得られるCb−Crの座標系のCb座標、Cr座標を、当該透かし位相パターンの要素に対応する透かしパターンの画素値として、全ての透かしパターンの画素値を求める。このようにして得られた透かしパターンは、各画素複数の成分値を持つパターンとなる。
なお、本実施の形態では、Cb、Crを例として用いたが、RGB表色系のR−Gを用いたり、あるいは、XYZ表色系におけるＸ−Yを用いたり、HSV表色系のH-Sを用いたりなど、様々な方法がありうる。
また、各軸毎の変動量に対する視覚感度が異なる場合には、適宜スケールを補正して各軸の変動量と視覚感度が一致するようにしてもよい。本実施の形態では、YCbCr表色系では、Yに比べて知覚されづらいという理由でCbとCr成分を用いた例を示している。
また、複数の画像成分ではなく、単一の成分、例えば、輝度成分などを用いて本実施の形態を実施するには、第１の実施の形態の変調方法（A−２）のように、基本透かしパターンに波形パターンを用いて、波形パターンの位相を変動させることで、本実施の形態と同様に位相差分変動を用いた電子透かし埋め込みが実現できる。
このようにして得られた透かしパターンが、順次フレーム画像に重畳されることにより、透かし入り動画像が得られることについては第１の実施の形態と同様である。
本実施の形態における電子透かし検出装置２００内の差分画像生成部２３０の処理について説明する。
図１２０は、本発明の第２１の実施の形態における差分画像生成部の処理を説明するための図である。差分画像生成部２３０は、第１の実施の形態と同様の処理を行って差分画像を得た後、さらに、差分画像に修正を加える。修正の仕方の例は、図１２０のように、差分画像の各画素についてCb、Cr成分値（cb,cr）を得て、これを埋め込み時と同様にCb-Crの直交座標系にプロットしたときの局座標表現（R，θ）を得る。次に、θが図中の丸印の角度（π／６，π／２，π／６，５π／６，７π／６，３π／2，１１π／6）のどれかに一番近いかを判定し、一番近かった角度に割り当てられた符号（＋または−）を得る。最後に原点からの距離Rにこの符号を掛けたものを求めて、差分画像の当該画素の画素値として上書きする。これを全ての差分画像の画素に対して行う。
差分画像生成部２３０以降の処理については第1の実施の形態と同様である。
次に、本実施の形態の原理について説明する。
説明の前提として、本実施の形態における電子透かし検出装置においては、図１２１のように、第3の実施の形態と同様、透かしパターン切り替え情報に基づいてキャプチャタイミング、差分タイミングが指定されているとする。図１２１では、差分は1／１０離れた検出対象領域画像の差分を取るように指定されている。第４の実施の形態などで述べたとおり、第１乃至第２０の実施の形態で説明した電子透かし埋め込み・検出方法では、差分取得のタイミングによって、得られた差分画像中の透かしパターンが埋め込み時と同相か逆相かのどちらかになり、各種工夫により対応する必要があった。
図１２２と図１２３を用いて本実施の形態の原理を説明する。図１２２は、埋め込み時の位相差分変動パターン値が２π／３の場合について、１／１０秒離れた２枚のフレームに埋め込まれたCb-Cr成分値、即ち、埋め込み時の位相パターンに相当する値と、差分によって得られるCb-Cr値のありうるパターン全てを列挙したものである。このように、埋め込み時の位相差分変動値が２π／３であれば、差分画像中のCb-Cr成分値は、π／６，５π／６，３π／２の３つのうちのどれかの位相を持つ。
位相差分変動値が−２π／３であった場合について、図１２３に示す。この場合、差分画像中のCb-Cr成分値は、７π／６，π／２，１１π／６の３つのうちのどれかの位相を持つ。即ち、位相差分変動値に応じて、差分画像中のCb-Cr成分値は、２つのグループに分類できる。これを用いれば、図１２０のように検出時のCb-Cr成分の位相が２つのグループのどちらに属するかを判定することで、キャプチャのタイミングによらず、常に埋め込み時の位相差分変動値を一定に得ることができる。位相差分変動値は、透かし情報を拡散した系列の項の値に対応しているので、結局キャプチャタイミングによらず差分から得られる透かしパターン（図１２０中に修正された差分画像中の透かしパターンに相当）は反転することがなく、埋め込み時の基本透かしパターンと同相、ということになる。
この「差分から得られる透かしパターンがタイミングによらず常に一定」という特性は、極めて重要である。例えば、第１の実施の形態の変調方法（Ａ−１）は、差分画像中の透かしパターンが反転すると、検出透かし除法のビットが反転するため、位相を特定するために第４の実施の形態や第５の実施の形態のような工夫を必要としていた。
また、第１の実施の形態のその他の変調方法も、例えば、第６の実施の形態や第１９の実施の形態のように、透かし情報や検出対象領域の検出性能向上のために差分画像を蓄積する際に、位相を合わせる必要があるため、各種工夫を用いていたが、本実施の形態を用いることで、この問題は一切解消し、差分の取り方によらず透かしパターンは一定であるから、当然検出透かし情報のビット反転は起きないし、差分画像の加算蓄積の際に位相を気にすることなく単純に加算をするだけで済む。
また、第８の実施の形態のように透かし情報をデータブロックに分割して時間方向で順次埋め込みを行うような場合に、第１の実施の形態のような変調方法では、図１２４に示すようにデータブロックの境界に跨った差分画像では、正しくない透かし情報を検出してしまう危険性があった。そのため安全を確保するためにはデータブロック区間の間に透かしを埋め込まない区間を挟む必要があり、これによって単位時間当たりの透かし情報長が減ってしまうという問題があった。
しかし、本実施の形態を用いれば、透かしの情報は位相差分変動によって表されるので、直前のデータブロック終端での位相パターンに、今回のデータブロック情報を表す位相差分変動を与えて埋め込みを行えば、検出時にデータブロック境界に跨った差分画像を得ても、その差分から正しくデータブロック情報を検出することができる。これによって無用なブランクを挟み込まず連続的にデータブロックを切り替えて埋め込み・検出をすることができるので、単位時間当たりの透かし情報量を増大させることもできる。
なお、本実施の形態を、第１乃至第２０の実施の形態の各々の工夫を任意に組み合わせても実施できることは自明である。
＜本実施の形態の効果＞
本実施の形態によれば、透かしの情報を位相差分変動として埋め込みを行うので、差分画像の取得タイミングによらず、一定の透かしパターンの含むように差分画像を得ることができる。これによって透かし情報のビット反転を防いだり、差分画像蓄積時に位相を合わせる必要がなくなり、単純に差分画像を加算蓄積するようにすればよいので、装置構成の単純化、処理の高速化、及び位相同期信号を不要とすることに透かし情報長増大や耐性向上を実現できる。また、第８の実施の形態のようなデータブロック利用型の場合に、データブロック間に無用なブランクを挟まなくても検出情報の信頼性を担保できるので、単位時間当たりの透かし情報長の増大を実現できる。
［第２２の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第２１の実施の形態と同一である。
以下、第１の実施の形態との差分を説明する。
電子透かし検出装置２００の差分画像生成部２３０の処理について説明する。
図１２５は、本発明の第２２の実施の形態における差分画像生成部の処理を説明するための図である。
本実施の形態においては、差分画像生成部２３０において、検出対象領域画像の差分画像を生成した後、さらに、差分画像に対してフィルタ処理を施して出力する。
図１２６Ａ、Ｂは、本発明の第２２の実施の形態におけるフィルタ処理の例を説明するための図である。説明のために差分画像を一次元信号として表している。図１２６Ａでは、差分画像の画素値の絶対値が所与の閾値以上の場合、閾値にクリッピングするという非線形フィルタ処理を施す。また、同図Ｂでは、差分画像の画素値の絶対値が所与の閾値以上の場合、画素値を０にするという非線形フィルタ処理を施す。
＜本実施の形態の効果＞
本実施の形態によれば、動きのある動画像を撮影した場合に生じる大きな差分成分をフィルタ処理によって抑圧することができる。一般に透かしパターンは微弱な振幅で埋め込まれているので、画像自体の動きに起因する差分成分は、差分画像上の大きな絶対値を持つ差分画素値として現れる。そのため、本実施の形態のような非線形フィルタを用いれば、動画の動きによる差分成分を抑圧し、また、透かしパターンの成分は抑圧しないので、透かしパターンのＳ／Ｎ比が向上するので、動きがある動画像からの検出性能を向上させることが可能となる。
［第２３の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第２２の実施の形態と同一である。以下、第１の実施の形態との差分を説明する。
図１２７は、本発明の第２３の実施の形態における透かしパターン重要部の処理を説明するための図である。
本実施の形態における透かしパターン重畳部１３０は、順次入力されるフレーム画像を過去数枚分蓄積する機能を有し、新たに入力された今回のフレーム画像と、以前のフレーム画像との差分画像を生成する。以前のフレーム画像は直前のものでも良いし、数フレーム前のものでもよい。次に、透かしパターンは、第１乃至第２２の実施の形態のように適宜スケーリングされる。次に、差分画像に基づいて、透かしパターンの振幅を調整する。その後の処理は第１乃至第２２の実施の形態と同様にフレーム画像に対して振幅が調整された透かしパターンを重畳するのみである。
図１２８は、本発明の第２３の実施の形態における透かしパターンの振幅調整の例を説明するための図である。同図（１）では、差分画像の画素値の絶対値の総和を求め、この総和の値に基づいて透かしパターン全体の振幅を調整する。調整の仕方は、例えば、総和値に対して比例する値で振幅を増幅するなど、総和値が大きいほど振幅が大きくなるようにする。あるいは、同図（２）のように、差分画像の各座標の画素値に基づいて、透かしパターンの対応する座標の画素値の振幅を調整する方法もありうる。この場合は、例えば、差分画像の画素値の絶対値が大きいほど、対応する位置の透かしパターンの振幅を大きくするようにする。同図（１）、（２）とも、差分画像に大きな絶対値を持つ画素が多いほど、即ち、動画像の動きが激しいほど、透かしパターンの振幅が増幅されるようになっている。また、同図（１）を施した後にさらに同図（２）を施すなど、増幅の仕方をより複雑にしてもよい。
＜本実施の形態の効果＞
本実施の形態によれば、動きのある動画像に透かしパターンを重畳する際に、差分画像中の大きな絶対値を持つ画素が多い、即ち、動きの激しいフレームについては、動きの少ないフレームに対するよりも、より振幅の大きい透かしパターンを重畳することになる。一般に動きの激しい動画シーンでは、静止しているシーンに比べノイズが知覚しづらいので、上記のように動きの激しいフレームで透かしパターンの振幅を強めても、透かし埋め込みによる画質劣化が知覚できないようにすることが可能である。
また、特に動きの多いシーンでは、検出時の差分画像に大きな絶対値を持つ画素が多いので、透かし検出に対してはノイズが多いという問題があったが、本実施の形態のように、動きの激しいシーンは予め強めに透かしパターンを埋め込んでおくことで、Ｓ／Ｎ比が向上して透かしの検出性能が向上する。
［第２４の実施の形態］
本実施の形態は、以下に説明する部分を除いて、第１乃至第２３の実施の形態と同一である。以下、第１の実施の形態との差分を中心に説明する。
図１２９は、本発明の第２４の実施の形態における電子透かし検出装置の構成を示す。
同図に示す電子透かし検出装置２００Ｊは、動画像入力部２１０、検出対象領域抽出部２２０、差分画像生成部２３０、電子透かし検出部２４０、検出対象領域画像バッファ２５０、ズーム処理部３１０から構成される。同図に示す構成は、第１の実施の形態の電子透かし検出装置１００Ａにズーム処理部３１０を付加した構成である。
図１３０は、本発明の第２４の実施の形態における動作のフローチャートである。
同図に示すフローチャートにおけるステップ１９０１〜ステップ１９０６までの動作は図２０のステップ２０１〜ステップ２０６と同一であるのでその説明は省略する。
ステップ１９０７） 電子透かし検出部２１０の検出状況が良好でない場合は、ステップ１９０１に移行し、良好である場合は、ステップ１９０８の処理を行う。
ステップ１９０８） ズーム処理部３１０において、検出対象領域の大きさや位置を表す検出対象領域情報と電子透かし検出部２４０の検出状況を用いて、検出状況が良好であった場合に、検出対象領域が所与のサイズとなるようにズームパラメタを生成し、動画像入力部２１０に与え、ステップ１９０１の処理に移行する。これにより、動画像入力部２１０では、与えられたズームパラメタに基づいて、カメラやスキャナなどを自動的にズームさせる。
ここで、「検出状況が良好」とは、第１７の実施の形態と同様に、例えば、文献１の検出信頼度指標値がある程度有意な値であるが、まだ電子透かしの検出が成功していない状態であるとか、あるいは、第８の実施の形態などのデータブロック毎検出の場合に、あるデータブロックの検出に成功した、などといった状態、即ち、電子透かし検出部２４０の検出状況から、電子透かしの存在が有意に明らかである、といった場合を指すものとする。例えば、検出対象領域の面積がフレーム画像の面積の４０％以上となるように、今回の検出対象領域情報で表される検出対象領域が４０％未満であった場合に、自動的にズームインして４０％以上となるようにする。あるいは、ある検出試行時において検出状況が良好であり、かつ検出対象領域の面積が２０％であった場合、検出試行毎に徐々にズームインさせることで表示を滑らかに変化させてユーザインタフェースを改善してもよい。
また、ズームインする際に、あまりにズームインしすぎると検出対象領域の縁検出に失敗するような場合は、検出対象領域がフレーム画像いっぱいになるまでズームインせずに、所与のサイズ（例えば、フレーム画像の５０％）までズームするようにしてもよい。さらに、所与のサイズではなく、現在の検出対象領域情報で定まる検出対象領域の頂点や辺がフレーム画像に収まるように、適宜ズーム率を変化させても良い（例えば、フレーム画像の中央に検出対象領域がある場合と、端にある場合とでは、後者の方がズームインの程度が低くなる）。
なお、上記では、第１の実施の形態との差分について説明したが、第１３乃至第１５の実施の形態との組み合わせや、第１６の実施の形態の特徴領域を所与のサイズとなるようにズームインすることや、第１７の実施の形態において近傍探索の範囲をズーム率の変化に応じて同様にズームさせて組み合わせることや、第２０の実施の形態において、複数の透かしパターンのうち一つを撮影画像の中央にフレーミングして検出試行することで自動ズームにより特定の画像領域に結び付けられた透かし情報を検出することなどは容易に実現可能である。
＜本実施の形態の効果＞
本実施の形態によれば、撮影時のフレーム画像中の検出対象領域の画素サイズが小さい場合に、自動的にズームインしてより大きな画素サイズの検出対象領域を取得することができる。一般に画素サンプルが少なくなると電子透かし検出が困難になるため、ズームインして検出対象領域の画素サンプル数を増大させることで、電子透かしの検出性能を向上させることができる。
また、電子透かしの検出状況に基づいて、検出状況が良好の時のみズームインすることにより、例えば、図１３１Ａのように検出状況が良好な場合、ズームインによって検出対象領域の画素サンプル数を増大させて検出性能を向上させることができると同時に、同図Ｂのように本来の検出対象領域ではない領域を誤って検出対象領域としている場合には、電子透かし検出状況が良好とならないため、ズームインしない、即ち、確実に電子透かしの存在が明らかな検出対象領域の場合のみ、検出性能が向上するようにズームインするので、無用なズームインをせずに済み、ユーザビリティの向上を図ることができる。
［第２５の実施の形態］
本実施の形態では、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、さらに時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）から電子透かし検出を行うことにより、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出を可能するものである。
本実施の形態は、以下に説明する部分を除いて、第１乃至第２４の実施の形態と同一である。以下、第１の実施の形態との差分を中心に説明する。本実施の形態における電子透かし埋め込み装置の構成は、第１の実施の形態と同様の構成である。
図１３２は、本発明の第２５の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
本実施の形態における電子透かし埋め込み装置１００における透かしパターン生成部１２０の透かしパターン切り替え情報は、パターンの反転について直接的に指示する情報ではなく、６／３０秒で一周期となる正弦波など、連続的な関数で表現されるものであり、具体的には正弦波の周期を示すような情報である。実際には入力される動画像は特定のフレームレート、例えば３０フレーム/秒のような離散的なフレーム画像群として与えられるので、図１３２の下図のように、正弦波上を離散的にサンプリングして埋め込みに用いることになる。なお、本実施の形態では以下に示すように、正弦波の周期に対する位相の値を用いる。
図１３３は、本発明の第２５の実施の形態における透かしパターン切り替え部の処理を説明するための図である。透かしパターンに切り替え部１２２では、まず入力された基本透かしパターンの濃淡値を、符号パターンに変換する。符号パターンは、基本透かしパターンの各濃淡値の＋または−の符号を取り出し、大きさを１とした値を各要素値として持つ配列である。
次に、透かしパターン切り替え部１２２において、入力されたフレーム表示時刻を透かしパターン切り替え情報の時間軸にとり、フレーム表示時刻に対応する透かしパターン切り替え情報の周期に対する位相（以下透かしパターン切り替え位相と呼ぶ）を取得する。そして直前のフレームに対する透かしパターン切り替え位相との間の位相変動値を求め（図１３３では＋π／３）、この位相変動値に符号パターンの要素値を掛けたものを透かし位相パターンの各要素値の位相変動量とする。透かし位相パターンは符号パターンと同じサイズの配列であり、各要素は０〜２πの位相値をとる。透かし位相パターンの各要素の初期値は任意の値でかまわない。
上記のようにして透かし位相パターンを取得した後、透かしパターン切り替え部１２２は位相パターンを透かしパターンに変換する。変換の仕方としては、例えば図１３４に示すように、透かし位相パターンの各要素値を、画像の２つ以上の成分、図ではYCbCr表色系におけるCbとCrを直行軸においた座標系における原点（０，０）を中心とした半径r(rは所与の値)の円上の、角度が位相パターン要素値の点に対応付ける。この結果得られるCb−Cr座標系のCb座標、Cr座標を、当該位相パターンの要素に対応する透かしパターンの画素値として、すべての透かしパターンの画素値を求める。このようにして得られた透かしパターンは、各画素複数の成分値を持つパターンとなる。なお、本実施の形態ではCb，Crを例として用いたが、ＲＧＢ表色系のＲ−Ｇを用いたり、あるいはXYZ表色系におけるＸ−Ｙを用いたり、HSV表色系のHue-Saturationを用いたり（この場合はHue-Saturationを直交座標にとるのではなく、位相値を直接Hue値に設定し、所与のSaturation値を持つようにしても良い）など、様々な方法があり得る。
また、各軸毎の変動量に対する視覚感度が異なる場合には、適宜スケールを補正して各軸の変動量と視覚感度が一致するようにしても良い(例えば図１３４において円ではなく楕円を用いるなど)。本実施の形態ではYCbCr表色系では、Ｙに比べて知覚されづらいという理由でCbとCr成分を用いた例を示している。
また、複数の画像成分ではなく、単一の成分、例えば輝度成分などを用いて本実施の形態を実施するには、第１の実施の形態の変調方法（Ａ−２）のように、基本透かしパターンに波形パターンを用いて、波形パターンの位相を変動させることで、本実施の形態と同様に位相差分変動を用いた電子透かし埋め込みが実現できる。
このようにして得られた透かしパターンが、透かしパターン重畳部１３０において順次フレーム画像に重畳されることにより、透かし入り動画像が得られることについては第１の実施の形態と同様である。
なお、Cb−Crを用いた場合は、透かしパターンの振幅を調整するとは、Cb−Cr座標系における振幅（図１３４における点ａ０と原点との距離）を増減することになる。また、Hue-Saturationを用いる場合はSaturationを増減することにあたる。また、基本透かしパターンが２値ではなく多値の場合は、基本透かしパターンの画素値の絶対値の大きさに応じて、対応する透かしパターンの画素値の振幅を増減させても良い。
図１３５は、本発明の第２５の実施の形態における電子透かし検出装置の構成図である。
本実施の形態における電子透かし検出装置２００は、動画像入力部２１０、検出対象領域抽出部２２０、差分画像生成部２３０、位相差分計測部３６０、電子透かし検出部２４０、検出対象領域画像バッファ２５０、位相パターンバッファ３７０を有する。
図１３６は、本発明の第２５の実施の形態における電子透かし検出装置の動作のフローチャートである。
第１の実施の形態との相違について説明すると、図１３７のように第１の実施の形態と同様にして差分画像生成部２３０で出力された差分画像（本実施の形態では差分画像（Ａ）と表記）を位相差分計測部３６０に入力し、位相差分計測部３６０において差分画像（Ａ）から位相パターンを生成し（ステップ２０４０）、現在取得した位相パターンと、以前に取得した位相パターンとの位相差を測定し、位相差に基づいて新たに差分画像（Ｂ）を構成して出力する（ステップ２０５０）。電子透かし検出部２４０は差分画像（Ｂ）を入力し、第１の実施の形態と同様に差分画像（Ｂ）から電子透かし検出を行う（ステップ２０７０）。
図１３８は、本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図である。
位相差分計測部３６０は差分画像（Ａ）を入力とする。位相差分計測部３６０は、差分画像（Ａ）を埋め込み時と同様にブロック分割し、各ブロック毎にCb成分、Cr成分の総和をそれぞれ求め、その結果（Cb，Cr）をCb−Cr座標系の点として表した際の振幅Ｒと位相θを求め、これらを位相パターンの当該ブロック位置に対応する要素の値として設定する。位相パターンは各要素位置毎に振幅と位相をとるような配列であり、その各要素は差分画像の各ブロックと対応付けられている。
次に位相差分計測部３６０は、図１３９のように、位相パターンバッファ３７０に蓄積されている以前に取得した位相パターンと、現在取得した位相パターンを比較し、各要素の位相差に基づいてプラスまたはマイナスの符号を決定し、さらに二つの位相パターンのそれぞれの振幅が大きいほど大きな値をとるような単調増加関数を用いて新たな振幅を決定し、上記符号と上記振幅を値として持つ差分画像（Ｂ）の各要素値を決定する。
図１４０Ａ、Ｂは、本発明の第２５の実施の形態における位相差分計測部の処理の内容を説明するための図である。
現在取得した位相パターンのある要素の位相値θと、以前に取得した位相パターンの対応する要素の位相値θ'の位相差θ−θ'を求め、その値が０〜πの範囲内であれば符号"＋"を、−π〜０の範囲内であれば符号"−"を選択するようにする。また、現在取得した位相パターンのある要素の振幅値Ｒと、以前に取得した位相パターンの対応する要素の振幅値Ｒ'から、新たな振幅値ρを求めるのに用いる単調増加関数の例としては、例えばρ（Ｒ，Ｒ'）＝Ｒ＋Ｒ'であるとか、ρ（Ｒ，Ｒ'）＝Ｒ×Ｒ'などを用いることができる。振幅値Ｒ，Ｒ'に対して単調増加とする理由は、透かし信号が強く残っている、すなわち振幅Ｒ，Ｒ'が大きいものほど重みをつけることによって電子透かしの検出性能を改善するためである。
全ての要素について符号選択と新たな振幅値を求める処理を終えた後、差分画像（Ｂ）を電子透かし検出部に送り、差分画像（Ｂ）からの透かし検出を試みる。なお、今回取得した位相パターンは、後の検出試行に利用するため、位相パターンバッファ３７０に蓄積しておく。
次に、検出時のキャプチャタイミングが異なる例をいくつか用いて、本実施の形態の原理を説明する。
図１４１のキャプチャ例Ａは１／１５秒毎、すなわち１フレームおきにフレームキャプチャを行う例である。隣接キャプチャフレーム(図１４１中では（１），（２），（３），（４），…等と表記)間で得られる差分画像（Ａ）（図１４１中では(ａ)、(ｂ)、(ｃ)、…などと表記）中の透かしパターンのCb−Cr値を考えると、図１３３における符号パターンが正の要素については図１４２のように、負の要素については図１４３のようにCb−Cr成分値をベクトルとみなした場合の差分を求めた結果となっている。これは差分画像の計算がCb成分、Cr成分の各項の差分計算に対応するためであり（これにより原画像成分が大幅に抑圧される）、差分画像（Ａ）中では、図１４２や図１４３のような複数の位相が得られることは第２１の実施の形態で述べたとおりである。
本実施の形態では差分画像（Ａ）を得た後、さらに差分画像（Ａ）のCb−Cr成分の位相値を元に位相パターンを生成し、時間的に隣接している位相パターン間の位相差を計測している（図１４１中では位相パターン間の位相差分データを（α）、（β）、(γ)、…などと表記）。その状況を図１４４(符号パターンが正の場合)及び図１４５(符号パターンが負の場合)に示す。図１４４及び図１４５では、位相の差を求めることによって、位相パターンの位相差から埋め込み時の透かしパターンの位相差２π／３が、どのような隣接キャプチャフレーム間でも等しく得られることが分かる。
本実施の形態では、位相差の正負を用いて差分画像（Ｂ）の符号を定めて電子透かし検出を行うが、今述べたとおり位相差が埋め込み時の符号パターンと対応付けられているため、電子透かしの検出が可能であることは自明である。すなわちキャプチャフレームのどのタイミングからでも同様に電子透かし検出を行うことができる。
図１４６に、キャプチャ例Ａ（図１４１）とは異なるキャプチャ例Ｂを示す。キャプチャ例Ｂはキャプチャ例Ａと同じく１／１５秒毎のキャプチャであるが、キャプチャ開始のタイミングがずれている場合である。キャプチャ例Ｂの場合、まず差分画像（Ａ）を生成すると、キャプチャ例Ａ（図１４１）とは各キャプチャフレームに埋め込まれている透かしパターンの位相がずれているため、差分画像（Ａ）中の透かしパターンのCb−Cr値（位相パターンの位相値）の組み合わせは、図１４７及び図１４８のようにキャプチャ例Ａの場合（図１４２及び図１４３）と比較して異なっている。このことから、差分画像（Ａ）中の透かしパターンのCb−Cr値（位相パターンの位相値）の組み合わせのみから透かし情報を検出する第２１の実施の形態の場合では、符号パターン"＋"または"−"を分類することができるが、二つのグループのどちらが"＋"であるか、あるいは"−"であるかが分からない、ということが分かる。
しかしながら本実施の形態では、さらに図１４９及び図１５０のように隣接する差分画像（Ａ）の位相差を計測することで、常に埋め込み時の符号パターン要素と同じ符号を検出することができる。すなわち本実施の形態によれば、キャプチャ例Ａとキャプチャ例Ｂの差はなく、任意のキャプチャ開始タイミングにおいて同様に電子透かし検出を行うことができる。
図１５１に、キャプチャ例Ａ，Ｂとは異なる、キャプチャ例Ｃを示す。キャプチャ例Ｃは、キャプチャのタイミングが１／３０秒間隔であったり１／１５秒間隔であったり一定でない場合である。キャプチャ例Ｃの場合、まず差分画像（Ａ）を生成すると、図１５２及び図１５３のようにキャプチャ例Ａ及びキャプチャ例Ｂとは異なる組み合わせで、差分画像（Ａ）中のCb−Cr値（位相パターン中の位相値）が得られる。またキャプチャ例Ｃのようにキャプチャの時間間隔が各々異なる場合には、差分画像（Ａ）中のCb−Cr値（位相パターン中の位相値）を２つに分類することが困難なため、第２１の実施の形態のような方法では検出が困難となる。
しかしながら本実施の形態では、さらに図１５４及び図１５５のように隣接する差分画像（Ａ）の位相差を計測する。この際、位相差の値はキャプチャ時間間隔が変動することによりまちまちであるが、位相差から定まる符号（０〜π→＋、−π〜０→−）は、キャプチャ時間間隔によらず一定で、かつ埋め込み時の符号パターンと同じ値をとる。これにより、本実施の形態によればキャプチャ例Ｃのようにキャプチャ時間間隔が変動する場合においても、問題なく電子透かし検出を行うことができる。
図１５６に、キャプチャ例Ａ，Ｂ，Ｃとは異なる、キャプチャ例Ｄを示す、動画像のカメラキャプチャなどの場合では、シャッター速度が遅い場合に１枚のキャプチャフレームに複数の動画像フレームが多重に露出されて合成されてしまうことがある。例えば図１５６のキャプチャ例Ｄでは、１／３０秒毎に表示されている動画フレームが多重露出により１枚のキャプチャフレームに合成されている。しかし、この合成で得られるキャプチャフレーム中の透かしパターンの位相は多重化された各々の動画像フレーム中の位相の合成であるから（複数フレームのCb、Cr成分各項を適当な比率で重み平均することで合成画像が得られるので）、図１５７のように、多重化された各々の動画像フレーム中の位相の中間の値をとる(図１５７は２枚のフレームが丁度１:１の比率で多重露出により合成された例を示しているが、例えば２:１などでもその内分比率に応じた中間値をとることは明らかである)。キャプチャ例Ｄの場合、まず差分画像（Ａ）を生成すると、図１５８及び図１５９のようにキャプチャ例Ａ，Ｂ，Ｃとは異なる組み合わせで、差分画像（Ａ）中のCb−Cr値（位相パターン中の位相値）が得られる。キャプチャ例Ｄのように多重露出されたキャプチャフレームの場合、差分画像（Ａ）中のCb−Cr値（位相パターン中の位相値）を２つに分類することが困難なため、第２１の実施の形態のような方法では検出が困難となる。
しかしながら本実施の形態では、さらに図１６０及び図１６１のように隣接する差分画像（Ａ）の位相差を計測することで、常に埋め込み時の符号パターン要素と同じ符号を検出することができる。すなわち本実施の形態によればキャプチャ時のタイミングが動画像のフレーム表示タイミングより細かい任意の時間ずれにおいて、仮にキャプチャフレーム中に複数の動画像フレームが多重露出されて合成されている場合であっても、同様に電子透かし検出を行うことができる。
この「差分から得られる透かしパターンがキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に一定」という特性は極めて重要である。例えば第１の実施の形態の変調方法（Ａ−１）は差分画像中の透かしパターンが反転すると検出透かし情報のビットが反転するため、位相を特定するために第４または第５の実施の形態のような工夫を必要としていた。
また、第１の実施の形態のその他の変調方法も、例えば、第６または、第９の実施の形態のように、透かし情報や検出対象領域の検出性能向上のために差分画像を蓄積する際に、位相を合わせる必要があるため各種工夫を用いていたが、本実施の形態を用いることでこの問題は一切解消し、差分のとり方によらず透かしパターンは一定であるから、当然検出透かし情報のビット反転は起きないし、差分画像（本実施の形態における差分画像（Ｂ））の加算蓄積の際に位相を気にすることなく単純に加算をするだけで済む。
また、第８の実施の形態のように透かし情報をデータブロックに分割して時間方向で順次埋め込みを行うような場合に、第１の実施の形態のような変調方法では、図１２４に示すようにデータブロックの境界にまたがった差分画像では、正しくない透かし情報を検出してしまう危険性があった。そのため安全を確保するためにはデータブロック区間の間に透かしを埋め込まない区間を挟む必要があり、これによって単位時間あたりの透かし情報長が減ってしまうという問題があった。
しかし、本実施の形態を用いれば、透かしの情報は位相差分変動によって表されるので、直前のデータブロック終端での位相パターンに、今回のデータブロック情報を表す位相差分変動を与えて埋め込みを行えば、検出時にデータブロック境界にまたがった差分画像を得ても、その差分から正しくデータブロック情報を検出することができる。これによって無用なブランクを挟み込まず連続的にデータブロックを切り替えて埋め込み・検出をすることができるので、単位時間あたりの透かし情報量を増大させることもできる。
さらに第２１の実施の形態では困難であった、キャプチャ間隔が変動した場合、及び多重露出により複数の動画像フレームが合成されたキャプチャフレームとなる場合においても、本実施の形態によれば先に述べたとおり問題なく検出可能であり、かつ上記各実施の形態との組み合わせによる効果も享受することができる。
なお、本実施の形態を、第１乃至第２４の実施の形態の各々の工夫を任意に組み合わせても実施できることは自明である。すなわち本実施の形態における位相差分計測部の処理を各実施の形態における対応する箇所（電子透かし検出部や検出対象領域抽出部の前など）に挿入して処理を行えば先に述べた効果を実現することができる。他実施の形態との組み合わせの場合は、本実施の形態における差分画像（Ｂ）を、差分画像あるいは検出対象領域画像と読み替えればよい。以下、各実施の形態に対して本実施の形態の工夫を適用する場合について簡単に説明すると、
・実施の形態１，２,３，４，５，６，７，８，９，１０,１１，１２，２１,２２，２３，２４:電子透かし検出装置の差分画像生成部の出力を差分画像（Ａ）として位相差分計測部に入力し、差分画像（Ｂ）を得てこれを電子透かし検出部に入力する；
・実施の形態１３，１４，１５，１６，１７，１８，１９，２０:検出対象領域抽出部の出力である検出対象領域画像を、本実施の形態の差分画像（Ａ）として位相差分計測部に入力し、差分画像（Ｂ）を得てこれを電子透かし検出部に入力する；
のようにすれば良い。
＜第２５の実施の形態の効果＞
本実施の形態によれば、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、さらに時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）から電子透かし検出を行うので、先に述べたとおり、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出が可能となる。これによって透かし情報のビット反転を防いだり、差分画像蓄積時に位相を合わせる必要がなくなり、単純に差分画像を加算蓄積するようにすれば良いので、装置構成の単純化、処理の高速化、及び位相同期信号を不要とすることによって透かし情報長増大や耐性向上を実現できる。
また、第８の実施の形態のようなデータブロック利用型の場合に、データブロック間に無用なブランクを挟まなくても検出情報の信頼性を担保できるので、単位時間あたりの透かし情報長の増大を実現できる。また、検出装置のキャプチャタイミングが変動する場合や、カメラ撮影などにより複数の動画像フレームが多重露出によって合成されてキャプチャされる場合でも、一切の問題なく電子透かし検出が可能であるため、電子透かし検出装置２００における動画像入力部２１０の構成を簡単にしたり（正確なクロックでキャプチャしなくてもよい）、カメラのようなアナログ光学的読み取りの場合における電子透かし検出性能を向上させることが可能となる。
［第２６の実施の形態］
本実施の形態では、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、さらに時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）を生成し、差分画像（Ｂ）を加算蓄積して検出対象領域を抽出し、検出対象領域画像から電子透かし検出を行うので、先に述べたとおり、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出を可能とし、撮影角度によって生じる歪みの影響を補正し、かつ蓄積によって透かしの耐性を向上させ、より安定的な電子透かし検出を実現するものである。
図１６２は、本発明の第２６の実施の形態における電子透かし埋め込み装置の構成図である。
同図に示す電子透かし埋め込み装置１００は、フレーム画像取得部１１０、透かしパターン生成部１２０、透かしパターン重畳部１３０、動画像データ再構成部１４０から構成される。本実施の形態の電子透かし埋め込み装置１００は、原動画像データ、透かし情報、透かしパターン切り替え情報を入力とする。
図１６３は、本発明の第２６の実施の形態における電子透かし埋め込み装置の動作のフローチャートである。
ステップ１００） まずフレーム画像取得部１１０で図１６４のように原動画像データからフレーム画像及び該フレーム画像の表示時刻を一枚ずつ順次取得する。ここでフレーム画像表示時刻とは、例えばタイムコードと再生時のフレームレートから定まる動画像の先頭からの絶対的な時刻を表すものでも良いし、あるいは再生時のフレーム間の相対的な時間間隔が測れるようなものでも良い。フレーム画像取得部１１０は、入力動画像データがMPEGなどの符号化データである場合は、復号を行うなどしてフレーム画像を取得する。
ステップ１１０） 続いて透かしパターン生成部１２０において、透かし情報、フレーム表示時刻、透かしパターン切り替え情報を用いて透かしパターンを生成する。
ステップ１２０） 次に透かしパターン重畳部１３０において、該透かしパターンをフレーム画像に重畳して透かし入りフレーム画像を生成する。
ステップ１３０） 最後に動画像データ再構成部１４０において、順次生成される透かし入りフレーム画像の列を、動画像データとして再構成して透かし入り動画像データとして出力する。この際、必要ならばMPEGエンコードなどの符号化を行っても良い。
図１６５は、本発明の第２６の実施の形態における透かしパターン生成部の構成図であり、図１６６は、本発明の第２６の実施の形態における透かしパターン生成部の動作のフローチャートである。
透かしパターン生成部１２０は、基本透かしパターン生成部１２１と透かしパターン切り替え部１２２を有し、透かし情報、透かしパターン切り替え情報、フレーム表示時刻を入力とする。
ステップ２１００） まず基本透かしパターン生成部１２１において、透かし情報を２次元パターンである基本透かしパターンに変換する。この変換の仕方は、第１の実施の形態に示したように様々な方法があり得るが、本実施の形態では説明を簡単にするために、第１の実施の形態の変調方法を用いることとする。
図１６７に基本透かしパターン生成部１２１の処理の例を示す。本実施の形態では、透かし情報のビット値を拡散系列によって直接スペクトラム拡散変調して得られる系列の値に応じて、画素値の大小を対応付ける方法を用いる。このとき基本透かしパターンの各画素値は正または負の値をとるものとする。
ステップ２１１０） 透かしパターン生成部１２０は、続いて透かしパターン切り替え部１２２において、フレーム表示時刻と透かしパターン切り替え情報の関係から、基本透かしパターンの位相反転の要否を判定し、必要に応じて基本透かしパターンの位相を変更し、透かしパターンとして出力する。
図１６８は、本発明の第２６の実施の形態における透かしパターン切り替え部の構成図である。
透かしパターン切り替え部１２２は、符号パターン生成部１２２１、透かしパターン切り替え位相変動値算出部１２２２、透かし位相差分パターン生成部１２２３、透かし位相パターン生成部１２２４、透かし位相パターン画像化部１２２５を有する。
図１６９は、本発明の第２６の実施の形態における透かしパターン切り替え部の動作のフローチャートである。
ステップ２２００） 透かしパターン切り替え部１２２は、まず符号パターン生成部１２２１において、基本透かしパターンを符号パターンに変換する。
ステップ２２１０） 次に透かしパターン切り替え位相変動値算出部１２２２において、フレーム表示時刻で表される直前のフレームと今回のフレームの時間差に基づいて、透かしパターン切り替え情報で表される透かしパターン切り替え位相の差分値を求め、これを透かしパターン切り替え位相変動値とする。
ステップ２２２０） 次に透かし位相差分パターン生成部１２２３において、符号パターンで表される符号を持ち、透かしパターン切り替え位相変動値を絶対値として持つ、透かし位相差分パターンを生成する。
ステップ２２３０） 次に透かし位相パターン生成部１２２４において、直前のフレームに対する透かし位相パターンの各要素値に対し、今回の透かし位相差分パターンを位相差として与えて、今回の透かし位相パターンを得る。
ステップ２２４０） 最後に透かし位相パターン画像化部１２２５において、透かし位相パターンを画像パターンに変換し、その結果を透かしパターンとして出力する。
図１７０は、本発明の第２６の実施の形態における透かしパターン切り替え情報の例を説明するための図である。
本実施の形態における電子透かし埋め込み装置１００における透かしパターン生成部１２０の透かしパターン切り替え情報はパターンの反転について直接的に指示する情報ではなく、６／３０秒で一周期となる正弦波など、連続的な関数で表現されるものであり、具体的には正弦波の周期を示すような情報である。実際には入力される動画像は特定のフレームレート、例えば３０フレーム/秒のような離散的なフレーム画像群として与えられるので、図１７０の下図のように、正弦波上を離散的にサンプリングして埋め込みに用いることになる。なお、本実施の形態では以下に示すように、正弦波の周期に対する位相の値を用いる。
図１７１は、本発明の第２６の実施の形態における透かしパターン切り替え部の処理を説明するための図である。
透かしパターン切り替え部１２２では、まず入力された基本透かしパターンの濃淡値を、符号パターンに変換する。符号パターンは、基本透かしパターンの各濃淡値の＋または−の符号を取り出し、大きさを１とした値を各要素値として持つ配列である。
次に、入力されたフレーム表示時刻を透かしパターン切り替え情報の時間軸にとり、フレーム表示時刻に対応する透かしパターン切り替え情報の周期に対する位相（以下透かしパターン切り替え位相と呼ぶ）を取得する。そして直前のフレームに対する透かしパターン切り替え位相との間の位相変動値を求め（図１７１では＋π／３）、これを透かしパターン切り替え位相変動値とし、この透かしパターン切り替え位相変動値に符号パターンの要素値を掛けたものを透かし位相差分パターンとする。そして直前のフレームに対応する透かし位相パターンの各要素値に対して透かし位相パターンの各要素値を位相変動量として与え、今回の透かし位相パターンとする。透かし位相パターンは符号パターンと同じサイズの配列であり、各要素は０〜２πの位相値をとる。透かし位相パターンの各要素の初期値は任意の値でかまわない。
上記のようにして透かし位相パターンを取得した後、透かし位相パターン画像化部１２２５において透かし位相パターンを透かしパターンに変換する。変換の仕方としては、例えば図１７２に示すように、透かし位相パターンの各要素値を、画像の２つ以上の成分、図ではYCbCr表色系におけるCbとCrを直行軸においた座標系における原点（０，０）を中心とした半径ｒ（ｒは所与の値)の円上の、角度が位相パターン要素値の点に対応付ける。この結果得られるCb−Cr座標系のCb座標、Cr座標を、当該位相パターンの要素に対応する透かしパターンの画素値として、すべての透かしパターンの画素値を求める。このようにして得られた透かしパターンは、各画素複数の成分値を持つパターンとなる。
なお、本実施の形態ではCb，Crを例として用いたが、RGB表色系のＲ−Ｇを用いたり、あるいはXYZ表色系におけるＸ−Ｙを用いたり、HSV表色系のHue-Saturationを用いたり（この場合はHue-Saturationを直交座標にとるのではなく、位相値を直接Hue値に設定し、所与のSaturation値を持つようにしても良い）など、様々な方法があり得る。
また、各軸毎の変動量に対する視覚感度が異なる場合には、適宜スケールを補正して各軸の変動量と視覚感度が一致するようにしても良い(例えば図１３４において円ではなく楕円を用いるなど)。本実施の形態においてはYCbCr表色系では、Ｙに比べて知覚されづらいという理由でCbとCr成分を用いた例を示している。また、複数の画像成分ではなく、単一の成分、例えば輝度成分などを用いて本実施の形態を実施するには、第１の実施の形態の変調方法（Ａ−２）のように、基本透かしパターンに波形パターンを用いて、波形パターンの位相を変動させることで、本実施の形態と同様に位相差分変動を用いた電子透かし埋め込みが実現できる。
このようにして得られた透かしパターンを、図１７３に示すように、透かしパターン重畳部１３０において適宜透かしパターンの振幅を変更して、順次フレーム画像に重畳することにより、透かし入り動画像が得られることについては第１の実施の形態と同様である。この際、透かしパターンをフレーム画像以下のサイズにスケーリングし、フレーム画像の中央に重畳するものとする。なお、Cb−Crを用いた場合は、透かしパターンの振幅を調整するとは、Cb−Cr座標系における振幅（図１７２における点ａ０と原点との距離）を増減することになる。また、Hue-Saturationを用いる場合はSaturationを増減することにあたる。
また、基本透かしパターンが２値ではなく多値の場合は、基本透かしパターンの画素値の絶対値の大きさに応じて、対応する透かしパターンの画素値の振幅を増減させても良い。最後に動画像データ再構成部１４０において、上記の処理により順次生成される透かし入りフレーム画像を動画像データとして再構成して透かし入り動画像データとして出力する。再構成の際にはMPEGエンコードなどの符号化を行っても良い。
以上が本実施の形態における電子透かし埋め込み装置の説明である。
次に、本実施の形態における電子透かし検出装置について説明する。
図１７４は、本発明の第２６の実施の形態における電子透かし検出装置の構成図である。
電子透かし検出装置２００は、動画像入力部２１０、特徴領域抽出部２９０、差分画像生成部２３０、位相差分計算部３６０、検出対象領域抽出部２２０、電子透かし検出部２４０、特徴領域画像バッファ３０２、位相パターンバッファ３７０、差分画像（Ｂ）蓄積バッファ３９０を有する。
電子透かし検出装置２００は、ＴＶなどにディスプレイ表示されたアナログ動画像、あるいはMPEGエンコードされたようなディジタル動画像を入力とする。
図１７５は、本発明の第２６の実施の形態における電子透かし検出装置の動作のフローチャートである。
ステップ２３００） 動画像入力部２１０において、アナログまたはディジタル動画像を入力し順次フレーム画像を取得する。アナログ動画像の入力の際はカメラやスキャナ、あるいはアナログビデオ信号などを入力してフレーム画像を取得し、ディジタル動画像であればデコード処理などを行ってフレーム画像を取得する。
ステップ２３１０） 次に特徴領域抽出部２９０において、第１６の実施の形態などと同様にキャプチャしたフレーム画像中の特徴領域を抽出して特徴領域画像を得る。
ステップ２３２０） 次に差分画像生成部２３０において、現在取得した特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている以前に取得した特徴領域画像との差分画像を生成し、差分画像（Ａ）として出力する。
ステップ２３３０） また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。
ステップ２３４０） 続いて位相差分計測部３６０において、差分画像（Ａ）を位相パターンに変換する。
ステップ２３５０） 位相差分計測部３６０において、現在取得した位相パターンと、位相パターンバッファ３７０に蓄積されている以前に取得した位相パターンとの位相差を計測し、この位相差と上記２つの位相パターンの振幅値に基づいて新たに差分画像（Ｂ）を生成する。
ステップ２３６０〜２３８０） 次に検出対象領域抽出部２２０において、今回の差分画像（Ｂ）を差分画像（Ｂ）蓄積バッファ３９０に加算蓄積し、蓄積された差分画像（Ｂ）から検出対象領域を抽出し、検出対象領域画像を得る。
ステップ２３９０） 最後に、電子透かし検出部２４０において、検出対象領域画像からの電子透かし検出を試み、検出結果を出力する。
ステップ２４００） 電子透かし検出が成功しなかった場合は、動画像入力部２１０において次のフレーム画像を取得して上記の処理を順次繰り返す。
図１７６は、本発明の第２６の実施の形態における特徴領域抽出部の処理を説明するための図である。
特徴領域抽出部２９０はフレーム画像を入力とし、フレーム画像中の特徴領域を第１６の実施の形態などと同様に抽出し、特徴領域画像を得る。
図１７７は、本発明の第２６の実施の形態における差分画像生成部の処理を説明するための図である。差分画像生成部２３０は特徴領域画像を入力とする。差分画像生成部２３０は、現在入力された特徴領域画像と、特徴領域画像バッファ３０２に蓄積されている、以前に取得した特徴領域画像の差分画像を生成し、差分画像（Ａ）として出力する。差分処理は、R，G，BやＹ，Cb，Crなどの各成分毎の引き算によって行われる。また、次の検出試行に備えて、特徴領域画像バッファ３０２に今回の特徴領域画像をバッファリングしておく。
図１７８は、本発明の第２６の実施の形態における位相差分計算部の処理の内容を説明するための図である。
位相差分計測部３６０は差分画像（Ａ）を入力とする。位相差分計測部３６０は、差分画像（Ａ）の各画素毎にCb成分、Cr成分をそれぞれ求め、その結果（cb，cr）をCb−Cr座標系の点として表した際の振幅Ｒと位相θを求め、これらを位相パターンの当該画素位置に対応する要素の値として設定する。位相パターンは各要素位置毎に振幅と位相をとるような配列であり、その各要素は差分画像の各画素と対応付けられている。
次に位相差分計測部３６０は、図１７９のように、位相パターンバッファ３７０に蓄積されている以前に取得した位相パターンと、現在取得した位相パターンを比較し、各要素の位相差に基づいてプラスまたはマイナスの符号を決定し、さらに二つの位相パターンのそれぞれの振幅が大きいほど大きな値をとるような単調増加関数を用いて新たな振幅を決定し、上記符号と上記振幅を値として持つ差分画像（Ｂ）の各要素値を決定する。
図１８０Ａ、Ｂに位相差による符号選択方法の例を示す。現在取得した位相パターンのある要素の位相値θと、以前に取得した位相パターンの対応する要素の位相値θ'の位相差θ−θ'を求め、その値が０〜πの範囲内であれば符号"＋"を、−π〜０の範囲内であれば符号"−"を選択するようにする。また、現在取得した位相パターンのある要素の振幅値Ｒと、以前に取得した位相パターンの対応する要素の振幅値Ｒ'から、新たな振幅値ρを求めるのに用いる単調増加関数の例としては、例えばρ（Ｒ，Ｒ'）＝Ｒ＋Ｒ'であるとか、ρ（Ｒ，Ｒ'）＝Ｒ×Ｒ'などを用いることができる。振幅値Ｒ，Ｒ'に対して単調増加とする理由は、透かし信号が強く残っている、すなわち振幅Ｒ，Ｒ'が大きいものほど重みをつけることによって電子透かしの検出性能を改善するためである。全ての要素について符号選択と新たな振幅値を求める処理を終えた後、差分画像（Ｂ）を出力する。また、次の検出試行に備えて、位相パターンバッファ３７０に今回の位相パターンをバッファリングしておく。
次に検出対象領域抽出部２２０の処理の内容を説明する。
検出対象領域抽出部２２０は差分画像（Ｂ）を入力とする。検出対象領域抽出部２２０は、入力された差分画像（Ｂ）を差分画像（Ｂ）蓄積バッファ３９０に加算蓄積する。
図１８１は、本発明の第２６の実施の形態における差分画像（Ｂ）蓄積バッファを説明するための図である。差分画像（Ｂ）蓄積バッファ３９０は、差分画像（Ｂ）と同じサイズの画素配列であり、新たに入力された差分画像（Ｂ）の各画素毎に、差分画像（Ｂ）蓄積バッファ３９０の対応する画素位置に画素値を加算する。
図１８２は、本発明の第２６の実施の形態における検出対象領域抽出部の処理を説明するための図である。検出対象領域抽出部２２０では、上記のように差分画像（Ｂ）を差分画像（Ｂ）蓄積バッファ３９０に加算蓄積した後、差分画像（Ｂ）蓄積バッファ３９０の画素値を絶対値化して、その中から第１３の実施の形態などと同様にして検出対象領域を抽出する。そして絶対値化前の差分画像（Ｂ）蓄積バッファ３９０の検出対象領域の画像を、所与のサイズの矩形となるように歪み補正し、さらにサイズ正規化して、検出対象領域画像を生成して出力する。
上記のような処理による検出対象領域抽出部２２０の効果を説明する。位相差分計測部３６０において得られる差分画像（Ｂ）について考えると、透かしパターンが埋め込まれている画素領域については、透かしパターン埋め込まれていない画素領域に比べ画素値の絶対値が一般に大きい。これは透かしパターンが各キャプチャフレーム毎に異なるため、透かしパターンが埋め込まれている画素領域については差分画像（Ａ）の画素値の絶対値が大きいが、透かしパターンが埋め込まれていない画素領域については、原画成分が時間相関が高いため、差分画像（Ａ）の画素値の絶対値が小さいためである。また、位相差分計測部３６０において、位相差分を用いて差分画像（Ｂ）の画素値の符号を決定しているため、第２５の実施の形態で述べたとおり、キャプチャタイミングによらず、透かしパターンが埋め込まれている画素領域については同一画素位置で常に同一の符号である。そのため差分画像（Ｂ）蓄積バッファ３９０で加算蓄積すると、加算の度に絶対値が大きくなるようになる。しかし透かしパターンが埋め込まれていない画素領域については、符号が同一とはならずにまちまちであり、先に述べた画素値の絶対値が小さいことと合わせて、加算蓄積によって画素値の絶対値はそれほど大きくならず、相対的に透かしパターンが埋め込まれている画素領域とのコントラストが、加算蓄積の度に大きくなっていく。このため、加算蓄積によって得られる差分画像（Ｂ）バッファ３９０の画素値を絶対値化すれば、透かしパターンの正負の違いが無くなり、背景領域である透かしパターンが埋め込まれていない画素領域中に、透かしパターンが埋め込まれた画素領域が高いコントラストで浮かび上がる。これにより透かしパターンが埋め込まれた領域を検出対象領域として確実に抽出することができる。
さらに加算蓄積によって図１８１のように透かしパターンが相対的に強まることから、次に述べる電子透かし検出において検出性能を改善し、より高い耐性をもつ電子透かし検出を実現することができる。
最後に電子透かし検出部２４０は検出対象領域画像を入力とし、検出対象領域画像からの電子透かし検出を試みる。図１８３を用いて電子透かし検出部２４０の処理例を説明する。図１８３は電子透かし埋め込み時の変調方法（Ａ−１）に対応する検出時の復調方法である（文献１）。
まず検出対象領域画像を埋め込み時の透かしパターンのブロックの個数にブロック分割する。次にブロック内の画素値の合計を求め、ブロック順に並べて一次元の系列である検出対象系列を得る。次に、埋め込み時の１ビットに対応する区間を検出対象系列から取り出し、拡散系列の対応する区間と相関演算を行う。相関値がプラスの大きな値であればビット値"１"を検出、マイナスの大きな値であればビット値"０"を検出として、全てのビットについて検出処理を行う。また必要に応じて検出処理を終えた透かし情報に誤り訂正・検出復号処理などを施しても良い。電子透かしの検出に成功しなかった場合は引き続き動画像入力部２１０のフレームキャプチャ処理に復帰し、検出試行を繰り返す。あるいは動画像の入力が終了したら検出処理を終了する。
＜第２６の実施の形態の効果＞
本実施の形態によれば、第２５の実施の形態と同様にどのようなタイミングで動画像をキャプチャしても問題がないという効果に加え、差分画像（Ａ）から差分画像（Ｂ）を各画素毎に得て、差分画像（Ｂ）を加算蓄積し、絶対値化したものから検出対象領域を抽出して電子透かし検出を行うことにより、さらに第１９の実施の形態の効果を兼ね備えることができる。
また、透かしの情報を位相差分変動として埋め込みを行うため、差分画像（Ｂ）の加算蓄積においてはそのまま画素値の加算で良く、さらに透かし情報のビットが反転しないため、第１９の実施の形態と比較してもより簡易でかつ効率的な電子透かし方式となっている。
また、本実施の形態によれば、様々な工夫によりキャプチャしたフレームレーム画像中のどの部分から電子透かし検出を行えば良いかを特定して、さまざまな撮影角度や背景画像の条件下でも、確実に電子透かし検出可能とすることができ、さらに電子透かしの検出性能を向上させている。これによってテレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出処理を確実に行うことが可能となる。
また、上記の形態における電子透かし埋め込み装置１００、電子透かし検出装置２００の各動作をプログラムとして構築し、電子透かし埋め込み装置、電子透かし検出装置として用いられるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。また、当該プログラムをＣＤ−ＲＯＭ、電子メモリ等のコンピュータ読み取り可能な記録媒体に格納して利用することも可能である。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。また、本発明は、電子透かし技術に適用可能であり、本発明は上記の実施の形態のみに限定されるものではなく、例えば３次元表示システム、３次元撮影システムや音声情報などへの適用、赤外線などの知覚不可能な信号領域への適用などさまざまな適用が可能である。
［効果］
本発明の実施の形態によれば、動画像のフレームに対して時間的に切り替わる透かしパターンの埋め込みを行うことにより、動画像の各フレームに対して固定のパターンを埋め込むのではなく、高速に切り替わるパターンを埋め込むことになり、人間の視覚特性における時間周波数特性について高周波に対する視覚感度が低いことが知られているから、透かし埋め込みによる画質劣化を低減することができる。
また、検出の際には、カメラなどアナログ入力デバイスから連続して入力されるフレーム画像に対して、時間的に近接した２枚のキャプチャフレーム画像の差分画像を生成して電子透かし検出を行うことから、電子透かし信号にとって雑音となる原画像信号を大幅にキャンセルすることができ、電子透かし検出性能の向上を実現できる。
また、埋め込み時の透かしパターンの切り替えタイミングが検出側で既知であれば、キャプチャした２枚のフレームの時刻を用いて、差分画像に透かしパターンが残存するものを選択でき、無駄な電子透かし検出を行う必要がなくなる。さらに、検出側のカメラのキャプチャタイミング、あるいは、差分画像取得時の２枚の画像の時間差を、透かしパターン切り替えタイミングに合わせて制御することで、常に差分画像中に透かしパターンが残存するようにでき、効率的な電子透かし検出が可能となる。
また、差分画像中の透かしパターンの位相を判定することで、透かしパターンの位相の反転によって検出透かし情報のビットが反転するタイプの変調方法を用いた場合でも、正しい透かし情報を検出することができる。この際、透かし情報中の１ビットを位相判定用のフラグとして用いてもよいし、あるいは、透かし情報とは別個の位相判定用電子透かしを用いても良い。
また、連続したキャプチャによって順次得られる差分情報を、位相を合わせた上で加算蓄積することで、透かしパターンの強度を相対的に増加させ、蓄積バッファからの電子透かし検出を試みることで、１枚の差分画像からでは十分な検出性能が得られない場合でも、検出可能とすることができる。なお、位相を合わせるためには上記位相反転用のフラグを用いたり、透かし情報とは別個の位相判定用透かしを用いる方法の他、スペクトラム拡散変調における相関値の符号極性を用いる方法も有り得る。
また、電子透かし検出の際に算出される相関値を順次加算蓄積し、蓄積された相関値を評価して検出可否判定を行うことで、１枚の差分画像からでは十分な検出性能が得られない場合でも検出可能とすることができる。この際、差分画像の位相を合わせることで、相関値が常に同じ位相で蓄積されるようにしたり、相関値の絶対値を蓄積するようにしてもよい。
また、埋め込み情報を小データブロックに分割し、時間方向でデータブロックを切替えて埋め込みを行い、検出時はデータブロック毎に検出を行って得られたデータブロックを連結することで、より長い透かし情報を埋め込み・検出が可能となる。さらに、一つの差分画像に対するときの処理と同様に、小データブロック毎検出ごとに差分位相判定を行ったり、データブロックの順番を表すデータブロックＩＤを埋め込みによって位相判定を兼ねたり、位相を合わせた差分画像蓄積を行ったり、相関値の蓄積を行ったりして、更に電子透かしの検出性能を向上させることも可能である。
さらに、カメラからのリアルタイム検出処理を行う状況下では、電子透かし検出処理の状況を、リアルタイムにフィードバック出力することで、インタラクティブ性が増すことによって利便性が向上する。特に、検出しやすい状況となるようにユーザを促すことにより、検出性能の向上が期待できる。
さらに、透かし情報を透かしパターンの位相差分変動として埋め込み行うことにより、差分画像の取得タイミングによらず、一定の透かしパターンを含むように差分画像を得ることができる。これによって透かし情報のビット反転を防いだり、差分画像蓄積時や相関値蓄積時に位相を合わせる必要がなくなり、単純に加算蓄積するようにすればよいので、装置構成の単純化、処理の高速化、及び位相同期信号を不要とすることに透かし情報長増大や耐性向上を実現できる。また、データブロック利用型の場合に、データブロック間に無用なブランクを挟まなくても検出情報の信頼性を担保できるので、単位時間あたりの透かし情報長の増大を実現できる。
また、本発明の実施の形態によれば、動画像のフレームに対して時間的に切り替わる透かしパターンの埋め込みを行う際に、動画像データのフレームサイズより小さい透かしパターンを重畳する。また、検出時にはキャプチャで得られたフレーム画像間の差分画像を生成し、差分の大きな領域、即ち、電子透かし検出対象となる領域を差分画像中から抽出することで、撮影角度や背景画像によらず安定的な電子透かし検出を実現できる。
また、キャプチャフレーム毎に特徴領域の歪みを補正、サイズ正規化を行って得られる特徴領域画像間の差分画像から検出対象領域を抽出することにより、撮影中にカメラが動いても安定的に検出対象領域を抽出することが可能となる。
さらに、埋め込み時に異なる情報を表すような複数の透かしパターンを画像中のオブジェクトなどと関連付けて配置して重畳し、検出時には差分画像中から複数の検出対象領域を抽出するようにして、同時に複数の電子透かし情報を検出したり、オブジェクト毎に異なる情報を抽出することが可能となる。
また、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、更に時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）から電子透かしの検出を行うので、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出が可能となる。
さらに、透かしの情報を位相差分変動として埋め込みを行い、検出時にはまず差分画像（Ａ）を生成し、さらに時間的に隣接した差分画像（Ａ）の位相差分を計測し、位相差を用いて得られる差分画像（Ｂ）を生成し、差分画像（Ｂ）を加算蓄積して検出対象領域を抽出し、検出対象領域画像から電子透かし検出を行うので、先に述べたとおり、検出時のキャプチャタイミング及びキャプチャ時間間隔、あるいはシャッター速度などによらず常に同一条件で電子透かし検出が可能となるほか、撮影角度によって生じる歪みの影響を補正し、かつ蓄積によって透かしの耐性を向上させ、より安定的な電子透かし検出を実現することが可能となる。
また、埋め込み時の透かしパターンの切り替えタイミングが検出側で既知であれば、キャプチャした２枚のフレームの時刻を用いて、差分画像に透かしパターンが残存するものを選択でき、無駄な電子透かし検出を行う必要がなくなる。さらに、検出側のカメラのキャプチャタイミング、あるいは、差分画像取得時の２枚の画像の時間差を、透かしパターン切り替えタイミングに合わせて制御することで、常に差分画像中に透かしパターンが残存するようにでき、効率的な電子透かし検出が可能となる。
また、本発明の実施の形態によれば、動画像のフレームに対して時間的に切り替わる透かしパターンの埋め込みを行う際に、動画像データのフレームサイズより小さい透かしパターンを重畳する。また、検出時にはキャプチャで得られたフレーム画像間の差分画像を生成し、差分の大きな領域、即ち、電子透かし検出対象となる領域を差分画像中から抽出することで、撮影角度や背景画像によらず安定的な電子透かし検出を実現できる。
また、キャプチャフレーム毎に特徴領域を抽出し、特徴領域の歪みを補正、サイズ正規化を行って得られる特徴領域画像間の差分画像から検出対象領域を抽出することにより、撮影中にカメラが動いても安定的に検出対象領域を抽出することが可能となる。
また、検出対象領域や特徴領域の探索時に、以前に電子透かし検出状況が良好であった時の位置の近傍のみを探索することで、より安定的な領域抽出が可能となる。
また、差分画像を加算蓄積し、加算蓄積した差分画像中から検出対象領域を抽出することで、更に安定的な領域抽出や、電子透かし検出性能の向上が可能となる。
さらに、埋め込み時に異なる情報を表すような複数の透かしパターンを画像中のオブジェクトなどと関連付けて配置して重畳し、検出時には差分画像中から複数の検出対象領域を抽出するようにして、同時に複数の電子透かし情報を検出したり、オブジェクト毎に異なる情報を抽出することが可能となる。
また、撮影時のフレーム画像中の検出対象領域の画素サイズが小さい場合に、自動的にズームインしてより大きな画素サイズの検出対象領域を取得することができる。一般に画素サンプルが少なくなると電子透かし検出が困難になるため、ズームインして検出対象領域の画素サンプル数を増大させることで、電子透かしの検出性能を向上させることができる。
以上述べたとおり、本発明の実施の形態によれば、様々な工夫により電子透かしの検出性能を向上させることで、テレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出処理を行うことが可能となる。
また、キャプチャしたフレーム画像中のどの部分からで電子透かし検出を行えばよいかを特定して、様々な撮影角度や背景画像の条件下でも確実に電子透かし検出を可能とすることができ、さらに、電子透かしの検出性能を向上させている。これによって、テレビなどの動画像をカメラで撮影し、撮影した動画からリアルタイムに電子透かし検出処理を確実に行うことが可能となる。
本発明の実施の形態によって、例えば、テレビで視聴中の映像をカメラ付携帯電話機で撮影して、視聴番組関連情報を取得したり、あるいはクイズ番組や視聴者アンケートの選択肢を透かし検出によって選択し、その結果を通信によって放送局に送ることで、リアルタイムに番組内容にフィードバックするようなインタラクティブテレビ放送を実現したり、あるいは、従来はバーコードなどを必要としていた拡張現実感システムにおいて、不可視な電子透かしを用いることでバーコードを不要として不自然さを解消したり、あるいはテレビゲームなどにおいて操作対象のオブジェクトを透かし検出で特定するなどによってゲーム操作に用いたり、あるいは街頭のオーロラビジョンなどで上記と同様なアプリケーションを実施したり、あるいはＰＣ（パーソナルコンピュータ）などの表示画面に透かしを埋め込み、これをカメラ付携帯電話機で撮影することで、ＰＣから携帯電話機へ情報を送って機器の連携を行ったり、あるいは静止画像を複製して任意のｎ枚（ｎは２以上の整数）にし、ｎフレームの動画像と見做して本発明を適用し、アニメーションＧＩＦなどの方法で符号化しておき、これをブラウザ画面などで表示することで、表示画面上の静止画像に対しても透かし埋め込み・検出ができるようにしたり、あるいは、ＰＣ上でＨＴＭＬなどのハイパーテキストを解析してブラウザなどに表示する際に、ハイパーリンクの張られたオブジェクトの表示領域に本発明を用いてハイパーリンク情報を埋め込み、ＰＣの表示画面上をカメラ付携帯電話機で撮影して携帯電話機でブラウズをしたり、あるいは、携帯電話機の表示画面を用いて上記の応用を行うことによる携帯電話機間連携や携帯電話機→ＰＣ連携など、極めて広範囲な応用分野を持つ。さらに、従来からの電子透かし技術の適用目的である、著作権管理、著作権保護などにも適用可能であることは明らかである。
１００ 電子透かし埋め込み装置
１１０ フレーム画像取得部
１２０ 透かしパターン生成部
１２１ 基本透かしパターン生成部
１２２ 透かしパターン切り替え部
１２３ 透かし情報分解部
１３０ 透かしパターン重畳部
１４０ 動画像データ再構成部
２００ 電子透かし検出装置
２１０ 動画像入力部
２２０ 検出対象領域抽出部
２３０ 差分画像生成部
２４０ 電子透かし検出部
２４１ 差分画像位相判定部
２４２ 透かし情報検出部
２４３ 相関演算部
２４４ 検出可否判定部
２４６ データブロックＩＤ検出部
２４７ データブロック情報検出部
２４８ データブロックＩＤ＝ｎ用差分画像蓄積バッファ
２４９ 相関演算部
２５０ 検出対象領域画像バッファ
２５１ データブロックＩＤ＝ｎ用相関値バッファ
２５５ 差分画像蓄積バッファ
２６０ 検出要否判定部
２６５ フィードバック出力部
２７０ キャプチャタイミング制御部
２８０ 検出データブロック蓄積部
２８１ 検出データブロックバッファリング部
２８２ 検出完了確認部
２８３ 検出透かし情報バッファ
２９０ 特徴領域抽出部
３０１ フレーム画像バッファ
３０２ 特徴領域画像バッファ
３０３ 差分フレーム画像バッファ
３０４ 特徴領域差分画像バッファ
３１０ ズーム処理部
３６０ 位相差分計測部
３７０ 位相パターンバッファ
３９０ 差分画像（Ｂ）蓄積バッファ
１２２１ 符号パターン生成部
１２２２ 透かしパターン切り替え位相変動値算出部
１２２３ 透かし位相差分パターン生成部
１２２４ 透かし位相パターン生成部
１２２５ 透かし位相パターン画像化部

Claims (124)

  1. 動画像に電子透かしを埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、
    フレーム画像群からなる動画像データ、透かし情報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を入力するステップと、
    フレーム画像取得手段において、前記動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得ステップと、
    透かしパターン生成手段において、前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成ステップと、
    透かしパターン重畳手段において、前記透かしパターンを前記フレーム画像に重畳する透かしパターン重畳ステップと、
    前記フレーム画像取得ステップから前記透かしパターン重畳ステップを順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成ステップと、
    を有することを特徴とする電子透かし埋め込み方法。
  2. 前記透かしパターン生成ステップは、
    前記透かし情報を用いて基本透かしパターンを生成する基本透かしパターン生成ステップと、
    前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前の透かしパターンに対して前記基本透かしパターンで定まる位相変動を加えて新たな透かしパターンを生成するステップと、
    を有する請求項１記載の電子透かし埋め込み方法。
  3. 前記透かしパターン生成ステップは、
    前記透かし情報を用いて基本透かしパターンを生成する基本透かしパターン生成ステップと、
    前記基本透かしパターンの画素値に基づいて符号パターンを生成する符号パターン生成ステップと、
    前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前のフレームからの時間差分に対応する透かしパターン切り替え位相変動値を求める透かしパターン切り替え位相変動値算出ステップと、
    前記透かしパターン切り替え位相変動値に前記符号パターン生成ステップで生成された前記符号パターンの各要素の符号を付与して、これを直前の透かし位相パターンからの位相差分として現在のフレームに対する透かし位相パターンを生成する透かし位相パターン生成ステップと、
    前記透かし位相パターンに基づいて透かしパターンを生成する透かし位相パターン画像化ステップと、
    を有する請求項１記載の電子透かし埋め込み方法。
  4. 前記透かしパターン生成ステップは、
    前記透かし位相パターンから前記透かしパターンを生成する際に、前記基本透かしパターンの各画素値に基づいて透かしパターンの対応する画素値の振幅を増減するステップを有する請求項３記載の電子透かし埋め込み方法。
  5. 前記透かしパターン生成ステップは、
    前記基本透かしパターンが表す位相差分変動を、画像の複数の成分から得られる座標系における回転量に対応させ、位相差分変動で回転されて得られる新たな複数の成分値をもとに、前記透かしパターンを生成するステップを有する、請求項１乃至４のうちいずれか１項に記載の電子透かし埋め込み方法。
  6. 前記画像の複数の成分として、画像のCb-Cr成分を用いる、請求項５記載の電子透かし埋め込み方法。
  7. 前記透かしパターン生成ステップは、
    前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かし情報をデータブロックに分割するステップと、
    前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロックＩＤ及び該データブロックＩＤのデータブロック情報を元に透かしパターンを生成するステップと、
    を有する請求項１乃至６のうちいずれか1項に記載の電子透かし埋め込み方法。
  8. 前記透かしパターン生成ステップは、
    前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かし情報をデータブロックに分割するステップと、
    前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロックＩＤ及び該データブロックＩＤのデータブロック情報を元に前記透かしパターンを生成する際に、前記データブロックＩＤが位相判定用透かし情報を兼ねるようにして透かしパターンを生成するステップと、
    を有する請求項７に記載の電子透かし埋め込み方法。
  9. 前記透かしパターン重畳ステップは、前記透かしパターンを前記フレーム画像以下のサイズにスケール変更して該フレーム画像の内部に重畳するステップを有する、請求項１乃至８のうちいずれか１項に記載の電子透かし埋め込み方法。
  10. 前記透かしパターン生成ステップは、
    前記透かし情報を用いて基本透かしパターンを生成するステップと、
    さらに、電子透かし検出時の検出対象領域抽出のための位置合わせのためのパターンを基本透かしパターンに追加するステップと、
    前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて基本透かしパターンを変更することで透かしパターンを生成するステップと、
    を有する請求項９に記載の電子透かし埋め込み方法。
  11. 前記透かしパターン生成ステップは、
    前記透かし情報を既存の２次元コードにより基本透かしパターンに変調し、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて該基本透かしパターンから透かしパターンを生成するステップを有する、請求項９または１０に記載の電子透かし埋め込み方法。
  12. 前記電子透かし埋め込み装置は複数の透かしパターン生成手段を有し、前記電子透かし埋め込みステップにおいて、
    各々の前記透かしパターン生成手段は異なる透かしパターンを生成し、前記透かしパターン重畳手段は、前記透かしパターンをフレーム画像内に複数重畳する、請求項９乃至１１のうちいずれか１項に記載の電子透かし埋め込み方法。
  13. 前記透かしパターン重畳ステップは、動きの多いフレーム画像ほど透かしパターンの振幅を増幅するステップを有する、請求項１乃至１２のうちいずれか１項に記載の電子透かし埋め込み方法。
  14. 前記透かしパターン重畳ステップは、以前に入力したフレーム画像を記憶手段に保持しておき、今回入力したフレーム画像と以前のフレーム画像との差分画像を生成し、該差分画像の画素値に基づいて基本透かしパターンの振幅を増幅するステップを有する、請求項１３に記載の電子透かし埋め込み方法。
  15. 前記透かしパターン重畳ステップは、透かしパターン全体の振幅を増幅するステップを有する、請求項１３または１４に記載の電子透かし埋め込み方法。
  16. 前記透かしパターン重畳ステップは、フレーム画像中の動きの大きい画素領域に対応する透かしパターンの画素領域を増幅するステップを有する、請求項１３または１４に記載の電子透かし埋め込み方法。
  17. 動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、
    動画像入力手段において、フレーム画像を順次取得する動画像入力ステップと、
    差分画像生成手段において、今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成ステップと、
    電子透かし検出手段において、前記差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出ステップとを有し、
    前記電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し、上記の各ステップを繰り返す、ことを特徴とする電子透かし検出方法。
  18. 前記電子透かし検出ステップで得られた透かし情報からデータブロックＩＤとデータブロック情報を得て、検出透かし情報バッファの該データブロックＩＤの情報に検出したデータブロック情報を記録し、全てのデータブロックＩＤについて検出が完了した場合に電子透かし検出成功の旨を出力する、請求項１７に記載の電子透かし検出方法。
  19. 前記動画像入力ステップは、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するステップを有し、
    前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、今回のフレーム表示時刻と、以前に取得したフレーム画像のフレーム表示時刻の時間間隔から検出要否を判定する判定ステップを更に有し、
    判定ステップにおいて検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成ステップ以降の処理を続行する、請求項１７または１８に記載の電子透かし検出方法。
  20. 前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、フレームのキャプチャタイミングを設定するキャプチャタイミング制御ステップを有し、
    前記動画像入力手段において、前記キャプチャタイミングに基づいてフレーム画像を順次取得する、請求項１７乃至１９のうちいずれか１項に記載の電子透かし検出方法。
  21. 前記電子透かし検出方法は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、差分画像を得るためのフレーム間の時間間隔を表す差分タイミングを設定するステップを有し、
    前記動画像入力手段において、前記フレーム画像と該フレーム表示時刻を順次取得し、前記差分画像生成手段において、今回取得したフレーム画像と、前記差分タイミングで指定される時間だけ以前に取得したフレーム画像の差分画像を生成する、
    請求項１７乃至１９のうちいずれか１項に記載の電子透かし検出方法。
  22. 前記電子透かし検出ステップは、前記差分画像に埋め込まれている透かしパターンの位相を判定し、透かしパターンの位相が逆相の場合は、検出した透かし情報のビット反転を行って、電子透かしの検出状況を出力するステップを有する、請求項１７乃至２１のうちいずれか１項に記載の電子透かし検出方法。
  23. 前記差分画像生成ステップにおいて前記差分画像を差分画像蓄積バッファに加算し、前記電子透かし検出ステップにおいて、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力する、請求項１７乃至２２のうちいずれか１項に記載の電子透かし検出方法。
  24. 前記電子透かし検出方法は、前記差分画像に埋め込まれている透かしパターンの位相を判定するステップと、順次処理される差分画像の全てで当該位相が同相となるように差分画像を変更するステップを有し、これらのステップで得られた差分画像を用いて前記差分画像生成ステップ及び前記電子透かし検出ステップを実行する、請求項２３に記載の電子透かし検出方法。
  25. 前記電子透かし検出ステップは、検出の際に算出される相関値を検出処理の度に記憶手段に蓄積し、蓄積された相関値を用いて検出成功か否かを判定するステップを有する、請求項１７乃至２４のうちいずれか１項に記載の電子透かし検出方法。
  26. 前記電子透かし検出ステップは、検出の際に算出される相関値の絶対値を検出処理の度に記憶手段に蓄積し、蓄積された該相関値の絶対値を用いて検出成功か否かを判定するステップを有する、請求項１７乃至２４のうちいずれか１項に記載の電子透かし検出方法。
  27. 埋め込み時に用いた透かしパターン切り替え情報と、フレーム画像取得時に得られるフレーム表示時刻の関係から、差分画像中の透かしパターンの位相を判定するステップを有する、請求項２２または２４に記載の電子透かし検出方法。
  28. 前記差分画像中に埋め込まれた透かしパターンで表現された透かし情報中の予め定めたビット位置のビット値を検出し、該ビット値に基づいて該差分画像中の透かしパターンの位相を判定するステップを有する、請求項２２または２４に記載の電子透かし検出方法。
  29. 位相判定用透かしを検出して前記差分画像中の透かしパターンの位相を判定するステップを有する、請求項２２または２４に記載の電子透かし検出方法。
  30. 透かし検出処理によって算出される相関値の正負の極性を利用して前記差分画像中の透かしパターンの位相を判定するステップを有する、請求項２２または２４に記載の電子透かし検出方法。
  31. 前記差分画像からの電子透かし検出を行って透かし情報であるデータブロック情報及びデータブロックＩＤを検出し、データブロックＩＤ検出時の相関値の正負の極性を利用して前記差分画像に埋め込まれている透かしパターンの位相を判定するステップを有する、請求項２２または２４に記載の電子透かし検出方法。
  32. 前記差分画像生成ステップは、
    今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し、さらに、該差分画像中の特定成分から位相値と振幅値を求め、該位相値が所与の複数のグループのいずれに属するかを判定し、その判定結果と該振幅値を元に該差分画像を修正して出力するステップを有する、請求項１７乃至３１のうちいずれか１項に記載の電子透かし検出方法。
  33. 前記差分画像生成ステップは、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段に格納するステップを有し、
    前記電子透かし検出方法は、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計測ステップを有し、
    前記電子透かし検出ステップは、前記差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力するステップを有する、請求項１７乃至３１のうちいずれか１項に記載の電子透かし検出方法。
  34. 前記位相差分計測ステップは、
    前記差分画像（Ａ）から位相パターンを生成する際に、位相値と共に振幅値を求めて位相パターンの要素値とするステップと、
    前記今回取得した位相パターンと前記以前に取得した位相パターンの位相差を計測し、位相差に基づいて符号を決定するステップと、
    さらに前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値と、符号に基づいて前記差分画像（Ｂ）を生成するステップと、
    を有する請求項３３記載の電子透かし検出方法。
  35. 前記位相差分計測ステップは、
    前記差分画像（Ａ）から前記位相パターンを生成する際に、前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値に対して単調増加する値を振幅とし、前記符号と組み合わせて得られる値に基づいて前記差分画像（Ｂ）を生成するステップを有する、請求項３４記載の電子透かし検出方法。
  36. 前記差分画像生成ステップにおける前記差分画像中の特定成分が複数の成分である、請求項３２記載の電子透かし検出方法。
  37. 前記位相差分計測ステップにおいて、前記差分画像（Ａ）から位相パターンを得る際に、該差分画像（Ａ）中の複数の成分から得られる座標系おける位相及び振幅を利用する、請求項３３乃至３５のうちいずれか１項に記載の電子透かし検出方法。
  38. 前記差分画像中の特定成分がCb成分及びCr成分である、請求項３６または３７記載の電子透かし検出方法。
  39. 前記電子透かし検出方法は、前記差分画像（Ｂ）を差分画像蓄積バッファに加算するステップを更に有し、
    電子透かし検出ステップは、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力するステップを有する、請求項３３乃至３８のうちいずれか1項に記載の電子透かし検出方法。
  40. 前記電子透かし検出方法は、順次取得される前記フレーム画像に対し、今回のフレーム画像中の検出対象領域を抽出し、歪みを補正し、サイズを正規化して検出対象領域画像を生成するステップを有し、
    前記差分画像生成ステップにおいて、今回取得した検出対象領域画像と、以前に取得した検出対象領域画像の差分画像を生成する、請求項１７乃至３９のうちいずれか１項に記載の電子透かし検出方法。
  41. 前記電子透かし検出方法は、順次取得される前記差分画像から検出対象領域を抽出して検出対象領域画像を生成するステップを有し、
    前記電子透かし検出ステップにおいて、前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する、請求項１７乃至３９のうちいずれか１項に記載の電子透かし検出方法。
  42. 前記フレーム画像を順次取得した後に、前記フレーム画像から特徴領域を抽出して歪み補正及びサイズ正規化を行って特徴領域画像を生成する特徴領域抽出ステップと、
    今回取得した特徴領域画像と、以前に取得した特徴領域画像の差分画像を生成する前記差分画像生成ステップと、
    前記差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出ステップと、
    前記検出対象領域からの電子透かし検出を行う前記電子透かし検出ステップと、
    を有する請求項１７乃至３９のうちいずれか１項に記載の電子透かし検出方法。
  43. 前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、該差分画像の画素値を絶対値化して検出対象領域を探索するステップを有する、請求項４１または４２に記載の電子透かし検出方法。
  44. 前記検出対象領域抽出ステップは、前記差分画像から前記検出対象領域を抽出する際に、埋め込み時の基本透かしパターンに付加された位置合わせパターンを用いて検出対象領域を探索するステップを有する、請求項４１または４３に記載の電子透かし検出方法。
  45. 前記検出対象領域抽出ステップは、過去の電子透かし検出試行で検出状況が良好であったときの検出対象領域の近傍の領域に限定した探索を行って、今回の検出対象領域抽出処理を行うステップを有する、請求項４１乃至４４のうちいずれか１項に記載の電子透かし検出方法。
  46. 前記検出対象領域抽出ステップは、前記位置合わせパターンを用いて、前記差分画像中の透かしパターンの位相を判定するステップを有する、請求項４４に記載の電子透かし検出方法。
  47. 前記検出対象領域抽出ステップは、前記差分画像を記憶手段に加算蓄積し、蓄積した該差分画像中から検出対象領域を探索し、抽出するステップを有する、請求項４１乃至４６のうちいずれか１項に記載の電子透かし検出方法。
  48. 前記検出対象領域抽出ステップは、前記差分画像を前記記憶手段に加算蓄積する際に、該差分画像中の透かしパターンの位相を揃えて、加算蓄積を行うステップを有する、請求項４７に記載の電子透かし検出方法。
  49. 動画像から電子透かしを検出する電子透かし検出装置における電子透かし検出方法であって、
    動画像入力手段において、フレーム画像を順次取得するフレーム画像取得ステップと、
    特徴領域抽出手段において、フレーム画像中の特徴領域を抽出し特徴領域画像を取得する特徴領域抽出ステップと、
    差分画像生成手段において、今回取得した特徴領域画像と、特徴領域画像バッファから読み出した以前に取得した特徴領域画像の差分画像を生成して差分画像（Ａ）を取得すると共に、該今回取得した特徴領域画像を該特徴領域画像バッファに格納する差分画像生成ステップと、
    位相差分計測手段において、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターンバッファから読み出した以前に取得した位相パターンの位相差を計測し、位相差と振幅に基づいて差分画像（Ｂ）を生成すると共に、該今回取得した差分画像（Ａ）を該位相パターンバッファに格納する位相差分計測ステップと、
    検出対象領域抽出手段において、前記差分画像（Ｂ）を各画素毎に画素値の加算蓄積を行い、加算蓄積によって得られる差分画像（Ｂ）蓄積バッファから検出対象領域を抽出し、検出対象領域画像を取得する検出対象領域抽出ステップと、
    電子透かし検出手段において、前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出ステップと、
    電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、上記動画像入力手段で新たなフレーム画像を取得し直し上記各ステップを繰り返すステップと、
    を有することを特徴とする電子透かし検出方法。
  50. 前記検出対象領域抽出ステップは、
    加算蓄積によって得られる前記差分画像（Ｂ）蓄積バッファから検出対象領域を抽出する際に、前記差分画像（Ｂ）蓄積バッファの画素値の絶対値をとったものから検出対象領域を抽出し、絶対値を取る前の差分画像（Ｂ）蓄積バッファの検出対象領域の画像を検出対象領域画像として得るステップを有する、請求項４９記載の電子透かし検出方法。
  51. 前記検出対象領域抽出ステップにおいて、複数の検出対象領域を抽出し、
    前記電子透かし検出ステップにおいて、前記複数の検出対象領域の各々に対して電子透かし検出試行を行い、検出結果を出力する、
    請求項４０乃至５０のうちいずれか１項に記載の電子透かし検出方法。
  52. 前記電子透かし検出ステップは、透かし情報を検出する際に、既存の２次元コードの復号処理を用いて透かし情報を検出するステップを有する、請求項１７乃至５１のうちいずれか１項に記載の電子透かし検出方法。
  53. 差分処理によって生成される前記差分画像に対して、さらにフィルタ処理を施し、フィルタ処理を施した差分画像を出力するステップを有する、請求項１７乃至５２のうちいずれか１項に記載の電子透かし検出方法。
  54. 前記フィルタ処理として、非線形フィルタを用いる、請求項５３記載の電子透かし検出方法。
  55. 入力とする動画像が、カメラで撮影され、キャプチャされた映像信号である、請求項１７乃至５４のうちいずれか１項に記載の電子透かし検出方法。
  56. 検出対象領域抽出状況、電子透かし検出状況、データブロック検出状況のうちのいずれか又は複数の処理状況に応じたフィードバック出力を画面あるいは、音声を出力する外部出力手段により行うステップを有する、請求項１７乃至５５のうちいずれか１項に記載の電子透かし検出方法。
  57. 前記検出対象領域抽出ステップにおいて、検出対象領域のサイズ及び位置を表す検出対象領域情報を更に生成し、前記電子透かし生成方法は、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズとなるようにズームパラメタを設定し、当該ズームパラメタを前記動画像入力手段に与えてズーム処理を行うズーム処理ステップを有する、請求項４０乃至５６のうちいずれか１項に記載の電子透かし検出方法。
  58. 前記ズーム処理ステップは、前記電子透かし検出ステップにおける検出状況が良好であった場合に、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズになるようにズームパラメタを設定し、前記動画像入力手段に与えてズーム処理を行うステップを有する、請求項５７記載の電子透かし検出方法。
  59. 入力とする動画像が、表示ディスプレイ上に表示されている状態をカメラでリアルタイムに撮影され、キャプチャされたものであり、
    電子透かし検出によって得られた透かし情報に基づいて、表示されている動画像に関連する情報を取得するステップを有する、請求項１７乃至５８のうちいずれか１項に記載の電子透かし検出方法。
  60. 動画像に電子透かしを埋め込む電子透かし埋め込み装置であって、
    フレーム画像群からなる動画像データ、透かし情報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を入力する手段と、
    前記動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得手段と、
    前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成手段と、
    前記透かしパターンを前記フレーム画像に重畳する透かしパターン重畳手段と、
    前記フレーム画像取得手段での処理、前記透かしパターン生成手段での処理、及び前記透かしパターン重畳手段での処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段と、
    を有することを特徴とする電子透かし埋め込み装置。
  61. 前記透かしパターン生成手段は、
    前記透かし情報を用いて基本透かしパターンを生成する基本透かしパターン生成手段と、
    前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前の透かしパターンに対して前記基本透かしパターンで定まる位相変動を加えて新たな透かしパターンを生成する手段と、
    を有する請求項６０記載の電子透かし埋め込み装置。
  62. 前記透かしパターン生成手段は、
    前記透かし情報を用いて基本透かしパターンを生成する基本透かしパターン生成手段と、
    前記基本透かしパターンの画素値に基づいて符号パターンを生成する符号パターン生成手段と、
    前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、直前のフレームからの時間差分に対応する透かしパターン切り替え位相変動値を求める透かしパターン切り替え位相変動値算出手段と、
    前記透かしパターン切り替え位相変動値に前記符号パターン生成手段で生成された前記符号パターンの各要素の符号を付与して、これを直前の透かし位相パターンからの位相差分として現在のフレームに対する透かし位相パターンを生成する透かし位相パターン生成手段と、
    前記透かし位相パターンに基づいて透かしパターンを生成する透かし位相パターン画像化手段と、
    を有する請求項６０記載の電子透かし埋め込み装置。
  63. 前記透かしパターン生成手段は、
    前記透かし位相パターンから前記透かしパターンを生成する際に、前記基本透かしパターンの各画素値に基づいて透かしパターンの対応する画素値の振幅を増減する、請求項６２記載の電子透かし埋め込み装置。
  64. 前記透かしパターン生成手段は、
    前記基本透かしパターンが表す位相差分変動を、画像の複数の成分から得られる座標系における回転量に対応させ、位相差分変動で回転されて得られる新たな複数の成分値をもとに、前記透かしパターンを生成する、請求項６０乃至６３のうちいずれか１項に記載の電子透かし埋め込み装置。
  65. 前記画像の複数の成分として、画像のCb-Cr成分を用いる、請求項６４記載の電子透かし埋め込み装置。
  66. 前記透かしパターン生成手段は、
    前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かし情報をデータブロックに分割する手段と、
    前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロックＩＤ及び該データブロックＩＤのデータブロック情報を元に透かしパターンを生成する手段と、
    を有する請求項６０乃至６５のうちいずれか1項に記載の電子透かし埋め込み装置。
  67. 前記透かしパターン生成手段は、
    前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、該透かし情報をデータブロックに分割する手段と、
    前記フレーム表示時刻と前記透かしパターン切り替え情報から定まるデータブロックＩＤ及び該データブロックＩＤのデータブロック情報を元に前記透かしパターンを生成する際に、前記データブロックＩＤが位相判定用透かし情報を兼ねるようにして透かしパターンを生成する手段と、
    を有する請求項６６に記載の電子透かし埋め込み装置。
  68. 前記透かしパターン重畳手段は、前記透かしパターンを前記フレーム画像以下のサイズにスケール変更して該フレーム画像の内部に重畳する、請求項６０乃至６７のうちいずれか１項に記載の電子透かし埋め込み装置。
  69. 前記透かしパターン生成手段は、
    前記透かし情報を用いて基本透かしパターンを生成する手段と、
    さらに、電子透かし検出時の検出対象領域抽出のための位置合わせのためのパターンを基本透かしパターンに追加する手段と、
    前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて基本透かしパターンを変更することで透かしパターンを生成する手段と、
    を有する請求項６８に記載の電子透かし埋め込み装置。
  70. 前記透かしパターン生成手段は、
    前記透かし情報を既存の２次元コードにより基本透かしパターンに変調し、前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて該基本透かしパターンから透かしパターンを生成する、請求項６８または６９に記載の電子透かし埋め込み装置。
  71. 前記電子透かし埋め込み装置は複数の透かしパターン生成手段を有し、
    各々の前記透かしパターン生成手段は異なる透かしパターンを生成し、前記透かしパターン重畳手段は、前記透かしパターンをフレーム画像内に複数重畳する、請求項６８乃至７０のうちいずれか１項に記載の電子透かし埋め込み装置。
  72. 前記透かしパターン重畳手段は、動きの多いフレーム画像ほど透かしパターンの振幅を増幅する、請求項６０乃至７１のうちいずれか１項に記載の電子透かし埋め込み装置。
  73. 前記透かしパターン重畳手段は、以前に入力したフレーム画像を記憶手段に保持しておき、今回入力したフレーム画像と以前のフレーム画像との差分画像を生成し、該差分画像の画素値に基づいて基本透かしパターンの振幅を増幅する、請求項７２記載の電子透かし埋め込み装置。
  74. 前記透かしパターン重畳手段は、透かしパターン全体の振幅を増幅する、請求項７２または７３に記載の電子透かし埋め込み装置。
  75. 前記透かしパターン重畳手段は、フレーム画像中の動きの大きい画素領域に対応する透かしパターンの画素領域を増幅する、請求項７２または７３に記載の電子透かし埋め込み装置。
  76. 動画像から電子透かしを検出する電子透かし検出装置であって、
    フレーム画像を順次取得する動画像入力手段と、
    今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段と、
    前記差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段と、
    前記電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段での処理、前記差分画像生成手段での処理、及び電子透かし検出手段での処理を繰り返す手段と、
    を有することを特徴とする電子透かし検出装置。
  77. 前記電子透かし検出手段で得られた透かし情報からデータブロックＩＤとデータブロック情報を得て、検出透かし情報バッファの該データブロックＩＤの情報に検出したデータブロック情報を記録し、全てのデータブロックＩＤについて検出が完了した場合に電子透かし検出成功の旨を出力する、請求項７６に記載の電子透かし検出装置。
  78. 前記動画像入力手段は、前記フレーム画像と該フレーム画像の表示時刻であるフレーム表示時刻を順次取得し、
    前記電子透かし検出装置は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、今回のフレーム表示時刻と、以前に取得したフレーム画像のフレーム表示時刻の時間間隔から検出要否を判定する検出要否判定手段を更に有し、
    前記検出要否判定手段において検出不要と判定された場合は前記動画像入力手段において新たなフレーム画像を取得し直し、検出要と判定した場合は前記差分画像生成手段の処理以降の処理を続行する、請求項７６または７７に記載の電子透かし検出装置。
  79. 前記電子透かし検出装置は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、フレームのキャプチャタイミングを設定するキャプチャタイミング制御手段を有し、
    前記動画像入力手段は、前記キャプチャタイミングに基づいてフレーム画像を順次取得する、請求項７６乃至７８のうちいずれか１項に記載の電子透かし検出装置。
  80. 前記電子透かし検出装置は、電子透かし埋め込み時の透かしパターン切り替え情報を用いて、差分画像を得るためのフレーム間の時間間隔を表す差分タイミングを設定する手段を有し、
    前記動画像入力手段は、前記フレーム画像と該フレーム表示時刻を順次取得し、前記差分画像生成手段は、今回取得したフレーム画像と、前記差分タイミングで指定される時間だけ以前に取得したフレーム画像の差分画像を生成する、請求項７６乃至７８のうちいずれか１項に記載の電子透かし検出装置。
  81. 前記電子透かし検出装置は、前記差分画像に埋め込まれている透かしパターンの位相を判定する差分位相判定手段を有し、
    前記差分位相判定手段による判定の結果、透かしパターンの位相が逆相の場合は、検出した透かし情報のビット反転を行って、電子透かしの検出状況を出力する、請求項７６乃至８０のうちいずれか１項に記載の電子透かし検出装置。
  82. 前記差分画像生成手段は、前記差分画像を差分画像蓄積バッファに加算し、前記電子透かし検出手段は、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力する、請求項７６乃至８１のうちいずれか１項に記載の電子透かし検出装置。
  83. 前記差分画像に埋め込まれている透かしパターンの位相を判定し、順次処理される差分画像の全てで当該位相が同相となるように差分画像を変更し、得られた差分画像を用いて前記差分画像生成手段での処理及び前記電子透かし検出手段での処理を実行する、請求項８２に記載の電子透かし検出装置。
  84. 前記電子透かし検出手段は、検出の際に算出される相関値を検出処理の度に記憶手段に蓄積し、蓄積された相関値を用いて検出成功か否かを判定する、請求項７６乃至８３のうちいずれか１項に記載の電子透かし検出装置。
  85. 前記電子透かし検出手段は、検出の際に算出される相関値の絶対値を検出処理の度に記憶手段に蓄積し、蓄積された該相関値の絶対値を用いて検出成功か否かを判定する、請求項７６乃至８３のうちいずれか１項に記載の電子透かし検出装置。
  86. 前記差分位相判定手段は、埋め込み時に用いた透かしパターン切り替え情報と、フレーム画像取得時に得られるフレーム表示時刻の関係から、差分画像中の透かしパターンの位相を判定する、請求項８１または８３に記載の電子透かし検出装置。
  87. 前記差分位相判定手段は、前記差分画像中に埋め込まれた透かしパターンで表現された透かし情報中の予め定めたビット位置のビット値を検出し、該ビット値に基づいて該差分画像中の透かしパターンの位相を判定する、請求項８１または８３に記載の電子透かし検出装置。
  88. 前記差分位相判定手段は、位相判定用透かしを検出して前記差分画像中の透かしパターンの位相を判定する、請求項８１または８３に記載の電子透かし検出装置。
  89. 前記差分位相判定手段は、透かし検出処理によって算出される相関値の正負の極性を利用して前記差分画像中の透かしパターンの位相を判定する、請求項８１または８３に記載の電子透かし検出装置。
  90. 前記差分位相判定手段は、前記差分画像からの電子透かし検出を行って透かし情報であるデータブロック情報及びデータブロックＩＤを検出し、データブロックＩＤ検出時の相関値の正負の極性を利用して前記差分画像に埋め込まれている透かしパターンの位相を判定する、請求項８１または８３に記載の電子透かし検出装置。
  91. 前記差分画像生成手段は、
    今回取得したフレーム画像と、以前に取得したフレーム画像の差分画像を生成し、さらに、該差分画像中の特定成分から位相値と振幅値を求め、該位相値が所与の複数のグループのいずれに属するかを判定し、その判定結果と該振幅値を元に該差分画像を修正して出力する、請求項７６乃至９０のうちいずれか１項に記載の電子透かし検出装置。
  92. 前記差分画像生成手段は、今回取得したフレーム画像と、画像記憶手段から読み出した以前に取得したフレーム画像の差分画像（Ａ）を生成し、該今回取得したフレーム画像を該画像記憶手段に格納し、
    前記電子透かし検出装置は、今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターン記憶手段から読み出した以前に取得した位相パターンの位相差を計測し、位相差に基づいて差分画像（Ｂ）を生成し、該今回取得した位相パターンを該位相パターン記憶手段に格納する位相差分計測手段を有し、
    前記電子透かし検出手段は、前記差分画像（Ｂ）からの電子透かし検出を行って、電子透かしの検出状況を出力する、請求項７６乃至９０のうちいずれか１項に記載の電子透かし検出装置。
  93. 前記位相差分計測手段は、
    前記差分画像（Ａ）から位相パターンを生成する際に、位相値と共に振幅値を求めて位相パターンの要素値とする手段と、
    前記今回取得した位相パターンと前記以前に取得した位相パターンの位相差を計測し、位相差に基づいて符号を決定する手段と、
    さらに前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値と、符号に基づいて前記差分画像（Ｂ）を生成する手段と、
    を有する請求項９２記載の電子透かし検出装置。
  94. 前記位相差分計測手段は、
    前記差分画像（Ａ）から前記位相パターンを生成する際に、前記今回取得した位相パターンと前記以前に取得した位相パターンの振幅値に対して単調増加する値を振幅とし、前記符号と組み合わせて得られる値に基づいて前記差分画像（Ｂ）を生成する、請求項９３記載の電子透かし検出装置。
  95. 前記差分画像生成手段における前記差分画像中の特定成分が複数の成分である、請求項９１記載の電子透かし検出装置。
  96. 前記位相差分計測手段は、前記差分画像（Ａ）から位相パターンを得る際に、該差分画像（Ａ）中の複数の成分から得られる座標系おける位相及び振幅を利用する、請求項９２乃至９４のうちいずれか１項に記載の電子透かし検出装置。
  97. 前記差分画像中の特定成分がCb成分及びCr成分である、請求項９５または９６記載の電子透かし検出装置。
  98. 前記電子透かし検出装置は、前記差分画像（Ｂ）を差分画像蓄積バッファに加算する手段を更に有し、
    前記電子透かし検出手段は、前記差分画像蓄積バッファからの電子透かし検出を行って透かし情報を検出して、検出状況を出力する、請求項９２乃至９７のうちいずれか1項に記載の電子透かし検出装置。
  99. 前記電子透かし検出装置は、順次取得される前記フレーム画像に対し、今回のフレーム画像中の検出対象領域を抽出し、歪みを補正し、サイズを正規化して検出対象領域画像を生成する検出対象領域抽出手段を有し、
    前記差分画像生成手段は、今回取得した検出対象領域画像と、以前に取得した検出対象領域画像の差分画像を生成する、請求項７６乃至９８のうちいずれか１項に記載の電子透かし検出装置。
  100. 前記電子透かし検出装置は、順次取得される前記差分画像から検出対象領域を抽出して検出対象領域画像を生成する検出対象領域抽出手段を有し、
    前記電子透かし検出手段は、前記検出対象領域画像からの電子透かし検出を行う、請求項７６乃至９８のうちいずれか１項に記載の電子透かし検出装置。
  101. 前記電子透かし検出装置は、前記フレーム画像を順次取得した後に、前記フレーム画像から特徴領域を抽出して歪み補正及びサイズ正規化を行って特徴領域画像を生成する特徴領域抽出手段を有し、
    前記差分画像生成手段は、今回取得した特徴領域画像と、以前に取得した特徴領域画像の差分画像を生成し、
    検出対象領域抽出手段は、前記差分画像から検出対象領域を抽出して検出対象領域画像を生成し、
    前記電子透かし検出手段は、前記検出対象領域画像からの電子透かし検出を行う、請求項７６乃至９８のうちいずれか１項に記載の電子透かし検出装置。
  102. 前記検出対象領域抽出手段は、前記差分画像から前記検出対象領域を抽出する際に、該差分画像の画素値を絶対値化して検出対象領域を探索する、請求項１００または１０１に記載の電子透かし検出装置。
  103. 前記検出対象領域抽出手段は、前記差分画像から前記検出対象領域を抽出する際に、埋め込み時の基本透かしパターンに付加された位置合わせパターンを用いて検出対象領域を探索する、請求項１００または１０２に記載の電子透かし検出装置。
  104. 前記検出対象領域抽出手段は、過去の電子透かし検出試行で検出状況が良好であったときの検出対象領域の近傍の領域に限定した探索を行って、今回の検出対象領域抽出処理を行う、請求項１００乃至１０３のうちいずれか１項に記載の電子透かし検出装置。
  105. 前記検出対象領域抽出手段は、前記位置合わせパターンを用いて、前記差分画像中の透かしパターンの位相を判定する、請求項１０３に記載の電子透かし検出装置。
  106. 前記検出対象領域抽出手段は、前記差分画像を記憶手段に加算蓄積し、蓄積した該差分画像中から検出対象領域を探索し、抽出する、請求項１００乃至１０５のうちいずれか１項に記載の電子透かし検出装置。
  107. 前記検出対象領域抽出手段は、前記差分画像を前記記憶手段に加算蓄積する際に、該差分画像中の透かしパターンの位相を揃えて、加算蓄積を行う、請求項１０６に記載の電子透かし検出装置。
  108. 動画像から電子透かしを検出する電子透かし検出装置であって、
    フレーム画像を順次取得する動画像入力手段と、
    フレーム画像中の特徴領域を抽出し特徴領域画像を取得する特徴領域抽出手段と、
    今回取得した特徴領域画像と、特徴領域画像バッファから読み出した以前に取得した特徴領域画像の差分画像を生成して差分画像（Ａ）を取得すると共に、該今回取得した特徴領域画像を該特徴領域画像バッファに格納する差分画像生成手段と、
    今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターンバッファから読み出した以前に取得した位相パターンの位相差を計測し、位相差と振幅に基づいて差分画像（Ｂ）を生成すると共に、該今回取得した差分画像（Ａ）を該位相パターンバッファに格納する位相差分計測手段と、
    前記差分画像（Ｂ）を各画素毎に画素値の加算蓄積を行い、加算蓄積によって得られる差分画像（Ｂ）蓄積バッファから検出対象領域を抽出し、検出対象領域画像を取得する検出対象領域抽出手段と、
    前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段と、
    電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し上記各手段の処理を繰り返す手段と、
    を有することを特徴とする電子透かし検出装置。
  109. 前記検出対象領域抽出手段は、
    加算蓄積によって得られる前記差分画像（Ｂ）蓄積バッファから検出対象領域を抽出する際に、前記差分画像（Ｂ）蓄積バッファの画素値の絶対値をとったものから検出対象領域を抽出し、絶対値を取る前の差分画像（Ｂ）蓄積バッファの検出対象領域の画像を検出対象領域画像として得る、請求項１０８記載の電子透かし検出装置。
  110. 前記検出対象領域抽出手段は、複数の検出対象領域を抽出し、
    前記電子透かし検出手段は、前記複数の検出対象領域の各々に対して電子透かし検出試行を行い、検出結果を出力する、請求項９９乃至１０９のうちいずれか１項に記載の電子透かし検出装置。
  111. 前記電子透かし検出手段は、透かし情報を検出する際に、既存の２次元コードの復号処理を用いて透かし情報を検出する、請求項７６乃至１１０のうちいずれか１項に記載の電子透かし検出装置。
  112. 差分処理によって生成される前記差分画像に対して、さらにフィルタ処理を施し、フィルタ処理を施した差分画像を出力する、請求項７６乃至１１１のうちいずれか１項に記載の電子透かし検出装置。
  113. 前記フィルタ処理として、非線形フィルタを用いる、請求項１１２記載の電子透かし検出装置。
  114. 入力とする動画像が、カメラで撮影され、キャプチャされた映像信号である、請求項７６乃至１１３のうちいずれか１項に記載の電子透かし検出装置。
  115. 検出対象領域抽出状況、電子透かし検出状況、データブロック検出状況のうちのいずれか又は複数の処理状況に応じたフィードバック情報を画面あるいは、音声として出力する出力手段を有する、請求項７６乃至１１４のうちいずれか１項に記載の電子透かし検出装置。
  116. 前記検出対象領域抽出手段は、検出対象領域のサイズ及び位置を表す検出対象領域情報を更に生成し、前記電子透かし生成装置は、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズとなるようにズームパラメタを設定し、当該ズームパラメタを前記動画像入力手段に与えてズーム処理を行うズーム処理手段を有する、請求項９９乃至１１５のうちいずれか１項に記載の電子透かし検出装置。
  117. 前記ズーム処理手段は、前記電子透かし検出手段における検出状況が良好であった場合に、前記検出対象領域情報に基づいて、検出対象領域が所与の画素サイズになるようにズームパラメタを設定し、前記動画像入力手段に与えてズーム処理を行う、請求項１１６記載の電子透かし検出装置。
  118. 入力とする動画像が、表示ディスプレイ上に表示されている状態をカメラでリアルタイムに撮影され、キャプチャされたものであり、
    電子透かし検出によって得られた透かし情報に基づいて、表示されている動画像に関連する情報を取得する手段を有する、請求項７６乃至１１７のうちいずれか１項に記載の電子透かし検出装置。
  119. コンピュータを、動画像に電子透かしを埋め込む電子透かし埋め込み装置として機能させる電子透かし埋め込みプログラムであって、コンピュータを、
    フレーム画像群からなる動画像データ、透かし情報、透かしパターンの位相変動を指定する周期情報である透かしパターン切り替え情報を入力する手段、
    前記動画像データの各フレーム画像及び該フレーム画像の表示時刻であるフレーム表示時刻を順次取得するフレーム画像取得手段、
    前記透かし情報と前記フレーム表示時刻と前記透かしパターン切り替え情報を用いて、透かしパターンを生成する透かしパターン生成手段、
    前記透かしパターンを前記フレーム画像に重畳する透かしパターン重畳手段、
    前記フレーム画像取得手段での処理、前記透かしパターン生成手段での処理、及び前記透かしパターン重畳手段での処理を順次繰り返して得られる透かし入りフレーム画像群を結合して透かし入り動画像データを生成する動画像データ再構成手段、
    として機能させるための電子透かし埋め込みプログラム。
  120. 請求項１１９に記載の電子透かし埋め込みプログラムを格納したコンピュータ読み取り可能な記録媒体。
  121. コンピュータを、動画像から電子透かしを検出する電子透かし検出装置として機能させる電子透かし検出プログラムであって、コンピュータを、
    フレーム画像を順次取得する動画像入力手段、
    今回取得した前記フレーム画像と、以前に取得したフレーム画像の差分画像を生成する差分画像生成手段、
    前記差分画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段、
    前記電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段での処理、前記差分画像生成手段での処理、及び電子透かし検出手段での処理を繰り返す手段、
    として機能させる電子透かし検出プログラム。
  122. 請求項１２１に記載の電子透かし検出プログラムを格納したコンピュータ読み取り可能な記録媒体。
  123. コンピュータを、動画像から電子透かしを検出する電子透かし検出装置として機能させる電子透かし検出プログラムであって、コンピュータを、
    フレーム画像を順次取得する動画像入力手段、
    フレーム画像中の特徴領域を抽出し特徴領域画像を取得する特徴領域抽出手段、
    今回取得した特徴領域画像と、特徴領域画像バッファから読み出した以前に取得した特徴領域画像の差分画像を生成して差分画像（Ａ）を取得すると共に、該今回取得した特徴領域画像を該特徴領域画像バッファに格納する差分画像生成手段、
    今回取得した差分画像（Ａ）に基づいて位相パターンを生成し、今回取得した位相パターンと位相パターンバッファから読み出した以前に取得した位相パターンの位相差を計測し、位相差と振幅に基づいて差分画像（Ｂ）を生成すると共に、該今回取得した差分画像（Ａ）を該位相パターンバッファに格納する位相差分計測手段、
    前記差分画像（Ｂ）を各画素毎に画素値の加算蓄積を行い、加算蓄積によって得られる差分画像（Ｂ）蓄積バッファから検出対象領域を抽出し、検出対象領域画像を取得する検出対象領域抽出手段、
    前記検出対象領域画像からの電子透かし検出を行って、電子透かしの検出状況を出力する電子透かし検出手段、
    電子透かしの検出が不可能であった場合を含む、電子透かし検出処理を続行する場合は、前記動画像入力手段で新たなフレーム画像を取得し直し上記各手段の処理を繰り返す手段、
    として機能させる電子透かし検出プログラム。
  124. 請求項１２３に記載の電子透かし検出プログラムを格納したコンピュータ読み取り可能な記録媒体。
JP2011007320A 2005-08-04 2011-01-17 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム Active JP5425115B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011007320A JP5425115B2 (ja) 2005-08-04 2011-01-17 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2005226755 2005-08-04
JP2005226756 2005-08-04
JP2005226756 2005-08-04
JP2005226755 2005-08-04
JP2005275965 2005-09-22
JP2005275965 2005-09-22
JP2011007320A JP5425115B2 (ja) 2005-08-04 2011-01-17 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007529252A Division JP4809840B2 (ja) 2005-08-04 2006-07-31 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013088972A Division JP5550760B2 (ja) 2005-08-04 2013-04-22 電子透かし検出方法、電子透かし検出装置、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2011078141A true JP2011078141A (ja) 2011-04-14
JP5425115B2 JP5425115B2 (ja) 2014-02-26

Family

ID=37708732

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2007529252A Active JP4809840B2 (ja) 2005-08-04 2006-07-31 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム
JP2011007320A Active JP5425115B2 (ja) 2005-08-04 2011-01-17 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム
JP2013088972A Active JP5550760B2 (ja) 2005-08-04 2013-04-22 電子透かし検出方法、電子透かし検出装置、プログラム、及び記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007529252A Active JP4809840B2 (ja) 2005-08-04 2006-07-31 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013088972A Active JP5550760B2 (ja) 2005-08-04 2013-04-22 電子透かし検出方法、電子透かし検出装置、プログラム、及び記録媒体

Country Status (7)

Country Link
US (2) US7970164B2 (ja)
EP (1) EP1928180A1 (ja)
JP (3) JP4809840B2 (ja)
KR (2) KR100901142B1 (ja)
CN (3) CN101053256B (ja)
TW (2) TWI480842B (ja)
WO (1) WO2007015452A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072839A (ja) * 2012-10-01 2014-04-21 Fujitsu Ltd 画像処理装置、方法、及びプログラム
JP5673890B1 (ja) * 2013-03-29 2015-02-18 東レ株式会社 導電ペースト及び導電パターンの製造方法
US11660395B2 (en) 2011-07-15 2023-05-30 Sanofi-Aventis Deutschland Gmbh Drug delivery device with electro-mechanic drive mechanism

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US9055239B2 (en) 2003-10-08 2015-06-09 Verance Corporation Signal continuity assessment using embedded watermarks
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
AU2005209707B2 (en) * 2005-09-13 2008-08-14 Canon Kabushiki Kaisha Adaptive mark placement
KR100975048B1 (ko) * 2006-03-07 2010-08-11 니폰 덴신 덴와 가부시끼가이샤 전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램
GB0708813D0 (en) * 2007-05-08 2007-06-13 Wesby Philip B System and method for data acquisition and processing
US8218812B2 (en) * 2007-05-28 2012-07-10 Mitsubishi Electric Corporation Digital watermark embedding device and method, and digital watermark detection device and method
US8300080B2 (en) * 2007-06-29 2012-10-30 Microsoft Corporation Techniques for detecting a display device
GB2451437B (en) * 2007-07-27 2012-11-14 Hewlett Packard Development Co Content encoder and decoder and methods of encoding and decoding content
WO2009025019A1 (ja) * 2007-08-17 2009-02-26 C4 Technology, Inc. 電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、電子透かし検出装置、プログラムおよびコンピューター読み取り可能な記録媒体
WO2009113415A1 (ja) * 2008-03-10 2009-09-17 日本電気株式会社 通信システム、制御装置及び受信装置
WO2009113416A1 (ja) * 2008-03-10 2009-09-17 日本電気株式会社 通信システム、送信装置及び受信装置
JP2009245349A (ja) * 2008-03-31 2009-10-22 Namco Bandai Games Inc 位置検出システム、プログラム、情報記憶媒体及び画像生成装置
CN101561921B (zh) * 2008-04-14 2012-09-26 哈尔滨理工大学 抗差分检测的高位空域隐藏方法
US20090294538A1 (en) * 2008-05-28 2009-12-03 Sony Ericsson Mobile Communications Ab Embedded tags in a media signal
US20090300100A1 (en) * 2008-05-30 2009-12-03 Carl Johan Freer Augmented reality platform and method using logo recognition
US20100009713A1 (en) * 2008-07-14 2010-01-14 Carl Johan Freer Logo recognition for mobile augmented reality environment
US8049930B2 (en) * 2008-09-15 2011-11-01 National Taiwan University Of Science And Technology Method of halftone watermarking for hiding multi-tone watermark or two-tone watermark
US8731301B1 (en) * 2008-09-25 2014-05-20 Sprint Communications Company L.P. Display adaptation based on captured image feedback
DE102008043953A1 (de) * 2008-11-21 2010-05-27 Robert Bosch Gmbh Vorrichtung zur Erzeugung und/oder Verarbeitung einer Objektsignatur, Überwachungsvorrichtung, Verfahren und Computerprogramm
WO2010062290A1 (en) * 2008-11-26 2010-06-03 Verimatrix, Inc. Multiphase watermark patterns
JP5089571B2 (ja) * 2008-12-26 2012-12-05 株式会社Ｐｆｕ 画像読取装置
JP4766197B2 (ja) * 2009-01-29 2011-09-07 日本電気株式会社 特徴量選択装置
US8817330B2 (en) * 2009-04-14 2014-08-26 Troy Group, Inc. Method for adjusting quality of a pantograph background pattern
US10008212B2 (en) * 2009-04-17 2018-06-26 The Nielsen Company (Us), Llc System and method for utilizing audio encoding for measuring media exposure with environmental masking
KR101240467B1 (ko) * 2009-06-30 2013-03-11 한국전자통신연구원 동영상 저작권 보호 장치, 동영상 저작권 보호 방법 및 기록매체
JP2011015210A (ja) * 2009-07-02 2011-01-20 Mitsubishi Electric Corp 電子透かし埋込装置、検出装置及びそれらの方法
JP5540770B2 (ja) * 2009-07-30 2014-07-02 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
US9277183B2 (en) * 2009-10-13 2016-03-01 Sony Corporation System and method for distributing auxiliary data embedded in video data
JP5021061B2 (ja) 2009-12-08 2012-09-05 株式会社 資生堂 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラム
KR101104649B1 (ko) * 2010-03-09 2012-01-13 한국과학기술원 접근 불가능 콘텐츠를 위한 오버레이채널을 이용한 동영상 워터마킹 시스템 및 그 방법
KR20110121866A (ko) * 2010-05-03 2011-11-09 삼성전자주식회사 휴대용 장치 및 그의 측정 데이터 처리 방법
CN102971735B (zh) * 2010-06-30 2017-07-14 皇家飞利浦电子股份有限公司 交互式图像分析
US8358347B2 (en) * 2010-08-17 2013-01-22 Hewlett-Packard Development Company, L.P. Frame rate measurement
WO2012026039A1 (ja) * 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
WO2012034280A1 (en) * 2010-09-16 2012-03-22 Hewlett-Packard Development Company, L.P. Digital watermarking
US8718322B2 (en) * 2010-09-28 2014-05-06 Qualcomm Innovation Center, Inc. Image recognition based upon a broadcast signature
KR101424049B1 (ko) 2010-11-29 2014-07-29 주식회사 씨케이앤비 워터마크 생성 방법, 이를 포함하는 방송 콘텐츠 생성 방법 및 워터마크 삽입 시스템
CN102169534A (zh) * 2011-02-21 2011-08-31 北京书生国际信息技术有限公司 一种显示水印的方法和装置
JP5729464B2 (ja) * 2011-03-22 2015-06-03 富士通株式会社 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置
CN103493497B (zh) 2011-04-19 2018-09-04 纳格拉影像股份有限公司 用于访问受保护内容的以太网解码器装置和方法
JP2012244601A (ja) * 2011-05-24 2012-12-10 Sharp Corp 情報取得装置、情報出力装置、情報通信システム、情報取得方法、情報出力方法、制御プログラムおよび記録媒体
CA2838811A1 (en) * 2011-07-15 2013-01-24 Paul Richard Draper A drug delivery device
JP5751071B2 (ja) * 2011-07-28 2015-07-22 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法、及びプログラム
EP2565667A1 (en) * 2011-08-31 2013-03-06 Friedrich-Alexander-Universität Erlangen-Nürnberg Direction of arrival estimation using watermarked audio signals and microphone arrays
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
WO2013080739A1 (ja) * 2011-12-02 2013-06-06 ソニー株式会社 画像処理装置、画像認識装置、画像認識方法およびプログラム
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US10013857B2 (en) 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
WO2013100960A1 (en) * 2011-12-28 2013-07-04 Intel Corporation Method of and apparatus for performing an objective video quality assessment using non-intrusive video frame tracking
KR20130112313A (ko) * 2012-04-03 2013-10-14 삼성전자주식회사 영상에 관련된 정보를 영상에 임베딩하기 위한 방법 및 장치
US9516223B2 (en) 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US10013623B2 (en) * 2012-06-29 2018-07-03 Blackberry Limited System and method for determining the position of an object displaying media content
US8750630B2 (en) 2012-07-13 2014-06-10 International Business Machines Corporation Hierarchical and index based watermarks represented as trees
EP2690593A1 (en) 2012-07-24 2014-01-29 Nagravision S.A. Method for marking and transmitting a content and method for detecting an identifyier of said content
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
JP5952720B2 (ja) * 2012-11-21 2016-07-13 日本電信電話株式会社 情報提示装置、情報入力装置、識別情報埋め込み方法、及びプログラム
US8813154B1 (en) * 2012-12-07 2014-08-19 American Megatrends, Inc. Injecting a code into video data without or with limited human perception by flashing the code
US20140267907A1 (en) * 2013-03-13 2014-09-18 Verance Corporation Multimedia presentation tracking in networked environment
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
FR3004051A1 (fr) * 2013-03-29 2014-10-03 France Telecom Procede et dispositif de tatouage d'une sequence d'images, procede et dispositif d'authentification d'une sequence d'images tatouees et programme d'ordinateur correspondant.
CN103237271B (zh) * 2013-04-02 2016-04-06 北京中视广信科技有限公司 大容量视频数字水印的嵌入和检测方法及其系统
KR101932538B1 (ko) * 2013-04-10 2018-12-27 한화테크윈 주식회사 워터마크 처리 장치 및 방법, 그리고 영상 촬영 장치
TWI501094B (zh) * 2013-04-26 2015-09-21 Newtype Software Systems Co Ltd 產生浮水印文件的方法、電腦程式產品及電子裝置
US9542585B2 (en) * 2013-06-06 2017-01-10 Apple Inc. Efficient machine-readable object detection and tracking
JP6221394B2 (ja) * 2013-06-19 2017-11-01 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9485089B2 (en) 2013-06-20 2016-11-01 Verance Corporation Stego key management
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9646358B2 (en) 2013-09-20 2017-05-09 Infosys Limited Methods for scene based video watermarking and devices thereof
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
CN104661087A (zh) * 2013-11-20 2015-05-27 北京思博途信息技术有限公司 一种生成电视广告监播信息的方法及装置
TWI512671B (zh) * 2013-11-22 2015-12-11 Univ Yuan Ze 可視資訊隱藏方法
JP6152787B2 (ja) 2013-11-29 2017-06-28 富士通株式会社 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
CN103731759B (zh) * 2013-12-09 2017-03-22 乐视网信息技术（北京）股份有限公司 一种水印添加方法及装置
CN103778592B (zh) * 2014-01-14 2016-07-06 鲁东大学 一种基于进制余码的双彩色图像盲水印方法
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
US9596521B2 (en) 2014-03-13 2017-03-14 Verance Corporation Interactive content acquisition using embedded codes
JP6101656B2 (ja) * 2014-03-28 2017-03-22 日本電信電話株式会社 マーカ埋め込み装置、マーカ検出装置、及びプログラム
EP3138042B1 (en) 2014-04-29 2021-04-28 Hewlett-Packard Development Company, L.P. Machine-readable watermarks and barcodes in images
CN104144297A (zh) * 2014-08-19 2014-11-12 诚迈科技（南京）股份有限公司 一种自动给拍摄的照片添加水印的系统及方法
EP3183882A4 (en) 2014-08-20 2018-07-04 Verance Corporation Content management based on dither-like watermark embedding
JP6433014B2 (ja) * 2014-09-02 2018-12-05 国立大学法人 奈良先端科学技術大学院大学 情報取得装置及び情報伝達システム
JP5726359B1 (ja) * 2014-09-05 2015-05-27 株式会社電通 テレビ番組関連コンテンツ提供システム、および提供方法
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
EP3225034A4 (en) 2014-11-25 2018-05-02 Verance Corporation Enhanced metadata and content delivery using watermarks
WO2016100916A1 (en) 2014-12-18 2016-06-23 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
JP6443982B2 (ja) * 2015-02-26 2018-12-26 国立大学法人 鹿児島大学 撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法
WO2016176056A1 (en) 2015-04-30 2016-11-03 Verance Corporation Watermark based content recognition improvements
US10477285B2 (en) 2015-07-20 2019-11-12 Verance Corporation Watermark-based data recovery for content with multiple alternative components
CN105141409B (zh) * 2015-08-12 2018-05-04 深圳市联软科技股份有限公司 一种屏幕数字水印的实现方法、终端及服务器
KR102094510B1 (ko) 2015-08-25 2020-03-27 삼성전자주식회사 워터마크 데이터 삽입 방법, 장치 및 시스템
TWI621081B (zh) 2015-09-18 2018-04-11 財團法人工業技術研究院 產生與解碼具有驗證資料的影像串流的方法與裝置
US11074885B2 (en) * 2015-09-25 2021-07-27 Intel Corporation Facilitating efficient detection of patterns in graphics display streams prior to their display at computing devices
WO2017119620A1 (ko) * 2016-01-08 2017-07-13 서울과학기술대학교 산학협력단 디스플레이에 은닉된 부가데이터 전송용 가시광 통신 방법
KR101718279B1 (ko) * 2016-01-08 2017-03-21 서울과학기술대학교 산학협력단 디스플레이에 은닉된 부가데이터 전송용 가시광 통신
TWI618399B (zh) * 2016-03-17 2018-03-11 夏普股份有限公司 用於接收一浮水印訊息之方法以及含經組態以接收一浮水印訊息之一處理器之裝置
US20190132652A1 (en) 2016-04-18 2019-05-02 Verance Corporation System and method for signaling security and database population
US10019639B2 (en) 2016-04-19 2018-07-10 Blackberry Limited Determining a boundary associated with image data
US10027850B2 (en) * 2016-04-19 2018-07-17 Blackberry Limited Securing image data detected by an electronic device
US10136194B2 (en) * 2016-07-06 2018-11-20 Cisco Technology, Inc. Streaming piracy detection method and system
CN106327156A (zh) * 2016-08-23 2017-01-11 苏州华兴源创电子科技有限公司 一种车辆定损方法、客户端和系统
CN106385539A (zh) * 2016-09-22 2017-02-08 深圳市思创奇科技有限公司 一种照片处理方法及系统
JP6784122B2 (ja) * 2016-09-29 2020-11-11 富士通株式会社 電子透かし埋込プログラム、電子透かし埋込装置、及び電子透かし埋込方法
CN106485645A (zh) * 2016-10-31 2017-03-08 珠海赛纳打印科技股份有限公司 一种水印调整的方法及装置
JP6740868B2 (ja) * 2016-11-11 2020-08-19 株式会社デンソー 撮像装置、及び画像処理システム
TWI640195B (zh) * 2016-12-14 2018-11-01 日商夏普股份有限公司 具有統一資源識別符訊息浮水印有效負載之廣播系統
US10698988B2 (en) * 2017-03-30 2020-06-30 Cisco Technology, Inc. Difference attack protection
JP6909055B2 (ja) * 2017-05-31 2021-07-28 キヤノン株式会社 情報処理装置、制御方法及びプログラム
WO2018237191A1 (en) 2017-06-21 2018-12-27 Verance Corporation ACQUISITION AND TREATMENT OF METADATA BASED ON A WATERMARK
JP6907047B2 (ja) * 2017-06-28 2021-07-21 キヤノン株式会社 情報処理装置、その制御方法およびプログラム
JP7182858B2 (ja) * 2017-06-28 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
EP3646242A4 (en) 2017-06-29 2021-02-17 Hewlett-Packard Development Company, L.P. DETECTION OF THE DIRECTION OF A MOBILE COMPUTER DEVICE TOWARDS A VISUAL CODE
US10701421B1 (en) * 2017-07-19 2020-06-30 Vivint, Inc. Embedding multiple videos into a video stream
US11032625B2 (en) * 2018-02-03 2021-06-08 Irdeto B.V. Method and apparatus for feedback-based piracy detection
US10678929B2 (en) * 2018-03-09 2020-06-09 Citrix Systems, Inc. Systems and methods for embedding data in remote session displays
CN108537945B (zh) * 2018-03-09 2020-09-15 深圳怡化电脑股份有限公司 票据水印检测方法、系统及自助设备
US11468149B2 (en) 2018-04-17 2022-10-11 Verance Corporation Device authentication in collaborative content screening
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US11025900B2 (en) * 2018-07-18 2021-06-01 Universal City Studios Llc System and method for identifying b-roll conditions in live streams or live rendered content
CN108989816B (zh) * 2018-09-03 2021-05-14 广州海格通信集团股份有限公司 一种基于小波变换的编码信道信息隐藏方法
JP7180299B2 (ja) * 2018-11-13 2022-11-30 富士通株式会社 赤外線検出器の制御回路、撮像素子及び赤外線検出器の制御方法
CN110111232A (zh) * 2019-05-07 2019-08-09 绍兴聚量数据技术有限公司 一种基于核心张量的灰度视频水印算法
CN112151048B (zh) * 2019-06-11 2024-04-02 李庆成 音视图数据生成以及处理的方法
JP6806955B1 (ja) * 2019-06-28 2021-01-06 楽天株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
CN110611784B (zh) * 2019-10-17 2021-07-23 江苏省水利科学研究院 一种可防篡改的多摄像头记录仪的拍摄存储方法
US11176746B2 (en) * 2019-11-08 2021-11-16 Msg Entertainment Group, Llc Modulated display AR tracking systems and methods
US11734784B2 (en) * 2019-11-14 2023-08-22 Sony Interactive Entertainment Inc. Metadata watermarking for ‘nested spectating’
CN111340677B (zh) * 2020-02-27 2023-10-27 北京百度网讯科技有限公司 视频水印检测方法、装置、电子设备、计算机可读介质
US11474799B2 (en) * 2020-07-31 2022-10-18 Snowflake Inc. Providing code translation related to resilient distributed datasets in database systems
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes
US20230186421A1 (en) * 2021-12-09 2023-06-15 Huawei Technologies Co., Ltd. Devices, methods, and computer readable media for screen-capture communication
TWI796265B (zh) 2022-07-27 2023-03-11 友達光電股份有限公司 顯示裝置以及影像顯示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164235A (ja) * 1997-11-26 1999-06-18 Sony Corp 付加情報の重畳伝送方法、付加情報の重畳伝送装置
JPH11341452A (ja) * 1998-03-24 1999-12-10 Internatl Business Mach Corp <Ibm> 動画像電子透かしシステム
JP2000244726A (ja) * 1999-02-22 2000-09-08 Sony Corp 付加情報重畳方法、付加情報検出方法、付加情報重畳装置および付加情報検出装置
JP2001053955A (ja) * 1998-12-02 2001-02-23 Hitachi Ltd 電子透かし情報の抽出方法および電子透かし情報のビット値判定方法
JP2002112210A (ja) * 2000-09-28 2002-04-12 Sony Corp 付加情報埋め込み装置及び方法、並びに記憶媒体
JP2002320083A (ja) * 2001-04-19 2002-10-31 Sony Corp 電子透かし埋め込み処理装置、電子透かし検出処理装置、および電子透かし埋め込み処理方法、電子透かし検出処理方法、並びにプログラム記憶媒体、およびプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US6404926B1 (en) * 1997-09-02 2002-06-11 Sony Corporation Apparatus and method of processing image data, transmission medium, and recording medium
CN1143532C (zh) * 1997-09-02 2004-03-24 皇家菲利浦电子有限公司 检测水印的方法和设备
JP4064506B2 (ja) * 1997-09-17 2008-03-19 パイオニア株式会社 電子透かし重畳方法及び検出方法並びに装置
KR100302436B1 (ko) * 1998-03-24 2001-09-26 포만 제프리 엘 동화상 전자 워터마크 시스템
JP3642956B2 (ja) 1998-06-22 2005-04-27 ソニー株式会社 画像データ処理装置及び方法、並びに記録装置及び方法
JP4026933B2 (ja) * 1998-06-24 2007-12-26 キヤノン株式会社 情報処理装置及び方法並びに記録媒体
JP2000035002A (ja) 1998-07-22 2000-02-02 Toyota Autom Loom Works Ltd 作動油タンク
JP2000175161A (ja) 1998-12-01 2000-06-23 Kdd Corp 動画像に対する透かしデータ埋め込み装置および検出装置
JP2000244725A (ja) * 1999-02-22 2000-09-08 Sony Corp 付加情報重畳方法、付加情報検出方法、付加情報重畳装置および付加情報検出装置
GB2349536B (en) 1999-03-23 2003-03-12 Ibm Motion picture electronic watermark system
JP3722646B2 (ja) * 1999-06-01 2005-11-30 松下電器産業株式会社 データに透かし情報を埋め込む方法およびプログラム記録媒体
JP3656728B2 (ja) * 2000-03-10 2005-06-08 株式会社日立製作所 電子透かしを用いた情報埋め込み方法および抽出方法
TW538636B (en) 2000-09-01 2003-06-21 Matsushita Electric Ind Co Ltd Reproduction equipment, reproduction equipment specifying equipment, reproduction equipment specifying system and methods and recording media for said equipment and system
US6563936B2 (en) * 2000-09-07 2003-05-13 Sarnoff Corporation Spatio-temporal channel for images employing a watermark and its complement
US7058201B2 (en) * 2001-03-28 2006-06-06 Lg Electronics Inc. Method of embedding watermark into digital image
JP3576993B2 (ja) * 2001-04-24 2004-10-13 株式会社東芝 電子透かし埋め込み方法及び装置
WO2003001813A1 (en) * 2001-06-21 2003-01-03 Koninklijke Philips Electronics N.V. Embedding and detection of watermark in a motion image signal
US7203335B2 (en) * 2001-08-07 2007-04-10 Gabriel Fielding System and method for extracting a watermark signal in a digital image sequence
US7114071B1 (en) * 2001-09-13 2006-09-26 Dts Canada, Ulc Method and apparatus for embedding digital watermarking into compressed multimedia signals
JP2003174631A (ja) 2001-12-05 2003-06-20 Nippon Hoso Kyokai <Nhk> 電子透かし埋込方法、電子透かし検出方法および電子透かし埋込装置、電子透かし検出装置ならびに電子透かし埋込プログラム、電子透かし検出プログラム
JP4370752B2 (ja) 2002-03-05 2009-11-25 沖電気工業株式会社 電子透かし検出装置
JP2003304389A (ja) 2002-04-11 2003-10-24 Sony Corp 付加情報重畳処理装置、付加情報検出処理装置、および方法、並びにコンピュータ・プログラム
JP4541632B2 (ja) * 2002-05-13 2010-09-08 パナソニック株式会社 電子透かし埋め込み装置、その方法及び記録媒体
JP4268377B2 (ja) 2002-06-10 2009-05-27 日本放送協会 電子透かし埋込装置、その検出装置および電子透かし埋込プログラム
JP4127636B2 (ja) * 2002-08-30 2008-07-30 株式会社東芝 電子透かし埋め込み装置及び方法
KR100948381B1 (ko) * 2003-05-15 2010-03-22 삼성전자주식회사 인간시각시스템을 이용한 영상 워터마킹 방법
JP4258283B2 (ja) 2003-06-18 2009-04-30 三菱電機株式会社 電子透かし埋め込み方法および電子透かし検出方法
JP2005142836A (ja) * 2003-11-06 2005-06-02 Hitachi Ltd 電子透かし埋め込みプログラム及び情報処理装置
TWI228376B (en) * 2003-12-23 2005-02-21 Ind Tech Res Inst Watermark encoding method and recording medium thereof
JP4534530B2 (ja) 2004-03-08 2010-09-01 三菱電機株式会社 電子透かし検出方法および電子透かし検出装置
KR100975048B1 (ko) 2006-03-07 2010-08-11 니폰 덴신 덴와 가부시끼가이샤 전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164235A (ja) * 1997-11-26 1999-06-18 Sony Corp 付加情報の重畳伝送方法、付加情報の重畳伝送装置
JPH11341452A (ja) * 1998-03-24 1999-12-10 Internatl Business Mach Corp <Ibm> 動画像電子透かしシステム
JP2001053955A (ja) * 1998-12-02 2001-02-23 Hitachi Ltd 電子透かし情報の抽出方法および電子透かし情報のビット値判定方法
JP2000244726A (ja) * 1999-02-22 2000-09-08 Sony Corp 付加情報重畳方法、付加情報検出方法、付加情報重畳装置および付加情報検出装置
JP2002112210A (ja) * 2000-09-28 2002-04-12 Sony Corp 付加情報埋め込み装置及び方法、並びに記憶媒体
JP2002320083A (ja) * 2001-04-19 2002-10-31 Sony Corp 電子透かし埋め込み処理装置、電子透かし検出処理装置、および電子透かし埋め込み処理方法、電子透かし検出処理方法、並びにプログラム記憶媒体、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11660395B2 (en) 2011-07-15 2023-05-30 Sanofi-Aventis Deutschland Gmbh Drug delivery device with electro-mechanic drive mechanism
JP2014072839A (ja) * 2012-10-01 2014-04-21 Fujitsu Ltd 画像処理装置、方法、及びプログラム
JP5673890B1 (ja) * 2013-03-29 2015-02-18 東レ株式会社 導電ペースト及び導電パターンの製造方法

Also Published As

Publication number Publication date
JP5425115B2 (ja) 2014-02-26
CN101053256A (zh) 2007-10-10
US8126202B2 (en) 2012-02-28
CN101609546A (zh) 2009-12-23
US20110228972A1 (en) 2011-09-22
JP2013179640A (ja) 2013-09-09
CN101866475B (zh) 2012-11-21
TWI351000B (ja) 2011-10-21
CN101609546B (zh) 2012-05-23
JP5550760B2 (ja) 2014-07-16
TW201203188A (en) 2012-01-16
TW200733001A (en) 2007-09-01
JP4809840B2 (ja) 2011-11-09
KR100901142B1 (ko) 2009-06-04
KR20070073839A (ko) 2007-07-10
KR20080087047A (ko) 2008-09-29
US20080089552A1 (en) 2008-04-17
CN101053256B (zh) 2010-09-01
WO2007015452A1 (ja) 2007-02-08
EP1928180A1 (en) 2008-06-04
JPWO2007015452A1 (ja) 2009-02-19
TWI480842B (zh) 2015-04-11
CN101866475A (zh) 2010-10-20
US7970164B2 (en) 2011-06-28
KR100876006B1 (ko) 2008-12-26

Similar Documents

Publication Publication Date Title
JP5550760B2 (ja) 電子透かし検出方法、電子透かし検出装置、プログラム、及び記録媒体
US10176545B2 (en) Signal encoding to reduce perceptibility of changes over time
JP5760438B2 (ja) 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
US8605939B2 (en) Electronic watermark embedding method, device, and program, and electronic watermark detecting method, device, and program
KR100841848B1 (ko) 전자 워터마크 검출 방법, 장치 및 프로그램을 기록한 기록 매체
US20080226125A1 (en) Method of Embedding Data in an Information Signal
US20190279328A1 (en) Signal Encoding to Reduce Perceptibility of Changes over Time
JP4393521B2 (ja) 電子透かし埋め込み装置及び検出装置並びに方法及び記録媒体
JP5806648B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置、及び電子透かし埋め込み方法、電子透かし検出方法、並びにプログラム
CN107707924B (zh) 一种基于频率约束的相机与屏幕通信方法
JP2008228281A (ja) 撮像装置、撮像方法、及びプログラム
JP2008147977A (ja) 表示装置、表示方法、撮像システム、撮像方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130422

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20131007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131126

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5425115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350