JP2006295474A - 電子透かし検出装置及び方法及びプログラム - Google Patents

電子透かし検出装置及び方法及びプログラム Download PDF

Info

Publication number
JP2006295474A
JP2006295474A JP2005112278A JP2005112278A JP2006295474A JP 2006295474 A JP2006295474 A JP 2006295474A JP 2005112278 A JP2005112278 A JP 2005112278A JP 2005112278 A JP2005112278 A JP 2005112278A JP 2006295474 A JP2006295474 A JP 2006295474A
Authority
JP
Japan
Prior art keywords
digital watermark
signal
filter
pair
autocorrelation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005112278A
Other languages
English (en)
Other versions
JP4360341B2 (ja
Inventor
Kana Yamamoto
奏 山本
Takao Nakamura
高雄 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005112278A priority Critical patent/JP4360341B2/ja
Publication of JP2006295474A publication Critical patent/JP2006295474A/ja
Application granted granted Critical
Publication of JP4360341B2 publication Critical patent/JP4360341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 自己相関関数値に現れるピーク点を高精度かつ高速に探索し、電子透かしの検出を容易にする。
【解決手段】 本発明は、固定の信号フィルタを用いて自己相関関数値をフィルタリングすることにより、該自己相関関数値の中に現れる上位N個のピーク点を探索し、上位N個のピーク点の中から、原点から各点に対するベクトルが互いに直交する点のペア候補を見つけ、ペア候補に含まれる各点について、自己相関関数値に対して自己相関関数上の位置に依存して決まる信号フィルタを用いて該ペア候補をフィルタリングし、ペア候補に基づいて、改変の量に対応する推定パラメータを算出する。
【選択図】 図2

Description

本発明は、電子透かし検出装置及び方法及びプログラムに係り、特に、電子透かしの埋め込まれた信号に対して、拡大・縮小、回転、アクペクト比変更、アフィン変換等の一次変換で表される改変が加えられた場合にも電子透かしの検出を容易にするための電子透かし検出装置及び方法及びプログラムに関する。
従来、デジタルコンテンツに対し、電子透かしを埋め込むことで、デジタルコンテンツの著作権情報保護を行ったり、デジタルコンテンツに関する著作権情報を参照したり、あるいは、デジタルコンテンツを広告としての印刷物などのアナログ媒体を介した上でデジタルカメラなどで撮影し、電子透かしを読み取ることで広告に関連した情報を取得させたりといったサービスが実現されるようになってきた。
例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある(例えば、特許文献1参照)。
また、電子透かしにおいては、デジタルコンテンツを表すデジタル信号が、電子透かしの埋め込み後に受ける様々な改変に対して耐性を持つ、すなわち様々な改変を受けた上で電子透かしを検出できることが必要である。
例えば、電子透かしの情報とは別に、幾何的な補正を行うための信号をデジタル信号に埋め込んでおき、これを検出することでデジタル信号に加えられた改変の程度を推定する方法がある(例えば、特許文献2参照)。しかしながら、このような方法では電子透かしの情報に加えて幾何補正のための信号をデジタル信号に埋め込むため、電子透かしの埋め込まれたデジタル信号の品質の劣化や、電子透かし検出処理時間の増加につながる可能性があった。
これに対し、電子透かしの埋め込まれたデジタル信号(以下、電子透かし埋め込み済み信号と記す)から電子透かしを検出する方法として、予め共通の性質を有するパターンを信号の複数位置に電子透かしとして埋め込んでおき、電子透かし検出の際に電子透かし埋め込み済み信号の自己相関関数を求めることで、電子透かし埋め込み済み信号に加えられた拡大・縮小、回転、アスペクト比変更、アフィン変換等の一次変換で表される改変の程度を推定し、推定された改変の量に応じて、改変の加えられた電子透かし埋め込み済み信号を補正し、電子透かしを検出しやすくする様な電子透かし検出の方法が提案されてきた。
例えば、一対の同一特徴を有するマーカ画像をオリジナル画像内に埋め込んでマークを付けた画像を生成し、マーク付画像に回転や拡大/縮小された画像の自己相関関数に表れるピーク点の位置から、電子透かし埋め込み済み信号に加えられた回転や拡大/縮小の程度を算出する方法がある(例えば、特許文献3参照)。また、当該方法は、上記ピーク点を見つけるために、自己相関関数値を高域周波数通過フィルタ(HPF)を用いてフィルタリングする(以下、従来方法3と記す)。
また、例えば、電子透かしとして埋め込む情報を有する埋め込みパターンそのものに、繰り返しを持つ周期的なパターンを用い、検出時に自己相関関数からその周期の変化を観測することによって拡大・縮小率を算出し、得られた拡大・縮小率に基づき電子透かしの検出処理を行う方法がある(例えば、特許文献4参照)。
特開2003−219148「電子透かし埋め込み方法及び電子透かし検出方法及び電子透かし埋め込み装置、及び電子透かし検出装置、及び電子透かし埋め込みプログラムを格納した記憶媒体、及び電子透かし検出プログラムを格納した記憶媒体」 特開平11−355547「幾何変換特定システム」 特開2001−209806「画像の回転または拡大/縮小を検出する方法およびコンピュータプログラム」 特開2002−111994「拡大縮小耐性を有する電子透かし方法及びシステム」
しかしながら、上記従来方法3にあるような自己相関関数値のピーク点を見つけるために、HPFなどの固定のフィルタを用いて処理を行う方法では、例えば、次のような状況において、自己相関関数数値のピーク点がもともとの信号の自己相関性によって現れる自己相関関数値によって埋もれてしまっている場合には、正しくピーク点の位置を検出できずに、その結果、電子透かし埋め込み済み信号に加えられた一次変換のパラメータを正しく算出できないという課題がある。
もともとの信号に、例えば、
・画像信号における繰り返し模様や直線などの、強い自己相関性がある信号が含まれている場合;
・電子透かし埋め込み信号に対して通信路上で加えられた、圧縮符号化、ノイズなどによって、埋め込まれたパターンの自己相関特性が劣化してしまっている場合、
また、自己相関関数値に対して複雑なフィルタリング処理を行ってピーク点を探索しようとする場合に、離散フーリエ変換(DFT)、離散コサイン変換(DCT)などの直交変換を多用すると、電子透かしの検出に要する処理量が膨大となり、処理に時間がかかってしまうという課題がある。
本発明は、上記の点に鑑みなされたもので、自己相関関数値に現れるピーク点を高精度かつ高速に探索し、電子透かしの検出を容易にすることが可能な電子透かし検出装置及び方法及びプログラムを提供することを目的とする。
図1は、本発明の原理構成図である。
本発明(請求項1)は、デジタル信号に対して予め所定のパターンを繰り返し、人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し、上記改変の加えられたデジタル信号の自己相関関数値を算出する手段を有し、該デジタル信号に加えられた改変の量を推定する電子透かし検出装置であって、
固定の信号フィルタを用いて自己相関関数値をフィルタリングすることにより、該自己相関関数値の中に現れる上位N個のピーク点を探索する固定フィルタ探索手段502と、
上位N個のピーク点の中から、原点から各点に対するベクトルが互いに直交する点のペア候補を見つける90度ペア探索手段503と、
ペア候補に含まれる各点について、自己相関関数値に対して自己相関関数上の位置に依存して決まる信号フィルタを用いて該ペア候補をフィルタリングする詳細フィルタ探索手段504と、
ペア候補に基づいて、改変の量に対応する推定パラメータを算出する変換パラメータ算出手段505と、を有する。
また、本発明(請求項2)の電子透かし検出装置は、請求項1の90度ペア探索手段503において、
探索対象のピーク点が信号に加えられたと想定される改変の大きさに応じた近傍領域に存在するかどうかを判定し、当該判定結果に基づいて直交の該非を判断する近傍判定手段を含む。
また、本発明(請求項3)の電子透かし検出装置は、請求項1の詳細フィルタ探索手段504において、
所定のパターンが自己相関関数上の位置に応じた改変を受けた際の周波数分布と同様の周波数分布を持つフィルタのインパルス応答に対応する空間領域形状のフィルタを用いるように構成される。
本発明(請求項4)は、デジタル信号に対して予め所定のパターンを繰り返し人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し、該改変の加えられたデジタル信号の自己相関関数を算出することにより、該デジタル信号に加えられた改変の量を推定する電子透かし検出装置であって、
所定のパターンが自己相関関数上の位置に応じた改変を受けた際の周波数分布と同様の周波数分布を持つフィルタのインパルス応答に対応する空間領域形状のフィルタを用いて、自己相関関数値のフィルタリングを行う詳細フィルタ探索手段、を有する。
また、本発明(請求項5)は、請求項3または4記載の詳細フィルタ探索手段において、
所定のパターンが矩形領域で表される周波数分布を持ち、空間領域形状のフィルタとしてsinc関数に基づく形状のフィルタを用いる。
また、本発明(請求項6)は、請求項1,2,3または5の電子透かし検出装置において、詳細フィルタ探索手段によってフィルタリングされたペア候補の中で、あるペア候補の線形結合によって表されるペア候補を探索する従属ピーク点探索手段を有する。
また、本発明(請求項7)は、請求項6の電子透かし検出装置において、該当するペアの候補の評価値が、線形結合の基底となるペア候補の評価値より、より低く評価される評価値になるように、該ペアの候補の評価値、該線形結合の基底となるペア候補の評価のいずれか、もしくは両方の評価値を増減する従属ピーク点除去手段を有する。
本発明(請求項8)は、所定のパターンが信号に埋め込みたい副情報から構成されていて、該信号に埋め込まれた該副情報を検出する請求項1から請求項7に記載された電子透かし検出装置であって、
推定された改変の量に応じて該改変の加えられたデジタル信号に対し、改変の逆変換を施す変換補正手段と、
逆変換が施されたデジタル信号からパターンを検出することにより副情報を検出する埋め込み情報検出手段と、を更に有する。
図2は、本発明の原理を説明するための図である。
本発明(請求項9)は、デジタル信号に対して予め所定のパターンを繰り返し、人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し、上記改変の加えられたデジタル信号の自己相関関数値を算出する手段を有し、該デジタル信号に加えられた改変の量を推定する電子透かし検出装置における、電子透かし検出方法であって、
固定の信号フィルタを用いて自己相関関数値をフィルタリングすることにより、該自己相関関数値の中に現れる上位N個のピーク点を探索する固定フィルタ探索ステップ(ステップ1)と、
上位N個のピーク点の中から、原点から各点に対するベクトルが互いに直交する点のペア候補を見つける90度ペア探索ステップ(ステップ2)と、
ペア候補に含まれる各点について、自己相関関数値に対して自己相関関数上の位置に依存して決まる信号フィルタを用いて該ペア候補をフィルタリングする詳細フィルタ探索ステップ(ステップ3)と、
ペア候補に基づいて、改変の量に対応する推定パラメータを算出する変換パラメータ算出ステップ(ステップ4)と、を行う。
また、本発明(請求項10)の電子透かし検出方法は、請求項9の90度ペア探索ステップ(ステップ2)において、
探索対象のピーク点が信号に加えられたと想定される改変の大きさに応じた近傍領域に存在するかどうかを判定し、当該判定結果に基づいて直交の該非を判定する近傍判定ステップを行う。
また、本発明(請求項11)の電子透かし検出方法は、請求項9の詳細フィルタ探索ステップ(ステップ3)において、
所定のパターンが自己相関関数上の位置に応じた改変を受けた際の周波数分布と同様の周波数分布を持つフィルタのインパルス応答に対応する空間領域形状のフィルタを用いる。
本発明(請求項12)は、デジタル信号に対して予め所定のパターンを繰り返し人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し、該改変の加えられた改変の量を推定する電子透かし検出装置における電子透かし検出方法であって、
所定のパターンが自己相関関数上の位置に応じた改変を受けた際の周波数分布と同様の周波数分布を持つフィルタのインパルス応答に対応する空間領域形状のフィルタを用いて、自己相関関数値のフィルタリングを行う詳細フィルタ探索ステップを行う。
また、本発明(請求項13)は、請求項11または、請求項12の詳細フィルタ探索ステップは、
所定のパターンが矩形領域で表される周波数分布を持ち、空間領域形状のフィルタとしてsinc関数に基づく形状のフィルタを用いる。
また、本発明(請求項14)は、請求項9,10,11または、13記載の電子透かし検出方法において、詳細フィルタ探索ステップによってフィルタリングされた上記ペア候補の中で、あるペア候補の線形結合によって表されるペア候補を探索する従属ピーク点探索ステップを行う。
また、本発明(請求項15)は、請求項14の電子透かし検出方法において、
該当するペアの候補の評価値が、線形結合の基底となるペア候補の評価値より、より低く評価される評価値になるように、該ペアの候補の評価値、該線形結合の基底となるペア候補の評価のいずれか、もしくは両方の評価値を増減する従属ピーク点除去ステップを行う。
本発明(請求項16)は、所定のパターンが信号に埋め込みたい副情報から構成されていて、該信号に埋め込まれた該副情報を検出する請求項1から請求項7に記載された電子透かし検出装置における電子透かし検出方法であって、
推定された改変の量に応じて該改変の加えられたデジタル信号に対し、改変の逆変換を施す変換補正ステップと、
逆変換が施されたデジタル信号からパターンを検出することにより副情報を検出する埋め込み情報検出ステップと、を行う。
本発明(請求項17)は、デジタル信号に対して予め所定のパターンを繰り返し、人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し、上記改変の加えられたデジタル信号の自己相関関数値を算出することにより、該デジタル信号に加えられた改変の量を推定する電子透かし検出プログラムであって、
請求項1乃至8記載の電子透かし検出装置の各手段の機能をコンピュータに実行させるプログラムである。
本発明の請求項1の電子透かし検出装置、及び請求項9の電子透かし検出方法によれば、固定フィルタ探索手段と90度ペア探索手段によって目的のピーク点である可能性の高い点を残しつつ、処理時間のかかる詳細フィルタを適用する点を削減し、詳細フィルタ探索手段によって高精度な自己相関ピーク点の探索が可能となり、高速かつ高精度に改変の量を推定し、電子透かしの検出を容易にすることができる。
また、本発明の請求項2の電子透かし検出装置、及び請求項10の電子透かし検出方法によれば、信号に加えられた改変として回転前後のアスペクト比変更が含まれていても自己相関ピーク点の探索と改変の量の推定が可能となり、電子透かしの検出を容易にすることができる。
また、本発明の請求項3、4の電子透かし検出装置及び、請求項11、12の電子透かし検出方法によれば、処理時間のかかる詳細フィルタ探索を空間領域の限定された範囲の相関演算のみで行うことができ、フィルタ処理ごとの離散フーリエ変換を実施することなしに高速に詳細フィルタ探索処理を実現することができ、自己相関ピーク点の探索と改変の量の推定を高速に実施できるため、電子透かしの検出を容易にすることができる。
また、本発明の請求項5の電子透かし検出装置、及び請求項請求項13の電子透かし検出方法によれば、詳細フィルタ探索手段における空間領域のフィルタを容易にかつ高速に構成することができ、自己相関ピーク点の探索と改変の量の推定を高速に実現できるため、電子透かしの検出を容易にすることができる。
また、本発明の請求項6,7の電子透かし検出装置、及び請求項14,15の電子透かし検出方法によれば、基底ベクトルの線形結合によって表せる従属ピーク点候補を誤って選択するのを抑制することができ、自己相関ピーク点の探索と改変の量の推定を高精度に実施できるため、電子透かしの検出を容易にすることができる。
また、本発明の請求項8の電子透かし検出装置、及び請求項16の電子透かし検出方法によれば、埋め込むパターン自体が埋め込みたい副情報を表すため、改変の量を推定し信号を補正するために特別な信号を埋め込むことが不要となり、電子透かしの埋め込みによる信号の劣化を削減することができる。また、信号劣化の程度を同程度とした場合に電子透かし信号の強度を高めることができ、ノイズや改変に対する電子透かしの耐性を増すことができ、電子透かしの検出を容易にすることができる。
以下、図面と共に本発明の実施の形態を説明する。
最初に、以下の説明で用いる「信号」と「電子透かし埋め込み検出の通信モデル」について説明する。
本発明においては、電子透かしの埋め込み、検出が行われる対象となる情報を「信号」と記す。以下の実施の形態では、主として2次元の画像信号に対する処理を例に説明するが、映像や音声信号であっても構わない。また、任意のn次元の信号について同様の方法を適用することができることは言うまでもない。
次に、電子透かし埋め込み検出の通信モデルについて説明する。
図3は、本発明の一実施の形態における電子透かし埋め込み検出の通信モデルを示す。
系に与えられた埋め込み前信号101に対し、電子透かし埋め込み装置200を用いて埋め込み情報102が埋め込まれる。埋め込み情報102は、後に検出して利用する情報であればどのような情報であってもよく、例えば、コンテンツの識別子、著作権情報、URL、コンテンツを購入したユーザの識別子や名前、住所、コンテンツを販売したトランザクションの識別子、コンテンツを生成したデジタルカメラなどの機器の識別子や機器の情報、コンテンツのコピー可否を制御するためのフラグ、コンテンツの改ざん検知を行うための信号などであっても良い。
また、電子透かし検出によって後述する信号の改変107の大きさを求めること自体を目的とするような系においては、埋め込み情報102は、所定の固定の値であってもよい。埋め込み情報102が固定の値である場合は、明示的に電子透かし埋め込み装置200に入力されることなく、電子透かし埋め込み装置200の内部に予め記憶されている値を用いるようにされていてもよいことは言うまでもない。
電子透かし埋め込み装置200の出力した埋め込み済み信号104は、通信路105を経る中で加法的ノイズ106や信号の改変107といったノイズが付加される。
ここで、加法的ノイズ106は、例えば、画像信号における画素値やDCT係数などの、信号の時間的・空間的・周波数的等に分割された要素のとる値に対して加減算的に加えられるノイズ成分であって、例えば、信号に加えられる雑音や、例えば、MPEGやJPEGなどの信号の符号化に伴う符号化ノイズであってもよい。
信号の改変107は、例えば、画像信号における被写体の形状などの、信号の時間的・空間的・周波数的な位置を変化させるような改変であって、例えば、信号の平行移動、拡大・縮小、回転、アスペクト比変更、アフィン変換等の一次変換、一部切り取りなどの改変であってもよい。
加法的ノイズ106、信号の改変107は、人によって意図されたものであっても意図されないものであってもよい。また、加法的ノイズ106、信号の改変107の付加される順序は問わない。
また、通信路105上で上記以外の信号に対する変化が与えられていても構わない。
通信路105を経て改変された埋め込み済み信号108が電子透かし検出装置400に入力され、埋め込み情報102と同じ検出情報110が出力される。
[第1の実施の形態]
以下に本発明により検出する電子透かし埋め込む方法の例を示す。
図4は、本発明の第1の実施の形態における電子透かし埋め込み装置の構成を示す。
電子透かし埋め込み装置200は、透かしパターン生成部201、透かしパターン加算部202から構成される。
電子透かしの埋め込み処理は、以下のような手順に従って行われる。
1) 透かしパターン生成部201において、電子透かし埋め込み装置200に入力された埋め込み情報102に基づき、信号に対して電子透かしとして埋め込む透かしパターン203を生成する。
透かしパターン203の生成の方法としては、例えば、前述の特許文献1の第1の実施例に述べられているような、埋め込み情報102に基づいて透かし係数行列を変更したものに対し離散逆フーリエ変換を施して得られた信号パターンであっても構わない。2次元の画像信号を対象とした場合に生成された透かしパターンの例を、図5の透かしパターン301に示す。なお、透かしパターン203の生成の方法はこれに限定するものではなく、後述する透かしパターンの加算の結果得られる埋め込み済み信号104において、透かしパターン203の存在が人間の知覚に感知されにくいように構成されるものであればどのようなパターンであっても構わず、例えば、他の既存の電子透かし埋め込み方法に基づいて構成されたパターンであっても構わない。
2)透かしパターン加算部202において、透かしパターン生成部201で生成された透かしパターン203を、電子透かし埋め込み装置200に入力された埋め込み前信号101に、繰り返し並べて加算することで埋め込み済み信号104を得る。例えば、2次元の画像信号を対象とした場合には、透かしパターン301を入力された画像信号である埋め込み前信号101に対し、図5に示す例のように繰り返しタイル状に加算する。
透かしパターン203の加算の方法としては、例えば、前述の特許文献1の第1の実施例に述べられているように、与えられた強度パラメータに従ってパターンを必要に応じて強調して加算するようにされていてもよい。また、埋め込み前信号101の加算を行う部位の信号の特徴に応じ、例えば、加算されたパターンが目立つような部位ではパターンの強度を小さくし、パターンが目立たない部位ではパターンの強度を大きくするようにパターンの強調の程度を変化させるなどして、透かしパターンを加算するようにされていても構わない。
次に、本実施の形態における電子透かし検出処理について説明する。
図6は、本発明の第1の実施の形態における電子透かし検出装置の構成を示す。
電子透かし検出装置400は、前述の電子透かし埋め込み装置200を用いて得られる電子透かし埋め込み信号に、平行移動、拡大・縮小、回転、アスペクト比変更、アフィン変換等の一次変換、一部切り取り、非可逆圧縮などの処理が施された信号から埋め込まれた電子透かしを検出するための装置である。
同図に示す電子透かし検出装置400は、一次変換パラメータ推定部401、幾何変換補正部402、平行移動量推定部403、埋め込み情報検出部404と、から構成される。
電子透かしの検出処理は、大きく次の段階を経て行われる。
図7は、本発明の第1の実施の形態における電子透かし検出処理のフローチャートである。
ステップ101) 一次変換パラメータ推定:
一次変換パラメータ推定部401において、入力信号の405の自己相関値を算出し、自己相関値がピークをとる点を探索することにより、信号に与えられた変形の一次変換パラメータを推定し、推定一次変換パラメータ406を求める。
ステップ102) 一次変換による幾何補正:
幾何変換補正部402において、入力信号405に対し、ステップ101で推定された一次変換パラメータ406に対する逆変換を施し、信号を幾何的に補正する。
ステップ103)平行移動量推定:
平行移動量推定部403において、ステップ102で補正された幾何変換補正済み信号407に対して平行移動量の全探索を行うことで、信号に与えられた平行移動量を推定し、推定平行移動量408を求める。
ステップ104) 埋め込み情報の検出:
埋め込み情報検出部404において、ステップ103で推定された推定平行移動量408に基づき、ステップ102で補正された幾何変換補正済み信号407から残りの埋め込み情報を検出し、透かし検出情報409を得る。
埋め込み情報の検出は、例えば、前述の特許文献1に述べられているような、幾何変換検出対象係数行列を生成し、検出対象係数行列と埋め込み情報のシンボルに対応して電子透かし埋め込みで用いられたシンボル系列との相関値を求めることによってなされるものであってもよい。
上記の一次変換パラメータ推定処理を詳細に説明する。
図8は、本発明の第1の実施の形態における一次変換パラメータ推定部の構成を示す。
同図に示す一次変換パラメータ推定部401は、自己相関関数値配列生成部501、固定フィルタ探索部502、90度ペア探索部503、詳細信号フィルタ探索部504、変換パラメータ推定部505とから構成される。
一次変換パラメータ推定部401による一次変換パラメータの推定の手順の例を以下に示す。
図9は、本発明の第1の実施の形態における一次変換パラメータの推定手順のフローチャートである。
ステップ201) まず入力された入力信号506に対し、自己相関関数値配列生成部501を用いて入力信号508の自己相関関数値配列508を計算する。
ここで、自己相関関数値配列とは、n次元の離散データとして与えられた入力信号の自己相関関数を計算し、得られたn次元データを配列に格納したものである。自己相関関数値配列508の例を図10に示す。改変として回転・拡大・縮小が加えられた2次元の画像信号(図10(a))に対して求められた自己相関関数値配列を、自己相関関数値の値を画像の輝度として表現したものが図10(b)である。ここで、入力信号に予め埋め込まれていたパターンの周期性から、自己相関関数値配列に格子状のピーク点が現れていることがわかる。
自己相関関数値配列508の計算方法は、例えば、「樋渡涓二編『画像工学ハンドブック』朝倉書店(1986) p.240」に記載されている。入力信号を離散フーリエ変換して得られたパワースペクトルを逆拡散フーリエ変換するなどの公知の手順が知られていた。
また、本実施の形態では、信号に埋め込まれた埋め込み情報により構成されるパターンの自己相関ピークを検出することを目的としているが、信号に対して直接自己相関関数を計算して自己相関関数値配列を算出したのでは、埋め込まれたパターンに対する自己相関ピークが十分明確に現れない場合がある。そこで、目的の自己相関ピークを効率的に検出するため、自己相関関数値配列の計算の前に、入力信号506に対し、埋め込みパターンの周波数特性に応じたフィルタを適用するようにしてもよい。例えば、埋め込み情報が信号の高周波数領域に埋め込まれている場合には、高周波通過フィルタを適用し、更にクリッピング処理を施すようにしてもよい。高周波通過フィルタとしては例えば、図11のラプラシアンフィルタを用いてもよい。
ステップ202) ステップ201で得られた自己相関関数値配列508に対し、固定フィルタ探索部502を用いて、上位N個の自己相関ピーク点を探索する。
固定フィルタ探索部502では、ステップ201で得られた自己相関関数値配列508に対し、信号に埋め込まれた埋め込み情報により構成されるパターンの周波数分布と同様の周波数分布を持つフィルタのインパルス応答の空間領域での形状を模倣した形状の固定のフィルタを用いて自己相関関数値配列508をフィルタリング処理し、上記の配列の中でフィルタリング後の信号の大きさが最も強い点から順に上位N個を選択してピーク点候補509として出力する。
埋め込み情報により構成されるパターンが、後述する詳細フィルタ探索部504の説明の例に示すようなsinc関数に基づいた形状を持っている場合には、フィルタ形状としてsinc関数に基づく形状を模倣し、図12に示す形状のフィルタを用いてもよい。
ここで模倣というのは、理想的なフィルタ形状に対し大まかな形状が似るように固定フィルタを構成することを指している。すなわち、後述の詳細フィルタ探索部504で行われるように、理想的なフィルタ形状は、自己相関関数値配列上の位置によって異なってくるが、それらを共通の固定形状のフィルタで代用するために、例えば、図12の理想的なsinc関数形状に対して、中心値が大きく、1ピクセル隔てた周囲の値が小さいような固定フィルタを構成することを指している。
自己相関関数値配列に現れるピーク点がどれだけ原点から離れているかは、信号に加えられた改変107における拡大・縮小の量と、埋め込まれたパターン(例えば、図5の透かしパターン301)の大きさとによって決まる。例えば、2次元の画像信号に繰り返し埋め込まれたパターンの場合で、パターンの1辺の長さがL、信号に加えられた改変107に0.5倍の縮小から1.5倍の拡大までが含まれるとすると、自己相関関数値配列において原点から距離0.5Lから1.5Lまでの範囲にあるピーク点を探索すればよい。
また、自己相関関数値の定義から自己相関関数値配列において原点対称な位置の自己相関関数値は共通であることから、自己相関関数値配列において2つの象限のみの探索を行えば十分である。
例えば、固定フィルタ探索部502でのピーク点探索範囲を図13の太線で囲まれた枠内に限って行うようにしても構わない。
固定フィルタによるフィルタリング処理は、後述する詳細フィルタによる処理と比較して高速に処理することが可能であり、処理負荷の高い以降の処理において無駄な演算処理を行うことを回避することができ、効率的な一次変換パラメータの推定が可能となる。
ステップ203) ステップ202で得られたN個のピーク点候補509に対して、90度ペア探索部503を用いて、原点から各点に対するベクトルが互いに直交し、かつ、上記ベクトルの長さが一致するような点のペアを探索し、信号に加えられた一次変換の基底ベクトルの表す基底ベクトル候補510として選択する。但し、想定される信号に対して与えられた改変の量に応じて、上記の直交関係、ベクトルの長さの一致についてマージンを持たせて判定を行ってもよい。
基底ベクトル候補探索の概念を図14に示す。図14(a)、(b)それぞれにおいて、矩形領域全体が自己相関関数値配列508を表し、矢印の交点に原点があるとする。図14(a)の各点がステップ202で得られたピーク点候補とする。これらのピーク点候補の中から基底ベクトル候補510を選択した結果が図14(b)に示されており、ここでは2組の基底ベクトル候補が得られている。
90度ペア探索部503の具体的な実現例については後述する。
なお、ここでは、埋め込み情報により構成されるパターンが、信号に正方格子状をなすように埋め込まれている場合の例を示しているが、埋め込みが異なる形状(例えば長方形や平行四辺形状)に行われた場合には、上記の手順において直交関係の代わりに埋め込み形状によって定まる所定の角度、ベクトルの長さの一致の代わりに埋め込み形状によって定まる所定のベクトル長の比を持つ点を選択するようになっていてもよい。
ステップ204) ステップ203で得られた基底ベクトル候補510に対して、詳細フィルタ探索部504を用いてより詳細に候補を絞り込む。具体的には基底ベクトル候補中の各点の周囲の自己相関関数値に対して、予め信号に埋め込まれたパターンの周波数分布と同様の周波数分布を持つインパルス応答の空間領域での形状を持つフィルタを用いて各点に対応する評価値を算出する。各基底ベクトル候補について、基底ベクトル候補に含まれる2点の上記評価値の和を求め、和の値の大きい上位M組の基底ベクトル候補を選択し、推定基底ベクトル511とする。
詳細フィルタ探索504の具体的な実現例については後述する。
ステップ205) 変換パラメータ推定部505を用いて、ステップ204で得られた推定基底ベクトル511に基づいて信号に加えられた改変の一次変換パラメータを算出する。具体的には、信号に改変が加えられていないと仮定した場合の基底ベクトル位置(図15(a))がステップ204で得られた基底ベクトル(例えば、図15(b))、もしくは、その原点に対する対称点から構成されるいずれかのベクトルの組に変換されるような一次変換パラメータを求めればよく、この例の場合、ステップ204で得られた基底ベクトルが(x、y)、(x、y)であるとき、推定一次変換パラメータ行列は、
の4種類となる。
ここで、埋め込み情報検出部404が、信号が鏡像及び90度回転されたものであっても埋め込み情報の検出が行えるように構成されているならば、上記行列のうち1通りのみを推定一次変換パラメータとして出力するようにしてもよい。
なお、ここでは、埋め込み情報により構成されるパターンが、信号に正方格子状をなすように埋め込まれている場合の例を示しているが、埋め込みが異なる形状(例えば長方形や平行四辺形)に行われた場合には、信号に改変が加えられていないと仮定した場合の基底ベクトル位置が図15(a)とは異なった物となってくることに対応し、上記の推定一次変換パラメータ行列の計算式が他の形に変化していくことはいうまでもない。
上記で定められた推定一次変換パラメータ507を、一次変換パラメータ推定部401の出力として出力する。
次に、90度ペア探索部503の実現例を説明する。
90度ペア探索部503は、具体的には次のような手順を実施することで実現できる。
図16は、本発明の第1の実施の形態における90度ペア探索部の実現例のフローチャートである。
ステップ1201) 90度ペア探索部503の出力値である基底ベクトル候補を蓄積する集合λを空集合とし、ηを固定フィルタ探索部502で得られたピーク点の候補509の集合ξと等しい集合とする。
ステップ1202) 集合ηから一つのピーク点候補x”を任意に取り出し、ηからは今取り出したx”を取り除く。
ステップ1203) x”を反時計回りに90度回転した位置zを求める。
ステップ1204) ξからx”を除いた要素の集合をζとする。
ステップ1205) ζから一つのピーク点候補y”を任意に取り出し、ζからは今取り出したy”を取り除く。
ステップ1206) y”がzの近傍に存在するかどうかを判定する。近傍かどうかの判定基準は、信号に対する改変107としてどの程度の量のアスペクト比変更などの改変が行われた場合まで一次変換パラメータの推定を可能とするかに応じて広がりを持った領域内に存在するかどうかを判定基準とする。
近傍かどうかの具体的な判定基準については後述する。
ステップ1207) y”がzの近傍と判定された場合は、(x”,y”)の組をλに追加する。
ステップ1208) ζが空になったかを判定し、空でなければ空になるまでステップ1205からステップ1208までを繰り返す。
ζが空になった場合は、ステップ1209に移行する。
ステップ1209) ηが空になったかを判定し、空でなければηが空になるまでステップ1202からステップ1209を繰り返す。
ηが空になった場合は、ステップ1210に移行する。
ステップ1210) それまでにλに蓄積された基底ベクトル候補510を出力して終了する。
ここで、ピーク点候補509が、自己相関関数配列508中でy>0の範囲に限られるように固定フィルタ探索部502が構成されているならば、ηはx>0、y>0の範囲に限定して選択すれば十分であり、ステップ1201においてη←ξとする代わりに
η←{(x,y)│(x,y)∈ξかつx>0かつy>0}
とされていれば効率がよい。ピーク点候補509の存在範囲とステップ1203での回転方向に対応して、ここで限定して選択すべき範囲が変わってくることは言うまでもない。
なお、上記の集合λ、η、ζ、ξは、メモリ等の記憶手段(図示せず)に格納されるものとする。
上記のステップ1206における近傍の判定方法について、以下に説明する。
図17は、本発明の第1の実施の形態における90度ペア探索における近傍の定義の例を示す。
図17(a)において、信号に対する改変107としてアスペクト比変更を含まない改変1301がなされた場合に、自己相関関数値配列508のピークが表す基底ベクトルをx及びyで表す。また、信号に対する改変107として、上記の改変1301の前後にアスペクト比変更を更に加えた改変1302がなされた場合に、自己相関関数値配列508のピークが表す基底ベクトルをx”及びy”で表す。また、x”を90度回転された位置をzとする。
ここで、改変1302が加えられた場合に、実際にピーク点候補509として観測されるピーク点はx”やy”であるから、ステップ1206においては、想定されるアスペクト比変更の範囲でzとy”がとりうる位置関係の範囲内であれば近傍にあると判断することができる。
改変1302において、改変1301の前後に行われるアスペクト比変更をそれぞれ下記のA,Bに表す。
とすると、y”はzを用いて次のように表される。
α,βが1−a≦α≦1+a,1−b≦β≦1+b(但し、0<a<1,0<b<1)を動くとき、z=(x,y)に対してy”=(x,y)が動く範囲は図17(b)の双曲線と直線に囲まれた領域になる。
従って、ステップ1206においては、与えられたy”,zに対して、y”がzを囲む図17(b)の領域内に存在する場合に近傍にあると判定すればよい。
なお、領域の判定を簡略化するため、図17(b)の領域をおおよそ含むような他の図形領域、例えば、台形領域や扇形領域等を定め、その範囲で近傍の判定を行うようになっていてもよい。さらに、演算を高速に処理するために判定を整数演算だけで行えるように式を変形して処理を行ってもよいことは言うまでもない。例えば、図17(c)の曲線で囲まれた扇形を切り取ったような領域をもって判定するとするならば、次式F,F,F,Fの正負で判断するようにされていてもよい。
=b x−(b−b
=b x−(b+b
=(a+a(x +y )−a (x+y
=(a−a(x +y )−a (x+y
但し、α=1/α’、1−a’≦α’≦1+a’とし、a’=a/a,b−b/b,a,a,b,bは整数とする。
次に、詳細フィルタ探索部504の実現例を説明する。
自己相関関数値配列503は、元の信号に対するパワースペクトルの逆フーリエ変換として表されることから、自己相関関数値の周波数分布は信号に埋め込まれた透かしパターン(例えば、図5の透かしパターン301)の持つ周波数帯域形状と同様になることは自明である。特に、繰り返しタイリングして埋め込まれた透かしパターンの場合、自己相関関数値には周期的なインパルス状ピークが現れる。
空間領域で繰り返すパターンのフーリエ変換は、周波数領域では疎に繰り返されるインパルス状の周波数分布になることが一般的に知られており、図18の埋め込みパターンを繰り返しタイリングした埋め込みパターン(d)の周波数分布は、同図の(c)のようになる。
観測される自己相関関数値配列508が、信号に対する改変107を受けたものであることを考えると、改変のない場合の基底ベクトル位置(x,y)が(x,y)に移される改変量A(x,y)に対応した周波数領域での改変量B(x,y)を考え、元の周波数領域形状(c)をB(x,y)で変換させ、パワースペクトル化した形状(g)が、自己相関関数値(h)の周波数分布となることがわかる。よって上記形状(g)の帯域通過フィルタを用いて自己相関関数値配列508をフィルタリングして得られる信号値の大きさによって、自己相関関数値配列508に図18の(h)のようなピークが現れているかどうかを判断することができる。
従って、詳細フィルタ探索部504に入力された基底ベクトル候補510のそれぞれに対して、基底ベクトル候補の位置に対応して変換された周波数領域での形状(g)を持つ帯域通過フィルタを構成し、自己相関関数値配列生成部501で計算過程で得られたパワースペクトルをフィルタリングした後に、逆フーリエ変換を施し、基底ベクトル位置の信号強度を持って各基底ベクトル候補510の評価値とすればよい。
次に、図7のステップ103の平行移動量推定の具体的な動作を説明する。
平行移動量推定部403における平行移動量推定は、次のように構成することができる。
例えば、2次元の画像信号に対する透かし埋め込みの場合を考える。図5のように透かしパターンが信号中に繰り返し埋め込まれているため、透かしパターン301の大きさがn×nであれば、(0,0)から(n−1,n−1)の平行移動量の全てに対して電子透かしの検出を試行し、検出できたときの平行移動量をもって、改変107として与えられた平行移動量とすればよい。
ここで、電子透かしの検出の試行により検出できたかどうかの判断は、検出結果の精度を示す値が所定の閾値を越えているかどうかで判断してもよい。また、上記検出結果の精度を表す値が最大となったときの平行移動量を持って検出できたと判断してもよい。例えば、前述の特許文献1の第2の実施例において述べられているようなシンボル検出部を用いて電子透かしの検出を行う場合には、上記特許文献1におけるシンボル系列と検出対象系列との相関値を上記検出結果の精度を表す値として用いても良い。
図19は、本発明の第1の実施の形態における平行移動量推定部の動作のフローチャートである。
ステップ1501,1502,1503) 検出結果精度の最大値を保存する変数max及びオフセット位置x、yを0に初期化する。但し、検出結果精度が負数も取りうるように構成されている場合は、maxに検出結果精度が取りうる最小の値を設定する。
ステップ1504) 信号に対する改変107として(x,y)の平行移動が行われていると仮定した場合の透かし検出を実施し、検出結果の精度を表す値をpに代入する。
ステップ1505) pがmaxよりも大きいかどうか判定し、大きくない場合はステップ1508に移行する。大きい場合はステップ1506に移行する。
ステップ1506) maxにpを代入し、そのときの平行移動量x,yをそれぞれmx,myに代入して保存する。
ステップ1507) さらに、maxが予め決められた所定の閾値を越えているかを判定し、超えている場合はステップ1513に移行する。越えていない場合はステップ1508に移行する。
ステップ1508) 横方向のオフセットxに変位dxを加える。ピクセル単位に変更移動量を推定する場合はdxは1でよい。
ステップ1509) xがn未満の場合はステップ1504に戻り、xがnに達するまでステップ1504〜ステップ1508を繰り返す。
ステップ1510) 縦方向のオフセットyにdyを加える。ピクセル単位に平行移動量を推定する場合は、dyは1でよい。
ステップ1511) yがn未満の場合はステップ1503に戻り、yがnに達するまでステップ1503〜ステップ1510を繰り返す。
yがnに達した場合には、ステップ1512で最大の検出結果精度値を与えた平行移動量mx,myを推定平行移動量408として出力する。
ステップ1507において、maxが閾値を越えていた場合に、ステップ1513〜ステップ1521の手順によって、全ての平行移動量を探索することなしに推定平行移動量を決定するようになっていてもよい。
ステップ1513,1514) 変位量xx,yyにそれぞれ−kを代入する。
ステップ1515) 信号に対する改変107として(x+xx、y+yy)の平行移動が行われていると仮定した場合の透かし検出を実施し、検出結果の精度を表す値をpに代入する。
ステップ1516)pがmaxよりも大きいかどうかを判定し、大きくない場合はステップ1518に移行する。大きい場合は、ステップ1517に移行する。
ステップ1517) maxにpを代入し、そのときの平行移動量x+xx,y+yyをそれぞれmx,myに代入して保存する。
ステップ1518) 横方向の変位量xxに変位dxを加える。ピクセル単位に平行移動量を推定する場合はdxは1でよい。
ステップ1519) xxがk以下の場合は、ステップ1515に戻り、xxがkに達するまでステップ1515〜ステップ1518を繰り返す。
ステップ1520) 縦方向の変位量yyにdyを加える。ピクセル単位に平行移動量を推定する場合はdyは1でよい。
ステップ1521) yyがk以下の場合は、ステップ1514に戻り、yyがkに達するまでステップ1514〜ステップ1520を繰り返す。
yyがkに達した場合には、ステップ1513〜ステップ1521によって、閾値を越えたオフセット位置(x,y)の近傍について検出を実施し、その中で最大を採った平行移動量を以て推定平行移動量とすることで、効率的に推定平行移動量を決定することができる。
さらに、前述の特許文献1に述べられているように、電子透かし情報を複数のシンボルに分割して信号を埋め込んでいる場合は、複数のシンボルのうちの1つについて、上記の平行移動量探索を実施し、その結果得られた平行移動量を推定平行移動量408として出力し、残りのシンボルの検出処理は埋め込み情報検出部404で実施することで、効率的に電子透かしの検出を行うことができる。
[第2の実施の形態]
本実施の形態では、前述の第1の実施の形態における詳細フィルタ探索部504を、より効率的に処理するための構成例を説明する。
用語の定義、詳細フィルタ探索部503以外の構成については第1の実施の形態と同様である。
上記の第1の実施の形態における詳細フィルタ探索部504の実現方法では、基底ベクトルの候補それぞれに対して逆フーリエ変換処理を実施する必要があるために処理に非常の時間がかかる上、パターンの繰り返しに対応して決まる周波数分布でのインパルス状ピークの繰り返し形状を持つフィルタは、離散フーリエ変換の丸め誤差の問題から精度よく構成することが困難であるという問題がある。
そこで、周波数領域でのフィルタリングを行う代わりに空間領域の候補点周囲の所定の範囲に対してフィルタリングを行うことで、より効率的に詳細フィルタ探索部504を実現してもよい。
以下に、2次元信号に対する詳細フィルタ探索を例に説明する。
埋め込みパターンが図18(a)のような周波数分布を持っている場合、回転のみ加えられた後の自己相関関数値(図20の(a))に現れる個々のピークは、図20(b)のような周波数分布を持つ。矩形領域通過ローパスフィルタのインパルス応答がsinc関数
となることから、ピークの空間領域での形状は、図20(c)のようなsinc関数の形状となる。但し、図20(c)は簡略化のため一次元で表現している。
また、自己相関関数値配列508に現れる自己相関ピークの形状は、信号に埋め込まれた透かしパターン(例えば、図5の透かしパターン301)が、信号に対する改変107に伴ってどれだけ拡縮されているかによってなだらかになったり鋭くなったりする。これは拡縮によって透かしの情報の埋め込まれている周波数帯域がシフトすることによる。この様子を図20(d)〜(f)に示す。
0.5倍に縮小され回転を加えられた後の自己相関ピーク(図20(d))に基底ベクトルとして現れる個々のピークは、図20(e)のような周波数分布を持ち、その結果、ピークの空間領域での形状は図20(f)のように、1.0倍の時よりも鋭敏なsinc関数の形状となる。また、これらの2次元空間での形状は、信号に加えられた回転と同じだけ回転した形となっている。
従って、理論的なピーク形状は、自己相関ピークの出現する位置に対応する改変量毎に決まるsinc関数の形状で表現できることになる。
図18(a)の周波数分布に対する空間領域形状は、矩形領域通過ローパスフィルタを組み合わせることで、逆フーリエ変換なしにsinc関数を用いて容易かつ高速に求めることができる。すなわち、埋め込みパターンの周波数分布(図18(a))を持つフィルタを、複数の矩形領域通過型ローパスフィルタの並列型及び直列型のフィルタとして考え、さらに、並列型、直列型フィルタのインパルス応答は、空間領域における各フィルタのインパルス応答の和及び積で表現されることから、目的の理論的ピーク形状は各矩形領域通過型ローパスフィルタのインパルス応答であるsinc関数形状の和及び積の演算のみで求めることができる。
さらに、対象としているピーク点位置に応じた回転量及び拡大縮小量に応じて、空間領域での回転、拡大縮小の座標変換を行うことで、目的の理論的ピーク形状を求めることができる。
なお、演算で用いられるsinc関数の範囲は対象の周波数範囲によって限られているため、sinc関数値はルックアップテーブルの形で表現することもでき、その場合さらに高速な処理が可能となる。
上記で得られた理論的ピーク形状を用い、基底ベクトル候補510の各点に対して、候補点位置に応じた理論的な空間形状と各点の周囲の所定の領域の自己相関関数値との相関値を求めるようなフィルタリングを行うことで、基底ベクトル候補それぞれに対する逆フーリエ変換を必要とせずに、空間領域での相関演算のみにより効率的に評価値を求めることができる。例えば、図21(a)の自己相関関数値配列1701に対し、候補点位置に応じて決まる理論的周波数分布から得られるピーク形状1702との相関値を求める。図21は、1次元信号の例を示しているが、n次元の信号の場合でも同様であることは言うまでもない。
さらに、自己相関関数値系列508は、離散的な点の集合として表現されるため、基底ベクトル候補510も格子点の上の点として与えられるが、本当の基底ベクトル位置は格子点の中間位置にある場合もあり、基底ベクトル候補510の各点に対して微小のズレ量を考え、ズレ量を動かしたときにピーク形状と自己相関関数値配列との相関値が最大となるズレ量を求め、改めて基底ベクトル候補点として定めることでより精度の高い基底ベクトルを求めるようにしてもよい。例えば、図21(b)の自己相関関数値配列1704に対し、基底ベクトル候補点から左方向に微小にずれた位置をピークとする理論的ピーク形状1705との相関値を求めるものである。
二次元信号の場合には、基底ベクトル候補510の各点について、x方向及びy方向に例えば格子点間隔aの1/10のサブピクセルを単位に順に変位させ、各位置においてそれぞれピーク点が存在すると仮定したときの理論的ピーク形状と、観測された自己相関値との相関を、元の基底ベクトル候補の点の周囲の格子点について畳み込み演算により求め、相関値の最も大きいものを評価値とすればよい。また、そのときの変位量を以て、基底ベクトル候補の位置を補正してもよい。
[第3の実施の形態]
本実施の形態では、前述の第1及び第2の実施の形態における一次変換パラメータ推定部401をより高精度に処理するための構成例を以下に示す。
用語の定義、一次変換パラメータ推定部401以外の構成、及び一次変換パラメータ推定部401の下記に述べられていない部分の構成は、第1及び第2の実施の形態と同様である。
前述の第1及び第2の実施の形態の一次変換パラメータ推定部401において、詳細フィルタ探索部504の出力する推定基底ベクトル511には、本来の基底ベクトルに従属して得られるピーク点を誤って基底ベクトルとして含んでしまう場合がある。ここで、本来の基底ベクトルに従属して得られるピーク点とは、例えば、図22の正解基底ベクトル(a)の線形結合として表されるピーク点(b)を指す。こうした点で構成される基底ベクトル候補についても詳細フィルタ探索部で高い評価値が得られる可能性があるが、このような基底ベクトル候補からは正しい推定一次変換パラメータを得ることはできず、その結果、電子透かしの検出に失敗してしまう可能性がある。本実施の形態では、このような基底ベクトル候補を除去する例を説明する。
図23は、本発明の第3の実施の形態における従属ピーク点除去を行う一次変換パラメータ推定部の構成例を示す。
同図に示す構成は、図8の一次変換パラメータ推定部401に、従属ピーク点除去部1912を加えた構成である。
従属ピーク点除去部1912は、詳細フィルタ探索部1904(図8の詳細フィルタ探索部504と同じ)の出力した推定基底ベクトル1911の中から、従属ピーク点になるような基底ベクトルの候補を除去し、残されたものを従属ピーク点を除去された推定基底ベクトル1913として出力する。
また、従属ピーク点になるような基底ベクトルを除去する代わりに、本来の基底ベクトルに対応して詳細フィルタ探索部1904において得られた評価値と従属ピーク点になるような基底ベクトルに対して得られた評価値とに基づき、本来の基底ベクトルの評価値が、従属ピーク点となっている基底ベクトルの評価値よりも必ず大きくなるように、それぞれの評価値を変更させるようにしてもよい。このように評価値を変更することで、信号に対するノイズによって得られた誤った推定基底ベクトルに起因して正しい基底ベクトルを推定基底ベクトル1911から除去してしまい、透かしの検出に失敗することを防止することができる。
変換パラメータ推定部1905は、従属ピーク点除去部1912が出力した従属ピーク点を除去された推定基底ベクトル1913に基づいて、推定一次変換パラメータ1907を求める。
図24は、本発明の第3の実施の形態における従属ピーク点除去部の動作のフローチャートである。
ステップ2001) 詳細フィルタ探索部1904が出力した推定基底ベクトル1911のペア(x,y)の集合をξとする。
ステップ2002) ηをξと同じ要素を持つ集合とする。
ステップ2003) ηから一つの推定基底ベクトルのペア(x,y)を任意に取り出し、ηからは今取り出した(x,y)を取り除く。
ステップ2004) ξの中で(x,y)以外の全ての要素を持つ集合をζとし、これから探索する従属ピーク点を蓄積する集合ωを空集合とする。
ステップ2005) ζから一つの推定基底ベクトルのペア(x’,y’)を任意に取り出し、ζからは今取り出した(x’,y’)を取り除く。
ステップ2006) (x’,y’)が(x,y)の従属位置にあって、かつ(x,y)に対して詳細フィルタ探索部1904において求められた評価値p[(x,y)]が、(x’,y’)に対する評価値p[(x’,y’)]よりも小さいかどうか判定する。
条件が成立しない場合は、ステップ2008に移行する。条件が成立した場合はステップ2007に移行する。
ステップ2007) 従属ピーク点を蓄積する集合ωに(x’,y’)を追加し、ステップ2008に移行する。
ステップ2008) ζが空になったかどうかを判定し、空になっていない場合は、ステップ2005に戻り、空になるまでステップ2005〜2008を繰り返す。
ζが空になった場合は、ステップ2009に移行する。
ステップ2009) 次のように各推定基底ベクトルの評価値を変更する。
・(x,y)の評価値p[(x,y)]を見つかった従属ピーク(すなわちωに含まれる全ての推定基底ベクトルのペア)の評価値の中で最大の評価値に変更する。
・見つかった従属ピーク(すなわちωに含まれる全ての推定基底ベクトルのペア)の評価値p[(x’,y’)]を(x,y)の上記の変更前の元の評価値に変更する。
すなわち、元の推定基底ベクトルの評価値が、従属ピーク点となっている推定基底ベクトルの評価値よりも必ず大きくなるように変更することで、従属ピーク点が優先されて検出が行われることが無いようにすることができる。
ステップ2010) ηが空集合になっているかを判定し、空集合になっている場合は、ステップ2003に移行し、ηが空になるまでステップ2003〜ステップ2010を繰り返す。
なお、上記の集合η、ζ、ξ、ωは、メモリ等の記憶手段(図示せず)に格納されるものとする。
ここで、ステップ2009では、元の推定基底ベクトルの評価値と従属ピーク点となっている推定基底ベクトルの評価値が交換されるような例を示しているが、元の推定基底ベクトルの評価値が、従属ピーク点となっている推定基底ベクトルの評価値よりも必ず大きくなるように変更されるような変更の仕方であれば他の変更の仕方であっても構わない。例えば、元の推定基底ベクトルの評価値を従属ピーク点となっている推定基底ベクトルの最大の評価値の1.1倍の評価値とし、従属ピーク点となっている推定基底ベクトルの評価値を変更しないようにされていてもよい。
また、ステップ2006の判定条件として、(x’,y’)に対する評価値p[(x’,y’)]と(x,y)に対する評価値p[(x,y)]の比あるいは、差が所定の閾値未満であることを条件に加えても良い。通常、従属ピーク点と元のピーク点とは自己相関関数値配列1908において、同程度のピークとして得られるため、極端に評価値に差がある場合には(x,y)の基底ベクトルは何らかのノイズによって得られた誤った基底ベクトルである可能性がある。このため、上記のような条件を加えることで、評価値が大きく離れすぎている場合には、該当する基底ベクトルについては従属ピーク点除去の処理を行わずに、誤って正しい基底ベクトルを除去してしまうことを防ぐことができる。
なお、ここでは評価値pの値が大きいほど基底ベクトルであることが確からしいことを表すことを前提として説明したが、逆に、評価値pの値が小さいほど基底ベクトルであることが確からしいことを表す評価指標を用いている場合には、評価値の増減の仕方が逆になることは言うまでもない。
最後に従属位置の例を示す。
図25は、本発明の第3の実施の形態における従属位置を示す。基底ベクトルペア(A,B)が第1及び第2象限に限定された場合、2倍の距離にある格子点まで考慮すると、誤認識する可能性のあるペアは、図25(a)〜(k)のいずれかの場合がある。
なお、上記の図6、図8、図23に示す構成の動作をプログラムとして構築し、電子透かし検出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
また、構築されたプログラムをハードディスク装置や、フレキシブルディスク、CD−ROM等の可搬記憶媒体に格納しておき、コンピュータにインストールする、または、配布することも可能である。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
本発明は、電子透かし検出の技術に適用可能である。
本発明の原理構成図である。 本発明の原理説明図である。 本発明の一実施の形態における電子透かし埋め込み検出のモデルである。 本発明の第1の実施の形態における電子透かし埋め込み装置の構成例である。 本発明の第1の実施の形態における透かしパターンのタイリングの例である。 本発明の第1の実施の形態における電子透かし検出装置の構成図である。 本発明の第1の実施の形態における電子透かし検出処理のフローチャートである。 本発明の第1の実施の形態における一次変換パラメータ推定部の構成例である。 本発明の第1の実施の形態における一次変換パラメータの推定手順のフローチャートである。 本発明の第1の実施の形態における自己相関関数値配列の例である。 本発明の第1の実施の形態におけるラプラシアンフィルタの例である。 本発明の第1の実施の形態における固定フィルタの形状の例である。 本発明の第1の実施の形態における自己相関ピーク点の探索範囲の例である。 本発明の第1の実施の形態における90度ペア(基底ベクトル)候補探索の例である。 本発明の第1の実施の形態における基底ベクトルからの変換パラメータ計算の例である。 本発明の第1の実施の形態における90度ペア探索部実現例のフローチャートである。 本発明の第1の実施の形態における90度ペア探索における近傍の定義の例である。 本発明の第1の実施の形態における自己相関関数値の周波数分布の説明図である。 本発明の第1の実施の形態における平行移動量推定部の動作のフローチャートである。 本発明の第2の実施の形態における自己相関ピーク点形状の周波数分布である。 本発明の第2の実施の形態におけるサブピクセル単位での基底ベクトル候補の評価値算出を説明するための図である。 本発明の第3の実施の形態における基底ベクトルに従属するベクトルの認識誤りの例である。 本発明の第3の実施の形態における従属ピーク点除去を行う一次変換パラメータ推定部の構成例である。 本発明の第3の実施の形態における従属ピーク点除去部の動作のフローチャートである。 本発明の第3の実施の形態における従属位置の例である。
符号の説明
101 埋め込み前信号
102 埋め込み情報
104 埋め込み済み信号
105 通信路
106 加法ノイズ
107 信号の改変
108 改変された埋め込み済み信号
110 検出情報
200 電子透かし埋め込み装置
201 透かしパターン生成部
202 透かしパターン加算部
203 透かしパターン
301 透かしパターン
400 電子透かし検出装置
401 一次変換パラメータ推定部
402 幾何変換補正部
403 平行移動量推定部
404 埋め込み情報検出部
405 入力信号
406 推定一次変換パラメータ
407 幾何変換補正済み信号
408 推定平行移動量
409 透かし検出情報
501 自己相関関数値配列生成部
502 固定フィルタ探索手段、固定フィルタ探索部
503 90度ペア探索手段、90度ペア探索部
504 詳細フィルタ探索手段、詳細フィルタ探索部
505 変換パラメータ算出手段、変換パラメータ推定部
506 入力信号
507 推定一次変換パラメータ
508 自己相関関数値配列
509 ピーク点候補
510 基底ベクトル候補
511 推定基底ベクトル
1301 アスペクト比変更を含まない改変
1302 1301の前後にアスペクト比変更を加えた改変
1701 自己相関関数値配列上のサンプル
1702 候補点位置に応じて決まる理論的周波数分布から得られるピーク形状
1703 格子点位置に対応した理論値
1704 自己相関関数値配列
1705 基底ベクトル候補点から左方向に微小にずれた位置をピークとする理論的ピーク形状
1901 自己相関関数値配列生成部
1902 固定フィルタ探索部
1903 90度ペア探索部
1904 詳細フィルタ探索部
1905 変換パラメータ推定部
1906 入力信号
1907 推定一次変換パラメータ
1908 自己相関関数値配列
1909 ピーク点候補
1910 基底ベクトル候補
1911 推定基底ベクトル
1912 従属ピーク点除去部
1913 従属ピーク点を除去された推定基底ベクトル

Claims (17)

  1. デジタル信号に対して予め所定のパターンを繰り返し、人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し、改変の加えられたデジタル信号の自己相関関数値を算出する手段を有し、該デジタル信号に加えられた改変の量を推定する電子透かし検出装置であって、
    固定の信号フィルタを用いて前記自己相関関数値をフィルタリングすることにより、該自己相関関数値の中に現れる上位N個のピーク点を探索する固定フィルタ探索手段と、
    前記上位N個のピーク点の中から、原点から各点に対するベクトルが互いに直交する点のペア候補を見つける90度ペア探索手段と、
    前記ペア候補に含まれる各点について、自己相関関数値に対して自己相関関数上の位置に依存して決まる信号フィルタを用いて該ペア候補をフィルタリングする詳細フィルタ探索手段と、
    前記ペア候補に基づいて、前記改変の量に対応する推定パラメータを算出する変換パラメータ算出手段と、
    を有することを特徴とする電子透かし検出装置。
  2. 前記90度ペア探索手段は、
    探索対象のピーク点が信号に加えられたと想定される改変の大きさに応じた近傍領域に存在するかどうかを判定し、当該判定結果に基づいて直交の該非を判断する近傍判定手段を含む、請求項1記載の電子透かし検出装置。
  3. 前記詳細フィルタ探索手段は、
    前記所定のパターンが自己相関関数上の位置に応じた改変を受けた際の周波数分布と同様の周波数分布を持つフィルタのインパルス応答に対応する空間領域形状のフィルタを用いるように構成される請求項1記載の電子透かし検出装置。
  4. デジタル信号に対して予め所定のパターンを繰り返し人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し該改変の加えられたデジタル信号の自己相関関数を算出することにより、該デジタル信号に加えられた改変の量を推定する電子透かし検出装置であって、
    前記所定のパターンが自己相関関数上の位置に応じた改変を受けた際の周波数分布と同様の周波数分布を持つフィルタのインパルス応答に対応する空間領域形状のフィルタを用いて、自己相関関数値のフィルタリングを行う詳細フィルタ探索手段、
    を有することを特徴とする電子透かし検出装置。
  5. 前記詳細フィルタ探索手段は、
    前記所定のパターンが矩形領域で表される周波数分布を持ち、前記空間領域形状のフィルタとしてsinc関数に基づく形状のフィルタを用いる、
    請求項3または、4記載の電子透かし検出装置。
  6. 前記詳細フィルタ探索手段によってフィルタリングされた前記ペア候補の中で、あるペア候補の線形結合によって表されるペア候補を探索する従属ピーク点探索手段、
    を有する請求項1,2,3、又は、5記載の電子透かし検出装置。
  7. 該当するペアの候補の評価値が、線形結合の基底となるペア候補の評価値より、低く評価される評価値になるように、該ペアの候補の評価値、該線形結合の基底となるペア候補の評価のいずれか、もしくは両方の評価値を増減する従属ピーク点除去手段、
    を有する請求項6記載の電子透かし検出装置。
  8. 前記所定のパターンが信号に埋め込みたい副情報から構成されていて、該信号に埋め込まれた該副情報を検出する前記請求項1から前記請求項7に記載された電子透かし検出装置であって、
    推定された改変の量に応じて該改変の加えられたデジタル信号に対し、改変の逆変換を施す変換補正手段と、
    逆変換が施されたデジタル信号から前記パターンを検出することにより前記副情報を検出する埋め込み情報検出手段と、
    を更に有することを特徴とする電子透かし検出装置。
  9. デジタル信号に対して予め所定のパターンを繰り返し、人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し、前記改変の加えられたデジタル信号の自己相関関数値を算出する手段を有し、該デジタル信号に加えられた改変の量を推定する電子透かし検出装置における、電子透かし検出方法であって、
    固定の信号フィルタを用いて前記自己相関関数値をフィルタリングすることにより、該自己相関関数値の中に現れる上位N個のピーク点を探索する固定フィルタ探索ステップと、
    前記上位N個のピーク点の中から、原点から各点に対するベクトルが互いに直交する点のペア候補を見つける90度ペア探索ステップと、
    前記ペア候補に含まれる各点について、自己相関関数値に対して自己相関関数上の位置に依存して決まる信号フィルタを用いて該ペア候補をフィルタリングする詳細フィルタ探索ステップと、
    前記ペア候補に基づいて、前記改変の量に対応する推定パラメータを算出する変換パラメータ算出ステップと、
    を行うことを特徴とする電子透かし検出方法。
  10. 前記90度ペア探索ステップにおいて、
    探索対象のピーク点が信号に加えられたと想定される改変の大きさに応じた近傍領域に存在するかどうかを判定し、当該判定結果に基づいて直交の該非を判定する近傍判定ステップを行う、請求項9記載の電子透かし検出方法。
  11. 前記詳細フィルタ探索ステップにおいて、
    前記所定のパターンが自己相関関数上の位置に応じた改変を受けた際の周波数分布と同様の周波数分布を持つフィルタのインパルス応答に対応する空間領域形状のフィルタを用いる請求項9記載の電子透かし検出方法。
  12. デジタル信号に対して予め所定のパターンを繰り返し人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し、該改変の加えられた改変の量を推定する電子透かし検出装置における電子透かし検出方法であって、
    前記所定のパターンが自己相関関数上の位置に応じた改変を受けた際の周波数分布と同様の周波数分布を持つフィルタのインパルス応答に対応する空間領域形状のフィルタを用いて、自己相関関数値のフィルタリングを行う詳細フィルタ探索ステップ、を行うことを特徴とする電子透かし検出方法。
  13. 前記詳細フィルタ探索ステップは、
    前記所定のパターンが矩形領域で表される周波数分布を持ち、前記空間領域形状のフィルタとしてsinc関数に基づく形状のフィルタを用いる、
    請求項11または、12記載の電子透かし検出方法。
  14. 前記詳細フィルタ探索ステップによってフィルタリングされた上記ペア候補の中で、あるペア候補の線形結合によって表されるペア候補を探索する従属ピーク点探索ステップ、
    を行う請求項9,10,11又は13記載の電子透かし検出方法。
  15. 該当するペアの候補の評価値が、線形結合の基底となるペア候補の評価値より、より低く評価される評価値になるように、該ペアの候補の評価値、該線形結合の基底となるペア候補の評価のいずれか、もしくは両方の評価値を増減する従属ピーク点除去ステップ、
    を行う請求項14記載の電子透かし検出方法。
  16. 前記所定のパターンが信号に埋め込みたい副情報から構成されていて、該信号に埋め込まれた該副情報を検出する前記請求項1から前記請求項7に記載された電子透かし検出装置における電子透かし検出方法であって、
    推定された改変の量に応じて該改変の加えられたデジタル信号に対し、改変の逆変換を施す変換補正ステップと、
    逆変換が施されたデジタル信号から前記パターンを検出することにより前記副情報を検出する埋め込み情報検出ステップと、
    を行うことを特徴とする電子透かし検出方法。
  17. デジタル信号に対して予め所定のパターンを繰り返し、人間の知覚に感知されないように電子透かしとして埋め込んでおいた該デジタル信号に改変が加えられた該デジタル信号を入力し、前記改変の加えられたデジタル信号の自己相関関数値を算出することにより、該デジタル信号に加えられた改変の量を推定する電子透かし検出プログラムであって、
    前記請求項1乃至8記載の電子透かし検出装置の各手段の機能をコンピュータに実行させることを特徴とする電子透かし検出プログラム。
JP2005112278A 2005-04-08 2005-04-08 電子透かし検出装置及び方法及びプログラム Active JP4360341B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005112278A JP4360341B2 (ja) 2005-04-08 2005-04-08 電子透かし検出装置及び方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005112278A JP4360341B2 (ja) 2005-04-08 2005-04-08 電子透かし検出装置及び方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2006295474A true JP2006295474A (ja) 2006-10-26
JP4360341B2 JP4360341B2 (ja) 2009-11-11

Family

ID=37415572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005112278A Active JP4360341B2 (ja) 2005-04-08 2005-04-08 電子透かし検出装置及び方法及びプログラム

Country Status (1)

Country Link
JP (1) JP4360341B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006115128A1 (ja) * 2005-04-21 2008-12-18 松下電器産業株式会社 電子透かし検出装置、同方法、同プログラム及び同集積回路装置
JP2012151535A (ja) * 2011-01-17 2012-08-09 Nippon Hoso Kyokai <Nhk> 電子透かし埋め込み装置、電子透かし埋め込みプログラム、電子透かし検出装置および電子透かし検出プログラム
KR101223433B1 (ko) * 2008-07-03 2013-01-17 주식회사 마크애니 자기 상관도의 대칭성을 이용한 회전 및 스케일 정보 추출방법
US9747656B2 (en) 2015-01-22 2017-08-29 Digimarc Corporation Differential modulation for robust signaling and synchronization

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006115128A1 (ja) * 2005-04-21 2008-12-18 松下電器産業株式会社 電子透かし検出装置、同方法、同プログラム及び同集積回路装置
KR101223433B1 (ko) * 2008-07-03 2013-01-17 주식회사 마크애니 자기 상관도의 대칭성을 이용한 회전 및 스케일 정보 추출방법
JP2012151535A (ja) * 2011-01-17 2012-08-09 Nippon Hoso Kyokai <Nhk> 電子透かし埋め込み装置、電子透かし埋め込みプログラム、電子透かし検出装置および電子透かし検出プログラム
US9747656B2 (en) 2015-01-22 2017-08-29 Digimarc Corporation Differential modulation for robust signaling and synchronization
US10181170B2 (en) 2015-01-22 2019-01-15 Digimarc Corporation Differential modulation for robust signaling and synchronization
US10776894B2 (en) 2015-01-22 2020-09-15 Digimarc Corporation Differential modulation for robust signaling and synchronization
US11410261B2 (en) 2015-01-22 2022-08-09 Digimarc Corporation Differential modulation for robust signaling and synchronization

Also Published As

Publication number Publication date
JP4360341B2 (ja) 2009-11-11

Similar Documents

Publication Publication Date Title
Zheng et al. RST-invariant digital image watermarking based on log-polar mapping and phase correlation
KR100740792B1 (ko) 워터마크 검출 방법 및 워터마크 검출 장치
Niu et al. A survey of digital vector map watermarking
JP2007536864A (ja) 透かし検出方法
JP2002247344A (ja) 画像処理方法及び装置
JP2004129259A (ja) 射影変換を用いたマークの埋め込み又は検出を行う方法及び装置
Lutovac et al. An algorithm for robust image watermarking based on the DCT and Zernike moments
Roy et al. Watermarking through image geometry change tracking
JP4360341B2 (ja) 電子透かし検出装置及び方法及びプログラム
Munib et al. Robust image watermarking technique using triangular regions and Zernike moments for quantization based embedding
Golabi et al. Robust watermarking against geometric attacks using partial calculation of radial moments and interval phase modulation
Khalil et al. A blind proposed 3D mesh watermarking technique for copyright protection
KR20100016272A (ko) Pixon 방법을 사용한 이미지 압축 및 압축 해제
US20100040304A1 (en) Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program
JP4053021B2 (ja) 画像拡大装置、及びプログラム
JP4360340B2 (ja) 電子透かし検出装置及び方法及びプログラム
KR20180104995A (ko) 워터마크 삽입/검출 방법 및 장치
JP4393521B2 (ja) 電子透かし埋め込み装置及び検出装置並びに方法及び記録媒体
Li et al. Improved integral imaging based image copyright protection algorithm using 3-D computational integral imaging pickup and super-resolution reconstruction technique
JP2011182330A (ja) 画像処理方法及び画像処理装置及びプログラム
CN105976304B (zh) 一种图像水印嵌入、检测方法及装置
Bhatnagar et al. Robust reference-watermarking scheme using wavelet packet transform and bidiagonal-singular value decomposition
Albu Low complexity image registration techniques based on integral projections
JP4069468B2 (ja) 映像形成装置
Pankajakshan et al. A multi-purpose objective quality metric for image watermarking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090721

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090803

R150 Certificate of patent or registration of utility model

Ref document number: 4360341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130821

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350