JP2004015626A - 電子透かし埋込装置、その検出装置および電子透かし埋込プログラム - Google Patents
電子透かし埋込装置、その検出装置および電子透かし埋込プログラム Download PDFInfo
- Publication number
- JP2004015626A JP2004015626A JP2002168570A JP2002168570A JP2004015626A JP 2004015626 A JP2004015626 A JP 2004015626A JP 2002168570 A JP2002168570 A JP 2002168570A JP 2002168570 A JP2002168570 A JP 2002168570A JP 2004015626 A JP2004015626 A JP 2004015626A
- Authority
- JP
- Japan
- Prior art keywords
- image
- embedding
- frame
- digital watermark
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】電子透かしの影響を低減して劣化の少ない品質の画像を実現すると共に良好に電子透かしを検出することが可能な電子透かし埋込装置、プログラムおよびその検出装置を提供すること。
【解決手段】コンテンツをグループ毎に記憶し、コンテンツの各グループの所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込装置において、電子透かし情報の埋込対象フレーム画像について、埋込対象フレーム画像以外のフレームの画像に基づいて、埋込対象フレーム画像の予測画像を生成する手段１２０と、埋込対象フレーム画像と埋込対象フレーム画像の予測画像との差分を取って差分画像を生成する手段１３０と、各差分画像に電子透かし情報を埋め込む手段１４０と、電子透かしが埋め込まれた差分画像と対応する予測画像とを加算する手段１５０とを備え、埋込対象フレーム画像の画素値に応じて埋め込む信号の強度を変化させる構成を有するものである。
【選択図】 図１
【解決手段】コンテンツをグループ毎に記憶し、コンテンツの各グループの所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込装置において、電子透かし情報の埋込対象フレーム画像について、埋込対象フレーム画像以外のフレームの画像に基づいて、埋込対象フレーム画像の予測画像を生成する手段１２０と、埋込対象フレーム画像と埋込対象フレーム画像の予測画像との差分を取って差分画像を生成する手段１３０と、各差分画像に電子透かし情報を埋め込む手段１４０と、電子透かしが埋め込まれた差分画像と対応する予測画像とを加算する手段１５０とを備え、埋込対象フレーム画像の画素値に応じて埋め込む信号の強度を変化させる構成を有するものである。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、電子透かし装置に関し、特に、動画像のデジタルコンテンツに所定の情報を埋め込む又は読み取る電子透かし埋込装置、その検出装置および電子透かし埋込プログラムに関する。
【０００２】
【従来の技術】
近年、デジタルコンテンツの流通に伴い、これらのコンテンツに関する著作権保護のための著作権管理情報等をデジタルコンテンツに、再生時に視聴者に意識されないように記録するいわゆる電子透かしの技術が普及してきた。以下では、著作権管理情報をこのように記録することを埋め込むという。
【０００３】
ここで、デジタルコンテンツに著作権管理情報を電子透かしとして埋め込む従来の方法には、大別して２つの方法がある。第１の方法は、コンテンツの所定フレームを構成する所定の画素の画素値を直接変更することにより埋め込む方法である。第２の方法は、上記のフレームに対してＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）等の変換を行って得られた係数値を変更して電子透かしを埋め込み、逆変換を行って電子透かしが埋め込まれたコンテンツを生成する方法である。
【０００４】
これらの手法によって電子透かしが埋め込まれたコンテンツは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮、ＭＰＥＧ−２圧縮等の非可逆圧縮が施されてから、放送局、ポスト・プロダクション、又は実際にコンテンツを視聴する消費者に送信される。そして、電子透かしを埋込む際の信号レベルが低いと非可逆圧縮が施されたコンテンツから電子透かしを検出することは容易でないため、信号レベルを高くして電子透かしを埋め込むことが、通常、行われている。
【０００５】
ここで、放送局やポスト・プロダクション等における、番組制作の過程で用いられる映像素材等は、通常、ＭＰＥＧ−２圧縮が施されている。そして、これらの映像素材は高品質な素材であるため、これら映像素材の圧縮は、一般に非常に高いビットレートで行われる。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の電子透かし埋込方法では、埋め込み後の画像圧縮が非可逆的であると共に高い圧縮ビットレートで行われるのを考慮して、高い信号レベルで埋め込みを行い電子透かしの良好な検出を行っているため、提供された高品質な画像を再生しようとしても電子透かしの影響を受けた劣化の大きい品質の画像が再生されることが起こってしまうという問題があった。
【０００７】
本発明は、かかる問題を解決するためになされたものであり、その目的は、電子透かしの影響を低減して劣化の少ない品質の画像を実現すると共に良好に電子透かしを検出することが可能な電子透かし埋込装置、その検出装置および電子透かし埋込プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、フレーム毎に形成された画像からなるコンテンツをグループ毎に記憶し、前記コンテンツの各グループにおける所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込装置において、前記電子透かし情報を埋め込む対象の画像である各埋込対象フレーム画像について、前記埋込対象フレーム画像以外のフレームの画像に基づいて、前記埋込対象フレーム画像の予測画像を生成する手段と、前記埋込対象フレーム画像と前記埋込対象フレーム画像の予測画像との差分を取って差分画像を生成する手段と、前記各差分画像に前記電子透かし情報を埋め込む手段と、前記電子透かしが埋め込まれた差分画像に対応する予測画像とを加算する手段とを備え、前記埋込対象フレーム画像の画素値に応じて埋め込む信号の強度を変化させる構成を有している。
【０００９】
この構成により、電子透かし情報を埋め込む画像と予測画像との差分画像に、電子透かし情報を埋め込む画像の画素値に応じて埋込の強度を調節できるため、検出の際も差分画像から電子透かしを検出することによって、電子透かしの影響を低減して劣化の少ない品質の画像を実現することが可能な電子透かし埋込装置を実現することができる。
【００１０】
また、請求項２に係る発明は、請求項１において、前記埋込対象フレーム画像の予測画像は、前後２フレームの加重平均をとる双方向予測により生成する構成を有している。
【００１１】
この構成により、電子透かし情報を埋め込む画像とその予測画像との差分画像に、電子透かし情報を埋め込む画像の画素値に応じて埋込の強度を調節できるため、検出の際も差分画像から電子透かしを検出することによって、電子透かしの影響を低減して劣化の少ない品質の画像を実現すると共に良好に電子透かしを検出することが可能な電子透かし埋込装置を実現することができる。
【００１２】
また、請求項３に係る発明は、請求項１において、前記埋込対象フレーム画像の予測画像は、前記埋込対象フレーム画像の予測画像以外の１フレームだけによる順方向予測により生成する構成を有している。
【００１３】
この構成により、電子透かし情報を埋め込む画像と予測画像との差分画像に、電子透かし情報を埋め込む画像の画素値に応じて埋込の強度を調節できるため、検出の際も差分画像から電子透かしを検出することによって、電子透かしの影響を低減して劣化の少ない品質の画像を実現すると共に良好に電子透かしを検出することが可能な電子透かし埋込装置を実現することができる。
【００１４】
また、請求項４に係る発明は、フレーム毎に形成された画像からなるコンテンツをグループ毎に記憶し、前記コンテンツの各グループに含まれる画像であって電子透かし情報が埋め込まれた画像から埋め込まれた前記画像情報を検出する電子透かし検出装置において、前記電子透かし情報を検出する対象の画像である検出対象フレーム画像の予測画像を生成する手段と、前記検出対象フレーム画像以外のフレームの画像に基づいて、前記検出対象フレーム画像の予測画像を生成する手段と、前記検出対象フレーム画像と前記検出対象フレーム画像の予測画像との差分を取って差分画像を生成する手段と、前記各差分画像に埋め込まれた前記電子透かし情報を検出する手段とを備えた構成を有している。
【００１５】
この構成により、電子透かし情報の検出対象の画像とその予測画像との差分画像から電子透かし情報を検出するため、埋込時に同様の差分画像に埋め込まれた電子透かし情報を良好に検出することが可能な電子透かし検出装置を実現することができる。
【００１６】
また、請求項５に係る発明は、フレーム毎に形成された画像からなるコンテンツをグループ毎に記憶し、前記コンテンツの各グループにおける所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込プログラムにおいて、コンピュータに、前記電子透かし情報を埋め込む対象の画像である各埋込対象フレーム画像について、前記埋込対象フレーム画像以外のフレームの画像に基づいて、前記埋込対象フレーム画像の予測画像を生成するステップと、前記埋込対象フレーム画像と前記埋込対象フレーム画像の予測画像との差分を取って差分画像を生成するステップと、前記各差分画像に前記電子透かし情報を埋め込むステップと、前記電子透かしが埋め込まれた差分画像に対応する予測画像とを加算するステップとを実行させ、前記埋込対象フレーム画像の画素値に応じて埋め込む信号の強度を変化させる構成を有している。
【００１７】
この構成により、電子透かし情報を埋め込む画像と予測画像との差分画像に、電子透かし情報を埋め込む画像の画素値に応じて埋込の強度を調節できるため、検出の際も差分画像から電子透かしを検出することによって、電子透かしの影響を低減して劣化の少ない品質の画像を実現することが可能な電子透かし埋込プログラムを実現することができる。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の第１の実施の形態に係る電子透かし埋込装置のブロック構成を示す図である。電子透かし埋込装置１００は、フレームメモリ１１０、予測フレーム生成回路１２０、減算器１３０、埋込演算回路１４０、および加算器１５０を含む構成を有する。以下では、フレーム毎に画像が形成されたコンテンツが電子透かし埋込装置１００に入力されるものとして説明する。
【００１９】
フレームメモリ１１０は、外部から入力されるコンテンツ１７０を所定フレーム数のグループに分けて記憶し、記憶したコンテンツの所定フレームの画像を順次、予測フレーム生成回路１２０、減算器１３０、および埋込演算回路１４０に出力する。図１に示すように、フレームメモリ１１０には、グループＧ１、Ｇ２、Ｇ３、・・・に分けられた画像が記憶されている。以下では、フレーム番号ｎ（ｎは、任意の整数）のフレームの画像をフレーム画像Ｆｎという。
【００２０】
図１に示す電子透かし埋込装置１００では、２つのフレーム画像Ｆｊ、Ｆｋが予測フレーム生成回路１２０に出力され、フレーム画像Ｆｉが減算器１３０および埋込演算回路１４０に出力されている。減算器１３０および埋込演算回路１４０に出力されるフレーム画像Ｆｉは電子透かしが埋め込まれる画像であり、予測フレーム生成回路１２０に出力されるフレーム画像Ｆｊ、Ｆｋは、後述するフレーム番号ｉの予測画像（以下、予測フレーム画像という。）を生成するために用いる画像である。
【００２１】
ここで、減算器１３０および埋込演算回路１４０に出力されるフレーム画像のフレーム番号ｉと、予測フレーム生成回路１２０に出力されるフレーム画像のフレーム番号ｊ、ｋとは、例えば、ｊ＜ｉ＜ｋの関係を有するのでも良く、説明の都合上、以下では特に断る場合を除きｊ＜ｉ＜ｋとする。また、フレーム番号ｉは、例えば１、４、７、・・・等の所定の値を取り、必ずしも連続する整数でなくとも良い。
【００２２】
予測フレーム生成回路１２０は、フレームメモリ１１０によって出力されたフレーム画像Ｆｊ、Ｆｋを入力とし、入力されたこれらのフレーム画像Ｆｊ、Ｆｋを用いてフレーム番号ｉの予測フレーム画像Ｆｉｂａｒを生成し、減算器１３０および加算器１５０に出力する手段である。図２は、予測フレーム画像Ｆｉｂａｒを生成する方法についての説明図である。図２（ａ）は、予測フレーム画像Ｆｉｂａｒを、フレーム画像Ｆｊ、Ｆｋを用いて生成する方法を概念的に示す説明図である。
【００２３】
図２（ａ）は、フレーム画像Ｆ０、Ｆ１、Ｆ２、Ｆ３があり、フレーム番号ｊが０、フレーム番号ｉが１、そしてフレーム番号ｋが３の場合についての説明図である。図２（ａ）には、予測フレーム画像Ｆｉｂａｒを、フレーム画像Ｆ０とフレーム画像Ｆ２との加重平均をとって生成する方法の例が示されている。
【００２４】
ここで、加重平均等の演算は、言うまでもなく対応する画素間の画素値についての演算であり、以下、特に断る場合を除いて、加減乗除や平均等の演算という場合は、対応する画素間の画素値について行うものとする。また、予測フレーム画像の生成方法は上記の方法である必要はなく、例えば、図２（ｂ）に示すように、１つのフレーム画像を用いて生成するのでもよい。この場合、フレームメモリ１１０から予測フレーム生成回路１２０に出力する画像は、１つの画像のみで良いことになる。
【００２５】
減算器１３０は、フレームメモリ１１０によって出力された電子透かしを埋め込む対象のフレーム画像Ｆｉと、予測フレーム生成回路１２０によって出力された予測フレーム画像Ｆｉｂａｒとを入力とし、フレーム画像Ｆｉから予測フレーム画像Ｆｉｂａｒを差し引いて差分画像Ｄｉを生成し、Ｄｉを埋込演算回路１４０に出力する手段である。すなわち、差分画像Ｄｉは、Ｄｉ＝Ｆｉ−Ｆｉｂａｒとして表される。
【００２６】
埋込演算回路１４０は、フレームメモリ１１０によって出力されたフレーム画像Ｆｉ、減算器１３０によって出力された差分画像Ｄｉ、および外部から入力される所定の著作権管理情報１８０とを入力とし、フレーム画像Ｆｉに基づいて著作権管理情報１８０を埋め込む際の信号レベルを設定し、差分画像Ｄｉに著作権管理情報１８０を埋め込んで透かし入り差分画像Ｄｉ’を加算器１５０に出力する。
【００２７】
ここで、著作権管理情報１８０を埋め込む際の信号レベルの設定方法は、例えば、フレーム画像Ｆｉを構成する画素毎に行い、各画素の画素値に基づいて決定するのでも、全画素の画素値の最大値に基づいて行うのでも、全画素の画素値の平均値に基づいて行うのでも、画像の品質が所定品質以下に劣化しないように画像の信号レベルに応じて調整できる方法であればいずれでも良い。
【００２８】
図３は、本発明の第１の実施の形態に係る電子透かし埋込装置における電子透かしの埋め込み方法についての説明図である。以下では、電子透かし埋込装置１００に入力されるフレーム画像を構成する各画素の画素値が８ビットのデジタルデータで表され、画素値のとりうる範囲を０〜２５５とする。この場合、差分画像の画素値（以下、差分画素値という。）がとりうる範囲は、−２５５〜２５５となる。
【００２９】
差分画素値が取りうる範囲を埋め込み信号レベルα毎の範囲（以下、区間という。）に分けて量子化したとする。量子化後の差分画素値が取りうる正の範囲は、図３（ａ）に示すものとなる。次に、量子化によって得られた区間に、図３（ｂ）に示すように交互に０と１を割り当てたとする。数式で表すと、以下の式（１）のように割り当てる。
【数１】
ここで、ｎは整数である。
【００３０】
差分画素値Ｐｉ’と整数ｎとが式（１）に示す関係を有する場合に、埋め込み情報ｂｉを差分画素値Ｐｉに埋め込ませる方法としては、例えば、以下の式（２）に示すように埋め込み情報ｂｉに応じて差分画素値ＰｉをＰｉ’に変化させて埋め込む方法がある。
【数２】
この様子を図４に示す。
【００３１】
すなわち、埋め込み後の差分画素値Ｐｉ’は、埋め込み情報ｂｉに応じて量子化された値２ｎ・αにα／２を加算したり、量子化された値２ｎ・αからα／２を減算したりして得られたものである。αを予め決めておき、埋め込み後の差分画素値Ｐｉ’をこのように生成することによって、埋め込み後の差分画素値Ｐｉ’に基づいて、上記の商ｎを検出し、２ｎ・αからのずれ（α／２）が正か負かを検出することによって埋め込み情報ｂｉを知ることができる。
【００３２】
加算器１５０は、埋込演算回路１４０によって出力された透かし入り差分画像Ｄｉ’、および予測フレーム生成回路１２０によって出力された予測フレーム画像Ｆｉｂａｒを入力とし、透かし入り差分画像Ｄｉ’に予測フレーム画像Ｆｉｂａｒを加算して透かし入り画像Ｆｉ’を生成して外部に出力する手段である。
入力されたコンテンツをフレームメモリ１１０が分割して得られた上記の各グループについて、上記で説明した処理を行うことによって著作権管理情報１８０を電子透かしとして埋め込むことになる。
【００３３】
図５は、本発明の第１の実施の形態に係る電子透かし埋込装置１００の入出力についての説明図である。電子透かし埋込装置１００には、電子透かしを埋め込むフレーム画像Ｆｉと、予測フレーム画像Ｆｉｂａｒを生成するためのフレーム画像Ｆｊ、Ｆｋとを含むコンテンツ以外にも、著作権管理情報記憶手段１６０によって出力された著作権管理情報１８０を含むデータが入力され、入力された著作権管理情報１８０がこのコンテンツに電子透かしとして埋め込まれ、著作権管理情報１８０が埋め込まれた透かし入りコンテンツ１９０が電子透かし埋込装置１００によって出力される。
【００３４】
図６は、本発明の第１の実施の形態に係る電子透かし検出装置のブロック構成を示す図である。電子透かし検出装置６００は、フレームメモリ６１０、予測フレーム生成回路６２０、減算器６３０、および検出演算回路６４０を含む。ここで、電子透かし検出装置６００は、上記の電子透かし埋込装置１００によって出力された透かし入りコンテンツを入力とする。
【００３５】
フレームメモリ６１０は、上記の透かし入りコンテンツ１９０を入力とし、入力された透かし入りコンテンツ１９０を所定フレーム数のグループに分けて記憶し、記憶したコンテンツの所定フレームの画像を順次、予測フレーム生成回路６２０および減算器６３０に出力する。図６では、グループＧ１、Ｇ２、Ｇ３、・・・に分けられた画像がフレームメモリ６１０に記憶されている。
【００３６】
また、図６では、フレーム番号ｊ、ｋの２つのフレームの画像が予測フレーム生成回路６２０に出力され、フレーム番号ｉのフレームの透かし入り画像Ｆｉ’が減算器６３０に出力されている。図６は、フレームメモリ６１０によって、透かし入り画像が減算器６３０に出力され、透かしが入っていない画像が予測フレーム生成回路６２０に出力される場合の例であり、このような出力が１度でも行われると後述するように検出演算回路６４０によって著作権管理情報が出力されることになる。
【００３７】
ここで、減算器６３０に出力される画像のフレーム番号ｉと、予測フレーム生成回路６２０に出力される画像のフレーム番号ｊ、ｋとの関係は、上記の電子透かし埋込装置１００によって電子透かしが埋め込まれる際のフレーム番号間の関係と同一であるものとする。したがって、例えば、埋め込み対象の画像のフレーム番号ｉが１で、フレーム番号ｉの画像の予測フレームを生成するのに用いる画像のフレーム番号ｊ、ｋがそれぞれ０、３である場合は、電子透かしを検出する対象の画像のフレーム番号ｉは１で、フレーム番号ｉ（＝１）の画像の予測フレームを生成するのに用いる画像のフレーム番号ｊ、ｋがそれぞれ０、３とであるものとする。
【００３８】
予測フレーム生成回路６２０は、フレームメモリ６１０によって出力されたフレーム画像Ｆｊ、Ｆｋを入力とし、入力されたこれらのフレーム画像Ｆｊ、Ｆｋを用いてフレーム番号ｉの予測フレーム画像Ｆｉｂａｒを生成し、減算器６３０に出力する手段である。予測フレーム画像の生成方法は、上記の本発明の第１の実施の形態に係る電子透かし埋込装置１００について説明した生成方法と同様であり、その説明は省略する。
【００３９】
減算器６３０は、電子透かしを検出する対象のフレーム画像Ｆｉ’と、予測フレーム生成回路６２０によって出力された予測フレーム画像Ｆｉｂａｒとを入力とし、フレーム画像Ｆｉ’から予測フレーム画像Ｆｉｂａｒを差し引いて差分画像Ｄｉ’を生成し、Ｄｉ’を検出演算回路６４０に出力する手段である。すなわち、差分画像Ｄｉ’は、Ｄｉ’＝Ｆｉ’−Ｆｉｂａｒである。
【００４０】
検出演算回路６４０は、減算器６３０によって出力される差分画像Ｄｉ’を入力とし、入力された差分画像Ｄｉ’を対象として埋め込まれた情報の検出処理を行い、検出された情報を出力する手段である。ここで、検出されるのは、言うまでもなく著作権管理情報であり、検出は、例えば、文字情報に限定して行うのでも、その他の情報をも検出するのでも良い。
【００４１】
著作権管理情報の検出は、上記の量子化に用いられる定数αを用い、上記で説明した埋込演算の方法に基づいて行われる。具体的には、量子化に用いた定数αを用い、入力された差分画像Ｄｉ’の各画素についての差分画素値Ｐｉ’が、上記の式（２）を満たす整数ｎを抽出し、Ｐｉ’−２ｎ・αを生成する。次に、検出演算回路６４０は、Ｐｉ’−２ｎ・αの値が正の場合は、埋め込み情報ｂｉとして０を割り当て、Ｐｉ’−２ｎ・αの値が負の場合は、埋め込み情報ｂｉとして１を割り当てる。このようにして、上記の埋込演算手段によって埋め込まれた埋め込み情報ｂｉを検出することができる。
【００４２】
図７は、本発明の第１の実施の形態に係る電子透かし検出装置６００の入出力についての説明図である。電子透かし検出装置６００には、電子透かしを検出されるフレーム画像Ｆｉ’と、予測フレーム画像Ｆｉｂａｒを生成するためのフレーム画像Ｆｊ、Ｆｋとを含むコンテンツが入力され、検出された著作権管理情報を出力する。出力された著作権ＩＤ１８０は、例えば著作権データベース６５０に入力され、著作権データベース６５０から前記著作権ＩＤ１８０に対応する著作権管理情報１８１として出力され、著作者表示手段２５０に表示する。
【００４３】
上記の説明をＭＰＥＧ符号化方式の側面から電子透かしの埋め込みについて補足説明する。ＭＰＥＧのフレーム間予測においては、フレーム内符号化画像（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ、以下、Ｉピクチャという。）、フレーム間順方向予測符号化画像（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ、以下、Ｐピクチャという。）、および双方向予測符号化画像（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ、以下、Ｂピクチャという。）が生成される。
【００４４】
そして、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの時系列上の配列は、Ｉ０Ｂ０Ｂ１Ｐ０Ｂ２Ｂ３Ｐ１Ｂ４Ｂ５Ｐ２Ｂ６Ｂ７Ｐ３Ｂ８Ｂ９Ｉ１Ｂ１０Ｂ１１・・・のようになっているものとする。
ここで、各ピクチャは、例えば、以下のように形成される。
ＰピクチャＰ０は、ＩピクチャＩ０に基づいて予測画像を生成した後、予測画像からＩピクチャＩ０を差し引いて得られる差分画像として形成され符号化される。
【００４５】
ＢピクチャＢ０、Ｂ１については、ＩピクチャＩ０、とＰピクチャＰ０に基づいて予測画像を生成し、予測画像からＩピクチャＩ０を差し引いて得られる差分画像として形成され符号化される。
ＰピクチャＰ１は、ＰピクチャＰ０に基づいて予測画像を生成した後、予測画像からＰピクチャＰ０を差し引いて得られる差分画像として形成され符号化される。
【００４６】
ＢピクチャＢ２、Ｂ３については、ＰピクチャＰ０、Ｐ１に基づいて予測画像を生成し、予測画像からＰピクチャＰ０を差し引いて得られる差分画像として形成され符号化される。
ＰピクチャＰ２は、ＰピクチャＰ１に基づいて予測画像を生成した後、予測画像からＰピクチャＰ１を差し引いて得られる差分画像として形成され符号化される。
【００４７】
ＢピクチャＢ４、Ｂ５については、ＰピクチャＰ１、Ｐ２に基づいて予測画像を生成し、予測画像からＰピクチャＰ１を差し引いて得られる差分画像として形成され符号化される。
ＰピクチャＰ３は、ＰピクチャＰ２に基づいて予測画像を生成した後、予測画像からＰピクチャＰ２を差し引いて得られる差分画像として形成され符号化される。
【００４８】
ＢピクチャＢ６、Ｂ７については、ＰピクチャＰ２、Ｐ３に基づいて予測画像を生成し、予測画像からＰピクチャＰ２を差し引いて得られる差分画像として形成され符号化される。
ＢピクチャＢ８、Ｂ９については、ＰピクチャＰ３とＩピクチャＩ１とに基づいて予測画像を生成し、予測画像からＰピクチャＰ３を差し引いて得られる差分画像として形成され符号化される。以降のピクチャについても上記の生成方法が適用される。
【００４９】
一般に、ＭＰＥＧ符号化を行う際に、どのフレームがＩピクチャになり、どのフレームが、ＰピクチャまたはＢピクチャになるか等は、あらかじめ決定できない。そして、通常、フレーム単位で埋め込まれる電子透かしは、予測フレームに対し、差分値を符号化するＰピクチャ、Ｂピクチャに対し耐性が弱くなる。つまり、逆に差分値に電子透かしを埋め込めば、耐性が強くなる。
【００５０】
一方、ＭＰＥＧ符号化の場合、通常１５フレームからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）のよりコンテンツをなすフレームがグループ化されている。これを以下に説明するように利用すると、ＭＰＥＧ耐性の強い電子透かしを埋め込むことができる。
図８は、グループ化されたフレームの構成および電子透かしの検出の様子を示す説明図である。１グループは、Ｆ０〜Ｆ１４までの１５フレームで構成されている。
【００５１】
図８の矢印で示すように予測フレームを生成し、フレームＦ１、Ｆ５、Ｆ９に電子透かしが埋め込まれているとする。フレームＦ１、Ｆ５、Ｆ９の中のいずれかのフレームは必ずＭＰＥＧ符号化と同じ予測手段を用いていることになる。そのため、図８に示すように、どのフレームがＩピクチャ、Ｐピクチャ、Ｂピクチャになるかは知ることができなくとも、Ｂピクチャと同じ予測手法を用いたフレームが必ず存在することがわかる。したがって、このように透かしを埋め込むと、グループ内で必ず１つ、ＭＰＥＧ圧縮をしても透かしが検出可能なフレームが存在することになる。
【００５２】
具体的には、フレームＦ１がＢピクチャであり、フレームＦ５がＢピクチャであり、フレームＦ９がＰピクチャである第１行の配列の場合は、フレームＦ０がＩピクチャであり、フレームＦ３がＰピクチャであるため、フレームＦ１を介して著作権管理情報を抽出することができる。また、フレームＦ１がＩピクチャであり、フレームＦ５がＢピクチャであり、フレームＦ９がＢピクチャである第２行の配列の場合は、フレームＦ４がＰピクチャであり、フレームＦ７がＰピクチャであるため、フレームＦ５を介して著作権管理情報を抽出することができる。
【００５３】
同様に、フレームＦ１がＢピクチャであり、フレームＦ５がＰピクチャであり、フレームＦ９がＢピクチャである第３行の配列の場合は、フレームＦ８がＰピクチャであり、フレームＦ１１がＰピクチャであるため、フレームＦ９を介して著作権管理情報を抽出することができる。また、フレームＦ１がＢピクチャであり、フレームＦ５がＢピクチャであり、フレームＦ９がＰピクチャである第２行の配列の場合は、フレームＦ０がＩピクチャであり、フレームＦ３がＰピクチャであるため、フレームＦ１を介して著作権管理情報を抽出することができる。
【００５４】
電子透かしを埋め込んだ画像のフレームをこのように配列し、ＭＰＥＧに基づいて予測フレームを生成し差分画像を生成することにより、差分画像に埋め込まれた、信号レベルの高い電子透かしをいずれかのフレームについて検出することができる。
【００５５】
ここで、フレーム毎に形成された画像からなるコンテンツを上記のグループ毎に記憶し、当該コンテンツの各グループにおける所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込プログラムにおいて、コンピュータに、以下のステップを実行させることによって電子透かし埋込プログラムを実現することことができる。
【００５６】
すなわち、上記の電子透かし情報を埋め込む対象の画像である各埋込対象フレーム画像について、埋込対象フレーム画像以外のフレームの画像に基づいて、埋込対象フレーム画像の予測画像を生成するステップと、埋込対象フレーム画像と埋込対象フレーム画像の予測画像との差分を取って差分画像を生成するステップと、各差分画像に電子透かし情報を埋め込むステップと、電子透かしが埋め込まれた差分画像に対応する予測画像とを加算するステップとを実行させるものである。ここで、上記の埋め込む信号の強度は、埋込対象フレーム画像の画素値に応じて変化させるように処理される。
【００５７】
以上説明したように、本発明の第１の実施の形態に係る電子透かし埋込装置および電子透かし埋込プログラムは、映像コンテンツを複数のフレームからなるグループに分割し、各グループにおいて、透かしを埋め込むフレームと、その予測フレームとの差分画像を求め、その差分画像に対し、著作権管理情報を電子透かしとして埋め込む。このように差分画像に透かしを埋め込むことにより、従来のＭＰＥＧ非可逆圧縮符号化のＰピクチャ、Ｂピクチャのように、フレーム間の差分に対して圧縮をかける方式に対し、耐性の強い電子透かしを埋め込むことができ、グループ単位で透かしを埋め込むことにより、ＭＰＥＧ圧縮耐性をさらに強くすることができる。また、電子透かしを埋め込む際に、フレーム画素値に応じて埋め込み強度を変化させることで、電子透かし埋込によるコンテンツの画質劣化を軽減することができる。
【００５８】
また、本発明の第１の実施の形態に係る電子透かし検出装置は、透かし入り映像コンテンツを複数のフレームからなるグループに分割し、各グループにおいて、透かしが埋め込まれたフレームと、透かし埋め込み前の予測フレームとの差分画像を求めることにより、コンテンツに埋め込まれた著作権管理情報を抽出する。このように、従来のＭＰＥＧ非可逆圧縮符号化のＰピクチヤ、Ｂピクチヤのように、フレーム間の差分に対して圧縮をかけていないため、例えば、ＭＰＥＧ等の非可逆圧縮符号化に対し耐性が強く、コンテンツの画質劣化が少ない電子透かしを検出することができる。
【００５９】
【発明の効果】
以上説明したように、本発明は、電子透かしの影響を低減して劣化の少ない品質の画像を実現すると共に良好に電子透かしを検出することが可能な電子透かし埋込装置、その検出装置および電子透かし埋込プログラムを実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る電子透かし埋込装置のブロック構成を示す図である。
【図２】本発明の第１の実施の形態に係る予測フレーム画像を生成する方法についての説明図である。
【図３】本発明の第１の実施の形態に係る電子透かし埋込装置における電子透かしの埋め込み方法についての説明図である。
【図４】本発明の第１の実施の形態に係る電子透かし埋込装置における電子透かしの埋め込み方法についての説明図である。
【図５】本発明の第１の実施の形態に係る電子透かし埋込装置１００の入出力についての説明図である。
【図６】本発明の第１の実施の形態に係る電子透かし検出装置のブロック構成を示す図である。
【図７】本発明の第１の実施の形態に係る電子透かし検出装置６００の入出力についての説明図である。
【図８】グループ化されたフレームの構成および電子透かしの検出の様子を示す説明図である。
【符号の説明】
１００ 電子透かし埋込装置
１１０、６１０ フレームメモリ
１２０、６２０ 予測フレーム生成回路
１３０、６３０ 減算器
１４０ 埋込演算回路
１５０ 加算器
１６０ 著作権管理情報記憶手段
１７０ コンテンツ
１８０ 著作権管理情報
１９０ 透かし入りコンテンツ
２５０ 著作権表示装置
６００ 電子透かし検出装置
６４０ 検出演算回路
６５０ 著作権データベース
【発明の属する技術分野】
本発明は、電子透かし装置に関し、特に、動画像のデジタルコンテンツに所定の情報を埋め込む又は読み取る電子透かし埋込装置、その検出装置および電子透かし埋込プログラムに関する。
【０００２】
【従来の技術】
近年、デジタルコンテンツの流通に伴い、これらのコンテンツに関する著作権保護のための著作権管理情報等をデジタルコンテンツに、再生時に視聴者に意識されないように記録するいわゆる電子透かしの技術が普及してきた。以下では、著作権管理情報をこのように記録することを埋め込むという。
【０００３】
ここで、デジタルコンテンツに著作権管理情報を電子透かしとして埋め込む従来の方法には、大別して２つの方法がある。第１の方法は、コンテンツの所定フレームを構成する所定の画素の画素値を直接変更することにより埋め込む方法である。第２の方法は、上記のフレームに対してＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）等の変換を行って得られた係数値を変更して電子透かしを埋め込み、逆変換を行って電子透かしが埋め込まれたコンテンツを生成する方法である。
【０００４】
これらの手法によって電子透かしが埋め込まれたコンテンツは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮、ＭＰＥＧ−２圧縮等の非可逆圧縮が施されてから、放送局、ポスト・プロダクション、又は実際にコンテンツを視聴する消費者に送信される。そして、電子透かしを埋込む際の信号レベルが低いと非可逆圧縮が施されたコンテンツから電子透かしを検出することは容易でないため、信号レベルを高くして電子透かしを埋め込むことが、通常、行われている。
【０００５】
ここで、放送局やポスト・プロダクション等における、番組制作の過程で用いられる映像素材等は、通常、ＭＰＥＧ−２圧縮が施されている。そして、これらの映像素材は高品質な素材であるため、これら映像素材の圧縮は、一般に非常に高いビットレートで行われる。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の電子透かし埋込方法では、埋め込み後の画像圧縮が非可逆的であると共に高い圧縮ビットレートで行われるのを考慮して、高い信号レベルで埋め込みを行い電子透かしの良好な検出を行っているため、提供された高品質な画像を再生しようとしても電子透かしの影響を受けた劣化の大きい品質の画像が再生されることが起こってしまうという問題があった。
【０００７】
本発明は、かかる問題を解決するためになされたものであり、その目的は、電子透かしの影響を低減して劣化の少ない品質の画像を実現すると共に良好に電子透かしを検出することが可能な電子透かし埋込装置、その検出装置および電子透かし埋込プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、フレーム毎に形成された画像からなるコンテンツをグループ毎に記憶し、前記コンテンツの各グループにおける所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込装置において、前記電子透かし情報を埋め込む対象の画像である各埋込対象フレーム画像について、前記埋込対象フレーム画像以外のフレームの画像に基づいて、前記埋込対象フレーム画像の予測画像を生成する手段と、前記埋込対象フレーム画像と前記埋込対象フレーム画像の予測画像との差分を取って差分画像を生成する手段と、前記各差分画像に前記電子透かし情報を埋め込む手段と、前記電子透かしが埋め込まれた差分画像に対応する予測画像とを加算する手段とを備え、前記埋込対象フレーム画像の画素値に応じて埋め込む信号の強度を変化させる構成を有している。
【０００９】
この構成により、電子透かし情報を埋め込む画像と予測画像との差分画像に、電子透かし情報を埋め込む画像の画素値に応じて埋込の強度を調節できるため、検出の際も差分画像から電子透かしを検出することによって、電子透かしの影響を低減して劣化の少ない品質の画像を実現することが可能な電子透かし埋込装置を実現することができる。
【００１０】
また、請求項２に係る発明は、請求項１において、前記埋込対象フレーム画像の予測画像は、前後２フレームの加重平均をとる双方向予測により生成する構成を有している。
【００１１】
この構成により、電子透かし情報を埋め込む画像とその予測画像との差分画像に、電子透かし情報を埋め込む画像の画素値に応じて埋込の強度を調節できるため、検出の際も差分画像から電子透かしを検出することによって、電子透かしの影響を低減して劣化の少ない品質の画像を実現すると共に良好に電子透かしを検出することが可能な電子透かし埋込装置を実現することができる。
【００１２】
また、請求項３に係る発明は、請求項１において、前記埋込対象フレーム画像の予測画像は、前記埋込対象フレーム画像の予測画像以外の１フレームだけによる順方向予測により生成する構成を有している。
【００１３】
この構成により、電子透かし情報を埋め込む画像と予測画像との差分画像に、電子透かし情報を埋め込む画像の画素値に応じて埋込の強度を調節できるため、検出の際も差分画像から電子透かしを検出することによって、電子透かしの影響を低減して劣化の少ない品質の画像を実現すると共に良好に電子透かしを検出することが可能な電子透かし埋込装置を実現することができる。
【００１４】
また、請求項４に係る発明は、フレーム毎に形成された画像からなるコンテンツをグループ毎に記憶し、前記コンテンツの各グループに含まれる画像であって電子透かし情報が埋め込まれた画像から埋め込まれた前記画像情報を検出する電子透かし検出装置において、前記電子透かし情報を検出する対象の画像である検出対象フレーム画像の予測画像を生成する手段と、前記検出対象フレーム画像以外のフレームの画像に基づいて、前記検出対象フレーム画像の予測画像を生成する手段と、前記検出対象フレーム画像と前記検出対象フレーム画像の予測画像との差分を取って差分画像を生成する手段と、前記各差分画像に埋め込まれた前記電子透かし情報を検出する手段とを備えた構成を有している。
【００１５】
この構成により、電子透かし情報の検出対象の画像とその予測画像との差分画像から電子透かし情報を検出するため、埋込時に同様の差分画像に埋め込まれた電子透かし情報を良好に検出することが可能な電子透かし検出装置を実現することができる。
【００１６】
また、請求項５に係る発明は、フレーム毎に形成された画像からなるコンテンツをグループ毎に記憶し、前記コンテンツの各グループにおける所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込プログラムにおいて、コンピュータに、前記電子透かし情報を埋め込む対象の画像である各埋込対象フレーム画像について、前記埋込対象フレーム画像以外のフレームの画像に基づいて、前記埋込対象フレーム画像の予測画像を生成するステップと、前記埋込対象フレーム画像と前記埋込対象フレーム画像の予測画像との差分を取って差分画像を生成するステップと、前記各差分画像に前記電子透かし情報を埋め込むステップと、前記電子透かしが埋め込まれた差分画像に対応する予測画像とを加算するステップとを実行させ、前記埋込対象フレーム画像の画素値に応じて埋め込む信号の強度を変化させる構成を有している。
【００１７】
この構成により、電子透かし情報を埋め込む画像と予測画像との差分画像に、電子透かし情報を埋め込む画像の画素値に応じて埋込の強度を調節できるため、検出の際も差分画像から電子透かしを検出することによって、電子透かしの影響を低減して劣化の少ない品質の画像を実現することが可能な電子透かし埋込プログラムを実現することができる。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の第１の実施の形態に係る電子透かし埋込装置のブロック構成を示す図である。電子透かし埋込装置１００は、フレームメモリ１１０、予測フレーム生成回路１２０、減算器１３０、埋込演算回路１４０、および加算器１５０を含む構成を有する。以下では、フレーム毎に画像が形成されたコンテンツが電子透かし埋込装置１００に入力されるものとして説明する。
【００１９】
フレームメモリ１１０は、外部から入力されるコンテンツ１７０を所定フレーム数のグループに分けて記憶し、記憶したコンテンツの所定フレームの画像を順次、予測フレーム生成回路１２０、減算器１３０、および埋込演算回路１４０に出力する。図１に示すように、フレームメモリ１１０には、グループＧ１、Ｇ２、Ｇ３、・・・に分けられた画像が記憶されている。以下では、フレーム番号ｎ（ｎは、任意の整数）のフレームの画像をフレーム画像Ｆｎという。
【００２０】
図１に示す電子透かし埋込装置１００では、２つのフレーム画像Ｆｊ、Ｆｋが予測フレーム生成回路１２０に出力され、フレーム画像Ｆｉが減算器１３０および埋込演算回路１４０に出力されている。減算器１３０および埋込演算回路１４０に出力されるフレーム画像Ｆｉは電子透かしが埋め込まれる画像であり、予測フレーム生成回路１２０に出力されるフレーム画像Ｆｊ、Ｆｋは、後述するフレーム番号ｉの予測画像（以下、予測フレーム画像という。）を生成するために用いる画像である。
【００２１】
ここで、減算器１３０および埋込演算回路１４０に出力されるフレーム画像のフレーム番号ｉと、予測フレーム生成回路１２０に出力されるフレーム画像のフレーム番号ｊ、ｋとは、例えば、ｊ＜ｉ＜ｋの関係を有するのでも良く、説明の都合上、以下では特に断る場合を除きｊ＜ｉ＜ｋとする。また、フレーム番号ｉは、例えば１、４、７、・・・等の所定の値を取り、必ずしも連続する整数でなくとも良い。
【００２２】
予測フレーム生成回路１２０は、フレームメモリ１１０によって出力されたフレーム画像Ｆｊ、Ｆｋを入力とし、入力されたこれらのフレーム画像Ｆｊ、Ｆｋを用いてフレーム番号ｉの予測フレーム画像Ｆｉｂａｒを生成し、減算器１３０および加算器１５０に出力する手段である。図２は、予測フレーム画像Ｆｉｂａｒを生成する方法についての説明図である。図２（ａ）は、予測フレーム画像Ｆｉｂａｒを、フレーム画像Ｆｊ、Ｆｋを用いて生成する方法を概念的に示す説明図である。
【００２３】
図２（ａ）は、フレーム画像Ｆ０、Ｆ１、Ｆ２、Ｆ３があり、フレーム番号ｊが０、フレーム番号ｉが１、そしてフレーム番号ｋが３の場合についての説明図である。図２（ａ）には、予測フレーム画像Ｆｉｂａｒを、フレーム画像Ｆ０とフレーム画像Ｆ２との加重平均をとって生成する方法の例が示されている。
【００２４】
ここで、加重平均等の演算は、言うまでもなく対応する画素間の画素値についての演算であり、以下、特に断る場合を除いて、加減乗除や平均等の演算という場合は、対応する画素間の画素値について行うものとする。また、予測フレーム画像の生成方法は上記の方法である必要はなく、例えば、図２（ｂ）に示すように、１つのフレーム画像を用いて生成するのでもよい。この場合、フレームメモリ１１０から予測フレーム生成回路１２０に出力する画像は、１つの画像のみで良いことになる。
【００２５】
減算器１３０は、フレームメモリ１１０によって出力された電子透かしを埋め込む対象のフレーム画像Ｆｉと、予測フレーム生成回路１２０によって出力された予測フレーム画像Ｆｉｂａｒとを入力とし、フレーム画像Ｆｉから予測フレーム画像Ｆｉｂａｒを差し引いて差分画像Ｄｉを生成し、Ｄｉを埋込演算回路１４０に出力する手段である。すなわち、差分画像Ｄｉは、Ｄｉ＝Ｆｉ−Ｆｉｂａｒとして表される。
【００２６】
埋込演算回路１４０は、フレームメモリ１１０によって出力されたフレーム画像Ｆｉ、減算器１３０によって出力された差分画像Ｄｉ、および外部から入力される所定の著作権管理情報１８０とを入力とし、フレーム画像Ｆｉに基づいて著作権管理情報１８０を埋め込む際の信号レベルを設定し、差分画像Ｄｉに著作権管理情報１８０を埋め込んで透かし入り差分画像Ｄｉ’を加算器１５０に出力する。
【００２７】
ここで、著作権管理情報１８０を埋め込む際の信号レベルの設定方法は、例えば、フレーム画像Ｆｉを構成する画素毎に行い、各画素の画素値に基づいて決定するのでも、全画素の画素値の最大値に基づいて行うのでも、全画素の画素値の平均値に基づいて行うのでも、画像の品質が所定品質以下に劣化しないように画像の信号レベルに応じて調整できる方法であればいずれでも良い。
【００２８】
図３は、本発明の第１の実施の形態に係る電子透かし埋込装置における電子透かしの埋め込み方法についての説明図である。以下では、電子透かし埋込装置１００に入力されるフレーム画像を構成する各画素の画素値が８ビットのデジタルデータで表され、画素値のとりうる範囲を０〜２５５とする。この場合、差分画像の画素値（以下、差分画素値という。）がとりうる範囲は、−２５５〜２５５となる。
【００２９】
差分画素値が取りうる範囲を埋め込み信号レベルα毎の範囲（以下、区間という。）に分けて量子化したとする。量子化後の差分画素値が取りうる正の範囲は、図３（ａ）に示すものとなる。次に、量子化によって得られた区間に、図３（ｂ）に示すように交互に０と１を割り当てたとする。数式で表すと、以下の式（１）のように割り当てる。
【数１】
【００３０】
差分画素値Ｐｉ’と整数ｎとが式（１）に示す関係を有する場合に、埋め込み情報ｂｉを差分画素値Ｐｉに埋め込ませる方法としては、例えば、以下の式（２）に示すように埋め込み情報ｂｉに応じて差分画素値ＰｉをＰｉ’に変化させて埋め込む方法がある。
【数２】
【００３１】
すなわち、埋め込み後の差分画素値Ｐｉ’は、埋め込み情報ｂｉに応じて量子化された値２ｎ・αにα／２を加算したり、量子化された値２ｎ・αからα／２を減算したりして得られたものである。αを予め決めておき、埋め込み後の差分画素値Ｐｉ’をこのように生成することによって、埋め込み後の差分画素値Ｐｉ’に基づいて、上記の商ｎを検出し、２ｎ・αからのずれ（α／２）が正か負かを検出することによって埋め込み情報ｂｉを知ることができる。
【００３２】
加算器１５０は、埋込演算回路１４０によって出力された透かし入り差分画像Ｄｉ’、および予測フレーム生成回路１２０によって出力された予測フレーム画像Ｆｉｂａｒを入力とし、透かし入り差分画像Ｄｉ’に予測フレーム画像Ｆｉｂａｒを加算して透かし入り画像Ｆｉ’を生成して外部に出力する手段である。
入力されたコンテンツをフレームメモリ１１０が分割して得られた上記の各グループについて、上記で説明した処理を行うことによって著作権管理情報１８０を電子透かしとして埋め込むことになる。
【００３３】
図５は、本発明の第１の実施の形態に係る電子透かし埋込装置１００の入出力についての説明図である。電子透かし埋込装置１００には、電子透かしを埋め込むフレーム画像Ｆｉと、予測フレーム画像Ｆｉｂａｒを生成するためのフレーム画像Ｆｊ、Ｆｋとを含むコンテンツ以外にも、著作権管理情報記憶手段１６０によって出力された著作権管理情報１８０を含むデータが入力され、入力された著作権管理情報１８０がこのコンテンツに電子透かしとして埋め込まれ、著作権管理情報１８０が埋め込まれた透かし入りコンテンツ１９０が電子透かし埋込装置１００によって出力される。
【００３４】
図６は、本発明の第１の実施の形態に係る電子透かし検出装置のブロック構成を示す図である。電子透かし検出装置６００は、フレームメモリ６１０、予測フレーム生成回路６２０、減算器６３０、および検出演算回路６４０を含む。ここで、電子透かし検出装置６００は、上記の電子透かし埋込装置１００によって出力された透かし入りコンテンツを入力とする。
【００３５】
フレームメモリ６１０は、上記の透かし入りコンテンツ１９０を入力とし、入力された透かし入りコンテンツ１９０を所定フレーム数のグループに分けて記憶し、記憶したコンテンツの所定フレームの画像を順次、予測フレーム生成回路６２０および減算器６３０に出力する。図６では、グループＧ１、Ｇ２、Ｇ３、・・・に分けられた画像がフレームメモリ６１０に記憶されている。
【００３６】
また、図６では、フレーム番号ｊ、ｋの２つのフレームの画像が予測フレーム生成回路６２０に出力され、フレーム番号ｉのフレームの透かし入り画像Ｆｉ’が減算器６３０に出力されている。図６は、フレームメモリ６１０によって、透かし入り画像が減算器６３０に出力され、透かしが入っていない画像が予測フレーム生成回路６２０に出力される場合の例であり、このような出力が１度でも行われると後述するように検出演算回路６４０によって著作権管理情報が出力されることになる。
【００３７】
ここで、減算器６３０に出力される画像のフレーム番号ｉと、予測フレーム生成回路６２０に出力される画像のフレーム番号ｊ、ｋとの関係は、上記の電子透かし埋込装置１００によって電子透かしが埋め込まれる際のフレーム番号間の関係と同一であるものとする。したがって、例えば、埋め込み対象の画像のフレーム番号ｉが１で、フレーム番号ｉの画像の予測フレームを生成するのに用いる画像のフレーム番号ｊ、ｋがそれぞれ０、３である場合は、電子透かしを検出する対象の画像のフレーム番号ｉは１で、フレーム番号ｉ（＝１）の画像の予測フレームを生成するのに用いる画像のフレーム番号ｊ、ｋがそれぞれ０、３とであるものとする。
【００３８】
予測フレーム生成回路６２０は、フレームメモリ６１０によって出力されたフレーム画像Ｆｊ、Ｆｋを入力とし、入力されたこれらのフレーム画像Ｆｊ、Ｆｋを用いてフレーム番号ｉの予測フレーム画像Ｆｉｂａｒを生成し、減算器６３０に出力する手段である。予測フレーム画像の生成方法は、上記の本発明の第１の実施の形態に係る電子透かし埋込装置１００について説明した生成方法と同様であり、その説明は省略する。
【００３９】
減算器６３０は、電子透かしを検出する対象のフレーム画像Ｆｉ’と、予測フレーム生成回路６２０によって出力された予測フレーム画像Ｆｉｂａｒとを入力とし、フレーム画像Ｆｉ’から予測フレーム画像Ｆｉｂａｒを差し引いて差分画像Ｄｉ’を生成し、Ｄｉ’を検出演算回路６４０に出力する手段である。すなわち、差分画像Ｄｉ’は、Ｄｉ’＝Ｆｉ’−Ｆｉｂａｒである。
【００４０】
検出演算回路６４０は、減算器６３０によって出力される差分画像Ｄｉ’を入力とし、入力された差分画像Ｄｉ’を対象として埋め込まれた情報の検出処理を行い、検出された情報を出力する手段である。ここで、検出されるのは、言うまでもなく著作権管理情報であり、検出は、例えば、文字情報に限定して行うのでも、その他の情報をも検出するのでも良い。
【００４１】
著作権管理情報の検出は、上記の量子化に用いられる定数αを用い、上記で説明した埋込演算の方法に基づいて行われる。具体的には、量子化に用いた定数αを用い、入力された差分画像Ｄｉ’の各画素についての差分画素値Ｐｉ’が、上記の式（２）を満たす整数ｎを抽出し、Ｐｉ’−２ｎ・αを生成する。次に、検出演算回路６４０は、Ｐｉ’−２ｎ・αの値が正の場合は、埋め込み情報ｂｉとして０を割り当て、Ｐｉ’−２ｎ・αの値が負の場合は、埋め込み情報ｂｉとして１を割り当てる。このようにして、上記の埋込演算手段によって埋め込まれた埋め込み情報ｂｉを検出することができる。
【００４２】
図７は、本発明の第１の実施の形態に係る電子透かし検出装置６００の入出力についての説明図である。電子透かし検出装置６００には、電子透かしを検出されるフレーム画像Ｆｉ’と、予測フレーム画像Ｆｉｂａｒを生成するためのフレーム画像Ｆｊ、Ｆｋとを含むコンテンツが入力され、検出された著作権管理情報を出力する。出力された著作権ＩＤ１８０は、例えば著作権データベース６５０に入力され、著作権データベース６５０から前記著作権ＩＤ１８０に対応する著作権管理情報１８１として出力され、著作者表示手段２５０に表示する。
【００４３】
上記の説明をＭＰＥＧ符号化方式の側面から電子透かしの埋め込みについて補足説明する。ＭＰＥＧのフレーム間予測においては、フレーム内符号化画像（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ、以下、Ｉピクチャという。）、フレーム間順方向予測符号化画像（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ、以下、Ｐピクチャという。）、および双方向予測符号化画像（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ、以下、Ｂピクチャという。）が生成される。
【００４４】
そして、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの時系列上の配列は、Ｉ０Ｂ０Ｂ１Ｐ０Ｂ２Ｂ３Ｐ１Ｂ４Ｂ５Ｐ２Ｂ６Ｂ７Ｐ３Ｂ８Ｂ９Ｉ１Ｂ１０Ｂ１１・・・のようになっているものとする。
ここで、各ピクチャは、例えば、以下のように形成される。
ＰピクチャＰ０は、ＩピクチャＩ０に基づいて予測画像を生成した後、予測画像からＩピクチャＩ０を差し引いて得られる差分画像として形成され符号化される。
【００４５】
ＢピクチャＢ０、Ｂ１については、ＩピクチャＩ０、とＰピクチャＰ０に基づいて予測画像を生成し、予測画像からＩピクチャＩ０を差し引いて得られる差分画像として形成され符号化される。
ＰピクチャＰ１は、ＰピクチャＰ０に基づいて予測画像を生成した後、予測画像からＰピクチャＰ０を差し引いて得られる差分画像として形成され符号化される。
【００４６】
ＢピクチャＢ２、Ｂ３については、ＰピクチャＰ０、Ｐ１に基づいて予測画像を生成し、予測画像からＰピクチャＰ０を差し引いて得られる差分画像として形成され符号化される。
ＰピクチャＰ２は、ＰピクチャＰ１に基づいて予測画像を生成した後、予測画像からＰピクチャＰ１を差し引いて得られる差分画像として形成され符号化される。
【００４７】
ＢピクチャＢ４、Ｂ５については、ＰピクチャＰ１、Ｐ２に基づいて予測画像を生成し、予測画像からＰピクチャＰ１を差し引いて得られる差分画像として形成され符号化される。
ＰピクチャＰ３は、ＰピクチャＰ２に基づいて予測画像を生成した後、予測画像からＰピクチャＰ２を差し引いて得られる差分画像として形成され符号化される。
【００４８】
ＢピクチャＢ６、Ｂ７については、ＰピクチャＰ２、Ｐ３に基づいて予測画像を生成し、予測画像からＰピクチャＰ２を差し引いて得られる差分画像として形成され符号化される。
ＢピクチャＢ８、Ｂ９については、ＰピクチャＰ３とＩピクチャＩ１とに基づいて予測画像を生成し、予測画像からＰピクチャＰ３を差し引いて得られる差分画像として形成され符号化される。以降のピクチャについても上記の生成方法が適用される。
【００４９】
一般に、ＭＰＥＧ符号化を行う際に、どのフレームがＩピクチャになり、どのフレームが、ＰピクチャまたはＢピクチャになるか等は、あらかじめ決定できない。そして、通常、フレーム単位で埋め込まれる電子透かしは、予測フレームに対し、差分値を符号化するＰピクチャ、Ｂピクチャに対し耐性が弱くなる。つまり、逆に差分値に電子透かしを埋め込めば、耐性が強くなる。
【００５０】
一方、ＭＰＥＧ符号化の場合、通常１５フレームからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）のよりコンテンツをなすフレームがグループ化されている。これを以下に説明するように利用すると、ＭＰＥＧ耐性の強い電子透かしを埋め込むことができる。
図８は、グループ化されたフレームの構成および電子透かしの検出の様子を示す説明図である。１グループは、Ｆ０〜Ｆ１４までの１５フレームで構成されている。
【００５１】
図８の矢印で示すように予測フレームを生成し、フレームＦ１、Ｆ５、Ｆ９に電子透かしが埋め込まれているとする。フレームＦ１、Ｆ５、Ｆ９の中のいずれかのフレームは必ずＭＰＥＧ符号化と同じ予測手段を用いていることになる。そのため、図８に示すように、どのフレームがＩピクチャ、Ｐピクチャ、Ｂピクチャになるかは知ることができなくとも、Ｂピクチャと同じ予測手法を用いたフレームが必ず存在することがわかる。したがって、このように透かしを埋め込むと、グループ内で必ず１つ、ＭＰＥＧ圧縮をしても透かしが検出可能なフレームが存在することになる。
【００５２】
具体的には、フレームＦ１がＢピクチャであり、フレームＦ５がＢピクチャであり、フレームＦ９がＰピクチャである第１行の配列の場合は、フレームＦ０がＩピクチャであり、フレームＦ３がＰピクチャであるため、フレームＦ１を介して著作権管理情報を抽出することができる。また、フレームＦ１がＩピクチャであり、フレームＦ５がＢピクチャであり、フレームＦ９がＢピクチャである第２行の配列の場合は、フレームＦ４がＰピクチャであり、フレームＦ７がＰピクチャであるため、フレームＦ５を介して著作権管理情報を抽出することができる。
【００５３】
同様に、フレームＦ１がＢピクチャであり、フレームＦ５がＰピクチャであり、フレームＦ９がＢピクチャである第３行の配列の場合は、フレームＦ８がＰピクチャであり、フレームＦ１１がＰピクチャであるため、フレームＦ９を介して著作権管理情報を抽出することができる。また、フレームＦ１がＢピクチャであり、フレームＦ５がＢピクチャであり、フレームＦ９がＰピクチャである第２行の配列の場合は、フレームＦ０がＩピクチャであり、フレームＦ３がＰピクチャであるため、フレームＦ１を介して著作権管理情報を抽出することができる。
【００５４】
電子透かしを埋め込んだ画像のフレームをこのように配列し、ＭＰＥＧに基づいて予測フレームを生成し差分画像を生成することにより、差分画像に埋め込まれた、信号レベルの高い電子透かしをいずれかのフレームについて検出することができる。
【００５５】
ここで、フレーム毎に形成された画像からなるコンテンツを上記のグループ毎に記憶し、当該コンテンツの各グループにおける所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込プログラムにおいて、コンピュータに、以下のステップを実行させることによって電子透かし埋込プログラムを実現することことができる。
【００５６】
すなわち、上記の電子透かし情報を埋め込む対象の画像である各埋込対象フレーム画像について、埋込対象フレーム画像以外のフレームの画像に基づいて、埋込対象フレーム画像の予測画像を生成するステップと、埋込対象フレーム画像と埋込対象フレーム画像の予測画像との差分を取って差分画像を生成するステップと、各差分画像に電子透かし情報を埋め込むステップと、電子透かしが埋め込まれた差分画像に対応する予測画像とを加算するステップとを実行させるものである。ここで、上記の埋め込む信号の強度は、埋込対象フレーム画像の画素値に応じて変化させるように処理される。
【００５７】
以上説明したように、本発明の第１の実施の形態に係る電子透かし埋込装置および電子透かし埋込プログラムは、映像コンテンツを複数のフレームからなるグループに分割し、各グループにおいて、透かしを埋め込むフレームと、その予測フレームとの差分画像を求め、その差分画像に対し、著作権管理情報を電子透かしとして埋め込む。このように差分画像に透かしを埋め込むことにより、従来のＭＰＥＧ非可逆圧縮符号化のＰピクチャ、Ｂピクチャのように、フレーム間の差分に対して圧縮をかける方式に対し、耐性の強い電子透かしを埋め込むことができ、グループ単位で透かしを埋め込むことにより、ＭＰＥＧ圧縮耐性をさらに強くすることができる。また、電子透かしを埋め込む際に、フレーム画素値に応じて埋め込み強度を変化させることで、電子透かし埋込によるコンテンツの画質劣化を軽減することができる。
【００５８】
また、本発明の第１の実施の形態に係る電子透かし検出装置は、透かし入り映像コンテンツを複数のフレームからなるグループに分割し、各グループにおいて、透かしが埋め込まれたフレームと、透かし埋め込み前の予測フレームとの差分画像を求めることにより、コンテンツに埋め込まれた著作権管理情報を抽出する。このように、従来のＭＰＥＧ非可逆圧縮符号化のＰピクチヤ、Ｂピクチヤのように、フレーム間の差分に対して圧縮をかけていないため、例えば、ＭＰＥＧ等の非可逆圧縮符号化に対し耐性が強く、コンテンツの画質劣化が少ない電子透かしを検出することができる。
【００５９】
【発明の効果】
以上説明したように、本発明は、電子透かしの影響を低減して劣化の少ない品質の画像を実現すると共に良好に電子透かしを検出することが可能な電子透かし埋込装置、その検出装置および電子透かし埋込プログラムを実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る電子透かし埋込装置のブロック構成を示す図である。
【図２】本発明の第１の実施の形態に係る予測フレーム画像を生成する方法についての説明図である。
【図３】本発明の第１の実施の形態に係る電子透かし埋込装置における電子透かしの埋め込み方法についての説明図である。
【図４】本発明の第１の実施の形態に係る電子透かし埋込装置における電子透かしの埋め込み方法についての説明図である。
【図５】本発明の第１の実施の形態に係る電子透かし埋込装置１００の入出力についての説明図である。
【図６】本発明の第１の実施の形態に係る電子透かし検出装置のブロック構成を示す図である。
【図７】本発明の第１の実施の形態に係る電子透かし検出装置６００の入出力についての説明図である。
【図８】グループ化されたフレームの構成および電子透かしの検出の様子を示す説明図である。
【符号の説明】
１００ 電子透かし埋込装置
１１０、６１０ フレームメモリ
１２０、６２０ 予測フレーム生成回路
１３０、６３０ 減算器
１４０ 埋込演算回路
１５０ 加算器
１６０ 著作権管理情報記憶手段
１７０ コンテンツ
１８０ 著作権管理情報
１９０ 透かし入りコンテンツ
２５０ 著作権表示装置
６００ 電子透かし検出装置
６４０ 検出演算回路
６５０ 著作権データベース
Claims (5)
- フレーム毎に形成された画像からなるコンテンツをグループ毎に記憶し、前記コンテンツの各グループにおける所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込装置において、前記電子透かし情報を埋め込む対象の画像である各埋込対象フレーム画像について、前記埋込対象フレーム画像以外のフレームの画像に基づいて、前記埋込対象フレーム画像の予測画像を生成する手段と、前記埋込対象フレーム画像と前記埋込対象フレーム画像の予測画像との差分を取って差分画像を生成する手段と、前記各差分画像に前記電子透かし情報を埋め込む手段と、前記電子透かしが埋め込まれた差分画像に対応する予測画像とを加算する手段とを備え、前記埋込対象フレーム画像の画素値に応じて埋め込む信号の強度を変化させることを特徴とする電子透かし埋込装置。
- 前記埋込対象フレーム画像の予測画像は、前後２フレームの加重平均をとる双方向予測により生成することを特徴とする請求項１に記載の電子透かし埋込装置。
- 前記埋込対象フレーム画像の予測画像は、前記埋込対象フレーム画像の予測画像以外の１フレームだけによる順方向予測により生成することを特徴とする請求項１に記載の電子透かし埋込装置。
- フレーム毎に形成された画像からなるコンテンツをグループ毎に記憶し、前記コンテンツの各グループに含まれる画像であって電子透かし情報が埋め込まれた画像から埋め込まれた前記画像情報を検出する電子透かし検出装置において、前記電子透かし情報を検出する対象の画像である検出対象フレーム画像の予測画像を生成する手段と、前記検出対象フレーム画像以外のフレームの画像に基づいて、前記検出対象フレーム画像の予測画像を生成する手段と、前記検出対象フレーム画像と前記検出対象フレーム画像の予測画像との差分を取って差分画像を生成する手段と、前記各差分画像に埋め込まれた前記電子透かし情報を検出する手段とを備えたことを特徴とする電子透かし検出装置。
- フレーム毎に形成された画像からなるコンテンツをグループ毎に記憶し、前記コンテンツの各グループにおける所定フレームの画像に電子透かし情報を埋め込む電子透かし埋込プログラムにおいて、コンピュータに、前記電子透かし情報を埋め込む対象の画像である各埋込対象フレーム画像について、前記埋込対象フレーム画像以外のフレームの画像に基づいて、前記埋込対象フレーム画像の予測画像を生成するステップと、前記埋込対象フレーム画像と前記埋込対象フレーム画像の予測画像との差分を取って差分画像を生成するステップと、前記各差分画像に前記電子透かし情報を埋め込むステップと、前記電子透かしが埋め込まれた差分画像に対応する予測画像とを加算するステップとを実行させ、前記埋込対象フレーム画像の画素値に応じて埋め込む信号の強度を変化させることを特徴とする電子透かし埋込プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002168570A JP4268377B2 (ja) | 2002-06-10 | 2002-06-10 | 電子透かし埋込装置、その検出装置および電子透かし埋込プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002168570A JP4268377B2 (ja) | 2002-06-10 | 2002-06-10 | 電子透かし埋込装置、その検出装置および電子透かし埋込プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004015626A true JP2004015626A (ja) | 2004-01-15 |
| JP4268377B2 JP4268377B2 (ja) | 2009-05-27 |
Family
ID=30435445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002168570A Expired - Fee Related JP4268377B2 (ja) | 2002-06-10 | 2002-06-10 | 電子透かし埋込装置、その検出装置および電子透かし埋込プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4268377B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009036684A1 (en) * | 2007-09-14 | 2009-03-26 | Huawei Technologies Co., Ltd. | A method and device for embedding and detecting watermark information |
| WO2009082987A1 (zh) * | 2007-12-27 | 2009-07-09 | Peking University Founder Group Co., Ltd. | 一种在数字图像中嵌入和提取水印的方法与装置 |
| US7970164B2 (en) | 2005-08-04 | 2011-06-28 | Nippon Telegraph And Telephone Corporation | Digital watermark padding method, digital watermark padding device, digital watermark detecting method, digital watermark detecting device, and program |
| CN106101713A (zh) * | 2016-07-06 | 2016-11-09 | 武汉大学 | 一种基于窗口最优校准的视频隐写分析方法 |
-
2002
- 2002-06-10 JP JP2002168570A patent/JP4268377B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7970164B2 (en) | 2005-08-04 | 2011-06-28 | Nippon Telegraph And Telephone Corporation | Digital watermark padding method, digital watermark padding device, digital watermark detecting method, digital watermark detecting device, and program |
| US8126202B2 (en) | 2005-08-04 | 2012-02-28 | Nippon Telegraph And Telephone Corporation | Digital watermark padding method, digital watermark padding device, digital watermark detecting method, digital watermark detecting device, and program |
| WO2009036684A1 (en) * | 2007-09-14 | 2009-03-26 | Huawei Technologies Co., Ltd. | A method and device for embedding and detecting watermark information |
| WO2009082987A1 (zh) * | 2007-12-27 | 2009-07-09 | Peking University Founder Group Co., Ltd. | 一种在数字图像中嵌入和提取水印的方法与装置 |
| CN106101713A (zh) * | 2016-07-06 | 2016-11-09 | 武汉大学 | 一种基于窗口最优校准的视频隐写分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4268377B2 (ja) | 2009-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6798893B1 (en) | Digital watermarking technique | |
| US8179969B2 (en) | Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity | |
| JP5133290B2 (ja) | 動画像符号化装置および復号装置 | |
| JP4023324B2 (ja) | 透かし埋め込み及び画像圧縮部 | |
| Liu et al. | Secure steganography in compressed video bitstreams | |
| JP2009534968A (ja) | デジタル透かし入れ方法 | |
| WO2015028098A1 (en) | Method and system for embedding information and authenticating a h.264 video using a digital watermark | |
| EP1879390A2 (en) | Combined video de-synchronization and compression method applicable to collusion-resilient fingerprint, and corresponding encoding device and encoded video stream | |
| JP5178616B2 (ja) | シーンチェンジ検出装置および映像記録装置 | |
| JP5139995B2 (ja) | ストリームに透かしを入れる方法及び装置 | |
| JP4268377B2 (ja) | 電子透かし埋込装置、その検出装置および電子透かし埋込プログラム | |
| US7627135B2 (en) | Digital watermarking system and drift compensating system | |
| JP5080304B2 (ja) | 秘匿データが挿入された画像データの表示方式 | |
| JP4165752B2 (ja) | 画像データへの秘匿データ挿入方式および秘匿データ検出方式 | |
| Jiang et al. | A robust H. 264/AVC video watermarking scheme with drift compensation | |
| Simitopoulos et al. | Fast watermarking of MPEG-1/2 streams using compressed-domain perceptual embedding and a generalized correlator detector | |
| JP2008182408A (ja) | 動画像符号化装置及び方法 | |
| JP4139657B2 (ja) | 映像信号の符号化装置および復号化装置 | |
| JP2004015351A (ja) | 符号化装置及び方法、プログラム、記録媒体 | |
| JP2011129979A (ja) | 画像処理装置 | |
| Weng et al. | Key-based video watermarking system on MPEG-2 | |
| KR20090028288A (ko) | 압축영상 내 정보 삽입 방법 | |
| JP4119637B2 (ja) | 電子透かし埋込方法、電子透かし埋込装置、電子透かし埋込プログラム、電子透かし検出方法、電子透かし検出装置および電子透かし検出プログラム | |
| JP2004312689A (ja) | Ｍｐｅｇビデオ復号化方法及びｍｐｅｇビデオ復号化器 | |
| JP4020302B2 (ja) | 情報埋め込み装置および情報抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070612 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080225 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |