JP2003169294A - 映像信号出力方法、デジタル信号出力装置、画像処理装置、画像処理方法、及び情報記録媒体、並びにコンピュータ・プログラム - Google Patents

映像信号出力方法、デジタル信号出力装置、画像処理装置、画像処理方法、及び情報記録媒体、並びにコンピュータ・プログラム

Info

Publication number
JP2003169294A
JP2003169294A JP2002099545A JP2002099545A JP2003169294A JP 2003169294 A JP2003169294 A JP 2003169294A JP 2002099545 A JP2002099545 A JP 2002099545A JP 2002099545 A JP2002099545 A JP 2002099545A JP 2003169294 A JP2003169294 A JP 2003169294A
Authority
JP
Japan
Prior art keywords
frame
signal
modification
modified
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002099545A
Other languages
English (en)
Other versions
JP2003169294A5 (ja
JP4265143B2 (ja
Inventor
Jun Hirai
純 平井
Yoichi Nishino
洋一 西野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002099545A priority Critical patent/JP4265143B2/ja
Publication of JP2003169294A publication Critical patent/JP2003169294A/ja
Publication of JP2003169294A5 publication Critical patent/JP2003169294A5/ja
Application granted granted Critical
Publication of JP4265143B2 publication Critical patent/JP4265143B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】 動画像の不正な複製を防止可能とする信号付
加処理を実現する装置および方法を提供する。 【解決手段】 DVDプレーヤ10からアナログ信号に
よりベースバンドストリームとして出力し、デジタルビ
デオ記録装置20に記録するに際して、このDVDプレ
ーヤ10から出力されるビデオストリーム(ベースバン
ドストリーム)に含まれるフレームに対して改変を施
す。この改変としては、視覚的な影響が無視できる程度
で、且つ、改変を加えたフレームが動き補償を阻害し、
これによって予測による圧縮を困難にして画質の劣化を
招くものであり、フレーム単位、フィールド単位、画素
領域単位等、各種態様の改変処理が可能である。

Description

【発明の詳細な説明】
【0001】
【発明の属する分野】本発明は、デジタル信号出力方
法、デジタル信号出力装置、画像処理装置、画像処理方
法、及び情報記録媒体、並びにコンピュータ・プログラ
ムに関し、特に、動画像情報を不正に複製した場合に劣
化を生じせしめることによって著作権の保護に貢献でき
るようにしたデジタル信号出力方法、デジタル信号出力
装置、画像処理装置、画像処理方法、及び情報記録媒
体、並びにコンピュータ・プログラムに関する。
【0002】
【従来の技術】従来から、例えばビデオテープレコーダ
装置や衛星放送システムなどにおいて、動画像の不正な
複製を防止する、いわゆるコピーガードシステムとして
は、マクロビジョン社(Macrovision Corporation)の
AGCパルス方式が知られている。
【0003】AGCパルス方式は、ビデオテープレコー
ダ装置に搭載されたAGC(Automatic Gain Control)
を誤動作させることにより、出力ソースを正常に録画で
きないようにする技術である。AGCは、入力信号の利
得(gain)を自動調整して適切な感度を保つための回路
であり、民生用のビデオテープレコーダ装置に広く搭載
されている。
【0004】一般に、民生用の映像機器で相互に入出力
される映像信号は、輝度信号、色信号、走査用の同期信
号、カラーバースト信号などからなる。映像信号は、時
間軸上において、1走査分の輝度信号及び色差信号が水
平ブランキングと呼ばれる若干のインターバルで区切ら
れており、この水平ブランキングに水平同期信号とカラ
ーバースト信号が格納されている。また、映像信号は、
動画像を構成する1フィールド毎に設けられた垂直ブラ
ンキングに垂直同期信号が格納されている。そして、一
般の民生用の映像機器では、これら水平同期信号及び垂
直同期信号を用いて画像の走査タイミングを調整し、カ
ラーバースト信号を用いてカラー信号を復調している。
【0005】AGCパルス方式は、輝度信号及び色差信
号に対しては変更を加えずに、上述したブランキング部
分に誤った信号を混入させることによって、ビデオテー
プレコーダ装置に搭載されたAGCの同期を誤動作させ
るものである。すなわち、AGCパルス方式では、この
ようにAGCを誤動作させることによって、映像信号を
不正に複製することを防止している。
【0006】
【発明が解決しようとする課題】上述したように、AG
Cパルス方式では、映像信号のブランキング部分に誤っ
た信号が混入されていることにより不正な複製を防止し
ている。したがって、例えば、映像の複製時にブランキ
ング部分の同期信号を入れ替えるだけで、不正な複製を
行うことが可能であるといった問題があった。
【0007】また、近年では、例えば、DVD(Digita
l Versatile Disc)等のように、画像や音声をデジタル
方式で記録する情報記録媒体が普及しつつある。DVD
では、画像情報や音声情報を記録するにあたり、ISO/IE
C11172(MPEG-1)、又はISO/IEC13818(MPEG-2)で規
定された符号化方式が用いられることが多い。従来か
ら、このようなDVDに対して画像や音声などを記録再
生する場合には専用の記録再生装置(以下、DVDプレ
ーヤと称する。)が用いられているが、近年では、いわ
ゆるパーソナルコンピュータ装置を利用しても自由に記
録再生が行われるようになりつつある。また、DVDに
記録された画像や音声を、パーソナルコンピュータ装置
に搭載されたハードディスク装置(HDD)などに複製
することなども行われている。
【0008】このように、パーソナルコンピュータ装置
を用いて画像や音声を記録又は複製する場合には、映像
信号のブランキング部分が利用されないため、従来から
用いられていたAGCパルス方式によっては不正な複製
を防止することができないといった問題があった。
【0009】また、例えばDVDプレーヤやパーソナル
コンピュータ装置などを用いて映像信号をデジタル方式
で複製する場合には、例えばCPRM(Content Protec
tionfor Recordable Media)などの技術によって不正な
複製を防止することができる。しかしながら、例えばR
GB出力を介するなどしてアナログ方式の信号に変換し
た後に、再度デジタル方式に変換して記録する場合にお
いては、CPRM技術などを用いて不正な複製を防止す
ることができないといった問題があった。
【0010】そこで本発明は、上述した従来の実情に鑑
みてなされたものであり、動画像の不正な複製を確実に
防止することを可能とするデジタル信号出力方法、及び
デジタル信号出力装置画像処理装置、画像処理方法を提
供することを目的とする。また、本発明は、不正な複製
を確実に防止することが可能な形で動画像が記録されて
なる情報記録媒体を提供することを目的とする。
【0011】
【課題を解決するための手段】本発明の請求項1に係る
映像信号出力方法は、複数の連続したフレームからなる
動画像を映像信号として出力するに際して、上記動画像
のうちの少なくとも1つのフレームに対して、視覚的な
影響が無視できる程度の改変を加えるフレーム改変ステ
ップを有し、上記フレーム改変ステップにおいては、上
記動画像を、複数の連続したフレームからなる単位グル
ープ毎に、所定のフレームに基づいて他のフレームの復
号化が行われる動画像圧縮方式に従ってエンコードした
際に、改変を加えたフレームが動き補償を阻害し、これ
によって予測による圧縮を困難にして画質の劣化を招く
ような改変を加える。
【0012】また、本発明の請求項11に係るデジタル
信号出力装置は、複数の連続したフレームからなる単位
グループ毎に、所定のフレームに基づいて他のフレーム
の復号化が行われる動画像圧縮方式に従ってビットスト
リームを出力するデジタル信号出力装置において、上記
単位グループのうちの少なくとも1つのフレームに対し
て、視覚的な影響が無視できる程度の改変を加えるフレ
ーム改変手段を備え、上記フレーム改変手段は、上記ビ
ットストリームをアナログ信号に変換した後に再び上記
動画像圧縮方式に従ってエンコードした際に、改変を加
えたフレームが動き補償を阻害し、これによって予測に
よる圧縮を困難にして画質の劣化を招くような改変を加
える。
【0013】また、本発明の請求項18に係る情報記録
媒体は、複数の連続したフレームからなる単位グループ
毎に、所定のフレームに基づいて他のフレームの復号化
が行われる動画像圧縮方式に従ってビットストリームが
記録されてなる情報記録媒体において、上記単位グルー
プのうちの少なくとも1つのフレームに対して、視覚的
な影響が無視できる程度の改変が加えられており、上記
改変は、上記ビットストリームをアナログ信号に変換し
た後に再び上記動画像圧縮方式に従ってエンコードした
際に、改変が加えられたフレームが動き補償を阻害し、
これによって予測による圧縮を困難にして画質の劣化を
招くものであることを特徴とする。
【0014】さらに、本発明のさらなる側面は、動画像
に対する画像処理方法であり、動画像データを構成し、
輝度信号および色差信号成分を含む画素データからなる
フレーム画像の色差信号成分フレームに対して、フレー
ム2次元平面に広がる高周波帯域信号を重畳するステッ
プを含むことを特徴とする画像処理方法にある。
【0015】さらに、本発明のさらなる側面は、動画像
に対する画像処理方法であり、複数フィールドからなる
インターレース画像における隣接フィールドの色差信号
の信号値変更処理として、隣接フィールドのオリジナル
信号値をa,bとし、それぞれの改変信号値をa’b’
としたとき、改変信号値の加算値a’+b’をオリジナ
ル信号値の加算値:a+bと等価、すなわち、a’+
b’=a+bとなる設定の下に各隣接フィールドの色差
信号値の変更処理を実行する改変処理ステップ、を有す
ることを特徴とする画像処理方法にある。
【0016】さらに、本発明のさらなる側面は、動画像
に対する画像処理方法であり、動画像データを構成し、
輝度信号および色差信号成分を含む画素データからなる
フレーム画像の色差信号成分フレームに対して、色差信
号成分フレームの複数の隣接画素からなる領域を単位画
素領域として設定するステップと、前記単位画素領域に
含まれるn個の画素のオリジナル信号値をa1〜anと
し、それぞれの改変信号値をa1’〜an’としたと
き、改変信号値の加算値:Σak’(ただしk=1〜
n)をオリジナル信号値の加算値:Σak(ただしk=
1〜n)と等価、すなわち、Σak’=Σakとなる設
定の下に各隣接画素の色差信号値の変更処理を実行する
改変処理ステップ、を有することを特徴とする画像処理
方法にある。
【0017】さらに、本発明のさらなる側面は、動画像
に対する画像処理を実行する画像処理装置であり、動画
像データを構成し、輝度信号および色差信号成分を含む
画素データからなるフレーム画像の色差信号成分フレー
ム面積に略等しい領域としての2次元平面に広がる高周
波帯域信号を生成する高周波帯域信号生成手段と、前記
高周波帯域信号を色差信号成分フレームに対して重畳す
る信号重畳処理手段と、を有することを特徴とする画像
処理装置にある。
【0018】さらに、本発明のさらなる側面は、動画像
に対する画像処理を実行する画像処理装置であり、複数
フィールドからなるインターレース画像における隣接フ
ィールドの色差信号の信号値改変処理として、隣接フィ
ールドのオリジナル信号値をa,bとし、それぞれの改
変信号値をa’b’としたとき、改変信号値加算値a’
+b’をオリジナル信号値加算値:a+bと等価、すな
わち、a’+b’=a+bとなる設定の下に各隣接フィ
ールドの色差信号値の改変処理を実行する改変処理実行
手段、を有することを特徴とする画像処理装置にある。
【0019】さらに、本発明のさらなる側面は、動画像
に対する画像処理を実行する画像処理装置であり、輝度
信号および色差信号成分を含む画素データからなるフレ
ーム画像の色差信号成分フレームに対して、色差信号成
分フレームの複数の隣接画素からなる領域を単位画素領
域として設定する単位画素領域設定手段と、前記単位画
素領域に含まれるn個の画素のオリジナル信号値をa1
〜anとし、それぞれの改変信号値をa1’〜an’と
したとき、改変信号値の加算値:Σak’(ただしk=
1〜n)をオリジナル信号値の加算値:Σak(ただし
k=1〜n)と等価、すなわち、Σak’=Σakとな
る設定の下に各隣接画素の色差信号値の変更処理を実行
する改変処理実行手段と、を有することを特徴とする画
像処理装置にある。
【0020】さらに、本発明のさらなる側面は、動画像
に対する画像処理実行プログラムとしてのコンピュータ
・プログラムであって、前記コンピュータ・プログラム
は、動画像データを構成し、輝度信号および色差信号成
分を含む画素データからなるフレーム画像の色差信号成
分フレームに対して、フレーム2次元平面に広がる高周
波帯域信号を重畳するステップを含むことを特徴とする
コンピュータ・プログラムにある。
【0021】さらに、本発明のさらなる側面は、動画像
に対する画像処理実行プログラムとしてのコンピュータ
・プログラムであって、前記コンピュータ・プログラム
は、複数フィールドからなるインターレース画像におけ
る隣接フィールドの色差信号オリジナル信号値をa,b
とし、それぞれの改変信号値をa’b’としたとき、改
変信号値加算値:a’+b’を、オリジナル信号値加算
値:a+bと等価、すなわち、a’+b’=a+bとな
る設定の下に各隣接フィールドの色差信号値の変更処理
を実行する改変処理ステップを有することを特徴とする
コンピュータ・プログラムにある。
【0022】さらに、本発明のさらなる側面は、動画像
に対する画像処理実行プログラムとしてのコンピュータ
・プログラムであって、前記コンピュータ・プログラム
は、動画像データを構成し、輝度信号および色差信号成
分を含む画素データからなるフレーム画像の色差信号成
分フレームに対して、色差信号成分フレームの複数の隣
接画素からなる領域を単位画素領域として設定するステ
ップと、前記単位画素領域に含まれるn個の画素のオリ
ジナル信号値をa1〜anとし、それぞれの改変信号値
をa1’〜an’としたとき、改変信号値の加算値:Σ
ak’(ただしk=1〜n)をオリジナル信号値の加算
値:Σak(ただしk=1〜n)と等価、すなわち、Σ
ak’=Σakとなる設定の下に各隣接画素の色差信号
値の変更処理を実行する改変処理ステップ、とを有する
ことを特徴とするコンピュータ・プログラムにある。
【0023】以上のように構成された本発明において
は、デジタル信号であるビットストリームとして、或い
はアナログ信号として出力された映像信号に含まれる少
なくとも1つのフレームが、アナログ信号に変換した後
に再び上記動画像圧縮方式に従ってエンコードした際
に、動き補償を阻害し、これにより予測による圧縮を困
難にして画質の劣化を招くように改変されている。した
がって、アナログ方式に変換後に再度エンコードを行う
ことによる不正な複製を防止することができる。なお、
デジタル方式の信号を介しての複製は、従来から利用さ
れているCPRMなどの技術を用いればよい。このた
め、本発明によれば、不正な複製を確実に防止して、著
作権の保護に貢献することができる。また、本発明にお
いては、フレームに加える改変が視覚的な影響が無視で
きる程度であることから、複製をせずに視聴する場合に
は違和感が生じない。
【0024】また、本発明において改変を加えるフレー
ムは、復号化時に他のフレームから参照されないフレー
ムを選出して、このフレームに対して行うことが望まし
い。具体的には、後述する実施の形態で説明するよう
に、例えばMPEGストリームにおけるBピクチャに対
して改変を加えることが望ましい。これにより、ビット
ストリームを直接視聴した場合、或いはデジタル方式に
より正規な複製を行って視聴した場合やエンコードした
場合などにおいて、他のフレームの復号化に悪影響が生
じることがなく、改変前のオリジナルなフレーム(或い
はビットストリーム)に対してほとんど変化のないフレ
ーム或いはビットストリームを出力することができる。
【0025】また、本発明においては、ビットストリー
ムに含まれる単位グループ中で1つのフレームに対して
のみ改変を加えるとしてもよいが、後述する実施の形態
において説明するように、再エンコードにより不正に複
製した画像を確実に劣化させるためには、単位グループ
中の複数のフレームに対して改変を加えるとしてもよ
い。また、改変を加えるに際しては、所定のフレーム内
だけで改変するとしてもよいし、単位グループを構成す
る全てのフレームに対して連続的に微妙な改変を施すと
してもよい。
【0026】また、本発明において、フレームに加える
改変としては、具体的には以下に挙げるような改変を採
用することができる。
【0027】すなわち、例えば、改変前のフレームを構
成する少なくとも1つの画素の情報を、当該画素の近傍
に位置する画素の情報と入れ替えることにより改変を加
えるとしてもよい。また、例えば、改変前のフレームの
うちの少なくとも一部を変形させることにより改変を加
えるとしてもよい。また、例えば、改変前のフレームに
おける色差信号にノイズを付与することにより改変を加
えるとしてもよい。このような改変を加えることによ
り、視覚的な影響が無視できる程度で、且つ不正な複製
を防止するに十分な劣化を生ぜしめることができる。
【0028】なお、改変前における色差信号にノイズを
付与する場合においては、例えばフレームの所定の領域
だけにノイズを付与するとしてもよいし、1次元的な方
向にのみノイズを付与するとしてもよいが、改変するフ
レーム全体に2次元的に分散したノイズを付与すること
が望ましい。これにより、一連のビットストリームに含
まれる各単位グループ毎に、効率的に改変を加えること
が容易となる。具体的には、改変するフレームに対して
離散コサイン変換処理を行った後に、所定の係数を入れ
替え、さらに上記動画像圧縮方式に従ってエンコードす
ることにより、改変するフレーム全体に2次元的に分散
したノイズを付与することができ、一連のビットストリ
ームに対して、係数の入れ替えを行うだけで極めて簡便
且つ効率的にノイズを付与することができる。
【0029】なお、本発明のコンピュータ・プログラム
は、例えば、様々なプログラム・コードを実行可能な汎
用コンピュータ・システムに対して、コンピュータ可読
な形式で提供する記憶媒体、通信媒体、例えば、CDや
FD、MOなどの記憶媒体、あるいは、ネットワークな
どの通信媒体によって提供可能なコンピュータ・プログ
ラムである。このようなプログラムをコンピュータ可読
な形式で提供することにより、コンピュータ・システム
上でプログラムに応じた処理が実現される。
【0030】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づく、より
詳細な説明によって明らかになるであろう。なお、本明
細書においてシステムとは、複数の装置の論理的集合構
成であり、各構成の装置が同一筐体内にあるものには限
らない。
【0031】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら詳細に説明する。以下では、複
数の連続したフレームからなる単位グループ毎に、所定
のフレームに基づいて他のフレームの復号化が行われる
動画像圧縮方式として、ISO/IEC11172(MPEG-1)、又
はISO/IEC13818(MPEG-2)で規定された符号化方式(以
下、MPEGと称する。)を用いる場合を例に挙げて説
明する。そこで、先ず、MPEG技術の概略について説
明する。
【0032】なお、本発明は、MPEG技術を利用した
デジタル信号出力方法、デジタル信号出力装置、画像処
理装置、画像処理方法、及び情報記録媒体に対しての適
用に限定されるものではなく、複数の連続したフレーム
からなる単位グループ毎に、所定のフレームに基づいて
他のフレームの復号化が行われる動画像圧縮方式を利用
したものに対して広く適用することができる。また、本
発明は、動画像の不正な複製を防止することを目的とし
ているが、以下の説明と同様の手法を用いることによ
り、動画像のみならず、音声情報や各種のデジタルデー
タ等の不正な複製を防止する技術を容易に確立すること
ができる。
【0033】MPEGは、空間型圧縮と時間型圧縮双方
を利用した非可逆圧縮方式である。MPEGにおいて
は、一連の動画像を構成する各フレームが独立している
わけではなく、GOP(Group of Picture)という単位
グループ毎に圧縮(エンコード)又は伸張(デコード)
が行われる。GOPは、Iフレーム、Pフレーム、及び
Bフレームから構成されている。
【0034】Iフレーム(Intra Picture)は、GOP
内の他のフレームを圧縮又は伸張する際に基準となるフ
レームであり、空間型圧縮のみが行われる。このIフレ
ームにおける空間型圧縮は、8×8画素(ピクセル)を
単位とした離散コサイン変換(DCT:Discrete Cosin
e Transform)に基づいて行われる。Iフレームは、フ
レーム内圧縮のみしか行われないため、このフレームは
他のフレームと比較して圧縮率が低く、データ量が多
い。
【0035】Pフレーム(Predictive Picture)は、フ
レーム内圧縮の他に、時間軸順方向のみの予測を取り入
れ、Iフレームとの差異を元にした時間型(フレーム
間)圧縮が行われる。したがって、Pフレームは、フレ
ーム内情報と、その前のIフレーム及び/又はPフレー
ムの情報とから伸張される。このため、Pフレームは、
Iフレームと比較して圧縮率が高く、データ量が少な
い。
【0036】Bフレーム(Bidirectionally Predictive
Picture)は、フレーム内圧縮の他に、前後フレームと
の差異に基づいて、時間軸上の双方向で予測圧縮が行わ
れる。したがって、Bフレームは、Pフレームよりもさ
らに圧縮率が高い。
【0037】つぎに、上述したMPEG技術を利用した
ビデオストリームに対して、本発明を適用することによ
り不正な複製を防止する仕組みについて説明する。
【0038】MPEG技術により圧縮されたビデオスト
リームを映像信号として出力する映像機器は、一般に、
このビデオストリームを直接デジタル方式で出力するデ
ジタル出力系統と、このビデオストリームをアナログ方
式に変換して出力するアナログ出力系統とを備えてい
る。以下では、デジタル方式で出力されるビデオストリ
ームをMPEGストリームと称し、アナログ方式で出力
されるビデオストリームをベースバンドストリームと称
する。
【0039】このような映像機器から出力された映像信
号を複製するに際しては、2つの場合が考えられる。
【0040】1つめの場合は、デジタル方式で出力され
たMPEGストリームを、例えばハードディスク装置や
DVD記録装置などのような情報記録媒体に対してデジ
タル方式のまま直接記録する場合である。この場合に
は、例えばCPRMなどのような従来から用いられてい
る複製防止技術により不正な複製を防止することができ
る。
【0041】2つめの場合は、アナログ方式で出力され
たベースバンドストリームを、例えばコンピュータ装置
やDVD記録装置の側で再度MPEGエンコードを行っ
た後に記録する場合である。この場合には、従来から用
いられている複製防止技術では不正な複製を防止するこ
とができない。
【0042】そこで、MPEG技術により圧縮されたビ
デオストリームを出力する映像機器側で、このMPEG
ストリームに含まれる各GOPのうちの少なくとも1つ
のフレームに対して、視覚的な影響が無視でき、且つ、
再度のMPEGエンコードを行う際に予測による圧縮が
困難となるような改変を加えることによって、ベースバ
ンドストリームを再度MPEGエンコードしたときに画
像の劣化が生じるようにする。これにより、アナログ信
号を介した動画像の不正な複製を防止することができ
る。
【0043】なお、上述のようにして加える改変は、ベ
ースバンドストリームに対して加えるとしてもよいし、
MPEGストリームに対して加えるとしてもよい。
【0044】ここで、フレームの「改変」についての具
体的な説明は後述することとして、以下ではまず、如何
にして画像の劣化が生じるかという点について、基本的
な概略について説明する。
【0045】以下では、図1に示すように、MPEG方
式で動画像が記録された情報記録媒体であるDVDから
DVDプレーヤ10によって動画像を読みとり、このD
VDプレーヤ10からアナログ信号により出力されたベ
ースバンドストリームを、デジタルビデオ記録装置20
によって記録する場合を想定して説明する。
【0046】デジタルビデオ記録装置20は、ベースバ
ンドストリームに対してMPEG方式に基づいた符号化
処理を行うMPEGエンコーダ21と、このMPEGエ
ンコーダ21によって生成されたMPEGストリームを
記録する記録装置22とを備えている。
【0047】なお、ベースバンドストリームを出力する
機器としては、以下の説明においてDVDプレーヤ10
を例に挙げるが、特にDVDプレーヤ10に限定される
ものではなく、例えば衛星放送を受信して映像信号を出
力する衛星放送受信装置や、例えば各種のテープ状記録
媒体やディスク状記録媒体などに記録された動画像を読
み取って映像信号として出力するような各種の映像機器
であってもよい。
【0048】また、ベースバンドストリームを変換する
ことによりMPEG方式で記録する機器としては、以下
の説明においてデジタルビデオ記録装置20を例に挙げ
るが、このデジタルビデオ記録装置20としては、例え
ばハードディスク装置内に動画像をデジタルデータとし
て記録する各種のコンピュータ装置や、各種のテープ状
記録媒体やディスク状記録媒体などに動画像を記録する
記録装置などを用いることができる。すなわち、記録装
置22としては、ハードディスク装置であってもよい
し、DVD−RWやDVD−RAM等のような書き込み
可能なDVDやなどであってもよい。
【0049】ここで、DVDプレーヤ10からは、図2
(a)に示すように、動画像を構成する一連のフレーム
(1画面分の画像)がベースバンドストリームとして出
力される。このとき、図2(a)中において網がけして
示す第3のフレームが、改変されているものとする。
【0050】そして、デジタルビデオ記録装置20に搭
載されたMPEGエンコーダ21においては、ベースバ
ンドストリームに含まれる各フレームを順次MPEG方
式に基づいてエンコード処理してゆくこととなるが、以
下では、図2(b)に示すように、改変された第3のフ
レームがPピクチャとしてエンコード処理される場合を
想定する。
【0051】このとき、Pピクチャである第3のフレー
ムは、MPEG圧縮による動き補償の効果によって、I
ピクチャである第0のフレームと比較しておよそ1/3
程度のデータ量で十分な画質を得られることが期待され
る。しかしながら、MPEGエンコーダ21は、第3の
フレームがDVDプレーヤ10からベースバンドストリ
ームとして出力される時点で改変されていることから、
この第3のフレームをMPEG圧縮する際に動き補償に
用いることができるようなリファレンスをみつけること
ができない。
【0052】このため、第3のフレームは、Pピクチャ
でありながら、Iマクロブロックの比率が高くなってし
まう。換言すると、第3のフレームの画質を十分に確保
するためには、Iピクチャである第0のフレームと同程
度のデータ量が必要とされることとなる。
【0053】しかしながら、第3のフレームは、Pピク
チャであることから第0のフレームと比較して1/3程
度のデータ量に抑制され、このときに全てのマクロブロ
ックが強く量子化されることにより、画質が大きく劣化
することとなる。
【0054】一方、MPEGエンコーダ20は、第6の
フレームをPピクチャとしてMPEGエンコードする際
に、第3のフレームからの動き補償を期待することがで
きない。このため、この第6のフレームの画質も大きく
劣化することとなる。また、次のPピクチャである第9
のフレームは、第6のフレームからの動き補償が可能で
あるが、第6のフレームの画質が大きく劣化しているこ
とから、画質が劣化することとなる。また、これらPピ
クチャの中間にあるBピクチャ、すなわち第4のフレー
ム、第5のフレーム、第7のフレーム、及び第8のフレ
ームも、同様にして画質の劣化が生じる。このような画
質の劣化は、改変が施された第3のフレームを含むGO
Pにおける最後のフレームまで継承される。
【0055】上述のように、ベースバンドストリーム内
の1つのフレームに対して改変を施すことにより、この
ベースバンドストリームを変換して生成されたMPEG
ストリームにおいては10フレーム以上程度の多くのフ
レームの画質が劣化してしまうこととなる。したがっ
て、アナログ信号を介して動画像を不正に複製すること
を確実に防止することができる。
【0056】なお、図2及び上述の説明においては、改
変が施された第3のフレームが、MPEGストリームに
おいてPピクチャとしてエンコードされた場合を想定し
ているが、上述した画質劣化の効果は、改変を施したフ
レームがBピクチャとしてエンコードされる場合には期
待することができない。したがって、DVDプレーヤ1
0側で、ベースバンドストリームを構成する各フレーム
の中からフレームに対して改変を施す周期をランダムに
変化させたり、ランダムに選出した複数のフレームに対
して改変を施すなどすることが望ましい。これにより、
改変を施したフレームがPピクチャとしてエンコードさ
れる確率を十分に高めることができ、複製された動画像
に対して確実に劣化を生ぜしめることができる。
【0057】つぎに以下では、動画像がDVD30にM
PEG方式で記録された状態で、予め上述したような改
変が施されている場合について説明する。なお、以下で
はDVD30を例示して説明するが、MPEG方式で記
録されていれば、他の各種情報記録媒体であってもよ
い。
【0058】この場合に、図3に示すように、DVD3
0に記録された動画像をDVDプレーヤ10によって読
み取り、MPEGストリームのままでデジタル信号とし
てデジタルビデオ記録装置20に出力し、このデジタル
ビデオ記録装置20内の記録装置22に複製して記録す
ることを想定する。また、DVD30にMPEG方式で
記録された動画像は、図4(a)に示すように、Bピク
チャである第3のフレームが改変されているものとす
る。
【0059】この場合には、DVDプレーヤ10からデ
ジタルビデオ記録装置20に対して動画像がMPEGス
トリームのまま直接伝送されるため、MPEGデコード
或いはMPEGエンコードは行われない。したがって、
デジタルビデオ記録装置20の記録装置22には、図4
(b)に示すように、図4(a)に示した元のMPEG
ストリームと同様に、Bピクチャである改変された第3
のフレームがそのままBピクチャとして記録される。
【0060】この場合においては、デジタル信号により
元のMPEGストリームのままで動画像が伝送されてい
るため、画像の劣化は生じない。このときの不正な複製
の防止は、従来から用いられているCPRM等の各種複
製防止技術を用いて行うことができる。
【0061】なお、デジタルビデオ記録装置20側で、
例えば解像度を変更して記録する場合には、誤差や動き
ベクトルの補間が行われるが、改変が施されたBピクチ
ャの性質、すなわち不正な複製の防止効果が損なわれる
ことはない。
【0062】つぎに、図5に示すように、DVD30に
記録された動画像をDVDプレーヤ10によって読み取
り、アナログ信号であるベースバンドストリームに変換
した後にデジタルビデオ記録装置20に出力し、このデ
ジタルビデオ記録装置20内でMPEGエンコード処理
を行って記録装置22に記録する場合を想定する。
【0063】この場合には、改変されたBピクチャであ
る第3のフレームを含む図6(a)に示すようなMPE
Gストリームが、DVDプレーヤ10内に搭載されたM
PEGデコーダによって変換され、図6(b)に示すよ
うなベースバンドストリームとしてデジタルビデオ記録
装置20に出力される。このとき、改変が行われた第3
のフレームは、改変された情報を含めてそのままアナロ
グ信号として出力される。
【0064】そして、デジタルビデオ記録装置20側に
搭載されたMPEGエンコーダによって、図6(c)に
示すように、改変された第3のフレームがIピクチャ又
はPピクチャとしてMPEGエンコードされると、図1
及び図2を参照しながら説明したようにして画質の劣化
が生じることとなる。
【0065】つぎに以下では、DVDプレーヤ10内で
フレームの改変を行う場合について説明する。すなわ
ち、通常のMPEG方式に基づいてDVD30に記録さ
れた動画像をDVDプレーヤ10によって読み取り、こ
のDVDプレーヤ10側でフレームの改変を行ってデジ
タルビデオ記録装置20に出力する場合である。
【0066】このとき、図7に示すように、DVDプレ
ーヤ10からデジタルビデオ記録装置20に対してデジ
タル信号により伝送する場合を考える。
【0067】この場合には、DVDプレーヤ10内に搭
載されたMPEGパーサー11が、改変するに際して適
当なBピクチャを探し出し、フレームの改変処理を行う
画像処理部12によって、このBピクチャに対して改変
を施す。これにより、DVD30に記録された図8
(a)に示すようなMPEGストリームが、画像処理部
12によって、例えば図8(b)に示すようなMPEG
ストリームに変換される。そして、この変換済みのMP
EGストリームが外部のデジタルビデオ記録装置20に
出力される。
【0068】デジタルビデオ記録装置20は、MPEG
ストリームがデジタル信号として伝送されるため、記録
装置22には、図8(c)に示すように、図8(b)に
示したMPEGストリームと同様に、Bピクチャである
改変された第3のフレームがそのままBピクチャとして
記録される。
【0069】この場合においては、デジタル信号により
元のMPEGストリームのままで動画像が伝送されてい
るため、画像の劣化は生じない。このときの不正な複製
の防止は、従来から用いられているCPRM等の各種複
製防止技術を用いて行うことができる。なお、デジタル
ビデオ記録装置20側で、例えば解像度を変更して記録
する場合には、誤差や動きベクトルの補間が行われる
が、改変が施されたBピクチャの性質、すなわち不正な
複製の防止効果が損なわれることはない。
【0070】したがって、例えば課金を支払うなどして
正規な手続きを行った場合には、デジタル信号による複
製防止策を解除して、デジタルビデオ記録装置20内の
記録装置22に複製することが可能であるとともに、こ
の記録装置22に記録されたMPEGストリームを再度
アナログ信号を介して不正に複製するに際しては、図1
及び図2を参照して説明したようにして画質の劣化が生
じることとなる。
【0071】つぎに、0に示すように、DVDプレーヤ
10からデジタルビデオ記録装置20に対してアナログ
信号により伝送する場合を考える。
【0072】この場合には、DVD30にMPEG方式
で記録された動画像を、DVDプレーヤ10内に搭載さ
れたMPEGデコーダ13によってベースバンドストリ
ームに変換した後に、画像処理部12によって任意のフ
レームに対して改変を施す。そして、改変が施されたフ
レームを含むベースバンドストリームは、DVDプレー
ヤ10に搭載されたNTSCエンコーダ14によってN
TSC(National Television System Committee)方式
のアナログ信号に変換され、デジタルビデオ記録装置2
0に出力される。
【0073】このとき、図10(a)に示すようなDV
D30に記録された元のMPEGストリームは、画像処
理部12によって図10(b)に示すようなベースバン
ドストリームとなる。なお、図10(b)においては、
第3のフレームが改変された場合を図示している。そし
て、デジタルビデオ記録装置20側で、図10(c)に
示すように、改変された第3のフレームがIピクチャ又
はPピクチャとしてMPEGエンコードされると、図1
及び図2を参照しながら説明したようにして画質の劣化
が生じることとなる。
【0074】なお、NTSCエンコーダ14に代えて、
PAL(Phase Alternation by Line)方式のアナログ
信号に変換処理するPALエンコーダや、SECAM
(S'Equentiel Couleur'AMemoire)方式のアナログ信号
に変換処理するSECAMエンコーダを備えるとしても
よい。
【0075】なお、図9及び図10においては、MPE
GストリームをMPEGデコーダ13によってベースバ
ンドストリームに変換処理した後に、フレームに対する
改変を施す場合の例について図示しているが、図7及び
図8で図示したように、MPEGストリームに含まれる
フレームに対して直接改変を施し、この改変を施した後
のMPEGストリームをアナログ信号であるベースバン
ドストリームに変換して出力した場合についても、上述
と同様にしてアナログ信号を介した不正な複製を防止す
ることができることは述べるまでもない。
【0076】すなわち、フレームに対する改変処理は、
MPEGストリームに対して施してもよいし、ベースバ
ンドストリームに対して施してもよい。
【0077】ここで、MPEGストリームに対してフレ
ームの改変を施す場合におけるDVDプレーヤ10での
一連の処理について、図11を参照しながら説明する。
ここでは、DVDプレーヤ10に、図7に示すように、
MPEGパーサー11及び画像処理部12が備えられて
いるものとする。
【0078】この場合に、DVD30に記録されたMP
EGストリームの読み取りが開始されると、DVDプレ
ーヤ10に備えられたMPEGパーサー11は、図12
においてステップS10に示すように、ピクチャヘッダ
の解析を行い、各フレームがIピクチャ、Bピクチャ、
又はPピクチャのいずれであるかを解析する。そして、
ステップS11において、画像処理部12は、処理対象
のピクチャがBピクチャであるか否かを判断する。この
判断の結果、Bピクチャである場合には処理を次のステ
ップS12に進め、Bピクチャでない場合には処理をス
テップS14に進める。
【0079】ステップS12において、画像処理部12
は、処理対象のフレームが改変を施すピクチャであるか
否かを判断する。この判断は、ピクチャに対して改変を
施す頻度などに応じて行うとすればよい。そして、この
判断の結果、改変を施すピクチャである場合には、処理
を次のステップS13に進めて、このピクチャに対して
改変を施し、改変を施すピクチャでない場合には、処理
をステップS14に進める。
【0080】ステップS14において、画像処理部12
は、1ピクチャ分(すなわち、1フレーム分)の画像を
出力する。
【0081】次に、ステップS15において、MPEG
パーサー11は、一連のMPEGストリームに対する処
理が終了したか否かを判断する。この判断の結果、終了
している場合には動作を停止し、終了していない場合に
は、処理をステップS10に戻して画像処理動作を継続
する。
【0082】以上のようにして、MPEGストリームに
対してフレームの改変を施す場合には、ピクチャを単位
として改変処理を行う。
【0083】つぎに、ベースバンドストリームに対して
フレームの改変を施す場合におけるDVDプレーヤ10
での一連の処理について、図12を参照しながら説明す
る。ここでは、図13に示すように、MPEGデコード
処理を行うMPEGデコーダ40と、MPEGデコーダ
40によって伸張された画像(フレーム)が一時的に記
憶されるフレームメモリ41と、このフレームメモリ4
1に記憶されたフレームに対して改変を施す画像処理部
42と、フレームメモリ41に記憶された一連のフレー
ムを所定の信号方式に変換して出力するビデオエンコー
ダ43とがDVDプレーヤ10に備えられているものと
する。
【0084】この場合に、DVD30に記録されたMP
EGストリームの読み取りが開始されると、DVDプレ
ーヤ10に備えられたMPEGデコーダ40によって、
このMPEGストリームが伸張され、伸張されたフレー
ムが順次フレームメモリ41に出力され、このフレーム
メモリ41に記憶される。
【0085】このとき、画像処理部42は、フレームメ
モリ41内に記憶された各フレームに対して、図12に
おいてステップS20に示すように、このフレームが改
変処理の対象となるフレームか否かを判断する。そし
て、この判断の結果、改変するフレームである場合には
処理を次のステップS21に進めて、このフレームに対
して改変を施し、改変するフレームでない場合には処理
をステップS22に進める。
【0086】ステップS22において、画像処理部42
は、処理対象のフレームをフレームメモリ41に対して
出力する。次に、ステップS23において、画像処理部
42は、一連のMPEGストリームに相当するフレーム
に対する処理を全て終了したか否かを判断する。この判
断の結果、終了している場合には動作を停止し、終了し
ていない場合には、処理をステップS20に戻して画像
処理動作を継続する。
【0087】一方、ビデオエンコーダ43は、フレーム
メモリ41に記憶されたフレームを順次読み出して信号
変換処理を行い、外部に出力する。
【0088】以上のようにして、ベースバンドストリー
ムに対してフレームの改変を施す場合には、MPEGデ
コードを行った後のフレームを単位として改変処理を行
う。
【0089】ところで、上述においては、元のビデオス
トリーム中に含まれる複数のフレームから選ばれた1つ
或いは複数のフレームに対して、個別に改変を行うとし
て説明している。しかしながら、上述のような構成とす
ることに限定されるものではなく、元のビデオストリー
ム中に含まれる複数のフレームの全てに対して改変を加
えるとしてもよい。そこで、以下では、全てのフレーム
に対して改変を加えるとした場合について述べる。
【0090】この場合においても、上述と同様に、例え
ばDVD30等の情報記録媒体に対して予め改変が施さ
れたMPEGストリームが記録されているとしてもよい
し、DVDプレーヤ10側で改変を加えるとしてもよ
い。また、MPEGストリームに対してフレームの改変
を施すとしてもよいし、ベースバンドストリームに対し
てフレームの改変を施すとしてもよい。そこで、以下で
は、全てのフレームに対して改変を加えるとした場合の
一例として、図3及び図5に示したように、予め改変が
施されたMPEGストリームがDVD30に記録されて
いる場合について説明する。
【0091】まず、図3に示したように、DVD30に
記録された動画像をDVDプレーヤ10によって読み取
り、MPEGストリームのままでデジタル信号としてデ
ジタルビデオ記録装置20に出力し、このデジタルビデ
オ記録装置20内の記録装置22に複製して記録するこ
とを想定する。また、DVD30にMPEG方式で記録
された動画像は、図14(a)に示すように、全てのピ
クチャ(フレーム)に対して改変が施されているものと
する。
【0092】この場合には、DVDプレーヤ10からデ
ジタルビデオ記録装置20に対して動画像がMPEGス
トリームのまま直接伝送されるため、MPEGデコード
或いはMPEGエンコードは行われない。したがって、
デジタルビデオ記録装置20の記録装置22には、図1
4(b)に示すように、図14(a)に示した元のMP
EGストリームと同様に、各ピクチャが改変された状態
のまま記録される。
【0093】この場合においては、デジタル信号により
元のMPEGストリームのままで動画像が伝送されてい
るため、画像の劣化は生じない。このときの不正な複製
の防止は、従来から用いられているCPRM等の各種複
製防止技術を用いて行うことができる。
【0094】なお、デジタルビデオ記録装置20側で、
例えば解像度を変更して記録する場合には、誤差や動き
ベクトルの補間が行われるが、改変が施された各ピクチ
ャの性質、すなわち不正な複製の防止効果が損なわれる
ことはない。
【0095】つぎに、図5に示したように、DVD30
に記録された動画像をDVDプレーヤ10によって読み
取り、アナログ信号であるベースバンドストリームに変
換した後にデジタルビデオ記録装置20に出力し、この
デジタルビデオ記録装置20内でMPEGエンコード処
理を行って記録装置22に記録する場合を想定する。
【0096】この場合には、全てのピクチャが改変され
ているため、図15(a)に示すようなMPEGストリ
ームが、DVDプレーヤ10内に搭載されたMPEGデ
コーダによって変換され、図15(b)に示すようなベ
ースバンドストリームとしてデジタルビデオ記録装置2
0に出力される。
【0097】そして、デジタルビデオ記録装置20側に
搭載されたMPEGエンコーダによって、図15(c)
に示すように、このベースバンドストリームが再度MP
EGエンコードされる。このとき、ベースバンドストリ
ームに含まれる全てのフレームが改変されていることか
ら、確実に画像の劣化が生じることとなる。
【0098】なお、上述の説明においては、ベースバン
ドストリームがアナログ信号により伝送された場合につ
いて説明したが、ベースバンドストリームがデジタル信
号により伝送される場合についても上述と同様にして不
正な複製を防止することができる。
【0099】つぎに以下では、フレームに対して施す
「改変」について、具体的な例を上げながら説明するこ
ととする。
【0100】フレームに対して施す改変の第1の例とし
ては、改変前のフレームを構成する少なくとも1つの画
素(ピクセル)の情報を、当該画素の近傍に位置する画
素の情報と入れ替えることを挙げることができる。これ
により、改変を加えたフレームを含むビデオストリーム
をMPEG方式によりエンコードする際に、改変を加え
たフレームが動き補償を阻害し、これによって予測によ
る圧縮を困難にして画質の劣化が生じる。
【0101】なお、この第1の例における改変を加える
に際して、情報を入れ替える画素の数は、エンコード時
に予測による圧縮を十分に困難とする程度以上とするこ
とが必要となる。ただし、情報を入れ替える画素の数を
増やしすぎると、このフレーム自体の画質の劣化が目立
ち始め、視覚的な影響が生じてしまう。したがって、情
報を入れ替える画素の数は、これらの範囲で決定すれば
よい。
【0102】また、フレームに対して施す改変の第2の
例としては、改変前のフレームのうちの少なくとも一部
を変形させることを挙げることができる。これにより、
改変を加えたフレームを含むビデオストリームをMPE
G方式によりエンコードする際に、改変を加えたフレー
ムが動き補償を阻害し、これによって予測による圧縮を
困難にして画質の劣化が生じる。
【0103】このとき、フレーム内の所定の領域だけを
変形させるとしてもよいし、フレームを全体的に変形さ
せるとしてもよい。また、変形を加える位置は、1カ所
だけに限定されるものではなく、フレーム内の複数の領
域を変形させるとしてもよい。この第2の例における変
形は、ひねり、歪み、或いは傾斜など、各種の変形を微
少な量だけフレームに対して加えることにより実現する
ことができる。
【0104】また、複数の連続したフレームに対して変
形を加えるに際しては、例えば図16に示すように、連
続的に変形の度合いを変化させるとしてもよい。これに
より、視覚的な影響を増大させることなく、大きな変形
を加えることができ、エンコード時の動き補償を十分に
阻害して、予測による圧縮を確実に困難なものとするこ
とができる。
【0105】また、フレームに対して施す改変の第3の
例としては、改変前のフレームにおける色差信号にノイ
ズを付与することを挙げることができる。以下ではこの
場合について説明する。
【0106】ここで、改変を施すフレームにおける1次
元方向(例えば横軸方向)の輝度信号(Y)と色差信号
(Cb及びCr)との例を、図17に示す。このとき、
改変を施す前の波形が、輝度信号と色差信号とで図17
に示すように階段状の波形であるものとする。このよう
なフレームに対して改変を施すに際しては、図17に示
すように、輝度信号(Y)はそのままで、色差信号(C
b及びCr)の波形に高周波数帯域のノイズを付与す
る。
【0107】なお、人間の視覚は、色の高域信号に対し
て鈍感であるため、上述のようにして付与したノイズ分
の変化は、感知しにくいか、或いは全く感知できないも
のとなる。
【0108】ここで、このようにして色差信号にノイズ
が付与されたビデオストリームに対して、MPEGエン
コードを行う場合を考える。なお、MPEGエンコード
時に、エンコード対象とされているフレーム(エンコー
ド中のフレーム)の輝度信号(Y)及び色差信号(C
b,Cr)と、このエンコード中のフレームがエンコー
ドに際して参照する元のフレーム(リファレンスフレー
ム)の輝度信号(Y)及び色差信号(Cb,Cr)との
一例を、図18に示す。
【0109】図18に示した波形において、エンコード
中のフレームとリファレンスフレームとの輝度信号を比
較すると、水平方向に僅かにずれているだけであるた
め、リファレンスフレームの波形を破線で挟んで示す部
分が、エンコード中の波形を挟んで示す部分に一致す
る。したがって、エンコード時には、この2つの部分の
位置の差を動きベクトルとして生成すればよいこととな
る。
【0110】ところが、色差信号についてエンコード中
のフレームとリファレンスフレームとを比較すると、後
から付与したノイズが一致しないため、同様にして破線
で挟んで示す部分を比べると大きな差が生じていること
が分かる。なお、図18において破線で挟んで示す部分
を抜粋して並べたものを、図19に図示する。
【0111】したがって、色差信号については、この大
きな差を誤差信号としてMPEGストリームに記録する
必要が生じてしまう。このように、色差信号にノイズを
付与することによって、予測によるデータ量の圧縮を効
率よく行うことを阻害することができる。これにより、
エンコード後のMPEGストリームにおけるデータ量
を、著しく増大させることができる。このため、特にM
PEGストリームの転送ビットレートに制限がある場合
には、エンコード後の画質が著しく劣化することとな
る。
【0112】なお、上述の説明においては、輝度信号及
び色差信号における1次元方向の波形について説明した
が、実際にビデオストリーム中のフレームに対して色差
信号にノイズを付与する場合には、図20に示すよう
に、2次元的に分散した成分を有するノイズを付与する
ことが望ましい。これにより、視覚的な影響が生じるこ
となく、エンコード時における画質の劣化に対する効果
を向上させることができる。なお、図20においては、
フレームに対して付与するノイズのうち、正の振幅を付
与する領域を白い領域で示し、負の振幅を付与する領域
を黒い領域で示している。
【0113】また、このような2次元的な成分を有する
ノイズとしては、MPEGエンコード時に離散コサイン
変換(DCT:Discrete cosine transform)を行った
ときに、図21に示すように、所定の領域にパワーが集
中するものを選択することができる。これにより、上述
したように2次元的な成分を有するノイズをMPEGス
トリームに挿入することを容易とすることができる。
【0114】具体的には、例えば図22に示すように、
MPEGエンコードを行う際に、各フレーム毎の差分を
抽出し、DCTを行った後で、特定の係数を入れ替える
ことによって、フレームにノイズ成分を極めて簡便且つ
効果的に挿入することが可能となる。
【0115】また、例えば図23に示すように、例えば
トランスポートストリームやエレメンタリストリームと
いった形とされたMPEGストリームに対しても、リア
ルタイムでノイズ成分を挿入することも容易である。す
なわち、このようなMPEGストリームをDCT係数ま
でデコードした後に、特定の係数を入れ替えて、再びM
PEGエンコードを行ってMPEGストリームを生成す
る。このとき、図中において斜線部で示す右下のDCT
係数が、MPEGでのスキャン順で最後になるので、最
も入れ替えが容易である。また、本方式での効果も大き
い。
【0116】なお、本例において加えるノイズのレベル
は、元のフレームを256階調のグレースケールとして
考えると、20〜30階調程度に相当するレベルとする
ことが望ましい。これにより、視覚的な影響が生じるこ
とがなく、十分に不正な複製を防止することが可能とな
る。
【0117】また、MPEGストリームにおいては、い
わゆる4:2:0方式により色のコンポーネントが記録
されているため、色に割り当てられている情報量が多
い。したがって、上述したようにして色差信号にノイズ
を付与する方法のみならず、他の各種手法により、視覚
的な影響を無視できる程度で、且つ再エンコード時に画
質の劣化を招くような改変を加えるとしてもよい。具体
的には、例えば、色差信号を予め量子化しておくこと
や、印刷技術で用いられているように色分解を行うこと
などの手法が考えられる。
【0118】なお、上述においては、「フレーム」に対
して改変するとして説明したが、フレームを構成する
「フィールド」(偶数フィールドと奇数フィールド)に
対して改変を施すとしてもよい。
【0119】つぎに、「フレーム」に対して施す「改
変」のその他の例、および、「フィールド」に対して施
す「改変」の具体例について説明する。
【0120】前述したように、フレームに対して「改
変」を施す場合、2次元的に分散した成分を有するノイ
ズを付与することが望ましい。これにより、視覚的な影
響が生じることなく、エンコード時における画質の劣化
に対する効果を向上させることができる。2次元的な成
分を有するノイズとして先に図20を参照して説明した
ように、正の振幅、および負の振幅を付与する領域を交
互に配置する構成例があるが、さらに、サイン波を用い
る方法がある。
【0121】具体的には、輝度信号(Y)フレームと、
色差信号(Cb及びCr)フレーム中の色差信号(Cb
及びCr)フレームに対して、図24に示す構成に従っ
て、Cbフレーム、Crフレームの2次元平面にサイン
波を加算して、フレームの改変を施す。
【0122】図24において、フレーム入力手段111
は、動画像を構成するフレーム中の、Cbフレームまた
はCrフレーム101を選択して重畳処理手段103と
しての加算手段に対して出力し、高周波帯域信号生成手
段112は、CbフレームまたはCrフレーム101と
ほぼ同様の平面領域に広がる2次元平面に広がるサイン
波信号102を重畳処理手段103としての加算手段に
出力する。重畳処理手段103は、Cbフレームまたは
Crフレーム101と2次元平面に広がるサイン波信号
102との重畳処理を実行し、改変された改変フレーム
(CbまたはCr)104を出力する。
【0123】サイン波からなる2次元の高域信号の具体
的な例としては、垂直、水平方向の原点からの距離を
Y,Xで表し、サンプル点間の距離を1に正規化して、
信号の強度を0−255の正の値で表した場合、信号:
Sとして下式によって示されるサイン波が適用可能であ
る。 なお、上記式において、Aは振幅を表し、A≒20〜3
0、nは水平方向の周波数がサンプル周波数の何倍であ
るかを表す数値であり、n≒0.9〜0.6、とする設
定が好ましい。
【0124】上記式によって示される信号Sをフレーム
領域であるXY平面上において発生させてフレーム領域
に広がるサイン波信号102を生成し、Cbフレームま
たはCrフレーム101に対して重畳処理手段103に
よって重畳し、改変フレーム(CbまたはCr)104
を出力する。このように2次元的に分散した成分を有す
るノイズの付与により、視覚的な影響の発生を抑制する
ことが可能となる。
【0125】このような2次元的に分散したノイズの付
与による効果について、図25乃至図27を参照して説
明する。
【0126】改変処理は、CbフレームまたはCrフレ
ームの一方または双方に対して2次元的に実行され、改
変処理を施すフレームにおける輝度信号(Y)と色差信
号(Cb及びCr)の各フレームにおけるX軸またはY
軸方向の信号波形が図25(a)の形状であったとす
る。横軸がX軸またはY軸方向の位置、縦軸が信号レベ
ルを示す。輝度信号(Y)には、ノイズを加えず、上記
式に従った信号:S、すなわち2次元的に分散したサイ
ン波等の高周波信号を色差信号(Cb及びCr)の各フ
レームに付加することにより、図25(b)に示すよう
に、色差信号(Cb及びCr)の各フレームは、サイン
波形状の信号が重畳した信号に変化する。
【0127】なお、人間の視覚は、色の高域信号に対し
て鈍感であるため、上述のようにして(Cb及びCr)
の各フレームに付与したノイズ分の変化は、感知しにく
いか、或いは全く感知できないものとなる。
【0128】ここで、このようにして色差信号にノイズ
が付与されたビデオストリームに対して、MPEGエン
コードを行う場合を考える。なお、MPEGエンコード
時に、エンコード対象とされているフレーム(エンコー
ド中のフレーム)の輝度信号(Y)及び色差信号(C
b,Cr)と、このエンコード中のフレームがエンコー
ドに際して参照する元のフレーム(リファレンスフレー
ム)の輝度信号(Y)及び色差信号(Cb,Cr)との
一例を、図26に示す。
【0129】図26に示した波形において、(a)の輝
度信号(Y)に関するエンコード中のフレームとリファ
レンスフレームとを比較すると、水平方向に僅かにずれ
ているだけであるため、リファレンスフレームの波形を
破線で挟んで示す部分が、エンコード中の波形を挟んで
示す部分に一致する。したがって、エンコード時には、
この2つの部分の位置の差を動きベクトルとして生成す
ればよいこととなる。
【0130】ところが、(b)に示す色差信号(Cb,
Cr)についてエンコード中のフレームとリファレンス
フレームとを比較すると、波形を破線で挟んで示す部分
において、後から付与したノイズ(サイン波)が一致し
ないため、(a)と同様の対応領域(破線で挟まれた領
域)について、エンコード中のフレームとリファレンス
フレーが一致せず、差が生じている。例えば、(b)に
示す色差信号(Cb,Cr)についてリファレンスフレ
ームのポイントPaの信号レベル変化は、右肩下がりを
示しているが、エンコード中のフレームの対応位置P
a’は、右肩上がりを示している。また、リファレンス
フレームのポイントPbの信号レベル変化は、右肩上が
りを示しているが、エンコード中のフレームの対応位置
Pb’は、右肩上がり部分にある。
【0131】このように、色差信号(Cb,Cr)につ
いては、エンコード中のフレームとリファレンスフレー
ムが一致しない。したがって、色差信号については、こ
の差を誤差信号としてMPEGストリームに記録する必
要が生じてしまう。このように、色差信号にノイズを付
与することによって、予測によるデータ量の圧縮を効率
よく行うことを阻害することができる。これにより、エ
ンコード後のMPEGストリームにおけるデータ量を、
著しく増大させることができる。このため、特にMPE
Gストリームの転送ビットレートに制限がある場合に
は、エンコード後の画質が著しく劣化することとなる。
【0132】なお、上述の例においては、2次元的に分
散したサイン波を色差信号(Cb及びCr)の各フレー
ムに付加する例を示したが、サイン波に限らず、高周波
帯域信号、すなわち、MPEGエンコード時に離散コサ
イン変換(DCT:Discretecosine transform)を行っ
たときに、先に説明した図21に示すように、所定の領
域にパワーが集中する様々な高周波帯域信号をノイズ信
号として選択することが可能である。このような高周波
信号を適用することにより、人間の目によるノイズ分の
変化が感知しにくいか、或いは全く感知できないものと
なり、一方、上述したように、ノイズ成分の影響によ
り、予測によるデータ量の圧縮が阻害され、エンコード
後のMPEGストリームにおけるデータ量を、著しく増
大させることが可能となる。例えば高周波帯域信号とし
ては、正弦波、三角波、矩形波等が適用可能である。
【0133】また、重畳処理手段103の実行する高周
波帯域信号の重畳処理においては、動画像データを構成
するフレーム間の画像データの動きに応じて移動する高
周波帯域信号を重畳する処理、あるいは動画像データを
構成する各フレームにおいて、固定化された高周波帯域
信号を重畳する処理のいずれかを選択して実行し、視覚
的に目立ち難い態様での高周波帯域信号の重畳を行なう
ことが好ましい。
【0134】また、重畳処理手段103は、重畳処理を
実行するフレーム中の画素の輝度、または彩度に応じた
強度変化を持つ高周波帯域信号の重畳、例えば、輝度の
低い部分には高強度、彩度の高い部分には、低強度の信
号を重畳する等の強度調整を実行することで、視覚的に
目立ち難い態様での高周波帯域信号の重畳が可能とな
る。
【0135】次に、フレームを構成する「フィールド」
である偶数フィールドと奇数フィールドに対して改変を
施す具体例について説明する。
【0136】NTSC信号など使用されるインタレース
走査方式においては、1つのフレームが2つのフィール
ドから構成される。図27に示すように、第1フィール
ドから構成されるフレーム画像と、第2フィールドから
構成されるフレーム画像が1つずつ組み合わされて1フ
レーム画像が構成される。
【0137】輝度信号(Y)と色差信号(Cb及びC
r)の各フレームのそれぞれがこのような2つのフィー
ルドによって1フレームが形成される構成において、C
bフレームまたはCrフレームの一方、または両方につ
いて、第1フィールドと第2フィールドの色を変更する
「改変」構成について説明する。
【0138】輝度信号(Y)と色差信号(Cb及びC
r)は、RGB信号に対して、例えば以下の式によって
示す値をとるものとする。
【0139】このとき、Cb,Cr各コンポーネントに
ついて、あるピクセルの第1フィールドのオリジナル値
がaであり、隣接する第2フィールドのオリジナル値が
bであったとする。ただし、a,bは画素信号レベルを
示し、上記式に示す範囲の値をとり得るものとする。こ
の時、「改変」処理として画素の値を、図28(a)に
示すような設定とする。すなわち、以下のように設定す
る。第1フィールドの改変処理後の色差信号値をa’、
第2フィールドの改変処理後の色差信号値をb’とす
る。
【0140】すなわち、第1フィールドの色差信号値を
一律にa’=128にして、隣接する第2フィールドの
値を第1フィールドの値の増加分を調整した値:b’=
b+(a−128)として設定する。オリジナル値の第
1フィールドと第2フィールドの加算値はa+bであ
り、第1フィールドと第2フィールドの改変後の加算値
もa’+b’=128+b+(a−128)=a+bで
あり、全体としてバランスは調整されることになり、視
覚的な影響は小さく抑えられる。
【0141】あるいは、図28(b)に示すような設定
とする。すなわち、以下のように設定する。第1フィー
ルドの改変処理後の色差信号値をa’、第2フィールド
の改変処理後の色差信号値をb’とする。
【0142】すなわち、第1フィールドの色差信号値を
一律にα加算し、a’=a+αとし、隣接する第2フィ
ールドの値を第1フィールドの値の増加分を減算した
値:b’=b−αとして設定する。オリジナル値の第1
フィールドと第2フィールドの加算値はa+bであり、
第1フィールドと第2フィールドの改変後の加算値も
a’+b’=a+α+b−α=a+bであり、全体とし
てバランスは調整されることになり、視覚的な影響は小
さく抑えられる。
【0143】上述の第1フィールドと第2フィールドの
色差信号値変更としての「改変」処理を実行する画像処
理装置構成について、図29を参照して説明する。フィ
ールドデータ入力手段121は、上述したインターレー
ス画像を構成する第1フィールド、第2フィールドデー
タをそれぞれ改変値設定手段122に入力する。改変値
設定手段122は、予め設定された改変値設定式、例え
ば上述の(式a3)または(式a4)に従って、各フィ
ールドの改変値を設定し、改変処理実行手段123が、
改変値設定手段122の算出した値に基づいて、色差信
号(Cb及びCr)の各フィールド値の設定処理を実行
し、フィールドデータ出力手段124を介して改変値か
らなるフィールドデータを出力する。
【0144】通常の自然画像は近隣ピクセル間の相関が
大きいのでフレーム構造でエンコードすると高い圧縮率
が得られる。このためエンコーダーは通常フレーム構造
でのエンコードを選択する。しかし、上述のフィールド
毎の「改変」処理を実行すると、1フレームにおいて、
第1フィールドと第2フィールドの色差信号(Cb及び
Cr)が乖離することとなり、Cb,Cr各コンポーネ
ントについての信号レベルは図30に示すように、信号
レベルの差の大きいラインが入れ子になることになる。
【0145】このため前述の例と同じく、輝度信号
(Y)を元に動きベクトルを求ようとしても、輝度信号
(Y)に基づく対応ブロックにおいて、色差信号(Cb
及びCr)各コンポーネントについての相関が低下し、
対応するブロックにおける相関が得難くなり、この差を
誤差信号としてMPEGストリームに記録する必要が生
じてしまう。このように、色差信号にノイズを付与する
ことによって、予測によるデータ量の圧縮を効率よく行
うことを阻害することができる。これにより、エンコー
ド後のMPEGストリームにおけるデータ量を、著しく
増大させることができる。このため、特にMPEGスト
リームの転送ビットレートに制限がある場合には、エン
コード後の画質が著しく劣化することとなる。
【0146】さらに、複数画素からなる画素(ピクセ
ル)領域単位での「改変」処理例について、図31を参
照して説明する。図31(a)は、近隣ピクセルの色差
情報(Cb及びCr)の少なくともいずれかを1ピクセ
ルに集めるように画像を加工する例である。ここでは色
差信号:Cb及びCrの許容値の範囲を16から240
とし、無色となる中間値を128とする。
【0147】図31(a)の例について説明する。隣接
4ピクセルそれぞれのオリジナルの色差信号値をa,
b,c,dとし、改変後の改変色差信号値をa’,
b’,c’,d’とする。改変処理の第1ステップは、
隣接4ピクセルの内の3ピクセルの値を128に設定す
る処理である。すなわち、 a’=128 b’=128 c’=128 とする。
【0148】さらに、残りの1つのピクセルについて、
信号値を下記式によって設定する。
【0149】すなわち、信号値を128に設定した3ピ
クセルについて、元の信号値a,b,cと改変設定値:
128との差分の和を、信号値:dに加算し、改変信号
値:d’として設定する。
【0150】オリジナル値の4つのピクセルの色差信号
加算値はa+b+c+dであり、改変後の信号加算値も
a’+b’+c’+d’=128+128+128+d
+(a−128)+(b−128)+(c−128)=
a+b+c+dであり、全体としてバランスは調整され
ることになり、視覚的な影響は小さく抑えられる。
【0151】なお、上述の(式a5)で、ピクセル値:
d’の値が16〜240に設定されない場合、すなわち
16未満、あるいは240を超える場合は、さらに、以
下の調整を実行する。
【0152】D=d+(a−128)+(b−128)
+(c−128)<16の場合、 d’=16に設定、 a’=128−((16−D)/3) b’=128−((16−D)/3) c’=128−((16−D)/3)
【0153】また、D=d+(a−128)+(b−1
28)+(c−128)>240の場合、 d’=240に設定、 a’=128+((D−240)/3) b’=128+((D−240)/3) c’=128+((D−240)/3)
【0154】上記処理を施した場合も、改変後の信号加
算値は、a’+b’+c’+d’=a+b+c+dであ
り、全体としてバランスは調整されることになり、視覚
的な影響は小さく抑えられる。
【0155】図31(b)は、近隣ピクセルの色差情報
を許される範囲で出来るだけ大きく離すように画像を加
工する例である。ここでは許される値の範囲を16から
240、無色となる中間値を128とする。図31
(b)に示す例について説明する。隣接2ピクセルそれ
ぞれのオリジナルの色差信号値をa,bとし、改変後の
改変色差信号値をa’,b’とする。まず、隣接2ピク
セルの信号値の加算データ:(a+b)が256以下で
あるかを判定する。
【0156】(a+b)≦256の場合には、一方の改
変色差信号値をa’=16として設定し、他方の改変色
差信号値をb’=b+(a−16)として設定する。
【0157】また、(a+b)>256の場合には、一
方の改変色差信号値をa’=a+(b−240)として
設定し、他方の改変色差信号値をb’=240として設
定する。
【0158】上述の画素単位での改変処理においても、
隣接2画素の色差信号のオリジナルの値の加算値:a+
bに対して、改変後の色差信号の加算値:a’+b’=
a+bであることが保証され、全体としてバランスは調
整されることになり、視覚的な影響は小さく抑えられ
る。
【0159】上述の複数の画素からなる単位画素領域に
おいて、色差信号変更としての「改変」処理を実行する
画像処理装置構成について、図32を参照して説明す
る。フレームデータ入力手段131は、動画像を構成す
るフレーム画像を単位画素領域設定手段132に入力す
る。単位画素領域設定手段132は、例えば図31
(a)のように4画素、あるいは図31(b)のように
2画素の隣接画素を、あらかじめ定めた設定に従って、
単位画素領域として設定する。改変処理実行手段133
は、単位画素領域設定手段132の設定した単位画素領
域について、予め設定された改変値設定式、例えば上述
の(式a5)または図31(b)に対応する処理に従っ
て、各画素の改変値の設定処理を実行し、フレームデー
タ出力手段134を介して改変値からなるフレームデー
タを出力する。
【0160】上述の画素単位領域毎の改変処理は、要約
すると以下の2つの処理ステップを実行するものとして
まとめることができる。すなわち、動画像データを構成
し、輝度信号および色差信号成分を含む画素データから
なるフレーム画像の色差信号成分フレームに対して、色
差信号成分フレームの複数の隣接画素からなる領域を単
位画素領域として設定する単位画素領域設定ステップ
と、単位画素領域に含まれるn個の画素のオリジナル信
号値をa1〜anとし、それぞれの改変信号値をa1’
〜an’としたとき、改変信号値の加算値:Σak’
(ただしk=1〜n)をオリジナル信号値の加算値:Σ
ak(ただしk=1〜n)と等価、すなわち、Σak’
=Σakとなる設定の下に各隣接画素の色差信号値の変
更処理を実行する改変処理ステップである。
【0161】このような単位画素単位での色差信号値の
変更による改変処理を行なうことで、前述の例と同じ
く、輝度信号(Y)を元に動きベクトルを求ようとして
も、輝度信号(Y)に基づく対応ブロックにおいて、色
差信号(Cb及びCr)各コンポーネントについての相
関が低下し、対応するブロックにおける相関が得難くな
り、この差を誤差信号としてMPEGストリームに記録
する必要が生じてしまう。従って、データ圧縮の効率化
を阻害することができる。これにより、エンコード後の
MPEGストリームにおけるデータ量を増大させること
ができる。このため、特にMPEGストリームの転送ビ
ットレートに制限がある場合には、エンコード後の画質
が著しく劣化することとなる。
【0162】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
【0163】なお、明細書中において説明した一連の処
理はハードウェア、またはソフトウェア、あるいは両者
の複合構成によって実行することが可能である。ソフト
ウェアによる処理を実行する場合は、処理シーケンスを
記録したプログラムを、専用のハードウェアに組み込ま
れたコンピュータ内のメモリにインストールして実行さ
せるか、あるいは、各種処理が実行可能な汎用コンピュ
ータにプログラムをインストールして実行させることが
可能である。
【0164】例えば、プログラムは記録媒体としてのハ
ードディスクやROM(Read OnlyMemory)に予め記録し
ておくことができる。あるいは、プログラムはフレキシ
ブルディスク、CD−ROM(Compact Disc Read Only
Memory),MO(Magneto optical)ディスク,DVD(Dig
ital Versatile Disc)、磁気ディスク、半導体メモリな
どのリムーバブル記録媒体に、一時的あるいは永続的に
格納(記録)しておくことができる。このようなリムー
バブル記録媒体は、いわゆるパッケージソフトウエアと
して提供することができる。
【0165】なお、プログラムは、上述したようなリム
ーバブル記録媒体からコンピュータにインストールする
他、ダウンロードサイトから、コンピュータに無線転送
したり、LAN(Local Area Network)、インターネット
といったネットワークを介して、コンピュータに有線で
転送し、コンピュータでは、そのようにして転送されて
くるプログラムを受信し、内蔵するハードディスク等の
記録媒体にインストールすることができる。
【0166】なお、明細書に記載された各種の処理は、
記載に従って時系列に実行されるのみならず、処理を実
行する装置の処理能力あるいは必要に応じて並列的にあ
るいは個別に実行されてもよい。
【0167】
【発明の効果】本発明においては、ビットストリームに
含まれる単位グループのうちの少なくとも1つのフレー
ムが、アナログ信号に変換した後に再び上記動画像圧縮
方式に従ってエンコードした際に、動き補償を阻害し、
これにより予測による圧縮を困難にして画質の劣化を招
くように改変されている。したがって、アナログ方式に
変換後に再度エンコードを行うことによる不正な複製を
防止することができる。なお、デジタル方式の信号を介
しての複製は、従来から利用されているCPRMなどの
技術を用いればよい。このため、本発明によれば、不正
な複製を確実に防止して、著作権の保護に貢献すること
ができる。また、本発明においては、フレームに加える
改変が視覚的な影響が無視できる程度であることから、
複製をせずに視聴する場合には違和感が生じない。
【0168】また、本発明の構成によれば、フレーム単
位またはフィールド単位、あるいは画素領域単位による
色差信号に改変を加える構成とし、動画像圧縮方式に従
ってエンコードした際に、輝度信号に対応するブロック
における色差信号の相関を低下させる構成としたので、
動きベクトルの取得が困難となり、予測符号化が困難に
なり、データ圧縮の効率化を阻害することができ、エン
コード後のMPEGストリームにおけるデータ量を増大
させることができる。このため、特にMPEGストリー
ムの転送ビットレートに制限がある場合には、エンコー
ド後の画質が著しく劣化することとなり、不正な複製防
止、著作権保護に貢献することができる。
【0169】したがって、本発明によれば、動画像の不
正な複製を確実に防止することを可能とするデジタル信
号出力方法、及びデジタル信号出力装置を実現すること
ができる。また、不正な複製を確実に防止することが可
能な形で動画像が記録されてなる情報記録媒体を実現す
ることができる。
【図面の簡単な説明】
【図1】本発明を適用して不正な複製を防止する機器と
して例示するDVDプレーヤと、このDVDプレーヤに
接続されるデジタルビデオ記録装置とを示す概略図であ
る。
【図2】同例において、不正な複製が防止される仕組み
を説明するための模式図である。
【図3】本発明を適用して不正な複製を防止する状態で
動画像が記録されたDVDと、このDVDから動画像を
複製する機器の接続例を示す概略図である。
【図4】同例において、MPEGストリームが機器間で
直接伝送される場合を説明するための模式図である。
【図5】本発明を適用して不正な複製を防止する状態で
動画像が記録されたDVDと、このDVDから動画像を
複製する機器の別の接続例を示す概略図である。
【図6】同例において、MPEGストリームがベースバ
ンドストリームに変換されて機器間で伝送される場合を
説明するための模式図である。
【図7】本発明を適用して、DVDに記録された動画像
に改変を加えた上で、機器間で動画像が伝送される場合
の接続例を示す概略図である。
【図8】同例において、MPEGストリームが機器間で
直接伝送される場合を説明するための模式図である。
【図9】本発明を適用して、DVDに記録された動画像
に改変を加えた上で、機器間で動画像が伝送される場合
の別の接続例を示す概略図である。
【図10】同例において、MPEGストリームがベース
バンドストリームに変換されて機器間で伝送される場合
を説明するための模式図である。
【図11】本発明を適用して、MPEGストリームに対
して直接改変を加える場合における手順の一例を示すフ
ローチャートである。
【図12】本発明を適用して、ベースバンドストリーム
に対して直接改変を加える場合における手順の一例を示
すフローチャートである。
【図13】同例を実際に実現するために、機器に備えら
れる構成を示す概略図である。
【図14】本発明を適用して、ビデオストリームに含ま
れる全フレームに対して改変が加えられた場合における
機器間での伝送を説明するための模式図である。
【図15】本発明を適用して、ビデオストリームに含ま
れる全フレームに対して改変が加えられた場合における
機器間での伝送を説明するための模式図である。
【図16】本発明を適用して、ビデオストリームに含ま
れる複数のフレームに対して連続的な変形を加える場合
の例を示す模式図である。
【図17】本発明を適用して、色差信号にノイズを付与
する場合の例について説明する模式図である。
【図18】同例において、再エンコードが行われる際の
リファレンスフレームとエンコード中のフレームとの信
号波型を示す模式図である。
【図19】同例において、リファレンスフレームとエン
コード中のフレームとの波形の差分を抽出した状態を示
す模式図である。
【図20】本発明を適用して、改変を加えるフレームに
対して2次元的なノイズを加える場合の例について説明
する模式図である。
【図21】同例において、改変が加えられたフレームに
対してDCT変換を行った状態を示す模式図である。
【図22】同例において、MPEGエンコードを行う際
にDCT変換を行った後に係数の入れ替えを行うことに
よりノイズを付与する場合の例について説明する模式図
である。
【図23】同例において、MPEGストリームに対して
係数の入れ替えを行うことによりノイズを付与する場合
の例について説明する模式図である。
【図24】高周波信号の重畳によるノイズ付加構成を示
すブロック図である。
【図25】本発明を適用して、色差信号にノイズを付与
する場合の例について説明する模式図である。
【図26】同例において、再エンコードが行われる際の
リファレンスフレームとエンコード中のフレームとの信
号波型を示す模式図である。
【図27】インタレース走査方式におけるフィールドお
よびフレーム構成について説明する図である。
【図28】本発明を適用して、各フィールドの色差信号
を改変する場合の例について説明する模式図である。
【図29】本発明を適用して、各フィールドの色差信号
の改変を実行する画像処理装置構成について説明する模
式図である。
【図30】本発明を適用して、各フィールドの色差信号
を改変する場合の例について説明する模式図である。
【図31】本発明を適用して、複数画素からなる画素領
域の色差信号を改変する場合の例について説明する模式
図である。
【図32】本発明を適用して、複数画素からなる画素領
域の色差信号の改変を実行する画像処理装置構成につい
て説明する模式図である。
【符号の説明】
10 DVDプレーヤ 11 MPEGパーサー 12 画像処理部 13 MPEGデコーダ 14 NTSCエンコーダ 20 デジタルビデオ記録装置 21 MPEGエンコーダ 22 記録装置 30 DVD 101 CbフレームまたはCrフレーム 102 サイン波信号 103 重畳処理手段 104 改変フレーム 111 フレーム入力手段 112 高周波帯域信号生成手段 121 フィールドデータ入力手段 122 改変値設定手段 123 改変処理実行手段 124 フィールドデータ出力手段 131 フレームデータ入力手段 132 単位画素領域設定手段 133 改変処理実行手段 134 フレームデータ出力手段
フロントページの続き Fターム(参考) 5C053 FA13 FA24 GB19 GB23 GB37 JA30 5C055 AA04 CA15 EA04 EA16 GA39 5D044 AB07 BC01 BC03 CC04 CC09 DE50 GK08 HL08 HL09

Claims (49)

    【特許請求の範囲】
  1. 【請求項1】複数の連続したフレームからなる動画像を
    映像信号として出力するに際して、 上記動画像のうちの少なくとも1つのフレームに対し
    て、視覚的な影響が無視できる程度の改変を加えるフレ
    ーム改変ステップを有し、 上記フレーム改変ステップにおいては、上記動画像を、
    複数の連続したフレームからなる単位グループ毎に、所
    定のフレームに基づいて他のフレームの復号化が行われ
    る動画像圧縮方式に従ってエンコードした際に、改変を
    加えたフレームが動き補償を阻害し、これによって予測
    による圧縮を困難にして画質の劣化を招くような改変を
    加えることを特徴とする映像信号出力方法。
  2. 【請求項2】上記フレーム改変ステップにより改変が加
    えられたフレームを含む映像信号を、複数の連続したフ
    レームからなる単位グループ毎に、所定のフレームに基
    づいて他のフレームの復号化が行われる動画像圧縮方式
    に従ったビットストリームとして、デジタル信号で出力
    することを特徴とする請求項1記載の映像信号出力方
    法。
  3. 【請求項3】上記フレーム改変ステップにより改変が加
    えられたフレームを含む映像信号を、アナログ信号とし
    て出力することを特徴とする請求項1記載の映像信号出
    力方法。
  4. 【請求項4】上記フレーム改変ステップにおいては、復
    号化時に他のフレームから参照されないフレームに対し
    て改変を加えることを特徴とする請求項1記載の映像信
    号出力方法。
  5. 【請求項5】上記フレーム改変ステップにおいては、全
    てのフレームに対して改変を加えることを特徴とする請
    求項1記載の映像信号出力方法。
  6. 【請求項6】上記フレーム改変ステップにおいては、改
    変前のフレームを構成する少なくとも1つの画素の情報
    を、当該画素の近傍に位置する画素の情報と入れ替える
    ことにより改変を加えることを特徴とする請求項1記載
    の映像信号出力方法。
  7. 【請求項7】上記フレーム改変ステップにおいては、改
    変前のフレームのうちの少なくとも一部を変形させるこ
    とにより改変を加えることを特徴とする請求項1記載の
    映像信号出力方法。
  8. 【請求項8】上記フレーム改変ステップにおいては、改
    変前のフレームにおける色差信号にノイズを付与するこ
    とにより改変を加えることを特徴とする請求項1記載の
    映像信号出力方法。
  9. 【請求項9】上記フレーム改変ステップにおいては、改
    変するフレーム全体に2次元的に分散したノイズを付与
    することを特徴とする請求項8記載の映像信号出力方
    法。
  10. 【請求項10】上記フレーム改変ステップにおいては、
    改変するフレームに対して離散コサイン変換処理を行っ
    た後に、所定の係数を入れ替え、さらに上記動画像圧縮
    方式に従ってエンコードすることにより、改変するフレ
    ーム全体に2次元的に分散したノイズを付与することを
    特徴とする請求項9記載のデジタル信号出力方法。
  11. 【請求項11】複数の連続したフレームからなる単位グ
    ループ毎に、所定のフレームに基づいて他のフレームの
    復号化が行われる動画像圧縮方式に従ってビットストリ
    ームを出力するデジタル信号出力装置において、 上記単位グループのうちの少なくとも1つのフレームに
    対して、視覚的な影響が無視できる程度の改変を加える
    フレーム改変手段を備え、 上記フレーム改変手段は、上記ビットストリームをアナ
    ログ信号に変換した後に再び上記動画像圧縮方式に従っ
    てエンコードした際に、改変を加えたフレームが動き補
    償を阻害し、これによって予測による圧縮を困難にして
    画質の劣化を招くような改変を加えることを特徴とする
    デジタル信号出力装置。
  12. 【請求項12】上記フレーム改変手段は、復号化時に他
    のフレームから参照されないフレームに対して改変を加
    えることを特徴とする請求項11記載のデジタル信号出
    力装置。
  13. 【請求項13】上記フレーム改変手段は、上記単位グル
    ープを構成する全てのフレームに対して改変を加えるこ
    とを特徴とする請求項11記載のデジタル信号出力装
    置。
  14. 【請求項14】上記フレーム改変手段は、改変前のフレ
    ームを構成する少なくとも1つの画素の情報を、当該画
    素の近傍に位置する画素の情報と入れ替えることにより
    改変を加えることを特徴とする請求項11記載のデジタ
    ル信号出力装置。
  15. 【請求項15】上記フレーム改変手段は、改変前のフレ
    ームのうちの少なくとも一部を変形させることにより改
    変を加えることを特徴とする請求項11記載のデジタル
    信号出力装置。
  16. 【請求項16】上記フレーム改変手段は、改変するフレ
    ーム全体に2次元的に分散したノイズを付与することを
    特徴とする請求項15記載のデジタル信号出力装置。
  17. 【請求項17】上記フレーム改変手段は、改変するフレ
    ームに対して離散コサイン変換処理を行った後に、所定
    の係数を入れ替え、さらに上記動画像圧縮方式に従って
    エンコードすることにより、改変するフレーム全体に2
    次元的に分散したノイズを付与することを特徴とする請
    求項16記載のデジタル信号出力装置。
  18. 【請求項18】複数の連続したフレームからなる単位グ
    ループ毎に、所定のフレームに基づいて他のフレームの
    復号化が行われる動画像圧縮方式に従ってビットストリ
    ームが記録されてなる情報記録媒体において、 上記単位グループのうちの少なくとも1つのフレームに
    対して、視覚的な影響が無視できる程度の改変が加えら
    れており、 上記改変は、上記ビットストリームをアナログ信号に変
    換した後に再び上記動画像圧縮方式に従ってエンコード
    した際に、改変が加えられたフレームが動き補償を阻害
    し、これによって予測による圧縮を困難にして画質の劣
    化を招くものであることを特徴とする情報記録媒体。
  19. 【請求項19】上記改変は、復号化時に他のフレームか
    ら参照されないフレームに対して加えられていることを
    特徴とする請求項18記載の情報記録媒体。
  20. 【請求項20】上記改変は、上記単位グループを構成す
    る全てのフレームに対して加えられていることを特徴と
    する請求項18記載の情報記録媒体。
  21. 【請求項21】上記改変は、改変前のフレームを構成す
    る少なくとも1つの画素の情報を、当該画素の近傍に位
    置する画素の情報を入れ替えられてなることを特徴とす
    る請求項18記載の情報記録媒体。
  22. 【請求項22】上記改変は、改変前のフレームのうちの
    少なくとも一部が変形されてなることを特徴とする請求
    項18記載の情報記録媒体。
  23. 【請求項23】上記改変は、改変前のフレームにおける
    色差信号にノイズが付与されてなることを特徴とする請
    求項19記載の情報記録媒体。
  24. 【請求項24】上記改変は、改変されるフレーム全体に
    2次元的に分散したノイズが付与されてなることを特徴
    とする請求項23記載の情報記録媒体。
  25. 【請求項25】動画像に対する画像処理方法であり、 動画像データを構成し、輝度信号および色差信号成分を
    含む画素データからなるフレーム画像の色差信号成分フ
    レームに対して、フレーム2次元平面に広がる高周波帯
    域信号を重畳するステップを含むことを特徴とする画像
    処理方法。
  26. 【請求項26】前記高周波帯域信号は、フレーム画像の
    原点からの垂直方向および水平方向の距離をY,Xと
    し、振幅:A、水平方向および垂直方向の周波数比:n
    として設定される下式、 S=A×Sin((π×X)×n+π×Y) によって示されるサイン波であることを特徴とする請求
    項25に記載の画像処理方法。
  27. 【請求項27】前記高周波帯域信号は、正弦波、三角
    波、矩形波のいずれかであることを特徴とする請求項2
    5に記載の画像処理方法。
  28. 【請求項28】前記高周波帯域信号の重畳処理実行ステ
    ップは、 動画像データを構成するフレーム間の画像データの動き
    に応じて移動する高周波帯域信号の重畳処理ステップと
    して実行することを特徴とする請求項25に記載の画像
    処理方法。
  29. 【請求項29】前記高周波帯域信号の重畳処理実行ステ
    ップは、 動画像データを構成する各フレームにおいて、固定化さ
    れた高周波帯域信号の重畳処理ステップとして実行する
    ことを特徴とする請求項25に記載の画像処理方法。
  30. 【請求項30】前記高周波数帯域信号の重畳処理実行ス
    テップは、 フレーム中の画素の有する輝度、または彩度に応じた強
    度変化を持つ高周波帯域信号の重畳処理ステップとして
    実行することを特徴とする請求項25に記載の画像処理
    方法。
  31. 【請求項31】動画像に対する画像処理方法であり、 複数フィールドからなるインターレース画像における隣
    接フィールドの色差信号の信号値変更処理として、隣接
    フィールドのオリジナル信号値をa,bとし、それぞれ
    の改変信号値をa’b’としたとき、改変信号値の加算
    値a’+b’をオリジナル信号値の加算値:a+bと等
    価、すなわち、a’+b’=a+bとなる設定の下に各
    隣接フィールドの色差信号値の変更処理を実行する改変
    処理ステップ、 を有することを特徴とする画像処理方法。
  32. 【請求項32】前記改変処理ステップは、 一方のフィールドの改変信号値を一定値:K、すなわち
    a’=Kとして設定し、 他方の隣接フィールドの改変信号値b’を、b’=b+
    (a−K)として設定する処理を実行するステップであ
    ることを特徴とする請求項31に記載の画像処理方法。
  33. 【請求項33】前記改変処理ステップは、 一方のフィールドの改変信号値を、オリジナル信号値に
    一定値:αを加算した値、すなわちa’=a+αとして
    設定し、 他方の隣接フィールドの改変信号値b’を、b’=b−
    αとして設定する処理を実行するステップであることを
    特徴とする請求項31に記載の画像処理方法。
  34. 【請求項34】動画像に対する画像処理方法であり、 動画像データを構成し、輝度信号および色差信号成分を
    含む画素データからなるフレーム画像の色差信号成分フ
    レームに対して、色差信号成分フレームの複数の隣接画
    素からなる領域を単位画素領域として設定するステップ
    と、 前記単位画素領域に含まれるn個の画素のオリジナル信
    号値をa1〜anとし、それぞれの改変信号値をa1’
    〜an’としたとき、改変信号値の加算値:Σak’
    (ただしk=1〜n)をオリジナル信号値の加算値:Σ
    ak(ただしk=1〜n)と等価、すなわち、Σak’
    =Σakとなる設定の下に各隣接画素の色差信号値の変
    更処理を実行する改変処理ステップ、 を有することを特徴とする画像処理方法。
  35. 【請求項35】前記改変処理ステップは、 前記単位画素領域に含まれるn個の画素中、n−1個の
    改変信号値を一定値:P、すなわちa1’〜an−1’
    =Kとして設定し、 残り1画素の改変信号値an’を、an’=an+Σ
    (ak−P)(ただしk=1〜n−1)として設定する
    処理を実行するステップであることを特徴とする請求項
    34に記載の画像処理方法。
  36. 【請求項36】動画像に対する画像処理を実行する画像
    処理装置であり、 動画像データを構成し、輝度信号および色差信号成分を
    含む画素データからなるフレーム画像の色差信号成分フ
    レーム面積に略等しい領域としての2次元平面に広がる
    高周波帯域信号を生成する高周波帯域信号生成手段と、 前記高周波帯域信号を色差信号成分フレームに対して重
    畳する信号重畳処理手段と、 を有することを特徴とする画像処理装置。
  37. 【請求項37】前記高周波帯域信号は、フレーム画像の
    原点からの垂直方向および水平方向の距離をY,Xと
    し、振幅:A、水平方向および垂直方向の周波数比:n
    として設定される下式、 S=A×Sin((π×X)×n+π×Y) によって示されるサイン波であることを特徴とする請求
    項36に記載の画像処理装置。
  38. 【請求項38】前記高周波帯域信号は、正弦波、三角
    波、矩形波のいずれかであることを特徴とする請求項3
    6に記載の画像処理装置。
  39. 【請求項39】前記高周波帯域信号の重畳処理手段は、 動画像データを構成するフレーム間の画像データの動き
    に応じて移動する高周波帯域信号の重畳処理を実行する
    構成であることを特徴とする請求項36に記載の画像処
    理装置。
  40. 【請求項40】前記高周波帯域信号の重畳処理手段は、 動画像データを構成する各フレームにおいて、固定化さ
    れた高周波帯域信号の重畳処理を実行する構成であるこ
    とを特徴とする請求項36に記載の画像処理装置。
  41. 【請求項41】前記高周波数帯域信号の重畳処理手段
    は、 フレーム中の画素の有する輝度、または彩度に応じた強
    度変化を持つ高周波帯域信号の重畳処理を実行する構成
    であることを特徴とする請求項36に記載の画像処理装
    置。
  42. 【請求項42】動画像に対する画像処理を実行する画像
    処理装置であり、 複数フィールドからなるインターレース画像における隣
    接フィールドの色差信号の信号値改変処理として、 隣接フィールドのオリジナル信号値をa,bとし、それ
    ぞれの改変信号値をa’b’としたとき、改変信号値加
    算値a’+b’をオリジナル信号値加算値:a+bと等
    価、すなわち、a’+b’=a+bとなる設定の下に各
    隣接フィールドの色差信号値の改変処理を実行する改変
    処理実行手段、 を有することを特徴とする画像処理装置。
  43. 【請求項43】前記改変処理は、一方のフィールドの改
    変信号値を一定値:K、すなわちa’=Kとして設定
    し、 他方の隣接フィールドの改変信号値b’を、b’=b+
    (a−K)として設定する処理を実行する処理であるこ
    とを特徴とする請求項42に記載の画像処理装置。
  44. 【請求項44】前記改変処理は、一方のフィールドの改
    変信号値を、オリジナル信号値に一定値:αを加算した
    値、すなわちa’=a+αとして設定し、 他方の隣接フィールドの改変信号値b’を、b’=b−
    αとして設定する処理であることを特徴とする請求項4
    2に記載の画像処理装置。
  45. 【請求項45】動画像に対する画像処理を実行する画像
    処理装置であり、 輝度信号および色差信号成分を含む画素データからなる
    フレーム画像の色差信号成分フレームに対して、色差信
    号成分フレームの複数の隣接画素からなる領域を単位画
    素領域として設定する単位画素領域設定手段と、 前記単位画素領域に含まれるn個の画素のオリジナル信
    号値をa1〜anとし、それぞれの改変信号値をa1’
    〜an’としたとき、改変信号値の加算値:Σak’
    (ただしk=1〜n)をオリジナル信号値の加算値:Σ
    ak(ただしk=1〜n)と等価、すなわち、Σak’
    =Σakとなる設定の下に各隣接画素の色差信号値の変
    更処理を実行する改変処理実行手段と、 を有することを特徴とする画像処理装置。
  46. 【請求項46】前記改変処理実行手段は、 前記単位画素領域に含まれるn個の画素中、n−1個の
    改変信号値を一定値:P、すなわちa1’〜an−1’
    =Kとして設定し、 残り1画素の改変信号値an’を、an’=an+Σ
    (ak−P)(ただしk=1〜n−1)として設定する
    処理を実行することを特徴とする請求項45に記載の画
    像処理装置。
  47. 【請求項47】動画像に対する画像処理実行プログラム
    としてのコンピュータ・プログラムであって、前記コン
    ピュータ・プログラムは、 動画像データを構成し、輝度信号および色差信号成分を
    含む画素データからなるフレーム画像の色差信号成分フ
    レームに対して、フレーム2次元平面に広がる高周波帯
    域信号を重畳するステップを含むことを特徴とするコン
    ピュータ・プログラム。
  48. 【請求項48】動画像に対する画像処理実行プログラム
    としてのコンピュータ・プログラムであって、前記コン
    ピュータ・プログラムは、 複数フィールドからなるインターレース画像における隣
    接フィールドの色差信号オリジナル信号値をa,bと
    し、それぞれの改変信号値をa’b’としたとき、改変
    信号値加算値:a’+b’を、オリジナル信号値加算
    値:a+bと等価、すなわち、a’+b’=a+bとな
    る設定の下に各隣接フィールドの色差信号値の変更処理
    を実行する改変処理ステップを有することを特徴とする
    コンピュータ・プログラム。
  49. 【請求項49】動画像に対する画像処理実行プログラム
    としてのコンピュータ・プログラムであって、前記コン
    ピュータ・プログラムは、 動画像データを構成し、輝度信号および色差信号成分を
    含む画素データからなるフレーム画像の色差信号成分フ
    レームに対して、色差信号成分フレームの複数の隣接画
    素からなる領域を単位画素領域として設定するステップ
    と、 前記単位画素領域に含まれるn個の画素のオリジナル信
    号値をa1〜anとし、それぞれの改変信号値をa1’
    〜an’としたとき、改変信号値の加算値:Σak’
    (ただしk=1〜n)をオリジナル信号値の加算値:Σ
    ak(ただしk=1〜n)と等価、すなわち、Σak’
    =Σakとなる設定の下に各隣接画素の色差信号値の変
    更処理を実行する改変処理ステップ、 とを有することを特徴とするコンピュータ・プログラ
    ム。
JP2002099545A 2001-09-19 2002-04-02 映像信号出力方法、デジタル信号出力装置、画像処理装置、画像処理方法、及び情報記録媒体、並びにコンピュータ・プログラム Expired - Fee Related JP4265143B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002099545A JP4265143B2 (ja) 2001-09-19 2002-04-02 映像信号出力方法、デジタル信号出力装置、画像処理装置、画像処理方法、及び情報記録媒体、並びにコンピュータ・プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001284951 2001-09-19
JP2001-284951 2001-09-19
JP2002099545A JP4265143B2 (ja) 2001-09-19 2002-04-02 映像信号出力方法、デジタル信号出力装置、画像処理装置、画像処理方法、及び情報記録媒体、並びにコンピュータ・プログラム

Publications (3)

Publication Number Publication Date
JP2003169294A true JP2003169294A (ja) 2003-06-13
JP2003169294A5 JP2003169294A5 (ja) 2005-09-08
JP4265143B2 JP4265143B2 (ja) 2009-05-20

Family

ID=26622496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002099545A Expired - Fee Related JP4265143B2 (ja) 2001-09-19 2002-04-02 映像信号出力方法、デジタル信号出力装置、画像処理装置、画像処理方法、及び情報記録媒体、並びにコンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP4265143B2 (ja)

Also Published As

Publication number Publication date
JP4265143B2 (ja) 2009-05-20

Similar Documents

Publication Publication Date Title
US7961904B2 (en) Apparatus for embedding and reproducing watermark into and from contents data
EP0769780B1 (en) Information recording device and information output device
JP3772846B2 (ja) データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
KR100391994B1 (ko) 동화상정보의압축신장방법및영상신호처리장치
US7092616B2 (en) Method and apparatus for copy protecting video content and producing a reduced quality reproduction of video content for personal use
JP3540447B2 (ja) 動画像符号化装置及び復号装置
KR101007838B1 (ko) 정보 처리 장치 및 기록 매체
US7421152B2 (en) Method for resizing an image using the inverse discrete cosine transform
JPH09171658A (ja) 情報記録装置および情報出力装置
JP4265143B2 (ja) 映像信号出力方法、デジタル信号出力装置、画像処理装置、画像処理方法、及び情報記録媒体、並びにコンピュータ・プログラム
EP1255249B1 (en) Decoder, decoding method, re-encoder, re-encoding method, decoding program and re-encoding program embodied on computer-readable medium
JPH1013828A (ja) 画像符号化方法、画像信号記録媒体、及び画像復号装置
US5502569A (en) Apparatus and method for recording digital video signals
JP3946177B2 (ja) 動画像符号化装置及び復号装置
JP2002171530A (ja) スーパーインポーズ機能を備えた再符号化装置および方法
JP3785711B2 (ja) 画像再生装置及び画像再生方法
JPH10191250A (ja) 画像記録再生装置及び画像記録再生方法
US6366324B1 (en) Transmitting sequentially scanned images through a channel intended for interlaced images
JP2001223989A (ja) 画像再生装置
JP3060501B2 (ja) 映像信号伝送装置
JP2004248320A (ja) 画像記録再生装置
JP3705459B2 (ja) ディジタル画像信号記録装置及び画像信号記録再生装置
JPH11220702A (ja) 映像記録及び再生装置、映像表示装置、及び映像伝送方式
JPH06334966A (ja) 画像信号のディジタル録画装置
JP2005303887A (ja) 信号処理装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees