JP2007235965A - ビデオ系列を処理する方法、及びその方法を実施する装置 - Google Patents

Abstract

【課題】本発明は、コンテンツ保護の分野におけるものであり、特に、カムコーダ獲得及びそれに直後に続く不正の頒布によって、コンテンツの所有者にとって収入の重大な喪失がもたらされる映画館におけるものである。色変調を用いた抗カムコーダ・システムが、カムコーダにおいて低シャッタ速度を用いることによって出し抜くことが可能であることが知られている。今日、シャッタ速度は、撮影されたビデオ・ソースの関数としてカムコーダによって自動的に求められる。自動構成では、シャッタ速度は動き、又はフリッカ検出（何れも、輝度のばらつきのみを考慮に入れる）に自己適合する。
【解決手段】本願によって提案している発明は、自動シャッタ速度調節を打ち負かすための色／輝度デュアル変調を提案している。例えば、50／60Hzでの色変調が行われ、更に高い周波数100／120Hｚでの輝度変調を、強制的にカムコーダが高シャッタ速度で機能するようにするよう加える。
【選択図】図5

Description

本発明は、映画館における海賊行為を削減するために抗カムコーダ・システムの環境内のビデオ画像系列を処理する方法に関する。

固定画像であっても動画像であっても視覚コンテンツは一般に、作成者の権利に関連した独占性の保証の恩恵を受ける作品である。その複製は一般に、作成者及びその受益者に報酬を与えることを可能にする厳密に定義されたフレームワーク内でのみ許される。

こうした法的ルールが正しく遵守されることを確実にするために、不正コピーを防止するか、又は、使用不能になる程度に複製の品質を十分に劣化させるためのシステムが多く開発されている。

この意味合いで、特許文献１には、表示されている間にカメラによって画像が（例えば、映画館でカムコーダを用いて）複製されることをなくそうと努めることを目的とすることが開示されている。上記刊行物には、海賊行為防止のメッセージを表す特定の画素の輝度の振幅を、メッセージが人間の眼に見えないようになるが、カムコーダによって撮影される系列においてアーチファクトが生じる高速度で表示する対象の値付近に時間的に変調することが提案されている。前述の解決策は、フリッカ周波数（約50Hz）よりも高いレートでの変調を必要とし、したがって、高画像リフレッシュ・レート（少なくとも約100Hz）を有する投影システムのみにあてはまる（他に、特許文献３乃至５も参照のこと）。

特許文献２では、輝度ではなく画素の色を変調することが提案されている。この解決策は、図１に示すように、約２０Hｚの色融合周波数よりも高いレートでの変調を必要とする。

選択された画素の色変調は、以下に更に詳細に説明する。上記処理は、人間の眼によって視ることが可能でないがカムコーダの視覚に影響を及ぼすやり方で、他の２つの成分（CIE1931X及びZ）を修正する一方で視覚輝度（CIE1931Y）を一定に維持して、入力ビデオのフレームを2倍にすることから成る。２つの成分X及びZは、人間の眼によって視ることが可能でないやり方で表示する対象の色値付近で変調される。画素の色を電気領域において表す各入力トリプレットR₀G₀B₀は、2つの出力トリプレットR₁G₁B₁及びR₂G₂B₂の生成につながる。それによって、CIE1931 XYZ色空間における以下の公式が確認される。

数学的に述べれば、関係（１）は、2つの変調信号X_m(t)及びZ_m(t)がX₀値及びZ₀値に基づいて生成されることを意味する。

ここで、変調周波数f_mは例えば、48Hzに等しく、リフレッシュ周波数f_r=2f_m=96Hzによって、時間離散化（∀n∈N t=n/f_r）がもたらされる。
frの特性、fmの特性及びtの特性を式(2)に適用すれば、以下の式が得られる。

式（３）は、周期全体にわたって式（１）と同様な特性を有する（2π→n={0,1}）。ここで、X₁=X_m(t)│_n=0、X₂=X_m(t)│_n=1、Z₁=Z_m(t)│_n=0及びZ₂=Z_m(t)│_n=1である。

式（２）は、周波数f_m（本例では48Hz）のキャリア正弦波による信号X₀及びZ₀の振幅変調を表す。振幅変調（AM）は、高周波にわたってスペクトルをシフトさせることによって信号伝送の課題を克服するためにアナログ通信及びディジタル通信において用いられる周知の手法である。本ケースでは、振幅変調によって、ビデオ信号の帯域幅を増加させることによって、カムコーダの獲得にわたってエイリアス・アーチファクトを発生させることが可能になる。人間の眼に対する不可視性を確実にするために更なる制約（Y_m(t)=Y₀）が設けられる。それによって、48Hzでの輝度フリッカは認識することができるが、色フリッカは認識されないことになる。

カムコーダを用いることによって色アーチファクトを生成することは、図２乃至図４によって図示する。この図示は、値X₀についてのみ行われる。

値X₀は、短期間にわたって一定であるはずである。よって、信号X₀の元のスペクトルは図２によって表すことが可能である。振幅変調（AM）は、変調信号の振幅に応じてキャリア信号の振幅が変動する変調形式である。基本的なAM処理は、変調信号（例えば、X₀(t)）を、周波数f_m（この例では、f_m=48Hz）と乗算することから成る。変調信号X_m(t)のスペクトルは図３に示す。時間離散化（アナログ映画にもディジタル映画にも存在している）は、図４の上部の左右の図で見られるように周波数f_r=96Hzの結果スペクトルの周期化につながる。

変調処理によっても離散化処理によっても、0乃至48Hz帯（人間の眼が色フリッカを認識する傾向にある周波数帯を含む）の外に、余分なスペクトル内容がある状態が維持されるので、視聴者は、変調された映画（図４の左下の図）を視ている際に異常に何ら気付かない。しかし、カムコーダは、f_s=50Hz（PAL標準、すなわち、毎秒５０インタリーブ・フレーム）、又はf_s=60Hz（NTSC標準、すなわち、毎秒６０インタリーブ・フレーム）のサンプリング周波数によって変調／離散スペクトルをサンプリングする。何れの場合にもエイリアス・アーチファクトが発生する。それは、ナイキスト・シャノン・サンプリング定理がもう関係しないからである（f_s＜2f_m）。エイリアス・アーチファクトは、0乃至20Hz帯内に生起するので、前述のアーチファクトはその場合、人間の観察者によって視ることが可能になり、不正に記録されたビデオの視覚化を妨げることになる（図４の右下の図）。

しかし、実際の色変調は、最近のカムコーダの自動シャッタ速度設定を打ち負かすのに十分でない。実際に、カムコーダ技術では、視覚信号の捕捉／サンプリング・プロセスはまず、特定時間量、CCD／CMOSセンサにそれが露光されることを必要とする。露光は、「シャッタ速度」としても表されるが、大半のビデオ・カムコーダにおいて用いるシャッタは機械式でない。露光時間が、シャッタによる入射光によってCCD／CMOSセンサが露光される間隔である一方、積分時間は、カムコーダのクロックが、電荷を捕捉し、保持するよう設定される間隔として定義される。CCDの場合、CCDがクリアされると積分が始まる。クリアの終了から、CCDが読み出し始めるまでカウントされる。周波数領域では、シャッタは通常、低域通過フィルタと比較することが可能である。露光時間はフィルタのカットオフ周波数に直接的に関連している。

新たなカムコーダの問題は、自動シャッタ速度調節が最近加わったことである。自動シャッタは、それ自身の露光時間を再適合させるために輝度の変動を測定する。その結果、映画スクリーンを撮影する場合、ばらつきは48Hz（輝度フリッカによるダブルシャッタを備えるアナログ映画における48Hz、又は、動きによる、フリッカ無しのディジタル映画における12Hz）をほとんど超えないので、自動シャッタは露光時間を1/50（PAL）又は1/60（NTSC）のデフォルト値に設定する傾向があり、よって、50/60Hzの低域通過フィルタとしてふるまい、色変調効果を除去する。
欧州特許出願第１３４５４２８号明細書 国際公開第０５／０２７５２９号明細書 欧州特許出願第２８５９８５７号明細書 欧州特許出願第１２３７３６９号明細書 欧州特許出願第１４１４２５０号明細書

本発明の目的は、映画館における不正の複製を阻止するためであり、特に、最近のディジタル・ビデオ・キャプチャ装置の自動シャッタ速度調節を打ち負かすための方法を提案することである。

この目的で、本発明によって、色／輝度デュアル変調を提案している。色変調のキャリア周波数よりも大きなキャリア周波数による更なる輝度変調を画像の画素に施して、強制的にディジタル・カムコーダを高シャッタ速度で機能するようにし、ディジタル・カムコーダが自動シャッタ構成によって色変調効果を除去することを妨げる。

本発明は、系列の少なくとも１つの画像の第１の画素組の色の振幅を、上記画像について表示する対象の色値付近に時間的に変調する色変調工程を備えており、上記色変調が、ディジタル・ビデオ・キャプチャ装置によって上記ビデオ画像がキャプチャされる場合にエイリアシングによってアーチファクトを同時に生成する一方で、人間の眼に見えないよう選ばれる、ビデオ画像系列を処理する方法に関する。本発明によれば、上記方法は、系列の画像の第２の画素組の輝度の振幅を、上記画像について表示する対象の輝度値付近に時間的に変調する輝度変調工程を更に備えており、輝度変調周波数と呼ばれる、輝度変調工程の変調周波数は、色変調周波数と呼ばれる、色変調工程の変調周波数よりもかなり大きくなるように選択される。

特定の動作モードでは、輝度変調周波数は、ディジタル・ビデオ・キャプチャ装置のシャッタ速度に関連した周波数（例えば、NTSCカムコーダの場合100Hz、PALカムコーダの場合、120Hz）にほぼ等しい。

色が変調される第１の画素組は警告メッセージを表す。

好ましくは、輝度変調は画像の画素全てに施される。その場合、ビデオ画像系列の表示に用いる表示装置のリフレッシュ周波数にほぼ等しい輝度変調周波数を選ぶことが可能であり、輝度変調は、画像の表示に用いる各期間の最後に表示装置をオフにすることによって行うことが可能である。

本発明は、ビデオ画像の系列（そのビデオ信号によって表される）を表示する装置にも関する。この装置は、
系列の各画像の第１の画素組の色の振幅を、上記画像について表示する対象の色値付近に時間的に変調する色変調回路であって、上記変調が、ディジタル・ビデオ・キャプチャ装置によって上記ビデオ画像がキャプチャされる場合にエイリアシングによってアーチファクトを同時に生成する一方で、人間の眼に見えないよう選ばれる色変調回路と、
画面上に変調画像を表示する表示回路とを備える。
本発明によれば、上記装置は、系列の各画像の第２の画素組の輝度の振幅を、上記画像について表示する対象の輝度値付近に時間的に変調する輝度変調回路を更に備えており、輝度変調周波数と呼ばれる、輝度変調の変調周波数は、色変調の変調周波数よりもかなり大きくなるよう選択される。

本発明の例示的な実施例を添付図面に示し、より詳細に以下の記載で説明する。

シャッタ速度の自己適合を打ち負かすために、色変調に加えて、色変調周波数よりも高いキャリア周波数によって画像の特定の画素の輝度を変調することが提案されている。カムコーダはそのシャッタ速度を輝度のばらつきに同期化させようとするので、更なる輝度変調によって、強制的にシャッタの露光時間が低減させられる（すなわち、シャッタ関連フィルタのカットオフ周波数が増加させられる）。

輝度変調のキャリア周波数（輝度変調周波数と呼ばれる）は、シャッタ帯域幅を増加させ、色変調の完全な伝送（NTSCカムコーダの場合、100Hz付近であり、PALカムコーダの場合、120Hz付近であることが好ましい。自動シャッタは、前述の周波数と同期化されるよう考え出される場合が多いからである）を確実にするうえで十分高くなければならない。前述のシャッタ速度によって、ネオン管のような、50／60HzのAC電源によって電源供給される光源からの擾乱を回避するようにしている。

例えば、色変調周波数は50Hzに等しく、輝度変調周波数は100Hzに等しい。輝度の振動によって、ビデオカメラの露光時間が1/100に設定される。100Hzのばらつきに同期化させる一方で、結果として生じるシャッタ構成は、他の50Hzの色変調効果を通過させ、一度記録された色アーチファクトを発生させる。

色変調に対して、この輝度変調は、必ずしもリフレッシュ周波数の増加を必要とするものでない。この輝度変調は、各フレームの最後の短い期間にわたって画面の照明をオフにすることによって施すことが可能である。その唯一の目的はカムコーダの露光時間自己調節を打ち負かすことであるため、色変調（画面上に警告メッセージを生成するために特定の画素に施される）とは違って、輝度変調は、特定の画素に施すことは必要でない。よって、輝度変調は、画像の画素の全て又は一部に施すことが可能である。

輝度変調は、投影システムのリフレッシュ信号と同期化させることが可能である。このことは、全フレームの非常に短い期間（例えば、各フレームの最後）に画像の表示をオフにすることによって行うことが可能である。

本発明の方法の、考えられる回路実現形態を図５に示す。２４fpsの元のビデオ系列は、色空間（例えば、YUV色空間）において、系列にわたって、50Hzの周波数（PAL）で、あるいは、60Hｚの周波数（NTSC）で、あるいは、好ましくは、50Hzと60Hzが交互に起こる周波数で変調される。この色変調はブロック１０において実施される。変調系列は次いで、120Hz（120Hzによって、50Hzの色変調も60Ｈｚの色変調も可能になる）のリフレッシュ周波数を有する投影システム２０に転送される。

表示される対象の色値P₀の場合、２つの色値P₁及びP₂は、式（２）の完全な表現を用いて計算される。色変調周波数がリフレッシュ周波数のちょうど半分でない場合（例えば、色変調周波数は、50Hzと60Hzが交互に起こり、リフレッシュ周波数が120Hzの場合、P₁又はP₂は全フレームにおいて変動する。

図６は、YUV色空間においてP₀（U₀,V₀）に対して対称である色値P₁（U₁,V₁）及びP₂（U₂,V₂）を示す。P₁及びP₂は好ましくは、最大の抗カムコーダ効果をもたらすための最大の振幅（│U₂−U₁│,│V₂−V₁│）を求めるために計算される。特定のフレームt=n/f_rの点P_n（U_n,V_n）は全て、公式
P_n=P₀+（P₁−P₀）cos（2πf_mt） （４）
によって求めることが可能である。120Hz=5x24Hzであるため、元の系列のフレーム全てを用いて、5個の変調フレームを生成することになる。次いで、変調系列は120Hzのリフレッシュ・レートによって投影され、同期化されたパルス正方形変調システム３０は1/120秒毎、非常に短い期間（例えば、全フレームの最後に）、投影システムをオフにする。

人間の眼の色フリッカ感度を示す図である。 変調信号のスペクトルを示す図である。 変調信号のスペクトルを示す図である。 ビデオ系列がディジタル・カムコーダによってキャプチャされた場合に生成されるアーチファクトを示す複数の図である。 本発明の方法の、考えられる回路実現形態を示す図である。 色変調に用いる２つの補色値の選択を示す図である。

符号の説明

１０ 色変調回路
２０ 表示回路
３０ 輝度変調回路

Claims (12)

1. ビデオ画像の系列を処理する方法であって、前記系列の少なくとも１つの画像の第１の画素組の色の振幅を、前記画像について表示する対象の色値付近に時間的に変調する色変調工程を備えており、前記色変調が、ディジタル・ビデオ・キャプチャ装置によって前記ビデオ画像がキャプチャされる場合にエイリアシングによってアーチファクトを同時に生成する一方で、人間の眼に見えないよう選ばれ、
   前記系列の前記少なくとも１つの画像の第２の画素組の輝度の振幅を、前記画像について表示する対象の輝度値付近に時間的に変調する輝度変調工程を更に備えており、輝度変調周波数と呼ばれる、前記輝度変調工程の変調周波数は、色変調周波数と呼ばれる、前記色変調工程の変調周波数（f_m）よりもかなり大きくなるよう選択されることを特徴とする方法。
2. 請求項１記載の方法であって、前記輝度変調周波数は、前記ディジタル・ビデオ・キャプチャ装置のシャッタ速度に関連した周波数にほぼ等しい方法。
3. 請求項１又は２に記載の方法であって、前記輝度変調周波数は、100Hz又は120Hzにほぼ等しい方法。
4. 請求項１乃至３のうちの何れか一項に記載の方法であって、前記第１の画素組が警告メッセージを表す方法。
5. 請求項１乃至4のうちの何れか一項に記載の方法であって、前記第２の画素組が、画像全体を表す方法。
6. 請求項５記載の方法であって、前記輝度変調周波数は、前記ビデオ画像の系列を表示するのに用いる表示装置のリフレッシュ周波数にほぼ等しい方法。
7. 請求項６記載の方法であって、前記輝度変調は、画像の表示に用いる各期間の最後に前記表示装置をオフにすることによって行われる方法。
8. ビデオ信号によって表される、ビデオ画像の系列を表示する装置であって、
   前記系列の各画像の第１の画素組の色の振幅を、前記画像について表示する対象の色値付近に時間的に変調する色変調回路（１０）であって、前記変調が、ディジタル・ビデオ・キャプチャ装置によって前記ビデオ画像がキャプチャされる場合にエイリアシングによってアーチファクトを同時に生成する一方で、人間の眼に見えないよう選ばれる色変調回路と、
   画面上に前記変調画像を表示する表示回路（２０）とを備え、
   前記系列の各画像の第２の画素組の輝度の振幅を、前記画像について表示する対象の輝度値付近に時間的に変調する輝度変調回路（３０）を更に備えており、輝度変調周波数と呼ばれる、輝度変調の変調周波数は、前記色変調の変調周波数(f_m)よりもかなり大きくなるよう選択されることを特徴とする装置。
9. 請求項８記載の装置であって、前記第１の画素組は警告メッセージを表す装置。
10. 請求項８又は９に記載の装置であって、前記第２の画素組が画像全体である装置。
11. 請求項１０に記載の装置であって、前記表示回路（２０）は、リフレッシュ周波数で画面上に前記変調画像を表示し、前記輝度変調周波数が前記リフレッシュ周波数にほぼ等しい装置。
12. 請求項11記載の装置であって、前記輝度変調回路（３０）は、画像の表示に用いる各期間の最後に前記表示回路（２０）をオフにする装置。

Images