JP2014099904A

JP2014099904A - 圧縮ビデオの透かし処理用の透かしの選択

Info

Publication number: JP2014099904A
Application number: JP2014007029A
Authority: JP
Inventors: Dekun Zou; デクンゾウ; Adam Bloom Jeffrey; アダムブルームジェフリー; Shan He; シャンヘー
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2008-08-20
Filing date: 2014-01-17
Publication date: 2014-05-29
Anticipated expiration: 2029-08-18
Also published as: CN102132564B; CN102132564A; EP2314073A1; EP2314073B1; KR101635898B1; JP2012500567A; BRPI0917635B1; WO2010021694A1; US8824727B2; KR20110048524A; JP6073258B2; BRPI0917635A2; US20110158465A1

Abstract

【課題】ＣＡＢＡＣビデオストリームに透かしを埋め込む効果的な方法を提供する。
【解決手段】方法は、符号化データのリスト内の、構文要素、元の値及び候補代替値を有する透かし等の変更にアクセスするステップと、その変更から、ＣＡＢＡＣ符号化プロトコル等の符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定するステップと、構文要素毎に１つの候補代替値だけを有するサブセットとなり、かつ少なくとも１つのパフォーマンス基準と合致する準拠変更だけをサブセットのために選択するステップと、を含む。その方法は、透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、忠実性、復元可能性、又はロバスト性に基づいてサブセット内から透かしを除去するか又は透かしがサブセット内にあることを防止するステップと、を含むことができ、忠実性、復元可能性、及びロバスト性はパフォーマンス基準である。
【選択図】図３

Description

本発明はＣＡＢＡＣ（Context based Adaptive Binary Arithmetic Coding：コンテキストに基づく適応２進算術符号化）ビデオストリームに透かしを埋め込むことに関する。

本願は２００８年８月２０日に名称「変更可能なブロック選択(CHANGEABLE BLOCK SELECTION)」で出願された米国仮出願Ｎｏ．６１／１８９，５５１の利益及び優先権を主張する。当該仮出願は全ての目的のためにその全体を参照することにより本明細書に明白に組み込まれている。

今日、著作権侵害防止技術として電子透かし処理に対する需要は強い。略奪者が透かしを見つけ出すことを非常に困難にするために多くの潜在的な透かしが提案され使用されることが重要である。しかしながら、透かしが所望の視聴者に対して所望の視覚体験を妨げないことが重要である。そのため、更に効率的な透かし技術の必要性がある。本発明の目的は、ＣＡＢＡＣ（Context based Adaptive Binary Arithmetic Coding)/ＡＶＣ(Advanced Video Coding：先進ビデオ符号化)に対応している透かしと一般に関連した可能な変更のリストを生成することであり、更に目に見える不自然な結果を生成することではなく、それにより、究極的にはＣＡＢＡＣビデオストリームに透かしを埋め込む効果的な方法を提供する。

方法は、符号化ビデオストリーム等の符号化データストリーム内の変更可能な構文要素等の潜在的変更にアクセスするステップと、その変更を適用する前にオブザーバに対するその変更の検出可能性及び／又は可視性を決定するステップと、その変更を適用する前に透かし検出器に対してのその変更の復元可能性を判断するステップと、その変更を適用する前に、基準又は様々な規則又は制約との適合性を含むことができる符号化手段に対してのその変更の埋め込みの可能性を判断するステップと、検出可能性及び復元可能性のための閾値基準に合致する変更のリストを生成するステップと、を備える。その方法は、変更可能な構文要素のための特徴ベクトルを決定するステップを備えることができ、特徴ベクトルは検出可能性、復元可能性及び埋め込み可能性の関数であり、制限を特徴ベクトルに対して設定することができ、その特徴ベクトルに対して制限と合致する変更だけがリストに加えられる。その方法は、検出可能性、復元可能性及び埋め込み可能性の間のバランス基準を設定するステップと、そのバランス基準と合致する変更だけを加えるステップと、を更に備えることができる。また、その方法は、ブロックに分割されているビデオデータにアクセスし、変更を適用する前後の輝度、変更を適用する前後のビデオ間の平均平方誤差、変更を適用する前後のブロック画素分散、又はブロック歪みのうちの少なくとも１つによって少なくとも１ブロックで特徴付けることを含んでも良い。更に、その方法は変更を適用する前の変更についての伝搬マップ(propagation map)が作られている組み合わせを含むことができ、伝搬マップはリストに加えて変更の選択のために用いられる。その選択の基準は伝搬マップのサイズ、伝搬マップ内の全てのブロックの最大輝度変更、伝搬マップ内の全てのブロックの最大平均平方誤差、及び検出可能性の基準を満足する伝搬パスにおけるブロックの数を含むことができる。

追加の方法は、符号化データのリスト内の、構文要素、元の値及び候補代替値を有する透かし等の変更にアクセスするステップと、その変更からのＣＡＢＡＣ等の符号化プロトコルに準拠した準拠変更のグループをサブセットとして決定するステップと、複数の構文要素毎に１つの候補代替値だけを有するサブセットとなり、かつ少なくとも１つのパフォーマンス基準に合致する準拠変更だけをサブセットのために選択するステップと、を備える。その方法は、透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、忠実性、復元可能性、又はロバスト性に基づいて透かしをサブセットから除去するか又は透かしがサブセットに存在することを防止するステップと、を含むことができ、ここで、忠実性、復元可能性、及びロバスト性はパフォーマンス基準である。その方法は、透かしのための少なくとも２つのパフォーマンス値を決定するステップと、その少なくとも２つのパフォーマンス値のいくつかの集合的メトリック(metric)を決定するステップと、そのいくつかの集合的メトリックに基づいて透かしをサブセットから除去かるか又は透かしがサブセットに存在することを防止するステップと、を含むことができる。

他の方法は、符号化データのリスト内の、構文要素、元の値及び候補代替値を有する透かし等の変更又は透かしをアクセス、生成、又はコンパイルするステップと、その変更から、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定するステップと、符号化プロトコル以外の少なくとも１つのパフォーマンス基準を有する準拠変更だけをサブセットのために選択するステップと、を備える。その符号化データはトランスポートストリームに存在することができ、その変更はトランスポートストリームパケット境界を横断する構文要素を有するときサブセットから除去されるか又はサブセットに存在することを防止される。追加のステップは、変更を適用する前に変更についての伝搬マップを生成するステップと、前に選択した変更の伝搬パスにあるブロックを有するサブセットから変更を除去するか又は変更がサブセットに存在することを防止するステップと、を含むことができる。その方法は、変更の忠実性、復元可能性、又はロバスト性を決定するステップと、その忠実性、復元可能性、又はロバスト性に基づいてサブセットから変更を除去するか又は変更がサブセットに存在することを防止するステップと、を更に含むことができ、ここで、忠実性、復元可能性、及びロバスト性はパフォーマンス基準である。

装置は、ビデオストリーム等の符号化データのリスト内の、構文要素、元の値及び候補代替値を有する透かし等の変更をアクセス又は生成する手段と、その変更から、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定する手段と、複数の構文要素毎に１または複数の候補代替値を有するサブセットとなり、かつ少なくとも１つのパフォーマンス基準にも合致する準拠変更だけをサブセットのために選択する手段と、を備える。符号化プロトコルはＣＡＢＡＣ符号化プロトコルとすることができる。その装置は、透かしの忠実性、復元可能性、又はロバスト性を決定する手段と、その忠実性、復元可能性、又はロバスト性に基づいてサブセットから透かしを除去するか又は透かしがサブセットに存在することを防止する手段と、を更に含むことができ、ここで、忠実性、復元可能性、及びロバスト性はパフォーマンス基準である。加えて、その装置は、その透かしのための少なくとも２つのパフォーマンス値を決定する手段と、その少なくとも２つのパフォーマンス値のいくつかの集合的メトリックを決定する手段と、そのいくつかの集合的メトリックに基づいて透かしをサブセットから除去かるか又は透かしがサブセットに存在することを防止する手段と、を含むことができる。

本発明は添付の図面を参照して例によって以下に説明される。
変更可能な構文要素を選択する処理の概要を示す図である。伝搬マップの説明図である。変更可能な構文要素の候補代替値毎の選択処理のブロック図である。最終の選択ステップの実施例を示すフローチャートである。

本発明の実施形態はＣＡＢＡＣ符号化Ｈ.２６４／ＡＶＣビデオストリームのコンテキスト内において一般に説明される。しかしながら、その実施形態はより広い適用を持つことができる。

変更は透かしとすることができ、ＣＡＢＡＣ符号化ビデオストリーム内に変更データバイトを埋め込むことによってそれらの変更を適用することができる。この方法は、透かしの埋め込みのための変更の候補リストに修正されても良いＨ.２６４符号化ビデオストリーム内の変更可能な構文要素を識別することを含んでいる。変更可能な構文要素のサブセットは透かしの埋め込みのために用いられる。実施形態は少なくとも透かし処理のために使用されたサブセットに存在するリストのどの要素を選択するかという問題を処理するステップの実施を含んでいる。

本明細書ではＣＡＢＡＣ符号化Ｈ.２６４／ＡＶＣストリームを修正する方法と、ＣＡＢＡＣ／ＡＶＣ準拠変更のリストを生成する方法とが説明される。その結果のリストにおける各エントリは特定の構文要素、その元の値、及び候補代替値を識別する。このリストに現れる構文要素は変更可能な構文要素とみなされ、毎回異なる候補代替値で２回以上リストに出現することができる。

また、実施形態は透かし処理のために選択及び使用されているリストにおけるエントリのサブセットの特徴を含むことができる。サブセットの１つの選択は変更可能な構文要素毎に唯一の候補代替値を選択することである。サブセットの他の選択は変更可能な構文要素毎に２以上の候補代替値を選択することであり、ここで、各選択は異なる情報を表して透かしに埋め込んで良い。しかしながら、ＣＡＢＡＣ／ＡＶＣ準拠であるけれども、リストは特定のアプリケーションの目的を提供しない変更を含むことができる。

更に、本開示はアプリケーションが透かし処理するときリストにおけるエントリのサブセットを選択する少なくとも１つの実施を示している。選択ステップは高忠実性、高ロバスト性、及び高容量を含む透かし処理目的の所定のセットにベストのサブセットを見つけ出すために実行される。本明細書では、選択処理又はステップはＣＢＳ(Changeable Block Selection：変更可能なブロック選択）と称される。

透かし処理アルゴリズムについては、それらのプロパティ（特性）のいくつかを指摘することが重要である。１つのプロパティは透かし埋め込みの視覚的インパクト、すなわち忠実性である。多くの透かし処理アプリケーションにとってその視覚的インパクトはできるだけ小さくするべきである。他のプロパティは埋め込み後の透かしの有効性である。これは、埋め込み検出器が埋め込み直後に透かしを復元することができる可能性を記述する。大部分のアプリケーションにとって、非常に高い有効性が要求される。透かしが入ったコンテンツが埋め込みの時と検出との間に攻撃(attacks)されるならば、多くの透かし処理アプリケーションは、透かしデータがまだそのようなアタック後に復元可能であることを要求する。これは第３のプロパティであるロバスト性につながっている。最後に、透かし処理アルゴリズムは埋め込めることができるデータの量によって特徴付けられ得る。このプロパティは容量と呼ばれる。

それらの４つのプロパティのパフォーマンスは度々アプリケーションに従って１つを別のものと交換される。本発明の実施形態では、特徴の交換又はバランス化を図１に示されたように２つのステップにおいて考慮することができる。可能性がある変更可能な構文要素１０５を識別した後、第１のステップは入力リストの変更可能な構文要素毎の特徴ベクトル１１０の生成である。その入力リストの各エントリと関連した忠実性、有効性、及びロバスト性を評価するために分析が行われる。第２のステップは出力のために変更のサブセット１１５を選択することである。サブセットの選択は忠実性、有効性、ロバスト性、及び容量間の所望のバランスに基づいており、選択した変更可能な構文要素１２０を生成する。

リスト内の変更可能な各構文要素は候補代替値のセットを含んでいる。ビットストリームのＣＡＢＡＣ／ＡＶＣ準拠を妨げることなく、その構文要素値をセット内でいずれかの値に変更することができる。構文要素の値を候補代替値に置き換えることは、その構文要素が存在するブロック内の再構築した画素値を変更することである。よって、候補代替値毎に、いくつかのブロックの特徴が評価される。ブロックの特徴のいくつかの例は、
・埋め込み前後の平均輝度
・初期のブロックと埋め込みが入ったブロックとの間の平均平方誤差
・埋め込み前後のブロック画素分散
・その周辺に対するブロックのブロック歪み
を含む。

変更可能な構文要素の候補代替値の置き換えは構文要素が存在する目的ブロック（Ｔ）で画像データを変更する。相互の従属性の全部が符号化ビデオストリームに存在するため、Ｔ以外のブロックもその置き換えによって影響されても良い。言い換えれば、ブロックＴに導入された変更は復号化シーケンスにおいて他のブロックに伝搬することができる。忠実性、ロバスト性、有効性、及び容量についての候補変更のインパクトに正確にアクセスするために、良好な選択処理がブロックＴへの直接的な変更と共に伝搬のために画素値変更とみなす。ブロックＴへの１つの変更によって影響されたブロックの全てを示す伝搬マップの作成は、置き換えの安定性を決定することにおいて極端に有益であり、最高でさえあることができる。

伝搬マップ又はパス２００の例は図２に示されており、ここで、ビデオブロックの７×６のマトリックス２０５が表されている。本明細書では、用語の伝搬マップと伝搬パスとは互換的に用いられている。この例において、変更はブロックＴ２１０に対して直接なされる。近隣のブロックの予測モードに従って、この変更は右、下、下、及び右へ、及び／又は下、及び左へ伝搬することができる。この説明図において、変更は右のブロックＡ２１５に伝搬されたと仮定する。また、そのブロックＡにおける変更が伝搬することができる。この説明図においてこの変更はブロックＢ２２０及びＣ２２５に伝搬すると仮定する。更に、それらの変更の各々は参照符号２３０を有する他のブロックに伝搬することができる。伝搬マップ２００はブロックＴへの初期変更によって影響されるブロックの全てを示している。それらのブロックは直接変更したＴブロック、第１次の間接変更したブロックＡ２１５、第２次の間接変更したブロックＢ２２０及びＣ２２５、そして更に影響された２３０である。この例において他のブロック２３５は影響されない。

変更が目的ブロック以外のブロックに影響するとき、考慮された特徴は単に目的ブロックでなく、全ての影響したブロックにおけるインパクトを評価すべきである。したがって、伝搬マップは、目的ブロックを単に考慮することとは対照的に、その変更の全部のインパクトを示すために生成され用いられる。ブロック特徴のいくつかの例は、
・伝搬マップのサイズ
・伝搬パスにおける全てのブロックの最大輝度変化
・伝搬パスにおける全てのブロックの最大平均平方誤差
・検出可能性テスト及び忠実性テスト両方を満たす伝搬パスにおけるブロックの数
を含む。

なぜ伝搬マップの利用が重要であるかを理解するために、選択ステップにおいて伝搬マップ忠実性テストの考慮は、伝搬パスにおける全てのブロックがブロックに基づいた忠実性テストに合格するならば、どの変更が受け入れ可能かを示すことができる。言い換えれば、変更は、その伝搬パスのどこかに目に見える不自然な結果となっているならば、受け入れ不可能である。

一般に、本発明の主要な特徴は候補代替のサブセットの選択である。選択処理は上記したように特徴のセットの評価に基づいている。一般処理３０５はそのサブセット選択をするために特徴値及びアプリケーション要件の観点から各候補代替を評価するツールである。

透かしの３つのアプリケーションプロパティはその選択処理において考慮される。それらの３つは検出可能性、忠実性、及びロバスト性である。受け入れ可能である変更のために、変更はそれらのプロパティの各々におけるアプリケーション要件を一般に満足しなければならない。

図３は各ブロックが対応する要件に基づいてテストに合格する候補代替だけを通過させるフィルタとして動作する変更可能な構文要素の候補代替値毎の選択処理３０５のブロック図を示している。上記したように、可能性がある変更可能な構文要素を識別した後、第１のステップは入力リスト内の変更可能な構文要素毎に特徴ベクトル３１０の生成である。ここで留意すべきは、「最終選択」３３０によって評価される候補代替だけが忠実性選択３１５、検出可能性選択３２０及びロバスト性選択３２５のテストに合格していることである。それらの３つのテストを任意の順序で実行することができる。

図３のテストを各変更に１つずつ適用することができ、又は候補代替のリストに適用することができる。例えば、グローバル閾値を各変更に別々に適用することができ、又はベストパフォーマンスを有する変更のグループを選択するように選択処理を構成することができる。前者のアプローチは、いくつの変更がフィルタを通過するかの保証はなく、一方、後者のアプローチは最低限のパフォーマンスを保証しない。アプリケーションの要件はそれらの２つのアプローチのどちらが最も適切であるかを示す。また、ここで留意すべきは、異なるアプローチを図３のフィルタの各々に適用することができることである。好ましい実施形態においては、初期、忠実性、ロバスト性、及び検出可能性のフィルタリングは各代替に個々に適用される一方、最終選択は最初の３つのフィルタを通過した変更のリストについて動作する。

忠実性選択は生成した１または複数の特徴に適用された簡単な閾値テストに基づくことができる。その閾値テストに合格する候補要素は高い忠実性を十分に持っていると思われる。１または複数の閾値テストで不合格となった候補要素はアブケーションに対して極めて厳しい目に見える不自然な結果を招くと想定される。それらの候補は潜在的変更のリストから除去される。

少なくとも１つの実施形態においては、特徴ベクトルが、変更の結果として生じる絶対的な輝度変化の合計（ブロックにおける全ての画素に亘る）の、伝搬パスにおける全てのブロックの、最悪の場合を含む。この特徴は、輝度閾値と比較される。閾値より大きい絶対的な輝度変化の合計を有するその伝搬パスにおけるどこかのブロックにて終わる候補はリストから除去される。

また、特徴ベクトルの少なくとも１つの実施形態は変更によって生じたブロック歪みの量を示すブロック歪み測定の、伝搬パスにおける全てのブロックの、最悪の場合を含む。この特徴は、ブロック歪み閾値と比較される。ブロック歪み閾値より大きいブロック歪みスコアを有するその伝搬パスにおけるどこかのブロックにて終わる候補はリストから除去される。

第３の可能性がある忠実性テストは伝搬マップのサイズに基づいている。ここで、より大きい伝搬マップは目に見える不自然な結果を招く可能性が高いと想定される。伝搬マップのサイズは、伝搬マップを含むデータ構造から直接容易に得られるので、特徴としてリストにする必要はない。閾値より大きい伝搬マップを有する候補はリストから除去される。

少なくとも１つの実施形態において、復元又はロバスト性は、構文素子変更が行われるブロックにおいて輝度の変化に基づいている。他の実施形態において、復元は伝搬パスにおける１または複数のブロックの輝度の変化に基づいても良い。

したがって、ロバスト性の簡単な測定は候補変更によって生じた輝度変化の量である。この簡単なモデルでは、より高い輝度変化となる候補変更がよりロバストであると想定する。

少なくとも１つの実施形態において、特徴ベクトルは候補変更から結果として生じる輝度変化を含む。この値はロバスト性閾値と比較される。輝度の変化がロバスト性閾値を下回った候補はリストから除去される。

復元が全部の伝搬パスに基づいているとき、変更のロバスト性を評価するために伝搬マップのサイズを用いることができる。ここで、より大きい伝搬マップはマークしたビデオの処理まで残る可能性が高いと想定される。閾値より小さい伝搬マップを有する候補はリストから除去される。

最終選択は多数の異なるアプリケーション要件に基づくことができる。アプリケーション要件の一例は、トランスポートストリームにおいて、変更が１つのトランスポートストリームパケット内に十分に存在しなければならないことである。トランスポートストリームパケット境界を横断する構文要素を修正することになる候補変更はリストから除去される。

少なくとも１つの実施形態において、最終選択処理は、１つのスライス内でそれ以前の全てのテストに合格した全ての候補変更を調べる。所定の構文要素について、他のテストを満たす可能性がある多数の代替値があっても良いが、１つだけを最終出力として選択しても良い。この選択は特徴ベクトルにおける同一の忠実性特徴及びロバスト性特徴に基づいても良い（例えば、最も高い忠実性を有する値を選択する）。この選択の部分は他の２つの処理のいずれかにおいて行われても良い。

少なくとも１つの実施形態において、前に選択した変更の伝搬パスにあるブロックに対しては変更が行われない。このルールは最終選択処理において実施されるが、それ以外で実施されても良い。

少なくとも１つの実施形態において、その伝搬マップが前に選択した変更の伝搬マップと交わるならば、変更が行われない。このルールは最終選択処理において実施されるが、それ以外で実施されても良い。

最終選択は図４に示されている。ここで、ステップ４０５は現スライスのためのデータをメモリにロードすることから開始し、それは、ステップ４１０の変更可能なマクロブロックの各々をアクセスし、決定ステップ４１５においてマクロブロック毎に現マクロブロックがアプリケーション、基準、特定の復号器、可視閾値、ビット長要件、ペイロード要件等によって定義された定義制約を満たしているか決定することに続けられる。マクロブロックがその定義制約を満たしていないならば、スライス内の次のマクロブロックがステップ４１０で処理され、マクロブロックがその定義制約を満たしているならば、処理は決定ステップ４２０に進む。ステップ４２０においては、現マクロブロックが前に選択した出力の伝搬パスにあるならば、スライス内の次のマクロブロックはステップ４１０で処理され、現マクロブロックが前に選択した出力の伝搬パスにないならば、処理は決定ステップ４３０に進み、そこにおいて現マクロブロックについての最良代替エントリが選択される。ステップ４３０において、スライス内に更にマクロブロックがないならば、処理は次のステップ４３５に進み、スライス内に更にマクロブロックがあるならば、ステップ４１０でそのスライス内の次のマクロブロックが処理される。処理するために更にマクロブロックがないとき、ステップ４３５において、最終選択がデータ出力に書き込まれる。評価するためにビデオフレーム内に更にスライスがあるならば、ステップ４０５で次のスライスがアクセスされ、更なるスライスがないならば４４０、最終選択はステップ４４５で完了する。このアプリケーションにおいて説明された実施及び特徴のいくつかはＨ.２６４／ＭＰＥＧ−４ＡＶＣ（ＡＶＣ）規格のコンテキストにおいて用いられても良い。しかしながら、それらの実施及び特徴は存在する又は将来の他の規格のコンテキストにおいて、又は規格を含まないコンテキストにおいて用いられも良い。したがって、本明細書では特定の特徴及び態様を有する１または複数の実施例が提供されている。しかしながら、説明した実施例の特徴及び態様は他の実施例に対して適合されても良い。

本明細書で説明された実施例は、例えば、方法又は処理、装置、ソフトウエアプログラム、データストリーム、又は信号において実施されても良い。方法としてだけ説明されている等、実施例の１つの形式のコンテキストにおいて説明されているとしても、説明された実施例及び特徴は装置又はプログラム等の他の形式で実施されても良い。装置は適切なハードウエア、ソフトウエア、及びファームウエアにおいて実施されても良い。方法は、コンピュータ又は他の処理装置等の装置において実施されても良い。加えて、方法は処理装置又は他の装置によって実行されている命令によって実行されても良く、そのような命令はＣＤ等のコンピュータ読み取り可能媒体、又は他のコンピュータ読み取り可能記憶装置、又は集積回路に保存されても良い。更に、コンピュータ読み取り可能媒体は実施例によって生成されたデータ値を保存しても良い。

この技術分野の当業者には明白であるべきであるが、実施では保存又は送信され得る情報を担うために形式を整えた信号を生成しても良い。その情報は方法を実行する命令、又は説明した実施例のいずれか１つによって生成されるデータを含むことができる。例えば、信号は透かしが入ったストリーム、透かしが入っていないストリーム、忠実性測定、又は他の透かし処理情報を担うために形式を整えられても良い。

加えて、多くの実施は符号化器、復号化器、復号化器からの出力を処理するポストプロセッサ、又は入力を符号化器に供給するプリプロセッサの１または複数に実施されても良い。更に、他の実施はこの開示によって予期されている。例えば、追加の実施は開示した実施例の様々な特徴を組み合わせ、削除、変更、又は補完することによって作り出しても良い。

１１０特徴ベクトル生成
１１５変更可能なブロック選択

加えて、多くの実施は符号化器、復号化器、復号化器からの出力を処理するポストプロセッサ、又は入力を符号化器に供給するプリプロセッサの１または複数に実施されても良い。更に、他の実施はこの開示によって予期されている。例えば、追加の実施は開示した実施例の様々な特徴を組み合わせ、削除、変更、又は補完することによって作り出しても良い。
本発明は以下の態様を含む。
（付記１）
符号化データストリームにおける潜在的変更にアクセスするステップと、
前記変更を適用する前に、オブザーバに対する前記変更の検出可能性を判断するステップと、
前記変更を適用する前に、復号化手段のために前記変更の復元可能性を判断するステップと、
前記変更を適用する前に、符号化手段のために前記変更の埋め込み可能性を判断するステップと、
検出可能性、復元可能性、及び埋め込み可能性のための閾値基準に合致する変更のリストを生成するステップと
を含むことを特徴とする方法。
（付記２）
前記潜在的変更は変更可能な構文要素であり、前記符号化データストリームは符号化ビデオストリームであることを特徴とする付記１記載の方法。
（付記３）
前記変更可能な構文要素のための特徴ベクトルを決定するステップを更に備え、前記特徴ベクトルは前記検出可能性、復元可能性、及び埋め込み可能性の関数であることを特徴とする付記２記載の方法。
（付記４）
前記特徴ベクトルのための制限を設定し、前記制限と合致する前記変更だけを前記リストに加えるステップと、
前記検出可能性、復元可能性、及び埋め込み可能性の間のバランス基準を設定し、前記バランス基準と合致する前記変更だけを加えるステップと
を更に含むことを特徴とする付記３記載の方法。
（付記５）
前記ビデオデータはブロックに分割され、
前記方法は、
変更を適用する前後の輝度、
変更を適用する前後間の平均平方誤差、
変更を適用する前後のブロック画素分散、又はブロック歪み、
のうちの少なくとも１つによって少なくとも１つのブロックを特徴付けるステップを更に含むことを特徴とする付記２記載の方法。
（付記６）
前記ビデオデータはブロックに分割され、
前記方法は、
前記変更を適用する前に前記変更のための伝搬マップを生成するステップと、
前記伝搬マップの特徴に応じて前記変更を選択して前記リストに加えるステップと
を更に含むことを特徴とする付記２記載の方法。
（付記７）
前記伝搬マップのサイズ、
前記伝搬マップにおける全てのブロックの最大輝度変化、
前記伝搬マップにおける全てのブロックの最大平均平方誤差、及び
検出可能性基準を満たす前記伝搬パスにおけるブロックの数
からなる前記伝搬マップの特徴のうちの少なくとも１をその選択基準として設定するステップを更に含むことを特徴とする付記６記載の方法。
（付記８）
符号化データ用のリストにおける、構文要素、元の値及び１または複数の候補代替値を有する変更にアクセスするステップと、
前記変更のリストから、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定するステップと、
構文要素毎に１つの候補代替値だけを有する前記サブセットとなり、かつ少なくとも１つのパフォーマンス基準と合致する準拠変更だけを前記サブセットのために選択するステップと
を含むことを特徴とする方法。
（付記９）
前記符号化プロトコルはＣＡＢＡＣ符号化プロトコルであり、前記変更は透かしであり、前記符号化データはビデオストリームであることを特徴とする付記８記載の方法。
（付記１０）
前記透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に応じて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと
を含み、
前記忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記９記載の方法。
（付記１１）
前記透かしに対して少なくとも２つのパフォーマンス値を決定するステップと、
前記少なくとも２つのパフォーマンス値のいくつかの集合的メトリックを決定するステップと、
前記いくつかの集合的メトリックに応じて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと
を含むことを特徴とする付記９記載の方法。
（付記１２）
符号化データのリスト内の、構文要素、元の値及び１または複数の候補代替値を有する変更又は透かしにアクセスするステップと、
前記変更又は透かしから、アプリケーション要件、符号化プロトコルに準拠している準拠変更のグループ又は準拠透かしのグループをサブセットとして決定するステップと、
前記符号化プロトコル以外の少なくとも１つのパフォーマンス基準を有する準拠変更又は準拠透かしだけを前記サブセットのために選択するステップと
を含むことを特徴とする方法。
（付記１３）
トランスポートストリームに前記符号化データを供給するステップと、
前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと
を含み、
前記サブセットはトランスポートストリームパケット境界を横断する構文要素を有することを特徴とする付記１２記載の方法。
（付記１４）
前記変更又は透かしを適用する前に前記変更又は透かしのための伝搬マップを生成するステップと、
前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと
を含み、
前記サブセットは前に選択した変更又は透かしの前記伝搬パスにあるブロックを有することを特徴とする付記１２記載の方法。
（付記１５）
前記変更又は透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に応じて前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと、を備え、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記１２記載の方法。
（付記１６）
前記変更又は透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に基づいて前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと、を含み、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記１３記載の方法。
（付記１７）
前記変更又は透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に基づいて前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと、を含み、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記１４記載の方法。
（付記１８）
符号化データ用のリストにおける、構文要素、元の値及び１または複数の候補代替値を有する変更にアクセスするステップと、
前記変更から、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定するステップと、
構文要素毎に２または３以上の候補代替値を有する前記サブセットとなり、かつ少なくとも１つのパフォーマンス基準と合致する準拠変更だけを前記サブセットのために選択するステップと
を含むことを特徴とする方法。
（付記１９）
前記透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に基づいて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと、を備え、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする付記２４記載の方法。
（付記２０）
前記透かしに対して少なくとも２つのパフォーマンス値を決定するステップと、
前記少なくとも２つのパフォーマンス値のいくつかの集合的メトリックを決定するステップと、
前記いくつかの集合的メトリックに基づいて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと
を含むことを特徴とする付記２４記載の方法。

Claims

符号化データストリームにおける潜在的変更にアクセスするステップと、
前記変更を適用する前に、オブザーバに対する前記変更の検出可能性を判断するステップと、
前記変更を適用する前に、復号化手段のために前記変更の復元可能性を判断するステップと、
前記変更を適用する前に、符号化手段のために前記変更の埋め込み可能性を判断するステップと、
検出可能性、復元可能性、及び埋め込み可能性のための閾値基準に合致する変更のリストを生成するステップと
を含むことを特徴とする方法。
前記潜在的変更は変更可能な構文要素であり、前記符号化データストリームは符号化ビデオストリームであることを特徴とする請求項１記載の方法。
前記変更可能な構文要素のための特徴ベクトルを決定するステップを更に備え、前記特徴ベクトルは前記検出可能性、復元可能性、及び埋め込み可能性の関数であることを特徴とする請求項２記載の方法。
前記特徴ベクトルのための制限を設定し、前記制限と合致する前記変更だけを前記リストに加えるステップと、
前記検出可能性、復元可能性、及び埋め込み可能性の間のバランス基準を設定し、前記バランス基準と合致する前記変更だけを加えるステップと
を更に含むことを特徴とする請求項３記載の方法。
前記ビデオデータはブロックに分割され、
前記方法は、
変更を適用する前後の輝度、
変更を適用する前後間の平均平方誤差、
変更を適用する前後のブロック画素分散、又はブロック歪み、
のうちの少なくとも１つによって少なくとも１つのブロックを特徴付けるステップを更に含むことを特徴とする請求項２記載の方法。
前記ビデオデータはブロックに分割され、
前記方法は、
前記変更を適用する前に前記変更のための伝搬マップを生成するステップと、
前記伝搬マップの特徴に応じて前記変更を選択して前記リストに加えるステップと
を更に含むことを特徴とする請求項２記載の方法。
前記伝搬マップのサイズ、
前記伝搬マップにおける全てのブロックの最大輝度変化、
前記伝搬マップにおける全てのブロックの最大平均平方誤差、及び
検出可能性基準を満たす前記伝搬パスにおけるブロックの数
からなる前記伝搬マップの特徴のうちの少なくとも１をその選択基準として設定するステップを更に含むことを特徴とする請求項６記載の方法。
符号化データ用のリストにおける、構文要素、元の値及び１または複数の候補代替値を有する変更にアクセスするステップと、
前記変更のリストから、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定するステップと、
構文要素毎に１つの候補代替値だけを有する前記サブセットとなり、かつ少なくとも１つのパフォーマンス基準と合致する準拠変更だけを前記サブセットのために選択するステップと
を含むことを特徴とする方法。
前記符号化プロトコルはＣＡＢＡＣ符号化プロトコルであり、前記変更は透かしであり、前記符号化データはビデオストリームであることを特徴とする請求項８記載の方法。
前記透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に応じて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと
を含み、
前記忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする請求項９記載の方法。
前記透かしに対して少なくとも２つのパフォーマンス値を決定するステップと、
前記少なくとも２つのパフォーマンス値のいくつかの集合的メトリックを決定するステップと、
前記いくつかの集合的メトリックに応じて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと
を含むことを特徴とする請求項９記載の方法。
符号化データのリスト内の、構文要素、元の値及び１または複数の候補代替値を有する変更又は透かしにアクセスするステップと、
前記変更又は透かしから、アプリケーション要件、符号化プロトコルに準拠している準拠変更のグループ又は準拠透かしのグループをサブセットとして決定するステップと、
前記符号化プロトコル以外の少なくとも１つのパフォーマンス基準を有する準拠変更又は準拠透かしだけを前記サブセットのために選択するステップと
を含むことを特徴とする方法。
トランスポートストリームに前記符号化データを供給するステップと、
前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと
を含み、
前記サブセットはトランスポートストリームパケット境界を横断する構文要素を有することを特徴とする請求項１２記載の方法。
前記変更又は透かしを適用する前に前記変更又は透かしのための伝搬マップを生成するステップと、
前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと
を含み、
前記サブセットは前に選択した変更又は透かしの前記伝搬パスにあるブロックを有することを特徴とする請求項１２記載の方法。
前記変更又は透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に応じて前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと、を備え、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする請求項１２記載の方法。
前記変更又は透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に基づいて前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと、を含み、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする請求項１３記載の方法。
前記変更又は透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に基づいて前記サブセット内から変更又は透かしを除去するか又は変更又は透かしが前記サブセット内にあることを防止するステップと、を含み、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする請求項１４記載の方法。
符号化データ用のリストにおける、構文要素、元の値及び１または複数の候補代替値を有する変更にアクセスするステップと、
前記変更から、符号化プロトコルに準拠している準拠変更のグループをサブセットとして決定するステップと、
構文要素毎に２または３以上の候補代替値を有する前記サブセットとなり、かつ少なくとも１つのパフォーマンス基準と合致する準拠変更だけを前記サブセットのために選択するステップと
を含むことを特徴とする方法。
前記透かしの忠実性、復元可能性、又はロバスト性を決定するステップと、
前記忠実性、復元可能性、又はロバスト性に基づいて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと、を備え、忠実性、復元可能性、及びロバスト性はパフォーマンス基準であることを特徴とする請求項２４記載の方法。
前記透かしに対して少なくとも２つのパフォーマンス値を決定するステップと、
前記少なくとも２つのパフォーマンス値のいくつかの集合的メトリックを決定するステップと、
前記いくつかの集合的メトリックに基づいて前記サブセット内から透かしを除去するか又は透かしが前記サブセット内にあることを防止するステップと
を含むことを特徴とする請求項２４記載の方法。