JP2004241869A

JP2004241869A - 透かし埋め込み及び画像圧縮部

Info

Publication number: JP2004241869A
Application number: JP2003026584A
Authority: JP
Inventors: Yoshibumi Fujikawa; 義文藤川; Yukio Fujii; 藤井　　由紀夫; Koichi Terada; 光一寺田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-02-04
Filing date: 2003-02-04
Publication date: 2004-08-26
Anticipated expiration: 2023-02-04
Also published as: US20040151341A1; US7352877B2; JP4023324B2

Abstract

【課題】動画透かし埋め込みによるコンテンツの劣化を抑えるための、動き探索や、医療用画像フィルタは、演算コストが高く、安価に実装することが困難であることが課題である。
【解決手段】電子透かし埋め込み部を実装する動画圧縮符号の符号化複合化装置で使用される、動きベクトルと量子化パラメータを用いて、透かし埋め込み量を決定し、透かしを埋め込む。
【効果】演算コストの大きい上記の動き探索や医療用画像フィルタを、透かし埋め込みのために備える必要がなくなり、装置全体の大幅なコストダウンが行える。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、静止画あるいは動画等のコンテンツ情報に、コピー制御情報や著作権情報などの情報を埋め込むための方法および装置に関する。
【０００２】
【従来の技術】
近年、画像や音楽などがコンテンツがディジタル化され、記憶媒体あるいは通信ネットワークを介して流通されるようになってきた。このようなディジタル化されたコンテンツ情報の著作権を保護するために、電子透かし技術が重要視されている。
【０００３】
電子透かし技術の実用化には、コンテンツの性質に応じて、コンテンツの変更箇所と、変更の程度あるいは強度を最適化する必要がある。画像データの場合、一般に、画像の状態変化が比較的平坦な領域では、画素の値（輝度あるいは色の状態値）に不適切な変更を加えると、変更箇所に不自然さが目立つ。しかしながら、被写体のエッジ部分のように画素値の変動の激しい部分では画素に比較的大きな変更を加えても人間の目には目立たないという性質（静止画的性質）があり、また、動きのない部分に対しては雑音に敏感であるが、動いている部分に対しては鈍感である（動画的性質）という性質がある。
【０００４】
また、電子透かし情報の埋め込み対象は、静止画像に限られず、動画も対象となる。尚、動画データは、時系列的に配列された複数の静止画フレームから構成されているが、動画の鑑賞中にフレームの送りを止めることによって個々のフレームを静止画として鑑賞する場合がある。このため、動画を対象とした電子透かし情報の埋込みにおいては、画素値の変更個所が静止画状態でも動画状態でも目立たないようにする必要があり、静止画としての性質と動画としての性質の両方を考慮して、変更画素と変更程度を最適化することが望まれていた。
【０００５】
この静止画としての性質と動画としての性質の両方を考慮して、電子透かしを挿入する方法として、例えば、特許文献１がある。特許文献１には、時系列的に配列された複数の静止画フレームからなる動画データに透かし情報を埋め込む場合に、着目フレーム中の各画像ブロック毎に動きベクトル（動画的性質）を検出し、動き量に応じて、各ブロック毎の画素変更率の指定規則を選択し、各ブロック内の画像の状態（静止画的性質）によって決まる輝度変更許容画素のうちから上記規則で指定された個数の画素を選択して、透かし情報となる輝度の変更処理を施す方法が開示されている。
【０００６】
また、動画データはＭＰＥＧ等により、圧縮されている場合がほとんどで、これは、ハードウェアまたはソフトウェアにより実装される。
【０００７】
しかし、従来、透かし埋め込みを行い圧縮する装置では、透かし埋め込み処理で用いられる動画的または静止画的性質の計算と、圧縮処理で用いられる動画的または静止画的性質の計算は、画質劣化が目立つ部分と目立たない部分を区別するという目的で同じであるにもかかわらず、別々に計算しているため、装置全体の演算コストが大きく、高速化、小型化、低価格化の妨げとなっていた。
【０００８】
この点に関し、非特許文献１では、コンテンツの動画的性質である動きベクトル検索処理結果を、透かし埋め込み処理と圧縮処理で共用し、演算コストを削減している。
【０００９】
【特許文献１】
特開２０００−１７５０１９
【特許文献２】
特開２００２−３００３６４
【非特許文献１】
「動き検出を用いて画質を維持するＭＰＥＧエンコーダー向け動画用電子透かし方式」、安細、外４名、映像情報メディア学会技術報告、社団法人映像情報メディア学会、２００２年７月、ＶＯＬ．２６，ＮＯ．４８，ＩＳＳＮ１３４２−６８９３，Ｐ１−６
【非特許文献２】
テレビジョン学会編、「総合マルチメディア選書ＭＰＥＧ」、ｐｐ．１１０−１１５、オーム社、１９９６年
【００１０】
【発明が解決しようとする課題】
上記した非特許文献１の技術では、コンテンツの動画的性質は考慮しているものの、静止画的性質の計算については、言及していない。
【００１１】
また、従来、透かし埋め込み部と圧縮装置は、例えば、特許文献２の図１に示す配置構成であったため、圧縮処理で用いられる静止画的性質の計算は、透かし埋め込みが行われた画像、つまり画素の値に変更が加えられた画像に対して行われていた。そのため、静止画的性質の計算が、本来の画像の静止画的性質の計算とは異なる結果となり、電子透かしが挿入され変更が加えられたところは、乱雑な画像と誤認され、量子化パラメータを大きくする方向に変更されるため、粗く量子化され、圧縮装置において画像の透かし情報を消すまたは薄くしていた。
【００１２】
【課題を解決するための手段】
上記の問題を解決するために、透かし埋め込み対象となるコンテンツ情報の静止画的性質の計算を行う手段と、コンテンツ情報の動画的性質の計算を行う手段とを設け、前記コンテンツ情報と、前記静止画的性質の計算を行う手段から得られる静止画的性質の計算結果と、前記動画的性質の計算を行う手段から得られる動画的性質の計算結果とを用いて透かし埋め込みを行う手段と、前記透かし埋め込みを行う手段から出力される透かし埋め込み済みコンテンツ情報と、前記静止画的性質の計算結果と、前記動画的性質の計算結果を用いて圧縮を行う手段を有することを特徴とする。
【００１３】
【発明の実施の形態】
本実施例では、コンテンツ情報として動画を考える。動画は時系列に並んだ複数の静止画フレームから構成されている。各静止画フレームの画素の一部、変更を加えることによって、透かし情報を埋め込むことができる。以下の実施例では、各静止画フレームの各画素に対して、人間の目に分からない程度に輝度を変更することで、透かしを埋め込む。尚、他の透かし埋め込みの方法としては、色成分の数値を上げ下げする方法、輝度または色の周波数領域における係数（ＤＣＴ係数）を上げ下げする方法も可能である。
【００１４】
尚、従来の透かし埋め込み処理では、動画をとめて静止画として鑑賞する場合を考慮し、静止画的性質の計算を画素単位に行い、画素単位に輝度変更許容画素や輝度変更許容範囲を決定し、圧縮処理で用いられる静止画的性質の計算は、圧縮ブロック単位に計算を行い、各装置での計算単位が異なっていたが、本願では、動画的性質あるいは静止画的性質の計算を各装置で共通化する構成をとるため、ブロック単位で静止画的性質の計算及び動画的性質の計算を行う。これは、動画は、静止画と異なり細部の視覚的劣化は目立たないという性質を利用したものである。
【００１５】
本実施例は、多くの動画圧縮データ方式の内、画像フレーム間の相関を用いる動きベクトルを利用する方式か、または、情報を削減する量子化のステップを画像フレームの部分毎に異なった値を用いることの出来る方式に適用できる。以下の実施例では、説明を簡単にするために、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８−２）の方式のＩピクチャとＰピクチャを用いて圧縮することとし、各静止画フレームは、横７２０画素、縦４８０画素で構成されているとする。
【００１６】
本発明の第１の実施例を、図１を用いて説明する。図１は、動画透かし埋め込みとその動画を圧縮するシステムの構成を示す。
【００１７】
コンテンツ情報となる動画は、画像撮影装置１３１によって撮影されるか、画像記憶装置１５２に記憶されているとする。撮影された撮影画像データ１３１０または記憶された記憶画像データ１５２０は、原画像入力データ１３０１として原画像入力部１３０に入力される。原画像入力部１３０は、動画である原画像入力データ１３０１を、１枚１枚の静止画フレームにし、画像フレームデータ１３００として出力する。画像フレームデータ１３００は、動き検索部２１と視覚感度計算部２２と透かし埋め込み部２３に入力される。
【００１８】
動き検索部２１は、画像の動きを示す動きベクトルを検索し、検索結果を検索動きベクトルデータ２１０として透かし埋め込み部２３と画像圧縮部２４に出力する。視覚感度計算部２２は、画像にのる雑音に対する人間の感度を示す視覚感度指数を計算し、視覚感度指数データ２２０として透かし埋め込み部２３と画像圧縮部２４に出力する。
【００１９】
透かし埋め込み部２３は、検索動きベクトルデータ２１０と視覚感度指数データ２２０を利用して、画像フレームデータ１３００に対して電子透かし埋め込みを行い、結果を透かし埋め込み済み画像フレームデータ２３０として、画像圧縮部２４に出力する。画像圧縮部２４は、検索動きベクトルデータ２１０と視覚感度指数データ２２０を利用して、透かし埋め込み済み画像フレームデータ２３０を圧縮し、出力画像圧縮データ２４０を圧縮データ出力部１５０に出力する。
【００２０】
圧縮データ出力部１５０は、出力画像圧縮データ２４０を適時バッファリングし連続したデータ列の形式に整え、出力圧縮データ１５００として圧縮データ記憶装置１５３やネットワーク接続装置１６に出力する。圧縮データ記憶装置１５３では、記憶媒体に書き込みを行う。ネットワーク接続装置１６は、ネットワークを介して接続された機器に対して、出力圧縮データ１５００を送る。
【００２１】
上記構成により、圧縮処理に用いる静止画的性質の計算を、透かし埋め込みを行う前の画像に対して行うことで、透かしが埋め込まれた画像を乱雑な画像と誤認して圧縮処理を実行することを避けることができる。
【００２２】
次に、図１を構成する各装置の動きの詳細を説明する。動き検索部２１と視覚感度計算部２２では、図７に示すように、静止画フレームであるフレーム３０を、縦横１６画素で構成された圧縮ブロック３１に分割し、各圧縮ブロック３１ごとに、動きベクトル検索や視覚感度指数の計算をする。
【００２３】
動き検索部２１における動きベクトル検索は、図９に示すように、処理対象のフレーム３５の処理対象圧縮ブロック３７が、処理対象のフレーム３５と１つ前の時刻のフレームである参照フレーム３６内のどこと最も似ているかを検索する。
【００２４】
検索手順は、処理対象圧縮ブロック３７の位置を示す位置ベクトルと同一の位置ベクトルで示される参照フレーム３６内の部分を起点とし、そこからの相対ベクトル、動き検索ベクトルで示される位置の縦横１６画素の動き予測ブロック３８と、処理対象圧縮ブロック３７の画素の値を用いて、一致度評価３９を行う。動き検索ベクトルを変化させながら一致度評価３９を行い、最も一致していると判断した場所を示す動き検索ベクトルが、動きベクトルとなる。一致度評価３９として、数１に示す評価式を用いる。この評価式の値が最も小さいところを、最も一致していると判断する。検索結果は、各圧縮マクロブロックごとの検索動きベクトルデータ２１０として出力される。また、動き検索部２１は、次のフレームの参照フレームとして、入力された画像フレームデータ１３００を記憶しておく。
【００２５】
【数１】

【００２６】
視覚感度計算部２２で計算する視覚感度指数は、静止画として、各圧縮ブロック３１ごとの雑音に対する人間の認知度合や、雑音に違和感を感じるかをあらわす尺度とする。本実施例では、人間が雑音として違和感を感じる雑音の大きさを数値化したものとする。人間の雑音に対する感じ方のモデルは一般的に複雑であるが、本実施例では、説明を簡略にするために、画素の輝度の分散値を用いた数２に示す計算式を用いる。この式は、輝度の分散が小さい部分は画像が平坦で人間の視覚は雑音に敏感であり、分散が大きい部分は画像が平坦でなく人間の視覚は雑音に鈍感であるという性質を用いる。視覚感度計算部２２は、各圧縮ブロック３１ごとに数２に示す計算式を計算し、視覚感度指数データ２２０として、出力する。
【００２７】
【数２】

【００２８】
透かし埋め込み部２３の構成を、図４に示す。透かし埋め込み部２３は、図１における画像フレームデータ１３００と検索動きベクトルデータ２１０と視覚感度指数データ２２０を、それぞれ図４の透かし埋め込み対象画像フレームデータ２３００と透かし用動きベクトルデータ２３０１と透かし用視覚感度指数データ２３０２として受け取る。透かし用動きベクトルデータ２３０１と透かし用視覚感度指数データ２３０２は、それぞれ、動きベクトルバッファ２３０１９と視覚感度バッファ２３０２９を通して、変更量計算部２３１が受け取る。変更量計算部２３１は、透かし埋め込み時の変更量を計算し、画素変更量データ２３１０を画素変更部２３２に出力する。画素変更部２３２は、画素変更量データ２３１０と、画像バッファ２３００９を通して透かし埋め込み対象画像フレームデータ２３００を受け取り、透かし埋め込み対象画像フレームデータ２３００の各画素の輝度値を、各画素に対応する素変更量データ２３１０を基に、変更し、透かし埋め込み済み画像フレームデータ２３０として出力する。
【００２９】
透かし埋め込み制御部２３９は、透かし埋め込み部２３の全体の動作タイミング制御を行う。各装置間の動作タイミングを調整するために、データ使用する装置が要求するまで、入力された各データを待ち行列として管理する。例えば、動きベクトルバッファ２３０１９と視覚感度バッファ２３０２９と画像バッファ２３００９のすべてにそれぞれ所定のデータが格納されるまで各バッファでデータを保持し、すべてのバッファに所定のデータが格納された後に、変更量計算部２３１あるいは画素変更部２３２に格納したデータを出力するよう制御する。また、他のタイミング制御の方法として、動きベクトルバッファ２３０１９と視覚感度バッファ２３０２９に所定のデータが揃った場合、まずこれらのデータを変更量計算装置２３１に出力し変更量データ２３１０の計算を行うように制御することも可能である。
【００３０】
透かし埋め込み時の変更量は、透かしを埋め込む時に、輝度値を、どの程度変更するかを示す。変更量は、人間が変更に対して違和感を感じない程度に、できるだけ大きくする必要がある。小さすぎると、画像の拡大縮小や圧縮による歪により、透かしが検出し難くなる。人間の視覚は、動きのない部分に対しては雑音に敏感であるが、動いている部分に対しては鈍感である。
【００３１】
変更量は、静止画としての人間の特性である透かし用視覚感度指数データ２３０２と、動きを示す透かし用動きベクトルデータ２３０１を用いて計算する。本実施例では、表１、表２と、数３を用いる。表１は、動きベクトルの大きさと、変更量の動きベクトル要因係数の関係を示す表である。表２は、視覚感度指数データと、変更量の視覚感度要因係数の関係を示す表である。まず、表１を用いて透かし用動きベクトルデータ２３０１を変更量の動きベクトル要因係数に変換し、表２を用いて透かし用視覚感度指数データ２３０２を変更量の視覚感度要因係数に変換する。
【００３２】
【表１】

【００３３】
【表２】

【００３４】
変換した値を数３に適用して、輝度値の変更量を計算する。計算結果は、画素変更量データ２３１０として出力する。数３の埋め込み強度を決める定数を大きくすると、変化量が大きくなり、透かしが雑音として目ざわりとなるが、画像の拡大縮小や圧縮などによる歪に対して、透かし情報が消え難くなる。反対に、定数を小さくすると、変化量が小さくなり、高画質となるが、画像の拡大縮小や圧縮などによる歪に対して弱い透かしとなる。
【００３５】
【数３】

【００３６】
画素変更部２３２における、輝度の変更方法を説明する。例として埋め込む透かし情報を４８ビットとし、そのビット列を、図８の埋め込み情報ビット列３３とする。埋め込み情報ビット列３３の各ビットを埋め込み情報ビット３４とする。
【００３７】
フレーム３０をある大きさ、例えば縦横４画素の小さな部分に分割し、それぞれの部分を埋め込みブロック３２と呼ぶことにする。図８の場合、１つのフレーム３０は、２１６０９０（＝７２０×４８０／４／４）個の埋め込みブロック３２から構成される。個々の埋め込み情報ビット３４を、複数の埋め込みブロック３２に関連付ける。この関連付けは、均等にする必要はなく、関連付けの規則が定まっていれば良い。本実施例では図８のように、均等に関連付けを行い、１つの情報ビット３４を４５０（＝２１６０９０／４８）個の埋め込みブロック３２に関連付けている。透かしの埋め込みは、個々の埋め込み情報ビット３４ごとに、“０”の場合は、関連付けられた埋め込みブロック３２の属する画素の輝度値を下げ（暗くし）、“１”の場合は輝度値を上げる（明るくする）ことで行う。埋め込むビット量は、４８ビットより多くても少なくてもよい。輝度値の上げ下げの量は、対象の画素が所属する圧縮ブロックに対応する画素変更量データ２３１０とする。ただし、各画素の値が０から２５５の２５６段階のように、整数の値の場合、画素変更量データ２３１０を整数に丸めて使用する。丸める方法として、切り上げ切捨てを確率的に行い、切り上げの確率として画素変更量データ２３１０の小数部を用いてもよい。
【００３８】
画像圧縮部２４の構成を、図５に示す。画像圧縮部２４は、図１における透かし埋め込み済み画像フレームデータ２３０と検索動きベクトルデータ２１０と視覚感度指数データ２２０を、それぞれ図５の圧縮対象画像フレームデータ２４００と圧縮用動きベクトルデータ２４０１と圧縮用視覚感度指数データ２４０２として受け取る。動き補償部２５２は、動きベクトルバッファ２４０１９を通して受け取る圧縮用動きベクトルデータ２４０１と、参照画像記憶部２５６からの参照画像データ２５６０を用いて、動き補償画像２５２０を生成する。動き補償部２５２は、図９の圧縮ブロック３１ごとに、参照画像データ２５６０を図９の参照フレーム３６として、圧縮用動きベクトルデータ２４０１が示す動き予測ブロック３８の画像を生成し、動き補償画像２５２０として、画像差分部２４１と画像加算部２５５に出力する。画像差分部２４１は、圧縮ブロック３１ごとに、画像バッファ２４００９を通して受け取る圧縮対象画像フレームデータ２４００の各画素の値から、動き補償画像２５２０の各画素の値を引き、圧縮対象差分画像データ２４１０を生成する。直行変換部２４２は、圧縮対象差分画像データ２４１０を、ＤＣＴ（離散コサイン変換）などの直行変換をし、圧縮対象直行変換データ２４２０として、量子化部２４３に出力する。量子化部２４３は、圧縮対象直行変換データ２４２０を、圧縮制御量子化スケールパラメータデータ２４５０に基づいて決定される量子化ステップを用いて量子化し、圧縮対象量子化データ２４３０として、多重符号化部２４４と逆量子化部２５３へ出力される。逆量子化部２５３は、量子化部２４３と同様に圧縮制御量子化スケールパラメータデータ２４５０に基づいて決定される量子化ステップを用いて、圧縮対象量子化データ２４３０を逆量子化し、復号直行変換データ２５３０として逆直行変換部２５４へ送られる。逆直行変換部２５４は、直行変換部２４２の反対の直行変換を行い、復号差分画像データ２５４０として画像加算部２５５へ出力する。画像加算部２５５は、復号差分画像データ２５４０と動き補償画像２５２０の各画素の値を加算し、参照用復号画像フレームデータ２５５０として、参照画像記憶部２５６へ出力する。参照画像記憶部２５６は、参照用復号画像フレームデータ２５５０を、次のフレームの参照フレームとして記憶する。多重符号化部２４４は、圧縮対象量子化データ２４３０を、動きベクトルバッファ２４０１９を通して受け取る圧縮用動きベクトルデータ２４０１と、圧縮制御量子化スケールパラメータデータ２４５０とを用いて、多重符号化し、出力画像圧縮データ２４０として出力する。
【００３９】
符号量制御部２４５は、出力画像圧縮データ２４０の出力量を計測し、指定されたビットレートと、視覚感度バッファ２４０２９を通して受け取る圧縮用視覚感度指数データ２４０２を基に、圧縮制御量子化スケールパラメータデータ２４５０を算出し出力する。
【００４０】
量子化パラメータの計算は、例えば、数４に示す式を用いて行う。
【００４１】
【数４】

【００４２】
このとき、目標生成ビット量は、すべての圧縮ブロック３１に対して均一のビット量を生成させると仮定したときの生成ビット量である。フィードバック定数を小さくすると生成量の増減に敏感になり、大きくすると鈍感になる。これらのビットレート制御は、例えば、非特許文献２に示されている。
【００４３】
圧縮制御量子化スケールパラメータデータ２４５０が大きいと、量子化装置２４３における量子化ステップが大きくなり、画像の歪（雑音）が大きくなるが、多重符号化装置２４４において生成される出力画像圧縮データ２４０の量が少なくなる。逆に、圧縮制御量子化スケールパラメータデータ２４５０が小さいと、量子化装置２４３における量子化ステップが小さくなり、画像の歪（雑音）が小さく高画質になるが、多重符号化装置２４４において生成される出力画像圧縮データ２４０の量が多くなる。符号量制御装置２４５は、出力画像圧縮データ２４０の出力量と、指定されたビットレートを比べ、出力量が多い場合は圧縮制御量子化スケールパラメータデータ２４５０を大きくし、逆に出力量が少ない場合は圧縮制御量子化スケールパラメータデータ２４５０を小さくする。また、符号量制御装置２４５は、圧縮用視覚感度指数データ２４０２が小さい圧縮ブロック３１に対しては、圧縮制御量子化スケールパラメータデータ２４５０を小さくし、高画質にする。逆に圧縮用視覚感度指数データ２４０２が大きい場合は、圧縮制御量子化スケールパラメータデータ２４５０を大きくし、出力ビット量を減らす。
【００４４】
ここで、画像圧縮の圧縮率（圧縮後に発生するビット量）との関係を以下に述べる。一般に、画像が複雑でない部分では圧縮効率は高く、圧縮後に発生するビット量は、画像が複雑な部分よりも少ない。尚、画像が複雑でない部分は、より高画質にする必要があるため、量子化パラメータを小さくするが、効率よく圧縮できるため、量子化パラメータを小さくしても、発生するビット量は少ない。
【００４５】
一方、画像が複雑な部分は、圧縮効率が低く、圧縮後に発生するビット量が多いため、発生するビット量が多過ぎないように、量子化パラメータを大きくする。この際に、人間の視覚感度は、画像の複雑な部分では比較的低いので、量子化パラメータを大きくしても、画質劣化は目立たない。
【００４６】
動画圧縮制御部２４９は、画像圧縮部２４の全体の動作タイミング制御を行う。画像バッファ２４００９と動きベクトルバッファ２４０１９と視覚感度バッファ２４０２９は、各装置間の動作タイミングを調整するために、データ使用する装置が要求するまで、入力された各データを待ち行列として管理する。例えば、動きベクトルバッファ２４０１９と視覚感度バッファ２４０２９と画像バッファ２４００９のすべてにそれぞれ所定のデータが格納されるまで各バッファでデータを保持し、すべてのバッファに所定のデータが格納された後に、各バッファに格納されたデータを出力するよう制御する。この場合、画像バッファ２４００９に格納されるデータは、動きベクトル及び視覚感度指数データと比較して、透かし埋め込み部での透かし埋め込み処理に要する時間分だけレイテンシが生じるため、動きベクトルバッファ２４０１９と視覚感度バッファ２４０２９は該レイテンシの間、データを保持する必要がある。また、他のタイミング制御の方法として、以下の方法も可能である。動き補償部２５２は、動きベクトルバッファ２４０１９に所定の圧縮ブロックの圧縮用動きベクトルデータ２４０１と、参照画像記憶部２５６に所定の参照フレームの画像が揃うと、動き補償の計算を行う。画像差分部２４１は、画像バッファ２４００９に所定の圧縮ブロックの画像と、動き補償画像２５２０が揃うと、圧縮対象差分画像データ２４１０を生成する計算を行う。多重符号化部２４４は、動きベクトルバッファ２４０１９に所定の圧縮ブロックの圧縮用動きベクトルデータ２４０１と、圧縮対象量子化データ２４３０と圧縮制御量子化スケールパラメータデータ２４５０が揃うと、多重符号化を行う。符号量制御部２４５は、所定の圧縮ブロックの圧縮用視覚感度指数データ２４０２が存在し、所定の出力画像圧縮データ２４０の出力量の計測が終わると、圧縮制御量子化スケールパラメータデータ２４５０の計算を行う。動きベクトルバッファ２４０１９は、多重符号化部２４４と動き補償部２５２の両方に圧縮用動きベクトルデータ２４０１を出力するまでデータを保持する。
【００４７】
上述したように、検索動きベクトルデータ２１０と視覚感度指数データ２２０を、透かし埋め込み部２３と画像圧縮部２４が共用することにより、演算コストの大幅な削減が可能となる。
【００４８】
また、既存の画像圧縮集積回路に図１に示す構成を用いて透かし埋め込み部２３を組み込むことで、図１の点線で示した分を画像透かし埋め込み圧縮集積回路１７として集積できる。これは、透かし埋め込み部２３の部分以外は、既存の画像圧縮集積回路に存在する部分であり、透かし埋め込み部２３の部分は比較的演算コストが小さく回路面積も比較的小さいために可能になる。
【００４９】
次に図２を用いて、第２の実施例を説明する。図２は、圧縮された動画データを復号し、復号した量子化パラメータ、動きベクトルを用いて、復号した画像データに透かし埋め込みを行った後、透かし入り動画を表示するシステムの構成を示す。
【００５０】
圧縮された動画コンテンツは、圧縮データ記憶装置１５３に記憶されているか、ネットワーク接続装置１６によって接続されたネットワークを介して送られてくるとする。圧縮データ記憶装置１５３に記憶された記憶圧縮データ１５３０またはネットワーク接続装置１６からのストリーミング入力データ１６０は、入力圧縮データ１５１１として、圧縮データ入力部１５１に入力される。圧縮データ入力部１５１は、入力圧縮データ１５１１を適時バッファリングし、画像復号部２５の要求に応じて、入力画像圧縮データ１５１０として、画像復号部２５へ出力する。画像復号部２５は、入力画像圧縮データ１５１０を復号し、復号画像フレームデータ２５０と復号動きベクトルデータ２５０１と復号量子化スケールパラメータデータ２５０２を、透かし埋め込み部２３へ出力する。透かし埋め込み部２３は、復号動きベクトルデータ２５０１と復号量子化スケールパラメータデータ２５０２を用いて、復号画像フレームデータ２５０に対して透かしを埋め込み、透かし埋め込み済み画像フレームデータ２３０として、復号画像出力部１４０へ出力する。復号画像出力部１４０は適時、透かし埋め込み済み画像フレームデータ２３０をバッファリングし、連続した動画、復号画像出力データ１４００として、画像表示装置１４１または画像記憶装置１５２へ出力する。画像表示装置１４１は、受け取った復号画像出力データ１４００を動画として見えるよう表示する。画像記憶装置１５２は、受け取った復号画像出力データ１４００を記憶する。
【００５１】
次に、図２を構成する各装置の動きの詳細を説明する。
【００５２】
画像復号部２５の構成を図６に示す。画像復号部２５は、図２における入力画像圧縮データ１５１０を、復号対象圧縮データ２５００として受け取る。復号対象圧縮データ２５００は、符号分離装置２５１により、エントロピー符号化され、多重化されていた動きベクトルと量子化データと量子化スケールパラメータを、それぞれ復号動きベクトルデータ２５０１と復号量子化データ２５１０と復号量子化スケールパラメータデータ２５０２として、復号動きベクトルデータ２５０１は動き補償部２５２へ、復号量子化データ２５１０と復号量子化スケールパラメータデータ２５０２は逆量子化部２５３へ出力する。また、復号動きベクトルデータ２５０１と復号量子化スケールパラメータデータ２５０２は、図２に示すように、透かし埋め込み部２３にも出力される。
【００５３】
ただし、ＭＰＥＧ−２のＩピクチャのように動きベクトルを用いない場合は、復号動きベクトルデータ２５０１としてゼロベクトルを出力し、画像加算部２５５は復号差分画像データ２５４０をそのまま復号画像フレームデータ２５０として出力する。また、ＭＰＥＧ−２のＰピクチャ内のイントラブロックのように、フレーム内で一部の圧縮ブロック３１だけ動きベクトルを用いない場合は、復号動きベクトルデータ２５０１としてベクトルの大きさが十分大きな値を出力し、画像加算部２５５は復号差分画像データ２５４０をそのまま復号画像フレームデータ２５０として出力する。つまり、ＭＰＥＧ−２のＩピクチャはフレーム３０全体が静止画として扱い、ＭＰＥＧ−２のＰピクチャ内のイントラブロックは、動画として扱う。
【００５４】
図２の透かし埋め込み部２３は図４の構成をとり、第１の実施例と同様の処理を行い、透かしを埋め込む。ただし、図２における復号画像フレームデータ２５０と復号動きベクトルデータ２５０１と復号量子化スケールパラメータデータ２５０２を、それぞれ図４の透かし埋め込み対象画像フレームデータ２３００と透かし用動きベクトルデータ２３０１と透かし用視覚感度指数データ２３０２として受け取る。復号量子化スケールパラメータデータ２５０２は、人間の視覚感度に関連しており、人間の視覚感度が敏感な部分では小さく、鈍感な部分では大きくなる。そのため、図１における視覚感度指数データ２２０の代わりに、復号量子化スケールパラメータデータ２５０２が、視覚感度の指標として、使用できる。
【００５５】
上記のように、図２に示す構成により、図１における動き検索部２１や視覚感度計算部２２を備えずに、備えたものと同様の透かし埋め込みが可能となり、演算コストの大幅な削減が可能となる。また、第１の実施例と同様、既存の画像伸張集積回路に図２に示す構成を用いて透かし埋め込み部２３を組み込むことで、図２の点線で示した分を画像伸張透かし埋め込み集積回路１８として集積できる。
【００５６】
これは、透かし埋め込み部２３の部分以外は、既存の画像圧縮集積回路に存在する部分であり、かつ、透かし埋め込み部２３の部分は比較的演算コストが小さく回路面積も比較的小さいために、可能になる。
【００５７】
次に図３を用いて、第３の実施例を説明する。図３は、圧縮された動画データを復号し、復号した量子化パラメータ、動きベクトルを用いて、復号した画像データに透かし埋め込みを行い、その透かし埋め込み済み動画を圧縮するシステムの構成を示す。第２の実施例との相違は、復号した画像データに透かしを埋め込んだ後、圧縮する点にある。
【００５８】
圧縮された動画コンテンツは、圧縮データ記憶装置１５３に記憶されているか、ネットワーク接続装置１６によって接続されたネットワークを介して送られてくるとする。圧縮データ記憶装置１５３に記憶された記憶圧縮データ１５３０またはネットワーク接続装置１６からのストリーミング入力データ１６０は、入力圧縮データ１５１１として、圧縮データ入力部１５１に入力される。圧縮データ入力部１５１は、入力圧縮データ１５１１を適時バッファリングし、画像復号部２５の要求に応じて、入力画像圧縮データ１５１０として、画像復号部２５へ出力する。画像復号部２５は、入力画像圧縮データ１５１０を復号し、復号画像フレームデータ２５０と復号動きベクトルデータ２５０１と復号量子化スケールパラメータデータ２５０２を、透かし埋め込み部２３へ出力する。また、復号動きベクトルデータ２５０１と復号量子化スケールパラメータデータ２５０２は、画像圧縮部２４にも出力される。透かし埋め込み部２３は、復号動きベクトルデータ２５０１と復号量子化スケールパラメータデータ２５０２を用いて、復号画像フレームデータ２５０に対して透かしを埋め込み、透かし埋め込み済み画像フレームデータ２３０として、画像圧縮部２４へ出力される。画像圧縮部２４は、復号動きベクトルデータ２５０１と復号量子化スケールパラメータデータ２５０２を利用して、透かし埋め込み済み画像フレームデータ２３０を圧縮し、出力画像圧縮データ２４０を圧縮データ出力部１５０に出力する。圧縮データ出力部１５０は、出力画像圧縮データ２４０を適時バッファリングし連続したデータ列の形式に整え、出力圧縮データ１５００として圧縮データ記憶装置１５３やネットワーク接続装置１６に出力する。圧縮データ記憶装置１５３では、記憶媒体に書き込みを行う。ネットワーク接続装置１６は、ネットワークを介して接続された機器に対して、出力圧縮データ１５００を送る。
【００５９】
図３の画像復号部２５と透かし埋め込み部２３の動作は、第２の実施例と同じである。図３の画像圧縮部２４の動作は、第１の実施例と同じである。ただし、画像圧縮部２４は、図３における透かし埋め込み済み画像フレームデータ２３０と復号動きベクトルデータ２５０１と復号量子化スケールパラメータデータ２５０２を、図５の圧縮対象画像フレームデータ２４００と圧縮用動きベクトルデータ２４０１と圧縮用視覚感度指数データ２４０２として、受け取り、処理を行う。
【００６０】
上記のように、図３に示す構成により、図１における動き検索部２１や視覚感度計算部２２を備えずに、備えたものと同様の透かし埋め込みが可能となり、演算コストの大幅な削減が可能となる。また、第１の実施例と同様、既存の画像伸張圧縮集積回路に図３に示す構成を用いて透かし埋め込み部２３を組み込むことで、図３の点線で示した分を画像伸張透かし埋め込み再圧縮集積回路１９として集積できる。これは、透かし埋め込み部２３の部分以外は、既存の画像伸張圧縮集積回路に存在する部分であり、かつ、透かし埋め込み部２３の部分は比較的演算コストが小さく回路面積も比較的小さいために、可能になる。
【００６１】
また、図２及び図３で示した構成において、量子化パラメータや動きベクトルを、過度に大きくあるいは小さくコントロールしたコンテンツを入力した場合に、透かし埋め込みされた画像の埋め込み強度の分布が、入力したコンテンツにおけるコントロールされた量子化パラメータや動きベクトルの分布と一致した場合には、透かし埋め込みにおいて、本実施例で示す方式を用いていることが判別できる。
【００６２】
次に図１０から図１６を用いて、第４の実施例を説明する。
【００６３】
図１０は、実施例１から実施例３に示す処理を、ソフトウェアで実施するためのハードウェア構成を示す。システムバス１０に、中央演算装置１１、主記憶装置１２、画像入力装置１３、画像出力装置１４、補助記憶装置１５、ネットワーク接続装置１６が接続され、画像入力装置１３には画像撮影装置１３１、画像出力装置１４には画像表示装置１４１が接続されている。
【００６４】
主記憶装置１２は、処理するためのプログラムと処理対象のデータと処理済みデータと中間データを格納する。中央演算装置１１は主記憶装置１２に記憶されたプログラムにしたがって、データ処理を行う。画像入力装置１３は画像撮影装置１３１によって撮影された動画を取り込み主記憶装置１２格納する。画像出力装置１４は主記憶装置１２に格納された動画データを読み出し、画像表示装置１４１へ出力する。画像表示装置１４１は動画を表示する。ネットワーク接続装置１６は、ネットワークを介して処理対象データを受け取ったり、処理済みデータを出力する。補助記憶装置１５は、処理対象データや処理済みデータを格納する。
【００６５】
図１１は、第１の実施例と同様の機能をソフトウェアで実施する場合の、処理の流れ図である。４１０では、処理全体が終わったかどうかを判断する。これは、処理対象の動画データの終わりに到達したかを判断する。ＶＴＲの停止ボタンのようなもので、画像入力装置１３に対する入力が無くなる場合や、あらかじめ指定したフレーム数の処理が終わったかの判断を含む。４１１では、画像入力装置１３からの動画データや補助記憶装置１５内に記憶された動画データから、１フレーム分のデータを処理対象にするために主記憶装置１２に格納する。４１２では、各圧縮ブロック３１ごとに動き検索を行い、結果を主記憶装置１２に格納する。動き検索のアルゴリズムは第１の実施例と同じものを使用する。４１３では、各圧縮ブロック３１ごとに視覚感度の計算を行い、結果を主記憶装置１２に格納する。この計算式も第１の実施例と同じものを使用する。４１４では、主記憶装置１２に置かれた対象フレームデータと動きベクトルデータと視覚感度データを用いて、透かしを埋め込み、埋め込み済み画像を主記憶装置１２に格納する。４１５では、主記憶装置１２上の埋め込み済み画像を圧縮し、圧縮データを主記憶装置１２に格納する。４１６の処理は、主記憶装置１２に置かれた圧縮データを、ネットワーク接続装置１６または補助記憶装置１５に出力する。上記の４１０から４１６の処理を繰り返すことで動画への透かし埋め込みと動画圧縮が行える。
【００６６】
４１４の透かし埋め込み処理の流れ図を、図１４に示す。まず、４４０でフレーム内の最初の画素に着目する。最初の画素として例えばフレームの左上隅の画素を用いればよい。４４１では、主記憶装置１２に置かれた視覚感度データの中から、着目画素に対応するデータを取り出す。４４２では、主記憶装置１２に置かれた動きベクトルデータの中から、着目画素に対応するデータを取り出す。４４３では、数３に従って、変更量の計算を行う。４４４では、埋め込み情報ビット列３３内から着目画素に対応する埋め込み情報ビット３４を選択する。４４５では、４４３で計算した変更量と４４４で得た埋め込み情報ビット３４の値を用いて、画素の輝度値を変更する。４４６では、フレーム内の全画素を変更したかを判断する。全画素の処理が終わっていない場合は、４４７において次の画素に着目画素を移し、４４１から４４７を繰り返し処理する。
【００６７】
４１５の画像圧縮処理の流れ図を、図１５に示す。まず、４５００において、フレーム内の左上隅の圧縮ブロック３１に着目する。４５０１で、着目してる圧縮ブロック３１に対応する視覚感度データを取り出す。４５０２において、予定符号量と出力符号量の差を計算する。４５０３では、数４を適用して、量子化スケールパラメータを計算する。４５０４で、着目してる圧縮ブロック３１に対応する動きベクトルデータを取り出す。４５０５で、動きベクトルを基に動き補償画像を生成する。４５０６では、４５０５で計算した動き補償画像と、着目してる圧縮ブロック３１の各画素の差を計算する。４５０７では、４５０６で計算した画像の差を直行変換する。４５０８では、４５０３で求めた量子化スケールパラメータを用いて、４５０７の直行変換後のデータを量子化する。４５０９では、４５０８の量子化したデータと、４５０３の量子化スケールパラメータと、４５０４の動きベクトルデータを、エントロピー符号化、多重符号化する。４５１０で、圧縮データを、主記憶装置１２上に格納する。４５１１では、４５０８の量子化したデータを、４５０３の量子化スケールパラメータを用いて逆量子化する。４５１２では、４５１１の逆量子化したデータを逆直行変換する。４５１３は、４５１２の逆直行変換した画像データと、４５０５の動き補償画像を、加える。４５１４では、４５１３で加えた画像を、次のフレームの参照画像として、主記憶装置１２上に格納する。４５１５では、フレーム内のすべての圧縮ブロック３１の処理が終わったかを判断する。もし、終わっていない場合は、４５１６によって、次の圧縮ブロック３１へ着目している圧縮ブロック３１を移す。４５０１から４５１６の処理を繰り返すことで、１フレームの圧縮処理が行える。
【００６８】
以上のように、図１１に従った処理にすることで、動きベクトルの検索と視覚感度の計算が、透かし埋め込み処理と動画圧縮処理に対して１回の計算で済むため、別々に計算する場合に比べて、大幅に演算コストを削減することができる。
これにより、処理速度の向上や、システムの小型、低コスト化が行える。
【００６９】
図１２は、第２の実施例と同様の機能をソフトウェアで実施する場合の、処理の流れ図である。４２０では、処理全体が終わったかどうかを判断する。これは、処理対象の圧縮データの終わりに到達したかを判断する。４２１では、補助記憶装置１５内に記憶された圧縮データや、ネットワーク接続装置１６によって送られてきたデータから１フレーム分の圧縮データを取り出し、主記憶装置１２に格納する。４２２では、主記憶装置１２に置かれた圧縮データから１フレーム分伸張し、伸張画像と、伸張時に復号した動きベクトルと量子化スケールパラメータを主記憶装置１２に格納する。４２３では、主記憶装置１２に置かれた伸張画像に、動きベクトルと量子化スケールパラメータを用いて透かし埋め込みを行い、透かし埋め込み済み画像データを記憶装置１２に格納する。４２４では、記憶装置１２に置かれた透かし埋め込み済み画像データを、画像出力装置１４または補助記憶装置１５に出力する。上記の４２０から４２４の処理を繰り返すことで圧縮動画データの伸張と透かし埋め込みが行える。
【００７０】
４２２の画像復号処理の流れ図を、図１６に示す。まず、４６００において、１フレーム分の圧縮画像データに対して、符号分離とエントロピー符号の復号を行い、動きベクトルと量子化スケールパラメータと量子化データを記憶装置１２に格納する。４６０１でフレーム内の左上隅の圧縮ブロック３１に着目する。４６０２では、直目した圧縮ブロック３１に対する動きベクトルを、４６００によって得たデータの中から選択する。４６０３では、４６０２で選択した動きベクトルを４２３の透かし埋め込み処理のために保存する。４６０４では、４６０２で選択した動きベクトルを用いて、動き補償画像を計算する。４６０５では、直目した圧縮ブロック３１に対する量子化スケールパラメータと量子化データを４６００によって得たデータの中から選択する。４６０６では、４６０５で選択した量子化スケールパラメータを、４２３の透かし埋め込み処理のために、視覚感度指数として保存する。４６０７では、４６０５で選択した量子化スケールパラメータを用いて、量子化データを逆量子化する。４６０８では、４６０７で得た逆量子化データを逆直行変換し、復号差分画像を得る。４６０９では、４６０８で得た復号差分画像と、４６０４で得た動き補償画像を加算する。４６１０では、４６０９の加算結果を、復号画像として、記憶装置１２上に保存する。４６１１では、フレーム内のすべての圧縮ブロック３１の処理が終わったかを判断する。もし、終わっていない場合は、４６１２によって、次の圧縮ブロック３１へ着目している圧縮ブロック３１を移す。４６０２から４６１２の処理を繰り返すことで、１フレーム分の画像復号処理が行える。４６１３では、復号し終わった１フレーム分の画像を、次のフレームの参照画像として保存する。４６１４では、復号し終わった画像を、４２３の透かし埋め込み処理のために保存する。
【００７１】
図１２の４２３の処理は、図１１の４１４と同様、図１４の流れ図に沿って処理する。ただし、埋め込み対象の画像は、４２２の復号処理で得たものを使用し、動きベクトルと視覚感度指数は、４２２の復号処理で保存した動きベクトルと量子化スケールパラメータを使用する。
【００７２】
以上のように、図１２に従った処理にすることで、透かし埋め込み処理のために動きベクトルの検索と視覚感度の計算をせずに、画像の復号処理によって得られる動きベクトルと量子化スケールパラメータを使用することで、動きベクトルの検索と視覚感度の計算をする場合に比べて、大幅に演算コストを削減することができる。これにより、処理速度の向上や、システムの小型、低コスト化が行える。
【００７３】
図１３は、第３の実施例と同様の機能をソフトウェアで実施する場合の、処理の流れ図である。４３０は、処理全体が終わったかどうかを判断する。これは、処理対象の圧縮データの終わりに到達したかを判断する。４３１では、補助記憶装置１５内に記憶された圧縮データや、ネットワーク接続装置１６によって送られてきたデータから１フレーム分の圧縮データを取り出し、主記憶装置１２に格納する。４３２では、主記憶装置１２に置かれた圧縮データから１フレーム分伸張し、伸張画像と、伸張時に復号した動きベクトルと量子化スケールパラメータを主記憶装置１２に格納する。４３３では、主記憶装置１２に置かれた伸張画像に、動きベクトルと量子化スケールパラメータを用いて透かし埋め込みを行い、透かし埋め込み済み画像データを記憶装置１２に格納する。４３４では、４３３で得た透かし埋め込み済み画像データを、４３２で得た動きベクトルと量子化スケールパラメータを用いて、圧縮を行い、圧縮データを記憶装置１２に格納する。４３５では、主記憶装置１２に置かれた圧縮データを、ネットワーク接続装置１６または補助記憶装置１５に出力する。上記の４３０から４３５の処理を繰り返すことで圧縮された動画データの伸張と透かし埋め込みと動画圧縮が行える。
【００７４】
図１３の４３２は、図１２の４２２と同様に、図１６の流れ図に沿って処理を行う。図１３の４３３は、図１２の４２３と同様に、図１４の流れ図に沿って処理を行う。図１３の４３５は、図１１の４１５と同様に、図１５の流れ図に沿って処理を行う。ただし、４３５では、動きベクトルと視覚感度指数として、４３２の復号処理で保存した動きベクトルと量子化スケールパラメータを使用する。
【００７５】
以上のように、図１３に従った処理にすることで、透かし埋め込み処理や圧縮処理のために動きベクトルの検索と視覚感度の計算をせずに、画像の復号処理によって得られる動きベクトルと量子化スケールパラメータを使用することで、動きベクトルの検索と視覚感度の計算をする場合に比べて、大幅に演算コストを削減することができる。これにより、処理速度の向上や、システムの小型、低コスト化が行える。
【００７６】
以上の実施例では、動画をコンテンツに使用したが、動きベクトル検索をせず、また動きベクトルを常にゼロとして扱い、動き補償処理やそれに伴う画像の減算・加算を行うように制御する、または構成要素から削除することで、静止画コンテンツにも適用できる。ただし、静止画の圧縮コーデックとして、画像フレーム内の場所によって量子化ステップを変更するコーデックを用いなければならない。たとえば、ＭＰＥＧ−２のＩピクチャ１枚を静止画のコーデックとして使用する。
【００７７】
図１や図１１の構成による透かし埋め込みと画像圧縮を行うシステムは、デジタルビデオカメラやディジタルスチルカメラに適用することで、小型で実用的な電子透かし付きカメラを構成することができる。この場合、電子透かしをコンテンツの改ざん防止などに応用される。応用例として図１７にデジタルビデオカメラの構成を示す。ユーザ操作装置５１は、ユーザの指示を入力するキースイッチなどで構成され、ユーザのキー操作によって、制御部５２を通して、録画の開始、停止、透かし埋め込み情報の設定や、圧縮のビットレートなどを指定する。表示装置５３はカメラからの画像を表示したり、ユーザ操作を補助する情報を表示するものである。出力圧縮データ１５００は、フラッシュメモリ１５４に記録される。
【００７８】
図２や図１２の構成による画像復号と透かし埋め込みを行うシステムは、ＤＶＤプレイヤやデジタルテレビチューナーに適用することで、小型で実用的な電子透かし付き閲覧装置を構成することができる。この場合、電子透かしをコンテンツの違法コピーの追跡などに応用される。応用例として図１８にＤＶＤプレイヤとデジタルテレビチューナーの構成を示す。ユーザ操作装置５１は、ユーザの指示を入力するキースイッチなどで構成され、ユーザのキー操作によって、制御部５２を通して、ＤＶＤプレイヤの再生開始、停止、透かし埋め込み情報の設定や、テレビのチャンネル切り替えなどを指定する。画像表示装置１４１は再生画像の表示以外に、ユーザ操作を補助する情報も表示する。
【００７９】
図３や図１３の構成による圧縮画像への透かし埋め込みと再圧縮を行うシステムは、ビデオ配信サーバーに適用することで、配信ごとに透かす情報を変更できる実用的なビデオ配信サーバーを構成できる。この場合の電子透かしは、閲覧制限などに応用される。応用例として図１９に動画放送装置の構成を示す。ユーザ操作装置５１は、ユーザの指示を入力するキースイッチなどで構成され、ユーザのキー操作によって、制御部５２を通して、コンテンツの選択、透かし埋め込み情報の設定や、圧縮のビットレートなどを指定する。表示装置５３は、ユーザ操作を補助する情報を表示するものである。
【００８０】
本実施例によれば、透かし埋め込みのためにのみに、動き探索や視覚感度を計算する場合と比べて、大幅に、演算コストが削減でき、装置全体の小型低価格化が行える。
【００８１】
従来の動画圧縮装置及び電子透かし埋め込み処理での演算は、動きベクトル検索計算と視覚感度計算をそれぞれの装置で行っていたため、従来の動画圧縮装置に従来の電子透かし埋め込み機能を追加した場合、動きベクトル検索計算と視覚感度計算に関する演算コストは動画圧縮装置の約２倍になる。
【００８２】
しかし、本実施例の方法で画像圧縮装置に電子透かし埋め込み機能を追加した場合、動きベクトル検索計算と視覚感度計算に関する演算コストは動画圧縮装置の演算コストと等しく、従来の方法で動画圧縮装置に従来の電子透かし埋め込み機能を追加した場合と比べ演算コストが削減できる。
【００８３】
【発明の効果】
本発明によれば、電子透かしの劣化を防止し、透かし埋め込み及び画像圧縮における演算コストを削減することができる。
【図面の簡単な説明】
【図１】動画圧縮装置と透かし埋め込み部を組み合わせに適用したシステムの構成を説明する図である。
【図２】動画復号装置と透かし埋め込み部を組み合わせに適用したシステムの構成を説明する図である。
【図３】動画復号装置と透かし埋め込み部と動画圧縮装置を組み合わせに適用したシステムの構成を説明する図である。
【図４】システムを構成する透かし埋め込み部の構成を説明する図である。
【図５】システムを構成する動画圧縮装置の構成を説明する図である。
【図６】システムを構成する動画復号装置の構成を説明する図である。
【図７】動画を構成する個々の画像と、圧縮ブロックの構成を説明する図である。
【図８】動画を構成する個々の画像と、埋め込みブロックの構成を説明する図である。
【図９】動き検索を説明する図である。
【図１０】ソフトウェアで実現する場合の装置の構成を説明する図である。
【図１１】透かし埋め込み機能と動画圧縮機能を備えるソフトウェアとして実現する場合の、処理の流れ図である。
【図１２】動画復号機能と透かし埋め込み機能を備えるソフトウェアとして実現する場合の、処理の流れ図である。
【図１３】動画復号機能と透かし埋め込み機能と動画圧縮機能を備えるソフトウェアとして実現する場合の、処理の流れ図である。
【図１４】システムを構成する動き検索計算処理の、流れ図である。
【図１５】システムを構成する動画圧縮処理の、流れ図である。
【図１６】システムを構成する動画復号処理の、流れ図である。
【図１７】デジタルカメラの構成を示す実施例の図である。
【図１８】閲覧装置（デジタル放送のセットトップボックス）の構成を示す実施例の図である。
【図１９】放送システムの構成を示す実施例の図である。
【符号の説明】
１０…システムバス、１１…中央演算装置、１２…主記憶装置、１３…画像入力装置、１３０…原画像入力部、１３００…画像フレームデータ、１３０１…原画像入力データ、１３１…画像撮影装置、１３１０…撮影画像データ、１４…画像出力装置、１４０…復号画像出力部、１４００…復号画像出力データ、１４１…画像表示装置、１５…補助記憶装置、１５０…圧縮データ出力部、１５００…出力圧縮データ、１５１…圧縮データ入力部、１５１０…入力画像圧縮データ、１５１１…入力圧縮データ、１５２…画像記憶装置、１５２０…記憶画像データ、１５３…圧縮データ記憶装置、１５３０…記憶圧縮データ、１６…ネットワーク接続装置、１６０…ストリーミング入力データ、１７…画像透かし埋め込み圧縮集積回路、１８…画像伸張透かし埋め込み集積回路、１９…画像伸張透かし埋め込み再圧縮集積回路、２１…動き検索部、２１０…検索動きベクトルデータ、２２…視覚感度計算部、２２０…視覚感度指数データ、２３…透かし埋め込み部、２３０…透かし埋め込み済み画像フレームデータ、２３００…透かし埋め込み対象画像フレームデータ、２３０１…透かし用動きベクトルデータ、２３０２…透かし用視覚感度指数データ、２３１…変更量計算部、２３１０…画素変更量データ、２３２…画素変更部、２４…画像圧縮部、２４０…出力画像圧縮データ、２４００…圧縮対象画像フレームデータ、２４０１…圧縮用動きベクトルデータ、２４０２…圧縮用視覚感度指数データ、２４１…画像差分部、２４１０…圧縮対象差分画像データ、２４２…直行変換部、２４２０…圧縮対象直行変換データ、２４３…量子化部、２４３０…圧縮対象量子化データ、２４４…多重符号化部、２４５…符号量制御部、２４５０…圧縮制御量子化スケールパラメータデータ、２５…画像復号部、２５０…復号画像フレームデータ、２５００…復号対象圧縮、ータ、２５０１…復号動きベクトルデータ、２５０２…復号量子化スケールパラ、ータデータ、２５１…符号分離装置、２５１０…復号量子化データ、２５２…動、補償部、２５２０…動き補償画像、２５３…逆量子化部、２５３０…復号直行変換データ、２５４…逆直行変換部、２５４０…復号差分画像データ、２５５…画、加算部、２５５０…参照用復号画像フレームデータ、２５６…参照画像記憶部、２５６０…参照画像データ、３０…フレーム、３１…圧縮ブロック、３２…埋め、みブロック、３３…埋め込み情報ビット列、３４…埋め込み情報ビット、３５…、理対象のフレーム、３６…参照フレーム、３７…処理対象圧縮ブロック、３８…、き予測ブロック、３９…一致度評価

Claims

コンテンツに電子透かしを埋め込む電子透かし埋め込み装置であって、
コンテンツが入力される画像入力部と、
前記画像入力部に接続される視覚感度計算部と透かし埋め込み部と、
前記視覚感度計算部と前記透かし埋め込み部とに接続される画像圧縮部とを有し、
前記視覚感度計算部は、前記画像入力部から出力される画像フレームに含まれるブロックの輝度の分散値から、視覚感度指数データを作成し、前記透かし埋め込み部と前記画像圧縮部に出力し、
前記透かし埋め込み部は、前記視覚感度指数データとに基づき、前記画像フレームに含まれるブロックの輝度を変更して透かし埋め込み、該電子透かし埋め込み済み画像フレームを前記画像圧縮部に出力し、
前記画像圧縮部は、前記視覚感度指数データに基づき量子化パラメータを作成し、該量子化パラメータに基づき、前記透かし埋め込み済み画像フレームを圧縮することを特徴とする電子透かし埋め込み装置。
請求項１記載の電子透かし埋め込み装置であって、
前記画像入力部と前記透かし埋め込み部と画像圧縮部とに接続される動き検索部をさらに有し、
前記動き検索部は、前記画像入力部から出力される画像フレームに含まれるブロックと他の画像フレームに含まれるブロックとを比較し、動きベクトルを作成し、前記透かし埋め込み部と前記画像圧縮部に出力し、
前記透かし埋め込み部は、前記動きベクトルと前記視覚感度指数データとに基づき、前記画像フレームに含まれるブロックの輝度を変更して透かし埋め込み、該電子透かし埋め込み済み画像フレームを前記画像圧縮部に出力し、
前記画像圧縮部は、前記視覚感度指数データに基づき量子化パラメータを作成し、該量子化パラメータと前記動きベクトルとに基づき、前記透かし埋め込み済み画像フレームを圧縮することを特徴とする電子透かし埋め込み装置。
請求項２記載の電子透かし埋め込み装置であって、
前記透かし埋め込み部は、透かし埋め込み制御部と、該透かし埋め込み制御部に接続される動きベクトルバッファ部と視覚感度バッファ部と画像バッファ部とを有し、
前記透かし埋め込み制御部は、前記動きベクトルバッファ部に前記動きベクトル、前記視覚感度バッファ部に前記視覚感度指数データ、前記画像バッファ部に前記画像フレームを入力した後に、透かし埋め込みの処理を実行するよう制御することを特徴とする電子透かし埋め込み装置。
請求項３記載の電子透かし埋め込み装置であって、
前記動きベクトルバッファ部と前記視覚感度バッファ部とに接続された変更量計算部と、前記画像バッファ部と該変更量計算部に接続された画素変更部をさらに有し、
前記透かし埋め込み制御部は、前記動きベクトルバッファ部に前記動きベクトルが入力され、前記視覚感度バッファ部に前記視覚感度指数データが入力された後に、該動きベクトルと視覚感度指数データを前記変更量計算部に出力して画素変更量データの計算を行い、
前記画素変更量データと、前記画像バッファ部に格納された前記画像フレームとが画素変更部へ入力された後に、透かし埋め込み処理を行うよう制御することを特徴とする電子透かし埋め込み装置。
請求項２記載の電子透かし埋め込み装置であって、
前記画像圧縮部は、圧縮制御部と、該圧縮制御部に接続される動きベクトルバッファ部と視覚感度バッファ部と画像バッファ部とを有し、
前記圧縮制御部は、前記動きベクトルバッファ部に前記動きベクトルが入力され、前記視覚感度バッファ部に前記視覚感度指数データが入力され、前記画像バッファ部に所定のフレーム内のブロックの透かし挿入済みデータが入力された後に、圧縮処理を行うよう制御することを特徴とする電子透かし埋め込み装置。
請求項２記載の電子透かし埋め込み装置であって、
入力したコンテンツが静止画であった場合、
前記動き検索部から出力される動きベクトルをゼロとして、前記透かし埋め込み部と前記画像圧縮部に出力することを特徴とする電子透かし埋め込み装置。
コンテンツに電子透かしを埋め込む電子透かし埋め込み装置であって、
圧縮符号化された圧縮画像データを入力する入力部と、
前記圧縮画像データを復号する画像復号部と、
前記画像復号部が復号した画像データに電子透かしを埋め込む電子透かし埋め込み部と、
前記電子透かし埋め込み済み画像データを出力する画像出力部を有し、
前記画像復号部は、前記圧縮画像データ内に符号化されている動きベクトルと量子化パラメータとを前記透かし埋め込み部に出力し、
前記透かし埋め込み部は、前記動きベクトルと前記量子化パラメータに基づき電子透かし埋め込みを行うことを特徴とする電子透かし埋め込み装置。
コンテンツに電子透かしを埋め込む電子透かし埋め込み装置であって、
圧縮符号化された圧縮画像データを入力する入力部と、
前記圧縮画像データを復号する画像復号部と、
前記画像復号部が復号した画像データに電子透かしを埋め込む電子透かし埋め込み部と、
前記電子透かし埋め込み画像データを圧縮符号化し圧縮画像データを出力する画像圧縮部を有し、
前記画像復号部は、前記圧縮画像データ内に符号化されている動きベクトルと量子化パラメータを前記透かし埋め込み部及び前記画像圧縮部に出力し、
前記透かし埋め込み部は、前記動きベクトルと前記量子化パラメータに基づき電子透かし埋め込み、透かし埋め込み済みフレームを前記画像圧縮部に出力し、
前記画像圧縮部は、前記動きベクトルと前記量子化パラメータに基づき、前記透かし埋め込み済みフレームの圧縮を行うことを特徴とする電子透かし埋め込み装置。
請求項７または８のいずれか記載の電子透かし埋め込み装置であって、
予め定めた値の量子化パラメータの分布で圧縮符号化した圧縮画像データを前記入力部へ入力した場合、
出力される透かし埋め込みされた画像の透かし埋め込み強度の分布は、前記予め定めた値の量子化パラメータの分布と一致することを特徴とする電子透かし埋め込み装置。
コンピュータを、
画像フレームが入力される画像入力部と、
前記画像フレームに含まれるブロックと他の画像フレームに含まれるブロックとを比較し、動きベクトルを作成する部と、
前記画像フレームに含まれるブロックの輝度の分散値から、視覚感度指数データを作成する視覚感度計算部と、
前記動きベクトルと前記視覚感度指数データに基づき、画像フレームに含まれるブロックの輝度を変更して、透かし埋め込み済み画像フレームを作成する透かし埋め込み部と、
前記視覚感度指数データに基づき量子化パラメータを作成し、該量子化パラメータと前記動きベクトルとに基づき、前記透かし埋め込み済み画像フレームを圧縮する画像圧縮部として機能させるためのプログラム。
コンピュータを、
圧縮された画像フレームが入力される入力部と、
前記圧縮画像フレームを復号し、該圧縮画像フレームに含まれる動きベクトルと量子化パラメータを抽出する画像復号部と、
前記量子化パラメータと前記動きベクトルとに基づき、前記復号した画像フレームに透かしを埋め込む透かし埋め込み部として機能させるためのプログラム。
コンピュータを、
圧縮された画像フレームが入力される入力部と、
前記圧縮画像フレームを復号し、該圧縮画像フレームに含まれる動きベクトルと量子化パラメータを抽出する画像復号部と、
前記量子化パラメータと前記動きベクトルとに基づき、前記復号した画像フレームに透かしを埋め込む透かし埋め込み部と、
前記動きベクトルと前記量子化パラメータに基づき、前記透かし埋め込み済みフレームの圧縮を行う画像圧縮部とを有することを特徴として機能させるためのプログラム。
入力画像を表示する表示部と情報を格納する記憶部を有する情報処理システムであって、
入力画像が入力される画像入力部と、
前記画像入力部に接続される動き検索部と視覚感度計算部と透かし埋め込み部と、
前記動き検索部と前記視覚感度計算部と前記透かし埋め込み部とに接続される画像圧縮部とを有し、
前記動き検索部は、前記画像入力部から出力される画像フレームに含まれるブロックと他の画像フレームに含まれるブロックとを比較し、動きベクトルを作成し、前記透かし埋め込み部と前記画像圧縮部に出力し、
前記視覚感度計算部は、前記画像入力部から出力される画像フレームに含まれるブロックの輝度の分散値から、視覚感度指数データを作成し、前記透かし埋め込み部と前記画像圧縮部に出力し、
前記透かし埋め込み部は、前記画像フレームに含まれるブロックと前記動きベクトルと前記視覚感度指数データに基づき、画像フレームに含まれるブロックの輝度を変更して、透かし埋め込み済み画像フレームを作成し、前記画像圧縮部に出力し、
前記画像圧縮部は、前記視覚感度指数データに基づき量子化パラメータを作成し、該量子化パラメータと前記動きベクトルとに基づき、前記透かし埋め込み済み画像フレームを圧縮し、前記記憶部へ出力することを特徴とする情報処理システム。
圧縮符号化されたコンテンツを入力し表示する情報処理システムであって、
圧縮符号化された圧縮画像データを入力する入力部と、
前記圧縮画像データを復号する画像復号部と、
前記画像復号部が復号した画像に電子透かしを埋め込む電子透かし埋め込み部と、
前記電子透かし埋め込み画像を出力する画像出力部を有し、
前記画像復号部は、前記圧縮画像データ内に符号化されている動きベクトルと量子化パラメータを前記透かし埋め込み部に出力し、
前記透かし埋め込み部は、前記動きベクトルと前記量子化パラメータに基づき電子透かし埋め込みを行い、表示部に出力し、
前記表示部は、前記電子透かし埋め込み済みの画像データを表示することを特徴とする情報処理システム。
ネットワークに接続された情報配信システムであって、
前記ネットワークから圧縮符号化された圧縮画像データを入力する入力部と、
前記圧縮画像データを復号する画像復号部と、
前記画像復号部が復号した画像に電子透かしを埋め込む電子透かし埋め込み部と、
前記電子透かし埋め込み画像を圧縮符号化し圧縮画像データを出力する画像圧縮部を有し、
前記画像復号部は、前記圧縮画像データ内に符号化されている動きベクトルと量子化パラメータを前記透かし埋め込み部及び前記画像圧縮部に出力し、
前記透かし埋め込み部は、前記動きベクトルと前記量子化パラメータに基づき電子透かし埋め込み、透かし埋め込み済みフレームを前記画像圧縮部に出力し、
前記画像圧縮部は、前記動きベクトルと前記量子化パラメータに基づき、前記透かし埋め込み済みフレームの圧縮を行い、該圧縮された透かし埋め込み済みフレームを前記ネットワークへ出力することを特徴とする情報配信システム。
コンテンツに電子透かしを埋め込む集積回路であって、
コンテンツが入力される画像入力部と、
前記画像入力部に接続される動き検索部と視覚感度計算部と透かし埋め込み部と、
前記動き検索部と前記視覚感度計算部と前記透かし埋め込み部とに接続される画像圧縮部とを有し、
前記動き検索部は、前記画像入力部から出力される画像フレームに含まれるブロックと他の画像フレームに含まれるブロックとを比較し、動きベクトルを作成し、前記透かし埋め込み部と前記画像圧縮部に出力し、
前記視覚感度計算部は、前記画像入力部から出力される画像フレームに含まれるブロックの輝度の分散値から視覚感度指数データを作成し、前記透かし埋め込み部と前記画像圧縮部に出力し、
前記透かし埋め込み部は、前記画像フレームに含まれるブロックと前記動きベクトルと前記視覚感度指数データに基づき、画像フレームに含まれるブロックの輝度を変更して、透かし埋め込み済み画像フレームを作成し、前記画像圧縮部に出力し、
前記画像圧縮部は、前記視覚感度指数データに基づき量子化パラメータを作成し、該量子化パラメータと前記動きベクトルとに基づき、前記透かし埋め込み済み画像フレームを圧縮することを特徴とする集積回路。
コンテンツに電子透かしを埋め込む集積回路であって、
圧縮符号化された圧縮画像データを入力する入力部と、
前記圧縮画像データを復号する画像復号部と、
前記画像復号部が復号した画像データに電子透かしを埋め込む電子透かし埋め込み部と、
前記電子透かし埋め込み済み画像データを出力する画像出力部を有し、
前記画像復号部は、前記圧縮画像データ内に符号化されている動きベクトルと量子化パラメータとを前記透かし埋め込み部に出力し、
前記透かし埋め込み部は、前記動きベクトルと前記量子化パラメータに基づき電子透かし埋め込みを行うことを特徴とする集積回路。
コンテンツに電子透かしを埋め込む集積回路であって、
圧縮符号化された圧縮画像データを入力する入力部と、
前記圧縮画像データを復号する画像復号部と、
前記画像復号部が復号した画像データに電子透かしを埋め込む電子透かし埋め込み部と、
前記電子透かし埋め込み画像データを圧縮符号化し圧縮画像データを出力する画像圧縮部を有し、
前記画像復号部は、前記圧縮画像データ内に符号化されている動きベクトルと量子化パラメータを前記透かし埋め込み部及び前記画像圧縮部に出力し、
前記透かし埋め込み部は、前記動きベクトルと前記量子化パラメータに基づき電子透かし埋め込み、透かし埋め込み済みフレームを前記画像圧縮部に出力し、
前記画像圧縮部は、前記動きベクトルと前記量子化パラメータに基づき、前記透かし埋め込み済みフレームの圧縮を行うことを特徴とする集積回路。
コンテンツに電子透かしを埋め込む透かし埋め込み方法であって、
コンテンツが入力される工程と、
前記コンテンツに含まれる画像フレームを動き検索部と視覚感度計算部と透かし埋め込み部に出力する工程と、
前記動き検索部が、前記画像フレームに含まれるブロックと他の画像フレームに含まれるブロックとを比較し、動きベクトルを作成し、前記透かし埋め込み部と画像圧縮部に出力する工程と、
前記視覚感度計算部が、前記画像フレームに含まれるブロックの輝度の分散値から視覚感度指数データを作成し、前記透かし埋め込み部と前記画像圧縮部に出力する工程と、
前記透かし埋め込み部が、前記画像フレームに含まれるブロックと前記動きベクトルと前記視覚感度指数データに基づき、画像フレームに含まれるブロックの輝度を変更して、透かし埋め込み済み画像フレームを作成し、前記画像圧縮部に出力する工程と、
前記画像圧縮部が、前記視覚感度指数データに基づき量子化パラメータを作成し、該量子化パラメータと前記動きベクトルとに基づき、前記透かし埋め込み済み画像フレームを圧縮する工程とを有することを特徴とする透かし埋め込み方法。
コンテンツに電子透かしを埋め込む透かし埋め込み方法であって、
圧縮符号化された圧縮画像データが入力される工程と、
画像復号部が、前記圧縮画像データを復号し、前記圧縮画像データ内に符号化されている動きベクトルと量子化パラメータとを透かし埋め込み部に出力する工程と、
前記透かし埋め込み部が、前記動きベクトルと前記量子化パラメータに基づき電子透かし埋め込みを行う工程とを有することを特徴とする透かし埋め込み方法。
コンテンツに電子透かしを埋め込む透かし埋め込み方法であって、
圧縮符号化された圧縮画像データが入力される工程と、
画像復号部が、前記圧縮画像データを復号し、前記圧縮画像データ内に符号化されている動きベクトルと量子化パラメータとを透かし埋め込み部及び前記画像圧縮部に出力する工程と、
前記透かし埋め込み部が、前記動きベクトルと前記量子化パラメータに基づき電子透かし埋め込み、透かし埋め込み済みフレームを前記画像圧縮部に出力する工程と、
前記画像圧縮部が、前記動きベクトルと前記量子化パラメータに基づき、前記透かし埋め込み済みフレームの圧縮を行う工程とを有することを特徴とする透かし埋め込み方法。