JP2004328747A - 映像に透かしを埋め込む方法及び該方法を用いたデジタルビデオ記録装置 - Google Patents

映像に透かしを埋め込む方法及び該方法を用いたデジタルビデオ記録装置 Download PDF

Info

Publication number
JP2004328747A
JP2004328747A JP2004128594A JP2004128594A JP2004328747A JP 2004328747 A JP2004328747 A JP 2004328747A JP 2004128594 A JP2004128594 A JP 2004128594A JP 2004128594 A JP2004128594 A JP 2004128594A JP 2004328747 A JP2004328747 A JP 2004328747A
Authority
JP
Japan
Prior art keywords
watermark
embedding
video
embedded
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004128594A
Other languages
English (en)
Other versions
JP4294538B2 (ja
Inventor
Dong Hwan Shin
シン・ドンファン
Gyonsun Kim
キム・ギョンスン
Won Ha Lee
リ・ウォンハ
Jong Uk Choi
チェ・ジョンウク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Markany Inc
Marktek Inc
Original Assignee
Markany Inc
Marktek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Markany Inc, Marktek Inc filed Critical Markany Inc
Publication of JP2004328747A publication Critical patent/JP2004328747A/ja
Application granted granted Critical
Publication of JP4294538B2 publication Critical patent/JP4294538B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32165Transform domain methods using cosine transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/3217Transform domain methods using wavelet transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32267Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
    • H04N1/32277Compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91342Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being an authentication signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/167Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675Providing digital key or authorisation information for generation or regeneration of the scrambling sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Abstract

【課題】 実時間で撮影されて記録される映像の認証及び偽変造の防止を可能にするシステムを提供する。
【解決手段】 撮影されたデジタル映像に実時間で透かしを埋込み及び検出し、映像の偽変造の有無及び偽変造の位置を確認することができるようにする透かしの埋込み及び検出方法に関する。圧縮過程で用いられる周波数変換後の量子化された係数を用いて透かしを生成し、これを映像に埋め込むことにより映像の圧縮と透かしの埋込みが共に行われる。本来の擬似ランダムシーケンスを距離dだけ円状シフトさせたランダムシーケンスを透かしとして映像に埋め込む強靭な透かしの埋込み方法が開示される。映像のMPEG圧縮過程中において、量子化されたDCT係数を用いて透かしを生成及び埋め込む技術が開示され、透かしの生成及び埋込みは、マクロブロック単位またはスライス単位で行われ得る。
【選択図】図1

Description

本発明は、映像に透かしを埋め込む方法及び該方法を用いたデジタルビデオ記録装置に関する。より具体的には、本発明は、撮影されたデジタル映像に実時間で透かしを埋め込み、映像の偽変造の有無及び偽変造の位置を確認することができるようにする透かしの埋込み方法に関し、また前記透かしの埋込みは圧縮と共に行われ得る。
本発明は、全体的に本発明の出願人と同一の出願人により出願され、発明の名称が「デジタル映像の偽変造防止のためのネットワークカメラ装置、ネットワークカメラサーバ及びデジタルビデオ記録装置、並びにこれらの装置から出力されたデジタル映像を認証する装置とその方法」である韓国特許出願第2001−62934号と関連しており、前記出願発明は本発明に参照として含まれる。
前記出願発明は、実時間で撮影される映像信号に強靭な透かしRW(Robust Watermark)及び/又は軟弱な透かしFW(Fragile Watermark)を埋め込み、映像の偽変造を防止する方法及び該方法を採用したネットワークカメラ装置、ネットワークカメラサーバ及びデジタルビデオ記録装置を開示する。特に、前記出願発明においては、デジタル映像信号の圧縮をRWの埋込み後、FWの埋込み前に別途に行うことになる。
本発明は、前記出願発明の強靭な透かし及び軟弱な透かしの埋込み方法を改善した発明であり、特に圧縮を行うと共にRW及び/又はFWを埋め込む方法、埋込み情報量を増やす方法、埋込み速度を実時間に近く高める方法、また空間領域と変換領域における透かしの埋込み及び検出の相互運用性(Interoperability)を可能にする透かしの埋込み方法等が開示される。さらに、前記強靭な透かし及び/又は軟弱な透かしの埋込み方法を採用したデジタルビデオ記録装置DVRが開示される。
本発明を説明する前に、本発明の方法が適用されるデジタルビデオ記録装置について説明する。デジタルCCTV方式システムであるDVR(Digital Video Recorder)は、既存のCCDカメラとVCR、TAPE等で構成された監視システムを代替する次世代監視システムとして多く用いられているが、アナログ方式の監視システムは、監視しようとする環境をモニタリングし必要な映像データをTAPEに録画して検索、記録していたのに対し、DVRにおいては、撮影された映像データをデジタル信号に変換し、ハードディスクやDVD−RAM等に記録するため、アナログ装備に比べ様々な長所を有していると言える。また、1台のDVRで多数のカメラ(例えば、16個のカメラ)と多数の映像(16分割映像)を記録して管理することができる。
一方、本発明における透かしの埋込み及び抽出方法は、主に周波数変換平面の特性を用いる。ここで用いられ得る変換としては、ウェーブレット変換WT(Wavelet Transform)及び離散コサイン変換DCT(Discrete Cosine Transform)があり、この変換は、主に圧縮アルゴリズムから映像の空間的な情報の不要な部分(Redundancy)を除去するために用いられる変換である。
先ず、ウェーブレット変換は、信号の変化が激しい部分においてはサンプリング間隔を小さくし、信号の変化が緩やかな部分においては間隔を大きくし、信号の特性を抽出するのに有利な変換方式であり、これについては、非特許文献1に開示されている。
ウェーブレット変換は、フーリエ変換と共に1990年代に多くの研究が行われた信号処理方法である。ウェーブレット変換においては、周波数が高い信号は、時間軸上でウィンドウサイズを小さくし、周波数が低い信号である場合は、時間軸上でウィンドウサイズを大きくして信号を分析することが分かる。従って、ウェーブレット変換を用いると、周波数情報だけでなく時間情報も各帯域別に分かる。また、帯域別に信号を分けることができるため、所望の帯域の信号のみを処理することができる。
DCT変換は、2次元空間のデータを2次元周波数平面に変換させる変換である。DCT変換の結果、発生する2次元信号は同一の大きさを有して実数値でのみ表現される。また、大半の映像信号が低周波領域に集中されており、大半のゼロでない係数は、低周波数の帯域部分に集まっており、高周波数成分の係数の大半はゼロまたは小さい値を有する。従って、低周波数帯域の意味のある係数のみを取り、これを離散コサイン逆変換(IDCT)すると、映像から高周波成分が除去された映像信号が得られる。従って、空間領域における各ピクセルの係数を用いて圧縮するよりDCT変換を行った後、低周波帯域の係数を用いて圧縮を行うのは遥かに圧縮効率を高めることができる。
ヤング・ヤン(Yang Yan)、ツァング・ドング(Zhang Dong)著「Mバンドウェーブレット変換によるアルゴリズムの高度化(Enhancement of Algorithms via M−Band Wavelet Transform)」、SPIE生物医学光通信及び光電子イメージング会報(Proceedings of SPIE Biomedical Photonics and Optoelectronic Imaging)、2000年、165−169ページ
本発明の目的は、実時間で撮影されて記録される映像の認証及び偽変造の防止を可能にするシステムを提供することである。
本発明の他の目的は、圧縮を行う過程と共に強靭な透かし及び/又は軟弱な透かしを埋め込む方法を提供することである。
本発明のまた他の目的は、透かしとして埋め込まれる情報量を増やし、また透かしの埋込み速度を実時間に近く高める方法を提供することである。
本発明のまた他の目的は、空間領域と変換領域における透かしの埋込み及び検出の相互運用性を可能にする透かしの埋込み方法を提供することである。
本発明のまた他の目的は、前記のような強靭な透かし及び/又は軟弱な透かしの埋込み方法を採用したデジタルビデオ記録装置DVRを提供することである。
上述したような目的を達成するために、本発明は、映像に透かしを埋め込む方法において、本来の擬似ランダムシーケンスを距離dだけ円状シフト(circular shift)させたランダムシーケンスを透かしとして映像に埋め込むステップを含む透かしの埋込み方法を提供する。
本発明の他の目的を達成するために、本発明は、映像に透かしを埋め込む方法において、擬似ランダムシーケンスを生成するステップと、前記擬似ランダムシーケンスを距離dだけ円状シフトさせ、透かしシーケンスを生成するステップと、前記透かしシーケンスに透かしの埋込み強度を示す係数を乗算するステップと、前記乗算された透かしシーケンスをウェーブレット変換された原映像と合算させ、周波数変換領域における透かしが埋め込まれた映像を生成するステップと、前記透かしが埋め込まれた映像をウェーブレット逆変換し、空間領域における透かしが埋め込まれた映像を生成するステップとを含む透かしの埋込み方法を提供する。
また、本発明は、映像に透かしを埋め込む方法において、擬似ランダムシーケンスを生成するステップと、前記擬似ランダムシーケンスを距離dだけ円状シフトさせ、透かしシーケンスを生成するステップと、前記透かしシーケンスをウェーブレット逆変換するステップと、前記ウェーブレット逆変換された透かしシーケンスに透かしの埋込み強度を示す係数を乗算するステップと、前記乗算された透かしシーケンスを空間領域の原映像と合算させて透かしが埋め込まれた映像を生成するステップとを含む透かしの埋込み方法を提供する。
また、本発明は、映像に透かしを埋め込む方法において、擬似ランダムシーケンスを生成するステップと、前記擬似ランダムシーケンスを距離dだけ円状シフトさせ、透かしシーケンスを生成するステップと、原映像を離散コサイン変換させるステップと、前記原映像の離散コサイン変換された係数のうち、DC係数のLSBを前記透かしシーケンスに代替するステップと、前記LSBが代替された映像を離散コサイン逆変換するステップとを含む透かしの埋込み方法を提供する。
また、本発明は、映像に透かしを埋め込む方法において、擬似ランダムシーケンスを生成するステップと、前記擬似ランダムシーケンスを距離dだけ円状シフトさせ、透かしシーケンスを生成するステップと、前記透かしシーケンスを離散コサイン逆変換するステップと、前記離散コサイン変換された透かしシーケンスを原映像と合算するステップとを含む透かしの埋込み方法を提供する。
本発明のまた他の目的を達成するために、本発明は、映像のMPEG圧縮を行う過程と共に映像に透かしを埋め込む方法において、入力映像を離散コサイン変換するステップと、前記離散コサイン変換された映像を量子化するステップと、前記量子化されたDCT係数を用いて透かしを構成するステップと、前記透かしを前記映像に埋め込むステップと、前記透かしが埋め込まれた映像に可変長コーディング過程を行うステップとを含む透かしの埋込み方法を提供する。
また、本発明は、映像のMPEG圧縮を行う過程と共に映像に透かしを埋め込む方法において、前記映像の該当マクロブロックの量子化されたDCT係数が入力されるステップと、前記該当マクロブロックの各DCTブロックを特徴抽出領域と透かしの埋込み領域とに分割するステップと、前記特徴抽出領域の量子化されたDCT係数とユーザ情報とを組み合わせるステップと、前記組み合わされた値をハッシュ関数の入力値としてハッシュ値を求めるステップと、前記透かしの埋込み領域の量子化されたDCT係数のLSBに前記ハッシュ値を埋め込むステップとを含む透かしの埋込み方法を提供する。
また、本発明は、映像のMPEG圧縮を行う過程と共に映像に透かしを埋め込む方法において、前記映像の該当スライス内の全てのマクロブロックの量子化されたDCT係数が入力されるステップと、前記マクロブロックそれぞれのDCTブロックを特徴抽出領域と透かしの埋込み領域とに分割するステップと、前記特徴抽出領域の量子化されたDCT係数とユーザ情報とを組み合わせるステップと、前記組み合わされた値をハッシュ関数の入力値としてハッシュ値を求めるステップと、前記該当スライスの次のスライスの透かしの埋込み領域の量子化されたDCT係数のLSBに前記ハッシュ値を埋め込むステップとを含む透かしの埋込み方法を提供する。
また、本発明は、映像のJPEG圧縮を行う過程と共に映像に透かしを埋め込む方法において、入力映像を離散コサイン変換するステップと、前記離散コサイン変換された映像を量子化するステップと、前記量子化されたDCT係数を用いて透かしを構成するステップと、前記透かしを前記映像に埋め込むステップと、前記透かしが埋め込まれた映像にエントロピーコーディング過程を行うステップとを含む透かしの埋込み方法を提供する。
本発明のまた他の目的を達成するために、本発明は、映像のウェーブレット圧縮を行う過程と共に映像に透かしを埋め込む方法において、ウェーブレット圧縮過程中の量子化されたウェーブレット係数を特徴抽出領域と透かしの埋込み領域とに分割するステップと、前記特徴抽出領域の量子化されたDCTウェーブレット係数とユーザ情報とを組み合わせるステップと、前記組み合わされた値をハッシュ関数の入力値としてハッシュ値を求めるステップと、前記透かしの埋込み領域のLSBをゼロとし、ここに前記ハッシュ値ビットを埋め込むステップとを含む透かしの埋込み方法を提供する。
併せて、本発明は、上述の透かしの埋込み方法によって実時間で撮影される映像に透かしを埋め込んで記録するデジタルビデオ記録装置を提供する。
上述のような本発明によると、実時間で撮影されて記録される映像の認証及び偽変造の防止を可能にするシステムを提供する効果がある。また、圧縮を行う過程と共に強靭な透かし及び/又は軟弱な透かしを埋め込むことができ、透かしとして埋め込まれる情報量を増やし、また透かしの埋込み速度を実時間に近く高める効果がある。更に、空間領域と変換領域における透かしの埋込み及び検出の相互運用性を可能にする効果がある。
以下、添付の図を参照として本発明の好ましい実施例について詳細に説明する。図1は、本発明の透かしの埋込み方法が適用されるシステムの構成を示すブロック図である。図1のシステムは、撮影されて入力される映像信号を圧縮し、また透かしを埋め込む構成が適用され得るネットワークカメラ、カメラサーバ、特にデジタルビデオカメラである。
図1を参照とすると、本発明の透かしの埋込み装置100は、映像データ処理部(A/D)110、固定情報生成部120、任意情報生成部130、透かし生成部140、圧縮及び透かし埋込み部150、映像データ処理部(デコーダ+D/A)160、ネットワーク連結部170及び映像記録部180を含んで構成され得る。
映像データ処理部(A/D)110は、撮影されて入力される映像信号がアナログである場合に必要な構成要素であり、アナログ映像信号をデジタル映像信号にA/D(Analog to Digital)変換する部分である。
固定情報生成部120は、映像記録装置の固有数字、入力映像のカメラ情報等を生成する部分であり、任意情報生成部130は、映像が録画される時間とユーザが任意に記録しようとする情報を生成する部分である。透かし生成部140は、前記固定情報生成部120と任意情報生成部130から生成された情報を用いて、デジタル映像に埋め込まれる透かしを生成する部分である。圧縮及び透かし埋込み部150は、入力されるデジタル映像に圧縮と透かしの埋込みを行う部分であり、この部分については、図3を参照として詳細に後述する。実時間運営部190は、図1のシステムの構成要素の機能遂行が実時間で行われるように制御する部分である。
圧縮及び透かし埋込み部150に出力された透かしが埋め込まれた圧縮映像信号は、映像データ処理部(デコーダ+D/A)160、ネットワーク連結部170または映像記録部180(ハードディスク、DVD−RAM、CD−RWマグネティックテープ等のデジタル記録装置)に入力され得る。
映像データ処理部(デコーダ+D/A)160は、圧縮された映像の圧縮を解除すると共に、圧縮が解除されたデジタル映像をアナログ映像に変換する部分である。アナログに変換された映像は、モニタ等の映像出力部を通じて一般ユーザがこれを観察することができるようになる。
ネットワーク連結部170は、圧縮されたデジタル映像を遠隔地から記録、観察することができるようにネットワークにデータを伝送する部分である。映像記録部180は、圧縮されたデジタル映像を記録して保管する部分である。映像記録部180に記録されたデジタル映像は、デジタル映像出力装置により外部に出力される。デジタル出力装置は、フロッピーディスク、汎用シリアルバス装置USB、CD等のような装置となり得る。
図2は、本発明の透かしの埋込み方法が適用されるシステムの構成を示すブロック図であり、透かしの埋込み装置に複数の映像入力装置からの映像が受信されることが図1のシステムと異なる点である。図2のシステムは、特に本発明の透かしの埋込み方法がデジタルビデオ記録装置DVRに適用される例となり得る。現在用いられているDVRは、通常4〜16チャンネルのカメラ入力を受け入れ、これをそれぞれ別途のファイルで記録管理する。
図2のシステムの一般的な構成要素及びその機能は、図1のシステムと同一であるので、その具体的な説明は省略する。但し、複数の映像入力装置202から映像信号が入力され、入力された映像信号は、映像信号統合部204において時分割方法により統合され、映像データ処理部210に入力されることになる。
本発明に係る透かしの埋込み方法は、(1)デジタル映像が圧縮される前に透かし(特に、RW)を埋め込む方法(図3a)、(2)デジタル映像の圧縮と共に透かしを埋め込む方法(図3b)、及び(3)デジタル映像が圧縮された後に透かしを埋め込む方法(図4)に分類され、以下においては、図3及び図4を参照としてこれを説明する。
図3aは、デジタル映像が圧縮される前に透かしを埋め込む構成を示す図である。このようなデジタル映像の圧縮及び透かしの埋込みは、図1または図2のシステム内の圧縮及び透かし埋込み部300aで行われる。
デジタル映像は、先ずRW埋込み部310aに入力される。RW埋込み部310aは、デジタル映像に強靭な透かし(Robust Watermark)を埋め込む部分であり、このとき、強靭な透かしは空間領域(spatial domain)で埋め込まれる。
映像圧縮部320aは、RWが埋め込まれたデジタル映像をMPEG、MJPEG、Wavelet等の圧縮技法を用いて圧縮する部分であり、FW埋込み部330aは、軟弱な透かし(Fragile Watermark)を埋め込む部分であり、圧縮ストリームに軟弱な透かしを埋め込む部分である。
図3aの実施例において、FWの埋込みは映像の圧縮と共に行われる。即ち、デジタル映像を圧縮する過程において軟弱な透かしを埋め込み、これにより従来に比べて透かしの埋込み速度が非常に速い効果がある。その理由は、従来の場合、デジタル映像を圧縮した後にFWを埋め込んでおり、この場合は圧縮ファイルに透かしを埋め込むために、圧縮ファイルを再び復元した後にFWを埋め込み、FWを埋め込んだ後に再び圧縮する過程を経なければならなかったため、FWの実時間での埋込みが困難であったのに対し、本発明においては、圧縮を行う過程においてFWを埋め込むために、圧縮ファイルを再び復元する過程が不要であるからである。FWの埋込みと映像圧縮の同時遂行に関する具体的な説明は後述する。
図3bは、デジタル映像の圧縮と共に透かしを埋め込む構成を示す図である。即ち、デジタル映像の圧縮、RWの埋込み及びFWの埋込みが全て共に行われる実施例である。
このとき、デジタル映像内のRWが埋め込まれる領域と、FWが埋め込まれる領域とは互いに重なることもあり、また互いに異なる場合もある。しかし、FWの埋込みにより、RWが抽出されることで受ける影響を最小化するために、好ましくはRWとFWは、その領域を異にして埋込み及び抽出される。RW及びFWの埋込みと映像圧縮の同時遂行に関する具体的な説明もまた後述する。
図4は、デジタル映像が圧縮された後に透かしを埋め込む本発明のシステム構成を示すブロック図である。即ち、図1乃至図3の実施例とは異なり、圧縮と共にRW及び/又はFWを埋め込まず、圧縮されて記録された映像データを外部に運ぶとき、透かしを埋め込む方法である。
図4の実施例は、特に現在透かし機能がないDVRに適用するのに適した技術である。即ち、撮影されて入力されるデジタル映像を、先ず圧縮部450で圧縮してDVR内の映像記録部480で記録した後に、別途の透かし埋込み部492でデジタル映像にRW及び/又はFWを埋め込む場合である。図4の実施例においては、デジタル映像を圧縮して記録した後に、圧縮された映像データに透かしを埋め込むため、透かしを実時間で埋め込まなければならない必要性はない。
以下においては、圧縮されたデジタル映像に透かしを埋め込む方法をそれぞれデジタル映像がMPEG圧縮された場合とウェーブレット圧縮された場合とに分けて説明する。図5aは、MPEG圧縮されたデジタル映像に透かしを埋め込む過程を示す図である。デジタル映像が圧縮されて生成されたビットストリームが透かし埋込み部に入力されると、透かしの埋込みに先立って、デコーディングを行なって圧縮を解除した後に透かしを埋め込み、そして再び圧縮を行って本来のビットストリームに復元する。
図5aを参照とすると、入力されたMPEGビットストリームは、可変長デコーディングVLD(Variable Length Decoding)が行われた後、逆量子化DQ(Dequantization)過程を経る。逆量子化された係数は、逆離散コサイン変換IDCTを経て、動き補償MC(Motion Compansation)を行い、ビットストリームは、空間領域の原ビデオデータ(Raw Video Data)に復元される。
原ビデオデータから再びMPEGビットストリームを作るためには、先ず動き推定ME(Motion Estimation)を行い、これを用いて得られた領域のデータをマクロブロック単位で離散コサイン変換DCTする。DCTされた係数は量子化Qを経て、可変長コーディングVLC(Variable Length Coding)過程を経て再びMPEGビットストリームになる。
このような図5aにおけるMPEGビットストリームの原ビデオデータへの復元過程及び原ビデオデータから再びMPEGビットストリームに作る過程中に、透かしを埋込み及び抽出することができる方法は、図5aに示された5つの可能な場合、即ち(1)、(1’) 〜 (5)、(5’) がある。(1)、(1’)ステップにおいて、透かしを埋込み及び抽出する方法は、MPEGビットストリームを全くデコーディングすることなく透かしを埋め込む方法であり、従って、透かしの埋込み及び抽出方法の複雑度は低いのに対し、埋め込まれた透かしの強靭性が足りない。
反面、(5)、(5’)ステップにおいて、透かしを埋込み及び抽出する方法は、MPEGビットストリームを原ビデオデータ領域までデコーディングした後に、透かしを空間領域で埋め込んで再び圧縮する方法で、他の方法に比べて埋め込まれた透かしの強靭性は優れているのに対し、その埋込み及び抽出アルゴリズムの複雑度が高い。
本発明においては、前記可能な方法のうち(2)、(2’)方法を用いて、圧縮されたMPEGビットストリームへの透かしの埋込み及び抽出を行う。透かしの埋込み及び抽出方法の詳細な説明は後述する。
図5bは、ウェーブレット圧縮されたデジタル映像に透かしを埋め込む過程を示す図である。図5bを参照とすると、入力されたウェーブレット圧縮されたビットストリームにエントロピーデコーディングを行う。エントロピーデコーディングを経た係数は、逆量子化を経て、再びウェーブレット逆変換を経て原ビデオ映像データに復元される。
復元された原ビデオ映像データはウェーブレット変換され、ウェーブレット変換係数が量子化され、量子化された係数にエントロピーコーディングを行い、再びウェーブレット圧縮されたビットストリームが生成される。本発明においては、前記過程中に(1)、(1’)の過程において透かしを埋込み及び抽出し、具体的な透かしの埋込み及び抽出方法は後述する。
次に、図6a及び図6bを参照とし、図1乃至図5の実施例によって透かしが埋め込まれたデジタル映像を認証する装置及び方法について説明する。図6aは、透かしが埋め込まれたデジタル映像を認証する装置の概略的な構成を示すブロック図であり、図6bは、透かしが埋め込まれたデジタル映像からRWまたはFWを抽出して映像を認証する方法を示す流れ図である。
このような映像の認証は、主にオフラインで行われ、一般的にパソコンで認証しようとする映像データが入力されて偽変造の有無を判断することになる。即ち、このような透かし検出を用いた映像認証は実時間でなく、映像が記録されてから一定時間以後に別途の装備を用いて認証する場合が大半である。
図6aを参照とすると、映像入力部は、認証対象のデジタル映像を受信し、入力された映像から透かしを抽出しやすいように映像を変換させる機能を行う。映像認証部は、RWの抽出により映像認証を行うRW認証部とFWの抽出により映像認証を行うFW認証部とで構成される。映像認証結果出力部は、映像認証部における認証結果を表示する部分である。
図6bを参照とすると、先ず認証する映像を呼び出し(S500)、呼び出した映像からRWまたはFWを抽出する(S510)。また、撮影された映像の記録過程において埋め込まれた透かしRWまたはFWを映像認証用情報を用いて生成する(S502)。抽出されたRWまたはFWの変形の有無を判断するために、前記抽出された透かしと映像認証用情報を用いて生成された透かしを相互比較し、その相関関係を計算する(S520)。
前記の結果で計算された相関度によってRWまたはFWの変形の有無を判断するが(S530)、透かしが変形されたと判断されると、偽変造された映像と判定し及び偽変造された位置を判定し(S540)、そうでないと判断されると、認証された映像と判定する(S550)。
以下においては、本発明の特徴的な透かしの埋込み及び検出方法について、強靭な透かし技法と軟弱な透かし技法とに分けて説明し、またこれらのそれぞれをウェーブレット変換領域における透かし技法、及び離散コサイン変換領域における透かし技法とに分けて説明する。
強靭な透かし技法
本発明においては、圧縮と共に強靭な透かしを埋め込むために、秘密キーにより発生された擬似ランダムシーケンスを埋め込もうとする情報dだけ円状シフト(circular shift)させることにより、透かしを埋め込む方法を用いた。
図7aは、擬似ランダムシーケンスを円状シフトさせる技法を説明する図である。図7aを参照とすると、この技法においては、擬似ランダムシーケンス(Pseudo−Random Sequence)を円状シフト(circular shift)させるが、シフトされたdが透かし情報となる。従って、発生した擬似ランダムシーケンスの長さによって埋め込み可能なペイロード、即ち情報量も決定されるが、仮に1024個の擬似ランダムシーケンスを発生させた場合、円状シフトの場合は210=1024であるので、最大10ビットの透かし情報の埋込みが可能である。
本発明の方法においては、若し「0000000010」である10ビットのデータを埋め込むためのランダムシーケンスは本来のランダムシーケンス(Original Random Sequence:w’)に距離2だけ円状移動(circular shift)したランダムシーケンスwを透かしwとして用いて、これは、下記の式(1)のとおりである。
w= w(1)
本発明の注目すべき点は、透かしの生成過程が変換平面で行われるという点にある。即ち、圧縮過程において用いられる周波数変換を用いて透かしを埋め込むことである。また、本発明においては、更に良い信頼性の確保のために、若干のペイロードを減らして許容誤差帯域を置く。これは、変換平面で生成されたシーケンスは、空間領域で生成された雑音より圧縮等のような変形に強靭な特性を有しているからである。
図7bは、円状シフト技法による透かし検出時の相関関係の最高値を示す図である。即ち、図7bに示されたように、2シーケンスを2の間隔(interval)で量子化することにより、透かし検出時の相関関係の最高値(Peak Value)に許容誤差帯域を与えることで信頼性を確保した。
透かしシーケンスが変換領域で生成されるため、相関関係を求めるに当たって、最高値が外部的な要因により若干のシフトが発生して検出されたとき、多くのビットエラーを発生させる可能性があるため、これを防ぐために、相関関係の最高値の許容誤差帯域を置いた。
例えば、図7bにおいて、相関関係の最高値は、2×2+2で表されたものとして示している。これから透かし情報を検出すると、(2×2+2)/2=2.xxxxとなる。これを代表値2にマッピングすると、検出された透かしのビットは、ビット長n−mを有する値、即ち2=(0000・・・ ・・・0010)の透かし情報を有する。 これを一般化してみると、下記の式(2)のとおりである。

Figure 2004328747

Figure 2004328747
:ランダムシーケンスの長さ
:許容誤差帯域幅
ここで、2m−1を足した理由は、四捨五入のためのものであり、Infoは(n−m)bitsの長さを有する2進データである。
以下においては、前記円状シフト技法を用いて、ウェーブレット変換領域と離散コサイン領域において、透かしを生成して埋め込む方法及びこれを検出する方法を説明する。
ウェーブレット変換領域における強靭な透かし技法
一般的にビデオデータは、連続したイメージの列であるため、イメージ透かし技法をそのまま適用することができる。しかし、イメージ透かし技法をそのままビデオ透かし技法として用いるのに最も大きな問題点として浮かび上がる事項は計算の複雑度である。この計算の複雑度を減らすことが、現在ビデオ透かし技法において解決しなければならない重要な課題であると言える。
本発明においても、計算の複雑度を減らしながら、変換領域における透かしの強靭性を確保するために、様々な技術的な提案をしている。ビデオ透かし技法もイメージ透かし技法と同様に、周波数変換技法や空間領域技法を用いて透かしを埋め込むことができる。空間領域技法は圧縮に弱いため、本発明において提案されたアルゴリズムは、圧縮にその焦点を置いた周波数領域技法を用いた。周波数領域技法に用いられる変換方法には、DCT、FFT、DWT等の方法が存在する。離散ウェーブレット変換DWT方法は、一般的に所望の帯域まで映像を変換することができ、また圧縮に強靭な帯域を任意に選択することができる。
しかし、周波数変換技法による透かしの埋込みは、動画像透かし技法において必須的に要求される実時間での処理が難しい。なぜなら、変換技法は、透かしを埋め込む度に信号を変換しなければならないからである。従って、本発明においては、変換技法の実時間での処理と圧縮及び外部攻撃の強靭性のための技術を開発することになったのであり、その技術は、以下において述べられる。
図8aは、ウェーブレット変換の時間、周波数領域の分解能を示すグラフである。図8aを参照とすると、周波数が高い信号である場合は、時間軸上でウィンドウサイズを小さくし、周波数が低い信号である場合は、時間軸上でウィンドウサイズを大きくして信号を分析することが分かる。従って、ウェーブレット変換を用いると、周波数情報だけでなく時間情報も各帯域別に分かる。また、帯域別に信号を分けることができるため、所望の帯域の信号のみを処理することができるようになる。
ウェーブレット変換されたそれぞれの帯域は、FFTよりは包括的な周波数領域を含む。一般的に映像の場合、低周波映像が大半であるため、低周波帯域であるほどエネルギー値が更に大きい。また、MPEG圧縮が行われる場合、映像は低周波領域から近似化が行われるため、実際の透かしも低周波領域に埋め込まれて初めて圧縮時の透かしが生き残る確率が高くなる。ところが、低周波領域に透かしを埋め込む場合、圧縮には強靭であるが、若干の係数変化にも容易に目立つという問題点を有することになる。しかし、高周波領域に透かしを埋め込む場合、容易に識別することはできないが、圧縮に非常に弱いという短所を有することになる。従って、適当な帯域の選択のために、様々な帯域を選択して実験した結果、2レベルでウェーブレット変換された映像で図8bのようなLH、HL、HH帯域を用いた場合、圧縮に強いながらも目立ちにくい結果を示した。図8bは、2レベルでウェーブレット変換されたイメージを示す図である。
次に、図9a及び図9bを参照とし、本発明の円状シフト技法による強靭な透かしの埋込みをウェーブレット変換領域で行う過程を説明する。図9aは、ウェーブレット変換領域における強靭な透かしの埋込み過程を示すブロック図である。一般的に透かしの埋込みは、下記の式(3)のとおりである。

F’=F+αw (3)

ここで、Fは、ウェーブレット変換された原映像をいい、αは埋込み強度、wは透かし、F’は透かしが埋め込まれた映像を意味する。
図9aの透かしの埋込み過程は、変換平面で透かしを生成し、圧縮と共に強靭な透かしを埋め込むことができる(図4と関連する)ことに特徴があり、その具体的な過程は、下記のとおりである。
前処理過程として、先ず秘密キーを用いてWM部で擬似ランダムシーケンスを生成する。擬似ランダムシーケンスは{−1、1}にマッピングされる。次に、透かし情報を示すdだけ擬似ランダムシーケンスを円状シフトさせ、変換領域における透かしシーケンスwを生成する。
生成された透かしシーケンスwをウェーブレット係数領域中、選択された帯域に位置させる(例えば、図8bの3個の領域)。埋め込まれたランダム雑音を除く全ての帯域の係数は‘0’値を有することにする。透かしシーケンスwは、スケーリングファクターαで強度が調節されてαwとなる。
原映像fは、DWT部で離散ウェーブレット変換DWTを経てウェーブレット変換された原映像Fとなり、ウェーブレット変換された原映像Fは、前記強度調節された透かしシーケンスαwと変換領域(即ち、周波数領域)で合算され、透かしが埋め込まれた映像F’となり、再び離散ウェーブレット逆変換IDWTを経て、変換平面で透かしが埋め込まれた空間領域における映像f’が生成される。
一方、図9aの実施例によると、透かしが埋め込まれた映像F’は、ウェーブレット領域で透かしが埋め込まれたため、必須的に再び逆変換されて初めて空間領域で見ることのできる映像となる。その結果、このような方法が、強靭な透かしの埋込みと映像の圧縮の同時遂行の効果はあるが、一度透かしを行う度に、映像が2度のウェーブレット変換(ウェーブレット変換とウェーブレット逆変換)を経なければならないため、透かしの埋込みの実時間での処理を難しくする。
このような透かしの埋込みの実時間での処理を可能にする方法として、以下に説明する図9bの実施例のように、透かしを埋め込む方法がある。図9bは、ウェーブレット変換領域における強靭な透かしの埋込み過程の他の実施例を示すブロック図である。
周波数変換技法は、下記の式(4)及び(5)の共通の特徴を有している。

Figure 2004328747

Figure 2004328747

即ち、それぞれの変換技法は、線形的特徴を有しており、これは、透かしの埋込みの実時間での具現の解決方法を提供する。
図9bのように、透かしの埋込みのアルゴリズムが具現されると(詳細な説明は後述する)、毎回周波数領域に変えて透かしを埋め込む必要がなく、空間領域で透かしを埋め込んでも周波数領域に透かしを埋め込むときと同一の効果を供することができる。
これは、空間領域における足し算演算は、変換領域でも足し算演算が維持されるという変換の線形的な特徴を用いたものである。透かしを埋め込むことは、単に空間領域で原映像に透かし信号を足せば良い。そのため、映像を2度変換(即ち、DWTとIDWT)しなければならない複雑性を、透かしを逆変換して空間領域で足し算を行うことにより、透かしの実時間での埋込みを可能にし、その具体的な過程は下記のとおりである。
前処理過程として、WM部で秘密キーを用いて擬似ランダムシーケンスを生成する。擬似ランダムシーケンスは{−1、1}にマッピングされる。透かし情報を示すdだけ擬似ランダムシーケンスを円状シフトさせ、変換領域における透かしシーケンスwを生成する。
生成された透かしシーケンスwをウェーブレット係数領域中、選択された帯域に位置させる。埋め込まれたランダム雑音を除く全ての帯域の係数は‘0’値を有することにする。生成された透かしシーケンスwは、IDWT部で離散ウェーブレット逆変換を経て空間領域における透かしシーケンスwを生成させる。
生成された透かしシーケンスと同じ大きさのブロック単位で原映像fを分割し、分割されたイメージブロックのピクセルに対応する透かしシーケンス値をαでスケールした後に足して、透かしが埋め込まれた空間領域における映像f’が生成される。ここで、αはイメージの全域的(global)な特性及び地域的(local)な特性を反映したスケーリングファクターである。
本発明において提案しているこのような強靭な透かしのアルゴリズムは、ウェーブレット変換技法を用いて透かしを埋め込んだ。また、埋込み情報量(Payload)を高めるためにシフト透かし技法を用いており、実時間での埋込みのために変換技法の線形性を用いた(図9bの実施例)。
次に、図9c及び図9dを参照として、前記ウェーブレット変換領域で強靭な透かしが埋め込まれた映像から透かしを検出する過程を説明する。図9cは、変換領域における強靭な透かし検出過程を示す図であり、図9dは、空間領域における強靭な透かし検出過程を示す図である。
図9cを参照とすると、先ずイメージ空間領域におけるピクセル映像を得て、ピクセル映像を透かしの埋込み過程において用いたブロック単位に分割した後、ブロック単位でウェーブレット変換を進める。
ウェーブレット変換されたブロック映像の透かしが埋め込まれた特定帯域のウェーブレット係数と透かしの埋込み過程において用いたキーによって生成されたランダム雑音との相互相関度(Cross Correlation)を求める。若し、入力された映像に透かしが埋め込まれていればピークが存在し、そのピークが任意の臨界値より大きい場合、透かしが埋め込まれた映像と判定して透かしを解析する。ここでは、ピークの位置が透かし情報となる。臨界値より小さい場合、透かしがないものと判定する。
図9dの実施例は、空間領域で相関度を計算して透かしを検出する実施例に関する。前記において提案した透かしのアルゴリズムを用いて、透かし情報を埋め込んだ後の映像を図10に示した。図10は、本発明によって強靭な透かしが埋め込まれた映像を示す図である。左側の映像が原本映像であり、右側の映像が透かしが埋め込まれた映像である。視覚的に透かしの埋込みの有無を区分することができず、PSNRも40dB以上あった。352×288イメージを対象とした結果は、表1のとおりである。
Figure 2004328747
離散コサイン変換領域における強靭な透かし技法
離散コサイン変換DCTは、現在停止映像や動画像の圧縮に最も汎用的に用いられている変換である。本発明においては、離散コサイン変換領域で実時間で透かしを埋め込むために、イントラフレームのDCT係数のうちDCまたはAC係数のLSBにシフトシーケンス透かし技法を用いて透かしを埋め込む。この方法を用いると、非常に簡単かつ効率的に透かしを埋め込むことができ、圧縮に極めて強靭な特性を示す。
また、この方法は、空間領域で埋め込まれた透かしを変換領域で検出することが可能であり、その逆も可能な相互運用性(Interoperability)の特性を有する(これに関する具体的な説明は後述する)。本明細書の実施例においては、簡単な透かしの埋込みのために、DCT DC係数を用いているが、透かしのペイロードや強靭性を更に高めるために、低周波領域のAC係数も同じ方法で用いられ得る。DCT AC係数が用いられることにより、多くのデータを更に強靭に埋め込むことができるが、その代わりに計算の複雑度が増加する短所がある。
次に、図11a及び図11bを参照として、本発明の円状シフト技法による強靭な透かしの埋込みを離散コサイン変換(DCT)領域で行う過程を説明する。図11aは、離散コサイン変換領域における強靭な透かしの埋込み過程を示すブロック図である。図11aの透かしの埋込み過程は、一般的な圧縮標準であるMPEGと同じ8×8ブロック単位で進められる。図11aを参照とすると、空間領域における原映像f(i、j)は、DCT部で8×8ブロック単位で離散コサイン変換され、ランダムシーケンス発生部(Random Seq. Generation)では、ユーザが定義した任意の秘密キーを用いて、N(0、1)の分布を有する擬似ランダムシーケンスを発生させる。
発生された擬似ランダムシーケンスrは、シフトシーケンス部(Shifted Sequence)で透かし情報であるdだけ円状シフトされ、透かしシーケンスwを発生させる。LSB変更部で8×8ブロック単位で離散コサイン変換された係数のうち、DCまたはAC係数のLSBを透かしシーケンスwに代替させる。離散コサイン逆変換部IDCTで映像信号は再び離散コサイン逆変換され、透かしが埋め込まれた空間領域における映像f’(i、j)が出力される。
このような透かしの埋込みの実時間での処理を可能にする方法として、以下において説明する図11bの実施例のように、透かしを埋め込む方法がある。図11bは、離散コサイン変換領域における強靭な透かしの埋込み過程の他の実施例を示すブロック図である。図11bは、図11aと埋込み方法は同一であるが、変換領域で埋め込まず、空間領域で埋込みを進めるという点に差がある。即ち、図11aにおけるように、映像が2度の離散コサイン変換DCT及びIDCTを経るのでなく、透かしシーケンスwを離散コサイン逆変換した後、空間領域で足し算をして透かしを埋め込むことにより、実時間の透かしの埋込みを可能にするものである。前記において説明した図9bの実施例のような原理であり、周波数変換の演算の線形性を用いた。空間領域におけるイメージ値を構成するとき、該当する係数に対して8×8ピクセル値を計算して構成し、その値をイメージの対応するピクセルに足す。
次に、図11c及び図11dを参照として、前記離散コサイン変換領域で強靭な透かしが埋め込まれた映像から透かしを検出する過程を説明する。図11cは、変換領域における強靭な透かし検出過程を示す図であり、図11dは、空間領域における強靭な透かし検出過程を示す図である。
図11cを参照とすると、ランダムシーケンス発生部では、透かしの埋込み過程において用いた秘密キーを用いて、{−1、1}で構成された擬似ランダムシーケンスを発生させる。透かしが埋め込まれた映像は、離散コサイン変換部で離散コサイン変換された後、LSB抽出部で透かしが埋め込まれている係数からLSBのみが抽出され、{−1、1}にマッピングされたシーケンスが生成される。
相関関係計算部において、前記秘密キーを用いて発生された擬似ランダムシーケンスと前記抽出されたLSBシーケンスの相互相関度(Cross Correlation)が計算される。計算された相互相関度が最大となる支点のインデックスdを把握して透かし情報を検出する。
図11dの実施例は、空間領域で相関度を計算して透かしを検出する実施例に関する。次に、図12を参照として上述のウェーブレット変換領域及び離散コサイン変換領域における強靭な透かし技法が有する相互運用性(Interoperability)について説明する。図12は、本発明に係る透かし技法が有する相互運用性について説明する図である。
透かしにおいて、相互運用性特性とは、透かしの埋込み及び抽出を空間領域で行うか、または変換領域で行うかに構わず、いずれにおいても埋込み及び抽出が可能であるという意味であり、空間領域で埋め込まれた透かしは、空間領域だけでなく、変換領域からも検出され、またその逆に変換領域で埋め込まれた透かしが変換領域だけでなく、空間領域からも検出される特性をいう。
従って、本発明において提案する上述の強靭な透かしのアルゴリズムは、空間領域または圧縮される過程の変換領域のいずれにおいても強靭な透かしを埋込み、抽出することができる。このような特徴のため、図3a及び図3bにおける圧縮及び透かし埋込み部の構成が可能である。図12において、「Codec−Compliant Transform」とは、該当圧縮標準に用いられる変換をいうものであり、MPEG圧縮である場合はDCTとなり、JPEG2kである場合はウェーブレット変換となる。
このような本発明の透かし方法の相互運用性は、変換方法が無損失であるということに起因する。即ち、離散コサイン変換やウェーブレット変換において、変換前の値とこれを変換して再び逆変換した後の値が、量子化エラー程度を除いてはほぼ等しいということに起因する。
また、これは、上述の変換の線形性による特性、即ち透かしの埋込み過程や透かしの生成過程において、空間領域における足される値の特性が、変換領域でも維持されるように設計されたためでもある。このような特性は、上述の図9a乃至9d及び図11a乃至11dで具体的に説明したとおりである。
これまで、本発明の特徴的な強靭な透かし技法について説明した。以下においては、本発明の特徴的な軟弱な透かし技法について説明し、またこれを離散コサイン変換領域における透かし技法とウェーブレット変換領域における透かし技法とに分けて説明する。
2. 軟弱な透かし技法
軟弱な透かしは、映像の偽変造の有無と偽変造された領域を見つけ出すために用いられる。強靭な透かしは、原映像の一部分を偽変造した場合にも透かし情報が抽出される可能性があるため、強靭な透かしの埋込み、検出だけでは正確な偽変造領域を見つけ出すことは不可能である。従って、本発明の目的である撮影されてA/D変換されたデジタル映像の偽変造の防止及び偽変造領域の検出のためには、必ず軟弱な透かしが用いられなければならない。本発明において提案される軟弱な透かし技法は、圧縮過程と共に透かしを埋め込む方法であり、映像の圧縮過程において圧縮されたビットストリームに軟弱な透かしを埋め込む方法である。
(1) 離散コサイン変換領域における軟弱な透かし技法
埋め込まれるビットストリームの位置を知るために、代表的な動画像圧縮フォーマットであるMPEG−2構造を図13に示した。図13は、MPEG構造を説明する図である。
図13を参照とすると、圧縮ビットストリーム層(Sequence Layer)は、多数のGOP(Group Of Picture)とこれに伴うヘッダーとで構成される。その下位層としてGOP層があり、GOP層は多数のピクチャーからなっている。ピクチャーのうち、IはIntra−Pictureを、BはBidirectionally predictive−Pictureを、PはPredictive−Pictureをそれぞれ意味する。
その下位層はピクチャー層であり、それぞれのピクチャーは多数のスライス(Slice)で構成される。その下位層である各スライス層は多数のマクロブロック(Macro Block:MB)からなっている。各マクロブロック層は4個のブロック層からなっており、それぞれのブロックには8×8ピクセルに該当する映像信号を圧縮したデータが記録されている。
本発明においては、軟弱な透かしをマクロブロック(MB)単位で埋め込んで抽出する。このように、本発明においては、透かしをMPEG圧縮過程において用いるマクロブロック単位で埋込み処理するため、透かしの埋込みが圧縮過程のうち、圧縮と共に行われることが可能である(図3a及び図3b参照)。このように、マクロブロック単位で透かしを埋め込むことにより、偽変造領域を検出することができる最小単位は16×16ピクセルの映像区間である。
図14を参照として、MPEG圧縮を行う過程において量子化されたDCT係数を用いて、透かしを埋め込む過程を説明する。図14は、MPEG圧縮過程において圧縮と共に軟弱な透かしを埋め込む過程を示すブロック図である。即ち、前記の図3a及び図3bの圧縮及び透かし埋込み部において、圧縮と共に軟弱な透かしを埋め込むことに関する。動き補償予測器(Motion Compensated Predictor:MC)と動き推定器(Motion Estimation:ME)とを用いて、動きベクターが求められる。
DCT部は、入力される映像について離散コサイン変換DCTを行う。量子化部Qは、量子化(Quantization)過程を行う部分であり、逆量子化部Q−1と離散コサイン逆変換部IDCTはいずれも、動きベクターを生成するために用いられる部分である。
本発明においては、MPEG圧縮を行う過程において透かしを埋め込むものであり、このような圧縮遂行過程と共に透かしを埋め込むことが可能であるのは、本発明においては、周波数変換後の量子化された係数を用いて透かしを埋め込むからである。具体的に、軟弱な透かしの埋込みのために、量子化部Qで量子化されたDCT係数を2部分に分割する。即ち、量子化されたDCT係数を、特徴(Signature)を抽出する部分である特徴抽出領域のDCT係数と、透かし情報を埋め込む部分である透かしの埋込み領域のDCT係数とに分割する。
本発明の好ましい実施例においては、特徴(Signature)を抽出するための方法としてハッシュ関数(hash function)を用いる。ハッシュ関数としては、MD4、MD5等のいかなるハッシュ関数を用いても構わないが、本発明の好ましい実施例においては、MD5(Message Digest 5)を用いた。
特徴抽出領域の量子化されたDCT係数を用いて特徴を抽出し、抽出された特徴とユーザ情報(例えば、製造企業の固有番号、製品の固有番号等)とを組み合わせて透かし情報を構成する。構成された透かし情報を再び透かしの埋込み領域の量子化されたDCT係数に埋め込む。ここで、特徴抽出領域と透かしの埋込み領域を選択する方法は任意に行うことができる。
可変長コーディング(Variable Length Coding:VLC)は、入力されるデータを無損失圧縮する方式であり、通常頻度数が高い入力データについては長さが短いコードを割り当て、頻度数が低い入力データについては長いコードを割り当て、全体的に最小限のコードで入力データを圧縮する方式である。
バッファは、現在フレーム及び以前フレームのデータを臨時保管する場所であり、連続するフレーム間の不要な部分(Redundancy)を除去して圧縮の効率性を高めるためである。このような過程を経て軟弱な透かしが埋め込まれた圧縮MPEGビットストリームが出力される。
本発明においては、透かしの埋込みを、(1)マクロブロック単位で行うか、または(2)スライス単位で行うことにする。以下においては、これを分けて説明する。先ず、マクロブロック単位の透かしの埋込みについて説明する。各マクロブロックMBは16×16の大きさであり、8×8DCTブロック4個が集まって構成される。それぞれのDCTブロックは、前記で説明したように、特徴抽出領域と透かしの埋込み領域とに分割する。
図15は、DCTブロックのジグザグスキャンを示す図である。本発明の一実施例においては、図15のジグザグスキャンにおけるDCTのAC係数6〜20番までの係数を透かしの埋込み領域として設定し、残りの係数を特徴抽出領域として設定する。もちろん、これは説明のための一例に過ぎず、他の任意の領域を特徴抽出領域と透かしの埋込み領域として設定することができることは当業者にとって自明である。
以下においては、図16a及び図16bを参照として、マクロブロック単位で透かしを埋め込む方法について説明する。図16aは、マクロブロック単位で透かしを埋め込む過程を図式的に示す図であり、図16bは、マクロブロック単位で透かしを埋め込む過程を示す流れ図である。
図16a及び図16bを参照とすると、先ず各ピクチャー中からi番目のマクロブロックMBの量子化されたDCT係数データが入力される(S600)。入力されたマクロブロックの各8×8DCTブロック毎に、これを特徴抽出領域と透かしの埋込み領域とに分割する(S610)。
特徴抽出領域の量子化されたDCT係数とユーザ情報とを組み合わせて、ハッシュ関数の入力値として取る(S620)。ハッシュ関数の出力値であるハッシュ値が透かし情報として生成、出力され(S630)、同一のi番目のマクロブロックの透かしの埋込み領域のDCT係数のLSB(Least Significant Bit)にハッシュ値を埋め込む(S640)。次に、透かしの埋込み過程は、i+1番目のマクロブロックに移動する(S650)。
次に、図17a及び図17bを参照として、スライス単位で透かしを埋め込む方法について説明する。図17aは、スライス単位で透かしを埋め込む過程を図式的に示す図であり、図17bは、スライス単位で透かしを埋め込む過程を示す流れ図である。
図13において示したように、1つのピクチャーは多数のスライスで構成されている。MPEG圧縮の場合、圧縮コーデックで実時間での具現のために、大半の圧縮過程をマクロブロック単位で処理する。上記で説明したように、1つのスライスには多数のマクロブロックがある。従って、実時間の透かしの埋込みのためには、前のスライスのマクロブロックの特徴値を抽出してハッシュ値を求めた後、次のスライスのマクロブロックでそのハッシュ値を透かしとして埋め込むことが必要である。
図17a及び図17bを参照とすると、先ずi番目のスライス内の全てのマクロブロックの量子化されたDCT係数データが入力される(S700)。入力されたマクロブロックの各8×8DCTブロック毎に、これを特徴抽出領域と透かしの埋込み領域とに分割する(S710)。
i番目のスライス内のマクロブロックの特徴抽出領域の量子化されたDCT係数とユーザ情報とを組み合わせてハッシュ関数の入力値として取る(S720)。ハッシュ関数の出力値であるハッシュ値が透かし情報として生成、出力される(S730)。
このようにして出力されたハッシュ値をi+1番目のスライス内の各マクロブロックの透かしの埋込み領域の量子化されたDCT係数のLSBに埋め込む(S740)。このような過程をピクチャーが終わるまで続ける(S750及びS760)。ピクチャーの最後のスライスのマクロブロックの特徴抽出領域の特徴値は、その次のピクチャーの1番目のスライスのマクロブロックの透かしの埋込み領域に透かしとして埋め込む。このようにすることにより、ピクチャーが漏れるか、または追加される変形があったか否かが分かる。
次に、図18a及び図18bを参照として、上述のマクロブロック単位で軟弱な透かしが埋め込まれた映像から透かしを検出する過程を説明する。図18aは、MPEG圧縮されたビットストリームから軟弱な透かしを検出する過程を示すブロック図であり、図18bは、MPEG圧縮されたビットストリームから軟弱な透かしを検出する過程を示す流れ図である。
図18aを参照とすると、入力されるMPEG圧縮ビットストリームはバッファに臨時に記録され、これから可変長デコーディング(Variable Length Decoding:VLD)が行われて量子化されたDCT係数が出力される。ここで出力された量子化されたDCT係数を用いて、透かし抽出及び抽出された透かしを用いた映像認証が行われ、透かしの具体的な検出過程については、図18bを参照として説明する。
図18bを参照とすると、先ず偽変造の有無を検知しようとする領域のマクロブロックの量子化されたDCT係数が入力される(S800)。入力されたマクロブロックの量子化されたDCT係数中から、透かしの埋込み時に設定された領域と同一の特徴抽出領域の量子化されたDCT係数が入力され、これをユーザ情報と組み合わせてハッシュ関数の入力として取る(S810)。
ハッシュ関数の出力値h1を求め(S820)、マクロブロックの量子化されたDCT係数中から、透かしの埋込み領域の量子化されたDCT係数のLSB値を用いて埋め込まれていた透かし情報w1を抽出する(S830)。
ハッシュ関数の出力値h1と抽出された透かし情報w1が同一であるか否かが判断され(S840)、若し同一であれば偽変造されていない映像と表示し、同一でなければ偽変造された映像と表示される。前記のような過程は、前記軟弱な透かしの埋込みがマクロブロック単位からなる場合は、マクロブロック単位で映像の偽変造が判定され、軟弱な透かしの埋込みがスライス単位からなる場合は、スライス単位で映像の偽変造が判定される。
本発明に係る離散コサイン変換領域における軟弱な透かし技法は、上述のMPEG圧縮システムだけでなく、後述するJPEG圧縮システムにも適用され得る。図19aは、JPEG圧縮過程において圧縮と共に軟弱な透かしを埋め込む過程、及び透かしを検出する過程を示すブロック図であり、図19bは、JPEG圧縮過程において透かしを埋め込む過程を図式的に示す図である。
図19aを参照とすると、8×8ピクセル単位のイメージブロックが離散コサイン変換DCTされ、これを量子化して圧縮を行う。量子化されたDCT係数は、特徴抽出領域のDCT係数と透かしの埋込み領域のDCT係数とに分けられ、特徴抽出領域の量子化されたDCT係数を用いて特徴を抽出し、抽出された特徴とユーザ情報とを組み合わせて透かし情報を構成する。構成された透かし情報は、再び透かしの埋込み領域の量子化されたDCT係数に埋め込まれて、透かしが埋め込まれたイメージブロックは、エントロピーコーディングされ、JPEG圧縮及び軟弱な透かしの埋込み過程は終了する。透かし検出は、前記過程の逆過程であり説明は省略する。
JPEGの場合、通常8×8ピクセル単位でDCTして、量子化及び圧縮を行うことになり、前記透かしの埋込みにおいて、1つの8×8ピクセル単位でハッシュ関数を動作させてハッシュ関数を抽出した後、該当8×8DCT係数に透かしを埋め込むこともできる。しかし、このようにする場合、透かしの埋込み空間が非常に小さい問題があり、また演算時間を短縮させるために、本発明においては、16×16ピクセル(即ち、4個のDCTブロック)を1つの透かし単位として設定して透かしを埋込み及び抽出した。
図19bを参照とすると、輝度を示すYは、4個のDCTブロック(8×8ピクセル)で構成され、色相を示す情報であるCb、Crは、それぞれ1個のDCTブロックで構成される例を示す。これは、デジタル映像フォーマットの一種であり、4:2:0形式で表現したものである。
このような例から透かし情報であるハッシュ値を求め、これを透かしとして埋め込み、透かし情報が埋め込まれた映像から透かしを抽出する。下記の表2は、Q(Quality factor)値をそれぞれ50、75、90としたとき、圧縮された映像を原映像とし、透かしを埋め込んだ後、圧縮した映像を雑音が加えられた映像としたときのPSNRを求めた値である。ほとんどの映像が40dBを超え、従って軟弱な透かしを埋め込んだことによる映像毀損はほとんど肉眼で確認することができないことが分かる。
Figure 2004328747
(2) ウェーブレット変換領域における軟弱な透かし技法
前記においては、離散コサイン変換領域において軟弱な透かしを圧縮過程と共に埋め込む方法について説明し、以下においては、本発明によってウェーブレット変換領域において軟弱な透かしを圧縮過程と共に埋め込む方法について説明する。
図20は、ウェーブレット変換を用いて映像を変換したときの映像と変換平面の係数の例を示した図である。本実施例においては、2段階のウェーブレット変換を行った。図20(a)は原映像を示し、図20(b)はウェーブレット変換平面の係数値を示し、図20(c)はウェーブレット変換の帯域分割過程を示す。
図20(c)を参照とすると、右下段HH1が最も高周波数成分を示し、HL1、LH1は、それぞれ列方向と行方向に高周波成分を示す帯域である。LL2、HL2、LH2、HH2は、LL1に該当する帯域を再び2次元ウェーブレット変換した帯域である。
図20(b)を参照とすると、この中でLL2が最も低周波数成分を示しており、ウェーブレット変換は、離散コサイン変換より低周波数領域に信号成分が更に多く集中されている。従って、この低周波数領域のみをもって再びウェーブレット逆変換を通じた映像の復元を行ったとしても、原映像に近い映像を得ることができる。このような性質を用いてウェーブレット変換を圧縮に用いる。
図20(a)及び図20(b)の左上段に示されたボックスは、ウェーブレット変換を行ったとき、原映像に該当するウェーブレット係数の分布を示している。図20(a)の8×8ピクセルの映像領域をウェーブレット変換したとき、ウェーブレット変換平面における該当ピクセルに影響を与えるウェーブレット係数を図20(b)に示した。このような係数の特徴を用いて軟弱な透かしをウェーブレット変換平面の係数に埋め込むことになる。
ウェーブレット圧縮を行う過程において量子化されたウェーブレット係数を用いて、透かしを埋め込む過程を図21a及び図21bを参照として説明する。図21aは、ウェーブレット圧縮過程において圧縮と共に軟弱な透かしを埋め込む過程を示すブロック図である。即ち、前記の図3a及び図3bの圧縮及び透かし埋込み部で圧縮と共に軟弱な透かしを埋め込むことに関する。
図21aを参照とすると、先ず映像が入力され、映像の全体フレームが入力されると、ウェーブレット変換が行われる。ウェーブレット変換を用いると、映像信号のエネルギーを低周波数のウェーブレット係数に圧縮する効果がある。ここで不要な部分を切り出すために量子化を行う。量子化過程を通じて映像の認識に影響をそれほど与えない高周波数領域のウェーブレット係数はゼロとする。即ち、損失圧縮が行われるものである。
本発明の軟弱な透かしの埋込みは、量子化されたウェーブレット係数を用いて行われる。量子化された係数は特徴抽出領域と透かしの埋込み領域とに分割され、ここで分割される単位は任意的となり得る。一般的に、領域が大きいほど演算されるハッシュ関数の頻度が減るため、透かし速度が速くなり、領域が小さいほど演算されるハッシュ関数の頻度が高くなり、透かしによる負荷が増加される。
図21bは、ウェーブレット変換領域において軟弱な透かしを埋め込む過程を図式的に説明する図であり、透かしの埋込み及び抽出単位を8×8とした場合を例として挙げたものである。
ハッシュ関数の入力値に用いられる特徴抽出領域のウェーブレット係数としてHH1(16個)、LH1(16個)、HL1(16個)、HH2(4個)の総52個のウェーブレット係数を取る。前記特徴抽出領域のウェーブレット係数に製造企業の固有番号、製品の固有番号のようなユーザ情報を組み合わせたデータをハッシュ関数の入力とする。このとき、出力されるハッシュ値は固有のハッシュ値となるが、ハッシュ関数の特徴上、任意の入力値があるとき、同じ出力値を有する場合は非常に希である。
従って、前記のように求めたハッシュ値を透かしの埋込み領域であるLL2(4個)、HL2(4個)、LH2(4個)の総12個のウェーブレット係数に軟弱な透かしとして埋め込む。透かしを埋め込む方式は、前記12個のLSBをゼロとし、その代わりに前記で求めたハッシュ値ビットを埋め込むものである。
ハッシュ値が128ビット出力を出すMD5を用いた場合は、128ビット中にランダムにビットを選択して埋め込むことができる。本例においては、16バイト(128ビット)中の前方からの12バイトを選択し、各バイトのMSB(Most Significant Bit)を透かしの埋込み情報とした。
図22は、ウェーブレット変換領域において軟弱な透かしが埋め込まれた映像から透かしを検出する過程を説明する流れ図である。図22を参照とすると、先ず偽変造を検知しようとする領域の量子化されたウェーブレット係数データが入力される(S900)。次に、透かしの埋込み時に設定された特徴抽出領域の量子化されたウェーブレット係数とユーザ情報とを組み合わせ、ハッシュ関数の入力として取る(S910)。ここでのハッシュ関数は、前記の透かしの埋込み時に用いたハッシュ関数と同一のものであり、ハッシュ値h1が求められる(S920)。
偽変造を検知しようとする領域のウェーブレット係数中から、透かしの埋込み領域の量子化されたウェーブレット係数のLSBを用いて透かし値w1を抽出する(S930)。前記ハッシュ値h1と透かし値w1とが一致するか否かを判定し(S940)、2つの値が一致すると、映像の偽変造が行われていない映像と判定し(S950)、2つの値が一致していないと、偽変造が行われた映像と判定する(S960)。
前記で説明した軟弱な透かしの埋込み方法において、透かしの埋込みのための係数はゼロではない係数を選択して埋め込んだ。また、透かし抽出時に透かしが埋め込まれた係数のみを用いて透かしを抽出させるために、透かしの埋込み後に係数の値がゼロとならないようにした。即ち、透かしが埋め込まれる係数の値が(00000001)bであり、埋め込む透かし値が0である場合、係数(00000001)bを0とする代わりにこれを(00000010)bとした。
本発明は、前記実施例を参照として特に図示して記述したが、これは、単に例示のために用いられたものであり、本発明の属する通常の知識を有する者であれば、添付の請求の範囲において定義されたように、本発明の技術的思想及び範囲から外れることなく、多様な変形をすることができることを理解すべきである。
本発明の透かしの埋込み方法が適用されるシステムの構成を示すブロック図である。 複数の映像入力装置からの映像が透かしの埋込み装置に受信される本発明の透かしの埋込み方法が適用されるシステムの構成を示すブロック図である。 デジタル映像が圧縮される前に透かしを埋め込む構成を示す図である。 デジタル映像の圧縮と共に透かしを埋め込む構成を示す図である。 デジタル映像が圧縮された後に透かしを埋め込む本発明のシステム構成を示すブロック図である。 MPEG圧縮されたデジタル映像に透かしを埋め込む過程を示す図である。 ウェーブレット圧縮されたデジタル映像に透かしを埋め込む過程を示す図である。 透かしが埋め込まれたデジタル映像を認証する装置の概略的な構成を示すブロック図である。 透かしが埋め込まれたデジタル映像からRWまたはFWを抽出して映像を認証する方法を示す流れ図である。 擬似ランダムシーケンスを円状シフトさせる技法を説明する図である。 円状シフト技法による透かし検出時の相関関係の最高値を示す図である。 ウェーブレット変換の時間、周波数領域の分解能を示すグラフである。 2レベルでウェーブレット変換されたイメージを示す図である。 ウェーブレット変換領域における強靭な透かしの埋込み過程を示すブロック図である。 ウェーブレット変換領域における強靭な透かしの埋込み過程の他の実施例を示すブロック図である。 変換領域における強靭な透かし検出過程を示す図である。 空間領域における強靭な透かし検出過程を示す図である。 本発明によって強靭な透かしが埋め込まれた映像を示す図である。 離散コサイン変換領域における強靭な透かしの埋込み過程を示すブロック図である。 離散コサイン変換領域における強靭な透かしの埋込み過程の他の実施例を示すブロック図である。 変換領域における強靭な透かし検出過程を示す図である。 空間領域における強靭な透かし検出過程を示す図である。 本発明に係る透かし技法が有する相互運用性について説明する図である。 MPEG構造を説明する図である。 MPEG圧縮過程において圧縮と共に軟弱な透かしを埋め込む過程を示すブロック図である。 DCTブロックのジグザグスキャンを示す図である。 マクロブロック単位で透かしを埋め込む過程を図式的に示す図である。 マクロブロック単位で透かしを埋め込む過程を示す流れ図である。 スライス単位で透かしを埋め込む過程を図式的に示す図である。 スライス単位で透かしを埋め込む過程を示す流れ図である。 MPEG圧縮されたビットストリームから軟弱な透かしを検出する過程を示すブロック図である。 MPEG圧縮されたビットストリームから軟弱な透かしを検出する過程を示す流れ図である。 JPEG圧縮過程において圧縮と共に軟弱な透かしを埋め込む過程、及び透かしを検出する過程を示すブロック図である。 JPEG圧縮過程において透かしを埋め込む過程を図式的に示す図である。 ウェーブレット変換を用いて映像を変換したときの映像と変換平面の係数の例を示す図である。 ウェーブレット圧縮過程において圧縮と共に軟弱な透かしを埋め込む過程を示すブロック図である。 ウェーブレット変換領域において軟弱な透かしを埋め込む過程を図式的に説明する図である。 ウェーブレット変換領域において軟弱な透かしが埋め込まれた映像から透かしを検出する過程を説明する流れ図である。
符号の説明
100 透かしの埋込み装置
110 映像データ処理部(A/D)
120 固定情報生成部
130 任意情報生成部
140 透かし生成部
150 圧縮及び透かし生成部
160 映像データ処理部(デコーダ+D/A)
170 ネットワーク連結部
180 映像記録部
190 実時間運営部

Claims (26)

  1. 映像に透かしを埋め込む方法において、
    本来の擬似ランダムシーケンスを距離dだけ円状シフトさせたランダムシーケンスを透かしとして映像に埋め込むステップを含むことを特徴とする透かしの埋込み方法。
  2. 前記透かしは、強靭な透かしであることを特徴とする請求項1に記載の透かしの埋込み方法。
  3. 前記透かしは、圧縮過程において用いられる周波数変換の量子化された係数を用いて生成されることを特徴とする請求項1に記載の透かしの埋込み方法。
  4. 請求項1〜3のいずれかに記載の透かしの埋込み方法によって実時間で撮影される映像に透かしを埋め込んで記録するデジタルビデオ記録装置。
  5. 映像に透かしを埋め込む方法において、
    擬似ランダムシーケンスを生成するステップと、
    前記擬似ランダムシーケンスを距離dだけ円状シフトさせ、透かしシーケンスを生成するステップと、
    前記透かしシーケンスに透かしの埋込み強度を示す係数を乗算するステップと、
    前記乗算された透かしシーケンスをウェーブレット変換された原映像と合算させ、周波数変換領域における透かしが埋め込まれた映像を生成するステップと、
    前記透かしが埋め込まれた映像をウェーブレット逆変換し、空間領域における透かしが埋め込まれた映像を生成するステップとを含むことを特徴とする透かしの埋込み方法。
  6. 映像に透かしを埋め込む方法において、
    擬似ランダムシーケンスを生成するステップと、
    前記擬似ランダムシーケンスを距離dだけ円状シフトさせ、透かしシーケンスを生成するステップと、
    前記透かしシーケンスをウェーブレット逆変換するステップと、
    前記ウェーブレット逆変換された透かしシーケンスに透かしの埋込み強度を示す係数を乗算するステップと、
    前記乗算された透かしシーケンスを空間領域の原映像と合算させ、透かしが埋め込まれた映像を生成するステップとを含むことを特徴とする透かしの埋込み方法。
  7. 前記擬似ランダムシーケンスは、{−1、1}でマッピングされることを特徴とする請求項5または6に記載の透かしの埋込み方法。
  8. 前記透かしは、強靭な透かしであることを特徴とする請求項5または6に記載の透かしの埋込み方法。
  9. 請求項5または6に記載の透かしの埋込み方法によって実時間で撮影される映像に透かしを埋め込んで記録するデジタルビデオ記録装置。
  10. 映像に透かしを埋め込む方法において、
    擬似ランダムシーケンスを生成するステップと、
    前記擬似ランダムシーケンスを距離dだけ円状シフトさせ、透かしシーケンスを生成するステップと、
    原映像を離散コサイン変換させるステップと、
    前記原映像の離散コサイン変換された係数のうち、DCまたはAC係数のLSBを前記透かしシーケンスに代替するステップと、
    前記LSBが代替された映像を離散コサイン逆変換するステップとを含むことを特徴とする透かしの埋込み方法。
  11. 映像に透かしを埋め込む方法において、
    擬似ランダムシーケンスを生成するステップと、
    前記擬似ランダムシーケンスを距離dだけ円状シフトさせ、透かしシーケンスを生成するステップと、
    前記透かしシーケンスを離散コサイン逆変換するステップと、
    前記離散コサイン変換された透かしシーケンスを原映像と合算するステップとを含むことを特徴とする透かしの埋込み方法。
  12. 前記透かしは、強靭な透かしであることを特徴とする請求項10または11に記載の透かしの埋込み方法。
  13. 請求項10または11に記載の透かしの埋込み方法によって実時間で撮影される映像に透かしを埋め込んで記録するデジタルビデオ記録装置。
  14. 映像のMPEG圧縮を行う過程と共に映像に透かしを埋め込む方法において、
    入力映像を離散コサイン変換するステップと、
    前記離散コサイン変換された映像を量子化するステップと、
    前記量子化されたDCT係数を用いて透かしを構成するステップと、
    前記透かしを前記映像に埋め込むステップと、
    前記透かしが埋め込まれた映像に可変長コーディング過程を行うステップとを含むことを特徴とする透かしの埋込み方法。
  15. 映像のMPEG圧縮を行う過程と共に映像に透かしを埋め込む方法において、
    前記映像の該当マクロブロックの量子化されたDCT係数が入力されるステップと、
    前記該当マクロブロックの各DCTブロックを特徴抽出領域と透かしの埋込み領域とに分割するステップと、
    前記特徴抽出領域の量子化されたDCT係数とユーザ情報とを組み合わせるステップと、
    前記組み合わされた値をハッシュ関数の入力値としてハッシュ値を求めるステップと、
    前記透かしの埋込み領域の量子化されたDCT係数のLSBに前記ハッシュ値を埋め込むステップとを含むことを特徴とする透かしの埋込み方法。
  16. 前記マクロブロックは、16×16の大きさであり、前記マクロブロックは、8×8の大きさの4個のDCTブロックで構成されることを特徴とする請求項15に記載の透かしの埋込み方法。
  17. 映像のMPEG圧縮を行う過程と共に映像に透かしを埋め込む方法において、
    前記映像の該当スライス内の全てのマクロブロックの量子化されたDCT係数が入力されるステップと、
    前記マクロブロックのそれぞれのDCTブロックを特徴抽出領域と透かしの埋込み領域とに分割するステップと、
    前記特徴抽出領域の量子化されたDCT係数とユーザ情報とを組み合わせるステップと、
    前記組み合わされた値をハッシュ関数の入力値としてハッシュ値を求めるステップと、
    前記該当スライスの次のスライスの透かしの埋込み領域の量子化されたDCT係数のLSBに前記ハッシュ値を埋め込むステップとを含むことを特徴とする透かしの埋込み方法。
  18. 前記ユーザ情報は、製造企業の固有番号及び製品の固有番号の少なくとも一つを含むことを特徴とする請求項14〜17のいずれかに記載の透かしの埋込み方法。
  19. 前記透かしは、軟弱な透かしであることを特徴とする請求項14〜17のいずれかに記載の透かしの埋込み方法。
  20. 請求項14〜17のいずれかに記載の透かしの埋込み方法によって実時間で撮影される映像に透かしを埋め込んで記録するデジタルビデオ記録装置。
  21. 映像のJPEG圧縮を行う過程と共に映像に透かしを埋め込む方法において、
    入力映像を離散コサイン変換するステップと、
    前記離散コサイン変換された映像を量子化するステップと、
    前記量子化されたDCT係数を用いて透かしを構成するステップと、
    前記透かしを前記映像に埋め込むステップと、
    前記透かしが埋め込まれた映像にエントロピーコーディング過程を行うステップとを含むことを特徴とする透かしの埋込み方法。
  22. 請求項21に記載の透かしの埋込み方法によって実時間で撮影される映像に透かしを埋め込んで記録するデジタルビデオ記録装置。
  23. 映像のウェーブレット圧縮を行う過程と共に映像に透かしを埋め込む方法において、
    ウェーブレット圧縮過程中の量子化されたウェーブレット係数を特徴抽出領域と透かしの埋込み領域とに分割するステップと、
    前記特徴抽出領域の量子化されたDCTウェーブレット係数とユーザ情報とを組み合わせるステップと、
    前記組み合わされた値をハッシュ関数の入力値としてハッシュ値を求めるステップと、
    前記透かしの埋込み領域のLSBをゼロとし、ここに前記ハッシュ値ビットを埋め込むステップとを含むことを特徴とする透かしの埋込み方法。
  24. 前記ウェーブレット圧縮のウェーブレット変換は2段階のウェーブレット変換であり、
    前記透かしの埋込み領域としてLL2、HL2及びLH2領域が用いられることを特徴とする請求項23に記載の透かしの埋込み方法。
  25. 前記透かしは、軟弱な透かしであることを特徴とする請求項23または24に記載の透かしの埋込み方法。
  26. 請求項23または24に記載の透かしの埋込み方法によって実時間で撮影される映像に透かしを埋め込んで記録するデジタルビデオ記録装置。
JP2004128594A 2003-04-25 2004-04-23 映像に透かしを埋め込む方法及び該方法を用いたデジタルビデオ記録装置 Expired - Lifetime JP4294538B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030026248A KR100624751B1 (ko) 2003-04-25 2003-04-25 영상에 워터마크를 삽입하는 방법 및 상기 방법을 이용한디지털 비디오 저장장치

Publications (2)

Publication Number Publication Date
JP2004328747A true JP2004328747A (ja) 2004-11-18
JP4294538B2 JP4294538B2 (ja) 2009-07-15

Family

ID=33509582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004128594A Expired - Lifetime JP4294538B2 (ja) 2003-04-25 2004-04-23 映像に透かしを埋め込む方法及び該方法を用いたデジタルビデオ記録装置

Country Status (3)

Country Link
US (2) US7707422B2 (ja)
JP (1) JP4294538B2 (ja)
KR (1) KR100624751B1 (ja)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070120337A (ko) * 2006-06-19 2007-12-24 (주)유디웍스 영상감시장치(디브이알) 영상의 위변조 감지를 위한워터마크 삽입 및 검출 장치 및 방법
JP2008228281A (ja) * 2007-02-15 2008-09-25 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
JP2008539669A (ja) * 2005-04-26 2008-11-13 ベランス・コーポレイション マルチメディアコンテンツ用の電子透かしのセキュリティ強化
US8218025B2 (en) 2007-02-15 2012-07-10 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer program product
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
US8280103B2 (en) 2005-04-26 2012-10-02 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US8340348B2 (en) 2005-04-26 2012-12-25 Verance Corporation Methods and apparatus for thwarting watermark detection circumvention
US8451086B2 (en) 2000-02-16 2013-05-28 Verance Corporation Remote control signaling using audio watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8549307B2 (en) 2005-07-01 2013-10-01 Verance Corporation Forensic marking using a common customization function
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US8745404B2 (en) 1998-05-28 2014-06-03 Verance Corporation Pre-processed information embedding system
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
US8806517B2 (en) 2002-10-15 2014-08-12 Verance Corporation Media monitoring, management and information system
US8838978B2 (en) 2010-09-16 2014-09-16 Verance Corporation Content access management using extracted watermark information
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
JP2015139008A (ja) * 2014-01-20 2015-07-30 日本放送協会 暗号化装置、復号装置、暗号化プログラム、および復号プログラム
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9251322B2 (en) 2003-10-08 2016-02-02 Verance Corporation Signal continuity assessment using embedded watermarks
US9262793B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9485089B2 (en) 2013-06-20 2016-11-01 Verance Corporation Stego key management
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US9596521B2 (en) 2014-03-13 2017-03-14 Verance Corporation Interactive content acquisition using embedded codes
US9602891B2 (en) 2014-12-18 2017-03-21 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
US9639911B2 (en) 2014-08-20 2017-05-02 Verance Corporation Watermark detection using a multiplicity of predicted patterns
US9769543B2 (en) 2014-11-25 2017-09-19 Verance Corporation Enhanced metadata and content delivery using watermarks
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
US10257567B2 (en) 2015-04-30 2019-04-09 Verance Corporation Watermark based content recognition improvements
CN110381375A (zh) * 2018-04-13 2019-10-25 武汉斗鱼网络科技有限公司 一种确定盗刷数据的方法、客户端及服务器
US10477285B2 (en) 2015-07-20 2019-11-12 Verance Corporation Watermark-based data recovery for content with multiple alternative components
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
US11297398B2 (en) 2017-06-21 2022-04-05 Verance Corporation Watermark-based metadata acquisition and processing
US11368766B2 (en) 2016-04-18 2022-06-21 Verance Corporation System and method for signaling security and database population
US11468149B2 (en) 2018-04-17 2022-10-11 Verance Corporation Device authentication in collaborative content screening
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1215880A3 (en) * 2000-12-07 2003-08-13 Sony United Kingdom Limited Embedding data in material
US7460684B2 (en) 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
WO2006014362A1 (en) 2004-07-02 2006-02-09 Nielsen Media Research, Inc. Methods and apparatus for mixing compressed digital bit streams
GB2419762A (en) * 2004-11-01 2006-05-03 Sony Uk Ltd Method of generating protected media signals by replacing data bits with hash values
JP4728104B2 (ja) * 2004-11-29 2011-07-20 株式会社日立製作所 電子画像の真正性保証方法および電子データ公開システム
KR100664031B1 (ko) * 2005-02-18 2007-01-03 엘지전자 주식회사 워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어암호화 모듈
JP4473779B2 (ja) * 2005-05-23 2010-06-02 株式会社東芝 超音波診断装置及びその画像処理方法
US7623717B2 (en) * 2005-08-31 2009-11-24 Microsoft Corporation Capturing device for embedding software into raw sensor data
US7715587B2 (en) * 2005-10-28 2010-05-11 Lawrence N. Ginsberg Correlation-based system for watermarking continuous digital media
US7715588B2 (en) 2005-10-28 2010-05-11 Lawrence N. Ginsberg Two level cross-correlation based system for watermarking continuous digital media
CN101313331A (zh) * 2005-11-24 2008-11-26 皇家飞利浦电子股份有限公司 具有加密的检测密钥的多比特取证水印
KR100741519B1 (ko) * 2005-12-08 2007-07-20 연세대학교 산학협력단 워터마킹을 이용한 생체 영상의 인증/유출 방지 방법
US20090073178A1 (en) * 2006-03-17 2009-03-19 Nxp B.V. Compressing scheme using qualifier watermarking and apparatus using the compression scheme for temporarily storing image data in a frame memory
KR101213161B1 (ko) * 2006-06-14 2012-12-17 삼성전자주식회사 압축영역에서의 비디오 워터마킹 장치 및 그 방법
EP2095560B1 (en) 2006-10-11 2015-09-09 The Nielsen Company (US), LLC Methods and apparatus for embedding codes in compressed audio data streams
JP2008131282A (ja) * 2006-11-20 2008-06-05 Sony Corp 映像伝送方法、映像伝送システム及び映像処理装置
US8116514B2 (en) * 2007-04-17 2012-02-14 Alex Radzishevsky Water mark embedding and extraction
US7844116B2 (en) * 2007-04-30 2010-11-30 Xerox Corporation Method for identifying images after cropping
US8200959B2 (en) * 2007-06-28 2012-06-12 Cisco Technology, Inc. Verifying cryptographic identity during media session initialization
US8417942B2 (en) 2007-08-31 2013-04-09 Cisco Technology, Inc. System and method for identifying encrypted conference media traffic
US7844117B2 (en) * 2007-09-07 2010-11-30 Xerox Corporation Method for identifying images under distortion via noise characterization and bregman optimal matrix approximations
US20090147985A1 (en) * 2007-12-07 2009-06-11 Xuemin Chen METHOD AND SYSTEM FOR secure WATERMARK EMBEDDING AND EXTRACTION DATA FLOW ARCHITECTURE
US8380993B2 (en) 2007-12-07 2013-02-19 Broadcom Corporation Method and system for robust watermark insertion and extraction for digital set-top boxes
US9984369B2 (en) * 2007-12-19 2018-05-29 At&T Intellectual Property I, L.P. Systems and methods to identify target video content
US20090169001A1 (en) * 2007-12-28 2009-07-02 Cisco Technology, Inc. System and Method for Encryption and Secure Transmission of Compressed Media
US8837598B2 (en) * 2007-12-28 2014-09-16 Cisco Technology, Inc. System and method for securely transmitting video over a network
KR101426270B1 (ko) * 2008-02-13 2014-08-05 삼성전자주식회사 소프트웨어의 전자 서명 생성 방법, 검증 방법, 그 장치,및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
JP5046047B2 (ja) * 2008-10-28 2012-10-10 セイコーインスツル株式会社 画像処理装置、及び画像処理プログラム
US8305633B2 (en) * 2009-06-26 2012-11-06 Fuji Xerox Co., Ltd. Registering apparatus, authentication system, registering program storage medium and registering method
JP5974463B2 (ja) * 2011-11-29 2016-08-23 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法、電子透かし検出装置及び電子透かし検出方法
US9552628B2 (en) 2014-03-12 2017-01-24 Megachips Corporation Image processor
US9877036B2 (en) 2015-01-15 2018-01-23 Gopro, Inc. Inter frame watermark in a digital video
US9418396B2 (en) * 2015-01-15 2016-08-16 Gopro, Inc. Watermarking digital images to increase bit depth
US9886961B2 (en) 2015-01-15 2018-02-06 Gopro, Inc. Audio watermark in a digital video
US20170006219A1 (en) 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
US10609307B2 (en) 2015-09-28 2020-03-31 Gopro, Inc. Automatic composition of composite images or videos from frames captured with moving camera
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US9749738B1 (en) 2016-06-20 2017-08-29 Gopro, Inc. Synthesizing audio corresponding to a virtual microphone location
US10313686B2 (en) 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US10134114B2 (en) 2016-09-20 2018-11-20 Gopro, Inc. Apparatus and methods for video image post-processing for segmentation-based interpolation
US10003768B2 (en) 2016-09-28 2018-06-19 Gopro, Inc. Apparatus and methods for frame interpolation based on spatial considerations
KR101716318B1 (ko) * 2016-12-29 2017-03-14 (주)다올소프트 Jpeg 파일 포맷의 영상에 대한 강인한 가역 정보은닉 방법 및 장치
JP7058946B2 (ja) * 2017-04-28 2022-04-25 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10489897B2 (en) 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
CN108681983B (zh) * 2018-05-07 2023-10-20 饶四强 一种防止拍摄造假的方法
CN108648761B (zh) * 2018-05-10 2023-05-09 北京泛融科技有限公司 一种在音频数字水印中嵌入区块链账本的方法
KR102637177B1 (ko) * 2018-05-23 2024-02-14 세종대학교산학협력단 워터마크 기반의 이미지 무결성 검증 방법 및 장치
KR102099600B1 (ko) * 2018-09-07 2020-05-15 동명대학교산학협력단 의료 이미지의 워터마크 삽입 방법
CN111147864B (zh) * 2018-11-06 2022-07-05 京东科技控股股份有限公司 在图片中嵌入信息的方法和装置
CN109447889B (zh) * 2018-11-22 2023-05-26 央视国际网络无锡有限公司 一种实现隐藏式视频数字水印的方法
KR102646952B1 (ko) * 2019-01-04 2024-03-14 주식회사 마크애니 비디오 콘텐츠에 대한 위변조를 방지하기 위한 부가데이터를 검출하여 디스플레이하는 장치, 방법 및 시스템, 상기 디스플레이 장치와 연동하는 재생장치, 상기 장치의 재생방법
US11308572B1 (en) * 2019-01-16 2022-04-19 Xilinx, Inc. Method and system for invisible watermarking of images and video
CN112040241B (zh) * 2019-06-04 2022-08-05 山东华软金盾软件股份有限公司 一种基于深度学习的视频图像透明水印嵌入提取方法
CN110930288B (zh) * 2019-11-21 2023-09-08 上海鹰瞳医疗科技有限公司 在眼底图像中添加和提取水印的方法及设备
KR102423036B1 (ko) * 2021-07-05 2022-07-20 주식회사 누리플랜 Kcmvp가 적용된 카메라 보안 감시 시스템 및 그 방법
CN117057971B (zh) * 2023-10-07 2023-12-29 湖北微模式科技发展有限公司 一种基于亮度收缩校准的jpeg图像半脆弱水印算法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064764A (en) * 1998-03-30 2000-05-16 Seiko Epson Corporation Fragile watermarks for detecting tampering in images
KR100334730B1 (ko) 1999-12-21 2002-05-04 류정열 자동차 도어의 늘어남 방지장치
US7822969B2 (en) * 2001-04-16 2010-10-26 Digimarc Corporation Watermark systems and methods
JP4504681B2 (ja) * 2001-11-16 2010-07-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 補助データを情報信号に埋め込む方法及びデバイス
KR20040095325A (ko) * 2002-03-28 2004-11-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 다매체 신호들의 워터마킹을 위한 윈도우 셰이핑 함수들
US7313696B2 (en) * 2002-07-22 2007-12-25 Xerox Corporation Method for authentication of JPEG image data

Cited By (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745404B2 (en) 1998-05-28 2014-06-03 Verance Corporation Pre-processed information embedding system
US9117270B2 (en) 1998-05-28 2015-08-25 Verance Corporation Pre-processed information embedding system
US9189955B2 (en) 2000-02-16 2015-11-17 Verance Corporation Remote control signaling using audio watermarks
US8451086B2 (en) 2000-02-16 2013-05-28 Verance Corporation Remote control signaling using audio watermarks
US8791789B2 (en) 2000-02-16 2014-07-29 Verance Corporation Remote control signaling using audio watermarks
US9648282B2 (en) 2002-10-15 2017-05-09 Verance Corporation Media monitoring, management and information system
US8806517B2 (en) 2002-10-15 2014-08-12 Verance Corporation Media monitoring, management and information system
US9558526B2 (en) 2003-10-08 2017-01-31 Verance Corporation Signal continuity assessment using embedded watermarks
US9251322B2 (en) 2003-10-08 2016-02-02 Verance Corporation Signal continuity assessment using embedded watermarks
US9704211B2 (en) 2003-10-08 2017-07-11 Verance Corporation Signal continuity assessment using embedded watermarks
US9990688B2 (en) 2003-10-08 2018-06-05 Verance Corporation Signal continuity assessment using embedded watermarks
US8538066B2 (en) 2005-04-26 2013-09-17 Verance Corporation Asymmetric watermark embedding/extraction
JP2008539669A (ja) * 2005-04-26 2008-11-13 ベランス・コーポレイション マルチメディアコンテンツ用の電子透かしのセキュリティ強化
US8280103B2 (en) 2005-04-26 2012-10-02 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US9153006B2 (en) 2005-04-26 2015-10-06 Verance Corporation Circumvention of watermark analysis in a host content
US8811655B2 (en) 2005-04-26 2014-08-19 Verance Corporation Circumvention of watermark analysis in a host content
US8340348B2 (en) 2005-04-26 2012-12-25 Verance Corporation Methods and apparatus for thwarting watermark detection circumvention
US9009482B2 (en) 2005-07-01 2015-04-14 Verance Corporation Forensic marking using a common customization function
US8549307B2 (en) 2005-07-01 2013-10-01 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
KR20070120337A (ko) * 2006-06-19 2007-12-24 (주)유디웍스 영상감시장치(디브이알) 영상의 위변조 감지를 위한워터마크 삽입 및 검출 장치 및 방법
JP2008228281A (ja) * 2007-02-15 2008-09-25 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
US8218025B2 (en) 2007-02-15 2012-07-10 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer program product
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
US8346567B2 (en) 2008-06-24 2013-01-01 Verance Corporation Efficient and secure forensic marking in compressed domain
US8681978B2 (en) 2008-06-24 2014-03-25 Verance Corporation Efficient and secure forensic marking in compressed domain
US8838978B2 (en) 2010-09-16 2014-09-16 Verance Corporation Content access management using extracted watermark information
US9607131B2 (en) 2010-09-16 2017-03-28 Verance Corporation Secure and efficient content screening in a networked environment
US8838977B2 (en) 2010-09-16 2014-09-16 Verance Corporation Watermark extraction and content screening in a networked environment
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9298891B2 (en) 2011-11-23 2016-03-29 Verance Corporation Enhanced content management based on watermark extraction records
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9706235B2 (en) 2012-09-13 2017-07-11 Verance Corporation Time varying evaluation of multimedia content
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9262793B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9485089B2 (en) 2013-06-20 2016-11-01 Verance Corporation Stego key management
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
JP2015139008A (ja) * 2014-01-20 2015-07-30 日本放送協会 暗号化装置、復号装置、暗号化プログラム、および復号プログラム
US10110971B2 (en) 2014-03-13 2018-10-23 Verance Corporation Interactive content acquisition using embedded codes
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
US9854332B2 (en) 2014-03-13 2017-12-26 Verance Corporation Interactive content acquisition using embedded codes
US9854331B2 (en) 2014-03-13 2017-12-26 Verance Corporation Interactive content acquisition using embedded codes
US9681203B2 (en) 2014-03-13 2017-06-13 Verance Corporation Interactive content acquisition using embedded codes
US10499120B2 (en) 2014-03-13 2019-12-03 Verance Corporation Interactive content acquisition using embedded codes
US9596521B2 (en) 2014-03-13 2017-03-14 Verance Corporation Interactive content acquisition using embedded codes
US10354354B2 (en) 2014-08-20 2019-07-16 Verance Corporation Content synchronization using watermark timecodes
US9639911B2 (en) 2014-08-20 2017-05-02 Verance Corporation Watermark detection using a multiplicity of predicted patterns
US9805434B2 (en) 2014-08-20 2017-10-31 Verance Corporation Content management based on dither-like watermark embedding
US10445848B2 (en) 2014-08-20 2019-10-15 Verance Corporation Content management based on dither-like watermark embedding
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
US10178443B2 (en) 2014-11-25 2019-01-08 Verance Corporation Enhanced metadata and content delivery using watermarks
US9769543B2 (en) 2014-11-25 2017-09-19 Verance Corporation Enhanced metadata and content delivery using watermarks
US10277959B2 (en) 2014-12-18 2019-04-30 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
US9602891B2 (en) 2014-12-18 2017-03-21 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
US10848821B2 (en) 2015-04-30 2020-11-24 Verance Corporation Watermark based content recognition improvements
US10257567B2 (en) 2015-04-30 2019-04-09 Verance Corporation Watermark based content recognition improvements
US10477285B2 (en) 2015-07-20 2019-11-12 Verance Corporation Watermark-based data recovery for content with multiple alternative components
US11368766B2 (en) 2016-04-18 2022-06-21 Verance Corporation System and method for signaling security and database population
US11297398B2 (en) 2017-06-21 2022-04-05 Verance Corporation Watermark-based metadata acquisition and processing
CN110381375A (zh) * 2018-04-13 2019-10-25 武汉斗鱼网络科技有限公司 一种确定盗刷数据的方法、客户端及服务器
CN110381375B (zh) * 2018-04-13 2022-06-21 武汉斗鱼网络科技有限公司 一种确定盗刷数据的方法、客户端及服务器
US11468149B2 (en) 2018-04-17 2022-10-11 Verance Corporation Device authentication in collaborative content screening
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes

Also Published As

Publication number Publication date
JP4294538B2 (ja) 2009-07-15
US7707422B2 (en) 2010-04-27
US20100266157A1 (en) 2010-10-21
KR20040092703A (ko) 2004-11-04
KR100624751B1 (ko) 2006-09-19
US20040258243A1 (en) 2004-12-23

Similar Documents

Publication Publication Date Title
JP4294538B2 (ja) 映像に透かしを埋め込む方法及び該方法を用いたデジタルビデオ記録装置
Noorkami et al. Compressed-domain video watermarking for H. 264
Lin et al. Issues and solutions for authenticating MPEG video
JP2004032459A (ja) 監視システム、およびこれに用いるコントローラと監視端末
Shahid et al. Considering the reconstruction loop for data hiding of intra-and inter-frames of H. 264/AVC
Horng et al. A low cost fragile watermarking scheme in H. 264/AVC compressed domain
Liu et al. Secure steganography in compressed video bitstreams
Yang et al. A high bitrate information hiding algorithm for digital video content under H. 264/AVC compression
US6665420B1 (en) Message authentication code with improved error tolerance
WO2015028098A1 (en) Method and system for embedding information and authenticating a h.264 video using a digital watermark
Li et al. A reversible data hiding scheme for JPEG images
KR100538414B1 (ko) 디씨티 기반의 영상 압축 시스템을 위한 데이터 위변조방지 방법
JP2006246351A (ja) 画像符号化装置および画像復号化装置
US10134100B2 (en) Watermark embedding apparatus and method through image structure conversion
Ait Sadi et al. Content fragile watermarking for H. 264/AVC video authentication
CN113596575A (zh) 一种视频指纹数据的生成方法、比对方法及设备
Houria et al. Hybrid watermark fingerprint algorithm for h. 264 compressed video authentication
Gujjunoori et al. Reversible Data Embedding for MPEG-4 Video Using Middle Frequency DCT Coefficients.
JP4822340B2 (ja) カラー画像の圧縮符号化方法、復号化方法、カラー画像の圧縮符号化装置および復号化装置
Ohyama et al. Lossless data hiding using bit-depth embedding for JPEG2000 compressed bit-stream
Meerwald et al. Toward robust watermarking of scalable video
Kanphade et al. Forward modified histogram shifting based reversible watermarking with reduced pixel shifting and high embedding capacity
Mohammed et al. Efficient video watermarking using motion estimation approach
Chaumont Ensuring security of H. 264 videos by using watermarking
Bouchama et al. Watermarking techniques applied to H264/AVC video standard

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080825

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4294538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250