JP2008199616A - Display system for image data with steganographic data inserted therein - Google Patents

Display system for image data with steganographic data inserted therein Download PDF

Info

Publication number
JP2008199616A
JP2008199616A JP2008029158A JP2008029158A JP2008199616A JP 2008199616 A JP2008199616 A JP 2008199616A JP 2008029158 A JP2008029158 A JP 2008029158A JP 2008029158 A JP2008029158 A JP 2008029158A JP 2008199616 A JP2008199616 A JP 2008199616A
Authority
JP
Japan
Prior art keywords
data
image data
secret
display method
secret data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008029158A
Other languages
Japanese (ja)
Other versions
JP5080304B2 (en
Inventor
Tetsuya Matsuoka
哲也 松岡
Hiroyuki Kawashiri
寛之 河尻
Kiyoshi Tanaka
清 田中
Yasuyuki Nakajima
康之 中島
Hiromasa Yanagihara
広昌 柳原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinshu University NUC
Avasys Corp
KDDI Research Inc
Original Assignee
Shinshu University NUC
KDDI R&D Laboratories Inc
Avasys Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinshu University NUC, KDDI R&D Laboratories Inc, Avasys Corp filed Critical Shinshu University NUC
Priority to JP2008029158A priority Critical patent/JP5080304B2/en
Publication of JP2008199616A publication Critical patent/JP2008199616A/en
Application granted granted Critical
Publication of JP5080304B2 publication Critical patent/JP5080304B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a display system for image data for synchronously displaying a plurality of information items using steganographic data. <P>SOLUTION: Compressed moving image data with steganographic data inserted therein are decoded by a decoding unit 84, and the steganographic data inserted in partial regions within a quantized conversion coefficient of a conversion block are extracted by a steganographic data extraction unit 71. The decoded moving image data and the extracted steganographic data are inputted to a display unit 85 and in the display unit 85, the steganographic data are displayed synchronously with a reproduced image. Data indicating a display position of the steganographic data are acquired to also display the steganographic data at the display position. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は 秘匿データが挿入された画像データの表示方式に関し、特に、検出された秘匿データを反映させて画像データを表示する画像データの表示方式に関する。   The present invention relates to a display method of image data into which secret data is inserted, and more particularly to a display method of image data that displays image data by reflecting the detected secret data.

本発明に関わる従来技術として、特開2003−235040号公報、特開2003−235040号公報等に記されたものがある。   As prior arts related to the present invention, there are those described in JP2003-235040A, JP2003-235040A, and the like.

前記特開2003−235040号公報には、入力画像について近接する画素の平均値に対して大小の値を透かし値として与えている。すなわち、図17に示すように、MPEGデータを復号器91で復号し、近傍平均画素利用電子透かし挿入部92で、近傍画素の平均値に電子透かしデータ93を挿入し、符号化器94で符号化するようにしている。この従来技術では、圧縮された動画像データを一旦復号して画像データに戻し、透かしデータを挿入して再圧縮しているため、再符号化に伴う画質劣化や処理負荷の大幅な増加が起きたり、復号した画像を一時記録するための大規模な記録容量が必要となったりする。   In Japanese Patent Laid-Open No. 2003-235040, a large or small value is given as a watermark value with respect to an average value of adjacent pixels in an input image. That is, as shown in FIG. 17, the MPEG data is decoded by the decoder 91, the digital watermark insertion unit 92 inserts the digital watermark data 93 into the average value of the neighboring pixels, and the encoder 94 It tries to become. In this conventional technique, the compressed moving image data is once decoded and returned to the image data, and the watermark data is inserted and recompressed. Therefore, image quality deterioration and processing load greatly increase due to re-encoding. Or a large-scale recording capacity for temporarily recording the decoded image.

前記特開2003−235040号公報には、マクロブロック(16×16)に1つ規定される量子化スケールの値を透かし情報として利用し、該値が偶数か奇数かにより、透かし情報を「1」か「0」として規定することが述べられている。この場合、マクロブロックにつき1ビットの情報のため、情報量が限られる点が問題点として挙げられる。また、量子化スケールを1つ変更することにより符号化情報量が大幅に増減する可能性があるため、固定ビットレートで符号化する際に情報量の制御が困難であることや圧縮率がマクロブロック単位で最適値から変更されるため、マクロブロック単位で画質が変動して主観的な画質劣化を発生させる可能性がある。また、本方式は圧縮時に挿入することは可能であるが、圧縮された画像データへの挿入は画像全体の圧縮率を再度変更することになるため困難といえる。   In Japanese Patent Laid-Open No. 2003-235040, a quantization scale value defined for one macroblock (16 × 16) is used as watermark information, and the watermark information is “1” depending on whether the value is even or odd. "Or" 0 ". In this case, since one bit of information per macroblock, the amount of information is limited. In addition, there is a possibility that the amount of encoded information can be greatly increased or decreased by changing one quantization scale. Therefore, it is difficult to control the amount of information when encoding at a fixed bit rate, and the compression rate is Since the optimum value is changed in units of blocks, there is a possibility that the image quality varies in units of macroblocks and subjective image quality degradation occurs. Although this method can be inserted at the time of compression, it can be said that insertion into compressed image data is difficult because the compression rate of the entire image is changed again.

次に、動画像再生時にテロップや写真等の別のメディアを同期して表示する手段として、W3C(World Wide Web Consortium)で標準化されているSMIL(Synchronized Multimedia Integration Language)記述を利用することができる。図18は、該SMIL記述を利用した表示例を示している。この記述を用いることにより、例えば、動画像を再生中に、ある時刻(t=n〜m)に特定の場所にテロップなどを画面に表示することが可能である。ただし、この場合は、1.動画ファイルと、2.テロップ情報を格納したテキストファイルのほかに、3.これらの動作を記述するSMIL記述ファイルが必要になる。このため、メディアの数が多くなるとファイル数が増加して扱いが複雑になるという問題が生じる。
特開2003−244423号公報 特開2003−235040号公報
Next, SMIL (Synchronized Multimedia Integration Language) description standardized by the World Wide Web Consortium (W3C) can be used as a means of synchronously displaying other media such as telops and photos during video playback. . FIG. 18 shows a display example using the SMIL description. By using this description, for example, during playback of a moving image, it is possible to display a telop or the like on a screen at a specific place at a certain time (t = n to m). However, in this case: A video file and 2. In addition to the text file that stores telop information, 3. You need a SMIL description file that describes these actions. For this reason, when the number of media increases, the number of files increases and handling becomes complicated.
JP 2003-244423 A JP 2003-235040 A

本発明の目的は、前記した従来技術に鑑み、秘匿データを用いて複数の情報を同期表示する画像データの表示方式を提供することにある。   An object of the present invention is to provide a display method of image data in which a plurality of information is synchronously displayed using secret data in view of the above-described conventional technology.

前記した目的を達成するために、本発明は、秘匿データが挿入された画像データの表示方式であって、量子化変換係数復号段階で、秘匿データが挿入された圧縮画像データから秘匿データを抽出する手段と、秘匿データ抽出後の量子化変換係数を用いて画像データを復号する手段と、前記圧縮画像データから抽出された秘匿データを、前記画像データと同期して表示する手段とを具備した点に第6の特徴がある。   In order to achieve the above-described object, the present invention is a display method of image data into which secret data is inserted, and the secret data is extracted from the compressed image data into which the secret data is inserted in the quantization transform coefficient decoding stage. Means for decoding image data using the quantized transform coefficient after extraction of the secret data, and means for displaying the secret data extracted from the compressed image data in synchronization with the image data. The point has a sixth feature.

本発明によれば、秘匿データを用いてテロップ、画像、マスク、リンク情報を各画面単位で挿入、表示することにより、SMIL等の別ファイルを用いることなく、画面単位で同期して複数のメディアの表示や、オブジェクト単位の関連付けを行うことができる。   According to the present invention, a telop, an image, a mask, and link information are inserted and displayed in units of screens using confidential data, so that a plurality of media can be synchronized in units of screens without using separate files such as SMIL. Can be displayed and associated in units of objects.

以下に、図面を参照して、本発明を詳細に説明する。図1は本発明の一実施形態の圧縮画像データに秘匿データを挿入する方式の要部を示すブロック図である。   Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a main part of a method for inserting confidential data into compressed image data according to an embodiment of the present invention.

圧縮画像データは部分復号部14で部分的に復号される。部分復号部14から得られる量子化変換係数aは秘匿データ挿入部11に入力され、一方秘匿データ12が秘匿データ挿入部11へ入力される。秘匿データ挿入部11は、後述する方法で前記量子化変換係数aに該秘匿データを挿入する。秘匿データ挿入後の量子化変換係数bは部分符号化部15で部分符号化され、秘匿データ挿入圧縮画像データとして出力される。なお、部分復号部14から得られる符号化情報も秘匿データ挿入部11に入力されるが、秘匿データの挿入とは関係がないので説明を省略する。   The compressed image data is partially decoded by the partial decoding unit 14. The quantized transform coefficient a obtained from the partial decoding unit 14 is input to the secret data insertion unit 11, while the secret data 12 is input to the secret data insertion unit 11. The secret data insertion unit 11 inserts the secret data into the quantized transform coefficient a by a method described later. The quantized transform coefficient b after the confidential data insertion is partially encoded by the partial encoding unit 15 and output as the confidential data insertion compressed image data. Note that the encoded information obtained from the partial decoding unit 14 is also input to the secret data insertion unit 11, but the description is omitted because it is not related to the insertion of the secret data.

図2はMPEGやJPEG方式で圧縮された動画像データや画像データに秘匿データを挿入する方式の要部を示すブロック図である。   FIG. 2 is a block diagram showing the main part of a method for inserting confidential data into moving image data or image data compressed by the MPEG or JPEG method.

MPEG(JPEG)データは、VLD(可変長復号部)に入力され、部分的に復号される。秘匿データ挿入部11は、図1で説明したのと同様に、後述する方法で前記量子化変換係数aに秘匿データ12を挿入する。秘匿データ挿入後の量子化変換係数bはVLC(可変長符号部)13で部分符号化され、秘匿データ挿入MPEG(JPEG)データとして出力される。   MPEG (JPEG) data is input to a VLD (variable length decoding unit) and partially decoded. The secret data insertion unit 11 inserts the secret data 12 into the quantized transform coefficient a by the method described later, as described with reference to FIG. The quantized transform coefficient b after the insertion of the secret data is partially encoded by a VLC (variable length encoding unit) 13 and is output as confidential data inserted MPEG (JPEG) data.

図3は秘匿データ挿入部11の詳細な機能を示すブロック図である。該秘匿データ挿入部11は、量子化変換係数抽出部31、量子化変換係数グループ化部32、重み係数決定部33、および量子化変換係数変更部34から構成されている。   FIG. 3 is a block diagram showing detailed functions of the secret data insertion unit 11. The secret data insertion unit 11 includes a quantized transform coefficient extracting unit 31, a quantized transform coefficient grouping unit 32, a weighting factor determining unit 33, and a quantized transform coefficient changing unit 34.

以下、前記量子化変換係数抽出部31、量子化変換係数グループ化部32、重み係数決定部33、および量子化変換係数変更部34の機能を、MPEGを例にとって説明する。なお、本発明はMPEGに限定されないことは勿論である。   Hereinafter, the functions of the quantized transform coefficient extracting unit 31, the quantized transform coefficient grouping unit 32, the weighting coefficient determining unit 33, and the quantized transform coefficient changing unit 34 will be described using MPEG as an example. Of course, the present invention is not limited to MPEG.

量子化変換係数抽出部31では、VLD10から得られる量子化変換係数の内、AC成分を図4(a)に示すような低周波成分から高周波成分に向かってジグザグスキャン順に並べる(A(1),A(2),A(3),・・・ ,A(9))。なお、スキャン順は圧縮のモードによって縦方向のスキャンなど異なる場合があるが、その場合は指定されたスキャン順に並べる。8×8DCTではAC成分は図5のように63個の係数になる。図4(a)のA(1)〜A(9)はAC成分の量子化変換係数を示すもので、A(9)が非零係数でA(10)からA(63)までは零係数の場合を示す。また、A(1)〜A(8)は非零または零のいずれの係数でも構わない。   The quantized transform coefficient extraction unit 31 arranges the AC components of the quantized transform coefficients obtained from the VLD 10 in the zigzag scan order from the low frequency components to the high frequency components as shown in FIG. 4A (A (1)). , A (2), A (3), ..., A (9)). The scan order may be different depending on the compression mode, such as a vertical scan. In this case, the scan order is arranged in the designated scan order. In 8 × 8 DCT, the AC component is 63 coefficients as shown in FIG. A (1) to A (9) in FIG. 4 (a) indicate the quantized transform coefficients of the AC component. A (9) is a non-zero coefficient, and A (10) to A (63) are zero coefficients. This case is shown. A (1) to A (8) may be non-zero or zero coefficients.

並べられた量子化変換係数は量子化変換係数グループ化部32で部分領域に分割され、G個のグループにグループ化される。グループ化は低周波から高周波に向けてまとまった単位で行う。例えば、図4(b)に示すようにジグザグスキャン順に3成分ずつグループ化(グループ化例1)したり、図4(c)に示すようにジグザグスキャン順に一定の間隔で成分をサンプリングして(図示の例では3個おき)グループ化(グループ化例2)したりすることができる。   The arranged quantized transform coefficients are divided into partial areas by the quantized transform coefficient grouping unit 32 and grouped into G groups. Grouping is done in a unit from low frequency to high frequency. For example, as shown in FIG. 4B, the three components are grouped in the zigzag scan order (grouping example 1), or the components are sampled at regular intervals in the zigzag scan order as shown in FIG. Grouping (grouping example 2).

このグループ化の目的は、各グループに1ビットの秘匿データを埋め込むためであり、これにより1ブロックに複数ビットの秘匿データを埋め込むことができるようになる。なお、グループ化対象はすべてのAC係数を対象にすることもできるが、図6に示されているように、スキャン順に並べた量子化変換係数の最後の非零係数A(en)までの係数のみを対象にすることにより、より効率的に秘匿データを挿入することが可能になる。また、グループ数Gについては最後の非零係数までの係数の個数en(図6の例では、en=18)に依存して決定することができる。   The purpose of this grouping is to embed 1-bit confidential data in each group, so that a plurality of bits of confidential data can be embedded in one block. Although all AC coefficients can be targeted for grouping, as shown in FIG. 6, coefficients up to the last non-zero coefficient A (en) of the quantized transform coefficients arranged in scan order are used. It becomes possible to insert secret data more efficiently by targeting only. The group number G can be determined depending on the number of coefficients en up to the last non-zero coefficient (en = 18 in the example of FIG. 6).

例えば、最後の非零AC係数までの個数enが小さい場合、当該ブロックに低周波成分のみ存在することになり、係数変更すると画質劣化の可能性がある。このため、G値を小さくし、逆にenが大きい場合は高周波まで存在するためG値を大きく設定することが可能である。例えばen<6ならばG=0、7≦en<10ならばG=1、11≦ en<15ならばG=2、16≦ en<21ならばG=3等と設定することが可能である。   For example, when the number en up to the last non-zero AC coefficient is small, only the low frequency component exists in the block, and there is a possibility of image quality deterioration if the coefficient is changed. For this reason, if the G value is reduced and conversely en is large, it is possible to set the G value to be large because high frequencies exist. For example, it is possible to set G = 0 if en <6, G = 1 if 7 ≦ en <10, G = 2 if 11 ≦ en <15, G = 3 if 16 ≦ en <21, and so on. is there.

図4(b)に示されるグループ化例1の場合、周波数帯域別のグループ化となるため、帯域別にデータ挿入強度を調整することができる。なお、周波数帯域は図5のようなスキャン順の帯域として考えることが可能である。上記データ挿入強度については、例えば低周波係数は秘匿データ挿入による画質への影響が大きいために挿入強度を低くし、逆に高周波係数は画質への影響が少ないため、挿入強度を高くすることができる。具体的には各帯域別に重み付けを変更することでこのような調整が可能である。   In the case of grouping example 1 shown in FIG. 4B, grouping is performed for each frequency band, so that the data insertion strength can be adjusted for each band. The frequency band can be considered as a scan order band as shown in FIG. Regarding the data insertion strength, for example, the low frequency coefficient has a large influence on the image quality due to the insertion of the secret data, so the insertion strength is lowered. Conversely, the high frequency coefficient has a little influence on the image quality, so the insertion strength can be increased. it can. Specifically, such adjustment is possible by changing the weight for each band.

例えば、スキャン順の量子化変換AC係数をA(1),A(2),・・・,A(i),・・・,A(en)とすると、各グループの係数とスキャン順の係数との間に、下記の式が成り立つ。   For example, if the quantized transform AC coefficients in scan order are A (1), A (2), ..., A (i), ..., A (en), the coefficients of each group and the coefficients in scan order The following formula holds between:

AG1(j,k)=A((j-1)*G+k) (1)   AG1 (j, k) = A ((j-1) * G + k) (1)

ここで、AG1(j,k)は各グループの係数を示し、jはグループ番号(j=1,2,・・・,G)、kはグループ内の係数番号(k=1,2,・・・,(en/G + 1))である。各帯域の重み付けはWG1(j)とすることができる。   Here, AG1 (j, k) indicates a coefficient of each group, j is a group number (j = 1, 2,..., G), k is a coefficient number in the group (k = 1, 2,. .., (en / G + 1)). The weight of each band can be WG1 (j).

図4(c)に示されるグループ化例2の場合、各グループでいくつかの周波数帯域が混在するため、グループ内の係数で低周波から高周波にかけて重みを変更することにより挿入強度を調整することができる。各グループの係数とスキャン順の係数との間に、下記の式が成り立つ。   In the case of grouping example 2 shown in FIG. 4 (c), since several frequency bands are mixed in each group, the insertion strength is adjusted by changing the weight from the low frequency to the high frequency with the coefficient in the group. Can do. The following formula is established between the coefficient of each group and the coefficient of the scan order.

AG2(j,k)=A((k-1)*G+j) (2)   AG2 (j, k) = A ((k-1) * G + j) (2)

ここで、AG2(j,k)は各グループの係数を示し、jはグループ番号(j=1,2,・・・,G)、kはグループ内の係数番号(k=1,2,・・・,(en/G + 1))である。また、各帯域,各係数位置の重み付けはWG2(j,k)とすることができる。   Here, AG2 (j, k) indicates a coefficient of each group, j is a group number (j = 1, 2,..., G), k is a coefficient number in the group (k = 1, 2,. .., (en / G + 1)). Also, the weighting of each band and each coefficient position can be WG2 (j, k).

次に、図3の重み係数決定部33では重み付け係数WGを決定する。例えばWG1(j)の場合、低周波(例えばj=0,1)ではWG1(j)=0とし, 高周波になるに従いWG(j)=1,2と設定することができる。また、WG2(j,k)の場合、j,kいずれも小さい場合は低周波となり、j,kが大きくなるに従い高周波成分となるため、WG1の場合と同様に低周波から高周波にかけて重み付けを大きくすることが可能である。   Next, the weighting coefficient determination unit 33 in FIG. 3 determines the weighting coefficient WG. For example, in the case of WG1 (j), WG1 (j) = 0 can be set at a low frequency (for example, j = 0, 1), and WG (j) = 1, 2 can be set as the frequency becomes high. Also, in the case of WG2 (j, k), if both j and k are small, the frequency becomes low and becomes a high frequency component as j and k increase, so the weighting increases from low frequency to high frequency as in WG1. Is possible.

また、量子化係数の値に応じて重み付けを変更することも可能である。特に係数が零の場合は重み付けの効果は低いため、意図的に低い値を設定することにより、秘匿データ挿入による零成分から非零成分に変更することがなくなり、画質を保持しかつデータ量の増大化を防ぐことが可能となる。   It is also possible to change the weighting according to the value of the quantization coefficient. In particular, when the coefficient is zero, the effect of weighting is low, so by intentionally setting a low value, the zero component due to insertion of confidential data is not changed to a non-zero component, the image quality is maintained and the amount of data is reduced. It is possible to prevent the increase.

図6(b)は、最後の非零係数が18番で分割したグループ数G=3の場合について前記グループ化例2のグループ分割方式を用いてグループ分割し、帯域と係数値に合わせた重み付けを行った例である。   FIG. 6 (b) shows the case where the last non-zero coefficient is number 18 and the number of groups G = 3 is divided into groups using the group division method of the grouping example 2 above, and weighted according to the band and coefficient values. This is an example.

図示の例では、例えばグループAG2(1,k)の各係数(10,4,3,2,2,0)に対する重み付けWG2(1,k)は(0,0,1,2,2,1)とされている。この例から、低周波から高周波にかけて重み付けが大きくされていることがわかる。なお、最後の係数0は高周波であるにかかわらずこれに対する重みを1にしたのは、零係数に対する重み付けの効果は低いため、意図的に低い値を設定するようにしたためである。また、WG2(3,k)では、WG2(1,k)に比べて重み付けが大きくなっていることが分かる。   In the illustrated example, for example, the weight WG2 (1, k) for each coefficient (10,4,3,2,2,0) of the group AG2 (1, k) is (0,0,1,2,2,1). ). From this example, it can be seen that the weighting is increased from low frequency to high frequency. The reason why the weight for the last coefficient 0 is set to 1 regardless of the high frequency is that the effect of the weighting for the zero coefficient is low, so that a low value is intentionally set. In addition, it can be seen that WG2 (3, k) has a higher weight than WG2 (1, k).

次に、重み付けを行った量子化変換係数を用いて秘匿データの挿入を行う。図3の量子化変換係数変更部34では、秘匿データの値に合わせて各グループ内の量子化変換係数を変更する。以下に、図7を参照して説明する。   Next, confidential data is inserted using the weighted quantized transform coefficient. The quantized transform coefficient changing unit 34 in FIG. 3 changes the quantized transform coefficient in each group according to the value of the confidential data. This will be described below with reference to FIG.

秘匿データ12が0(Sk=0)の場合、量子化代表値Q(j)を近傍の偶数Q’(j)に変更し、これに合わせて各量子化変換係数を変更する。一方、秘匿データ12が1(Sk=1)の場合、量子化代表値Q(j)を近傍の奇数Q’(j)に変更し、これに合わせて各量子化変換係数を変更する。   When the secret data 12 is 0 (Sk = 0), the quantized representative value Q (j) is changed to a nearby even number Q ′ (j), and each quantized transform coefficient is changed accordingly. On the other hand, when the secret data 12 is 1 (Sk = 1), the quantized representative value Q (j) is changed to a nearby odd number Q '(j), and each quantized transform coefficient is changed accordingly.

ここで、量子化代表値Q(j)は、量子化変換係数のグループ内エネルギーE(j)と秘匿強度mを用いて以下のように表すことができる。   Here, the quantized representative value Q (j) can be expressed as follows using the intra-group energy E (j) of the quantized transform coefficient and the secret strength m.

Q(j) = E(j) / m (3)   Q (j) = E (j) / m (3)

なお、Q(j)は実数である。また、E(j)としてはグループ内量子化変換係数の絶対値和を用いることが可能である。また、秘匿強度mは1以上の整数として、大きくなるに従い秘匿強度を高くすることができる。   Q (j) is a real number. Further, as E (j), it is possible to use the absolute value sum of the intragroup quantized transform coefficients. The secret strength m is an integer of 1 or more, and the secret strength can be increased as it increases.

図示の例では、グループ内エネルギーE(1)=21、秘匿強度m=4の場合であるので、量子化代表値Q(1)=5.2となる。そこで、秘匿データが0(Sk=0)の場合には、量子化代表値Q(1)を偶数の6に変更し、秘匿データが1(Sk=1)の場合には、量子化代表値Q(1)を奇数の5に変更する。   In the illustrated example, the intra-group energy E (1) = 21 and the secret strength m = 4, so that the quantized representative value Q (1) = 5.2. Therefore, when the secret data is 0 (Sk = 0), the quantized representative value Q (1) is changed to an even number 6, and when the secret data is 1 (Sk = 1), the quantized representative value is changed. Change Q (1) to an odd number of 5.

次に、Q(j)からQ’(j)に変更されることによるグループ内のエネルギーの変化ΔEは以下の式で求めることができる。   Next, the energy change ΔE in the group due to the change from Q (j) to Q ′ (j) can be obtained by the following equation.

ΔE= Q’(j) *m−E(j)   ΔE = Q ′ (j) * m−E (j)

このエネルギーの変化を各量子化変換係数に反映することによってデータ秘匿を実現することが可能となる。   By reflecting this change in energy on each quantized transform coefficient, data concealment can be realized.

AG2’(j,k) =AG2(j,k)+ ΔE * WG2(j,k) (4)   AG2 ’(j, k) = AG2 (j, k) + ΔE * WG2 (j, k) (4)

これにより、エネルギーの変化を重み付きで各量子化変換係数に反映して変更することができる。なお、整数演算時の切捨て等でエネルギー変化量を反映できない場合は四捨五入等の処理を用いてエネルギー変化量を反映させる。   Thereby, a change in energy can be reflected and changed in each quantized transform coefficient with a weight. If the amount of energy change cannot be reflected due to truncation at the time of integer calculation, the amount of energy change is reflected using a process such as rounding off.

図7の例では、秘匿データが0(Sk=0)の場合には、ΔE=3となる。このエネルギーの変化を各量子化変換係数に重み付けに反映すると[ΔE× WG2(1,k)]=[0,0,1/2,1,1,1/2]となる。量子化変換係数が整数でない場合は、四捨五入または切り捨てを行い、整数にして前記エネルギーの変化を重み付けに反映する。そうすると、[ΔE× WG2(1,k)]=[0,0,1,1,1,0]とすることができる。次いで、このエネルギーの変化を各量子化変換係数に反映すると、各量子化変換係数AG2’(1,k)は、(10,4,4,3,3,0)となる。このAG2’(1,k)=(10,4,4,3,3,0)は、元の量子化変換係数AG2(1,k)=(10,4,3,2,2,0)と比べると、第3,4,5項がそれぞれ変更されていることがわかる。   In the example of FIG. 7, ΔE = 3 when the confidential data is 0 (Sk = 0). When this change in energy is reflected in the weighting of each quantized transform coefficient, [ΔE × WG2 (1, k)] = [0, 0, 1/2, 1, 1, 1/2]. If the quantized transform coefficient is not an integer, it is rounded off or rounded down to an integer to reflect the change in energy in the weighting. Then, [ΔE × WG2 (1, k)] = [0, 0, 1, 1, 1, 0] can be obtained. Next, when this change in energy is reflected in each quantized transform coefficient, each quantized transform coefficient AG2 '(1, k) becomes (10, 4, 4, 3, 3, 0). This AG2 ′ (1, k) = (10,4,4,3,3,0) is the original quantized transform coefficient AG2 (1, k) = (10,4,3,2,2,0) It can be seen that the third, fourth, and fifth terms are changed.

秘匿データが1(Sk=1)の場合には、エネルギーの変化ΔE=−1となる。以下、前記と同様な処理がなされ、このエネルギーの変化を各量子化変換係数に反映すると、各量子化変換係数AG2’(1,k)は、(10,4,3,2,1,0)となる。このAG2’(1,k)=(10,4,3,2,1,0)は、元の量子化変換係数AG2(1,k)=(10,4,3,2,2,0)と比べると、第5項のみが変更されていることがわかる。   When the secret data is 1 (Sk = 1), the energy change ΔE = −1. Thereafter, the same processing as described above is performed, and when this energy change is reflected in each quantized transform coefficient, each quantized transform coefficient AG2 ′ (1, k) becomes (10, 4, 3, 2, 1, 0). ). This AG2 ′ (1, k) = (10,4,3,2,1,0) is the original quantized transform coefficient AG2 (1, k) = (10,4,3,2,2,0) It can be seen that only the fifth term is changed.

次に、これら変更された量子化変換係数はVLC13で符号化され、秘匿データ挿入MPEG(JPEG)データとして出力される。   Next, these changed quantized transform coefficients are encoded by the VLC 13 and output as confidential data insertion MPEG (JPEG) data.

本実施形態による方式では、部分復号処理としてVLD処理、部分符号化処理としてVLC処理だけが秘匿データ挿入処理のほかに圧縮データの処理として必要なため、非常に高速な挿入処理が可能である。特に復号処理で必要となるIDCT、動き補償処理や符号化処理で必要となるDCT、動き補償予測処理はいずれも処理負荷が大きいが、これらの処理のいずれも必要ないことが特徴として挙げられる。   In the method according to the present embodiment, only the VLD process as the partial decoding process and the VLC process as the partial encoding process are necessary as the compressed data process in addition to the secret data insertion process, and therefore a very high speed insertion process is possible. In particular, the IDCT required for the decoding process, the DCT required for the motion compensation process and the encoding process, and the motion compensation prediction process all have a heavy processing load, but the feature is that none of these processes is required.

また、グループ数Gを変化させることによりブロック単位で挿入可能なデータ量を決定することができる。このため、各ブロック単位に複数のグループを設定することにより、各ブロック(8×8)に対して任意の複数ビットの秘匿データを挿入することが可能になる。   Further, the amount of data that can be inserted in units of blocks can be determined by changing the number of groups G. For this reason, by setting a plurality of groups for each block, it is possible to insert arbitrary plural bits of confidential data into each block (8 × 8).

また、重み付け係数を変化させることにより画質への影響を制御することが可能である。また、秘匿データ強度mが大きくなるに従いエネルギーの変化ΔEも大きくなり、量子化変換係数の変更値も大きくなる。この結果、データエラーや画面コピー、別の圧縮率へ変換するトランス符号化等の画像変更、劣化に対する耐性も強化され、より強固な検出を行うことが可能となる。   In addition, it is possible to control the influence on the image quality by changing the weighting coefficient. Further, as the secret data intensity m increases, the energy change ΔE also increases, and the change value of the quantization transform coefficient also increases. As a result, data error, screen copy, image change such as trans-encoding for conversion to another compression rate, and resistance to degradation are enhanced, and more robust detection can be performed.

なお、秘匿データ強度mはあらかじめ決定した固定値を利用するほか、ブロック単位、マクロブロック単位、フレーム単位に変更することも可能であるが、その場合、別途秘匿データ強度mの値を圧縮データのヘッダ等(フレームヘッダ、マクロブロックヘッダ等)で記述する必要がある。   The secret data strength m can be changed to a block unit, a macro block unit, or a frame unit in addition to using a predetermined fixed value. In this case, the secret data strength m is separately set to the value of the compressed data. It is necessary to describe with a header or the like (frame header, macroblock header, etc.).

また、強度mの値は、フレームの最初のブロック、各マクロブロックの最初のブロックあるいはブロックの秘匿データとして埋め込むことも可能である。この場合、あらかじめ、強度mの値とその他のデータの組込み構造を決めておく必要がある。例えば、各ブロックの最初の秘匿データが“1”で始まる場合はその後にmの値を示すデータが続き、その後にユーザ指定の秘匿データが続く等の規則を決めておくことが可能である。   Further, the value of the intensity m can be embedded as the first block of the frame, the first block of each macroblock, or the secret data of the block. In this case, it is necessary to determine in advance the structure of the value of the intensity m and other data. For example, when the first secret data of each block starts with “1”, it is possible to determine a rule such that data indicating the value of m follows, followed by user-specified secret data.

さらに、秘匿データ埋め込み自体のフラグ、すなわち秘匿データ埋め込み有りを示すフラグも、フレームの最初のブロック等あるいは各マクロブロックやブロックに秘匿データとして埋め込むことが可能である。この場合も上記の強度mの値と同様にデータ構造を決めておく必要がある。例えば、秘匿データフラグとして“FFFF”などのフラグを指定しておき、このコードが秘匿データから検出できた場合のみ秘匿データ抽出処理を行う。また、他のデータとの誤認識を防ぐために、コード長を長くすることや複数のブロック、領域の埋め込みコードを利用することなどが考えられる。また、このフラグを圧縮データのヘッダ等(フレームヘッダ等)で記述することも可能である。   Furthermore, a flag for embedding the secret data itself, that is, a flag indicating that the secret data is embedded can be embedded as the secret data in the first block of the frame or the like or in each macroblock or block. Also in this case, it is necessary to determine the data structure in the same manner as the value of the intensity m. For example, a flag such as “FFFF” is designated as the secret data flag, and the secret data extraction process is performed only when this code can be detected from the secret data. In order to prevent misrecognition with other data, it is conceivable to increase the code length or use an embedded code in a plurality of blocks and areas. It is also possible to describe this flag by a compressed data header or the like (frame header or the like).

図8は、JPEGなどの画像符号化装置に、本発明の秘匿データ挿入機能を具備させた装置の構成を示すブロック図である。   FIG. 8 is a block diagram showing a configuration of an apparatus in which an image encoding apparatus such as JPEG is provided with the secret data insertion function of the present invention.

画像データはDCT部51で直交変換され、量子化部Q52に入力する。該量子化部Q52で量子化された量子化データは秘匿データ挿入部11に入力される。秘匿データ挿入部11は、前記した方法により秘匿データ12を量子化データに挿入する。秘匿データ12を挿入された量子化データは、VLC13で可変長符号化され、秘匿データ挿入圧縮画像データとして出力される。なお、量子化器Q52はレート制御部54にてVLC後のビット量から符号化量の制御が行われる。   The image data is orthogonally transformed by the DCT unit 51 and input to the quantization unit Q52. The quantized data quantized by the quantizing unit Q52 is input to the secret data inserting unit 11. The secret data insertion unit 11 inserts the secret data 12 into the quantized data by the method described above. The quantized data into which the confidential data 12 is inserted is variable-length encoded by the VLC 13 and is output as the confidential data insertion compressed image data. In the quantizer Q52, the rate control unit 54 controls the encoding amount from the bit amount after VLC.

図9は、MPEGなどの動画像符号化装置に、秘匿データ挿入機能を具備させた装置の構成を示すブロック図である。   FIG. 9 is a block diagram illustrating a configuration of an apparatus in which a moving image encoding apparatus such as MPEG is provided with a secret data insertion function.

動画像符号化装置の動作は周知であるので簡単に説明すると、動画像データは予測信号減算器50と動き補償器(MC)64に入力する。動き補償器(MC)64では、入力動画像データとフレームメモリ(Mem)63から入力された参照画像とで求められた動きベクトルによって指定される画像データをフレームメモリ(Mem)63から求め、動き補償予測データとして予測信号減算器50および局所復号加算器に出力される。予測信号減算器50で入力画像データから前記動き補償予測データが減算され、その予測誤差は高い符号化効率を得るためにDCT51に入力される。DCT51で直交変換されたデータは量子化部Q52に入力し、量子化された後、秘匿データ挿入部11に入力される。秘匿データ挿入部11は、前記した方法により秘匿データ12を量子化データに挿入する。秘匿データ12を挿入された量子化データは、VLC13で可変長符号化され、秘匿データ挿入圧縮動画像データとして出力される。量子化器Q52はレート制御部54にてVLC後のビット量から符号化量の制御が行われる。また、秘匿データ12を挿入された前記量子化データは、逆量子化部(IQ)61で逆量子化され、さらに逆DCT部(IDCT)62で逆DCTされ前記局部復号加算器にはいる。   The operation of the moving picture coding apparatus is well known and will be briefly described. The moving picture data is input to the prediction signal subtracter 50 and the motion compensator (MC) 64. The motion compensator (MC) 64 obtains, from the frame memory (Mem) 63, image data specified by the motion vector obtained from the input moving image data and the reference image input from the frame memory (Mem) 63, and moves the motion. It is output to the prediction signal subtracter 50 and the local decoding adder as compensated prediction data. The motion compensation prediction data is subtracted from the input image data by the prediction signal subtracter 50, and the prediction error is input to the DCT 51 in order to obtain high coding efficiency. The data orthogonally transformed by the DCT 51 is input to the quantization unit Q52, quantized, and then input to the secret data insertion unit 11. The secret data insertion unit 11 inserts the secret data 12 into the quantized data by the method described above. The quantized data into which the secret data 12 is inserted is variable-length encoded by the VLC 13 and is output as the secret data insertion compressed moving image data. In the quantizer Q52, the rate control unit 54 controls the encoding amount from the bit amount after VLC. The quantized data into which the secret data 12 is inserted is inversely quantized by an inverse quantization unit (IQ) 61 and further inversely DCTed by an inverse DCT unit (IDCT) 62 and enters the local decoding adder.

図8、図9の構成によれば、符号化と同時に秘匿データの挿入を効率的に行うことができるようになる。   According to the configurations of FIGS. 8 and 9, the confidential data can be efficiently inserted simultaneously with the encoding.

図10は、秘匿データ挿入圧縮画像データを復号して秘匿データと画像データを取得するためのJPEG対応の装置の構成を示すブロック図である。   FIG. 10 is a block diagram showing a configuration of a JPEG-compatible device for decoding secret data insertion compressed image data and acquiring secret data and image data.

前記のようにして秘匿データが挿入された圧縮画像データは、可変長復号器(VLD)10に入力する。可変長復号器(VLD)10で部分的に復号された画像データは秘匿データ抽出部71に入力し、秘匿データを抽出する。抽出された秘匿データは、秘匿データ72として出力される。該秘匿データ抽出部71の機能および動作については、図12、図16等を参照して後述する。秘匿データ抽出部71を経た画像データは逆量子化部(IQ)61で逆量子化され、さらに逆DCT62で逆DCTされ、画像データとして出力される。   The compressed image data into which the secret data is inserted as described above is input to the variable length decoder (VLD) 10. The image data partially decoded by the variable length decoder (VLD) 10 is input to the secret data extraction unit 71 to extract the secret data. The extracted secret data is output as secret data 72. The function and operation of the secret data extraction unit 71 will be described later with reference to FIGS. The image data that has passed through the secret data extraction unit 71 is inversely quantized by an inverse quantization unit (IQ) 61, further inversely DCTed by an inverse DCT 62, and output as image data.

図11は秘匿データ挿入圧縮動画像データを復号して秘匿データと画像データを取得するためのMPEG対応の装置の構成を示すブロック図である。図10と異なるところは、動き補償器(MC)64とフレームメモリ63と加算器を設けた点であり、秘匿データを抽出する所は図10と同じであるので、詳細な説明は省略する。   FIG. 11 is a block diagram showing a configuration of an MPEG-compatible device for decoding the secret data insertion compressed moving image data and acquiring the secret data and the image data. The difference from FIG. 10 is that a motion compensator (MC) 64, a frame memory 63, and an adder are provided, and the place where secret data is extracted is the same as in FIG.

ここで、前記秘匿データ抽出部71の機能を、図12を参照して説明する。   Here, the function of the secret data extraction unit 71 will be described with reference to FIG.

図示されているように、秘匿データ抽出部71は、量子化変換係数抽出部81と、量子化変換係数グループ化部82と、秘匿データ算出部83から構成される。前記可変長復号器(VLD)10で部分的に復号された画像データは量子化変換係数抽出部81で秘匿データ(透かしビット)の入った量子化変換係数を抽出される。次いで、量子化変換係数グループ化部82で、図4で説明したのと同様のグループ化が行われる。秘匿データ算出部83は、各グループに挿入されている秘匿データを、前記(3)式と同様の演算により算出する。   As illustrated, the secret data extraction unit 71 includes a quantized transform coefficient extraction unit 81, a quantized transform coefficient grouping unit 82, and a secret data calculation unit 83. From the image data partially decoded by the variable length decoder (VLD) 10, a quantized transform coefficient containing secret data (watermark bits) is extracted by a quantized transform coefficient extracting unit 81. Next, the quantization transform coefficient grouping unit 82 performs the same grouping as described with reference to FIG. The secret data calculation unit 83 calculates the secret data inserted in each group by the same calculation as the equation (3).

例えば、図13に示すように、あるグループの量子化変換係数AG2(1,k)=(10,4,4,3,3,0)の場合には、これらの係数の総和であるグループ内エネルギーE(1)=24を、埋め込み強度m=4で割り算(除算)し、量子化代表値Q(1)を求める。そして、該量子化代表値Q(1)の整数部分が偶数か奇数かを判別する。この例においては、商は6.0であり、整数部分は偶数であるので、秘匿データ(透かしビット)としてSk=0を算出する。一方、グループの量子化変換係数AG2(1,k)=(10,4,3,2,1,0)の場合には商は5.0となる。したがって、量子化代表値Q(1)の整数部分は奇数であるので、秘匿データ算出部83は、秘匿データ(透かしビット)としてSk=1を算出する。   For example, as shown in FIG. 13, in the case of a certain group of quantized transform coefficients AG2 (1, k) = (10, 4, 4, 3, 3, 0), within the group that is the sum of these coefficients. The energy E (1) = 24 is divided (divided) by the embedding strength m = 4 to obtain a quantized representative value Q (1). Then, it is determined whether the integer part of the quantized representative value Q (1) is even or odd. In this example, since the quotient is 6.0 and the integer part is an even number, Sk = 0 is calculated as the confidential data (watermark bit). On the other hand, the quotient is 5.0 when the group quantization transform coefficient AG2 (1, k) = (10, 4, 3, 2, 1, 0). Therefore, since the integer part of the quantized representative value Q (1) is an odd number, the secret data calculation unit 83 calculates Sk = 1 as the secret data (watermark bit).

次に、図14は秘匿データ挿入圧縮動画像データから動画像再生と秘匿データ抽出を行って同期表示するための装置のブロック図を示す。   Next, FIG. 14 shows a block diagram of an apparatus for performing synchronized image display by performing moving image reproduction and secret data extraction from the secret data insertion compressed moving image data.

この装置は、前記秘匿データ挿入圧縮動画像データを復号する復号部84と、秘匿データ抽出部71で抽出された秘匿データが入力される表示部85からなる。ここに、復号部84は、前記図11の可変長復号部10,逆量子化部61,逆DCT62等を代表している。この表示部85には、復号部84で復号した画面データと秘匿データ抽出部71で抽出された秘匿データを入力して、再生画面と同期した秘匿データ表示を行う。   This apparatus includes a decoding unit 84 for decoding the secret data insertion compressed moving image data and a display unit 85 to which the secret data extracted by the secret data extraction unit 71 is input. Here, the decoding unit 84 represents the variable length decoding unit 10, the inverse quantization unit 61, the inverse DCT 62, and the like of FIG. The display unit 85 receives the screen data decoded by the decoding unit 84 and the secret data extracted by the secret data extraction unit 71, and displays the secret data synchronized with the playback screen.

図15は該秘匿データ表示の2つの例を示す。(1)図では注目オブジェクト以外をマスクするための領域情報(マスク情報)を各ブロックの秘匿データを利用して表現し、表示する際に注目物体以外は例えば黒色などで塗りつぶして表示することにより、注目物体のみの表示を行うことができる。秘匿データ抽出機能のない復号装置ではすべての映像が再生させるのに対して、秘匿データ抽出機能付きの復号装置では(1)図のように必要な物体だけを表示することが可能となる。   FIG. 15 shows two examples of the secret data display. (1) In the figure, area information (mask information) for masking objects other than the object of interest is expressed using the secret data of each block, and when displaying, the objects other than the object of interest are displayed in black, for example. Only the object of interest can be displayed. A decoding device without a secret data extraction function reproduces all videos, whereas a decoding device with a secret data extraction function can display only necessary objects as shown in FIG.

図15の(2)図は、秘匿データをメディアデータとした例であり、従来別ファイルに格納したSMILなどの記述言語を用いてテロップ表示していたものを、秘匿データを用いることにより動画ファイル1つで同様の機能を実現するものである。秘匿データにテロップ情報と表示位置などの情報を挿入することにより、表示画面に同期してテロップ等の表示を行うことができる。なお、前記メディアデータは、テキストデータ(テロップなど)に限定されず、動画像や静止画像も含めることができる。   FIG. 15 (2) is an example in which the confidential data is media data. Conventionally, a telop displayed using a description language such as SMIL stored in a separate file is converted into a moving image file by using the confidential data. A single function realizes the same function. By inserting telop information and information such as the display position into the secret data, it is possible to display telops in synchronization with the display screen. The media data is not limited to text data (such as telop), and can include moving images and still images.

また、前記メディアデータは、復号する画面に関連する物体情報(物体名、属性、説明など)であるリンク情報とすることもできる。   The media data may be link information that is object information (object name, attribute, description, etc.) related to the screen to be decoded.

図16は、秘匿データ抽出部71(図10、図11参照)の処理の一例の概要を示すフローチャートである。ステップS1では秘匿データフラグ抽出処理を行い、ステップS2で秘匿データフラグの検出を行う。該秘匿データフラグが検出された場合はステップS3に進んで秘匿データ抽出処理を行う。具体的には、例えば図13の処理を行う。続いて、復号部で行われるステップS4の処理に進む。一方、秘匿データフラグが検出されなかった場合は、秘匿データ抽出処理を行わずステップS4の復号処理に進む。   FIG. 16 is a flowchart illustrating an outline of an example of processing of the secret data extraction unit 71 (see FIGS. 10 and 11). In step S1, a secret data flag extraction process is performed, and in step S2, a secret data flag is detected. When the secret data flag is detected, the process proceeds to step S3 to perform secret data extraction processing. Specifically, for example, the process of FIG. 13 is performed. Subsequently, the process proceeds to step S4 performed in the decoding unit. On the other hand, if the secret data flag is not detected, the secret data extraction process is not performed and the process proceeds to the decryption process in step S4.

本発明の一実施形態の要部の構成を示すブロック図である。It is a block diagram which shows the structure of the principal part of one Embodiment of this invention. 本発明をMPEGで実現する場合の要部の構成を示すブロック図である。It is a block diagram which shows the structure of the principal part in the case of implement | achieving this invention by MPEG. 図1、図2の秘匿データ挿入部の詳細を示すブロック図である。It is a block diagram which shows the detail of the secret data insertion part of FIG. 1, FIG. 量子化変換係数のグループ化の説明図である。It is explanatory drawing of grouping of a quantization transformation coefficient. ジグザグスキャンによるAC成分のインデックス番号と周波数帯域分割の一例を示す図である。It is a figure which shows an example of the index number and frequency band division | segmentation of AC component by zigzag scanning. 量子化変換係数のグルーピングと、グループ内合計エネルギーの算出および秘匿データ挿入重み付け(重みベクトル)の一例の説明図である。It is explanatory drawing of an example of grouping of a quantization transformation coefficient, calculation of total energy in a group, and secret data insertion weight (weight vector). データ埋め込み規則と係数値の修正の具体例を示す図である。It is a figure which shows the specific example of correction of a data embedding rule and a coefficient value. JPEGなどの画像符号化装置に、本発明の秘匿データ挿入機能を適用した場合の要部構成のブロック図である。It is a block diagram of the principal part structure at the time of applying the secret data insertion function of this invention to image coding apparatuses, such as JPEG. MPEGなどの画像符号化装置に、本発明の秘匿データ挿入機能を適用した場合の要部構成のブロック図である。It is a block diagram of the principal part structure at the time of applying the secret data insertion function of this invention to image coding apparatuses, such as MPEG. 秘匿データ挿入圧縮画像データを復号して秘匿データと画像データを取得するためのJPEG対応の装置の構成を示すブロック図である。It is a block diagram which shows the structure of the apparatus corresponding to JPEG for decoding confidential data insertion compression image data, and acquiring confidential data and image data. 秘匿データ挿入圧縮画像データを復号して秘匿データと画像データを取得するためのMPEG対応の装置の構成を示すブロック図である。It is a block diagram which shows the structure of the apparatus corresponding to MPEG for decoding confidential image insertion compression image data, and acquiring confidential data and image data. 図10、図11の秘匿データ抽出部の詳細を示すブロック図である。It is a block diagram which shows the detail of the secret data extraction part of FIG. 10, FIG. 秘匿データの算出例を示す図である。It is a figure which shows the example of calculation of confidential data. 秘匿データ挿入圧縮動画像データから動画像再生と秘匿データ抽出を行って同期表示するための装置のブロック図である。It is a block diagram of an apparatus for performing synchronous image display by performing moving image reproduction and secret data extraction from secret data insertion compressed moving image data. 秘匿データ表示の2つの例を示す図である。It is a figure which shows two examples of confidential data display. 秘匿データ抽出部の処理の一例の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of an example of a process of a secret data extraction part. 従来の電子透かし挿入機能を有する装置の構成を示すブロック図である。It is a block diagram which shows the structure of the apparatus which has the conventional digital watermark insertion function. 従来のSMILなどの記述言語を用いて表示したテロップ表示の一例を示す図である。It is a figure which shows an example of the telop display displayed using description languages, such as conventional SMIL.

符号の説明Explanation of symbols

11・・・秘匿データ挿入部、12・・・秘匿データ、14・・・部分復号部、15・・・部分符号化部、31・・・量子化変換係数抽出部、32・・・量子化変換係数グループ化部、33・・・重み係数決定部、34・・・量子化変換係数変更部、71・・・秘匿データ抽出部、72・・・秘匿データ、81・・・量子化変換係数抽出部、82・・・量子化変換係数グループ化部、83・・・秘匿データ算出部、84・・・復号部、85・・・表示部。   DESCRIPTION OF SYMBOLS 11 ... Secret data insertion part, 12 ... Secret data, 14 ... Partial decoding part, 15 ... Partial encoding part, 31 ... Quantization transformation coefficient extraction part, 32 ... Quantization Transform coefficient grouping unit, 33 ... Weight coefficient determination unit, 34 ... Quantized transform coefficient change unit, 71 ... Confidential data extraction unit, 72 ... Confidential data, 81 ... Quantized transform coefficient Extraction unit, 82 ... quantized transform coefficient grouping unit, 83 ... secret data calculation unit, 84 ... decoding unit, 85 ... display unit.

Claims (11)

秘匿データが挿入された画像データの表示方式であって、
量子化変換係数復号段階で、秘匿データが挿入された圧縮画像データから秘匿データを抽出する手段と、
秘匿データ抽出後の量子化変換係数を用いて画像データを復号する手段と、
前記圧縮画像データから抽出された秘匿データを、前記画像データと同期して表示する手段とを具備したことを特徴とする秘匿データが挿入された画像データの表示方式。
An image data display method in which confidential data is inserted,
Means for extracting the secret data from the compressed image data into which the secret data is inserted in the quantized transform coefficient decoding stage;
Means for decoding the image data using the quantized transform coefficient after extracting the secret data;
A display method for image data into which confidential data is inserted, comprising: means for displaying the confidential data extracted from the compressed image data in synchronization with the image data.
請求項1に記載の秘匿データが挿入された画像データの表示方式において、
前記秘匿データを抽出する手段は、ブロック内の量子化変換係数からブロック内の部分領域毎に秘匿データを抽出することを特徴とする秘匿データが挿入された画像データの表示方式。
In the display method of the image data in which the confidential data according to claim 1 is inserted,
The means for extracting the secret data extracts the secret data for each partial area in the block from the quantized transform coefficient in the block. The display method for image data in which the secret data is inserted.
請求項2に記載の秘匿データが挿入された画像データの表示方式において、
前記秘匿データのビットデータは、前記部分領域内の量子化変換係数のエネルギー和を、秘匿強度値で除算することにより得られた値の偶数、奇数により、算定されることを特徴とする秘匿データが挿入された画像データの表示方式。
In the display method of the image data in which the secret data according to claim 2 is inserted,
The bit data of the secret data is calculated by the even number and the odd number of values obtained by dividing the energy sum of the quantized transform coefficients in the partial area by the secret strength value. Display method of image data with inserted.
請求項1ないし3のいずれかに記載の秘匿データが挿入された画像データの表示方式において、
前記秘匿データを抽出する手段は、秘匿データ埋め込みを示すフラグを検出する手段を具備し、
該埋め込みを示すフラグが検出された場合のみ、秘匿データを抽出することを特徴とする秘匿データが挿入された画像データの表示方式。
In the display system of the image data in which the confidential data according to any one of claims 1 to 3 is inserted,
The means for extracting the confidential data comprises means for detecting a flag indicating the embedded confidential data,
A method for displaying image data into which secret data is inserted, wherein secret data is extracted only when a flag indicating embedding is detected.
請求項1ないし3のいずれかに記載の秘匿データが挿入された画像データの表示方式において、
前記秘匿データの表示位置を示すデータを取得する手段をさらに具備したことを特徴とする秘匿データが挿入された画像データの表示方式。
In the display system of the image data in which the confidential data according to any one of claims 1 to 3 is inserted,
A display method for image data into which secret data is inserted, further comprising means for acquiring data indicating a display position of the secret data.
請求項1ないし5のいずれかに記載の秘匿データが挿入された画像データの表示方式において、
前記秘匿データは、メディアデータであることを特徴とする秘匿データが挿入された画像データの表示方式。
In the display method of the image data in which the secret data according to any one of claims 1 to 5 is inserted,
The display method of image data into which the secret data is inserted, wherein the secret data is media data.
請求項6に記載の秘匿データが挿入された画像データの表示方式において、
前記メディアデータは、動画像、静止画像およびテキストデータの少なくとも一つを含むことを特徴とする秘匿データが挿入された画像データの表示方式。
In the display method of the image data in which the confidential data according to claim 6 is inserted,
The media data includes at least one of a moving image, a still image, and text data. An image data display method in which secret data is inserted.
請求項6に記載の秘匿データが挿入された画像データの表示方式において、
前記メディアデータは、復号する画面に関連する物体情報であることを特徴とする秘匿データが挿入された画像データの表示方式。
In the display method of the image data in which the confidential data according to claim 6 is inserted,
The media data is object information related to a screen to be decoded, and a display method for image data into which secret data is inserted.
請求項8に記載の秘匿データが挿入された画像データの表示方式において、
前記物体情報は、物体名、属性、説明などであることを特徴とする秘匿データが挿入された画像データの表示方式。
In the display method of the image data in which the confidential data according to claim 8 is inserted,
A display method of image data into which secret data is inserted, wherein the object information includes an object name, an attribute, and a description.
請求項1ないし9のいずれかに記載の秘匿データが挿入された画像データの表示方式において、
前記秘匿データは、領域情報であることを特徴とする秘匿データが挿入された画像データの表示方式。
In the display system of the image data in which the confidential data according to any one of claims 1 to 9 is inserted,
The display method of image data into which the secret data is inserted, wherein the secret data is region information.
請求項10に記載の秘匿データが挿入された画像データの表示方式において、
前記領域情報はマスク情報であり、画像データ中の非注目領域は該マスク情報でマスクして表示しないようにすることを特徴とする秘匿データが挿入された画像データの表示方式。
In the display method of the image data in which the confidential data according to claim 10 is inserted,
The area information is mask information, and the non-attention area in the image data is masked with the mask information so that it is not displayed.
JP2008029158A 2008-02-08 2008-02-08 Display method of image data with confidential data inserted Expired - Fee Related JP5080304B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008029158A JP5080304B2 (en) 2008-02-08 2008-02-08 Display method of image data with confidential data inserted

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008029158A JP5080304B2 (en) 2008-02-08 2008-02-08 Display method of image data with confidential data inserted

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003341207A Division JP4165752B2 (en) 2003-09-30 2003-09-30 Secret data insertion method and secret data detection method for image data

Publications (2)

Publication Number Publication Date
JP2008199616A true JP2008199616A (en) 2008-08-28
JP5080304B2 JP5080304B2 (en) 2012-11-21

Family

ID=39758106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008029158A Expired - Fee Related JP5080304B2 (en) 2008-02-08 2008-02-08 Display method of image data with confidential data inserted

Country Status (1)

Country Link
JP (1) JP5080304B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034141A (en) * 2011-08-03 2013-02-14 Nippon Hoso Kyokai <Nhk> Mode information transmission replacing device, image encoding device, image decoding device, and program for the devices
CN104837011A (en) * 2015-05-04 2015-08-12 中国科学院信息工程研究所 Content self-adaptive video steganalysis method
KR101716318B1 (en) * 2016-12-29 2017-03-14 (주)다올소프트 Robust reversible data hiding method and apparatus for jpeg file format image
US9832477B2 (en) 2013-10-28 2017-11-28 Samsung Electronics Co., Ltd. Data encoding with sign data hiding

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06343128A (en) * 1992-07-31 1994-12-13 Continuum Prod Corp Processing method and system for digitized image mark
JPH10290406A (en) * 1997-04-16 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> Explanation display method, image display system and image display terminal
JPH10294896A (en) * 1997-04-18 1998-11-04 Nippon Telegr & Teleph Corp <Ntt> Method and device for processing digital information with superimposed characters
JPH11196262A (en) * 1997-11-07 1999-07-21 Matsushita Electric Ind Co Ltd Digital information imbedding extracting device/method, and medium recording program to execute the method
JPH11341268A (en) * 1998-03-30 1999-12-10 Seiko Epson Corp Method for inserting watermark to digital image or compressed digital image, digital image capturing device, computer system and method for detecting alteration of digital image with watermark
JP2000050057A (en) * 1998-05-29 2000-02-18 Canon Inc Image processing method and device and medium
JP2000138819A (en) * 1998-10-30 2000-05-16 Canon Inc Method and device for inserting and detecting of electronic watermarks
JP2000138818A (en) * 1998-06-24 2000-05-16 Nec Corp Method for inserting robust digital electronic watermark signal to data and method for detecting electronic watermarks
JP2000332988A (en) * 1999-05-19 2000-11-30 Matsushita Electric Ind Co Ltd Device and method for embedding and extracting digital information and medium with program for executing the method recorded thereon
JP2000333140A (en) * 1999-05-21 2000-11-30 Canon Inc Information processing device and method
JP2000350007A (en) * 1999-06-03 2000-12-15 Ricoh Co Ltd Electronic watermarking method, electronic watermark device and recording medium
JP2001078142A (en) * 1999-09-06 2001-03-23 Seiko Epson Corp Digital camera and image falsification detection system
JP2002016781A (en) * 2000-06-28 2002-01-18 Nippon Telegr & Teleph Corp <Ntt> Contents management method, its system and its program recording medium
JP2002094769A (en) * 2000-09-13 2002-03-29 Oki Electric Ind Co Ltd Electronic watermark unit
JP2002094780A (en) * 2000-06-14 2002-03-29 Matsushita Electric Ind Co Ltd Digital information imbedding/extracting device and its method
JP2002232687A (en) * 2001-02-01 2002-08-16 Matsushita Electric Ind Co Ltd Method and device for embedding information and method and device for taking out information
JP2002247333A (en) * 2001-02-14 2002-08-30 Ricoh Co Ltd Digital picture data processing method
JP2003125189A (en) * 2001-10-15 2003-04-25 Oki Electric Ind Co Ltd Image processing system, information embedding device, information detection device, information embedding method, and information detection method
JP2003189087A (en) * 2001-08-31 2003-07-04 Sony United Kingdom Ltd Embedding data in material

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06343128A (en) * 1992-07-31 1994-12-13 Continuum Prod Corp Processing method and system for digitized image mark
JPH10290406A (en) * 1997-04-16 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> Explanation display method, image display system and image display terminal
JPH10294896A (en) * 1997-04-18 1998-11-04 Nippon Telegr & Teleph Corp <Ntt> Method and device for processing digital information with superimposed characters
JPH11196262A (en) * 1997-11-07 1999-07-21 Matsushita Electric Ind Co Ltd Digital information imbedding extracting device/method, and medium recording program to execute the method
JPH11341268A (en) * 1998-03-30 1999-12-10 Seiko Epson Corp Method for inserting watermark to digital image or compressed digital image, digital image capturing device, computer system and method for detecting alteration of digital image with watermark
JP2000050057A (en) * 1998-05-29 2000-02-18 Canon Inc Image processing method and device and medium
JP2000138818A (en) * 1998-06-24 2000-05-16 Nec Corp Method for inserting robust digital electronic watermark signal to data and method for detecting electronic watermarks
JP2000138819A (en) * 1998-10-30 2000-05-16 Canon Inc Method and device for inserting and detecting of electronic watermarks
JP2000332988A (en) * 1999-05-19 2000-11-30 Matsushita Electric Ind Co Ltd Device and method for embedding and extracting digital information and medium with program for executing the method recorded thereon
JP2000333140A (en) * 1999-05-21 2000-11-30 Canon Inc Information processing device and method
JP2000350007A (en) * 1999-06-03 2000-12-15 Ricoh Co Ltd Electronic watermarking method, electronic watermark device and recording medium
JP2001078142A (en) * 1999-09-06 2001-03-23 Seiko Epson Corp Digital camera and image falsification detection system
JP2002094780A (en) * 2000-06-14 2002-03-29 Matsushita Electric Ind Co Ltd Digital information imbedding/extracting device and its method
JP2002016781A (en) * 2000-06-28 2002-01-18 Nippon Telegr & Teleph Corp <Ntt> Contents management method, its system and its program recording medium
JP2002094769A (en) * 2000-09-13 2002-03-29 Oki Electric Ind Co Ltd Electronic watermark unit
JP2002232687A (en) * 2001-02-01 2002-08-16 Matsushita Electric Ind Co Ltd Method and device for embedding information and method and device for taking out information
JP2002247333A (en) * 2001-02-14 2002-08-30 Ricoh Co Ltd Digital picture data processing method
JP2003189087A (en) * 2001-08-31 2003-07-04 Sony United Kingdom Ltd Embedding data in material
JP2003125189A (en) * 2001-10-15 2003-04-25 Oki Electric Ind Co Ltd Image processing system, information embedding device, information detection device, information embedding method, and information detection method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034141A (en) * 2011-08-03 2013-02-14 Nippon Hoso Kyokai <Nhk> Mode information transmission replacing device, image encoding device, image decoding device, and program for the devices
US9832477B2 (en) 2013-10-28 2017-11-28 Samsung Electronics Co., Ltd. Data encoding with sign data hiding
CN104837011A (en) * 2015-05-04 2015-08-12 中国科学院信息工程研究所 Content self-adaptive video steganalysis method
KR101716318B1 (en) * 2016-12-29 2017-03-14 (주)다올소프트 Robust reversible data hiding method and apparatus for jpeg file format image

Also Published As

Publication number Publication date
JP5080304B2 (en) 2012-11-21

Similar Documents

Publication Publication Date Title
RU2573257C2 (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method and programme
EP0818930B1 (en) Video coding method
US8873871B2 (en) Image processing apparatus and method
KR101633443B1 (en) Luminance evaluation
KR20110061551A (en) Context-based adaptive binary arithmetic coding (cabac) video stream compliance
JP2013505627A (en) Method and apparatus for decoding video based on skip mode
JP2008219876A (en) Moving image encoding device, moving image encoding method and moving image decoding device
JP4023324B2 (en) Watermark embedding and image compression unit
KR100510756B1 (en) Image decoding apparatus and method and image reproducing apparatus
EP3318064B1 (en) Mpeg-2 video watermarking technique in dc coefficient domain
JP5080304B2 (en) Display method of image data with confidential data inserted
JP4165752B2 (en) Secret data insertion method and secret data detection method for image data
WO2015028098A1 (en) Method and system for embedding information and authenticating a h.264 video using a digital watermark
US8243824B2 (en) Information processing apparatus and method
JP2010258576A (en) Scene change detector, and video recorder
US20050100190A1 (en) Digital watermarking system and drift compensating system
JP2009218965A (en) Image processor, imaging device mounted with the same and image reproduction device
WO2013112744A2 (en) Compressed domain watermarking with reduced error propagation
KR20070032674A (en) Compensation for Watermark Irregularities Caused by Moved Objects
JP3822821B2 (en) Image playback display device
JP2009213074A (en) Digital watermark inserting system and detecting system
CN116171574A (en) Complexity reduction for 32-point and 64-point LGTs
JP4268377B2 (en) Digital watermark embedding device, its detection device, and digital watermark embedding program
Liu et al. A MPEG-2 video watermarking algorithm with compensation in bit stream
KR101710622B1 (en) Method and apparatus for encoding/decoding image based on skip mode

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110408

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120501

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120815

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5080304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees