JP3651763B2 - 変形画像修正方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像内に埋め込まれた隠蔽情報の抽出を妨害する画像の変形操作に対抗するための変形画像修正方法に関する。
【０００２】
【従来の技術】
インターネット等の普及に伴い、画像をオンラインで掲示することが容易に実施できるようになってきている。そのため、掲示画像が著作権者に無断で電子的に複製されたり、流用・再配布されたりするおそれも高まっている。
【０００３】
このような状況に照らし、原画像に著作権者情報等の隠蔽情報を埋め込んでおくことにより、原画像の流用・再配布先でも、解読ソフトウェア等を用いて当該隠蔽情報を読み出すことができる、いわゆるウォーター・マーキングが施されるようになってきた。しかし、原画像流用の時点で、原画像に対し電子的に、回転・拡縮・断片化・輝度色調変更などの変形処理が加えられると、隠蔽情報の判読が困難になることがある。
【０００４】
以上の事情に対処し、変形処理が加えられた後の画像であっても、これを変形前の画像に戻す手がかりを画像に埋め込んでおき、それによって変形された画像を原画像に戻すように修正し、隠蔽情報の判読を可能とすることができれば、著作権保護等の分野で有効に利用することができる。
【０００５】
【発明が解決しようとする課題】
原画像に、主として電子的手法により、回転や、拡縮、断片化、３Ｄ回転、輝度色調変更などの変形処理が加えられた画像に対し、それが変形処理された結果だと判定することは、従来はリファレンスとする原画像が存在してそれと比較するか、作者の記憶に頼るかのいずれかでないと不可能であった。そのため、単一の結果画像からだけでは変形処理がなされたものか否かを判定することができず、従って、変形前の画像への復元作業は不可能であり、著作権者情報などの隠蔽情報を抽出することはほとんど不可能であった。
【０００６】
従って本発明は、変形処理された単一の結果画像から原画像の著作権者情報などの隠蔽情報を抽出可能とする変形画像修正方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、原画像に、著作権者情報等の隠蔽情報とは別に、予め複数の位置に位置指標を埋め込むとともに、それらの位置情報を別途保存しておき、検査対象の画像から上記の指標を読み出してその位置を保存位置情報に一致させるよう再変形することにより原画像の復元を行い、隠蔽情報の抽出に資するものである。
【０００８】
請求項１に係る発明は、画像内に埋め込まれた隠蔽情報の抽出を妨害する画像の変形操作に対抗して画像内に隠蔽情報とは別の指標を埋め込んでおき、検査対象の画像の変形量を指標に基づいて検知し、検知された変形量を用いて画像の復元を行うことにより隠蔽情報の抽出を支援する変形画像修正方法であって、指標として、画像内の複数の円形領域内の輝度ヒストグラムを特徴付けるよう画素輝度を操作することにより識別可能な位置指標を埋め込むことを特徴とする。
【０００９】
請求項２に係る発明は、輝度は、３原色の各含有量、Ｙ信号、および色差信号のうちの少なくとも一つの輝度であることを特徴とする。
【００１０】
請求項３に係る発明は、輝度ヒストグラムの特徴付けは、ヒストグラムの特定カテゴリーの累積数比を用いて実行されることを特徴とする。
【００１１】
請求項４に係る発明は、位置指標は、同心円状の異なった直径の複数の円形領域の組からなっていることを特徴とする。
【００１２】
請求項５に係る発明は、複数の位置指標の特徴を識別して画像内の位置を検知し、検知された位置と既知の原画内指標位置との間の差に基づいて変形を修正することを特徴とする。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の変形画像修正方法について詳述する。
【００１４】
図１（ａ）は、チューリップの図柄を表現した原画像であり、これに回転処理、拡縮処理、および断片化処理を加えて同図（ｂ）に示す変形画像が得られたことを示している。
【００１５】
同様に、図２（ａ）は、旗の図柄を表現した原画像であり、これに３Ｄ回転処理および拡大処理を施すことにより、同図（ｂ）に示すように原画像を裏側から見たパース（透視図）画像に変形されていることを示している。なお、ここで３Ｄ回転は、回転面が表示面内に限定されることはない。これらの変形処理により、事前に埋め込まれた複数の隠蔽指標も同時に変形を受ける。
【００１６】
図３は、ある画面のある領域ＭＡに、３個の指標Ａ１，Ａ２，Ａ３が埋め込まれている状態を示すものである。指標Ａ１から指標Ａ２への回転角度θと距離Ｒは埋め込み時点で保存されているものとする。指標Ａ２から指標Ａ３への回転角度φと距離Ｑも同様である。指標Ａ１と指標Ａ３との関係は、指標Ａ１と指標Ａ２との関係、および指標Ａ２と指標Ａ３との関係が分かれば、演算により算出可能である。
【００１７】
以上のように指標Ａ１，Ａ２，Ａ３を埋め込んだ画像が変形処理などを受けた後に指標Ａ１，Ａ２を読み出すことにより、角度θの検出結果を基にして、原画像に対する回転量を判定し、距離Ｒの検出結果を基にして、原画像に対する拡大・縮小の率（拡大率・縮小率）を判定することができる。ここで、例えば第２の埋め込み指標Ａ２の読み出しに失敗したとしても、第３の指標Ａ３を読み出すことができれば、指標Ａ１と指標Ａ３との関係から上記の２変形量、すなわち、原画像に対する回転量、および拡大縮小率は算出可能である。多数の指標を上記のように連鎖状に定義すれば、断片化処理などにより、たとえそれらの多くが欠落しても上記判定は実施可能である。
【００１８】
図４は、そのように連鎖状に定義された７個の指標Ａ１〜Ａ７が埋め込まれていたものとして、変形処理後、その読み出し結果が、指標Ａ３以下に位置ずれを生じた形の指標Ａ１’〜Ａ７’として検出された場合を図示したものである。このように複数の指標の位置ずれが検出された場合、単に回転量と拡大率だけでなく、図２（ａ），（ｂ）に示すような３Ｄ変形の量も算出できるため、復元すべき画像の座標変換の推定を高精度に行い得ることになる。
【００１９】
次に、位置指標の埋め込み及び検出方法について述べる。
【００２０】
位置指標は画像内に埋め込まれるため、外見上、画像を大幅に破損してはならない。図３における指標Ａ１において、この指標領域が画像の一部であるとし、その領域内画像の画素の輝度分布をとったとき、例えば図５のヒストグラムＳ１であったとする。同図において、横軸Ｉは、輝度値のカテゴリー番号を示し、縦軸Ｓは輝度の累積値を示している。ここで、画像変形が形状変形だけでなく、輝度や色度にも影響が及ぶことを考慮し、このヒストグラムの正規化を実施する。例えば、図５に示すヒストグラムＳ１の分布の平均値がμ、標準偏差がｄであったとする。このとき、予め正規化平均値をμ’、正規化標準偏差をｄ’と定め、ヒストグラムＳ１をＳ’に正規化することにより、平均値μおよび標準偏差ｄをそれぞれ正規化平均値μ’および正規化標準偏差ｄ’に変換する。
【００２１】
以下、この正規化ヒストグラムに対して本発明による処理を施す。
【００２２】
ここで、指標を埋め込むという作業は、例えば当該ヒストグラム（図６）の特定のカテゴリーＩＡ，ＩＢ，ＩＣの累積値の比率を、ある特定値に設定することであるとする。
【００２３】
一般画像では、これらの比率はランダムな値であるが、カテゴリーＩＡ，ＩＢ，ＩＣの累積数比を特定の設定数に合わせるため、当該カテゴリー内の累積数を隣接カテゴリーとの間で移動させる。これは、結果として、指標Ａ１領域内の特定輝度の画素の輝度値を微小に変動させることに相当する。これは、指標Ａ１領域に軽度のノイズを加えることになるが、一般には検知困難である。ここでは、画像の輝度のヒストグラムの特定カテゴリー内累積値の比率を指標検出のために用いるが、カラー画像の場合、例えば３原色の各色ごとに、ヒストグラムが存在する。従って、これを前記の輝度のヒストグラムと同様に取り扱い、同位置の各色に独立の指標を埋め込むこともできる。また、図７に示すように、１カテゴリーを３原色Ｒ，Ｇ，Ｂごとに割り当てることもできる。ここでは、Ｒ，Ｇ，ＢにそれぞれカテゴリーＩＡ，ＩＢ，ＩＣを割り当てている。なお、Ｙ−色差（ｂ−Ｙ，ｒ−Ｙ）方式によるカラー画像の場合は、Ｙ信号や色差信号のヒストグラムをこれに充当させることができる。これらは白黒画像よりも多くの指標、あるいは隠蔽度の高い指標を埋め込むことができ、読み出し検出精度の向上にも役立たせることができる。
【００２４】
次に、この画像が変形された場合を考える。画像が回転処理を受けることを考慮し、例えば図３の指標Ａ１は円形に近い領域形状となっている。さらに、画像の拡縮処理も考慮して、指標Ａ１およびそれよりやや大きな円形領域とやや小さな円形領域をテンプレートとして、変形後の画像の任意の位置から、その都度、ヒストグラム検証を行い、画像全面をスキャンする。幾何学的に変形を受けた画像であっても、小領域のヒストグラム形状は変化しにくく、従って、前記の設定累積数比は、変動が少ないので、変形後でも判定しやすい。このため、指標番号ごとに設定累積数比を定めておけば、指標別にその埋め込まれた位置を発見することができる。原画像に埋め込まれた時点での、これらの相対的位置は、前述のように既知であるため、発見時の相対的位置から変形量を算出し、画像全体を復元することができる。
【００２５】
次に、より具体的な実施の形態について説明する。
【００２６】
実際的な作業としては、まず原画像を別設の画像メモリーにコピーし、下記のテンプレートによる各画素の読み出しと加工・再書き込みを、当該メモリーに対して実施する。以下、その実施の様態について詳述する。
【００２７】
埋め込み指標の対象となる図４のＡ１領域を、例えば図８に示すように複数の画素領域からなる領域Ａｎとして設定する。これは、前記のように原画像に回転処理を施しても指標領域の形状がなるべく変化しないよう考慮した円形に近似する形状であって、例えば、直径は１６画素、面積は２０８画素に相当する。この時、拡縮処理に対応するため、同時に、この同心円位置に、これよりやや大きいほぼ円形形状の領域Ａｂと、やや小さい領域Ａｓも設定しておく。これらの領域は、原画が拡縮処理を受けた場合に対処する読み取りテンプレートである。これらの大きさの選定例は、後述の拡縮変形率範囲を、１／２から２と設定することにより、その内部に落ちる平均変形量に対応させたものである。この例では、領域Ａｂは、直径が２４画素、面積が４４８画素であり、領域Ａｓは、直径が１２画素、面積が１１２画素である。これら指標の画像内の設定位置は設定者にのみ既知であるとする。
【００２８】
次に、事前作業として、図８の領域Ａｎの輝度ヒストグラムをとり、図５に示すように前記の正規化作業を実施した後、図６のカテゴリーＩＡ，ＩＢ，ＩＣの累積値の比率を算出する。そして、この比率が予め設定された値となるよう、当該カテゴリー内の累積数を隣接カテゴリーとの間で増減させるために、当該カテゴリーおよび隣接カテゴリーに属する画素の輝度を変更する。その後、正規化によって変更された平均値μ’と標準偏差ｄ’を元に戻す。
【００２９】
次に領域Ａｎに含まれている画像の２倍化拡大を行う。この時、原画像の画素間を新たな画素で埋めねばならず、それらは原画像の画素の補間値から生成するなど、公知の方法を用いる。そうして作成された拡大画像に対して、領域Ａｂでヒストグラム正規化処理を行う。この場合、領域Ａｎの累積数比と領域Ａｂの累積数比は、同一カテゴリーであっても、補間操作や領域Ａｂの直径が領域Ａｎの２倍でないという理由により、異なる数値を示す。このため、ここで観測された累積数比は設定者が保存しておくものとする。
【００３０】
次に領域Ａｎに含まれている画像の１／２縮小を行う。この時、原画像の画素数が減少するが、単純間引きをするのではなく、減少後の画素数でも折り返し歪みを発生しないよう、公知の高域阻止フィルターを通して輝度値を補正する。そうして作成された縮小画像に対し領域Ａｓでヒストグラム正規化処理を行う。この場合、領域Ａｓは領域Ａｎの１／２縮小領域よりも大きな範囲を覆うためと、その縮小領域が高域阻止フィルターによって輝度補正されているため、領域Ａｎの累積数比と領域Ａｓの累積数比は、同一カテゴリーであっても異なる数値を示す。このため、ここで観測された累積数比も設定者が保存しておくものとする。これで、例えば図４の領域Ａ１に対する処理が終了する。以下、同図の領域Ａ２以降について同様の処理を施す。
【００３１】
以上の指標埋め込み作業は、原画像に対する変形処理が施された場合、それを検知するために実施される訳であるから、指標自体が抹消されないよう、発見されにくいことが重要である。設定者と利害を異にするアタッカー等により発見されれば、その近傍のみ類似画像で置換されたりして、比較的商品価値を損なわない形で変形処理の証拠を抹消されるおそれがある。
【００３２】
そこで上記方法で埋め込まれた指標が、アタッカー等に発見される確率を考察してみる。アタッカーの作業は、上記埋め込み指標を攪乱することによって目的が達せられるので、例えば図６の３カテゴリーＩＡ，ＩＢ，ＩＣのいずれかが攪乱できればよいことになる。図６のカテゴリー総数が実際には例えば８であるとすれば、カテゴリー発見確率は３／８である。これは、アタッカーにより指標の位置が読み取られている場合である。これが読み取られる確率を検討する。
【００３３】
いま、図３において、領域ＭＡが例えば、１００×１００＝１００００画素からなっていて、指標Ａ１の面積が、図８の領域Ａｎに例示した２０８画素であるとする。アタッカーには領域Ａ１の面積は未知であるが、実用的観点からほぼ推定されているものとする。アタッカーによってランダムな位置にとられた領域が、領域Ａ１の面積の例えば８割を占めている時をもって発見されたものと見なすと、その発見確率は、
２０８×０．２／１００００＝１／２４０ …（１）
である。従ってアタック可能確率Ｒｓは、
Ｒｓ＝（３／８）×（１／２４０）＝１／６４０ …（２）
である。
【００３４】
次に図３に示すように、ある狭い画像領域ＭＡ内に、複数の指標が埋め込まれていたとする。画像が変形処理を受けたものであって、しかも、その変形は狭領域近似で、回転と拡縮のみであるとすると、同図の角度θと距離Ｒを算出するために、領域Ａ１〜Ａ３のうち、２個の指標を設定者が読み出すことができればよい。逆に言えば、アタッカーは、少なくとも全数−１個（ここでは２個）の指標を発見して破壊しなければならない。
【００３５】
前述のように、１指標の発見確率はＲｓであるから、ランダムな設定値を持った２個の指標の発見確率Ｒｓ２は、
Ｒｓ２＝Ｒｓ×Ｒｓ＝１／４１万 …（３）
となって、アタッカーによる発見は事実上困難である。
【００３６】
以上の処理を施された画像は、例えばｂｍｐ形式や、ｊｐｇ形式、ｍ−ｊｐｇ形式、あるいはＣＣＩＲのＲｅｃ６０１形式など、公知のファイル形式に変換され、ネットワーク上のＨＴＴＰサーバーやＦＴＰサーバーなどに電子的にコピーされて保存され、クライアントからの要求に応じて配信される。オフライン配信の場合は、ＭＯや、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体に電子的にコピーされて保存され、パッケージメディアとして配布される。
【００３７】
次に、変形処理を受けた画像から、設定者が指標を読み出す場合の具体例について説明する。まず、変形度合であるが、原画を回転させた場合は、それだけで商品価値が減殺されることはないので、０°〜３６０°の回転に対して、指標読み出しが可能でなければならない。拡縮については、拡大した場合、絶対的解像度が劣化し、縮小した場合は、相対的解像度が劣化するため、共に価値が低減する。従って、変形範囲は、１／２〜２倍を限度とすればよい。３Ｄ変形については、原画の直交軸が独立に変動したり、直交軸が斜行軸に変化したりするが、いずれも原画からかけ離れるほど価値は減少する。従って、直交軸比で２倍程度を限度とすればよい。また、これらが複合して実施された場合でも、商品価値の観点から、任意の軸上の拡縮が１／２〜２倍の範囲を限度とし、この変形下で前記埋め込み指標が読み出せればよい。
【００３８】
図８において、埋め込み指標の読み取りテンプレートとして、領域Ａｎ，Ａｂ，Ａｓの３種が準備されている。ここで、変形後の画像から、上記３種のテンプレートを用いて、画像の任意の位置からヒストグラムを取りつつ、領域Ａｎの測定値との設定累積数比を検証し、領域Ａｂの測定値と事前拡大時の保存値を検証し、領域Ａｓの測定値と事前縮小時保存値を検証して、画像全体をスキャンしていく。それらの検証誤差が特定値内であれば、その位置に指標が埋め込まれているものと判定する。
【００３９】
変形が単純な回転と拡縮だけであれば、全画像から最低２個の指標が読みとれれば復元可能である。その場合、例えば図３において、原画の距離ＲをＲ０、角度θをθ０、変形後の距離ＲをＲ１、角度θをθ１とし、埋め込み指標Ａ１に対する読み出し指標をＡ１’として、その中心位置を一致させる。この時、観測された画面内の各画素Ｐ（Ｒ，θ）と推定復元画素Ｐｅ（Ｒｅ，θｅ）の関係を、
Ｐｅ（Ｒｅ，θｅ）＝Ｐ｛Ｒ×（Ｒ０／Ｒ１），θ＋（θ０−θ１）｝
…（３）
として算出することができる。
【００４０】
これらが、３Ｄ変形などの高次の変形を受けている場合は、多数の指標を読み出して、小領域ごとの復元を実施することにより、画像全体の復元を行うことができる。
【００４１】
ここで、小領域の切り出し方法を示す。図９は、画像内に埋め込まれた指標Ａ１〜Ａ５を示している。画像内の任意の画素がどの指標に近いかを探索するため、画素を中心として直径を増大させながら、同心円状に画素を読みとっていき、最初の指標中心に達した時、その指標番号を当該画素に記載する。この付番が画像内全画素について完了すると、付番の境界線Ｂ１２，Ｂ１３，Ｂ１４，Ｂ２３，Ｂ２５，Ｂ３５，Ｂ３４，Ｂ４５は分岐直線様態となる。これをボロノイ線という。この線で区分けされた領域、例えばａ１領域内の画素付番は、すべてＡ１となる。次に、ボロノイ線を境界線として隣接している異なる指標番号どうしを連結していくと、例えば指標Ａ１，Ａ２，Ａ３が結合される。以上から前記小領域の切り出しが完了する。
【００４２】
図１０において、Ｃ１，Ｃ２，Ｃ３は指標Ａ１，Ａ２，Ａ３の中心点を示すものとする。前記の小領域は、三角形（Ｃ１，Ｃ２，Ｃ３）で示される。いま、変形後の画像の同領域が三角形（Ｃ１’，Ｃ２’，Ｃ３’）と観測されたとする。ここで、変形画像全体を移動し、中心点Ｃ１’の位置を中心点Ｃ１に一致させ、第一の復元修正作業を完了しているのが図１０の例である。
【００４３】
次に領域内の任意の画素の復元修正の方法について述べる。変形後の観測画像内の任意の画素をＰ’とする。中心点Ｃ１’から画素Ｐ’を通過して辺（Ｃ２’，Ｃ３’）に達する線分の辺との交点をＴ’とする。中心点Ｃ２’から交点Ｔ’までの距離（Ｃ２’，Ｔ’）と、中心点Ｃ３’から交点Ｔ’までの距離（Ｃ３’，Ｔ’）との比をＲＴとする。また中心点Ｃ１’から画素Ｐ’の点までの距離（Ｃ１’，Ｐ’）と、中心点Ｔ’から画素Ｐ’の点までの距離（Ｔ’，Ｐ’）との比をＲＰとする。辺（Ｃ２，Ｃ３）上に、比率ＲＴを用いて、中心点Ｃ２から交点Ｔまでの距離（Ｃ２，Ｔ）と、中心点Ｃ３から交点Ｔまでの距離（Ｃ３，Ｔ）との比率が比率ＲＴに一致するような交点Ｔを復元する。同様にして、線分（Ｃ１，Ｔ）上に、比率ＲＰを用いて、中心点Ｃ１から按分点Ｐまでの距離（Ｃ１，Ｐ）と、交点Ｔから按分点Ｐまでの距離（Ｔ，Ｐ）との比率が比率ＲＰに一致するような按分点Ｐを復元する。これが、復元推定された画素の原画位置である。この作業を領域内の全画素について実施する。
【００４４】
画像が図２に例示するように３Ｄ変形を受けている場合、例えば、図１０の点Ｃ２’と点Ｃ３’の上下位置関係が逆転することもあり得るが、本復元法においては、これらも正常に復元される。
【００４５】
【発明の効果】
原画像に対し、主として電子的方法により施された幾何学的変形、および色彩的・輝度的変形を検知し、幾何学的変形については、これを変形前の状態に復元することができる。これにより、原画に組み込まれた著作権情報などの隠蔽情報（ウォーターマーキング）の読み取り精度を上げることができる。
【図面の簡単な説明】
【図１】一般的な画像変形の一例として回転・拡大・断片化の処理を施す前後の画像を示す説明図。
【図２】一般的な画像変形の他の例として原画像とそれに３Ｄ回転および拡大の処理を施したものを裏側から見たパース画像とを示す説明図。
【図３】画像の領域ＭＡ内に３個の指標Ａ１，Ａ２，Ａ３が埋め込まれる場合の指標相互間の関係を説明する説明図。
【図４】連鎖状に定義された指標Ａ１〜Ａ７が埋め込まれている場合の変形前後の指標位置を示す説明図。
【図５】領域域内画像の画素の輝度分布をカテゴリー番号別に示すヒストグラム。
【図６】本発明に係る指標埋め込み処理を説明するためのヒストグラム説明図。
【図７】図６と同様の指標埋め込み処理を各色別に行う場合の説明図。
【図８】原画に拡縮処理を施す場合の指標読み取りテンプレートの説明図。
【図９】領域切出しの手順を説明する説明図。
【図１０】画像復元の手順を説明する説明図。
【符号の説明】
ＭＡ 画像領域
Ａ１〜Ａ７ 原画指標
Ａ１’〜Ａ７’ 変形後指標
Ｒ，Ｑ 指標間距離
θ，φ 指標間角度
Ｃ１〜Ｃ３ 原画指標中心点
Ｃ１’〜Ｃ３’ 変形後画像指標中心点

Claims (5)

1. 画像内に埋め込まれた隠蔽情報の抽出を妨害する画像の変形操作に対抗して前記画像内に前記隠蔽情報とは別の指標を埋め込んでおき、検査対象の画像の変形量を前記指標に基づいて検知し、検知された変形量を用いて画像の復元を行うことにより前記隠蔽情報の抽出を支援する変形画像修正方法であって、前記指標として、前記画像内の複数の円形領域内の輝度ヒストグラムを特徴付けるよう画素輝度を操作することにより識別可能な位置指標を埋め込むことを特徴とする変形画像修正方法。
2. 前記輝度は、３原色の各含有量、Ｙ信号、および色差信号のうちの少なくとも一つの輝度であることを特徴とする請求項１に記載の変形画像修正方法。
3. 前記輝度ヒストグラムの特徴付けは、ヒストグラムの特定カテゴリーの累積数比を用いて実行されることを特徴とする請求項１に記載の変形画像修正方法。
4. 前記位置指標は、同心円状の異なった直径の複数の円形領域の組からなっていることを特徴とする請求項１に記載の変形画像修正方法。
5. 前記複数の位置指標の特徴を識別して画像内の位置を検知し、検知された位置と既知の原画内指標位置との間の差に基づいて変形を修正することを特徴とする請求項１に記載の変形画像修正方法。

Images