JP2020064637A - 畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム、方法、及びこれを利用して無補正探知サービスを提供する方法 - Google Patents

Abstract

【課題】ディープラーニングに基づいてイメージの補正有無を正確に判定する補正探知システムと、このようなシステムを利用して補正有無を探知するサービスを提供すること。【解決手段】実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムは、イメージの偽変造又は捏造の有無を判別するための畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムであって、前記イメージをハイパスフィルタに通過させて偽変造又は捏造の特徴を拡大する補正特徴前処理部と、前記特徴が拡大されたイメージで予め学習された畳み込みニューラルネットワークを介してイメージ補正特徴情報を抽出する補正特徴抽出部と、前記イメージ補正特徴情報を精製する特徴精製部と、前記特徴精製部で精製された前記イメージ補正特徴情報に基づいて、前記イメージの偽変造又は捏造の有無を判別する補正区別部とを備える。【選択図】図７

Description

本発明は、畳み込みニューラルネットワークを介してイメージが偽変造されたことを探知するシステム及びこれを利用して無補正であること探知するサービスを提供する方法に関する。より詳細には、ディープラーニングに基づいてイメージの補正有無を正確に判定する補正探知システムと、このようなシステムを利用して補正の有無を探知するサービスを提供する方法に関する。

デジタルカメラ及びモバイルフォンの発展により、誰でも高画質のデジタルイメージを生成できるようになり、特に、ソーシャルネットワークサービス（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅｓ；ＳＮＳ）の影響でイメージをアップロードし、共有して他人に写真を流通できるようになった。

また、アドビフォトショップ（登録商標）（Ａｄｏｂｅ ＰｈｏｔｏＳｈｏｐ）のような精巧なイメージ編集ソフトウェアとソーシャルネットワークサービス自体イメージ編集機能、そして、多数イメージ編集アプリケーション（ａｐｐｌｉｃａｔｉｏｎ）の普及により、原本イメージを容易に修正できるようになった。特に、ブラーリング（ｂｌｕｒｒｉｎｇ）、メディアンフィルタリング（ｍｅｄｉａｎ ｆｉｌｔｅｒｉｎｇ）、ガウシアンノイズ（Ｇａｕｓｓｉａｎ ｎｏｉｓｅ）、リサンプリング（ｒｅｓａｍｐｌｉｎｇ）、切削（ｃｒｏｐｐｉｎｇ）、色相変調のようなイメージリタッチング技法で実際イメージと異なるように特定要素を隠したり、複写−貼り付け（ｃｏｐｙ−ｍｏｖｅ）、スプライシング（ｓｐｌｉｃｉｎｇ）の方法で新しい要素を追加したりするなどのイメージ偽変造が起こる可能性がある。そのため、専門家の助けなしには、イメージの無欠性を把握し難く、ニュース及びソーシャルネットワークに当該偽変造されたイメージが原本イメージのように流通してしまい、偽変造の痕跡がないまま、偽造されたイメージが法廷における証拠と認められ得る深刻な事例が発生しうる。

イメージ編集ソフトウェアの早い拡散により、誰でも容易に映像を製作し、流通させることができ、特に、イメージの偽変造も簡単かつ精巧になされている。このようなイメージ偽変造を探知する技術は、以前から持続的に研究されてきたが、特定ファイルフォーマット、捏造、圧縮クオリティなど、非常に制限的な環境のみでしか動作しないという短所がある。

このようなイメージ偽変造を探知するために、イメージフォレンジック技法が研究されてきた。

従来の技術は、パターン変化を分析して色相変調を探知する技法と、イメージのリサンプリング痕跡を分析する技法などが持続的に研究されてきた。

しかしながら、このような技法等は、それぞれ異なる捏造とファイルフォーマット及び特定環境のみでしか動作せず、より多様な捏造及びフォーマットの全てに適用し難いという制約がある。

一方、ディープラーニング技術のうち、畳み込みニューラルネットワークは、コンピュータビジョン問題を解決するのに優れた性能を見せ、この畳み込みニューラルネットワークを利用して様々なイメージ捏造を探知しようという研究が進められている。

具体的に、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）は、物体の認識、区別など、コンピュータビジョン問題を解決するのに優れた性能を見せている。

しかし、畳み込みニューラルネットワークをそのままイメージフォレンジックに適用する場合、良い学習性能を示さず、非特許文献１では、畳み込みニューラルネットワーク使用以前の前処理過程を行う必要があった。

特に、非特許文献１は、畳み込みニューラルネットワーク前端に特化されたレイヤを設計して、既存の先行技術等に比べて圧倒的なイメージ捏造検出性能を示した。

図１は、非特許文献１のディープラーニングニューラルネットワーク構造であって、畳み込みニューラルネットワークの一番最初のレイヤにイメージフォレンジック技法に特化されたベイヤーフィルタ（ｂａｙeｒ ｆｉｌｔｅｒ）を含むことを特徴とする。前記ベイヤーフィルタは、畳み込みニューラルネットワークが前処理過程（ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇ）や特徴抽出（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ）を必要とせずに、レイヤ構造だけでイメージ変化により適応して学習できるようにする役割をして、イメージ捏造検出性能を向上させた。

具体的に、ベイヤーフィルタは、前記数式１のように、このフィルタでは、中央加重値（ｗｅｉｇｈｔ）を−１に固定し、隣接の加重値等の合計が１になるように強制し、学習が進まれる。ここで、ｌ、ｍはピクセルの座標を意味する。

このようなベイヤーフィルタを用いた非特許文献１のニューラルネットワークは、無圧縮イメージでのブラー、ノイズ、メディアン、リサイジングのような変化を極めてよく検出した。

しかし、非特許文献１は、圧縮されたイメージでは、捏造された痕跡を、圧縮過程で生じるデータ損失のため、追跡し難いという短所がある。

また、非特許文献１は、グレースケールイメージに特化されて、カラーイメージでの捏造された痕跡はよく検出できないという短所がある。

すなわち、非特許文献１は、無圧縮イメージだけを対象としてイメージが生成され、流通される過程で必須的に経る圧縮に対する考慮をしない。実際ほとんどのイメージが圧縮されている点、及びほとんどのデジタルイメージがカラーイメージである点を考慮すると、実際には非特許文献１の技術を使用することは難しいという問題がある。

Belhassen Bayar and Matthew C Stamm. 「A deep learning approach to universal image manipulation detection using a new convolutional layer. In Proceedings of the 4th ACM Workshop on Information Hiding and Multimedia Security」

現在、ほとんどのデジタルイメージは、ジェイペグ（ＪＰＥＧ）フォーマットのような圧縮フォーマットを介して格納されており、圧縮されたイメージでは、捏造された痕跡が圧縮過程で生じるデータ損失のため、追跡し難くなる。

特に、イメージ偽変造は、ＪＰＥＧ圧縮フォーマットで格納されたイメージをフォトショップ（登録商標）のようなソフトウェアで精巧に捏造した後、イメージを再保存（ｒｅ−ｓａｖｅ）する過程を経るので、再圧縮、すなわち、二重ＪＰＥＧ圧縮が必然的に起こるようになり、捏造された過程によって、さらにデータが損失されるという問題がある。

したがって、本発明は、圧縮された環境でイメージ捏造を探知できる畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムを提供することを目的とする。

また、本発明は、カラーイメージに対するイメージ捏造も精密に探知できる畳み込みニューラルネットワークを介して、イメージ偽変造を探知するシステムを提供することを目的とする。

また、本発明は、前記精密な畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムを利用して無補正探知サービスを提供する方法を提供することを目的とする。

実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムは、イメージの偽変造又は捏造の有無を判別するための畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムであって、前記イメージをハイパスフィルタに通過させて偽変造又は捏造の特徴を拡大する補正特徴前処理部と、前記特徴が拡大されたイメージで予め学習された畳み込みニューラルネットワークを介してイメージ補正特徴情報を抽出する補正特徴抽出部と、前記イメージ補正特徴情報を精製する特徴精製部と、前記特徴精製部で精製された前記イメージ補正特徴情報に基づいて、前記イメージの偽変造又は捏造の有無を判別する補正区別部とを備える。

このとき、前記イメージを一定の大きさの規格にイメージブロック化するイメージブロック部をさらに備えてもよい。

また、前記補正特徴抽出部は、複数の畳み込みレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）及び複数のプーリングレイヤ（ｍａｘ ｐｏｏｌｉｎｇ ｌａｙｅｒ）を備えてもよい。

このとき、前記畳み込みレイヤは、３×３以下の大きさであり、ストライドは、１であってもよい。

また、前記補正特徴抽出部は、予め学習されたＶＧＧ１９畳み込みニューラルネットワークモデルであり、前記畳み込みニューラルネットワークの加重値は、前記イメージによって変更学習されてもよい。

また、前記補正区別部は、前記イメージで捏造された可能性があるピクセルを検出し、前記ピクセルの補正可能性確率値を算出し、偽変造された可能性の高いピクセルを確率値に応じて互いに異なる色で表示した偽変造確認マップを出力してもよい。

また、前記偽変造又は捏造の有無を判別するために入力されたイメージは、カラーイメージであってもよい。

実施形態に係る無補正探知サービスを提供する方法は、前記畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムを使用して無補正探知サービスを提供する方法であって、ユーザから偽変造を判別する入力イメージを受信するステップと、前記入力されたイメージを一定規格にブロック化してイメージブロックを生成するステップと、前記イメージブロックを、前記畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムに入力し、前記畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムから偽変造確認マップを出力するステップと、前記偽変造確認マップと前記入力イメージとをディープラーニングして偽変造の有無を、「はい」または「いいえ」のラベルで出力するステップとを含む。

このとき、偽変造の有無が「はい」と判別されれば、偽変造の可能性の高い領域をハイライトする入力イメージを生成するステップと、前記生成された入力イメージをユーザに提供するステップとをさらに含むことができる。

また、偽変造の有無が「いいえ」と判別されれば、前記入力イメージに補正がないという確認印章を合成して前記ユーザに提供するステップをさらに含むことができる。

実施形態に係る畳み込みニューラルネットワークを介してのイメージ偽変造探知は、様々な圧縮環境で起こるイメージ捏造を探知する合成積ニューラルネットワークと、圧縮を考慮したマルコプ特性基盤のニューラルネットワークとを結合して、イメージ捏造を圧縮された環境でもよく探知することができる。

又は、実施形態に係る畳み込みニューラルネットワークを介してのイメージ偽変造探知は、様々な圧縮環境で起こるイメージ捏造を探知できるだけでなく、カラーイメージの偽変造を早くかつ正確に探知できる。

又は、実施形態に係る無補正探知サービスを提供する方法は、カラーイメージであり、圧縮されたイメージである場合にも精密に補正有無を判別でき、判別された結果をユーザが直観的に認識できるように提供できるという長所がある。

非特許文献１の畳み込みニューラルネットワーク構造を示す。 本発明の第１実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムの構造図を示す。 本発明の第１実施形態に係る特化された畳み込みニューラルネットワークの細部構造図である。 本発明の第１実施形態に係るマルコフネットワークの細部構造図である。 本発明の第１実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムにより偽変造されたイメージを探知した実験結果を示す。 それぞれ異なる環境で本発明の第１実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムの探知正確度と非特許文献１の探知正確度とを比較して示したグラフである。 それぞれ異なる環境で本発明の第１実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムの探知正確度と非特許文献１の探知正確度とを比較して示したグラフである。 それぞれ異なる環境で本発明の第１実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムの探知正確度と非特許文献１の探知正確度とを比較して示したグラフである。 それぞれ異なる環境で本発明の第１実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムの探知正確度と非特許文献１の探知正確度とを比較して示したグラフである。 本発明の第２実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムのブロック図である。 本発明の第２実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムの細部構造図である。 それぞれ異なるリサイズ割合のイメージに対してそれぞれ異なるニューラルネットワークシステムがイメージ捏造探知正確度を比較したグラフである。 それぞれ異なるリサイズ割合のイメージに対してそれぞれ異なるニューラルネットワークシステムがイメージ捏造探知正確度を比較したグラフである。 それぞれ異なるリサイズ割合のイメージに対してそれぞれ異なるニューラルネットワークシステムがイメージ捏造探知正確度を比較したグラフである。 本発明の実施形態に係る無補正探知サービスを提供する方法を説明するためのフローチャートである。 本発明の実施形態に係る無補正探知サービスが、イメージの補正がないときに、無補正確認印章をイメージ上に押すサービスを示す。 本発明の実施形態に係る無補正探知サービスが、イメージの補正が検出されたときに、補正疑い領域を強調して知らせるサービスを示す。

本発明は、様々な変換を加えることができ、種々の実施形態を有することができるが、特定の実施形態を図面に例示し、詳細な説明に詳しく説明する。本発明の効果及び特徴、そして、それらを達成する方法は、図面とともに詳しく後述されている実施形態を参照すれば明確になるであろう。しかし、本発明を、以下において開示される実施形態等に限定されるものではなく、様々な形態で実現することができる。以下の実施形態において、第１、第２などの用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的として使用されている。また、単数の表現は、文脈上、明白に異なるように言及しない限り、複数の表現を含む。また、「含む」または「有する」などの用語は、明細書上に記載された特徴または構成要素が存在することを意味するものであり、１つ以上の他の特徴または構成要素が付加される可能性を予め排除するものではない。また、図面では、説明の都合上、構成要素等が、その大きさが拡大または縮小される場合がある。例えば、図面に示された各構成の大きさ及び厚さは、説明の都合上、任意に示したので、本発明が必ずしも図示されたところに限定されない。

以下、添付された図面を参照して本発明の実施形態を詳しく説明する。図面を参照して説明するとき、同一であるか、対応する構成要素は同一の図面符号を付し、これについての重複する説明は省略する。

＜端末機＞
実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムのニューラルネットワーク構造は、コンピュータ言語を介して作成される。したがって、端末機は、メモリに設けられて、ＲＡＭを介してプロセッサが前記コンピュータ言語を読み出すことにより、プロセッサにより畳み込みニューラルネットワークを介してのイメージ偽変造の探知が行われ得る。同様に、実施形態に係る無補正探知サービスを提供する方法もプロセッサで無補正探知プログラム実行を介して実現することができる。

したがって、畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムを駆動する主体は、端末機のプロセッサである。

実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムの端末機は、データを処理するプロセッサと、イメージディープラーニングを行うためのイメージディープラーニング駆動プログラムを格納するメモリとを備えることができ、プロセッサが前記イメージディープラーニング駆動プログラムを読み出し、構築されたニューラルネットワークシステムにしたがって下記に記述するイメージディープラーニングを行うようになる。

前記プロセッサは、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセス（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他、機能実行のための電気的ユニットのうち、少なくとも１つを用いて実現されてもよい。

また、メモリは、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器であってもよい。

また、端末機は、前記偽変造の対象になるイメージを取得するカメラまたは通信部をさらに備えることができる。

具体的に、カメラは、イメージセンサ（例えば、ＣＭＯＳまたはＣＣＤ）により得られる映像をイメージとして取得できる。

また、通信部は、有無線ネットワークを介してインターネットのイメージを受信して取得できる。このような通信部は、通信ポート（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｏｒｔ）及びＲＦ信号を送信する送信機（Ｔｒａｎｓｍｉｔｔｅｒ）を備えるＲＦ通信インターフェースを備えることができる。実施形態によって、畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムは、全体ユニットを制御するメインプロセッサと、イメージディープラーニングによってニューラルネットワークが駆動しているときに、必要な演算を処理するグラフィック処理装置（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＧＰＵ）とを備えるように構成されてもよい。

そして、実施形態に係る端末機は、前記畳み込みニューラルネットワークを介してイメージ偽変造を探知するプログラムが設けられたサーバコンピュータ、コンピュータ、スマートフォン、デジタル放送用端末、携帯電話、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）などを含むことができる。

実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するプログラムと無補正探知サービスを提供するためのプログラムとはネットワークを介して提供され、端末機とサーバとのデータ交換により端末機を介して最終サービスが提供され得る。

＜第１実施形態−畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム＞
図２は、本発明の第１実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムの構造図を示す。

図２に示すように、第１実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム１０は、二重ニューラルネットワーク（ｔｗｏ ｓｔｒｅａｍ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）構造であって、様々な圧縮環境で起こるイメージ捏造に対して、各捏造を探知するようにイメージフォレンジック技法に特化された畳み込みニューラルネットワーク１００と、イメージの圧縮有無を考慮したマルコフ特性（Ｍａｒｋｏｖ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）基盤のニューラルネットワーク２００（Ｍａｒｋｏｖ Ｎｅｔｗｏｒｋ）と、ニューラルネットワークから抽出されたイメージ補正特徴を精製し、捏造の有無を判別する補正特徴精製部３１０（Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ １）と、補正区別部３２０（Ｃｌａｓｓｉｆｙ（Ｓｏｆｔｍａｘ））とを備える。

１．二重ニューラルネットワーク構造及び入力データ
実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム１０の二重ニューラルネットワーク（ｔｗｏ ｓｔｒｅａｍ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の構造は、図２のとおりである。

具体的に、畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム１０は、イメージ捏造を探知する特化された畳み込みニューラルネットワーク１００（Ｃｏｎｓｔｒａｉｎｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と圧縮を考慮したマルコフ特性（Ｍａｒｋｏｖ ｓｔａｔｉｓｔｉｃｓ）基盤のニューラルネットワーク２００とを結合した二重ネットワーク構造である。

このような二重ニューラルネットワーク構造は、既存の畳み込みニューラルネットワークをデジタルイメージフォレンジック技法に直ちに適用し難かった問題点を解決するために、ピクセルドメインでのみ考慮した既存の研究とは異なり、周波数ドメインでもイメージの捏造の有無を考慮でき、少なくとも１回以上圧縮されたイメージの捏造有無の検出に特化されてもよい。

実施形態においてイメージ捏造を検出する入力イメージ対象は、ＪＰＥＧ圧縮されたイメージ内に正常イメージブロックと偽変造されたイメージブロックとを区別して探知するものである。実際に、イメージ偽変造が起こる状況は、ＪＰＥＧ圧縮されたイメージを編集ソフトウェアを介して呼び出した後、イメージの一部を捏造して再保存し、流通させるものであり、特に、イメージを再保存するとき、やはりＪＰＥＧ圧縮を経るようになるので、捏造された領域と正常な領域とは、共に二重圧縮されており、２つの領域を区別することが必要である。前述したイメージ偽変造の種類のうち、複写−貼り付けとスプライシングは、捏造の際、必然的に痕跡を隠すためにブラーリングまたはメディアンフィルタリングを行い、貼り付けられたオブジェクトの自然さを確保するために、リサンプリングも行うようになる。したがって、以下では、ＪＰＥＧ圧縮されたイメージからイメージ捏造を検出するものを対象と限定して説明する。

２．特化された畳み込みニューラルネットワーク１００
図２〜図３に示すように、実施形態に係る特化された畳み込みニューラルネットワーク１００は、イメージブロック部１１０（Ｉｍａｇｅ ｂｌｏｃｋ）、補正特徴前処理部１２０（Ｃｏｎｓｔｒａｉｎｅｄ ｃｏｎｖ ｌａｙｅｒ）、補正特徴抽出部１３０（Ｃｏｎｖ ｌａｙｅｒ）、第１の特徴精製部１４０（Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒｓ）を備えることができる。

具体的に、イメージブロック部１１０は、畳み込みニューラルネットワークにイメージを入力するのに適したサイズに、入力イメージをブロック化させることができる。例えば、イメージブロック部１１０は、イメージブロックが６４×６４になるようにイメージを切ることができる。

次に、ブロック化されたイメージブロックは、補正特徴前処理部１２０に入力される。

具体的に、補正特徴前処理部１２０は、特化された畳み込みレイヤ（ｃｏｎｓｔｒａｉｎｅｄ ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）を備える。このような特化された畳み込みレイヤは、先行技術１のベイヤーフィルタと同様に数式１のように動作することができる。

次に、補正特徴前処理部１２０で処理されて出力された前処理イメージを、補正特徴抽出部１３０に入力することができる。

補正特徴抽出部１３０は、複数のレイヤを備え、それぞれのレイヤは、畳み込みレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ；Ｃｏｎｖ）、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ；ＢＮ）、整流された線形ユニット（ＲｅＬＵ）関数、マックスプーリング（Ｍａｘ−ｐｏｏｌｉｎｇ ｌａｙｅｒ）を備えることができる。

具体的に、図３に示すように、補正特徴抽出部１３０は第１のレイヤ１３１（Ｃｏｎｖ ｌａｙｅｒ １）と、第２のレイヤ１３２（Ｃｏｎｖ ｌａｙｅｒ ２）と、第３のレイヤ１３３（Ｃｏｎｖ ｌａｙｅｒ ３）とを備え、各々は畳み込みレイヤ１３５（Ｃｏｎｖ ｌａｙｅｒ）、バッチ正規化１３６（ＢＮ）、整流された線形ユニット関数１３７（ＲｅＬＵ）を備え、第１のレイヤ１３１と第２のレイヤ１３２とは、マックスプーリングレイヤ１３８（Ｍａｘ−ｐｏｏｌｉｎｇ ｌａｙｅｒ）をさらに備えることが分かる。

すなわち、特徴抽出部１３０は、複数の畳み込みレイヤを備えて構成されるが、このように、複数のレイヤを積層するために、特徴抽出部１３０に含まれる畳み込みレイヤは、全て５×５以下であることが好ましい。

特に、２番目以後に積層される畳み込みレイヤは、３×３以下であることが好ましい。また、それぞれの畳み込みレイヤのストライド（ｓｔｒｉｄｅ）は、捏造の痕跡を逃す恐れがあるので、１に固定され、プーリングレイヤ（ｐｏｏｌｉｎｇ ｌａｙｅｒ）のみ２以上の整数に設定することができる。

具体的に、畳み込みレイヤにおいて小さいフィルタサイズを使用する理由は、第１に、いくつかの整流された線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ；ＲｅＬＵ）関数を使用できるためである。これは、大きいフィルタを使用する１つのレイヤの代わりに、小さいフィルタを使用する複数のレイヤに代替できるようにする。第２には、学習すべき加重値（ｗｅｉｇｈｔ）の数を多く減らす役割をする。非特許文献１のように、７×７畳み込みレイヤを１個使用するよりは、実施形態のように、３×３畳み込みレイヤを３個使用する場合、加重値の数が少なくなることが明らかであり、学習される加重値が少ないとは、正規化の側面で大きい利点を有することができる。

また、バッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）を使用して提案するネットワークの過剰適合（ｏｖｅｒ−ｆｉｔｔｉｎｇ）を防止した。

このような特徴抽出部１３０を介して抽出された補正特徴を、第１の特徴精製部１４０に伝達することができる。

第１の特徴精製部１４０は、少なくとも１つ以上の完全連結層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を備え、抽出されたイメージ補正特徴を精製し、区別するように学習することができる。

実施形態において第１の特徴精製部１４０は、２個の完全連結層１４１、１４２とそれぞれの完全連結層の出力端が整流された線形ユニット関数で構成することができる。

第１の特徴精製部１４０で精製された補正特徴は、マルコフ特性基盤ネットワーク２００から抽出された補正特徴とともに、統合特徴精製部３１０に伝達される。

３．マルコフ特性（Ｍａｒｋｏｖ ｓｔａｔｉｓｔｉｃｓ）基盤ネットワーク
実施形態に係るマルコフ特性基盤ネットワーク２００は、単一ＪＰＥＧ（ｓｉｎｇｌｅ−ＪＰＥＧ）圧縮と二重ＪＰＥＧ（ｄｏｕｂｌｅ−ＪＰＥＧ）圧縮とを区分し、二重ＪＰＥＧ圧縮時に、イメージ変形の有無を検出できる。

このようなマルコフ特性基盤ネットワーク２００は、周波数ドメインでもイメージの捏造の有無を考慮して、ＪＰＥＧフォーマット圧縮イメージでのイメージ変形を効果的に探知することができる。

図２及び図４に示すように、実施形態に係るマルコフ特性基盤ネットワーク２００は、ドメイン変換部２１０、ピクセル差算出部２２０（Ｄｉｆｆｅｒｅｎｃｅ ａｒｒａｙ）、閾値関数２３０（Ｔｈｒｅｓｈｏｌｄｉｎｇ）、マトリックス変換部２４０（Ｍａｒｋｏｖ ｔｒａｎｓｉｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ ｍａｔｒｉｘ）、及び第２の特徴精製部２５０（Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒｓ；ＦＣ Ｌａｙｅｒ）を備える。

具体的に、ドメイン変換部２１０は、イメージブロック部１１０でブロック化されたイメージブロックを離散コサイン変換（ＤＣＴ）して周波数ドメインでのデータで処理する。具体的に、ドメイン変換部２１０において、ネットワークは、入力されたイメージブロックを８×８ブロック毎に離散コサイン変換（ＤＣＴ）して周波数ドメインでのデータで処理する。

そして、ピクセル差算出部２２０は、離散コサイン変換されたブロックＢｘ、ｙに対して下記の数式２のように、各々水平、垂直方向に隣接ピクセルとの差を求めた配列Ｂｈ、Ｂｖを求めることができる。

次に、閾値関数２３０は、配列値を閾値範囲［−４、４］内にマッピングさせる。

次に、マトリックス変換部２４０は、当該ブロックの値で数式３のように、水平方向のブロックＢｈの９×９遷移確率行列（ＴＰＭ）を求め、水平、垂直に対する２つの遷移確率行列を［１、９×９×２］１次元ベクトルで結合する。

その後、結合された１次元ベクトルは、第２の特徴精製部２５０に伝達され、第２の特徴伝達部は、完全連結層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）で構成されてもよい。

このようなマルコフ特性基盤ネットワーク２００は、イメージフォレンジック技法で二重ネットワーク網に適するように変形されたネットワークであって、単一、二重ＪＰＥＧ圧縮されたイメージを周波数ドメインに変換して分析することにより、圧縮されたイメージでのイメージ変形を精密に探知することができる。

４．統合特徴精製部３１０及び補正区別部３２０
最後には、特化された畳み込みニューラルネットワーク１００と、マルコフ特性（Ｍａｒｋｏｖ ｓｔａｔｉｓｔｉｃｓ）基盤ネットワークから出力されたそれぞれの補正特徴情報は、統合特徴精製部３１０に伝達される。

統合特徴精製部３１０は、完全連結層３１１、３１２で構成され、前記特徴情報を結合して最終的に分類のための学習を試みる。

実施形態に係る統合特徴精製部３１０は、イメージフォレンジックのために微細な特性のデータ損失を防ぐために、平均に結合する方法より２つの完結層のベクトルをそのまま結合して分流器に伝達する構造を有する。

このように、統合特徴精製部３１０で結合された補正特徴情報は、補正区別部３２０に伝達される。

補正区別部３２０は、補正可能性のあるピクセルを検出し、前記ピクセルの補正可能性確率値を算出し、これを偽変造確認マップで抽出することができる。すなわち、図５のように、偽変造可能性の高いピクセルを確率値に応じて互いに異なる色で表示した偽変造確認マップを出力できる。

このような補正区別部３２０は、ソフトマックス（ｓｏｆｔｍａｘ）関数と、既存に広く使用された確率的勾配降下（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）よりさらに早く極小値（ｌｏｃａｌ ｍｉｎｉｍａ）から外れることができるアダムオプティマイザ（Ａｄａｍ ｏｐｔｉｍｉｚｅｒ）を含む。

具体的に、図５に示すように、実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム１０は、原本イメージで偽変造されたイメージ（絵（ａ））が入力されたとき、偽変造された領域を絵（ｂ）のようにピクセル別に変造確率値も表示して探知した結果を出力できる。

このように設計された畳み込みニューラルネットワークを介してのイメージ偽変造の探知は、様々な圧縮環境で起こるイメージ捏造を探知する合成積ニューラルネットワークと圧縮を考慮したマルコフ特性基盤のニューラルネットワーク２００とを結合してイメージ捏造を圧縮された環境でも感度よく探知することができる。

具体的に、表１は、非特許文献１のディープラーニングネットワーク（ｂａｙａｒ’ｓ）と、本実施形態１のネットワークとのイメージ偽変造別探知率を示した表である。

表１から分かるように、２つのネットワークが、総計４つのイメージ変形類型（ガウシアンブラーリング、ガウシアンノイズ、メディアンフィルタリング、リサンプリング）に対して二重圧縮されたイメージでも当該変形を探知する実験を行った。

あらゆる変形と様々な圧縮クオリティ（Ｑ１＝７０，８０／Ｑ２＝６０，７０，８０，９０）に対して、実施形態１のネットワークは、非特許文献１のＢａｙａｒ技法より全ての条件において優位性を記録したことを、表１を介して確認することができる。

また、図６ａ〜図６ｄに示すように、実施形態１のネットワークが、各イメージ変形類型別に、学習区間毎に、常に非特許文献１より高い探知率を記録することを、探知正確度グラフを介して確認することができる。

＜第２実施形態−畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム＞
以下、第２実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム２０を説明し、第１実施形態と重複する説明は省略できる。

図７に示すように、第２実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム２０は、イメージブロック化部４１０、補正特徴前処理部４２０、補正特徴抽出部４３０、補正特徴精製部４４１（４４０）、及び補正区別部４４２（４４０）を備える。

具体的に、図７〜図８に示すように、イメージブロック化部４１０は、入力されたイメージの大きさを畳み込みニューラルネットワークに入力するのに適した大きさに調節することができる。

本実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム２０は、カラーイメージを分析するのに適合し、入力されたイメージを、カラーイメージであり、カラー別レイヤを異なるように構成して複数のレイヤで構成することができる。

実施形態においてイメージブロック化部４１０は、イメージブロックが２５６×２５６×３になるようにイメージを切ることができる。

次に、ブロック化されたイメージは、補正特徴前処理部４２０に伝達されてもよい。

補正特徴前処理部４２０は、ハイパスフィルタ（Ｈｉｇｈ−ｐａｓｓ ｆｉｌｔｅｒ）を使用してイメージの補正特徴を拡大化することができる。

具体的に、補正特徴前処理部４２０は、ハイパスフィルタを備え、リサイズトレース特徴（ｒｅｓｉｚｅ ｔｒａｃｅ ｆｅａｔｕｒｅ）を強調することができる。

このような補正特徴前処理部は、イメージ内の隠されたステゴ（ｓｔｅｇｏ）情報を探す方法をイメージフォレンジック技法と類似していると判断されて着目したものである。

リサイズ特徴が強調されたイメージブロックは、イメージ補正特徴抽出部４３０に入力されてもよい。

前記補正特徴抽出部４３０は、予め訓練されたディープラーニング畳み込みニューラルネットワークモデルを使用してイメージ補正特徴を抽出できる。

具体的に、補正特徴抽出部４３０は、複数の畳み込みレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）、バッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）、整流された線形ユニット（ＲｅＬＵ）関数、複数のマックスプーリング（ｍａｘ ｐｏｏｌｉｎｇ ｌａｙｅｒ）を含むことができる。

実施形態に係る補正特徴抽出部４３０は、予め学習されたＶＧＧ１９畳み込みニューラルネットワークモデルであってもよい。例えば、補正特徴抽出部４３０は、２個の畳み込みレイヤ、プーリングレイヤ、２個の畳み込みレイヤ、プーリングレイヤ、４個の畳み込みレイヤ、プーリングレイヤ、及び２個の畳み込みレイヤが順次積層された構造を有することができる。

このとき、補正特徴抽出部４３０は、予め学習された畳み込みニューラルネットワークモデルでありながら、入力イメージ別に加重値が変化されるモデルであってもよい。

具体的に、実施形態に係る予め学習されたＶＧＧ１９畳み込みニューラルネットワークに加重値ｗをイメージ別に変形して偽変造特徴（ＶＧＧ ｆｅａｔｕｒｅ）を抽出するように学習させることができる。

また、補正特徴抽出部４３０に含まれた複数の畳み込みレイヤは、複数のレイヤとして積層されるので、畳み込みレイヤは、全て３×３以下の大きさであることが好ましい。また、それぞれの畳み込みレイヤのストライド（ｓｔｒｉｄｅ）は、捏造の痕跡を逃す恐れがあるので、１に固定され、プーリングレイヤ（ｐｏｏｌｉｎｇ ｌａｙｅｒ）のみ２以上の整数に設定されることができる。

そして、補正特徴抽出部４３０で抽出された補正特徴情報は、特徴精製部に入力される。

特徴精製部４４１は、完全連結接続層（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）を使用して抽出されたイメージ補正特徴を精製し、区別するように学習されることができる。

具体的に、特徴精製部４４１は、少なくとも１つ以上の完全連結層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を備え、抽出されたイメージ補正特徴を精製し、区別するように学習されることができる。

実施形態において特徴精製部４４１は、２個の完全連結層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）とそれぞれの完全連結層出力端が整流された線形ユニット関数で構成されることができる。

このように、特徴精製部４４１で結合された補正特徴情報は、補正区別部４４２に伝達される。

補正区別部４４２は、補正可能性のあるピクセルを検出し、前記ピクセルが補正された可能性がある確率を示す値（ピクセルの補正可能性確率値）を算出することができる。

そして、補正区別部４４２は、ソフトマックス（Ｓｏｆｔｍａｘ）関数を介してイメージブロックの補正の有無を０〜１の間の確率で表すことができる。

具体的に、このような補正区別部４４２は、ソフトマックス（ｓｏｆｔｍａｘ）関数と、既存に広く使用された確率的勾配降下（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）よりさらに早く極小値（ｌｏｃａｌ ｍｉｎｉｍａ）から外れることができるアダムオプティマイザ（Ａｄａｍ ｏｐｔｉｍｉｚｅｒ）を含むことができる。

このように設計された畳み込みニューラルネットワークを介してのイメージ偽変造の探知は、様々な圧縮環境で起こるイメージ捏造を探知できるだけでなく、カラーイメージの偽変造を早くかつ正確に探知することができる。

以下、本実施形態に係るネットワークの性能を確認するために、非特許文献１とリサイズ割合を異にしたイメージを入力し、偽変造抽出正確度を算出した。

図９ａ〜図９ｃを見ると、全てのリサイズ割合で本実施形態に係るネットワーク（ＶＧＧ＋ＨＰＦ）が、非特許文献１のネットワーク（ＢａｙａｒＮｅｔ）に比べて早く学習されて動作することが確認でき、その正確度も高いことを確認できる。

＜無補正探知サービス＞
以下、前述した実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム１０、２０を使用して無補正探知サービスを提供する方法を詳細に説明する。

このようなサービスは、ユーザの端末機を介して提供でき、補正探知は、無補正探知サービス提供サーバでなされることができる。

すなわち、ユーザは、端末機を介してサービス提供サーバに接続し、確認しようとするイメージをアップロードした後、サービス提供サーバで確認されたイメージを受信する方式でサービスの提供を受けることができる。

図１０に示すように、まず、ユーザは、端末機を介して偽変造が疑われる入力イメージＩを入力できる。

具体的に、ユーザは、端末機に格納されたイメージをサービス提供サーバに送信して、偽変造確認を要請できる。

サービス提供サーバは、入力された入力イメージをブロック化してイメージブロックＩＢとして生成し、生成されたイメージブロックＩＢを畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム１０、２０に入力することができる。

実施形態に係る畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム１０、２０は、入力されたイメージブロックＩＢをディープラーニングして、イメージで補正が疑われるピクセルと、前記ピクセルの偽変造確率値を表示した偽変造確認マップＰＭを抽出できる。

サービス提供サーバは、偽変造確認マップＰＭを再度畳み込みニューラルネットワーク３０を介してディープラーニングし、偽変造の有無をはい／いいえ（Ｙｅｓ／Ｎｏ）のラベル（ｌａｂｅｌ）で出力することができる。

このとき、前記畳み込みネットワークは、偽変造の有無が「はい」と判別されれば、偽変造確率の高いピクセルの位置及び配列から、いかなる偽変造類型があったかと、偽変造可能性の高い領域をハイライトする入力イメージを生成できる。

さらに具体的に、図１１に示すように、サービス提供サーバは、偽変造の有無が「いいえ」と判別されれば、入力イメージＩに補正がないという確認印章Ｙを合成して、ユーザに提供することができる。

また、図１２に示すように、サービス提供サーバは、偽変造の有無が「はい」と判別されれば、入力イメージＩで偽変造可能性の高い領域をハイライトＮし、偽変造類型情報を追加で表示することができる。

このような無補正探知サービスを提供する方法は、カラーイメージであり、圧縮されたイメージである場合にも精密に補正有無を判別でき、判別された結果をユーザが直観的に認識できるように提供することができるという長所がある。

以上説明された本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行され得るプログラム命令語の形態で実現されて、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリ１４０などのような、プログラム命令語を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行され得る高級言語コードも含まれる。ハードウェア装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールに変更されることができ、その反対も同様である。

本発明において説明する特定実行等は、一実施形態であって、いかなる方法でも本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、前記システムの他の機能的な側面等の記載は省略されることができる。また、図面に図示された構成要素間の線等の連結または連結部材などは、機能的な連結及び／又は物理的または回路的連結を例示的に示したものであって、実際装置では、代替可能であるか、追加の様々な機能的な連結、物理的な連結、または回路連結として表されることができる。また、「必須な」、「重要に」などのように、具体的な言及がなければ、本発明の適用のために必ず必要な構成要素でない場合がある。

また、説明した本発明の詳細な説明では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練された当業者または当該技術分野における通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を様々に修正及び変更させ得ることが理解できるであろう。したがって、本発明の技術的範囲は、明細書の詳細な説明に記載された内容に限定されるものではなく、特許請求の範囲により決められなければならないであろう。

Claims (15)

1. イメージの偽変造又は捏造の有無を判別するための畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムであって、
   前記イメージをハイパスフィルタに通過させて偽変造又は捏造の特徴を拡大する補正特徴前処理部と、
   前記特徴が拡大されたイメージで予め学習された畳み込みニューラルネットワークを介してイメージ補正特徴情報を抽出する補正特徴抽出部と、
   前記イメージ補正特徴情報を精製する特徴精製部と、
   前記特徴精製部で精製された前記イメージ補正特徴情報に基づいて、前記イメージの偽変造又は捏造の有無を判別する補正区別部と、
   を備える畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム。
2. 前記イメージを一定の大きさの規格にイメージブロック化するイメージブロック部をさらに備える請求項１に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム。
3. 前記補正特徴抽出部は、
   複数の畳み込みレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）及び複数のプーリングレイヤ（ｍａｘ ｐｏｏｌｉｎｇ ｌａｙｅｒ）を備える請求項１に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム。
4. 前記畳み込みレイヤは３×３以下の大きさであり、ストライドは１である請求項３に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム。
5. 前記補正特徴抽出部は、
   予め学習されたＶＧＧ１９畳み込みニューラルネットワークモデルであり、前記畳み込みニューラルネットワークの加重値は、前記イメージによって変更学習される請求項３に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム。
6. 前記補正区別部は、
   前記イメージで捏造された可能性があるピクセルを検出し、前記ピクセルの補正可能性確率値を算出し、偽変造された可能性の高いピクセルを確率値に応じて互いに異なる色で表示した偽変造確認マップを出力する請求項１に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム。
7. 前記偽変造又は捏造の有無を判別するために入力されたイメージは、カラーイメージである請求項１に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム。
8. 端末機のプロセッサで畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムを使用して無補正探知サービスを提供する方法であって、
   ユーザから偽変造を判別する入力イメージを受信するステップと、
   前記入力されたイメージを一定規格にブロック化してイメージブロックを生成するステップと、
   前記イメージブロックを、前記畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムに入力し、前記畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステムから偽変造確認マップを出力するステップと、
   前記偽変造確認マップと前記入力イメージとをディープラーニングして偽変造の有無を、「はい」または「いいえ」のラベルで出力するステップと、
   を含む無補正探知サービスを提供する方法。
9. 偽変造の有無が「はい」と判別されれば、偽変造の可能性の高い領域をハイライトする入力イメージを生成するステップと、前記生成された入力イメージをユーザに提供するステップとをさらに含む請求項８に記載の無補正探知サービスを提供する方法。
10. 偽変造の有無が「いいえ」と判別されれば、前記入力イメージに補正がないという確認印章を合成して前記ユーザに提供するステップをさらに含む請求項８に記載の無補正探知サービスを提供する方法。
11. 端末機のプロセッサで行うイメージ偽変造を探知する方法であって、
    偽変造又は捏造の有無を判別するためのイメージを入力されるステップと、
    前記入力されたイメージをハイパスフィルタに通過させて偽変造又は捏造の特徴を拡大するステップと、
    前記特徴が拡大されたイメージで予め学習された畳み込みニューラルネットワークを介してイメージ補正特徴情報を抽出するステップと、
    前記抽出されたイメージ補正特徴情報を精製するステップと、
    前記精製されたイメージ補正特徴情報に基づいて、前記イメージの偽変造又は捏造の有無を判別するステップと、
    を含む畳み込みニューラルネットワークを介してイメージ偽変造を探知する方法。
12. 前記イメージを一定の大きさの規格にイメージブロック化するステップをさらに含む請求項１１に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知する方法。
13. 前記予め学習された畳み込みニューラルネットワークは、予め学習されたＶＧＧ１９畳み込みニューラルネットワークモデルであり、前記畳み込みニューラルネットワークの加重値は、前記イメージによって変更学習される請求項１１に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知する方法。
14. 前記特徴精製部で精製されたイメージ補正特徴情報に基づいて、前記イメージの偽変造又は捏造の有無を判別するステップは、
    前記イメージで捏造された可能性のあるピクセルを検出するステップと、前記ピクセルの補正可能性確率値を算出するステップと、偽変造された可能性の高いピクセルを確率値に応じて互いに異なる色で表示した偽変造確認マップを出力するステップと、を含む請求項１１に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知する方法。
15. 前記偽変造又は捏造の有無を判別するために入力されたイメージは、カラーイメージである請求項１１に記載の畳み込みニューラルネットワークを介してイメージ偽変造を探知する方法。