JP2022548712A - フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 - Google Patents

フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 Download PDF

Info

Publication number
JP2022548712A
JP2022548712A JP2022517497A JP2022517497A JP2022548712A JP 2022548712 A JP2022548712 A JP 2022548712A JP 2022517497 A JP2022517497 A JP 2022517497A JP 2022517497 A JP2022517497 A JP 2022517497A JP 2022548712 A JP2022548712 A JP 2022548712A
Authority
JP
Japan
Prior art keywords
network
image
haze
adversarial
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022517497A
Other languages
English (en)
Other versions
JP7379787B2 (ja
Inventor
張登銀
曹雪傑
董江偉
周詩▲ちー▼
趙莎莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Publication of JP2022548712A publication Critical patent/JP2022548712A/ja
Application granted granted Critical
Publication of JP7379787B2 publication Critical patent/JP7379787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 本発明はフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法を開示し、画像処理の技術分野に属し、従来の技術における画像エンハンスメントによるヘイズ除去方法に処理された画像にある情報紛失、画像復元によるヘイズ除去方法に処理された画像の不精確なパラメータが選択される場合に復元された画像の効果に影響を及ぼす技術課題並びにディープラーニングに基づくヘイズ除去アルゴリズムを利用する場合に画像のヘイズ除去速度に影響を及ぼす技術課題を解決することを目的とする。【解決手段】 前記の方法は下記のステップを含む。ヘイズのある画像を事前にトレーニングされた敵対的生成ネットワークに入力する。ヘイズのある画像と対応するヘイズのない画像を取得する。前記の敵対的生成ネットワークのクリエイターネットワークにフィーチャーピラミッドが融合された。【選択図】図１

Description

本発明は画像処理の技術分野、特にフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法に関わる。
本出願は2020年6月10日に中国特許局に提出され、出願番号が202010522038.0、発明の名称が「フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法」である中国特許により請求した優先権を請求し、その内容の全部が引用により本出願に結合されるものである。
ヘイズの気象条件で、空気に浮遊粒子と水滴がたくさんあり、これらの微粒子が光を吸収したり、散乱させたりして、画像取得システムによる画像パラメータの色の歪み、コントラスト低下及び細部紛失を引き起こし、ターゲット認識、セキュリティ監視、高度道路交通システムなどのコンピュータビジョンアプリケーションなどにおける画像の利用価値が低下した。そこで、イメージヘイズ除去技術改善に関する研究はヘイズ周囲におけるコンピュータビジョンシステムの正常な動作に対して具有十分に重要な現実的意義がある。従来のイメージヘイズ除去技術は大体に次の3種に区分される。
その一は、画像エンハンスメントに基づくヘイズ除去方法は画像劣化の原因を考慮に入れなく、画像エンハンスメントにより画像のコントラスト、彩度及び鋭さなどを向上させて画像の主観的視覚効果を向上させ、強化された画像はコントラストが更に高くなると同時に、情報紛失、画像の歪みなどの課題がある。
その二は、復元に基づくヘイズ除去方法は大気中の光散乱モデルなどの物理モデルに基づき、様々な方法でモデルにおけるパラメータを推定し、インバージョンにより劣化までのオリジナル画像を求め、処理された画像は更に鮮明、自然であり、細部損失が少ないが、デヘイズ効果がモデルパラメータの選択に関わり、不正確なパラメータが直接に復元された画像の効果に影響を及ぼすと同時に、画像の予備知識に対する人工によるまとめ及び画像特徴デザインが必要であるので、複雑なシーンにユニバーサル性が乏しい。
その三は、ディープラーニングに基づくヘイズ除去方法は人工デザインによるフィーチャー抽出器が不要であり、ニューラルネットワークのフィーチャー抽出力によりヘイズの特徴を習って良好な画像デヘイズ効果に達成するが、ネットワークモデルトレーニングパラメータが多すぎ、コンピューティングプラットフォームのメモリ及び計算力に対する需要が高く、画像のヘイズ除去効率が遅いという課題がある。
そこで、本発明はフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法を提供して従来の技術における画像エンハンスメントによるヘイズ除去方法に処理された画像にある情報紛失の技術課題、画像復元によるヘイズ除去方法に処理された画像の不正確なパラメータが選択される場合に復元された画像の効果に影響を及ぼす技術課題、ディープラーニングに基づくヘイズ除去アルゴリズムを利用する場合に画像のヘイズ除去速度に影響を及ぼす技術課題を解決することを目的にする。
下記のステップを含むフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法であり、
ヘイズのある画像を事前にトレーニングされた敵対的生成ネットワークに入力し、ヘイズのある画像と対応するヘイズのない画像を取得する。前記の敵対的生成ネットワークはクリエイターネットワーク及び弁別器ネットワークを含み、
敵対的生成ネットワークのクリエイターネットワークにフィーチャーピラミッドが融合された。
望ましくは、敵対的生成ネットワークの弁別器ネットワークは順序に接続された畳み込みアクティベーションレイヤー、コーディングユニットの抽出フィーチャレイヤー、完全に接続されたレイヤー及びsigmoidアクティベーションレイヤーを含み、前記のコーディングユニットの抽出フィーチャレイヤーは少なくとも2箇所あり、互いに直列に接続されている。
望ましくは、前記のクリエイターネットワークは順序に接続されたバックボーンネットワーク、フィーチャーピラミッド及び画像再構成ネットワークを含み、前記のヘイズのない画像の取得方法は下記のステップを含む。
１）前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行い、
２）前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行い、
３）前記の画像再構成ネットワーク融合されたフィーチャーに対する復元を行い、ヘイズのある画像と対応するヘイズのない画像を出力する。
望ましくは、前記のバックボーンネットワークは事前にトレーニングされたMobileNet-V2ネットワークである。前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行い、MobileNet-V2ネットワーク入力されたヘイズのある画像に応答すること及び少なくとも2箇所あり、スケールの異なるフィーチャーマップを出力することを含む。
望ましくは、前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うまでMobileNet-V2ネットワークに出力されたフィーチャーマップに対する1＊1畳み込み演算を行うことも含む。
望ましくは、敵対的生成ネットワークのトレーニング方法は下記のステップを含む。１）プリフェッチされたヘイズのある画像の少なくとも2枚及びそれと対応するヘイズのない画像に基づいてトレーニングサンプルセットを構成する。２）弁別器ネットワークの損失関数→0.5、クリエイターネットワークの損失関数→0をターゲットにし、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、トレーニングされた敵対的生成ネットワークを取得するまでそれに対するトレーニングを行う。
望ましくは、弁別器ネットワークの損失関数は式が下記のとおりである。
Figure 2022548712000002
 式の中、
LD：弁別器ネットワークの損失関数
D（Ii G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
D（Ii ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
望ましくは、クリエイターネットワークの損失関数は式が下記のとおりである。
Figure 2022548712000003
 式の中、
LG：クリエイターネットワークの損失関数
Ii G：クリエイターが生成したi番目の生成画像
Ii ＊：トレーニングサンプルセットにおけるi番目のタグ付き画像
C：画像のチャンネル
W×H：画像の寸法
Ｄ（Ｉi G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
Ｄ（Ｉi ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
λ：重み係数の重み
望ましくは、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対するトレーニングを行うまで平均値0及び標準偏差0.001のガウス分布によりランダムに重みWjiにおける各重さの初期化を行い、バイアスBjiが0となるようにする。
望ましくは、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対する下記のものを含むトレーニングを行う。
１）トレーニング成績に応じて重みWji及びバイアスBjiを更新すること。
２）更新された重みWji及びバイアスBjiを損失関数に代入すること。
３）弁別器ネットワークの損失関数が0.5となり、トレーニングされた敵対的生成ネットワークを取得するまで重みWji及びバイアスBjiに関する更新及び代入の過程が重複するようにする。
本発明ではフィーチャーピラミッド構成で普通の画像スケーリングを代替してマルチスケールのフィーチャー抽出を行い、弁別器ネットワークを追加し、元のネットワークのフレームを敵対的生成ネットワークに基づくフレームに展開し、クリエイター生成画像の品質及び効率を向上させる。その中、敵対的生成ネットワークのクリエイターはヘイズのある画像を入力し、ヘイズが除去された鮮明な画像を出力する。
そこで、トレーニングが完了してからヘイズのある画像を敵対的生成ネットワークのクリエイターに入力するだけでヘイズが除去された鮮明な画像を取得できる。クリエイターでMobileNet-V2をバックボーンネットワークし、ネットワークモデルのトレーニングパラメータを少なくし、フィーチャー抽出の速度を向上させることができることができると同時に、ネットワークモデルに融合したフィーチャーピラミッド構成によりメモリ占用及び計算量を少なくすることができ、更に効率的にスケールの異なるヘイズのフィーチャーに関する情報が融合するようにし、ヘイズが除去された画像が更に鮮明で、自然であるようにすることができる。なお、モデルは敵対的生成ネットワークモデルに基づき、交互に反復するようなトレーニングを行なうので、同時にクリエイター生成画像の品質、安定性及び収束速度を向上させることができる。
更に明らかに本発明の実例または従来の技術における技術策を示すために、次に実例に用いられる図について簡単に説明する。明らかに、次の説明における図は本発明の実例だけであり、本分野の普通の技術者が創造的労働をしないで、これらの図により他の図を取得することもできる。
本発明の実施形態のプロセスチャートである。 本発明の実施形態における弁別器ネットワークの構成図である。 本発明の実施形態におけるクリエイターネットワークの構成図である。
次に本発明の実例における図と合わせて本発明の実例における技術策について明らかに、完全に説明する。明らかに、説明関係の実例は本発明の実例の一部だけであり、その全部ではない。本分野の普通の技術者が本発明における実例に基づいていかなる創造的労働をしないで取得する他の実例のすべては本発明の請求項に属する。
フィーチャーピラミッドは効率的なフィーチャー抽出方法であり、畳み込みニューラルネットワーク (Convolutional Neural Networks、CNN)モデル内部の低所から高所への複数の緯度のフィーチャーエクスプレスにより単一のイメージビューで画像に対する多次元のフィーチャーエクスプレスを生成し、画像ピラミッドと比べて大いにモデル計算及びメモリに対する需要を降下させた上、有効に普通のCNNモデルにエネルギーを与え、更に強い表現力のフィーチャーマップを生成できる。そこで、可以ネットワークモデルのフィーチャー抽出力を向上させると同時に、メモリ及び計算量に対する需要を降下させ、更に高い品質と効率の画像ヘイズ除去に達成できる。
敵対的生成ネットワーク (Generative Adversarial Networks、GAN)モデルは敵対的過程により生成モデルを推定するフレームであり、クリエイターG及び弁別器Dというモデルの2つを含む。その中、クリエイターGは実際のサンプルデータの分布から新規データスペースに映射し、できる限りターゲット関数との誤差が小さくなるようにして弁別器を欺くようにする。弁別器Dは実際のデータ及びクリエイターGの生成データを入力し、努力して真と偽を判別し、両者が互いに対戦し、最終にナッシュ均衡に達成する。GANはモデルデザインが簡単であり、複雑な関数モデルの事前デザインが不要であり、トレーニング関数の逆伝播により、有効な損失関数に拘束されて更に効率的にネットワークモデルをトレーニングし、顕著にネットワークの収束性及び安定性を向上させることができる。
上記の通りに、本発明の実例はフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法を提供したものである。図1は本発明の実例のプロセスチャートである。本発明はフィーチャーピラミッドを融合した敵対的生成ネットワークに基づいて達成するものであり、下記のステップを含む。
ステップ1. RESIDE-BateにおけるOTS及びITSデータセットを取得してトレーニングサンプルにおけるヘイズのない画像セットにする。
ステップ2.大気散乱モデルでステップ1におけるヘイズのない画像セットに濃度の異なるヘイズを入れてヘイズのある画像セットを取得する。ヘイズのある画像セット及びヘイズのない画像セットにおける画像を224＊224の画像ブロックにせん断し、HDF5のデータ形式に転換して記憶する。それぞれ比例に従ってヘイズのある画像の画像ブロック及びヘイズのない画像の画像ブロックを2つの部分に分かれ、その一部をトレーニングサンプル、他の一部を試験サンプルにしてトレーニングに用いる。この過程に、様々な天気条件下のヘイズの濃度に適応するために、ヘイズの異なる濃度下の画像フィーチャーをラーンし、ヘイズのない画像セット合成濃度10、20、30、40、50、60、70、80、90、100％のヘイズに対してヘイズのある画像セットを取得する。ヘイズのある画像及びヘイズのない画像の計2000対を選出してトレーニングサンプル、画像の残り400対を試験サンプルにする。
ステップ3.ステップ2におけるHDF5形式のトレーニングサンプルを入力し、フィーチャーピラミッドを融合した敵対的生成ネットワークのデザインを行う。このフィーチャーピラミッドを融合した敵対的生成ネットワークは畳み込みニューラルネットワークからなる弁別器ネットワーク及びフィーチャーピラミッドを融合したクリエイターネットワークを含む。
図2は本発明の実例における弁別器ネットワークの構成図であり、弁別器ネットワークが左から右へ順序に接続された畳み込みアクティベーションレイヤーの1つ、互いに直列に接続されているコーディングユニットの抽出フィーチャレイヤーの5つ、完全に接続されたレイヤーの1つ及びsigmoidアクティベーションレイヤーの1つを含む。
畳み込みアクティベーションレイヤーはConv畳み込みレイヤーの1つ及びReluアクティベーションレイヤーの1つを含み、畳み込みレイヤーはチャンネル数が32、ステップサイズが2、畳み込みカーネルはサイズが3×3であり、アクティベーションレイヤーはリニアユニットのReLUアクティベーション関数の修正により畳み込みの出力成績F1に対する非線形回帰を行ってＦ１ ＊を取得し、式が下記のとおりである。
Figure 2022548712000004
各コーディングユニットの抽出フィーチャレイヤーは順序に直列接続されたConv畳み込みレイヤーの1つ、バッチノーマライゼーションレイヤー(BatchNorm)の1つ及びアクティベーションレイヤー(Relu) の1つを含み、コーディングユニットの抽出フィーチャレイヤーの5つが順序に直列接続され、それと対応する畳み込みレイヤーパラメータを表1に示す。
表1：コーディングユニットの抽出フィーチャレイヤーで対応する畳み込みレイヤーパラメータ
Figure 2022548712000005
コーディングユニットの抽出フィーチャレイヤーでフィーチャー抽出を行ってから1×1の畳み込み(Conv)を行ってチャンネル数を削減して計算量を削減するようにする。完全に接続されたレイヤー(FC)はこの畳み込みレイヤーの後にあるので、抽出されたフィーチャーを区分してsigmoid関数で区分成績に対する正規化を行い、式が下記のとおりである。
Figure 2022548712000006
この関数により完全に接続されたレイヤーの成績を[0、1]に拘束でき、出力成績が弁別器により入力された画像が実際のヘイズのない画像であると判定する確率となる。
図3は本発明の実例におけるクリエイターネットワークの構成図であり、クリエイターネットワークが順序に接続されたフィーチャーから抽出されたバックボーンネットワークの1つ、フィーチャーが融合したフィーチャーピラミッドの1つ及びフィーチャーの復元された画像再構成ネットワークの1つを含む。
バックボーンネットワークはプレトレーニングされたMobileNet-V2ネットワークであり、スケールの異なるフィーチャーマップの4つを出力し、それぞれMobileNet-V2ネットワークの「block_2_project」、「block_4_project」、「block_7_project」及び「block_11_project」レイヤーの出力画像であり、対応する寸法それぞれ112×112、56×56、28×28及び17×17である。ネットワークの計算量を削減するために、フィーチャーマップにフィーチャーピラミッドを入力してフィーチャー融合を行うまで1×1の畳み込みを行う。
フィーチャーピラミッドは1層目の操作が畳み込みカーネルが256×3×3、ステップサイズが1である畳み込みレイヤーの1つ及びReluのアクティベーションレイヤーの1つについてアクティベーションされたフィーチャーマップを出力することである。それからのレイヤー別の操作は順序に2×2の逆畳み込みレイヤーの1つ、入力フィーチャーマップの元素との加算レイヤーの1つ、畳み込みカーネルが256×3×3、ステップサイズが1である畳み込みレイヤーの1つ及びReluのアクティベーションレイヤーの1つであり、アクティベーションされたフィーチャーマップが出力フィーチャーマップとなる。
画像再構成ネットワークは逆畳み込みによりフィーチャーピラミッドに出力されたフィーチャーマップを一致するサイズのものに調整してからフィーチャーマップに連結し、畳み込み、アクティベーション、逆畳み込み及び元素の加算と融合により画像の再構成を行い、最後の再構成レイヤーで選択を行ってオリジナルヘイズのある画像を入力して加算操作を行って画像の低頻度細部を強化するようにする。
ステップ4.損失関数を構成する。
弁別器ネットワークは損失関数が下式で算出できる。
Figure 2022548712000007
 式の中、
LD：弁別器ネットワークの損失関数
D（Ii G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
D（Ii ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
クリエイターネットワークの損失関数は損失関数が下式で算出できる。
Figure 2022548712000008
 式の中、
LG：クリエイターネットワークの損失関数
Ii G：クリエイターが生成したi番目の生成画像
Ii ＊：トレーニングサンプルセットにおけるi番目のタグ付き画像
C：画像のチャンネル
W×H：画像の寸法
Ｄ（Ｉi G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
Ｄ（Ｉi ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
λ：重み係数の重み、0.01
この式で、右1項目の
Figure 2022548712000009
は画像の像素損失を計算するための内容損失項目、右2項目の
Figure 2022548712000010
は敵対的ネットワークにおける損失を計算するための敵対的損失項目である。
これによると、弁別器の損失がサンプル画像及びタグ付き画像に対する判定確率の差であり、クリエイターの効果が望ましくなる場合、判定器が画像がヘイズ除去画像であるか、ヘイズのない画像であるかを判断できない。即ち、判定器は損失関数の成績が0.5である。この状態でクリエイターは実際と最も近く、ヘイズのない画像の成績を生じることができる。
トレーニングを行う場合、先ずWji及びBjiに対する初期化を行う。ネットワークモデルはレイヤー別の重みについて平均値0及び標準偏差0.001のガウス分布によりランダムにフィルターの重み、即ちWjiにおける各重さに対する初期化を行う。初期化Bjiは0である。
初期化を完成してから確率的勾配降下アルゴリズム及びにより重みWji及びバイアスBjiを更新する。
Figure 2022548712000011
 式の中、
α：ラーン速度
上記の2式における偏導関数は逆伝播アルゴリズムにより算出できる。即ち、損失関数式について下式によりそれぞれWjiの偏導▽ｗＬ及びBjiの偏導▽ＢＬを算出する。
Figure 2022548712000012
Figure 2022548712000013
その中、逆伝播アルゴリズムは主なステップが次の通りである。
ステップ1.決まったサンプルを前へ伝え、ネットワークの神経ノードの全部の出力値を取得する。
ステップ2.総誤差を算出し、総誤差によりある神経ノードについて偏導を求め、最終出力に対する当該神経ノードの影響を取得できる。
よって、ネットワークモデルトレーニングは完全なステップが次のとおりである。
ネットワークの各レイヤーのパラメータに対する初期化を行う。
ａ：各サンプルiについて、逆伝播により▽ｗＬ及び▽ＢＬを求める。
ｂ：パラメータWji及びBjiの変化量を数式９により求める。その中、初期化の▽ｗ及び▽Ｂはともに0である。
Figure 2022548712000014
ｃ：パラメータの更新を完成する。
ｄ：更新されたWji及びBjiを損失関数に代入し、判定器の損失関数が0.5となるまで重複してステップa）～d）を実行する。
更新が完了すると、ステップ5に入る。
ステップ5.新規ヘイズのある画像をトレーニングされたフィーチャーピラミッドを融合した敵対的生成ネットワークのクリエイターに入力し、取得した出力成績をこの新規ヘイズのある画像のヘイズが除去されたヘイズのない画像にする。
本説明書の各実例についてステップバイステップ方式で説明し、各実例で主に他の実例との違いについて説明し、各実例で同じ、または類似的分について互いに参考して十分である。
ここで具体的な例で本発明の原理及び実施方法について説明した。実例に関する上記の説明が本発明の方法及びその中核的な考え方に関する理解について支援を提供するものだけであり、本分野の普通の技術者が本発明の考え方に基づいて実例及び応用範囲で変更を行うことがあるので、本説明書の内容は本発明を制限するためのものであると理解されてはいけない。

Claims (10)

  1. 下記のステップを含むことを特徴とするフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法、ヘイズのある画像を事前にトレーニングされた敵対的生成ネットワークに入力し、ヘイズのある画像と対応するヘイズのない画像を取得し、前記の敵対的生成ネットワークはクリエイターネットワーク及び弁別器ネットワークを含み、敵対的生成ネットワークのクリエイターネットワークにフィーチャーピラミッドが融合されること。
  2. 敵対的生成ネットワークの弁別器ネットワークは順序に接続された畳み込みアクティベーションレイヤー、コーディングユニットの抽出フィーチャレイヤー、完全に接続されたレイヤー及びsigmoidアクティベーションレイヤーを含み、前記のコーディングユニットの抽出フィーチャレイヤーは少なくとも2箇所あり、互いに直列に接続されていることを特徴とする請求項1に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
  3. 前記のクリエイターネットワークが順序に接続されたバックボーンネットワーク、フィーチャーピラミッド及び画像再構成ネットワーク、前記のヘイズのない画像の取得方法が、下記のステップを含むことを特徴とする請求項1に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法、
    前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うこと、
    前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うこと、
    前記の画像再構成ネットワーク融合されたフィーチャーに対する復元を行い、ヘイズのある画像と対応するヘイズのない画像を出力すること。
  4. 前記のバックボーンネットワークが事前にトレーニングされたMobileNet-V2ネットワークであることを特徴とする請求項3に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法であり、前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行い、MobileNet-V2ネットワーク入力されたヘイズのある画像に応答すること、及び少なくとも2箇所あり、スケールの異なるフィーチャーマップを出力することを含む。
  5. 前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うまでMobileNet-V2ネットワークに出力されたフィーチャーマップに対する1＊1畳み込み演算を行うことも含むことを特徴とする請求項4に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
  6. 敵対的生成ネットワークのトレーニング方法は下記のステップを含むことを特徴とする請求項1に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法、
    プリフェッチされたヘイズのある画像の少なくとも2枚及びそれと対応するヘイズのない画像に基づいてトレーニングサンプルセットを構成すること、
    弁別器ネットワークの損失関数→0.5、クリエイターネットワークの損失関数→0をターゲットにし、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、トレーニングされた敵対的生成ネットワークを取得するまでそれに対するトレーニングを行うこと。
  7. 弁別器ネットワークの損失関数は式が下記のとおりであることを特徴とする請求項6に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法、
    Figure 2022548712000015
    式の中、
    LD：弁別器ネットワークの損失関数
    D（Ii G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
    D（Ii ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
    N：トレーニングサンプルセットにおける画像の対数。
  8. クリエイターネットワークの損失関数は、式が下記のとおりであることを特徴とする請求項6に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法、
    Figure 2022548712000016
    式の中、
    LG：クリエイターネットワークの損失関数
    Ii G：クリエイターが生成したi番目の生成画像
    Ii ＊：トレーニングサンプルセットにおけるi番目のタグ付き画像
    C：画像のチャンネル
    W×H：画像の寸法
    Ｄ（Ｉi G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
    Ｄ（Ｉi ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
    N：トレーニングサンプ
    λ：重み係数の重み。
  9. 前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対するトレーニングを行うまで平均値0及び標準偏差0.001のガウス分布によりランダムに重みWjiにおける各重さの初期化を行い、バイアスBjiが0となるようにすることを特徴とする請求項6に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
  10. 前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対する下記のものを含むトレーニングを行うことを特徴とする請求項9に記載のフィーチャーピラミッドを融合する敵対的生成ネットワークによる画像ヘイズ除去方法、
    トレーニング成績に応じて重みWji及びバイアスBjiを更新すること、
    更新された重みWji及びバイアスBjiを損失関数に代入すること、
    弁別器ネットワークの損失関数が0.5となり、トレーニングされた敵対的生成ネットワークを取得するまで重みWji及びバイアスBjiに関する更新及び代入の過程が重複するようにする。
JP2022517497A 2020-06-10 2021-02-23 フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 Active JP7379787B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010522038.0 2020-06-10
CN202010522038.0A CN111738942A (zh) 2020-06-10 2020-06-10 一种融合特征金字塔的生成对抗网络图像去雾方法
PCT/CN2021/077354 WO2021248938A1 (zh) 2020-06-10 2021-02-23 一种融合特征金字塔的生成对抗网络图像去雾方法

Publications (2)

Publication Number Publication Date
JP2022548712A true JP2022548712A (ja) 2022-11-21
JP7379787B2 JP7379787B2 (ja) 2023-11-15

Family

ID=72648639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517497A Active JP7379787B2 (ja) 2020-06-10 2021-02-23 フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法

Country Status (3)

Country Link
JP (1) JP7379787B2 (ja)
CN (1) CN111738942A (ja)
WO (1) WO2021248938A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112509001A (zh) * 2020-11-24 2021-03-16 河南工业大学 一种多尺度和多特征融合的特征金字塔网络盲复原方法
CN113066019A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像增强方法及相关装置
CN113052068B (zh) * 2021-03-24 2024-04-30 深圳威富云数科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113240589A (zh) * 2021-04-01 2021-08-10 重庆兆光科技股份有限公司 一种多尺度特征融合的图像去雾方法及系统
JP2023527615A (ja) * 2021-04-28 2023-06-30 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 目標対象検出モデルのトレーニング方法、目標対象検出方法、機器、電子機器、記憶媒体及びコンピュータプログラム
CN113658051B (zh) * 2021-06-25 2023-10-13 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统
CN113256541B (zh) * 2021-07-16 2021-09-17 四川泓宝润业工程技术有限公司 利用机器学习对钻井平台监控画面进行去水雾的方法
CN113554872B (zh) * 2021-07-19 2022-09-20 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113554571B (zh) * 2021-08-11 2023-07-04 广东工业大学 一种图像去雾方法、装置、电子设备及存储介质
CN114267432B (zh) * 2022-03-01 2022-05-24 中南大学 生成对抗网络交替训练及医疗图像分类方法、装置、介质
CN114742719B (zh) * 2022-03-14 2024-04-16 西北大学 一种基于多特征融合的端到端图像去雾方法
CN114758276A (zh) * 2022-04-13 2022-07-15 南京师范大学 一种基于复合连接超网络的金属增减材制造熔池检测方法
CN114972076B (zh) * 2022-05-06 2024-04-26 华中科技大学 一种基于分层多块卷积神经网络的图像去雾方法
CN114821239A (zh) * 2022-05-10 2022-07-29 安徽农业大学 一种有雾环境下的病虫害检测方法
CN114912707B (zh) * 2022-06-01 2023-06-30 郑州大学 一种基于多模态融合的空气质量预测系统及预测方法
CN115293992B (zh) * 2022-09-28 2022-12-30 泉州装备制造研究所 基于无监督权重深度模型的偏振图像去雾方法及装置
CN115471429B (zh) * 2022-10-31 2023-04-07 航天宏图信息技术股份有限公司 一种基于全局颜色迁移的遥感影像去雾方法和装置
CN116645298B (zh) * 2023-07-26 2024-01-26 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570363A (zh) * 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
US20190392596A1 (en) * 2018-06-22 2019-12-26 X Development Llc Detection and replacement of transient obstructions from high elevation digital images
JP2020042760A (ja) * 2018-09-07 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN109272455B (zh) * 2018-05-17 2021-05-04 西安电子科技大学 基于弱监督生成对抗网络的图像去雾方法
CN109410135B (zh) * 2018-10-02 2022-03-18 复旦大学 一种对抗学习型图像去雾、加雾方法
CN111105336A (zh) * 2019-12-04 2020-05-05 山东浪潮人工智能研究院有限公司 一种基于对抗网络的图像去水印的方法
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112070688A (zh) * 2020-08-20 2020-12-11 西安理工大学 一种基于上下文引导生成对抗网络的单幅图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190392596A1 (en) * 2018-06-22 2019-12-26 X Development Llc Detection and replacement of transient obstructions from high elevation digital images
JP2020042760A (ja) * 2018-09-07 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置、及びプログラム
CN110570363A (zh) * 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法

Also Published As

Publication number Publication date
WO2021248938A1 (zh) 2021-12-16
JP7379787B2 (ja) 2023-11-15
CN111738942A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
JP2022548712A (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN111091045B (zh) 一种基于时空注意力机制的手语识别方法
JP6980958B1 (ja) 深層学習に基づく農村地域分けゴミ識別方法
Li et al. Single image dehazing via conditional generative adversarial network
CN110110624B (zh) 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN112149459B (zh) 一种基于交叉注意力机制的视频显著性物体检测模型及系统
CN106855996B (zh) 一种基于卷积神经网络的灰阶图像着色方法及其装置
CN110895795A (zh) 改进的语义图像修补模型方法
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
US20220414838A1 (en) Image dehazing method and system based on cyclegan
CN112766062A (zh) 一种基于双流深度神经网络的人体行为识别方法
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
CN115330620A (zh) 一种基于循环生成对抗网络的图像去雾方法
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN112633100B (zh) 行为识别方法、装置、电子设备和存储介质
CN113888505A (zh) 一种基于语义分割的自然场景文本检测方法
CN113139431A (zh) 基于深监督学习的图像显著性目标检测方法
Yang et al. RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
CN116416161A (zh) 一种改进生成对抗网络的图像修复方法
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
Fang et al. A New Method of Image Restoration Technology Based on WGAN.
CN112464916B (zh) 人脸识别方法及其模型训练方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7379787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150