JP2022522242A - 画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 - Google Patents

画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP2022522242A
JP2022522242A JP2021565759A JP2021565759A JP2022522242A JP 2022522242 A JP2022522242 A JP 2022522242A JP 2021565759 A JP2021565759 A JP 2021565759A JP 2021565759 A JP2021565759 A JP 2021565759A JP 2022522242 A JP2022522242 A JP 2022522242A
Authority
JP
Japan
Prior art keywords
target
shielded
image
shielding
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021565759A
Other languages
English (en)
Inventor
▲じゃん▼▲曉▼航
潘新▲鋼▼
戴勃
▲劉▼子▲緯▼
林▲達▼▲華▼
▲呂▼健▲勤▼
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2022522242A publication Critical patent/JP2022522242A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体を提供し、目標画像内の隣接する対象間の遮蔽関係に基づいて被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別し、その後、選別によって得られた目標遮蔽対象のモーダルマスク、被遮蔽目標対象のモーダルマスクに基づいて被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するものであり、目標対象内の被遮蔽部分を復元可能である。【選択図】図１

Description

（関連出願の相互参照）
本開示は出願番号２０２０１００９３４０３．０であり、出願日が２０２０年２月１４日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全てが参照によって本開示に組み込まれる。
本開示はコンピュータ技術、画像処理の分野に関し、特に画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体に関する。
自然シーン理解に基づく技術は主に物体検出、インスタンスセグメンテーション、セマンティックセグメンテーション等を含み、これらの技術は対象の遮蔽されていない領域のみを考慮に入れたが、対象間の遮蔽関係に見落としている。例えばインスタンスセグメンテーションは、与えられた画像から対象の分類及び位置を検出し、次に対象の可視部分の領域を分割する。しかし、複数の対象間の遮蔽関係、対象の被遮蔽部分の輪郭及び画像情報は、シーン理解における重要な構成部分であり、該部分を無視すればシーン理解の技術的効果が制限され、その応用効果にも影響が及ぼされる。
これに鑑みて、本開示は少なくとも画像処理方法及び装置を提供する。
第１態様において、本開示は画像処理方法を提供し、目標画像を取得するステップと、前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するステップであって、隣接する目標対象のモーダルマスクが繋がっているステップと、前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するステップと、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップであって、１つの目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含むステップと、を含む。
本開示の第１態様は、目標画像内の隣接する対象間の遮蔽関係に基づいて被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別し、その後、選別によって得られた目標遮蔽対象のモーダルマスク、被遮蔽目標対象のモーダルマスクに基づき、被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するものであり、目標対象内の被遮蔽部分を復元可能である。
可能な一実施形態において、前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するステップは、前記目標画像から隣接する対象対を選別するステップであって、１つの隣接する対象対は２つの隣接する目標対象を含むステップと、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するステップと、各目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、前記隣接する対象対内の２つの隣接する目標対象の間の遮蔽関係を特定するステップと、を含む。
上記実施形態は、目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、２つの隣接する対象間の遮蔽関係を比較的正確に特定可能であり、特定された遮蔽関係の正確度を向上可能である。
可能な一実施形態において、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するステップは、第１ニューラルネットワークにより実行される。
上記実施形態は、訓練後の第１ニューラルネットワークにより、ある目標対象の、隣接する対象対内の別の目標対象に遮蔽された輪郭を特定するものであり、画像補完の自動化度、効率及び正確度が向上する。
可能な一実施形態において、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するステップは、前記目標遮蔽対象のモーダルマスクの和集合を特定するステップと、前記第１ニューラルネットワークにより、前記和集合に対応する画像、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するステップと、を含む。
上記実施形態は、訓練後の第１ニューラルネットワークにより、目標遮蔽対象の合併後のモーダルマスク及び被遮蔽目標対象のモーダルマスクに基づき、被遮蔽目標対象の被遮蔽部分に対して輪郭補完を行うものであり、画像補完の正確度を向上可能である。
可能な一実施形態において、第１ニューラルネットワークは、第１サンプル対象のモーダルマスクに対応する第１サンプル画像及び第２サンプル対象のモーダルマスクに対応する第２サンプル画像を取得するステップと、前記第２サンプル画像で前記第１サンプル画像の一部を遮蔽し、前記第１サンプル画像、前記第２サンプル画像、遮蔽後の第１サンプル画像を訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の前記第２サンプル画像に遮蔽された輪郭を補完する目的で調整するステップと、を用いて訓練して得られる。
上記実施形態は、１つのサンプル画像で別のサンプル画像の一部を遮蔽し、遮蔽後の上記別のサンプル画像及び遮蔽前の上記別のサンプル画像に基づき、上記別の対象の被遮蔽部分の輪郭情報を特定するための第１ニューラルネットワークを訓練し、訓練は遮蔽された上記別の対象に対して輪郭補完を行うことを目的とすることで、訓練によって得られた第１ニューラルネットワークの画像補完時の正確度を保証可能であり、また、第１ニューラルネットワークを訓練する際に、手動でラベル付けされたサンプル画像を利用しておらず、手動でラベル付けされたサンプル画像により生じる正確度が保証できないという欠点が解消される。
可能な一実施形態において、前記第１ニューラルネットワークを訓練するステップはさらに、
前記第１サンプル画像で前記第２サンプル画像の一部を遮蔽し、前記第１サンプル画像、遮蔽後の第２サンプル画像を前記訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の輪郭が変わらないことを保持する目的で調整するステップを含む。
上記実施形態は、第１ニューラルネットワークを訓練する際に、さらに上記別のサンプル画像で上記１つのサンプル画像を部分的に遮蔽し、遮蔽後の上記１つのサンプル画像及び上記別のサンプル画像に基づいて第１ニューラルネットワークを訓練し、訓練は上記別のサンプル画像の輪郭が変わらないことを保持することを目的とすることで、訓練によって得られた第１ニューラルネットワークの画像補完時の正確度をさらに向上可能である。
可能な一実施形態において、前記遮蔽関係に基づき、前記目標画像から前記被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するステップは、前記遮蔽関係に基づき、前記目標画像から、前記被遮蔽目標対象との遮蔽関係を有する少なくとも１つの階層の目標遮蔽対象を選別するステップであって、第１階層の目標遮蔽対象は前記被遮蔽目標対象を遮蔽し、他の階層の目標遮蔽対象は１個前の階層の目標遮蔽対象を遮蔽するステップを含む。
上記実施形態は、被遮蔽目標対象との直接遮蔽関係を有する第１階層の目標遮蔽対象を選別するだけでなく、１個前の階層の目標遮蔽対象との遮蔽関係を有する他の階層の目標遮蔽対象を選別することも可能であり、選別によって得られた目標遮蔽対象の完全性が向上し、それにより、画像補完の正確度向上につながる。
可能な一実施形態において、前記目標画像から、前記被遮蔽目標対象との遮蔽関係を有する少なくとも１つの階層の目標遮蔽対象を選別するステップは、前記遮蔽関係に基づき、前記目標画像に対応する遮蔽方向図を作成するステップであって、前記遮蔽方向図内のノードは他の目標対象と隣接する目標対象であり、前記遮蔽方向図内のリンクは、２つの隣接する目標対象内の１つの目標対象から被遮蔽目標対象へ指すステップと、前記遮蔽方向図に基づき、１つの被遮蔽目標対象に対応するノードの全階層の親ノードを特定し、特定された各階層の親ノードに対応する目標対象を前記被遮蔽目標対象の各階層の目標遮蔽対象とするステップと、を含む。
上記実施形態は、遮蔽方向図により、被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を特定するものであり、選別によって得られた目標遮蔽対象の完全性が向上し、選別の効率が向上する。
可能な一実施形態において、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップは、前記被遮蔽目標対象のモーダルマスク及び前記被遮蔽目標対象の被遮蔽部分の輪郭情報に基づき、前記被遮蔽目標対象の非モーダルマスクを特定するステップであって、１つの目標対象の非モーダルマスクは、該目標対象の他の目標対象に遮蔽されていないマスク情報及び該目標対象の他の目標対象に遮蔽されたマスク情報を含むステップと、前記目標遮蔽対象のモーダルマスクの和集合を特定するステップと、前記和集合と前記被遮蔽目標対象の非モーダルマスクとの第１共通部分を特定するステップと、前記第１共通部分に対応する画像で部分目標画像を遮蔽するステップであって、前記部分目標画像は、前記目標画像において前記被遮蔽目標対象を中心として、前記被遮蔽目標対象周囲の画素点を含む部分であるステップと、前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップと、を含む。
上記実施形態は、被遮蔽目標対象の非モーダルマスクと目標遮蔽対象の合併後のモーダルマスクとの共通部分で部分目標画像を部分的に遮蔽するもの、つまり、目標対象の被遮蔽領域で部分目標画像を部分的に遮蔽するものである。上記目標対象の被遮蔽領域及び遮蔽後の前記部分目標画像に基づき、特定された画素点の画像情報の正確度を向上可能である。
可能な一実施形態において、前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップは、第２ニューラルネットワークにより実行される。
上記実施形態は、訓練した第２ニューラルネットワークにより、ある目標対象の、隣接する目標対象対の別の目標対象に遮蔽された輪郭内における画素点の画像情報を特定するものであり、画像コンテンツ補完の自動化度、効率及び正確度が向上する。
可能な一実施形態において、前記第２ニューラルネットワークは、第３サンプル対象のモーダルマスクに対応する第３サンプル画像及び第４サンプル対象のモーダルマスクに対応する第４サンプル画像を取得するステップと、前記第４サンプル画像で前記第３サンプル画像の一部を遮蔽した後、前記第３サンプル対象のモーダルマスクと前記第４サンプル対象のモーダルマスクとの第２共通部分を特定するステップと、遮蔽された前記第３サンプル画像、前記第２共通部分に対応する画像に基づき、訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するステップと、用いて訓練して得られる。
上記実施形態は、１つのサンプル画像で別のサンプル画像の一部を遮蔽し、遮蔽後の２つのサンプル対象のモーダルマスクの共通部分に対応する画像に基づき、目標対象の被遮蔽部分の輪郭内における画素点の画像情報を特定するための第２ニューラルネットワークを訓練するものであり、訓練によって得られた第２ニューラルネットワークの画素点の画像情報特定時の正確度を保証可能であり、また、第２ニューラルネットワークを訓練する際に、手動でラベル付けされたサンプル画像を利用しておらず、手動でラベル付けされたサンプル画像により生じる正確度が保証できないという欠点が解消される。
可能な一実施形態において、遮蔽された前記第３サンプル画像、前記第２共通部分に対応する画像に基づき、訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するステップは、前記第３サンプル対象に対応する第５サンプル画像を取得するステップであって、前記第５サンプル画像は前記第３サンプル対象を画像の中心とした画像であり、該画像は前記第３サンプル対象及び前記第３サンプル対象周囲の画素点を含むステップと、前記第２共通部分に対応する画像で前記第５サンプル画像の一部を遮蔽するステップと、遮蔽された前記第３サンプル画像及び遮蔽された前記第５サンプル画像に基づき、前記訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するステップと、を含む。
上記実施形態は、２つのサンプル対象のモーダルマスクの共通部分に対応する画像に遮蔽された第５サンプル画像、及びその１つのサンプル対象に対応する画像に遮蔽された第３サンプル画像に基づいて第２ニューラルネットワークを訓練し、訓練は前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完することを目的とすることで、訓練によって得られた第２ニューラルネットワークの画素点の画像情報特定時の正確度を向上可能である。
第２態様において、本開示は画像処理装置を提供し、目標画像を取得するように構成される画像取得モジュールと、前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するように構成される遮蔽特定モジュールであって、隣接する目標対象のモーダルマスクが繋がっている遮蔽特定モジュールと、前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するように構成される対象選別モジュールと、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するように構成されるマスク処理モジュールであって、１つの目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含むマスク処理モジュールと、を含む。
可能な一実施形態において、前記遮蔽特定モジュールは、前記目標画像から隣接する対象対を選別し、ここで１つの隣接する対象対は２つの隣接する目標対象を含み、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完し、各目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、前記隣接する対象対内の２つの隣接する目標対象の間の遮蔽関係を特定するように構成される。
可能な一実施形態において、前記遮蔽特定モジュールは、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完する場合、第１ニューラルネットワークにより、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するように構成される。
可能な一実施形態において、前記マスク処理モジュールは、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定する場合、前記目標遮蔽対象のモーダルマスクの和集合を特定し、前記第１ニューラルネットワークにより、前記和集合に対応する画像、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するように構成される。
可能な一実施形態において、上記画像処理装置は前記第１ニューラルネットワークを訓練するネットワーク訓練モジュールをさらに含み、前記ネットワーク訓練モジュールは、第１サンプル対象のモーダルマスクに対応する第１サンプル画像及び第２サンプル対象のモーダルマスクに対応する第２サンプル画像を取得し、前記第２サンプル画像で前記第１サンプル画像の一部を遮蔽し、前記第１サンプル画像、前記第２サンプル画像、遮蔽後の第１サンプル画像を訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の前記第２サンプル画像に遮蔽された輪郭を補完する目的で調整するように構成される。
可能な一実施形態において、前記マスク処理モジュールは、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定する場合、前記被遮蔽目標対象のモーダルマスク及び前記被遮蔽目標対象の被遮蔽部分の輪郭情報に基づき、前記被遮蔽目標対象の非モーダルマスクを特定し、ここで１つの目標対象の非モーダルマスクは、該目標対象の他の目標対象に遮蔽されていないマスク情報及び該目標対象の他の目標対象に遮蔽されたマスク情報を含み、前記目標遮蔽対象のモーダルマスクの和集合を特定し、前記和集合と前記被遮蔽目標対象の非モーダルマスクとの第１共通部分を特定し、前記第１共通部分に対応する画像で部分目標画像を遮蔽し、ここで前記部分目標画像は、前記目標画像において前記被遮蔽目標対象を中心として、前記被遮蔽目標対象周囲の画素点を含む部分であり、前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するように構成される。
第３態様において、本開示はプロセッサ、メモリ及びバスを含む電子機器を提供し、前記メモリには前記プロセッサにより実行可能な機械可読命令が記憶されており、電子機器が稼働する時、前記プロセッサと前記メモリはバスを介して通信し、前記機械可読命令は前記プロセッサにより実行されると上記画像処理方法のステップを実行する。
第４態様において、本開示は、プロセッサにより実行されると上記画像処理方法のステップを実行するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供する。
本開示の上記装置、電子機器、及びコンピュータ可読記憶媒体は、少なくとも、本開示の上記方法のいずれかの態様又はいずれかの態様のいずれかの実施形態の技術的特徴に実質的に同一又は類似の技術的特徴を含むため、上記装置、電子機器、及びコンピュータ可読記憶媒体の効果の記述については、上記方法の内容における効果の記述を参照すればよく、ここでは説明を省略する。
本開示の実施例により提供される画像処理方法のフローチャートを示す。 本開示の実施例により提供される別の画像処理方法において遮蔽関係を特定するフローチャートを示す。 本開示の実施例により提供されるさらに別の画像処理方法における遮蔽方向図の構成図を示す。 本開示の実施例により提供されるさらに別の画像処理方法において被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するフローチャートを示す。 本開示の実施例により提供されるさらに別の画像処理方法において第２ニューラルネットワークを訓練するフローチャートを示す。 本開示の実施例により提供されるさらに別の画像処理方法において第１ニューラルネットワークを訓練するフローチャートを示す。 本開示の実施例により提供されるさらに別の画像処理方法において第２ニューラルネットワークを訓練するフローチャートを示す。 本開示の実施例により提供される画像処理装置の構成図を示す。 本開示の実施例により提供される電子機器の構成図を示す。
本開示の実施例の技術的解決手段をより明確に説明するために、以下において、実施例に用いられる図面について簡単に説明するが、以下の図面は単に本開示の実施例の一部を示すものであるため、範囲を限定するものと見なされるべきではないと理解すべきであり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の関連する図面に想到し得る。
本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下に本開示の実施例における図面を参照し、本開示の実施例における技術的解決手段を明確に、完全に説明し、なお、本開示の図面は単に説明及び記述のためのものに過ぎず、本開示の保護範囲を限定するものではないことを理解すべきである。また、例示的な図面は実物の比例通りに描いたものではないことを理解すべきである。本開示で使用されるフローチャートは本開示のいくつかの実施例により実施される動作を示す。なお、フローチャートにおける動作はこの順に実施されなくてもよく、論理的な文脈におかれていないステップは逆順に又は同時に実施されてもよいことを理解すべきである。また、当業者であれば、本開示の内容の指示に基づき、フローチャートに１つ又は複数の他の動作を追加でき、又はフローチャートから１つ又は複数の動作を削除できる。
また、説明される実施例は本開示の実施例の一部に過ぎず、全ての実施例ではない。通常、一図面において記述され示される本開示の実施例のコンポーネントは様々な異なる構成で配置及び設計することができる。従って、図面において提供される本開示の実施例についての以下の詳細な説明は本開示で特許請求している範囲を限定するものではなく、単に本開示の選定された実施例を示すものに過ぎない。本開示の実施例に基づき、当業者が創造的な労力を要することなく得られた他の全ての実施例は、いずれも本開示の保護範囲に属する。
説明すべきこととして、本開示の実施例において用語「含む」が用いられ、それはその主張する特徴の存在を示すためのものであるが、他の特徴の追加を除外するものではない。
自然シーン理解の技術において、複数の対象間の遮蔽関係、対象の被遮蔽部分の輪郭及び画像情報をどのように特定するか、及び特定されたそれらの正確度をどのように向上させるかという技術的課題に対して、本開示は画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体を提供する。本開示は目標画像内の隣接する目標対象の間の遮蔽関係に基づいて被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別し、その後、選別によって得られた目標遮蔽対象のモーダルマスク、被遮蔽目標対象のモーダルマスクに基づき、被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するものであり、目標対象内の被遮蔽部分を復元可能である。
以下において、具体的な実施例により本開示の画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体を説明する。
本開示の実施例は画像処理方法を提供し、該方法は被遮蔽目標対象を補完する端末機器に用いられる。具体的には、図１に示すように、本開示の実施例により提供される画像処理方法は以下のステップを含む。
Ｓ１１０で、目標画像を取得する。
ここで、目標画像は少なくとも１つの被遮蔽目標対象を含む。目標画像は端末機器がそのカメラで撮影したものであってもよいし、端末機器が他の機器から受信したものであってもよく、本開示は目標画像の撮影機器を限定しない。
Ｓ１２０で、前記目標画像内の隣接する目標対象の間の遮蔽関係を特定する。
ここで、隣接する目標対象のモーダルマスクが繋がっている。まず、目標画像から全ての隣接する目標対象を選別する。隣接する目標対象は遮蔽関係を有する目標対象と解してもよい。選別によって隣接する目標対象を得てから、２つの目標対象の間の遮蔽関係を特定する。
いくつかの可能な実施形態において、互いに遮蔽された目標対象を従来の画像処理方法で選別してもよい。
いくつかの可能な実施形態において、まず、被遮蔽目標対象を補完してから、補完後の目標対象に基づいて遮蔽関係を特定してもよい。
Ｓ１３０で、前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別する。
上記特定された遮蔽関係に基づき、被遮蔽目標対象に対して対応する目標遮蔽対象を選別し、上記目標遮蔽対象は該被遮蔽目標対象を直接遮蔽する目標対象を含むだけでなく、該被遮蔽目標対象を直接遮蔽する上記目標対象を遮蔽する目標対象も含み、つまり、目標遮蔽対象は異なる階層の遮蔽対象に分けることができ、第１階層の目標遮蔽対象は該被遮蔽目標対象を直接遮蔽する目標対象であり、他の階層の目標遮蔽対象は１個前の階層の目標遮蔽対象を遮蔽する。
ここで、説明すべきこととして、選別される目標遮蔽対象は少なくとも１つの階層の遮蔽対象を含む。
Ｓ１４０で、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定する。
ここで、１つの目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含む。目標対象の被遮蔽輪郭の情報及び被遮蔽輪郭内における画素点の画像情報を特定する前に、まず、上記被遮蔽目標対象のモーダルマスク、目標遮蔽対象のモーダルマスクを特定してから、特定された各モーダルマスクに基づいて上記輪郭情報及び画素点の画像情報を特定する必要がある。
上記モーダルマスクは被遮蔽目標対象内の未遮蔽部分のマスク情報、即ち、被遮蔽目標対象内の未遮蔽部分に対応する各画素点が属する物体の情報を含み、具体的には、被遮蔽目標対象内の未遮蔽部分に対応する各画素点が属する物体の識別子ＩＤを含んでもよい。いくつかの可能な実施形態において、予め訓練したニューラルネットワークにより、前記目標遮蔽対象のモーダルマスク、被遮蔽目標対象のモーダルマスクに基づき、被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定してもよい。
上記実施例は、目標対象の目標遮蔽対象に基づき、特定された遮蔽部分の輪郭情報及び画像情報の正確度を効果的に向上可能である。
いくつかの実施例において、図２に示すように、前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するステップは、具体的に以下のステップにより実現してもよい。
Ｓ２１０で、前記目標画像から隣接する対象対を選別する。
ここで、１つの隣接する対象対は２つの隣接する目標対象を含む。目標画像内の隣接する目標対象を特定し、特定された隣接する目標対象が２つより多い場合、例えば、３つの目標対象のいずれも他の２つの目標対象に隣接すると特定した場合、任意の２つの目標対象を組み合わせて、合計３つの隣接する対象対を得る必要がある。
Ｓ２２０で、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完する。
ここで、予め訓練した第１ニューラルネットワークにより、隣接する対象対の各目標対象を処理し、前記隣接する対象対の各目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭を得るようにしてもよい。
いくつかの可能な実施形態において、隣接する対象対の各目標対象のモーダルマスクに対応する画像を訓練後の第１ニューラルネットワークに入力して対象補完を行う。
訓練後の第１ニューラルネットワークにより、ある目標対象の、隣接する対象対内の別の目標対象に遮蔽された輪郭を特定することで、画像輪郭補完の自動化度、効率及び正確度が向上する。
説明すべきこととして、本ステップで対象を補完する（即ち、対象の被遮蔽の輪郭を特定する）際に、遮蔽された対象を対象にして補完してもよいし、遮蔽されていない対象を対象にして補完してもよく、異なるのは、遮蔽された対象を対象にして補完する場合、被遮蔽部分の輪郭が特定でき、即ち、特定された輪郭が空ではなく、遮蔽されていない対象を対象にして補完する場合、いかなる輪郭も特定されず、即ち、特定された輪郭が空であり、対象の元の輪郭が変わらないように保持する。
Ｓ２３０で、各目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、前記隣接する対象対内の２つの隣接する目標対象の間の遮蔽関係を特定する。
いくつかの可能な実施形態において、このステップでは目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、該目標対象の面積増加分を特定し、その後、２つの隣接する目標対象の面積増加分を比較し、面積増加分のより多い目標対象が面積増加分のより少ない目標対象に遮蔽されることを特定し、即ち、２つの隣接する目標対象の間の遮蔽関係が特定できている。
上記実施例は、目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、２つの隣接する目標対象の間の遮蔽関係を比較的正確に特定可能であり、特定された遮蔽関係の正確度が向上する。
関連技術において、目標対象に対して輪郭補完を行う際に、一般的には、まず手動でラベル付けされたサンプル画像でニューラルネットワークを訓練し、次に訓練されたニューラルネットワークにより目標対象の輪郭を補完する。サンプル画像の手動ラベル付けでは、人的資源が浪費され、且つ作業者の経験上の不確実性により、ラベル付けの正確度が低くなるという欠点が生じ、それにより訓練によって得られたニューラルネットワークの検出正確性に影響が及ぼされる。
該技術的課題に対して、本開示は以下の実施例を提供し、それによって、目標対象に対して輪郭補完を行うように構成されるニューラルネットワークを手動でラベル付けされたサンプル画像で訓練するのを回避する。
第１サンプル対象のモーダルマスクに対応する第１サンプル画像及び第２サンプル対象のモーダルマスクに対応する第２サンプル画像を取得し、前記第２サンプル画像で前記第１サンプル画像の一部を遮蔽し、前記第１サンプル画像、前記第２サンプル画像、遮蔽後の第１サンプル画像を訓練対象である第１ニューラルネットワークに入力し、訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の前記第２サンプル画像に遮蔽された輪郭を補完する目的で調整する。
上記では第２サンプル画像で第１サンプル画像の一部を遮蔽してもよいし、第２サンプル画像で第１サンプル画像の一部を消去してもよい。
上記実施例は、訓練は遮蔽された第１サンプル画像に対して輪郭補完を行うこと、即ち、遮蔽された第１サンプル画像を遮蔽前の第１サンプル画像として復元することを目的とすることで、訓練によって得られた第１ニューラルネットワークの輪郭補完時の正確度を保証可能である。また、上記実施例は第１ニューラルネットワークを訓練する際に、手動でラベル付けされたサンプル画像を利用しておらず、手動でラベル付けされたサンプル画像により生じる正確度が保証できないという欠点が解消される。
上記実施例で訓練によって得られた第１ニューラルネットワークは被遮蔽目標対象の輪郭を補完可能であり、遮蔽されていない対象に対して、第１ニューラルネットワークは処理に際して、その元の輪郭が変わらないことを保持すべきである。従って、第１ニューラルネットワークを訓練するステップはさらに以下のステップを含むべきである。
前記第１サンプル画像で前記第２サンプル画像の一部を遮蔽し、前記第１サンプル画像、遮蔽後の第２サンプル画像を訓練対象である第１ニューラルネットワークに入力し、訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の輪郭が変わらないことを保持する目的で調整する。
上記では、訓練は上記第１サンプル画像に対して輪郭補完を行わないこと、即ち、第１サンプル画像の元の輪郭が変わらないように保持することを目的とすることで、上記ステップにより訓練して得られた第１ニューラルネットワークはその画像輪郭補完時の正確度がさらに向上可能である。
いくつかの可能な実施形態において、図６に示すように、第１サンプル画像はＡであり、第２サンプル画像はＢであり、第２サンプル画像が第１サンプル画像を遮蔽した後、遮蔽された第１サンプル画像はＡ＼Ｂと表され、第１サンプル画像、第２サンプル画像、遮蔽後の第１サンプル画像を訓練対象である第１ニューラルネットワークＰＣＮｅｔ－Ｍに入力し、第１ニューラルネットワークのネットワークパラメータを、遮蔽後の第１サンプル画像を遮蔽前の第１サンプル画像として復元する目的で調整する。
また、図６に示すように、第１サンプル画像が第２サンプル画像を遮蔽した後、遮蔽された第２サンプル画像はＢ＼Ａと表され、遮蔽後の第２サンプル画像及び第１サンプル画像を訓練対象である第１ニューラルネットワークＰＣＮｅｔ－Ｍに入力し、第１ニューラルネットワークのネットワークパラメータを、第１サンプル画像の輪郭が変わらないことを保持する目的で調整する。
いくつかの実施例において、遮蔽関係に基づき、前記目標画像から前記被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するステップは、具体的に以下のステップにより実現してもよい。
前記遮蔽関係に基づき、前記目標画像から、前記被遮蔽目標対象との遮蔽関係を有する少なくとも１つの階層の目標遮蔽対象を選別し、ここで第１階層の目標遮蔽対象は前記被遮蔽目標対象を遮蔽し、他の階層の目標遮蔽対象は１個前の階層の目標遮蔽対象を遮蔽する。
上記実施形態は、被遮蔽目標対象との直接遮蔽関係を有する第１階層の目標遮蔽対象を選別するだけでなく、１個前の階層の目標遮蔽対象との遮蔽関係を有する他の階層の目標遮蔽対象を選別することも可能であり、選別によって得られた目標遮蔽対象の完全性が向上し、それにより、画像補完の正確度向上につながる。
前記目標画像から、前記被遮蔽目標対象との遮蔽関係を有する少なくとも１つの階層の目標遮蔽対象を選別するステップは、具体的に以下のステップにより実現してもよい。
特定された遮蔽関係に基づき、前記目標画像に対応する遮蔽方向図を作成し、ここで前記遮蔽方向図内のノードは他の目標対象に隣接する目標対象であり、前記遮蔽方向図内のリンクは２つの隣接する目標対象のうちの目標対象から被遮蔽目標対象へ指し、前記遮蔽方向図に基づき、１つの被遮蔽目標対象に対応するノードの全階層の親ノードを特定し、特定された各階層の親ノードに対応する目標対象を前記被遮蔽目標対象の各階層の目標遮蔽対象とする。
いくつかの可能な実施形態において、作成された遮蔽方向図は図３に示されるとおりであり、図３において、ノード５はノード２に遮蔽され、ノード１はノード５、ノード２、ノード４及びノード３に遮蔽される。目標対象がノード１である場合、特定されたノード１の親ノードはノード５、ノード２、ノード４、ノード３を含む。目標対象がノード７である場合、特定されたノード７の親ノードはノード１、ノード３、ノード５、ノード２、ノード４を含む。
また、作成された遮蔽方向図には他のノードとの遮蔽関係を有さないノードが含まれてもよく、例えば、ノード８及びノード９は他のノードとの遮蔽関係を有さない。
上記実施例は遮蔽方向図により目標対象との遮蔽関係を有する目標遮蔽対象を特定するものであり、選別によって得られた目標遮蔽対象の完全性が向上し、選別の効率が向上する。
いくつかの実施例において、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するステップは、具体的に以下のステップにより特定してもよい。
前記目標遮蔽対象のモーダルマスクの和集合を特定し、前記第１ニューラルネットワークにより、前記和集合に対応する画像、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定する。
第１ニューラルネットワークは対象のモーダルマスクに基づいて被遮蔽対象に対して輪郭補完を行うために用いられ、即ち、被遮蔽対象の被遮蔽部分の輪郭情報を特定するために用いられる。従って、ここで、第１ニューラルネットワークにより、目標対象に対応する目標遮蔽対象のモーダルマスク及び被遮蔽目標対象のモーダルマスクに基づき、目標対象の被遮蔽部分の輪郭情報を特定することができる。
上記実施例は訓練後の第１ニューラルネットワークにより、目標遮蔽対象の合併後のモーダルマスク及び被遮蔽目標対象のモーダルマスクに基づいて目標対象の被遮蔽部分を補完するものであり、画像補完の正確度を向上可能である。
目標対象の被遮蔽部分の輪郭情報を得てから、目標対象のモーダルマスクに基づき、目標対象の非モーダルマスクを特定可能である。ここで、非モーダルマスクは目標対象のモーダルマスクと目標対象の被遮蔽部分の輪郭情報とを合併することで得られ、目標対象の未遮蔽部分の輪郭を含むだけでなく、目標対象の被遮蔽部分の輪郭も含む。
いくつかの実施例において、図４に示すように、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップは、具体的に以下のステップにより実現してもよい。
Ｓ４１０で、前記被遮蔽目標対象のモーダルマスク及び前記被遮蔽目標対象の被遮蔽部分の輪郭情報に基づき、前記被遮蔽目標対象の非モーダルマスクを特定する。
ここで、１つの目標対象の非モーダルマスクは、該目標対象の他の目標対象に遮蔽されていないマスク情報及び該目標対象の他の目標対象に遮蔽されたマスク情報を含む。具体的には被遮蔽目標対象のモーダルマスクと被遮蔽目標対象の被遮蔽部分の輪郭情報とを合併し、目標対象の非モーダルマスクを得るようにしてもよい。得られた非モーダルマスクは目標対象の未遮蔽部分の輪郭を含むだけでなく、目標対象の被遮蔽部分の輪郭も含む。
Ｓ４２０で、前記目標遮蔽対象のモーダルマスクの和集合を特定し、前記和集合と前記被遮蔽目標対象の非モーダルマスクとの第１共通部分を特定する。
ここで、被遮蔽目標対象の非モーダルマスク及び上記和集合で特定された第１共通部分は、被遮蔽目標対象の被遮蔽領域の各画素点に対応するマスク情報である。
Ｓ４３０で、前記第１共通部分に対応する画像で部分目標画像を遮蔽する。
ここで、前記部分目標画像は、前記目標画像において前記被遮蔽目標対象を中心として、前記被遮蔽目標対象周囲の画素点を含む部分である。該部分目標画像は被遮蔽目標対象の被遮蔽領域で遮蔽される。
Ｓ４４０で、前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定する。
ここで、前記第１共通部分に対応する画像及び遮蔽後の部分目標画像を予め訓練した第２ニューラルネットワークに入力し、入力された画像を前記訓練した第２ニューラルネットワークによって処理し、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を得るようにしてもよい。
このステップでは訓練した第２ニューラルネットワークにより、ある目標対象の、隣接する対象対内の別の目標対象に遮蔽された輪郭内における画素点の画像情報を特定しており、画像補完の自動化度、効率及び正確度を向上可能である。
上記実施例は上記被遮蔽目標対象の被遮蔽領域及び目標対象に対応する遮蔽後の画像により、特定された画素点の画像情報の正確度を向上可能である。
関連技術において、画素点の画像情報を特定する際に、一般的には、まず手動でラベル付けされたサンプル画像でニューラルネットワークを訓練し、次に訓練されたニューラルネットワークにより画素点の画像情報を特定する。サンプル画像の手動ラベル付けでは、人的資源が浪費され、且つ作業者の経験上の不確実性により、ラベル付けの正確度が低くなるという欠点が生じ、それにより訓練によって得られたニューラルネットワークの検出正確性に影響が及ぼされる。
該技術的課題に対して、本開示は、図５に示すように、以下の実施例を提供し、それによって、ニューラルネットワークを手動でラベル付けされたサンプル画像で訓練するのを回避する。
Ｓ５１０で、第３サンプル対象のモーダルマスクに対応する第３サンプル画像及び第４サンプル対象のモーダルマスクに対応する第４サンプル画像を取得する。
Ｓ５２０で、前記第４サンプル画像で前記第３サンプル画像の一部を遮蔽する。
ここで、第４サンプル画像で第３サンプル画像の一部を遮蔽してもよいし、第４サンプル画像で第３サンプル画像の一部を消去してもよい。
Ｓ５３０で、第４サンプル画像で前記第３サンプル画像の一部を遮蔽した後、前記第３サンプル対象のモーダルマスクと前記第４サンプル対象のモーダルマスクとの第２共通部分を特定する。
Ｓ５４０で、遮蔽された第３サンプル画像、第２共通部分に対応する画像に基づき、訓練対象である第２ニューラルネットワークのネットワークパラメータを、第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整する。
いくつかの可能な実施形態において、このステップは以下のサブステップにより実現してもよい。
サブステップ１で、前記第３サンプル対象に対応する第５サンプル画像を取得し、ここで前記第５サンプル画像は前記第３サンプル対象を画像の中心とした画像であり、該画像は前記第３サンプル対象及び前記第３サンプル対象周囲の画素点を含む。
サブステップ２で、前記第２共通部分に対応する画像で前記第５サンプル画像の一部を遮蔽する。
サブステップ３で、遮蔽された前記第３サンプル画像及び遮蔽された前記第５サンプル画像に基づき、訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整する。
このステップでは、対応する画像に遮蔽された上記第５サンプル画像、及びその１つのサンプル対象に対応する画像に遮蔽された第３サンプル画像で第２ニューラルネットワークを訓練し、訓練は前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完することを目的とすることで、訓練によって得られた第２ニューラルネットワークの画素点の画像情報特定時の正確度を向上可能である。
説明すべきは、第２共通部分は第３サンプル画像の第４サンプル画像に消去又は遮蔽された部分であり、第２共通部分で第５サンプル画像を遮蔽する際に、実質的に遮蔽されたのは第５サンプル画像内の、第３サンプル画像の第４サンプル画像に消去された部分であり、従って、第２ニューラルネットワークは、第５サンプル画像を復元する目的で訓練されると言ってもよいし、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で訓練されると言ってもよい。
遮蔽された前記第３サンプル画像は復元すべき対象が第３サンプル画像に対応する対象であることをニューラルネットワークに指示するという役割を果たす。
上記実施例は、１つのサンプル画像で別のサンプル画像を部分的に遮蔽し、遮蔽後の２つのサンプル対象のモーダルマスクの共通部分に対応する画像に基づき、対象の被遮蔽部分の輪郭内における画素点の画像情報を特定するための第２ニューラルネットワークを訓練するものであり、訓練によって得られた第２ニューラルネットワークの画素点情報特定時の正確度を保証可能であり、また、第２ニューラルネットワークを訓練する際に、手動でラベル付けされたサンプル画像を利用しておらず、手動でラベル付けされたサンプル画像により生じる正確度が保証できないという欠点が解消される。
いくつかの可能な実施形態において、図７に示すように、第３サンプル画像は前の第１サンプル画像Ａを用いることができ、第４サンプル画像は前の第２サンプル画像Ｂを用いることができ、第４サンプル画像が第３サンプル画像を遮蔽した後、遮蔽された第３サンプル画像はＡ＼Ｂと表される。遮蔽後、第３サンプル対象のモーダルマスクと前記第４サンプル対象のモーダルマスクとの第２共通部分は
Figure 2022522242000002
と表されてもよく、遮蔽された前記第３サンプル画像及び遮蔽された前記第５サンプル画像を訓練対象である第２ニューラルネットワークＰＣＮｅｔ－Ｃに入力し、第２ニューラルネットワークのネットワークパラメータを、遮蔽後の第５サンプル画像を遮蔽前の第５サンプル画像として復元する目的で調整する。
説明すべきこととして、第１ニューラルネットワーク及び第２ニューラルネットワークを訓練するステップは、画像処理方法を実行する端末機器により実行されてもよいし、ニューラルネットワークを訓練する単一の又は２つの機器により実行されてもよい。
上記実施例における画像処理方法は、遮蔽関係、目標対象の被遮蔽部分の輪郭情報及び被遮蔽輪郭内における画素点の画像情報を手動でラベル付けしたサンプル画像で、対応するニューラルネットワークを訓練する必要がなく、人的資源を節約するとともに、手動ラベル付けによる不確実性を解消する。
上記実施例は訓練後の第１ニューラルネットワークにより、目標画像内の被遮蔽目標対象を補完し、目標対象の補完前の輪郭及び補完後の輪郭に基づいて目標画像内の隣接する目標対象の間の遮蔽関係を予測することが可能である。また、上記実施例は遮蔽関係に基づいて被遮蔽目標対象に対応する目標遮蔽対象を特定し、さらに特定された目標遮蔽対象のモーダルマスク、被遮蔽目標対象のモーダルマスクに基づいて被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定することが可能である。上記実施例は手動でラベル付けされた画像で訓練されたネットワークにより遮蔽部分の輪郭情報及び画像情報を特定するのを回避するとともに、被遮蔽目標対象の目標遮蔽対象に基づいて被遮蔽目標対象の被遮蔽部分を補完することが可能であり、特定された遮蔽部分の輪郭情報及び画像情報の正確度が効果的に向上する。
上記画像処理方法に対応して、本開示は画像処理装置をさらに提供し、該装置は被遮蔽対象を補完する端末機器に用いられ、且つ各モジュールが上記方法と同じである方法のステップを実現し及び同じ有益な効果を奏することが可能であるため、その同じ部分については、本開示は繰り返し説明しない。
具体的には、図８に示すように、本開示により提供される画像処理装置は、
目標画像を取得するように構成される画像取得モジュール８１０と、
前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するように構成される遮蔽特定モジュール８２０であって、隣接する目標対象のモーダルマスクが繋がっている遮蔽特定モジュールと、
前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するように構成される対象選別モジュール８３０と、
前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するように構成されるマスク処理モジュール８４０であって、１つの目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含むマスク処理モジュールと、を含んでもよい。
いくつかの実施例において、前記遮蔽特定モジュール８２０は、
前記目標画像から隣接する対象対を選別し、ここで１つの隣接する対象対は２つの隣接する目標対象を含み、
前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完し、
各目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、前記隣接する対象対内の２つの隣接する目標対象の間の遮蔽関係を特定するように構成される。
いくつかの実施例において、前記遮蔽特定モジュール８２０は、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完する場合、
第１ニューラルネットワークにより、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するように構成される。
いくつかの実施例において、前記マスク処理モジュール８４０は、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定する場合、
前記目標遮蔽対象のモーダルマスクの和集合を特定し、
前記第１ニューラルネットワークにより、前記和集合に対応する画像、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するように構成される。
いくつかの実施例において、上記画像処理装置は前記第１ニューラルネットワークを訓練するネットワーク訓練モジュール８５０をさらに含み、前記ネットワーク訓練モジュール８５０は、
第１サンプル対象のモーダルマスクに対応する第１サンプル画像及び第２サンプル対象のモーダルマスクに対応する第２サンプル画像を取得し、
前記第２サンプル画像で前記第１サンプル画像の一部を遮蔽し、前記第１サンプル画像、前記第２サンプル画像、遮蔽後の第１サンプル画像を訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の前記第２サンプル画像に遮蔽された輪郭を補完する目的で調整するように構成される。
いくつかの実施例において、上記ネットワーク訓練モジュール８５０は、さらに、前記第１サンプル画像で前記第２サンプル画像の一部を遮蔽し、前記第１サンプル画像、遮蔽後の第２サンプル画像を前記訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の輪郭が変わらないことを保持する目的で調整するように構成される。
いくつかの実施例において、対象選別モジュール８３０は、前記遮蔽関係に基づき、前記目標画像から、前記被遮蔽目標対象との遮蔽関係を有する少なくとも１つの階層の目標遮蔽対象を選別するように構成され、ここで第１階層の目標遮蔽対象は前記被遮蔽目標対象を遮蔽し、他の階層の目標遮蔽対象は１個前の階層の目標遮蔽対象を遮蔽する。
いくつかの実施例において、対象選別モジュール８３０は、さらに、前記遮蔽関係に基づき、前記目標画像に対応する遮蔽方向図を作成し、ここで前記遮蔽方向図内のノードは他の目標対象と隣接する目標対象であり、前記遮蔽方向図内のリンクは、２つの隣接する目標対象内の１つの目標対象から被遮蔽目標対象へ指し、前記遮蔽方向図に基づき、１つの被遮蔽目標対象に対応するノードの全階層の親ノードを特定し、特定された各階層の親ノードに対応する目標対象を、前記被遮蔽目標対象の各階層の目標遮蔽対象とするように構成される。
いくつかの実施例において、前記マスク処理モジュール８４０は、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定する場合、
前記被遮蔽目標対象のモーダルマスク及び前記被遮蔽目標対象の被遮蔽部分の輪郭情報に基づき、前記被遮蔽目標対象の非モーダルマスクを特定し、ここで１つの目標対象の非モーダルマスクは、該目標対象の他の目標対象に遮蔽されていないマスク情報及び該目標対象の他の目標対象に遮蔽されたマスク情報を含み、
前記目標遮蔽対象のモーダルマスクの和集合を特定し、
前記和集合と前記被遮蔽目標対象の非モーダルマスクとの第１共通部分を特定し、
前記第１共通部分に対応する画像で部分目標画像を遮蔽し、ここで前記部分目標画像は、前記目標画像において前記被遮蔽目標対象を中心として、前記被遮蔽目標対象周囲の画素点を含む部分であり、
前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するように構成される。
いくつかの実施例において、前記ネットワーク訓練モジュール８５０は、さらに、第２ニューラルネットワークを訓練するように構成され、前記第２ニューラルネットワークはさらに、前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するために用いられる。
いくつかの実施例において、前記ネットワーク訓練モジュール８５０は、さらに、第３サンプル対象のモーダルマスクに対応する第３サンプル画像及び第４サンプル対象のモーダルマスクに対応する第４サンプル画像を取得し、前記第４サンプル画像で前記第３サンプル画像の一部を遮蔽した後、前記第３サンプル対象のモーダルマスクと前記第４サンプル対象のモーダルマスクとの第２共通部分を特定し、遮蔽された前記第３サンプル画像、前記第２共通部分に対応する画像に基づき、訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するように構成される。
いくつかの実施例において、前記ネットワーク訓練モジュール８５０は、さらに、前記第３サンプル対象に対応する第５サンプル画像を取得し、ここで前記第５サンプル画像は前記第３サンプル対象を画像の中心とした画像であり、前記第３サンプル対象及び前記第３サンプル対象周囲の画素点を含み、前記第２共通部分に対応する画像で前記第５サンプル画像の一部を遮蔽し、遮蔽された前記第３サンプル画像及び遮蔽された前記第５サンプル画像に基づき、前記訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するように構成される。
本開示の実施例は電子機器を開示し、図９に示すように、プロセッサ９０１、メモリ９０２及びバス９０３を含み、前記メモリ９０２には前記プロセッサ９０１により実行可能な機械可読命令が記憶されており、電子機器が稼働する時、前記プロセッサ９０１と前記メモリ９０２はバス９０３を介して通信する。
前記機械可読命令は前記プロセッサ９０１により実行されると以下の画像処理方法のステップを実行する。
目標画像を取得し、
前記目標画像内の隣接する目標対象の間の遮蔽関係を特定し、ここで隣接する目標対象のモーダルマスクが繋がっており、
前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別し、
前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定し、ここで目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含む。
それに加えて、機械可読命令はプロセッサ９０１により実行されると、上記方法部分に記載のいずれかの実施形態における方法の内容を実行してもよく、ここでは繰り返し説明しない。
本開示の実施例は上記方法及び装置に対応するコンピュータプログラム製品をさらに提供し、プログラムコードが記憶されているコンピュータ可読記憶媒体を含み、プログラムコードに含まれる命令は上記方法の実施例における方法を実行するために用いることができ、具体的な実施形態は方法の実施例を参照すればよく、ここでは説明を省略する。
各実施例についての上記説明は各実施例間の違いを強調する傾向にあり、その同一又は類似の部分については相互に参照すればよく、説明を簡潔にするために、本明細書では繰り返し説明しない。
当業者であれば明確に理解できるように、説明の便宜及び簡潔上、上記で説明したシステム及び装置の具体的な動作プロセスは、方法の実施例の対応するプロセスを参照すればよく、本開示では繰り返し説明しない。本開示により提供されるいくつかの実施例において、開示されたシステム、装置及び方法は、他の形態で実現できることを理解すべきである。以上で説明した装置の実施例は例示的なものに過ぎず、例えば、前記モジュールの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、また例えば、複数のモジュール又はコンポーネントは別のシステムに組み合わせ又は統合してもよく、又は一部の特徴を無視したり実行しなかったりしてもよい。一方、図示又は説明した相互の結合、又は直接結合、又は通信接続は、いくつかの通信インタフェース、装置又はモジュールを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。
分離部材として説明した前記モジュールは物理的に分離されたものであってもなくてもよく、モジュールとして示した部材は物理ユニットであってもなくてもよく、一箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。
また、本開示の各実施例における各機能ユニットは１つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、２つ又は２つ以上で１つのユニットに統合されてもよい。
前記機能がソフトウェア機能ユニットの形式で実現され且つ独立した製品として販売又は使用される場合、プロセッサにより実行可能な非揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような見解をもとに、本開示の技術的解決手段は実質的に又は従来技術に寄与する部分又は該技術的解決手段の一部がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい）に本開示の各実施例に記載の方法の全て又は一部のステップを実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。
以上は本開示の具体的な実施形態に過ぎず、本開示の保護範囲がそれに限定されるものでなく、本開示に記載された技術範囲内に当業者が容易に想到し得る変化又は取り替えは、全て本開示の保護範囲に含まれる。従って、本開示の保護範囲は請求項の保護範囲に準ずるものとする。
本開示は画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体を提供し、目標画像を取得し、前記目標画像内の隣接する目標対象の間の遮蔽関係を特定し、ここで隣接する目標対象のモーダルマスクが繋がっており、前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別し、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定し、ここで目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含む。
本開示の上記装置、電子機器、及びコンピュータ可読記憶媒体は、少なくとも、本開示の上記方法のいずれかの態様又はいずれかの態様のいずれかの実施形態の技術的特徴に実質的に同一又は類似の技術的特徴を含むため、上記装置、電子機器、及びコンピュータ可読記憶媒体の効果の記述については、上記方法の内容における効果の記述を参照すればよく、ここでは説明を省略する。
例えば、本願は以下の項目を提供する。
（項目１）
目標画像を取得するステップと、
前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するステップであって、隣接する目標対象のモーダルマスクが繋がっているステップと、
前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するステップと、
前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップであって、１つの目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含むステップと、を含む、画像処理方法。
（項目２）
前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するステップは、
前記目標画像から隣接する対象対を選別するステップであって、１つの隣接する対象対は２つの隣接する目標対象を含むステップと、
前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するステップと、
各目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、前記隣接する対象対内の２つの隣接する目標対象の間の遮蔽関係を特定するステップと、を含む、
項目１に記載の画像処理方法。
（項目３）
前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するステップは、第１ニューラルネットワークにより実行される、
項目２に記載の画像処理方法。
（項目４）
前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するステップは、
前記目標遮蔽対象のモーダルマスクの和集合を特定するステップと、
前記第１ニューラルネットワークにより、前記和集合に対応する画像、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するステップと、を含む、
項目３に記載の画像処理方法。
（項目５）
前記第１ニューラルネットワークは、
第１サンプル対象のモーダルマスクに対応する第１サンプル画像及び第２サンプル対象のモーダルマスクに対応する第２サンプル画像を取得するステップと、
前記第２サンプル画像で前記第１サンプル画像の一部を遮蔽し、前記第１サンプル画像、前記第２サンプル画像、遮蔽後の第１サンプル画像を訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の前記第２サンプル画像に遮蔽された輪郭を補完する目的で調整するステップと、を用いて訓練して得られる、
項目３に記載の画像処理方法。
（項目６）
前記第１ニューラルネットワークの訓練は、さらに、
前記第１サンプル画像で前記第２サンプル画像の一部を遮蔽し、前記第１サンプル画像、遮蔽後の第２サンプル画像を前記訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の輪郭が変わらないことを保持する目的で調整するステップを含む、
項目５に記載の画像処理方法。
（項目７）
前記遮蔽関係に基づき、前記目標画像から前記被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するステップは、
前記遮蔽関係に基づき、前記目標画像から、前記被遮蔽目標対象との遮蔽関係を有する少なくとも１つの階層の目標遮蔽対象を選別するステップであって、第１階層の目標遮蔽対象は前記被遮蔽目標対象を遮蔽し、他の階層の目標遮蔽対象は１個前の階層の目標遮蔽対象を遮蔽するステップを含む、
項目１に記載の画像処理方法。
（項目８）
前記目標画像から、前記被遮蔽目標対象との遮蔽関係を有する少なくとも１つの階層の目標遮蔽対象を選別するステップは、
前記遮蔽関係に基づき、前記目標画像に対応する遮蔽方向図を作成するステップであって、前記遮蔽方向図内のノードは他の目標対象と隣接する目標対象であり、前記遮蔽方向図内のリンクは、２つの隣接する目標対象内の１つの目標対象から被遮蔽目標対象へ指すステップと、
前記遮蔽方向図に基づき、１つの被遮蔽目標対象に対応するノードの全階層の親ノードを特定するステップと、
特定された各階層の親ノードに対応する目標対象を、前記被遮蔽目標対象の各階層の目標遮蔽対象とするステップと、を含む、
項目７に記載の画像処理方法。
（項目９）
前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップは、
前記被遮蔽目標対象のモーダルマスク及び前記被遮蔽目標対象の被遮蔽部分の輪郭情報に基づき、前記被遮蔽目標対象の非モーダルマスクを特定するステップであって、１つの目標対象の非モーダルマスクは、該目標対象の他の目標対象に遮蔽されていないマスク情報及び該目標対象の他の目標対象に遮蔽されたマスク情報を含むステップと、
前記目標遮蔽対象のモーダルマスクの和集合を特定するステップと、
前記和集合と前記被遮蔽目標対象の非モーダルマスクとの第１共通部分を特定するステップと、
前記第１共通部分に対応する画像で部分目標画像を遮蔽するステップであって、前記部分目標画像は、前記目標画像において前記被遮蔽目標対象を中心として、前記被遮蔽目標対象周囲の画素点を含む部分であるステップと、
前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップと、を含む、
項目１に記載の画像処理方法。
（項目１０）
前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップは、第２ニューラルネットワークにより実行される、
項目９に記載の画像処理方法。
（項目１１）
前記第２ニューラルネットワークは、
第３サンプル対象のモーダルマスクに対応する第３サンプル画像及び第４サンプル対象のモーダルマスクに対応する第４サンプル画像を取得するステップと、
前記第４サンプル画像で前記第３サンプル画像の一部を遮蔽した後、前記第３サンプル対象のモーダルマスクと前記第４サンプル対象のモーダルマスクとの第２共通部分を特定するステップと、
遮蔽された前記第３サンプル画像、前記第２共通部分に対応する画像に基づき、訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するステップと、を用いて訓練して得られる、
項目１０に記載の画像処理方法。
（項目１２）
遮蔽された前記第３サンプル画像、前記第２共通部分に対応する画像に基づき、訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するステップは、
前記第３サンプル対象に対応する第５サンプル画像を取得するステップであって、前記第５サンプル画像は前記第３サンプル対象を画像の中心とした画像であり、前記第３サンプル対象及び前記第３サンプル対象周囲の画素点を含むステップと、
前記第２共通部分に対応する画像で前記第５サンプル画像の一部を遮蔽するステップと、
遮蔽された前記第３サンプル画像及び遮蔽された前記第５サンプル画像に基づき、前記訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するステップと、を含む、
項目１１に記載の画像処理方法。
（項目１３）
目標画像を取得するように構成される画像取得モジュールと、
前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するように構成される遮蔽特定モジュールであって、隣接する目標対象のモーダルマスクが繋がっている遮蔽特定モジュールと、
前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するように構成される対象選別モジュールと、
前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するように構成されるマスク処理モジュールであって、１つの目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含むマスク処理モジュールと、を含む、画像処理装置。
（項目１４）
前記遮蔽特定モジュールは、
前記目標画像から隣接する対象対を選別し、１つの隣接する対象対は２つの隣接する目標対象を含み、
前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完し、
各目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、前記隣接する対象対内の２つの隣接する目標対象の間の遮蔽関係を特定するように構成される、
項目１３に記載の画像処理装置。
（項目１５）
前記遮蔽特定モジュールは、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完する場合、
第１ニューラルネットワークにより、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するように構成される、
項目１４に記載の画像処理装置。
（項目１６）
前記マスク処理モジュールは、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定する場合、
前記目標遮蔽対象のモーダルマスクの和集合を特定し、
前記第１ニューラルネットワークにより、前記和集合に対応する画像、前記被遮蔽目標対象のモーダルマスクに基づいて前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するように構成される、
項目１５に記載の画像処理装置。
（項目１７）
さらに、前記第１ニューラルネットワークを訓練するネットワーク訓練モジュールを含み、前記ネットワーク訓練モジュールは、
第１サンプル対象のモーダルマスクに対応する第１サンプル画像及び第２サンプル対象のモーダルマスクに対応する第２サンプル画像を取得し、
前記第２サンプル画像で前記第１サンプル画像の一部を遮蔽し、前記第１サンプル画像、前記第２サンプル画像、遮蔽後の第１サンプル画像を訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の前記第２サンプル画像に遮蔽された輪郭を補完する目的で調整するように構成される、
項目１５に記載の画像処理装置。
（項目１８）
前記マスク処理モジュールは、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定する場合、
前記被遮蔽目標対象のモーダルマスク及び前記被遮蔽目標対象の被遮蔽部分の輪郭情報に基づき、前記被遮蔽目標対象の非モーダルマスクを特定し、目標対象の非モーダルマスクは、該目標対象の他の目標対象に遮蔽されていないマスク情報及び該目標対象の他の目標対象に遮蔽されたマスク情報を含み、
前記目標遮蔽対象のモーダルマスクの和集合を特定し、
前記和集合と前記被遮蔽目標対象の非モーダルマスクとの第１共通部分を特定し、
前記第１共通部分に対応する画像で部分目標画像を遮蔽し、前記部分目標画像は、前記目標画像において前記被遮蔽目標対象を中心として、前記被遮蔽目標対象周囲の画素点を含む部分であり、
前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するように構成される、
項目１３に記載の画像処理装置。
（項目１９）
プロセッサ、記憶媒体及びバスを含む電子機器であって、前記記憶媒体には前記プロセッサにより実行可能な機械可読命令が記憶されており、前記電子機器が稼働する時、前記プロセッサと前記記憶媒体はバスを介して通信し、前記プロセッサは、項目１から１２のいずれか１項に記載の画像処理方法を実行するように前記機械可読命令を実行する、電子機器。
（項目２０）
プロセッサに、項目１から１２のいずれか１項に記載の画像処理方法を実行させるコンピュータプログラムが記憶されている、コンピュータ可読記憶媒体。

Claims (20)

  1. 目標画像を取得するステップと、
    前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するステップであって、隣接する目標対象のモーダルマスクが繋がっているステップと、
    前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するステップと、
    前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップであって、１つの目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含むステップと、を含む、画像処理方法。
  2. 前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するステップは、
    前記目標画像から隣接する対象対を選別するステップであって、１つの隣接する対象対は２つの隣接する目標対象を含むステップと、
    前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するステップと、
    各目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、前記隣接する対象対内の２つの隣接する目標対象の間の遮蔽関係を特定するステップと、を含む、
    請求項１に記載の画像処理方法。
  3. 前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するステップは、第１ニューラルネットワークにより実行される、
    請求項２に記載の画像処理方法。
  4. 前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するステップは、
    前記目標遮蔽対象のモーダルマスクの和集合を特定するステップと、
    前記第１ニューラルネットワークにより、前記和集合に対応する画像、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するステップと、を含む、
    請求項３に記載の画像処理方法。
  5. 前記第１ニューラルネットワークは、
    第１サンプル対象のモーダルマスクに対応する第１サンプル画像及び第２サンプル対象のモーダルマスクに対応する第２サンプル画像を取得するステップと、
    前記第２サンプル画像で前記第１サンプル画像の一部を遮蔽し、前記第１サンプル画像、前記第２サンプル画像、遮蔽後の第１サンプル画像を訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の前記第２サンプル画像に遮蔽された輪郭を補完する目的で調整するステップと、を用いて訓練して得られる、
    請求項３に記載の画像処理方法。
  6. 前記第１ニューラルネットワークの訓練は、さらに、
    前記第１サンプル画像で前記第２サンプル画像の一部を遮蔽し、前記第１サンプル画像、遮蔽後の第２サンプル画像を前記訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の輪郭が変わらないことを保持する目的で調整するステップを含む、
    請求項５に記載の画像処理方法。
  7. 前記遮蔽関係に基づき、前記目標画像から前記被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するステップは、
    前記遮蔽関係に基づき、前記目標画像から、前記被遮蔽目標対象との遮蔽関係を有する少なくとも１つの階層の目標遮蔽対象を選別するステップであって、第１階層の目標遮蔽対象は前記被遮蔽目標対象を遮蔽し、他の階層の目標遮蔽対象は１個前の階層の目標遮蔽対象を遮蔽するステップを含む、
    請求項１に記載の画像処理方法。
  8. 前記目標画像から、前記被遮蔽目標対象との遮蔽関係を有する少なくとも１つの階層の目標遮蔽対象を選別するステップは、
    前記遮蔽関係に基づき、前記目標画像に対応する遮蔽方向図を作成するステップであって、前記遮蔽方向図内のノードは他の目標対象と隣接する目標対象であり、前記遮蔽方向図内のリンクは、２つの隣接する目標対象内の１つの目標対象から被遮蔽目標対象へ指すステップと、
    前記遮蔽方向図に基づき、１つの被遮蔽目標対象に対応するノードの全階層の親ノードを特定するステップと、
    特定された各階層の親ノードに対応する目標対象を、前記被遮蔽目標対象の各階層の目標遮蔽対象とするステップと、を含む、
    請求項７に記載の画像処理方法。
  9. 前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップは、
    前記被遮蔽目標対象のモーダルマスク及び前記被遮蔽目標対象の被遮蔽部分の輪郭情報に基づき、前記被遮蔽目標対象の非モーダルマスクを特定するステップであって、１つの目標対象の非モーダルマスクは、該目標対象の他の目標対象に遮蔽されていないマスク情報及び該目標対象の他の目標対象に遮蔽されたマスク情報を含むステップと、
    前記目標遮蔽対象のモーダルマスクの和集合を特定するステップと、
    前記和集合と前記被遮蔽目標対象の非モーダルマスクとの第１共通部分を特定するステップと、
    前記第１共通部分に対応する画像で部分目標画像を遮蔽するステップであって、前記部分目標画像は、前記目標画像において前記被遮蔽目標対象を中心として、前記被遮蔽目標対象周囲の画素点を含む部分であるステップと、
    前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップと、を含む、
    請求項１に記載の画像処理方法。
  10. 前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するステップは、第２ニューラルネットワークにより実行される、
    請求項９に記載の画像処理方法。
  11. 前記第２ニューラルネットワークは、
    第３サンプル対象のモーダルマスクに対応する第３サンプル画像及び第４サンプル対象のモーダルマスクに対応する第４サンプル画像を取得するステップと、
    前記第４サンプル画像で前記第３サンプル画像の一部を遮蔽した後、前記第３サンプル対象のモーダルマスクと前記第４サンプル対象のモーダルマスクとの第２共通部分を特定するステップと、
    遮蔽された前記第３サンプル画像、前記第２共通部分に対応する画像に基づき、訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するステップと、を用いて訓練して得られる、
    請求項１０に記載の画像処理方法。
  12. 遮蔽された前記第３サンプル画像、前記第２共通部分に対応する画像に基づき、訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するステップは、
    前記第３サンプル対象に対応する第５サンプル画像を取得するステップであって、前記第５サンプル画像は前記第３サンプル対象を画像の中心とした画像であり、前記第３サンプル対象及び前記第３サンプル対象周囲の画素点を含むステップと、
    前記第２共通部分に対応する画像で前記第５サンプル画像の一部を遮蔽するステップと、
    遮蔽された前記第３サンプル画像及び遮蔽された前記第５サンプル画像に基づき、前記訓練対象である第２ニューラルネットワークのネットワークパラメータを、前記第３サンプル画像の被遮蔽部分の各画素点の画像情報を補完する目的で調整するステップと、を含む、
    請求項１１に記載の画像処理方法。
  13. 目標画像を取得するように構成される画像取得モジュールと、
    前記目標画像内の隣接する目標対象の間の遮蔽関係を特定するように構成される遮蔽特定モジュールであって、隣接する目標対象のモーダルマスクが繋がっている遮蔽特定モジュールと、
    前記目標画像内の任意の被遮蔽目標対象に対して、前記遮蔽関係に基づき、前記目標画像から該被遮蔽目標対象との遮蔽関係を有する目標遮蔽対象を選別するように構成される対象選別モジュールと、
    前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報及び被遮蔽部分の輪郭内における各画素点の画像情報を特定するように構成されるマスク処理モジュールであって、１つの目標対象のモーダルマスクは該目標対象の、他の目標対象に遮蔽されていないマスク情報を含むマスク処理モジュールと、を含む、画像処理装置。
  14. 前記遮蔽特定モジュールは、
    前記目標画像から隣接する対象対を選別し、１つの隣接する対象対は２つの隣接する目標対象を含み、
    前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完し、
    各目標対象の補完後の全体輪郭及び補完前の全体輪郭に基づき、前記隣接する対象対内の２つの隣接する目標対象の間の遮蔽関係を特定するように構成される、
    請求項１３に記載の画像処理装置。
  15. 前記遮蔽特定モジュールは、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完する場合、
    第１ニューラルネットワークにより、前記隣接する対象対内の一つの目標対象の、前記隣接する対象対内の別の目標対象に遮蔽された輪郭をそれぞれ補完するように構成される、
    請求項１４に記載の画像処理装置。
  16. 前記マスク処理モジュールは、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定する場合、
    前記目標遮蔽対象のモーダルマスクの和集合を特定し、
    前記第１ニューラルネットワークにより、前記和集合に対応する画像、前記被遮蔽目標対象のモーダルマスクに基づいて前記被遮蔽目標対象の被遮蔽部分の輪郭情報を特定するように構成される、
    請求項１５に記載の画像処理装置。
  17. さらに、前記第１ニューラルネットワークを訓練するネットワーク訓練モジュールを含み、前記ネットワーク訓練モジュールは、
    第１サンプル対象のモーダルマスクに対応する第１サンプル画像及び第２サンプル対象のモーダルマスクに対応する第２サンプル画像を取得し、
    前記第２サンプル画像で前記第１サンプル画像の一部を遮蔽し、前記第１サンプル画像、前記第２サンプル画像、遮蔽後の第１サンプル画像を訓練対象である第１ニューラルネットワークに入力し、前記訓練対象である第１ニューラルネットワークのネットワークパラメータを、前記第１サンプル画像の前記第２サンプル画像に遮蔽された輪郭を補完する目的で調整するように構成される、
    請求項１５に記載の画像処理装置。
  18. 前記マスク処理モジュールは、前記目標遮蔽対象のモーダルマスク、前記被遮蔽目標対象のモーダルマスクに基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定する場合、
    前記被遮蔽目標対象のモーダルマスク及び前記被遮蔽目標対象の被遮蔽部分の輪郭情報に基づき、前記被遮蔽目標対象の非モーダルマスクを特定し、目標対象の非モーダルマスクは、該目標対象の他の目標対象に遮蔽されていないマスク情報及び該目標対象の他の目標対象に遮蔽されたマスク情報を含み、
    前記目標遮蔽対象のモーダルマスクの和集合を特定し、
    前記和集合と前記被遮蔽目標対象の非モーダルマスクとの第１共通部分を特定し、
    前記第１共通部分に対応する画像で部分目標画像を遮蔽し、前記部分目標画像は、前記目標画像において前記被遮蔽目標対象を中心として、前記被遮蔽目標対象周囲の画素点を含む部分であり、
    前記第１共通部分に対応する画像及び遮蔽後の前記部分目標画像に基づき、前記被遮蔽目標対象の被遮蔽部分の輪郭内における各画素点の画像情報を特定するように構成される、
    請求項１３に記載の画像処理装置。
  19. プロセッサ、記憶媒体及びバスを含む電子機器であって、前記記憶媒体には前記プロセッサにより実行可能な機械可読命令が記憶されており、前記電子機器が稼働する時、前記プロセッサと前記記憶媒体はバスを介して通信し、前記プロセッサは、請求項１から１２のいずれか１項に記載の画像処理方法を実行するように前記機械可読命令を実行する、電子機器。
  20. プロセッサに、請求項１から１２のいずれか１項に記載の画像処理方法を実行させるコンピュータプログラムが記憶されている、コンピュータ可読記憶媒体。
JP2021565759A 2020-02-14 2021-01-19 画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 Pending JP2022522242A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010093403.0 2020-02-14
CN202010093403.0A CN111340030B (zh) 2020-02-14 2020-02-14 图像处理方法及装置、电子设备、计算机可读存储介质
PCT/CN2021/072772 WO2021159925A1 (zh) 2020-02-14 2021-01-19 图像处理方法及装置、电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
JP2022522242A true JP2022522242A (ja) 2022-04-14

Family

ID=71186014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021565759A Pending JP2022522242A (ja) 2020-02-14 2021-01-19 画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体

Country Status (3)

Country Link
JP (1) JP2022522242A (ja)
CN (1) CN111340030B (ja)
WO (1) WO2021159925A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340030B (zh) * 2020-02-14 2021-12-21 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN111768468B (zh) * 2020-06-30 2023-08-04 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN112162672A (zh) * 2020-10-19 2021-01-01 腾讯科技（深圳）有限公司 信息流的显示处理方法、装置、电子设备及存储介质
CN113256656A (zh) * 2021-05-28 2021-08-13 北京达佳互联信息技术有限公司 图像分割方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018124973A (ja) * 2017-01-27 2018-08-09 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法
WO2018173108A1 (ja) * 2017-03-21 2018-09-27 富士通株式会社 関節位置推定装置、関節位置推定方法及び関節位置推定プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208022A (zh) * 2010-03-31 2011-10-05 富士通株式会社 遮挡字符恢复装置及其方法、遮挡字符识别装置及其方法
CN102831584B (zh) * 2012-08-02 2015-04-22 中山大学 一种数据驱动的物体图像修复系统及方法
AU2012244275A1 (en) * 2012-10-30 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for determining a boundary of an obstacle which occludes an object in an image
US9373183B2 (en) * 2012-11-15 2016-06-21 Honeywell International Inc. Removing an occlusion from an image
CN105513112B (zh) * 2014-10-16 2018-11-16 北京畅游天下网络技术有限公司 图像处理方法和装置
US10311312B2 (en) * 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
CN107730457B (zh) * 2017-08-28 2020-02-14 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN108986041A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种图像恢复方法、装置、电子设备及可读存储介质
CN110033487A (zh) * 2019-02-25 2019-07-19 上海交通大学 基于深度联想感知算法的受遮挡蔬果采收方法
CN111340030B (zh) * 2020-02-14 2021-12-21 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备、计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018124973A (ja) * 2017-01-27 2018-08-09 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法
WO2018173108A1 (ja) * 2017-03-21 2018-09-27 富士通株式会社 関節位置推定装置、関節位置推定方法及び関節位置推定プログラム

Also Published As

Publication number Publication date
CN111340030A (zh) 2020-06-26
CN111340030B (zh) 2021-12-21
WO2021159925A1 (zh) 2021-08-19
KR20210144887A (ko) 2021-11-30

Similar Documents

Publication Publication Date Title
JP2022522242A (ja) 画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体
CN109376667B (zh) 目标检测方法、装置及电子设备
CN112560999B (zh) 一种目标检测模型训练方法、装置、电子设备及存储介质
KR102220174B1 (ko) 머신러닝 학습 데이터 증강장치 및 증강방법
CN110675407B (zh) 一种图像实例分割方法、装置、电子设备及存储介质
CN109657545B (zh) 一种基于多任务学习的行人检测方法
CN109472193A (zh) 人脸检测方法及装置
CN111476192B (zh) 基于智慧交通的截取图像合成方法及大数据云服务器
CN110784755A (zh) 一种弹幕信息的显示方法、装置、终端和存储介质
CN111523390B (zh) 一种图像识别的方法及增强现实ar图标识别的系统
CN112200077A (zh) 基于智慧交通的人工智能图像处理方法及系统
CN110795592B (zh) 图片处理方法、装置及设备
CN112132130A (zh) 一种面向全场景的实时性车牌检测方法及系统
CN109934072B (zh) 人员统计方法及装置
CN117253110A (zh) 一种基于扩散模型的目标检测模型泛化能力提升方法
CN111178200A (zh) 一种仪表盘指示灯的识别方法及计算设备
US11778167B1 (en) Method and system for preprocessing optimization of streaming video data
CN112714299B (zh) 一种图像展示方法及装置
CN112861678B (zh) 一种图像识别方法及装置
CN112085025B (zh) 物体分割方法、装置、设备
CN114173059A (zh) 一种视频编辑系统、方法及装置
KR102668641B1 (ko) 이미지 처리 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체
CN112733730B (zh) 采油作业现场吸烟人员识别处理方法及系统
CN112634460B (zh) 基于Haar-like特征的户外全景图生成方法及装置
CN112399236B (zh) 一种视频查重方法、装置及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211104

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221227