JP2020095526A - 画像処理装置、方法、及びプログラム - Google Patents

画像処理装置、方法、及びプログラム Download PDF

Info

Publication number
JP2020095526A
JP2020095526A JP2018233709A JP2018233709A JP2020095526A JP 2020095526 A JP2020095526 A JP 2020095526A JP 2018233709 A JP2018233709 A JP 2018233709A JP 2018233709 A JP2018233709 A JP 2018233709A JP 2020095526 A JP2020095526 A JP 2020095526A
Authority
JP
Japan
Prior art keywords
image
resolution
label
low
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018233709A
Other languages
English (en)
Other versions
JP7092016B2 (ja
Inventor
俊介 塚谷
Shunsuke Tsukatani
俊介 塚谷
和彦 村崎
Kazuhiko Murazaki
和彦 村崎
慎吾 安藤
Shingo Ando
慎吾 安藤
淳 嵯峨田
Atsushi Sagata
淳 嵯峨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018233709A priority Critical patent/JP7092016B2/ja
Priority to PCT/JP2019/048008 priority patent/WO2020121996A1/ja
Priority to US17/413,429 priority patent/US12039736B2/en
Publication of JP2020095526A publication Critical patent/JP2020095526A/ja
Application granted granted Critical
Publication of JP7092016B2 publication Critical patent/JP7092016B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】学習データに用いていない解像度の画像についても精度よくラベルを識別できる。【解決手段】入力画像と、前記入力画像の解像度と、画像の各画素にラベルを付与する学習済みモデルの学習に用いた学習用画像の解像度とに基づいて、入力画像と、学習用画像に対応する解像度である低解像画像との画素の対応関係に関する複数のシフト量の各々について、入力画像から低解像度画像の各々を生成し、学習済みモデルに低解像度画像の各々を入力し、低解像度画像の各々の各画素にラベルを付与した低解像度ラベル画像の各々を出力し、低解像度画像の生成に用いたシフト量の各々と、低解像度ラベル画像の各々とに基づいて、入力画像の各画素のラベルを求めたラベル画像を出力する。【選択図】図１

Description

本発明は、画像処理装置、方法、及びプログラムに係り、特に、画像のラベルを識別するための画像処理装置、方法、及びプログラムに関する。
幅広い分野において、画像からの対象領域を抽出したいという要求がある。
例えば、画像から画素単位で人物や自動車といったオブジェクトクラスのラベルを付与する、セマンティックセグメンテーションという手法が存在する（非特許文献１参照）。
非特許文献１によるセマンティックセグメンテーションの手法では、正解ラベルを持つ画像データセットを畳み込みニューラルネットワークに学習させて学習済みモデルを生成する。そして、処理を行いたい画像を学習済みモデルに入力することで、出力として画素単位でオブジェクトクラスのラベルが割り振られたラベル画像を得ることができる。
J. Long, E. Shelhamer, and T. Darrell, "Fully convolutional networks for semantic segmentation," in Proc. of IEEE CVPR, 2015.
上記の手法では次のような問題点がある。
学習済みモデルが推定するラベルの精度は、学習に用いる画像データセットに依存する。オブジェクトクラスを推定するには画像中のオブジェクトの位置や大きさといった構造情報が重要となるが、畳み込みニューラルネットワークは拡大縮小という幾何学的変形に対する不変性を持たない性質がある。よって学習に用いる画像データセットに存在しないような高い解像度の画像を入力した場合、オブジェクトクラスの推定が失敗してしまう。
上記の問題を解決するため、学習に用いる画像データセットに入力として想定される解像度を持つ画像を含めて学習する方法が考えられるが、画像データセットの構築や再学習のコストが高く、容易ではないという課題がある。
また、学習に用いる画像データセットの解像度まで入力画像の解像度を落とす方法も考えられるが、本来の入力画像が高い解像度で撮影されているのに対して認識結果の解像度が低く、低画質なものとなってしまうという課題もある。
本発明は、上記事情を鑑みて成されたものであり、学習データに用いていない解像度の画像についても精度よくラベルを識別できる画像処理装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第１の発明に係る画像処理装置は、入力画像と、前記入力画像の解像度と、画像の各画素にラベルを付与する学習済みモデルの学習に用いた学習用画像の解像度とに基づいて、前記入力画像と、前記学習用画像に対応する解像度である低解像画像との画素の対応関係に関する複数のシフト量の各々について、前記シフト量を用いて前記入力画像から低解像度画像の各々を生成し、生成した前記低解像度画像の各々と前記低解像度画像の生成に用いた前記シフト量の各々とを出力するダウンサンプリング部と、前記学習済みモデルに前記低解像度画像の各々を入力し、前記低解像度画像の各々の各画素にラベルを付与した低解像度ラベル画像の各々を出力するセマンティックセグメンテーション処理部と、前記低解像度画像の生成に用いた前記シフト量の各々と、前記低解像度ラベル画像の各々とに基づいて、前記入力画像の各画素のラベルを求めたラベル画像を出力するアップサンプリング部と、を含んで構成されている。
また、第１の発明に係る画像処理装置において、前記アップサンプリング部は、前記低解像度ラベル画像ごとに、前記入力画像に対して、前記シフト量に応じて前記低解像度ラベル画像を割り当てた結果に基づいて、前記入力画像の各画素について、前記低解像度ラベル画像の各画素との重なりの割合に応じた各ラベルのスコアを付与した個別のラベル画像の各々を算出し、各画素について、前記個別のラベル画像の各々の前記画素について付与された各ラベルのスコアを統合して前記画素のラベルを決定することにより前記ラベル画像を出力するようにしてもよい。
第２の発明に係る画像処理方法は、ダウンサンプリング部が、入力画像と、前記入力画像の解像度と、画像の各画素にラベルを付与する学習済みモデルの学習に用いた学習用画像の解像度とに基づいて、前記入力画像と、前記学習用画像に対応する解像度である低解像画像との画素の対応関係に関する複数のシフト量の各々について、前記シフト量を用いて前記入力画像から低解像度画像の各々を生成し、生成した前記低解像度画像の各々と前記低解像度画像の生成に用いた前記シフト量の各々とを出力するステップと、セマンティックセグメンテーション処理部が、前記学習済みモデルに前記低解像度画像の各々を入力し、前記低解像度画像の各々の各画素にラベルを付与した低解像度ラベル画像の各々を出力するステップと、アップサンプリング部が、前記低解像度画像の生成に用いた前記シフト量の各々と、前記低解像度ラベル画像の各々とに基づいて、前記入力画像の各画素のラベルを求めたラベル画像を出力するステップと、を含んで実行することを特徴とする。
また、第２の発明に係る画像処理方法において、前記アップサンプリング部が処理するステップは、前記低解像度ラベル画像ごとに、前記入力画像に対して、前記シフト量に応じて前記低解像度ラベル画像を割り当てた結果に基づいて、前記入力画像の各画素について、前記低解像度ラベル画像の各画素との重なりの割合に応じた各ラベルのスコアを付与した個別のラベル画像の各々を算出し、各画素について、前記個別のラベル画像の各々の前記画素について付与された各ラベルのスコアを統合して前記画素のラベルを決定することにより前記ラベル画像を出力するようにしてもよい。
第３の発明に係るプログラムは、コンピュータを、第１の発明に記載の画像処理装置の各部として機能させるためのプログラムである。
本発明の画像処理装置、方法、及びプログラムによれば、学習データに用いていない解像度の画像についても精度よくラベルを識別できる、という効果が得られる。
本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置における画像処理ルーチンを示すフローチャートである。 ダウンサンプリングの処理の詳細を示すフローチャートである。 アップサンプリングの処理の詳細を示すフローチャートである。 入力画像（高解像度画像）と低解像度画像との位置合わせの一例を示す図である。 低解像度ラベル画像と入力画像との位置合わせの一例を示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
まず、本発明の実施の形態の概要を説明する。
上記の課題を解決するため、本発明では学習済みモデルに適応しない高解像の入力画像の入力に対して、解像度を学習済みモデルに適応する解像度まで落とした低解像度画像を複数枚生成し、それぞれの低解像度画像を学習済みモデルに入力して低解像度ラベル画像を出力する。
低解像度ラベル画像ごとに、低解像度のラベルを高解像の入力画像に割り振ることで、入力画像と同じ解像度のラベル画像が得られる。
任意のセマンティックセグメンテーション手法に応用が可能であり、学習済みモデルをそのまま利用可能であることから、学習用画像データセットの再収集や再学習が不要である。
本発明の実施の形態の手法によって学習済みのセマンティックセグメンテーションモデルを用いて、想定よりも高い解像度の画像のラベルを推定することができる。これによって認識に用いるカメラの更改に応じてモデルを再学習するなどの手間を省くことができ、また多様な解像度が入力となるシーンにおいて入力解像度に応じた精細な認識結果を提示することができる。
＜本発明の実施の形態に係る画像処理装置の構成＞
次に、本発明の実施の形態に係る画像処理装置の構成について説明する。図１に示すように、本発明の実施の形態に係る画像処理装置１００は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
入力部１０は、ラベルを付与する対象となる入力画像と、入力画像の解像度と、画像の各画素にラベルを付与する学習済みモデルの学習に用いた学習用画像の解像度とを入力として受け付ける。
演算部２０は、ダウンサンプリング部３０と、セマンティックセグメンテーション部３２と、アップサンプリング部３４とを含んで構成されている。各処理部の処理の詳細については作用の説明において後述する。
ダウンサンプリング部３０は、入力部１０で受け付けた入力画像と、入力画像の解像度と、画像の各画素にラベルを付与する学習済みモデル（図示省略）の学習に用いた学習用画像の解像度とに基づいて、複数のシフト量の各々について、シフト量を用いて入力画像から低解像度画像の各々を生成する。シフト量は、入力画像と、学習用画像に対応する解像度である低解像画像との画素の対応関係を表す。ダウンサンプリング部３０は、生成した低解像度画像の各々と低解像度画像の生成に用いたシフト量の各々とを出力する。
セマンティックセグメンテーション部３２は、学習済みモデルに低解像度画像の各々を入力し、低解像度画像の各々の各画素にラベルを付与した低解像度ラベル画像の各々を出力する。
アップサンプリング部３４は、低解像度画像の生成に用いたシフト量の各々と、低解像度ラベル画像の各々とに基づいて、入力画像の各画素のラベルを求めたラベル画像を出力部５０に出力する。
＜本発明の実施の形態に係る画像処理装置の作用＞
次に、本発明の実施の形態に係る画像処理装置１００の作用について説明する。入力部１０においてラベルを付与する対象となる入力画像と、入力画像の解像度と、画像の各画素にラベルを付与する学習済みモデルの学習に用いた学習用画像の解像度とを受け付けると、画像処理装置１００は、図２に示す画像処理ルーチンを実行する。
ステップＳ１００では、ダウンサンプリング部３０は、入力部１０で受け付けた入力画像と、入力画像の解像度と、画像の各画素にラベルを付与する学習済みモデル（図示省略）の学習に用いた学習用画像の解像度とに基づいて、複数のシフト量の各々について、シフト量を用いて入力画像から低解像度画像の各々を生成する。ダウンサンプリング部３０は、生成した低解像度画像の各々と低解像度画像の生成に用いたシフト量の各々とを出力する。
ステップＳ１０２では、セマンティックセグメンテーション部３２は、学習済みモデルに低解像度画像の各々を入力し、低解像度画像の各々の各画素にラベルを付与した低解像度ラベル画像の各々を出力する。
ステップＳ１０４では、アップサンプリング部３４は、低解像度画像の生成に用いたシフト量の各々と、低解像度ラベル画像の各々とに基づいて、入力画像の各画素のラベルを求めたラベル画像を出力部５０に出力する。
ステップＳ１００のダウンサンプリング部３０の処理の詳細を図３のフローチャートを参照して説明する。
ステップＳ１０１１では、入力画像Ｉｈ、入力画像Ｉｈの解像度（Ｘ０×Ｙ０）、及び上記ステップＳ１０２で用いる学習済みモデルのパラメータが対象とする解像度（Ｘ１×Ｙ１）を入力する。学習済みモデルのパラメータが対象とする解像度には、学習時に用いた画像データベースの学習用画像に用いられた画像解像度を選択する。
ステップＳ１０１２では、入力画像の解像度（Ｘ０×Ｙ０）と学習済みモデルのパラメータが対象とする解像度（Ｘ１×Ｙ１）とから、ダウンサンプリング処理で生成する低解像度画像の生成枚数を算出する。低解像度画像から入力画像の情報量を復元するためには、

枚以上の生成が必要となるため、上記の枚数を低解像度画像の生成枚数として算出する。
ステップＳ１０１３では、回数ｖをｖ＝１と設定する。
ステップＳ１０１４では、入力画像と低解像画像との画素の対応関係に関するサブピクセルオーダーでのシフト量（ｓ、ｔ）ｌをランダムに設定する。シフトによる低解像度画像の画素値は周期的に変化するため、必要十分なシフト量となるように、シフト量の範囲は、以下のように定める。
ステップＳ１０１５では、ステップＳ１０１４で設定したシフト量に基づいて、以下（１）式により、入力画像Ｉｈをサブピクセル単位でシフトした結果から、低解像度画像Ｉｌの画素値ｐｌ（ｉ，ｊ）を計算し、低解像度画像Ｉｌを生成する。画像空間Ωにおいてｐｌ（ｉ，ｊ）は入力画像Ｉｈの画素値ｐｈ（ｍ、ｎ）を用いて以下（１）式で表すことができる。


・・・（１）
ステップＳ１０１６では、回数ｖがステップＳ１０１２で算出した生成回数に達したかを判定する。生成回数に達していればステップＳ１０１８へ移行し、生成回数に達していなければステップＳ１０１７でｖ＝ｖ＋１とカウントアップしてステップＳ１０１４に戻って処理を繰り返す。
ステップＳ１０１８では、ステップＳ１０１５によって得られた低解像度画像Ｉｌ、低解像度画像Ｉｌに対応するシフト量（ｓ、ｔ）ｌ、及び入力画像の解像度（Ｘ０×Ｙ０）を出力する。
図５は、上記ステップＳ１０１５におけるサブピクセル単位のシフトによって入力画像をシフトさせたときの低解像度画像との画素の対応関係の一例を示す図であり、太枠が低解像度画像の画素、点線が入力画像の画素を表す。
次に、ステップＳ１０４のアップサンプリング部３４の処理の詳細を図４のフローチャートを参照して説明する。
ステップＳ１０３１では、入力画像Ｉｈの解像度（Ｘ０×Ｙ０）、複数枚の低解像度ラベル画像Ｌｌ、及び複数枚の低解像度ラベル画像Ｌｌに対応するシフト量（ｓ、ｔ）ｌを入力する。
ステップＳ１０３２では、生成したすべての低解像度ラベル画像Ｌｌと対応するシフト量（ｓ、ｔ）ｌを用いて、低解像度ラベル画像Ｌｌと入力画像Ｉｈとの位置合わせをサブピクセル単位で行い、解像度（Ｘ０×Ｙ０）の個別のラベル画像Ｌｌｈを算出する。個別のラベル画像Ｌｌｈの算出では、入力画像Ｉｈの画素ごとに、位置合わせの結果、当該画素と重複する低解像度ラベル画像Ｌｌの各画素のラベルのスコアを、当該画素と重複する低解像度ラベル画像Ｌｌの各画素が重なる割合に応じて重み付き平均したスコアを、各ラベルについて算出し、個別のラベル画像Ｌｌｈの該当する画素に割り当てることで行う。
図６は、上記ステップＳ１０３２におけるサブピクセル単位の低解像度ラベル画像Ｌｌと入力画像Ｉｈとの位置合わせの一例を示す図であり、太枠が低解像度ラベル画像Ｌｌの画素、点線が入力画像Ｉｈの画素を表す。例えば、入力画像Ｉｈの一つの画素に着目して低解像度ラベル画像Ｌｌの画素を重ねたときにａ、ｂ、ｃ、及びｄの領域ができるとする。この場合に、画素が重なる割合とは、ａ、ｂ、ｃ、及びｄの領域におけるａの領域の割合のことである。
ステップＳ１０３３では、すべての個別のラベル画像Ｌｌｈを統合し、各画素についてラベルを決定し、入力画像Ｉｈに対するラベル画像Ｌｈを生成する。ラベルの決定は、個別のラベル画像Ｌｌｈの画素ごとに、当該画素に割り当てられたスコアが最も高いラベルを信頼度が高いラベルと判断し、当該画素のラベルとして採用することで行う。なお、スコアによる信頼度ではなく、すべての個別のラベル画像Ｌｌｈで、当該画素において頻度が最も多いラベルを採用するようにしてもよい。
ステップＳ１０３４では、生成されたラベル画像Ｌｈを出力部５０に出力する。
以上のようにアップサンプリング部３４は、低解像度ラベル画像Ｌｌごとに、入力画像Ｉｈに対して、シフト量（ｓ、ｔ）ｌに応じて低解像度ラベル画像Ｌｌを割り当てた結果に基づいて、入力画像Ｉｈの各画素について、低解像度ラベル画像の各画素との重なりの割合に応じた各ラベルのスコアを付与した個別のラベル画像Ｌｌｈを算出する。そして、各画素について、個別のラベル画像Ｌｌｈの画素について付与された各ラベルのスコアを統合して画素のラベルを決定することによりラベル画像Ｌｈを出力する。
以上説明したように、本発明の実施の形態に係る画像処理装置によれば、学習データに用いていない解像度の画像についても精度よくラベルを識別できる。
このように、学習済みのセマンティックセグメンテーションモデルが想定される解像度よりも高い解像度の入力画像のラベルを推定するために、入力画像の解像度を落として推定したラベル画像を高解像度化することで精細な認識結果を提示する。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
１０ 入力部
２０ 演算部
３０ ダウンサンプリング部
３２ セマンティックセグメンテーション部
３４ アップサンプリング部
５０ 出力部
１００ 画像処理装置

Claims (5)

  1. 入力画像と、前記入力画像の解像度と、画像の各画素にラベルを付与する学習済みモデルの学習に用いた学習用画像の解像度とに基づいて、前記入力画像と、前記学習用画像に対応する解像度である低解像画像との画素の対応関係に関する複数のシフト量の各々について、前記シフト量を用いて前記入力画像から低解像度画像の各々を生成し、生成した前記低解像度画像の各々と前記低解像度画像の生成に用いた前記シフト量の各々とを出力するダウンサンプリング部と、
    前記学習済みモデルに前記低解像度画像の各々を入力し、前記低解像度画像の各々の各画素にラベルを付与した低解像度ラベル画像の各々を出力するセマンティックセグメンテーション処理部と、
    前記低解像度画像の生成に用いた前記シフト量の各々と、前記低解像度ラベル画像の各々とに基づいて、前記入力画像の各画素のラベルを求めたラベル画像を出力するアップサンプリング部と、
    を含む画像処理装置。
  2. 前記アップサンプリング部は、前記低解像度ラベル画像ごとに、前記入力画像に対して、前記シフト量に応じて前記低解像度ラベル画像を割り当てた結果に基づいて、前記入力画像の各画素について、前記低解像度ラベル画像の各画素との重なりの割合に応じた各ラベルのスコアを付与した個別のラベル画像の各々を算出し、各画素について、前記個別のラベル画像の各々の前記画素について付与された各ラベルのスコアを統合して前記画素のラベルを決定することにより前記ラベル画像を出力する請求項１に記載の画像処理装置。
  3. ダウンサンプリング部が、入力画像と、前記入力画像の解像度と、画像の各画素にラベルを付与する学習済みモデルの学習に用いた学習用画像の解像度とに基づいて、前記入力画像と、前記学習用画像に対応する解像度である低解像画像との画素の対応関係に関する複数のシフト量の各々について、前記シフト量を用いて前記入力画像から低解像度画像の各々を生成し、生成した前記低解像度画像の各々と前記低解像度画像の生成に用いた前記シフト量の各々とを出力するステップと、
    セマンティックセグメンテーション処理部が、前記学習済みモデルに前記低解像度画像の各々を入力し、前記低解像度画像の各々の各画素にラベルを付与した低解像度ラベル画像の各々を出力するステップと、
    アップサンプリング部が、前記低解像度画像の生成に用いた前記シフト量の各々と、前記低解像度ラベル画像の各々とに基づいて、前記入力画像の各画素のラベルを求めたラベル画像を出力するステップと、
    を含む画像処理方法。
  4. 前記アップサンプリング部が処理するステップは、前記低解像度ラベル画像ごとに、前記入力画像に対して、前記シフト量に応じて前記低解像度ラベル画像を割り当てた結果に基づいて、前記入力画像の各画素について、前記低解像度ラベル画像の各画素との重なりの割合に応じた各ラベルのスコアを付与した個別のラベル画像の各々を算出し、各画素について、前記個別のラベル画像の各々の前記画素について付与された各ラベルのスコアを統合して前記画素のラベルを決定することにより前記ラベル画像を出力する請求項３に記載の画像処理方法。
  5. コンピュータを、請求項１又は請求項２に記載の画像処理装置の各部として機能させるためのプログラム。
JP2018233709A 2018-12-13 2018-12-13 画像処理装置、方法、及びプログラム Active JP7092016B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018233709A JP7092016B2 (ja) 2018-12-13 2018-12-13 画像処理装置、方法、及びプログラム
PCT/JP2019/048008 WO2020121996A1 (ja) 2018-12-13 2019-12-09 画像処理装置、方法、及びプログラム
US17/413,429 US12039736B2 (en) 2018-12-13 2019-12-09 Image processing device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018233709A JP7092016B2 (ja) 2018-12-13 2018-12-13 画像処理装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020095526A true JP2020095526A (ja) 2020-06-18
JP7092016B2 JP7092016B2 (ja) 2022-06-28

Family

ID=71076887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018233709A Active JP7092016B2 (ja) 2018-12-13 2018-12-13 画像処理装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US12039736B2 (ja)
JP (1) JP7092016B2 (ja)
WO (1) WO2020121996A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075162A1 (ja) * 2022-10-03 2024-04-11 日本電信電話株式会社 画像修復装置、画像修復方法、および画像修復プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202407640A (zh) * 2022-07-20 2024-02-16 日商索尼半導體解決方案公司 資訊處理裝置、資訊處理方法、及程式

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096489A (ja) * 2002-08-30 2004-03-25 Seiko Epson Corp 画像処理装置及びその方法、画像形成装置、並びにコンピュータが読出し可能なプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
TWI668669B (zh) * 2018-05-31 2019-08-11 國立中央大學 物件追蹤系統及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096489A (ja) * 2002-08-30 2004-03-25 Seiko Epson Corp 画像処理装置及びその方法、画像形成装置、並びにコンピュータが読出し可能なプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LONG, JONATHAN ET AL.: "Fully Convolutional Networks for Semantic Segmentation", 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) [ONLINE], JPN6020003414, 15 October 2015 (2015-10-15), pages 3431 - 3440, XP055573743, ISSN: 0004773080, DOI: 10.1109/CVPR.2015.7298965 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075162A1 (ja) * 2022-10-03 2024-04-11 日本電信電話株式会社 画像修復装置、画像修復方法、および画像修復プログラム

Also Published As

Publication number Publication date
US12039736B2 (en) 2024-07-16
US20220058807A1 (en) 2022-02-24
WO2020121996A1 (ja) 2020-06-18
JP7092016B2 (ja) 2022-06-28

Similar Documents

Publication Publication Date Title
CN110555433B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111968064B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112446383A (zh) 车牌识别方法及装置、存储介质、终端
CN114731408A (zh) 使用结构化神经网络进行视频帧插值的系统、设备和方法
CN111369550A (zh) 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN114120349B (zh) 基于深度学习的试卷识别方法及系统
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
JP2020038574A (ja) 画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、及び画像認識装置
AU2021354030B2 (en) Processing images using self-attention based neural networks
CN113591528A (zh) 文档矫正方法、装置、计算机设备和存储介质
WO2020121996A1 (ja) 画像処理装置、方法、及びプログラム
CN114298900A (zh) 图像超分方法和电子设备
CN113012075A (zh) 一种图像矫正方法、装置、计算机设备及存储介质
CN116071748A (zh) 一种基于频域全局滤波的无监督视频目标分割方法
CN114155540A (zh) 基于深度学习的文字识别方法、装置、设备及存储介质
Zheng et al. Transformer-based hierarchical dynamic decoders for salient object detection
Uchigasaki et al. Deep image compression using scene text quality assessment
US20230060988A1 (en) Image processing device and method
CN109492755B (zh) 图像处理方法、图像处理装置和计算机可读存储介质
CN116246064A (zh) 一种多尺度空间特征增强方法及装置
JP2020038572A (ja) 画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、学習データセットの生成プログラム、学習データセットの生成方法、学習データセット、及び画像認識装置
CN115187834A (zh) 一种票据识别的方法及装置
CN114429602A (zh) 语义分割方法、装置、电子设备及存储介质
Zhang et al. Boosting no-reference super-resolution image quality assessment with knowledge distillation and extension
CN118056222A (zh) 以改进的计算效率进行图像处理的级联多分辨率机器学习

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R150 Certificate of patent or registration of utility model

Ref document number: 7092016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150