JP2022064808A - 画像認識方法および画像認識システム - Google Patents

画像認識方法および画像認識システム Download PDF

Info

Publication number
JP2022064808A
JP2022064808A JP2021030701A JP2021030701A JP2022064808A JP 2022064808 A JP2022064808 A JP 2022064808A JP 2021030701 A JP2021030701 A JP 2021030701A JP 2021030701 A JP2021030701 A JP 2021030701A JP 2022064808 A JP2022064808 A JP 2022064808A
Authority
JP
Japan
Prior art keywords
image
detection task
feature map
detection
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021030701A
Other languages
English (en)
Inventor
得欽 高
De-Qin Gao
泗得 ▲蒋▼
Si De Jiang
美恩 邵
Mei-En Shao
聖彰 阮
Shanq-Jang Ruan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of JP2022064808A publication Critical patent/JP2022064808A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

【課題】得られた特徴に応じて異なる検出タスクに対応する認識結果を同時に出力する画像認識方法および画像認識システムを提供する。【解決手段】画像認識方法は、画認識対象画像を取得し、認識対象画像を単一の畳み込みニューラルネットワークに入力し、単一の畳み込みニューラルネットワークの出力結果に従って、第1の特徴マップと第2の特徴マップが共有特徴を有する、第1の検出タスクの第1の特徴マップおよび第2の検出タスクの第2の特徴マップを取得し、エンドレイヤーネットワークモジュールにより、第1の特徴マップに従って、認識対象画像から第1の検出タスクに対応する第1の認識結果を生成し、第2の特徴マップに従って、認識対象画像から第2の検出タスクに対応する第2の認識結果を生成、第1の検出タスクに対応する第1の認識結果と第2の検出タスクに対応する第2の認識結果を出力する。【選択図】図10

Description

本発明は、画像認識方法および画像認識システムに関する。
画像認識の分野では、ニューラルネットワークが広く使用されてきた。ただし、認識の種類が異なれば、多くの場合、異なるニューラルネットワークアーキテクチャが必要になる。したがって、伝統的に、複数の特徴の認識は、ニューラルネットワークの複数のセットの構築を必要とする。単一のニューラルネットワークアーキテクチャを使って複数の特徴を認識して性能を向上させる方法が当業者の目標である。
本発明は、得られた特徴に応じて異なる検出タスクに対応する認識結果を同時に出力することができる画像認識方法および画像認識システムを提供する。
本発明は、複数の検出タスクのための画像認識方法を提供する。本画像認識方法は、画像センサによって認識対象画像を取得するステップと、前記認識対象画像を単一の畳み込みニューラルネットワークに入力するステップと、前記単一の畳み込みニューラルネットワークの出力結果に従って、第1の検出タスクの第1の特徴マップおよび第2の検出タスクの第2の特徴マップを取得するステップであり、前記第1の特徴マップと前記第2の特徴マップが共有特徴を有する、ステップと、最終層ネットワークモジュールを使用して、前記第1の特徴マップに従って、前記認識対象画像から、前記第1の検出タスクに対応する第1の認識結果を生成し、前記第2の特徴マップに従って、前記認識対象画像から、前記第2の検出タスクに対応する第2の認識結果を生成するステップと、前記第1の検出タスクに対応する前記第1の認識結果と、前記第2の検出タスクに対応する前記第2の認識結果を出力するステップとを含む。
本発明は、画像センサ、記憶装置、出力装置、およびプロセッサを含む画像認識システムを提供する。前記画像センサは、認識対象画像を取得する。前記プロセッサは、前記画像センサ、前記記憶装置、および出力装置に結合されている。前記プロセッサは、前記認識対象画像を単一の畳み込みニューラルネットワークに入力する。前記記憶装置は、前記単一の畳み込みニューラルネットワークを格納する。前記プロセッサは、前記単一の畳み込みニューラルネットワークの出力結果に従って、第1の検出タスクに属する第1の特徴マップおよび第2の検出タスクに属する第2の特徴マップを取得し、ここで第1の特徴マップと第2の特徴マップは共有特徴を有する。前記プロセッサは、最終層ネットワークモジュールを使用して、前記第1の特徴マップに従って、認識対象画像から、前記第1の検出タスクに対応する第1の認識結果を生成し、前記第2の特徴に従って、前記認識対象画像から、前記第2の検出タスクに対応する第2の認識結果を生成する。前記出力装置は、前記第1の検出タスクに対応する前記第1の認識結果と、前記第2の検出タスクに対応する前記第2の認識結果とを出力する。
上記に基づいて、本発明の例示的な実施形態の画像認識方法およびシステムは、単一の畳み込みニューラルネットワークを使用することによって、異なる検出タスクの認識結果を得ることができる。
以上をより理解しやすくするために、図面とともにいくつかの実施形態を以下で詳細に説明する。
本発明の例示的な実施形態による画像認識システムを示すブロック図である。 本発明の例示的な実施形態による、単一の畳み込みニューラルネットワークに基づく画像認識モジュールを示すブロック図である。 本発明の例示的な実施形態による画像前処理を示す概略図である。 本発明の例示的な実施形態による、異なる検出タスクに対して得られた特徴マップを示す概略図である。 本発明の例示的な実施形態によるコンピュータビジョン技術を使用することによって得られたグリッドマップを示す概略図である。 本発明の例示的な実施形態による、第1の特徴マップおよび第2の特徴マップを示す概略図である。 本発明の例示的な実施形態による、第1の損失関数の入力を示す概略図である。 本発明の例示的な実施形態による、第2の損失関数の入力を示す概略図である。 図9A~図9Dは、本発明の例示的な実施形態によるコンピュータビジョン技術を使用することによって得られたセグメンテーションマップを示す概略図である。 本発明の例示的な実施形態による画像認識方法を示すフローチャートである。
図1は、本発明の例示的な実施形態による画像認識システムを示すブロック図である。
図1に示すように、画像認識システム100は、単一の畳み込みニューラルネットワークを使用して異なる検出タスクの認識結果を取得するために、本開示に記載の画像認識方法を実行するように構成されている。画像認識システム100は、例えば、モバイルデバイス、携帯情報端末(PDA)、ノートブックコンピュータ、タブレットコンピュータ、一般的なデスクトップコンピュータ、または本明細書に限定されていない他の電子デバイスであってよい。
画像認識システム100は、画像センサ110、記憶装置120、出力装置130、およびプロセッサ140を含む。
画像センサ110は、認識対象画像を取得するように構成される。この例示的な実施形態では、画像センサ110は、例えば、カムコーダまたはモバイルデバイスのカメラのカムコーダである。
記憶装置120は、単一の畳み込みニューラルネットワーク、認識対象画像、および認識結果を記憶するように構成される。この例示的な実施形態では、記憶装置120は、任意の可能な形態の固定または可動デバイス、例えば、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、フラッシュメモリ、ハードドライブまたは他の同様のデバイスなど、または上記のデバイスの組み合わせであってよい。
出力装置130は、画像認識結果を出力するように構成されたデバイスまたは要素である。出力装置130は、例えば、ディスプレイである。例えば、認識対象画像が道路画像(例えば、木、車両、歩行者の画像を含む)である場合、出力装置130は、開示の画像認識方法に従って認識対象画像内の樹木、車両、および歩行者の画像を出力することができる。
プロセッサ140は、画像センサ110、記憶装置120、および出力装置130に結合されて、画像認識システム100の動作を制御する。この例示的な実施形態では、プロセッサ140は、例えば、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、データ信号プロセッサ、複数のマイクロプロセッサ、1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコンピュータ、およびデジタル信号プロセッサのコアに結合された特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、その他の集積回路、ステートマシン、Advanced RISC Machine(ARM)に基づくプロセッサおよび同様の製品である。
この例示的な実施形態では、プロセッサ140は、単一の畳み込みニューラルネットワークに基づく画像認識モジュールを実行して、複数の検出タスクの認識を同時に実行することができる。
図2は、本発明の例示的な実施形態による、単一の畳み込みニューラルネットワークに基づく画像認識モジュールを示すブロック図である。
図2に示されるように、単一の畳み込みニューラルネットワークに基づく画像認識モジュール2000は、画像前処理モジュール2002、バックボーンアーキテクチャモジュール2004、最終層ネットワークモジュール2006、およびコンピュータビジョン処理モジュール2008を含む。
この例示的な実施形態では、プロセッサ140は、画像前処理モジュール2002を実行して、画像センサ110によって取得された認識対象画像に対して前処理を実行する。
図3は、本発明の例示的な実施形態による画像前処理を示す概略図である。
図3に示されるように、画像前処理モジュール2002は、認識対象画像(例えば、生画像311または生画像321)の高さおよび幅の寸法をニューラルネットワークモデルの寸法に正規化することができる。
具体的には、ニューラルネットワークモデルの寸法は、図3の操作310の画像パディングによって示されるように、幅Wおよび高さHを含むと想定される。画像前処理モジュール2002は、生画像311(幅Wおよび高さH)に対して画像パディングを実行し、画像のアスペクト比を調整して、入力画像312を取得する。
さらに、別の例では、以下の操作320および操作330および式1によって示されるように、画像前処理モジュール2002は、バイキュービック補間を使用して生画像321のサイズを変更することによって入力画像322を取得することもできる。
Figure 2022064808000002
図2に示すように、バックボーンアーキテクチャモジュール2004は、認識対象画像の特徴を抽出するように構成され、最終層ネットワークモジュール2006は、バックボーンアーキテクチャモジュール2004によって出力される特徴マップに従って複数の検出タスクおよび認識を実行するように構成される。
具体的には、バックボーンアーキテクチャモジュール2004は、単一の畳み込みニューラルネットワーク内の複数の畳み込み層で構成され、プロセッサ140は、バックボーンアーキテクチャモジュール2004を実行して、認識対象画像から検出タスクに対応する特徴を抽出して特徴マップを生成する。次に、プロセッサ140は、最終層ネットワークモジュール2006を実行して、検出タスクおよび認識を実行する。
この例示的な実施形態では、例えば、第1の検出タスクは2D物体検出タスクであり、第2の検出タスクは画像セグメンテーション検出タスクである。したがって、バックボーンアーキテクチャモジュール2004は、第1の検出タスクに対応する第1の特徴マップおよび第2の検出タスクに対応する第2の特徴マップを出力し、最終層ネットワークモジュール2006は、第1および第2の特徴マップに従って第1の検出タスクに対する物体検出および第2の検出タスクに対する点検出を実行する。
図4は、本発明の例示的な実施形態による、異なる検出タスクに対して得られた特徴マップを示す概略図である。
図4に示されるように、入力画像312がバックボーンアーキテクチャモジュール2004に入力されると、プロセッサ140は、バックボーンアーキテクチャモジュール2004内に構成された単一の畳み込みニューラルネットワーク410から、第1の検出タスクの第1の特徴マップ420-1、420-2および420-3と、第2の検出タスクの第2の特徴マップ430を取得することができる。具体的には、プロセッサ140は、複数の畳み込み層を有するバックボーンアーキテクチャモジュール2004を使用して、認識対象画像(例えば、入力画像312)から、第1の検出タスクの第1の特徴マップ420-1、420-2および420-3と第2の検出タスクの第2の特徴マップ430の共有特徴を抽出することができ、したがって、第1の検出タスクの第1の特徴マップ420-1、420-2および420-3と第2の検出タスクの第2の特徴マップ430の共有特徴マップを生成することができる。
例えば、この例示的な実施形態では、第1の検出タスクは2D物体検出タスクであるため、第1の検出タスクの第1の特徴マップは、境界ボックスの座標、境界ボックスの幅および高さ、境界ボックスの検出信頼度および境界ボックスのクラス確率を含むことができる。第2の検出タスクは画像セグメンテーション検出タスクであるため、第2の検出タスクの第2の特徴マップは、境界ボックスの座標、境界ボックスの検出信頼度、および境界ボックスのクラス確率を含むことができる。
図2に示すように、コンピュータビジョン処理モジュール2008は、特徴マップの情報に従って点検出を実行するように構成される。具体的には、画像セグメンテーション検出を正しく実行するために、この例示的な実施形態では、プロセッサ140は、コンピュータビジョン処理モジュール2008を実行して、第2の検出タスクの第2の特徴マップの情報に従ってコンピュータビジョンベースの処理を実行する。
図5は、本発明の例示的な実施形態によるコンピュータビジョン技術を使用することによって得られるグリッドマップを示す概略図である。
図5に示されるように、コンピュータビジョン処理モジュール2008は、バックボーンアーキテクチャモジュール2004によって生成された特徴マップに従って、入力画像(すなわち、入力画像312)から対応する画像セグメンテーションのグラウンドトゥルース(すなわち、画像セグメンテーションのグラウンドトゥルース510)を取得することができる。
図5に示されるように、画像セグメンテーションのグラウンドトゥルース510は、点GS、GS、GS、GS、GS、GS、GSおよびGSを含む。ニューラルネットワークモデルの次元は幅WMと高さHMを含み、γはセルマップのスケーラーであると仮定される。グリッドマップ520において、点GS、GS、GS、GS、GS、GS、GSおよびGSを含むセルは、正のデータと見なすことができ、点GS、GS、GS、GS、GS、GS、GSおよびGSを含まないセルは、一時的に負のデータと見なすことができる。次に、以下の式2および式3を使用することにより、コンピュータビジョン処理モジュール2008は、隣接する点GSnとGSn + 1との間のベクトル分析を計算することができる。
Figure 2022064808000003
隣接する点GSnとGSn + 1との間のベクトル分析を計算した後、プロセッサ140は、GSn≦GSn + 1毎にGSn = GS + Δxyを繰り返し実行し、負のセルデータに最初に遭遇するすべての点を正のデータに変換することができる。このようにして、プロセッサ140は、画像セグメンテーションのグラウンドトゥルース510から正のデータグリッドマップ520を取得することができる。すなわち、点GS、GS、GS、GS、GS、GS5、GSおよびGSを含むすべてのセルを備えた正のデータグリッドマップ520を得ることができる。
図6は、本発明の例示的な実施形態による、第1の特徴マップおよび第2の特徴マップを示す概略図である。
図6に示されるように、第2の特徴マップ(点候補RS(x、y、cl、p))は、境界ボックスの座標(x、y)、境界ボックスの検出信頼度cl、および境界ボックスのクラス確率pを含み得る。第1の特徴マップ(検出ボックス候補RD(x、y、w、h、cl、p))には、境界ボックスの座標(x、y)、境界ボックスの幅wと高さh、境界ボックスの検出信頼度clおよび境界ボックスのクラス確率pを含み得る。点候補RS(x、y、cl、p)および検出ボックス候補RD(x、y、w、h、cl、p)が図6に示すようにアレイに配置された後に、ノンマキシマムサプレッション(NMS)技術を使用して、信頼度が低い点候補および検出ボックス候補を除去することができる。このようにして、点予測(RS(x、y、c、cl、p))および検出ボックス予測(RD(x、y、w、h、c、cl、p))を生成することができる。
例示的な実施形態では、第1の損失関数を、第1の検出タスクのために構成することができ、第2の損失関数を、第2の検出タスクのために構成することができる。第1の損失関数は、第1の検出タスクに対応する第1の認識結果と第1の基準結果との間の誤差を測定するように構成され、第2の損失関数は、第2の検出タスクに対応する第2の認識結果と第2の基準結果との間の誤差を測定するように構成される。
図7は、本発明の例示的な実施形態による、第1の損失関数の入力を示す概略図である。
画像セグメンテーションのグラウンドトゥルース510(すなわち、GS(x、y、c))と図6に示される方法によって生成された点予測RS(x、y、c、cl、p)に応じて、第1の損失関数(セグメンテーション損失Segloss)が第1の認識結果(点予測RS(x、y、c、cl、p))と第1の基準結果(画像セグメンテーションのグラウンドトゥルース510、すなわち、第1の検出タスクに対応するGS(x、y、c))との間の誤差を測定することができる。Seglossは、以下の式4から式7を介して得ることができる。
Figure 2022064808000004

ここで、λptは正のxy予測の正規化の重みを示す。
[外1]
Figure 2022064808000005

は、正の点予測を示す。 λnoptは、負(null値)のxy予測の正規化重みを示す
[外2]
Figure 2022064808000006

は、負の点予測を示す。 GS(cl)= 1; GS(p(c))= 1; mfはバッチ番号を示し、 fはフレームインデックスを示す。
図8は、本発明の例示的な実施形態による、第2の損失関数の入力を示す概略図である。
プロセッサ140のバックボーンアーキテクチャモジュール2004は、入力画像(例えば、入力画像312)から2Dグラウンドトゥルース810を取得することができる。図6に示される方法によって生成された2Dグラウンドトゥルース810(すなわち、GD(x、y、w、h、c))と検出ボックス予測RD(x、y、w、h、c、cl、p))に応じて、第2の損失関数(2D物体検出損失Objloss)が、第2の認識結果(検出ボックス予測RD(x、y、w、h、c、cl、p)と第2の検出タスクに対応する第2の認識結果(2Dグラウンドトゥルース810、すなわちGD(x、y、w、h、c))との間の誤差を測定することができる。Objlossは、以下の式8から式12を介して得ることができる。
Figure 2022064808000007

ここで、λxyは正のxy予測の正規化重みを示す。
[外3]
Figure 2022064808000008
は、正の検出予測を示す。 λnobbは、負(ヌル値)のxy予測の正規化重みを示す。
[外4]
Figure 2022064808000009
は、負の検出予測を示し、 GD(cl)は1であり、 GD(p(c))は1であり、 Aはボックスの総数を示し、mfはバッチ番号を示し、fはフレームインデックスを示す。
例示的な実施形態では、プロセッサ140は、最終層ネットワークモジュール2006内に複数の予測層を構成し、第1の検出タスクに対応する第1の損失関数および第2の検出タスクに対応する第2の損失関数に従って共有特徴マップを処理することができる。言い換えれば、プロセッサ140は認識対象画像(入力画像312)から共有特徴を抽出し、バックボーンアーキテクチャモジュール2004を介して、第1の特徴マップ420-1、420-2および420-3および第2の特徴マップ430の共有特徴マップを生成した後に、上記の式4~式7から得られた第1の検出タスクに対応する第1の損失関数および上記の式8~式12から得られた第2の検出タスクに対応する第2の損失関数に従って共有特徴マップを処理することができる。
例示的な実施形態では、プロセッサ140は、複数の正規化重みを使用して、第2の検出タスクの損失値の範囲のバランスを取り、第1の検出タスクの損失値の範囲を参照してバックボーンアーキテクチャモジュールの学習可能な重みを調整することができる。たとえば、第1の損失関数(セグメンテーション損失Segloss)と第2の損失関数(2D物体検出損失Objloss)が得られた後で、以下の式13を使用して合成損失Finallossを得ることができる。プロセッサ140は、合成損失Finallossを使用して、バックボーンアーキテクチャモジュール2004の学習可能な重みを調整することができる。
Figure 2022064808000010
ここで、
[外5]
Figure 2022064808000011
であり、
[外6]
Figure 2022064808000012
は、バックボーンアーキテクチャモジュール2004が画像セグメンテーション検出タスクのみでトレーニングされた場合の最小セグメンテーション損失を示し、
[外7]
Figure 2022064808000013
は、バックボーンアーキテクチャモジュールが2D物体検出タスクのみでトレーニングされた場合の最小2D物体検出損失を示す。
例示的な実施形態では、プロセッサ140は、最終層ネットワークモジュール内のコンピュータビジョン技術を使用して、第2の検出タスクに対応する認識結果をクラスタ化および結合することができる。
図9A~図9Dは、本発明の例示的な実施形態によるコンピュータビジョン技術を使用することによって得られたセグメンテーションマップを示す概略図である。
図9Aを参照するに、図6に示す方法によって得られる点候補RS(x、y、cl、p)が図9の点候補910であり、図4に示す方法によって得られる第2の検出タスク(画像セグメンテーション)の第2の特徴マップ430が図9の特徴マップ920であり、そして、図5に示される方法によって得られる正のデータグリッドマップ520が図9の正のデータグリッドマップ930である、と想定される。この例示的な実施形態では、プロセッサ140は、コンピュータビジョン技術を使用して、点候補910と、特徴マップ920と、正のデータグリッドマップ930を使用することによってセグメンテーションマップを得ることができる。
この例示的な実施形態では、プロセッサ140がコンピュータビジョン技術を使用してセグメンテーションマップを取得する操作は、3つの段階に分割することができる。第1段階では、プロセッサ140は、以下の式14および式15を使用することにより、始点stptおよび終点edptを認識することができる。
Figure 2022064808000014
ここで、
[外8]
Figure 2022064808000015
は正点予測を示し、
[外9]
Figure 2022064808000016
は最低の正点予測を示す。
第2の段階では、プロセッサ140は、点の順序インデックスを見つけ続ける。
図9Bは、本発明の例示的な実施形態によるコンピュータビジョン技術を使用することによってセグメンテーションマップを取得するための第2の段階を示す概略図である。
図9Bを参照するに、第1段階で得られた始点stptは点910-1であり、第1段階で得られた終点edptは点910-2であると想定される。第2段階を実施すると、開始点stpt(点910-1)から出発して、カーネルが正のデータグリッドマップ930内の隣接セルに正のセルがあるかどうかを検索することができる。ここでは、カーネルは、図9Bの高さと幅が両方とも3のカーネル940であり、順序インデックスを決定するために以下の式16および式17が使用される。
Figure 2022064808000017
ポイント910-1から出発して、カーネルが正のデータグリッドマップ930内の隣接するセルに正のセルがあるかどうかを検索する。ここでは、カーネルは、図9Bの長さと幅が両方とも3のカーネル940であり、順序インデックスを決定するために式16および式17が使用される。
カーネル940(すなわち、Kn)を使用することによって、隣接する正のセルが正のデータグリッドマップ930内に見つからない場合、高さと幅の両方が5(Kgap)である別のカーネル950を使用して、特徴マップ920および正のデータグリッドマップ930内の隣接するセルを検索することができ、そのような動作は、以下の式18から式20で表すことができる。
Figure 2022064808000018

状況1:
Figure 2022064808000019

状況2:
Figure 2022064808000020
第2段階が処理された後、次に、ソートされた点を使用して、図9Dに示されるような輪郭を描いて、認識対象画像の第2の検出タスク(画像セグメンテーション)に対応する第2の認識結果(すなわち、画像セグメンテーション結果)を取得することができる。
図10は、本発明の例示的な実施形態による画像認識方法を示すフローチャートである。
図10に示されるように、ステップS1010において、画像センサ110は、認識対象画像を取得する。
ステップS1020において、プロセッサ140は、画像に対して前処理を実行する。
ステップS1030において、プロセッサ140は、認識対象画像(すなわち、図3の入力画像312または入力画像322)を単一の畳み込みニューラルネットワークに入力することができる。ここで、単一の畳み込みニューラルネットワークは、たとえば、画像認識用のニューラルネットワークアルゴリズムYOLOv3(You Only Look Once Version(YOLOバージョン3)である。ただし、本開示は、使用される単一の畳み込みニューラルネットワークのタイプを制限するものではない。
次に、ステップS1040において、プロセッサ140は、単一の畳み込みニューラルネットワークに従って、第1の検出タスクに属する第1の特徴マップと、第2の検出タスクに属する第2の特徴マップを取得する。
ステップS1050において、プロセッサ140は、第1の特徴マップ(第1の特徴マップ420-1、420-2および420-3)に従って、認識対象画像から、第1の検出タスク(2D物体検出)に対応する第1の認識結果(すなわち、2D物体検出結果)を生成することができ、且つ第2の特徴マップ(第2の特徴マップ430)に従って、認識対象画像から、第2の検出タスク(画像セグメンテーション)に対応する第2の認識結果(すなわち、画像セグメンテーション結果)を生成することができる。
ステップS1060において、出力装置130は、第1の検出タスク(2D物体検出)に対応する第1の認識結果(すなわち、2D物体検出結果)および第2の検出タスク(すなわち、画像セグメンテーション)に対応する第2の認識結果(すなわち、画像セグメンテーション結果)を出力する。
要約すると、本発明の例示的な実施形態の画像認識方法およびシステムは、異なる検出タスクの特徴マップ間に共有特徴がある場合、単一の畳み込みニューラルネットワークを使用することによって、異なる検出タスクの認識結果を得ることができる。これにより、画像認識に必要な時間を節約し、画像認識の精度を向上させることができる。
本発明は、上記の実施形態を参照して説明されてきたが、本発明の精神から逸脱することなく、上記の実施形態に様々な変更を行うことができることは当業者には明らかである。したがって、本発明の範囲は、上記の詳細な説明ではなく、添付の特許請求の範囲によって特定される。
本発明の画像認識方法および画像認識システムは、画像認識の分野に適用することができる。
100:画像認識システム
110:画像センサ
120:記憶装置
130:出力装置
140:プロセッサ
2000:単一の畳み込みニューラルネットワークに基づく画像認識モジュール
2002:画像前処理モジュール
2004:バックボーンアーキテクチャモジュール
2006:最終層ネットワークモジュール
2008:コンピュータビジョン処理モジュール
WM:ニューラルネットワークモデルの幅の次元
HM:ニューラルネットワークモデルの高さ次元
:生画像の幅
:生画像の高さ
:認識対象画像
I:入力画像
310:画像パディング操作
320、330:画像のサイズ変更操作
311、321:生画像
312、322:入力画像
410:単一の畳み込みニューラルネットワーク
420-1、420-2、420-3:第1の特徴マップ
430:第2の特徴マップ
510:画像セグメンテーションのグラウンドトゥルース
520:正データのグリッドマップ
x、y:境界ボックスの座標
w:境界ボックスの幅
h:境界ボックスの高さ
cl:検出信頼度
p:クラス確率
RS:点候補
RD:検出ボックス候補
RS:点予測
RD:検出ボックス予測
910:点候補
920:特徴マップ
930:正データのグリッドマップ
940、950:カーネル
S1010、S1020、S1030、S1040、S1050、S1060:手順

Claims (16)

  1. 複数の検出タスクのための画像認識方法であって、該画像認識方法は、
    画像センサによって認識対象画像を取得するステップと、
    前記認識対象画像を単一の畳み込みニューラルネットワークに入力するステップと、
    前記単一の畳み込みニューラルネットワークの出力結果に従って、第1の検出タスクに属する第1の特徴マップおよび第2の検出タスクに属する第2の特徴マップを取得するステップであり、前記第1の特徴マップと前記第2の特徴マップが共有特徴を有する、ステップと、
    最終層ネットワークモジュールを使用して、前記第1の特徴マップに従って、前記認識対象画像から前記第1の検出タスクに対応する第1の認識結果を生成し、前記第2の特徴マップに従って、前記認識対象画像から前記第2の検出タスクに対応する第2の認識結果を生成するステップと、
    前記第1の検出タスクに対応する前記第1の認識結果と、前記第2の検出タスクに対応する前記第2の認識結果を出力するステップと、
    を含むことを特徴とする、画像認識方法。
  2. 前記第1の検出タスクが2D物体検出であり、前記第2の検出タスクが画像セグメンテーションである、請求項1に記載の画像認識方法。
  3. 前記単一の畳み込みニューラルネットワーク内に複数の畳み込み層を有するバックボーンアーキテクチャモジュールを構成するステップと、
    前記バックボーンアーキテクチャモジュールを使用して、前記認識対象画像から前記共有特徴を抽出し、共有特徴マップを生成するステップと、
    をさらに含む、請求項1または2に記載の画像認識方法。
  4. 前記第1の検出タスクのための第1の損失関数を構成し、前記第2の検出タスクのための第2の損失関数を構成するステップをさらに備え、
    前記第1の損失関数が、前記第1の認識結果と前記第1の検出タスクに対応する第1の基準結果との間の誤差を測定し、
    前記第2の損失関数が、前記第2の認識結果と前記第2の検出タスクに対応する第2の基準結果との間の誤差を測定する、請求項3に記載の画像認識方法。
  5. 前記最終層ネットワークモジュール内に複数の予測層を構成し、前記第1の検出タスクに対応する前記第1の損失関数および前記第2の検出タスクに対応する前記第2の損失関数に従って前記共有特徴マップを処理するステップ、
    をさらに含む、請求項4に記載の画像認識方法。
  6. 複数の正規化重みを使用して、前記第2の検出タスクの損失値の範囲のバランスを取り、前記第1の検出タスクの損失値の範囲を参照して前記バックボーンアーキテクチャモジュールの学習可能な重みを調整するステップ、
    をさらに含む、請求項4に記載の画像認識方法。
  7. 前記最終層ネットワークモジュール内のコンピュータビジョン技術を使用して、前記第2の検出タスクに対応する前記第2の認識結果をクラスタ化および結合するステップ、
    をさらに含む、請求項1から6のいずれか一項に記載の画像認識方法。
  8. 前記第1の検出タスクの前記第1の特徴マップは、境界ボックスの座標、前記境界ボックスの幅および高さ、前記境界ボックスの検出信頼度および前記境界ボックスのクラス確率を含み、前記第2の検出タスクの前記第2の特徴マップは、前記境界ボックスの前記座標、前記境界ボックスの前記検出信頼度、および前記境界ボックスの前記クラス確率を含む、請求項1から7のいずれか一項に記載の画像認識方法。
  9. 認識対象画像を取得する画像センサと、
    記憶装置と、
    出力装置と、
    前記画像センサ、前記記憶装置、および前記出力装置に結合されたプロセッサと、
    を備え、
    前記プロセッサが、前記認識対象画像を単一の畳み込みニューラルネットワークに入力し、前記記憶装置が、前記単一の畳み込みニューラルネットワークを記憶すること、
    前記プロセッサが、前記単一の畳み込みニューラルネットワークの出力結果に従って、第1の検出タスクに属する第1の特徴マップおよび第2の検出タスクに属する第2の特徴マップを取得し、前記第1の特徴マップと前記第2の特徴マップが共有特徴を有すること、
    前記プロセッサが、最終層ネットワークモジュールを使用して、前記第1の特徴マップに従って、前記認識対象画像から前記第1の検出タスクに対応する第1の認識結果を生成し、前記第2の特徴マップに従って、前記認識対象画像から前記第2の検出タスクに対応する第2の認識結果を生成すること、
    前記出力装置が、前記第1の検出タスクに対応する前記第1の認識結果と、前記第2の検出タスクに対応する前記第2の認識結果とを出力すること、
    を特徴とする、画像認識システム。
  10. 前記第1の検出タスクが2D物体検出であり、前記第2の検出タスクが画像セグメンテーションである、請求項9に記載の画像認識システム。
  11. 前記プロセッサが、前記単一の畳み込みニューラルネットワーク内に複数の畳み込み層を有するバックボーンアーキテクチャモジュールを構成し、
    前記プロセッサが、前記バックボーンアーキテクチャモジュールを使用して、前記認識対象画像から前記共有特徴を抽出し、共有特徴マップを生成する、請求項9または10に記載の画像認識システム。
  12. 前記プロセッサが、前記第1の検出タスクのための第1の損失関数を構成し、且つ前記第2の検出タスクのための第2の損失関数を構成し、
    前記第1の損失関数が、前記第1の認識結果と前記第1の検出タスクに対応する第1の基準結果との間の誤差を測定し、
    前記第2の損失関数が、前記第2の認識結果と前記第2の検出タスクに対応する第2の基準結果との間の誤差を測定する、請求項11に記載の画像認識システム。
  13. 前記プロセッサが、前記最終層ネットワークモジュール内に複数の予測層を構成し、前記第1の検出タスクに対応する前記第1の損失関数および前記第2の検出タスクに対応する前記第2の損失関数に従って前記共有特徴マップを処理する、請求項12に記載の画像認識システム。
  14. 前記プロセッサが、複数の正規化重みを使用して、前記第2の検出タスクの損失値の範囲のバランスを取り、前記第1の検出タスクの損失値の範囲を参照して前記バックボーンアーキテクチャモジュールの学習可能な重みを調整する、請求項12に記載の画像認識システム。
  15. 前記プロセッサが、前記最終層ネットワークモジュール内のコンピュータビジョン技術を使用して、前記第2の検出タスクに対応する前記第2の認識結果をクラスタ化および結合する、請求項9から14のいずれか一項に記載の画像認識システム。
  16. 前記第1の検出タスクの前記第1の特徴マップは、境界ボックスの座標、前記境界ボックスの幅および高さ、前記境界ボックスの検出信頼度および前記境界ボックスのクラス確率を含み、前記第2の検出タスクの前記第2の特徴マップは、前記境界ボックスの前記座標、前記境界ボックスの前記検出信頼度、および前記境界ボックスの前記クラス確率を含む、請求項9から15のいずれか一項に記載の画像認識システム。
JP2021030701A 2020-10-14 2021-02-26 画像認識方法および画像認識システム Pending JP2022064808A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109135458 2020-10-14
TW109135458A TWI812888B (zh) 2020-10-14 2020-10-14 影像辨識方法及影像辨識系統

Publications (1)

Publication Number Publication Date
JP2022064808A true JP2022064808A (ja) 2022-04-26

Family

ID=81079313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021030701A Pending JP2022064808A (ja) 2020-10-14 2021-02-26 画像認識方法および画像認識システム

Country Status (4)

Country Link
US (1) US11507776B2 (ja)
JP (1) JP2022064808A (ja)
CN (1) CN114419313A (ja)
TW (1) TWI812888B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114918944A (zh) * 2022-06-02 2022-08-19 哈尔滨理工大学 基于卷积神经网络融合的家庭服务机器人抓取检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019102796A1 (ja) * 2017-11-21 2019-05-31 富士フイルム株式会社 認識装置、認識方法及びプログラム
JP2020503604A (ja) * 2016-12-05 2020-01-30 アビギロン コーポレイションAvigilon Corporation 外観検索のシステムおよび方法
US20200082560A1 (en) * 2018-09-07 2020-03-12 Ehsan Nezhadarya Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
CN110909885A (zh) * 2019-11-19 2020-03-24 支付宝(杭州)信息技术有限公司 一种平衡多个任务的方法及系统
WO2020057758A1 (en) * 2018-09-21 2020-03-26 Toyota Motor Europe Method and system for processing an image and performing instance segmentation using affinity graphs
WO2020090428A1 (ja) * 2018-10-30 2020-05-07 三菱電機株式会社 地物検出装置、地物検出方法および地物検出プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286524B1 (en) 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US10019657B2 (en) 2015-05-28 2018-07-10 Adobe Systems Incorporated Joint depth estimation and semantic segmentation from a single image
WO2017015390A1 (en) 2015-07-20 2017-01-26 University Of Maryland, College Park Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
US9836853B1 (en) * 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10657364B2 (en) 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
US10445622B2 (en) 2017-05-18 2019-10-15 Qualcomm Incorporated Learning disentangled invariant representations for one-shot instance recognition
US11775313B2 (en) * 2017-05-26 2023-10-03 Purdue Research Foundation Hardware accelerator for convolutional neural networks and method of operation thereof
CN107704866B (zh) 2017-06-15 2021-03-23 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
KR102463175B1 (ko) * 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
KR102452953B1 (ko) * 2017-10-30 2022-10-11 삼성전자주식회사 뉴럴 네트워크의 컨볼루션 연산을 수행하는 방법 및 장치
US11087130B2 (en) 2017-12-29 2021-08-10 RetailNext, Inc. Simultaneous object localization and attribute classification using multitask deep neural networks
US20190286921A1 (en) * 2018-03-14 2019-09-19 Uber Technologies, Inc. Structured Prediction Crosswalk Generation
CN109145713B (zh) 2018-07-02 2021-09-28 南京师范大学 一种结合目标检测的小目标语义分割方法
US10699430B2 (en) * 2018-10-09 2020-06-30 Industrial Technology Research Institute Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof
US11462112B2 (en) * 2019-03-07 2022-10-04 Nec Corporation Multi-task perception network with applications to scene understanding and advanced driver-assistance system
US11544928B2 (en) * 2019-06-17 2023-01-03 The Regents Of The University Of California Athlete style recognition system and method
CN110570421B (zh) * 2019-09-18 2022-03-22 北京鹰瞳科技发展股份有限公司 多任务的眼底图像分类方法和设备
CN110837869A (zh) * 2019-11-11 2020-02-25 深圳市商汤科技有限公司 图像分类模型训练方法、图像处理方法及装置
CN111160367B (zh) * 2019-12-23 2024-03-01 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和可读存储介质
US20230080133A1 (en) * 2020-02-21 2023-03-16 Toyota Motor Europe 6d pose and shape estimation method
US11731639B2 (en) * 2020-03-03 2023-08-22 GM Global Technology Operations LLC Method and apparatus for lane detection on a vehicle travel surface
CN111582043B (zh) * 2020-04-15 2022-03-15 电子科技大学 基于多任务学习的高分辨率遥感影像地物变化检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503604A (ja) * 2016-12-05 2020-01-30 アビギロン コーポレイションAvigilon Corporation 外観検索のシステムおよび方法
WO2019102796A1 (ja) * 2017-11-21 2019-05-31 富士フイルム株式会社 認識装置、認識方法及びプログラム
US20200082560A1 (en) * 2018-09-07 2020-03-12 Ehsan Nezhadarya Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
WO2020057758A1 (en) * 2018-09-21 2020-03-26 Toyota Motor Europe Method and system for processing an image and performing instance segmentation using affinity graphs
WO2020090428A1 (ja) * 2018-10-30 2020-05-07 三菱電機株式会社 地物検出装置、地物検出方法および地物検出プログラム
CN110909885A (zh) * 2019-11-19 2020-03-24 支付宝(杭州)信息技术有限公司 一种平衡多个任务的方法及系统

Also Published As

Publication number Publication date
US20220114383A1 (en) 2022-04-14
US11507776B2 (en) 2022-11-22
CN114419313A (zh) 2022-04-29
TWI812888B (zh) 2023-08-21
TW202215367A (zh) 2022-04-16

Similar Documents

Publication Publication Date Title
US20220392234A1 (en) Training neural networks for vehicle re-identification
CN109271870B (zh) 行人重识别方法、装置、计算机设备及存储介质
WO2018021942A2 (ru) Распознавание лиц с помощью искусственной нейронной сети
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN111461145B (zh) 一种基于卷积神经网络进行目标检测的方法
US20150023607A1 (en) Gesture recognition method and apparatus based on analysis of multiple candidate boundaries
Chen et al. Dr-tanet: Dynamic receptive temporal attention network for street scene change detection
CN110929080A (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN111062324A (zh) 人脸检测方法、装置、计算机设备和存储介质
WO2023274052A1 (zh) 一种图像分类方法及其相关设备
CN115496976A (zh) 多源异构数据融合的视觉处理方法、装置、设备及介质
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
WO2022063076A1 (zh) 对抗样本的识别方法及装置
CN114998756A (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
JP2022064808A (ja) 画像認識方法および画像認識システム
US20230410465A1 (en) Real time salient object detection in images and videos
CN112132025B (zh) 应急车道图像处理方法、装置、计算机设备及存储介质
CN113496260A (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN116977265A (zh) 缺陷检测模型的训练方法、装置、计算机设备和存储介质
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
WO2022257433A1 (zh) 图像的特征图的处理方法及装置、存储介质、终端
CN115713769A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN113920099B (zh) 一种基于非局部信息提取的息肉分割方法及相关组件

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230224

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230307

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230314

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230512