JP2020126621A - 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置 - Google Patents

自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置 Download PDF

Info

Publication number
JP2020126621A
JP2020126621A JP2020005680A JP2020005680A JP2020126621A JP 2020126621 A JP2020126621 A JP 2020126621A JP 2020005680 A JP2020005680 A JP 2020005680A JP 2020005680 A JP2020005680 A JP 2020005680A JP 2020126621 A JP2020126621 A JP 2020126621A
Authority
JP
Japan
Prior art keywords
specific
feature map
representative
roi
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020005680A
Other languages
English (en)
Other versions
JP6853543B2 (ja
Inventor
− ヒョン キム、ケイ
Kye-Hyeon Kim
− ヒョン キム、ケイ
キム、ヨンジュン
Young Jun Kim
− キョン キム、ハク
Hak-Kyoung Kim
− キョン キム、ハク
ナム、ウヒョン
Woonhyu Nam
ブー、ソッフン
Sukhoon Boo
ソン、ミュンチュル
Myungchul Sung
シン、ドンス
Dongsoo Shin
ヨー、ドンフン
Donghun Yeo
リュー、ウジュ
Wooju Ryu
− チュン イ、ミョン
Myeong-Chun Lee
− チュン イ、ミョン
イ、ヒョンス
Hyungsoo Lee
チャン、テウン
Taewoong Jang
ジョン、キュンチョン
Kyungjoong Jeong
チェ、ホンモ
Hongmo Je
チョウ、ホジン
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126621A publication Critical patent/JP2020126621A/ja
Application granted granted Critical
Publication of JP6853543B2 publication Critical patent/JP6853543B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

【課題】自律走行のために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援する方法を提供する。【解決手段】コンピューティング装置が、以前に学習が完了した物体検出ＣＮＮ２００に含まれる一つ以上のコンボリューションレイヤ２１０をもって、入力された参照イメージに一つ以上のコンボリューション演算を適用して参照コンボリューション特徴マップを生成した後、物体検出ＣＮＮに含まれているＲＯＩプーリングレイヤをもって、参照コンボリューション特徴マップ上のＲＯＩに対応する値のうちの少なくとも一部をプーリングして参照ＲＯＩプーリング済み特徴マップを生成し、代表選択ユニットをもって、参照イメージ上のＲＯＩに含まれた物体のクラスに関する情報を参照し、参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成する、ことを含む。【選択図】図４

Description

自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＳＵＰＰＯＲＴＩＮＧ ＡＤＭＩＮＩＳＴＲＡＴＯＲＳ ＴＯ ＥＶＡＬＵＡＴＥ ＯＢＪＥＣＴ ＤＥＴＥＣＴＩＮＧ ＰＲＯＣＥＳＳＥＳ ＯＦ ＯＢＪＥＣＴ ＤＥＴＥＣＴＯＲＳ ＴＯ ＰＲＯＶＩＤＥ ＬＯＧＩＣＡＬ ＧＲＯＵＮＤＳ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶＩＮＧ｝を提供する。
本発明は、自律走行車両に利用するための方法及び装置に関し；より詳しくは、自律走行に対する論理的根拠を提供するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置に関する。
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。それから、ＣＮＮは、機械学習分野で非常に有用なツールとなった。
最近、ＣＮＮは自律走行分野に広く用いられている。ＣＮＮは自律走行車両において、前記自律走行を支援するさまざまな機能、例えばシマンティック（ｓｅｍａｎｔｉｃ）セグメンテーション及び物体検出といった機能を遂行できるが、これらは数万枚の学習データセットを用いて学習された後、自律走行車両に搭載されることになる。
だが、前記ＣＮＮが車両を動かしている間、前記ＣＮＮが安定的に作動しているかを判断するのは難しい。前記ＣＮＮが安定的に動作するかを知ることは極めて重要で、これは前記ＣＮＮが不安定に動作する場合、運転者にアラームを与えて前記運転者がどのような問題なのか記録して、以後前記ＣＮＮを向上できるようにすることが必要だからである。
従来技術として、特定の条件を満たす構成を有する前記ＣＮＮに対し、前記ＣＮＮの物体検出結果に対する根拠を提示する方法が存在する。しかし、前記従来技術の前記特定条件は極めて限定的であり、一般的な場合に適用されにくいという短所がある。つまり、前記ＣＮＮが必ずクラス活性化マップ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）を用いる構成であるべきである。したがって、一般的な構成を有する前記ＣＮＮの安定動作の可否を探知し得る従来技術は、皆無であるのが現状である。
本発明は、前述した問題点を解決することを目的とする。
本発明は、各物体に対する各代表特徴マップを利用して、物体検出器の各検出プロセスを評価する手法を提供することにより、自律走行のための論理的根拠を提示することを目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
本発明の一態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援する方法において、（ａ）コンピューティング装置が、以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにする段階；及び（ｂ）前記コンピューティング装置が、代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；を含むことを特徴とする方法が開示される。
一例として、前記（ｂ）段階以前に、前記コンピューティング装置が、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、前記（ｂ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリング済み特徴マップに適用することにより、一つ以上の特定参照ＦＣの特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照にして前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。
一例として、前記特定統合パラメータベクトルは、次の数式によって生成され、

前記数式で、Ｗｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓｃは、前記特定最終ＦＣ出力値を意味し、ｎは前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする。
一例として、前記（ｂ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする。
一例として、（ｃ）前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；をさらに含むことを特徴とする。
一例として、前記（ｃ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする。
一例として、前記（ｂ）段階で、前記コンピューティング装置が、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。
一例として、前記（ａ）段階以前に、前記コンピューティング装置が、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする。
本発明の他の態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング方法において、（ａ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テスティング装置が、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにする段階；及び（ｂ）前記テスティング装置が、評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにする段階；を含むことを特徴とする方法。
一例として、前記（ｂ）段階で、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。
一例として、前記（ｂ）段階で、前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。
一例として、（ｃ）前記テスティング装置が、前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援する段階；をさらに含むことを特徴とする。
一例として、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。
一例として、前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。
一例として、前記（ｂ）段階で、前記テスティング装置が、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする。
本発明のまた他の態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するコンピューティング装置において、少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピューティング装置を開示する。
一例として、前記（ＩＩ）プロセス以前に、前記プロセッサが、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、前記（ＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリングされた特徴マップに適用することにより、一つ以上の特定参照ＦＣ特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照に、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。
一例として、前記特定統合パラメータベクトルは、次の数式によって生成され、

前記数式で、Ｗｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓｃは、前記特定最終ＦＣ出力値を意味し、ｎは、前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする。
一例として、前記プロセッサが、（ＩＩＩ）前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする。
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする。
一例として、前記（Ｉ）プロセス以前に、前記プロセッサが、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする。
本発明のまた他の態様によれば、自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング装置において、少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が開示される。
一例として、前記（ＩＩ）プロセスで、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする。
一例として、前記プロセッサが、（ＩＩＩ）前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする。
一例として、前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。
一例として、前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする。
本発明は、各物体に対する各代表特徴マップを利用して、物体検出器の各判断結果を評価する手法を提供することにより、自律走行の信頼性に対する根拠を示すことが可能となる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図１は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行するコンピューティング装置の構成を概略的に示した図面である。 図２は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行する前記コンピューティング装置に含まれた物体検出ＣＮＮの構成を概略的に示した図面である。 図３は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対する準備プロセスにおいての流れを概略的に示した図面である。 図４は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対するテスティングプロセスにおいての流れを概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
参考までに、以下の説明において混同を避けるために、前記プロセスに関連する用語には「学習用」または「トレーニング」という単語が追加され、テスティングプロセスに関連する用語には「テスト用」または「テスティング」という単語が追加された。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図１は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行するコンピューティング装置の構成を概略的に示した図面である。
図１を参照にすると、コンピューティング装置１００は、少なくとも一つの物体検出ＣＮＮ２００と、代表選択ユニット３００と、評価ユニット４００とを含み得る。この際、前記物体検出ＣＮＮ２００と、前記代表選択ユニット３００と、前記評価ユニット４００との入出力及び演算過程は、前記コンピューティング装置１００に含まれた通信部１１０と、プロセッサ１２０とによってそれぞれ行われ得る。また、前記コンピューティング装置１００に含まれたメモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを遂行し得、後から説明されるインストラクションを遂行することで本発明のプロセスを遂行することができる。このように前記コンピューティング装置１００が描写されたところで、前記コンピューティング装置１００が、プロセッサ、メモリ、ミディアム、または他の演算要素を含む統合装置を排除するものではない。
この際の前記物体検出ＣＮＮ２００の構成について、図２を参照に説明する。
図２は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法を遂行する前記コンピューティング装置に含まれた物体検出ＣＮＮの構成を概略的に示した図面である。
この際、前記物体検出ＣＮＮ２００は少なくとも一つのコンボリューションレイヤ２１０と、少なくとも一つのＲＯＩプーリングレイヤ２２０と、少なくとも一つのＦＣレイヤ２３０とを含み得る。前記コンボリューションレイヤ２１０は、前記物体検出ＣＮＮ２００に入力された少なくとも一つの入力イメージに一つ以上のコンボリューション演算を適用することにより、少なくとも一つの特徴マップを生成することができ、前記ＲＯＩプーリングレイヤ２２０は、前記コンボリューション特徴マップ上で、前記それぞれのＲＯＩに対応する各領域に一つ以上のプーリング演算を適用することができる。以降、前記ＦＣレイヤ２３０は、それぞれの前記ＲＯＩに対応する各ＲＯＩプーリング済み特徴マップに一つ以上のＦＣ演算を適用して、前記入力イメージに対する各物体を含む各バウンディングボックスとそれに対応するクラスに関する情報を生成することができる。前記物体検出ＣＮＮ２００は、本発明の一例に係る方法を適用する前に学習が完了されていられ得る。
前記物体検出ＣＮＮ２００の他に、前記代表選択ユニット３００及び前記評価ユニット４００は後から詳しく説明することにする。
図３は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対する準備プロセスにおいての流れを概略的に示した図面である。
図３を参照すると、まず、前記コンピューティング装置１００は、一つ以上の代表特徴マップを生成するための、一つ以上の参照イメージを取得するか、他の装置が一つ以上の参照イメージを取得するように支援することができる。この際、前記参照イメージは、前記物体検出ＣＮＮ２００が物体検出を学習するために用いたトレーニングイメージのうちの少なくとも一部を含むことができる。具体的に、前記トレーニングイメージは、前記物体検出ＣＮＮ２００に入力され、前記コンボリューションレイヤ２１０と、前記ＲＯＩプーリングレイヤ２２０と、前記ＦＣレイヤ２３０とによって演算されたことで、学習用結果値が生成され得る。また、前記学習用結果値及びこれに対応するＧＴを用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行して、前記コンボリューションレイヤ２１０と、前記ＲＯＩプーリングレイヤ２２０と、前記ＦＣレイヤ２３０とのうちの少なくとも一部のパラメータを学習することができる。前記のように前記トレーニングイメージが利用された後、前記トレーニングイメージのうちの少なくとも一部が前記参照イメージに含まれ得る。しかし、本発明の範囲はこれに限らない。
このような参照イメージが取得されると、前記コンピューティング装置１００は、前記物体検出ＣＮＮ２００をもって、前記参照イメージに各レイヤの各演算を適用するようにし得る。具体的には、前記コンボリューションレイヤ２１０は、前記参照イメージに前記コンボリューション演算を適用して、前記参照イメージに対応する一つ以上の参照コンボリューション特徴マップを生成することができる。そして、このようなプロセスと同時に、前記物体検出ＣＮＮ２００を支援するＲＰＮは、前記参照イメージ上でそれぞれの前記物体が存在するものと推定される領域である前記ＲＯＩを生成し、前記ＲＯＩを前記物体検出ＣＮＮ２００に伝達することができる。以降、前記ＲＯＩプーリングレイヤ２２０は、前記参照特徴マップ上で、それぞれの前記ＲＯＩに対応する各領域の値に前記プーリング演算を適用して一つ以上の参照ＲＯＩプーリング済み特徴マップを生成することができる。
前記参照ＲＯＩプーリング済み特徴マップが生成されると、前記コンピューティング装置１００は、前記参照ＲＯＩプーリング済み特徴マップを前記代表選択ユニット３００に伝達することができる。前記代表選択ユニット３００は、前記参照イメージ上の対応されるＲＯＩに含まれた物体クラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップをクラスにそれぞれ分類することができる。このような情報は、それぞれの前記参照イメージに対応する各ＧＴから取得され得る。以降、前記代表選択ユニット３００は、個々の前記参照ＲＯＩプーリング済み特徴マップを利用して各クラス別にそれぞれの前記代表特徴マップを生成することができる。次に、これについて詳細に見てみる。
一例として、前記代表選択ユニット３００は、特定クラスに属する物体を有する特定参照ＲＯＩプーリング済み特徴マップに含まれた各構成要素の各平均を計算し、前記平均をその構成要素とする、前記特定クラスに対する特定代表特徴マップを生成することができる。
他の例として、前記代表選択ユニット３００は、前記特定クラスに対する前記特定代表特徴マップを生成するための先行過程として、前記ＦＣレイヤ２３０に含まれたＦＣニューロン間の関係を分析し、前記ＦＣニューロンのうちの少なくとも一部に対応するパラメータセットを取得できる。具体的に、前記代表選択ユニット３００は、特定最終ＦＣ出力値を生成するのに利用された、特定ＦＣニューロンのパラメータの特定セットを取得できる。前記特定最終ＦＣ出力値は、入力された特徴マップに対応する物体が特定クラスに含まれるかを判断するのに用いられる値であり得る。今後、このような特定セットが取得されれば、前記代表選択ユニット３００は、前記特定セットを参照にして、特定統合パラメータベクトルを生成することができる。その後、前記代表選択ユニット３００は、前記特定クラスに対応する前記特定参照ＲＯＩプーリング済み特徴マップに、前記特定統合パラメータベクトルを利用する一つ以上のベクトル演算を適用して特定参照ＦＣ特徴マップを生成することができる。一例として、前記ベクトル演算には、前記特定統合パラメータベクトルと前記特定参照ＲＯＩプーリング済み特徴マップとの乗算が含まれ得る。その後、前記代表選択ユニット３００は、前記特定参照ＦＣ特徴マップに含まれた各構成要素に対する各平均を計算し、前記平均をその構成要素とする、特定クラスに対する特定代表特徴マップを生成することができる。
例えば、図３の前記物体検出ＣＮＮ２００は、自身に入力されたイメージに含まれた物体を自動車、歩行者、バイクなどに分類することができ、その後、自動車クラス、歩行者クラス、及びバイククラスに対応する各代表特徴マップが生成され得る。図３において、Ｗ１、Ｗ２、．．．、Ｗｎなどは、前述した前記ＦＣレイヤ２３０に含まれた前記パラメータのうちの前記歩行者ｃの前記クラスに対応する歩行者を意味し得る。その結果、前記歩行者クラスに対応する前記特定統合パラメータベクトルは、このように前記パラメータを参照にして生成され得る。
前記プロセスをより詳細に説明するために、これを数式で表現すると次のとおりである。

この際、Ｗｃは、前記特定クラスｃに対する前記特定統合パラメータベクトルを、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ） に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し得る。そして、Ｓｃは、前記特定最終ＦＣ出力値を、ｎは、前記特定参照ＲＯＩプーリング済みマップのチャネルの数を意味することができる。前記数式を参照すれば、前記特定統合パラメータベクトルを生成するプロセスが理解され得る。
付加的に、前記コンピューティング装置１００は、各クラス別の前記代表特徴マップそれぞれを参照にして、各クラス別代表イメージを取得できる。つまり、前記コンピューティング装置１００は、前記代表選択ユニット３００をもって、前記特定クラスに対する、前記特定代表特徴マップを生成するために用いられた特徴マップのうちの少なくとも一部を選択し、前記選択された特徴マップに対応する前記参照イメージのうちの一部を、前記特定クラスに対する特定代表イメージとして設定することができる。具体的に、前記コンピューティング装置１００は、前記代表選択ユニット３００をもって、前記特定クラスに対応する前記特定代表特徴マップと前記特定代表特徴マップとを生成するのに利用した前記特徴マップ間の距離に関する情報を生成することができ、前記参照イメージの中の距離が最も短い前記特徴マップに対応する前記参照イメージの一部を設定することができる。参考までに、前記トレーニングイメージの数に対する前記参照イメージの中の前記一部の数の割合は予め設定され得る。
例えば、前述した一例の結果のとおりに、前記代表選択ユニット３００は、前記特定代表特徴マップと前記特定参照ＲＯＩプーリング済み特徴マップとの間の距離に対する前記情報を生成することができる。前述した他の例の結果のとおりに、前記代表選択ユニット３００は、前記特定代表特徴マップと前記特定参照ＦＣ特徴マップとの間の距離に対する情報を生成することができる。以後の過程は、両例示と互いに同じである。
結果的に、前記物体検出ＣＮＮ２００が検出し得るクラス毎の前記代表特徴マップ及び前記代表イメージが生成され得る。以下、前記代表特徴マップを利用して前記コンピューティング装置１００がテスティングプロセスを遂行する方式を説明する。
図４は、本発明の一例に係る自律走行に対する論理的根拠を提示するために、管理者が物体検出器の物体検出プロセスを評価できるように支援する方法に対するテスティングプロセスにおいての流れを概略的に示した図面である。
図４を参照すれば、前記コンピューティング装置１００は、少なくとも一つのテストイメージを取得するか、他の装置が少なくとも一つのテストイメージを取得するように支援することができる。一例として、前記コンピューティング装置１００が前記自律走行車両に搭載された場合、前記テストイメージは、前記自律走行車両が運行しながらカメラによって取得したイメージの一つであり得る。前記テストイメージが取得されると、前記コンピューティング装置１００は、前記物体検出ＣＮＮ２００をもって、前記テストイメージに各レイヤの各演算を適用し得る。具体的には、前記コンボリューションレイヤ２１０は、前記テストイメージに前記コンボリューション演算を適用して、前記テストイメージに対応する一つ以上のテスティングコンボリューション特徴マップを生成することができる。そして、このようなプロセスと同時に、前記物体検出ＣＮＮ２００を支援するＲＰＮは、前記テストイメージ上でそれぞれのテスト用物体が存在するものと推定される各領域であるテスト用ＲＯＩを生成し、前記テスト用ＲＯＩを前記物体検出ＣＮＮ２００に伝達することができる。以降、前記ＲＯＩプーリングレイヤ２２０は、前記テスティングコンボリューション特徴マップ上で、それぞれの前記テスト用ＲＯＩに対応する各領域に前記プーリング演算を適用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成することができる。
この後、前記ＦＣレイヤ２３０は、それぞれのテスティングＲＯＩプーリング済み特徴マップに前記ＦＣ演算を適用してテスティングＦＣ特徴マップそれぞれを生成することができ、前記テストイメージ上の前記各テスト用物体を含むそれぞれのテスト用バウンディングボックスに関する情報と、それぞれのテスト用物体に関する各クラスに関する情報とを生成することができる。その際、各物体の各クラスに関する前記情報は、前記テスト用特定物体の前記特定クラスに関する情報を含み得る。つまり、前記テスティング装置は、前記物体検出ＣＮＮ２００をもって、前記ＦＣレイヤ２３０を用いて前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得させることができ、前記評価ユニットをもって、前記テスト用物体の前記クラスに関する情報を利用して前記代表特徴マップを選択するようにすることができる。
この際、前記コンピューティング装置１００は、前記代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合なら、前記評価ユニット４００をもって、（ｉ）テスト用特定物体に対応する、前記テスティングＲＯＩプーリング済み特徴マップのうちの特定テスティングＲＯＩプーリング済み特徴マップと、（ｉｉ）前記テスト用特定物体を含んでいると推定される前記特定クラスに対応する前記特定代表特徴マップとの間の距離に関する情報を生成するようにすることができ、前記距離に対する前記情報を参照にして前記テスト用特定物体に関する特定信頼度点数を生成するようにすることができる。
または、前記コンピューティング装置１００は、前記代表特徴マップが前記参照ＦＣ特徴マップを利用して生成された場合なら、前記評価ユニット４００をもって、（ｉ）前記テスト用特定物体に対応する、前記テスティングＦＣ特徴マップのうちの特定テスティングＦＣ特徴マップと、（ｉｉ）前記特定代表マップとの間の距離に関する情報を生成するようにし得、前記距離に関する前記情報を参照にして、前記テスト用特定物体に対する前記特定信頼度点数を生成するようにすることができる。
この際、前記距離に対する前記情報は、前記二つの特徴マップ間の距離であるＬ１距離、またはＬ−ｐの距離にあるユークリッド距離（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ）を計算することによって生成され得るが、本発明の範囲はこれに限定されない。
また、前記特定信頼度点数を計算する過程に加えて、前記コンピューティング装置１００は、前記評価ユニット４００をもって、前記特定クラスに対応する前記特定代表イメージのうちの少なくとも一部を、管理者によって確認されるか、管理者に示すイメージとして取得できる。
この際、前記評価ユニット４００は、前記代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記特定代表イメージに対応する前記特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＲＯＩプーリング済み特徴マップのうちの一部を選択するようにし得る。その際、前記特定代表イメージは、前記特定参照ＲＯＩプーリング済み特徴マップに対応し得る。前記距離に関するこのような情報は、前記管理者に示される際の手順を決定するために参照され得る。
この際、前記評価ユニット４００は、前記代表特徴マップが前記参照ＦＣ特徴マップを利用して生成された場合、前記特定代表イメージに対応する前記特定参照ＦＣ特徴マップと、前記特定テスティングＦＣ特徴マップとの間の距離に関する情報を生成するようにした後、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択してディスプレイする前記特定代表イメージのうちの一部を選択することができる。その際、前記特定代表イメージは、前記特定参照ＦＣ特徴マップに対応し得る。前記距離に関するこのような情報は、前記管理者に示される際の手順を決定するために参照され得る。
前記で説明されたテスティング方法は、連動された前記準備プロセスとともに説明したい。次に、準備装置及びテスティング装置を説明する。前記準備装置及び前記テスティング装置は、前記コンピューティング装置１００のように同一のコンピューティング装置でもあり得るが、同一ではないであろう。たとえば、前記準備装置は前記コンピューティング装置１００であり得るが、前記テスティング装置は別途のコンピューティング装置であり得る。
まず、前記準備装置が、（１）以前に学習が完了された前記物体検出ＣＮＮ２００に含まれた前記コンボリューションレイヤ２１０をもって、これに入力された前記参照イメージに前記コンボリューション演算を適用して、前記参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮ２００に含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤ２２０をもって、前記物体検出ＣＮＮと連動された前記ＲＰＮから前記参照コンボリューション特徴マップ上の前記ＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）前記代表選択ユニット３００をもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援した状態で、前記テスティング装置が、前記テストイメージを取得すると、前記物体検出ＣＮＮ２００をもって、これに含まれた前記コンボリューションレイヤ２１０と、前記ＲＯＩプーリングレイヤ２２０と、ＦＣレイヤ２３０とを利用して前記テスティングＲＯＩプーリング済み特徴マップを生成するようし得る。
その後、前記テスティング装置は、評価ユニット４００をもって、テスト用特定物体の特定クラスに対応する前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する前記特定信頼度点数を生成するようにし得る。
次に、各物体のプロセスを遂行することで各物体の前記判別信頼度を判断するための、前記イメージを生成した後のプロセスを説明することにする。
まず、前記信頼度点数は、前記コンピューティング装置１００が前記自律走行車両に搭載されている場合、運転者にアラームを与える用途で利用され得る。つまり、前記信頼度点数が特定閾値以下である場合、前記物体検出ＣＮＮ２００はこれ以上信頼できなくなるので、前記運転者は、前記自律走行車両を統制し、前記物体検出ＣＮＮ２００を更新できるようにアラームを受けることができる。
また、見えてきた前記特定イメージのうちの前記少なくとも一部は、前記プログラマーが前記物体検出ＣＮＮ２００をメンテナンスする際、前記物体検出ＣＮＮ２００がどんな風に、なぜ誤った動作をしたのかを把握するのに役立つことができる。
本発明は、説明可能なＡＩを利用した自律走行システムと関連がある。前記説明可能なＡＩは判別プロセスを判断するので、プログラマーは前記説明可能なＡＩを含む自律走行システムをより容易に構築しながら機能安全を図ることができる。例えば、学習されたＤＮＮは、自身に入力されたイメージから特徴マップを抽出でき、前記特徴マップとそれに対応する代表特徴マップとを比較することで前記二つの特徴マップ間の類似点数を生成することができ、これはプログラマーが分析できる。したがって、本発明は故障に対する抵抗力及び極限状況で変動に対する強靭さのために利用され得る。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

  1. 自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援する方法において、
    （ａ）コンピューティング装置が、以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにする段階；及び
    （ｂ）前記コンピューティング装置が、代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；
    を含むことを特徴とする方法。
  2. 前記（ｂ）段階以前に、
    前記コンピューティング装置が、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、
    前記（ｂ）段階で、
    前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリング済み特徴マップに適用することにより、一つ以上の特定参照ＦＣの特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照にして前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１に記載の方法。
  3. 前記特定統合パラメータベクトルは、次の数式によって生成され、

    前記数式で、Ｗｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓｃは、前記特定最終ＦＣ出力値を意味し、ｎは前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする請求項２に記載の方法。
  4. 前記（ｂ）段階で、
    前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする請求項２に記載の方法。
  5. （ｃ）前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援する段階；
    をさらに含むことを特徴とする請求項２に記載の方法。
  6. 前記（ｃ）段階で、
    前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする請求項５に記載の方法。
  7. 前記（ｂ）段階で、
    前記コンピューティング装置が、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１に記載の方法。
  8. 前記（ａ）段階以前に、
    前記コンピューティング装置が、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする請求項１に記載の方法。
  9. 自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング方法において、
    （ａ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テスティング装置が、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにする段階；及び
    （ｂ）前記テスティング装置が、評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにする段階；
    を含むことを特徴とする方法。
  10. 前記（ｂ）段階で、
    前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項９に記載の方法。
  11. 前記（ｂ）段階で、
    前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項９に記載の方法。
  12. （ｃ）前記テスティング装置が、前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援する段階；
    をさらに含むことを特徴とする請求項９に記載の方法。
  13. 前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項１２に記載の方法。
  14. 前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項１２に記載の方法。
  15. 前記（ｂ）段階で、
    前記テスティング装置が、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする請求項９に記載の方法。
  16. 自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するコンピューティング装置において、
    少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするコンピューティング装置。
  17. 前記（ＩＩ）プロセス以前に、
    前記プロセッサが、前記代表選択ユニットをもって、（ｉ）前記物体検出ＣＮＮの少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤに含まれたＦＣニューロン間の関係を分析し、（ｉ）前記ＦＣレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終ＦＣ出力値を生成する、特定ＦＣニューロンのパラメータの特定セットを取得した後、（ｉｉｉ）前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、
    前記（ＩＩ）プロセスで、
    前記プロセッサが、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ＲＯＩプーリングされた特徴マップに適用することにより、一つ以上の特定参照ＦＣ特徴マップを生成するようにした後、前記特定参照ＦＣ特徴マップを参照に、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１６に記載のコンピューティング装置。
  18. 前記特定統合パラメータベクトルは、次の数式によって生成され、

    前記数式で、Ｗｃは、前記特定クラスｃに対応する前記特定統合パラメータベクトルを意味し、ｆｋ（ｘ、ｙ）は、前記参照イメージのうちの一つの座標（ｘ、ｙ）に位置する前記ＲＯＩのうちの一つに対応する前記特定参照ＲＯＩプーリング済み特徴マップの一つに含まれた第ｋチャネルの値を意味し、Ｓｃは、前記特定最終ＦＣ出力値を意味し、ｎは、前記特定参照ＲＯＩプーリング済み特徴マップのチャネルの個数を意味することを特徴とする請求項１７に記載のコンピューティング装置。
  19. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記代表選択ユニットをもって、前記特定参照ＦＣ特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする請求項１７に記載のコンピューティング装置。
  20. 前記プロセッサが、（ＩＩＩ）前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照ＦＣ特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする請求項１７に記載のコンピューティング装置。
  21. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照ＦＣ特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照ＦＣ特徴マップの一部を選択するようにし、前記選択された特定参照ＦＣ特徴マップの数と、前記特定参照ＦＣ特徴マップの数とに対する特定比率が予め設定されていることを特徴とする請求項２０に記載のコンピューティング装置。
  22. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ＲＯＩプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ＲＯＩプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項１６に記載のコンピューティング装置。
  23. 前記（Ｉ）プロセス以前に、
    前記プロセッサが、一つ以上のトレーニングイメージが取得されると、前記物体検出ＣＮＮをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いたバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して、前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、前記ＦＣレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする請求項１６に記載のコンピューティング装置。
  24. 自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング装置において、
    少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）準備装置が、（１）以前に学習が完了した物体検出ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出ＣＮＮに含まれている一つ以上のＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）プーリングレイヤをもって、前記物体検出ＣＮＮと連動されたＲＰＮとから前記参照コンボリューション特徴マップ上のＲＯＩに対する情報を取得し、前記ＲＯＩに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ＲＯＩプーリング済み特徴マップを生成するようにし、（２）代表選択ユニットをもって、前記参照イメージ上の前記ＲＯＩに含まれた物体のクラスに関する情報を参照にして、前記参照ＲＯＩプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出ＣＮＮの前記検出プロセスを評価できるように支援した状態で、テストイメージを取得すると、前記物体検出ＣＮＮをもって、これに含まれた前記コンボリューションレイヤと、前記ＲＯＩプーリングレイヤと、ＦＣレイヤとを利用して一つ以上のテスティングＲＯＩプーリング済み特徴マップを生成するようにするプロセス、及び（ＩＩ）評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングＲＯＩプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするテスティング装置。
  25. 前記（ＩＩ）プロセスで、
    前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップにＦＣ演算を適用して生成された特定テスティングＦＣ特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項２４に記載のテスティング装置。
  26. 前記（ＩＩ）プロセスで、
    前記特定代表特徴マップを含む代表特徴マップが参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項２４に記載のテスティング装置。
  27. 前記プロセッサが、（ＩＩＩ）前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出ＣＮＮの検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする請求項２４に記載のテスティング装置。
  28. 前記特定代表特徴マップを含む代表特徴マップが参照ＦＣ特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングＲＯＩプーリング済み特徴マップを利用して生成された特定テスティングＦＣ特徴マップと、前記特定代表イメージに対応する特定参照ＦＣ特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項２７に記載のテスティング装置。
  29. 前記特定代表特徴マップを含む代表特徴マップが前記参照ＲＯＩプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ＲＯＩプーリング済み特徴マップと、前記特定テスティングＲＯＩプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照ＦＣ特徴マップのうちの一部を選択するようにすることを特徴とする請求項２７に記載のテスティング装置。
  30. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記物体検出ＣＮＮをもって、前記ＦＣレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする請求項２４に記載のテスティング装置。
JP2020005680A 2019-01-31 2020-01-17 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置 Active JP6853543B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799139P 2019-01-31 2019-01-31
US62/799,139 2019-01-31
US16/724,424 2019-12-23
US16/724,424 US10713815B1 (en) 2019-01-31 2019-12-23 Method and device for supporting administrators to processes of object detectors to provide logical driving

Publications (2)

Publication Number Publication Date
JP2020126621A true JP2020126621A (ja) 2020-08-20
JP6853543B2 JP6853543B2 (ja) 2021-03-31

Family

ID=69192004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020005680A Active JP6853543B2 (ja) 2019-01-31 2020-01-17 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置

Country Status (5)

Country Link
US (1) US10713815B1 (ja)
EP (1) EP3690733A1 (ja)
JP (1) JP6853543B2 (ja)
KR (1) KR102313129B1 (ja)
CN (1) CN111507151B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386291B2 (en) * 2018-01-10 2022-07-12 Siemens Healthcare Diagnostics Inc. Methods and apparatus for bio-fluid specimen characterization using neural network having reduced training
CN112766687B (zh) * 2021-01-12 2024-02-27 北京化工大学 一种基于深度cnn的飞机总装物料配送优先级分配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
JP2018077829A (ja) * 2016-11-09 2018-05-17 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
JP2018534694A (ja) * 2015-11-04 2018-11-22 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク
JP2020008896A (ja) * 2018-07-02 2020-01-16 カシオ計算機株式会社 画像識別装置、画像識別方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US11244191B2 (en) * 2016-02-17 2022-02-08 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
CN106599773B (zh) * 2016-10-31 2019-12-24 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
US10380741B2 (en) * 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
KR102585216B1 (ko) * 2017-12-14 2023-10-05 삼성전자주식회사 영상 인식 방법 및 그 장치
CN108416394B (zh) * 2018-03-22 2019-09-03 河南工业大学 基于卷积神经网络的多目标检测模型构建方法
US10678253B2 (en) * 2018-05-24 2020-06-09 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
US10955842B2 (en) * 2018-05-24 2021-03-23 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US10410120B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018534694A (ja) * 2015-11-04 2018-11-22 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク
JP2018077829A (ja) * 2016-11-09 2018-05-17 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
JP2020008896A (ja) * 2018-07-02 2020-01-16 カシオ計算機株式会社 画像識別装置、画像識別方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
柿下容弓 外１名: "Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋのモデル逆解析による識別根拠可視化技術", 情報処理学会研究報告, vol. Vol. 2018-MPS-120，No. 7, JPN6021004570, 25 September 2018 (2018-09-25), pages 1 - 6, ISSN: 0004444020 *
荒井敏 外１名: "畳み込みニューラルネットワークを用いた画像分類タスクの直感的可視化方法", 情報処理学会研究報告, vol. Vol. 2016-MPS-111，No. 10, JPN6021004568, 12 December 2016 (2016-12-12), pages 1 - 6, ISSN: 0004444019 *

Also Published As

Publication number Publication date
KR20200095359A (ko) 2020-08-10
US20200250853A1 (en) 2020-08-06
JP6853543B2 (ja) 2021-03-31
CN111507151A (zh) 2020-08-07
CN111507151B (zh) 2023-08-18
KR102313129B1 (ko) 2021-10-18
EP3690733A1 (en) 2020-08-05
US10713815B1 (en) 2020-07-14

Similar Documents

Publication Publication Date Title
JP6886202B2 (ja) 仮想走行の環境で使用されるドメイン適応に適用され得るｇａｎを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
KR102373456B1 (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN111008999B (zh) 用包含跟踪网络的cnn跟踪对象的方法和使用该方法的装置
JP6849898B2 (ja) 生成ニューラルネットワークと、判別ニューラルネットワークとを含む敵対的生成ネットワークを利用して、合成可否判断不可の合成イメージを生成する方法、及び装置
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
JP6857370B2 (ja) ターゲット物体予測ネットワーク及びターゲット物体統合ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に係る最適化のための再構成可能なネットワーク基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
JP6846070B2 (ja) 自律走行ネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法及び学習装置、そしてこれを用いたテスティング方法及びテスティング装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ｆｕｎｃｔｉｏｎａｌ ｓａｆｅｔｙ ｂｙ ｗａｒｎｉｎｇ ｄｒｉｖｅｒ ａｂｏｕｔ ｐｏｔｅｎｔｉａｌ ｄａｎｇｅｒｏｕｓ ｓｉｔｕａｔｉｏｎ ｂｙ ｕｓｉｎｇ ｅｘｐｌａｉｎａｂｌｅ ａｉ ｗｈｉｃｈ ｖｅｒｉｆｉｅｓ ｄｅｔｅｃｔｉｏｎ ｐｒｏｃｅｓｓｅｓ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ ｎｅｔｗｏｒｋ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN111105011A (zh) 用于对有用学习数据进行取舍筛选的基于cnn的方法及装置
CN111491131B (zh) 由每个对象检测器检测的对象检测信息的集成方法及装置
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
JP2020123346A (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
JP6892157B2 (ja) Ｖ２ｘ情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して３ｄ空間を再構築することによりｈｄマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6853543B2 (ja) 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置
JP6903352B2 (ja) 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｓｅｎｓｏｒ ｆｕｓｉｏｎ ｂｙ ｕｓｉｎｇ ｍｅｒｇｉｎｇ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｌｅａｒｎｓ ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ｝

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210303

R150 Certificate of patent or registration of utility model

Ref document number: 6853543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250