JP2020126632A - Ａｖｍを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａｖｍ ｔｏ ｔｈｅｒｅｂｙ ａｃｈｉｅｖｅ ｓａｆｅｔｙ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ｝ - Google Patents

Ａｖｍを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａｖｍ ｔｏ ｔｈｅｒｅｂｙ ａｃｈｉｅｖｅ ｓａｆｅｔｙ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ｝ Download PDF

Info

Publication number
JP2020126632A
JP2020126632A JP2020008882A JP2020008882A JP2020126632A JP 2020126632 A JP2020126632 A JP 2020126632A JP 2020008882 A JP2020008882 A JP 2020008882A JP 2020008882 A JP2020008882 A JP 2020008882A JP 2020126632 A JP2020126632 A JP 2020126632A
Authority
JP
Japan
Prior art keywords
cnn
confidence
predicted
information
rpn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020008882A
Other languages
English (en)
Other versions
JP6890855B2 (ja
Inventor
金桂賢
Kye-Hyeon Kim
金鎔重
Yongjoong Kim
金鶴京
Hak-Kyoung Kim
南雲鉉
Woonhyun Nam
夫碩▲くん▼
Sukhoon Boo
成明哲
Myungchul Sung
申東洙
Dongsoo Shin
呂東勳
Donghun Yeo
柳宇宙
Wooju Ryu
李明春
Myeong-Chun Lee
李炯樹
Hyungsoo Lee
張泰雄
Taewoong Jang
鄭景中
Kyungjoong Jeong
諸泓模
Hongmo Je
趙浩辰
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126632A publication Critical patent/JP2020126632A/ja
Application granted granted Critical
Publication of JP6890855B2 publication Critical patent/JP6890855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Processing (AREA)

Abstract

【課題】物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコアを利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するための方法を提供する。【解決手段】方法は、コンピューティング装置が、対象車両に設置された少なくとも一つのパノラマビューセンサを通じて対象車両の周辺に対する少なくとも一つの状況イメージを取得する段階と、コンピューティング装置が、ＣＮＮをもって、状況イメージに対してＣＮＮ演算を少なくとも一回適用させて、状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させる段階と、コンピューティング装置が、初期物体情報及び初期コンフィデンス情報を参照して、状況イメージに対する最終物体情報を生成する段階と、を含む。【選択図】図２

Description

本発明は、自律走行車両とともに使用する方法及び装置に関し、より詳細には、自律走行の安全性を取得するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置に関する。
最近、自律走行技術が研究されて、自律走行車両が運転者の介入なしにかなりの正確度で走行することができるほどに発展した。しかし、このような自律走行技術は商用化されていない。自律走行技術が大衆的に使用され得ないのには様々な理由があるが、そのうちの一つは、自律走行のための演算は、コンピューティングパワーをあまりにも多く消耗するという点である。
自律走行のための演算を遂行する際に消耗するコンピューティングパワーを減らすために多大な努力がなされているが、この場合に生じ得る問題点は、消耗するコンピューティングパワーを減らせば自律走行の性能が劣るということである。自律走行の性能が劣ると、エラーが多く生じ、運転者及び周囲の人々の生命を脅かすようになる。したがって、コンピューティングパワーを減らしながらも自律走行の性能をある程度保持し得るようにすることが必要であり、このような方法はあまり研究されていないのが事実である。
本発明は、上述した問題点を解決することを目的とする。
本発明は、ＡＶＭを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法を提供することを他の目的とする。
また、本発明は物体検出プロセスと並列して、物体検出の信頼度を示すパラメータであるコンフィデンススコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を生成する方法を提供することをまた他の目的とする。
また、本発明は、コンフィデンススコアが閾値未満である領域に対する物体検出を繰り返すことによって、さらに正確な物体検出を遂行し得る方法を提供することをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、物体検出プロセスと並列して生成された、物体検出の信頼度（Ｃｒｅｄｉｂｉｌｉｔｙ）を示すコンフィデンススコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するための方法において、（ａ）コンピューティング装置が、対象車両に設置された少なくとも一つのパノラマビューセンサ（Ｐａｎｏｒａｍａ Ｖｉｅｗ Ｓｅｎｓｏｒ）を通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得する段階；（ｂ）前記コンピューティング装置が、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記状況イメージに対してＣＮＮ演算を少なくとも一回適用させ、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させる段階；及び（ｃ）前記コンピューティング装置が、前記初期物体情報及び前記初期コンフィデンス情報を参照して、前記状況イメージに対する最終物体情報を生成する段階；を含むことを特徴とする。
一実施例において、前記（ｃ）段階は、（ｃ１）前記コンピューティング装置が、（ｉ）前記初期コンフィデンス情報を参照して、前記状況イメージに含まれている少なくとも一つの領域のうちそれに対応する前記コンフィデンススコアが閾値未満である少なくとも一つの第１特定領域それぞれを先に選択し、（ｉｉ）前記ＣＮＮをもって、前記第１特定領域に対してＣＮＮ演算を適用させて前記状況イメージに対する第１調整物体情報（Ａｄｊｕｓｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）及び第１調整コンフィデンス情報を生成させる、再検出（Ｒｅ−ｄｅｔｅｃｔｉｏｎ）プロセスを遂行する段階；（ｃ２）前記コンピューティング装置が、（ｉ）事前に生成された第Ｋ−１調整コンフィデンス情報を参照して、前記状況イメージ内の前記領域のうちそれに対応する前記コンフィデンススコアが前記閾値未満である少なくとも一つの第Ｋ特定領域それぞれを選択し、（ｉｉ）前記ＣＮＮをもって、前記第Ｋ特定領域に対してＣＮＮ演算を適用させて前記状況イメージに対する第Ｋ調整物体情報及び第Ｋ調整コンフィデンス情報を生成させる、前記再検出プロセスを繰り返し遂行する段階：及び（ｃ３）前記再検出プロセスがＮ回遂行されることによって、第Ｎ調整物体情報及び第Ｎ調整コンフィデンス情報が生成されると、前記コンピューティング装置が、前記初期物体情報と、前記第１調整物体情報ないし前記第Ｎ調整物体情報のうち少なくとも一部とを参照して、前記最終物体情報を生成する段階；を含み、前記Ｋは２以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）であり、Ｎは予め設定された整数であることを特徴とする。
一実施例において、Ｍは１以上Ｎ−１以下の整数であり、前記再検出プロセスをＭ回目遂行しつつ、選択された少なくとも一つの第Ｍ特定領域の少なくとも一つの広さの和が閾値未満である場合、前記コンピューティング装置が前記再検出プロセスを繰り返して遂行することを中断し、前記初期物体情報と、前記第１調整物体情報ないし第Ｍ−１調整物体情報のうち少なくとも一部とを参照して、前記最終物体情報を生成することを特徴とする。
一実施例において、Ｌは１以上Ｎ以下の整数であり、前記再検出プロセスをＬ回目遂行しつつ、少なくとも一つの第Ｌ特定領域が選択されると、前記コンピューティング装置が第Ｌ倍数情報を参照して前記第Ｌ特定領域に対してアップサンプリング演算（Ｕｐｓａｍｐｌｉｎｇ Ｏｐｅｒａｔｉｏｎ）を適用して第Ｌ特定アップサンプリングイメージ（Ｓｐｅｃｉｆｉｃ Ｕｐｓａｍｐｌｅｄ Ｉｍａｇｅ）を生成した後、前記ＣＮＮをもって、前記第Ｌ特定アップサンプリングイメージに対してＣＮＮ演算を適用させて第Ｌ調整物体情報及び第Ｌ調整コンフィデンス情報を生成させることを特徴とする。
一実施例において、前記コンピューティング装置が、前記初期物体情報と、前記第１調整物体情報ないし前記第Ｎ調整物体情報のうち少なくとも一部とを参照して、ＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）アルゴリズム及びボックスボーティング（Ｂｏｘ Ｖｏｔｉｎｇ）アルゴリズムのうち少なくとも一つを遂行することによって前記最終物体情報を生成することを特徴とする。
一実施例において、前記（ｃ）段階において、前記コンピューティング装置が、複数個の前記状況イメージをそれに対する部分イメージ（Ｐａｒｔｉａｌ Ｉｍａｇｅ）として含む統合イメージ（Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）を生成しつつ、それぞれの前記状況イメージに関するそれぞれの前記初期物体情報とそれぞれの前記初期コンフィデンス情報とを利用して前記統合イメージに関する統合最終物体情報を生成することを特徴とし、前記Ｋは２以上Ｎ以下の整数であり、Ｎは予め設定された整数である場合、前記統合最終物体情報は、（ｃ４）前記コンピューティング装置が、（ｉ）それぞれの前記初期コンフィデンス情報を参照して、前記統合イメージに対する第１統合コンフィデンス情報を生成した後、（ｉｉ）前記第１統合コンフィデンス情報を参照して前記統合イメージ内の少なくとも一つの領域のうちそれに対応するコンフィデンススコアが閾値未満である少なくとも一つのそれぞれの第１特定領域を選択し、（ｉｉｉ）最後に前記ＣＮＮをもって、前記第１特定領域に対してＣＮＮ演算を適用させて前記統合イメージに関するそれぞれの第１調整物体情報及びそれぞれの第１調整コンフィデンス情報を生成させる、再検出プロセスを遂行する段階；（ｃ５）前記コンピューティング装置が、（ｉ）それぞれの第Ｋ−１調整コンフィデンス情報を参照して、前記統合イメージに対する第Ｋ調整統合コンフィデンス情報を生成した後、（ｉｉ）前記第Ｋ調整統合コンフィデンス情報を参照して前記統合イメージ内の前記領域のうちそれに対応するコンフィデンススコアが前記閾値未満である少なくとも一つの第Ｋ特定領域それぞれを選択し、（ｉｉｉ）最後に前記ＣＮＮをもって、前記第Ｋ特定領域に対してＣＮＮ演算を適用させて前記統合イメージに関するそれぞれの第Ｋ調整物体情報及びそれぞれの第Ｋ調整コンフィデンス情報を生成させる、前記再検出プロセスを繰り返し遂行する段階；及び（ｃ６）前記再検出プロセスがＮ回遂行されることによって、それぞれの第Ｎ調整物体情報及びそれぞれの第Ｎ調整コンフィデンス情報が生成されると、前記コンピューティング装置が、前記初期物体情報と、前記第１調整物体情報ないし第Ｎ調整物体情報のうち少なくとも一部とを参照して、前記統合最終物体情報を生成する段階；を遂行して生成されることを特徴とする。
一実施例において、（ｉ）複数の前記パノラマビューセンサのうちカメラに対応する少なくとも一つの第１パノラマビューセンサを通じて少なくとも一つの第１状況イメージが取得されると、前記コンピューティング装置が、３チャンネルイメージに対して最適化された、インプットノード（Ｉｎｐｕｔ Ｎｏｄｅ）が３個以上である第１ＣＮＮをもって、前記第１状況イメージに対して第１ＣＮＮ演算を少なくとも一回適用させ、（ｉｉ）デプスセンサ（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）に対応する少なくとも一つの第２パノラマビューセンサを通じて少なくとも一つの第２状況イメージが取得されると、前記コンピューティング装置が、デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）に対して最適化された、インプットノードが１個以上である第２ＣＮＮをもって、前記第２状況イメージに対して第２ＣＮＮ演算を少なくとも一回適用させることを特徴とする。
一実施例において、（ｄ）前記コンピューティング装置が、前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールが前記最終物体情報を利用して前記対象車両の自律走行を遂行し得るように支援する段階；をさらに含むことを特徴とする。
一実施例において、前記（ａ）段階以前に、（ａ１）トレーニングイメージが取得されると、学習装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；（ａ２）前記学習装置が、前記コンボリューション特徴マップに対してアンカー演算（Ａｎｃｈｏｒ Ｏｐｅｒａｔｉｏｎ）を少なくとも一回適用することによって前記トレーニングイメージ上の予測ＲＯＩ（Ｅｓｔｉｍａｔｅｄ Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスを遂行しつつ、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤ（Ａｎｃｈｏｒ Ｌａｙｅｒ）をもって、前記予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのＲＰＮコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；（ａ３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤ（ＲＯＩ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップ（ＲＯＩ−Ｐｏｏｌｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）が取得されると、前記学習装置は、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれているＦＣレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測ＣＮＮ分類結果（Ｅｓｔｉｍａｔｅｄ ＣＮＮ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｒｅｓｕｌｔ）及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果（Ｅｓｔｉｍａｔｅｄ ＣＮＮ Ｒｅｇｒｅｓｓｉｏｎ Ｒｅｓｕｌｔ）が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果（ＧＴ ＣＮＮ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｒｅｓｕｌｔ）及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果（ＧＴ ＣＮＮ Ｒｅｇｒｅｓｓｉｏｎ Ｒｅｓｕｌｔ）と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのＣＮＮコンフィデンススコアを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び（ａ４）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーションを遂行することによって前記ＣＮＮ及び前記ＲＰＮに含まれているパラメータのうち少なくとも一部を学習させる段階；をさらに含むことを特徴とする。
一実施例において、前記（ａ４）段階で、前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＲＰＮロスを生成させ、

Ｎｒｅｇはアンカー演算を遂行して生成された前記コンボリューション特徴マップのサイズに対応する定数（ｃｏｎｓｔａｎｔ）であり、Ｎｃｌｓは前記トレーニングイメージに対応する定数であり、ｃｉは前記ＲＰＮコンフィデンスコアのうち、前記コンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し、ｐｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮ分類結果を意味し、ｔｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮリグレッション結果を意味し、前記第ｉ原本正解ＲＰＮ分類結果及び前記第ｉ原本正解ＲＰＮリグレッション結果は、前記原本正解物体検出結果に対応することを特徴とする。
一実施例において、前記（ａ４）段階で、前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＣＮＮロスを生成させ、

Ｎｒｅｇ及びＮｃｌｓは前記予測ＲＯＩの個数であり、ｃｉは前記ＣＮＮコンフィデンススコアのうち前記予測ＲＯＩから選択された第ｉ予測ＲＯＩに対応する第ｉＣＮＮコンフィデンススコアを意味し、ｐｉは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮ分類結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮ分類結果を意味し、ｔｉは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮリグレッション結果を意味し、前記第ｉ予測ＣＮＮ分類結果及び前記第ｉ予測ＣＮＮリグレッション結果は、前記予測物体検出結果に対応することを特徴とする。
一実施例において、前記（ａ３）段階以後に、前記学習装置が、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする。
一実施例において、前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ）（ｉ−１）前記ＣＮＮから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ＲＯＩに対するＮＭＳ結果を取得するプロセス、（ｉ−２）前記ＲＰＮコンフィデンスマップに対してリサイズ演算（Ｒｅｓｉｚｉｎｇ Ｏｐｅｒａｔｉｏｎ）を少なくとも一回適用してリサイズされたＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果と、前記リサイズされたＲＰＮコンフィデンスマップとを参照して、前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする。
一実施例において、前記学習装置が、前記コンフィデンスレイヤをもって、前記統合コンフィデンススコアのうち、前記トレーニングイメージ上の座標（ｘ，ｙ）に対応する第Ｘ＿Ｙ統合コンフィデンススコアを下記数式にしたがって生成させ、

ｃ’ｘｙは前記第Ｘ＿Ｙ統合コンフィデンススコアを意味し、ｃｘｙは前記リサイズされたＲＰＮコンフィデンスマップ上の前記座標（ｘ，ｙ）に対応する第Ｘ＿ＹリサイズされたＲＰＮコンフィデンススコアを意味し、ｃｒｉは前記ＮＭＳ結果で決定された、前記座標（ｘ，ｙ）を含みｒｉとして表現される第ｉ予測ＲＯＩに対する第ｉＣＮＮコンフィデンススコアを意味することを特徴とする。
一実施例において、前記（ｂ）段階は、（ｂ１）前記状況イメージが取得されると、前記コンピューティング装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させる段階；（ｂ２）前記コンピューティング装置が、前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ＲＯＩを生成するためのプロセスを遂行しつつ、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解ＲＯＩと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのＲＰＮコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；（ｂ３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記コンピューティング装置が、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれるＦＣレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すＣＮＮコンフィデンスコアそれぞれを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び（ｂ４）前記コンピューティング装置が、前記ＣＮＮと連動して作動するコンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して統合コンフィデンスマップを生成させる段階を含み、前記コンピューティング装置は、前記ＣＮＮをもって、前記予測物体検出結果を含む前記初期物体情報及び前記統合コンフィデンスマップを含む前記初期コンフィデンス情報を出力させることを特徴とする。
本発明の他の態様によると、物体検出プロセスと並列して生成された、物体検出の信頼度（Ｃｒｅｄｉｂｉｌｉｔｙ）を示すコンフィデンススコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するためのコンピューティング装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）対象車両に設置された少なくとも一つのパノラマビューセンサ（Ｐａｎｏｒａｍａ Ｖｉｅｗ Ｓｅｎｓｏｒ）を通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得するプロセス；（ＩＩ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記状況イメージに対してＣＮＮ演算を少なくとも一回適用させて、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させるプロセス；及び（ＩＩＩ）前記初期物体情報及び前記初期コンフィデンス情報を参照して、前記状況イメージに対する最終物体情報を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスは、（ＩＩＩ−１）（ｉ）前記初期コンフィデンス情報を参照して、前記状況イメージに含まれている少なくとも一つの領域のうちそれに対応する前記コンフィデンススコアが閾値未満である少なくとも一つの第１特定領域それぞれを先に選択し、（ｉｉ）前記ＣＮＮをもって、前記第１特定領域に対してＣＮＮ演算を適用させて前記状況イメージに対する第１調整物体情報（Ａｄｊｕｓｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）及び第１調整コンフィデンス情報を生成させる、再検出（Ｒｅ−ｄｅｔｅｃｔｉｏｎ）プロセスを遂行するプロセス；（ＩＩＩ−２）（ｉ）事前に生成された第Ｋ−１調整コンフィデンス情報を参照して、前記状況イメージ内の前記領域のうちそれに対応する前記コンフィデンススコアが前記閾値未満である少なくとも一つの第Ｋ特定領域それぞれを選択し、（ｉｉ）前記ＣＮＮをもって、前記第Ｋ特定領域に対してＣＮＮ演算を適用させて前記状況イメージに対する第Ｋ調整物体情報及び第Ｋ調整コンフィデンス情報を生成させる、前記再検出プロセスを繰り返し遂行するプロセス；（ＩＩＩ−３）前記再検出プロセスがＮ回遂行されることによって、第Ｎ調整物体情報及び第Ｎ調整コンフィデンス情報が生成されると、前記初期物体情報と、前記第１調整物体情報ないし前記第Ｎ調整物体情報のうち少なくとも一部とを参照して、前記最終物体情報を生成するプロセス；を含み、前記Ｋは２以上Ｎ以下の整数であり、Ｎは予め設定された整数であることを特徴とする。
一実施例において、Ｍは１以上Ｎ−１以下の整数であり、前記再検出プロセスをＭ回目遂行しつつ選択された少なくとも一つの第Ｍ特定領域の少なくとも一つの広さの和が閾値未満である場合、前記プロセッサが前記再検出プロセスを繰り返し遂行することを中断し、前記初期物体情報と、前記第１調整物体情報ないし第Ｍ−１調整物体情報のうち少なくとも一部とを参照して、前記最終物体情報を生成することを特徴とする。
一実施例において、Ｌは１以上Ｎ以下の整数であり、前記再検出プロセスをＬ回目遂行しつつ、少なくとも一つの第Ｌ特定領域が選択されると、前記プロセッサが第Ｌ倍数情報を参照して前記第Ｌ特定領域に対してアップサンプリング演算（Ｕｐｓａｍｐｌｉｎｇ Ｏｐｅｒａｔｉｏｎ）を適用して第Ｌ特定アップサンプリングイメージ（Ｓｐｅｃｉｆｉｃ Ｕｐｓａｍｐｌｅｄ Ｉｍａｇｅ）を生成した後、前記ＣＮＮをもって、前記第Ｌ特定アップサンプリングイメージに対してＣＮＮ演算を適用させて第Ｌ調整物体情報及び第Ｌ調整コンフィデンス情報を生成させることを特徴とする。
一実施例において、前記プロセッサが、前記初期物体情報と、前記第１調整物体情報ないし前記第Ｎ調整物体情報のうち少なくとも一部とを参照して、ＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）アルゴリズム及びボックスボーティング（Ｂｏｘ Ｖｏｔｉｎｇ）アルゴリズムのうち少なくとも一つを遂行することによって前記最終物体情報を生成することを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、複数個の前記状況イメージをそれに対する部分イメージ（Ｐａｒｔｉａｌ Ｉｍａｇｅ）として含む統合イメージ（Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）を生成しつつ、前記プロセッサがそれぞれの前記状況イメージに関するそれぞれの前記初期物体情報とそれぞれの前記初期コンフィデンス情報とを利用して前記統合イメージに関する統合最終物体情報を生成することを特徴とし、前記Ｋは２以上Ｎ以下の整数であり、Ｎは予め設定された整数である場合、前記統合最終物体情報は、（ＩＩＩ−４）（ｉ）それぞれの前記初期コンフィデンス情報を参照して、前記統合イメージに対する第１統合コンフィデンス情報を生成した後、（ｉｉ）前記第１統合コンフィデンス情報を参照して前記統合イメージ内の少なくとも一つの領域のうちそれに対応するコンフィデンススコアが閾値未満である少なくとも一つのそれぞれの第１特定領域を選択し、（ｉｉｉ）最後に前記ＣＮＮをもって、前記第１特定領域に対してＣＮＮ演算を適用させて前記統合イメージに関するそれぞれの第１調整物体情報及びそれぞれの第１調整コンフィデンス情報を生成させる、再検出プロセスを遂行するプロセス；（ＩＩＩ−５）（ｉ）それぞれの第Ｋ−１調整コンフィデンス情報を参照して、前記統合イメージに対する第Ｋ調整統合コンフィデンス情報を生成した後、（ｉｉ）前記第Ｋ調整統合コンフィデンス情報を参照して前記統合イメージ内の前記領域のうちそれに対応するコンフィデンススコアが前記閾値未満である少なくとも一つの第Ｋ特定領域それぞれを選択し、（ｉｉｉ）最後に前記ＣＮＮをもって、前記第Ｋ特定領域に対してＣＮＮ演算を適用させて前記統合イメージに関するそれぞれの第Ｋ調整物体情報及びそれぞれの第Ｋ調整コンフィデンス情報を生成させる、前記再検出プロセスを繰り返し遂行するプロセス；（ＩＩＩ−６）前記再検出プロセスがＮ回遂行されることによって、それぞれの第Ｎ調整物体情報及びそれぞれの第Ｎ調整コンフィデンス情報が生成されると、前記初期物体情報と、前記第１調整物体情報ないし第Ｎ調整物体情報のうち少なくとも一部とを参照して前記統合最終物体情報を生成するプロセス；を遂行して生成されることを特徴とする。
一実施例において、（ｉ）複数の前記パノラマビューセンサのうちカメラに対応する少なくとも一つの第１パノラマビューセンサを通じて少なくとも一つの第１状況イメージが取得されると、前記プロセスが、３チャンネルイメージに対して最適化された、インプットノード（Ｉｎｐｕｔ Ｎｏｄｅ）が３個以上である第１ＣＮＮをもって、前記第１状況イメージに対して第１ＣＮＮ演算を少なくとも一回適用させ、（ｉｉ）デプスセンサ（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）に対応する少なくとも一つの第２パノラマビューセンサを通じて少なくとも一つの第２状況イメージが取得されると、前記プロセスが、デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）に対して最適化された、インプットノードが１個以上である第２ＣＮＮをもって、前記第２状況イメージに対して第２ＣＮＮ演算を少なくとも一回適用させることを特徴とする。
一実施例において、（ＩＶ）前記プロセッサが、前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールが前記最終物体情報を利用して前記対象車両の自律走行を遂行し得るように支援するプロセス；をさらに含むことを特徴とする。
一実施例において、前記（Ｉ）プロセス以前に、（Ｉ−１）トレーニングイメージが取得されると、学習装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス；（Ｉ−２）前記学習装置が、前記コンボリューション特徴マップに対してアンカー演算（Ａｎｃｈｏｒ Ｏｐｅｒａｔｉｏｎ）を少なくとも一回適用することによって、前記トレーニングイメージ上の予測ＲＯＩ（Ｅｓｔｉｍａｔｅｄ Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスを遂行しつつ、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤ（Ａｎｃｈｏｒ Ｌａｙｅｒ）をもって、前記予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのＲＰＮコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス；（Ｉ−３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤ（ＲＯＩ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップ（ＲＯＩ−Ｐｏｏｌｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）が取得されると、前記学習装置は、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれているＦＣレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測ＣＮＮ分類結果（Ｅｓｔｉｍａｔｅｄ ＣＮＮ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｒｅｓｕｌｔ）及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果（Ｅｓｔｉｍａｔｅｄ ＣＮＮ Ｒｅｇｒｅｓｓｉｏｎ Ｒｅｓｕｌｔ）が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果（ＧＴ ＣＮＮ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｒｅｓｕｌｔ）及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果（ＧＴ ＣＮＮ Ｒｅｇｒｅｓｓｉｏｎ Ｒｅｓｕｌｔ）と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのＣＮＮコンフィデンススコアを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス；及び（Ｉ−４）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーションを遂行することによって前記ＣＮＮ及び前記ＲＰＮに含まれているパラメータのうち少なくとも一部を学習させるプロセス；をさらに含むことを特徴とする。
一実施例において、前記（Ｉ−４）プロセスで、前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＲＰＮロスを生成させ、

Ｎｒｅｇはアンカー演算を遂行して生成された前記コンボリューション特徴マップのサイズに対応する定数であり、Ｎｃｌｓは前記トレーニングイメージに対応する定数であり、ｃｉは前記ＲＰＮコンフィデンスコアのうち、前記コンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し、ｐｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮ分類結果を意味し、ｔｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮリグレッション結果を意味し、前記第ｉ原本正解ＲＰＮ分類結果及び前記第ｉ原本正解ＲＰＮリグレッション結果は、前記原本正解物体検出結果に対応することを特徴とする。
一実施例において、前記（Ｉ−４）プロセスで、前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＣＮＮロスを生成させ、

Ｎｒｅｇ及びＮｃｌｓは前記予測ＲＯＩの個数であり、ｃｉは前記ＣＮＮコンフィデンススコアのうち前記予測ＲＯＩから選択された第ｉ予測ＲＯＩに対応する第ｉＣＮＮコンフィデンススコアを意味し、ｐｉは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮ分類結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮ分類結果を意味し、ｔｉは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮリグレッション結果を意味し、前記第ｉ予測ＣＮＮ分類結果及び前記第ｉ予測ＣＮＮリグレッション結果は、前記予測物体検出結果に対応することを特徴とする。
一実施例において、前記（Ｉ−３）プロセス以後に、前記学習装置が、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする。
一実施例において、前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ）（ｉ−１）前記ＣＮＮから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ＲＯＩに対するＮＭＳ結果を取得するプロセス、（ｉ−２）前記ＲＰＮコンフィデンスマップに対してリサイズ演算（Ｒｅｓｉｚｉｎｇ Ｏｐｅｒａｔｉｏｎ）を少なくとも一回適用してリサイズされたＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果及び前記リサイズされたＲＰＮコンフィデンスマップを参照して前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする。
一実施例において、前記学習装置が、前記コンフィデンスレイヤをもって、前記統合コンフィデンススコアのうち、前記トレーニングイメージ上の座標（ｘ，ｙ）に対応する第Ｘ＿Ｙ統合コンフィデンススコアを下記数式にしたがって生成させ、

ｃ’ｘｙは前記第Ｘ＿Ｙ統合コンフィデンススコアを意味し、ｃｘｙは前記リサイズされたＲＰＮコンフィデンスマップ上の前記座標 （ｘ，ｙ）に対応する第Ｘ＿ＹリサイズされたＲＰＮコンフィデンススコアを意味し、ｃｒｉは前記ＮＭＳ結果で決定された、前記座標（ｘ，ｙ）を含みｒｉとして表現される第ｉ予測ＲＯＩに対する第ｉＣＮＮコンフィデンススコアを意味することを特徴とする。
一実施例において、前記（ＩＩ）プロセスは、（ＩＩ−１）前記状況イメージが取得されると、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス；（ＩＩ−２）前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ＲＯＩを生成するためのプロセスを遂行しつつ、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解ＲＯＩと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのＲＰＮコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス；（ＩＩ−３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれるＦＣレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すＣＮＮコンフィデンスコアそれぞれを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス；及び（ＩＩ−４）前記ＣＮＮと連動して作動するコンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して統合コンフィデンスマップを生成させるプロセスを含み、前記コンピューティング装置は、前記ＣＮＮをもって、前記予測物体検出結果を含む前記初期物体情報と、前記統合コンフィデンスマップを含む前記初期コンフィデンス情報とを出力させることを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、ＡＶＭを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法を提供する効果を有する。
また、本発明は、物体検出プロセスと並列して、物体検出の信頼度を示すパラメータであるコンフィデンススコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を生成する方法を提供する他の効果を有する。
また、本発明は、コンフィデンススコアが閾値未満である領域に対する物体検出を繰り返すことによって、より正確な物体検出を遂行し得る方法を提供する、また他の効果を有する。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図１は、本発明の一実施例にしたがって、物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらも、より優れた自律走行性能を達成するための方法を遂行するコンピューティング装置の構成を簡略に示した図面である。 図２は、本発明の一実施例にしたがって、物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコアを利用することによって、コンピューティングパワーを節約しながらも、より優れた自律走行性能を達成するための方法を示したチャート図である。 図３は、本発明の一実施例にしたがって、物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコアを利用することによって、コンピューティングパワーを節約しながらも、より優れた自律走行性能を達成するための方法を遂行するのに使用される統合イメージ及びこれに対応する統合最終物体情報の例示を簡略に示した図面である。 図４は、本発明の一実施例にしたがって、物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコアを利用することによって、コンピューティングパワーを節約しながらも、より優れた自律走行性能を達成するための方法を遂行するのに使用されるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習プロセスを簡略に示したチャート図である。 図５は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てアルゴリズムを利用して、安全な自律走行を提供する方法を遂行するのに使用される、ＣＮＮと、ＲＰＮと、ロスレイヤと、コンフィデンスレイヤとを含む学習装置の構成を示したフローチャートである。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例にしたがって、物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらも、より優れた自律走行性能を達成するための方法を遂行するコンピューティング装置の構成を簡略に示した図面である。
図１を参照すると、コンピューティング装置１００は、追って詳細に説明する構成要素であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１３０と、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）１４０と、コンフィデンスレイヤ１５０とを含むことができる。この場合、ＣＮＮ１３０、ＲＰＮ１４０及びコンフィデンスレイヤ１５０の入出力及び通信の過程は、通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この際、メモリ１１５は、後述する様々なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態であり得、プロセッサ１２０はメモリ１１５に格納されたインストラクションを遂行するように設定され、プロセッサ１２０は、追って説明するプロセスを遂行することによって本発明を遂行することができる。このようにコンピューティング装置１００が描写されたからといって、コンピューティング装置１００が本発明を実施するためのプロセッサ、ミディアム、メモリまたは他のコンピューティング要素が統合された形態である統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）を含む場合を排除するわけではない。
以上のコンピューティング装置１００は、対象車両と連動して作動し得、対象車両に設置された少なくとも一つのパノラマビューセンサを通じて撮影されたイメージを取得することができる。パノラマビューセンサは、カメラの形態で具現化されたり、レーダまたはライダ（Ｌｉｄａｒ）などのデプスセンサ（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）の形態で具現され得る。
本発明の一実施例にしたがって、物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコアを利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するための方法を遂行するコンピューティング装置の構成を説明した。以下、方法自体について図２を参照して説明することにする。
図２は、本発明の一実施例にしたがって、物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコアを利用することによって、コンピューティングパワーを節約しながらも、より優れた自律走行性能を達成するための方法を示したチャート図である。
図２を参照すると、コンピューティング装置１００が、対象車両に搭載されたパノラマビューセンサを通じて、対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得することができる（Ｓ１００）。以後、コンピューティング装置１００が、ＣＮＮ１３０をもって、状況イメージにＣＮＮ演算を少なくとも一回適用させ、状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させることができる（Ｓ２００）。以後、コンピューティング装置１００は、初期物体情報及び初期コンフィデンス情報を参照して、状況イメージに関する最終物体情報を生成することができる（Ｓ３００）。
概括的なチャートは前記のとおりであり、以下、これについてさらに具体的に説明することにする。まず、状況イメージが単一である一実施例について説明することにする。
パノラマビューセンサを通じて状況イメージが取得されると、ＣＮＮ１３０をもって、コンピューティング装置１００が状況イメージに対してＣＮＮ演算を適用させることができる。ここで、もし状況イメージが、カメラの形態で設置された第１パノラマビューセンサを通じて取得されたものであれば、コンピューティング装置１００は、３チャンネルイメージに対して最適化された、インプットノード（Ｉｎｐｕｔ Ｎｏｄｅ）が３個以上である第１ＣＮＮをもって、状況イメージに対して第１ＣＮＮ演算を少なくとも一回適用させることによってＣＮＮ演算を適用させることができる。または、状況イメージが、デプスセンサ（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）の形態で設置された第２パノラマビューセンサを通じて取得されたものであれば、コンピューティング装置１００は、デプスイメージに最適化された、インプットノードが１個以上である第２ＣＮＮをもって、状況イメージに対して第２ＣＮＮ演算を少なくとも一回適用させることによって、ＣＮＮ演算を適用させることができる。この場合、「第１ＣＮＮ」と「第２ＣＮＮ」の記号は、上記特定の場合のように、ＣＮＮ１３０として機能し得るＣＮＮを区分するために使用される。同様に、「第１パノラマビューセンサ」と「第２パノラマビューセンサ」の記号は、上記特定の場合のようにパノラマビューセンサとして機能し得るパノラマビューセンサを区分するために使用される。
このようなＣＮＮ演算を通じて初期物体情報及び初期コンフィデンス情報が取得されると、コンピューティング装置１００は、下記のような再検出（Ｒｅ−ｄｅｔｅｃｔｉｏｎ）プロセスを繰り返し遂行することによって、最終物体情報を生成することができる。
つまり、コンピューティング装置１００が、初期の再検出プロセスとして、初期コンフィデンス情報を参照して、状況イメージに含まれている少なくとも一つの領域のうちそれに対応するコンフィデンススコアが第１閾値未満であるそれぞれの少なくとも一つの第１特定領域を選択し、ＣＮＮ１３０をもって第１特定領域に対してＣＮＮ演算を適用させて、状況イメージに対する第１調整物体情報及び第１調整コンフィデンス情報を生成させることができる。つまり、ＣＮＮ１３０が物体検出結果に対して正確度が劣る領域、すなわち、第１特定領域を選択して、当該領域に対して再び物体検出を適用するのである。前記のようなプロセスが遂行され得るように、コンピューティング装置１００を支援する初期コンフィデンス情報は、物体検出を遂行する間、ＣＮＮ１３０により生成される。ＣＮＮ１３０がどのように上記のごとく遂行するように学習され得るのかについては、追って説明する。
ここで、第１特定領域の選択方式について、もう少し具体的に説明することにする。追って説明するが、物体検出に利用される特徴マップのサイズと状況イメージのサイズとの間の比率に対応する個数の格子で状況イメージを区分して導き出される、状況イメージ内のそれぞれの領域に対してコンフィデンススコアが算出された状態であり得る。例えば、状況イメージのサイズが４８×４８であり、特徴マップのサイズが１６×１６である場合ならば、内部の四角形のサイズが３×３である格子に区分された２５６個のそれぞれの領域に対してそれぞれのコンフィデンススコアが算出されるのである。ここで単純な一例として、第１特定領域は、前記格子領域のうちから選択されることもあるが、他の実施例もあり得る。すなわち、コンフィデンススコアが第２閾値未満である領域を含む少なくとも一つの広域（Ｅｘｔｅｎｓｉｖｅ）領域を見出した後、広域領域に対して予め設定された割合でマージン（Ｍａｒｇｉｎ）を含む少なくとも一つのバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を第１特定領域として設定することができる。追って説明する少なくとも一つの第Ｋ特定領域もやはりこれと同じように選択され得る。
以後、コンピューティング装置１００は、再検出プロセスを繰り返し遂行することができる。すなわち、コンピューティング装置１００は、先に生成された第Ｋ−１調整コンフィデンス情報を参照して、状況イメージに含まれている領域のうちそれに対応するコンフィデンススコアが第１閾値未満である第Ｋ特定領域それぞれを選択した後、ＣＮＮ１３０をもって、第Ｋ特定領域に対してＣＮＮ演算を適用させて、状況イメージに対する第Ｋ調整物体情報及び第Ｋ調整コンフィデンス情報を生成させることができる。第Ｋ調整物体情報は、第Ｋ特定領域内の少なくとも一つの物体に関する情報を含むことができ、これは、これより前に遂行された第Ｋ−Ｐ再検出プロセスで検出されなかった情報であり、今回は検出され得る。この場合、Ｐは１以上Ｋ−１以下の整数（ｉｎｔｅｇｅｒ）である。前述した通り、再検出プロセスはＣＮＮ１３０によって物体検出が十分に行われなかったものと思われる領域に対して適用され得るので、それぞれの情報間のこのような関係は当然であると見ることができる。
さらなる構成として、コンフィデンスコアの低い特定領域内の物体をさらに効率的に検出するための再検出プロセスを遂行するために、選択的プロセス、すなわち、アップサンプリング作業がさらに遂行された状態であり得る。つまり、再検出プロセスがＬ回目遂行されるに伴って、少なくとも一つの第Ｌ特定領域が選択されると、コンピューティング装置１００が、第Ｌ倍数情報を参照して第Ｌ特定領域に対してアップサンプリング演算（Ｕｐｓａｍｐｌｉｎｇ Ｏｐｅｒａｔｉｏｎ）を少なくとも一回適用して第Ｌ特定アップサンプリングイメージを生成した後、前記ＣＮＮ１３０をもって、第Ｌ特定アップサンプリングイメージに対してＣＮＮ演算を適用させて第Ｌ調整物体情報及び第Ｌ調整コンフィデンス情報を生成させることができる。第Ｌ倍数情報は、Ｌ番目の再検出プロセスに対して予め設定された倍数の割合であり得る。ここで、再検出プロセスのそれぞれのイテレーション（Ｉｔｅｒａｔｉｏｎ）に対するそれぞれの倍数の割合は同じでもよく、後に遂行される特定のイテレーションに対してさらに大きく設定されてもよい。また、最近傍アルゴリズム（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ａｌｇｏｒｉｔｈｍ）のように既に知られているすべてのアップサンプリングの図式は、アップサンプリング演算を遂行するのに使用され得る。
このような再検出プロセスがＮ回遂行されることによって第Ｎ調整物体情報及び第Ｎ調整コンフィデンス情報が生成されると、コンピューティング装置１００は、初期物体情報及び第１調整物体情報ないし第Ｎ調整物体情報のうち少なくとも一部を参照して、最終物体情報を生成することができる。
ただし、このように定められた回数だけ、すなわち、Ｎ回次だけ再検出プロセスを遂行しなくても、物体検出結果が十分に導き出される場合もあり得る。この場合には、それまでに生成された物体情報を利用して最終物体情報を生成することもできる。すなわち、再検出プロセスをＭ回目遂行する途中に選択された少なくとも一つの第Ｍ特定領域の少なくとも一つの広さの和が第１閾値未満である場合、コンピューティング装置１００は、繰り返し遂行する再検出プロセスを中断し、初期物体情報と、第１調整物体情報ないし第Ｍ−１調整物体情報とのうち少なくとも一部とを参照して、最終物体情報を生成することができるであろう。
ここで、最終物体情報を生成するために、コンピューティング装置１００は初期物体情報と、第１調整物体情報ないし第Ｎ調整物体情報とのうち少なくとも一部とを参照して、広く知られている従来技術であるＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）アルゴリズム及びボックスボーティング（Ｂｏｘ Ｖｏｔｉｎｇ）アルゴリズムのうち少なくとも一つを遂行することができる。このようなアルゴリズムは、通常の技術者によく知られているので、前記説明で十分に理解し得るはずである。
上記のように最終物体情報が作成された後、コンピューティング装置１００は、最終物体情報を対象車両に対する自律走行モジュールに伝達することによって、自律走行モジュールが最終物体情報を利用して前記対象車両の自律走行を遂行し得るように支援することができる。
以上、本発明の一実施例である、状況イメージが単一である場合について説明した。以下、他の実施例において、（ｉ）パノラマである統合イメージを生成するのに使用される複数の状況イメージ及び（ｉｉ）これに対応する統合最終物体情報について説明することにする。このような他の実施例は、前述した単一個の状況イメージに対応する実施例と大同小異であるので、その相違点を中心として簡潔に説明することにする。
複数個の状況イメージをそれに対する部分イメージとして含む統合イメージを生成しつつ、コンピューティング装置１００は、それぞれの状況イメージに関するそれぞれの初期物体情報とそれぞれの初期コンフィデンス情報とを利用して統合イメージに関する統合最終物体情報を生成することができる。
具体的には、（ｉ）複数のパノラマビューセンサのうちカメラに対応する少なくとも一つの第１パノラマビューセンサを通じて、状況イメージのうち少なくとも一つの第１状況イメージが取得されると、コンピューティング装置１００は、３チャンネルイメージに対して最適化された、インプットノードが３個以上である第１ＣＮＮをもって、前記第１状況イメージに対して第１ＣＮＮ演算を少なくとも一回適用させ、（ｉｉ）前記パノラマビューセンサのうちデプスセンサに対応する少なくとも一つの第２パノラマビューセンサを通じて、状況イメージのうち少なくとも一つの第２状況イメージが取得されると、コンピューティング装置１００は、デプスイメージに対して最適化された、インプットノードが１個以上である第２ＣＮＮをもって、前記第２状況イメージに対して第２ＣＮＮ演算を少なくとも一回適用させることができる。これにより、それぞれの状況イメージに関するそれぞれの初期コンフィデンス情報及びそれぞれの初期物体情報が取得され得る。
次に、コンピューティング装置１００が、初期の再検出プロセスとして、（ｉ）それぞれの初期コンフィデンス情報を参照して、状況イメージに対する第１統合初期コンフィデンス情報を生成した後、（ｉｉ）統合イメージ内の少なくとも一つの領域のうちそれに対応するコンフィデンススコアが第１閾値未満であるそれぞれの少なくとも一つの第１特定領域を選択し、（ｉｉｉ）ＣＮＮ１３０をもって第１特定領域に対してＣＮＮ演算を適用させることによって、統合イメージに関するそれぞれの第１調整物体情報及びそれぞれの第１調整コンフィデンス情報を生成させることができる。
以後、コンピューティング装置１００が、再検出プロセスを繰り返し遂行することができる。つまり、コンピューティング装置１００が、（ｉ）それぞれの第Ｋ−１調整コンフィデンス情報を参照して、統合イメージに対する第Ｋ調整統合コンフィデンス情報を生成した後、（ｉｉ）第Ｋ調整コンフィデンス情報を参照して、統合イメージ内の領域のうちそれに対応するコンフィデンススコアが第１閾値未満である少なくとも一つの第Ｋ特定領域それぞれを選択し、（ｉｉｉ）ＣＮＮ１３０をもって、第Ｋ特定領域に対してＣＮＮ演算を適用させることによって、統合イメージに関するそれぞれの第Ｋ調整物体情報及びそれぞれの第Ｋ調整コンフィデンス情報を生成させることができる。
最後に、再検出プロセスがＮ回遂行されることによって、それぞれの第Ｎ調整物体情報及びそれぞれの第Ｎ調整コンフィデンス情報が生成されると、コンピューティング装置１００が、初期物体情報と、第１調整物体情報ないし第Ｎ調整物体情報とのうち少なくとも一部とを参照して統合最終物体情報を生成することができる。上記のように、再検出プロセスのそれぞれのイテレーションにおいて、それぞれのコンフィデンス情報及びそれぞれの物体情報が統合されるという点を除けば、他の実施例は前述した一実施例とほぼ同一である。
これを通じて生成された統合イメージ及び統合物体情報の一実施例を確認するために、図３を参照することにする。
図３は、本発明の一実施例にしたがって、物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコアを利用することによって、コンピューティングパワーを節約しながらも、より優れた自律走行性能を達成するための方法を遂行するのに使用される統合イメージ及びこれに対応する統合最終物体情報の例示を簡略に示した図面である。
図３を参照すると、統合イメージ３００は対象車両２００の周辺を撮影したパノラマイメージであることが分かる。このようなパノラマイメージは単一のセンサのみを利用することでは取得が困難であり、複数個のセンサを通じて撮影された複数のイメージを統合する方式で通常取得される。この場合、統合イメージ３００に含まれている物体に関する情報、すなわち、第１車両物体３１０に関する情報と第２車両物体３２０に関する情報は、本発明の方法を通じて統合最終物体情報として取得され得る。
以上、本発明の両実施例について説明した。以下、前記両実施例を遂行するために使用されるＣＮＮ１３０を学習する方法について説明するために、図４を参照することにする。
図４は、本発明の一実施例にしたがって、物体検出プロセスと並列して生成された、物体検出の信頼度を示すコンフィデンススコアを利用することによって、コンピューティングパワーを節約しながらも、より優れた自律走行性能を達成するための方法を遂行するのに使用されるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習プロセスを簡略に示したチャート図である。
図４を参照すると、物体検出プロセスを遂行しつつ、物体検出の信頼度を示すパラメータであるそれぞれのコンフィデンススコアを生成するための学習方法について概括的に考察することができる。
参考までに、以下の説明において、混同を避けるために「学習用」という文言は前述の学習プロセスに関する用語に対して追加され、「テスト用」という文言はテストプロセスに関する用語に対して追加される。
まず、トレーニングイメージが取得されると、学習装置は、ＣＮＮ１３０に含まれているコンボリューションレイヤをもって、トレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて、少なくとも一つのコンボリューション特徴マップを生成させることができる（Ｓ１０）。この場合、トレーニングイメージの幾何学的サイズがＨ×Ｗであり、トレーニングイメージのフォーマットがＲＧＢイメージであるのでトレーニングイメージのチャンネルサイズが３個であれば、トレーニングイメージのサイズはＨ×Ｗ×３である。コンボリューション演算は、出力された特徴マップの幾何学的サイズを、入力されたイメージより小さくし、出力された特徴マップのチャンネル数を、入力されたイメージのチャンネル数より大きくするために、コンボリューション特徴マップのサイズがｈ×ｗ×ｃであれば、コンボリューション特徴マップの幾何学的サイズを示すｈとｗはそれぞれＨとＷより小さく、コンボリューション特徴マップのチャンネル数を示すｃは３より大きいであろう。
以後、学習装置は、ＲＰＮ１４０内のアンカーレイヤをもって、コンボリューション特徴マップに含まれている値に対してアンカー演算を適用して、トレーニングイメージ内の物体を含むものと予想される領域である、予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ Ｉｎｔｅｒｅｓｔ）を出力させることができる（Ｓ２０）。具体的には、ＲＰＮ１４０は、データサイズがｈ×ｗ×ｃであるコンボリューション特徴マップに対してアンカー演算を適用して、トレーニングイメージ上の予測ＲＯＩを生成するのに使用されるように、ｈ×ｗ×（５Ａ+１）のデータサイズを有する、アンカー特徴マップを生成することができる。従来技術にしたがって、アンカー特徴マップのデータサイズはｈ×ｗ×５Ａのサイズで生成されなければならないが、本発明のアンカー特徴マップには、追って説明されるＲＰＮコンフィデンススコアを含むチャンネルをさらに一つ含むことができる。より詳細な説明は、以下に示す。
学習装置は、ＲＰＮ１４０のアンカーレイヤをもって、それぞれのアンカーセットに対応するそれぞれのスライディングウィンドウ（Ｓｌｉｄｉｎｇ−Ｗｉｎｄｏｗ）を使用する方式であるアンカー演算をコンボリューション特徴マップに対して適用してデータサイズがｈ×ｗ×５Ａであるアンカー特徴マップを生成させることができる。この際、アンカーとは物体に対応するコンボリューション特徴マップの値を選択するための一種のグリッド（Ｇｒｉｄ）であり、先に説明したＡはアンカー特徴マップのデータサイズを示すために使用され、ＲＰＮ１４０により使用されるアンカーの個数を示す。このプロセスを遂行することによって、コンボリューション特徴マップに含まれているそれぞれの値が物体に対応するか、決定されないことがあり、このプロセスの結果、すなわち予測ＲＯＩに関する情報は、アンカー特徴マップに格納され得る。アンカー演算は広く知られているので、詳細な説明は省略することにする。
アンカー特徴マップを生成するプロセスを遂行する間、学習装置は、ＲＰＮ１４０をもって、予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれのＲＰＮコンフィデンススコアをコンボリューションレイヤ特徴マップに含まれているピクセルごとに生成させることができる。つまり、ＲＰＮコンフィデンススコアは、ＲＰＮ１４０により遂行されるプロセスの結果の信頼度、すなわち、予測ＲＯＩの信頼度を表すパラメータである。
説明の便宜上、予測ＲＯＩを決定するプロセスとＲＰＮコンフィデンススコアを生成するプロセスとを分離して述べたが、二つのプロセスは同時に遂行され得る。すなわち、ＲＰＮ１４０にコンボリューション特徴マップが入力されると、ＲＰＮ１４０内のそれぞれのＲＰＮニューロンは、それ自体の演算を遂行して、それ自体が演算した値を次のＲＰＮニューロンに移すことによって、最後のレイヤでアンカー特徴マップを出力することができる。よって、二つのプロセスは互いに影響を及ぼし、従属的に遂行され得る。しかしながら、二つのプロセスは同時に遂行されなくてもよい。例えば、予測ＲＯＩを決定するプロセスが先に遂行され得る。
アンカー特徴マップが生成された以後、学習装置は、予測ＲＯＩに関する情報を含む、アンカー特徴マップ内の５Ａ個のチャンネルの値をＣＮＮ１３０に伝達することができ、アンカー特徴マップ内の残りの１つのチャンネルの値を追って説明するコンフィデンスレイヤ１５０に伝達することができる。まず、ＣＮＮ１３０に伝達される５Ａ個のチャンネルの値がどのように処理されるかについて下記のように説明することにする。
前記５Ａ個のチャンネルの値が伝達された後、学習装置は、ＣＮＮ１３０内のＲＯＩプーリングレイヤをもって、予測ＲＯＩに関する情報を参照してコンボリューション特徴マップに対してＲＯＩプーリング演算を少なくとも一回適用させることによって、ＲＯＩプーリング済み特徴マップ（ＲＯＩ−Ｐｏｏｌｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ（Ｓ３０）、ＣＮＮ１３０内のＦＣレイヤをもって、ＲＯＩプーリング済み特徴マップに対してＦＣ演算を少なくとも一回適用させて、初期物体検出結果及びＣＮＮコンフィデンススコアを生成させることができる。
ここで、初期物体検出結果は、それぞれの物体を含むそれぞれのバウンディングボックスのそれぞれの予測座標に対するそれぞれの初期予測ＣＮＮリグレッション結果と、それぞれの物体がそれぞれのクラスに含まれるそれぞれの確率を表す、それぞれの物体のそれぞれのクラススコアに対するそれぞれの初期予測ＣＮＮ分類結果とを含むことができる。このような初期物体検出結果の生成プロセスは、従来技術のとおりである。
そして、ＣＮＮコンフィデンススコアは、追って説明する、予測物体検出結果が原本正解物体検出結果と同一である程度に関する情報を含むことができる。この際、予測物体検出結果は、ＮＭＳ演算を初期物体検出結果に適用して生成されたものであり得る。詳細には、それぞれのＣＮＮコンフィデンススコアは、予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すことができる。つまり、ＣＮＮコンフィデンススコアは、ＣＮＮ１３０のＦＣレイヤにより生成された結果の信頼度を示す。
ＲＰＮコンフィデンススコアとＣＮＮコンフィデンススコアとを同時に使用する理由は、ＲＰＮ１４０により初期に決定された予測ＲＯＩがＣＮＮ１３０により処理されることによって予測物体検出結果が生成されるためである。２つのネットワークがいずれも予測物体検出結果を生成するプロセスに関わるため、２つのネットワークは異なる評価がされるべきである。
一例として、特定の予測ＲＯＩがＲＰＮ１４０により誤って決定された場合、ＣＮＮ１３０のＦＣレイヤは、誤って決定された特定の予測ＲＯＩをフィルタリングすることができる。または、特定の予測ＲＯＩがＲＰＮ１４０により正確に予測された場合にも、ＣＮＮ１３０のＦＣレイヤは、特定の予測ＲＯＩがどのような物体も含んでいないものと誤って決定することがあり得る。このような場合において、ＲＰＮ１４０とＣＮＮ１３０とは誤って遂行されたり正しく遂行されたりし得るので、物体検出プロセスを評価する間、このような場合も考慮されなければならない。
ＲＰＮ１４０と同様に、（ｉ）初期物体検出結果とそれに対応する予測物体検出結果とを生成するプロセス、及び（ｉｉ）ＣＮＮコンフィデンスマップを生成するプロセスは、便宜上別々に説明されたが、この２つのプロセスもやはり相互に従属的であり、ＦＣレイヤ内で同時に遂行されてもよいし、この２つのプロセスは独立して遂行されてもよい。
予測ＲＯＩに対するＣＮＮコンフィデンススコアが生成された後、ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップが生成され得る。
以後、学習装置は、ＣＮＮ１３０をもって、初期物体検出結果に対してＮＭＳを適用して、重複する予測ＲＯＩに対応するバウンディングボックスを統合することによって、予測物体検出結果を生成させることができる。重複する予測ＲＯＩが統合されるに伴って、他の予測ＲＯＩに重複しない特定の予測ＲＯＩに対応する特定のＣＮＮコンフィデンススコアが選択され得る。ここで、ＮＭＳの使用方式は広く知られているので、これ以上の説明は省略することにする。
一方、学習装置は、コンフィデンスレイヤ１５０をもって、ＲＰＮコンフィデンスマップに対応するアンカー特徴マップ内の一つのチャンネルの値を取得させることができ、ＲＰＮ１４０コンフィデンスマップを利用してトレーニングイメージのようなＨ×Ｗの幾何学的サイズを有するリサイズされたＲＰＮコンフィデンスマップを生成させることができる。リサイズされたＲＰＮコンフィデンスマップを生成するために、最近傍サイズ（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｉｚｅ）、バイリニアリサイズ（Ｂｉｌｉｎｅａｒ Ｒｅｓｉｚｅ）、バイキュービックリサイズ（Ｂｉｃｕｂｉｃ Ｒｅｓｉｚｅ）、及びランチョスリサイズ（Ｌａｎｃｚｏｓ Ｒｅｓｉｚｅ）などのようなリサイズ演算のうちのどれであっても、トレーニングイメージ内のそれぞれのピクセルがそれぞれのＲＰＮコンフィデンススコアとペアリング（Ｐａｉｒｉｎｇ）をなすように、ＲＰＮコンフィデンスマップに対して適用され得る。
予測物体検出結果及びリサイズされたＲＰＮコンフィデンスマップが取得された後、学習装置は、コンフィデンスレイヤ１５０をもって、これらを参照して統合コンフィデンスマップを生成させることができる。ここで、統合コンフィデンスマップに含まれている統合コンフィデンスコアは、下記数式によって算出され得る。

ここで、ｃ’ｘｙは第Ｘ＿Ｙ統合コンフィデンススコアを意味し得、ｃｘｙはリサイズされたＲＰＮコンフィデンスマップ上で、座標（ｘ，ｙ）に対応する第Ｘ＿ＹリサイズされたＲＰＮコンフィデンススコアを意味し得る。また、ｃｒｉはＮＭＳ結果で決定された、座標（ｘ，ｙ）を含み、ｒｉとして表現される、第ｉ予測ＲＯＩに対する第ｉＣＮＮコンフィデンススコアを意味し得る。学習装置は、コンフィデンスレイヤ１５０をもって、上記のように生成された統合コンフィデンススコアを利用して統合コンフィデンスマップを生成させることができる。
ただし、正確に統合コンフィデンスマップを生成するためには、ＣＮＮ１３０及びＲＰＮ１４０を学習する必要がある。２つのネットワークをどのように学習するのかについて、以下に説明することにする。
すなわち、学習装置はロスレイヤをもって、ＲＰＮコンフィデンスマップ、ＣＮＮコンフィデンスマップ、予測物体検出結果及び原本正解物体検出結果を参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させることができ（Ｓ４０）、ＲＰＮロス及びＣＮＮロスを利用してバックプロパゲーションを遂行することによってＣＮＮ１３０及びＲＰＮ１４０に含まれているパラメータのうち少なくとも一部を学習させることができる。ＲＰＮロス及びＣＮＮロスに関して、以下に詳細に説明することにする。
まず、下記の数式によってＲＰＮロスを生成させることができる。

ここで、Ｎｒｅｇはアンカー演算を遂行して生成されたコンボリューション特徴マップのサイズに対応する定数（ｃｏｎｓｔａｎｔ）であり、Ｎｃｌｓは前記トレーニングイメージに対応する定数であり得る。また、ｃｉは前記ＲＰＮコンフィデンスコアのうちコンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し得、ｐｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮ分類結果を意味し得る。ｔｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮリグレッション結果を意味し得る。第ｉ原本正解ＲＰＮ分類結果及び第ｉ原本正解ＲＰＮリグレッション結果は、原本正解物体検出結果に対応し得る。また、Ｌｃｌｓ及びＬｒｅｇはスムース−Ｌ１ロス（Ｓｍｏｏｔｈ−Ｌ１Ｌｏｓｓ）のようなロスを生成するための従来技術を、どのようなものであっても利用して実行され得る。
前記公式において、公式の最初の項は分類のロスを意味し得、二番目の項はリグレッションロスを意味し得る。リグレッションロス項、すなわち、二番目の項はよく知られている従来技術であるので、これに関する説明は省略することにする。分類ロス項、すなわち、最初の項について下記で説明することにする。
分類ロス項は、上記のように括弧内に３つのサブ項を含むことができる。最初のサブ項において、条件

は、ＲＰＮ１４０により決定されたアンカー特徴マップの第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果が第ｉ原本正解ＲＰＮ分類結果と同一である場合を示す。つまり、これはＲＰＮ１４０がコンボリューション特徴マップの第ｉピクセルを正確に分析した場合である。便宜上、ＲＰＮ１４０が第ｉ予測ＲＰＮ分類結果と第ｉ原本正解ＲＰＮ分類結果とが同一である確率を臨界確率、ここでは０．５超過であるものと判断した場合、ＲＰＮ１４０が第ｉピクセルに対して「正確に」分析したケースを想定した。最初の項において、（１．１−ｃｉ）は、ＲＰＮ１４０が第ｉピクセルを正確に分析した場合にＲＰＮ１４０のパラメータがＲＰＮロスより小さくなるように調節されて第ｉＲＰＮコンフィデンススコアが大きくなるようにする。詳細には、上記で示されているように生成された最初のサブ項を含む分類ロス項は、ＲＰＮ１４０のパラメータを調整することができるようにグラディエント（Ｇｒａｄｉｅｎｔ）を生成することによって、未来のＲＰＮロスが小さくなるようにするために適用される。したがって、最初のサブ項を含む分類ロス項を利用すれば、ＲＰＮ１４０がＲＰＮコンフィデンス特徴マップの値を正確に分析する場合、ＲＰＮスコアをより大きく生成することができる。
分類ロス項の二番目の項において、条件

は、ＲＰＮ１４０が第ｉピクセルを正確に分析しなかった場合を示す。二番目のサブ項において、（０．１+ｃｉ）は、ＲＰＮ１４０が第ｉピクセルに対して不正確に分析した場合に第ｉＲＰＮコンフィデンススコアをより小さくする。学習プロセスのメカニズムは、最初のサブ項で述べたようにその機序が同じである。
三番目のサブ項において、ｃｉｌоｇｃｉは、ＲＰＮコンフィデンススコアの分布が階段関数（Ｓｔｅｐ Ｆｕｎｃｔｉｏｎ）に近づかないようにする。分類ロス項が最初のサブ項と二番目のサブ項のみを含むと、結局、ＲＰＮコンフィデンススコアはオーバーフィッティング（Ｏｖｅｒｆｉｔｔｉｎｇ）されてそれぞれ０または１に近い極端な値のみを含むことができる。ここで、ｃｉｌоｇｃｉは、ｃｉが０．５である場合に最小化される。よって、本発明によるＲＰＮコンフィデンススコアは、０と１との間のより多様な値を含む分布を有するようになる。上記のように多様な値を含むＲＰＮコンフィデンススコアを利用して様々な状況を扱うことができるため、このような項が必要である。
以上、本発明のＲＰＮロスを生成する方法について考察してみたところ、以下、本発明のＣＮＮロスを生成する方法について考察してみることにする。

Ｎｒｅｇ及びＮｃｌｓは前記予測ＲＯＩの個数を意味し、ｃｉは予測ＲＯＩのうち第ｉ予測ＲＯＩに対応する、ＣＮＮコンフィデンススコアのうち第ｉＣＮＮコンフィデンススコアを意味し得る、また、ｐｉは第ｉ予測ＲＯＩに対応する、第ｉ予測ＣＮＮ分類の結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮ分類結果を意味し得る。そして、ｔｉは第ｉ予測ＲＯＩに対応する、第ｉ予測ＣＮＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮリグレッション結果を意味し得る。第ｉ予測ＣＮＮ分類結果と第ｉ予測ＣＮＮリグレッション結果とは、予測物体検出結果に対応し得る。本数式において記号は、ＲＰＮロスを示した記号と同一であり得るが、上記のようにその意味は異なり得る。
上記の公式のようなＣＮＮロスは、前述したＲＰＮロスと大同小異の構造を有するが、シグマ関数の条件は例外である。この際、ＲＰＮロスは、ｐｉ＞０．５ではなくｐｉ＝ｌａｒｇｅｓｔ ｓｃｏｒｅ ａｍｏｎｇ ｃｌａｓｓ ｓｃｏｒｅｓという条件である。これは、ｐｉが、第ｉ予測ＲＯＩ内の特定の物体が最も大きい確率を有する特定のクラスに対する第ｉ予測ＣＮＮ分類結果に対するものであることを示すものである。ＲＰＮロスと同様に、ＣＮＮロス内の分類ロス項の最初のサブ項は、ＣＮＮ１３０が第ｉ予測ＲＯＩを正確に分析した場合を示したものであり、二番目のサブ項は、ＣＮＮ１３０が第ｉ予測ＲＯＩを正確に分析できなかった場合を示す。ＣＮＮロスとＲＰＮロスとは相互に類似するので、以後の説明は省略することにする。
このようにＣＮＮロス及びＲＰＮロスが生成された後、学習装置は、ロスレイヤをもって、ＣＮＮロス及びＲＰＮロスをそれぞれバックプロパゲーションすることによって、ＣＮＮ１３０及びＲＰＮ１４０に含まれているパラメータのうち少なくとも一部を学習させることができる。以後、ＣＮＮ１３０及びＲＰＮ１４０は、入力されたイメージに含まれている物体を検出するプロセスを遂行しつつ、入力される前記イメージに対応するＣＮＮコンフィデンススコア及びＲＰＮコンフィデンススコアをさらに正確に生成することができる。
このような学習過程が完了した後、学習装置は、ＣＮＮ１３０をコンピューティング装置１００に伝達することができる。また、ＲＰＮ１４０及びコンフィデンスレイヤ１５０は、ＣＮＮ１３０に従属的であるので、共にコンピューティング装置１００に伝達され得る。ＣＮＮ１３０と、ＲＰＮ１４０と、コンフィデンスレイヤ１５０とは、学習が完了したパラメータを利用して学習過程で遂行したものと類似する演算を遂行することができる。つまり、ＣＮＮ１３０が状況イメージを取得すると、ＣＮＮ１３０と、ＲＰＮ１４０と、コンフィデンスレイヤ１５０とは、学習過程で統合コンフィデンスマップを生成したものと同一の方式で、初期コンフィデンス情報を初期物体情報とともに生成することができる。
ここで、参考説明として、ＣＮＮと１３０、ＲＰＮ１４０と、ロスレイヤ１５０と、コンフィデンスレイヤ１６０とがどのように互いに連動して動作することによって、物体検出を行う途中にコンフィデンススコアを生成することができるのかについて、図５を参照して説明される。
図５は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てアルゴリズムを利用して、安全な自律走行を提供する方法を遂行するのに使用される、ＣＮＮと、ＲＰＮと、ロスレイヤと、コンフィデンスレイヤとを含む学習装置の構成を示した図面である。
図５を参照すると、学習イメージがＣＮＮ１３０に含まれているコンボリューションレイヤ１３１に入力され、コンボリューションレイヤ１３１からｈ×ｗ×ｃサイズのコンボリューション特徴マップが生成される構成を確認することができる。以後、コンボリューション特徴マップは、ＲＰＮ１４０により演算され、これによってＲＰＮ１４０は、各ＲＯＩの位置である（ｄｘ，ｄｙ，ｄｗ，ｄｈ）及びそれらのＲＰＮコンフィデンススコアが含まれたｈ×ｗ×（５Ａ+１）サイズの特徴マップを出力することができる。このような各ＲＯＩは、ＣＮＮ１３０に含まれているＲＯＩプーリングレイヤ（図示せず）に伝達され、したがって、コンボリューション特徴マップは伝達されたＲＯＩにしたがってプーリングされ得る。以後、ＣＮＮ１３０に含まれているＦＣレイヤ１３２は、Ｒ×ｄサイズのＲＯＩプーリング済み特徴マップを演算して、物体の推定された位置（ｘ１，ｙ１，ｘ２，ｙ２）と、物体が各クラスに含まれる確率と、それぞれの物体に対応するピクセルのＣＮＮコンフィデンススコアとが含まれているＲ×（５Ｃ+１）サイズの初期物体検出結果を生成することができる。最後に、ＣＮＮ１３０は、ＮＭＳ演算を初期物体検出結果に適用することによって、物体の推定された位置（ｘ１，ｙ１，ｘ２，ｙ２）と、各物体に対する推定されたクラスと、物体が各クラスに含まれる確率とに関する情報を含むＲ’×６サイズの予測物体検出結果を生成することができる。ここで、Ｒ’は、ＮＭＳ演算によって足し合わされたＲＯＩ、すなわち物体の位置を示すことができる。そして、予測物体検出結果とともに出力されたＣＮＮコンフィデンスマップは、ｈ×ｗ×１サイズのＲＰＮコンフィデンスマップから生成されたリサイズ済みＲＰＮコンフィデンスマップと統合されることによって、Ｈ×Ｗ×１サイズの統合コンフィデンスマップを生成するようになる。前記の過程は、前述した学習方法と合致するものである。
このように信頼度に劣る部分に対して物体検出を再び適用して取得されたさらなる情報を利用して自律走行を支援することによって、さらに安全な自律走行が行われ得るはずである。
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ＦｌｏｐｔｉｃａＬＤｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−ＯｐｔｉｃａＬＭｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

  1. 物体検出プロセスと並列して生成された、物体検出の信頼度（Ｃｒｅｄｉｂｉｌｉｔｙ）を示すコンフィデンススコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するための方法において、
    （ａ）コンピューティング装置が、対象車両に設置された少なくとも一つのパノラマビューセンサ（Ｐａｎｏｒａｍａ Ｖｉｅｗ Ｓｅｎｓｏｒ）を通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得する段階；
    （ｂ）前記コンピューティング装置が、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記状況イメージに対してＣＮＮ演算を少なくとも一回適用させて、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させる段階；及び
    （ｃ）前記コンピューティング装置が、前記初期物体情報及び前記初期コンフィデンス情報を参照して、前記状況イメージに対する最終物体情報を生成する段階；
    を含むことを特徴とする方法。
  2. 前記（ｃ）段階は、
    （ｃ１）前記コンピューティング装置が、（ｉ）前記初期コンフィデンス情報を参照して、前記状況イメージに含まれている少なくとも一つの領域のうちそれに対応する前記コンフィデンススコアが閾値未満である少なくとも一つの第１特定領域それぞれを先に選択し、（ｉｉ）前記ＣＮＮをもって、前記第１特定領域に対してＣＮＮ演算を適用させて前記状況イメージに対する第１調整物体情報（Ａｄｊｕｓｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）及び第１調整コンフィデンス情報を生成させる、再検出（Ｒｅ−ｄｅｔｅｃｔｉｏｎ）プロセスを遂行する段階；
    （ｃ２）前記コンピューティング装置が、（ｉ）事前に生成された第Ｋ−１調整コンフィデンス情報を参照して、前記状況イメージ内の前記領域のうちそれに対応する前記コンフィデンススコアが前記閾値未満である少なくとも一つの第Ｋ特定領域それぞれを選択し、（ｉｉ）前記ＣＮＮをもって、前記第Ｋ特定領域に対してＣＮＮ演算を適用させて前記状況イメージに対する第Ｋ調整物体情報及び第Ｋ調整コンフィデンス情報を生成させる、前記再検出プロセスを繰り返し遂行する段階：及び
    （ｃ３）前記再検出プロセスがＮ回遂行されることによって、第Ｎ調整物体情報及び第Ｎ調整コンフィデンス情報が生成されると、前記コンピューティング装置が、前記初期物体情報と、前記第１調整物体情報ないし前記第Ｎ調整物体情報のうち少なくとも一部とを参照して、前記最終物体情報を生成する段階；
    を含み、
    前記Ｋは２以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）であり、Ｎは予め設定された整数であることを特徴とする請求項１に記載の方法。
  3. Ｍは１以上Ｎ−１以下の整数であり、前記再検出プロセスをＭ回目遂行しつつ、選択された少なくとも一つの第Ｍ特定領域の少なくとも一つの広さの和が閾値未満である場合、前記コンピューティング装置が前記再検出プロセスを繰り返して遂行することを中断し、前記初期物体情報と、前記第１調整物体情報ないし第Ｍ−１調整物体情報のうち少なくとも一部とを参照して、前記最終物体情報を生成することを特徴とする請求項２に記載の方法。
  4. Ｌは１以上Ｎ以下の整数であり、前記再検出プロセスをＬ回目遂行しつつ、少なくとも一つの第Ｌ特定領域が選択されると、前記コンピューティング装置が第Ｌ倍数情報を参照して前記第Ｌ特定領域に対してアップサンプリング演算（Ｕｐｓａｍｐｌｉｎｇ Ｏｐｅｒａｔｉｏｎ）を適用して第Ｌ特定アップサンプリングイメージ（Ｓｐｅｃｉｆｉｃ Ｕｐｓａｍｐｌｅｄ Ｉｍａｇｅ）を生成した後、前記ＣＮＮをもって、前記第Ｌ特定アップサンプリングイメージに対してＣＮＮ演算を適用させて第Ｌ調整物体情報及び第Ｌ調整コンフィデンス情報を生成させることを特徴とする請求項２に記載の方法。
  5. 前記コンピューティング装置が、前記初期物体情報と、前記第１調整物体情報ないし前記第Ｎ調整物体情報のうち少なくとも一部とを参照して、ＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）アルゴリズム及びボックスボーティング（Ｂｏｘ Ｖｏｔｉｎｇ）アルゴリズムのうち少なくとも一つを遂行することによって前記最終物体情報を生成することを特徴とする請求項２に記載の方法。
  6. 前記（ｃ）段階において、
    前記コンピューティング装置が、複数個の前記状況イメージをそれに対する部分イメージ（Ｐａｒｔｉａｌ Ｉｍａｇｅ）として含む統合イメージ（Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）を生成しつつ、それぞれの前記状況イメージに関するそれぞれの前記初期物体情報とそれぞれの前記初期コンフィデンス情報とを利用して前記統合イメージに関する統合最終物体情報を生成することを特徴とし、前記Ｋは２以上Ｎ以下の整数であり、Ｎは予め設定された整数である場合、前記統合最終物体情報は、
    （ｃ４）前記コンピューティング装置が、（ｉ）それぞれの前記初期コンフィデンス情報を参照して、前記統合イメージに対する第１統合コンフィデンス情報を生成した後、（ｉｉ）前記第１統合コンフィデンス情報を参照して前記統合イメージ内の少なくとも一つの領域のうちそれに対応するコンフィデンススコアが閾値未満である少なくとも一つのそれぞれの第１特定領域を選択し、（ｉｉｉ）最後に前記ＣＮＮをもって、前記第１特定領域に対してＣＮＮ演算を適用させて前記統合イメージに関するそれぞれの第１調整物体情報及びそれぞれの第１調整コンフィデンス情報を生成させる、再検出プロセスを遂行する段階；
    （ｃ５）前記コンピューティング装置が、（ｉ）それぞれの第Ｋ−１調整コンフィデンス情報を参照して、前記統合イメージに対する第Ｋ調整統合コンフィデンス情報を生成した後、（ｉｉ）前記第Ｋ調整統合コンフィデンス情報を参照して前記統合イメージ内の前記領域のうちそれに対応するコンフィデンススコアが前記閾値未満である少なくとも一つの第Ｋ特定領域それぞれを選択し、（ｉｉｉ）最後に前記ＣＮＮをもって、前記第Ｋ特定領域に対してＣＮＮ演算を適用させて前記統合イメージに関するそれぞれの第Ｋ調整物体情報及びそれぞれの第Ｋ調整コンフィデンス情報を生成させる、前記再検出プロセスを繰り返し遂行する段階；及び
    （ｃ６）前記再検出プロセスがＮ回遂行されることによって、それぞれの第Ｎ調整物体情報及びそれぞれの第Ｎ調整コンフィデンス情報が生成されると、前記コンピューティング装置が、前記初期物体情報と、前記第１調整物体情報ないし第Ｎ調整物体情報のうち少なくとも一部とを参照して、前記統合最終物体情報を生成する段階；
    を遂行して生成されることを特徴とする請求項１に記載の方法。
  7. （ｉ）複数の前記パノラマビューセンサのうちカメラに対応する少なくとも一つの第１パノラマビューセンサを通じて少なくとも一つの第１状況イメージが取得されると、前記コンピューティング装置が、３チャンネルイメージに対して最適化された、インプットノード（Ｉｎｐｕｔ Ｎｏｄｅ）が３個以上である第１ＣＮＮをもって、前記第１状況イメージに対して第１ＣＮＮ演算を少なくとも一回適用させ、（ｉｉ）デプスセンサ（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）に対応する少なくとも一つの第２パノラマビューセンサを通じて少なくとも一つの第２状況イメージが取得されると、前記コンピューティング装置が、デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）に対して最適化された、インプットノードが１個以上である第２ＣＮＮをもって、前記第２状況イメージに対して第２ＣＮＮ演算を少なくとも一回適用させることを特徴とする請求項６に記載の方法。
  8. （ｄ）前記コンピューティング装置が、前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールが前記最終物体情報を利用して前記対象車両の自律走行を遂行し得るように支援する段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  9. 前記（ａ）段階以前に、
    （ａ１）トレーニングイメージが取得されると、学習装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；
    （ａ２）前記学習装置が、前記コンボリューション特徴マップに対してアンカー演算（Ａｎｃｈｏｒ Ｏｐｅｒａｔｉｏｎ）を少なくとも一回適用することによって前記トレーニングイメージ上の予測ＲＯＩ（Ｅｓｔｉｍａｔｅｄ Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスを遂行しつつ、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤ（Ａｎｃｈｏｒ Ｌａｙｅｒ）をもって、前記予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのＲＰＮコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；
    （ａ３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤ（ＲＯＩ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップ（ＲＯＩ−Ｐｏｏｌｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）が取得されると、前記学習装置は、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれているＦＣレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測ＣＮＮ分類結果（Ｅｓｔｉｍａｔｅｄ ＣＮＮ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｒｅｓｕｌｔ）及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果（Ｅｓｔｉｍａｔｅｄ ＣＮＮ Ｒｅｇｒｅｓｓｉｏｎ Ｒｅｓｕｌｔ）が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果（ＧＴ ＣＮＮ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｒｅｓｕｌｔ）及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果（ＧＴ ＣＮＮ Ｒｅｇｒｅｓｓｉｏｎ Ｒｅｓｕｌｔ）と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのＣＮＮコンフィデンススコアを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び
    （ａ４）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーションを遂行することによって前記ＣＮＮ及び前記ＲＰＮに含まれているパラメータのうち少なくとも一部を学習させる段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  10. 前記（ａ４）段階で、
    前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＲＰＮロスを生成させ、

    Ｎｒｅｇはアンカー演算を遂行して生成された前記コンボリューション特徴マップのサイズに対応する定数（ｃｏｎｓｔａｎｔ）であり、Ｎｃｌｓは前記トレーニングイメージに対応する定数であり、ｃｉは前記ＲＰＮコンフィデンスコアのうち、前記コンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し、ｐｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮ分類結果を意味し、ｔｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮリグレッション結果を意味し、
    前記第ｉ原本正解ＲＰＮ分類結果及び前記第ｉ原本正解ＲＰＮリグレッション結果は、前記原本正解物体検出結果に対応することを特徴とする請求項９に記載の方法。
  11. 前記（ａ４）段階で、
    前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＣＮＮロスを生成させ、

    Ｎｒｅｇ及びＮｃｌｓは前記予測ＲＯＩの個数であり、ｃｉは前記ＣＮＮコンフィデンススコアのうち前記予測ＲＯＩから選択された第ｉ予測ＲＯＩに対応する第ｉＣＮＮコンフィデンススコアを意味し、ｐｉは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮ分類結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮ分類結果を意味し、ｔｉは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮリグレッション結果を意味し、
    前記第ｉ予測ＣＮＮ分類結果及び前記第ｉ予測ＣＮＮリグレッション結果は、前記予測物体検出結果に対応することを特徴とする請求項９に記載の方法。
  12. 前記（ａ３）段階以後に、
    前記学習装置が、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする請求項９に記載の方法。
  13. 前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ）（ｉ−１）前記ＣＮＮから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ＲＯＩに対するＮＭＳ結果を取得するプロセス、（ｉ−２）前記ＲＰＮコンフィデンスマップに対してリサイズ演算（Ｒｅｓｉｚｉｎｇ Ｏｐｅｒａｔｉｏｎ）を少なくとも一回適用してリサイズされたＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果と、前記リサイズされたＲＰＮコンフィデンスマップとを参照して、前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項１２に記載の方法。
  14. 前記学習装置が、前記コンフィデンスレイヤをもって、前記統合コンフィデンススコアのうち、前記トレーニングイメージ上の座標（ｘ，ｙ）に対応する第Ｘ＿Ｙ統合コンフィデンススコアを下記数式にしたがって生成させ、

    ｃ’ｘｙは前記第Ｘ＿Ｙ統合コンフィデンススコアを意味し、ｃｘｙは前記リサイズされたＲＰＮコンフィデンスマップ上の前記座標（ｘ，ｙ）に対応する第Ｘ＿ＹリサイズされたＲＰＮコンフィデンススコアを意味し、ｃｒｉは前記ＮＭＳ結果で決定された、前記座標（ｘ，ｙ）を含みｒｉとして表現される第ｉ予測ＲＯＩに対する第ｉＣＮＮコンフィデンススコアを意味することを特徴とする請求項１３に記載の方法。
  15. 前記（ｂ）段階は、
    （ｂ１）前記状況イメージが取得されると、前記コンピューティング装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させる段階；
    （ｂ２）前記コンピューティング装置が、前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ＲＯＩを生成するためのプロセスを遂行しつつ、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解ＲＯＩと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのＲＰＮコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；
    （ｂ３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記コンピューティング装置が、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれるＦＣレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すＣＮＮコンフィデンスコアそれぞれを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び
    （ｂ４）前記コンピューティング装置が、前記ＣＮＮと連動して作動するコンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して統合コンフィデンスマップを生成させる段階を含み、
    前記コンピューティング装置は、前記ＣＮＮをもって、前記予測物体検出結果を含む前記初期物体情報及び前記統合コンフィデンスマップを含む前記初期コンフィデンス情報を出力させることを特徴とする請求項１に記載の方法。
  16. 物体検出プロセスと並列して生成された、物体検出の信頼度（Ｃｒｅｄｉｂｉｌｉｔｙ）を示すコンフィデンススコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するためのコンピューティング装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）対象車両に設置された少なくとも一つのパノラマビューセンサ（Ｐａｎｏｒａｍａ Ｖｉｅｗ Ｓｅｎｓｏｒ）を通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得するプロセス；（ＩＩ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記状況イメージに対してＣＮＮ演算を少なくとも一回適用させて、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させるプロセス；及び（ＩＩＩ）前記初期物体情報及び前記初期コンフィデンス情報を参照して、前記状況イメージに対する最終物体情報を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
  17. 前記（ＩＩＩ）プロセスは、
    （ＩＩＩ−１）（ｉ）前記初期コンフィデンス情報を参照して、前記状況イメージに含まれている少なくとも一つの領域のうちそれに対応する前記コンフィデンススコアが閾値未満である少なくとも一つの第１特定領域それぞれを先に選択し、（ｉｉ）前記ＣＮＮをもって、前記第１特定領域に対してＣＮＮ演算を適用させて前記状況イメージに対する第１調整物体情報（Ａｄｊｕｓｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）及び第１調整コンフィデンス情報を生成させる、再検出（Ｒｅ−ｄｅｔｅｃｔｉｏｎ）プロセスを遂行するプロセス；
    （ＩＩＩ−２）（ｉ）事前に生成された第Ｋ−１調整コンフィデンス情報を参照して、前記状況イメージ内の前記領域のうちそれに対応する前記コンフィデンススコアが前記閾値未満である少なくとも一つの第Ｋ特定領域それぞれを選択し、（ｉｉ）前記ＣＮＮをもって、前記第Ｋ特定領域に対してＣＮＮ演算を適用させて前記状況イメージに対する第Ｋ調整物体情報及び第Ｋ調整コンフィデンス情報を生成させる、前記再検出プロセスを繰り返し遂行するプロセス；
    （ＩＩＩ−３）前記再検出プロセスがＮ回遂行されることによって、第Ｎ調整物体情報及び第Ｎ調整コンフィデンス情報が生成されると、前記初期物体情報と、前記第１調整物体情報ないし前記第Ｎ調整物体情報のうち少なくとも一部とを参照して、前記最終物体情報を生成するプロセス；
    を含み、
    前記Ｋは２以上Ｎ以下の整数であり、Ｎは予め設定された整数であることを特徴とする請求項１６に記載の装置。
  18. Ｍは１以上Ｎ−１以下の整数であり、前記再検出プロセスをＭ回目遂行しつつ選択された少なくとも一つの第Ｍ特定領域の少なくとも一つの広さの和が閾値未満である場合、前記プロセッサが前記再検出プロセスを繰り返し遂行することを中断し、前記初期物体情報と、前記第１調整物体情報ないし第Ｍ−１調整物体情報のうち少なくとも一部とを参照して、前記最終物体情報を生成することを特徴とする請求項１７に記載の装置。
  19. Ｌは１以上Ｎ以下の整数であり、前記再検出プロセスをＬ回目遂行しつつ、少なくとも一つの第Ｌ特定領域が選択されると、前記プロセッサが第Ｌ倍数情報を参照して前記第Ｌ特定領域に対してアップサンプリング演算（Ｕｐｓａｍｐｌｉｎｇ Ｏｐｅｒａｔｉｏｎ）を適用して第Ｌ特定アップサンプリングイメージ（Ｓｐｅｃｉｆｉｃ Ｕｐｓａｍｐｌｅｄ Ｉｍａｇｅ）を生成した後、前記ＣＮＮをもって、前記第Ｌ特定アップサンプリングイメージに対してＣＮＮ演算を適用させて第Ｌ調整物体情報及び第Ｌ調整コンフィデンス情報を生成させることを特徴とする請求項１７に記載の装置。
  20. 前記プロセッサが、前記初期物体情報と、前記第１調整物体情報ないし前記第Ｎ調整物体情報のうち少なくとも一部とを参照して、ＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）アルゴリズム及びボックスボーティング（Ｂｏｘ Ｖｏｔｉｎｇ）アルゴリズムのうち少なくとも一つを遂行することによって前記最終物体情報を生成することを特徴とする請求項１７に記載の装置。
  21. 前記（ＩＩＩ）プロセスで、
    複数個の前記状況イメージをそれに対する部分イメージ（Ｐａｒｔｉａｌ Ｉｍａｇｅ）として含む統合イメージ（Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）を生成しつつ、前記プロセッサがそれぞれの前記状況イメージに関するそれぞれの前記初期物体情報とそれぞれの前記初期コンフィデンス情報とを利用して前記統合イメージに関する統合最終物体情報を生成することを特徴とし、前記Ｋは２以上Ｎ以下の整数であり、Ｎは予め設定された整数である場合、前記統合最終物体情報は、
    （ＩＩＩ−４）（ｉ）それぞれの前記初期コンフィデンス情報を参照して、前記統合イメージに対する第１統合コンフィデンス情報を生成した後、（ｉｉ）前記第１統合コンフィデンス情報を参照して前記統合イメージ内の少なくとも一つの領域のうちそれに対応するコンフィデンススコアが閾値未満である少なくとも一つのそれぞれの第１特定領域を選択し、（ｉｉｉ）最後に前記ＣＮＮをもって、前記第１特定領域に対してＣＮＮ演算を適用させて前記統合イメージに関するそれぞれの第１調整物体情報及びそれぞれの第１調整コンフィデンス情報を生成させる、再検出プロセスを遂行するプロセス；
    （ＩＩＩ−５）（ｉ）それぞれの第Ｋ−１調整コンフィデンス情報を参照して、前記統合イメージに対する第Ｋ調整統合コンフィデンス情報を生成した後、（ｉｉ）前記第Ｋ調整統合コンフィデンス情報を参照して前記統合イメージ内の前記領域のうちそれに対応するコンフィデンススコアが前記閾値未満である少なくとも一つの第Ｋ特定領域それぞれを選択し、（ｉｉｉ）最後に前記ＣＮＮをもって、前記第Ｋ特定領域に対してＣＮＮ演算を適用させて前記統合イメージに関するそれぞれの第Ｋ調整物体情報及びそれぞれの第Ｋ調整コンフィデンス情報を生成させる、前記再検出プロセスを繰り返し遂行するプロセス；
    （ＩＩＩ−６）前記再検出プロセスがＮ回遂行されることによって、それぞれの第Ｎ調整物体情報及びそれぞれの第Ｎ調整コンフィデンス情報が生成されると、前記初期物体情報と、前記第１調整物体情報ないし第Ｎ調整物体情報のうち少なくとも一部とを参照して前記統合最終物体情報を生成するプロセス；
    を遂行して生成されることを特徴とする請求項１６に記載の装置。
  22. （ｉ）複数の前記パノラマビューセンサのうちカメラに対応する少なくとも一つの第１パノラマビューセンサを通じて少なくとも一つの第１状況イメージが取得されると、前記プロセスが、３チャンネルイメージに対して最適化された、インプットノード（Ｉｎｐｕｔ Ｎｏｄｅ）が３個以上である第１ＣＮＮをもって、前記第１状況イメージに対して第１ＣＮＮ演算を少なくとも一回適用させ、（ｉｉ）デプスセンサ（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）に対応する少なくとも一つの第２パノラマビューセンサを通じて少なくとも一つの第２状況イメージが取得されると、前記プロセスが、デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）に対して最適化された、インプットノードが１個以上である第２ＣＮＮをもって、前記第２状況イメージに対して第２ＣＮＮ演算を少なくとも一回適用させることを特徴とする請求項２１に記載の装置。
  23. （ＩＶ）前記プロセッサが、前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールが前記最終物体情報を利用して前記対象車両の自律走行を遂行し得るように支援するプロセス；
    をさらに含むことを特徴とする請求項１６に記載の装置。
  24. 前記（Ｉ）プロセス以前に、
    （Ｉ−１）トレーニングイメージが取得されると、学習装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス；
    （Ｉ−２）前記学習装置が、前記コンボリューション特徴マップに対してアンカー演算（Ａｎｃｈｏｒ Ｏｐｅｒａｔｉｏｎ）を少なくとも一回適用することによって、前記トレーニングイメージ上の予測ＲＯＩ（Ｅｓｔｉｍａｔｅｄ Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスを遂行しつつ、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤ（Ａｎｃｈｏｒ Ｌａｙｅｒ）をもって、前記予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのＲＰＮコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス；
    （Ｉ−３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤ（ＲＯＩ Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップ（ＲＯＩ−Ｐｏｏｌｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）が取得されると、前記学習装置は、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれているＦＣレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測ＣＮＮ分類結果（Ｅｓｔｉｍａｔｅｄ ＣＮＮ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｒｅｓｕｌｔ）及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果（Ｅｓｔｉｍａｔｅｄ ＣＮＮ Ｒｅｇｒｅｓｓｉｏｎ Ｒｅｓｕｌｔ）が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果（ＧＴ ＣＮＮ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｒｅｓｕｌｔ）及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果（ＧＴ ＣＮＮ Ｒｅｇｒｅｓｓｉｏｎ Ｒｅｓｕｌｔ）と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのＣＮＮコンフィデンススコアを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス；及び
    （Ｉ−４）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーションを遂行することによって前記ＣＮＮ及び前記ＲＰＮに含まれているパラメータのうち少なくとも一部を学習させるプロセス；
    をさらに含むことを特徴とする請求項１６に記載の装置。
  25. 前記（Ｉ−４）プロセスで、
    前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＲＰＮロスを生成させ、

    Ｎｒｅｇはアンカー演算を遂行して生成された前記コンボリューション特徴マップのサイズに対応する定数であり、Ｎｃｌｓは前記トレーニングイメージに対応する定数であり、ｃｉは前記ＲＰＮコンフィデンスコアのうち、前記コンボリューション特徴マップの第ｉピクセルに対応する第ｉＲＰＮコンフィデンススコアを意味し、ｐｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮ分類結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮ分類結果を意味し、ｔｉは前記第ｉピクセルに対応する第ｉ予測ＲＰＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＲＰＮリグレッション結果を意味し、
    前記第ｉ原本正解ＲＰＮ分類結果及び前記第ｉ原本正解ＲＰＮリグレッション結果は、前記原本正解物体検出結果に対応することを特徴とする請求項２４に記載の装置。
  26. 前記（Ｉ−４）プロセスで、
    前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＣＮＮロスを生成させ、

    Ｎｒｅｇ及びＮｃｌｓは前記予測ＲＯＩの個数であり、ｃｉは前記ＣＮＮコンフィデンススコアのうち前記予測ＲＯＩから選択された第ｉ予測ＲＯＩに対応する第ｉＣＮＮコンフィデンススコアを意味し、ｐｉは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮ分類結果を意味し、ｐｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮ分類結果を意味し、ｔｉは前記第ｉ予測ＲＯＩに対応する第ｉ予測ＣＮＮリグレッション結果を意味し、ｔｉ ＊は前記第ｉピクセルに対応する第ｉ原本正解ＣＮＮリグレッション結果を意味し、
    前記第ｉ予測ＣＮＮ分類結果及び前記第ｉ予測ＣＮＮリグレッション結果は、前記予測物体検出結果に対応することを特徴とする請求項２４に記載の装置。
  27. 前記（Ｉ−３）プロセス以後に、
    前記学習装置が、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする請求項２４に記載の装置。
  28. 前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ）（ｉ−１）前記ＣＮＮから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ＲＯＩに対するＮＭＳ結果を取得するプロセス、（ｉ−２）前記ＲＰＮコンフィデンスマップに対してリサイズ演算（Ｒｅｓｉｚｉｎｇ Ｏｐｅｒａｔｉｏｎ）を少なくとも一回適用してリサイズされたＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果及び前記リサイズされたＲＰＮコンフィデンスマップを参照して前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項２７に記載の装置。
  29. 前記学習装置が、前記コンフィデンスレイヤをもって、前記統合コンフィデンススコアのうち、前記トレーニングイメージ上の座標（ｘ，ｙ）に対応する第Ｘ＿Ｙ統合コンフィデンススコアを下記数式にしたがって生成させ、

    ｃ’ｘｙは前記第Ｘ＿Ｙ統合コンフィデンススコアを意味し、ｃｘｙは前記リサイズされたＲＰＮコンフィデンスマップ上の前記座標（ｘ，ｙ）に対応する第Ｘ＿ＹリサイズされたＲＰＮコンフィデンススコアを意味し、ｃｒｉは前記ＮＭＳ結果で決定された、前記座標（ｘ，ｙ）を含みｒｉとして表現される第ｉ予測ＲＯＩに対する第ｉＣＮＮコンフィデンススコアを意味することを特徴とする請求項２８に記載の装置。
  30. 前記（ＩＩ）プロセスは、
    （ＩＩ−１）前記状況イメージが取得されると、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス；
    （ＩＩ−２）前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ＲＯＩを生成するためのプロセスを遂行しつつ、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解ＲＯＩと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのＲＰＮコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス；
    （ＩＩ−３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれるＦＣレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すＣＮＮコンフィデンスコアそれぞれを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス；及び
    （ＩＩ−４）前記ＣＮＮと連動して作動するコンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して統合コンフィデンスマップを生成させるプロセスを含み、
    前記プロセッサは、前記ＣＮＮをもって、前記予測物体検出結果を含む前記初期物体情報と、前記統合コンフィデンスマップを含む前記初期コンフィデンス情報とを出力させることを特徴とする請求項１６に記載の装置。
JP2020008882A 2019-01-31 2020-01-23 Ａｖｍを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａｖｍ ｔｏ ｔｈｅｒｅｂｙ ａｃｈｉｅｖｅ ｓａｆｅｔｙ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ｝ Active JP6890855B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799307P 2019-01-31 2019-01-31
US62/799307 2019-01-31
US16/732,053 US10776647B2 (en) 2019-01-31 2019-12-31 Method and device for attention-driven resource allocation by using AVM to thereby achieve safety of autonomous driving
US16/732053 2019-12-31

Publications (2)

Publication Number Publication Date
JP2020126632A true JP2020126632A (ja) 2020-08-20
JP6890855B2 JP6890855B2 (ja) 2021-06-18

Family

ID=69185399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020008882A Active JP6890855B2 (ja) 2019-01-31 2020-01-23 Ａｖｍを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａｖｍ ｔｏ ｔｈｅｒｅｂｙ ａｃｈｉｅｖｅ ｓａｆｅｔｙ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ｝

Country Status (5)

Country Link
US (1) US10776647B2 (ja)
EP (1) EP3690735B1 (ja)
JP (1) JP6890855B2 (ja)
KR (1) KR102396271B1 (ja)
CN (1) CN111507169B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569696A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 用于车辆部件识别的神经网络系统、方法和装置
US11544508B2 (en) * 2020-11-23 2023-01-03 Nielsen Consumer Llc Methods, systems, articles of manufacture, and apparatus to recalibrate confidences for image classification
US11954898B1 (en) * 2022-11-10 2024-04-09 Superb Ai Co., Ltd. Learning method and learning device for performing transfer learning on an object detector that has been trained to detect first object classes such that the object detector is able to detect second object classes, and testing method and testing device using the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US20180267558A1 (en) * 2017-03-14 2018-09-20 Starsky Robotics, Inc. Vehicle sensor system and method of use
CN109145898A (zh) * 2018-07-26 2019-01-04 清华大学深圳研究生院 一种基于卷积神经网络和迭代机制的物体检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
US11062207B2 (en) * 2016-11-04 2021-07-13 Raytheon Technologies Corporation Control systems using deep reinforcement learning
US10380741B2 (en) * 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
US10467493B2 (en) * 2017-07-14 2019-11-05 Google Llc Object detection using neural network systems
CN111133447B (zh) * 2018-02-18 2024-03-19 辉达公司 适于自主驾驶的对象检测和检测置信度的方法和系统
CN108520197A (zh) * 2018-02-28 2018-09-11 中国航空工业集团公司洛阳电光设备研究所 一种遥感图像目标检测方法及装置
US11164016B2 (en) * 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US20180267558A1 (en) * 2017-03-14 2018-09-20 Starsky Robotics, Inc. Vehicle sensor system and method of use
CN109145898A (zh) * 2018-07-26 2019-01-04 清华大学深圳研究生院 一种基于卷积神经网络和迭代机制的物体检测方法

Also Published As

Publication number Publication date
US20200250450A1 (en) 2020-08-06
US10776647B2 (en) 2020-09-15
EP3690735A1 (en) 2020-08-05
JP6890855B2 (ja) 2021-06-18
KR20200095368A (ko) 2020-08-10
KR102396271B1 (ko) 2022-05-10
EP3690735B1 (en) 2023-10-11
CN111507169B (zh) 2023-07-28
EP3690735C0 (en) 2023-10-11
CN111507169A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
JP6895694B2 (ja) Ａｖｍ及び強化学習を利用して自律走行の安全性を達成するためのアテンション−ドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａｖｍａｎｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｔｏ ｔｈｅｒｅｂｙ ａｃｈｉｅｖｅ ｓａｆｅｔｙ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ｝
KR102396274B1 (ko) 강화 학습 및 v2x 통신을 사용하는 어텐션-드리븐 리소스 할당을 통해 자율 주행의 안전성을 제공하기 위한 방법 및 장치
US10269125B1 (en) Method for tracking object by using convolutional neural network including tracking network and computing device using the same
JP6890855B2 (ja) Ａｖｍを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａｖｍ ｔｏ ｔｈｅｒｅｂｙ ａｃｈｉｅｖｅ ｓａｆｅｔｙ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ｝
US10373027B1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
JP6857370B2 (ja) ターゲット物体予測ネットワーク及びターゲット物体統合ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に係る最適化のための再構成可能なネットワーク基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
KR102321004B1 (ko) 온 디바이스 독립형 예측에 기반하여 자율 주행 차량의 모드를 전환함으로써 자율 주행의 안전성을 도모하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
JP6856853B2 (ja) 極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ｇａｎを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
CN111488786B (zh) 基于cnn的监视用客体检测器的方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200710

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210519

R150 Certificate of patent or registration of utility model

Ref document number: 6890855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250