JP2020123340A - 連続学習を利用して検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法及びこれを利用した装置 - Google Patents

連続学習を利用して検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法及びこれを利用した装置 Download PDF

Info

Publication number
JP2020123340A
JP2020123340A JP2020007176A JP2020007176A JP2020123340A JP 2020123340 A JP2020123340 A JP 2020123340A JP 2020007176 A JP2020007176 A JP 2020007176A JP 2020007176 A JP2020007176 A JP 2020007176A JP 2020123340 A JP2020123340 A JP 2020123340A
Authority
JP
Japan
Prior art keywords
specific
vector
update
term
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020007176A
Other languages
English (en)
Other versions
JP6962605B2 (ja
Inventor
桂賢 金
Kye-Hyeon Kim
桂賢 金
鎔重 金
Yongjoong Kim
鎔重 金
鶴京 金
Hak-Kyoung Kim
鶴京 金
雲鉉 南
Woonhyun Nam
雲鉉 南
碩▲ふん▼ 夫
Sukhoon Boo
碩▲ふん▼ 夫
明哲 成
Myungchul Sung
明哲 成
東洙 申
Toshu Shin
東洙 申
東勳 呂
Donghun Yeo
東勳 呂
宇宙 柳
Wooju Ryu
宇宙 柳
明春 李
Myong-Chun Lee
明春 李
炯樹 李
Hyungsoo Lee
炯樹 李
泰雄 張
Taiyu Cho
泰雄 張
景中 鄭
Kyungjoong Jeong
景中 鄭
泓模 諸
Hongmo Je
泓模 諸
浩辰 趙
Hojin Cho
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020123340A publication Critical patent/JP2020123340A/ja
Application granted granted Critical
Publication of JP6962605B2 publication Critical patent/JP6962605B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する。【解決手段】物体検出システム１００は、少なくとも一つの入力イメージが取得されると、特定の特徴マップを生成させた後、特定のクエリベクトルを生成させる認識器１１０と、特定のクエリベクトルをデータベクトルと比較させて、これらの間のそれぞれの第１類似度スコアを算出させ、特定の第１類似度スコアが予め設定された第１閾値未満である場合、特定の部分イメージを未知のイメージデータベースに追加させる類似度判断ユニットと、特定のクラス情報が取得されると、特定の短期アップデートベクトルを生成させた後、特徴フィンガープリントデータベースをアップデートさせる短期アップデートユニットと、を含む。【選択図】図１

Description

本発明は自律走行車両を利用する方法と装置に関し、詳細には、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法及び装置に関する。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ ＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にすでに使用されていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
ＣＮＮは最近、自律走行分野でも広く使用されている。ＣＮＮは、自律走行車両において、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）物体検出などの、自律走行を補助するための様々な機能を遂行することができるが、これらは主に数万枚のトレーニングデータセットを利用して学習された後、自律走行車両に搭載されるようになる。
一方、自律走行車両は、長期間の使用により問題が発生し得る。そのうちの一つとして、時間が経つにつれて道路には学習過程で存在しなかった物体が追加され、したがって、ＣＮＮが物体検出器としての機能を適切に遂行し得なくなる場合がある。例えば、車両は毎年新たに市販され、そのデザインが変更されるが、この場合、物体検出器がこのような新しい車両を車両として検出することができなくなり得る。したがって、自律走行車両に搭載されたＣＮＮは、定期的にアップデートされる必要がある。しかしながら、ＣＮＮのパラメータをアップデートするための学習プロセスにはかなり費用がかかり、これをアップデートするためにそれぞれの自律走行車両にパラメータと関連する情報を伝送するプロセスにもかなり費用がかかり得る問題がある。
本発明は、上述した問題点を解決することを目的とする。
本発明は、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供することによって、自律走行車両が長時間走行しても安全に走行し得るようにすることを他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は、以下の通りである。
本発明の一態様によると、学習されていないクラス（Ｕｎｔｒａｉｎｅｄ Ｃｌａｓｓ）を有する物体を検出するために物体検出システム（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｎｇ Ｓｙｓｔｅｍ）をリアルタイムにアップデートする方法において、（ａ）少なくとも一つの入力イメージ（Ｉｎｐｕｔ Ｉｍａｇｅ）が取得されると、前記物体検出システムが、これに含まれている認識器（Ｒｅｃｏｇｎｉｚｅｒ）をもって、前記入力イメージの特定の物体を含む特定ＲＯＩに対応する特定の特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させた後、前記特定の特徴マップを利用して前記特定の物体に対応する特定のクエリベクトル（Ｑｕｅｒｙ Ｖｅｃｔｏｒ）を生成させる段階；（ｂ）前記物体検出システムが、類似度判断ユニット（Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｒｍｉｎｉｎｇ Ｕｎｉｔ）をもって、（ｉ）前記特定のクエリベクトルを、前記物体検出システムに入力されるイメージの物体を検出するのに使用される少なくとも一つの特徴フィンガープリントデータベース（Ｆｅａｔｕｒｅ Ｆｉｎｇｅｒｐｒｉｎｔ ＤＢ）に含まれている少なくとも一つのデータベクトルと比較させて、前記特定のクエリベクトルとそれぞれの前記データベクトルとの間におけるそれぞれの少なくとも一つの第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）を算出させ、（ｉｉ）第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）のうち最大の特定の第１類似度スコアが予め設定された第１閾値未満である場合、前記特定ＲＯＩに対応する特定の部分イメージ（Ｐａｒｔｉａｌ Ｉｍａｇｅ）を、前記特徴フィンガープリントデータベースのアップデートに使用される未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）に追加させる段階；及び（ｃ）前記特定の部分イメージに対応する特定のクラス情報が取得されると、前記物体検出システムが、短期アップデートユニット（Ｓｈｏｒｔ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｕｎｉｔ）をもって、前記特定のクラス情報と、前記認識器により生成された前記特定の物体に対応する特定の成分ベクトル（Ｅｌｅｍｅｎｔ Ｖｅｃｔｏｒ）を利用して、前記特定の物体に対応する特定の短期アップデートベクトル（Ｓｈｏｒｔ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成させた後、これを利用して前記特定のフィンガープリントデータベースをアップデートさせる段階；を含むことを特徴とする。
一実施例において、前記（ｃ）段階で、前記物体検出システムが、前記短期アップデートユニットをもって、（ｉ）前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する特定のデータベクトルと前記特定の短期アップデートベクトルとの間におけるそれぞれの少なくとも一つの第２類似度スコアを算出させ、（ｉｉ）前記第２類似度スコアのうち最大値を選択させ、（ｉｉｉ）（ｉｉｉ−１）最大の第２類似度スコアが予め設定された第２閾値以上である場合、前記最大の第２類似度スコアに対応するターゲットデータベクトル（Ｔａｒｇｅｔ Ｄａｔａ Ｖｅｃｔｏｒ）を前記特定の短期アップデートベクトルを利用してアップデートさせ、（ｉｉｉ−２）前記最大の第２類似度スコアが前記第２閾値未満である場合、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させて前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする。
一実施例において、前記（ｃ）段階で、前記最大の第２類似度スコアが前記第２閾値以上である場合、前記物体検出システムは、（１）前記短期アップデートユニットをもって、前記ターゲットデータベクトルに含まれている第１対象成分ないし第Ｎ対象成分を含むそれぞれの対象成分を、前記特定の短期アップデートベクトルに含まれている第１アップデート成分ないし第Ｎアップデート成分を含むそれぞれのアップデート成分と比較させ、（２）前記短期アップデートユニットをもって、（ｉ）Ｋは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）であって、第Ｋ対象成分がデータ未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、前記第Ｋ対象成分を前記第Ｋアップデート成分に代替させ、（ｉｉ）前記第Ｋ対象成分が前記第２記号に対応し、前記第Ｋアップデート成分が前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させ、（ｉｉｉ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第２記号に対応する場合、前記第Ｋ対象成分と前記第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）で前記第Ｋ対象成分をアップデートさせ、（ｉｖ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させることを特徴とする。
実施例において、前記（ｃ）段階で、前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する前記特定のデータベクトルが存在しない場合、前記物体検出システムは、前記短期アップデートユニットをもって、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させることを特徴とする。
一実施例において、（ｄ）前記物体検出システムが、長期アップデートユニット（Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｕｎｉｔ）をもって、前記短期アップデートユニットにより使用された後、少なくとも一つの既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）に格納された、前記特定の部分イメージを含む少なくとも一つの部分イメージと、それに対応するクラス情報（前記クラス情報は前記物体検出システムに含まれている少なくとも一つの物体のクラスを表す）とに対応する少なくとも一つの長期アップデートベクトル（Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成させ、前記長期アップデートベクトルを利用して前記特徴フィンガープリントデータベースをさらにアップデートさせ、それぞれの前記長期アップデートベクトルが、それぞれの前記部分イメージと、それぞれの前記クラス情報を表す少なくとも一つの値を含むクラス部分（Ｃｌａｓｓ Ｐａｒｔ）とを利用して前記認識器により生成された少なくとも一つの値を含む参照部分（Ｒｅｆｅｒｅｎｃｅ Ｐａｒｔ）を含む段階；をさらに含むことを特徴とする。
一実施例において、前記（ｄ）段階で、前記物体検出システムが、前記長期アップデートユニットをもって、（ｉ）それぞれの前記長期アップデートベクトル間の少なくとも一つの第３類似度スコアを算出させ、（ｉｉ）少なくとも一つの統合長期アップデートベクトル（Ｉｎｔｅｇｒａｔｅｄ Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成するために互いに同一のクラス情報を有する前記長期アップデートベクトルの一部を併合し、前記統合長期アップデートベクトルと、併合されていない残余長期アップデートベクトル（Ｒｅｍａｉｎｉｎｇ Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）とを前記特徴フィンガープリントデータベースに追加することによって、前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする。
一実施例において、前記（ｂ）段階で、前記物体検出システムが、前記類似度判断ユニットをもって、
前記数式によって前記第１類似度スコアのうち一つを算出させ、Ｑは前記特定のクエリベクトルであり、Ｄは前記データベクトルのうち一つであることを特徴とする。
一実施例において、前記（ａ）段階で、前記物体検出システムが、（ｉ）前記認識器に対応するＲＰＮをもって、前記入力イメージに含まれている前記特定ＲＯＩを検出させた後、（ｉｉ）前記認識器に対応する少なくとも一つのキーポイント検出器（Ｋｅｙｐｏｉｎｔ Ｄｅｔｅｃｔｏｒ）をもって、前記特定ＲＯＩに対応する前記特定の部分イメージ上の少なくとも一つのキー領域（Ｋｅｙ Ｒｅｇｉｏｎ）を検出させ、（ｉｉｉ）前記認識器に対応する特徴抽出器（Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｏｒ）をもって、前記特定の部分イメージを利用して前記特定の特徴マップを生成させた後、（ｉｖ）前記認識器をもって、前記特定の特徴マップ内の前記キー領域に対応する値を利用して前記特定のクエリベクトルを生成させることを特徴とする。
一実施例において、前記特徴抽出器は、少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）を有する少なくとも一つのコンボリューションレイヤを含み、それぞれの前記コンボリューションニューロンをもって、それ自体に入力された値に対して、前記コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって、前記特定の部分イメージから前記特定の特徴マップを抽出することを特徴とし、前記パラメータは、前記（ａ）段階以前に学習プロセスを経て決定されることを特徴とする。
本発明の他の態様によると、学習されていないクラス（Ｕｎｔｒａｉｎｅｄ Ｃｌａｓｓ）を有する物体を検出するために物体検出システム（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｎｇ Ｓｙｓｔｅｍ）をリアルタイムにアップデートする物体検出システムにおいて、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）少なくとも一つの入力イメージ（Ｉｎｐｕｔ Ｉｍａｇｅ）が取得されると、前記物体検出システムに含まれている認識器（Ｒｅｃｏｇｎｉｚｅｒ）をもって、前記入力イメージの特定の物体を含む特定ＲＯＩに対応する特定の特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させた後、前記特定の特徴マップを利用して前記特定の物体に対応する特定のクエリベクトル（Ｑｕｅｒｙ Ｖｅｃｔｏｒ）を生成させるプロセス；（ＩＩ）類似度判断ユニット（Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｒｍｉｎｉｎｇ Ｕｎｉｔ）をもって、（ｉ）前記特定のクエリベクトルを、前記物体検出システムに入力されるイメージの物体を検出するのに使用される少なくとも一つの特徴フィンガープリントデータベース（Ｆｅａｔｕｒｅ Ｆｉｎｇｅｒｐｒｉｎｔ ＤＢ）に含まれている少なくとも一つのデータベクトルと比較させて、前記特定のクエリベクトルとそれぞれの前記データベクトルとの間におけるそれぞれの少なくとも一つの第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）を算出させ、（ｉｉ）第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）のうち最大の特定の第１類似度スコアが予め設定された第１閾値未満である場合、前記特定ＲＯＩに対応する特定の部分イメージ（Ｐａｒｔｉａｌ Ｉｍａｇｅ）を、前記特徴フィンガープリントデータベースのアップデートに使用される未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）に追加させるプロセス；及び（ＩＩＩ）前記特定の部分イメージに対応する特定のクラス情報が取得されると、短期アップデートユニット（Ｓｈｏｒｔ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｕｎｉｔ）をもって、前記特定のクラス情報と、前記認識器により生成された前記特定の物体に対応する特定の成分ベクトル（Ｅｌｅｍｅｎｔ Ｖｅｃｔｏｒ）とを利用して、前記特定の物体に対応する特定の短期アップデートベクトル（Ｓｈｏｒｔ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成させた後、これを利用して前記特徴フィンガープリントデータベースをアップデートさせるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記短期アップデートユニットをもって、（ｉ）前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する特定のデータベクトルと、前記特定の短期アップデートベクトルとの間におけるそれぞれの少なくとも一つの第２類似度スコアを算出させ、（ｉｉ）前記第２類似度スコアのうち最大値を選択させ、（ｉｉｉ）（ｉｉｉ−１）最大の第２類似度スコアが予め設定された第２閾値以上である場合、前記最大の第２類似度スコアに対応するターゲットデータベクトル（Ｔａｒｇｅｔ Ｄａｔａ Ｖｅｃｔｏｒ）を前記特定の短期アップデートベクトルを利用してアップデートさせ、（ｉｉｉ−２）前記最大の第２類似度スコアが前記第２閾値未満である場合、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させて前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、前記最大の第２類似度スコアが前記第２閾値以上である場合、前記プロセスが、（Ｉ）前記短期アップデートユニットをもって、前記ターゲットデータベクトルに含まれている第１対象成分ないし第Ｎ対象成分を含むそれぞれの対象成分を、前記特定の短期アップデートベクトルに含まれている第１アップデート成分ないし第Ｎアップデート成分を含むそれぞれのアップデート成分と比較させ、（ＩＩ）前記短期アップデートユニットをもって、（ｉ）Ｋは１以上Ｎ以下の整数であって、第Ｋ対象成分がデータ未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、前記第Ｋ対象成分を前記第Ｋアップデート成分に代替させ、（ｉｉ）前記第Ｋ対象成分が前記第２記号に対応し、前記第Ｋアップデート成分が前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させ、（ｉｉｉ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第２記号に対応する場合、前記第Ｋ対象成分と前記第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）で前記第Ｋ対象成分をアップデートさせ、（ｉｖ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させることを特徴とする。
前記（ＩＩＩ）プロセスで、前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する前記特定のデータベクトルが存在しない場合、前記プロセッサが、前記短期アップデートユニットをもって、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させることを特徴とする。
本発明の他の態様によると、前記プロセッサが、（ＩＶ）長期アップデートユニット（Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｕｎｉｔ）をもって、前記短期アップデートユニットにより使用された後、少なくとも一つの既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）に格納された、前記特定の部分イメージを含む少なくとも一つの部分イメージと、それに対応するクラス情報（前記クラス情報は前記物体検出システムに含まれている少なくとも一つの物体のクラスを表す）とに対応する少なくとも一つの長期アップデートベクトル（Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成させ、前記長期アップデートベクトルを利用して前記特徴フィンガープリントデータベースをさらにアップデートさせ、それぞれの前記長期アップデートベクトルが、それぞれの前記部分イメージと、それぞれの前記クラス情報を表す少なくとも一つの値を含むクラス部分（Ｃｌａｓｓ Ｐａｒｔ）とを利用して前記認識器により生成された少なくとも一つの値を含む参照部分（Ｒｅｆｅｒｅｎｃｅ Ｐａｒｔ）を含むプロセス；をさらに遂行することを特徴とする。
一実施例において、前記（ＩＶ）プロセスで、前記プロセッサが、前記長期アップデートユニットをもって、（ｉ）それぞれの前記長期アップデートベクトル間の少なくとも一つの第３類似度スコアを算出させ、（ｉｉ）少なくとも一つの統合長期アップデートベクトル（Ｉｎｔｅｇｒａｔｅｄ Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成するために互いに同一のクラス情報を有する前記長期アップデートベクトルの一部を併合し、前記統合長期アップデートベクトルと、併合されていない残余長期アップデートベクトル（Ｒｅｍａｉｎｉｎｇ Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）とを前記特徴フィンガープリントデータベースに追加することによって、前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記類似度判断ユニットをもって、
前記数式によって前記第１類似度スコアのうち一つを算出させ、Ｑは前記特定のクエリベクトルであり、Ｄは前記データベクトルのうち一つであることを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）前記認識器に対応するＲＰＮをもって、前記入力イメージに含まれている前記特定ＲＯＩを検出させた後、（ｉｉ）前記認識器に対応する少なくとも一つのキーポイント検出器（Ｋｅｙｐｏｉｎｔ Ｄｅｔｅｃｔｏｒ）をもって、前記特定ＲＯＩに対応する前記特定の部分イメージ上の少なくとも一つのキー領域（Ｋｅｙ Ｒｅｇｉｏｎ）を検出させ、（ｉｉｉ）前記認識器に対応する特徴抽出器（Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｏｒ）をもって、前記特定の部分イメージを利用して前記特定の特徴マップを生成させた後、（ｉｖ）前記認識器をもって、前記特定の特徴マップ内の前記キー領域に対応する値を利用して前記特定のクエリベクトルを生成させることを特徴とする。
一実施例において、前記特徴抽出器は、少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）を有する少なくとも一つのコンボリューションレイヤを含み、それぞれの前記コンボリューションニューロンをもって、それ自体に入力された値に対して、前記コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって前記特定の部分イメージから前記特定の特徴マップを抽出することを特徴とし、前記パラメータは、前記（Ｉ）プロセス以前に学習プロセスを経て決定されることを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供することによって、自律走行車両が長時間走行しても安全に走行し得るようにする効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法を遂行する物体検出システムの構成を簡略に示した図面である。 本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムが少なくとも一つのイメージに含まれたそれぞれの物体のクラスを検出するプロセスを簡略に示した図面である。 本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムの短期アップデートを遂行するプロセスを簡略に示した図面である。 本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムの長期アップデートを遂行するプロセスを簡略に示した図面である。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法を遂行する物体検出システムの構成を簡略に示した図面である。
図１を参照すると、物体検出システム１００は、追って詳細に説明する構成要素である認識器１１０と、特徴フィンガープリントデータベース１２０と、未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）１３０と、既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）１４０とを含むことができる。認識器１１０、特徴フィンガープリントデータベース１２０、未知のイメージデータベース１３０及び既知のイメージデータベース１４０の入出力及び演算の過程は、物体検出システム１００に含まれているそれぞれの通信部及びプロセッサにより遂行され得る。また、物体検出システム１００に含まれているメモリ（図示せず）は、後述する様々なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態であり得、プロセッサ（図示せず）は、メモリ（図示せず）に格納されているインストラクションを遂行し、追って説明するインストラクションを遂行することによって本発明のプロセスを遂行することができる。このように、物体検出システム１００が描写されたからといって、物体検出システム１００が本発明を実施するためのプロセッサ、ミディアム、メモリ又は他のコンピューティング要素が統合された形態である統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）を含む場合を排除するわけではない。
また、物体検出システム１００は、類似度判断ユニット（図示せず）と、短期アップデートユニット（図示せず）と、長期アップデートユニット（図示せず）とを含むことができる。
具体的に、認識器１１０は、（ｉ）少なくとも一つの入力されたイメージ上に存在する物体の位置情報、及び（ｉｉ）これを含むＲＯＩの少なくとも一つの特徴マップを生成した後、それぞれの特徴マップを参照してそれぞれの物体のそれぞれのクエリベクトルを生成することができる。特徴フィンガープリントデータベース１２０は、データベクトルとクエリベクトルとを比較することによって、クエリベクトルに対応する物体のクラス情報を導き出すためのデータベクトルを格納することができる。前記物体に対応するクエリベクトルとの類似度スコアが予め設定された第１閾値以上であるデータベクトルが特徴フィンガープリントデータベース１２０にない場合、未知のイメージデータベース１３０は、追って物体検出システム１００が検出することができるクラスの種類をアップデートするために、前記物体に対応する入力イメージの一部分を格納することができる。既知のイメージデータベース１４０は、追って詳細に説明する長期アップデートのために、（ｉ）未識別物体を正確にバウンディング（Ｂｏｕｎｄｉｎｇ）するそれぞれのイメージである、物体検出システム１００に入力された少なくとも一つの部分イメージ（Ｐａｒｔｉａｌ Ｉｍａｇｅ）及び（ｉｉ）物体検出システム１００に入力されプログラマが確認した、これに対応する情報を格納することができる。
物体検出システム１００は、（ｉ）追って説明する、クエリベクトルを、特徴フィンガープリントデータベース１２０に含まれているデータベクトルと比較する類似度判断ユニット（図示せず）と、（ｉｉ）短期アップデートユニット（図示せず）と、（ｉｉｉ）長期アップデートユニット（図示せず）とを含むことができる。それぞれのユニットは、ハードウェア又はソフトウェアとして構成され得るであろう。
以上、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システム１００の構成を説明したところ、以下、物体検出システムが入力イメージ内の物体を検出する方法と、短期アップデート及び長期アップデートを行う方法について説明する。このために、まず図２を参照することにする。
図２は、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システム１００が少なくとも一つのイメージに含まれているそれぞれの物体のクラスを検出するプロセスを簡略に示した図面である。
図２を参照すると、認識器１１０に含まれているＮ個のキーポイント検出器１１１及び特徴抽出器１１２を確認することができる。キーポイント検出器１１１は、それ自体に入力されたイメージ上の少なくとも一つのキー領域を検出することができる。キー領域は、物体検出において重要な部分である。追って詳細に説明するが、これは、キー領域の少なくとも一つの特徴と特徴フィンガープリントデータベース１２０に格納された特徴との間を比較することによってクラスを検出するからである。このようなキーポイント検出器１１１は、すでに学習された状態であり得る。特徴抽出器１１２は、入力イメージに対してコンボリューション演算を少なくとも一回適用することで、少なくとも一つの特徴マップを生成することができる。特徴抽出器もまた予め学習された状態であり得る。例えば、特徴抽出器が少なくとも一つのコンボリューションニューロンを含む少なくとも一つのコンボリューションレイヤを含むことができる。そして、特徴抽出器は、それぞれのコンボリューションニューロンをもって、それ自体に入力された値に対して、コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって、それ自体に入力されたイメージから特徴マップを抽出することができる。パラメータは、本発明のプロセスが始まる前に学習プロセスを経て決定され得る。
入力イメージが取得されると、物体検出ネットワークは少なくとも一つのＲＰＮをもって、入力イメージのＲＯＩを生成させ、入力イメージ上でそれぞれのＲＯＩに対応するそれぞれの領域をクロップ（Ｃｒｏｐ）してそれぞれの部分イメージを生成することができる。または、入力イメージ自体がそれぞれの部分イメージのように単一の物体を含むイメージであってもよい。以後、認識器１１０は、特定の部分イメージに対応するクエリベクトルを生成し、このために、認識器１１０はそれ自体に含まれているキーポイント検出器１１１をもって、特定の部分イメージ上のキー領域を検出させる。また、認識器１１０は、特徴抽出器１１２をもって、特定の部分イメージに対応する少なくとも一つの特定の特徴マップを生成させる。以後、認識器１１０は、クエリユニットをもって、それぞれのキーポイント検出器１１１が検出した特定の部分イメージ上のキー領域それぞれに対応する、特定の特徴マップ上の値を利用して特定のクエリベクトルを生成させることができる。この際、それぞれのキーポイント検出器に対応するそれぞれの値は、特定のクエリベクトル上のそれぞれの対応する位置にあるはずである。このような方式の例示は、図２で確認することができる。図２のクエリベクトルにおいて、「なし（Ｎｏｔ Ｐｒｅｓｅｎｔ）」を指すクエリベクトルの例示の構成要素は、それぞれの構成要素に対応するそれぞれのキーポイント検出器１１１が、それぞれのキーポイント検出器に対応するそれぞれのキー領域を入力イメージ上で見出すことができなかった場合である。特定の部分イメージ以外の部分イメージに対応する他のクエリベクトルは、上記のように特定のクエリベクトルの生成プロセスと類似したプロセスを通じて生成され得る。
以後、このように生成された特定のクエリベクトルは、特徴フィンガープリントデータベース１２０に伝達されて、その内部に格納されたデータベクトルと比較される。このような比較の過程において、それぞれのデータベクトルと特定のクエリベクトルとの間におけるそれぞれの第１類似度スコアが生成され、これはベクトル間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）の絶対値に対する負数（ｎｅｇａｔｉｖｅ ｎｕｍｂｅｒ）の指数乗、すなわち、
であるか、ベクトル間のコサイン距離（Ｃｏｓｉｎｅ Ｄｉｓｔａｎｃｅ）であり得る。ユークリッド距離を利用して類似度スコアを生成する場合、これは下記の数式で表現することができる。
この場合、Ｑは特定のクエリベクトルであり得、Ｄはデータベクトルのうち一つであり得る。
クエリベクトルのうち「なし」と表示された構成要素は、第１類似度スコアを算出するのに利用されず、クエリベクトルのうち「なし」に対応しない全ての構成要素を含むデータベクトルのみが第１類似度スコアを算出するのに利用される。
図２の例を挙げると、図２に示されているクエリベクトルの例示と、特徴フィンガープリントデータベース１２０に格納されている、それぞれの自動車ブランドに対応するデータベクトルとを比較するということである。特徴フィンガープリントデータベース１２０には、現代（Ｈｙｕｎｄａｉ）クラスに対するデータベクトルが重複して存在し、これは様々な角度から撮影されたイメージを有する現代クラスに含まれている車両に対するデータベクトルである。このように特徴フィンガープリントデータベース１２０が構成されている場合にのみ、物体に対する角度に拘わらず物体の検出が遂行され得るためである。図２のクエリベクトルの例示は、前述したところによると、シトロエン、アウディのデータベクトルと共に第１類似度スコアを算出するのに使用されるであろう。
特定のクエリベクトルに対する類似度スコアを算出した後、第１類似度スコアのうち最大値が予め設定された第１閾値以上である場合、物体検出システム１００は、最大値に対応するクラスを特定のクエリベクトルに対応する特定の物体のクラスとして出力することができる。第１類似度スコアのうち最大値が予め設定された第１閾値未満である場合、特定の部分イメージを未知のイメージデータベース１３０に格納することができ、物体検出システム１００は、入力イメージに対する物体の検出結果が適切に導き出されなかったというログ（Ｌｏｇ）をプログラマに伝送することができる。
このように未知のイメージデータベース１３０に入力イメージのような部分イメージが格納されると、物体検出システムは短期アップデートを遂行することができる。これについて説明するために、図３を参照することにする。
図３は、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムの短期アップデートを遂行するプロセスを簡略に示した図面である。
図３を参照すると、プログラマが未知のイメージデータベース１３０に格納されたイメージを確認し、イメージのクラスを決定して入力することができる。このような、未知のイメージデータベース１３０に格納されたイメージ及びこれに対応する追加のクラス情報を含むアップデートセット（Ｕｐｄａｔｅ Ｓｅｔ）は、既知のイメージデータベース１４０に伝達されて、追って説明する長期アップデートの過程で使用され得る。また、アップデートセットは、認識器１１０に伝達されて短期アップデートに使用される。
認識器１１０は、アップデートセットを取得して短期アップデートベクトルを生成することができる。具体的に、認識器１１０は、前述したクエリベクトルを生成する方式と同一または類似する方式を通じて生成された成分ベクトルに追加のクラス情報を付け加えることによって、アップデートセット内のイメージを利用して短期アップデートベクトルを生成することができる。実施例にしたがって、クエリベクトルは既知のイメージデータベース１４０に格納されて、当該クエリベクトルが、短期アップデートを遂行するのに使用され得る。すなわち、クエリベクトルと成分ベクトルとは基本的に同一である。以後、短期アップデートベクトルは、特徴フィンガープリントデータベース１２０に伝達される。
まず、追加のクラス情報に含まれているクラスが特定の短期アップデートベクトルに対する特徴フィンガープリントデータベース１２０に格納されているデータベクトルのうちいずれの一つにも対応しない場合、これは、特定の短期アップデートベクトルのクラスに対応する特定の物体が初めて検出されたということを意味するものであるので、追って同じクラスの物体を検出するために、特定の短期アップデートベクトルが、特徴フィンガープリントデータベース１２０に、新たなクラスに対応する新たなデータベクトルとして追加され得る。
ところが、もし追加のクラス情報に含まれているクラスが特徴フィンガープリントデータベース１２０に含まれているデータベクトルのうちいずれか一つに対応する場合、当該クラスは、以前に検出されたことがあるものの不適切なデータベクトルが原因になって検出されなかったものであるので、当該クラスに対応するデータベクトルのセットをアップデートするようになる。この際、特定の短期アップデートベクトルを当該クラスに対応する新たなデータベクトルとして追加するのか、既存のデータベクトルをアップデートするのかを決定するプロセスは、以下に説明する方法によって決定される。
物体検出システム１００は、特定の短期アップデートベクトルに含まれているそれぞれの値と、データベクトルに含まれている、これに対応する値とを比較して、前述した方式と同じような方式によって、それぞれのデータベクトルに対応する第２類似度スコアそれぞれを生成することができる。この際、予め設定された第２閾値以上の第２類似度スコアを有するデータベクトルがなければ、短期アップデートベクトルは当該クラスに対応する新たなデータベクトルとして追加される。予め設定された第２閾値以上の類似度スコアを有するターゲットデータベクトルがあれば、当該ターゲットデータベクトルは、短期アップデートベクトルを利用してアップデートされる。
より具体的には、物体検出システム１００は、短期アップデートユニットをもって、第２類似度スコアのうち最大値を選択させる。選択された最大の第２類似度スコアが第２閾値以上である場合、物体検出システム１００は、短期アップデートユニットをもって、最大の第２類似度スコアに対応するターゲットデータベクトルを特定の短期アップデートベクトルを利用してアップデートさせる。その代わりに、最大の第２類似度スコアが第２閾値未満である場合、物体検出システム１００は、短期アップデートユニットをもって、特定の短期アップデートベクトルを特徴フィンガープリントデータベースに追加させる。
ターゲットデータベクトルが短期アップデートベクトルを利用してどのようにアップデートされるかについて以下に説明する。ターゲットデータベクトルがＮ個の対象成分を含み、特定の短期アップデートベクトルがＮ個のアップデート成分を含む場合、Ｋは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）であって、物体検出システム１００は、短期アップデートユニットをもって、第Ｋ対象成分がデータの未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、第Ｋ対象成分を第Ｋアップデート成分に代替させることができる。または、第Ｋ対象成分が第２記号に対応し、第Ｋアップデート成分が第１記号に対応する場合、物体検出システム１００は、短期アップデートユニットをもって、第Ｋ対象成分をそのまま保持させることができる。他の場合において、例えば、第Ｋ対象成分と第Ｋアップデート成分とがいずれも第２記号に対応する場合、物体検出システム１００は、短期アップデートユニットをもって、第Ｋ対象成分と第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）で第Ｋ対象成分をアップデートさせ、第Ｋ対象成分と第Ｋアップデート成分とがいすれも第１記号に対応する場合、物体検出システム１００は、短期アップデートユニットをもって、第Ｋ対象成分をそのまま保持することができる。
これを簡潔に説明すると、データベクトルのうち「なし」である構成成分が短期アップデートベクトルにおいて「なし」でない場合、当該データベクトルの構成成分は短期アップデートベクトルの値を有するようにアップデートされ得る。構成成分がいずれも「なし」でない場合、両構成成分の加重和を利用して当該構成成分をアップデートすることができる。短期アップデートが遂行されることによって新たなクラスの物体が検出され得、既存のクラスの物体に対する検出もやはり改善され得るが、これをさらに最適化するために長期アップデートを行う方法について検討することにする。
図４は、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムの長期アップデートを遂行するプロセスを簡略に示した図面である。
図４を参照すると、既知のイメージデータベース１４０に格納されたイメージを使用して、長期アップデートが遂行され得る。既知のイメージデータベース１４０には、短期アップデートで使用されていた様々なアップデートセットが存在し得る。長期アップデートのために、物体検出システム１００は、認識器１１０をもってアップデートセットを利用して少なくとも一つの長期アップデートベクトルを生成させることができる。この場合、長期アップデートベクトルは、短期アップデートベクトルと同じような方式で生成され得る。すなわち、それぞれの長期アップデートベクトルもやはり（ｉ）キーポイント検出器１１１に対応する値と（ｉｉ）イメージを含むクラス情報とを含むことができる。
このような長期アップデートベクトルは、同じクラスに対応するベクトルを統合する過程を経ることができる。すなわち、同じクラスに対応する各ベクトル間に、それぞれの構成成分が、相互の加重合によりアップデートされて統合され得る。例えば、特定クラスに対応する３つのベクトルがそれぞれ（１ａ、０、３ａ、０、５ａ）、（１ｂ、２ｂ、０、０、５ｂ）、（０、２ｃ、０、０、５ｃ）であるものと想定してみる。クラス情報に対する部分は省略しており、「なし」は０と表示されている。この場合、例示としてこれらの統合ベクトルは（（１ａ＋２ｂ）／２、（２ｂ＋２ｃ）／２、（３ａ）、０、（５ａ＋５ｂ＋５ｃ）／３）と計算され得る。クラスごとに統合されたベクトルが特徴フィンガープリントデータベース１２０に格納されるように、特徴フィンガープリントデータベース１２０をアップデートして特徴フィンガープリントデータベース１２０が最適化され得る。この際、同じクラス情報を有する長期アップデートベクトルの一部と予め設定された第３閾値より大きい長期アップデートベクトルとの間の第３類似度スコアが、アップデートプロセスを最適化するために統合されるように選択され得る。第３類似度スコアの算出方式は、第１及び第２類似度スコアの算出方式と同一または類似し得る。
その結果、特徴フィンガープリントデータベース１２０を最適化して新たに検出され得るクラスをアップデートすることによって、自律走行車両は安全に走行し得るであろう。
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (18)

  1. 学習されていないクラス（Ｕｎｔｒａｉｎｅｄ Ｃｌａｓｓ）を有する物体を検出するために物体検出システム（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｎｇ Ｓｙｓｔｅｍ）をリアルタイムにアップデートする方法において、
    （ａ）少なくとも一つの入力イメージ（Ｉｎｐｕｔ Ｉｍａｇｅ）が取得されると、前記物体検出システムが、これに含まれている認識器（Ｒｅｃｏｇｎｉｚｅｒ）をもって、前記入力イメージの特定の物体を含む特定ＲＯＩに対応する特定の特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させた後、前記特定の特徴マップを利用して前記特定の物体に対応する特定のクエリベクトル（Ｑｕｅｒｙ Ｖｅｃｔｏｒ）を生成させる段階；
    （ｂ）前記物体検出システムが、類似度判断ユニット（Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｒｍｉｎｉｎｇ Ｕｎｉｔ）をもって、（ｉ）前記特定のクエリベクトルを、前記物体検出システムに入力されるイメージの物体を検出するのに使用される少なくとも一つの特徴フィンガープリントデータベース（Ｆｅａｔｕｒｅ Ｆｉｎｇｅｒｐｒｉｎｔ ＤＢ）に含まれている少なくとも一つのデータベクトルと比較させて、前記特定のクエリベクトルとそれぞれの前記データベクトルとの間におけるそれぞれの少なくとも一つの第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）を算出させ、（ｉｉ）第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）のうち最大の特定の第１類似度スコアが予め設定された第１閾値未満である場合、前記特定ＲＯＩに対応する特定の部分イメージ（Ｐａｒｔｉａｌ Ｉｍａｇｅ）を、前記特徴フィンガープリントデータベースのアップデートに使用される未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）に追加させる段階；及び
    （ｃ）前記特定の部分イメージに対応する特定のクラス情報が取得されると、前記物体検出システムが、短期アップデートユニット（Ｓｈｏｒｔ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｕｎｉｔ）をもって、前記特定のクラス情報と、前記認識器により生成された前記特定の物体に対応する特定の成分ベクトル（Ｅｌｅｍｅｎｔ Ｖｅｃｔｏｒ）を利用して、前記特定の物体に対応する特定の短期アップデートベクトル（Ｓｈｏｒｔ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成させた後、これを利用して前記特定のフィンガープリントデータベースをアップデートさせる段階；
    を含むことを特徴とする方法。
  2. 前記（ｃ）段階で、
    前記物体検出システムが、前記短期アップデートユニットをもって、（ｉ）前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する特定のデータベクトルと前記特定の短期アップデートベクトルとの間におけるそれぞれの少なくとも一つの第２類似度スコアを算出させ、（ｉｉ）前記第２類似度スコアのうち最大値を選択させ、（ｉｉｉ）（ｉｉｉ−１）最大の第２類似度スコアが予め設定された第２閾値以上である場合、前記最大の第２類似度スコアに対応するターゲットデータベクトル（Ｔａｒｇｅｔ Ｄａｔａ Ｖｅｃｔｏｒ）を前記特定の短期アップデートベクトルを利用してアップデートさせ、（ｉｉｉ−２）前記最大の第２類似度スコアが前記第２閾値未満である場合、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させて前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする請求項１に記載の方法。
  3. 前記（ｃ）段階で、
    前記最大の第２類似度スコアが前記第２閾値以上である場合、前記物体検出システムは、（１）前記短期アップデートユニットをもって、前記ターゲットデータベクトルに含まれている第１対象成分ないし第Ｎ対象成分を含むそれぞれの対象成分を、前記特定の短期アップデートベクトルに含まれている第１アップデート成分ないし第Ｎアップデート成分を含むそれぞれのアップデート成分と比較させ、（２）前記短期アップデートユニットをもって、（ｉ）Ｋは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）であって、第Ｋ対象成分がデータ未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、前記第Ｋ対象成分を前記第Ｋアップデート成分に代替させ、（ｉｉ）前記第Ｋ対象成分が前記第２記号に対応し、前記第Ｋアップデート成分が前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させ、（ｉｉｉ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第２記号に対応する場合、前記第Ｋ対象成分と前記第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）で前記第Ｋ対象成分をアップデートさせ、（ｉｖ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させることを特徴とする請求項２に記載の方法。
  4. 前記（ｃ）段階で、
    前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する前記特定のデータベクトルが存在しない場合、前記物体検出システムは、前記短期アップデートユニットをもって、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させることを特徴とする請求項１に記載の方法。
  5. （ｄ）前記物体検出システムが、長期アップデートユニット（Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｕｎｉｔ）をもって、前記短期アップデートユニットにより使用された後、少なくとも一つの既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）に格納された、前記特定の部分イメージを含む少なくとも一つの部分イメージと、それに対応するクラス情報（前記クラス情報は前記物体検出システムに含まれている少なくとも一つの物体のクラスを表す）とに対応する少なくとも一つの長期アップデートベクトル（Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成させ、前記長期アップデートベクトルを利用して前記特徴フィンガープリントデータベースをさらにアップデートさせ、
    それぞれの前記長期アップデートベクトルが、それぞれの前記部分イメージと、それぞれの前記クラス情報を表す少なくとも一つの値を含むクラス部分（Ｃｌａｓｓ Ｐａｒｔ）とを利用して前記認識器により生成された少なくとも一つの値を含む参照部分（Ｒｅｆｅｒｅｎｃｅ Ｐａｒｔ）を含む段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  6. 前記（ｄ）段階で、
    前記物体検出システムが、前記長期アップデートユニットをもって、（ｉ）それぞれの前記長期アップデートベクトル間の少なくとも一つの第３類似度スコアを算出させ、（ｉｉ）少なくとも一つの統合長期アップデートベクトル（Ｉｎｔｅｇｒａｔｅｄ Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成するために互いに同一のクラス情報を有する前記長期アップデートベクトルの一部を併合し、前記統合長期アップデートベクトルと、併合されていない残余長期アップデートベクトル（Ｒｅｍａｉｎｉｎｇ Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）とを前記特徴フィンガープリントデータベースに追加することによって、前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする請求項５に記載の方法。
  7. 前記（ｂ）段階で、
    前記物体検出システムが、前記類似度判断ユニットをもって、
    前記数式によって前記第１類似度スコアのうち一つを算出させ、Ｑは前記特定のクエリベクトルであり、Ｄは前記データベクトルのうち一つであることを特徴とする請求項１に記載の方法。
  8. 前記（ａ）段階で、
    前記物体検出システムが、（ｉ）前記認識器に対応するＲＰＮをもって、前記入力イメージに含まれている前記特定ＲＯＩを検出させた後、（ｉｉ）前記認識器に対応する少なくとも一つのキーポイント検出器（Ｋｅｙｐｏｉｎｔ Ｄｅｔｅｃｔｏｒ）をもって、前記特定ＲＯＩに対応する前記特定の部分イメージ上の少なくとも一つのキー領域（Ｋｅｙ Ｒｅｇｉｏｎ）を検出させ、（ｉｉｉ）前記認識器に対応する特徴抽出器（Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｏｒ）をもって、前記特定の部分イメージを利用して前記特定の特徴マップを生成させた後、（ｉｖ）前記認識器をもって、前記特定の特徴マップ内の前記キー領域に対応する値を利用して前記特定のクエリベクトルを生成させることを特徴とする請求項１に記載の方法。
  9. 前記特徴抽出器は、少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）を有する少なくとも一つのコンボリューションレイヤを含み、それぞれの前記コンボリューションニューロンをもって、それ自体に入力された値に対して、前記コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって、前記特定の部分イメージから前記特定の特徴マップを抽出することを特徴とし、
    前記パラメータは、前記（ａ）段階以前に学習プロセスを経て決定されることを特徴とする請求項１に記載の方法。
  10. 学習されていないクラス（Ｕｎｔｒａｉｎｅｄ Ｃｌａｓｓ）を有する物体を検出するために物体検出システム（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｎｇ Ｓｙｓｔｅｍ）をリアルタイムにアップデートする物体検出システムにおいて、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）少なくとも一つの入力イメージ（Ｉｎｐｕｔ Ｉｍａｇｅ）が取得されると、前記物体検出システムに含まれている認識器（Ｒｅｃｏｇｎｉｚｅｒ）をもって、前記入力イメージの特定の物体を含む特定ＲＯＩに対応する特定の特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させた後、前記特定の特徴マップを利用して前記特定の物体に対応する特定のクエリベクトル（Ｑｕｅｒｙ Ｖｅｃｔｏｒ）を生成させるプロセス；（ＩＩ）類似度判断ユニット（Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｒｍｉｎｉｎｇ Ｕｎｉｔ）をもって、（ｉ）前記特定のクエリベクトルを、前記物体検出システムに入力されるイメージの物体を検出するのに使用される少なくとも一つの特徴フィンガープリントデータベース（Ｆｅａｔｕｒｅ Ｆｉｎｇｅｒｐｒｉｎｔ ＤＢ）に含まれている少なくとも一つのデータベクトルと比較させて、前記特定のクエリベクトルとそれぞれの前記データベクトルとの間におけるそれぞれの少なくとも一つの第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）を算出させ、（ｉｉ）第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）のうち最大の特定の第１類似度スコアが予め設定された第１閾値未満である場合、前記特定ＲＯＩに対応する特定の部分イメージ（Ｐａｒｔｉａｌ Ｉｍａｇｅ）を、前記特徴フィンガープリントデータベースのアップデートに使用される未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）に追加させるプロセス；及び（ＩＩＩ）前記特定の部分イメージに対応する特定のクラス情報が取得されると、短期アップデートユニット（Ｓｈｏｒｔ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｕｎｉｔ）をもって、前記特定のクラス情報と、前記認識器により生成された前記特定の物体に対応する特定の成分ベクトル（Ｅｌｅｍｅｎｔ Ｖｅｃｔｏｒ）とを利用して、前記特定の物体に対応する特定の短期アップデートベクトル（Ｓｈｏｒｔ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成させた後、これを利用して前記特徴フィンガープリントデータベースをアップデートさせるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする物体検出システム。
  11. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記短期アップデートユニットをもって、（ｉ）前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する特定のデータベクトルと、前記特定の短期アップデートベクトルとの間におけるそれぞれの少なくとも一つの第２類似度スコアを算出させ、（ｉｉ）前記第２類似度スコアのうち最大値を選択させ、（ｉｉｉ）（ｉｉｉ−１）最大の第２類似度スコアが予め設定された第２閾値以上である場合、前記最大の第２類似度スコアに対応するターゲットデータベクトル（Ｔａｒｇｅｔ Ｄａｔａ Ｖｅｃｔｏｒ）を前記特定の短期アップデートベクトルを利用してアップデートさせ、（ｉｉｉ−２）前記最大の第２類似度スコアが前記第２閾値未満である場合、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させて前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする請求項１０に記載の物体検出システム。
  12. 前記（ＩＩＩ）プロセスで、
    前記最大の第２類似度スコアが前記第２閾値以上である場合、前記プロセスが、（Ｉ）前記短期アップデートユニットをもって、前記ターゲットデータベクトルに含まれている第１対象成分ないし第Ｎ対象成分を含むそれぞれの対象成分を、前記特定の短期アップデートベクトルに含まれている第１アップデート成分ないし第Ｎアップデート成分を含むそれぞれのアップデート成分と比較させ、（ＩＩ）前記短期アップデートユニットをもって、（ｉ）Ｋは１以上Ｎ以下の整数であって、第Ｋ対象成分がデータ未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、前記第Ｋ対象成分を前記第Ｋアップデート成分に代替させ、（ｉｉ）前記第Ｋ対象成分が前記第２記号に対応し、前記第Ｋアップデート成分が前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させ、（ｉｉｉ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第２記号に対応する場合、前記第Ｋ対象成分と前記第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）で前記第Ｋ対象成分をアップデートさせ、（ｉｖ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させることを特徴とする請求項１０に記載の物体検出システム。
  13. 前記（ＩＩＩ）プロセスで、
    前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する前記特定のデータベクトルが存在しない場合、前記プロセッサが、前記短期アップデートユニットをもって、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させることを特徴とする請求項１０に記載の物体検出システム。
  14. 前記プロセッサが、
    （ＩＶ）長期アップデートユニット（Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｕｎｉｔ）をもって、前記短期アップデートユニットにより使用された後、少なくとも一つの既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ ＤＢ）に格納された、前記特定の部分イメージを含む少なくとも一つの部分イメージと、それに対応するクラス情報（前記クラス情報は前記物体検出システムに含まれている少なくとも一つの物体のクラスを表す）とに対応する少なくとも一つの長期アップデートベクトル（Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成させ、前記長期アップデートベクトルを利用して前記特徴フィンガープリントデータベースをさらにアップデートさせ、
    それぞれの前記長期アップデートベクトルが、それぞれの前記部分イメージと、それぞれの前記クラス情報を表す少なくとも一つの値を含むクラス部分（Ｃｌａｓｓ Ｐａｒｔ）とを利用して前記認識器により生成された少なくとも一つの値を含む参照部分（Ｒｅｆｅｒｅｎｃｅ Ｐａｒｔ）を含むプロセス；
    をさらに遂行することを特徴とする請求項１０に記載の物体検出システム。
  15. 前記（ＩＶ）プロセスで、
    前記プロセッサが、前記長期アップデートユニットをもって、（ｉ）それぞれの前記長期アップデートベクトル間の少なくとも一つの第３類似度スコアを算出させ、（ｉｉ）少なくとも一つの統合長期アップデートベクトル（Ｉｎｔｅｇｒａｔｅｄ Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）を生成するために互いに同一のクラス情報を有する前記長期アップデートベクトルの一部を併合し、前記統合長期アップデートベクトルと、併合されていない残余長期アップデートベクトル（Ｒｅｍａｉｎｉｎｇ Ｌｏｎｇ−Ｔｅｒｍ Ｕｐｄａｔｅ Ｖｅｃｔｏｒ）とを前記特徴フィンガープリントデータベースに追加することによって、前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする請求項１４に記載の物体検出システム。
  16. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記類似度判断ユニットをもって、
    前記数式によって前記第１類似度スコアのうち一つを算出させ、Ｑは前記特定のクエリベクトルであり、Ｄは前記データベクトルのうち一つであることを特徴とする請求項１０に記載の物体検出システム。
  17. 前記（Ｉ）プロセスで、
    前記プロセッサが、（ｉ）前記認識器に対応するＲＰＮをもって、前記入力イメージに含まれている前記特定ＲＯＩを検出させた後、（ｉｉ）前記認識器に対応する少なくとも一つのキーポイント検出器（Ｋｅｙｐｏｉｎｔ Ｄｅｔｅｃｔｏｒ）をもって、前記特定ＲＯＩに対応する前記特定の部分イメージ上の少なくとも一つのキー領域（Ｋｅｙ Ｒｅｇｉｏｎ）を検出させ、（ｉｉｉ）前記認識器に対応する特徴抽出器（Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｏｒ）をもって、前記特定の部分イメージを利用して前記特定の特徴マップを生成させた後、（ｉｖ）前記認識器をもって、前記特定の特徴マップ内の前記キー領域に対応する値を利用して前記特定のクエリベクトルを生成させることを特徴とする請求項１０に記載の物体検出システム。
  18. 前記特徴抽出器は、少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）を有する少なくとも一つのコンボリューションレイヤを含み、それぞれの前記コンボリューションニューロンをもって、それ自体に入力された値に対して、前記コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって前記特定の部分イメージから前記特定の特徴マップを抽出することを特徴とし、
    前記パラメータは、前記（Ｉ）プロセス以前に学習プロセスを経て決定されることを特徴とする請求項１０に記載の物体検出システム。
JP2020007176A 2019-01-30 2020-01-20 連続学習を利用して検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法及びこれを利用した装置 Active JP6962605B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798761P 2019-01-30 2019-01-30
US62/798,761 2019-01-30
US16/723,652 US10621473B1 (en) 2019-01-30 2019-12-20 Method for providing object detecting system capable of updating types of detectable classes in real-time by using continual learning and devices using the same
US16/723,652 2019-12-20

Publications (2)

Publication Number Publication Date
JP2020123340A true JP2020123340A (ja) 2020-08-13
JP6962605B2 JP6962605B2 (ja) 2021-11-05

Family

ID=70223677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020007176A Active JP6962605B2 (ja) 2019-01-30 2020-01-20 連続学習を利用して検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法及びこれを利用した装置

Country Status (5)

Country Link
US (1) US10621473B1 (ja)
EP (1) EP3690710A1 (ja)
JP (1) JP6962605B2 (ja)
KR (1) KR102349927B1 (ja)
CN (1) CN111507164B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7552287B2 (ja) 2020-11-25 2024-09-18 セイコーエプソン株式会社 物体検出方法、物体検出装置、及び、コンピュータープログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102672010B1 (ko) * 2020-12-29 2024-06-04 고려대학교 산학협력단 인공지능을 이용한 안면부 골절 판독 장치 및 방법
KR102637170B1 (ko) * 2021-03-16 2024-02-14 현대모비스 주식회사 설명가능 ai 기반 불량검출 장치 및 방법
CN113609323B (zh) * 2021-07-20 2024-04-23 上海德衡数据科技有限公司 基于神经网络的图像降维方法及系统
CN113297411B (zh) * 2021-07-26 2021-11-09 深圳市信润富联数字科技有限公司 轮形图谱相似性的度量方法、装置、设备及存储介质
KR20230029258A (ko) 2021-08-24 2023-03-03 한국과학기술연구원 다중 카메라에서 대상 객체를 추적하기 위한 질의 정보를 업데이트하는 방법 및 이를 수행하는 다중 카메라 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120134576A1 (en) * 2010-11-26 2012-05-31 Sharma Avinash Automatic recognition of images
US8532400B1 (en) * 2009-12-07 2013-09-10 Google Inc. Scene classification for place recognition
JP2018528525A (ja) * 2015-08-04 2018-09-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 未知クラスの検出および未知クラスのための分類器の初期化

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4426436B2 (ja) * 2004-12-27 2010-03-03 株式会社日立製作所 車両検知装置
US7840060B2 (en) * 2006-06-12 2010-11-23 D&S Consultants, Inc. System and method for machine learning using a similarity inverse matrix
JP4594945B2 (ja) * 2007-02-13 2010-12-08 株式会社東芝 人物検索装置および人物検索方法
TW200842733A (en) * 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
US8533162B2 (en) * 2009-08-18 2013-09-10 Osaka Prefecture University Public Corporation Method for detecting object
JP5385759B2 (ja) * 2009-10-30 2014-01-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP5554987B2 (ja) * 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法
KR101180471B1 (ko) * 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP6161271B2 (ja) * 2011-12-22 2017-07-12 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
JP2015121874A (ja) * 2013-12-20 2015-07-02 富士通株式会社 生体認証装置、照合用データ検証方法及び照合用データ検証用コンピュータプログラム
JP6427973B2 (ja) * 2014-06-12 2018-11-28 オムロン株式会社 画像認識装置及び画像認識装置への特徴量データ登録方法
US9767385B2 (en) * 2014-08-12 2017-09-19 Siemens Healthcare Gmbh Multi-layer aggregation for object detection
WO2016054778A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Generic object detection in images
US9996768B2 (en) * 2014-11-19 2018-06-12 Adobe Systems Incorporated Neural network patch aggregation and statistics
US20170177712A1 (en) * 2015-12-21 2017-06-22 Ebay Inc. Single step cross-linguistic search using semantic meaning vectors
US10289478B2 (en) * 2016-04-26 2019-05-14 Nec Corporation System fault diagnosis via efficient temporal and dynamic historical fingerprint retrieval
US10303977B2 (en) * 2016-06-28 2019-05-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN106326927B (zh) * 2016-08-24 2019-06-04 大连海事大学 一种鞋印新类别检测方法
US10223612B2 (en) * 2016-09-01 2019-03-05 Microsoft Technology Licensing, Llc Frame aggregation network for scalable video face recognition
WO2018079031A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
CN106960214B (zh) * 2017-02-17 2020-11-20 北京一维弦科技有限责任公司 基于图像的物体识别方法
US10394881B2 (en) * 2017-03-31 2019-08-27 Google Llc Automatic suggestions to share images
CN108875491B (zh) * 2017-10-11 2021-03-23 北京旷视科技有限公司 人脸解锁认证的数据更新方法、认证设备和系统以及非易失性存储介质
US11295140B2 (en) * 2018-03-14 2022-04-05 Comcast Cable Communications, Llc Methods and systems for determining object activity within a region of interest
CN110633604B (zh) * 2018-06-25 2023-04-25 富士通株式会社 信息处理方法和信息处理装置
US10452959B1 (en) * 2018-07-20 2019-10-22 Synapse Tehnology Corporation Multi-perspective detection of objects
US11080542B2 (en) * 2018-07-27 2021-08-03 International Business Machines Corporation Sparse region-of-interest pooling for object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532400B1 (en) * 2009-12-07 2013-09-10 Google Inc. Scene classification for place recognition
US20120134576A1 (en) * 2010-11-26 2012-05-31 Sharma Avinash Automatic recognition of images
JP2018528525A (ja) * 2015-08-04 2018-09-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 未知クラスの検出および未知クラスのための分類器の初期化

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7552287B2 (ja) 2020-11-25 2024-09-18 セイコーエプソン株式会社 物体検出方法、物体検出装置、及び、コンピュータープログラム

Also Published As

Publication number Publication date
EP3690710A1 (en) 2020-08-05
US10621473B1 (en) 2020-04-14
KR102349927B1 (ko) 2022-01-12
CN111507164B (zh) 2023-11-07
JP6962605B2 (ja) 2021-11-05
CN111507164A (zh) 2020-08-07
KR20200094640A (ko) 2020-08-07

Similar Documents

Publication Publication Date Title
JP2020123340A (ja) 連続学習を利用して検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法及びこれを利用した装置
Nguyen et al. Help, anna! visual navigation with natural multimodal assistance via retrospective curiosity-encouraging imitation learning
Sadeghian et al. Sophie: An attentive gan for predicting paths compliant to social and physical constraints
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN111489403B (zh) 利用gan来生成虚拟特征图的方法及装置
US10628688B1 (en) Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频系统
CN111507150B (zh) 利用基于深度神经网络的多重图像块组合识别人脸的方法
JP2020126614A (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
Malbog MASK R-CNN for pedestrian crosswalk detection and instance segmentation
EP3686791B1 (en) Learning method and learning device for object detector based on cnn to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
EP3690725A1 (en) Method and device for seamless parameter switch by using location-specific algorithm selection to achieve optimized autonomous driving in each of regions
JP2020038660A (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
CN112231034A (zh) 结合rpa和ai的软件界面元素的识别方法与装置
EP3623991B1 (en) Learning method, learning device for detecting lanes on the basis of cnn and testing method, testing device using the same
CN111507151A (zh) 使得能够评价自动行驶客体检测过程的支援方法及装置
CN115527083A (zh) 图像标注方法、装置和电子设备
CN113670310B (zh) 视觉语音导航方法、装置、设备及存储介质
CN115187614A (zh) 一种基于stdc语义分割网络的实时同时定位与建图方法
Zhou et al. Tracking of drone flight by neural network Siamese-RPN
Gaspar et al. Limit characterization for visual place recognition in underwater scenes
Li et al. A fast detection method for polynomial fitting lane with self-attention module added
Sadler et al. Yes, this Way! Learning to Ground Referring Expressions into Actions with Intra-episodic Feedback from Supportive Teachers
Khachaturov et al. Applying spatio-temporal analysis to angle-distance views for detection of relevant events
Arfa et al. A dissimilarity measure estimation for analyzing trajectory data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211007

R150 Certificate of patent or registration of utility model

Ref document number: 6962605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250