JP2020042816A - 物体検出方法、装置、機器、記憶媒体及び車両 - Google Patents

物体検出方法、装置、機器、記憶媒体及び車両 Download PDF

Info

Publication number
JP2020042816A
JP2020042816A JP2019163303A JP2019163303A JP2020042816A JP 2020042816 A JP2020042816 A JP 2020042816A JP 2019163303 A JP2019163303 A JP 2019163303A JP 2019163303 A JP2019163303 A JP 2019163303A JP 2020042816 A JP2020042816 A JP 2020042816A
Authority
JP
Japan
Prior art keywords
scene
point cloud
image
description feature
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019163303A
Other languages
English (en)
Other versions
JP6842520B2 (ja
Inventor
シエ，ユァンファン
Yuanfan Xie
イァン，ヅシュー
Zishu Yang
ワン，リァン
Liang Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020042816A publication Critical patent/JP2020042816A/ja
Application granted granted Critical
Publication of JP6842520B2 publication Critical patent/JP6842520B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】物体検出方法、装置、機器、記憶媒体及び車両を提供する。【解決手段】物体検出方法は、予めトレーニングして取得された点群特徴抽出モデルにシーン点群データを入力してシーンの点群記述特徴を取得し、予めトレーニングして取得された画像特徴抽出モデルにシーン画像データを入力してシーンの画像記述特徴を取得するステップと、シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力して、各目標領域に位置する物体の検出結果を取得するステップと、を含む。【効果】既存のポストフュージョンマルチセンサ検出方案を比較して、当該方案は特徴の前融合マルチセンサ検出方案に相当し、適用規則及び確率を融合の基礎としてデータを関連する必要がなく、物体を検出する同時に、検出プロセスを簡略化する。【選択図】図２Ａ

Description

本発明の実施例は、センサ技術分野に関し、特に物体検出方法、装置、機器、記憶媒体及び車両に関する。
センサ技術の発展と伴い、複数のセンサを同時に使用して同一の物体又は環境などを検出し、複数のセンサの検出データを融合処理して取得された検出結果は、単一のセンサが同一の物体又は環境などを検出する結果に比べてより全面的かつ正確である。したがってマルチセンサフュージョン検出は、物体検出又はターゲット追跡などの分野で多く利用されている。
現在、マルチセンサフュージョン検出方案に主に使用されているのは、ポストフュージョンマルチセンサ検出方案である。一つの典型的なポストフュージョン処理プロセスは、図１に示す結果融合に相当し、センサ１とセンサ２はそれぞれのセンサデータを二つの異なる検出器に送信して、第１のオブジェクト特徴と第２のオブジェクト特徴を取得し、第１のオブジェクト特徴と第２のオブジェクト特徴に対して事後確率を最大化する方式によって融合してオブジェクト特徴を取得する。
しかし、既存のポストフュージョンマルチセンサ検出方案は、規則及び確率を融合の基礎としてデータを関連する必要があり、一方ではプロセスが長く、より高い遅延を引き起こし、他方ではデータ駆動を使用してすべての融合システムを最適化することができない。したがって、新しいマルチセンサフュージョン方案を提供して物体検出を実現することは非常に必要である。
本発明の実施例は、物体検出方法、装置、機器、記憶媒体及び車両を提供して、物体検出を実現する同時に、検出プロセスを簡略化する。
第１の側面において、本発明の実施例は、物体検出方法を提供し、当該物体検出方法は、予めトレーニングして取得された点群特徴抽出モデルにシーン点群データを入力してシーンの点群記述特徴を取得し、予めトレーニングして取得された画像特徴抽出モデルにシーン画像データを入力してシーンの画像記述特徴を取得するステップと、シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力して、各目標領域に位置する物体の検出結果を取得するステップと、を含む。
第２の側面において、本発明の実施例は、物体検出装置をさらに提供し、当該装置は、予めトレーニングして取得された点群特徴抽出モデルにシーン点群データを入力してシーンの点群記述特徴を取得し、予めトレーニングして取得された画像特徴抽出モデルにシーン画像データを入力してシーンの画像記述特徴を取得するための記述特徴取得モジュールと、シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力するための物体検出入力モジュールと、各目標領域に位置する物体の検出結果を取得するための検出結果取得モジュールと、を含む。
第３の側面において、本発明の実施例は、機器をさらに提供し、当該機器は、一つ又は複数のプロセッサと、一つ又は複数のプログラムを記憶するための記憶装置と、を含み、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、第１の側面のいずれかに記載の物体検出方法を実現する。
第４の側面において、本発明の実施例は、コンピュータプログラムが記憶されている記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、第１の側面のいずれかに記載の物体検出方法が実現される。
第５の側面において、本発明の実施例は、車体を含む車両を提供し、前記車体上には、本発明の任意の実施例により提供される機器、及び前記機器と通信可能に接続されるレーザレーダと画像収集器とが設けられる。
本発明の実施例により提供される物体検出方法、装置、機器、記憶媒体及び車両は、シーン点群データとシーン画像データを予めトレーニングされた点群特徴抽出モデルと画像特徴抽出モデルにそれぞれ入力して取得されたシーンの点群記述特徴と画像の記述特徴を目標領域単位で物体認識モデルに入力して、各目標領域に位置する物体の検出結果を取得することができる。既存のポストフュージョンマルチセンサ検出方案を比較して、当該方案は特徴の前融合マルチセンサ検出方案に相当し、適用規則及び確率を融合の基礎としてデータを関連する必要がなく、物体を検出する同時に、検出プロセスを簡略化する。
本発明の実施例における技術案を更に明確にするように説明するため、以下に、実施例に用いられる図面を簡単に説明する。以下の説明に関わる図面は、本発明の幾つかの実施例に過ぎなく、当業者にとって、創造性な労働をしないことを前提として、これらの図面に基づいて他の図面を取得できることは、理解されることができる。
従来技術によって提供される典型的な後処理プロセスの概略図である。 本発明の実施例１における物体検出方法の概略図である。 本発明の実施例に適用される物体検出プロセスの概略図である。 本発明の実施例に適用される三つのモデルを同期にトレーニングするプロセスの概略図である。 本発明の実施例２における物体検出方法のフローチャートである。 本発明の実施例３における物体検出装置の概略構成図である。 本発明の実施例４における機器の概略構成図である。
以下、図面と実施例とを組み合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分だけが示されている。
類似した符号と文字は、以下の図において類似している項目を示すため、一旦、ある項目が一つの図で定義されると、その後の図には、さらに定義して説明する必要がない。本願の説明において、「第１」、「第２」などの用語は、単に目的を説明するためのものであり、比較的な重要性を指示又は暗示すると理解してはいけない。
実施例１
図２Ａは、本発明の実施例１により提供される物体検出方法のフローチャートであり、図２Ｂは、本発明の実施例に適用される物体検出プロセスの概略図であり、本実施例は、シーンに含まれる物体を検出する任意の状況に適用し、検出プロセスを簡略化することができる。当該方法は、本発明の実施例における物体検出装置によって実行されることができ、当該装置、ソフトウェア及び/又はハードウェアの方式を使用して実現することができ、当該装置は、独立の物理的な機器であってもよいし、端末（例えば、自動運転式モバイルキャリアの制御フレームワーク）に配置されてもよい。図２Ａと２Ｂに示すように、当該方法は、具体的には、以下のステップを含む。
ステップＳ２１０：予めトレーニングして取得された点群特徴抽出モデルにシーン点群データを入力してシーンの点群記述特徴を取得し、予めトレーニングして取得された画像特徴抽出モデルにシーン画像データを入力してシーンの画像記述特徴を取得する。
点群データは、１セットの３次元座標を含む点によって構成される点の集合を指し、物体の外表面形状を特徴付けるために用いられる。その中、各点の３次元空間の幾何学的位置情報は（ｘ、ｙ、ｚ）で表示することができ、これ以外の点群データは、一つの点のＲＧＢ色、グレー値、深度、セグメンテーション結果などをさらに表示することができる。画像データは、２次元座標系を含む点によって構成された集合を指し、数値で表示する各画素のグレー値の集合でもある。本実施例では、レーザレーダと画像収集器（例えば、カメラなど）を使用して、あるシーンを同期的に収集し、当該シーン点群データとシーン画像データを取得する。
点群記述特徴は、シーン点群データによって構築された３次元シーン点群モデルの特徴を記述するものであり、シーンにおける物体の特徴であってもよい。画像記述特徴は、シーン画像データによって構築された２次元シーン画像モデルの特徴を記述するものであり指し、シーンにおける物体の特徴であってもよい。点群記述特徴と画像記述特徴の両者が記述することは、同じ物体の異なる次元の特徴であってもよく、異なる物体の特徴などであってもよい。
点群特徴抽出モデルと画像特徴抽出モデルは、いずれも事前に畳み込みニューラルネットワークをトレーニングして取得し、具体的な実現は、図２Ｃに示す方式によって実現することができる。即ち、事前にレーザレーダと画像収集器を使用してサンプルシーンを収集してサンプル点群データとサンプル画像データを取得し、サンプル点群データを第１の畳み込みニューラルネットワークモデルに入力してサンプル点群記述特徴を取得し、サンプル画像データを第２の畳み込みニューラルネットワークモデルに入力してサンプル画像記述特徴を取得する。次に、レーザレーダ座標系内では、予め設定されたサイズの物体枠を均等に配置することによってサンプル点群データを各領域に分割し、サンプル点群データにおける各領域をトラバースし、各領域に含まれるサンプル点群記述特徴及び各領域サンプル点群記述特徴に対応するサンプル画像記述特徴を第３の畳み込みニューラルネットワークモデルに入力し、サンプル点群データにおける各領域の物体ラベリング結果に基づいて、第３の畳み込みニューラルネットワークモデルが物体の分類、位置及向きなどの検出結果を正確に検出するまでに、同時に三つの畳み込みニューラルネットワークモデルをトレーニングした場合、点群特徴抽出モデル、画像特徴抽出モデル及び物体認識モデルを取得することができる。その中、第１の畳み込みニューラルネットワークモデルは、点群特徴抽出モデルに対応し、第２の畳み込みニューラルネットワークモデルは、画像特徴抽出モデルに対応し、第３の畳み込みニューラルネットワークモデルは、物体認識モデルに対応する。
なお、本実施例では、サンプル点群データ、サンプル画像データとサンプル点群データにおける各領域の物体ラベリング結果を三つの畳み込みニューラルネットワークモデルに同時に入力して同時にトレーニングし、前の二つのモデルの出力結果に注目する必要がなく、最終的に第３のモデルが検出結果を正確に出力することができれば、トレーニングを停止し、各モデル毎にトレーニングすることに比べれば、トレーニングの複雑さを下げる。
具体的には、それぞれにレーザレーダと画像収集器を同期させてシーンに対して収集されたシーン点群データとシーン画像データを予めトレーニングされた点群特徴抽出モデルと画像特徴抽出モデルに入力して、当該シーンの点群記述特徴と画像記述特徴を取得することができる。
ステップＳ２２０：シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力して、各目標領域に位置する物体の検出結果を取得する。
目標領域は、シーンにおける物体が存在する領域を指す。以下の方式によって取得することができる。点群特徴抽出モデルと画像特徴抽出モデルに基づいて点群記述特徴と画像記述特徴を取得した後、カメラ座標系内などのレーザレーダ座標系又は画像収集器内で、予め設定されたサイズの物体枠を均等に配置することによってシーン点群データ又はシーン画像データを各領域に分割し、ｂｌｏｂ検出などのような簡単な検出モデルを使用して各領域の点群記述特徴又は画像記述特徴を検出して、シーンに含まれる各物体を取得し、各物体が存在する領域を一つの目標領域とする。また、認識領域の数を減らすために、カメラ座標系内などのレーザレーダ座標系又は画像収集器内で、実験の経験によって潜在的な位置だけに一部の物体枠を配置することもでき、ｂｌｏｂ検出などのような簡単な検出モデルを使用して各物体枠内の点群記述特徴又は画像記述特徴を検出して、物体がないもの又は予め設定された条件を満たさない物体枠を除去し、シーンに含まれる各物体を取得し、各物体が存在する物体枠を一つの目標領域とする。その中、予め設定された条件は、予め設置された物体枠を前処理するための方式を指し、物体枠内の物体のサイズ又は物体によって占められる画素の点数が予め設定された数値より小さいことを意味してもよく、物体枠内の物体をノイズなどとして扱うこともできる。
本実施例では、物体認識モデルは、図２Ｃに示す方式で、第３の畳み込みニューラルネットワークモデルによってトレーニングして取得することができる。畳み込みニューラルネットワークの基本構造は、二つの特殊なニューロン層を含み、一つは畳み込み層であり、各ニューロンの入力は前の層の局所と接続され、当該局所の特徴を抽出する。もう一つはプーリング層プーリング層であり、局所感度を求め、２次特徴を抽出するための計算層である。この二つの特徴抽出構造は特徴解像度を低下し、最適化する必要があるパラメータ数を減らす。
畳み込み層におけるニューロンは入力データの一つの局所領域のみに接続するため、畳み込み列でニューロン共享パラメータを実現することができる。畳み込みニューラルネットワークのトレーニング速度を改善し、度冗長性を削減らすために、本実施例における第３の畳み込みニューラルネットワークモデルは畳み込みニューラルネットワークにおける完全な接続層を畳み込み層に変換し、即ち第３の畳み込みニューラルネットワークモデルをプーリング層と畳み込み層のみを含む完全な畳み込みニューラルネットワークモデルに変換する。したがって、物体認識モデルは、完全な畳み込みニューラルネットワークに基づいてトレーニングして取得されることができる。
物体の検出結果は、物体認識モデルの出力結果であり、人、樹木、車などなような物体の種別であってもよいし、物体の位置、サイズ又は向きなどであってもよい。なお、必要に応じて物体認識モデルに複数の出力層を設置することができ、各出力層は異なる損失関数に対応して、異なる検出結果を実現することができ、同一の物体は、異なる種類の検出結果を出力することができる。
具体的には、点群特徴抽出モデルと画像特徴抽出モデルに基づいて点群記述特徴と画像記述特徴を取得した後、シーンにおける各目標領域の点群記述特徴と画像記述特徴を物体認識モデルに入力し、モデルはモデルの既存のパラメータを組み合わせて、各目標領域に含まれる物体の検出結果を出力することができる。
なお、本実施例では、三つのモデルのうち最初の二つのモデル、すなわち点群特徴抽出モデルと画像特徴抽出モデルの記述特徴を融合した後、第３のモデル、すなわち物体認識モデルに入力して、第３のモデルで融合特徴をトレーニングして物体の検出結果を取得することは、既存のポストフュージョンマルチセンサ検出方案を比較して、本実施例は特徴の前融合マルチセンサ検出方案に相当し、適用規則及び確率を融合の基礎としてデータを関連する必要がなく、検出プロセスを簡略化する。
本発明の実施例により提供される技術案は、シーン点群データとシーン画像データを予めトレーニングされた点群特徴抽出モデルと画像特徴抽出モデルにそれぞれ入力して取得されたシーン点群記述特徴と画像記述特徴を目標領域単位で物体認識モデルに入力して、各目標領域に位置する物体の検出結果を取得することができる。既存のポストフュージョンマルチセンサ検出方案を比較して、当該方案は特徴の前融合マルチセンサ検出方案に相当し、適用規則及び確率を融合の基礎としてデータを関連する必要がなく、物体を検出する同時に、検出プロセスを簡略化する。
実施例２
図３は、本発明の実施例２における物体検出方法のフローチャートである。本実施例は、上記の実施例に基づいて、シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力することについて、さらに説明する。図３に示すように、本実施例の方法は、具体的には、以下のステップを含む。
ステップＳ３１０：予めトレーニングして取得された点群特徴抽出モデルにシーン点群データを入力してシーンの点群記述特徴を取得し、予めトレーニングして取得された画像特徴抽出モデルにシーン画像データを入力してシーンの画像記述特徴を取得する。
ステップＳ３２０：シーンにおける各領域の点群記述特徴又は画像記述特徴を認識して、シーンに含まれる各候補物体を取得し、候補物体が存在する領域を目標領域とする。
その中、候補物体はシーンに含まれる目標である可能性がある物体を指す。
具体的には、レーザレーダ座標系内では、予め設定されたサイズの物体枠を均等に配置することによってシーン点群データを各領域に分割し、各領域をトラバースした点群記述特徴は、ｂｌｏｂ検出などのような簡単な検出モデルを使用して各領域の点群記述特徴を認識して、シーンに含まれる各候補物体を取得し、各候補物体が存在する領域を一つの目標領域とする。選択可能に、目標領域の数は候補物体の数と等しく、一つの候補物体は一つの目標領域に対応することができる。さらに、各目標領域を区別することを便利にするために、昇順の番号つけ方式を使用して各目標領域に番号を付けることもできる。
ステップＳ３３０：レーザレーダと画像収集器のパラメータに基づいて各点群目標領域をシーン画像に投影して、各点群目標領域に関連する各画像目標領域を決定する。
パラメータは、位置・姿勢（位置と角度）などを含むことができる。目標領域がレーザレーダ座標系に有することを点群目標領域と呼び、これに対応して、目標領域がカメラ座標系などの画像収集器に有することを画像目標領域と呼ぶ。選択可能に、各点群目標領域は、それに対応する唯一の画像目標領域を有する。
具体的には、レーザレーダと画像収集器のパラメータに基づいて両者の間の相対的な位置・姿勢を決定することができ、各点群目標領域について、当該相対的な位置・姿勢に基づいて点群目標領域をシーン画像に投影し、シーン画像における投影領域を当該点群目標領域に関連する画像目標領域として決定することができる。
ステップＳ３４０：各点群目標領域の点群記述特徴及び関連される各画像目標領域の画像記述特徴を物体認識モデルに入力して、各目標領域に位置する物体の検出結果を取得する。
具体的には、各点群目標領域に関連する各画像目標領域を決定した後、各点群目標領域の点群記述特徴、関連される各画像目標領域の画像記述特徴、及び各点群目標領域を物体認識モデルに入力し、物体認識モデルは各目標領域における物体の検出結果を出力することができる。
なお、必要に応じて物体認識モデルに複数の出力層を設置することができ、各出力層は異なる損失関数に対応して、異なる検出結果を実現することができる。
具体的には、設置された物体認識モデルにおける損失関数が分類に関する損失関数である場合、物体認識モデルは物体の種別を出力する。例示的に、各目標領域に位置する物体の検出結果を取得することは、各目標領域に位置する物体の種別を決定するステップを含むことができる。その中、物体の種別は、家屋類、人物類、植物類又は車両類などの物体が帰属する分類を指す。選択可能に、異なるシーンに対応する物体が異なる場合、決定される物体の種別は異なり、同じのシーン、異なる物体に対応する種別は、同じであってもよいし、異なってもよい。例えば、目標領域１に含まれる物体は自動車であり、目標領域２に含まれる物体は電気自動車であるが、物体認識モデルによって出力される目標領域１と目標領域２の種別はいずれも車両類である。
設置された物体認識モデルにおける損失関数が物体の正確な位置と向きなどを回帰に関する損失関数である場合、物体認識モデルは、物体の位置、向き及サイズなどを出力する。例示的に、各目標領域に位置する物体の検出結果を取得することは、物体認識モデルによって物体の位置を修正することと、物体認識モデルによって物体の向き及び／又はサイズを決定することとを含むことができる。その中、物体の向きは、物体の方位又は角度情報を指し、物体のサイズは、長さ、幅、高さなどの物体の実際のサイズである。
具体的には、各点群目標領域の点群記述特徴、関連される各画像目標領域の画像記述特徴、及び各点群目標領域を物体認識モデルに入力することができ、物体認識モデルでは反復最近接点アルゴリズム（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔｓ、ＩＣＰ）に類似したのを使用してオフライン登録（ｏｆｆｌｉｎｅ ｒｅｇｉｓｔｒａｔｉｏｎ）を行って、目標領域における物体の位置を修正することができるため、物体の実際の座標情報を取得する。同時に、物体の現在の向きと物体のサイズなどのうちの少なくとも一つを出力することもできる。
本発明の実施例により提供される技術案は、シーン点群データとシーン画像データを予めトレーニングされた点群特徴抽出モデルと画像特徴抽出モデルにそれぞれ入力して取得されたシーン点群記述特徴と画像記述特徴を目標領域単位で物体認識モデルに入力して、各目標領域に位置する物体の検出結果を取得することができる。既存のポストフュージョンマルチセンサ検出方案を比較して、当該方案は特徴の前融合マルチセンサ検出方案に相当し、適用規則及び確率を融合の基礎としてデータを関連する必要がなく、物体を検出する同時に、検出プロセスを簡略化する。
実施例３
図４は、本発明の実施例３における物体検出装置の概略構成図である。当該装置は、本発明の任意の実施例により提供される物体検出方法を実行することができ、方法に対応する機能を実行するモジュールと有益な効果を備える。図４に示すように、当該装置は、具体的には、記述特徴取得モジュール４１０と、３次元物体検出入力モジュール４２０と、検出結果取得モジュール４３０と、を含む。
その中、記述特徴取得モジュール４１０は、予めトレーニングして取得された点群特徴抽出モデルにシーン点群データを入力してシーンの点群記述特徴を取得し、予めトレーニングして取得された画像特徴抽出モデルにシーン画像データを入力してシーンの画像記述特徴を取得するために用いられる。
物体検出入力モジュール４２０は、シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力するために用いられる。
検出結果取得モジュール４３０は、各目標領域に位置する物体の検出結果を取得するために用いられる。
本発明の実施例により提供される技術案は、シーン点群データとシーン画像データを予めトレーニングされた点群特徴抽出モデルと画像特徴抽出モデルにそれぞれ入力して取得されたシーン点群記述特徴と画像記述特徴を目標領域単位で物体認識モデルに入力して、各目標領域に位置する物体の検出結果を取得することができる。既存のポストフュージョンマルチセンサ検出方案を比較して、当該方案は特徴の前融合マルチセンサ検出方案に相当し、適用規則及び確率を融合の基礎としてデータを関連する必要がなく、物体を検出する同時に、検出プロセスを簡略化する。
例示的に、上記の装置は、シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力する前に、シーンにおける各領域の点群記述特徴又は画像記述特徴を認識して、シーンに含まれる各候補物体を取得し、候補物体が存在する領域を目標領域とするための目標領域決定モジュールをさらに含むことができる。
例示的に、物体検出入力モジュール４２０は、具体的には、レーザレーダと画像収集器のパラメータに基づいて各点群目標領域をシーン画像に投影して、各点群目標領域に関連する各画像目標領域を決定し、各点群目標領域の点群記述特徴及び関連される各画像目標領域の画像記述特徴を物体認識モデルに入力するために用いられる。
例示的に、検出結果取得モジュール４３０は、具体的には、各目標領域に位置する物体の種別を決定するために用いられる。
例示的に、検出結果取得モジュール４３０は、具体的には、物体認識モデルによって物体の位置を修正し、物体認識モデルによって物体の向き及び／又はサイズを決定するためにも用いられる。
実施例４
図５は、本発明の実施例４に係る機器の構成図である。図５は、本発明の実施形態を実現するのに適する例示的な機器１２のブロック図である。図５に示される機器１２は、単なる一つの例であり、本発明の実施例の機能及び使用範囲を一切制限しない。
図５に示すように、機器１２は、汎用コンピューティングデバイスの形態で示される。機器１２のコンポーネントは、一つ又は複数のプロセッサ又は処理ユニット１６と、システムシステムメモリ２８と、異なるシステムコンポーネント（システムシステムメモリ２８と処理ユニット１６とを含む）を接続するバス１８と、を含むことができるが、これらに限定されない。
バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうち任意のバス構造を使用するローカルバスを含む、複数種のバス構造のうち一つ又は複数のものを表す。例をあげると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、これらに限定されない。
機器１２は、典型的には、多種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、機器１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。
システムシステムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０及び／又はキャッシュメモリ３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでもよい。機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。単なる一例として、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図５に示されていないが、通常「ハードドライブ」と呼ぶ）に対して読み出し及び書き込みをするために用いることができる。図５に示されていないが、リムーバブル、不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル、不揮発性光学ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光学媒体）に対して読み出し及び書き込みをするための光学ディスクドライブを提供することができる。この場合、各ドライブは、一つ又は複数のデータメディアインターフェイスを介してバス１８に接続することがきる。システムメモリ２８は、本発明の各実施例に記載の機能を実行するように構成されるワンセットのプログラムモジュール（例えば、少なくとも一つ）を有する少なくとも一つのプログラム製品を含んでもよい。
ワンセットのプログラムモジュール４２（少なくとも一つ）を有するプログラム／ユーティリティ４０は、例えば、システムメモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、一つ又は複数のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むことができるがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４２は、通常本発明に記載の実施例における機能及び／又は方法を実行する。
機器１２は、一つ又は複数の外部デバイス１４（例えば、キーボード、ポインティング機器、ディスプレイ２４など）と通信することができるし、ユーザが機器１２とインタラクションすることを可能にする一つ又は複数の機器と通信することもでき、及び／又は機器１２が一つ又は複数の他のコンピューティングデバイスと通信することを可能にする任意の機器（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス２２を介して行うことができる。また、本実施例における機器１２、ディスプレイ２４は、独立した個体として存在するのではなく、鏡面に埋め込まれており、ディスプレイ２４の表示面が表示されない場合、ディスプレイ２４の表示面と鏡面が視覚的に一体となる。また、機器１２は、ネットワークアダプタ２０を介して、一つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図４に示すように、ネットワークアダプタ２０は、バス１８を介して、機器１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードやデバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップトレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、機器１２と組み合わせて使用することができる。
処理ユニット１６は、システムシステムメモリ２８に記憶されるプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の実施例により提供される物体検出方法を実現する。
実施例５
本発明の実施例５は、コンピュータプログラムが記憶されている記コンピューター読み取り可能な憶媒体を提供し、当該プログラムがプロセッサによって実行される場合に、本願のすべての発明の実施例により提供される物体検出方法を実現する。
一つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、一つ又は複数の配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この文書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。
コンピュータ読み取り可能な信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、その中のにはコンピュータ読み取り可能なのプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能なの信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。
コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。
一つ又は複数のプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよいし、部分的にユーザーコンピュータに実行されてもよいし、スタンドアロンソフトウェアパッケージとして実行されてもよいし、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータに係る場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）に接続することもできる。
また、本発明の実施例は、車体を含む車両をさらに提供し、前記車体には、本発明の任意の実施例により提供される機器、及び前記機器と通信可能に接続されるレーザレーダと画像収集器とが設けられる。
なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果同等な実施例をさらに含むごとができ、本発明の範囲は、特許請求の範囲によって决定される。

Claims (15)

  1. 物体検出方法であって、
    予めトレーニングして取得された点群特徴抽出モデルにシーン点群データを入力してシーンの点群記述特徴を取得し、予めトレーニングして取得された画像特徴抽出モデルにシーン画像データを入力してシーンの画像記述特徴を取得するステップと、
    シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力して、各目標領域に位置する物体の検出結果を取得するステップと、を含む、
    ことを特徴とする物体検出方法。
  2. シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力する前に、
    シーンにおける各領域の点群記述特徴又は画像記述特徴を認識して、シーンに含まれる各候補物体を取得し、候補物体が存在する領域を目標領域とするステップをさらに含む、
    ことを特徴とする請求項１に記載の物体検出方法。
  3. シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力するステップは、
    レーザレーダと画像収集器のパラメータに基づいて各点群目標領域をシーン画像に投影して、各点群目標領域に関連する各画像目標領域を決定するステップと、
    各点群目標領域の点群記述特徴及び関連される各画像目標領域の画像記述特徴を前記物体認識モデルに入力するステップと、を含む、
    ことを特徴とする請求項１または２に記載の物体検出方法。
  4. 各目標領域に位置する物体の検出結果を取得するステップは、
    各目標領域に位置する物体の種別を決定するステップを含む、
    ことを特徴とする請求項１−３のいずれかに記載の物体検出方法。
  5. 各目標領域に位置する物体の検出結果を取得するステップは、
    前記物体認識モデルによって前記物体の位置を修正するステップと、
    前記物体認識モデルによって前記物体の向き及び／又はサイズを決定するステップと、を含む、
    ことを特徴とする請求項１−４のいずれかに記載の物体検出方法。
  6. 前記物体認識モデルは、完全な畳み込みネットワークに基づいてトレーニングして取得される、
    ことを特徴とする請求項１−５のいずれかに記載の物体検出方法。
  7. 物体検出装置であって、
    予めトレーニングして取得された点群特徴抽出モデルにシーン点群データを入力してシーンの点群記述特徴を取得し、予めトレーニングして取得された画像特徴抽出モデルにシーン画像データを入力してシーンの画像記述特徴を取得するための記述特徴取得モジュールと、
    シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力するための物体検出入力モジュールと、
    各目標領域に位置する物体の検出結果を取得するための検出結果取得モジュールと、を含む、
    ことを特徴とする物体検出装置。
  8. シーンにおける各目標領域の点群記述特徴と画像記述特徴を予めトレーニングして取得された物体認識モデルに入力する前に、シーンにおける各領域の点群記述特徴又は画像記述特徴を認識して、シーンに含まれる各候補物体を取得し、候補物体が存在する領域を目標領域とするための目標領域決定モジュールをさらに含む、
    ことを特徴とする請求項７に記載の物体検出装置。
  9. 前記物体検出入力モジュールは、具体的には、
    レーザレーダと画像収集器のパラメータに基づいて各点群目標領域をシーン画像に投影して、各点群目標領域に関連する各画像目標領域を決定し、
    各点群目標領域の点群記述特徴及び関連される各画像目標領域の画像記述特徴を前記物体認識モデルに入力する、
    ことを特徴とする請求項７または８に記載の物体検出装置。
  10. 前記検出結果取得モジュールは、具体的には、
    各目標領域に位置する物体の種別を決定する、
    ことを特徴とする請求項７−９のいずれかに記載の物体検出装置。
  11. 前記検出結果取得モジュールは、具体的には、
    前記物体認識モデルによって前記物体の位置を修正し、
    前記物体認識モデルによって前記物体の向き及び／又はサイズを決定する、
    ことを特徴とする請求項７−１０のいずれかに記載の物体検出装置。
  12. 前記物体認識モデルは、完全な畳み込みネットワークに基づいてトレーニングして取得される、
    ことを特徴とする請求項７−１１のいずれかに記載の物体検出装置。
  13. 機器であって、
    一つ又は複数のプロセッサと、
    一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、請求項１乃至６のいずれかに記載の物体検出方法を実現する、
    ことを特徴とする機器。
  14. コンピュータプログラムが記憶されている記憶媒体であって、
    当該プログラムがプロセッサによって実行される場合に、請求項１乃至６のいずれかに記載の物体検出方法が実現される、
    ことを特徴とする記憶媒体。
  15. 車体を含む車両であって、
    前記車体には、請求項１３に記載の機器、及び前記機器と通信可能に接続されるレーザレーダと画像収集器とが設けられる、
    ことを特徴とする車両。
JP2019163303A 2018-09-07 2019-09-06 物体検出方法、装置、機器、記憶媒体及び車両 Active JP6842520B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811044827.7 2018-09-07
CN201811044827.7A CN109345510A (zh) 2018-09-07 2018-09-07 物体检测方法、装置、设备、存储介质及车辆

Publications (2)

Publication Number Publication Date
JP2020042816A true JP2020042816A (ja) 2020-03-19
JP6842520B2 JP6842520B2 (ja) 2021-03-17

Family

ID=65304983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019163303A Active JP6842520B2 (ja) 2018-09-07 2019-09-06 物体検出方法、装置、機器、記憶媒体及び車両

Country Status (4)

Country Link
US (1) US11379699B2 (ja)
EP (1) EP3620966A1 (ja)
JP (1) JP6842520B2 (ja)
CN (1) CN109345510A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693174B1 (ko) * 2005-12-16 2007-03-13 엘지전자 주식회사 전자제품의 인접하는 도어설치구조
JP2021101365A (ja) * 2020-06-22 2021-07-08 北京百度網訊科技有限公司 測位方法、測位装置及び電子機器
WO2023228810A1 (ja) * 2022-05-24 2023-11-30 村田機械株式会社 物品認識システム、および物品認識装置

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN110008843B (zh) * 2019-03-11 2021-01-05 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110082779A (zh) * 2019-03-19 2019-08-02 同济大学 一种基于3d激光雷达的车辆位姿定位方法及系统
CN110032962B (zh) * 2019-04-03 2022-07-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN110059608B (zh) 2019-04-11 2021-07-06 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
CN110223297A (zh) * 2019-04-16 2019-09-10 广东康云科技有限公司 基于扫描点云数据的分割与识别方法、系统及存储介质
CN111860060A (zh) * 2019-04-29 2020-10-30 顺丰科技有限公司 目标检测方法、装置、终端设备及计算机可读存储介质
CN110310306A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 基于实景建模与智能识别的目标跟踪方法、系统及介质
CN111986472B (zh) * 2019-05-22 2023-04-28 阿里巴巴集团控股有限公司 车辆速度确定方法及车辆
CN110276317B (zh) * 2019-06-26 2022-02-22 Oppo广东移动通信有限公司 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
CN110599575B (zh) * 2019-08-15 2020-12-11 贝壳技术有限公司 三维空间中物体图像的呈现方法、装置及存储介质
CN110456377B (zh) * 2019-08-15 2021-07-30 中国人民解放军63921部队 一种基于三维激光雷达的卫星来袭异物检测方法和系统
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统
WO2021061795A1 (en) 2019-09-23 2021-04-01 Canoo Inc. Fractional slot electric motors with coil elements having rectangular cross-sections
CN110765894B (zh) * 2019-09-30 2022-07-08 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN110781805B (zh) * 2019-10-23 2024-05-07 北京鉴微知著智能科技有限公司 一种目标物体检测方法、装置、计算设备和介质
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及系统
CN110956137A (zh) * 2019-12-02 2020-04-03 深圳市镭神智能系统有限公司 点云数据的目标检测方法、系统及介质
WO2021114776A1 (en) * 2019-12-12 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Object detection method, object detection device, terminal device, and medium
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
WO2021134285A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 图像跟踪处理方法、装置、计算机设备和存储介质
CN111339834B (zh) * 2020-02-04 2023-06-02 浙江大华技术股份有限公司 车辆行驶方向的识别方法、计算机设备及存储介质
CN115176175A (zh) * 2020-02-18 2022-10-11 株式会社电装 物体检测装置
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN111340766A (zh) * 2020-02-21 2020-06-26 北京市商汤科技开发有限公司 目标对象的检测方法、装置、设备和存储介质
CN113378605B (zh) * 2020-03-10 2024-04-09 北京京东乾石科技有限公司 多源信息融合方法及装置、电子设备和存储介质
CN111310858B (zh) * 2020-03-26 2023-06-30 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN111461020B (zh) * 2020-04-01 2024-01-19 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质
CN111539347B (zh) * 2020-04-27 2023-08-08 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111523515A (zh) * 2020-05-13 2020-08-11 北京百度网讯科技有限公司 自动驾驶车辆环境认知能力评价方法、设备及存储介质
CN111652114B (zh) * 2020-05-29 2023-08-25 深圳市商汤科技有限公司 一种对象检测方法、装置、电子设备及存储介质
CN113836977B (zh) * 2020-06-24 2024-02-23 顺丰科技有限公司 目标检测方法、装置、电子设备及存储介质
CN111797915A (zh) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN111967490A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 用于地图检测的模型训练方法和地图检测方法
CN112001963A (zh) * 2020-07-31 2020-11-27 浙江大华技术股份有限公司 消防通道的排查的方法、系统和计算机设备
CN111862222B (zh) * 2020-08-03 2021-08-13 湖北亿咖通科技有限公司 一种目标检测方法及电子设备
CN113763307A (zh) * 2020-08-11 2021-12-07 北京京东乾石科技有限公司 样本数据的获取方法和装置
CN113763458B (zh) * 2020-08-21 2024-04-05 北京京东乾石科技有限公司 确定目标对象摆放面的方法和装置
CN112183450A (zh) * 2020-10-15 2021-01-05 成都思晗科技股份有限公司 一种多目标跟踪方法
CN112380991A (zh) * 2020-11-13 2021-02-19 贝壳技术有限公司 物品模型的放置方法和装置、存储介质、电子设备
CN112487919A (zh) * 2020-11-25 2021-03-12 吉林大学 一种基于相机与激光雷达的3d目标检测与跟踪方法
CN112633069A (zh) * 2020-11-26 2021-04-09 贝壳技术有限公司 物体检测方法及装置
CN112529011A (zh) * 2020-12-10 2021-03-19 深圳先进技术研究院 目标检测方法及相关装置
CN112232317B (zh) * 2020-12-14 2021-08-17 智道网联科技(北京)有限公司 用于目标朝向识别的目标检测方法及装置、设备及介质
CN112489037A (zh) * 2020-12-15 2021-03-12 科大讯飞华南人工智能研究院（广州）有限公司 缺陷检测及相关模型的训练方法、电子设备和存储装置
CN112668460A (zh) 2020-12-25 2021-04-16 北京百度网讯科技有限公司 目标检测方法、电子设备、路侧设备和云控平台
CN112949849B (zh) * 2021-01-27 2024-03-26 武汉星巡智能科技有限公司 采用边缘计算优化智能摄像头检测模型的方法和装置
CN112837410B (zh) * 2021-02-19 2023-07-18 北京三快在线科技有限公司 一种训练模型和点云的处理方法及装置
CN113160327A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种点云补全的实现方法和系统
US11954798B2 (en) * 2021-04-22 2024-04-09 Faro Technologies, Inc. Automatic selection of a region in a three-dimensional (3D) point cloud
CN113177969B (zh) * 2021-04-29 2022-07-15 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN113256632B (zh) * 2021-07-07 2022-02-11 同方威视技术股份有限公司 集装箱的掏箱检测方法、装置、设备及存储介质
CN113780214B (zh) * 2021-09-16 2024-04-19 上海西井科技股份有限公司 基于人群进行图像识别的方法、系统、设备及存储介质
CN114419070A (zh) * 2022-01-21 2022-04-29 北京字跳网络技术有限公司 一种图像场景分割方法、装置、设备及存储介质
CN114267041B (zh) * 2022-03-01 2022-05-13 北京鉴智科技有限公司 场景中对象的识别方法及装置
CN114581746B (zh) * 2022-03-04 2023-09-05 北京百度网讯科技有限公司 物体检测方法、装置、设备及介质
CN114972763B (zh) * 2022-07-28 2022-11-04 香港中文大学(深圳)未来智联网络研究院 激光雷达点云分割方法、装置、设备及存储介质
CN115100689B (zh) * 2022-08-23 2022-11-01 浙江大华技术股份有限公司 一种对象检测方法、装置、电子设备和存储介质
CN115100642B (zh) * 2022-08-24 2022-11-18 上海仙工智能科技有限公司 一种基于深度学习的3d库位状态检测方法及系统
CN115641567B (zh) * 2022-12-23 2023-04-11 小米汽车科技有限公司 用于车辆的目标对象检测方法、装置、车辆及介质
CN115984802B (zh) * 2023-03-08 2023-06-09 安徽蔚来智驾科技有限公司 一种目标检测方法、计算机可读存储介质及驾驶设备
CN117611592B (zh) * 2024-01-24 2024-04-05 长沙隼眼软件科技有限公司 一种异物检测方法、装置、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030186663A1 (en) * 2002-03-26 2003-10-02 Hai-Wen Chen Method and system for multi-sensor data fusion
JP2017146840A (ja) * 2016-02-18 2017-08-24 富士ゼロックス株式会社 画像処理装置およびプログラム
JP2018073308A (ja) * 2016-11-04 2018-05-10 株式会社Ｓｏｋｅｎ 認識装置、プログラム
JP2018124973A (ja) * 2017-01-27 2018-08-09 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912246B1 (en) * 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
US8275194B2 (en) * 2008-02-15 2012-09-25 Microsoft Corporation Site modeling using image data fusion
US8380375B2 (en) * 2009-08-14 2013-02-19 IPOZ Systems, LLC Device, computer storage medium, and computer implemented method for metrology with inertial navigation system and aiding
US9255803B2 (en) * 2009-08-14 2016-02-09 IPOZ Systems, LLC Devices, program products and computer implemented methods for touchless metrology having virtual zero-velocity and position update
KR101841668B1 (ko) * 2012-02-15 2018-03-27 한국전자통신연구원 입체 모델 생성 장치 및 방법
US9338622B2 (en) * 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
US9152870B2 (en) * 2013-03-15 2015-10-06 Sri International Computer vision as a service
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9317785B1 (en) * 2014-04-21 2016-04-19 Video Mining Corporation Method and system for determining ethnicity category of facial images based on multi-level primary and auxiliary classifiers
CN106707293B (zh) 2016-12-01 2019-10-29 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN106815847B (zh) * 2017-01-12 2019-11-22 非凡智慧（宁夏）科技有限公司 基于激光雷达点云的树木分割方法及单棵树提取方法
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置
CN108229366B (zh) * 2017-12-28 2021-12-14 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108171217A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于点融合网络的三维物体检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030186663A1 (en) * 2002-03-26 2003-10-02 Hai-Wen Chen Method and system for multi-sensor data fusion
JP2017146840A (ja) * 2016-02-18 2017-08-24 富士ゼロックス株式会社 画像処理装置およびプログラム
JP2018073308A (ja) * 2016-11-04 2018-05-10 株式会社Ｓｏｋｅｎ 認識装置、プログラム
JP2018124973A (ja) * 2017-01-27 2018-08-09 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693174B1 (ko) * 2005-12-16 2007-03-13 엘지전자 주식회사 전자제품의 인접하는 도어설치구조
JP2021101365A (ja) * 2020-06-22 2021-07-08 北京百度網訊科技有限公司 測位方法、測位装置及び電子機器
JP7258066B2 (ja) 2020-06-22 2023-04-14 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 測位方法、測位装置及び電子機器
US11713970B2 (en) 2020-06-22 2023-08-01 Beijing Baidu Netcom Science Technology Co., Ltd. Positioning method, electronic device and computer readable storage medium
WO2023228810A1 (ja) * 2022-05-24 2023-11-30 村田機械株式会社 物品認識システム、および物品認識装置

Also Published As

Publication number Publication date
US20200082207A1 (en) 2020-03-12
JP6842520B2 (ja) 2021-03-17
EP3620966A1 (en) 2020-03-11
US11379699B2 (en) 2022-07-05
CN109345510A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
JP2020042816A (ja) 物体検出方法、装置、機器、記憶媒体及び車両
US11042762B2 (en) Sensor calibration method and device, computer device, medium, and vehicle
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN112861653A (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
JP6793885B1 (ja) 画像処理システム及び画像処理方法
CN108734058B (zh) 障碍物类型识别方法、装置、设备及存储介质
CN110378966B (zh) 车路协同相机外参标定方法、装置、设备及存储介质
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
Wu et al. Autonomous seam recognition and feature extraction for multi-pass welding based on laser stripe edge guidance network
CN113781519A (zh) 目标跟踪方法和目标跟踪装置
CN104881673A (zh) 基于信息整合的模式识别的方法和系统
CN111914841B (zh) 一种ct图像处理方法和装置
CN113450459B (zh) 目标物的三维模型构建方法及装置
CN112668596B (zh) 三维物体识别方法及装置、识别模型训练方法及装置
CN111951328A (zh) 一种物体位置检测方法、装置、设备和存储介质
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN115205806A (zh) 生成目标检测模型的方法、装置和自动驾驶车辆
CN114972530A (zh) 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质
Matez-Bandera et al. Sigma-FP: Robot Mapping of 3D Floor Plans With an RGB-D Camera Under Uncertainty
US20230401691A1 (en) Image defect detection method, electronic device and readable storage medium
US11836839B2 (en) Method for generating animation figure, electronic device and storage medium
KR102528718B1 (ko) 근적외선 카메라를 사용한 딥 러닝 기반 드론 감지 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210219

R150 Certificate of patent or registration of utility model

Ref document number: 6842520

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250