JP2021108091A - 2d画像のラベリング情報に基づく3d画像ラベリング方法及び3d画像ラベリング装置 - Google Patents
2d画像のラベリング情報に基づく3d画像ラベリング方法及び3d画像ラベリング装置 Download PDFInfo
- Publication number
- JP2021108091A JP2021108091A JP2020081206A JP2020081206A JP2021108091A JP 2021108091 A JP2021108091 A JP 2021108091A JP 2020081206 A JP2020081206 A JP 2020081206A JP 2020081206 A JP2020081206 A JP 2020081206A JP 2021108091 A JP2021108091 A JP 2021108091A
- Authority
- JP
- Japan
- Prior art keywords
- image
- labeled
- point
- module
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (10)
- 3Dラベル無し画像の複数の点を、1つ以上の第1のポイントクラスタとして、3Dクラスタ化画像を生成するために、前記3Dラベル無し画像とクラスタアルゴリズムに従って、クラスタリングするように構成された点群クラスタモジュールと、
前記3Dクラスタ化画像に従って、1つ以上の第1のオブジェクトを有する第1の2D画像を生成するように構成され、前記第1のポイントクラスタの各々は前記1つ以上の第1のオブジェクトの1つに対応する投影モジュールと、
第2の2D画像を生成するために、1つ以上の2Dラベル付き画像の1つ以上のオブジェクトフレームに従って、前記第1の2D画像の前記1つ以上の第1のオブジェクトにラベル付けするように構成された統合モジュールと、
前記第2の2D画像に従って3Dラベル付き画像を生成するように構成された点群回復モジュールと、
を含む3D画像ラベリング装置。 - 前記クラスタアルゴリズムは、前記3D画像の前記点の密度に基づいている、請求項1に記載の3D画像ラベリング装置。
- 前記第1の2D画像の前記第1のオブジェクトの各々について、前記統合モジュールは、前記第1のオブジェクトが前記1つ以上のラベル付き画像の前記1つ以上のオブジェクトフレームの1つに対応する範囲内にあるかどうかを決定し、前記統合モジュールの前記決定が肯定的である場合、前記第1のオブジェクトは、前記対応するオブジェクトフレームのカテゴリに従ってラベル付けされ、そうでない場合、前記第1のオブジェクトはラベル付けされず、前記第2の2D画像が生成される、請求項1に記載の3D画像ラベリング装置。
- オブジェクトカテゴリを有する前記第2の2D画像の前記第1のオブジェクトの各々について、前記点群回復モジュールは、前記第1のオブジェクトの前記オブジェクトカテゴリに従って、前記第1のオブジェクトの前記第1のポイントクラスタに対応する前記3Dクラスタ化画像のすべての点にラベル付けする、請求項3に記載の3D画像ラベリング装置。
- 前記第1のポイントクラスタの各々は、実際のオブジェクトの断片に対応する、請求項1に記載の3D画像ラベリング装置。
- 3D画像ラベリング方法であって、前記方法がプロセッサによって実行されるとき、前記プロセッサは、
3Dラベル無し画像の複数の点を、1つ以上の第1のポイントクラスタとして、3Dクラスタ化画像を生成するために、前記3Dラベル無し画像とクラスタアルゴリズムに従って、クラスタリングする点群クラスタモジュールを実行すること、
前記第1のポイントクラスタのそれぞれが、1つ以上の第1のオブジェクトの1つに対応するように、前記3Dクラスタ化画像に従って、前記1つ以上の第1のオブジェクトを有する第1の2D画像を生成する投影モジュールを実行すること、
第2の2D画像を生成するために、前記第1の2D画像の前記1つ以上の第1のオブジェクトを、1つ以上の2Dラベル付き画像の1つ以上のオブジェクトフレームに従って、ラベル付けする統合モジュールを実行すること、および、
前記第2の2D画像に従って、3Dラベル付き画像を生成する点群回復モジュールを実行すること、
を可能にする3D画像ラベリング方法。 - 前記クラスタアルゴリズムは、前記3D画像の前記点の密度に基づいている、請求項6に記載の3D画像ラベリング方法。
- 前記第1の2D画像の前記第1のオブジェクトの各々について、前記統合モジュールは、前記第1のオブジェクトが前記1つ以上のラベル付き画像の前記1つ以上のオブジェクトフレームの1つに対応する範囲内にあるかどうかを決定し、前記統合モジュールの前記決定が肯定的である場合、前記第1のオブジェクトは、前記対応するオブジェクトフレームのカテゴリに従ってラベル付けされ、そうでない場合、前記第1のオブジェクトはラベル付けされず、前記第2の2D画像が生成される、請求項1に記載の3D画像ラベリング方法。
- オブジェクトカテゴリを有する前記第2の2D画像の前記第1のオブジェクトの各々について、前記点群回復モジュールは、前記第1のオブジェクトの前記オブジェクトカテゴリに従って、前記第1のオブジェクトの前記第1のポイントクラスタに対応する前記3Dクラスタ化画像のすべての点にラベル付けする、請求項8に記載の3D画像ラベリング方法。
- 前記第1のポイントクラスタの各々は、実際のオブジェクトの断片に対応する、請求項6に記載の3D画像ラベリング方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/728,358 US11100702B2 (en) | 2019-12-27 | 2019-12-27 | 3D image labeling method based on labeling information of 2D image and 3D image labeling device |
US16/728,358 | 2019-12-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021108091A true JP2021108091A (ja) | 2021-07-29 |
JP7084444B2 JP7084444B2 (ja) | 2022-06-14 |
Family
ID=76546483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020081206A Active JP7084444B2 (ja) | 2019-12-27 | 2020-05-01 | 2d画像のラベリング情報に基づく3d画像ラベリング方法及び3d画像ラベリング装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11100702B2 (ja) |
JP (1) | JP7084444B2 (ja) |
TW (1) | TWI739268B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI774543B (zh) * | 2021-08-31 | 2022-08-11 | 財團法人車輛研究測試中心 | 障礙物偵測方法 |
TWI786860B (zh) * | 2021-10-01 | 2022-12-11 | 中華電信股份有限公司 | 基於點雲的物件偵測裝置和物件偵測方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106034A (ja) * | 2017-12-13 | 2019-06-27 | Kddi株式会社 | 点群から対象を特定する対象識別装置、プログラム及び方法 |
WO2019194255A1 (ja) * | 2018-04-05 | 2019-10-10 | 株式会社小糸製作所 | 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具 |
JP2019207220A (ja) * | 2018-03-13 | 2019-12-05 | 本田技研工業株式会社 | 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8170306B2 (en) * | 2007-04-25 | 2012-05-01 | Siemens Aktiengesellschaft | Automatic partitioning and recognition of human body regions from an arbitrary scan coverage image |
KR101592889B1 (ko) | 2008-03-03 | 2016-02-11 | 아비길론 페이턴트 홀딩 2 코포레이션 | 트래킹, 인덱싱 및 서치를 위한 물체 매칭 방법 및 장치 |
KR101907081B1 (ko) * | 2011-08-22 | 2018-10-11 | 삼성전자주식회사 | 3차원 점군의 물체 분리 방법 |
US20130125069A1 (en) * | 2011-09-06 | 2013-05-16 | Lubomir D. Bourdev | System and Method for Interactive Labeling of a Collection of Images |
US8798357B2 (en) | 2012-07-09 | 2014-08-05 | Microsoft Corporation | Image-based localization |
WO2017132636A1 (en) * | 2016-01-29 | 2017-08-03 | Pointivo, Inc. | Systems and methods for extracting information about objects from scene information |
CN106776996B (zh) | 2016-12-02 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 用于测试高精度地图的准确性的方法和装置 |
US10430641B2 (en) | 2017-03-08 | 2019-10-01 | GM Global Technology Operations LLC | Methods and systems for object tracking using bounding boxes |
US10262234B2 (en) | 2017-04-24 | 2019-04-16 | Baidu Usa Llc | Automatically collecting training data for object recognition with 3D lidar and localization |
WO2018222756A1 (en) | 2017-05-30 | 2018-12-06 | Ptc Inc. | Object initiated communication |
US10699165B2 (en) | 2017-10-30 | 2020-06-30 | Palo Alto Research Center Incorporated | System and method using augmented reality for efficient collection of training data for machine learning |
TWI657407B (zh) | 2017-12-07 | 2019-04-21 | 財團法人資訊工業策進會 | 利用遞歸神經網路的三維點雲追蹤裝置及方法 |
US10175697B1 (en) | 2017-12-21 | 2019-01-08 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
DE102017223658A1 (de) | 2017-12-22 | 2019-06-27 | Robert Bosch Gmbh | LIDAR-Vorrichtung (100) zur Erfassung eines Objekts |
US11113557B2 (en) * | 2018-02-06 | 2021-09-07 | Vatbox, Ltd. | System and method for generating an electronic template corresponding to an image of an evidence |
TWI666595B (zh) | 2018-02-26 | 2019-07-21 | 財團法人工業技術研究院 | 物件標示系統及方法 |
US10812711B2 (en) | 2018-05-18 | 2020-10-20 | Samsung Electronics Co., Ltd. | Semantic mapping for low-power augmented reality using dynamic vision sensor |
US10839530B1 (en) * | 2018-09-04 | 2020-11-17 | Apple Inc. | Moving point detection |
US10983217B2 (en) * | 2018-11-30 | 2021-04-20 | Huawei Technologes Co. Ltd. | Method and system for semantic label generation using sparse 3D data |
-
2019
- 2019-12-27 US US16/728,358 patent/US11100702B2/en active Active
-
2020
- 2020-01-08 TW TW109100525A patent/TWI739268B/zh active
- 2020-05-01 JP JP2020081206A patent/JP7084444B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106034A (ja) * | 2017-12-13 | 2019-06-27 | Kddi株式会社 | 点群から対象を特定する対象識別装置、プログラム及び方法 |
JP2019207220A (ja) * | 2018-03-13 | 2019-12-05 | 本田技研工業株式会社 | 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行 |
WO2019194255A1 (ja) * | 2018-04-05 | 2019-10-10 | 株式会社小糸製作所 | 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具 |
Also Published As
Publication number | Publication date |
---|---|
TW202124190A (zh) | 2021-07-01 |
US11100702B2 (en) | 2021-08-24 |
US20210201566A1 (en) | 2021-07-01 |
TWI739268B (zh) | 2021-09-11 |
JP7084444B2 (ja) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200302241A1 (en) | Techniques for training machine learning | |
KR102109941B1 (ko) | 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치 | |
Keller et al. | A new benchmark for stereo-based pedestrian detection | |
US20210383096A1 (en) | Techniques for training machine learning | |
US9886623B2 (en) | User intention analysis apparatus and method based on image information of three-dimensional space | |
KR20190028349A (ko) | 이미지 내 휴먼 분리를 위한 전자 장치 및 방법 | |
CN110096925B (zh) | 人脸表情图像的增强方法、获取方法和装置 | |
US9330472B2 (en) | System and method for distorted camera image correction | |
JP6345147B2 (ja) | ステレオ画像の対において物体を検出する方法 | |
EP3740897A1 (en) | License plate reader using optical character recognition on plural detected regions | |
TWI666595B (zh) | 物件標示系統及方法 | |
CN112639846A (zh) | 一种训练深度学习模型的方法和装置 | |
JP7084444B2 (ja) | 2d画像のラベリング情報に基づく3d画像ラベリング方法及び3d画像ラベリング装置 | |
US20210287022A1 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
CN109919128B (zh) | 控制指令的获取方法、装置及电子设备 | |
CN109079777B (zh) | 一种机械臂手眼协调作业系统 | |
CN115008454A (zh) | 一种基于多帧伪标签数据增强的机器人在线手眼标定方法 | |
CN111435429A (zh) | 一种基于双目立体数据动态认知的手势识别方法及系统 | |
WO2020068104A1 (en) | Generating spatial gradient maps for a person in an image | |
CN111079535A (zh) | 一种人体骨架动作识别方法、装置及终端 | |
Perera et al. | Human motion analysis from UAV video | |
US20240104902A1 (en) | Learning device, learning method, and recording medium | |
WO2022078828A1 (en) | Method for determining a motion model of an object in the surroundings of a motor vehicle, computer program product, computer-readable storage medium, as well as assistance system | |
JP6995714B2 (ja) | 特定装置、特定方法及び特定プログラム | |
CN109903336A (zh) | 基于局部特征的飞行器姿态跨视场估计方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220602 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7084444 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |