JP2022524973A - ボックスの検出 - Google Patents
ボックスの検出 Download PDFInfo
- Publication number
- JP2022524973A JP2022524973A JP2021551959A JP2021551959A JP2022524973A JP 2022524973 A JP2022524973 A JP 2022524973A JP 2021551959 A JP2021551959 A JP 2021551959A JP 2021551959 A JP2021551959 A JP 2021551959A JP 2022524973 A JP2022524973 A JP 2022524973A
- Authority
- JP
- Japan
- Prior art keywords
- box
- image frame
- robot
- monocular
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 20
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000003708 edge detection Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 87
- 230000015654 memory Effects 0.000 claims description 40
- 230000001174 ascending effect Effects 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 101100174574 Mus musculus Pikfyve gene Proteins 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 4
- 210000002414 leg Anatomy 0.000 description 48
- 238000003860 storage Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 11
- 210000004394 hip joint Anatomy 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 239000012636 effector Substances 0.000 description 9
- 230000005484 gravity Effects 0.000 description 9
- 239000011295 pitch Substances 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 210000000629 knee joint Anatomy 0.000 description 6
- 210000000544 articulatio talocruralis Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010016256 fatigue Diseases 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 235000020061 kirsch Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000007514 turning Methods 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Optics & Photonics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (25)
- 方法(400)であって、
データ処理ハードウェア(142)で、ある期間にわたって関心領域について複数の画像フレームペア(Fab1-n)を受信することであって、前記関心領域が、少なくとも1つのターゲットボックス(202)を含み、前記複数の画像フレームペア(Fab1-n)の各画像フレームペア(Fab)が、前記期間中にそれぞれのタイムスタンプと関連付けられ、それぞれの単眼画像フレーム(176a、Fa)およびそれぞれの深度画像フレーム(176b、Fb)を含む、前記複数の画像フレームペアを受信することと、
各画像フレームペア(Fab)について、
前記データ処理ハードウェア(142)によって、前記それぞれの単眼画像フレーム(176a、Fa)内の前記少なくとも1つのターゲットボックス(202)に対応する長方形のコーナー(214)を決定することと、
前記それぞれの単眼画像フレーム(176a、Fa)内の前記長方形の前記決定されたコーナー(214)に基づいて、
前記データ処理ハードウェア(142)によって、前記それぞれの単眼画像フレーム(176a、Fa)内の前記少なくとも1つのターゲットボックス(202)上でエッジ検出を実行することと、
前記データ処理ハードウェア(142)によって、前記それぞれの単眼画像フレーム(176a、Fa)内の前記少なくとも1つのターゲットボックス(202)の面(224)を決定することと、
前記データ処理ハードウェア(142)によって、前記それぞれの深度画像フレーム(176b、Fb)から平面(226)を抽出することであって、前記それぞれの深度画像フレーム(176b、Fb)から抽出された前記平面(226)が、前記少なくとも1つのターゲットボックス(202)に対応する、抽出することと、
前記データ処理ハードウェア(142)によって、前記それぞれの単眼画像フレーム(176a、Fa)内の前記少なくとも1つのターゲットボックス(202)の前記決定された面(224)を、前記それぞれの深度画像フレーム(176b、Fb)から抽出された前記平面(226)に一致させることと、
前記データ処理ハードウェア(142)によって、前記決定されたコーナー(214)、前記実行されたエッジ検出、および前記一致した面(224)に基づいて、ボックス推定(222)を生成することと、を含む、方法。 - 前記データ処理ハードウェア(142)によって、各画像フレームペア(Fab)に対して生成された前記ボックス推定(222)を集約して、前記少なくとも1つのターゲットボックス(202)について前記期間にわたって調整されたボックス推定(222)を決定することをさらに含む、請求項1に記載の方法。
- 各画像フレームペア(Fab)に対して生成された前記ボックス推定(222)を集約することが、
第1の画像フレームペア(Fab)に対して生成された前記少なくとも1つのターゲットボックス(202)の第1のボックス推定(222、222a)を、第2の画像フレームペア(Fab)に対して生成された前記少なくとも1つのターゲットボックス(202)の第2のボックス推定(222、222b)と比較することと、
前記第1のボックス推定(222、222a)と前記第2のボックス推定(222、222b)との間の前記比較に基づいて、前記期間にわたって前記ボックス推定(222)を調整することと、を含む、請求項2に記載の方法。 - 前記データ処理ハードウェア(142)によって、ロボット(100)のビジョンシステム(146)内のホモグラフィック投影として前記ボックス推定(222)を表示することをさらに含む、請求項1から3のいずれか一項に記載の方法。
- 前記データ処理ハードウェア(142)によって、ロボット(100)のビジョンシステム(146)内の投影として前記ボックス推定(222)を表示することをさらに含み、前記投影が、前記ボックス推定(222)に対する信頼区間を示す色で前記少なくとも1つのターゲットボックス(202)を表す、請求項1から3のいずれか一項に記載の方法。
- 前記それぞれの単眼画像フレーム(176a、Fa)内の前記長方形の前記コーナー(214)を決定することが、機械学習モデルを使用して、前記それぞれの単眼画像フレーム(176a、Fa)内の前記長方形の前記コーナー(214)を決定することを含む、請求項1から5のいずれか一項に記載の方法。
- 前記機械学習モデルが、訓練された深層学習ニューラルネットワークを含む、請求項6に記載の方法。
- 各画像フレームペア(Fab)について、前記データ処理ハードウェア(142)によって、前記それぞれの単眼画像フレーム(176a、Fa)および前記それぞれの深度画像フレーム(176b、Fb)をトリミングして、前記少なくとも1つのターゲットボックス(202)に対応する前記関心領域を分離することさらに含む、請求項1から7のいずれか一項に記載の方法。
- 各画像フレームペア(Fab)について、前記データ処理ハードウェア(142)によって、前記それぞれの単眼画像フレーム(176a、Fa)と関連付けられた角度歪みを補正することをさらに含む、請求項1から8のいずれか一項に記載の方法。
- 前記それぞれの単眼画像フレーム(176a、Fa)内の前記長方形の前記決定されたコーナー(214)が、勾配上昇オプティマイザに入力される初期シードを含み、前記勾配上昇オプティマイザが、面(224)を一致させ、エッジ検出を実行するように構成されている、請求項1から9のいずれか一項に記載の方法。
- 各それぞれの深度画像フレーム(176b、Fb)が、深度センサー(172)から得られ、前記深度センサー(172)が、ステレオカメラ、走査光検出と測距(LIDAR)センサー、飛行時間センサー、または走査レーザー検出と測距(LADAR)センサーのうちの1つ以上を備える、請求項1から10のいずれか一項に記載の方法。
- 前記データ処理ハードウェア(142)が、前記関心領域内の移動ロボット(100)上に存在する、請求項1から11のいずれか一項に記載の方法。
- 前記単眼画像フレーム(176a、Fa)および前記深度画像フレーム(176b、Fb)が、ロボット(100)の関節式アーム(150)上に取り付けられた1つ以上のセンサー(172)からキャプチャされる、請求項1から12のいずれか一項に記載の方法。
- ロボット(100)であって、
センサーシステム(170)と、
データ処理ハードウェア(142)と、
前記データ処理ハードウェア(142)と通信するメモリハードウェア(144)と、を備え、前記メモリハードウェア(144)が、前記データ処理ハードウェア(142)上で実行されると、前記データ処理ハードウェア(142)に、
前記センサーシステム(170)から、ある期間にわたって関心領域について複数の画像フレームペア(Fab1-n)を受信することであって、前記関心領域が、少なくとも1つのターゲットボックス(202)を含み、前記複数の画像フレームペア(Fab1-n)の各画像フレーム(Fab)が、前記期間中にそれぞれのタイムスタンプと関連付けられ、それぞれの単眼画像フレーム(176a、Fa)およびそれぞれの深度画像フレーム(176b、Fb)を含む、前記複数の画像フレームペアを受信することと、
各画像フレームペア(Fab)について、
前記それぞれの単眼画像フレーム(176a、Fa)内の前記少なくとも1つのターゲットボックス(202)に対応する長方形のコーナー(214)を決定することと、
前記それぞれの単眼画像フレーム(176a、Fa)内の前記長方形の前記決定されたコーナー(214)に基づいて、
前記それぞれの単眼画像フレーム(176a、Fa)内の前記少なくとも1つのターゲットボックス(202)上でエッジ検出を実行することと、
前記それぞれの単眼画像フレーム(176a、Fa)内の前記少なくとも1つのターゲットボックス(202)の面(224)を決定することと、
前記それぞれの深度画像フレーム(176b、Fb)から平面(226)を抽出することであって、前記それぞれの深度画像フレーム(176b、Fb)から抽出された前記平面(226)が、前記少なくとも1つのターゲットボックス(202)に対応する、抽出することと、
前記それぞれの単眼画像フレーム(176a、Fa)内の前記少なくとも1つのターゲットボックス(202)の前記決定された面(224)を、前記それぞれの深度画像フレーム(176b、Fb)から抽出された前記平面(226)に一致させることと、
前記決定されたコーナー(214)、前記実行されたエッジ検出、および前記一致した面(224)に基づいて、ボックス推定(222)を生成することと、を含む、動作を実行させる命令を格納する、ロボット。 - 前記動作が、各画像フレームペア(Fab)に対して生成された前記ボックス推定(222)を集約して、前記少なくとも1つのターゲットボックス(202)について前記期間にわたって調整されたボックス推定(222)を決定することをさらに含む、請求項14に記載のロボット。
- 各画像フレームペア(Fab)に対して生成された前記ボックス推定(222)を集約することが、
第1の画像フレームペア(Fab)に対して生成された前記少なくとも1つのターゲットボックス(202)の第1のボックス推定(222、222a)を、第2の画像フレームペア(Fab)に対して生成された前記少なくとも1つのターゲットボックス(202)の第2のボックス推定(222、222b)と比較することと、
前記第1のボックス推定(222、222a)と前記第2のボックス推定(222、222b)との間の前記比較に基づいて、前記期間にわたって前記ボックス推定(222)を調整することと、を含む、請求項15に記載のロボット。 - 前記動作が、ロボット(100)のビジョンシステム(146)内のホモグラフィック投影としての前記ボックス推定(222)をさらに含む、請求項14から16のいずれか一項に記載のロボット。
- 前記動作が、ロボット(100)のビジョンシステム(146)内の投影としての前記ボックス推定(222)をさらに含み、前記投影が、前記ボックス推定(222)に対する信頼区間を示す色で前記少なくとも1つのターゲットボックス(202)を表す、請求項14から16のいずれか一項に記載のロボット。
- 前記それぞれの単眼画像フレーム(176a、Fa)内の前記長方形の前記コーナー(214)を決定することが、機械学習モデルを使用して、前記それぞれの単眼画像フレーム(176a、Fa)内の前記長方形の前記コーナー(214)を決定すること含む、請求項14から18のいずれか一項に記載のロボット。
- 前記機械学習モデルが、訓練された深層学習ニューラルネットワークを含む、請求項19に記載のロボット。
- 前記動作が、各画像フレームペアについて、前記それぞれの単眼画像フレーム(176a、Fa)および前記それぞれの深度画像フレーム(176b、Fb)をトリミングして、前記少なくとも1つのターゲットボックス(202)に対応する前記関心領域を分離することをさらに含む、請求項14から20のいずれか一項に記載のロボット。
- 前記動作が、各画像フレームペア(Fab)について、前記それぞれの単眼画像フレーム(176a、Fa)と関連付けられた角度歪みを補正することをさらに含む、請求項14から21のいずれか一項に記載のロボット。
- 前記それぞれの単眼画像フレーム(176a、Fa)内の前記長方形の前記決定されたコーナー(214)が、勾配上昇オプティマイザに入力される初期シードを含み、前記勾配上昇オプティマイザが、面(224)を一致させ、エッジ検出を実行するように構成されている、請求項14から22のいずれか一項に記載のロボット。
- 各それぞれの深度画像フレーム(176b、Fb)が、深度センサー(172)から得られ、前記深度センサー(172)が、ステレオカメラ、走査光検出と測距(LIDAR)センサー、飛行時間センサー、または走査レーザー検出と測距(LADAR)センサーのうちの1つ以上を備える、請求項14から23のいずれか一項に記載のロボット。
- 関節式アーム(150)をさらに備え、前記センサーシステム(170)の少なくとも一部分が、前記関節式アーム(150)上に取り付けられている、請求項14から24のいずれか一項に記載のロボット。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/358,275 US11023763B2 (en) | 2019-03-19 | 2019-03-19 | Detecting boxes |
US16/358,275 | 2019-03-19 | ||
PCT/US2020/022545 WO2020190678A1 (en) | 2019-03-19 | 2020-03-13 | Detecting boxes |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022524973A true JP2022524973A (ja) | 2022-05-11 |
JP7304961B2 JP7304961B2 (ja) | 2023-07-07 |
Family
ID=70190215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021551959A Active JP7304961B2 (ja) | 2019-03-19 | 2020-03-13 | ボックスの検出 |
Country Status (6)
Country | Link |
---|---|
US (4) | US11023763B2 (ja) |
EP (1) | EP3942458A1 (ja) |
JP (1) | JP7304961B2 (ja) |
KR (1) | KR102625214B1 (ja) |
CN (1) | CN113811882A (ja) |
WO (1) | WO2020190678A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10369701B1 (en) | 2018-10-30 | 2019-08-06 | Mujin, Inc. | Automated package registration systems, devices, and methods |
KR102650494B1 (ko) | 2018-10-30 | 2024-03-22 | 무진 아이엔씨 | 자동화된 패키지 등록 시스템, 디바이스 및 방법 |
CN113165853B (zh) * | 2018-11-14 | 2024-03-01 | Abb瑞士股份有限公司 | 将集装箱装载在着落目标上的系统和方法 |
US11241982B2 (en) * | 2019-06-28 | 2022-02-08 | Honda Motor Co., Ltd. | Walking infant seat |
US11389965B2 (en) * | 2019-07-26 | 2022-07-19 | Mujin, Inc. | Post-detection refinement based on edges and multi-dimensional corners |
JP7372076B2 (ja) * | 2019-08-07 | 2023-10-31 | ファナック株式会社 | 画像処理システム |
KR102561421B1 (ko) * | 2019-09-10 | 2023-07-28 | 나럭스 컴퍼니 리미티드 | 조립 장치 및 조립 장치의 조정 방법 |
US11945123B2 (en) | 2020-04-28 | 2024-04-02 | Altec Industries, Inc. | Head mounted display for remote operation of machinery |
CN112818992B (zh) * | 2021-02-26 | 2024-02-09 | 梅卡曼德(北京)机器人科技有限公司 | 一种堆垛箱体的识别方法 |
CA3181434A1 (en) * | 2021-11-01 | 2023-05-01 | Rehrig Pacific Company | Delivery system |
KR102481756B1 (ko) * | 2021-12-09 | 2022-12-27 | 주식회사 커브서프 | 윤곽점 변환 장치 및 그 방법 |
WO2023157964A1 (ja) * | 2022-02-21 | 2023-08-24 | 興和株式会社 | ピッキング装置及びピッキング制御プログラム |
US11997429B2 (en) | 2022-07-28 | 2024-05-28 | Altec Industries, nc. | Reducing latency in head-mounted display for the remote operation of machinery |
US11794359B1 (en) * | 2022-07-28 | 2023-10-24 | Altec Industries, Inc. | Manual operation of a remote robot assembly |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150352721A1 (en) * | 2014-06-04 | 2015-12-10 | Intelligrated Headquarters Llc | Truck Unloader Visualization |
US20180137642A1 (en) * | 2016-11-15 | 2018-05-17 | Magic Leap, Inc. | Deep learning system for cuboid detection |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
US9327406B1 (en) * | 2014-08-19 | 2016-05-03 | Google Inc. | Object segmentation based on detected object-specific visual cues |
JP2016076167A (ja) * | 2014-10-08 | 2016-05-12 | ソニー株式会社 | 情報処理装置および情報処理方法 |
US9486921B1 (en) * | 2015-03-26 | 2016-11-08 | Google Inc. | Methods and systems for distributing remote assistance to facilitate robotic object manipulation |
US9694498B2 (en) * | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
US9802317B1 (en) * | 2015-04-24 | 2017-10-31 | X Development Llc | Methods and systems for remote perception assistance to facilitate robotic object manipulation |
US9704270B1 (en) * | 2015-07-30 | 2017-07-11 | Teradici Corporation | Method and apparatus for rasterizing and encoding vector graphics |
US9858683B2 (en) * | 2015-08-05 | 2018-01-02 | Intel Corporation | Method and system of planar surface detection objects in 3d space generated from captured images for image processing |
GB2541884A (en) | 2015-08-28 | 2017-03-08 | Imp College Of Science Tech And Medicine | Mapping a space using a multi-directional camera |
GB2552648B (en) | 2016-07-22 | 2020-09-16 | Imperial College Sci Tech & Medicine | Estimating dimensions for an enclosed space using a multi-directional camera |
US9990728B2 (en) * | 2016-09-09 | 2018-06-05 | Adobe Systems Incorporated | Planar region guided 3D geometry estimation from a single image |
US9715232B1 (en) * | 2016-09-19 | 2017-07-25 | X Development Llc | Using planar sensors for pallet detection |
EP3658340A2 (en) * | 2017-07-25 | 2020-06-03 | MBL Limited | Systems and methods for operating a robotic system and executing robotic interactions |
US20190368865A1 (en) * | 2018-05-30 | 2019-12-05 | Carbon Robotics, Inc. | Method for deriving varied-resolution 3d information from 2d images |
KR102650494B1 (ko) * | 2018-10-30 | 2024-03-22 | 무진 아이엔씨 | 자동화된 패키지 등록 시스템, 디바이스 및 방법 |
-
2019
- 2019-03-19 US US16/358,275 patent/US11023763B2/en active Active
-
2020
- 2020-03-13 CN CN202080033352.0A patent/CN113811882A/zh active Pending
- 2020-03-13 EP EP20717494.7A patent/EP3942458A1/en active Pending
- 2020-03-13 WO PCT/US2020/022545 patent/WO2020190678A1/en unknown
- 2020-03-13 KR KR1020217033411A patent/KR102625214B1/ko active IP Right Grant
- 2020-03-13 JP JP2021551959A patent/JP7304961B2/ja active Active
-
2021
- 2021-05-03 US US17/246,797 patent/US11562552B2/en active Active
-
2022
- 2022-12-02 US US18/074,354 patent/US11836974B2/en active Active
-
2023
- 2023-10-11 US US18/484,806 patent/US20240037936A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150352721A1 (en) * | 2014-06-04 | 2015-12-10 | Intelligrated Headquarters Llc | Truck Unloader Visualization |
US20180137642A1 (en) * | 2016-11-15 | 2018-05-17 | Magic Leap, Inc. | Deep learning system for cuboid detection |
Also Published As
Publication number | Publication date |
---|---|
KR20210148191A (ko) | 2021-12-07 |
EP3942458A1 (en) | 2022-01-26 |
US20240037936A1 (en) | 2024-02-01 |
US11836974B2 (en) | 2023-12-05 |
US11562552B2 (en) | 2023-01-24 |
US11023763B2 (en) | 2021-06-01 |
US20230096840A1 (en) | 2023-03-30 |
US20200302207A1 (en) | 2020-09-24 |
KR102625214B1 (ko) | 2024-01-15 |
CN113811882A (zh) | 2021-12-17 |
JP7304961B2 (ja) | 2023-07-07 |
WO2020190678A1 (en) | 2020-09-24 |
US20210256287A1 (en) | 2021-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022524973A (ja) | ボックスの検出 | |
EP3946834B1 (en) | Robot and method for palletizing boxes | |
AU2019404207B2 (en) | Collaborative autonomous ground vehicle | |
US9987746B2 (en) | Object pickup strategies for a robotic device | |
US11396101B2 (en) | Operating system, control device, and computer program product | |
US10209063B2 (en) | Using sensor-based observations of agents in an environment to estimate the pose of an object in the environment and to estimate an uncertainty measure for the pose | |
Tsarouchi et al. | A method for detection of randomly placed objects for robotic handling | |
US10780578B2 (en) | Reaching mobile robots | |
Walter et al. | Closed-loop pallet manipulation in unstructured environments | |
JP7381595B2 (ja) | マルチボディコントローラおよびロボット | |
Kimura et al. | Mobile dual-arm robot for automated order picking system in warehouse containing various kinds of products | |
JP2020075340A (ja) | 作動システム、制御装置、およびプログラム | |
US20210402605A1 (en) | Work Mode and Travel Mode for Mobile Robots | |
BT11MEC012 | Utilizing SLAM and Innovative Adaptive Gripping Techniques as a Solution to Material Handling Systems for Industries | |
CN115703238A (zh) | 用于机器人物体放置的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230627 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7304961 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |