JP2017191605A - 対象物体の寸法を計測するための方法及びシステム - Google Patents

対象物体の寸法を計測するための方法及びシステム Download PDF

Info

Publication number
JP2017191605A
JP2017191605A JP2017077736A JP2017077736A JP2017191605A JP 2017191605 A JP2017191605 A JP 2017191605A JP 2017077736 A JP2017077736 A JP 2017077736A JP 2017077736 A JP2017077736 A JP 2017077736A JP 2017191605 A JP2017191605 A JP 2017191605A
Authority
JP
Japan
Prior art keywords
point
target object
plane
cluster
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017077736A
Other languages
English (en)
Other versions
JP6832780B2 (ja
Inventor
シュタインフェルド アレクサンダー
Steinfeld Alexander
シュタインフェルド アレクサンダー
ライドン リチャード
Lydon Richard
ライドン リチャード
リュー ジョージ
Liu George
リュー ジョージ
ガバレ ウドレク
Gavale Udrekh
ガバレ ウドレク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick Inc
Original Assignee
Sick Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick Inc filed Critical Sick Inc
Publication of JP2017191605A publication Critical patent/JP2017191605A/ja
Application granted granted Critical
Publication of JP6832780B2 publication Critical patent/JP6832780B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】対象物体の寸法を計測するための方法及びシステムを提供する。
【解決手段】計測方法は、物理的な空間を表す対象物体のデータを含む深度データを獲得し、深度データを点群に変換し、点群から少なくとも1つの平面を抽出し、基底平面を識別し、基底平面を点群から削除し、残存する点群から少なくとも1つの点クラスタを抽出し、対象物体の点クラスタを識別し、対象物体の点クラスタに基づいて、対象物体の寸法を推定すること、を含む。
【選択図】なし

Description

本発明は、対象物体の寸法を計測するための方法及びシステムに関する。
複数の工業的応用において、対象物体の空間寸法の計測が必要である。1つの例示的な応用として、パレット上に装荷された物品の寸法を計測することがある。このようなパレット貨物を計測するために、例えば固定式スキャナを使用することができる。その後、計測されたパレット貨物の寸法を利用して、例えば装荷された物品の比重に基づいて、パレットの重量を得ることができる。更にいえば、このことはパレットが満載である場合に確立することができる。
現今、使用されるスキャナは、立方体状の物体の認識に限定されるのであり、これらのスキャナの位置が静止していることに起因して、しばしば柔軟に使用することができない。
従って、柔軟に使用することのできる及び異なる形状を有する物体の計測を可能にする、物体の寸法を計測するための方法及びシステムを提供することが本発明の目的である。
本発明では、対象物体の寸法の計測を可能にする方法及びシステムが提供される。
請求項1によれば、本発明の方法は、
‐物理的な空間を表す、前記対象物体のデータを含む深度データを獲得し、
‐前記深度データを点群に変換し、
‐前記点群から少なくとも1つの平面を抽出し、
‐基底平面を識別し、
‐前記基底平面を前記点群から削除し、
‐残存する前記点群から少なくとも1つの点クラスタを抽出し、
‐前記対象物体の点クラスタを識別し、
‐前記対象物体の前記点クラスタに基づいて前記対象物体の寸法を推定こと、
を含む。
初めに、前記対象物体のデータを含む深度データが獲得される。前記深度データは、3Dビジョン装置、例えば3Dカメラシステム、ステレオカメラ、飛行時間型カメラ、又はレーザスキャナを使用して獲得することができる。3Dビジョン装置は例えば三角測量に依拠する。前記3Dビジョン装置は、前記対象物体を含有する景色を走査することができる。特に、ハンドヘルド式3Dビジョン装置が使用される。
有利なことに、前記深度データを獲得するためにカメラと構造化照明装置とを含む3Dカメラシステムが使用される。前記構造化照明装置は、前記3Dカメラシステムの前記カメラから離れたところに配置することができる。前記深度データはビデオシーケンスにおいて獲得することができるのであり、時間が例えば数秒である前記ビデオシーケンスの情報を組み合わせることができる。
その後、前記深度データが点群に変換される。前記点群の点は共にまとめることができる。前記点群の前記点は、異なる時間で(例えば、前記ビデオシーケンスの、異なる時間で)又は異なるビュー方向下に獲得されたものであるかもしれないが、まとめることで接続される。
特に、前記点群は、前記深度データを該深度データについての空間情報と共に使用して、作り出すことができる。前記点群は、前記対象物体及び三次元空間内の更なる物体を表すことができる。前記点群は、前記対象物体ではない更なる物体の点をも含むことができる。前記点群内の各点は、x方向における値、y方向における値、及びz方向における値を含むことができる。前記x、y、及びz方向は各々、他の両方向に対して垂直とすることができる。別法として、前記点群の前記点は極座標の形態の空間座標を有することができる。
前記点群から少なくとも1つの平面が抽出される。つまり、前記点群から平坦面が識別され、この平坦面が前記点群の平面として規定される。好ましくは、前記点群から全ての平面が抽出される。換言すれば、識別することのできる全ての平面が前記点群から抽出される。
前記少なくとも1つの平面から又は前記抽出された複数の平面から、基底平面が識別される。平面が1つしか抽出されない場合、この1平面が前記基底平面として識別される。前記基底平面は前記点群の前記点を表すのであり、前記点群の前記点は前記走査された景色の地面又は床面から始まる。前記基底平面は、例えばその空間的配向に起因して及び/又はそのサイズに起因して、識別された全ての平面のうちから識別することができる。前記点群内の点の数を低減するために、前記基底平面は識別後に前記点群から除去される。前記基底平面を前記点群から除去すると、前記点群内では前記基底平面を表す全ての点が削除される。従って、前記深度データ内に含まれる物体のみが前記点群内に留まり、これによってより容易な前記対象物体の識別が促進され、演算努力及びメモリ使用量は少なくて済む。
前記基底平面が削除されれば、前記点群内の異なる物体はもはや接続しなくてよい。これらの非接続物体は、異なる物体に分離することができる。これによって、前記対象物体と他の物体との間の第1の区別を達成することができる。結果として、前記対象物体の識別が簡素化されるのであり、この識別を演算に関する効率的な仕方で実施することができる。
前記点群の残存する前記点内で、少なくとも1つの点クラスタが抽出される。点クラスタは複数の点の集合体とすることができ、前記点は前記点クラスタの最も近い更なる点までの所定の最大空間距離を含む。前記点群内には複数の点クラスタが存在し得るのであり、これらの点クラスタを抽出又は識別することができる。好ましくは、全ての点クラスタ(即ち、識別することのできる全ての点クラスタ)が抽出される。
前記対象物体の前記点クラスタを識別するために、前記対象物体の前記点クラスタを、例えば前記3Dカメラシステムに最も近い前記点クラスタとして例示的に識別することができる。このことは、前記3Dビジョン装置を使用する者が前記3Dビジョン装置を前記対象物体に向けるであろうという仮定に依拠する。別法として、最も多い点を有する前記点クラスタを前記対象物体の前記点クラスタとして識別することができる。点クラスタが1つしか抽出されない場合、この1つの点クラスタが前記対象物体の前記点クラスタとして識別される。
前記対象物体の前記点クラスタが識別された際には、前記対象物体の前記点クラスタに基づいて前記対象物体の寸法を推定することができる。
前記対象物体の寸法から、例えば前記対象物体の体積及び/又は重量を計算することができる。例として、前記点クラスタの外面を計算することができ、前記外面の内側の体積として前記対象物体の体積が推定される。前記点クラスタが、前記対象物体の閉鎖された外面を含まない(例えば、前記3Dビジョン装置にとって前記対象物体の裏側を見ることができない)場合、前記外面を外挿又は推定して閉鎖された外面を達成することができる。
実施形態によれば、前記方法は更に前記基底平面が識別される前に前記点群から背景を除去することを含む。前記点群の背景点が除去されるため、前記点群内の点の数を低減することができ、このことが残存する前記点のより迅速かつ効率的な処理につながる。またこのことにより、前記基底平面をより容易に識別することができる。例として、前記背景を前記3Dビジョン装置からの距離が所定の閾値よりも長い全ての点として規定することができる。
更なる実施形態によれば、前記点群の点の少なくとも1つの寸法における値が予め決められた閾値よりも大きい場合、前記点群の点が背景として規定される。特に、前記x方向、前記y方向、及び/又は前記z方向の閾値を確立することができる。前記点群の点は、これらの閾値の少なくとも1つを超える値を有する場合、背景として分類される。
より具体的にするならば、x、y、及びz方向における座標が使用される場合、以下の条件のうちの1つ以上が満たされると、点を背景として規定することができる:
X>MIN(X)+T、
Y>MIN(Y)+T、及び/又は
Z>MIN(Z)+T、
ここに、Tは設定可能なパラメータであり、X、Y、Zはそれぞれx、y、z方向における前記点群の点の値であり、MIN(X)/MIN(Y)/MIN(Z)はそれぞれ前記x/y/z方向における前記点群の任意の点の最小値である。前記最小値(MIN(X)、MIN(Y)、MIN(Z))は、各方向について異なっていてもよい。
前記x、y、z座標系の原点は前記3Dビジョン装置とすることができる。有利なことに、このことにより本発明の前記方法をより容易に実行することができる。というのも、‐ハンドヘルド式3Dビジョン装置を使用する際には特に‐前記方法の開始前に前記座標系を規定することができるからである。従って、前記方法の実行中に前記座標系を変更する必要がない。
更なる実施形態において、前記基底平面を識別することは前記点群内の平面を繰り返し識別し、前記識別された平面を保存し、前記識別された平面を前記点群から一時的に除去することを含む。全ての平面が識別され保存され前記点群から除去された後、最終的に保存され識別された全ての平面のうちから前記基底平面を識別することができる。換言すれば、識別されたそれぞれの平面は、前記点群の全ての平面が識別されるまで前記点群から一時的にのみ除去される。つまり、前記識別された平面を前記点群から除去することにより前記点群内の更なる平面の簡素化された、従ってより効率的な識別が可能になる。前記識別された平面を前記点群から除去することにより、1平面が複数回識別されることを防止することもできる。
更にいえば、ますます多くの平面が識別され、保存され、前記点群から除去されるため、前記点群内の残存する前記点の数が減少する。このことは、前記点群内の連続平面を識別する際のより迅速な処理をいよいよ可能にする。
前記識別された平面は、法線ベクトルの形態で又はax+by+cz+d=0という前記形態で保存することができる。ここに、a、b、c、及びdは係数であり、x、y、zは前記x、y、及びz方向における変数である。例えば、前記基底平面は前記z方向と略平行な法線ベクトルを有する平面として識別することができる。
普通、点群内で4、5個の平面を検出することが予想される。それ故に、前記点群内の平面を識別し、前記識別された平面を保存し、前記識別された平面を前記点群から除去するステップは4、5回実施する必要がある。前記識別された平面を保存する前記ステップ及び前記識別された平面を前記点群から除去するステップは、残存する前記点群内に平面が見つからないときにはもはや繰り返されない。
更なる実施形態によれば、前記点群内の平面を識別するためにRANSACアルゴリズムが使用される。RANSAC(ランダムサンプルコンセンサス)アルゴリズムとは、一組の観察データのパラメータを推定するための反復法である。RANSACアルゴリズムは、前記計測データ(即ち前記深度データ)が、異常値、即ち他の点から遠い前記点群の点を含む場合に特に有益である。これは普通、前記深度データ及び前記点群の事例である。
更なる実施形態において、前記対象物体の前記点クラスタを識別することは、最も近い点クラスタを前記対象物体の前記点クラスタとして識別することを含む。これによって、前記最も近い点クラスタが前記対象物体である可能性が最も高いと仮定される。というのも、‐例えばハンドヘルド式3Dビジョン装置を使用する際に‐前記3Dビジョン装置は前記対象物体に向けられるであろうからである。x、y、及びz方向における座標が使用される場合、前記最も近い点クラスタは、前記点クラスタの1つの点がx+y+zの最小値を有するようなものとして識別することができる。
更なる実施形態において、各点クラスタについて重心点が計算され、各点クラスタの(例えば前記3Dビジョン装置までの)距離が、対応する前記重心点に基づいて計算される。前記重心点は、前記点クラスタの幾何学中心又は前記点クラスタの重力中心を表すことができる。
更なる実施形態において、前記点クラスタは点クラスタ間の所定の最小距離及び/又は所定の最小クラスタサイズを使用して識別される。前記所定の最小距離及び/又は前記所定の最小クラスタサイズは、設定可能なパラメータとすることができる。
点クラスタは前記点群の点集合体とすることができるのであり、前記点クラスタの各点は前記点クラスタの別の点までの最大距離を有し、この最大距離は前記点クラスタ間の所定の最小距離を下回る。つまり、異なる点クラスタの2つの点は、少なくとも前記点クラスタ間の所定の最小距離以上の距離を有するであろう。
更に、点クラスタは所定の最小数の点、即ち所定の最小クラスタサイズを有することができる。
点集合体が前記最小数の点に到達しない場合、前記点集合体は、好ましくは点クラスタとして識別されない。前記方法の更なるステップでは、このような前記点集合体の点を無視することができる。
更なる実施形態において、x、y、及びz方向を有する座標系が使用される。前記x、y、及びz方向の各々は、好ましくは他の両方向に対して垂直であり、前記基底平面がz=0平面と平行になるように前記対象物体の前記点クラスタが回転される。具体的には前記回転を、回転マトリックスを使用して実施することができる。前記回転マトリックスを用いた回転は、前記基底平面が前記z=0平面と平行になるように前記基底平面を回転させるであろう(前記回転マトリックスを使用して回転された場合)。前記対象物体の前記点クラスタが回転されると前記基底平面は既に削除することができるため、前記対象物体の前記点クラスタのみを回転させることができる。
前記z=0平面内では、全ての点がゼロのz値を有する。前記z=0平面は、前記3Dビジョン装置から見ると水平に整列する平面とすることができる。前記回転は前記回転マトリックスを使用して計算することができ、回転マトリックスは、前記基底平面の前記z=0平面に対する前記位置及び配向に基づいて計算することができる。前記点クラスタのこのような回転は、前記対象物体の寸法をより容易に計算することを促進する。
更なる実施形態において、前記対象物体の前記点クラスタが回転された後に前記対象物体の高さが計算される。前記対象物体の高さは、前記z方向における前記対象物体の前記点クラスタの2つの点の最大距離として容易に計算することができる。
更なる実施形態において、前記対象物体の前記点クラスタについて最小包含平坦幾何学形状が計算される。前記平坦幾何学形状は、三角形、四角形、円形、多角形等とすることができる。好ましくは、前記対象物体の前記点クラスタの前記点の境界ボックスとすることのできる四角形が使用される。前記幾何学形状の寸法に基づいて、前記対象物体の寸法及び/又は体積を計算又は推定することができる。異なる幾何学形状を使用することは、異なる形態を備えた対象物体の寸法を計算することができるという利点をもつ。特に、非立方体状又は不規則形状をも処理することができる。
前記幾何学形状の前記サイズは、x及びy方向において前記幾何学形状が各境界線内に前記対象物体の前記点クラスタの少なくとも1つの点を含み、大多数の点が前記境界線の内側に位置するようなものとして計算することができる。別法として又は追加として、前記幾何学形状の各境界線の外側では、前記対象物体の前記点クラスタの少なくとも1つの点が存在することができる。上記の条件の一方又は両方がやはり満たされるまで、前記幾何学形状のサイズは増加させることができる。
例として、前記対象物体の寸法及び/又は体積は、四角形の幅及び長さ、ならびに前記物体高さに基づいて計算することができる。好ましくは、前記四角形は前記対象物体の前記点クラスタの回転後に計算される。更に好ましくは、前記四角形は前記基底平面又は前記z=0平面と平行であるものとして計算される。
更なる実施形態によれば、前記最小包含平坦幾何学形状が計算される前に前記対象物体の前記点クラスタが前記基底平面又は前記z=0平面へと投影される。前記幾何学形状の全ての計算を三次元空間でなく二次元空間において実施することができるため、前記基底平面又は前記z=0平面への前記投影により、前記幾何学形状をより容易かつより迅速に計算することができる。更にいえば、同じやり方で持ち上げられた対象物体(例えばフォークリフト上のパレット貨物)の寸法をも計算することができる。有利なことに、前記z=0平面への投影は、前記対象物体の前記点クラスタの前記点の前記値をゼロのz値にセットすることにより実施される。
好ましくは、前記使用される幾何学形状は所定の数の幾何学形状から選択することができるのであり、実際に使用される前記形状は、この形状が前記基底平面への前記投影を超えることなしに最大数の点を包含するように選択される。前記幾何学形状は、この幾何学形状が前記対象物体の前記基底平面への投影を最小限の距離で包含しているように選択することができる。
更なる実施形態において、ハンドヘルド式3Dビジョン装置を使用して前記深度データが獲得される。前記ハンドヘルド式3Dビジョン装置は、3Dカメラシステム、特に、構造化光照明、レーザスキャナ、飛行時間型カメラ(TOFカメラ)、又はステレオカメラを有する3Dカメラシステムとすることができる。ハンドヘルド式3Dビジョン装置の前記使用により、異なる対象物体を柔軟に計測することができる。というのも、前記3Dビジョン装置は容易に移動する又は持ち歩くことができるからである。
更なる実施形態において、前記深度データが前記ハンドヘルド式3Dビジョン装置から携帯用処理装置に転送される。前記処理装置において、前記深度データの前記処理及び前記対象物体の寸法の推定を実行することができる。結果として、前記3Dビジョン装置はより少ない部品を有し、より小さいハウジングを含むことができるのであり、従って使用がより容易になる。前記ハンドヘルド式3Dビジョン装置と前記処理装置との間の転送は、例えば無線LAN(ローカルエリアネットワーク)を使用して無線にすることができ又はケーブル接続を使用することができる。前記ケーブル接続を使用して、前記ハンドヘルド式3Dビジョン装置に電気エネルギーを供給することができる。別法として、前記処理装置は固定式とすることができる。
前記処理装置は、インターネットを介して前記ハンドヘルド式3Dビジョン装置に接続することのできるホストサーバーとすることができる。別法として、前記処理装置は前記処理装置とホストサーバーとの通信用に使用することのできるインターネット接続を含むことができる。前記ホストサーバーは、前記発明的な方法の前記計算ステップを部分的に又は完全に実行することができる。
更なる実施形態において、前記対象物体はパレット貨物である。従って、本発明の前記方法を使用してパレットが満載になったかどうかを確認することができる。また本発明の前記方法は、通例の小包、即ちパレット上に位置しているのではない品物に対して使用することができる。
更なる実施形態において、好ましくは前記対象物体についての情報を含有するバーコード又は他の機械読取可能な情報が識別され評価される。前記バーコード又は前記機械読取可能な情報は、前記対象物体の表面に貼り付けることができるのであり、例えば前記対象物体(即ち前記パレット貨物)の前記サイズについての情報を含有することができる。この情報を使用して、パレット貨物が完成しているかどうかを評定することができる。前記バーコード又は前記機械読取可能な情報は、機械読取可能な任意のデータ表示とすることができる。前記バーコード又は前記機械読取可能な情報を使用して、前記対象物体の前記点クラスタ及び/又は前記対象物体自体を識別することができる。この目的で前記バーコード又は前記機械読取可能な情報の空間位置を決定し、この空間位置を前記抽出された点クラスタの前記空間位置と関連付けることができる。このことは、前記対象物体の前記点クラスタのより容易な識別を促進することができる。
前記バーコードは前記3Dカメラシステムを使用して識別することができるのであり、前記評価(即ち前記バーコードの前記情報の読取り)は前記処理装置により実施することができる。
更なる実施形態において、前記対象物体を示す画像を捕捉することができる。前記画像は、前記3Dカメラシステムの前記カメラを用いて捕捉することができ、例えば前記画像の異なる領域の明度又は濃淡値の差を使用することにより、前記異なる点クラスタの識別を補助することができる。
本発明は更に対象物体の寸法を計測するためのシステムを含み、前記システムは、
‐物理的な空間を表す、前記対象物体のデータを含む深度データを獲得するための3Dビジョン装置と、
‐前記深度データを処理するための処理装置であって、
‐前記深度データを点群に変換し、
‐前記点群から少なくとも1つの平面を抽出し、
‐基底平面を識別し、
‐前記基底平面を前記点群から削除し、
‐残存する前記点群から少なくとも1つの点クラスタを抽出し、
‐前記対象物体の点クラスタを識別し、
‐前記対象物体の前記点クラスタに基づいて前記対象物体の寸法を推定する
ように構成される処理装置と
を含む。
前記発明的な方法に関する記載は、必要な変更を施せば前記発明的なシステムに応用可能である。利点及び記載した好適な実施形態を考慮すれば、このことは特に当てはまる。
前記発明的なシステムの実施形態において、前記処理装置は処理ユニット内に配置することができる。前記処理ユニットが前記3Dビジョン装置とは別々であってもよい。別法として、前記3Dビジョン装置及び前記処理装置は、単一のハウジングを共有することができる。
前記3Dビジョン装置は、例えば3Dカメラシステム、ステレオカメラ、飛行時間型カメラ、又はレーザスキャナとすることができるのであり、3Dビジョン装置は例えば三角測量に依拠する。特にハンドヘルド式3Dビジョン装置が使用される。
前記深度データを獲得するために、有利なことに前記3Dカメラシステムはカメラと構造化照明装置とを含む。前記構造化照明装置は、前記3Dカメラシステムのカメラから離れたところに配置することができる。
以下の記載及び添付の図面から、本発明の様々な特徴及び利点がより明らかになるであろう。
対象物体の寸法を計測する方法の流れ図の例。 対象物体の寸法を計測するためのシステムの実施形態の例。 図2に示すようなシステムにより獲得される深度データから計算される点群の例。 図3Aの、基底平面が除去された点群。 図3Bの、重心点が計算された点群。 図3Cから切り離されるものとしての対象物体の点クラスタ。 図3Dの対象物体の点クラスタの、z=0平面への投影。
本発明の幾つかの図及び態様を通して同様の数字が対応の部品を示す図を参照すると、図1は、対象物体の寸法を計測するための方法の流れ図を示す。
ステップ100において、3Dカメラシステムは対象物体を含む景色の三次元ビデオ走査を実施し、これによって対象物体を含む深度データが提供される。
ステップ110において、深度データは纏まった点群に変換される。
ステップ120は、点群からの点の除去を表す。除去された点は背景に対応する。つまり、ステップ120は背景フィルタリングを表す。
ステップ130において、多数平面分割が行われる。換言すれば点群から少なくとも1つの平面が抽出される。普通、点群から4、5個の平面を抽出することができる。抽出された平面は点群から一時的に除去され、抽出された平面のうちから基底平面が識別される。
ステップ140において、点群の検出された全ての平面から基底平面が削除される。
ステップ150において、残存する点群から点クラスタが抽出される。点クラスタのうちから、対象物体の点クラスタが識別される。その後、対象物体の点クラスタは点群から分離される。
ステップ160において、対象物体の点クラスタは、対象物体の点クラスタの、基底平面と平行である平面がz=0平面と平行になるように回転される。更に、対象物体の高さが計算される。
ステップ170において、対象物体の点クラスタがz=0平面へと投影される。投影された点から包含四角形が計算され、対象物体の寸法が推定される。
次に図2を見ると、図2は対象物体の寸法を計測するためのシステムの例示的な機構を示す。このシステムは、構造化照明装置(図示せず)の反射光14を受けるカメラ10を含む。構造化照明装置の構造化照明が、パレット18上に置かれる対象物体16へと投影される。パレット18に隣接して更なる物体20が存在する。更なる物体20も構造化照明により照射され、カメラ10により走査される。更なる物体20はパレット18上に配置することもできよう。
カメラ10は反射光から、対象物体16及び更なる物体20からの深度データを含む深度データを導き出す。深度データは無線で処理ユニット22に送信される。
処理ユニット22は深度データを、纏まった点群24に変形する。図3Aに、このような深度データに対応する例示的な点群24を示す。
点群24内で、幾つかの平面が識別される。図3Aの例では、第1平面26a、第2平面26b、第3平面26c、第4平面26d、及び第5平面26eが識別される。第1平面26aが基底床面に属するのに対して、第2平面26bは対象物体16の側面に対応する。第3平面26cは、対象物体16の上面、ならびに更なる物体20の上面にわたる。同様に、第4平面26dは対象物体16の前面及び更なる物体20の前面にわたる。第5平面26eは、対象物体16にも更なる物体20にも属さない。
その後、平面26aが点群全体を通して広がりz方向において法線ベクトルを有するという発見に基づいて、処理ユニット22は平面26aを基底平面として識別する。図3Aに、x、y、及びz方向における座標系を示す。
その後、処理ユニット22は点群24から基底平面26aを除去する。図3Bに残存する点群24を示す。残存する点群24では、点クラスタ28が識別される。点クラスタ28は、点クラスタ28間の所定の最小距離及び/又は所定の最小クラスタサイズを使用して識別される。
図3B及び図3Cに示すように、第1点クラスタ28a、第2点クラスタ28b、及び第3点クラスタ28cが識別される。各点クラスタについて、重心点30が計算される(図3C)。重心点30のカメラ10までの距離が示される。点クラスタ28aはカメラ10に最も近く、従って対象物体の点クラスタ28aとして規定される。
その後図3Dに示すように、対象物体の点クラスタ28aが分離される。対象物体の点クラスタ28aの高さが計算される。
その後図3Eに示すように、対象物体の点クラスタ28aがz=0平面(即ち全ての点がゼロのz値を有する平面)へと投影される。点クラスタ28aの投影された点を使用して、多数の幾何学形状から四角形32が選択され、四角形は投影された点クラスタ28aを超えることなく、投影された点クラスタ28aの最大数の点を包含するように計算される。四角形32のサイズ及び基底平面26aにわたる点クラスタ28aの高さに基づいて、対象物体16の寸法、即ち体積が計算される。
対象物体16の寸法を計測した結果は、処理ユニット22の画面上に示すことができる。
ここに明確に説明した具体的な実施に関連して本開示を記載したが、ここに開示した明細書を考慮すれば、当業者にとってその他の態様及び実施が明らかとなるであろう。従って、本開示は任意の単一の態様に限定されるべきでなく、添付の請求項に応じた広さ及び範囲において解釈されるべきである。例えば、ここに記載した様々な処置を、ハードウェア、ソフトウェアを用いて又は両方を組み合わせて実施することができる。
10 カメラ
14 反射光
16 対象物体
18 パレット
20 更なる物体
22 処理ユニット
24 点群
26a−26e 平面
28a−28c 点クラスタ
30 重心点
32 四角形
100 3D深度データを獲得するステップ
110 深度データを点群に変換する
120 背景フィルタリング
130 多数平面分割
140 基底床面削除
150 クラスタ抽出
160 回転
170 包含四角形の計算

Claims (18)

  1. 対象物体の寸法を計測するための方法であって、
    ‐物理的な空間を表す、前記対象物体のデータを含む深度データを獲得し、
    ‐前記深度データを点群に変換し、
    ‐前記点群から少なくとも1つの平面を抽出し、
    ‐基底平面を識別し、
    ‐前記基底平面を前記点群から削除し、
    ‐残存する前記点群から少なくとも1つの点クラスタを抽出し、
    ‐前記対象物体の点クラスタを識別し、
    ‐前記対象物体の前記点クラスタに基づいて前記対象物体の体積を推定すること、
    を含む方法。
  2. 請求項1に記載の方法であって、前記基底平面が識別される前に、前記点群から背景を除去することを更に含む、方法。
  3. 請求項2に記載の方法であって、前記点群の点が、該点群の点の少なくとも1つの寸法における値が予め決められた閾値よりも大きい場合に背景として規定される、方法。
  4. 請求項1に記載の方法であって、
    前記基底平面を識別することが、前記点群内の平面を繰り返し識別し、前記識別された平面を保存し、前記識別された平面を前記点群から一時的に除去することを含み、
    前記基底平面が、全ての平面が識別され保存され前記点群から除去された後に、全ての保存され識別された平面のうちから識別される、
    方法。
  5. 請求項4に記載の方法であって、RANSACアルゴリズムが、前記点群内の平面を識別するために使用される、方法。
  6. 請求項1に記載の方法であって、前記対象物体の前記点クラスタを識別することが、最も近い点クラスタを前記対象物体の前記点クラスタとして識別することを含む、方法。
  7. 請求項6に記載の方法であって、
    各点クラスタについて重心点が計算され、
    各点クラスタの距離が、対応する前記重心点に基づいて計算される、
    方法。
  8. 請求項6に記載の方法であって、前記点クラスタが、点クラスタ間の所定の最小距離及び/又は所定の最小クラスタサイズを使用して識別される、方法。
  9. 請求項1に記載の方法であって、
    x、y、及びz方向を有する座標系が使用され、
    前記x、y、及びz方向の各々が、他の両方向に対して垂直であり、
    前記対象物体の前記点クラスタが、前記基底平面がz=0平面と平行になるように回転される、
    方法。
  10. 請求項9に記載の方法であって、前記対象物体の高さが、前記対象物体の前記点クラスタが回転された後に計算される、方法。
  11. 請求項1に記載の方法であって、最小包含平坦幾何学形状が、前記対象物体の前記点クラスタについて計算される、方法。
  12. 請求項11に記載の方法であって、前記対象物体の前記点クラスタが、前記最小包含平坦幾何学形状が計算される前に、前記基底平面又はz=0平面へと投影される、方法。
  13. 請求項1に記載の方法であって、前記深度データが、ハンドヘルド式3Dビジョン装置を使用して獲得される、方法。
  14. 請求項13に記載の方法であって、前記深度データが、前記ハンドヘルド式3Dビジョン装置から携帯用処理装置に転送される、方法。
  15. 請求項1に記載の方法であって、前記対象物体がパレット貨物である、方法。
  16. 請求項1に記載の方法であって、
    バーコードが識別され評価され、
    バーコードが、前記対象物体についての情報を含有する、
    方法。
  17. 対象物体の寸法を計測するためのシステムであって、
    ‐物理的な空間を表す、前記対象物体のデータを含む深度データを獲得するための3Dビジョン装置と、
    ‐前記深度データを処理するための処理装置であって、
    ‐前記深度データを点群に変換し、
    ‐前記点群から少なくとも1つの平面を抽出し、
    ‐基底平面を識別し、
    ‐前記基底平面を前記点群から削除し、
    ‐残存する前記点群から少なくとも1つの点クラスタを抽出し、
    ‐前記対象物体の点クラスタを識別し、
    ‐前記対象物体の前記点クラスタに基づいて前記対象物体の寸法を推定する
    ように構成される処理装置と、
    を含むシステム。
  18. 請求項17に記載のシステムであって、
    前記3Dビジョン装置が、ハンドヘルド式3Dビジョン装置であり、
    前記3Dビジョン装置及び前記処理装置が、単一のハウジングを共有する、
    システム。
JP2017077736A 2016-04-13 2017-04-10 対象物体の寸法を計測するための方法及びシステム Active JP6832780B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/097,511 2016-04-13
US15/097,511 US10262222B2 (en) 2016-04-13 2016-04-13 Method and system for measuring dimensions of a target object

Publications (2)

Publication Number Publication Date
JP2017191605A true JP2017191605A (ja) 2017-10-19
JP6832780B2 JP6832780B2 (ja) 2021-02-24

Family

ID=58448348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017077736A Active JP6832780B2 (ja) 2016-04-13 2017-04-10 対象物体の寸法を計測するための方法及びシステム

Country Status (5)

Country Link
US (1) US10262222B2 (ja)
EP (1) EP3232404B1 (ja)
JP (1) JP6832780B2 (ja)
CN (1) CN107289855A (ja)
DK (1) DK3232404T3 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008861A1 (ja) * 2017-07-05 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
WO2020066847A1 (ja) * 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
KR20200136432A (ko) * 2018-05-18 2020-12-07 이베이 인크. 물리적 객체 경계 검출 기술들 및 시스템들
JP2021036204A (ja) * 2019-08-30 2021-03-04 Kyoto Robotics株式会社 移載対象ワーク高さ計測システム

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902243B2 (en) * 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets
US11518051B2 (en) 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11097422B2 (en) 2017-02-07 2021-08-24 Veo Robotics, Inc. Safety-rated multi-cell workspace mapping and monitoring
US11679504B2 (en) 2018-02-06 2023-06-20 Veo Robotics, Inc. Crosstalk mitigation for multi-cell workspace monitoring
US11541543B2 (en) 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
CA3052961A1 (en) 2017-02-07 2018-08-16 Veo Robotics, Inc. Workspace safety monitoring and equipment control
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
US11945119B2 (en) 2017-02-07 2024-04-02 Veo Robotics, Inc. Crosstalk mitigation for multi-cell workspace monitoring
WO2018185807A1 (ja) * 2017-04-03 2018-10-11 富士通株式会社 距離情報処理装置、距離情報処理方法および距離情報処理プログラム
SE1751405A1 (en) * 2017-11-14 2019-04-02 Cind Ab Method and image processing system for facilitating estimation of volumes of load of a truck
US11830131B2 (en) 2018-02-06 2023-11-28 Veo Robotics, Inc. Workpiece sensing for process management and orchestration
WO2019213760A1 (en) * 2018-05-10 2019-11-14 Daniel Licht System, method, and kit for using triggering objects to create concatenated audio/video
CN108648230A (zh) * 2018-05-14 2018-10-12 南京阿凡达机器人科技有限公司 一种包裹尺寸测量方法、系统、储存介质及移动终端
CN109101967A (zh) * 2018-08-02 2018-12-28 苏州中德睿博智能科技有限公司 基于视觉的目标对象识别与定位方法、终端以及存储介质
CN109213202B (zh) * 2018-08-17 2022-02-08 深圳蓝胖子机器智能有限公司 基于光学伺服的货物摆放方法、装置、设备和存储介质
CN109035330A (zh) * 2018-08-17 2018-12-18 深圳蓝胖子机器人有限公司 箱体拟合方法、设备和计算机可读存储介质
US11254004B2 (en) 2018-08-30 2022-02-22 Veo Robotics, Inc. System identification of industrial robot dynamics for safety-critical applications
EP3844432A4 (en) 2018-08-30 2022-06-15 Veo Robotics, Inc. SYSTEMS AND METHODS FOR AUTOMATIC SENSOR ALIGNMENT AND CONFIGURATION
US10887578B2 (en) 2018-08-30 2021-01-05 Veo Robotics, Inc. Depth-sensing computer vision system
CN109087345A (zh) * 2018-09-06 2018-12-25 上海仙知机器人科技有限公司 基于ToF成像系统的栈板识别方法及自动导引运输车
CN109443196B (zh) * 2018-09-28 2020-07-24 顺丰科技有限公司 一种体积测量方法及系统
CN110008802B (zh) 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
US11543798B2 (en) 2019-02-27 2023-01-03 Veo Robotics, Inc. System architecture for safety applications
CN110044258A (zh) * 2019-03-27 2019-07-23 苏州清研微视电子科技有限公司 货运车车厢空余容量智能检测方法和系统
CN110095062B (zh) * 2019-04-17 2021-01-05 北京华捷艾米科技有限公司 一种物体体积参数测量方法、装置及设备
CN112017202A (zh) * 2019-05-28 2020-12-01 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
US11605177B2 (en) 2019-06-11 2023-03-14 Cognex Corporation System and method for refining dimensions of a generally cuboidal 3D object imaged by 3D vision system and controls for the same
US11335021B1 (en) 2019-06-11 2022-05-17 Cognex Corporation System and method for refining dimensions of a generally cuboidal 3D object imaged by 3D vision system and controls for the same
CN112066892A (zh) * 2019-06-11 2020-12-11 康耐视公司 用于细化由3d视觉系统成像的大体立方形3d物体的尺寸的系统和方法及其控制装置
CN110349195B (zh) * 2019-06-25 2021-09-03 杭州汇萃智能科技有限公司 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质
CN110322515A (zh) * 2019-07-02 2019-10-11 工极智能科技(苏州)有限公司 基于双目立体视觉的工件识别及抓取点提取方法
US11010915B2 (en) * 2019-07-11 2021-05-18 Zebra Technologies Corporation Three-dimensional (3D) depth imaging systems and methods for dynamic container auto-configuration
CN111753609B (zh) * 2019-08-02 2023-12-26 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置及摄像机
CN111127556B (zh) * 2019-11-29 2023-06-13 合刃科技(上海)有限公司 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN112991428A (zh) * 2019-12-02 2021-06-18 顺丰科技有限公司 箱体体积测量方法、装置、计算机设备和存储介质
CN113302654A (zh) * 2019-12-23 2021-08-24 华为技术有限公司 一种图像中物体的空间维度测量方法及装置
CN113065810B (zh) * 2019-12-31 2024-01-26 杭州海康机器人股份有限公司 检测包裹的方法、装置、计算设备、物流系统及存储介质
CN113496142A (zh) * 2020-03-19 2021-10-12 顺丰科技有限公司 物流件的体积测量方法以及装置
CN112396650B (zh) * 2020-03-30 2023-04-07 青岛慧拓智能机器有限公司 一种基于图像和激光雷达融合的目标测距系统及方法
CN113532267B (zh) * 2020-04-15 2023-06-06 深圳市光鉴科技有限公司 基于深度相机的体积测量装置
US11977392B2 (en) * 2020-05-11 2024-05-07 Mobile Industrial Robots Inc. Identifying elements in an environment
CN111457982A (zh) * 2020-05-13 2020-07-28 武汉市异方体科技有限公司 一种一体化的体积测量模块
CN112070759B (zh) * 2020-09-16 2023-10-24 浙江光珀智能科技有限公司 一种叉车托盘检测与定位方法及系统
CN113298866B (zh) * 2021-06-11 2024-01-23 梅卡曼德(北京)机器人科技有限公司 物体分类方法及装置
DE102021118879A1 (de) 2021-07-21 2023-01-26 Zf Cv Systems Global Gmbh Verfahren und System zur Überwachung eines Laderaums
DE102021118874A1 (de) 2021-07-21 2023-01-26 Zf Cv Systems Global Gmbh Verfahren zur Überwachung eines Laderaums
DE102021123581A1 (de) 2021-09-13 2023-03-16 Zf Cv Systems Global Gmbh Verfahren zur Ladungsüberwachung
WO2023192138A1 (en) * 2022-03-26 2023-10-05 Analog Devices, Inc. Methods and systems for performing object dimensioning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242508A (ja) * 2002-02-18 2003-08-29 Advanced Telecommunication Research Institute International クラスタリング方法
JP2006109172A (ja) * 2004-10-06 2006-04-20 Sony Corp 画像処理方法及び画像処理装置
JP2012083157A (ja) * 2010-10-08 2012-04-26 Mitsubishi Electric Corp 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
JP2012137304A (ja) * 2010-12-24 2012-07-19 Beru Techno:Kk 物流システムにおける自動計測装置
JP2013196355A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 物体測定装置、及び物体測定方法
JP2015125685A (ja) * 2013-12-27 2015-07-06 Kddi株式会社 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701005B1 (en) * 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
WO2008128568A1 (en) 2007-04-20 2008-10-30 Softkinetic S.A. Volume recognition method and system
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8933925B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US9396545B2 (en) * 2010-06-10 2016-07-19 Autodesk, Inc. Segmentation of ground-based laser scanning points from urban environment
CN102178530A (zh) * 2011-01-24 2011-09-14 天津大学 基于三维点云数据的人体尺寸自动测量方法
US9338409B2 (en) * 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
US20140192050A1 (en) 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
US9377294B2 (en) * 2013-06-18 2016-06-28 Xerox Corporation Handheld cellular apparatus for volume estimation
CN105096300B (zh) * 2014-05-08 2018-06-12 株式会社理光 对象检测方法和设备
CN104392483A (zh) * 2014-10-17 2015-03-04 上海衣得体信息科技有限公司 一种根据人体扫描仪扫描数据进行三维人体建模的方法
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
US9619775B1 (en) * 2015-09-17 2017-04-11 Shu Saito Machine learning for determination of shipping rules and shipping methods for order fulfillment
US20170142405A1 (en) * 2015-10-21 2017-05-18 Praxik, LLC. Apparatus, Systems and Methods for Ground Plane Extension
US9940730B2 (en) * 2015-11-18 2018-04-10 Symbol Technologies, Llc Methods and systems for automatic fullness estimation of containers
US10156441B2 (en) * 2016-01-05 2018-12-18 Texas Instruments Incorporated Ground plane estimation in a computer vision system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242508A (ja) * 2002-02-18 2003-08-29 Advanced Telecommunication Research Institute International クラスタリング方法
JP2006109172A (ja) * 2004-10-06 2006-04-20 Sony Corp 画像処理方法及び画像処理装置
JP2012083157A (ja) * 2010-10-08 2012-04-26 Mitsubishi Electric Corp 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
JP2012137304A (ja) * 2010-12-24 2012-07-19 Beru Techno:Kk 物流システムにおける自動計測装置
JP2013196355A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 物体測定装置、及び物体測定方法
JP2015125685A (ja) * 2013-12-27 2015-07-06 Kddi株式会社 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008861A1 (ja) * 2017-07-05 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
US10964045B2 (en) 2017-07-05 2021-03-30 Sony Semiconductor Solutions Corporation Information processing device, information processing method, and individual imaging device for measurement of a size of a subject
KR20200136432A (ko) * 2018-05-18 2020-12-07 이베이 인크. 물리적 객체 경계 검출 기술들 및 시스템들
KR102532218B1 (ko) 2018-05-18 2023-05-17 이베이 인크. 물리적 객체 경계 검출 기술들 및 시스템들
US11830199B2 (en) 2018-05-18 2023-11-28 Ebay Inc. Physical object boundary detection techniques and systems
WO2020066847A1 (ja) * 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
JPWO2020066847A1 (ja) * 2018-09-28 2021-08-30 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
JP7249494B2 (ja) 2018-09-28 2023-03-31 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
JP2021036204A (ja) * 2019-08-30 2021-03-04 Kyoto Robotics株式会社 移載対象ワーク高さ計測システム
JP7280655B2 (ja) 2019-08-30 2023-05-24 株式会社日立オートメーション 移載対象ワーク高さ計測システム

Also Published As

Publication number Publication date
DK3232404T3 (da) 2021-07-05
US20170302905A1 (en) 2017-10-19
JP6832780B2 (ja) 2021-02-24
EP3232404B1 (en) 2021-05-19
EP3232404A1 (en) 2017-10-18
US10262222B2 (en) 2019-04-16
CN107289855A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
JP6832780B2 (ja) 対象物体の寸法を計測するための方法及びシステム
JP7433609B2 (ja) 物体識別のための方法および計算システム
JP2011179907A (ja) 位置姿勢計測装置、位置姿勢計測方法およびプログラム
EP3434626A1 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP7394347B2 (ja) 候補エッジを処理するための方法及び計算システム
JP2012002683A (ja) ステレオ画像処理方法およびステレオ画像処理装置
CN116958146B (zh) 3d点云的采集方法及装置、电子装置
KR20180039013A (ko) 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리
JP6817742B2 (ja) 情報処理装置およびその制御方法
US20170109932A1 (en) Content projection apparatus, content projection method, and computer readable storage medium
JP2014120068A (ja) 情報処理装置および情報処理方法
JP2015184054A (ja) 同定装置、方法及びプログラム
CN110207702B (zh) 目标定位的方法及装置
KR101781515B1 (ko) 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법
CN111369611A (zh) 图像像素深度值优化方法及其装置、设备和存储介质
US11244465B2 (en) Point cloud data processing device
CN114170442A (zh) 机器人空间抓取点的确定方法及装置
CN113379826A (zh) 物流件的体积测量方法以及装置
JP6815793B2 (ja) 矩形領域検出方法、矩形領域検出装置及びプログラム
JP6584139B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN114494404A (zh) 物体体积测量方法、系统、装置和介质
CN113592976A (zh) 地图数据的处理方法、装置、家用电器和可读存储介质
CN112837370A (zh) 基于3d包围盒的物体堆叠判断方法、装置及计算设备
CN113084815A (zh) 一种带载机器人的物理尺寸计算方法及装置、机器人
US20220230459A1 (en) Object recognition device and object recognition method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170418

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20170901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180806

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190507

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190507

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190515

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190521

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190712

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20190723

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20191112

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200512

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200901

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20201006

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201028

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201124

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210105

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210202

R150 Certificate of patent or registration of utility model

Ref document number: 6832780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250