JP2019049467A - 距離計測システムおよび距離計測方法 - Google Patents

距離計測システムおよび距離計測方法 Download PDF

Info

Publication number
JP2019049467A
JP2019049467A JP2017173709A JP2017173709A JP2019049467A JP 2019049467 A JP2019049467 A JP 2019049467A JP 2017173709 A JP2017173709 A JP 2017173709A JP 2017173709 A JP2017173709 A JP 2017173709A JP 2019049467 A JP2019049467 A JP 2019049467A
Authority
JP
Japan
Prior art keywords
camera
image
distance
robot
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017173709A
Other languages
English (en)
Inventor
宗征 津田
Muneyuki Tsuda
宗征 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2017173709A priority Critical patent/JP2019049467A/ja
Priority to US16/059,650 priority patent/US20190080471A1/en
Priority to DE102018121481.2A priority patent/DE102018121481A1/de
Priority to CN201811026599.0A priority patent/CN109489558A/zh
Publication of JP2019049467A publication Critical patent/JP2019049467A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37555Camera detects orientation, position workpiece, points of workpiece
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40564Recognize shape, contour of object, extract position and orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】簡単なシステムによって、カメラから撮影する対象物までの距離を測定できる技術を提供する。
【解決手段】対象物OBを撮影して画像を取得するカメラ3と、カメラ3または対象物OBを移動させるロボット2と、ロボット2を制御する制御部4とを備え、制御部4が、カメラ3により取得された画像内における対象物OBの所定位置が画像の中心に配置される2つの異なる撮影位置間で、カメラ3または対象物OBを並進移動させた状態に配置するようにロボット2を動作させる動作制御部42と、2つの撮影位置において、カメラ3により取得された画像内における対象物OBの大きさを算出する大きさ算出部43と、大きさ算出部43により算出された2つの撮影位置における対象物OBのそれぞれの大きさと、2つの撮影位置間の距離とに基づいて、カメラ3から対象物OBまでの距離を算出する距離算出部44とを備える距離計測システム1を提供する。
【選択図】図2

Description

本発明は、距離計測システムおよび距離計測方法に関する。
カメラを用いてカメラから撮影する対象物までの距離を計測する技術として、2台のカメラを用いる方法や、撮影された画像内の対象物の大きさを特定する方法が知られている(例えば、特許文献1参照)。
特開平9−170920号公報
2台のカメラを用いる場合では、2台のカメラ間のキャリブレーションが必要であり、撮影する対象物までの距離を測定するシステムが複雑になってしまう。特許文献1に記載の技術では、カメラ間のキャリブレーションは不要であるものの、カメラの光軸上に手動で対象物を設置すると共に光軸方向に沿ってカメラを搭載した装置を移動させる必要があり、対象物までの正確な距離を測定することが難しい。
本発明は上述した事情に鑑みてなされたものであって、カメラ1台を用いた簡単なシステムによって、カメラから撮影する対象物までの距離を測定できる技術を提供することを目的としている。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、対象物を撮影して画像を取得するカメラと、該カメラまたは前記対象物を移動させるロボットと、該ロボットを制御する制御部とを備え、該制御部が、前記カメラにより取得された前記画像内における前記対象物の所定位置が前記画像の中心に配置される2つの異なる撮影位置間で、前記カメラまたは前記対象物を並進移動させた状態に配置するように前記ロボットを動作させる動作制御部と、2つの前記撮影位置において、前記カメラにより取得された前記画像内における前記対象物の大きさを算出する大きさ算出部と、該大きさ算出部により算出された2つの前記撮影位置における前記対象物のそれぞれの大きさと、2つの前記撮影位置間の距離とに基づいて、前記カメラから前記対象物までの距離を算出する距離算出部とを備える距離計測システムを提供する。
本態様によれば、ロボットがカメラまたは対象物を動かすことにより、カメラから対象物までの距離を異ならせた2つの撮影位置でカメラにより対象物が撮影されてそれぞれ画像が取得される。各撮影位置においては、画像内における対象物の所定位置が画像の中心に配置されるように設定されるため、撮影された対象物は、カメラの光軸上に配置される。また、各撮影位置においてはカメラまたは対象物が並進移動された状態に配置されるため、対象物またはカメラをカメラの光軸方向に沿って並進移動させた前後の状態で画像が取得される。そのため、2つの撮影位置で取得された画像内における対象物のそれぞれの大きさは、カメラから対象物までの距離に比例する。この比例関係を利用することにより、2つの撮影位置での画像内における対象物のそれぞれの大きさと、2つの撮影位置間の距離とを用いて、カメラから対象物までの距離を精度よく算出することができる。
すなわち、本態様によれば、カメラおよび対象物の姿勢を維持したまま、カメラまたは対象物を光軸方向に沿って移動させた前後の2つの画像を容易に取得することができる。その結果、キャリブレーションを必要とする複雑なシステムでなくても、カメラから対象物までの距離を算出できる。また、画像内における対象物の大きさを用いてカメラから対象物まで距離が算出されるため、対象物の実物の大きさの影響を受けずに当該距離を算出できる。
上記態様においては、前記所定位置が、前記対象物の重心であってもよい。
このようにすることで、画像の中心に撮影された対象物の重心以外が配置される場合と比較して、カメラから対象物までのより正確な距離が算出される。
上記態様においては、前記画像内における前記対象物の大きさが、前記対象物の輪郭に基づく最大長さであってもよい。
撮影された対象物の大きさ判定として対象物の輪郭における最大長さが用いられることで、カメラから対象物までの距離の算出における誤差が少なくなる。最大長さとしては輪郭の周長、最大幅寸法などを用いることができる。
上記態様においては、前記画像内における前記対象物の大きさが、該対象物の面積の平方根であってもよい。
撮影された対象物の大きさ判定として対象物の面積の平方根が用いられることで、カメラから対象物までの距離の算出における誤差が少なくなる。
また、本発明の他の態様は、カメラにより取得される画像内における対象物の所定位置が前記画像の中心に配置される第1の撮影位置に前記対象物と前記カメラとが配置されるように、ロボットを動作させて前記対象物または前記カメラを移動させる第1移動ステップと、前記第1の撮影位置において、前記カメラにより前記対象物を撮影して前記画像を取得する第1撮影ステップと、前記第1の撮影位置に対して前記カメラまたは前記対象物を並進移動させて前記カメラにより取得された前記画像内における前記所定位置が前記画像の中心に配置される第2の撮影位置に前記対象物と前記カメラとが配置されるように、ロボットを動作させて前記対象物または前記カメラを移動させる第2移動ステップと、前記第2の撮影位置において、前記カメラにより前記対象物を撮影して前記画像を取得する第2撮影ステップと、前記第1の撮影位置および前記第2の撮影位置において取得された前記画像内における前記対象物のそれぞれの大きさを算出する大きさ算出ステップと、算出された前記画像内における前記対象物のそれぞれの大きさと、前記第1の撮影位置と前記第2の撮影位置との間の距離とに基づいて、前記カメラから前記対象物までの距離を算出する距離算出ステップとを含む距離計測方法を提供する。
本発明によれば、カメラおよび対象物の姿勢を維持したままで、カメラから対象物までの距離をカメラの光軸方向に沿って変化させた2つの撮影位置に容易に配置することができ、その結果、複雑なシステムを用いなくても、カメラから対象物までの距離を測定できる。
本実施形態に係る距離計測システムを示す概略図である。 本実施形態に係る距離計測システムのブロック図である。 カメラにより撮影された画像内における対象物の位置関係を示すイメージ図である。 カメラから対象物までの距離の算出方法を示す説明図である。 カメラから対象物までの距離を算出する距離計測方法のフローチャートである。
本発明の実施形態に係る距離計測システム1について、図面を参照しながら以下に説明する。
図1は、本実施形態に係る距離計測システム1を示す概略図である。距離計測システム1は、6個の軸J1〜J6を有する垂直多関節型ロボット等のロボット2と、ロボット2の先端に取り付けられて対象物OBを撮影するためのカメラ3と、ロボット2の制御とカメラ3により取得された画像の画像処理とを行う制御装置(制御部)4とを備えている。
ロボット2は、床面に固定されたベース21と、鉛直な第1軸J1回りにベース21に対して回転可能に支持された旋回胴22と、水平な第2軸J2回りに旋回胴22に対して回転可能に支持された第1アーム23と、水平な第3軸J3回りに第1アーム23に対して回転可能に支持された第2アーム24と、第3軸J3に直交する第4軸J4回りに第2アーム24に対して回転可能に支持された第1手首要素25と、第4軸J4に直交する第5軸J5回りに第1手首要素25に対して回転可能に支持された第2手首要素26と、第5軸J5に直交する第6軸J6回りに第2手首要素26に対して回転可能に支持された第3手首要素27とを備えている。
6個の軸J1〜J6のそれぞれは、回転駆動するための図示しないモータと、モータの回転角度を検出する図示しないエンコーダとを備えている。カメラ3は、第6軸J6回りに回転する第3手首要素27の先端面に固定されている。図中、符号28は第3手首要素27の先端面に固定されたハンド等のツールである。
制御装置4は、各軸J1〜J6のエンコーダから検出されるモータの回転角度を用いて、モータを回転駆動させるフィードバック制御を行っている。制御装置4は、図示しないCPUと、ROMと、RAMと、メモリとで構成されている。
図2に示すように、制御装置4は、カメラ3により取得された画像に対して画像処理を行う画像処理部41と、ロボットを駆動する動作制御部42と、カメラ3により取得された画像内における対象物OBの大きさを算出する大きさ算出部43と、カメラ3から対象物OBまでの距離を算出する距離算出部44と、各種処理の結果を記憶する記憶部46とを備えている。なお、厳密には、カメラ3から対象物OBまでの距離は、カメラ3のレンズ中心から対象物OBまでの距離であるが、以降では、単に、カメラ3から対象物OBまでの距離と言う。
画像処理部41は、エッジ検出やパターンマッチングを用いることで、カメラ3により取得された画像の中から対象物OBを抽出し、抽出した対象物OBの重心を特定するようになっている。画像処理部41は、取得された画像と、画像内の対象物OBと、対象物OBの重心とを記憶部46に記憶させるようになっている。
動作制御部42は、各種制御信号に基づき、ロボット2の各軸J1〜J6のモータを駆動させることで、ロボット2を動作させる。動作制御部42は、初めに、カメラ3の撮像範囲に対象物OBが含まれる初期位置にロボット2を移動させる。動作制御部42は、カメラ3により取得された画像内における対象物OBの重心が画像の中心に配置されるように、ロボット2を動作させてカメラ3を移動させるようになっている。ロボット2の動作により画像内における対象物OBの重心が画像の中心に配置される第1の撮影位置にカメラ3が配置されると、カメラ3により撮影が行われ、対象物OBを含む第1の画像が取得される。
図3は、カメラ3により撮影された画像内における対象物OBの位置関係を示すイメージ図である。図3に示されたロボット2の初期位置においてカメラ3により取得された画像IM1内では、画像IM1における中心Cに対象物OBの重心Gが配置されていない。この場合に、動作制御部42は、対象物OBの重心Gが画像IM1の中心Cに配置されるように、カメラ3の位置を初期位置から変更するためにロボット2を動作させる。その結果、図3に示された画像IM2のように、対象物OBの重心Gが画像IM2の中心Cに配置されている。
また、動作制御部42は、第1の画像が取得された第1の撮影位置におけるロボット2の各軸J1〜J6の角度情報を記憶部46に記憶させるようになっている。次いで、動作制御部42は、ロボット2を動作させてカメラ3を対象物OBから近づける方向又は離れる方向に並進移動させる。
動作制御部42が、カメラ3が並進移動するようにロボット2を動作させた後に、カメラ3により撮影が行われ、対象物OBを含む画像が取得される。動作制御部42は、取得された画像において、対象物OBの重心Gが画像の中心Cに配置されているか否かを判定する。動作制御部42は、対象物OBの重心Gが取得された画像の中心Cに配置されていると判定した場合、取得された画像が第2の画像として取得され、第2の画像が取得された位置が第2の撮影位置として記憶部46に記憶される。動作制御部42は、第2の撮影位置におけるロボット2の各軸J1〜J6の角度情報を記憶部46に記憶させるようになっている。
動作制御部42は、対象物OBの重心Gが画像の中心Cに配置されていないと判定した場合、図3に示すように、カメラ3により取得された画像内における対象物OBの重心Gが画像の中心Cに配置されるように、ロボット2を動作させてカメラ3を並進移動させる補正を実行するようになっている。対象物OBの重心Gが画像の中心Cに配置されると、カメラ3により撮影が行われ、対象物OBを含む画像が第2の画像として取得される。動作制御部42は、第2の画像が取得された第2の撮影位置におけるロボット2の各軸J1〜J6の角度情報を記憶部46に記憶させるようになっている。
本実施形態の距離計測システム1では、キャリブレーションが行われていないため、ロボット2における第3手首要素27の先端に取り付けられたツール28のツール座標系と、カメラ3の光軸とが予め関係づけられていない。一方で、第1の画像では、対象物OBの重心Gが画像の中心Cに配置されているため、対象物OBの重心Gがカメラ3の光軸上に存在している。対象物OBの重心Gがカメラ3の光軸上に存在している状態から、カメラ3が並進移動するようにロボット2が動作した後に、カメラ3により取得される第2の画像において、対象物OBの重心Gがカメラ3の光軸上に存在している。
すなわち、第1の撮影位置から第2の撮影位置までカメラ3が並進移動するようにロボット2が動作した前後において、カメラ3により撮影された対象物OBは、カメラ3の光軸上に存在している。そのため、第1の撮影位置から第2の撮影位置までの位置の変化は、実質的に、カメラ3の光軸方向に沿った変化とみなすことができる。
なお、本実施形態におけるカメラ3の光軸方向は、カメラ3のレンズ中心と、画像の中心Cとを結んだ直線方向として定義しているが、他の実施形態では、実質的に、定義した光軸方向に沿ってカメラ3と対象物OBとの距離が変化可能であれば、本実施形態と異なる光軸方向が設定されてもよい。
大きさ算出部43は、第1の画像内および第2の画像内における対象物OBの大きさを算出する。本実施形態では、大きさ算出部43は、画像内において対象物OBが占める画素数を面積として算出し、面積の平方根を大きさとして取り扱う。大きさ算出部43は、算出した第1の画像内における対象物OBの大きさおよび第2の画像内における対象物OBの大きさを記憶部46に記憶させるようになっている。
距離算出部44は、記憶部46に記憶された第1の撮影位置と第2の撮影位置とにおけるロボット2の各軸J1〜J6の角度情報を用いて、第1の撮影位置から第2の撮影位置までのカメラ3の光軸方向に沿ったロボット2の移動距離を算出する。
距離算出部44は、算出した移動距離と、第1の画像内における対象物OBの大きさおよび第2の画像内における対象物OBの大きさとを用いて、カメラ3から対象物OBまでの距離を算出する。
図4には、ロボット2が対象物OBに近づいた場合における各種寸法関係が示されている。図4に示すように、光軸方向LAに沿った各距離について、第1の撮影位置P1におけるカメラ3から対象物OBまでの距離を移動前距離L1、第2の撮影位置P2におけるカメラ3から対象物OBまでの距離を移動後距離L2、第1の撮影位置P1から第2の撮影位置P2までロボット2が移動した距離を移動距離(2つの撮影位置間の距離)dL、カメラ3のレンズの焦点距離を焦点距離fとする。また、光軸方向LAに直交する面方向おけるそれぞれの大きさについて、対象物OBの実物の大きさを大きさW、第1の画像内における対象物OBの大きさを大きさW1、第2の画像内における対象物OBの大きさを大きさW2とすると、下記の式(1)〜(3)の関係が成立する。
Figure 2019049467
式(1)〜(3)の式を用いて、対象物OBの実物の大きさWと焦点距離fとを消去すると、第2の撮影位置P2におけるカメラ3から対象物OBまで移動後距離L2は、下記の式(4)のように表すことができる。
Figure 2019049467
次に、カメラ3から対象物OBまでの距離を算出するまでの具体的な処理の一例について、図5に示す距離計測方法のフローチャートに沿って説明する。距離計測処理では、初めに、カメラ3が撮影する範囲に対象物OBが含まれるように、動作制御部42により、ロボット2が初期位置に移動する(ステップS101)。ロボット2の移動後に、カメラにより対象物OBが撮影されて画像が取得される(ステップS102)。
動作制御部42により、カメラ3により取得された画像の中心Cに対象物OBの重心Gが配置されるようにロボット2が動作する(ステップS103)。ロボット2の動作後に、カメラ3により対象物OBを含む画像が取得される(ステップS104)。
動作制御部42は、取得された画像において、対象物OBの重心Gが画像の中心Cに配置されているか否かを判定する(ステップS105)。動作制御部42は、対象物OBの重心Gが画像の中心Cに配置されていないと判定した場合(ステップS105;NO)、対象物OBの重心Gが画像の中心Cに配置されるまで、ステップS103以降の処理を繰り返す。ここで、重心Gが中心Cに配置されているとは、重心Gと中心Cとが一致する場合の他、両者の距離が所定の距離以下に近づいた場合も意味する。
ステップS105の処理において、動作制御部42は、対象物OBの重心Gが画像の中心Cに配置されていると判定した場合(ステップS105;YES)、第1の撮影位置P1における画像として、カメラ3により対象物OBを含む第1の画像が取得される(ステップS106)。
第1の撮影位置P1を示す情報として、動作制御部42により、各軸J1〜J6の角度情報が記憶部46に記憶させる(ステップS107)。大きさ算出部43は、第1の画像内における対象物OBの大きさW1を算出する(ステップS108)。
カメラ3の略光軸方向LAにカメラ3が並進移動するように、動作制御部42により、ロボット2が動作する(ステップS109)。ロボット2によるカメラ3の並進移動後に、カメラ3により対象物OBを含む画像が取得される(ステップS110)。動作制御部42は、取得された画像において、対象物OBの重心Gが画像の中心Cに配置されているか否かを判定する(ステップS111)。動作制御部42は、対象物OBの重心Gが画像の中心Cに配置されていないと判定した場合(ステップS111;NO)、対象物OBの重心Gが画像の中心Cに配置されるまで、ステップS109以降の処理を繰り返す。
ステップS111の処理において、動作制御部42は、対象物OBの重心Gが画像の中心Cに配置されていると判定した場合(ステップS111;YES)、第2の撮影位置P2における画像として、カメラ3により対象物OBを含む第2の画像が取得される(ステップS112)。
第2の画像が取得されると(ステップS112)、動作制御部42は、第2の画像が取得されたロボット2の第2の撮影位置P2を示す情報として、各軸J1〜J6の角度情報を記憶部46に記憶させる(ステップS113)。大きさ算出部43は、ステップS108の処理と同様に、第2の画像内における対象物OBの大きさW2を算出する(ステップS114)。
距離算出部44は、ロボット2の第1の撮影位置P1を示す情報と第2の撮影位置P2と示す情報とに基づいて算出したロボット2の移動距離dLと、第1の画像内における対象物OBの大きさW1および第2の画像内における対象物OBの大きさW2とに対して、上記の式(4)を用いることで、第2の撮影位置P2におけるカメラ3から対象物OBまでの移動後距離L2を算出し(ステップS115)、距離計測方法が終了する。
このように構成された本実施形態に係る距離計測システム1によれば、第1の撮影位置P1から第2の撮影位置P2までカメラ3が並進移動するようにロボット2が動作する場合に、いずれの撮影位置でも、画像内における対象物OBの重心Gが画像の中心Cに配置されている。そのため、カメラ3の並進移動前後で、実質的に、カメラ3が光軸方向LAに沿って移動し、かつ、対象物OBの重心Gがカメラ3の光軸上に配置されている。これにより、第1の撮影位置P1から第2の撮影位置P2までに変化したときのカメラ3から対象物OBまでの移動距離dLは、カメラ3の光軸方向LAに沿って変化している。第1の撮影位置P1および第2の撮影位置P2で撮影された画像内における対象物OBの大きさW1,W2と、カメラ3が並進移動するようにロボット2が移動した移動距離dLとが用いられることで、第2の撮影位置P2におけるカメラ3から対象物OBまでの移動後距離L2が算出される。
したがって、この距離計測システム1によれば、予めキャリブレーションが行われなくても、カメラ3から対象物OBまでの距離を測定できる。また、撮影された画像内における対象物OBの大きさW1,W2を用いてカメラ3から対象物OBまで移動後距離L2が算出されるため、対象物OBの実物の大きさWの影響を受けずに移動後距離L2を算出できる。
また、本実施形態に係る距離計測システム1では、撮影された画像の中心Cに対象物OBの重心Gが配置されているため、カメラ3から対象物OBまでのより正確な移動後距離L2が算出される。
また、本実施形態に係る距離計測システム1では、撮影された画像内における対象物OBの大きさW1,W2として面積の平方根が用いられているため、カメラ3から対象物OBまでの移動後距離L2の算出における誤差が少なくなる。
なお、上記実施形態では、距離計測システム1で算出されるカメラ3から対象物OBまで距離の測定方法の一態様について説明したが、態様については、種々変形可能である。
例えば、ロボット2のツール28とは異なる場所(例えば、床面など)に固定されたカメラ3に対して、ロボット2が把持した対象物OBが移動させられてもよい。
上記実施形態では、動作制御部42により、画像の中心Cに対象物OBの重心Gが配置されるようにロボット2が動作したが、必ずしも対象物OBの重心Gが画像の中心Cに配置される必要はない。例えば、対象物OBが立方体だった場合に、対象物OBの特徴点としての頂点が所定位置として抽出され、動作制御部42により、当該頂点が撮影された画像の中心Cに配置されるように、ロボット2が動作してもよい。
上記実施形態では、対象物OBの大きさW1,W2として、画像の面積の平方根が用いられたが、対象物OBの大きさW1,W2の指標については種々変形可能である。例えば、対象物OBの大きさW1,W2として、対象物OBの輪郭の最大長さが用いられてもよいし、2つの特徴点を結んだ直線長さが用いられてもよい。
本発明において、カメラ3の光軸方向LAに沿ってカメラ3が並進移動するようにロボット2が動作することは、必ずしも、ロボット2の移動経路がカメラ3の光軸方向LAから外れないで移動することのみに限定されない。上記実施形態では、動作制御部42は、カメラ3の光軸方向LAに沿った移動距離dLとして、移動前後のロボット2の第1の撮影位置P1と第2の撮影位置P2とを用いて算出している。そのため、ロボット2が第1の撮影位置P1から第2の撮影位置P2までに移動する間にカメラ3の光軸上から大きく外れたとしても、図5のステップS109からステップS111までのような補正処理が行われることにより、第1の撮影位置P1から第2の撮影位置P2に向かってカメラ3が並進移動するようなロボット2の動作は、実質的に、カメラ3の光軸方向LAに沿っているように設定されている。
また、第1の撮影位置P1から第2の撮影位置P2に向かってカメラ3が並進移動するようにロボット2が動作する場合の他、第1の撮影位置P1におけるカメラ3の姿勢と第2の撮影位置P2におけるカメラ3の姿勢とが並進移動した関係となっていれば、2つの撮影位置間におけるロボット2の動作は任意でよい。
図5に示すフローチャートでは、カメラ3により第1の画像が取得された後に第1画像内における対象物OBの大きさW1が算出されて、カメラ3により第2の画像が取得された後に第2画像内における対象物OBの大きさW2が算出されたが、対象物OBの大きさW1,W2が算出されるステップは、図5のフローチャートの順番に限られない。例えば、第1画像内における対象物OBの大きさW1と第2の画像内における対象物OBの大きさW2とが算出されるステップは、カメラ3から対象物OBまでの移動後距離L2が算出される直前のステップにおいて行われてもよい。
1 距離計測システム
2 ロボット
3 カメラ
4 制御装置(制御部)
42 動作制御部
43 大きさ算出部
44 距離算出部
IM1,IM2 画像
C 画像の中心
G 対象物の重心
dL 移動距離(2つの撮影位置間の距離)
L1 移動前距離
L2 移動後距離(カメラから対象物までの距離)
OB 対象物
P1 第1の撮影位置
P2 第2の撮影位置
W 対象物の実物の大きさ
W1,W2 画像内における対象物の大きさ
S103 第1移動ステップ
S106 第1撮影ステップ
S109 第2移動ステップ
S112 第2撮影ステップ
S108,S114 大きさ算出ステップ
S115 距離算出ステップ
本態様によれば、ロボットがカメラまたは対象物を動かすことにより、カメラから対象物までの距離を異ならせた2つの撮影位置でカメラにより対象物が撮影されてそれぞれ画像が取得される。各撮影位置においては、画像内における対象物の所定位置が画像の中心に配置されるように設定されるため、撮影された対象物は、カメラの光軸上に配置される。また、各撮影位置においてはカメラまたは対象物が並進移動された状態に配置されるため、対象物またはカメラをカメラの光軸方向に沿って並進移動させた前後の状態で画像が取得される。そのため、2つの撮影位置で取得された画像内における対象物のそれぞれの大きさは、カメラから対象物までの距離に比例する。この関係を利用することにより、2つの撮影位置での画像内における対象物のそれぞれの大きさと、2つの撮影位置間の距離とを用いて、カメラから対象物までの距離を精度よく算出することができる。

Claims (5)

  1. 対象物を撮影して画像を取得するカメラと、
    該カメラまたは前記対象物を移動させるロボットと、
    該ロボットを制御する制御部とを備え、
    該制御部が、前記カメラにより取得された前記画像内における前記対象物の所定位置が前記画像の中心に配置される2つの異なる撮影位置間で、前記カメラまたは前記対象物を並進移動させた状態に配置するように前記ロボットを動作させる動作制御部と、2つの前記撮影位置において、前記カメラにより取得された前記画像内における前記対象物の大きさを算出する大きさ算出部と、該大きさ算出部により算出された2つの前記撮影位置における前記対象物のそれぞれの大きさと、2つの前記撮影位置間の距離とに基づいて、前記カメラから前記対象物までの距離を算出する距離算出部とを備える距離計測システム。
  2. 前記所定位置が、前記対象物の重心である請求項1に記載の距離計測システム。
  3. 前記画像内における前記対象物の大きさが、前記対象物の輪郭に基づく最大長さである請求項1または請求項2に記載の距離計測システム。
  4. 前記画像内における前記対象物の大きさが、該対象物の面積の平方根である請求項1または請求項2に記載の距離計測システム。
  5. カメラにより取得される画像内における対象物の所定位置が前記画像の中心に配置される第1の撮影位置に前記対象物と前記カメラとが配置されるように、ロボットを動作させて前記対象物または前記カメラを移動させる第1移動ステップと、
    前記第1の撮影位置において、前記カメラにより前記対象物を撮影して前記画像を取得する第1撮影ステップと、
    前記第1の撮影位置に対して前記カメラまたは前記対象物を並進移動させて前記カメラにより取得された前記画像内における前記所定位置が前記画像の中心に配置される第2の撮影位置に前記対象物と前記カメラとが配置されるように、ロボットを動作させて前記対象物または前記カメラを移動させる第2移動ステップと、
    前記第2の撮影位置において、前記カメラにより前記対象物を撮影して前記画像を取得する第2撮影ステップと、
    前記第1の撮影位置および前記第2の撮影位置において取得された前記画像内における前記対象物のそれぞれの大きさを算出する大きさ算出ステップと、
    算出された前記画像内における前記対象物のそれぞれの大きさと、前記第1の撮影位置と前記第2の撮影位置との間の距離とに基づいて、前記カメラから前記対象物までの距離を算出する距離算出ステップとを含む距離計測方法。
JP2017173709A 2017-09-11 2017-09-11 距離計測システムおよび距離計測方法 Pending JP2019049467A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017173709A JP2019049467A (ja) 2017-09-11 2017-09-11 距離計測システムおよび距離計測方法
US16/059,650 US20190080471A1 (en) 2017-09-11 2018-08-09 Distance measurement system and distance measurement method
DE102018121481.2A DE102018121481A1 (de) 2017-09-11 2018-09-04 Entfernungsmesssystem und Entfernungsmessverfahren
CN201811026599.0A CN109489558A (zh) 2017-09-11 2018-09-04 距离测量系统和距离测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017173709A JP2019049467A (ja) 2017-09-11 2017-09-11 距離計測システムおよび距離計測方法

Publications (1)

Publication Number Publication Date
JP2019049467A true JP2019049467A (ja) 2019-03-28

Family

ID=65631266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017173709A Pending JP2019049467A (ja) 2017-09-11 2017-09-11 距離計測システムおよび距離計測方法

Country Status (4)

Country Link
US (1) US20190080471A1 (ja)
JP (1) JP2019049467A (ja)
CN (1) CN109489558A (ja)
DE (1) DE102018121481A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10872626B2 (en) 2018-03-06 2020-12-22 Western Digital Technologies, Inc. MAMR stack shape optimization for magnetic recording
US10839837B2 (en) * 2018-05-22 2020-11-17 International Business Machines Corporation Determining span expansion or contraction between features and structures in thin films
CN110095072A (zh) * 2019-06-14 2019-08-06 厦门市计量检定测试院 Ccd在线式尺寸测量系统的校准组件及其复位方法
JP7414850B2 (ja) * 2020-01-14 2024-01-16 ファナック株式会社 ロボットシステム
CN111637837B (zh) * 2020-06-03 2022-04-08 龙永南 一种单目摄像头测量物体尺寸及距离的方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561546A (ja) * 1991-09-03 1993-03-12 Mitsubishi Heavy Ind Ltd 画像処理による測距機構
JPH09170920A (ja) * 1995-12-21 1997-06-30 Toshiba Corp 距離測定方法及びその装置並びに移動装置
JP2004150814A (ja) * 2002-10-28 2004-05-27 Toyota Motor Corp 撮像位置調整方法および撮像位置調整装置
JP2015018485A (ja) * 2013-07-12 2015-01-29 株式会社ニコン 電子制御装置、制御方法、及び制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561546A (ja) * 1991-09-03 1993-03-12 Mitsubishi Heavy Ind Ltd 画像処理による測距機構
JPH09170920A (ja) * 1995-12-21 1997-06-30 Toshiba Corp 距離測定方法及びその装置並びに移動装置
JP2004150814A (ja) * 2002-10-28 2004-05-27 Toyota Motor Corp 撮像位置調整方法および撮像位置調整装置
JP2015018485A (ja) * 2013-07-12 2015-01-29 株式会社ニコン 電子制御装置、制御方法、及び制御プログラム

Also Published As

Publication number Publication date
US20190080471A1 (en) 2019-03-14
DE102018121481A1 (de) 2019-03-28
CN109489558A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN108109174B (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和系统
JP2019049467A (ja) 距離計測システムおよび距離計測方法
EP2543483B1 (en) Information processing apparatus and information processing method
US9672630B2 (en) Contour line measurement apparatus and robot system
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP6734253B2 (ja) ワークを撮像する視覚センサを備える撮像装置
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP2020011339A5 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP6317618B2 (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
JP6520451B2 (ja) 外観撮影装置及び外観撮影方法
JP2013526423A (ja) マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法
JP7353757B2 (ja) アーチファクトを測定するための方法
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
JP2010112731A (ja) ロボットの座標の結合方法
KR102451791B1 (ko) 영상 내 물체의 위치 추정 시스템 및 방법
JP4918675B2 (ja) 3次元座標測定方法
CN113733078B (zh) 机械臂精调控制量判读方法、计算机可读存储介质
WO2022124232A1 (ja) 画像処理システム及び画像処理方法
Cheng et al. New method and system of automatically moving a CMM probe tip into holes with submillimeter diameter and high aspect ratio
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
WO2022244212A1 (ja) 視覚センサにて撮像された画像に基づいて3次元の位置を算出する撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181119

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190219

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190521