JP2013160622A - Three-dimensional distance measurement system, control method therefor and program - Google Patents
Three-dimensional distance measurement system, control method therefor and program Download PDFInfo
- Publication number
- JP2013160622A JP2013160622A JP2012022436A JP2012022436A JP2013160622A JP 2013160622 A JP2013160622 A JP 2013160622A JP 2012022436 A JP2012022436 A JP 2012022436A JP 2012022436 A JP2012022436 A JP 2012022436A JP 2013160622 A JP2013160622 A JP 2013160622A
- Authority
- JP
- Japan
- Prior art keywords
- distance information
- imaging
- captured
- projection
- measurement system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、被測定物にパターン画像を投影し、そのパターン画像を撮像することによって距離情報を算出する3次元距離計測システム、その制御方法及びプログラムに関する。 The present invention relates to a three-dimensional distance measurement system that projects distance information by projecting a pattern image onto an object to be measured and images the pattern image, a control method thereof, and a program.
近年は、生産現場において組立の自動化が進み、ロボットによる製品の組立が行われている。製品に使用される部品には様々な形状があるが、正確に組立を行うには、ロボットに部品の形状や部品がどのような姿勢で置かれているのかを知らせて把持させる必要がある。
部品の形状や姿勢を知るために、投影装置により部品にパターン画像を投影し、そのパターン画像を撮像装置で撮像した画像から、部品までの距離や位置・姿勢を算出する技術が知られている。当該部品までの距離や位置・姿勢をロボットへフィードバックすることで、ロボット動作の制御を行う。この場合に、誤算出した距離や位置・姿勢をロボットへフィードバックすると、ロボットが想定しない動きを行ってしまうことになる。
特許文献1には、3次元形状検出装置において、対象物体を撮像した画像が、異常状態となった際に、この異常状態により対象物体の3次元形状を誤導出するのを防止する技術が開示されている。
In recent years, assembly automation has progressed in production sites, and products are assembled by robots. There are various shapes for parts used in products, but in order to accurately assemble, it is necessary to let the robot know and grasp the shape of the part and the posture in which the part is placed.
In order to know the shape and orientation of a component, a technique for projecting a pattern image onto the component by a projection device and calculating the distance, position and orientation to the component from an image obtained by capturing the pattern image with the imaging device is known. . The robot operation is controlled by feeding back the distance, position and orientation to the part to the robot. In this case, if the erroneously calculated distance or position / posture is fed back to the robot, the robot will perform an unexpected movement.
Patent Document 1 discloses a technique for preventing a three-dimensional shape of a target object from being erroneously derived by the abnormal state when an image obtained by capturing the target object is in an abnormal state in the three-dimensional shape detection apparatus. Has been.
投影装置において光源が点灯しなかったり、空間光変調器が正常に動作しなかったり等、異常が発生したまま撮像を行うと、所望の撮像画像ではない撮像画像を計測アルゴリズムを実行する情報処理装置に送信してしまうことになる。その結果、計測アルゴリズムで正確な距離情報を算出することができず、誤った出力を行ってしまう。
また、計測アルゴリズムを実行する情報処理装置に、撮像画像が正常であるか否かの判断を行わせるようにすると、当該情報処理装置の処理負荷が増え、処理の長時間化に繋がってしまう。
An information processing device that executes a measurement algorithm for a captured image that is not a desired captured image when imaging is performed with an abnormality such as a light source not being turned on or a spatial light modulator not operating normally in the projection device Will be sent to. As a result, accurate distance information cannot be calculated by the measurement algorithm, and erroneous output is performed.
Further, if the information processing apparatus that executes the measurement algorithm is made to determine whether or not the captured image is normal, the processing load on the information processing apparatus increases, leading to a longer processing time.
本発明は上記のような点に鑑みてなされたものであり、正確な距離情報を算出できるようにするとともに、計測アルゴリズムを実行するコンピュータ装置等の距離情報算出手段の処理負荷を低減させることを目的とする。 The present invention has been made in view of the above points, and is capable of calculating accurate distance information and reducing the processing load of distance information calculation means such as a computer device that executes a measurement algorithm. Objective.
本発明の3次元距離計測システムは、被測定物にパターン画像を投影する投影装置と、前記投影装置により前記被測定物に投影したパターン画像を撮像する撮像装置と、前記撮像装置で撮像した画像を用いて距離情報を算出する距離情報算出手段と、前記投影装置における異常の有無を判断し、異常であると判断した場合、前記撮像装置による撮像を停止させる制御手段とを備えたことを特徴とする。 The three-dimensional distance measurement system of the present invention includes a projection device that projects a pattern image onto a measurement object, an imaging device that images the pattern image projected onto the measurement object by the projection device, and an image captured by the imaging device. A distance information calculation means for calculating distance information using a control means, and a control means for determining whether or not there is an abnormality in the projection apparatus and stopping the imaging by the imaging apparatus when it is determined that there is an abnormality. And
本発明によれば、投影装置に異常がないときの撮像画像だけが距離情報算出手段に送信されるので、距離情報算出手段において正確な距離情報を算出することが可能となる。また、距離情報算出手段に撮像画像が正常であるか否かの判断を行わせないので、距離情報算出手段の処理負荷を低減させることが可能となる。 According to the present invention, since only the captured image when there is no abnormality in the projection apparatus is transmitted to the distance information calculation unit, it is possible to calculate accurate distance information in the distance information calculation unit. In addition, since the distance information calculation unit does not determine whether the captured image is normal, it is possible to reduce the processing load of the distance information calculation unit.
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
(第1の実施形態)
図1に、第1の実施形態に係る3次元距離計測システム101の構成を示す。
102はコンピュータ装置(以下、PCと記す)であり、距離情報を算出する計測アルゴリズムを実行する距離情報算出手段として機能する。PC102は、距離情報の算出を行うだけでなく、パターン画像の作成や、3次元距離計測装置103を駆動する指示(計測開始指示)も行う。
Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
(First embodiment)
FIG. 1 shows a configuration of a three-dimensional
103はPC102に接続された3次元距離計測装置であり、プロジェクタ104及びカメラ105を含んで構成される。プロジェクタ104は、被測定物に縞状の、いわゆるストライプパターンのパターン画像を投影(投射)する投影装置である。カメラ105は、プロジェクタ104により被測定物に投影したパターン画像を撮像する撮像装置である。
3次元距離計測システム101において、PC102では、3次元距離計測装置103で取得した画像から三角測量の原理に基づいて被測定物までの距離情報を算出する。距離情報とは、被測定物のカメラ105からの距離や表面凹凸等奥行き方向の距離である。本実施形態では、プロジェクタ104で投影する縞の幅を変化させて、そのパターン画像をカメラ105で撮像し、撮像した画像から場所ごとに符号化する空間符号化と呼ばれる手法を用いる。
In the three-dimensional
図2は、第1の実施形態に係る3次元距離計測装置103の詳細な構成を示す図である。PC102で作成された任意のパターン画像は、制御回路201を介してプロジェクタ104に画像信号として送信される。制御回路201は、プロジェクタ104とカメラ105とを同期させる制御を行う制御手段である。本実施形態では、PC102でパターン画像を作成する例を示したが、パターン画像の作成は、信号発生器等のパターン画像発生器や同様の機能を有する装置を用いても良い。
FIG. 2 is a diagram showing a detailed configuration of the three-dimensional
プロジェクタ104には、2次元空間光変調器であるパネル202、光源としてのLED203、LED203に設けられた電流モニタ204、及び投射レンズ205が組み込まれている。パネル202で表示したパターン画像はLED203によって照明され、投射レンズ205を介して被測定物に投影される。
The
本実施形態では、パネル202には反射型液晶が使用されており、入力する画像に応じた任意のパターン画像を表示することができる。パネル202としては、反射型液晶以外でも、DMDや強誘電液晶のような同様の機能を有するものであれば、この限りではない。
In the present embodiment, a reflective liquid crystal is used for the
LED203には検出手段として電流モニタ204が設けられており、LED203に電流が流れているか否かを検出することができる。本実施形態では、電流モニタ204にはホール素子を利用したものが使用されているが、電流が流れているか否かを検出できるものであれば、その他のデバイスを利用しても良い。また、電流モニタ204は、LED203を駆動する図示しない駆動回路に設けられても良い。電流モニタ204の信号は、制御回路201に入力される。制御回路201は、LED203に点灯信号を送信したときに、電流モニタ204から電流を検出したとの信号(以下、検出信号と称する)が戻ってこない場合、LED203が異常であると判断して、カメラ105に撮像停止信号を送信する。すなわち、制御回路201は、電流モニタ204の検出結果に応じて、LED203が正常に動作しているか否か、具体的には点灯すべきときに点灯しているか否かを判断する。なお、LED203が点灯しているか否かを検出できるものであれば、PD(Photo Detector)のような光量モニタを使用しても良く、限定されるものではない。
The
カメラ105としては、広く知られているCCD(Charge Coupled Device image sensor)やCMOS(Complementary Metal Oxide Semiconductor)の撮像素子を使用したカメラを用いれば良いが、同様の機能を有するものであれば、この限りではない。また、カメラ105は、モノクロカメラでも、カラーカメラでも良い。
As the
上述した構成の3次元距離計測装置103では、制御回路201の制御下で、PC102から送信されてきたパターン画像をパネル202で表示し、LED203が点灯することでパターン画像を被測定物に投影し、パターン画像が投影されたタイミングに合わせてカメラ105で撮像する。1回の距離情報を算出するのに複数枚、本実施形態では20枚のパターン画像を用いる。パターン画像の枚数はこの限りでなく、異なる枚数から1回の距離情報を算出しても構わない。3次元距離計測装置103は、PC102からのパターン画像の全てを一度に受信しても良いし、パターン画像を1枚投影した後に、次のパターン画像をPC102から受信しても良い。
In the three-dimensional
ここで、PC102から3次元距離計測装置103に計測開始指示が送信され、制御回路201からLED203に点灯信号が送信されたときに、LED203になんらかの異常が発生して点灯しない場合が考えられる。制御回路201からは、プロジェクタ104にパターン画像を投影する信号とLED203の点灯信号が送信され、撮像するタイミングに合わせてカメラ105に撮像信号が送信される。しかし、LED203が点灯しない場合は、パターン画像が投影されず、いわゆる黒画面が投影された状態になる。そのため、カメラ105による撮像画像も全画面において黒い画像が撮像されて、それがPC102に送信されることとなる。この場合、撮像画像を受け取ったPC102は、あくまで距離情報を算出しようとして、誤った距離情報を算出することになる。ここでは詳細に述べないが、3次元距離計測システム101による距離情報を用いて、ビジョンフィードバックとして自動組立ロボットを駆動制御することも考えられる。この場合、PC102で誤った距離情報を算出し、ロボットの駆動制御にフィードバックを行うと、ロボットが予期せぬ動きをすることになる。その結果、組立に使用する部品を破壊してしまう、もしくはロボット自体が何かと衝突することで損傷してしまうことに繋がってしまう。
Here, when a measurement start instruction is transmitted from the
このようなロボットの誤動作を防ぐためには、PC102に撮像画像が正常であるか否かの判断を行わせる方法が考えられる。しかしながら、撮像したパターン画像が所望のパターン画像であるか否かを精度よく判断するためには、撮像画像の全画素をスキャンして確認する必要がある。そのため、計測アルゴリズムを実行するPC102の処理負荷が増え、迅速な計測を行うことが困難となる。
In order to prevent such a malfunction of the robot, a method of causing the
そこで、本実施形態では、制御回路201からLED203に点灯信号を送信したときに、電流モニタ204から検出信号が戻ってこない場合、LED203が異常である(点灯すべきときに点灯していない)と判断する。制御回路201は、LED203が異常であると判断すると、カメラ105に撮像停止信号を送信する。これにより、カメラ105による撮像が停止され、カメラ105からPC102に撮像画像が送信されることも停止される。このようにしたプロジェクタ104の異常時対応より、PC102に距離情報を誤算出する撮像画像が送信されることを防ぐことが可能になる。
Therefore, in this embodiment, when a detection signal is not returned from the
さらに、前述した撮像の停止が、PC102において距離情報の算出途中であった場合の処置について述べる。PC102では、一定の期間に撮像画像が送信されてこなかった場合はタイムアウト処理を行い、撮像画像がカメラ105から送信されてくるのを待機するのではなく、距離情報の算出処理を中止する。さらに、途中まで距離情報の算出を行っていたデータを破棄して、最初の撮像画像が送信されてくる前の状態となるようにリセットし、計測を再開した際に、距離情報を誤算出することを防止する。
Furthermore, a procedure when the above-described stop of imaging is in the middle of calculation of distance information in the
以上述べた3次元距離計測システム101の動作を、図3のフローチャートを参照して説明する。
ステップS301で、PC102から3次元距離計測装置103にパターン画像とLED203の点灯時間等の計測条件を含んだ計測開始指示が送信される。
The operation of the three-dimensional
In step S <b> 301, a measurement start instruction including a pattern image and measurement conditions such as the lighting time of the
ステップS302で、PC102からの計測開始指示を受信した制御回路201は、プロジェクタ104にパターン画像とLED203の点灯信号を送信する。プロジェクタ104は、制御回路201からの信号に基づいて、パターン画像を投影する。また、制御回路201は、カメラ105に、プロジェクタ104の投影タイミングと同期させるようにした撮像信号を送信する。カメラ105は、制御回路201からの撮像信号に基づいて、投影されたパターン画像を撮像する。
In step S <b> 302, the
ステップS303で、制御回路201は、プロジェクタ104がパターン画像を投影する際に、電流モニタ204から検出信号が送信されてきたか否かを判断する。すなわち、LED203が正常に動作しているか否か、具体的には点灯すべきときに点灯しているか否かを判断する。
In step S303, the
ステップS303において電流モニタ204から検出信号が送信されていれば、すなわちLED203が正常に動作していれば、ステップS304に移る。
ステップS304で、カメラ105で撮像したパターン画像をPC102に送信し、ステップS305に移る。
ステップS305で、20枚のパターン画像から1回の距離情報を算出するため、制御回路201は、20枚のパターン画像を投影して撮像したか否かを判断する。20枚のパターン画像を撮像してPC102に送信していなければ、ステップS302戻り、送信していれば、次のステップS306に移る。
ステップS306で、PC102は、距離情報を算出するための20枚のパターン画像から、計測アルゴリズムにおいて距離情報を算出し、計測を終了する。
If a detection signal is transmitted from the
In step S304, the pattern image captured by the
In step S305, in order to calculate one distance information from the 20 pattern images, the
In step S306, the
一方、ステップS303において電流モニタ204から検出信号が送信されていなければ、すなわちLED203が正常に動作していなければ、ステップS307に移る。
ステップS307で、制御回路201は、カメラ105に撮像停止信号を送信し、撮像を停止させ、ステップS308に移る。
ステップS308で、PC102は、カメラ105から一定の時間に撮像画像が送信されてこないために、タイムアウト処理を行い、距離情報の算出処理を中止し、次のステップS309に移る。
ステップS309で、PC102は、計測アルゴリズムにおいて途中まで距離情報の算出を行っていたデータを破棄して、最初の撮像画像が送信されてくる前の状態となるようにリセットして、次の計測に備えた状態に戻して、計測を終了する。
On the other hand, if the detection signal is not transmitted from the
In step S307, the
In step S308, since the captured image is not transmitted from the
In step S309, the
以上説明したように、LED203に異常がないときの撮像画像だけがPC102に送信されるので、PC102において正確な距離情報を算出することが可能となる。また、PC102に撮像画像が正常であるか否かの判断を行わせないので、PC102の処理負荷を低減させることができる。
As described above, since only the captured image when there is no abnormality in the
(第2の実施形態)
次に、第2の実施形態について説明する。3次元距離計測システム101の基本的な構成は第1の実施形態と同様であり、以下では同じ構成要素には同一の符号を付し、その説明は省略する。
(Second Embodiment)
Next, a second embodiment will be described. The basic configuration of the three-dimensional
図4は、第2の実施形態に係る3次元距離計測装置103の詳細な構成を示す図である。本実施形態では、電流モニタ204に加えて、2次元空間光変調器であるパネル202による光を検出する光検出手段としてPD401が設けられている。パネル202で形成されたパターン画像が投影される光路の途中にハーフミラー402を配置し、パターン画像による光束がレンズ403を介してPD401に集光する構成となっている。電流モニタ204の信号及びPD401の信号は、制御回路201に入力される。
FIG. 4 is a diagram illustrating a detailed configuration of the three-dimensional
本実施形態では、パターン画像を投影するときに、電流モニタ204でLED203が点灯していることを確認しつつ、PD401で光検出を行うことでパネル202が正常に動作しているかのモニタリングを行っている。
すなわち、制御回路201は、LED203に点灯信号を送信したときに、電流モニタ204から電流を検出したとの信号(以下、検出信号と称する)が戻ってこない場合、LED203が異常であると判断して、カメラ105に撮像停止信号を送信する。すなわち、制御回路201は、電流モニタ204の検出結果に応じて、LED203が正常に動作しているか否か、具体的には点灯すべきときに点灯しているか否かを判断する。
また、LED203に点灯信号を送信して、電流モニタ204から検出信号が戻ってきた場合でも、PD401からパネル202によるパターン画像の光束を検出したとの信号(以下、検出信号と称する)が戻ってこない場合、パネル202が異常であると判断して、カメラ105に撮像停止信号を送信する。すなわち、制御回路201は、PD401の検出結果に応じて、パネル202が正常に動作しているか否かを判断する。さらには、投影しているパターンの全光束に対応した信号が検出できているかを確認することで、所望のパターンが投影されているかを判断することも可能である。
これにより、カメラ105による撮像が停止され、カメラ105からPC102に撮像画像が送信されることも停止される。このようにしたプロジェクタ104の異常時対応より、PC102に距離情報を誤算出する撮像画像が送信されることを防ぐことが可能になる。
In this embodiment, when projecting a pattern image, the
That is, the
Further, even when a lighting signal is transmitted to the
Thereby, the imaging by the
さらに、前述した撮像の停止が、PC102において距離情報の算出途中であった場合の処置について述べる。PC102では、一定の期間に撮像画像が送信されてこなかった場合はタイムアウト処理を行い、撮像画像がカメラ105から送信されてくるのを待機するのではなく、距離情報の算出処理を中止する。さらに、途中まで距離情報の算出を行っていたデータを破棄して、最初の撮像画像が送信されてくる前の状態となるようにリセットし、計測を再開した際に、距離情報を誤算出することを防止する。
Furthermore, a procedure when the above-described stop of imaging is in the middle of calculation of distance information in the
以上述べた3次元距離計測システム101の動作を、図5のフローチャートを参照して説明する。
ステップS501で、PC102から3次元距離計測装置103にパターン画像とLED203の点灯時間等の計測条件を含んだ計測開始指示が送信される。
The operation of the three-dimensional
In step S501, a measurement start instruction including a measurement condition such as a pattern image and the lighting time of the
ステップS502で、PC102からの計測開始指示を受信した制御回路201は、プロジェクタ104にパターン画像とLED203の点灯信号を送信する。プロジェクタ104は、制御回路201からの信号に基づいて、パターン画像を投影する。また、制御回路201は、カメラ105に、プロジェクタ104の投影タイミングと同期させるようにした撮像信号を送信する。カメラ105は、制御回路201からの撮像信号に基づいて、投影されたパターン画像を撮像する。
In step S <b> 502, the
ステップS503で、制御回路201は、プロジェクタ104がパターン画像を投影する際に、電流モニタ204から検出信号が送信されてきたか否かを判断し、さらにPD401から検出信号が送信されてきたか否かを判断する。すなわち、LED203及びパネル202が正常に動作しているか否か、具体的にはLED203が点灯すべきときに点灯しているか否か、及びパネル202からパターン画像が投影されているか否かを判断する。
In step S503, the
ステップS503において電流モニタ204及びPD401から検出信号が送信されていれば、すなわちLED203及びパネル202が正常に動作していれば、ステップS504に移る。
ステップS504で、カメラ105で撮像したパターン画像をPC102に送信し、ステップS505に移る。
ステップS505で、20枚のパターン画像から1回の距離情報を算出するため、制御回路201は、20枚のパターン画像を投影して撮像したか否かを判断する。20枚のパターン画像を撮像してPC102に送信していなければ、ステップS502戻り、送信していれば、次のステップS506に移る。
ステップS506で、PC102は、距離情報を算出するための20枚のパターン画像から、計測アルゴリズムにおいて距離情報を算出し、計測を終了する。
If a detection signal is transmitted from the
In step S504, the pattern image captured by the
In step S505, in order to calculate one distance information from the 20 pattern images, the
In step S506, the
一方、ステップS503において電流モニタ204及びPD401から検出信号が送信されていなければ、すなわちLED203及びパネル202が正常に動作していなければ、ステップS507に移る。
ステップS507で、制御回路201は、カメラ105に撮像停止信号を送信し、撮像を停止させ、ステップS508に移る。
ステップS508で、PC102は、カメラ105から一定の時間に撮像画像が送信されてこないために、タイムアウト処理を行い、距離情報の算出処理を中止し、次のステップS509に移る。
ステップS509で、PC102は、計測アルゴリズムにおいて途中まで距離情報の算出を行っていたデータを破棄して、最初の撮像画像が送信されてくる前の状態となるようにリセットして、次の計測に備えた状態に戻して、計測を終了する。
On the other hand, if no detection signal is transmitted from the
In step S507, the
In step S508, since the captured image is not transmitted from the
In step S509, the
以上説明したように、LED203及びパネル202に異常がないときの撮像画像だけがPC102に送信されるので、PC102において正確な距離情報を算出することが可能となる。また、PC102に撮像画像が正常であるか否かの判断を行わせないので、PC102の処理負荷を低減させることができる。
As described above, since only the captured image when there is no abnormality in the
なお、本実施形態では、プロジェクタ104においてLED203及びパネル202が正常に動作しているか否かを併せて判断するようにしたが、PD401だけを設置して、パネル202の異常の有無を単独で判断する形態でも良い。
In the present embodiment, whether or not the
(第3の実施形態)
次に、第3の実施形態について説明する。3次元距離計測システム101の基本的な構成は第1の実施形態と同様であり、以下では同じ構成要素には同一の符号を付し、その説明は省略する。
(Third embodiment)
Next, a third embodiment will be described. The basic configuration of the three-dimensional
図6は、第3の実施形態に係る3次元距離計測装置103の詳細な構成を示す図である。本実施形態では、LED203に温度検出手段としてサーミスタ601が設けられており、LED203の温度を検出することができる。サーミスタ601の信号は、制御回路201に入力される。サーミスタ601からはLED203の温度に対応する信号が常時出力されており、制御回路201においてLED203の温度のモニタリングを行っている。
FIG. 6 is a diagram showing a detailed configuration of the three-dimensional
本実施形態において、LED203は80℃以下で使用する仕様となっている。3次元距離計測装置103では、安全マージンを取るために、LED203の温度が設定温度である60℃以下となるように不図示のヒートシンクとファンで冷却する構成となっている。しかしながら、LED203の駆動電流が設定値よりも高電流となったり、冷却機構でLED203の十分な冷却が行えなかったりすると、LED203が高温になってしまうこともある。
In the present embodiment, the
それに対するフェールセーフとして、制御回路201でLED203が60℃であることを検出すると、このままの使用状態ではLED203の温度上昇が続いて使用温度範囲を超えてしまうと認識し、制御回路201はLED203の駆動を停止させる。LED203が点灯しない場合、第1の実施形態でも述べたが、パターン画像が投影されず、いわゆる黒画面が投影された状態になる。そのため、カメラ105による撮像画像も全画面において黒い画像が撮像されて、それがPC102に送信されることとなる。この場合、撮像画像を受け取ったPC102は、あくまで距離情報を算出しようとして、誤った距離情報を算出することになる。
As a fail-safe for this, if the
しかし、20枚のパターン画像の取得中にLED203の温度が60℃を超え、ただちに撮像を停止してしまうと、距離情報を算出することができなくなる。そこで、本実施形態では、LED203の使用温度に対して安全マージンを有していることから、20枚のパターン画像を投影、撮像してPC102に撮像画像の送信が終了するまで計測を実行させる。すなわち、計測開始の段階でサーミスタ601からのLED203の温度が60℃以下であることを確認して計測を開始すると、計測が終了するまでは、サーミスタ601からの信号を無視して計測を行う。1回の距離情報を算出する計測が終了した後は、PC102から制御回路201へ計測開始指示が送信されても、カメラ105による撮像を停止させ、同時にプロジェクタ104への画像信号とLED203への駆動信号も停止させる。
However, distance information cannot be calculated if the temperature of the
また、一定の期間LED203を消灯させた状態が続くと、冷却機構による冷却や自然冷却によってLED203の温度が設定温度以下に下がる。サーミスタ601からの出力が設定温度以下となると、制御回路201はPC102からの計測開始指示を受け付けない状態を解除し、正常状態に復帰させる。
Further, when the
以上述べた3次元距離計測システム101の動作を、図7のフローチャートを参照して説明する。
ステップS701で、PC102から3次元距離計測装置103にパターン画像とLED203の点灯時間等の計測条件を含んだ計測開始指示が送信される。
The operation of the three-dimensional
In step S <b> 701, a measurement start instruction including a measurement condition such as a pattern image and the lighting time of the
ステップS702で、制御回路201は、サーミスタ601からの信号によりLED203の温度が60℃以下であるか否かを確認する。
In step S <b> 702, the
ステップS702においてLED203の温度が60℃以下であれば、ステップS703に移る。
ステップS703で、制御回路201は、プロジェクタ104にパターン画像とLED203の点灯信号を送信する。プロジェクタ104は、制御回路201からの信号に基づいて、パターン画像を投影する。また、制御回路201は、カメラ105に、プロジェクタ104の投影タイミングと同期させるようにした撮像信号を送信する。カメラ105は、制御回路201からの撮像信号に基づいて、投影されたパターン画像を撮像する。
ステップS704で、カメラ105で撮像したパターン画像をPC102に送信し、ステップS705に移る。
ステップS705で、20枚のパターン画像から1回の距離情報を算出するため、制御回路201は、20枚のパターン画像を投影して撮像したか否かを判断する。20枚のパターン画像を撮像してPC102に送信していなければ、ステップS703戻り、送信していれば、次のステップS706に移る。
ステップS706で、PC102は、距離情報を算出するための20枚のパターン画像から、計測アルゴリズムにおいて距離情報を算出し、計測を終了する。
If the temperature of the
In step S <b> 703, the
In step S704, the pattern image captured by the
In step S705, the
In step S706, the
一方、ステップS702においてLED203の温度が60℃を超えていれば、LED203が異常であるとして、ステップS707に移る。
ステップS707で、制御回路201は、プロジェクタ104にパターン画像を送信したり、LED203に点灯信号を送信したりすることなく、カメラ105に撮像停止信号を送信し、撮像を停止させ、処理を終了する。
On the other hand, if the temperature of the
In step S707, the
以上説明したように、計測開始の段階でLED203の温度が60℃を超えている場合、その撮像画像がPC102に送信されないようにしたので、PC102において正確な距離情報を算出することが可能となる。また、PC102において撮像画像が正常であるか否かの判断を行わせないので、PC102の処理負荷を低減させることができる。
As described above, when the temperature of the
上述した実施形態では、制御回路201、プロジェクタ104及びカメラ105を搭載した3次元距離計測装置として説明したが、これら制御回路201、プロジェクタ104及びカメラ105を相互に別装置として構成してもかまわない。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
In the above-described embodiment, the
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
101:3次元距離計測システム、102:PC、103:3次元距離計測装置、104:プロジェクタ、105:カメラ、201:制御回路、202、パネル、203:LED、204:電流モニタ、205:投射レンズ、401:PD、402:ハーフミラー、403:レンズ、601:サーミスタ 101: 3D distance measurement system, 102: PC, 103: 3D distance measurement device, 104: projector, 105: camera, 201: control circuit, 202, panel, 203: LED, 204: current monitor, 205: projection lens 401: PD, 402: half mirror, 403: lens, 601: thermistor
Claims (10)
前記投影装置により前記被測定物に投影したパターン画像を撮像する撮像装置と、
前記撮像装置で撮像した画像を用いて距離情報を算出する距離情報算出手段と、
前記投影装置における異常の有無を判断し、異常であると判断した場合、前記撮像装置による撮像を停止させる制御手段とを備えたことを特徴とする3次元距離計測システム。 A projection device that projects a pattern image onto the object to be measured;
An imaging device that captures a pattern image projected onto the measurement object by the projection device;
Distance information calculating means for calculating distance information using an image captured by the imaging device;
A three-dimensional distance measurement system comprising: a control unit that determines whether or not there is an abnormality in the projection apparatus, and stops imaging by the imaging apparatus when it is determined to be abnormal.
前記距離情報算出手段は、前記複数枚のパターン画像の撮像画像を用いて距離情報を算出し、
前記制御手段は、前記計測開始指示があった後で前記距離情報算出手段による距離情報算出が終了するまでの間に、前記投影装置における異常の有無を判断し、前記投影装置が異常であると判断した場合、前記撮像装置による撮像を停止させることを特徴とする請求項1又は2に記載の3次元距離計測システム。 When there is a measurement start instruction, the projection device projects a plurality of pattern images, and the plurality of pattern images are captured by the imaging device,
The distance information calculation means calculates distance information using captured images of the plurality of pattern images,
The control means determines whether or not there is an abnormality in the projection apparatus before the distance information calculation by the distance information calculation means is completed after the measurement start instruction is given, and the projection apparatus is abnormal. 3. The three-dimensional distance measurement system according to claim 1, wherein when the determination is made, imaging by the imaging apparatus is stopped.
前記距離情報算出手段は、前記複数枚のパターン画像の撮像画像を用いて距離情報を算出し、
前記制御手段は、前記計測開始指示があった段階でのみ、前記投影装置における異常の有無を判断し、前記投影装置が異常であると判断した場合、前記撮像装置による撮像を停止させることを特徴とする請求項1又は2に記載の3次元距離計測システム。 When there is a measurement start instruction, the projection device projects a plurality of pattern images, and the plurality of pattern images are captured by the imaging device,
The distance information calculation means calculates distance information using captured images of the plurality of pattern images,
The control means determines whether or not there is an abnormality in the projection apparatus only when the measurement start instruction is given, and stops imaging by the imaging apparatus when it is determined that the projection apparatus is abnormal. The three-dimensional distance measurement system according to claim 1 or 2.
前記制御手段は、前記検出手段の検出結果に応じて、前記光源が正常に動作しているか否かを判断することを特徴とする請求項1乃至5のいずれか1項に記載の3次元距離計測システム。 A detecting means for determining whether or not a light source included in the projection device is lit;
6. The three-dimensional distance according to claim 1, wherein the control unit determines whether or not the light source is operating normally according to a detection result of the detection unit. Measuring system.
前記制御手段は、前記光検出手段の検出結果に応じて、前記空間光変調器が正常に動作しているか否かを検出することを特徴とする請求項1乃至6のいずれか1項に記載の3次元距離計測システム。 Photodetection means for detecting light by a spatial light modulator provided in the projection device,
The said control means detects whether the said spatial light modulator is operating normally according to the detection result of the said light detection means, The any one of Claim 1 thru | or 6 characterized by the above-mentioned. 3D distance measurement system.
前記制御手段は、前記温度検出手段により検出される温度が設定温度を超えている場合、異常であると判断することを特徴とする請求項1乃至7のいずれか1項に記載の3次元距離計測システム。 A temperature detecting means for detecting a temperature of a light source included in the projection device;
The three-dimensional distance according to any one of claims 1 to 7, wherein the control means determines that the temperature is abnormal when the temperature detected by the temperature detection means exceeds a set temperature. Measuring system.
前記投影装置により前記被測定物に投影したパターン画像を撮像する撮像装置と、
前記撮像装置で撮像した画像を用いて距離情報を算出する距離情報算出手段とを備えた3次元距離計測システムの制御方法であって、
前記投影装置における異常の有無を判断し、異常であると判断した場合、前記撮像装置による撮像を停止させる手順を有することを特徴とする3次元距離計測システムの制御方法。 A projection device that projects a pattern image onto the object to be measured;
An imaging device that captures a pattern image projected onto the measurement object by the projection device;
A control method of a three-dimensional distance measurement system comprising distance information calculation means for calculating distance information using an image captured by the imaging device,
A control method for a three-dimensional distance measurement system, comprising: determining whether or not there is an abnormality in the projection apparatus, and stopping imaging by the imaging apparatus when it is determined that there is an abnormality.
前記投影装置により前記被測定物に投影したパターン画像を撮像する撮像装置と、
前記撮像装置で撮像した画像を用いて距離情報を算出する距離情報算出手段とを備えた3次元距離計測システムを制御するためのプログラムであって、
前記投影装置における異常の有無を判断し、異常であると判断した場合、前記撮像装置による撮像を停止させる処理をコンピュータに実行させるためのプログラム。 A projection device that projects a pattern image onto the object to be measured;
An imaging device that captures a pattern image projected onto the measurement object by the projection device;
A program for controlling a three-dimensional distance measurement system comprising distance information calculation means for calculating distance information using an image captured by the imaging device,
A program for causing a computer to execute processing for stopping imaging by the imaging apparatus when it is determined whether there is an abnormality in the projection apparatus and when it is determined to be abnormal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012022436A JP2013160622A (en) | 2012-02-03 | 2012-02-03 | Three-dimensional distance measurement system, control method therefor and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012022436A JP2013160622A (en) | 2012-02-03 | 2012-02-03 | Three-dimensional distance measurement system, control method therefor and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013160622A true JP2013160622A (en) | 2013-08-19 |
Family
ID=49172984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012022436A Pending JP2013160622A (en) | 2012-02-03 | 2012-02-03 | Three-dimensional distance measurement system, control method therefor and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013160622A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013160624A (en) * | 2012-02-03 | 2013-08-19 | Canon Inc | Three-dimensional measurement system and method |
JP2017513000A (en) * | 2014-03-26 | 2017-05-25 | アルケス テクノロジー,インコーポレイテッド | Compact 3D depth acquisition system |
-
2012
- 2012-02-03 JP JP2012022436A patent/JP2013160622A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013160624A (en) * | 2012-02-03 | 2013-08-19 | Canon Inc | Three-dimensional measurement system and method |
JP2017513000A (en) * | 2014-03-26 | 2017-05-25 | アルケス テクノロジー,インコーポレイテッド | Compact 3D depth acquisition system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3081900B1 (en) | Measurement devices and methods for measuring the shape of an object to be measured, and method of manufacturing an article | |
JP6625617B2 (en) | Method and apparatus for identifying structural elements of a projected structural pattern in camera images | |
US10085001B2 (en) | Method and apparatus for detecting and mitigating mechanical misalignments in an optical system | |
JP6992035B2 (en) | How to determine misalignment of the measurement range of an imager and a non-temporary computer-readable medium | |
JP2016105049A (en) | Area monitoring sensor | |
EP2876876A2 (en) | Image projection apparatus, image projection method, and computer-readable storage medium | |
JP2017519380A6 (en) | Method and apparatus for detection and mitigation of optical performance degradation in optical systems | |
JP7145432B2 (en) | Projection system, image processing device and projection method | |
JP2009019941A (en) | Shape measuring method | |
US20160102972A1 (en) | Three-dimensional coordinate measuring apparatus and three-dimensional coordinate measuring method | |
JP2013182061A (en) | Projection system | |
JP2013160622A (en) | Three-dimensional distance measurement system, control method therefor and program | |
JP2019144040A (en) | Object monitoring device using sensor | |
JP2006224291A (en) | Robot system | |
US9113148B2 (en) | Three-dimensional measurement system and method | |
JP5740648B2 (en) | Image measuring apparatus, autofocus control method, and autofocus control program | |
CN109870116A (en) | Depth Imaging device and its driving method | |
JP5482032B2 (en) | Distance measuring device and distance measuring method | |
US20110221884A1 (en) | Image processing apparatus, image processing program, visual sensor system and image processing method | |
KR101750883B1 (en) | Method for 3D Shape Measuring OF Vision Inspection System | |
US10060733B2 (en) | Measuring apparatus | |
US20220113131A1 (en) | Measurement apparatus, image capturing apparatus, measurement system, control method, and storage medium | |
JP4141874B2 (en) | Focal length and / or angle of view calculation method and focal length calculation light projection apparatus | |
JP2016053481A (en) | Information processing device, information processing system, method for controlling information processing device and program | |
JP2018179654A (en) | Imaging device for detecting abnormality of distance image |