JP2013160622A - Three-dimensional distance measurement system, control method therefor and program - Google Patents

Three-dimensional distance measurement system, control method therefor and program Download PDF

Info

Publication number
JP2013160622A
JP2013160622A JP2012022436A JP2012022436A JP2013160622A JP 2013160622 A JP2013160622 A JP 2013160622A JP 2012022436 A JP2012022436 A JP 2012022436A JP 2012022436 A JP2012022436 A JP 2012022436A JP 2013160622 A JP2013160622 A JP 2013160622A
Authority
JP
Japan
Prior art keywords
distance information
imaging
captured
projection
measurement system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012022436A
Other languages
Japanese (ja)
Inventor
Takashi Urakawa
隆史 浦川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012022436A priority Critical patent/JP2013160622A/en
Publication of JP2013160622A publication Critical patent/JP2013160622A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To calculate exact distance information and to reduce processing load of distance information calculation means such as a computer device executing a measurement algorithm.SOLUTION: When a measurement start instruction is given from a PC 102, a plurality of sheets of pattern images are projected by a projector 104, the plurality of sheets of pattern images are captured by a camera 105, and the PC 102 calculates distance information using captured images of the plurality of sheets of pattern images. A control circuit 201 determines the presence or absence of an abnormality in the projector 104 until the calculation of the distance information by the PC 102 is finished after the measurement start instruction is given. When it is determined that the projector 104 is abnormal, capturing by the camera 105 is stopped. The PC 102 stops calculation processing of the distance information and resets the calculation of the distance information when the captured images are not transmitted from the camera 105 for a fixed period.

Description

本発明は、被測定物にパターン画像を投影し、そのパターン画像を撮像することによって距離情報を算出する3次元距離計測システム、その制御方法及びプログラムに関する。   The present invention relates to a three-dimensional distance measurement system that projects distance information by projecting a pattern image onto an object to be measured and images the pattern image, a control method thereof, and a program.

近年は、生産現場において組立の自動化が進み、ロボットによる製品の組立が行われている。製品に使用される部品には様々な形状があるが、正確に組立を行うには、ロボットに部品の形状や部品がどのような姿勢で置かれているのかを知らせて把持させる必要がある。
部品の形状や姿勢を知るために、投影装置により部品にパターン画像を投影し、そのパターン画像を撮像装置で撮像した画像から、部品までの距離や位置・姿勢を算出する技術が知られている。当該部品までの距離や位置・姿勢をロボットへフィードバックすることで、ロボット動作の制御を行う。この場合に、誤算出した距離や位置・姿勢をロボットへフィードバックすると、ロボットが想定しない動きを行ってしまうことになる。
特許文献1には、3次元形状検出装置において、対象物体を撮像した画像が、異常状態となった際に、この異常状態により対象物体の3次元形状を誤導出するのを防止する技術が開示されている。
In recent years, assembly automation has progressed in production sites, and products are assembled by robots. There are various shapes for parts used in products, but in order to accurately assemble, it is necessary to let the robot know and grasp the shape of the part and the posture in which the part is placed.
In order to know the shape and orientation of a component, a technique for projecting a pattern image onto the component by a projection device and calculating the distance, position and orientation to the component from an image obtained by capturing the pattern image with the imaging device is known. . The robot operation is controlled by feeding back the distance, position and orientation to the part to the robot. In this case, if the erroneously calculated distance or position / posture is fed back to the robot, the robot will perform an unexpected movement.
Patent Document 1 discloses a technique for preventing a three-dimensional shape of a target object from being erroneously derived by the abnormal state when an image obtained by capturing the target object is in an abnormal state in the three-dimensional shape detection apparatus. Has been.

特開2005−83816号公報JP 2005-83816 A

投影装置において光源が点灯しなかったり、空間光変調器が正常に動作しなかったり等、異常が発生したまま撮像を行うと、所望の撮像画像ではない撮像画像を計測アルゴリズムを実行する情報処理装置に送信してしまうことになる。その結果、計測アルゴリズムで正確な距離情報を算出することができず、誤った出力を行ってしまう。
また、計測アルゴリズムを実行する情報処理装置に、撮像画像が正常であるか否かの判断を行わせるようにすると、当該情報処理装置の処理負荷が増え、処理の長時間化に繋がってしまう。
An information processing device that executes a measurement algorithm for a captured image that is not a desired captured image when imaging is performed with an abnormality such as a light source not being turned on or a spatial light modulator not operating normally in the projection device Will be sent to. As a result, accurate distance information cannot be calculated by the measurement algorithm, and erroneous output is performed.
Further, if the information processing apparatus that executes the measurement algorithm is made to determine whether or not the captured image is normal, the processing load on the information processing apparatus increases, leading to a longer processing time.

本発明は上記のような点に鑑みてなされたものであり、正確な距離情報を算出できるようにするとともに、計測アルゴリズムを実行するコンピュータ装置等の距離情報算出手段の処理負荷を低減させることを目的とする。   The present invention has been made in view of the above points, and is capable of calculating accurate distance information and reducing the processing load of distance information calculation means such as a computer device that executes a measurement algorithm. Objective.

本発明の3次元距離計測システムは、被測定物にパターン画像を投影する投影装置と、前記投影装置により前記被測定物に投影したパターン画像を撮像する撮像装置と、前記撮像装置で撮像した画像を用いて距離情報を算出する距離情報算出手段と、前記投影装置における異常の有無を判断し、異常であると判断した場合、前記撮像装置による撮像を停止させる制御手段とを備えたことを特徴とする。   The three-dimensional distance measurement system of the present invention includes a projection device that projects a pattern image onto a measurement object, an imaging device that images the pattern image projected onto the measurement object by the projection device, and an image captured by the imaging device. A distance information calculation means for calculating distance information using a control means, and a control means for determining whether or not there is an abnormality in the projection apparatus and stopping the imaging by the imaging apparatus when it is determined that there is an abnormality. And

本発明によれば、投影装置に異常がないときの撮像画像だけが距離情報算出手段に送信されるので、距離情報算出手段において正確な距離情報を算出することが可能となる。また、距離情報算出手段に撮像画像が正常であるか否かの判断を行わせないので、距離情報算出手段の処理負荷を低減させることが可能となる。   According to the present invention, since only the captured image when there is no abnormality in the projection apparatus is transmitted to the distance information calculation unit, it is possible to calculate accurate distance information in the distance information calculation unit. In addition, since the distance information calculation unit does not determine whether the captured image is normal, it is possible to reduce the processing load of the distance information calculation unit.

第1の実施形態に係る3次元距離計測システムの構成を示す図である。It is a figure which shows the structure of the three-dimensional distance measurement system which concerns on 1st Embodiment. 第1の実施形態に係る3次元距離計測装置の詳細な構成を示す図である。It is a figure which shows the detailed structure of the three-dimensional distance measuring device which concerns on 1st Embodiment. 第1の実施形態に係る3次元距離計測システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the three-dimensional distance measurement system which concerns on 1st Embodiment. 第2の実施形態に係る3次元距離計測装置の詳細な構成を示す図である。It is a figure which shows the detailed structure of the three-dimensional distance measuring device which concerns on 2nd Embodiment. 第2の実施形態に係る3次元距離計測システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the three-dimensional distance measurement system which concerns on 2nd Embodiment. 第3の実施形態に係る3次元距離計測装置の詳細な構成を示す図である。It is a figure which shows the detailed structure of the three-dimensional distance measuring device which concerns on 3rd Embodiment. 第3の実施形態に係る3次元距離計測システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the three-dimensional distance measurement system which concerns on 3rd Embodiment.

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
(第1の実施形態)
図1に、第1の実施形態に係る3次元距離計測システム101の構成を示す。
102はコンピュータ装置(以下、PCと記す)であり、距離情報を算出する計測アルゴリズムを実行する距離情報算出手段として機能する。PC102は、距離情報の算出を行うだけでなく、パターン画像の作成や、3次元距離計測装置103を駆動する指示(計測開始指示)も行う。
Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
(First embodiment)
FIG. 1 shows a configuration of a three-dimensional distance measurement system 101 according to the first embodiment.
Reference numeral 102 denotes a computer device (hereinafter referred to as a PC), which functions as a distance information calculation unit that executes a measurement algorithm for calculating distance information. The PC 102 not only calculates distance information, but also generates a pattern image and issues an instruction to drive the three-dimensional distance measuring device 103 (measurement start instruction).

103はPC102に接続された3次元距離計測装置であり、プロジェクタ104及びカメラ105を含んで構成される。プロジェクタ104は、被測定物に縞状の、いわゆるストライプパターンのパターン画像を投影(投射)する投影装置である。カメラ105は、プロジェクタ104により被測定物に投影したパターン画像を撮像する撮像装置である。   Reference numeral 103 denotes a three-dimensional distance measuring device connected to the PC 102, which includes a projector 104 and a camera 105. The projector 104 is a projection device that projects (projects) a striped pattern image of a so-called stripe pattern onto the object to be measured. The camera 105 is an imaging device that captures a pattern image projected onto the measurement object by the projector 104.

3次元距離計測システム101において、PC102では、3次元距離計測装置103で取得した画像から三角測量の原理に基づいて被測定物までの距離情報を算出する。距離情報とは、被測定物のカメラ105からの距離や表面凹凸等奥行き方向の距離である。本実施形態では、プロジェクタ104で投影する縞の幅を変化させて、そのパターン画像をカメラ105で撮像し、撮像した画像から場所ごとに符号化する空間符号化と呼ばれる手法を用いる。   In the three-dimensional distance measuring system 101, the PC 102 calculates distance information to the object to be measured from the image acquired by the three-dimensional distance measuring device 103 based on the principle of triangulation. The distance information is the distance in the depth direction such as the distance from the camera 105 of the object to be measured and the surface unevenness. In the present embodiment, a method called spatial encoding is used in which the width of the stripes projected by the projector 104 is changed, the pattern image is captured by the camera 105, and the captured image is encoded for each location.

図2は、第1の実施形態に係る3次元距離計測装置103の詳細な構成を示す図である。PC102で作成された任意のパターン画像は、制御回路201を介してプロジェクタ104に画像信号として送信される。制御回路201は、プロジェクタ104とカメラ105とを同期させる制御を行う制御手段である。本実施形態では、PC102でパターン画像を作成する例を示したが、パターン画像の作成は、信号発生器等のパターン画像発生器や同様の機能を有する装置を用いても良い。   FIG. 2 is a diagram showing a detailed configuration of the three-dimensional distance measuring apparatus 103 according to the first embodiment. An arbitrary pattern image created by the PC 102 is transmitted as an image signal to the projector 104 via the control circuit 201. The control circuit 201 is a control unit that performs control to synchronize the projector 104 and the camera 105. In the present embodiment, an example in which a pattern image is generated by the PC 102 has been shown. However, a pattern image generator such as a signal generator or an apparatus having a similar function may be used for generating a pattern image.

プロジェクタ104には、2次元空間光変調器であるパネル202、光源としてのLED203、LED203に設けられた電流モニタ204、及び投射レンズ205が組み込まれている。パネル202で表示したパターン画像はLED203によって照明され、投射レンズ205を介して被測定物に投影される。   The projector 104 incorporates a panel 202 which is a two-dimensional spatial light modulator, an LED 203 as a light source, a current monitor 204 provided in the LED 203, and a projection lens 205. The pattern image displayed on the panel 202 is illuminated by the LED 203 and projected onto the object to be measured via the projection lens 205.

本実施形態では、パネル202には反射型液晶が使用されており、入力する画像に応じた任意のパターン画像を表示することができる。パネル202としては、反射型液晶以外でも、DMDや強誘電液晶のような同様の機能を有するものであれば、この限りではない。   In the present embodiment, a reflective liquid crystal is used for the panel 202, and an arbitrary pattern image corresponding to an input image can be displayed. The panel 202 is not limited to this as long as it has a similar function as DMD or ferroelectric liquid crystal other than the reflective liquid crystal.

LED203には検出手段として電流モニタ204が設けられており、LED203に電流が流れているか否かを検出することができる。本実施形態では、電流モニタ204にはホール素子を利用したものが使用されているが、電流が流れているか否かを検出できるものであれば、その他のデバイスを利用しても良い。また、電流モニタ204は、LED203を駆動する図示しない駆動回路に設けられても良い。電流モニタ204の信号は、制御回路201に入力される。制御回路201は、LED203に点灯信号を送信したときに、電流モニタ204から電流を検出したとの信号(以下、検出信号と称する)が戻ってこない場合、LED203が異常であると判断して、カメラ105に撮像停止信号を送信する。すなわち、制御回路201は、電流モニタ204の検出結果に応じて、LED203が正常に動作しているか否か、具体的には点灯すべきときに点灯しているか否かを判断する。なお、LED203が点灯しているか否かを検出できるものであれば、PD(Photo Detector)のような光量モニタを使用しても良く、限定されるものではない。   The LED 203 is provided with a current monitor 204 as detection means, and can detect whether or not a current is flowing through the LED 203. In the present embodiment, the current monitor 204 uses a Hall element, but other devices may be used as long as it can detect whether or not a current is flowing. The current monitor 204 may be provided in a drive circuit (not shown) that drives the LED 203. A signal from the current monitor 204 is input to the control circuit 201. When the control circuit 201 transmits a lighting signal to the LED 203 and the signal indicating that the current is detected from the current monitor 204 (hereinafter referred to as a detection signal) does not return, the control circuit 201 determines that the LED 203 is abnormal, An imaging stop signal is transmitted to the camera 105. That is, the control circuit 201 determines whether the LED 203 is operating normally, specifically, whether it is lit when it should be lit, according to the detection result of the current monitor 204. Note that a light amount monitor such as a PD (Photo Detector) may be used as long as it can detect whether or not the LED 203 is lit, and is not limited.

カメラ105としては、広く知られているCCD(Charge Coupled Device image sensor)やCMOS(Complementary Metal Oxide Semiconductor)の撮像素子を使用したカメラを用いれば良いが、同様の機能を有するものであれば、この限りではない。また、カメラ105は、モノクロカメラでも、カラーカメラでも良い。   As the camera 105, a camera using a widely known CCD (Charge Coupled Device image sensor) or CMOS (Complementary Metal Oxide Semiconductor) image sensor may be used. Not as long. The camera 105 may be a monochrome camera or a color camera.

上述した構成の3次元距離計測装置103では、制御回路201の制御下で、PC102から送信されてきたパターン画像をパネル202で表示し、LED203が点灯することでパターン画像を被測定物に投影し、パターン画像が投影されたタイミングに合わせてカメラ105で撮像する。1回の距離情報を算出するのに複数枚、本実施形態では20枚のパターン画像を用いる。パターン画像の枚数はこの限りでなく、異なる枚数から1回の距離情報を算出しても構わない。3次元距離計測装置103は、PC102からのパターン画像の全てを一度に受信しても良いし、パターン画像を1枚投影した後に、次のパターン画像をPC102から受信しても良い。   In the three-dimensional distance measuring apparatus 103 configured as described above, the pattern image transmitted from the PC 102 is displayed on the panel 202 under the control of the control circuit 201, and the pattern image is projected onto the object to be measured when the LED 203 is lit. The image is captured by the camera 105 in accordance with the timing at which the pattern image is projected. A plurality of pattern images, that is, 20 pattern images in the present embodiment, are used to calculate one distance information. The number of pattern images is not limited to this, and one-time distance information may be calculated from different numbers. The three-dimensional distance measuring apparatus 103 may receive all pattern images from the PC 102 at a time, or may receive the next pattern image from the PC 102 after projecting one pattern image.

ここで、PC102から3次元距離計測装置103に計測開始指示が送信され、制御回路201からLED203に点灯信号が送信されたときに、LED203になんらかの異常が発生して点灯しない場合が考えられる。制御回路201からは、プロジェクタ104にパターン画像を投影する信号とLED203の点灯信号が送信され、撮像するタイミングに合わせてカメラ105に撮像信号が送信される。しかし、LED203が点灯しない場合は、パターン画像が投影されず、いわゆる黒画面が投影された状態になる。そのため、カメラ105による撮像画像も全画面において黒い画像が撮像されて、それがPC102に送信されることとなる。この場合、撮像画像を受け取ったPC102は、あくまで距離情報を算出しようとして、誤った距離情報を算出することになる。ここでは詳細に述べないが、3次元距離計測システム101による距離情報を用いて、ビジョンフィードバックとして自動組立ロボットを駆動制御することも考えられる。この場合、PC102で誤った距離情報を算出し、ロボットの駆動制御にフィードバックを行うと、ロボットが予期せぬ動きをすることになる。その結果、組立に使用する部品を破壊してしまう、もしくはロボット自体が何かと衝突することで損傷してしまうことに繋がってしまう。   Here, when a measurement start instruction is transmitted from the PC 102 to the three-dimensional distance measuring device 103 and a lighting signal is transmitted from the control circuit 201 to the LED 203, there is a case where some abnormality occurs in the LED 203 and the LED 203 does not light up. From the control circuit 201, a signal for projecting a pattern image to the projector 104 and a lighting signal for the LED 203 are transmitted, and an imaging signal is transmitted to the camera 105 in accordance with the timing of imaging. However, when the LED 203 is not turned on, a pattern image is not projected, and a so-called black screen is projected. Therefore, a black image is captured on the entire screen by the camera 105 and is transmitted to the PC 102. In this case, the PC 102 that has received the captured image calculates incorrect distance information in an attempt to calculate distance information. Although not described in detail here, it is also conceivable to drive and control the automatic assembly robot as vision feedback using distance information from the three-dimensional distance measurement system 101. In this case, if incorrect distance information is calculated by the PC 102 and feedback is given to the drive control of the robot, the robot will move unexpectedly. As a result, the parts used for assembly are destroyed, or the robot itself collides with something and is damaged.

このようなロボットの誤動作を防ぐためには、PC102に撮像画像が正常であるか否かの判断を行わせる方法が考えられる。しかしながら、撮像したパターン画像が所望のパターン画像であるか否かを精度よく判断するためには、撮像画像の全画素をスキャンして確認する必要がある。そのため、計測アルゴリズムを実行するPC102の処理負荷が増え、迅速な計測を行うことが困難となる。   In order to prevent such a malfunction of the robot, a method of causing the PC 102 to determine whether or not the captured image is normal can be considered. However, in order to accurately determine whether or not the captured pattern image is a desired pattern image, it is necessary to scan and confirm all the pixels of the captured image. For this reason, the processing load on the PC 102 that executes the measurement algorithm increases, making it difficult to perform quick measurement.

そこで、本実施形態では、制御回路201からLED203に点灯信号を送信したときに、電流モニタ204から検出信号が戻ってこない場合、LED203が異常である(点灯すべきときに点灯していない)と判断する。制御回路201は、LED203が異常であると判断すると、カメラ105に撮像停止信号を送信する。これにより、カメラ105による撮像が停止され、カメラ105からPC102に撮像画像が送信されることも停止される。このようにしたプロジェクタ104の異常時対応より、PC102に距離情報を誤算出する撮像画像が送信されることを防ぐことが可能になる。   Therefore, in this embodiment, when a detection signal is not returned from the current monitor 204 when a lighting signal is transmitted from the control circuit 201 to the LED 203, the LED 203 is abnormal (not lit when it should be lit). to decide. When determining that the LED 203 is abnormal, the control circuit 201 transmits an imaging stop signal to the camera 105. Thereby, the imaging by the camera 105 is stopped, and the transmission of the captured image from the camera 105 to the PC 102 is also stopped. Thus, it is possible to prevent the captured image that miscalculates the distance information from being transmitted to the PC 102 by handling the abnormality of the projector 104 as described above.

さらに、前述した撮像の停止が、PC102において距離情報の算出途中であった場合の処置について述べる。PC102では、一定の期間に撮像画像が送信されてこなかった場合はタイムアウト処理を行い、撮像画像がカメラ105から送信されてくるのを待機するのではなく、距離情報の算出処理を中止する。さらに、途中まで距離情報の算出を行っていたデータを破棄して、最初の撮像画像が送信されてくる前の状態となるようにリセットし、計測を再開した際に、距離情報を誤算出することを防止する。   Furthermore, a procedure when the above-described stop of imaging is in the middle of calculation of distance information in the PC 102 will be described. The PC 102 performs time-out processing when the captured image has not been transmitted for a certain period of time, and does not wait for the captured image to be transmitted from the camera 105, but stops the distance information calculation processing. Furthermore, the distance information that was calculated halfway is discarded, reset to the state before the first captured image is transmitted, and the distance information is erroneously calculated when measurement is resumed. To prevent that.

以上述べた3次元距離計測システム101の動作を、図3のフローチャートを参照して説明する。
ステップS301で、PC102から3次元距離計測装置103にパターン画像とLED203の点灯時間等の計測条件を含んだ計測開始指示が送信される。
The operation of the three-dimensional distance measurement system 101 described above will be described with reference to the flowchart of FIG.
In step S <b> 301, a measurement start instruction including a pattern image and measurement conditions such as the lighting time of the LED 203 is transmitted from the PC 102 to the three-dimensional distance measuring apparatus 103.

ステップS302で、PC102からの計測開始指示を受信した制御回路201は、プロジェクタ104にパターン画像とLED203の点灯信号を送信する。プロジェクタ104は、制御回路201からの信号に基づいて、パターン画像を投影する。また、制御回路201は、カメラ105に、プロジェクタ104の投影タイミングと同期させるようにした撮像信号を送信する。カメラ105は、制御回路201からの撮像信号に基づいて、投影されたパターン画像を撮像する。   In step S <b> 302, the control circuit 201 that has received the measurement start instruction from the PC 102 transmits a pattern image and a lighting signal for the LED 203 to the projector 104. Projector 104 projects a pattern image based on a signal from control circuit 201. In addition, the control circuit 201 transmits an imaging signal that is synchronized with the projection timing of the projector 104 to the camera 105. The camera 105 captures the projected pattern image based on the imaging signal from the control circuit 201.

ステップS303で、制御回路201は、プロジェクタ104がパターン画像を投影する際に、電流モニタ204から検出信号が送信されてきたか否かを判断する。すなわち、LED203が正常に動作しているか否か、具体的には点灯すべきときに点灯しているか否かを判断する。   In step S303, the control circuit 201 determines whether a detection signal is transmitted from the current monitor 204 when the projector 104 projects a pattern image. That is, it is determined whether the LED 203 is operating normally, specifically, whether the LED 203 is lit when it should be lit.

ステップS303において電流モニタ204から検出信号が送信されていれば、すなわちLED203が正常に動作していれば、ステップS304に移る。
ステップS304で、カメラ105で撮像したパターン画像をPC102に送信し、ステップS305に移る。
ステップS305で、20枚のパターン画像から1回の距離情報を算出するため、制御回路201は、20枚のパターン画像を投影して撮像したか否かを判断する。20枚のパターン画像を撮像してPC102に送信していなければ、ステップS302戻り、送信していれば、次のステップS306に移る。
ステップS306で、PC102は、距離情報を算出するための20枚のパターン画像から、計測アルゴリズムにおいて距離情報を算出し、計測を終了する。
If a detection signal is transmitted from the current monitor 204 in step S303, that is, if the LED 203 is operating normally, the process proceeds to step S304.
In step S304, the pattern image captured by the camera 105 is transmitted to the PC 102, and the process proceeds to step S305.
In step S305, in order to calculate one distance information from the 20 pattern images, the control circuit 201 determines whether 20 pattern images have been projected and captured. If 20 pattern images have not been captured and transmitted to the PC 102, the process returns to step S302. If transmitted, the process proceeds to the next step S306.
In step S306, the PC 102 calculates distance information in the measurement algorithm from the 20 pattern images for calculating the distance information, and ends the measurement.

一方、ステップS303において電流モニタ204から検出信号が送信されていなければ、すなわちLED203が正常に動作していなければ、ステップS307に移る。
ステップS307で、制御回路201は、カメラ105に撮像停止信号を送信し、撮像を停止させ、ステップS308に移る。
ステップS308で、PC102は、カメラ105から一定の時間に撮像画像が送信されてこないために、タイムアウト処理を行い、距離情報の算出処理を中止し、次のステップS309に移る。
ステップS309で、PC102は、計測アルゴリズムにおいて途中まで距離情報の算出を行っていたデータを破棄して、最初の撮像画像が送信されてくる前の状態となるようにリセットして、次の計測に備えた状態に戻して、計測を終了する。
On the other hand, if the detection signal is not transmitted from the current monitor 204 in step S303, that is, if the LED 203 is not operating normally, the process proceeds to step S307.
In step S307, the control circuit 201 transmits an imaging stop signal to the camera 105, stops imaging, and proceeds to step S308.
In step S308, since the captured image is not transmitted from the camera 105 at a predetermined time, the PC 102 performs a time-out process, stops the distance information calculation process, and proceeds to the next step S309.
In step S309, the PC 102 discards the data for which distance information has been calculated halfway in the measurement algorithm, resets the state before the first captured image is transmitted, and performs the next measurement. Return to the prepared state and finish the measurement.

以上説明したように、LED203に異常がないときの撮像画像だけがPC102に送信されるので、PC102において正確な距離情報を算出することが可能となる。また、PC102に撮像画像が正常であるか否かの判断を行わせないので、PC102の処理負荷を低減させることができる。   As described above, since only the captured image when there is no abnormality in the LED 203 is transmitted to the PC 102, it is possible to calculate accurate distance information in the PC 102. In addition, since the PC 102 does not determine whether the captured image is normal, the processing load on the PC 102 can be reduced.

(第2の実施形態)
次に、第2の実施形態について説明する。3次元距離計測システム101の基本的な構成は第1の実施形態と同様であり、以下では同じ構成要素には同一の符号を付し、その説明は省略する。
(Second Embodiment)
Next, a second embodiment will be described. The basic configuration of the three-dimensional distance measurement system 101 is the same as that of the first embodiment. In the following, the same components are denoted by the same reference numerals, and the description thereof is omitted.

図4は、第2の実施形態に係る3次元距離計測装置103の詳細な構成を示す図である。本実施形態では、電流モニタ204に加えて、2次元空間光変調器であるパネル202による光を検出する光検出手段としてPD401が設けられている。パネル202で形成されたパターン画像が投影される光路の途中にハーフミラー402を配置し、パターン画像による光束がレンズ403を介してPD401に集光する構成となっている。電流モニタ204の信号及びPD401の信号は、制御回路201に入力される。   FIG. 4 is a diagram illustrating a detailed configuration of the three-dimensional distance measuring apparatus 103 according to the second embodiment. In this embodiment, in addition to the current monitor 204, a PD 401 is provided as light detection means for detecting light from the panel 202, which is a two-dimensional spatial light modulator. A half mirror 402 is arranged in the middle of the optical path on which the pattern image formed by the panel 202 is projected, and the light flux from the pattern image is condensed on the PD 401 via the lens 403. The signal from the current monitor 204 and the signal from the PD 401 are input to the control circuit 201.

本実施形態では、パターン画像を投影するときに、電流モニタ204でLED203が点灯していることを確認しつつ、PD401で光検出を行うことでパネル202が正常に動作しているかのモニタリングを行っている。
すなわち、制御回路201は、LED203に点灯信号を送信したときに、電流モニタ204から電流を検出したとの信号(以下、検出信号と称する)が戻ってこない場合、LED203が異常であると判断して、カメラ105に撮像停止信号を送信する。すなわち、制御回路201は、電流モニタ204の検出結果に応じて、LED203が正常に動作しているか否か、具体的には点灯すべきときに点灯しているか否かを判断する。
また、LED203に点灯信号を送信して、電流モニタ204から検出信号が戻ってきた場合でも、PD401からパネル202によるパターン画像の光束を検出したとの信号(以下、検出信号と称する)が戻ってこない場合、パネル202が異常であると判断して、カメラ105に撮像停止信号を送信する。すなわち、制御回路201は、PD401の検出結果に応じて、パネル202が正常に動作しているか否かを判断する。さらには、投影しているパターンの全光束に対応した信号が検出できているかを確認することで、所望のパターンが投影されているかを判断することも可能である。
これにより、カメラ105による撮像が停止され、カメラ105からPC102に撮像画像が送信されることも停止される。このようにしたプロジェクタ104の異常時対応より、PC102に距離情報を誤算出する撮像画像が送信されることを防ぐことが可能になる。
In this embodiment, when projecting a pattern image, the current monitor 204 confirms that the LED 203 is lit, and the PD 401 performs light detection to monitor whether the panel 202 is operating normally. ing.
That is, the control circuit 201 determines that the LED 203 is abnormal when a signal indicating that a current has been detected from the current monitor 204 (hereinafter referred to as a detection signal) does not return when a lighting signal is transmitted to the LED 203. Then, an imaging stop signal is transmitted to the camera 105. That is, the control circuit 201 determines whether the LED 203 is operating normally, specifically, whether it is lit when it should be lit, according to the detection result of the current monitor 204.
Further, even when a lighting signal is transmitted to the LED 203 and a detection signal is returned from the current monitor 204, a signal (hereinafter referred to as a detection signal) that the light beam of the pattern image by the panel 202 is detected from the PD 401 is returned. If not, it is determined that the panel 202 is abnormal, and an imaging stop signal is transmitted to the camera 105. That is, the control circuit 201 determines whether the panel 202 is operating normally according to the detection result of the PD 401. Furthermore, it is possible to determine whether a desired pattern is projected by confirming whether a signal corresponding to the total luminous flux of the projected pattern is detected.
Thereby, the imaging by the camera 105 is stopped, and the transmission of the captured image from the camera 105 to the PC 102 is also stopped. Thus, it is possible to prevent the captured image that miscalculates the distance information from being transmitted to the PC 102 by handling the abnormality of the projector 104 as described above.

さらに、前述した撮像の停止が、PC102において距離情報の算出途中であった場合の処置について述べる。PC102では、一定の期間に撮像画像が送信されてこなかった場合はタイムアウト処理を行い、撮像画像がカメラ105から送信されてくるのを待機するのではなく、距離情報の算出処理を中止する。さらに、途中まで距離情報の算出を行っていたデータを破棄して、最初の撮像画像が送信されてくる前の状態となるようにリセットし、計測を再開した際に、距離情報を誤算出することを防止する。   Furthermore, a procedure when the above-described stop of imaging is in the middle of calculation of distance information in the PC 102 will be described. The PC 102 performs time-out processing when the captured image has not been transmitted for a certain period of time, and does not wait for the captured image to be transmitted from the camera 105, but stops the distance information calculation processing. Furthermore, the distance information that was calculated halfway is discarded, reset to the state before the first captured image is transmitted, and the distance information is erroneously calculated when measurement is resumed. To prevent that.

以上述べた3次元距離計測システム101の動作を、図5のフローチャートを参照して説明する。
ステップS501で、PC102から3次元距離計測装置103にパターン画像とLED203の点灯時間等の計測条件を含んだ計測開始指示が送信される。
The operation of the three-dimensional distance measurement system 101 described above will be described with reference to the flowchart of FIG.
In step S501, a measurement start instruction including a measurement condition such as a pattern image and the lighting time of the LED 203 is transmitted from the PC 102 to the three-dimensional distance measuring apparatus 103.

ステップS502で、PC102からの計測開始指示を受信した制御回路201は、プロジェクタ104にパターン画像とLED203の点灯信号を送信する。プロジェクタ104は、制御回路201からの信号に基づいて、パターン画像を投影する。また、制御回路201は、カメラ105に、プロジェクタ104の投影タイミングと同期させるようにした撮像信号を送信する。カメラ105は、制御回路201からの撮像信号に基づいて、投影されたパターン画像を撮像する。   In step S <b> 502, the control circuit 201 that has received the measurement start instruction from the PC 102 transmits a pattern image and a lighting signal for the LED 203 to the projector 104. Projector 104 projects a pattern image based on a signal from control circuit 201. In addition, the control circuit 201 transmits an imaging signal that is synchronized with the projection timing of the projector 104 to the camera 105. The camera 105 captures the projected pattern image based on the imaging signal from the control circuit 201.

ステップS503で、制御回路201は、プロジェクタ104がパターン画像を投影する際に、電流モニタ204から検出信号が送信されてきたか否かを判断し、さらにPD401から検出信号が送信されてきたか否かを判断する。すなわち、LED203及びパネル202が正常に動作しているか否か、具体的にはLED203が点灯すべきときに点灯しているか否か、及びパネル202からパターン画像が投影されているか否かを判断する。   In step S503, the control circuit 201 determines whether or not a detection signal is transmitted from the current monitor 204 when the projector 104 projects a pattern image, and further determines whether or not a detection signal is transmitted from the PD 401. to decide. That is, it is determined whether the LED 203 and the panel 202 are operating normally, specifically, whether the LED 203 is lit when it should be lit, and whether a pattern image is projected from the panel 202. .

ステップS503において電流モニタ204及びPD401から検出信号が送信されていれば、すなわちLED203及びパネル202が正常に動作していれば、ステップS504に移る。
ステップS504で、カメラ105で撮像したパターン画像をPC102に送信し、ステップS505に移る。
ステップS505で、20枚のパターン画像から1回の距離情報を算出するため、制御回路201は、20枚のパターン画像を投影して撮像したか否かを判断する。20枚のパターン画像を撮像してPC102に送信していなければ、ステップS502戻り、送信していれば、次のステップS506に移る。
ステップS506で、PC102は、距離情報を算出するための20枚のパターン画像から、計測アルゴリズムにおいて距離情報を算出し、計測を終了する。
If a detection signal is transmitted from the current monitor 204 and the PD 401 in step S503, that is, if the LED 203 and the panel 202 are operating normally, the process proceeds to step S504.
In step S504, the pattern image captured by the camera 105 is transmitted to the PC 102, and the process proceeds to step S505.
In step S505, in order to calculate one distance information from the 20 pattern images, the control circuit 201 determines whether 20 pattern images have been projected and captured. If 20 pattern images have not been captured and transmitted to the PC 102, the process returns to step S502. If transmitted, the process proceeds to the next step S506.
In step S506, the PC 102 calculates distance information in the measurement algorithm from the 20 pattern images for calculating distance information, and ends the measurement.

一方、ステップS503において電流モニタ204及びPD401から検出信号が送信されていなければ、すなわちLED203及びパネル202が正常に動作していなければ、ステップS507に移る。
ステップS507で、制御回路201は、カメラ105に撮像停止信号を送信し、撮像を停止させ、ステップS508に移る。
ステップS508で、PC102は、カメラ105から一定の時間に撮像画像が送信されてこないために、タイムアウト処理を行い、距離情報の算出処理を中止し、次のステップS509に移る。
ステップS509で、PC102は、計測アルゴリズムにおいて途中まで距離情報の算出を行っていたデータを破棄して、最初の撮像画像が送信されてくる前の状態となるようにリセットして、次の計測に備えた状態に戻して、計測を終了する。
On the other hand, if no detection signal is transmitted from the current monitor 204 and the PD 401 in step S503, that is, if the LED 203 and the panel 202 are not operating normally, the process proceeds to step S507.
In step S507, the control circuit 201 transmits an imaging stop signal to the camera 105, stops imaging, and proceeds to step S508.
In step S508, since the captured image is not transmitted from the camera 105 at a predetermined time, the PC 102 performs a time-out process, stops the distance information calculation process, and proceeds to the next step S509.
In step S509, the PC 102 discards the data for which the distance information has been calculated halfway in the measurement algorithm, resets the state before the first captured image is transmitted, and performs the next measurement. Return to the prepared state and finish the measurement.

以上説明したように、LED203及びパネル202に異常がないときの撮像画像だけがPC102に送信されるので、PC102において正確な距離情報を算出することが可能となる。また、PC102に撮像画像が正常であるか否かの判断を行わせないので、PC102の処理負荷を低減させることができる。   As described above, since only the captured image when there is no abnormality in the LED 203 and the panel 202 is transmitted to the PC 102, accurate distance information can be calculated in the PC 102. In addition, since the PC 102 does not determine whether the captured image is normal, the processing load on the PC 102 can be reduced.

なお、本実施形態では、プロジェクタ104においてLED203及びパネル202が正常に動作しているか否かを併せて判断するようにしたが、PD401だけを設置して、パネル202の異常の有無を単独で判断する形態でも良い。   In the present embodiment, whether or not the LED 203 and the panel 202 are operating normally in the projector 104 is determined together. However, only the PD 401 is installed and whether or not the panel 202 is abnormal is determined independently. The form to do is also good.

(第3の実施形態)
次に、第3の実施形態について説明する。3次元距離計測システム101の基本的な構成は第1の実施形態と同様であり、以下では同じ構成要素には同一の符号を付し、その説明は省略する。
(Third embodiment)
Next, a third embodiment will be described. The basic configuration of the three-dimensional distance measurement system 101 is the same as that of the first embodiment. In the following, the same components are denoted by the same reference numerals, and the description thereof is omitted.

図6は、第3の実施形態に係る3次元距離計測装置103の詳細な構成を示す図である。本実施形態では、LED203に温度検出手段としてサーミスタ601が設けられており、LED203の温度を検出することができる。サーミスタ601の信号は、制御回路201に入力される。サーミスタ601からはLED203の温度に対応する信号が常時出力されており、制御回路201においてLED203の温度のモニタリングを行っている。   FIG. 6 is a diagram showing a detailed configuration of the three-dimensional distance measuring apparatus 103 according to the third embodiment. In this embodiment, the LED 203 is provided with a thermistor 601 as temperature detection means, and the temperature of the LED 203 can be detected. A signal from the thermistor 601 is input to the control circuit 201. The thermistor 601 always outputs a signal corresponding to the temperature of the LED 203, and the control circuit 201 monitors the temperature of the LED 203.

本実施形態において、LED203は80℃以下で使用する仕様となっている。3次元距離計測装置103では、安全マージンを取るために、LED203の温度が設定温度である60℃以下となるように不図示のヒートシンクとファンで冷却する構成となっている。しかしながら、LED203の駆動電流が設定値よりも高電流となったり、冷却機構でLED203の十分な冷却が行えなかったりすると、LED203が高温になってしまうこともある。   In the present embodiment, the LED 203 has a specification for use at 80 ° C. or lower. In the three-dimensional distance measuring device 103, in order to take a safety margin, the LED 203 is cooled by a heat sink and a fan (not shown) so that the temperature of the LED 203 becomes a set temperature of 60 ° C. or less. However, if the drive current of the LED 203 becomes higher than the set value, or if the LED 203 cannot be sufficiently cooled by the cooling mechanism, the LED 203 may become hot.

それに対するフェールセーフとして、制御回路201でLED203が60℃であることを検出すると、このままの使用状態ではLED203の温度上昇が続いて使用温度範囲を超えてしまうと認識し、制御回路201はLED203の駆動を停止させる。LED203が点灯しない場合、第1の実施形態でも述べたが、パターン画像が投影されず、いわゆる黒画面が投影された状態になる。そのため、カメラ105による撮像画像も全画面において黒い画像が撮像されて、それがPC102に送信されることとなる。この場合、撮像画像を受け取ったPC102は、あくまで距離情報を算出しようとして、誤った距離情報を算出することになる。   As a fail-safe for this, if the control circuit 201 detects that the LED 203 is 60 ° C., it recognizes that the temperature rise of the LED 203 will continue to exceed the operating temperature range in this state of use, and the control circuit 201 Stop driving. When the LED 203 is not turned on, as described in the first embodiment, a pattern image is not projected and a so-called black screen is projected. Therefore, a black image is captured on the entire screen by the camera 105 and is transmitted to the PC 102. In this case, the PC 102 that has received the captured image calculates incorrect distance information in an attempt to calculate distance information.

しかし、20枚のパターン画像の取得中にLED203の温度が60℃を超え、ただちに撮像を停止してしまうと、距離情報を算出することができなくなる。そこで、本実施形態では、LED203の使用温度に対して安全マージンを有していることから、20枚のパターン画像を投影、撮像してPC102に撮像画像の送信が終了するまで計測を実行させる。すなわち、計測開始の段階でサーミスタ601からのLED203の温度が60℃以下であることを確認して計測を開始すると、計測が終了するまでは、サーミスタ601からの信号を無視して計測を行う。1回の距離情報を算出する計測が終了した後は、PC102から制御回路201へ計測開始指示が送信されても、カメラ105による撮像を停止させ、同時にプロジェクタ104への画像信号とLED203への駆動信号も停止させる。   However, distance information cannot be calculated if the temperature of the LED 203 exceeds 60 ° C. during the acquisition of 20 pattern images and the imaging is immediately stopped. Therefore, in this embodiment, since there is a safety margin with respect to the operating temperature of the LED 203, 20 pattern images are projected and imaged, and measurement is executed until the PC 102 finishes transmitting the captured image. That is, when the measurement is started after confirming that the temperature of the LED 203 from the thermistor 601 is 60 ° C. or less at the measurement start stage, the measurement is performed ignoring the signal from the thermistor 601 until the measurement is completed. After the measurement for calculating one distance information is finished, even if a measurement start instruction is transmitted from the PC 102 to the control circuit 201, the imaging by the camera 105 is stopped, and at the same time, the image signal to the projector 104 and the driving to the LED 203 are stopped. Also stop the signal.

また、一定の期間LED203を消灯させた状態が続くと、冷却機構による冷却や自然冷却によってLED203の温度が設定温度以下に下がる。サーミスタ601からの出力が設定温度以下となると、制御回路201はPC102からの計測開始指示を受け付けない状態を解除し、正常状態に復帰させる。   Further, when the LED 203 is turned off for a certain period, the temperature of the LED 203 falls below the set temperature due to cooling by the cooling mechanism or natural cooling. When the output from the thermistor 601 becomes equal to or lower than the set temperature, the control circuit 201 cancels the state where the measurement start instruction from the PC 102 is not received and returns to the normal state.

以上述べた3次元距離計測システム101の動作を、図7のフローチャートを参照して説明する。
ステップS701で、PC102から3次元距離計測装置103にパターン画像とLED203の点灯時間等の計測条件を含んだ計測開始指示が送信される。
The operation of the three-dimensional distance measurement system 101 described above will be described with reference to the flowchart of FIG.
In step S <b> 701, a measurement start instruction including a measurement condition such as a pattern image and the lighting time of the LED 203 is transmitted from the PC 102 to the three-dimensional distance measuring apparatus 103.

ステップS702で、制御回路201は、サーミスタ601からの信号によりLED203の温度が60℃以下であるか否かを確認する。   In step S <b> 702, the control circuit 201 confirms whether the temperature of the LED 203 is 60 ° C. or less based on a signal from the thermistor 601.

ステップS702においてLED203の温度が60℃以下であれば、ステップS703に移る。
ステップS703で、制御回路201は、プロジェクタ104にパターン画像とLED203の点灯信号を送信する。プロジェクタ104は、制御回路201からの信号に基づいて、パターン画像を投影する。また、制御回路201は、カメラ105に、プロジェクタ104の投影タイミングと同期させるようにした撮像信号を送信する。カメラ105は、制御回路201からの撮像信号に基づいて、投影されたパターン画像を撮像する。
ステップS704で、カメラ105で撮像したパターン画像をPC102に送信し、ステップS705に移る。
ステップS705で、20枚のパターン画像から1回の距離情報を算出するため、制御回路201は、20枚のパターン画像を投影して撮像したか否かを判断する。20枚のパターン画像を撮像してPC102に送信していなければ、ステップS703戻り、送信していれば、次のステップS706に移る。
ステップS706で、PC102は、距離情報を算出するための20枚のパターン画像から、計測アルゴリズムにおいて距離情報を算出し、計測を終了する。
If the temperature of the LED 203 is 60 ° C. or lower in step S702, the process proceeds to step S703.
In step S <b> 703, the control circuit 201 transmits a pattern image and a lighting signal of the LED 203 to the projector 104. Projector 104 projects a pattern image based on a signal from control circuit 201. In addition, the control circuit 201 transmits an imaging signal that is synchronized with the projection timing of the projector 104 to the camera 105. The camera 105 captures the projected pattern image based on the imaging signal from the control circuit 201.
In step S704, the pattern image captured by the camera 105 is transmitted to the PC 102, and the process proceeds to step S705.
In step S705, the control circuit 201 determines whether or not 20 pattern images have been projected and captured in order to calculate one distance information from the 20 pattern images. If 20 pattern images have not been captured and transmitted to the PC 102, the process returns to step S703. If transmitted, the process proceeds to the next step S706.
In step S706, the PC 102 calculates distance information in the measurement algorithm from the 20 pattern images for calculating the distance information, and ends the measurement.

一方、ステップS702においてLED203の温度が60℃を超えていれば、LED203が異常であるとして、ステップS707に移る。
ステップS707で、制御回路201は、プロジェクタ104にパターン画像を送信したり、LED203に点灯信号を送信したりすることなく、カメラ105に撮像停止信号を送信し、撮像を停止させ、処理を終了する。
On the other hand, if the temperature of the LED 203 exceeds 60 ° C. in step S702, it is determined that the LED 203 is abnormal and the process proceeds to step S707.
In step S707, the control circuit 201 transmits an imaging stop signal to the camera 105 without transmitting a pattern image to the projector 104 or a lighting signal to the LED 203, stops imaging, and ends the processing. .

以上説明したように、計測開始の段階でLED203の温度が60℃を超えている場合、その撮像画像がPC102に送信されないようにしたので、PC102において正確な距離情報を算出することが可能となる。また、PC102において撮像画像が正常であるか否かの判断を行わせないので、PC102の処理負荷を低減させることができる。   As described above, when the temperature of the LED 203 exceeds 60 ° C. at the start of measurement, the captured image is not transmitted to the PC 102, so that accurate distance information can be calculated in the PC 102. . Moreover, since it is not determined whether the captured image is normal in the PC 102, the processing load on the PC 102 can be reduced.

上述した実施形態では、制御回路201、プロジェクタ104及びカメラ105を搭載した3次元距離計測装置として説明したが、これら制御回路201、プロジェクタ104及びカメラ105を相互に別装置として構成してもかまわない。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
In the above-described embodiment, the control circuit 201, the projector 104, and the camera 105 are described as a three-dimensional distance measurement device. However, the control circuit 201, the projector 104, and the camera 105 may be configured as separate devices. .
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

101:3次元距離計測システム、102:PC、103:3次元距離計測装置、104:プロジェクタ、105:カメラ、201:制御回路、202、パネル、203:LED、204:電流モニタ、205:投射レンズ、401:PD、402:ハーフミラー、403:レンズ、601:サーミスタ 101: 3D distance measurement system, 102: PC, 103: 3D distance measurement device, 104: projector, 105: camera, 201: control circuit, 202, panel, 203: LED, 204: current monitor, 205: projection lens 401: PD, 402: half mirror, 403: lens, 601: thermistor

Claims (10)

被測定物にパターン画像を投影する投影装置と、
前記投影装置により前記被測定物に投影したパターン画像を撮像する撮像装置と、
前記撮像装置で撮像した画像を用いて距離情報を算出する距離情報算出手段と、
前記投影装置における異常の有無を判断し、異常であると判断した場合、前記撮像装置による撮像を停止させる制御手段とを備えたことを特徴とする3次元距離計測システム。
A projection device that projects a pattern image onto the object to be measured;
An imaging device that captures a pattern image projected onto the measurement object by the projection device;
Distance information calculating means for calculating distance information using an image captured by the imaging device;
A three-dimensional distance measurement system comprising: a control unit that determines whether or not there is an abnormality in the projection apparatus, and stops imaging by the imaging apparatus when it is determined to be abnormal.
前記制御手段は、前記投影装置と前記撮像装置とを同期させる制御を行うことを特徴とする請求項1に記載の3次元距離計測システム。   The three-dimensional distance measurement system according to claim 1, wherein the control unit performs control to synchronize the projection device and the imaging device. 計測開始指示があると、前記投影装置で複数枚のパターン画像を投影し、それら複数枚のパターン画像を前記撮像装置で撮像する構成であり、
前記距離情報算出手段は、前記複数枚のパターン画像の撮像画像を用いて距離情報を算出し、
前記制御手段は、前記計測開始指示があった後で前記距離情報算出手段による距離情報算出が終了するまでの間に、前記投影装置における異常の有無を判断し、前記投影装置が異常であると判断した場合、前記撮像装置による撮像を停止させることを特徴とする請求項1又は2に記載の3次元距離計測システム。
When there is a measurement start instruction, the projection device projects a plurality of pattern images, and the plurality of pattern images are captured by the imaging device,
The distance information calculation means calculates distance information using captured images of the plurality of pattern images,
The control means determines whether or not there is an abnormality in the projection apparatus before the distance information calculation by the distance information calculation means is completed after the measurement start instruction is given, and the projection apparatus is abnormal. 3. The three-dimensional distance measurement system according to claim 1, wherein when the determination is made, imaging by the imaging apparatus is stopped.
前記距離情報算出手段は、前記撮像装置から一定の期間に撮像画像が送信されてこなかった場合、距離情報の算出処理を中止するとともに、距離情報の算出をリセットすることを特徴とする請求項3に記載の3次元距離計測システム。   4. The distance information calculation unit, when a captured image is not transmitted from the imaging apparatus for a certain period, stops the distance information calculation process and resets the distance information calculation. The three-dimensional distance measurement system described in 1. 計測開始指示があると、前記投影装置で複数枚のパターン画像を投影し、それら複数枚のパターン画像を前記撮像装置で撮像する構成であり、
前記距離情報算出手段は、前記複数枚のパターン画像の撮像画像を用いて距離情報を算出し、
前記制御手段は、前記計測開始指示があった段階でのみ、前記投影装置における異常の有無を判断し、前記投影装置が異常であると判断した場合、前記撮像装置による撮像を停止させることを特徴とする請求項1又は2に記載の3次元距離計測システム。
When there is a measurement start instruction, the projection device projects a plurality of pattern images, and the plurality of pattern images are captured by the imaging device,
The distance information calculation means calculates distance information using captured images of the plurality of pattern images,
The control means determines whether or not there is an abnormality in the projection apparatus only when the measurement start instruction is given, and stops imaging by the imaging apparatus when it is determined that the projection apparatus is abnormal. The three-dimensional distance measurement system according to claim 1 or 2.
前記投影装置が具備する光源が点灯しているか否かの検出手段を備え、
前記制御手段は、前記検出手段の検出結果に応じて、前記光源が正常に動作しているか否かを判断することを特徴とする請求項1乃至5のいずれか1項に記載の3次元距離計測システム。
A detecting means for determining whether or not a light source included in the projection device is lit;
6. The three-dimensional distance according to claim 1, wherein the control unit determines whether or not the light source is operating normally according to a detection result of the detection unit. Measuring system.
前記投影装置が具備する空間光変調器による光を検出する光検出手段を備え、
前記制御手段は、前記光検出手段の検出結果に応じて、前記空間光変調器が正常に動作しているか否かを検出することを特徴とする請求項1乃至6のいずれか1項に記載の3次元距離計測システム。
Photodetection means for detecting light by a spatial light modulator provided in the projection device,
The said control means detects whether the said spatial light modulator is operating normally according to the detection result of the said light detection means, The any one of Claim 1 thru | or 6 characterized by the above-mentioned. 3D distance measurement system.
前記投影装置が具備する光源の温度を検出する温度検出手段を備え、
前記制御手段は、前記温度検出手段により検出される温度が設定温度を超えている場合、異常であると判断することを特徴とする請求項1乃至7のいずれか1項に記載の3次元距離計測システム。
A temperature detecting means for detecting a temperature of a light source included in the projection device;
The three-dimensional distance according to any one of claims 1 to 7, wherein the control means determines that the temperature is abnormal when the temperature detected by the temperature detection means exceeds a set temperature. Measuring system.
被測定物にパターン画像を投影する投影装置と、
前記投影装置により前記被測定物に投影したパターン画像を撮像する撮像装置と、
前記撮像装置で撮像した画像を用いて距離情報を算出する距離情報算出手段とを備えた3次元距離計測システムの制御方法であって、
前記投影装置における異常の有無を判断し、異常であると判断した場合、前記撮像装置による撮像を停止させる手順を有することを特徴とする3次元距離計測システムの制御方法。
A projection device that projects a pattern image onto the object to be measured;
An imaging device that captures a pattern image projected onto the measurement object by the projection device;
A control method of a three-dimensional distance measurement system comprising distance information calculation means for calculating distance information using an image captured by the imaging device,
A control method for a three-dimensional distance measurement system, comprising: determining whether or not there is an abnormality in the projection apparatus, and stopping imaging by the imaging apparatus when it is determined that there is an abnormality.
被測定物にパターン画像を投影する投影装置と、
前記投影装置により前記被測定物に投影したパターン画像を撮像する撮像装置と、
前記撮像装置で撮像した画像を用いて距離情報を算出する距離情報算出手段とを備えた3次元距離計測システムを制御するためのプログラムであって、
前記投影装置における異常の有無を判断し、異常であると判断した場合、前記撮像装置による撮像を停止させる処理をコンピュータに実行させるためのプログラム。
A projection device that projects a pattern image onto the object to be measured;
An imaging device that captures a pattern image projected onto the measurement object by the projection device;
A program for controlling a three-dimensional distance measurement system comprising distance information calculation means for calculating distance information using an image captured by the imaging device,
A program for causing a computer to execute processing for stopping imaging by the imaging apparatus when it is determined whether there is an abnormality in the projection apparatus and when it is determined to be abnormal.
JP2012022436A 2012-02-03 2012-02-03 Three-dimensional distance measurement system, control method therefor and program Pending JP2013160622A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012022436A JP2013160622A (en) 2012-02-03 2012-02-03 Three-dimensional distance measurement system, control method therefor and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012022436A JP2013160622A (en) 2012-02-03 2012-02-03 Three-dimensional distance measurement system, control method therefor and program

Publications (1)

Publication Number Publication Date
JP2013160622A true JP2013160622A (en) 2013-08-19

Family

ID=49172984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012022436A Pending JP2013160622A (en) 2012-02-03 2012-02-03 Three-dimensional distance measurement system, control method therefor and program

Country Status (1)

Country Link
JP (1) JP2013160622A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013160624A (en) * 2012-02-03 2013-08-19 Canon Inc Three-dimensional measurement system and method
JP2017513000A (en) * 2014-03-26 2017-05-25 アルケス テクノロジー,インコーポレイテッド Compact 3D depth acquisition system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013160624A (en) * 2012-02-03 2013-08-19 Canon Inc Three-dimensional measurement system and method
JP2017513000A (en) * 2014-03-26 2017-05-25 アルケス テクノロジー,インコーポレイテッド Compact 3D depth acquisition system

Similar Documents

Publication Publication Date Title
EP3081900B1 (en) Measurement devices and methods for measuring the shape of an object to be measured, and method of manufacturing an article
JP6625617B2 (en) Method and apparatus for identifying structural elements of a projected structural pattern in camera images
US10085001B2 (en) Method and apparatus for detecting and mitigating mechanical misalignments in an optical system
JP6992035B2 (en) How to determine misalignment of the measurement range of an imager and a non-temporary computer-readable medium
JP2016105049A (en) Area monitoring sensor
EP2876876A2 (en) Image projection apparatus, image projection method, and computer-readable storage medium
JP2017519380A6 (en) Method and apparatus for detection and mitigation of optical performance degradation in optical systems
JP7145432B2 (en) Projection system, image processing device and projection method
JP2009019941A (en) Shape measuring method
US20160102972A1 (en) Three-dimensional coordinate measuring apparatus and three-dimensional coordinate measuring method
JP2013182061A (en) Projection system
JP2013160622A (en) Three-dimensional distance measurement system, control method therefor and program
JP2019144040A (en) Object monitoring device using sensor
JP2006224291A (en) Robot system
US9113148B2 (en) Three-dimensional measurement system and method
JP5740648B2 (en) Image measuring apparatus, autofocus control method, and autofocus control program
CN109870116A (en) Depth Imaging device and its driving method
JP5482032B2 (en) Distance measuring device and distance measuring method
US20110221884A1 (en) Image processing apparatus, image processing program, visual sensor system and image processing method
KR101750883B1 (en) Method for 3D Shape Measuring OF Vision Inspection System
US10060733B2 (en) Measuring apparatus
US20220113131A1 (en) Measurement apparatus, image capturing apparatus, measurement system, control method, and storage medium
JP4141874B2 (en) Focal length and / or angle of view calculation method and focal length calculation light projection apparatus
JP2016053481A (en) Information processing device, information processing system, method for controlling information processing device and program
JP2018179654A (en) Imaging device for detecting abnormality of distance image