JP2015148585A - Pattern projection device - Google Patents

Pattern projection device Download PDF

Info

Publication number
JP2015148585A
JP2015148585A JP2014023179A JP2014023179A JP2015148585A JP 2015148585 A JP2015148585 A JP 2015148585A JP 2014023179 A JP2014023179 A JP 2014023179A JP 2014023179 A JP2014023179 A JP 2014023179A JP 2015148585 A JP2015148585 A JP 2015148585A
Authority
JP
Japan
Prior art keywords
pattern
projection
camera
trigger signal
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014023179A
Other languages
Japanese (ja)
Inventor
稔 新村
Minoru Niimura
稔 新村
慎一郎 福重
Shinichiro Fukushige
慎一郎 福重
原 秀雄
Hideo Hara
秀雄 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2014023179A priority Critical patent/JP2015148585A/en
Publication of JP2015148585A publication Critical patent/JP2015148585A/en
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a pattern projection device of an external flash type for adding a three-dimensional measuring function to a commercially available digital camera having an external flash interlock function.SOLUTION: The pattern projection device 1 includes: means for storing a plurality of different projection patterns; means for receiving an exposure start signal output from a digital camera 7; a function of projecting a pattern for a certain time synchronously with a trigger signal; a function of projecting the next pattern synchronously with the next trigger signal; and a function of returning the next projection pattern to the first pattern when the number of the trigger signals arrives at n. The physical shape of an interface is the same as the shape of an external flash connection terminal of the digital camera.

Description

本発明は、三角形の底辺の角に、パターン光投影装置とカメラをそれぞれ配置し、三角形の頂点に位置する計測対象物へパターンを投射、計測対象物の物理的形状に応じて変形した投影パターンを複数枚撮影することで対象物の3次元座標を計測する、構造化光を用いた3次元計測装置に関する。 The present invention is a projection pattern in which a pattern light projector and a camera are arranged at the corners of the base of a triangle, a pattern is projected onto a measurement object located at the apex of the triangle, and the pattern is deformed according to the physical shape of the measurement object The present invention relates to a three-dimensional measurement apparatus using structured light that measures a three-dimensional coordinate of an object by photographing a plurality of images.

格子縞や輝度が正弦波状に変化する構造化光などを投影する、いわゆるパターン投影法(空間コード化法や位相シフト法を含む)を用いた3次元計測手法に関する論文や特許は過去種々提案されている。ここでは、それらを分かりやすくまとめた論文が埼玉大学から提出されているので、従来技術のまとめとして例示する。その論文は「画像の認識・理解シンポジウム(MIRU2009)」2009年7月から『プロジェクタ・カメラシステムのレスポンス関数を用いた位相シフト法によるアクティブ・ステレオの精度向上』(戸塚 聡、古川 亮、川崎 洋)(埼玉大学工学部、広島市立大学情報価格部)である(図1及び非特許文献1)。特許技術の代表的なものとしては、和歌山大学から出願され、許諾された特許が上げられる(特許文献1)。 Various papers and patents related to 3D measurement methods using so-called pattern projection methods (including spatial coding methods and phase shift methods) that project structured light whose lattice fringes and luminance change sinusoidally have been proposed in the past. Yes. Here, a paper summarizing them in an easy-to-understand manner has been submitted by Saitama University. The paper is "Image Recognition / Understanding Symposium (MIRU2009)" since July 2009 "Active Stereo Accuracy Improvement by Phase Shift Method Using Response Function of Projector-Camera System" (Totsuka Satoshi, Furukawa Ryo, Kawasaki Hiroshi (Saitama University Faculty of Engineering, Hiroshima City University Information Price Department) (FIG. 1 and Non-Patent Document 1). As a representative example of patent technology, a patent granted and granted from Wakayama University is given (Patent Document 1).

これらの従来技術は、計測分解能を上げるため、空間コード化に伴う階段状歪を位相シフト法で滑らかにする手法や、投影パターンの1周期(360度=2π)単位で現れる位相不連続を連結させる手法、或いは、三角形の底辺に配置されたプロジェクターとカメラの角度によっては生じやすい影の影響を排除する手法、或いは計測データの高速処理手法などに言及して、計測結果の高精度化を目的としている。しかし、これらの手法では、カメラとプロジェクターの同期、つまり、特定のパターン投影に同期させてカメラを露光させる手法に関しては言及せず、万人が3次元計測装置の全体を再構成できるような技術の普遍化には寄与していない。 In order to increase the measurement resolution, these conventional technologies connect the method of smoothing the staircase distortion accompanying spatial coding by the phase shift method and the phase discontinuity that appears in one cycle (360 degrees = 2π) of the projection pattern. To improve the accuracy of measurement results by referring to methods that eliminate shadow effects that tend to occur depending on the angle between the projector and camera placed on the base of the triangle, or high-speed processing of measurement data It is said. However, these techniques do not mention the synchronization of the camera and the projector, that is, the technique of exposing the camera in synchronization with a specific pattern projection, and a technique that allows all to reconfigure the entire three-dimensional measuring apparatus. It does not contribute to the universalization of

具体的に述べると、構造化光の1周期(2π)を4の倍数で徐した周期、例えば、2π/8=45度周期で構造化光パターンを投影する場合、45度ずつ空間位相をずらして投影したパターンの物体からの反射光をカメラで撮影することが必須であるが、この同期手法にはいずれの論文も言及していない。 Specifically, when a structured light pattern is projected with a period obtained by slowing one period (2π) of structured light by a multiple of 4, for example, 2π / 8 = 45 degrees, the spatial phase is shifted by 45 degrees. It is essential to capture the reflected light from the object of the projected pattern with a camera, but none of the papers mentions this synchronization method.

一方、工業用カメラや構造化光法で使われることを前提としたプロジェクターなどでは、互いの同期を実現するための手段を準備している。一例を上げると、カメラでは、Allied Vision Technologies 社(ドイツ)のカメラシリーズ(Guppy Proなど、図2に同期用信号を含むインターフェイス仕様を図示)、プロジェクターではTexas Instruments 社(アメリカ)のLight Crafter シリーズ(図3に同期用信号を含むインターフェイス仕様を図示)が準備されている。これらを用いることで、構造化光法を用いた計測器のカメラとプロジェクターの間の同期(撮影と投影の同期)が物理的には可能となる。 On the other hand, in an industrial camera or a projector that is assumed to be used in the structured light method, means for realizing mutual synchronization are prepared. For example, the camera series is the Allied Vision Technologies (Germany) camera series (Guppy Pro and other interface specifications including synchronization signals shown in Figure 2), and the projector is the Texas Instruments (USA) Light Crafter series ( FIG. 3 shows an interface specification including a synchronization signal). By using these, synchronization between the camera of the measuring instrument and the projector using the structured light method (synchronization of shooting and projection) is physically possible.

特許第3536097号Japanese Patent No. 3536097

『プロジェクタ・カメラシステムのレスポンス関数を用いた位相シフト法によるアクティブ・ステレオの精度向上』(戸塚 聡、古川 亮、川崎 洋)(埼玉大学工学部、広島市立大学情報価格部)(「画像の認識・理解シンポジウム(MIRU2009)」2009年7月から)“Improvement of active stereo accuracy by phase shift method using response function of projector / camera system” (Satoshi Totsuka, Ryo Furukawa, Hiroshi Kawasaki) (Saitama University Faculty of Engineering, Hiroshima City University Information Price Department) Understanding Symposium (MIRU2009) "from July 2009)

これらの機材(Guppy ProやLight Crafter、上記埼玉大学論文で記載されている装置など)は、これらを一つのシステムとして構成する特別な計測装置用に準備されており、工業用計測装置としては3次元計測装置を実現可能ではあるものの、低コストを前提とするコンシューマ向け製品に向いているとは言えない技術である。また市販のデジタルカメラを活用できるような同期の仕組みを提供していない。 These equipments (Guppy Pro, Light Crafter, and devices described in the above-mentioned Saitama University paper) are prepared for special measuring devices that constitute them as one system. Although it is feasible to implement a dimension measurement device, it is not a technology that is suitable for consumer products assuming low cost. It does not provide a synchronization mechanism that can use commercially available digital cameras.

本発明では、市販のデジタルカメラやデジタルカメラ機能を搭載したスマートフォン(iPhoneやアンドロイドフォンなど) を3次元座標計測装置の画像撮影装置として使い、コンシューマ向けのローコストな製品を実現できる技術を開示することを目的としている。 In the present invention, a technology capable of realizing a low-cost product for consumers by using a commercially available digital camera or a smartphone equipped with a digital camera function (such as an iPhone or an Android phone) as an image photographing device of a three-dimensional coordinate measuring device is disclosed. It is an object.

前記目的を達成するために、本発明は以下のように構成する。
本発明の第一態様によれば、複数の異なった投影パターン(n種類;nは1以上の整数)を保存する手段と、デジタルカメラから出力される露光開始信号(以降、トリガー信号)を受け取る手段(以降、インターフェイス)と、 該トリガー信号に同期して、一定期間、パターンを投影する機能と、或いは、該トリガー信号のオン期間に応じて、パターンを投影する機能と、次のトリガー信号に同期して、次のパターンを投影する機能と、該トリガー信号の数がn個に達した場合、次の投影パターンが最初のパターンに戻る機能と、上記インターフェイスの物理的形状が、デジタルカメラの外部フラッシュ接続端子の形状であること、を備える、パターン投影装置。
In order to achieve the above object, the present invention is configured as follows.
According to the first aspect of the present invention, means for storing a plurality of different projection patterns (n types; n is an integer of 1 or more) and an exposure start signal (hereinafter referred to as a trigger signal) output from the digital camera are received. Means (hereinafter referred to as an interface), a function of projecting a pattern for a certain period in synchronism with the trigger signal, or a function of projecting a pattern according to an on period of the trigger signal, and a next trigger signal. The function of projecting the next pattern synchronously, the function of returning the next projection pattern to the first pattern when the number of trigger signals reaches n, and the physical shape of the interface are A pattern projection device comprising a shape of an external flash connection terminal.

本発明の第二態様によれば、前記トリガー信号のn+1個目で、3次元形状計測用とは異なるパターンを投影し、n+m個目(mは1以上の整数)のトリガー信号で最初の投影パターンに戻る機能を有する、第一態様記載のパターン投影装置。 According to the second aspect of the present invention, the n + 1th trigger signal projects a pattern different from that for three-dimensional shape measurement, and the first projection with the n + mth trigger signal (m is an integer of 1 or more). The pattern projection device according to the first aspect, having a function of returning to a pattern.

本発明の第三態様によれば、前記トリガー信号の最初の信号を受けて、以降のトリガー信号に依存せず、n種類のパターンを一定の投影時間毎に次々と投影する機能を有し、n種類のパターン投影後、再度トリガー信号の受信を待ちうけるモードに入る機能を有する、第一態様記載のパターン投影装置。 According to the third aspect of the present invention, the first signal of the trigger signal is received, and there is a function of projecting n types of patterns one after another at a certain projection time without depending on the subsequent trigger signal. The pattern projection device according to the first aspect, which has a function of entering a mode in which a trigger signal is awaited again after n types of pattern projection.

本発明の第四態様によれば、前記インターフェイスが外部フラッシュ接続端子の形状ではなく、カメラのアクセサリー端子やシンクロターミナルなど、カメラからなんらかの形でフラッシュの動作開始を知らせる手段に対応した手段を有する、第一態様記載のパターン投影装置。 According to the fourth aspect of the present invention, the interface has means corresponding to means for notifying the start of operation of the flash in some form from the camera, such as the accessory terminal of the camera and the synchro terminal, instead of the shape of the external flash connection terminal. The pattern projection apparatus according to the first aspect.

本発明の第五態様によれば、前記インターフェイスがブルートゥース、WiFi、NFC(Near Field Communication)などの無線通信やIrDAなどの赤外線通信などで構成される、第一態様記載のパターン投影装置。 According to a fifth aspect of the present invention, in the pattern projection device according to the first aspect, the interface is configured by wireless communication such as Bluetooth, WiFi, NFC (Near Field Communication) or infrared communication such as IrDA.

本発明の第六態様によれば、前記n種類の投影パターンを一定時間毎に次々と投影し、投影パターンの投影開始に同期して、カメラの露光を開始するための指示信号(トリガー信号)を、カメラの外部トリガー入力端子やリモコン端子へ出力する手段を有する、第一態様記載のパターン投影装置。 According to the sixth aspect of the present invention, the n types of projection patterns are projected one after another at regular intervals, and an instruction signal (trigger signal) for starting exposure of the camera in synchronization with the start of projection of the projection pattern Is output to an external trigger input terminal or a remote control terminal of the camera.

本発明により、外部フラッシュ装置とのトリガータイミング共有機能(外部フラッシュ装置との装着金具、アクセサリーターミナル、無線通信インターフェイスなど)を有する市販のデジタルカメラやスマートフォンを使って、簡単に3次元計測に必要な複数のフレームデータを得ることが可能となる。 According to the present invention, a trigger timing sharing function with an external flash device (mounting bracket with external flash device, accessory terminal, wireless communication interface, etc.) is easily required for 3D measurement using a commercially available digital camera or smartphone. A plurality of frame data can be obtained.

具体的には、3次元計測の必要な場面に、本発明のパターン投影装置を装着したデジタルカメラを持ち込み、その場でパターン投射を伴う連写を実施。カメラのSD-CARDに記録された連写データをパソコンに移し、パソコン上の3次元点群生成アプリケーションソフトウェアで3次元データに変換することが可能となる。最近はWiFi を実装した高機能カメラが市販されており、WiFiでパソコンと接続しておけば、遠隔地にあるパソコン上で3次元画像を再現することも可能となる。また、スマートフォンのデジタルカメラと連動させた場合、スマートフォンに3次元点群生成アプリケーションソフトウェアをあらかじめ搭載しておくことで、その場で3次元点群への生成も可能となる。更に、当装置をロボットに搭載することで、人の到達困難な場所での3次元計測用データ取得が容易になる効果もある。 Specifically, a digital camera equipped with the pattern projection apparatus of the present invention is brought into a scene that requires three-dimensional measurement, and continuous shooting with pattern projection is performed on the spot. Continuous shooting data recorded on the camera's SD-CARD can be transferred to a personal computer and converted into 3D data using 3D point cloud generation application software on the personal computer. Recently, high-performance cameras equipped with WiFi are available on the market, and if connected to a personal computer via WiFi, 3D images can be reproduced on a remote computer. Further, when linked with a digital camera of a smartphone, it is possible to generate a 3D point cloud on the spot by installing 3D point cloud generation application software on the smartphone in advance. Furthermore, by mounting this apparatus on a robot, there is an effect that it becomes easy to obtain data for three-dimensional measurement in a place where it is difficult for humans to reach.

従来のパターン投影による3次元計測手法の概念を示した図The figure which showed the concept of the conventional 3D measurement technique by pattern projection 同期機構を備えた工業用カメラの事例 (Allied Vision Technologies 社製 Guppy Pro)Example of an industrial camera equipped with a synchronization mechanism (Guppy Pro by Allied Vision Technologies) 同期機構を備えたプロジェクターの事例 (Texas Instruments 社製Light Crafter)Example of projector with synchronization mechanism (Texas Instruments Light Crafter) 本発明のパターン投影装置とカメラの構成例Configuration example of pattern projection apparatus and camera of the present invention 本発明の請求項1記載のパターン投影装置とカメラの動作タイミングThe operation timing of the pattern projection apparatus and the camera according to claim 1 of the present invention 本発明の請求項1記載のパターン投影装置とカメラの動作タイミングThe operation timing of the pattern projection apparatus and the camera according to claim 1 of the present invention 本発明の請求項2記載のパターン投影装置とカメラの動作タイミングThe operation timing of the pattern projection apparatus and the camera according to claim 2 of the present invention 本発明の請求項3記載のパターン投影装置とカメラの動作タイミングThe operation timing of the pattern projection apparatus and the camera according to claim 3 of the present invention 本発明の請求項6記載のパターン投影装置とカメラの動作タイミングThe operation timing of the pattern projection apparatus and the camera according to claim 6 of the present invention 本発明の請求項6記載のパターン投影装置とカメラの構成例Configuration example of pattern projection apparatus and camera according to claim 6 of the present invention 本発明のパターン投影装置から計測対象物に投影された8枚のパターンEight patterns projected on the measurement object from the pattern projection apparatus of the present invention

以下、本発明の実施の形態について、図面を参照しながら説明する。尚、以下の説明において、同じ構成には同じ符号を付して説明を省略している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same components are denoted by the same reference numerals and description thereof is omitted.

請求項1ないし請求項2記載のパターン投影装置は以下の構成を持つ。
(1) 複数の異なった投影パターン(n種類;nは1以上の整数)を保存する手段、具体的にはフラッシュメモリやSD-CARDなどの記憶デバイス。
(2) 或いは、VGAインターフェイスなどを通じて、投影すべきパターンデータを外部から入力し、一次的に記憶するための手段。
(3) パターンを投影するためのプロジェクション機構。これはLight Crafter あるいは同等の手段で実現可能。
(4) デジタルカメラから出力されるトリガー信号を受け取るインターフェイス。具体的には、デジタルカメラの外部フラッシュ接続端子への接続機構で実現可能。
(5) 該トリガー信号に同期して、一定時間パターンを投影する機能。或いは、該トリガー信号のオン期間に応じて、パターンを投影する機能。
(6) 次のトリガー信号に同期して、次のパターンを投影する機能。
(7) トリガー信号の個数がn個に達した場合、投影パターンが最初に戻る機能。
(8) 或いは、トリガー信号の個数がn+m個の場合、m個の数だけ計測用パターンとは異なるパターンを投影後、最初の投影パターンに戻る機能。m=0の場合、(7)と等しい。
(9) インターフェイスから供給される電源を使って投影装置へ必要な電力を供給する電源装置、或いは、バッテリー。
The pattern projection apparatus according to claim 1 or 2 has the following configuration.
(1) Means for storing a plurality of different projection patterns (n types; n is an integer of 1 or more), specifically, a storage device such as a flash memory or an SD-CARD.
(2) Alternatively, a means for temporarily storing pattern data to be projected from the outside through a VGA interface or the like and storing it temporarily.
(3) A projection mechanism for projecting a pattern. This can be achieved with Light Crafter or equivalent means.
(4) An interface for receiving a trigger signal output from a digital camera. Specifically, it can be realized with a connection mechanism to the external flash connection terminal of the digital camera.
(5) A function of projecting a pattern for a predetermined time in synchronization with the trigger signal. Or the function which projects a pattern according to the ON period of this trigger signal.
(6) A function for projecting the next pattern in synchronization with the next trigger signal.
(7) A function that returns the projection pattern to the beginning when the number of trigger signals reaches n.
(8) Alternatively, when the number of trigger signals is n + m, a function of projecting a pattern different from the measurement pattern by the number m and returning to the initial projection pattern. When m = 0, it is equal to (7).
(9) A power supply device or a battery for supplying necessary power to the projection apparatus using a power supply supplied from the interface.

図4に上記実施例1の装置構成を示す。1は本発明のパターン投影装置全体。2は実際に投影を実行するプロジェクション装置。3は複数の投影パターンを記憶する手段(フラッシュメモリなど)。4はプロジェクション装置やメモリ、インターフェイスなどの電子機器に電力を供給する装置。5はデジタルカメラとのインターフェイス。6はデジタルカメラ側のインターフェイス。7はデジタルカメラ本体。8はデジタルカメラで撮影した画像を記憶する手段(SD-CARDなど)である。 FIG. 4 shows the apparatus configuration of the first embodiment. 1 is the entire pattern projection apparatus of the present invention. Reference numeral 2 denotes a projection apparatus that actually performs projection. 3 is a means for storing a plurality of projection patterns (flash memory or the like). A device 4 supplies power to electronic devices such as a projection device, a memory, and an interface. 5 is an interface with a digital camera. 6 is an interface on the digital camera side. 7 is the digital camera body. Reference numeral 8 denotes means (such as SD-CARD) for storing images taken with a digital camera.

図5は、請求項1記載のパターン投影装置に与えられるトリガー信号(Strobe signal from Digital Camera)9と、投影パターンの順序(Projected pattern)10、 カメラ露光(Camera exposure)のタイミング11を示した図である。最初のトリガー信号入力に同期して最初のパターン pattern 0 を投影し、少しの遅延を持ってカメラが最初のフレームを露光する。これをn回繰り返し、n+1回目(Strobe n+1)で最初のパターン Pattern 0 に戻る。 FIG. 5 is a diagram showing a trigger signal (Strobe signal from Digital Camera) 9 given to the pattern projection apparatus according to claim 1, a projected pattern order 10, and a camera exposure timing 11. It is. The first pattern pattern 0 is projected in synchronization with the first trigger signal input, and the camera exposes the first frame with a slight delay. This is repeated n times, and the pattern returns to the first pattern Pattern 0 at the (n + 1) th time (Strobe n + 1).

図6は、請求項1記載の装置において、トリガー信号12のオン期間に合わせてパターンを投影するタイミング13とカメラ露光タイミング14を示したものである。 FIG. 6 shows a timing 13 and a camera exposure timing 14 for projecting a pattern in accordance with the ON period of the trigger signal 12 in the apparatus according to claim 1.

図7は、請求項2記載の装置において、n+1番目からn+m番目で同期用パターン(Sync0 ~ Syncm-1) を投影し、その後最初のパターンに戻るタイミングを示したものである。m=0の場合、図5と同じになる。15はトリガー信号、16は投影パターンの順序、17はカメラ露光のタイミングを表す。 FIG. 7 shows the timing of projecting synchronization patterns (Sync0 to Syncm-1) from the (n + 1) th to the (n + m) th, and then returning to the first pattern in the apparatus according to the second aspect. When m = 0, the result is the same as in FIG. Reference numeral 15 denotes a trigger signal, 16 denotes a projection pattern order, and 17 denotes a camera exposure timing.

図8は、請求項3記載の装置のタイミングを示した図である。18はトリガー信号、19は投影パターンの順序、20はカメラ露光のタイミングを表す。この場合、カメラから出力されるトリガー信号18は単一信号であるが、本装置側でn種類のパターンを露光するタイミングを、カメラの連写機能仕様に合わせて自動生成し、パターンの投射を行う。 FIG. 8 is a diagram showing the timing of the apparatus according to the third aspect. Reference numeral 18 denotes a trigger signal, 19 denotes a projection pattern order, and 20 denotes a camera exposure timing. In this case, the trigger signal 18 output from the camera is a single signal, but the timing for exposing n types of patterns on the apparatus side is automatically generated according to the continuous shooting function specification of the camera, and the pattern projection is performed Do.

図9は、請求項6記載の装置のタイミングを示した図である。21は本装置側で生成されるトリガー信号、22は投影パターンの順序、23はカメラの露光タイミングである。パターンはトリガー信号に合わせて一定時間投射された後、オフ期間を経て次のトリガー信号の後、次のパターンに移る。これをn回繰り返し、n+1回目には同期用パターンSync0、n+2回目には同期用パターンSync1 を投影し、停止する。ここで、同期用パターンの枚数は0以上の整数である。同期用パターンは、3次元点群生成アプリケーションソフトウェアが最終フレームを判別することを容易にするために用意されているが、必ずしも同期パターンは必要ではない。 FIG. 9 is a diagram showing the timing of the apparatus according to the sixth aspect. 21 is a trigger signal generated on the apparatus side, 22 is a projection pattern order, and 23 is a camera exposure timing. The pattern is projected for a certain period of time in accordance with the trigger signal, then moves to the next pattern after the next trigger signal after an off period. This is repeated n times, and the synchronization pattern Sync0 is projected at the (n + 1) th time, and the synchronization pattern Sync1 is projected at the (n + 2) th time and stopped. Here, the number of synchronization patterns is an integer of 0 or more. The synchronization pattern is prepared to make it easy for the 3D point cloud generation application software to determine the final frame, but the synchronization pattern is not necessarily required.

図10は、請求項7記載の装置の構成を表した図である。基本構成は図4と同じだが、トリガー信号がパターン投射装置側で生成されカメラへ出力され、カメラはそのトリガー信号を受けて画像の撮影を行う点で異なる。この機能は、カメラ側で連写機能は持たないものの、外部トリガー信号を受けてシャッターを切る(露光を開始する)機能を持っているカメラに有効な構成である。 FIG. 10 is a diagram showing the configuration of the apparatus according to the seventh aspect. The basic configuration is the same as in FIG. 4 except that a trigger signal is generated on the pattern projection apparatus side and output to the camera, and the camera receives the trigger signal and captures an image. Although this function does not have a continuous shooting function on the camera side, this function is effective for a camera having a function of releasing a shutter (starting exposure) upon receiving an external trigger signal.

図11は、本発明のパターン投影装置から投影される8種類のパターンを計測対象物に投影し、カメラで撮影したものである。最初のパターンは、基準位相パターンで投影、次は8分の1πだけ空間位相が進んだパターンで投影、以下、8分の1πずつ空間位相を進ませたパターンを投影した、合計8枚のフレーム写真である。 FIG. 11 shows eight types of patterns projected from the pattern projection apparatus of the present invention projected onto a measurement object and photographed with a camera. The first pattern is projected with a reference phase pattern, the next is projected with a pattern whose spatial phase is advanced by 1 / 8π, and the pattern with the spatial phase advanced by 1 / 8π is projected below for a total of 8 frames. It is a photograph.

デジタルカメラは、空間位相の進捗に合わせて露光し、撮影したフレームをSD-CARDなどのメモリ媒体に記憶する。或いは、WiFiなどの無線インターフェイスにてパソコンに転送する。 The digital camera performs exposure according to the progress of the spatial phase, and stores the photographed frame in a memory medium such as SD-CARD. Alternatively, transfer to a personal computer via a wireless interface such as WiFi.

パソコンでは、アプリケーションソフトウェアがSD-CARDに記憶されたフレーム群、或いは、WiFi で転送されたフレーム群を読み取り、3次元点群へと変換する。 In the personal computer, the application software reads the frame group stored in the SD-CARD or the frame group transferred by WiFi and converts it into a three-dimensional point group.

本発明によれば、イメージセンサーが日進月歩に進化している市販のデジタルカメラを、3次元計測装置の撮影手段として利用するため、3次元計測装置の進化として直ちに取り入れることが可能である。また、3次元計測装置として必須な機能をパターン投影装置側に集約しているため、全体のコストを大幅に抑えることが可能であり、産業用計測装置としてのみならず、民生用としても、3次元計測装置の一般的な普及に大きく寄与する。 According to the present invention, since a commercially available digital camera whose image sensor is evolving rapidly is used as an imaging means of the three-dimensional measuring apparatus, it can be immediately adopted as an evolution of the three-dimensional measuring apparatus. Further, since the functions essential as a three-dimensional measuring apparatus are concentrated on the pattern projection apparatus side, the overall cost can be greatly reduced, and not only as an industrial measuring apparatus but also as a consumer use. This greatly contributes to the general spread of dimension measuring devices.

1 パターン投影装置
2 プロジェクション装置
3 パターンデータ記憶手段
4 電源装置
5 デジタルカメラとのインターフェイス
6 デジタルカメラの外部インターフェイス
7 デジタルカメラ
8 撮影データ記憶手段
9 トリガー信号
10 投影パターンの順序
11 カメラ露光のタイミング
12 トリガー信号
13 パターン投影タイミング
14 カメラ露光のタイミング
15 トリガー信号
16 投影パターンの順序
17 カメラ露光のタイミング
18 トリガー信号
19 投影パターンの順序
20 カメラ露光のタイミング
21 トリガー信号
22 投影パターンの順序
23 カメラ露光のタイミング


DESCRIPTION OF SYMBOLS 1 Pattern projection apparatus 2 Projection apparatus 3 Pattern data storage means 4 Power supply apparatus 5 Digital camera interface 6 Digital camera external interface 7 Digital camera 8 Shooting data storage means 9 Trigger signal 10 Projection pattern order 11 Camera exposure timing 12 Trigger Signal 13 Pattern projection timing 14 Camera exposure timing 15 Trigger signal 16 Projection pattern sequence 17 Camera exposure timing 18 Trigger signal 19 Projection pattern sequence 20 Camera exposure timing 21 Trigger signal 22 Projection pattern sequence 23 Camera exposure timing


Claims (6)

パターン投影装置とカメラを、三角形の底辺の角に配置し、三角形の頂点に配置する計測対象部物に投影されたパターンの変形を撮影することで三角測量を実現する3次元座標測定装置のパターン投影装置において、
複数の異なった投影パターン(n種類;nは1以上の整数)を保存する手段を有し、
該カメラから出力される露光開始信号(以降、トリガー信号)を受け取る手段(以降、インターフェイス)を有し、
該トリガー信号に同期して、一定期間、パターンを投影する機能を有し、或いは、該トリガー信号のオン期間に応じて、パターンを投影する機能を有し、
次のトリガー信号に同期して、次のパターンを投影する機能を有し、
該トリガー信号の数がn個に達した場合、次の投影パターンが最初のパターンに戻る機能を有し、
上記インターフェイスの物理的形状が、カメラの外部フラッシュ接続端子の形状を有することを特徴とする、パターン投影装置。
A pattern of a three-dimensional coordinate measurement device that realizes triangulation by arranging a pattern projection device and a camera at the corner of the base of the triangle and photographing the deformation of the pattern projected on the measurement object placed at the vertex of the triangle In the projection device,
Means for storing a plurality of different projection patterns (n types; n is an integer of 1 or more);
Means (hereinafter referred to as an interface) for receiving an exposure start signal (hereinafter referred to as a trigger signal) output from the camera;
In synchronization with the trigger signal, has a function of projecting a pattern for a certain period, or has a function of projecting a pattern according to an on period of the trigger signal,
Has the function to project the next pattern in synchronization with the next trigger signal,
When the number of trigger signals reaches n, the next projection pattern has a function of returning to the first pattern,
The pattern projection apparatus characterized in that the physical shape of the interface has the shape of an external flash connection terminal of a camera.
請求項1のパターン投影装置において、
該トリガー信号のn+1個目で、3次元形状計測用とは異なるパターンを投影し、n+m個目(mは1以上の整数)のトリガー信号で最初の投影パターンに戻る機能を有することを特徴とする、パターン投影装置。
The pattern projection apparatus according to claim 1,
The trigger signal has a function of projecting a pattern different from that for three-dimensional shape measurement at the (n + 1) th trigger signal and returning to the first projection pattern with the (n + m) th trigger signal (m is an integer of 1 or more). A pattern projection device.
パターン投影装置とカメラを、三角形の底辺の角に配置し、三角形の頂点に配置する計測対象部物に投影されたパターンの変形を撮影することで三角測量を実現する3次元座標測定装置のパターン投影装置において、
複数の異なった投影パターン(n種類;nは1以上の整数)を保存する手段を有し、
該カメラから出力される露光開始信号(以降、トリガー信号)を受け取る手段(以降、インターフェイス)を有し、
該トリガー信号の最初の信号を受けて、以降のトリガー信号に依存せず、n種類のパターンを一定の投影時間毎に次々と投影する機能を有し、
n種類のパターン投影後、再度トリガー信号の受信を待ちうけるモードに入る機能を有し、
上記インターフェイスの物理的形状が、カメラの外部フラッシュ接続端子の形状を有することを特徴とする、パターン投影装置。
A pattern of a three-dimensional coordinate measurement device that realizes triangulation by arranging a pattern projection device and a camera at the corner of the base of the triangle and photographing the deformation of the pattern projected on the measurement object placed at the vertex of the triangle In the projection device,
Means for storing a plurality of different projection patterns (n types; n is an integer of 1 or more);
Means (hereinafter referred to as an interface) for receiving an exposure start signal (hereinafter referred to as a trigger signal) output from the camera;
Receiving the first signal of the trigger signal, having a function of projecting n types of patterns one after another at a certain projection time without depending on the subsequent trigger signal,
After projecting n types of patterns, it has a function to enter a mode in which it waits for reception of a trigger signal again,
The pattern projection apparatus characterized in that the physical shape of the interface has the shape of an external flash connection terminal of a camera.
請求項1、請求項2、ないし請求項3のパターン投影装置において、
該インターフェイスが外部フラッシュ接続端子の形状ではなく、カメラのアクセサリー端子やシンクロターミナルなど、カメラからなんらかの形でフラッシュの動作開始を知らせる手段に対応した手段を有した、パターン投影装置。
In the pattern projector of Claim 1, Claim 2, or Claim 3,
A pattern projection apparatus in which the interface has means corresponding to means for notifying the start of flash operation from the camera in some form, such as a camera accessory terminal or sync terminal, instead of the shape of an external flash connection terminal.
請求項1、請求項2、ないし請求項3のパターン投影装置において、
該インターフェイスがブルートゥース、WiFi、NFC(Near Field Communication)などの無線通信やIrDAなどの赤外線通信などで構成されることを特徴とする、パターン投影装置。
In the pattern projector of Claim 1, Claim 2, or Claim 3,
A pattern projection apparatus, wherein the interface is configured by wireless communication such as Bluetooth, WiFi, NFC (Near Field Communication) or infrared communication such as IrDA.
パターン投影装置とカメラを、三角形の底辺の角に配置し、三角形の頂点に配置する計測対象部物に投影されたパターンの変形を撮影することで三角測量を実現する3次元座標測定装置のパターン投影装置において、
複数の異なった投影パターン(n種類;nは1以上の整数)を保存する手段を有し、
n種類の投影パターンを一定時間毎に次々と投影する機能を有し、
投影パターンの投影開始に同期して、カメラの露光を開始するための指示信号(トリガー信号)を、カメラの外部トリガー入力端子やリモコン端子へ出力する手段を有することを特徴とする、パターン投影装置。



A pattern of a three-dimensional coordinate measurement device that realizes triangulation by arranging a pattern projection device and a camera at the corner of the base of the triangle and photographing the deformation of the pattern projected on the measurement object placed at the vertex of the triangle In the projection device,
Means for storing a plurality of different projection patterns (n types; n is an integer of 1 or more);
a function of projecting n types of projection patterns one after another at regular intervals;
A pattern projection apparatus comprising means for outputting an instruction signal (trigger signal) for starting exposure of a camera to an external trigger input terminal or a remote control terminal of the camera in synchronization with the start of projection of the projection pattern .



JP2014023179A 2014-02-10 2014-02-10 Pattern projection device Pending JP2015148585A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014023179A JP2015148585A (en) 2014-02-10 2014-02-10 Pattern projection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014023179A JP2015148585A (en) 2014-02-10 2014-02-10 Pattern projection device

Publications (1)

Publication Number Publication Date
JP2015148585A true JP2015148585A (en) 2015-08-20

Family

ID=53892030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014023179A Pending JP2015148585A (en) 2014-02-10 2014-02-10 Pattern projection device

Country Status (1)

Country Link
JP (1) JP2015148585A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807356B1 (en) 2016-06-08 2017-10-31 Panasonic Intellectual Property Management Co., Ltd. Projection system
CN116248844A (en) * 2023-02-14 2023-06-09 深微光电科技(深圳)有限公司 Pattern data processing method and device, electronic equipment and storage medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807356B1 (en) 2016-06-08 2017-10-31 Panasonic Intellectual Property Management Co., Ltd. Projection system
WO2017212510A1 (en) * 2016-06-08 2017-12-14 パナソニックIpマネジメント株式会社 Projection system
US9894332B2 (en) 2016-06-08 2018-02-13 Panasonic Intellectual Property Management Co., Ltd. Projection system
CN107852475A (en) * 2016-06-08 2018-03-27 松下知识产权经营株式会社 Optical projection system
US10110864B2 (en) 2016-06-08 2018-10-23 Panasonic Intellectual Property Management Co., Ltd. Projection system
CN107852475B (en) * 2016-06-08 2018-11-06 松下知识产权经营株式会社 Optical projection system
US10356374B2 (en) 2016-06-08 2019-07-16 Panasonic Intellectual Property Management Co., Ltd. Projection system
US10554939B2 (en) 2016-06-08 2020-02-04 Panasonic Intellectual Property Management Co., Ltd. Projection system
US10999564B2 (en) 2016-06-08 2021-05-04 Panasonic Intellectual Property Management Co., Ltd. Projection system
US11394939B2 (en) 2016-06-08 2022-07-19 Panasonic Intellectual Property Management Co., Ltd. Projection system
CN116248844A (en) * 2023-02-14 2023-06-09 深微光电科技(深圳)有限公司 Pattern data processing method and device, electronic equipment and storage medium
CN116248844B (en) * 2023-02-14 2024-04-30 深微光电科技(深圳)有限公司 Pattern data processing method and device, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
KR102461093B1 (en) Depth image providing apparatus and method
US9619693B2 (en) Display system, display device, projection device and program
GB201305704D0 (en) Information processing apparatus that performs three-dimensional shape measurement, information processing method, and storage medium
KR102238573B1 (en) Methods and apparatus for generating a three-dimensional reconstruction of an object with reduced distortion
WO2015073590A3 (en) Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
JP2019087791A (en) Information processing apparatus, information processing method, and program
WO2018225531A1 (en) Image processing device and method
JP2017506740A (en) Depth information extraction apparatus and method
JP2014228617A5 (en)
US11743437B2 (en) Projection adjustment program and projection adjustment method
JP2016085379A (en) Controller, control method, and program
JP2016085435A (en) Image processing system
KR20160040330A (en) A method of correcting for distorted image from fish-eye lens by using concentric circles type standard patterns
JP7462249B2 (en) Projection system, projection apparatus and projection method
JP2015204548A (en) image projection system
JP2015148585A (en) Pattern projection device
JP2004228824A (en) Stack projection device and its adjusting method
JP6458396B2 (en) Image processing system and image projection apparatus
JP2018152663A (en) Image processing device, display system, control method of image processing device, and program
JP6172771B2 (en) Image display device, image display system, and image control method
KR20120059270A (en) A system correcting projection image for a curved screen
CN105496444A (en) Scan control method and scanning device
JP2003279335A (en) Method and apparatus for controlling imaging
JP2019095376A (en) Image processing system
JP6620979B2 (en) Portable terminal, projection system, control method and program for projection system