JP2002027501A - 3次元画像撮像装置および3次元画像撮像方法 - Google Patents
3次元画像撮像装置および3次元画像撮像方法Info
- Publication number
- JP2002027501A JP2002027501A JP2000207875A JP2000207875A JP2002027501A JP 2002027501 A JP2002027501 A JP 2002027501A JP 2000207875 A JP2000207875 A JP 2000207875A JP 2000207875 A JP2000207875 A JP 2000207875A JP 2002027501 A JP2002027501 A JP 2002027501A
- Authority
- JP
- Japan
- Prior art keywords
- light
- pattern
- image pickup
- dimensional image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
Abstract
用いるパターン投光手段の簡易な構成を実現する3次元
画像撮像装置を提供する。 【解決手段】フォトマスクなどの透過マスクによる光学
フィルターと、パターンを投影する為の光源を構成要素
とするパターン投光手段を構成する。パターン光を不可
視領域光、例えば近赤外光とする場合は、フィルターは
赤外カット用のマスクを用い、形成パターンに対応させ
て透過率を変化させて強度分布を持たせる。本構成によ
り、レーザを用いた構成と異なり駆動系が不要なため振
動に強く、特殊な装置や制御装置がいらないために単純
な構造が実現できる。また、ハーフミラーを用いて撮像
手段と組み合わせることにより、コンパクトな撮像およ
び投光手段構成が実現される。
Description
ターン光を照射することによって得られるパターン投影
像を、複数の撮像手段で異なる方向から撮像し、パター
ンの変化に基づいて距離情報を得る3次元画像撮像装置
および3次元画像撮像方法に関し、測定対象に投影する
パターンに対応させて光透過態様を変化させたパターン
を形成した光学フィルター、および光源とを備えた投光
手段を用いた3次元画像撮像装置および3次元画像撮像
方法に関する。
ィブ手法(Active vision)とパッシブ手法(Passive v
ision)がある。アクティブ手法は、(1)レーザ光や超
音波等を発して、対象物からの反射光量や到達時間を計
測し、奥行き情報を抽出するレーザー手法や、(2)ス
リット光などの特殊なパターン光源を用いて、対象表面
パターンの幾何学的変形等の画像情報より対象形状を推
定するパターン投影方法や、(3)光学的処理によってモ
アレ縞により等高線を形成させて、3次元情報を得る方
法などがある。一方、パッシブ手法は、対象物の見え
方、光源、照明、影情報等に関する知識を利用して、一
枚の画像から3次元情報を推定する単眼立体視、三角測
量原理で各画素の奥行き情報を推定する二眼立体視等が
ある。
は高いが、投光手段の限界などにより、測定できるレン
ジが小さい場合が多い。一方、パッシブ手法は汎用的で
あり、対象に対する制約が少ない。本発明は、このアク
ティブ手法の3次元計測装置であるパターン投影法に関
するものである。
準となるパターン光を投影し、基準となるパターン光が
投影された方向とは異なる方向から撮影を行う。撮影さ
れたパターンは、物体の形状によって変形を受けたもの
となる。観測された変形パターンと投影したパターンと
の対応づけを行うことで、物体の3次元計測を行える。
パターン投影法では、変形パターンと投影したパターン
の対応づけにおいていかに誤対応を少なくし、かつ簡便
に行うかが課題となる。そこで、様々なパターン投影の
手法(空間パターンコード化、モアレ、色符号化)が提案
されている。
5−3327375号公報に開示されている実施例につ
いて説明する。この例では、レーザ光源とレーザ光をス
リット形に整形するレンズ系と、整形されたレーザ光を
対象物に走査して照射するスキャンニング装置と対象物
からの反射光を検出するカメラとこれらを制御する装置
からなる。
光によって対象物上に、レーザ光が照射された部分と照
射されていない部分とで縞模様が形成される。レーザ光
の照射を異なる複数のパターンによって行うことで対象
物上はN個の識別可能な部分に分割される。対象物を異
なる位置からカメラで撮影した画像上の各画素が分割さ
れたどの部分に含まれるかを判別することで対象物の形
状を算出できる。
よるスキャンを行い、複数回のカメラによる撮影が必要
となる。例えば、画面を256の領域に分割する為には
8回の撮影が必要となる。そのため動きの早い物体の撮
影は困難となり、更にスキャンを行う間は撮影系を確実
に固定しておく必要があるので装置自体は簡便となって
も手軽に撮影を行う事は難しい。
開平3−192474号公報に開示されている色符号化
がある。色符号化においては、q、kを2以上の所定の自
然数とした時、q色以上の色を用いて、隣接する2本のス
リット光が同色にならず、隣接するk本のスリット光に
よる色の並びが1度しか現れないように符号化されたパ
ターンを投影し、観測された画像からスリットの色を検
出し、該当スリットの色並びからスリット番号を取得す
る。スリット番号から、スリットの照射方向を算出し空
間コード化の例と同様に距離を算出することができる。
びからコードを復元する為に、コードの復元の計算量が
大きいという問題点がある。更に、R,G,Bの3色を
用いて256の領域に分割したい場合には、コードを知
りたいスリットの周囲8本のスリット光の並びを知る必
要があり、連続してスリットが長く観測できるような形
状の物体の計測にしか適さない。
コード化されたパターンを投影する手段として特許第2
565885号で公開されている空間パターンコード化
法がある。この特許では、3値以上の濃淡、又は3色以
上の色、又は濃淡と色の組み合わせによって3種類以上
の階調領域を有し、該階調領域の境界線の交点において
少なくとも3種類の階調領域が互いに接しているように
配置した多値格子板パターンを具備し、該パターンを被
測定対象物に投影して生じる投影像の交点に該交点で接
する階調の種類と順序に応じた主コードを付与し、該主
コードを、または交点の主コードとその周囲交点の主コ
ードとを組み合わせた組み合わせコードを、交点の識別
用の特徴コードとして付与したことを特徴とする。
はコード化が崩れてしまい正しくコードの対応づけがで
きなくなる場合がある。例えば、図21に示すように光
源によって投光されたパターン列が"12345678"であると
き、撮影対象の構造によってはカメラで撮影されるパタ
ーン列が"1267"と欠落して認識されたり、パターン列"7
58"のように反転したパターン列が得られる場合があ
る。また、対象物の形状や反射率などによっても投光し
たパターンと撮影されたパターン列の変化により対応づ
けは困難となる。
のグループ化を行う際、スリットの欠落、反転の可能性
があるパターンについては復号を行わない手法を用いて
この問題を回避している。空間パターンコード化法では
2次元パターンを用いることで、前述の誤りの可能性を
低減してはいるが、原理的には対象物によっては同じ誤
りが生じる。従って、前述の方式では、実験室内の特殊
な状況や対象物体を限定した状況での撮影では優れた精
度が得られるものの、対象を限定しない一般的な撮影状
況では精度の劣化は否めない。また、光源を用いた投光
を行う手法では、広いレンジを有するものを対象とした
時に、投光が届かない部位については3次元形状が得ら
れない。また、投光されたパターンを対象物が遮ること
で生じる影の領域も、距離の計測ができないため、実際
に見えているのに距離が得られない領域が存在してしま
う。
10−191063号、(特開2000−9442)、特
願平10−247796(特開2000−65542)で
は投光されたパターンをフィードバックし新たなコード
を生成することで対象物に依存しない3次元画像撮影装
置を提案した。
91063号、(特開2000−9442)、特願平10
−247796(特開2000−65542)における3
次元画像撮影装置は、投光パターンを複数の強度や複数
の波長によって符号化されたものを投影して実現する。
その際に、投光パターンが被写体の輝度情報、素材など
の影響によって変化し、3次元形状を算出する際に、エ
ラーとなって適切な3次元形状が計測できない。そのた
めに、上記3次元撮像装置は、投光素子と同光軸に配置
をし、被写体情報による投光パターンの変化分をモニタ
し、再符号化を実施し、3次元形状を計測している。
を投影する際の投影には、液晶などをつかったPCなど
のコントローラで照射パターンを制御して投影するプロ
ジェクタあるいはレーザによる投影構成を使用してい
る。レーザ光を使ったものは、ポリゴンミラーなどの駆
動系を有してしまうので、手持ちなどの振動に弱いとい
う欠点や、ビデオレート以上の高速カメラなど高速シャ
ッターが必要な物体に対してはプロジェクトパターンが
追いつかないという欠点がある。また、ポリゴンミラー
の駆動及びスリットレーザ光のコントロールをするため
の制御が必要となるといった問題があった。
する投影手段の問題点に鑑みてなされたものであり、本
発明は、投影するパターンを、フォトマスクなどの透過
マスクと、そのパターンを投影する為の光源を使うこと
によって、軽量かつ低コストの構成を持つ3次元画像撮
像装置および3次元画像撮像方法を提供することを目的
とする。
解決するものであり、その第1の側面は、測定対象に投
影するパターンに対応させて光透過態様を変化させたパ
ターンを形成した光学フィルター、および光源とを備え
た投光手段と、前記投光手段の光軸方向から投影パター
ンを撮影する第1の撮像手段と、前記投光手段の光軸方
向と異なる方向から前記投影パターンを撮影する第2の
撮像手段とを備え、前記第2の撮像手段の撮影した撮影
パターンに基づいて第1の距離情報を生成する構成を有
することを特徴とする3次元画像撮像装置にある。
実施態様において、前記投影パターンに対する第1の撮
像手段による撮影パターンの変化量が所定値以上の領域
について、該第1の撮像手段による撮影パターンに対応
する新規コードを割り付け、前記新規コードに基づいて
第2の撮像手段による撮影パターンから前記第1の距離
情報を生成する構成を有することを特徴とする。
実施態様において、前記投光手段は、パターン光を不可
視領域光によって形成する構成であり、前記光源は、赤
外光または紫外光を用いた不可視領域の光源であること
を特徴とする。
実施態様において、前記投光手段を構成する光学フィル
ターは、可視領域光を透過する構成であるとともに、投
影パターンに対応させて不可視領域光の強度変化パター
ンを形成した構成であり、前記光源は、可視領域および
不可視領域の波長の双方の領域のスペクトルを有する構
成であることを特徴とする。
実施態様において、前記投光手段を構成する光学フィル
ターは、赤外カット用のマスクの透過率を変化させて照
射パターンに対応した強度分布を持たせた構成であり、
前記光源は、可視領域および不可視領域の波長の双方の
領域のスペクトルを有する構成であることを特徴とす
る。
実施態様において、前記投光手段の出射光と、前記第1
の撮像手段の入射光とは、共通のレンズを介して入出力
されるとともにビームスプリッタによって分離される構
成であり、前記投光手段と前記第1の撮像手段とは、そ
れぞれ光学的に同軸に配置された構成であることを特徴
とする。
実施態様において、前記投光手段は不可視領域の光を発
生する光源を有し、前記第1の撮像手段および前記第2
の撮像手段は不可視領域の光を透過するフィルターおよ
び不可視領域の光を遮断するフィルターを有し、パター
ン投影画像と、輝度画像とを並列に撮り込む構成を有す
ることを特徴とする。
実施態様において、前記投光手段による投影パターンに
対する第1の撮像手段による撮影パターンの変化量が所
定値未満の領域について、第1の撮像手段および第2の
撮像手段より得られた各輝度情報の対応づけにより第2
の距離情報を生成し、前記第1の距離情報、第2の距離
情報および第1または第2の撮像手段より得られた輝度
情報を用いて3次元画像を得るよう構成したことを特徴
とする。
実施態様において、前記第2の撮像手段は、前記測定対
象を異なる角度で撮像する複数の撮像手段によって構成
され、該複数の第2の撮像手段の各々の撮影した投影パ
ターンに基づいて求められる距離情報を合成して3次元
画像を得るよう構成したことを特徴とする。
実施態様において、前記投光手段の出射光と、前記第1
の撮像手段の入射光とは、共通のレンズを介して入出力
されるとともにビームスプリッタとして構成されるハー
フミラーによって分離される構成であり、前記投光手段
を構成する光学フィルターは、前記ハーフミラーの光源
側の面に沿って近接して配置した構成を有することを特
徴とする。
実施態様において、前記投光手段の出射光と、前記第1
の撮像手段の入射光とは、共通のレンズを介して入出力
されるとともにビームスプリッタとして構成されるハー
フミラーによって分離される構成であり、前記投光手段
を構成する光学フィルターは、前記ハーフミラーの光源
側の面に沿って近接して配置した構成を有するととも
に、前記光源は、平板型の発光素子または蛍光体であ
り、前記光学フィルターに近接して配置された構成を有
することを特徴とする。
に投影するパターンに対応させて光透過態様を変化させ
たパターンを形成した光学フィルター、および光源とを
備えた投光手段により、パターンを測定対象に投影する
投光ステップと、前記投光手段の光軸方向から投影パタ
ーンを撮影する第1の撮像手段と、前記投光手段光軸方
向と異なる方向から前記投影パターンを撮影する第2の
撮像手段とにより、パターンの投影された測定対象を撮
影する撮像ステップと、前記第2の撮像手段の撮影した
撮影パターンに基づいて第1の距離情報を生成するステ
ップと、を有することを特徴とする3次元画像撮像方法
にある。
実施態様において、前記投影パターンに対する第1の撮
像手段による撮影パターンの変化量が所定値以上の領域
について、該第1の撮像手段による撮影パターンに対応
する新規コードを割り付けるステップと、前記新規コー
ドに基づいて第2の撮像手段による撮影パターンから前
記第1の距離情報を生成するステップとを有することを
特徴とする。
実施態様において、前記投光ステップは、前記光源を赤
外光または紫外光を用いた不可視領域の光源として、パ
ターン光を不可視領域光によって形成するステップであ
ることを特徴とする。
実施態様において、前記投光ステップは、前記光源を赤
外光または紫外光を用いた不可視領域の光源として、パ
ターン光を不可視領域光によって形成するステップであ
り、前記撮像ステップは、パターン投影画像と、輝度画
像とを並列に撮り込むステップであることを特徴とす
る。
実施態様において、前記3次元画像撮像方法は、さら
に、前記投光手段による投影パターンに対する第1の撮
像手段による撮影パターンの変化量が所定値未満の領域
について、第1の撮像手段および第2の撮像手段より得
られた各輝度情報の対応づけにより第2の距離情報を生
成し、前記第1の距離情報、第2の距離情報および第1
または第2の撮像手段より得られた輝度情報を用いて3
次元画像を得るステップを有することを特徴とする。
実施態様において、前記3次元画像撮像方法において、
前記第2の撮像手段は、前記測定対象を異なる角度で撮
像する複数の撮像手段によって構成され、該複数の第2
の撮像手段の各々の撮影した投影パターンに基づいて求
められる距離情報を合成して3次元画像を得ることを特
徴とする。
画像撮像装置および3次元画像撮像方法の実施の形態を
詳しく説明する。
の取得原理について説明する。再コード化処理を用いた
距離データの取得を実行する3次元画像撮像装置の構成
を表すブロック図を図1に示す。図2に光源と撮像素子
の位置関係を示す。
は、3台のカメラ101〜103および投光器104を
備える。各カメラの距離関係が揃うように、図示の距離
I1、I2、I3は等しくされている。カメラ3,103
と投光器104は、ビームスプリッタとしてのハーフミ
ラー105を用いて光軸が一致するように配置される。
カメラ1,101、カメラ2,102は、カメラ3,1
03と投光器104の両側に、それらと光軸が異なるよ
うに配置される。中央の光軸と両側の光軸との距離が基
線長Lである。
ターン107と、強度パターン108と、プリズム10
9とを有する。ここで光源106は、赤外もしくは紫外
光を用いた不可視領域の光源を用いることができる。こ
の場合、各カメラは図3に示すように構成される。すな
わち、入射してきた光310は、プリズム301で2方
向に分割され、一方は不可視領域(赤外あるいは紫外)
透過フィルター302を通って撮像装置(例えばCCD
カメラ)303に入射し、他方は不可視領域(赤外と紫
外)遮断フィルター304を通って撮像装置305に入
射する。
るいは不可視領域に限定せず、撮像可能な波長帯の光源
を用いてもよい。この場合、カメラ3,103において
は、プログレッシブスキャンタイプのCCDカメラを用
い、カメラ1,101、カメラ2,102に関しては、
特に構成はこだわらない。ただし、カメラ3,103と
の対応を考慮すれば、同じ構成のCCDカメラが望まし
い。光源106からパターンが投影され、3台のカメラ
1〜3(101〜103)が同時に撮影を行う。そして
各カメラは、フィルター304,305(図3参照)を
通過した光を撮像装置303,305で得ることによ
り、画像の一括取得を行う。
説明する。図示のように、カメラ1,101は、撮影し
て得た輝度情報を輝度値メモリ121に記憶し、撮影パ
ターンをパターン画像メモリ122に記憶する。カメラ
2,102は、同様に、輝度情報を輝度値メモリ123
に記憶し、撮影パターンをパターン画像メモリ124に
記憶する。カメラ3,103は、輝度情報を輝度値メモ
リ125に記憶し、撮影パターンをパターン画像メモリ
126に記憶する。投光器104は、事前に作成したコ
ード化されたパターンを後に参照する為に、各スリット
を正方格子上のセルに分割してフレームメモリ127に
格納している。
度情報を用いて、次のようにして3次元画像を得る。以
下の操作は、カメラ1,101とカメラ3,103の組
み合わせ、カメラ2,102とカメラ3,103の組み
合わせの双方に共通なので、ここではカメラ1,101
とカメラ3,103の組み合わせを例にとって説明す
る。
ラ3,103で撮影された撮影パターンの領域分割を行
う。そして、隣り合うスリットパターン間の強度差が閾
値以下である領域については投光器からの光が届いてな
い領域1として抽出し、スリットパターン間の強度差が
閾値以上である領域については領域2として抽出する。
再コード化部129は、抽出された領域2について、パ
ターン画像メモリ126に記憶された撮影パターンとフ
レームメモリ127に格納された投影パターンを用いて
再コード化を行う。
ートである。まず、各スリットパターンをスリット幅毎
に縦方向に分割し(ステップ1001)、正方形のセル
を生成する。生成された各セルについて強度の平均値を
とり、平均値を各セルの強度とする(ステップ100
2)。画像の中心から順に、投影パターン及び撮影パタ
ーンの対応する各セル間の強度を比較し、対象物の反射
率、対象物までの距離などの要因によってパターンが変
化したためにセル間の強度が閾値以上異なるかどうかを
判断する(ステップ1003)。閾値以上異ならない場
合は、撮影されたすべてのセルについて再コード化を終
了する(ステップ1007)。
かどうか判断する(ステップ1004)。そして、新た
な強度のセルのときは、新たなコードの生成、割り付け
を行う(ステップ1005)。また、新たな強度のセル
でないときは、他に出現している部位と識別可能とする
スリットパターンの並びを用いてコード化する(ステッ
プ1006)。これで、再コード化を終了する(ステッ
プ1007)。
示すもので、同図(a)はスリットの並びによってコー
ド化された投影パターンであり、強度としてそれぞれ3
(強)、2(中)、1(弱)が割り当てられている。同
図(b)においては、左から3つめのセルで強度が変化
して新たなコードが出現したので、新たに0というコー
ドを割り当てている。同図(c)においては、左から3
つめ上から2つめのセルに既存のコードが出現している
ので、セルの並びから新たなコードとして、縦の並びを
[232]、横の並びを[131]という具合に再コー
ド化する。この再コード化は、対象の形状が変化に富む
部位には2次元パターンなどの複雑なパターンを投光
し、変化の少ない部位には簡単なパターンを投光してい
るのに等しい。この過程を繰り返し、全てのセルに対し
て一意なコードを割り付けることで再コード化を行う。
器604を用いて、壁605の前に配置された板606
にコード化されたパターンを投光する例を示す。ここで
コード化されたパターンは、図7に示すスリットパター
ンである。このとき、カメラ601、カメラ602で得
られる画像は、図8及び図9に示すように、それぞれ板
606の影となる領域801、901が生ずる。本例で
は、板606の表面には新たにコード化されたパターン
として、図10に示すようなスリットパターンが得られ
る。
01側のコード復号部130は、パターン画像メモリ1
22から投影パターンを抽出し、上述と同様にしてセル
に分割する。そして、先に再コード化部129で再コー
ド化されたコードを用いて各セルのコードを検出し、こ
の検出したコードに基づいて光源からのスリット角θを
算出する。図11は空間コード化における距離の算出方
法を示す図であり、各画素の属するセルのスリット角θ
とカメラ1で撮影された画像上のx座標とカメラパラメ
ータである焦点距離Fと基線長Lとから、次の(数1)
によって距離Zを算出する。
のコード復号部131においても、同様に行われる。ま
た、上述の領域1については次のようにして距離を算出
する。領域1では、投光されたパターンによるパターン
検出は行うことができないので、対応点探索部132に
おいて、カメラ1〜3の輝度値メモリ121、123、
125から読み出された輝度情報を用いて視差を検出
し、これに基づいて距離を算出する。領域1を除く領域
に対しては、前述の操作により距離が算出されているの
で、領域1の距離の最小値が得られ、また対応づけ可能
な画素も限定される。これらの制限を用いて、画素間の
対応づけを行い視差dを検出し、カメラパラメータであ
る画素サイズλを用いて、次の(数2)によって距離Z
を算出する。
1,101の組み合わせによって得られた距離情報で
は、図8に示す板の影となる領域801の距離情報が検
出できない。一方、カメラ3,103とカメラ2,10
2の組み合わせによって得られた距離情報では、図9に
示す板の影となる領域901の距離情報が検出できな
い。しかし、図8に示す板の影となる領域801の距離
情報が算出可能である。従って、図1の距離情報統合部
133において、カメラ3,103とカメラ1,101
の組で算出された距離情報およびカメラ3,103とカ
メラ2,102で算出された距離情報から、カメラ3の
画像(図12)のすべての画素に対する距離情報を取得
する。以上の操作によって得られた距離情報を、例えば
カメラ3の輝度画像に対応づけて3次元画像メモリに記
憶することで3次元画像撮像を行う。
取得して3次元画像の生成を実行する。上述の構成の3
次元画像撮影装置は、投光パターンを複数の強度や複数
の波長によって符号化されたものを投影して実現する。
このためのパターン投影手段の具体的構成を図13に示
す。
301と、光源1301の光の光透過態様、すなわち、
光透過量あるいは透過率をコントロールするようなフォ
トマスクなどの透過マスクで構成される濃度分布を持っ
た光学フィルター1302によって構成される。光学フ
ィルター1302は、予め所定の濃度分布のパターン光
を透過するように構成された光学フィルターである。光
源1301からの出射光は、光学フィルター1302を
介して測定対象物に照射されて投影パターン1303が
測定対象に投影される。
測定対象である被写体が動く物体の場合は、光源130
1を撮影時に常時点灯することによって、任意のタイミ
ングで3次元画像生成のためのパターン画像を撮影する
ことができる。また、被写体の対象が静物の場合は、撮
影時、前後の時間も含めて光源1301を点灯させてお
くか、撮影時に同期させて光源1301を瞬間的に光ら
せることで、3次元画像生成のためのパターン画像を撮
像することができる。
て、投光手段を構成する光学フィルター1302は、可
視領域光を透過する構成とするとともに、投影パターン
に対応させて不可視領域光の強度変化パターンを形成
し、光源1301は、可視領域および不可視領域の波長
の双方の領域のスペクトルを有する構成とすることで、
撮像手段によって撮影される輝度画像の照明手段として
も兼用できる構成とすることが可能である。
例えば近赤外光によって形成しようとする場合は、光学
フィルター1302は、赤外カット用のマスクの透過率
を変化させて照射パターンに対応した強度分布を持たせ
る構成とする。この場合、可視光は光学フィルター13
02を透過する。光源1301は、可視領域及び近赤外
の波長に強度を持つものを使用する。このような構成で
あれば、投光装置は、輝度画像の照明装置としても兼用
でき、暗所などにおいての測定も可能になる。
ンを形成した光学フィルターと、光学フィルターを用い
た投光手段による被写体への投光パターン照射例を図1
4に示す。図14(a)は、測定対象である被写体であ
り、図14(b)はスリットパターンを形成した光学フ
ィルター、図14(c)は光学フィルターを用いた投光
手段による被写体への投光パターン照射例である。図1
4(c)に示す照射パターンを投影した被写体を、前述
したよう、撮像手段を用いて異なる角度から撮影して、
撮影されたパターンに基づいて距離情報を取得する。
元画像撮像装置の構成を示す。図15の3次元画像撮像
装置において、測定対象物体1501にパターン光を照
射し、測定対象物体1501に対して異なる角度に設置
した複数のカメラ、例えばCCD等の撮像素子で、パタ
ーンの照射された画像を撮影し、画像撮り込み部で複数
画像を撮り込み、画像処理部において対応付け処理を実
行し、計算処理部で距離を算出する。これらの処理は、
図1以下を用いてすでに説明した通りである。パターン
光を投光する投光素子は、光源1511、光源1511
の光の透過量をコントロールするような濃度分布を持っ
た光学フィルター1512、レンズ光学系1513によ
って構成される。また、投光素子と同軸配置される撮像
素子は、CCD等の撮像素子1521と、レンズ光学系
1522によって構成される。投光素子から出力された
パターン光は、ビームスプリッタとしてのハーフミラー
を介して測定対象物体1501に照射され、測定対象物
のパターン照射像は、ハーフミラーを介して反射して、
撮像素子1521によって撮影される。
3次元画像の画像処理を実行するPCに接続されている
が、制御装置、画像記憶装置、画像処理/演算装置など
を、画像撮込部と一体化した構造にしたり、また、画像
データ、光学系パラメータなどをコンパクトフラッシュ
(登録商標)などの記憶媒体に記憶し、後程、データを
PCなどの画像処理装置に転送し、距離情報の算出演算
を行う構成とすることも可能である。
図である。被写体1601に対して投影装置1602に
よりパターン光を、光の透過量をコントロールするよう
な濃度分布を持った光学フィルター1612を用いて照
射し、撮像素子1603,1604により、パターン照
射のなされた像を撮影する。なお、図16においては、
カメラを2つのみ示しているが、先に説明した図1,2
の構成のように3つのカメラを配置した構成としてもよ
い。
は,同じ構成の撮像素子で,撮像素子1603は、投影
装置1602と光学的に同軸に配置し、投影パターンを
モニタし、輝度画像を同時に取る。撮像素子1604
は、投影パターンをある基線長を隔てた地点で観測し、
撮影されるパターン投影画像に基づいて三角測量の原理
で距離画像を算出する。同時に,輝度も撮影する。
素子の詳細構成例を示すものである。撮像素子は、図1
7に示すように、レンズ1701、不可視光トリミング
フィルター1702、不可視反射ダイクロイック膜17
03、可視光トリミングフィルター1704、および2
つの撮像素子光電面1705,1706を有する。レン
ズ1701を介する入射光は、不可視光トリミングフィ
ルター1702、不可視反射ダイクロイック膜1703
によって、不可視光像が撮像素子光電面1705によっ
て撮像され、可視光像が撮像素子光電面1706によっ
て撮像される。パターン光は、赤外もしくは紫外光の不
可視光によって照射され、他の角度から撮影されたパタ
ーン照射光との対応付け用の距離情報分析データとして
用いられる。
に同軸に配置される撮像素子とを組み合わせた構成を示
すものである。撮像素子は、図17と同様の構成であ
り、レンズ1801、不可視光トリミングフィルター1
802、不可視反射ダイクロイック膜1803、可視光
トリミングフィルター1804、および2つの撮像素子
光電面1805,1806を有する。レンズ1801を
介する入射光は、不可視光トリミングフィルター180
2、不可視反射ダイクロイック膜1803によって、不
可視光像が撮像素子光電面1805によって撮像され、
可視光像が撮像素子光電面1806によって撮像され
る。パターン光は、赤外光源1811、光学的フィルタ
ー1812を介して照射される。なお、パターン光は、
紫外光の不可視光によって照射する構成としてもよい。
12によって構成される投光手段の出射光と、前記撮像
手段の入射光とは、ビームスプリッタとしてのハーフミ
ラー1813によって分離され、投光手段と撮像手段と
は、それぞれが光学的に同軸となるように配置される。
のハーフミラーと、投光パターン形成用の光学フィルタ
ーを一体化あるいは近接させて構成した光学系の構成を
示す。
発せられた光は、ビームスプリッタとしてのハーフミラ
ー1921の手前に一体化して貼りつけられた、あるい
は近接して配置された光の透過量をコントロールするよ
うな濃度分布を持った光学フィルター1922を通過
し、さらにハーフミラー1921を通過することによっ
て、被写体1901に投影パターンを形成する。
の像は、光源1902と光学的に同軸の被写体像を撮影
する撮像素子1,1903と、撮像素子1,1903と
は異なる方向から被写体像を撮影する撮像素子1,19
04により撮影される。なお、図19においては、カメ
ラを2つのみ示しているが、先に説明した図1,2の構
成のように3つのカメラを配置した構成としてもよい。
光学フィルター1922により構成される投影装置と光
学的に同軸に配置し、投影パターンをモニタし、輝度画
像を同時に取る。撮像素子1904は、投影パターンを
ある基線長を隔てた地点で観測し、撮影されるパターン
投影画像に基づいて三角測量の原理で距離画像を算出す
る。同時に,輝度も撮影する。
のハーフミラー1921と、光学フィルター1922と
を近接してまとめた構成であり、このようにハーフミラ
ー背面にパターンを形成した光学フィルターを形成する
ことによりコンパクトな構成が可能となり、投光手段お
よび撮影手段を含めた光学系全体の大きさの小型化を図
ることができる。
化構成の例を図20に示す。図20(a)は、図19を
用いて説明したと同様の構成であり、ビームスプリッタ
としてのハーフミラー2001背面にパターンを形成し
た光学フィルター2002を形成し、光源2003から
の光を光学フィルター2002およびハーフミラー20
01を介して被写体に投影する構成である。すなわち、
光学フィルターをハーフミラーの光源側の面に沿って近
接して配置した構成である。
のハーフミラー2001背面にパターンを形成した光学
フィルター2002を形成し、さらにEL(electric L
uminescence)素子、あるいは薄形の蛍光灯のような平
板型の光源を使用した構成であり、平板型の光源200
4を光学フィルター2002の側面に沿って設置した構
成を持つ、光源2004からの光は光学フィルター20
02およびハーフミラー2001を介して被写体に投影
される。図20(b)の構成ではビームスプリッタ、光
学フィルター、光源を一体化して構成することが可能と
なり、さらなる小型化が実現される。
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
像撮像装置および3次元画像撮像方法は、投影するパタ
ーンを、フォトマスクなどの透過マスクと、そのパター
ンを投影する為の光源を使うことによって、軽量かつ低
コストの構成を持つ3次元画像撮像装置および3次元画
像撮像方法が実現される。駆動装置や制御装置がいらな
いために小型化および簡易構造とした投光手段構成とす
ることができる。レーザー等によるパターン形成を行な
う投光手段構成と異なり、駆動系が必要とならないため
に振動などに強く、例えば携帯型の撮像装置として使用
する場合に適した構成である。
び3次元画像撮像方法によれば、ハーフミラーを用い
て、投光手段の投光パターン照射光と、パターン照射さ
れた被写体の撮影像に対応する入射光を分離する構成と
することにより、投光手段と撮像手段とを組み合わせる
構成が実現され、コンパクトな撮像および投光手段構成
が実現される。
び3次元画像撮像方法によれば、ハーフミラー、光学フ
ィルターを一体化する構成としたことにより投光手段と
撮像手段とを組み合わせた小型の撮像および投光手段構
成が実現される。さらに、平板型の光源を組み合わせる
ことにより、一層の小型化が実現される。
る3次元形状計測装置の構成例を示すブロック図であ
る。
る3次元形状計測装置のカメラ構成例を示すブロック図
である。
る3次元形状計測装置の撮像構成を説明する図である。
る3次元形状計測装置の処理フローを示す図である。
る3次元形状計測装置の投影パターンのコード化の例を
示す図である。
る3次元形状計測装置の撮影構成例を示す図である。
る3次元形状計測装置の投影パターン例を示す図であ
る。
る3次元形状計測装置のカメラ1で撮影されるスリット
パターンの例を示す図である。
る3次元形状計測装置のカメラ2で撮影されるスリット
パターンの例を示す図である。
れる3次元形状計測装置において新たにコード化された
スリットパターンの例を示す図である。
れる3次元形状計測装置の空間コード化法による距離算
出法を示す図である。
れる3次元形状計測装置のカメラ3で撮影されるスリッ
トパターンの例を示す図である。
ィルターを適用した投光手段構成を示す図である。
ィルターおよび測定対象物の具体例を説明する図であ
る。
子、投光素子の画角の一致構成例を示す図である。
子、投光素子の画角の一致構成を光学系を中心として示
す図である。
子の構成例を示す図である。
子と撮像素子の組み合わせ構成例を示す図である。
子と撮像素子の小型化を実現する構成例を示す図であ
る。
子と撮像素子の小型化を実現する構成例をす図である。
の例を説明する図である。
Claims (17)
- 【請求項1】測定対象に投影するパターンに対応させて
光透過態様を変化させたパターンを形成した光学フィル
ター、および光源とを備えた投光手段と、 前記投光手段の光軸方向から投影パターンを撮影する第
1の撮像手段と、 前記投光手段の光軸方向と異なる方向から前記投影パタ
ーンを撮影する第2の撮像手段とを備え、 前記第2の撮像手段の撮影した撮影パターンに基づいて
第1の距離情報を生成する構成を有することを特徴とす
る3次元画像撮像装置。 - 【請求項2】前記投影パターンに対する第1の撮像手段
による撮影パターンの変化量が所定値以上の領域につい
て、該第1の撮像手段による撮影パターンに対応する新
規コードを割り付け、前記新規コードに基づいて第2の
撮像手段による撮影パターンから前記第1の距離情報を
生成する構成を有することを特徴とする請求項1に記載
の3次元画像撮像装置。 - 【請求項3】前記投光手段は、 パターン光を不可視領域光によって形成する構成であ
り、前記光源は、赤外光または紫外光を用いた不可視領
域の光源であることを特徴とする請求項1または2に記
載の3次元画像撮像装置。 - 【請求項4】前記投光手段を構成する光学フィルター
は、 可視領域光を透過する構成であるとともに、投影パター
ンに対応させて不可視領域光の強度変化パターンを形成
した構成であり、 前記光源は、可視領域および不可視領域の波長の双方の
領域のスペクトルを有する構成であることを特徴とする
請求項1または2に記載の3次元画像撮像装置。 - 【請求項5】前記投光手段を構成する光学フィルター
は、 赤外カット用のマスクの透過率を変化させて照射パター
ンに対応した強度分布を持たせた構成であり、 前記光源は、可視領域および不可視領域の波長の双方の
領域のスペクトルを有する構成であることを特徴とする
請求項1または2に記載の3次元画像撮像装置。 - 【請求項6】前記投光手段の出射光と、前記第1の撮像
手段の入射光とは、共通のレンズを介して入出力される
とともにビームスプリッタによって分離される構成であ
り、前記投光手段と前記第1の撮像手段とは、それぞれ
光学的に同軸に配置された構成であることを特徴とする
請求項1または2に記載の3次元画像撮像装置。 - 【請求項7】前記投光手段は不可視領域の光を発生する
光源を有し、 前記第1の撮像手段および前記第2の撮像手段は不可視
領域の光を透過するフィルターおよび不可視領域の光を
遮断するフィルターを有し、パターン投影画像と、輝度
画像とを並列に撮り込む構成を有することを特徴とする
請求項1または2に記載の3次元画像撮像装置。 - 【請求項8】前記投光手段による投影パターンに対する
第1の撮像手段による撮影パターンの変化量が所定値未
満の領域について、第1の撮像手段および第2の撮像手
段より得られた各輝度情報の対応づけにより第2の距離
情報を生成し、前記第1の距離情報、第2の距離情報お
よび第1または第2の撮像手段より得られた輝度情報を
用いて3次元画像を得るよう構成したことを特徴とする
請求項1または2に記載の3次元画像撮像装置。 - 【請求項9】前記第2の撮像手段は、前記測定対象を異
なる角度で撮像する複数の撮像手段によって構成され、
該複数の第2の撮像手段の各々の撮影した投影パターン
に基づいて求められる距離情報を合成して3次元画像を
得るよう構成したことを特徴とする請求項1または2に
記載の3次元画像撮像装置。 - 【請求項10】前記投光手段の出射光と、前記第1の撮
像手段の入射光とは、共通のレンズを介して入出力され
るとともにビームスプリッタとして構成されるハーフミ
ラーによって分離される構成であり、前記投光手段を構
成する光学フィルターは、前記ハーフミラーの光源側の
面に沿って近接して配置した構成を有することを特徴と
する請求項1または2に記載の3次元画像撮像装置。 - 【請求項11】前記投光手段の出射光と、前記第1の撮
像手段の入射光とは、共通のレンズを介して入出力され
るとともにビームスプリッタとして構成されるハーフミ
ラーによって分離される構成であり、前記投光手段を構
成する光学フィルターは、前記ハーフミラーの光源側の
面に沿って近接して配置した構成を有するとともに、前
記光源は、平板型の発光素子または蛍光体であり、前記
光学フィルターに近接して配置された構成を有すること
を特徴とする請求項1または2に記載の3次元画像撮像
装置。 - 【請求項12】測定対象に投影するパターンに対応させ
て光透過態様を変化させたパターンを形成した光学フィ
ルター、および光源とを備えた投光手段により、パター
ンを測定対象に投影する投光ステップと、 前記投光手段の光軸方向から投影パターンを撮影する第
1の撮像手段と、前記投光手段光軸方向と異なる方向か
ら前記投影パターンを撮影する第2の撮像手段とによ
り、パターンの投影された測定対象を撮影する撮像ステ
ップと、 前記第2の撮像手段の撮影した撮影パターンに基づいて
第1の距離情報を生成するステップと、を有することを
特徴とする3次元画像撮像方法。 - 【請求項13】前記3次元画像撮像方法は、さらに、 前記投影パターンに対する第1の撮像手段による撮影パ
ターンの変化量が所定値以上の領域について、該第1の
撮像手段による撮影パターンに対応する新規コードを割
り付けるステップと、 前記新規コードに基づいて第2の撮像手段による撮影パ
ターンから前記第1の距離情報を生成するステップと、 を有することを特徴とする請求項12に記載の3次元画
像撮像方法。 - 【請求項14】前記投光ステップは、 前記光源を赤外光または紫外光を用いた不可視領域の光
源として、パターン光を不可視領域光によって形成する
ステップであることを特徴とする請求項12または13
に記載の3次元画像撮像方法。 - 【請求項15】前記投光ステップは、 前記光源を赤外光または紫外光を用いた不可視領域の光
源として、パターン光を不可視領域光によって形成する
ステップであり、 前記撮像ステップは、 パターン投影画像と、輝度画像とを並列に撮り込むステ
ップであることを特徴とする請求項12または13に記
載の3次元画像撮像方法。 - 【請求項16】前記3次元画像撮像方法は、さらに、 前記投光手段による投影パターンに対する第1の撮像手
段による撮影パターンの変化量が所定値未満の領域につ
いて、第1の撮像手段および第2の撮像手段より得られ
た各輝度情報の対応づけにより第2の距離情報を生成
し、前記第1の距離情報、第2の距離情報および第1ま
たは第2の撮像手段より得られた輝度情報を用いて3次
元画像を得るステップを有することを特徴とする請求項
12または13に記載の3次元画像撮像方法。 - 【請求項17】前記3次元画像撮像方法において、 前記第2の撮像手段は、前記測定対象を異なる角度で撮
像する複数の撮像手段によって構成され、該複数の第2
の撮像手段の各々の撮影した投影パターンに基づいて求
められる距離情報を合成して3次元画像を得ることを特
徴とする請求項12または13に記載の3次元画像撮像
方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000207875A JP3818028B2 (ja) | 2000-07-10 | 2000-07-10 | 3次元画像撮像装置および3次元画像撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000207875A JP3818028B2 (ja) | 2000-07-10 | 2000-07-10 | 3次元画像撮像装置および3次元画像撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002027501A true JP2002027501A (ja) | 2002-01-25 |
JP3818028B2 JP3818028B2 (ja) | 2006-09-06 |
Family
ID=18704564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000207875A Expired - Fee Related JP3818028B2 (ja) | 2000-07-10 | 2000-07-10 | 3次元画像撮像装置および3次元画像撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3818028B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003307678A (ja) * | 2002-04-12 | 2003-10-31 | Jai Corporation | 複合プリズム光学系を有する撮像装置 |
JP2006308323A (ja) * | 2005-04-26 | 2006-11-09 | Teruaki Yogo | 3次元形状測定方法 |
JP2007051893A (ja) * | 2005-08-16 | 2007-03-01 | Ricoh Co Ltd | 三次元形状計測方法及び三次元形状計測装置 |
JP2012122975A (ja) * | 2010-12-10 | 2012-06-28 | Maxell Finetech Ltd | 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム |
CN102575930A (zh) * | 2010-07-23 | 2012-07-11 | 丰田自动车株式会社 | 距离测定装置以及距离测定方法 |
DE112010005757T5 (de) | 2010-07-23 | 2013-07-04 | Toyota Jidosha Kabushiki Kaisha | Abstandsmessvorrichtung und Abstandsmessverfahren |
JP2015165249A (ja) * | 2015-06-25 | 2015-09-17 | 株式会社Screenホールディングス | 試料保持プレート、撮像装置および撮像方法 |
JP2017067758A (ja) * | 2015-09-28 | 2017-04-06 | 株式会社リコー | システム |
WO2021187316A1 (ja) * | 2020-03-17 | 2021-09-23 | ミネベアミツミ株式会社 | 対象物3次元データ測定方法、対象物3次元データ測定装置、学習データ生成方法および学習データ生成装置 |
CN114166149A (zh) * | 2020-09-10 | 2022-03-11 | 精工爱普生株式会社 | 三维形状测量方法以及三维形状测量装置 |
JP7474083B2 (ja) | 2020-03-17 | 2024-04-24 | ミネベアミツミ株式会社 | 対象物3次元データ測定方法、学習データ生成方法および学習データ生成装置 |
-
2000
- 2000-07-10 JP JP2000207875A patent/JP3818028B2/ja not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4502104B2 (ja) * | 2002-04-12 | 2010-07-14 | 株式会社ジェイエイアイコーポレーション | 複合プリズム光学系を有する撮像装置 |
JP2003307678A (ja) * | 2002-04-12 | 2003-10-31 | Jai Corporation | 複合プリズム光学系を有する撮像装置 |
JP2006308323A (ja) * | 2005-04-26 | 2006-11-09 | Teruaki Yogo | 3次元形状測定方法 |
JP2007051893A (ja) * | 2005-08-16 | 2007-03-01 | Ricoh Co Ltd | 三次元形状計測方法及び三次元形状計測装置 |
US9451213B2 (en) | 2010-07-23 | 2016-09-20 | Toyota Jidosha Kabushiki Kaisha | Distance measuring apparatus and distance measuring method |
CN102575930A (zh) * | 2010-07-23 | 2012-07-11 | 丰田自动车株式会社 | 距离测定装置以及距离测定方法 |
DE112010005765T5 (de) | 2010-07-23 | 2013-05-08 | Toyota Jidosha Kabushiki Kaisha | Abstandsmessvorrichtung und Abstandsmessverfahren |
DE112010005757T5 (de) | 2010-07-23 | 2013-07-04 | Toyota Jidosha Kabushiki Kaisha | Abstandsmessvorrichtung und Abstandsmessverfahren |
CN102575930B (zh) * | 2010-07-23 | 2014-10-01 | 丰田自动车株式会社 | 距离测定装置以及距离测定方法 |
JP2012122975A (ja) * | 2010-12-10 | 2012-06-28 | Maxell Finetech Ltd | 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム |
JP2015165249A (ja) * | 2015-06-25 | 2015-09-17 | 株式会社Screenホールディングス | 試料保持プレート、撮像装置および撮像方法 |
JP2017067758A (ja) * | 2015-09-28 | 2017-04-06 | 株式会社リコー | システム |
US10737391B2 (en) | 2015-09-28 | 2020-08-11 | Ricoh Company, Ltd. | System for capturing an image |
WO2021187316A1 (ja) * | 2020-03-17 | 2021-09-23 | ミネベアミツミ株式会社 | 対象物3次元データ測定方法、対象物3次元データ測定装置、学習データ生成方法および学習データ生成装置 |
JP7474083B2 (ja) | 2020-03-17 | 2024-04-24 | ミネベアミツミ株式会社 | 対象物3次元データ測定方法、学習データ生成方法および学習データ生成装置 |
CN114166149A (zh) * | 2020-09-10 | 2022-03-11 | 精工爱普生株式会社 | 三维形状测量方法以及三维形状测量装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3818028B2 (ja) | 2006-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
JP3714063B2 (ja) | 3次元形状計測装置 | |
US10088296B2 (en) | Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device | |
JP3482990B2 (ja) | 3次元画像撮影装置 | |
US7075625B2 (en) | Range finder and method | |
US10782126B2 (en) | Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner | |
US20040125205A1 (en) | System and a method for high speed three-dimensional imaging | |
GB2547094A (en) | Calibration plate and method for calibrating a 3D measurement device | |
JP2002213931A (ja) | 3次元形状計測装置および3次元形状計測方法 | |
JP2009300268A (ja) | 3次元情報検出装置 | |
EP3524929B1 (en) | Projection system | |
CN108592886B (zh) | 图像采集设备和图像采集方法 | |
JP2004239886A (ja) | 三次元画像撮像装置および方法 | |
KR20130027671A (ko) | 깊이 정보 획득장치 및 이를 포함하는 3차원 정보 획득 시스템 | |
JP3818028B2 (ja) | 3次元画像撮像装置および3次元画像撮像方法 | |
JP3384329B2 (ja) | 3次元画像撮影装置 | |
JPH05332737A (ja) | 形状計測装置 | |
CN112710253A (zh) | 三维扫描仪和三维扫描方法 | |
JP2004110804A (ja) | 3次元画像撮影装置及び方法 | |
CN208536839U (zh) | 图像采集设备 | |
AU2013308155B2 (en) | Method for description of object points of the object space and connection for its implementation | |
JP3852285B2 (ja) | 3次元形状計測装置および3次元形状計測方法 | |
JP2002013918A (ja) | 3次元画像生成装置および3次元画像生成方法 | |
JP3932776B2 (ja) | 3次元画像生成装置および3次元画像生成方法 | |
JP2002107129A (ja) | 3次元画像撮像装置および3次元画像撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |