JP2000512012A - 三次元形状の表示を得る方法とシステム - Google Patents

三次元形状の表示を得る方法とシステム

Info

Publication number
JP2000512012A
JP2000512012A JP10501003A JP50100398A JP2000512012A JP 2000512012 A JP2000512012 A JP 2000512012A JP 10501003 A JP10501003 A JP 10501003A JP 50100398 A JP50100398 A JP 50100398A JP 2000512012 A JP2000512012 A JP 2000512012A
Authority
JP
Japan
Prior art keywords
pattern
scene
image
lines
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP10501003A
Other languages
English (en)
Inventor
プルースマンス,マルク・ラファエル・アントーン・ブリギッテ
ヴァン・ゴール,リュク・セラフィナ・ヤコブス
オーステルリンク,アンドレ・ジュールズ・ジョゼフ
デフォールト,フィリップ・ピーター
Original Assignee
ケイ・ユー・リューヴェン・リサーチ・アンド・デヴェロップメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ケイ・ユー・リューヴェン・リサーチ・アンド・デヴェロップメント filed Critical ケイ・ユー・リューヴェン・リサーチ・アンド・デヴェロップメント
Publication of JP2000512012A publication Critical patent/JP2000512012A/ja
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Photoreceptors In Electrophotography (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Manipulator (AREA)

Abstract

(57)【要約】 光景の三次元的形状又はイメージを得る方法において、線群からなる所定のパターンを光景に投影して、パターンの線群及び/又はパターンの線群の交差点間の相対的距離に基づいて、形状を得ることを特徴とする方法。

Description

【発明の詳細な説明】 三次元形状の表示を得る方法とシステム 三次元イメージ又は形状の利用は、インターネットにおける対象物の表示、バ ーチャル・リアリティ、フィルム産業などの新しい用途において、ますます重要 になってきている。 三次元形状は、通常、2つ以上のカメラ又はレーザシステムを用いて表示され る。既存のシステムは、高価であったり、時間のかかる校正手順を必要としたり 、運搬が困難であったり、また、場合によっては、対象物としての光景(シーン )を静止しなければならなかったり、光景に対する実働可能な記憶容量が限定さ れたり、又は形状の空間上の位置関係に関して不十分な情報しか得られなかった りすることがある。 従来の研究の一例として、エイ.ブレイク氏などによるパターン分析と機械の データ処理能力に関するIEEE会報、第15巻、5号、第477〜483ペー ジ、1993年の「三眼鏡による動的範囲における検知」と題する資料が挙げら れる。この方法においては、2系統の平行線が継続して投影される。イメージ内 の線群は、投影された線群と外部の有極性直線群の横方向における交差によって 確定される。従って、それらの線群は互いにあまり接近されることはない。 他の例として、ブオリ氏及びスミス氏による電子イメージング誌、6(1)、 第140〜144ページ、1997年の「構造化照明設備を有して制約条件下で 用いられる三次元的イメージ形成システム」と題する資料が挙げられる。この方 法によれば、単一パターンが投影されるが、記録される光景の寸法とパターン要 素間の相対距離に制約が設けられている。この方法によって、各パターン要素が イメージ面のどの部分に投影されるかを予測することができる。 なお、公知のシステムと方法は、常に、絶対的な測定値及び絶対的な寸法に基 づいているが、そのような絶対的な測定値及び絶対的な寸法は、常に必要でなく 、特に対象物を測定するのではなく表示するのが目的の用途においては、必要で はない。 本発明による光景の三次元的形状又はイメージを得る方法は、所定のパターン を光景に投影して、1つ又はそれ以上のイメージ内で検出されるパターンの相対 的変形に基づいて、前記形状を得ることを特徴とする。 また、本発明による光景の三次元的形状又はイメージを得るシステムは、 − 光景にパターンを投影するための少なくとも1つのパターン発生器と、 − 光景の1つ又はそれ以上のイメージを形成するための少なくとも1つの カメラと、 − 光景の形状を確定するための演算手段と、 をそれぞれ備えることを特徴とする。 本発明によるシステムは、必要とされるハードウエアが簡素であり、従って、 非常に安価である。 本発明によれば、線群又は点群のような投影されたパターンの構成要素を、パ ターンそれ自身に含まれるコード又は光景に与えられる制約条件のいずれか及び /又はそれらの配置又はそれらに関する公知の知識を介して個々に特定する必要 がない。本発明による方法によれば、パターン内の構成要素の相対的位置を介し て、例えば、パターンを構成する一連の線群を相対的に確定することによって、 形状が得られる。 本発明によれば、三次元的イメージ又は三次元的形状表示を得るには単一イメ ージで十分であり、その単一イメージを得るための時間は単一イメージを形成す る時間よりも長くなることはない。 単一イメージの記録時間はわずかであり、また異なったイメージを素早く連続 的に再構築できるので、移動する対象物及びそれらの三次元的移動と形状の変化 を再構築することができる。 本発明によれば、校正手順は簡単であり、その校正手順において、1つ又はそ れ以上のパターン発生器及びカメラの相対的位置に対する制約条件をほとんど設 ける必要がない。 本発明によれば、投影されたパターンは、例えば、線群からなる格子で代表さ れるように、非常に簡単でかつ強力に相互連結されている。このようにパターン の簡素化することによって、パターンの解像度、従って、三次元的再構築イメー ジの解像度を高めることができる。また、パターンのこのような強力な相互連結 によって、表面の空間上の位置関係を修正して、出力の1要素として確定するこ とができる。 本発明によれば、パターン全体におけるパターン構成要素の絶対的な位置は二 次的な重要度を示すに過ぎない。三次元的形状表示は、尺度因子を例外としてこ のような情報を必要とせず、パターン投影及びイメージ形成の幾何学形態に対し て(疑似的)正投影モデルを想定することによって得られる。なお、この幾何学 的形態における遠近効果は抑制されるのが好ましい。 本発明によれば、光景に対する三次元的形状と表面質感の両方が得られる。本 発明においては、同一の1つ又はそれ以上のカメラを用いて形状と質感が確定さ れるので、形状と質感の整合性に関する問題をなくすことができる。質感を伴っ た又は伴わない三次元的形状表示を、最終的に、所定のフォーマット、例えば、 グラフィック・ワークステーション又はインターネットに最適なフォーマットな どに出力させることができる。 好適な実施態様によれば、表面質感は三次元的形状を確定するのに用いられた のと同じイメージから得られる。また、表面質感を得るのと同様の方法が、イメ ージの各構成要素が絶対的に規定されているパターンに対しても適用することが できる。着色された又は多重スペクトル表面質感、すなわち、異なったスペクト ルの基本イメージ群を構築する手順は、1つの基本イメージの手順と本質的に異 なる点はない。 好適な実施態様によれば、投影されたパターンは規則的であり、相互に直交す る等間隔の2系列の平行線から形成される長方形又は正方形のような、互いに類 似する基本形状の群から構成されている。 好適な実施態様によれば、校正は、既知の角度、例えば、90°の角度で交差 する2つの平面を対象物とすることによって行われる。形状の規定に必要なパラ メータは、イメージ面に対する投影光線の反射角、及び必要ならば、画素の高さ /幅比などから確定される。 本発明の他の利点、特徴及び詳細は添付の図面に基づく以下の好適な実施形態 の説明によって明瞭になるであろう。 図1は、本発明に係る方法の好適な実施形態の概略図である。 図2は、図1のシステムによって得られたイメージの詳細を一例として示す図 である。 図3a乃至3dは、第1修正行程の後の線検出器の結果とその組合せを示す詳 細図である。 図4は、検出パターンの不連続点の例を示す図である。 図5a,5b及び5cは、格子の構成を説明するための図である。 図6a及び6bは、格子の位置の修正を説明するための図である。 図7は、ラベルの付された格子を説明するための図である。 図8a及び8bは、詳細なイメージを得るための格子を抽出する完全なプロセ スの結果を示す図である。 図10a乃至10hは、得られた結果の例を示す図である。 図1のシステムにおいて、パターンが投影器によって光景に投影され、そのパ ターンがカメラのイメージ面に捕獲される。本実施形態において、投影器とカメ ラは、光景から4mの距離だけ離れて配置されている。投影方向と観察方向との 間の角度は約7°である。投影されるパターンは、リソグラフィ技術を用いてス ライドに配置された600本の水平線と600本の垂直線とからなる実質的に正 方形の格子であり、その線の厚み(太さ)は10μmであり、線間距離は50μ mである。本実施形態において、512×512イメージが、光景の再構築部の 大半に対応し、また、代表的には100本の水平線と100本の垂直線がイメー ジ内で有効に肉眼で観察される。 図2は、上記の条件で記録されたイメージの詳細を示す図である。 図3aは、このようなイメージをさらに詳細に示す図であり、図3b及び図3 cは、それぞれ水平及び垂直線検出器の応答を示す図である。このような応答の 中心線が確定され間隙が充填されたあと、それらの中心線が組み合わされて、図 3dに示されるように、イメージパターンの初期の再構築がなされる。 例えば、ノイズや他の原因によって、得られたパターン線群の線検出器の応答 が比較的精度が悪い領域に不連続部が現れる。図4は、2本の線が、その交差点 の近傍において断続されている例を示している。図4に示されるように、本発明 の好適な実施形態において、1本の線分の断続された端部の2つの点の最近接部 が、幅sの領域にわたって走査される。他の線分の点群に対してもこのようなプ ロセスが施され、例えば、不連続部に近い線分の傾斜角εの差、このような線分 の端部の点に対する距離、所定の端部の点と対象となる線分の端部の点との間の イメージ強度の差、及び端部の点間を直線で連結した場合のその直線に沿ったイ メージ強度などの特性に基づいて、そのような点群に対して点数が与えられる。 そして、その点数の合計が最適になるように、2つの線分が接合される。このよ うな修正の結果が、既述の図3dに示されている。 図5は、いかに交差点が構築されるかを示している。図5aは、2つの線の交 差を示している。これらの交差によって格子が表示される。その表示された格子 においては、図5bに示されるように、各格子点は最大で4つの隣接点(N,E ,S及びW)と連結される。完全な四辺形の各頂点に格子点が存在することが、 後続の修正行程において特に重要である。これらの格子点は、図5cに示される ように、隣接点E,S,W,Nの順で選択されると元に戻るような点の集合であ る。 図6は、格子に対して施される修正行程を示している。この行程は格子を連結 された線群の系として処理し、図6aに示されるような元の離散された線群の表 示に対して、それらの線群に連続性を与え、かつそのように修正された線群の位 置をパターン内の元の線群と同じ極性のイメージ強度を有する位置として優先さ せることによって、それらの線群の位置が修正される。この修正行程の結果が図 6bに示されている。 図7に示されるように、格子点にラベル又は数字が付与される。イメージ内の 任意の格子点が基準点0(0、0)として選択される。他の格子点には、基準点 に対する相対的位置を示す、2つのラベル、すなわち「水平」ラベルiと「垂直 」ラベルjが与えられる。基準点からその格子点に到達するには、水平ラベルi はE(右)方向に段階的に増加し又はW(左)方向に段階的に減少する。一方、 基準点からその格子点に到達するには、垂直ラベルjはN(上)方向に段階的に 増加し又はW(下)方向に段階的に減少する。ラベルを規定することによって、 格子に整合性を与えることができる。 図7は、例えば、ある格子点から格子点Pに対して、異なったラベルの点を通 過する異なった経路に沿って到達できることを示している。この例においては、 右回りの経路がより信頼性が高いが、それは、その経路が空白部で示される格子 の欠陥部を避けているからである。経路のこのような信頼性は、経路に沿った個 々の格子点の信頼性に基づいて確定され、隣接する格子点が欠落されていたり観 察されるパターン内の個々の四辺形が投影方向から観察される正方形との類似性 が少ない場合は、その信頼性が低下する。ラベルは、必要に応じて、繰り返し修 正される。旧ラベルは、さらに信頼性の高い新ラベルに書き換えられる。 図8bは、図8aの詳細なイメージに対する最終的な格子を示す図である。 格子を規定する方法の詳細は、本発明者らによる「移動対象物に対する三次元 的形状を動的に得る方法」と題する同封の資料を参照するとよい。 格子がこのように正確に規定された後、三次元的形状が演算される。 パターンが投影される肉眼で観察可能な表面の三次元的形状が、格子点の三次 元的位置に基づいて再構築される。好適な実施形態においては、格子点の相対位 置が2つの平行ビームを交差させることによって得られる。1つのビームはパタ ーン投影光であり、他の1つはイメージ投影光である。これらのビームの交差角 は校正され、その交差はイメージ内の格子点の検出位置と整合している。 好適な実施形態に用いられる三次元的形状表示とその補正の詳細は、本発明者 らによる「ワン・ショットの投影によって三次元的形状を動的に得る方法」と題 する同封の資料を参照するとよい。 格子がこのように正確に規定された後、好適な実施形態において、質感が形状 の規定に用いられたのと同じイメージから抽出される。 イメージにおいて、パターン帯のイメージ強度分布の断面積は、以下の式で近 似されるガウス関数で表される。 1つの実験例として、上記のガウス関数においてn=2が選択される。パター ン帯の強度の減衰は、抽出された格子の線群の上にこのガウス関数で表される分 布を重畳させることによって連続的にモデル化させる。図8bの格子に対する結 果が、図9aに示されている。減衰が大きいほど、イメージ強度に関連する実際 の質感が減少する。質感を確定するために、強度が回復される点に対する相対的 な減衰と強度を考慮に入れた強度の補間値が開始点とされる。その結果、強度に 対する非線型拡散のみを初期化し、パターン帯の残りの追跡をなくすことができ る。図8aのイメージに対する結果が、図9bに示されている。 最終的に、このように抽出された質感が表面上に配置(写像)される。 表面質感に関する詳細は、本発明者らによる「三次元的形状及び表面質感を抽 出するセンサー」と題する同封の資料を参照するとよい。 図10は、本実施形態によって得られた結果を示している。図10a及び10 bは、それぞれ、手と顔に対する2つの入力イメージを示している。図10c及 び10dは、手に対する2つの形状の表示例を示し、図10e及び10f、は顔 の形状表示に質感が被覆(写像)された2つの例を示している。 付加的な行程を施すことによって、上記の好適な実施形態による方法とシステ ムにおいて、投影及び観察側の幾何学的配置における遠近効果を考慮に入れるこ とができる。データを付加することによって、絶対的な寸法と距離が得られるの で、形状表示における未知の尺度因子が消失する。パターンの構成要素の特定を 容易にするためにパターンにコードを付加することも勿論可能である。異なった 投影及び/又はイメージを同時に用いることもできる。表面質感は、また、肉眼 では見えない波長の光線を用いるか又はパターンをオフに切り換えることによっ て、パターンが見えない状態のイメージから得ることができる。また、質感は本 実施形態におけるのと異なった方法で、パターンにフィルターをかけることによ っても得ることができる。 本発明は、上記の好適な実施形態によって限定されず、多くの変更例が可能で あり、従って本発明の権利は種々の変更が可能な以下の請求の範囲によって限定 される。
【手続補正書】特許法第184条の8第1項 【提出日】平成10年3月6日(1998.3.6) 【補正内容】 請求の範囲(補正) 1. 自由形状面を含む対象物としての光景の三次元的形状又はイメージを得 るための方法において、1つ以上の所定のパターンが前記対象物としての光景に 投影され、1つ以上のイメージ内に観察される前記パターンを構成する基本要素 、例えば、前記パターンの線群及び/又は前記パターンの線群の交差点間の相対 的距離に基づいて、形状を得ることを特徴とする方法。 2. 相対的な空間位置が前記1つ又はそれ以上のイメージ内の前記パターン の基本要素の相対的な観察位置から直接計算されることを特徴とする請求項1に 記載の方法。 3. 単一パターンが投影され、対象物としての光景の三次元的形状が単一イ メージに基づいて再構築されることを特徴とする請求項1又は2に記載の方法。 4. 対象物の三次元的形状又は対象物の三次元的運動の変化を確定するため に、一連の三次元的形状が、時間の経過に遅れずに継続して得られるイメージか ら再構築されることを特徴とする請求項1乃至3の何れか1項に記載の方法。 5. 線群からなる1つ以上の線パターンが前記光景すなわち前記対象物に投 影され、前記形状が、前記パターンの線群及び/又は前記パターンの線群の交差 点間の相対的な観察距離に基づいて得られることを特徴とする請求項1乃至4の 何れか1項に記載の方法。 6. 前記線群からなる前記パターンは直線群からなる格子であることを特徴 とする請求項5に記載の方法。 7. 前記格子は相互に直交する2系列の平行線からなることを特徴とする請 求項6に記載の方法。 8. 前記形状が1つ又はそれ以上の前記パターンの遠近効果以外の手段にて 観察された変形に基づいて得られることを特徴とする請求項1乃至7の何れか1 項に記載の方法。 9. 抽出された三次元的形状に現れる前記パターン投射又はイメージ形成に おける遠近効果による不正確さを最小化する行程を含むことを特徴とする請求項 8に記載の方法。 10. 前記パターンの線群及び/又は前記パターンの線群の交差点は前記1 つ又はそれ以上のイメージから抽出されることを特徴とする請求項5乃至9の何 れか1項に記載の方法。 11. 抽出される前記形状の確実さ及び/又は精度を向上させるために、異 なった線群及び/又は交差点が継ぎ合わさった状態で抽出されることを特徴とす る請求項10に記載の方法。 12. 前記線群の交差点が確定され、1つ又はそれ以上のパターン内におけ るそれらの相対位置が連続する相対的な数字によって表されることを特徴とする 請求項10に記載の方法。 13. 前記線群の前記位置が、1つ又はそれ以上の前記イメージ形成装置の 位置よりも高い精度に、例えば、画素の寸法の精度よりも高い精度で確定される ことを特徴とする請求項10に記載の方法。 14. 前記線群の位置がそれらを蛇行処理するか又は均一化技法によって修 正されることを特徴とする請求項13に記載の方法。 15. 前記交差点は1つ又はそれ以上の前記イメージ形成装置の精度よりも 高い精度で、例えば、画素の寸法の精度よりも高い精度で確定されることを特徴 とする請求項10に記載の方法。 16. イメージ内の前記パターンの線群は、比較的わずかな数の画素、例え ば10個の画素以上互いに離間されていることを特徴とする請求項10に記載の 方法。 17. 実際に投影された前記パターンの形状と投影者の位置から観察された 場合に生じるであろう三次元的抽出パターンの形状との比較によって、前記の抽 出された1つ又はそれ以上のパターンの正確さが確認され及び/又は前記の抽出 された1つ又はそれ以上のパターンが矯正されることを特徴とする請求項1乃至 9の何れか1項に記載の方法。 18. 前記質感が1つ又はそれ以上のパターンにフィルターをかけることに よって得られることを特徴とする請求項1乃至9の何れか1項に記載の方法。 19. 1つ又はそれ以上の行程を簡素化するために、又は信頼性を向上させ るために、コードが投影される1つ又はそれ以上のパターンに付加され、そのよ うなコードは多重色を用いたり、前記1つ又はそれ以上のパターンに幾何学的な 要素を付加すること、などによって得られることを特徴とする請求項1乃至9の 何れか1項に記載の方法。 20. 前記コードは、前記の1つ又はそれ以上のイメージ形成装置の観点か ら深さ方向の不連続部を正確に処理する及び/又は確認するのに用いられること を特徴とする請求項19に記載の方法。 21. 校正が逆の処理によって、すなわち、システムパラメータを引き出す ために対象物である1つの光景を提供して、その形状を抽出することによってな されることを特徴とする請求項1乃至9の何れか1項に記載の方法。 22. 既知の角度をなす2つの面を含む、校正に使用される、対象物として の光景が提供されることを特徴とする請求項21に記載の方法。 23. システムパラメータが、同一の光景すなわち同一の対象物を少なくと も2回観察することによって校正されることを特徴とする請求項21に記載の方 法。 24. システムパラメータが、各イメージからの再構築において、一回以上 の観察で確認された部分は同一であるべきであるという事実を利用することによ って、校正されることを特徴とする請求項23に記載の方法。 25. 1つのパターンが、前記対象物としての光景の単一イメージから三次 元的形状が再構築される部分よりも大きい部分に投影され、そのパターンによる 多重イメージから得られる多重化された部分的再構築の整合性及び/又はその組 合せを容易にするために、パターンの連結性を利用することを特徴とする請求項 23又は24に記載の方法。 26. 前記対象物としての光景の形状が既知であり、前記システムパラメー タが前記再構築された形状と前記既知の形状を比較することによって得られるこ とを特徴とする請求項21に記載の方法。 27. 前記システムの校正が、画素の高さと幅の比率すなわちアスペクト比 と、前記パターン投影及びイメージ形成の相対的方向とを確定することのみを必 要とすることを特徴とする請求項1乃至9の何れか1項に記載の方法。 28. 請求項1乃至27の何れか1項に記載の方法を用いて、光景すなわち 対象物の三次元的形状を得るシステムにおいて、 − 光景すなわち対象物にパターンを投影するための少なくとも1つのパター ン発生器と、 − 光景すなわち対象物を観察するための少なくとも1つのイメージ形成装 置、すなわち、カメラと、 − 前記光景すなわち対象物の形状を確定するための演算手段と、 をそれぞれ具備することを特徴とするシステム。 29. 1つのパターン発生器と1つのイメージ形成装置のみを用いることを 特徴とする請求項28に記載のシステム。 30. 1つ又はそれ以上のパターン発生器と1つ又はそれ以上のイメージ形 成装置との相対的な配置に対する唯一の制約条件が、少なくとも1つ又はそれ以 上の前記パターンの一部が前記1つ又はそれ以上のイメージ形成装置によって観 察され、1つ又はそれ以上の投影方向とイメージ形成方向が全て一致していない ことにある、ことを特徴とする請求項28又は29に記載のシステム。 31. パターン投影の方向とイメージ形成の方向が比較的小さな角度、例え ば、15°以下の角度をなすことを特徴とする請求項28乃至30の何れか1項 に記載のシステム。 32. 人間の目に見えない放射線が用いられることを特徴とする請求項28 乃至31の何れか1項に記載のシステム。 33. 前記1つ又はそれ以上のパターンを用いて前記1つ又はそれ以上のイ メージを得る場合に、異なった波長の組み合わせが用いられることを特徴とする 請求項28乃至31の何れか1項に記載のシステム。 34. 前記1つ又はそれ以上のパターンが短い期間中に及び/又は断続して 投影されることを特徴とする請求項28乃至31の何れか1項に記載のシステム 。 35. 有効なイメージ形成時間中に前記対象物となる光景の相対的な移動を 減らすために用いられることを特徴とする請求項34に記載のシステム。 36. パターンが放射されていない期間中に、1つ以上の表面パターンの質 感を抽出するために用いられることを特徴とする請求項34に記載のシステム。 37. 三次元的イメージ形成に最適のフォトカメラ又はビデオカメラのよう な単一システムに構成要素が一体化されていることを特徴とする請求項28乃至 31の何れか1項に記載のシステム。 38. 本明細書及び/又は図面に実質的に記載されているシステム及び/又 は方法。 39. 請求項1乃至27の何れか1項に記載の方法及び/又は請求項28乃 至37の何れか1項に記載のシステムによって得られるイメージ。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),OA(BF,BJ,CF ,CG,CI,CM,GA,GN,ML,MR,NE, SN,TD,TG),AP(GH,KE,LS,MW,S D,SZ,UG,ZW),EA(AM,AZ,BY,KG ,KZ,MD,RU,TJ,TM),AL,AM,AT ,AU,AZ,BA,BB,BG,BR,BY,CA, CH,CN,CU,CZ,DE,DK,EE,ES,F I,GB,GE,HU,IL,IS,JP,KE,KG ,KP,KR,KZ,LC,LK,LR,LS,LT, LU,LV,MD,MG,MK,MN,MW,MX,N O,NZ,PL,PT,RO,RU,SD,SE,SG ,SI,SK,TJ,TM,TR,TT,UA,UG, US,UZ,VN (72)発明者 ヴァン・ゴール,リュク・セラフィナ・ヤ コブス ベルギー国、ベー―2170 アントワーペ ン、スプリューウェンストラート 9 (72)発明者 オーステルリンク,アンドレ・ジュール ズ・ジョゼフ ベルギー国、ベー―3360 ローヴェンジョ エル、パルクラーン 13 (72)発明者 デフォールト,フィリップ・ピーター ベルギー国、ベー―8550 ズウェーヴェゲ ム、ブレーデラーン 35

Claims (1)

  1. 【特許請求の範囲】 1. 光景の三次元的形状又はイメージを得る方法において、線群からなる所 定のパターンを前記光景に投影して、前記パターンの線群及び/又は前記パター ンの線群の交差点間の相対的距離に基づいて、前記形状を得ることを特徴とする 方法。 2. 前記パターンは相互に直交する線群からなる格子であることを特徴とす る請求項1に記載の方法。 3. 前記パターンの前記線群が前記投影されたイメージから抽出されること を特徴とする請求項1又は2に記載の方法。 4. 前記投影された相互に直交する線群の前記交差点が抽出され、数字表示 のようなラベルが付されることを特徴とする請求項2又は3に記載の方法。 5. 前記交差点は画素の寸法よりも高い精度で規定されることを特徴とする 請求項2乃至4の何れか1項に記載の方法。 6. 前記光景の表面質感が抽出されることを特徴とする請求項1乃至5の何 れか1項に記載の方法。 7. 光景の三次元的形状又はイメージを得るシステムにおいて、 − 前記光景に線パターンを投影するパターン発生器と、 − 少なくとも1つの前記光景を記録するカメラと、 − 前記光景の形状を確定する演算手段と、 をそれぞれ具備することを特徴とするシステム。 8. 既知の形状を有する補正用の対象物が設けられることを特徴とする請求 項7に記載のシステム。 9. 請求項1乃至6の何れか1項に記載の方法及び/又は請求項7又は8に 記載のシステムによって得られるイメージ。 10. 本明細書及び/又は図面に実質的に記載されている方法及び/又はシ ステム。 11. 光景の三次元的形状又はイメージを得る方法において、線群からなる パターンを前記光景に投影し、前記光景の表面質感を抽出することを特徴とする 方法。
JP10501003A 1996-06-13 1997-06-12 三次元形状の表示を得る方法とシステム Ceased JP2000512012A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP96201643.2 1996-06-13
EP96201643 1996-06-13
PCT/BE1997/000070 WO1997047942A1 (en) 1996-06-13 1997-06-12 Method and system for acquiring a three-dimensional shape description

Publications (1)

Publication Number Publication Date
JP2000512012A true JP2000512012A (ja) 2000-09-12

Family

ID=8224076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10501003A Ceased JP2000512012A (ja) 1996-06-13 1997-06-12 三次元形状の表示を得る方法とシステム

Country Status (12)

Country Link
US (1) US6510244B2 (ja)
EP (1) EP1009969B1 (ja)
JP (1) JP2000512012A (ja)
KR (1) KR20000016663A (ja)
AT (1) ATE253721T1 (ja)
AU (1) AU712090B2 (ja)
BR (1) BR9709679A (ja)
CA (1) CA2256587A1 (ja)
DE (1) DE69726025T2 (ja)
IL (1) IL127534A (ja)
NO (1) NO985746L (ja)
WO (1) WO1997047942A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150799A1 (ja) * 2008-06-13 2009-12-17 有限会社テクノドリーム二十一 画像処理装置、画像処理方法およびプログラム
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング 3次元モデル取得のための方法及びシステム
JP2011521204A (ja) * 2008-03-25 2011-07-21 テールズ 電磁波及び/又は弾性波にさらされたオブジェクトの三次元合成再構成の方法
JP2014534428A (ja) * 2011-11-23 2014-12-18 クレアフォーム・インコーポレイテッドCreaform Inc. 空間コード化スライド画像に対するパターンのアライメント方法およびシステム
EP3671538A1 (en) 2018-12-21 2020-06-24 Fujitsu Limited Biometric authentication apparatus and biometric authentication method

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2785674B1 (fr) * 1998-11-06 2000-12-08 Eastman Kodak Co Procede de restitution d'informations relatives a un objet en trois dimensions
US6957177B1 (en) * 1999-12-10 2005-10-18 Microsoft Corporation Geometric model database for use in ubiquitous computing
DE10000790C2 (de) * 2000-01-11 2003-11-13 Map Medizin Technologie Gmbh Atemmasekenanordnung und Verfahren zur Bereitstellung derselben
US6900802B2 (en) * 2000-08-04 2005-05-31 Pts Corporation Method of determining relative Z-ordering in an image and method of using same
US6993179B1 (en) * 2000-08-07 2006-01-31 Koninklijke Philips Electronics N.V. Strapdown system for three-dimensional reconstruction
US6950552B2 (en) * 2001-02-05 2005-09-27 National Instruments Corporation System and method for precise location of a point of interest
US6959104B2 (en) * 2001-02-05 2005-10-25 National Instruments Corporation System and method for scanning a region using a low discrepancy sequence
US6909801B2 (en) * 2001-02-05 2005-06-21 National Instruments Corporation System and method for generating a low discrepancy curve on an abstract surface
US6917710B2 (en) * 2001-02-05 2005-07-12 National Instruments Corporation System and method for scanning a region using a low discrepancy curve
US7034831B2 (en) * 2001-02-05 2006-04-25 National Instruments Corporation System and method for generating a low discrepancy curve in a region
EP1236970A1 (de) 2001-02-26 2002-09-04 Leuze electronic GmbH + Co. Bilderverarbeitungssystem
JP3519698B2 (ja) * 2001-04-20 2004-04-19 照明 與語 3次元形状測定方法
US7127100B2 (en) * 2001-06-25 2006-10-24 National Instruments Corporation System and method for analyzing an image
FR2830079B1 (fr) * 2001-09-26 2004-04-30 Holo 3 Procede et dispositif de mesure d'au moins une grandeur geometrique d'une surface optiquement reflechissante
DE10212364A1 (de) * 2002-03-20 2003-10-16 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der Absolut-Koordinaten eines Objekts
CA2391133C (en) 2002-06-21 2011-02-15 Jiwei Yang Method and apparatus for measuring the thickness of compressed objects
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
TW200413694A (en) * 2003-01-17 2004-08-01 Xsense Technology Corp Three-dimensional scanning system and its method
DE10317078B4 (de) * 2003-04-11 2013-03-28 Karlsruher Institut für Technologie, Institut für Mess- und Regelungstechnik Verfahren und Vorrichtung zur Analyse reflektierender Oberflächen
EP1524494A1 (en) * 2003-10-17 2005-04-20 inos Automationssoftware GmbH Method for calibrating a camera-laser-unit in respect to a calibration-object
GB2410794A (en) * 2004-02-05 2005-08-10 Univ Sheffield Hallam Apparatus and methods for three dimensional scanning
WO2005082075A2 (en) * 2004-02-25 2005-09-09 The University Of North Carolina At Chapel Hill Systems and methods for imperceptibly embedding structured light patterns in projected color images
WO2006020187A2 (en) * 2004-07-16 2006-02-23 The University Of North Carolina At Chapel Hill Methods, systems and computer program products for full spectrum projection
EP1619623A1 (en) * 2004-07-22 2006-01-25 Icos Vision Systems N.V. Apparatus for three dimensional measuring on an electronic component
US9024949B2 (en) * 2004-10-13 2015-05-05 Sony Corporation Object representation using distance functions
US7620209B2 (en) * 2004-10-14 2009-11-17 Stevick Glen R Method and apparatus for dynamic space-time imaging system
WO2006074310A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
KR101249236B1 (ko) * 2005-01-12 2013-04-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 인식
US20060153427A1 (en) * 2005-01-12 2006-07-13 Zanzucchi Peter J Image methods for determining contour of terrain
FR2891645B1 (fr) * 2005-09-30 2007-12-14 Thales Sa Procede et dispositif d'evaluation de la liceite de la situation d'un mobile sur la surface d'un aeroport.
US20070171526A1 (en) * 2006-01-26 2007-07-26 Mass Institute Of Technology (Mit) Stereographic positioning systems and methods
US20070273894A1 (en) * 2006-05-23 2007-11-29 Johnson James T Method and apparatus for remote spatial calibration and imaging
EP1923836A1 (en) * 2006-11-20 2008-05-21 Agfa HealthCare NV Picking on fused 3D volume rendered images and updating corresponding views according to a picking action.
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US8538166B2 (en) 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
US7877210B2 (en) * 2007-01-11 2011-01-25 Siemens Industry, Inc. System and method for projecting b-rep outlines to detect collisions along a translational path
WO2008102366A2 (en) * 2007-02-25 2008-08-28 Humaneyes Technologies Ltd. A method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
US9035968B2 (en) 2007-07-23 2015-05-19 Humaneyes Technologies Ltd. Multi view displays and methods for producing the same
JP5943547B2 (ja) * 2007-08-17 2016-07-05 レニショウ パブリック リミテッド カンパニーRenishaw Public Limited Company 非接触測定を行う装置および方法
ATE498355T1 (de) 2007-09-20 2011-03-15 Biocompatibles Uk Ltd Vorrichtung und verfahren zur messung der kollagendicke
CA2606267A1 (fr) * 2007-10-11 2009-04-11 Hydro-Quebec Systeme et methode de cartographie tridimensionnelle d'une surface structurelle
US8244066B2 (en) * 2008-03-24 2012-08-14 The Aerospace Corporation Adaptive membrane shape deformation system
US8339616B2 (en) * 2009-03-31 2012-12-25 Micrometric Vision Technologies Method and apparatus for high-speed unconstrained three-dimensional digitalization
US9195121B2 (en) * 2009-04-28 2015-11-24 The Regents Of The University Of California Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera
US8586368B2 (en) 2009-06-25 2013-11-19 The University Of North Carolina At Chapel Hill Methods and systems for using actuated surface-attached posts for assessing biofluid rheology
US8363957B2 (en) * 2009-08-06 2013-01-29 Delphi Technologies, Inc. Image classification system and method thereof
GB0915904D0 (en) * 2009-09-11 2009-10-14 Renishaw Plc Non-contact object inspection
US8812015B2 (en) 2009-10-01 2014-08-19 Qualcomm Incorporated Mobile device locating in conjunction with localized environments
US9116003B2 (en) 2009-10-01 2015-08-25 Qualcomm Incorporated Routing graphs for buildings
US8880103B2 (en) 2009-10-12 2014-11-04 Qualcomm Incorporated Method and apparatus for transmitting indoor context information
EP2512142A4 (en) * 2009-12-08 2014-02-26 Korea Electronics Telecomm METHOD AND APPARATUS FOR EXTRACTING A TEXTURE IMAGE AND A DEPTH IMAGE
JP5578844B2 (ja) * 2009-12-21 2014-08-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9389085B2 (en) 2010-01-22 2016-07-12 Qualcomm Incorporated Map handling for location based services in conjunction with localized environments
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3d 영상 포맷을 이용한 영상 처리 장치 및 방법
US20130176399A1 (en) * 2010-11-29 2013-07-11 Hewlett-Packard Development Company, L.P. System and method for creating a three-dimensional image file
AT511223B1 (de) * 2011-03-18 2013-01-15 A Tron3D Gmbh Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
US20120242839A1 (en) * 2011-03-25 2012-09-27 Tk Holdings Inc. Image sensor calibration system and method
JP6170281B2 (ja) * 2011-05-10 2017-07-26 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法、およびプログラム
US8754954B2 (en) * 2011-05-16 2014-06-17 National Research Council Of Canada High resolution high contrast edge projection
EP2715278B1 (en) * 2011-05-24 2019-10-16 Koninklijke Philips N.V. 3d scanner using structured lighting
CA2835306C (en) 2011-06-07 2016-11-15 Creaform Inc. Sensor positioning for 3d scanning
US9305449B2 (en) * 2011-07-20 2016-04-05 Kurt A. Goszyk Laser obstacle detector
US8385732B2 (en) 2011-07-29 2013-02-26 Hewlett-Packard Development Company, L.P. Image stabilization
US8675997B2 (en) 2011-07-29 2014-03-18 Hewlett-Packard Development Company, L.P. Feature based image registration
US9349182B2 (en) 2011-11-10 2016-05-24 Carestream Health, Inc. 3D intraoral measurements using optical multiline method
US9295532B2 (en) 2011-11-10 2016-03-29 Carestream Health, Inc. 3D intraoral measurements using optical multiline method
US9217636B2 (en) 2012-06-11 2015-12-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and a computer-readable storage medium
CN104335005B (zh) 2012-07-04 2017-12-08 形创有限公司 3d扫描以及定位系统
WO2014013363A1 (en) 2012-07-18 2014-01-23 Creaform Inc. 3-d scanning and positioning interface
JP6055228B2 (ja) * 2012-08-07 2016-12-27 中央発條株式会社 形状計測装置
JP6394005B2 (ja) * 2014-03-10 2018-09-26 株式会社リコー 投影画像補正装置、投影する原画像を補正する方法およびプログラム
US9791267B2 (en) 2014-05-27 2017-10-17 Bourbaki 13, Inc. Determining three-dimensional information from projections or placement of two-dimensional patterns
ES2680587T3 (es) 2014-08-28 2018-09-10 Carestream Dental Technology Topco Limited Mediciones 3-D intraorales usando un procedimiento óptico de múltiples líneas
TWI503518B (zh) * 2014-12-29 2015-10-11 Pixart Imaging Inc 測距方法與裝置
CN104729430B (zh) * 2015-03-26 2017-09-22 中国科学院电工研究所 一种塔式太阳能热发电用定日镜面形检测方法
CN105464374B (zh) * 2015-11-20 2018-02-06 河北省电力勘测设计研究院 建筑方格网控制点测量平差后的改正方法
JP6695440B2 (ja) * 2016-03-01 2020-05-20 マジック リープ, インコーポレイテッドMagic Leap,Inc. 深度感知システム
CH713447B1 (de) * 2017-02-09 2020-08-14 Besi Switzerland Ag Verfahren und Vorrichtung für die Montage von Halbleiterchips.
DE102017129737A1 (de) * 2017-12-13 2019-06-13 Hauni Maschinenbau Gmbh Vorrichtung zur berührungslosen, optischen 3D-Erfassung einer Stirnfläche eines sich queraxial bewegenden, stabförmigen Artikels der tabakverarbeitenden Industrie
CN109996060B (zh) * 2017-12-30 2021-09-03 深圳多哚新技术有限责任公司 一种虚拟现实影院系统及信息处理方法
JP6880512B2 (ja) 2018-02-14 2021-06-02 オムロン株式会社 3次元測定装置、3次元測定方法及び3次元測定プログラム
CN111121664A (zh) * 2019-12-18 2020-05-08 南京理工大学 一种类干涉镜面面型检测方法
DE102021108232A1 (de) 2021-03-31 2022-10-06 Carl Zeiss Industrielle Messtechnik Gmbh Messgerät zur 3D-Erfassung einer Oberfläche
DE102021205046A1 (de) * 2021-05-18 2022-11-24 Wmf Gmbh Vorrichtung, Verfahren und Getränkeautomat zur Volumenbestimmung eines Behälters

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4640620A (en) * 1983-12-29 1987-02-03 Robotic Vision Systems, Inc. Arrangement for rapid depth measurement using lens focusing
US4584704A (en) * 1984-03-01 1986-04-22 Bran Ferren Spatial imaging system
FR2591329B1 (fr) * 1985-12-10 1992-05-22 Canon Kk Appareil et procede de traitement d'informations tridimensionnelles
US4982438A (en) * 1987-06-02 1991-01-01 Hitachi, Ltd. Apparatus and method for recognizing three-dimensional shape of object
US5003166A (en) 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
US5619625A (en) * 1993-05-28 1997-04-08 Ricoh Company, Ltd. Method for interpolating smooth free-form surfaces into curve mesh including composite curves
JP2919284B2 (ja) * 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング 3次元モデル取得のための方法及びシステム
JP2011521204A (ja) * 2008-03-25 2011-07-21 テールズ 電磁波及び/又は弾性波にさらされたオブジェクトの三次元合成再構成の方法
WO2009150799A1 (ja) * 2008-06-13 2009-12-17 有限会社テクノドリーム二十一 画像処理装置、画像処理方法およびプログラム
JP2009300277A (ja) * 2008-06-13 2009-12-24 Saitama Univ 画像処理装置、画像処理方法およびプログラム
US8837812B2 (en) 2008-06-13 2014-09-16 Techno Dream 21 Co., Ltd. Image processing device, image processing method, and program
JP2014534428A (ja) * 2011-11-23 2014-12-18 クレアフォーム・インコーポレイテッドCreaform Inc. 空間コード化スライド画像に対するパターンのアライメント方法およびシステム
EP3671538A1 (en) 2018-12-21 2020-06-24 Fujitsu Limited Biometric authentication apparatus and biometric authentication method
US11216679B2 (en) 2018-12-21 2022-01-04 Fujitsu Liimited Biometric authentication apparatus and biometric authentication method

Also Published As

Publication number Publication date
AU712090B2 (en) 1999-10-28
BR9709679A (pt) 2000-01-11
EP1009969B1 (en) 2003-11-05
US20020057832A1 (en) 2002-05-16
ATE253721T1 (de) 2003-11-15
NO985746L (no) 1999-02-12
DE69726025D1 (de) 2003-12-11
CA2256587A1 (en) 1997-12-18
AU3085297A (en) 1998-01-07
IL127534A (en) 2001-08-26
KR20000016663A (ko) 2000-03-25
WO1997047942A1 (en) 1997-12-18
NO985746D0 (no) 1998-12-08
IL127534A0 (en) 1999-10-28
US6510244B2 (en) 2003-01-21
DE69726025T2 (de) 2004-09-16
EP1009969A1 (en) 2000-06-21

Similar Documents

Publication Publication Date Title
JP2000512012A (ja) 三次元形状の表示を得る方法とシステム
Tajima et al. 3-D data acquisition by rainbow range finder
KR100407436B1 (ko) 이미지 센서를 이용하여 입체 이미지를 포착하기 위한방법 및 장치
US7271377B2 (en) Calibration ring for developing and aligning view dependent image maps with 3-D surface data
US7098435B2 (en) Method and apparatus for scanning three-dimensional objects
US7342669B2 (en) Three-dimensional shape measuring method and its device
JPH11512856A (ja) 2次元イメージから3次元イメージを生成する方法
US20100328308A1 (en) Three Dimensional Mesh Modeling
Soucy et al. Sensors and algorithms for the construction of digital 3-D colour models of real objects
JP2001067463A (ja) 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体
Akca et al. Recording and modeling of cultural heritage objects with coded structured light projection systems
JPH0766436B2 (ja) 連続シルエット画像による3次元モデル構成装置
US6616347B1 (en) Camera with rotating optical displacement unit
Beraldin et al. Exploring a Byzantine crypt through a high-resolution texture mapped 3D model: combining range data and photogrammetry
d'Angelo et al. Image-based 3D surface reconstruction by combination of photometric, geometric, and real-aperture methods
Thiele et al. Building reconstruction from multi-aspect InSAR data
US11302073B2 (en) Method for texturing a 3D model
Pedersini et al. Automatic monitoring and 3D reconstruction applied to cultural heritage
Tommaselli et al. Measuring photogrammetric control targets in low contrast images
KR101775110B1 (ko) 고품질 텍스처 획득 방법 및 이를 위한 장치
JP3047017B2 (ja) 画像処理方法
Stal et al. Reconstruction of a medieval wall: photogrammetric mapping and quality analysis by terrestrial laser scanning
Pedersini et al. Accurate 3-D reconstruction from trinocular views through integration of improved edge-matching and area-matching techniques
Gao et al. Local self-similarity descriptor for point-of-interest reconstruction of real-world scenes
Pedersini et al. Synthesis of Virtual Views of Non-Lambertian Surfaces through Shading-Driven Interpolation and Stereo-Matched Contours

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070627

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070813

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070803

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070910

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20070823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080903

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081010

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080929

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081030

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100531

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100712

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100708

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100816

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100804

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100906

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110407

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110530

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20110830