JP2001227926A - 物体の三次元形状モデル作製方法及びそれを実施するソフトウェアを記録した媒体並びにこの方法を実現するための物体の三次元形状モデル作製装置 - Google Patents

物体の三次元形状モデル作製方法及びそれを実施するソフトウェアを記録した媒体並びにこの方法を実現するための物体の三次元形状モデル作製装置

Info

Publication number
JP2001227926A
JP2001227926A JP2000040858A JP2000040858A JP2001227926A JP 2001227926 A JP2001227926 A JP 2001227926A JP 2000040858 A JP2000040858 A JP 2000040858A JP 2000040858 A JP2000040858 A JP 2000040858A JP 2001227926 A JP2001227926 A JP 2001227926A
Authority
JP
Japan
Prior art keywords
model
point
data
dimensional shape
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000040858A
Other languages
English (en)
Other versions
JP4253985B2 (ja
Inventor
Nobuyuki Fujiwara
伸行 藤原
Toshikazu Onda
寿和 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP2000040858A priority Critical patent/JP4253985B2/ja
Publication of JP2001227926A publication Critical patent/JP2001227926A/ja
Application granted granted Critical
Publication of JP4253985B2 publication Critical patent/JP4253985B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

(57)【要約】 【課題】 カメラで撮影可能な範囲に存在する対象物の
三次元形状データを生成し、それにより物体の三次元形
状モデルを作製することである。 【解決手段】 入力画像において画面上で対象物体を囲
むモデル計測範囲を設定し、そのモデル計測範囲におい
て予め設定しておいた間隔でモデル計測点を格子状に設
定し、ステレオ計測処理によってモデル計測点の三次元
位置データを計測することで物体上のモデル構成点を生
成し、そのモデル構成点の集合として三次元形状データ
を生成した後、データ欠落点についてその左右方向にモ
デル構成点があるかどうかを検査し、左右方向の両方に
モデル構成点が存在する場合は、このデータ欠落点を補
間対象点とし、補間対象点の高さデータを先に検出した
左右のモデル構成点の高さデータの平均により求め、こ
の高さデータとモデル計測点の位置から補間対象点の三
次元位置を計算してモデル構成点を設定することで、デ
ータ欠落部のない三次元形状データを生成し、三次元形
状モデルを構成することを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、カメラによって得
られた画像データを使用して、カメラで撮影可能な範囲
に存在する工業部品等の対象物体の三次元形状データを
生成し、それにより物体認識処理等に用いる物体の三次
元形状モデルを作製する装置に関するものである。
【0002】
【従来の技術】我々は、既に三次元形状モデルを作製す
る方法として幾つかの提案を行っている。その中で、特
願平11−323864号及び特願平11−32386
5号では、画面上で設定した長方形範囲内(これを”モ
デル計測範囲”と呼ぶ)に格子状に設定した点(これ
を”モデル計測点”と呼ぶ)についてステレオ計剛によ
り三次元位置データを計測し、三次元位置データを持つ
点データ(これを”モデル構成点”と呼ぶ)の集合(こ
れを”三次元形状データ”と呼ぶ)として物体の三次元
形状モデルを構成した。これらを”先件提案”と呼ぶ。
【0003】
【発明が解決しようとする課題】先件提案では、物体の
三次元形状モデルをモデル構成点の集合で構成するた
め、対象物体が多面体のように角張っている場合はもち
ろん、円柱や球面のような滑らかな曲面から構成される
場合でも、対象物の三次元形状データを生成でき、これ
により三次元形状モデルを作製することができる。ま
た、データの入力手段としてカメラによる入力画像を用
いているため、対象物体がどのような大きさのものであ
っても、カメラで撮影可能な範囲内に存在する物体であ
れば、例えば、建造物、もしくは山肌、崖というた自然
の地形のような工業部品以外の対象であっても、物体の
三次元形状モデルを作製することができる。
【0004】しかしながら、ステレオ計測による三次元
位置データによりモデル構成点を設定する際、モデル計
測点を設定する基準画面では見えているが、その対応点
を探索する参照画面では視差の関係で対象物体上の突起
や斜面のために見えない部分が存在する場合があった
り、また基準画面と参照画面両方で見えているが特徴の
ない滑らかな部分であるため対応点を見つけられない場
合がある。このような場合は、ステレオ計測による三次
元位置計測が困難なためモデル構成点を設定できず三次
元形状データ上でデータの欠落した部分(これを”デー
タ欠落部”と呼ぶ)となる。データ欠落部が1,2点程
度の小さなものであれば平滑化フィルタ等で補間できる
が、穴の様に大きくデータの抜けたデータ欠落部ではそ
の部分を何らかの方法により補間する必要がある。
【0005】
【課題を解決するための手段】上記課題を解決する本発
明の請求項1に係る物体の三次元形状モデル作製方法及
びそれを実施するソフトウェアを記録したフロッピーデ
ィスク、CD−ROM等の媒体並びにこの方法を実現す
るための物体の三次元形状モデル作製装置は、入力画像
において画面上で対象物体を囲むモデル計測範囲を設定
し、そのモデル計測範囲において予め設定しておいた間
隔でモデル計測点を格子状に設定し、ステレオ計測処理
によってモデル計測点の三次元位置データを計測するこ
とで物体上のモデル構成点を生成し、そのモデル構成点
の集合として三次元形状データを生成した後、データ欠
落点についてその左右方向にモデル構成点があるかどう
かを検査し、左右方向の両方にモデル構成点が存在する
場合は、このデータ欠落点を補間対象点とし、補間対象
点の高さデータを先に検出した左右のモデル構成点の高
さデータの平均により求め、この高さデータとモデル計
測点の位置から補間対象点の三次元位置を計算してモデ
ル構成点を設定することで、データ欠落部のない三次元
形状データを生成し、三次元形状モデルを構成すること
を特徴とする。
【0006】上記課題を解決する本発明の請求項2に係
る物体の三次元形状モデル作製方法及びそれを実施する
ソフトウェアを記録したフロッピーディスク、CD−R
OM等の媒体並びにこの方法を実現するための物体の三
次元形状モデル作製装置は、請求項1記載の装置の補間
対象点の位置データを計算する部分において、補間対象
点の位置データを先に検出した左右のモデル構成点の高
さデータの平均を基に求める代わりに、左右のモデル構
成点を通る直線を計算し、その直線と補間対象点のモデ
ル計測点とレンズ焦点を通る直線との交点の三次元位置
を補間対象点の位置データとして計算することでモデル
構成点を設定し、データ欠落部のない三次元形状データ
を生成し、三次元形状モデルを構成することを特徴とす
る。
【0007】上記課題を解決する本発明の請求項3に係
る物体の三次元形状モデル作製方法及びそれを実施する
ソフトウェアを記録したフロッピーディスク、CD−R
OM等の媒体並びにこの方法を実現するための物体の三
次元形状モデル作製装置は、請求項1記載の装置のデー
タ欠落点が補間対象点であるかどうかを検査する部分に
おいて、その左右方向にモデル構成点があるかどうかの
検査に加えて、その上下方向にもモデル構成点があるか
どうかを検査し、上下左右方向にモデル構成点が予め設
定しておいた数以上存在する場合は、このデータ欠落点
を補間対象点とし、また、補間対象点の位置データの計
算においては、上下左右方向の検査により検出されたモ
デル構成点の高さデータの平均値とモデル計測点の位置
から補間対象点の位置データを求めてモデル構成点を設
定し、データ欠落部のない三次元形状データを生成し、
三次元形状モデルを構成することを特徴とする。
【0008】上記課題を解決する本発明の請求項4に係
る物体の三次元形状モデル作製方法及びそれを実施する
ソフトウェアを記録したフロッピーディスク、CD−R
OM等の媒体並びにこの方法を実現するための物体の三
次元形状モデル作製装置は、請求項3記載の装置の補間
対象点の位置データを計算する部分において、補間対象
点の位置データを先に検出されたモデル構成点の高さデ
ータの平均を基に求める代わりに、上下もしくは左右の
モデル構成点の組が見つかった方についてモデル構成点
の組を通る直線を計算し(上下及び左右両方についてモ
デル構成点の組が見つかった場合は予め優先度を設定し
ておいた方の組について直線を計算し、もしくは、全て
の組について直線を計算し)、その直線と補間対象点の
モデル計測点とレンズ焦点を通る直線との交点の三次元
位置を補間対象点の位置データとして計算する(全ての
組について直線を計算した場合は各直線から計算される
交点の三次元位置の平均を補間対象点の位置データとし
て計算する)ことでモデル構成点を設定し、データ欠落
部のない三次元形状データを生成し、三次元形状モデル
を構成することを特徴とする。
【0009】上記課題を解決する本発明の請求項5に係
る物体の三次元形状モデル作製方法及びそれを実施する
ソフトウェアを記録したフロッピーディスク、CD−R
OM等の媒体並びにこの方法を実現するための物体の三
次元形状モデル作製装置は、請求項3記載の装置の補間
対象点の位置データを計算する部分において、補間対象
点と検出したモデル構成点から補間点距離を計算し、そ
の補間点距離を補間点距離の総計で割った値を重みと
し、検出されたモデル構成点の高さデータについて先に
計算した重みを付けて平均値を求め、その重み付き平均
高さデータとモデル計測点の位置から補間対象点の位置
データを求めてモデル構成点を設定し、データ欠落部の
ない三次元形状データを生成し、三次元形状モデルを構
成することを特徴とする。
【0010】上記課題を解決する本発明の請求項6に係
る物体の三次元形状モデル作製方法及びそれを実施する
ソフトウェアを記録したフロッピーディスク、CD−R
OM等の媒体並びにこの方法を実現するための物体の三
次元形状モデル作製装置は、請求項1記載の装置のデー
タ欠落点が補間対象点であるかどうかを検査する部分に
おいて、その左右方向にモデル構成点があるかどうかの
検査に加えて、その上下方向及び斜め方向にもモデル構
成点があるかどうかを検査し、上下左右斜めの8方向に
モデル構成点が予め設定しておいた数以上存在する場合
は、このデータ欠落点を補間対象点とし、また、補間対
象点の位置データの計算においては、8方向の検査によ
り検出されたモデル構成点の高さデータの平均値とモデ
ル計測点の位置から補間対象点の位置データを求めてモ
デル構成点を設定し、データ欠落部のない三次元形状デ
ータを生成し、三次元形状モデルを構成することを特徴
とする。
【0011】上記課題を解決する本発明の請求項7に係
る物体の三次元形状モデル作製方法及びそれを実施する
ソフトウェアを記録したフロッピーディスク、CD−R
OM等の媒体並びにこの方法を実現するための物体の三
次元形状モデル作製装置は、請求項6記載の装置の補間
対象点の位置データを計算する部分において、補間対象
点の位置データを先に検出されたモデル構成点の高さデ
ータの平均を基に求める代わりに、補間対象点の対角の
モデル構成点の組が見つかったモデル構成点の組を通る
直線を計算し(複数のモデル構成点の組が見つかった場
合は予め優先度を設定しておいた方の組について直線を
計算し、もしくは、全ての組について直線を計算し)、
その直線と補間対象点のモデル計測点とレンズ焦点を通
る直線との交点の三次元位置を補間対象点の位置データ
として計算する(全ての組について直線を計算した場合
は各直線から計算される交点の三次元位置の平均を補間
対象点の位置データとして計算する)ことでモデル構成
点を設定し、データ欠落部のない三次元形状データを生
成し、三次元形状モデルを構成することを特徴とする。
【0012】上記課題を解決する本発明の請求項8に係
る物体の三次元形状モデル作製方法及びそれを実施する
ソフトウェアを記録したフロッピーディスク、CD−R
OM等の媒体並びにこの方法を実現するための物体の三
次元形状モデル作製装置は、請求項6記載の装置の補間
対象点の位置データを計算する部分において、補間対象
点と検出したモデル構成点から補間点距離を計算し、そ
の補間点距離を補間点距離の総計で割った値を重みと
し、検出されたモデル構成点の高さデータについて先に
計算した重みを付けて平均値を求め、その重み付き平均
高さデータとモデル計測点の位置から補間対象点の位置
データを求めてモデル構成点を設定し、データ欠落部の
ない三次元形状データを生成し、三次元形状モデルを構
成することを特徴とする。
【0013】
【発明の実施の形態】(1)基本的な考え方 本発明の目的は、カメラで撮影可能な範囲に存在する対
象物の三次元形状データを生成し、それにより物体の三
次元形状モデルを作製することである。先件提案では、
図2に示すように、画像入力するためのカメラ1と、入
力画像において対象物体を囲むモデル計測範囲に格子状
に設定されたモデル計測点の三次元位置データをステレ
オ計測によって計測するモデル構成点生成器2と、モデ
ル構成点の集合として三次元形状データを生成するモデ
ル構成点三次元形状データ生成部3と、その三次元形状
データを記憶するモデルメモリ4とを備える三次元形状
モデル作製装置を提案した。そのため、基準画面上で設
定したモデル計測範囲に格子状に設定したモデル計測点
についてステレオ計測により三次元位置データを計測
し、三次元位置データを持つモデル構成点の集合である
三次元形状データを生成し、物体の三次元形状モデルを
構成することができた。
【0014】なお、モデル計測範囲は対象物体の映った
画面を見ながら作業者が対象物体のモデルとして必要な
部分が入るように設定し、また、モデル計測点の設定に
必要なモデル計測点の間隔は予めパラメータとして設定
しておくこととする。更に、本発明では、図2に示すよ
うに、横方向検査補間対象点検出部5及び平均補間モデ
ル構成点設定部6とを追加したものである。横方向検査
補間対象点検出部5は、図1に示すように、モデル計測
範囲中でモデル構成点が得られなかった点(これを、デ
ータ欠落点”と呼ぶ)について、その左右方向にモデル
構成点があるかどうかを検査し、左右方向の両方にモデ
ル構成点が存在する場合は、このデータ欠落点をデータ
欠落部10内にある補間の必要な点(これを”補間対象
点”と呼ぶ)20とするものである。平均補間モデル構
成点設定部6は、補間対象点20の高さデータを先に検
出した左右のモデル構成点の高さデータの平均により求
め、その高さデータとモデル計測点の位置から補間対象
点20の三次元位置を計算してモデル構成点を設定す
る。
【0015】従って、本発明では、図1に示すように、
モデル構成点生成器2により三次元形状モデルを構成す
る物体の三次元形状データを生成した後、横方向検査補
間対象点検出部5により、モデル計測範囲中でモデル構
成点が得られなかったデータ欠落点について、その左右
方向にモデル構成点があるかどうかを検査し、左右方向
の両方にモデル構成点が存在する場合は、このデータ欠
落点をデータ欠落部10内にある補間の必要な補間対象
点20とし、平均補間モデル構成点設定部6により、補
間対象点20の高さデータを先に検出した左右のモデル
構成点の高さデータの平均により求め、その高さデータ
とモデル計測点の位置から補間対象点20の三次元位置
を計算してモデル構成点を設定することで、データ欠落
部10のない三次元形状データをモデル構成点三次元形
状データ生成部3により生成し、三次元形状モデルを構
成する。この装置は、物体の三次元形状モデルをモデル
構成点の集合で構成するため、対象物体が多面体のよう
に角張っている場合はもちろん、円柱や球面のような滑
らかな曲面から構成される場合でも、対象物の三次元形
状データを生成でき、これにより三次元形状モデルを作
製することができる。
【0016】また、ステレオ計測によりモデル構成点を
設定する際、モデル計測点を設定する基準画面では見え
ているが、その対応点を探索する参照画面では視差の関
係で対象物体上の突起や斜面のために見えない部分が存
在する場合があったり、また基準画面と参照画面両方で
見えているが特徴のない滑らかな部分であるため対応点
を見つけられない場合でも、データ欠落部10を補間す
るためデータ抜けのない対象物体の三次元形状データを
生成できる。更に、横方向検査補間対象点検出部5はデ
ータ欠落点の検査方法として左右方向のモデル構成点の
有無を調べる簡単な方法を用いており、また、平均補間
モデル構成点設定部6はモデル構成点の位置データ計算
に左右に見つかったモデル構成点の位置データの単純平
均を基にする方法を用いるため、データ処理が簡単で高
速な処理を実現できる。
【0017】(2)その他の実施例 (2.1)横方向検査直線補間処理を加えた三次元形状
モデル作製装置 この装置は、基本的な考え方で述べた装置の処理のう
ち、補間対象点20の位置データを先に検出した左右の
モデル構成点の高さデータの平均を基に求める平均補間
モデル構成点設定部6に代えて、図3に示すように、左
右のモデル構成点を通る直線を計算し、その直線と補間
対象点20のモデル計測点とレンズ焦点を通る直線との
交点の三次元位置を補間対象点20の位置データとして
計算する直線補間モデル構成点設定部16を使用するこ
とでモデル構成点を設定し、データ欠落部10のない三
次元形状データを生成し、三次元形状モデルを構成す
る。この装置は、物体の三次元形状モデルをモデル構成
点の集合で構成するため、対象物体が多面体のように角
張っている場合はもちろん、円柱や球面のような滑らか
な曲面から構成される場合でも、対象物の三次元形状デ
ータを生成でき、これにより三次元形状モデルを作製す
ることができる。
【0018】また、ステレオ計測によりモデル構成点を
設定する際、モデル計測点を設定する基準画面では見え
ているが、その対応点を探索する参照画面では視差の関
係で対象物体上の突起や斜面のために見えない部分が存
在する場合があったり、また基準画面と参照画面両方で
見えているが特徴のない滑らかな部分であるため対応点
を見つけられない場合でも、データ欠落部10を補間す
るためデータ抜けのない対象物体の三次元形状データを
生成できる。更に、補間対象点20の検査方法として左
右方向のモデル構成点の有無を調べる簡単な方法を用い
ているため検査処理の構成が簡単で、直線補間モデル構
成点設定部16はデータ欠落部10の補間に直線補間を
用いるため補間した部分と元々モデル構成点が存在した
部分との境目にギャップを生じない。
【0019】(2.2)十字方向検査平均補間処理を加
えた三次元形状モデル作製装置 この装置は、基本的な考え方で述べた装置の処理のう
ち、データ欠落点が補間対象点20であるかどうかを左
右方向に検査する横方向検査補間対象点検出部5に代え
て、図4に示すように、その左右方向にモデル構成点が
あるかどうかの検査に加えて、その上下方向にもモデル
構成点があるかどうかを検査し、上下左右方向にモデル
構成点が予め設定しておいた数以上存在する場合は、こ
のデータ欠落点を補間対象点20とする十字方向検査補
間対象点検出部15を図5に示すように用いる。また、
補間対象点20の位置データを計算する平均補間モデル
構成点設定部6に代えて、上下左右方向の検査により検
出されたモデル構成点の高さデータの平均値とモデル計
測点の位置から補間対象点20の位置データを求めてモ
デル構成点を設定する平均補間モデル構成点設定部26
を図5に示すように使用する。この装置は、物体の三次
元形状モデルをモデル構成点の集合で構成するため、対
象物体が多面体のように角張っている場合はもちろん、
円柱や球面のような滑らかな曲面から構成される場合で
も、対象物の三次元形状データを生成でき、これにより
三次元形状モデルを作製することができる。
【0020】また、ステレオ計測によりモデル構成点を
設定する際、モデル計測点を設定する基準画面では見え
ているが、その対応点を探索する参照画面では視差の関
係で対象物体上の突起や斜面のために見えない部分が存
在する場合があったり、また基準画面と参照画面両方で
見えているが特徴のない滑らかな部分であるため対応点
を見つけられない場合でも、データ欠落部10を補間す
るためデータ抜けのない対象物体の三次元形状データを
生成できる。更に、十字方向検査補間対象点検出部15
は、補間対象点20の検査方法として上下左右方向のモ
デル梼成点の有無を調べる方法を用いており、左右方向
にモデル構成点の存在する穴形状や縦方向切欠き形状の
データ欠落部10だけでなく横方向切欠き形状のデータ
欠落部10にも対応できる。また、平均補間モデル構成
点設定部26は、モデル構成点の位置データ計算に検出
したモデル構成点の位置データの単純平均を基にする方
法を用いるため、データ処理が簡単で高速な処理を実現
できる。
【0021】(2.3)十字方向検査直線補間処理を加
えた三次元形状モデル作製装置 この装置は、(2.2)で述べた装置の処理のうち、補
間対象点20の位置データを先に検出されたモデル構成
点の高さデータの平均を基に求める平均補間モデル構成
点設定部26に代えて、図6に示すように、上下もしく
は左右のモデル構成点の組が見つかった方についてモデ
ル構成点の組を通る直線を計算し(上下及び左右両方に
ついてモデル構成点の組が見つかった場合は予め優先度
を設定しておいた方の組について直線を計算し、もしく
は、全ての親について直線を計算し)、その直線と補間
対象点20のモデル計測点とレンズ焦点を通る直線との
交点の三次元位置を補間対象点20の位置データとして
計算する(全ての組について直線を計算した場合は各直
線から計算される交点の三次元位置の平均を補間対象点
20の位置データとして計算する)直線補間モデル構成
点設定部36を使用することでモデル構成点を設定し、
データ欠落部10のない三次元形状データを生成し、三
次元形状モデルを構成する。この装置は、物体の三次元
形状モデルをモデル構成点の集合で構成するため、対象
物体が多面体のように角張っている場合はもちろん、円
柱や球面のような滑らかな曲面から構成される場合で
も、対象物の三次元形状データを生成でき、これにより
三次元形状モデルを作製することができる。
【0022】また、ステレオ計測によりモデル構成点を
設定する際、モデル計測点を設定する基準画面では見え
ているが、その対応点を探索する参照画面では視差の関
係で対象物体上の突起や斜面のために見えない部分が存
在する場合があったり、また基準画面と参照画面両方で
見えているが特徴のない滑らかな部分であるため対応点
を見つけられない場合でも、データ欠落部10を補間す
るためデータ抜けのない対象物体の三次元形状データを
生成できる。更に、十字方向検査補間対象点検出部15
は、補間対象点20の検査方法として上下左右方向のモ
デル構成点の有無を調べる方法を用いており、左右方向
にモデル構成点の存在する穴形状や縦方向切欠き形状の
データ欠落部10だけでなく横方向切欠き形状のデータ
欠落部10にも対応できる。また、直線補間モデル構成
点設定部36は、データ欠落部10の補間に直線補間を
用いるため補間した部分と元々モデル構成点が存在した
部分との境目にギャップを生じない。
【0023】(2.4)十字方向検査距離重み付き平均
補間処理を加えた三次元形状モデル作製装置 この装置は、(2.2)で述べた装置の処理のうち、補
間対象点20の位置データを先に検出されたモデル構成
点の高さデータの平均を基に求める平均補間モデル構成
点設定部26に代えて、図7に示すように、画面上にお
ける補間対象点20の位置から検出したモデル構成点ま
での距離(これを”補間点距離”と呼ぶ)を計算し、そ
の補間点距離を補間点距離の総計で割った値を重みと
し、検出されたモデル構成点の高さデータについて先に
計算した重みを付けて平均値を求め、その重み付き平均
高さデータとモデル計測点の位置から補間対象点20の
位置データを求めてモデル構成点を設定する重み付き平
均補間モデル構成点設定部46を使用し、データ欠落部
10のない三次元形状データを生成し、三次元形状モデ
ルを構成する。この装置は、物体の三次元形状モデルを
モデル構成点の集合で構成するため、対象物体が多面体
のように角張っている場合はもちろん、円柱や球面のよ
うな滑らかな曲面から構成される場合でも、対象物の三
次元形状データを生成でき、これにより三次元形状モデ
ルを作製することができる。
【0024】また、ステレオ計測によりモデル構成点を
設定する際、モデル計測点を設定する基準画面では見え
ているが、その対応点を探索する参照画面では視差の関
係で対象物体上の突起や斜面のために見えない部分が存
在する場合があったり、また基準画面と参照画面両方で
見えているが特徴のない滑らかな部分であるため対応点
を見つけられない場合でも、データ欠落部10を補間す
るためデータ抜けのない対象物体の三次元形状データを
生成できる。更に、十字方向検査補間対象点検出部15
は、補間対象点20の検査方法として上下左右方向のモ
デル構成点の有無を調べる方法を用いており、左右方向
にモデル構成点の存在する穴形状や縦方向切欠き形状の
データ欠落部10だけでなく横方向切欠き形状のデータ
欠落部10にも対応できる。また、重み付き平均補間モ
デル構成点設定部46は、データ欠落部10の補間に距
離重み付き平均補間を用いるため補間対象点20により
近い位置のモデル構成点の位置データが補間したモデル
構成点の位置データに大きく影響し、結果的にデータ欠
落部10全体を元々の、モデル形状データと滑らかに接
続することができる。
【0025】(2.5)8方向検査平均補間処理を加え
た三次元形状モデル作製装置 この装置は、基本的な考え方で述べた装置の処理のう
ち、データ欠落点が補間対象点20であるかどうかを左
右方向に検査する横方向検査補間対象点検出部5に代え
て、その左右方向にモデル構成点があるかどうかの検査
に加えて、図8に示すように、その上下方向及び斜め方
向にもモデル構成点があるかどうかを検査し、上下左右
斜めの8方向に、モデル構成点が予め設定しておいた数
以上存在する場合は、このデータ欠落点を補間対象点2
0とする8方向検査補間対象点検出部25を図9に示す
ように用いる。また、補間対象点20の位置データの計
算においては、8方向の検査により検出されたモデル構
成点の高さデータの平均値とモデル計測点の位置から補
間対象点20の位置データを求めてモデル構成点を設定
する平均補間モデル構成点設定部57を図9に示すよう
に使用する。この装置は、物体の三次元形状モデルをモ
デル構成点の集合で構成するため、対象物体が多面体の
ように角張っている場合はもちろん、円柱や球面のよう
な滑らかな曲面から構成される場合でも、対象物の三次
元形状データを生成でき、これにより三次元形状モデル
を作製することができる。
【0026】また、ステレオ計測によりモデル構成点を
設定する際、モデル計測点を設定する基準画面では見え
ているが、その対応点を探索する参照画面では視差の関
係で対象物体上の突起や斜面のために見えない部分が存
在する場合があったり、また基準画面と参照画面両方で
見えているが特徴のない滑らかな部分であるため対応点
を見つけられない場合でも、データ欠落部10を補間す
るためデータ抜けのない対象物体の三次元形状データを
生成できる。更に、補間対象点20の検査方法として上
下左右斜めの8方向のモデル構成点の有無を調べる方法
を用いており、左右方向にモデル構成点の存在する穴形
状や縦方向欠き形状のデータ欠落部10だけでなく横方
向切欠き形状のデータ欠落部10にも劫応でき、切欠き
欠落部の開口部が斜めになっていても開口部出口付近ま
でを補間対象点20とすることができる。また、8方向
検査補間対象点検出部25は、補間対象点20を検査す
るための8方向のモデル構成点の存在数を調整すること
によって、8方向全てにモデル構成点が存在するような
穴形状のデータ欠落点のみを補間対象としたり、8方向
のうち3方向程度にモデル構成点が見つかれば良いとい
った浅い切欠き形状のデータ欠落点をも対象とするとい
った、補間対象とするデータ欠落部10の度合いを設定
することができる。また、平均補間モデル構成点設定部
57は、モデル構成点の位置データ計算に検出したモデ
ル構成点の位置データの単純平均を基にする方法を用い
るため、データ処理が簡単で高速な処理を実現できる。
【0027】(2.6)8方向検査直線補間処理を加え
た三次元形状モデル作製装置 この装置は、(2.5)で述べた装置の処理のうち、補
間対象点20の位置データを先に検出されたモデル構成
点の高さデータの平均を基に求める平均補間モデル構成
点設定部57に代えて、補間対象点20の対角のモデル
構成点の組が見つかったモデル構成点の組を通る直線を
計算し(複数のモデル構成点の組が見つかった場合は予
め優先度を設定しておいた方の組について直線を計算
し、もしくは、全ての組について直線を計算し)、その
直線と補間対象点20のモデル計測点とレンズ焦点を通
る直線との交点の三次元位置を補間対象点20の位置デ
ータとして計算する(全ての組について直線を計算した
場合は各直線から計算される交点の三次元位置の平均を
補間対象点20の位置データとして計算する)ことでモ
デル構成点を設定する直線補間構成点設定部67を使用
し、データ欠落部10のない三次元形状データを生成
し、三次元形状モデルを構成する。この装置は、物体の
三次元形状モデルをモデル構成点の集合で構成するた
め、対象物体が多面体のように角張っている場合はもち
ろん、円柱や球面のような滑らかな曲面から構成される
場合でも、対象物の三次元形状データを生成でき、これ
により三次元形状モデルを作製することができる。
【0028】また、ステレオ計測によりモデル構成点を
設定する際、モデル計測点を設定する基準画面では見え
ているが、その対応点を探索する参照画面では視差の関
係で対象物体上の突起や斜面のために見えない部分が存
在する場合があったり、また基準画面と参照画面両方で
見えているが特徴のない滑らかな部分であるため対応点
を見つけられない場合でも、データ欠落部10を補間す
るためデータ抜けのない対象物体の三次元形状データを
生成である。更に、補間対象点20の検査方法として上
下左右斜めの8方向のモデル構成点の有無を調べる方法
を用いており、左右方向にモデル構成点の存在する穴形
状や撮方向切欠き形状のデータ欠落部10だけでなく横
方向切欠き形状のデータ欠落部10にも対応でき、切欠
き欠落部の開口部が斜めになっていても開口部出口付近
までを補間対象点20とすることができる。また、8方
向検査補間対象点検出部25は、補間対象点20を検査
するための8方向のモデル構成点の存在数を調整するこ
とによって、8方向全てにモデル構成点が存存するよう
な穴形状のデータ欠落点のみを補間対象としたり、8方
向のうち3方向程度にモデル構成点が見つかれば良いと
いった浅い切欠き形状のデータ欠落点おも対象とすると
いった、補間対象となるデータ欠落部10の度合いを設
定することができる。また、直線補間構成点設定部67
は、データ欠落部10の補間に直線補間を用いるため補
間した部分と元々モデル構成点が存在した部分との境目
にギャップを生じない。
【0029】(2.7)8方向検査重み付き平均補間処
理を加えた三次元形状モデル作製装置 この装置は、(2.5)で述べた装置の処理のうち、補
間対象点20の位置データを先に検出されたモデル構成
点の高さデータの平均を基に求める平均補間モデル構成
点設定部57に代えて、図11に示すように、補間対象
点20と検出したモデル構成点から補間点距離を計算
し、その補間点距離を補間点距離の総計で割った値を重
みとし、検出されたモデル構成点の高さデータについて
先に計算した重みを付けて平均値を求め、その重み付き
平均高さデータとモデル計測点の位置から補間対象点2
0の位置データを求めてモデル構成点を設定する重み付
き平均補間モデル構成点設定部77を使用し、データ欠
落部10のない三次元形状データを生成し、三次元形状
モデルを構成する。この装置は、物体の三次元形状モデ
ルをモデル構成点の集合で構成するため、対象物体が多
面体のように角張っている場合はもちろん、円柱や球面
のような滑らかな曲面から構成される場合でも、対象物
の三次元形状データを生成でき、これにより三次元形状
モデルを作製することができる。
【0030】また、ステレオ計測によりモデル構成点を
設定する際、モデル計測点を設定する基準画面では見え
ているが、その対応点を探索する参照画面では視差の関
係で対象物体上の突起や斜面のために見えない部分が存
在する場合があつたり、また基準画面と参照画面両方で
見えているが特徴のない滑らかな部分であるため対応点
を見つけられない場合でも、データ欠落部10を補間す
るためデータ抜けのない対象物体の三次元形状データを
生成できる。更に、補間対象点20の検査方法として上
下左右斜めの8方向のモデル構成点の有無を調べる方法
を用いており、左右方向にモデル構成点の存在する穴形
状や縦方向切欠き形状のデータ欠落部10だけでなく横
方両切欠き形状のデータ欠落部10にも対応でき、切欠
き欠落部の開口部が斜めになっていても開口部出口付近
までを補間対象点20とすることができる。
【0031】また、補間対象点20を検査するための8
方向のモデル構成点の存在数を調整することによって、
8方向全てにモデル構成点が存在するような穴形状のデ
ータ欠落点のみを補間対象としたり、8方向のうち3方
向程度にモデル構成点が見つかれば良いといった浅い切
欠き形状のデータ欠落点をも対象とするといった、補間
対象となるデータ欠落部10の度合いを設定することが
できる。また、8方向検査補間対象点検出部25は、重
み付き平均補間モデル構成点設定部77は、データ欠落
部10の補間に距離重み付き平均補間を用いるため補間
対象点20により近い位置のモデル構成点の位置データ
が補間したモデル構成点の位置データに大きく影響し、
結果的にデータ欠落部10全体を元々のモデル形状デー
タと滑らかに接続することができる。
【0032】
【発明の効果】本発明は物体の三次元形状モデルを作製
する処理に関するものである。 (1)データの入力手段としてカメラによる入力画像を
用いているため、対象物体がどのような大きさのもので
あっても、カメラで撮影可能な範囲内に存在する物体で
あれば、例えば、建造物、もしくは山肌、崖といった自
然の地形のような工業部品以外の対象であっても、物体
の三次元形状モデルを作製することができる。 (2)データの入力手段としてカメラによる入力画像を
用いているため、対象物に触ることなく非接触で物体の
三次元形状モデルを作製することができる。 (3)三次元形状データを構成するデータとして、三次
元位置データを持つモデル構成点の集合を用いるため、
円柱や球面のような滑らかな曲面を持つ物体に対しても
三次元形状モデルを作製することができる。 (4)対象物体上に関してモデル構成点を格子状にまん
べんなく設定するため、対象物上に異物が存在する場合
は、それを容易に検知できる。 (5)ステレオ計測によりモデル構成点を設定する際、
モデル計測点を設定する基準画面では見えているが、そ
の対応点を探索する参照画面では視差の関係で対象物体
上の突起や斜面により見えない部分が存在するために、
対象物体上の三次元形状データに大きなデータ欠落部が
出来た場合でも、データ欠落部のモデル構成点を補間に
より設定することで、データ欠落部の無い三次元形状デ
ータを生成することができる。 (6)ステレオ計測によりモデル構成点を設定する際、
基準画面と参照画面両方で見えているが特徴のない滑ら
かな部分であるため対応点を見つけられないことによ
り、対象物体上の三次元形状データに大きなデータ欠落
部が出来た場合でも、データ欠落部のモデル構成点を補
間により設定することで、データ欠落部の無い三次元形
状データを生成することができる。(7)データ欠落部
の無い三次元形状データを生成することができるため、
カメラから見えている対象物体上の全ての点の三次元位
置データを持つ三次元形状モデルを得ることができる。
【図面の簡単な説明】
【図1】横方向検査による補間対象点の検出の例を示す
説明図である。
【図2】本発明による三次元形状モデル作製装置の例を
示す説明図である。
【図3】本発明による横方向検査直線補間処理を加えた
三次元形状モデル作製装置の例を示す説明図である。
【図4】十字方向検査による補間対象点の検出の例を示
す説明図である。
【図5】本発明による十字方向検査平均補間処理を加え
た三次元形状モデル作製装置の例を示す説明図である。
【図6】本発明による十字方向検査直線補間処理を加え
た三次元形状モデル作製装置の例を示す説明図である。
【図7】本発明による十字方向検査重み付き平均補間処
理を加えた三次元形状モデル作製装置の例を示す説明図
である。
【図8】8方向検査による補間対象点の検出の例を示す
説明図である。
【図9】本発明による8方向検査平均補間処理を加えた
三次元形状モデル作製装置の例を示す説明図である。
【図10】本発明による8方向検査直線補間処理を加え
た三次元形状モデル作製装置の例を示す説明図である。
【図11】本発明による8方向検査重み付き平均補間処
理を加えた三次元形状モデル作製装置の例を示す説明図
である。
【符号の説明】
1 カメラ 2 モデル構成点生成器 3 モデル構成点三次元形状データ生成部 4 モデルメモリ 5 横方向検査補間対象点検出部 25 十字方向検査補間対象点検出部 35 8方向検査補間対象点検出部 6,26,56 平均補間モデル構成点設定部 16,36,66 直線補間モデル構成点設定部 46,76 重み付き平均補間モデル構成点設定部 10 データ欠落点 20 補間対象点
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 1/00 G06F 15/64 320C Fターム(参考) 2F065 AA04 AA24 AA53 BB05 CC00 CC14 DD06 EE00 FF05 JJ03 JJ05 QQ00 QQ17 QQ24 QQ26 QQ27 QQ28 QQ32 QQ36 QQ42 2F112 AC03 BA05 CA08 FA03 FA21 FA31 FA36 FA41 FA45 5B047 AA07 BB04 BC05 CB21 5B050 BA09 BA13 EA28 GA04 5B057 BA12 BA15 BA17 CA13 CB13 CD06 DB03

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 入力画像において画面上で対象物体を囲
    むモデル計測範囲を設定し、そのモデル計測範囲におい
    て予め設定しておいた間隔でモデル計測点を格子状に設
    定し、ステレオ計測処理によってモデル計測点の三次元
    位置データを計測することで物体上のモデル構成点を生
    成し、そのモデル構成点の集合として三次元形状データ
    を生成した後、データ欠落点についてその左右方向にモ
    デル構成点があるかどうかを検査し、左右方向の両方に
    モデル構成点が存在する場合は、このデータ欠落点を補
    間対象点とし、補間対象点の高さデータを先に検出した
    左右のモデル構成点の高さデータの平均により求め、こ
    の高さデータとモデル計測点の位置から補間対象点の三
    次元位置を計算してモデル構成点を設定することで、デ
    ータ欠落部のない三次元形状データを生成し、三次元形
    状モデルを構成することを特徴とする物体の三次元形状
    モデル作製方法及びそれを実施するソフトウェアを記録
    した媒体並びにこの方法を実現するための物体の三次元
    形状モデル作製装置。
  2. 【請求項2】 請求項1記載の装置の補間対象点の位置
    データを計算する部分において、補間対象点の位置デー
    タを先に検出した左右のモデル構成点の高さデータの平
    均を基に求める代わりに、左右のモデル構成点を通る直
    線を計算し、その直線と補間対象点のモデル計測点とレ
    ンズ焦点を通る直線との交点の三次元位置を補間対象点
    の位置データとして計算することでモデル構成点を設定
    し、データ欠落部のない三次元形状データを生成し、三
    次元形状モデルを構成することを特徴とする物体の三次
    元形状モデル作製方法及びそれを実施するソフトウェア
    を記録した媒体並びにこの方法を実現するための物体の
    三次元形状モデル作製装置。
  3. 【請求項3】 請求項1記載の装置のデータ欠落点が補
    間対象点であるかどうかを検査する部分において、その
    左右方向にモデル構成点があるかどうかの検査に加え
    て、その上下方向にもモデル構成点があるかどうかを検
    査し、上下左右方向にモデル構成点が予め設定しておい
    た数以上存在する場合は、このデータ欠落点を補間対象
    点とし、また、補間対象点の位置データの計算において
    は、上下左右方向の検査により検出されたモデル構成点
    の高さデータの平均値とモデル計測点の位置から補間対
    象点の位置データを求めてモデル構成点を設定し、デー
    タ欠落部のない三次元形状データを生成し、三次元形状
    モデルを構成することを特徴とする物体の三次元形状モ
    デル作製方法及びそれを実施するソフトウェアを記録し
    た媒体並びにこの方法を実現するための物体の三次元形
    状モデル作製装置。
  4. 【請求項4】 請求項3記載の装置の補間対象点の位置
    データを計算する部分において、補間対象点の位置デー
    タを先に検出されたモデル構成点の高さデータの平均を
    基に求める代わりに、上下もしくは左右のモデル構成点
    の組が見つかった方についてモデル構成点の組を通る直
    線を計算し(上下及び左右両方についてモデル構成点の
    組が見つかった場合は予め優先度を設定しておいた方の
    組について直線を計算し、もしくは、全ての組について
    直線を計算し)、その直線と補間対象点のモデル計測点
    とレンズ焦点を通る直線との交点の三次元位置を補間対
    象点の位置データとして計算する(全ての組について直
    線を計算した場合は各直線から計算される交点の三次元
    位置の平均を補間対象点の位置データとして計算する)
    ことでモデル構成点を設定し、データ欠落部のない三次
    元形状データを生成し、三次元形状モデルを構成するこ
    とを特徴とする物体の三次元形状モデル作製方法及びそ
    れを実施するソフトウェアを記録した媒体並びにこの方
    法を実現するための物体の三次元形状モデル作製装置。
  5. 【請求項5】 請求項3記載の装置の補間対象点の位置
    データを計算する部分において、補間対象点と検出した
    モデル構成点から補間点距離を計算し、その補間点距離
    を補間点距離の総計で割った値を重みとし、検出された
    モデル構成点の高さデータについて先に計算した重みを
    付けて平均値を求め、その重み付き平均高さデータとモ
    デル計測点の位置から補間対象点の位置データを求めて
    モデル構成点を設定し、データ欠落部のない三次元形状
    データを生成し、三次元形状モデルを構成することを特
    徴とする物体の三次元形状モデル作製方法及びそれを実
    施するソフトウェアを記録した媒体並びにこの方法を実
    現するための物体の三次元形状モデル作製装置。
  6. 【請求項6】 請求項1記載の装置のデータ欠落点が補
    間対象点であるかどうかを検査する部分において、その
    左右方向にモデル構成点があるかどうかの検査に加え
    て、その上下方向及び斜め方向にもモデル構成点がある
    かどうかを検査し、上下左右斜めの8方向にモデル構成
    点が予め設定しておいた数以上存在する場合は、このデ
    ータ欠落点を補間対象点とし、また、補間対象点の位置
    データの計算においては、8方向の検査により検出され
    たモデル構成点の高さデータの平均値とモデル計測点の
    位置から補間対象点の位置データを求めてモデル構成点
    を設定し、データ欠落部のない三次元形状データを生成
    し、三次元形状モデルを構成することを特徴とする物体
    の三次元形状モデル作製方法及びそれを実施するソフト
    ウェアを記録した媒体並びにこの方法を実現するための
    物体の三次元形状モデル作製装置。
  7. 【請求項7】 請求項6記載の装置の補間対象点の位置
    データを計算する部分において、補間対象点の位置デー
    タを先に検出されたモデル構成点の高さデータの平均を
    基に求める代わりに、補間対象点の対角のモデル構成点
    の組が見つかったモデル構成点の組を通る直線を計算し
    (複数のモデル構成点の組が見つかった場合は予め優先
    度を設定しておいた方の組について直線を計算し、もし
    くは、全ての組について直線を計算し)、その直線と補
    間対象点のモデル計測点とレンズ焦点を通る直線との交
    点の三次元位置を補間対象点の位置データとして計算す
    る(全ての組について直線を計算した場合は各直線から
    計算される交点の三次元位置の平均を補間対象点の位置
    データとして計算する)ことでモデル構成点を設定し、
    データ欠落部のない三次元形状データを生成し、三次元
    形状モデルを構成することを特徴とする物体の三次元形
    状モデル作製方法及びそれを実施するソフトウェアを記
    録した媒体並びにこの方法を実現するための物体の三次
    元形状モデル作製装置。
  8. 【請求項8】 請求項6記載の装置の補間対象点の位置
    データを計算する部分において、補間対象点と検出した
    モデル構成点から補間点距離を計算し、その補間点距離
    を補間点距離の総計で割った値を重みとし、検出された
    モデル構成点の高さデータについて先に計算した重みを
    付けて平均値を求め、その重み付き平均高さデータとモ
    デル計測点の位置から補間対象点の位置データを求めて
    モデル構成点を設定し、データ欠落部のない三次元形状
    データを生成し、三次元形状モデルを構成することを特
    徴とする物体の三次元形状モデル作製方法及びそれを実
    施するソフトウェアを記録した媒体並びにこの方法を実
    現するための物体の三次元形状モデル作製装置。
JP2000040858A 2000-02-18 2000-02-18 物体の三次元形状モデル作製装置 Expired - Fee Related JP4253985B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000040858A JP4253985B2 (ja) 2000-02-18 2000-02-18 物体の三次元形状モデル作製装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000040858A JP4253985B2 (ja) 2000-02-18 2000-02-18 物体の三次元形状モデル作製装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008277736A Division JP4715903B2 (ja) 2008-10-29 2008-10-29 物体の三次元形状モデル作製装置

Publications (2)

Publication Number Publication Date
JP2001227926A true JP2001227926A (ja) 2001-08-24
JP4253985B2 JP4253985B2 (ja) 2009-04-15

Family

ID=18564177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000040858A Expired - Fee Related JP4253985B2 (ja) 2000-02-18 2000-02-18 物体の三次元形状モデル作製装置

Country Status (1)

Country Link
JP (1) JP4253985B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021032660A (ja) * 2019-08-22 2021-03-01 トヨタ自動車株式会社 物体認識装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021032660A (ja) * 2019-08-22 2021-03-01 トヨタ自動車株式会社 物体認識装置
JP7120181B2 (ja) 2019-08-22 2022-08-17 トヨタ自動車株式会社 物体認識装置

Also Published As

Publication number Publication date
JP4253985B2 (ja) 2009-04-15

Similar Documents

Publication Publication Date Title
US9984177B2 (en) Modeling device, three-dimensional model generation device, modeling method, program and layout simulator
KR101155816B1 (ko) 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법
US8442306B2 (en) Volume-based coverage analysis for sensor placement in 3D environments
JP6238183B2 (ja) モデリング装置、3次元モデル生成装置、モデリング方法、プログラム
JP6632208B2 (ja) 情報処理装置、情報処理方法、プログラム
US20100328308A1 (en) Three Dimensional Mesh Modeling
CN106027962B (zh) 视频监控的覆盖率计算方法及装置、布点方法及系统
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
JP2000163590A (ja) 三次元モデル変換装置及び方法
JP7424573B2 (ja) 三次元点群データに基づく三次元モデル生成装置
US10242498B1 (en) Physics based garment simulation systems and methods
JP6035031B2 (ja) 複数の格子を用いた三次元形状計測装置
JP7187234B2 (ja) 三次元形状作成装置、三次元形状作成方法および三次元形状作成プログラム
JP5811923B2 (ja) 情報処理装置、画像処理方法およびプログラム
US20190139303A1 (en) Systems and methods for reducing the simulation time of physics based garment
JP3950376B2 (ja) 3次元点群からの形状モデル生成方法と装置、並びに、3次元点群からの形状モデル生成プログラムと該プログラムを記録した記録媒体
JP2001227926A (ja) 物体の三次元形状モデル作製方法及びそれを実施するソフトウェアを記録した媒体並びにこの方法を実現するための物体の三次元形状モデル作製装置
JP6087218B2 (ja) 画像解析装置
JP6958993B2 (ja) 土木工事の出来形評価システム、出来形評価方法、及びプログラム
JP4715903B2 (ja) 物体の三次元形状モデル作製装置
JP2010079506A (ja) 画像生成装置、方法、通信システム及びプログラム
JP2003256871A (ja) 形状モデル生成方法及び装置、並びにこの方法の実行プログラムとこの実行プログラムを記録した記録媒体
WO2020129554A1 (ja) 観測方法及び観測装置
CN110083947A (zh) 一种基于逆向工程技术构建gis开关三维实体模型的方法
JP2017053812A (ja) 3次元測定装置、照明装置、パターン生成装置、および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080724

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081029

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4253985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees