JP2002098520A - コンピュータを利用したリアルタイムモニター式三次元測定システム - Google Patents

コンピュータを利用したリアルタイムモニター式三次元測定システム

Info

Publication number
JP2002098520A
JP2002098520A JP2000335236A JP2000335236A JP2002098520A JP 2002098520 A JP2002098520 A JP 2002098520A JP 2000335236 A JP2000335236 A JP 2000335236A JP 2000335236 A JP2000335236 A JP 2000335236A JP 2002098520 A JP2002098520 A JP 2002098520A
Authority
JP
Japan
Prior art keywords
measurement
computer
display
measuring
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000335236A
Other languages
English (en)
Other versions
JP4108914B2 (ja
Inventor
Takeo Fujitani
武夫 藤谷
Shinichi Nagashima
伸一 永嶋
Hiroyoshi Ono
宏義 尾野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUBO TEX CORP
Original Assignee
KUBO TEX CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=18811017&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2002098520(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by KUBO TEX CORP filed Critical KUBO TEX CORP
Priority to JP2000335236A priority Critical patent/JP4108914B2/ja
Publication of JP2002098520A publication Critical patent/JP2002098520A/ja
Application granted granted Critical
Publication of JP4108914B2 publication Critical patent/JP4108914B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

(57)【要約】 【目的】 測定作業中の測定状況を、測定環境の変化も
含めて、多面的に把握することができる情報を測定作業
者にリアルタイムに提示するリアルタイムモニター式三
次元測定システムを提供する。 【構成】 測定箇所、測定機、測定対象物の存在する実
空間と一致する仮想的な測定作業状態をコンピュータ表
示画面内にリアルタイムに再現し、測定機の動きもアニ
メーション表示する。測定途中でも表示状態を任意に変
更でき、さまざまな計測確認も任意に行なえ、多面的な
情報を提供する。さらに測定環境の変化前後でも矛盾無
く測定状況を再現し、その変化前後での測定の連続性も
保持する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、コンピュータシステム
と三次元座標測定機、あるいは、三次元形状測定機を組
み合わせた三次元測定システムに関する。
【0002】
【従来の技術】三次元測定機としては、いろいろなタイ
プが開発されている。例えば、接触型では、直交形、多
関節形、スカラ形など、非接触型では、カメラ方式、レ
ーザ方式、磁気方式、超音波方式などがある。それぞれ
にコンピュータを使った自動測定や手で操作する手動測
定がある。測定結果(測定箇所の座標位置(単一、複
数)、座標位置から計算された図形情報)は、プリンタ
ーで紙に出力したり、フロッピー(登録商標)ディスク
などのメディアでコンピュータに渡したり、RS232
Cなどの通信でコンピュータに転送したりする。いずれ
の測定システムも、測定を行った後に測定結果を示すこ
とになる。測定作業中にリアルタイムに測定状況を把握
することができない。
【0003】測定した時点での測定結果の数値情報や、
モデルデータのあらかじめ決められた位置と測定結果の
距離を表示することはできる。しかし、モデルデータと
測定位置との距離計算や、他の測定位置との距離計算な
どを自由に行うことはできず、任意の時点で測定状況を
数値的に評価できない。
【0004】また、自動測定のタイプでは、オンライン
ティーチング、あるいは、オフラインティーチングを行
う際に、コンピュータ表示画面上で、測定対象物の周辺
を動く測定機の表示を行うシステムが存在する。測定機
の表示像は動くであろう、あるいは、動いて欲しい測定
パスに従って仮想的に動いている、つまり測定前にシミ
ュレーションしているだけであり、測定動作中の測定機
の動きを実際に読み取ってアニメーション表示していな
い。
【0005】最近では、測定箇所をコンピュータの表示
画面上で案内するシステムが出現している。測定対象物
に対応した物(モデルデータや写真イメージ)をコンピ
ュータの表示画面上で表示し、あらかじめ登録しておい
た測定すべき箇所を測定順にマーク表示する。測定を行
うと次の測定箇所のマークを表示する。あらかじめ測定
箇所を決めておかなくてはいけなく、そこしか測定でき
ない。どの辺りを測定しようとしているのかなど実際の
測定機の動きを見る物でなく、リアルタイムに測定状況
を把握できない。測定箇所を前もって指示しているだけ
である。
【0006】さらに、測定対象物の裏側の測定や長尺で
届かない場所の測定では、測定機自身を移動したり、測
定対象物を移動したりする。あるいは、偶然測定機を動
かしてしまうこともある。また、以前の測定の続きを測
定する時もある。このように測定環境が変化した場合、
従来の測定システムでは測定作業は変化前の作業と別の
作業となり、測定結果は測定終了後、指標データ間の距
離を最小とする数学的近似解を利用するなど、何がしか
の手段で変化前と変化後の測定結果を合成する必要が生
じる。
【0007】
【発明が解決しようとする課題】従来の三次元測定で
は、測定作業中の測定状況をモニターできず、既にどこ
を測定したか、次にどこを測定しようとしているのか、
どのように測定しようとしているかなどが把握できず、
違う所を測定したり、既に測定した所を測定したり、間
違った仕方で測定したりしてしまうことが多かった。さ
らにそのような失敗も測定後に測定結果を検討して初め
て分かることが多かった。また測定結果とモデルデータ
との表示上や数値上の比較も測定後にしか検討できず、
測定の評価が遅れる。新しい測定を行う時の試行錯誤も
測定しながら行えないため、測定方法などの検討が難し
く、やり直しの測定が多くなる。測定方法を改善するに
しても、測定中の測定状況を調べることができないた
め、測定結果でしか評価できず難しい。また測定機の移
動など測定環境に変化が起きた時は、変化前と変化後の
測定結果を区別無しに扱うことができず、データのずら
しなど測定後の後処理が大変となる。
【0008】上記問題点を解決するため、本発明の目的
は、測定作業中の測定状況を、測定環境の変化も含め
て、多面的に把握することができる情報を測定作業者に
リアルタイムに提示するリアルタイムモニター式三次元
測定システムを提供することである。
【0009】
【課題を解決するための手段】上記目的を達成するた
め、本発明の三次元測定システムは、以下のような特徴
を持つ。三次元測定機の測定情報を測定中にリアルタイ
ムにコンピュータの表示画面に表示し、三次元測定機の
姿勢情報を測定中にリアルタイムにコンピュータの表示
画面にアニメーション表示し、さらに測定対象物のコン
ピュータモデルデータやコンピュータメモリー内の図形
データも任意の位置関係で同時に表示し、測定箇所、測
定機、測定対象物の存在する実空間と一致する仮想的な
測定作業状態をコンピュータ表示画面内にリアルタイム
に再現し、それらの表示状態(表示三次元方向、表示倍
率、表示ウインドウの数)も作業者が自由にいつでも変
更でき、実空間の位置、モデル空間の位置、モデルデー
タ、測定結果など任意の組み合わせの計測確認(距離、
角度、図形の幾何情報の計算)も自由にいつでも行え、
測定機の移動など測定環境の変化前後でも矛盾無く測定
作業状態をコンピュータ表示画面上にリアルタイムに再
現し、その変化前後でデータ的にずれを生ぜず測定の連
続性を保持する。
【0010】
【作用】本発明の三次元測定システムの概略説明を以下
に行なう。さらに機能別の説明を順次行う。
【0011】コンピュータとの通信機能を備えた三次元
測定機を準備する。測定機の種類は全く限定されない。
幾何図形表示機能を備えたコンピュータを準備する。コ
ンピュータの種類も全く限定されないが、通信しながら
三次元表示を同時に行うだけのCPUパワーを持つ必要
はある。コンピュータ自身の中に測定機の制御機能を含
んだ測定機とコンピューター体型でもよい。その場合通
信は制御機能とCPUとの通信を意味する。コンピュー
タの幾何図形表示プログラムを準備し起動する。測定機
は情報を送り出せるように電源を入れ初期化を終了す
る。測定機の種類に合わせた通信プログラムをコンピュ
ータ上に準備し起動する。測定作業者は測定機を使い実
空間基準座標系を定義し、次にコンピュータのポインテ
ィングデバイスやキーボードを使いモデル空間基準座標
系を定義し測定を開始する。通信プログラムにより測定
機から姿勢情報や測定情報が随時読み出され、座標変換
などデータ処理を経て、表示プログラムに情報が渡され
る。測定情報は測定コマンドにより図形データとして蓄
積されながらリアルタイムにコンピュータ表示画面に表
示される。測定機の姿勢情報は姿勢形状への変換を経て
アニメーション表示され、測定機の動きがリアルタイム
に模倣される。測定対象物に対応したモデルデータをコ
ンピュータにあらかじめ入力して記憶しておくと、測定
対象物と測定機の存在する実空間での測定作業状態が、
コンピュータ表示画面内に仮想的に再現される。測定作
業者がコンピュータ表示画面の表示状態を変更(測定部
位を詳細に見るための表示拡大、測定部位を四方から同
時に眺める表示など)したい場合は、コンピュータへの
割込み操作で随時指示する。測定作業者が測定状況を数
値的に確認(モデルデータとの距離、測定結果どうしの
距離、測定箇所の数値計測など)したい場合は、コンピ
ュータの計測コマンドの操作で随時実行する。測定機を
移動したなど測定環境の変化が起きた時は、測定作業者
は変化後の測定機を使い、変化前と同じ位置に実空間基
準座標系を定義し、モデル空間基準座標系はそのまま再
利用する。その変化前後でも矛盾無く測定作業状態がコ
ンピュータ表示画面上にリアルタイムに再現され、変化
前後でのデータ的なずれを生ぜず測定の連続性を保持す
る。以下に各項目の説明を行う。
【0012】通信プログラムについて以下に説明する。
測定機の通信方法に合わせた通信プログラムをコンピュ
ータ上で起動する。測定機は情報を送り出せるように電
源を入れ初期化を終了しておく。測定機によっては測定
開始の初期化命令をコンピュータ上の通信プログラムか
ら送る。コンピュータのタイマーを使って一定時間毎に
測定機のステータス情報を読み出す。読み出せない場合
状況によっては接続エラーとする。一般的には再度読み
出す。読み出したステータス内容を確認し内容に合わせ
て、測定機の姿勢情報や測定情報を読み出す。状況によ
っては何も読まずステータス読み出しのステップに戻
る。測定機によってはステータス情報と姿勢情報や測定
情報が同時に読み出される場合もある。測定機によって
は測定を行った時点で測定情報のみが読み出される場合
もある。測定機によっては読み出しの要求をまず測定機
に送り出す必要がある場合もある。読み出された姿勢情
報や測定情報は表示プログラムの測定機情報入力部に渡
す。姿勢情報が存在しない測定機では測定情報を一部情
報の欠けた姿勢情報として測定機情報入力部に渡す。そ
して最初のステータス読み出しステップに戻り、読み出
しサイクルを繰り返す。コンピュータの能力によって
は、ステータス読み出しステップに戻る際コンピュータ
CPUパワーの独占を避けるために一定時間スリープす
る場合もある。
【0013】表示関係プログラムとアニメーション表示
について以下に説明する。コンピュータ表示画面に三次
元幾何図形(点、直線、円、直方体、円柱など)を表示
する図形表示プログラム関数群と削除する図形削除プロ
グラム関数群を準備する。図形表示プログラム関数は関
数呼び出しされた時点での表示状態(表示三次元方向、
表示倍率、表示ウインドウの数など)に従って表示を行
う。表示データベースを準備し、そこに書き込む図形書
込データベースプログラム関数群を準備する。表示デー
タベースから全情報を読み出して表示画面に三次元幾何
図形を表示するデータベース表示プログラムを準備す
る。データベース表示プログラムも関数呼び出しされた
時点での表示状態に従って表示を行う。意図的に表示を
削除することを行わない限り表示し続ける図形情報、つ
まり蓄積型表示の図形情報は図形表示プログラム関数で
表示し、同時に図形書込データベースプログラム関数で
表示データベースに書き込む。表示状態の変更など表示
画面の再表示が必要となった時はデータベース表示プロ
グラム関数を実行し、表示データベース内の全幾何図形
を再表示する。測定結果の図形、手動で直接コンピュー
タに書き込まれた図形、入力されたモデルデータ図形
は、蓄積型表示の図形情報として表示される。アニメー
ション表示は、一定時間間隔で表示画面に対して図形画
像の表示と削除を繰り返す。図形画像が刻一刻と変化し
ている場合アニメーション動画のように動くことにな
り、実空間での動きを再現する。アニメーション型表示
の図形情報はアニメーション表示用メモリーに書き込
む。一定時間後に読み出し、図形表示プログラム関数で
表示する。しかし表示データベースには書き込まない。
表示プログラム関数に渡した情報をアニメーション削除
用メモリーにも書き込む。一定時間後削除用メモリーか
ら読み出し、図形削除プログラム関数で削除する。この
表示と削除の繰り返しをコンピュータのタイマーを使っ
て一定時間毎に行う。一定時間の間隔はコンピュータC
PUパワーと人間の目の残像効果との兼ね合いで決め
る。測定機の姿勢形状は、アニメーション型表示の図形
情報として表示される。
【0014】表示関係プログラムの測定機情報入力部と
測定コマンドについて以下に説明する。測定機情報入力
部に通信プログラムから渡された姿勢情報や測定情報は
以下のように処理される。姿勢情報、測定情報ともに測
定機固有座標系からコンピュータモデル空間固有座標系
へ座標変換する。そして測定機の姿勢情報は、実行して
いる測定コマンドの種類や実行の有無に無関係に、常に
姿勢形状を表す幾何図形データに変換し、アニメーショ
ン型表示データとして処理する。姿勢形状を計算するに
は姿勢情報の内容が一部足りない場合、測定機の先端プ
ローブの形状だけを表示する。測定機によっては測定を
行った時点でのみ情報が測定機情報入力部に渡ってくる
場合もある。その場合は測定機のアニメーションは測定
機の動きに常時追随せず、測定のたびにその時の測定機
の位置までジャンプして動くようなアニメーションとな
る。測定情報はその時実行している測定コマンドや計測
コマンドにより、位置結果として取り込む場合は位置マ
ークとして点図形データに変換し、図形結果として取り
込む場合は複数の測定位置情報からの計算により幾何図
形(円などの平面図形、円柱などの立体図形)に変換
し、それぞれ測定結果として蓄積型表示データの処理を
行う。測定コマンドなど測定情報を受け止めるコマンド
が何も実行されていない場合は位置結果として取り込む
が、蓄積型表示データとせず、図形表示プログラムでそ
の場限りの位置マークを表示する処理を行う。測定コマ
ンドは、点情報(位置結果)として取り込むコマンド、
直線、円、平面、円柱、自由曲線など図形結果として取
り込むコマンドなど、測定作業で必要なコマンド群を準
備する。図形として取り込むのでなく、距離や角度など
を計測する目的で測定を行う場合は、計測コマンド群を
準備する。測定コマンドで得た位置結果や図形結果を使
ったり、直接測定実空間上の位置測定を使ったりして計
測する。
【0015】表示状態の割込み操作について以下に説明
する。表示状態の設定を変更する表示設定プログラムを
準備する。ポインティングデバイスやキーボードの入力
を割込み的に監視する監視プログラムを準備する。一定
時間毎に入力状態を調べる監視プログラム、入力の発生
通知を待つだけの監視プログラムなどとコンピュータの
OS(オペレーティングシステム)に合わせて最適な割
込み監視方法を選ぶ。あらかじめユーザ操作の定義を決
め、どの割込み操作でどのような機能を実行するかを決
めておく。ポインティングデバイスやキーボードからの
割込み操作の発生を監視プログラムが捕まえると、表示
設定プログラムで割込み操作に対応した表示状態(表示
三次元方向、表示倍率、表示ウインドウの数など)への
変更を行う。引き続きデータベース表示プログラム関数
を呼び出し、コンピュータ表示画面の再表示を行う。こ
の一連の割込み操作はコンピュータCPUパワーの一部
を一時的に奪うだけで、測定作業を中断することはな
い。測定部位を詳細に見るため拡大表示する、測定部位
を四方から同時に眺める4個の表示ウインドウにするな
どが、測定中に自由に行える。
【0016】計測コマンドについて以下に説明する。計
測コマンドとして、位置座標、2点間距離、1点と図形
の距離、図形間の距離、3点間角度、2直線角度、2平
面角度、図形幾何情報などが考えられる。位置や図形を
指示する機器として、コンピュータのポインティングデ
バイスや測定機自身を使う。測定機を使う場合は、コン
ピュータ表示画面上のモデル空間の位置を指示するので
なく、実空間の位置を指示することになる。本発明は実
空間に一致した仮想的な測定作業状態をコンピュータ表
示画面内に再現する機能を持ち、測定機の指示座標をモ
デル空間でのポインティングデバイスによる指示座標と
して変換することができ、あたかも実空間に図形が存在
しているかのように、測定機でモデル空間上の図形や位
置を指示する機能を持つ。そして指示した情報から距離
などを計算し、その計算結果を表示する。測定作業を中
断せずに計測コマンドが実行でき、その計測コマンドが
終われば、再び続きの測定作業に戻れる測定コマンド体
系に測定システムがなっていれば、一般のコマンドとし
て計測プログラムを作成し、続きに戻れず測定を中断し
てしまう場合は、割込みコマンドとして計測プログラム
を作成する。モデルデータと測定結果の距離、測定結果
どうしの距離や角度関係、これから測定しようとする箇
所とモデルデータの距離、測定箇所どうしの距離など
が、測定中に自由に確認できる。
【0017】座標系定義と座標変換について以下に説明
する。どこを原点としどの方向をX軸とするかなどが測
定機毎固有に決まっている。それを測定機固有(絶対)
座標系と呼ぶ。測定機を使って測定作業者が任意に座標
系を定義する。例えば同一直線上にない3点を測定機で
座標指示することにより、1点目を原点、1点目2点目
を結ぶ直線をX軸、3点目の方向をY軸とするXYZ座
標系が定義される。これを実空間基準座標系と呼ぶ。コ
ンピュータ表示画面においても表示空間の原点と座標軸
の向きが決まっている。それをモデル空間固有(絶対)
座標系と呼ぶ。表示画面上においてポインティングデバ
イスやキーボードを使って測定作業者が任意に座標系を
定義する。これをモデル空間基準座標系と呼ぶ。上記の
実空間基準座標系とモデル空間基準座標系を数学上同じ
座標空間を定義する座標系として扱う。つまり測定機を
使って得られる測定された座標値(これは測定機固有座
標系での座標値)を実空間基準座標系に数学的に座標変
換し、この変換された座標値をモデル空間基準座標系で
数学的に逆変換しモデル空間固有座標系での座標値に変
換する。測定作業者が任意に定義した基準座標系による
2回の変換により、測定情報はコンピュータ表示画面の
測定作業者が任意に定義した位置に表示することができ
る。測定機の姿勢情報も測定機固有座標系であらわさ
れ、同じ2回の変換を経てコンピュータ表示画面に測定
機の姿勢が表示される。測定機の姿勢情報と測定情報は
実空間での三次元的位置関係を保持したままで、コンピ
ュータモデル空間の任意の位置に再現できる。座標系を
定義する方法は、例示した3点定義式以外にも数学的に
三次元座標系が定義できればいかなる方法でもよい。例
えば測定機の誤差を最小に押さえるには、多数の位置指
定から最小自乗法で一平面を決め、それを3平面繰り返
し、その三平面から座標系を定義するのがよい。
【0018】基準座標系の利用について以下に説明す
る。コンピュータ表示画面に測定結果と測定機アニメー
ションを表示するだけなら、基準座標系の定義を省略す
ることができる。測定機固有座標系とモデル空間固有座
標系だけを使い、測定機固有座標系での座標値をそのま
まモデル空間固有座標系での座標値として取り扱って
も、測定情報と測定機の姿勢情報は実空間での三次元的
位置関係を保持したままで、コンピュータモデル空間に
再現できる。しかしコンピュータのメモリー上に記憶さ
れた図形データの表示像と測定結果及び測定機アニメー
ション表示像を作業者の意図する三次元的位置関係で表
示する場合は、基準座標系の定義が必要である。実空間
での基準座標系から見た測定機や測定対象物の位置関係
とモデル空間での基準座標系から見た記憶された図形デ
ータ位置関係が、作業者の意図する位置関係になるよう
に、実空間とモデル空間の基準座標系を定義する。例え
ば記憶された図形データが測定対象物に対応したモデル
データの場合は、実空間基準座標系を測定対象物に対し
てある位置に定義し、モデル空間基準座標系をモデルデ
ータに対して同じ位置関係の所に定義する。そのことに
よりモデルデータ図形表示像と測定結果表示像及び測定
機アニメーション表示像が、実空間での測定対象物、測
定箇所、測定機の三次元的位置関係を保持した状態で、
コンピュータ表示画面上に表示され、仮想的な測定作業
状態を測定中にリアルタイムにコンピュータ上に再現す
る。
【0019】モデルデータ入力について以下に説明す
る。測定対象物に対応した三次元モデルデータが既にコ
ンピュータのデータとなっている場合は、そのデータを
測定システムのコンピュータに幾何図形として読み込む
機能を準備する。読み込む三次元モデルデータの形式が
コンピュータ間のやり取りの一般書式(IGES、ST
EPなど)に対応している場合は、一般書式を読み込む
機能を準備すればよい。三次元モデルデータが存在しな
い場合は、三次元モデルデータを手動で入力する機能、
いわゆる三次元CAD機能を準備する。入力された三次
元モデルデータは、メモリーに蓄積され、コンピュータ
モデル空間固有座標系のどこかに配置されコンピュータ
表示画面に表示される。測定実空間上に置かれている測
定対象物も測定機固有座標系のどこかに置かれている。
一般的にはそれぞれの固有座標系のどの位置に置かれて
いるかはお互いに無関係であり、実空間上での測定機の
姿勢と測定対象物の位置関係は、コンピュータモデル空
間上での測定機アニメーション表示像とモデルデータ表
示像の位置関係とは一致しない。そこで任意に定義でき
る基準座標系を使って一致させる。実空間基準座標系を
測定対象物に対してある位置に定義し、モデル空間基準
座標系をモデルデータに対して同じ位置関係の所に定義
する。基準座標系から見て、実空間でもモデル空間でも
同じ位置関係の所に測定対象物とモデルデータ、測定機
と測定機アニメーションが存在することになり、実空間
に一致した仮想的な測定作業状態をコンピュータ表示画
面内に再現することができる。
【0020】測定機固有座標系の変更という測定環境の
変化が起きた時について以下に説明する。測定機固有座
標系は測定機自身が移動した時、あるいは途中で測定機
を交換した時、あるいは測定対象物が移動し相対的に測
定機が移動した時、あるいは測定機によっては測定機の
電源をオフオンした時にも起きる。変更が起きた時は変
更前に定義した実空間基準座標系と同じ座標系を変更し
た測定機で定義し、モデル空間基準座標系は変更前の定
義を再利用する。実空間上の同じ位置の座標値は、変更
前の測定機と変更後の測定機は異なる値を持つが、モデ
ル空間上では同じ座標値となり、実空間上の同じ位置を
測定すれば、変更の起きる前に示したモデル空間上での
位置を変更の起きた後も示す。測定機アニメーション表
示像の三次元的姿勢は自動的に変更後の姿勢になり、測
定結果(位置、図形)の表示像との位置関係は、実空間
での変更後の新しい三次元位置関係と矛盾ない姿勢とな
る。つまり測定環境の変化前後で矛盾無く測定作業状態
をコンピュータ表示画面上にリアルタイムに再現し、変
化前後でデータ的にずれの無い一連の作業として三次元
測定作業を継続することができる。
【0021】
【実施例】本発明の実施例として、三次元測定機にRS
232C通信でコンピュータと通信する多関節形三次元
測定機、幾何図形表示コンピュータシステムに三次元C
ADシステムを利用した三次元測定システムを説明す
る。三次元測定のシステムとしては、三次元測定機とし
て、接触型では、直交形、多関節形、スカラ形など、非
接触型では、カメラ方式、レーザ方式、磁気方式、超音
波方式など多種多様なものが存在するが、コンピュータ
とオンラインで通信さえできればいかなる測定機でも利
用可能である。なおコンピュータ自身の中に測定機の制
御機能を含んだ測定機とコンピューター体型でもよい。
その場合通信は制御機能とCPUとの通信を意味する。
表示コンピュータとして、三次元測定機専用に準備した
コンピュータ、CAD、CAM、CAE、CGなど他の
アプリケーション用のコンピュータ、一般のコンピュー
タなど基本的にどのようなコンピュータでも良く、三次
元幾何図形の表示・消去を自由にできる仕組みを構築で
きれば利用可能である。ただし、通信しながら三次元表
示を同時に行うだけのCPUパワーを持つ必要はある。
【0022】今回説明の実施例は、本発明を実施し易す
く、発明の効果が強くあらわれる三次元測定システムの
ひとつであると言える。三次元幾何図形を入力し表示す
る機能は、三次元CADは標準で持っている。また測定
対象物のコンピュータモデルデータを入力し表示する機
能も標準で持っている。さらに今回利用のCADは割込
み操作による表示状態の変更や計測の実行機能を持ち、
新たに機能を付加するカスタマイズ機能も標準で持ち本
発明を実施し易い。また測定結果を利用した複雑な幾何
計算(三次元自由曲面の計算など)機能も標準で持ち測
定結果を即詳細に検討できる。今回利用の多関節形三次
元測定機は手動操作の測定機であるが、先端のプローブ
を含め全ての関節の位置情報をいつでも読み出すことが
でき、アニメーション表示を行ない易い。
【0023】なお測定システムの基本性能である測定誤
差は、利用する測定機自身の固有の能力に大きく依存し
ており、測定目的の精度に合わせた測定機を自由に選択
すればよい。本実施例の多関節形三次元測定機に限って
も、1mmから0.05mmの精度の物が存在してい
る。また現在のコンピュータによる表示の計算精度、座
標系の計算精度、データ保持精度、データ通信精度など
は、測定機の限界精度を十分に上回っており、コンピュ
ータによる誤差の拡大を考慮する必要はない。そこで本
発明においては、誤差の扱いを議論しない。ただし、コ
ンピュータ表示画面上の測定結果や測定機姿勢形状の表
示位置は、測定機の送り出す数値に基づいており、測定
機の誤差をそのまま伝播し、誤差を無くすものではな
い。つまり、同じ位置を測定した時、測定機の誤差のた
め、測定機が異なる数値を送り出した場合は、コンピュ
ータ表示画面上でも異なる位置に表示される。
【0024】実施例を以下に説明する。既存の三次元C
ADシステムにカスタマイズ機能を利用して測定システ
ムの機能を付加した。測定機機種毎に通信プログラムを
用意し、測定作業者が選択できる。本実施例の通信プロ
グラムは測定機に付属している通信ライブラリープログ
ラムを利用しながら、RS232Cを通して通信を行
う。一定時間毎にRS232C通信ポートを監視し、ス
テータスと先端プローブの位置と5関節の各位置を読み
出す。読み出すデータがポートに無い場合は、一定時間
スリープ後繰り返す。5秒以上データが無い場合は通信
エラーとして通信を止める。読み出したステータスによ
り、測定機で測定を行った(測定機付属のスイッチを押
す)か、単に情報を読み出しただけかを区別し、それぞ
れ測定情報、姿勢情報として表示プログラムにデータを
渡す。
【0025】表示プログラムの測定機情報入力部に通信
プログラムから渡された姿勢情報や測定情報は以下のよ
うに処理を行う。姿勢情報、測定情報ともに測定機固有
座標系からコンピュータモデル空間固有座標系へ座標変
換する。姿勢情報はアニメーション表示としての処理を
行う。測定情報の場合は、コンピュータのポインティン
グデバイスの入力イベントを擬似的に発生させ、ポイン
ティングデバイスの入力座標として扱う。ポインティン
グデバイスには、XYの二次元座標の情報しか持たない
物が多いため、測定機のZ座標情報はバイパス経路を作
り渡す。このことによって、ポインティングデバイス
(マウス装置など)からの入力として測定情報を扱うこ
とができ、本実施例のCADに標準にある作図コマンド
や計測コマンドなどが、そのまま測定コマンドとしても
利用できる。また新たに作成する測定専用コマンドのプ
ログラムにおいても、座標入力部分を測定機特別用に作
成する必要がなく、作成し易い。さらに副産物として、
各コマンドの座標入力の際に、ポインティングデバイ
ス、測定機どちらを使っても入力できる。
【0026】基準座標系定義の方法として、実空間固有
座標系からモデル空間固有座標系へそのまま(つまり固
有座標系と基準座標系が同じ)、モデル空間基準座標系
だけを定義、実空間基準座標系は固有座標系から平行移
動しモデル空間基準座標系は任意定義、実空間基準座標
系もモデル空間基準座標系も任意定義と複数選択できる
ようにし、即測定を開始したい場合、直交形(門形)三
次元測定機を利用する場合、多関節形三次元測定機を利
用する場合などいろいろな状況に最適な定義方法を選択
できる。任意定義する場合でも、一点方式、平均方式、
球中心方式、平面方式など精度と手間を考慮し最適な方
法を選択できる。CAD機能を使って書かれた図形や入
力機能を使って取り込まれたモデルデータ図形などに対
する、測定情報や測定機姿勢情報の位置関係を、この基
準系の定義を使って任意に設定できる。
【0027】測定機のアニメーション表示は、CAD本
来の表示機能を利用して、表示と削除を0.5秒毎に繰
り返し、測定機の多関節形状の表示像を点滅させ、測定
作業者の測定操作により測定機の多関節腕が屈伸移動す
る動きをコンピュータ表示画面上にリアルタイムに再現
する。
【0028】割込み機能が、本実施例のCADには豊富
にある。例えばキーボードの8キーとEndキーを打て
ば、いつでもコンピュータ表示画面を4分割の表示ウイ
ンドウに分け、異なる表示三次元方向からの表示にす
る。またマウスの右ボタンを押しながら右方向にドラッ
グすると、マウスカーソルの存在した表示ウインドウを
拡大表示する。さらに割込み計測コマンドもあり、例え
ば、測定した2点間の距離、測定した平面と1点の距
離、測定点とモデルデータの誤差などが、測定作業中に
いつでも確認できる。
【0029】測定機固有座標系が変更した時は、測定作
業者は実空間基準系定義を再度行う。モデル空間基準座
標系は、CADの一般図形データと区別の付く図形デー
タとして書き込まれており、自動的にその図形データは
発見され再利用される。
【0030】測定情報は位置結果(点図形を記入)とし
て取り込む場合、実施例の多関節形三次元測定機から送
られてくる情報のスピードは、コンピュータの取り込み
能力に比べて遅く、測定情報を逐一リアルタイムに表示
しながら受け取ることができる。しかし自動測定を行う
ような測定機は高速に送ってくる場合が多く、高速処理
用の位置取り込みコマンドを作成している。このコマン
ドでは測定情報の一部だけをリアルタイムに表示し、大
半の情報を受け蓄えるだけにすることにより高速性を実
現している。また単に位置結果を取り込むだけでなく、
複数の位置情報から計算を経て図形情報にして取り込む
コマンドも作成している。直線、円、平面、自由曲線、
円柱、直方体などの図形結果に変換し表示する。
【0031】本発明の実施例を図を用いて説明する。図
1は、本発明の実施例を模式的に表した図であり、測定
作業中の測定機と測定対象物及びコンピュータとコンピ
ュータ表示画面を簡易に表現している。測定機1は多関
節形三次元測定機であり、手動により先端のプローブ2
を測定対象物3の測定箇所に接触させて、スイッチを押
し測定する。コンピュータ本体4とは、RS232C通
信ケーブル5を介して接続されている。コンピュータ表
示画面6には、測定対象物に対応したモデルデータの表
示像7と測定機の姿勢形状を模したアニメーション表示
像8が三次元表示されている。測定機1を動かすと、リ
アルタイムにアニメーション表示像8が動く。実空間で
測定機を使って実空間基準座標系9を定義し、その位置
に対応したモデルデータの場所にモデル空間基準座標系
10をマウス11などを使って定義する。モデルデータ
表示像7と測定機アニメーション表示像8が、実空間で
の測定対象物3、測定機1の三次元的位置関係を保持し
た状態で、コンピュータ表示画面6上に表示され、仮想
的な測定作業状態を測定中にリアルタイムにコンピュー
タ上に再現している。ここに測定結果も書き込まれてい
くと、どこを測定しどこを測定していないなど測定状況
が把握し易くなる。なお図1はわかり易くするため簡易
的に描かれており、コンピュータ表示画面6は、実際の
表示画面の三次元表示と異なり、幾何学的に正確に描か
れていない。測定機1も実物の構造を正確に描いていな
い。
【0032】図2は、コンピュータ表示画面の絵であ
る。表示状態を割込み操作を使って変更し、表示ウイン
ドウを4個開き、それぞれのウインドウの表示三次元方
向や表示倍率を変えている。表示ウインドウ12は測定
状態を上空から眺めた状態である。表示ウインドウ13
は測定状態を斜め上方向から眺めた状態である。表示ウ
インドウ14は測定状態を側面から眺めた状態である。
表示ウインドウ15は測定状態を別の側面から眺め測定
機のプローブの表示像16付近を拡大表示した状態であ
る。なお図2はわかり易くするため簡易的に描かれてお
り、実際の表示画面の三次元表示と異なり、幾何学的に
正確に描かれていない。
【0033】
【発明の効果】本発明は、以上説明したような構成と機
能を持ち、以下に記載する効果を発揮する。
【0034】測定結果の位置結果も図形結果も取り込ん
だその時点から、コンピュータ表示画面に表示されてお
り、どこを測定したか、どこを測定していないかを明確
に把握できる。測定機の動きもアニメーション表示され
ており、どのように測定したか、何をしようとしている
かを推論することもできる。
【0035】実空間の測定状況をコンピュータ表示画面
上に単に再現するだけではない。表示状態(表示三次元
方向、表示倍率、表示ウインドウの数など)を適切に設
定すると、実物の測定状況を目で眺める時には不可能な
眺め、例えば、いろいろな方向からの同時の眺め、眺め
ることができない方向からの眺め、詳細をみるため大き
く拡大しての眺めを簡単に実現できる。
【0036】眺めの確認だけでなく、計測の機能もあ
り、例えば、測定した2点間の距離、測定した平面と1
点の距離、測定点とモデルデータの誤差、まだ測定して
いない実物空間上の2点間の距離などの数値的情報を、
測定作業中にいつでも確認ができる。
【0037】任意のモデルデータや別の測定作業による
測定結果などと、基準系の定義により任意の位置関係
で、現在の測定状況と同時にコンピュータ表示画面上に
表示でき、比較検討しながらの測定ができる。
【0038】長尺物、裏表物の測定による測定機または
測定対象物の移動や不測の事態による測定機の移動など
測定環境の変化前後でも、矛盾無く測定作業状態をコン
ピュータ表示画面上にリアルタイムに再現でき、変化前
後でデータ的にずれの無い一連の作業として測定作業を
継続することができ、測定後の後処理が軽減される。
【0039】上記効果により、熟練者でなくても測定作
業ができる容易化、無駄な測定を減らす効率向上、間違
った測定を減らす質的向上、試行錯誤の容易性による新
しい測定への発展性をもたらすことになる。本発明は、
以上のような効果を発揮するリアルタイムモニター式三
次元測定システムである。
【図面の簡単な説明】
【図1】測定作業中の測定機と測定対象物及びコンピュ
ータとコンピュータ表示画面を模式的に表した簡易的な
図。
【図2】コンピュータ表示画面上に4分割表示ウインド
ウで測定状況を表示していることを表した簡易的な図。
【符号の説明】
1 多関節形三次元測定機 2 測定機の先端プローブ 3 測定対象物 4 コンピュータ本体 5 測定機とコンピュータをつなぐRS232C通信
ケーブル 6 コンピュータ表示画面 7 測定対象物に対応したモデルデータの表示像 8 測定機のアニメーション表示像 9 実空間基準座標系の定義(実際には何がしかの目
印を付ける) 10 モデル空間基準座標系の定義(実際には表示され
ない) 11 ポインティングデバイスのマウス 12 4分割表示ウインドウの内の一つ(上からの眺
め) 13 4分割表示ウインドウの内の一つ(斜め上からの
眺め) 14 4分割表示ウインドウの内の一つ(側面からの眺
め) 15 4分割表示ウインドウの内の一つ(別の側面から
の眺めを拡大) 16 拡大された測定機アニメーション表示像の先端プ
ローブ部分
───────────────────────────────────────────────────── フロントページの続き (72)発明者 尾野 宏義 京都府相楽郡木津町兜台1丁目2番地 高 の原駅西団地17棟203号 Fターム(参考) 2F069 AA04 AA66 GG01 GG04 GG06 GG07 GG09 HH30 JJ08 MM04 NN00 QQ10 QQ13 5B050 BA08 BA09 BA11 DA10 EA19 EA28 FA02 FA12

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】コンピュータとの通信機能を備えた三次元
    測定機と、幾何図形表示機能を備えたコンピュータより
    構成される測定システムにおいて、測定機より測定情報
    を逐次読み出す手段、読み出された測定情報に従い、測
    定位置、測定図形をコンピュータのメモリーに随時蓄積
    する手段を備え、コンピュータ表示画面上に、コンピュ
    ータに蓄積された複数の測定結果(位置、図形)を、三
    次元実空間での位置関係を保持しながら、測定操作中に
    リアルタイムに三次元表示することを特徴とする三次元
    測定システム。
  2. 【請求項2】請求項1記載の測定システムにさらに追加
    して、測定機の能力に合わせて連続的に、あるいは、非
    連続的に測定機より姿勢情報を読み出す手段、読み出さ
    れた測定機の姿勢情報に従い、測定機の姿勢形状をコン
    ピュータの表示画面に表示する手段を備え、コンピュー
    タ表示画面上に、測定機の三次元空間上での姿勢を、測
    定結果(位置、図形)の表示像と共に、お互いの三次元
    実空間での位置関係を保持しながら、測定操作中にリア
    ルタイムにアニメーション表示することを特徴とする三
    次元測定システム。
  3. 【請求項3】請求項2記載の測定システムにさらに追加
    して、測定機が存在する実空間上での基準座標系とそれ
    に対応したコンピュータモデル空間上での基準座標系を
    作業者が任意に定義する手段、測定機より読み出された
    測定情報及び測定機の姿勢情報を測定機固有(絶対)座
    標系からコンピュータモデル空間固有(絶対)座標系へ
    基準座標系を通して座標変換する手段を備え、コンピュ
    ータに記憶された図形データ表示像と測定結果(位置、
    図形)表示像及び測定機アニメーション表示像を、作業
    者の希望する任意の三次元的位置関係で、同時に表示す
    ることを特徴とする三次元測定システム。
  4. 【請求項4】請求項3記載の測定システムにさらに追加
    して、コンピュータのメモリー上に測定対象物に対応し
    たコンピュータモデルデータを入力する手段、入力され
    たモデルデータをコンピュータの表示画面上に図形デー
    タとして表示する手段を備え、測定対象物モデルデータ
    図形表示像と測定結果(位置、図形)表示像及び測定機
    アニメーション表示像を同時に表示し、実空間に一致し
    た仮想的な測定作業状態をコンピュータ表示画面上にリ
    アルタイムに再現することを特徴とする三次元測定シス
    テム。
  5. 【請求項5】請求項4記載の測定システムにさらに追加
    して、コンピュータのキーボードやポインティングデバ
    イスの操作により割込み的に、コンピュータ表示画面上
    の表示状態(表示三次元方向、表示倍率、表示ウインド
    ウの数)を任意に変更する手段を備え、測定作業の中断
    や測定結果(位置、図形)及び測定機アニメーション表
    示の中断を生じることなしに、コンピュータ表示画面を
    任意のタイミングで作業者の希望する任意の表示状態に
    することを特徴とする三次元測定システム。
  6. 【請求項6】請求項5記載の測定システムにさらに追加
    して、コンピュータのメモリー上に記憶され表示画面上
    に表示されている図形データをポインティングデバイス
    や測定機の指示により計測(距離、角度、図形の幾何情
    報の計算)し結果を表示する手段を備え、測定作業の中
    断や測定結果(位置、図形)及び測定機アニメーション
    表示の中断を生じることなしに、実空間の位置、モデル
    空間の位置、モデルデータ、測定結果の任意の組み合わ
    せの計測を、作業者の必要とする任意のタイミングで行
    なえ結果を表示することを特徴とする三次元測定システ
    ム。
  7. 【請求項7】請求項6記載の測定システムにさらに追加
    して、実空間基準座標系の再定義及び既に定義したモデ
    ル空間基準座標系の再利用を行う手段を備え、測定機固
    有座標系の変更(測定機自身の移動、あるいは測定機の
    交換、あるいは測定対象物の移動)という測定環境変化
    の発生が起きた場合でも、実空間上の同じ三次元位置の
    測定は、変化の起きる前に示したコンピュータモデル空
    間上での位置を変化の起きた後も示し、測定機アニメー
    ション表示像の三次元的姿勢は自動的に変化後の姿勢に
    なり、測定環境の変化前後で矛盾無く測定作業状態をコ
    ンピュータ表示画面上にリアルタイムに再現し、変化前
    後でデータ的にずれの無い一連の作業として三次元測定
    作業を継続することを特徴とする三次元測定システム。
JP2000335236A 2000-09-26 2000-09-26 コンピュータを利用したリアルタイムモニター式三次元測定システム Expired - Lifetime JP4108914B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000335236A JP4108914B2 (ja) 2000-09-26 2000-09-26 コンピュータを利用したリアルタイムモニター式三次元測定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000335236A JP4108914B2 (ja) 2000-09-26 2000-09-26 コンピュータを利用したリアルタイムモニター式三次元測定システム

Publications (2)

Publication Number Publication Date
JP2002098520A true JP2002098520A (ja) 2002-04-05
JP4108914B2 JP4108914B2 (ja) 2008-06-25

Family

ID=18811017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000335236A Expired - Lifetime JP4108914B2 (ja) 2000-09-26 2000-09-26 コンピュータを利用したリアルタイムモニター式三次元測定システム

Country Status (1)

Country Link
JP (1) JP4108914B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008111770A (ja) * 2006-10-31 2008-05-15 Makino Milling Mach Co Ltd 測定表示方法及び測定表示装置を備えた機械
JP2011027616A (ja) * 2009-07-28 2011-02-10 Mitsutoyo Corp 手動式三次元測定装置、手動式三次元測定方法、及び手動式三次元測定用プログラム
JP2020008903A (ja) * 2018-07-02 2020-01-16 株式会社ミツトヨ 測定データ観察装置、測定支援装置、及びプログラム
JP2020148777A (ja) * 2020-04-03 2020-09-17 株式会社ミツトヨ 手動測定装置
JP2021113814A (ja) * 2019-09-04 2021-08-05 株式会社ミツトヨ 測定システムおよび測定支援システム
CN114996778A (zh) * 2022-02-28 2022-09-02 海克斯康软件技术(青岛)有限公司 一种三坐标测量机的三维仿真系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008111770A (ja) * 2006-10-31 2008-05-15 Makino Milling Mach Co Ltd 測定表示方法及び測定表示装置を備えた機械
JP2011027616A (ja) * 2009-07-28 2011-02-10 Mitsutoyo Corp 手動式三次元測定装置、手動式三次元測定方法、及び手動式三次元測定用プログラム
JP2020008903A (ja) * 2018-07-02 2020-01-16 株式会社ミツトヨ 測定データ観察装置、測定支援装置、及びプログラム
JP2021113814A (ja) * 2019-09-04 2021-08-05 株式会社ミツトヨ 測定システムおよび測定支援システム
JP7177208B2 (ja) 2019-09-04 2022-11-22 株式会社ミツトヨ 測定システム
JP2020148777A (ja) * 2020-04-03 2020-09-17 株式会社ミツトヨ 手動測定装置
CN114996778A (zh) * 2022-02-28 2022-09-02 海克斯康软件技术(青岛)有限公司 一种三坐标测量机的三维仿真系统
CN114996778B (zh) * 2022-02-28 2024-04-26 海克斯康软件技术(青岛)有限公司 一种三坐标测量机的三维仿真系统

Also Published As

Publication number Publication date
JP4108914B2 (ja) 2008-06-25

Similar Documents

Publication Publication Date Title
CN110394780B (zh) 机器人的仿真装置
JP4356983B2 (ja) 画像処理方法、画像処理装置
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
US7353081B2 (en) Method and a system for programming an industrial robot
US5670987A (en) Virtual manipulating apparatus and method
US20080030461A1 (en) Mixed reality presentation apparatus and control method thereof, and program
CN105074617A (zh) 三维用户界面装置和三维操作处理方法
JPH1173271A (ja) 指示装置、処理装置および記憶媒体
CN105291107A (zh) 机器人模拟器及机器人模拟器的文件生成方法
JP2014512530A (ja) 座標位置決め装置
Ponomareva et al. Grasplook: a vr-based telemanipulation system with r-cnn-driven augmentation of virtual environment
KR20190059726A (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
JP2002098520A (ja) コンピュータを利用したリアルタイムモニター式三次元測定システム
JP2005046931A (ja) ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム
JP4109745B2 (ja) 三次元空間表示システムにおける物体移動配置装置及び方法
US5418712A (en) Manipulation performance evaluating apparatus for evaluating manipulation performance of a commodity having operating parts
Wang et al. Key technique of assembly system in an augmented reality environment
JP3765061B2 (ja) 多次元形状の座標計測機用オフライン・ティーチング・システム
JP4769942B2 (ja) 3dデザイン支援システム及び3dデザイン支援方法
JP2022163836A (ja) ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム
JP2006343954A (ja) 画像処理方法、画像処理装置
JP3413145B2 (ja) 仮想空間の編集方法及び仮想空間の編集装置
Varga et al. Survey and investigation of hand motion processing technologies for compliance with shape conceptualization
KR100362383B1 (ko) 3차원 인터페이스를 채용한 동작 정보 후처리 방법
JP2924750B2 (ja) 3次元形状モデリング方法およびその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060203

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110411

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4108914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130411

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130411

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140411

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250