JP2003338700A - 工業製品のリペア支援装置 - Google Patents

工業製品のリペア支援装置

Info

Publication number
JP2003338700A
JP2003338700A JP2002146700A JP2002146700A JP2003338700A JP 2003338700 A JP2003338700 A JP 2003338700A JP 2002146700 A JP2002146700 A JP 2002146700A JP 2002146700 A JP2002146700 A JP 2002146700A JP 2003338700 A JP2003338700 A JP 2003338700A
Authority
JP
Japan
Prior art keywords
data
defect
display
repair
electronic circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002146700A
Other languages
English (en)
Inventor
Masanori Suzuki
正則 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Giken Co Ltd
Original Assignee
Hitachi Giken Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Giken Co Ltd filed Critical Hitachi Giken Co Ltd
Priority to JP2002146700A priority Critical patent/JP2003338700A/ja
Publication of JP2003338700A publication Critical patent/JP2003338700A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

(57)【要約】 【課題】 欠陥部位の修繕を視線の移動を少なくして能
率的に、かつ短時間で確実に行なえるように支援するこ
と。 【解決手段】 自動検査装置3及び目視検査支援装置4
によって得られる電子回路基板の欠陥データをサーバ5
を介して受け取り、これを統合して修繕支援用の欠陥デ
ータを作成し、この欠陥データを作業者の操作する指示
用リモコン装置1cの指示に従って順次ヘッドマウント
ディスプレイ2に出力するパソコン1と、その欠陥デー
タを受け取って、表示部に欠陥部位画像その他の画像を
表示させ、これらの画像と対象の電子回路基板とを視線
の移動を極力少なく比較対照しながら能率の良い修繕作
業を行えるようにしたヘッドマウントディスプレイ2と
で構成したものである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、IC、抵抗器、コ
ンデンサ等の電子部品を取り付けた電子回路基板その他
の工業製品を自動検査装置を用いて欠陥部位を検出した
後に、更にはこれに加えて目視検査支援装置を用いて詳
細に欠陥部位を検出した後に、該欠陥部位をリペア、即
ち、修繕する際に使用する工業製品のリペア支援装置に
関するものである。
【0002】
【従来の技術】各種の電子装置を構成する電子回路基板
は、IC、抵抗器、コンデンサ等の各種の電子部品を基
板に配置し、かつ半田付け処理を行なって電気的に接続
されて構成されている。このような手法は、表面実装技
術、或いは高密度実装技術等と呼ばれる。この種の回路
基板実装に当たっては、回路基板に設計値通りのIC、
抵抗器、コンデンサ等を正しく配置し、かつ確実に半田
付け処理を施す必要がある。
【0003】近年、電子装置の小型・高性能化に伴い、
用いる電子部品も超小型化及び高集積化が図られ、表面
実装技術は益々高度になっている。これに伴ない、基板
製造に当たっては充分な注意が払われている。しかしな
がら十分な注意を払っても使用している電子部品が小さ
いので間違いが起こり易く、複雑化並びに小型化され高
密度に実装された電子回路基板の製造工程の最終段階で
はより厳重な検査が必要になっている。
【0004】従来、この検査のために自動検査装置が用
いられている。このような自動検査装置は被検査電子回
路基板をステージ等の上に載置し、上部からCCDカメ
ラ等で撮影し、得られた画像を検査することで欠陥を発
見するようになっている。予め欠陥のない電子回路基板
の画像をメモリ等に記憶しておき、撮影した電子回路基
板の画像とこれを比較することにより欠陥部位とその内
容を知ることができる訳である。欠陥の内容としては、
使用部品の間違い、極性の間違い、配置の間違い、半田
付け処理不良等を挙げることができる。
【0005】このような自動検査装置で得られる欠陥デ
ータは、欠陥のある電子回路基板を特定するデータ、電
子回路基板の全体の画像データ、欠陥部位を示すデー
タ、欠陥の内容を示すデータ等である。
【0006】そしてリペア作業は、自動検査装置で得ら
れる前記の欠陥データをモニタ用のディスプレイに表示
して電子回路基板上の欠陥部位と欠陥内容とを各電子回
路基板毎に認識して行うようになっている。この作業工
程では、まずモニタ用ディスプレイに基板全体が表示さ
れ、欠陥部位とその内容が示される。作業者はこのモニ
タ用ディスプレイを見ながらリペア、つまり修繕作業に
入る。修繕作業とは、モニタ用ディスプレイに表示され
る欠陥の内容に従って、例えば、コンデンサが逆向きに
実装され極性が間違っている場合には、これを取り外し
て正しく実装し直す作業等を意味する。
【0007】以上の自動検査装置だけでは欠陥部位を見
過ごされる可能性があったり、発見されたとしてもその
欠陥の内容が必ずしも明確にならない場合があるという
不安があるため、本件出願人が開発し提案している目視
検査支援装置(特開2001−255274)を導入す
るケースが増えている。この目視検査支援装置は、モニ
タ用ディスプレイと、正面用カメラと斜め用カメラから
なるカメラユニットと、検査対象の電子回路基板等を保
持する保持部とを備えており、該カメラユニットは保持
部の支持する検査対象の電子回路基板等に対して、相対
的に、X、Y及びZ方向に自在に移動することができる
ようになっている。またカメラユニットは正面用カメラ
を中心に回転することができるし、斜め用カメラはその
角度を自由に調整できる。更にこの目視検査支援装置
は、対象の電子回路基板等の工業製品の要検査部位につ
いて予め設定した順序で必ず目視検査され得るように必
要な撮影及びモニタ用ディスプレイでの表示が行われる
ようになっている。
【0008】従ってこの目視検査支援装置を採用した場
合は、必ず要検査部位の全ての撮影及びモニタ用ディス
プレイによる表示が行われるので、要検査部位の目視検
査に脱落が生じるような虞はない。また各種素子類の型
番その他は必ず正立状態で撮影され、表示されることと
なるので、見間違いが少なくなり、また斜め方向からの
撮影も加わるので、素子の挿入不完全等も容易に発見し
得ることとなり、目視検査の精度が高まることとなる。
【0009】この目視検査支援装置で得られるデータ
は、自動検査装置と同様に、欠陥の発見された個々の電
子回路基板等の対象物を特定するデータ、各電子回路基
板等の全体の画像データ、欠陥部位を示す画像データ、
欠陥の内容を示すデータ等である。
【0010】そしてリペア作業は、以上のような目視検
査支援装置で得られる欠陥データをモニタ用のディスプ
レイに表示して電子回路基板上の欠陥部位と欠陥内容と
を各電子回路基板毎に認識して行うものである。この作
業工程では、まずモニタ用ディスプレイに基板全体が表
示され、欠陥部位とその欠陥内容とが示される。作業者
はこのモニタ用ディスプレイを見ながらリペア、つまり
修繕作業を行う訳である。
【0011】このようなリペア作業工程では、以上に述
べたように、自動検査装置又は更にこれに加えて目視検
査支援装置で得られた欠陥データをモニタ用ディスプレ
イに表示し、これに基づいて当該の修繕対象品に対する
修繕作業を行うものであり、この作業は、より端的に言
えば、モニタ用ディスプレイの画像と修繕対象品とを交
互に比較しながらの作業である。このように両者を比較
しながらの作業では、視線の移動が大きく非能率的であ
るが、更に修繕対象が、小型化しかつ高密度で実装され
た電子回路基板が対象である場合には、それぞれが微細
で複雑なものであるため、モニタ用ディスプレイに表示
された欠陥部位を修繕対象の中から正確に見出すのが容
易ではなく、これを見出すのに無用の長い時間が掛かっ
たり、欠陥部位を見間違えることもあった。このような
事態が発生すると、修繕作業を行なっているのに実際に
は修繕が為されていないと言う深刻な事態となる。
【0012】この他に、可視のレーザ光で修繕対象の欠
陥部位を指し示す技術もあるが、この場合にはこれ単独
では位置のみは表示可能であるが、欠陥の内容や形態等
を表示することはできない。また指し示すための光学系
が複雑になり装置全体が大掛かりとなる。
【0013】
【発明が解決しようとする課題】本発明は、以上のよう
な従来例の不都合を解消し、電子回路基板等を含む工業
製品の欠陥部位の修繕を視線の移動を少なくして、能率
的に、かつ短時間で確実に行なえるように支援する工業
製品のリペア支援装置を提供することを解決の課題とす
る。
【0014】
【課題を解決するための手段】本発明の1は、対象工業
製品の少なくとも欠陥部位の画像データを含む欠陥デー
タを受け取り、該欠陥データを設定順序又は作業者の指
示に従う順序で出力する制御手段と、表示された欠陥デ
ータと比較対照しながら対象工業製品を修繕し得るよう
に、該欠陥データを受け取って欠陥部位の画像及びその
他の欠陥データを表示するヘッドマウントディスプレイ
とで構成した工業製品のリペア支援装置である。
【0015】本発明の2は、本発明の1の工業製品のリ
ペア支援装置に於いて、前記ヘッドマウントディスプレ
イとして透過型両眼視用のそれを採用し、該ヘッドマウ
ントディスプレイで表示される前記欠陥部位の画像と前
記対象工業製品の該当部位とを同時に又は順次比較対照
しながら修繕作業を行ない得るように構成したものであ
る。
【0016】本発明の3は、本発明の1の工業製品のリ
ペア支援装置に於いて、前記ヘッドマウンドディスプレ
イとして非透過形単眼視用のそれを採用し、該ヘッドマ
ウントディスプレイで表示される前記欠陥部位の画像を
一方の目で、同時に他方の目で前記対象工業製品を、そ
れぞれ見て比較対照しながらその修繕作業を行ない得る
ように構成したものである。
【0017】本発明の4は、本発明1、2又は3の工業
製品のリペア支援装置に於いて、前記ヘッドマウントデ
ィスプレーとして、ウエアラブルパソコンを備えたそれ
を採用し、前記制御手段から対象工業製品の欠陥データ
を該ウエアラブルパソコンに無線送信し、該ウエアラブ
ルパソコンを通じて該欠陥データをヘッドマウントディ
スプレイに送るように構成したものである。
【0018】
【発明の実施の形態】本発明は、対象工業製品の少なく
とも欠陥部位の画像データを含む欠陥データを受け取
り、該欠陥データを設定順序又は作業者の指示に従う順
序で出力する制御手段と、表示された欠陥データと比較
対照しながら対象工業製品を修繕し得るように、該欠陥
データを受け取って欠陥部位の画像及びその他の欠陥デ
ータを表示するヘッドマウントディスプレイとで構成し
た工業製品のリペア支援装置である。
【0019】前記制御手段としては、一般のパーソナル
コンピュータ(パソコン)を採用することができる。電
子回路基板等の対象工業製品の少なくとも欠陥部位の画
像データを含む欠陥データを受け取り、該欠陥データを
設定順序又は作業者の指示に従う順序で出力することが
できるものであれば具体的な構成は問わない。この制御
手段の動作は、前記ヘッドマウントディスプレイに欠陥
データを送って表示させ、特に、欠陥部位の画像を表示
させ、該欠陥部位の画像と修繕対象の工業製品の該当部
位とを同時に又は順次見ることができるようにすること
により、正確かつスピーディに欠陥部位を認識し、かつ
その修繕を行えるようにすることを基本として自由に決
定することができる。
【0020】このような趣旨から、例えば、該制御手段
は、最初に修繕対象の工業製品を特定するデータを出力
し、リモコン装置等より、これが確認された旨の作業者
による入力を待って、該工業製品の欠陥部位を表示した
全体画像データを送り、更に同様に、これが確認された
旨の入力を待って各欠陥部位の画像データ及び欠陥内容
を示すデータを出力するようにすることができる。以上
の欠陥部位の画像データ及び欠陥内容を示すデータはデ
ィスプレイ上には同時に表示されているのが好ましい。
なお各欠陥部位の画像データの出力は、作業者による進
行許可(修繕作業が完了した旨の信号)の入力を待って
行われるべきことは云うまでもない。必要に応じて、既
出の欠陥部位等について再度表示させるべく、後退入力
を行うことも可能にすべきである。こうして一つの修繕
対象の工業製品の修繕が終了すれば、次の工業製品につ
いて同様の動作が既述のように行われる。なお制御手段
は、これ以外の有用な種々の動作を行うことを妨げられ
ない。
【0021】制御手段のこのような動作は、必要なプロ
グラムを作成し、これを組み込むことによって実現でき
るのは云うまでもない。
【0022】以上のような趣旨から、前記欠陥データと
しては、電子回路基板等の対象工業製品を特定するデー
タ、その工業製品の全体の画像データで該当部位に欠陥
がある旨を指摘する画像データ、個々の欠陥部位の画像
データ及び該部位の欠陥の内容を示すデータが揃ってい
ることが望ましい。少なくとも当該の工業製品の欠陥部
位の画像データは必要であるが、電子回路基板等の対象
工業製品を特定するデータは云うまでもなく必要であ
る。これらを含む得られるデータに合わせて適切な動作
を行うよう、プログラムを作成し、制御手段の動作を設
定する。
【0023】前記ヘッドマウントディスプレイも市販の
それを採用することができる。これは、前記のように、
欠陥部位の画像を表示して、着用者が該画像と当該の修
繕対象工業製品の該当部位を同時に重ね合わせて又は順
次見ることができるものであれば良い。
【0024】例えば、前記ヘッドマウントディスプレイ
として透過型両眼視用のそれを採用し、該ヘッドマウン
トディスプレイで表示される前記欠陥部位の画像と前記
対象工業製品の該当部位とを合わせて見ながら修繕作業
を行ない得るように構成することもできるし、前記ヘッ
ドマウンドディスプレイとして非透過形単眼視用のそれ
を採用し、該ヘッドマウントディスプレイで表示される
前記欠陥部位の画像を一方の目で見ながら同時に他方の
目で前記対象工業製品を見ることにより、前者で表示さ
れる前記欠陥部位の画像と該対象工業製品の該当部位と
を合わせて見ながら修繕作業を行ない得るように構成す
ることもできる。
【0025】またヘッドマウントディスプレイを採用す
る趣旨は、何らかの事情により頭部を動かしても欠陥デ
ータ画像から目を離さなくて済むという利点を求めたも
のであり、そのような趣旨を更に進めれば、前記ヘッド
マウントディスプレーとして、ウエアラブルパソコンを
備えたそれを採用し、前記制御手段から対象工業製品の
欠陥データを該ウエアラブルパソコンに無線送信し、該
ウエアラブルパソコンを通じて該欠陥データをヘッドマ
ウントディスプレイに送るように構成するのがより好ま
しい。
【0026】こうすることにより、作業者は、作業性を
低下させないでより身体の自由が確保できることにな
る。
【0027】このような工業製品のリペア支援装置は、
スタンドアロンで使用することも可能であるが、前記自
動検査装置、前記目視検査支援装置及びサーバを接続し
たLANに接続して使用するのが適当である。
【0028】前記自動検査装置は、その機能に従って、
検査対象の工業製品、例えば、電子回路基板をステージ
等の上に載置し、上部からCCDカメラ等で画像を撮影
し欠陥を検査している。例えば、欠陥のない電子回路基
板の撮影して得た画像データを基準画像データとし、こ
れを撮影して得た画像と比較することにより、欠陥部位
とその内容を検出する。
【0029】欠陥データとしては、先に述べたように、
当該の電子回路基板を特定するデータ、その電子回路基
板の画像データで該当部位に欠陥がある旨を指摘する画
像データ、個々の欠陥部位の画像データ及び該部位の欠
陥の内容を示すデータが得られることが好ましい。それ
故、このようなデータの得られる自動検査装置と組み合
わせるのが好都合である。上記欠陥の内容は、使用部品
の間違い、極性の間違い、配置の間違い、半田付け処理
不良等である。
【0030】なお以上のような自動検査装置で得られる
欠陥の内容を示すデータは、A、B、C等の欠陥識別符
号によって示されており、これをそのまま表示するので
は、修繕作業を行う作業者の理解のために不便であるの
で、これらを自然限度による表現に変換する変換プログ
ラムを作成し、欠陥の内容を示す出力データをこの変換
プログラムで処理することにより人が読んで分かる説明
文に変換することとするのが適当である。
【0031】前記目視検査支援装置は既述のように構成
されており、かつ動作する。従ってこの目視検査支援装
置で支援を受けつつ行われた目視検査は非常に精度の高
いものであり、要検査部位の全てについて脱落なく良好
な検査が行われる。得られる欠陥データは信頼性の高い
ものとなる。この目視検査支援装置で得られる対象の工
業製品、例えば、電子回路基板の欠陥データは、種別的
には自動検査装置と同様に、個々の電子回路基板を特定
するデータ、各個の電子回路基板の全体を示す画像デー
タ、欠陥部位を示す画像データ、欠陥の内容を示すデー
タ等である。
【0032】なお該目視検査支援装置では、欠陥の内容
を示すデータは種々の形式で生成可能である。一般の自
動検査装置と同様にA、B、C等の欠陥識別符号によっ
て示すことも、自然言語によって記録することも可能で
ある。前者のように欠陥識別符号を採用した場合は、修
繕作業工程で作業者がそれを利用する場合は、それを前
記のように、変換プログラムで変換処理し、人が読んで
分かる自然言語の説明文に変換することとするのが適当
である。
【0033】前記サーバは、前記自動検査装置及び前記
目視検査支援装置で得られた欠陥データを、必要に応じ
て受信し、そして制御手段として採用した前記パソコン
に送信するためのものである。
【0034】なお、前記自動検査装置、前記目視検査支
援装置、前記サーバ及び制御手段であるパソコンはLA
Nケーブルにより相互に接続される。もっともデータを
送受信できればLANケーブルに拘る必要はないのは云
うまでもない。
【0035】本発明の工業製品のリペア支援装置を、こ
のように前記自動検査装置及び前記目視検査支援装置と
LANで接続して使用することとすると、前記のように
して各修繕対象の工業製品、例えば、電子回路基板毎
に、これらで得られた欠陥データを受け取って、これを
そのヘッドマウントディスプレイに表示して良好にその
修繕作業を支援するのに利用することができる。
【0036】この装置の最も重要な動作は、該ヘッドマ
ウントディスプレイに対象の工業製品の欠陥部位を表示
し、修繕すべく面前に位置させた対応する工業製品と合
わせて該欠陥部位を観察することができるようにするこ
とであり、このようにすることにより、欠陥部位を正確
かつスピーディに認識してその修繕を行うことができる
ようにすることである。
【0037】この装置の実際の具体的な動作は、以上の
最も重要な作用を含みつつ、既述のように、前記自動検
査装置及び前記目視検査支援装置の一方又は双方から得
られる欠陥データに対応して作成されたプログラムに従
って行われる。
【0038】例えば、その動作の仕方を先に述べたよう
に構成した場合は、最初に修繕対象の工業製品、例え
ば、電子回路基板を特定するデータがヘッドマウントデ
ィスプレイに表示され、作業者がこれと面前の電子回路
基板と比較し、一致していることを確認した上で、リモ
コン装置等により、確認信号を入力すると、その入力を
受けて該電子回路基板の欠陥部位を表示した全体画像が
ヘッドマウントディスプレイに表示される。
【0039】作業者がこれを概観し確認した上で、更に
同様に、リモコン装置等によって確認信号を入力する
と、その入力を受けて欠陥部位の画像がヘッドマウント
ディスプレイに表示される。該欠陥部位の画像の周囲、
例えば、上下又は左右の側部に欠陥内容を示すデータが
表示される。欠陥内容を示すデータは、文字又は記号等
で表示される。例えば、半田付け不良、取り付け製品誤
り、A、B、1、2…等である。
【0040】従って、前記ヘッドマウントディスプレイ
が、透過型両眼視用のそれである場合には、所期の趣旨
通り、前記欠陥部位の画像と対象の電子回路基板の該当
部位とを同時に見ながら修繕作業を行ない得ることとな
る。
【0041】また前記ヘッドマウンドディスプレイが非
透過形単眼視用のそれである場合にも、該ヘッドマウン
トディスプレイで表示される前記欠陥部位の画像を一方
の目で見るとともに同時に他方の目で前記対象工業製品
の対応する部位を見ながらその修繕作業を行ない得るこ
ととなるものである。
【0042】それ故、前記ヘッドマウントディスプレイ
が、透過形両眼視用のそれ又は非透過形単眼視用のそれ
のいずれの場合でも、作業者は、その頭部を動かしたと
しても、欠陥部位から視線が大きく離れるようなことは
なく、正確かつスピーディに欠陥部位を見出し、その修
繕作業を行うことができる。基板の全体画像を表示した
場合はこれと対応する電子回路基板とが視覚的に重なり
合った状態となるので、欠陥部位を見間違えるとか、見
落とすようなおそれも殆どない。
【0043】前記ヘッドマウントディスプレイが、ウエ
アラブルパソコンを備えたそれであり、工業製品の欠陥
データがウエアラブルパソコンで無線受信され、該ウエ
アラブルパソコンを通じて該欠陥データがヘッドマウン
トディスプレイに送られるように構成されている場合
は、作業者は、修繕作業を行う際に、更にその動作の自
由度が増すこととなり、その一方で、前記のように、そ
のヘッドマウントディスプレイが、透過形両眼視用又は
非透過形単眼視用のいずれであっても、前記欠陥部位か
ら視線が大きく離れてしまうような虞がないので、それ
だけ作業能率を高めることができる。
【0044】なお一つの修繕対象の工業製品、例えば、
電子回路基板に複数の欠陥がある場合は、予め定めた、
若しくはリモコン装置等による選択に従い、順次、欠陥
部位の画像が表示される。複数の欠陥がある場合は、そ
の全ての表示が行われるまでは、次の修繕対象の工業製
品には移行できないようにしておくのが適当である。欠
陥部位の表示は、云うまでもなく、作業者がリモコン装
置等により、修繕が完了した旨の完了信号が入力される
まではその表示が継続される。
【0045】なおまたこのような修繕作業の途中で、作
業者は、そのように構成しておけば、その必要に応じ
て、既出の欠陥部位の画像を再度表示させるべく、後退
入力を行うこともできる。
【0046】こうして一つの修繕対象の工業製品の修繕
が終了すれば、次の工業製品について同様の動作が既述
のように行われる。
【0047】
【実施例】以下、本発明の実施例を図面を参照しながら
詳細に説明する。図1は実施例1の工業製品のリペア支
援装置の概略説明図、図2はヘッドマウントディスプレ
イの拡大斜視図、図3は実施例1の工業製品のリペア支
援装置をLANの一部に組み込んで使用する状態を示す
概要構成図、図4は修繕作業を支援するプロセスを示し
たフローチャート、図5はヘッドマウントディスプレイ
の表示部に表示された電子回路基板の全体画像と対応す
る電子回路基板とが重なって見えることを示した説明図
である。
【0048】<実施例1>この実施例1の工業製品のリ
ペア支援装置は、図1に示すように、制御手段であるパ
ーソナルコンピュータ(パソコン)1と、これによって
制御されるヘッドマウントディスプレイ2とで構成した
ものであり、電子回路基板の欠陥の修繕支援用に構成し
たものである。
【0049】前記パソコン1は、図1に示すように、本
体1aと、入力手段であるキーボード1b及び指示用リ
モコン装置1cと、CRTディスプレイ1dとで構成さ
れ、本体1aには、演算制御の中心部であるCPUに外
部記憶装置としてハードディスクが採用されている一般
的なものである。前記CRTディスプレイ1dは、全て
の作業をこのパソコン1で制御されるヘッドマウントデ
ィスプレイ2で行うものとし、これを採用しないことと
することもできる。
【0050】前記パソコン1は、自動検査装置及び目視
検査支援装置の取得した欠陥データを受け取って、これ
らを統合し、更に必要な変換を行うデータ作成機能、及
び作成された支援用欠陥データを使用して前記ヘッドマ
ウントディスプレイ2に修繕支援用の表示を行わせる支
援制御機能を備えたものであり、これらはそれぞれデー
タ作成プログラム並びに支援制御プログラムによって実
現する。これらのプログラムは、それぞれ、云うまでも
なく、前記外部記憶装置であるハードディスクに保持さ
れる。更に該パソコン1は、これらの機能を利用して、
自動検査装置及び目視検査支援装置からの欠陥データの
受入れ要求から、修繕支援動作の終了までの全体の動作
を制御する機能も当然備えており、これはメインプログ
ラムで実現される。このプログラムも前記外部記憶装置
であるハードディスクに保持される。
【0051】前記データ作成プログラムは、自動検査装
置及び目視検査支援装置の取得した電子回路基板の欠陥
データを以下のように処理するものである。なお自動検
査装置等の取得する欠陥データは、対象の電子回路基板
を特定するデータ、欠陥部位情報を含む電子回路基板の
全体の画像データ、個別の欠陥部位画像データ及び欠陥
内容データである。
【0052】該データ作成プログラムは、受け取った自
動検査装置及び目視検査支援装置の(1)欠陥データをま
ず同一の電子回路基板毎のデータに纏め、(2)各電子回
路基板毎の個別の欠陥部位データの内、自動検査装置及
び目視検査支援装置の共通部位のそれについては目視検
査支援装置のデータを採用し、共通部位のそれ以外につ
いて、いずれも採用し、(3)個別の欠陥部位の内容デー
タは、符号表示を、例えば、「半田付け不良」のよう
に、自然言語による表示に変換する処理を行うものであ
る。
【0053】このように処理された欠陥データは、パソ
コン1の外部記憶装置であるハードディスクに保存され
る。
【0054】前記支援制御プログラムは、以上のデータ
作成プログラムで処理された欠陥データを順次前記ヘッ
ドマウントディスプレイ2に送って表示させ、対応する
電子回路基板の修繕作業を支援すべく動作するものであ
るが、詳細は後述する。
【0055】前記ヘッドマウントディスプレイ2も、図
1及び図2に示すような市販の一般的なそれであり、頭
部に着用して用いるものである。眼前に表示部2aを備
え、それより上部に頭部に着用するための着用手段が構
成されているものである。この実施例1では透過型両眼
視用のそれを採用したものであり、それ故、上記表示部
2aはそこに表示される欠陥部位画像等を見ながらその
前方に位置させた対応する電子回路基板の該当部位を見
ることが可能となる。勿論、焦点をいずれかに合わせる
ことにより、該当する側をよりはっきりと見るようにす
ることも可能であるのは、云うまでもない。
【0056】この実施例1では、図3に示すように、こ
のように構成した工業製品のリペア支援装置を、自動検
査装置3、目視検査支援装置4及びサーバ5を接続した
LANに接続して使用する用例を説明する。
【0057】前記自動検査装置3は、電子回路基板の欠
陥を自動的に検査する既存の装置であり、対象の電子回
路基板をステージ上に載置し、上部からCCDカメラで
これを撮影し、得られた画像を基準画像と比較すること
により、欠陥部位とその内容を検出するものである。得
られる欠陥データは、検査対象の電子回路基板を特定す
るデータ、その電子回路基板の個々の欠陥部位を指摘す
る情報を含む全体画像データ、個々の欠陥部位の画像デ
ータ及び該欠陥部位の欠陥内容を示すデータであり、取
得したこれらの欠陥データは、LANを通じて前記サー
バ5に送信され、その記憶手段に書き込み保存されるよ
うになっている。
【0058】前記目視検査支援装置4は、先に述べたよ
うに、本件出願人の提案に係るもので、モニタ用ディス
プレイと、正面用カメラと斜め用カメラで構成したカメ
ラユニットと、検査対象の電子回路基板等を保持する保
持部とを備え、該カメラユニットは保持部の支持する検
査対象の電子回路基板等に対して、相対的に、X、Y及
びZ方向に自在に移動して、必要に応じて回転して適切
なカメラにより適切な方向から該電子回路基板等の要検
査部位を撮影し、モニタ用ディスプレイに拡大表示して
その検査を支援するものである。
【0059】この目視検査支援装置4を電子回路基板の
検査支援に使用して得られる欠陥データは、前記自動検
査装置3と同様に、検査対象の電子回路基板を特定する
データ、その電子回路基板の個々の欠陥部位を指摘する
情報を含む全体画像データ、個々の欠陥部位の画像デー
タ及び該欠陥部位の欠陥内容を示すデータであり、同様
にれらの欠陥データは、LANを通じて前記サーバ5に
送信され、その記憶手段に書き込み保存されるようにな
っている。
【0060】前記サーバ5は、既述のように、自動検査
装置3と目視検査支援装置4との取得したそれぞれの電
子回路基板の欠陥データを各々からLANを通じて受け
取り、これをその外部記憶装置であるハードディスクに
保存しておき、リペア支援装置のパソコン1からの要求
を受けると、その保持している電子回路の欠陥データを
該パソコン1に送信すべく動作するようになっているも
のである。
【0061】従ってこの実施例1の工業製品のリペア支
援装置を、このように、電子回路基板の検査を行う自動
検査装置3及び検査支援を行う目視検査支援装置4を配
したLANに接続して使用すると、それらで得られた欠
陥データをサーバ5を介して受け取り、その後の利用に
適切な状態にするため必要な処理を行い、これをそのヘ
ッドマウントディスプレイ2の表示部2aに表示して良
好にその修繕作業を支援するのに利用する。
【0062】リペア支援装置のパソコン1は、まずLA
Nを通じて前記サーバ5からその保持する欠陥データを
受け取る。これらは、先に述べたように、自動検査装置
3及び目視検査装置4がそれぞれ先に述べた自動検査の
過程又は目視検査支援過程で取得したそれを該サーバ5
に送信して保持させたものである。
【0063】該パソコン1は、上記のような欠陥データ
を受け取ると、前記データ作成プログラムに従って次の
ように処理する。即ち、既述のように、受け取った欠陥
データをまず同一の電子回路基板毎の欠陥データに纏め
る結合処理を行い、次いで、各電子回路基板毎の個別の
欠陥部位データの内、自動検査装置3及び目視検査支援
装置4の共通部位のデータの各々については該目視検査
支援装置4のデータのみを採用し、他方のデータは廃棄
する。共通しない部位のデータについてはいずれも採用
する。更に以上の個別の欠陥部位の欠陥内容データは符
号表示を、例えば、「半田付け不良」、「極性間違い」
のように、自然言語による表示に変換する処理を行う。
【0064】このように処理された欠陥データは、既述
のように、パソコン1の外部記憶装置であるハードディ
スクに保存される。
【0065】その後、この装置の最も重要な動作はであ
る電子回路基板の修繕作業に対する支援動作に移行す
る。この動作は、作業者が前記ヘッドマウントディスプ
レイ2をその頭部に着用し、必要な準備をした上で、指
示用リモコン装置1cを操作し、動作をスタートさせる
ことによって始まる。これを、以下に、図4に示すフロ
ーチャートを参照しながら説明する。
【0066】まず初めに、修繕対象の電子回路基板7を
特定するデータがこれを保持しているハードディスクか
ら読み込まれ(ステップS1)、これがパソコン1の本
体1aから前記ヘッドマウントディスプレイ2に入力さ
れ、その表示部2aで表示される(ステップS2)。作
業者は、この時点で、上記表示部2aに表示された基板
7を特定するデータを読み取り、これが修繕対象として
面前に用意されている基板7を示すデータであるかをチ
ェックし、間違いがなければ、前記指示用リモコン装置
1cを操作して、確認できた旨の信号の入力を行う。
【0067】なおこの実施例1で使用されているヘッド
マウントディスプレイ2は、前記したように、透過形両
眼視用のそれであり、これを着用したままで、その表示
部2aに表示されている内容を読み取り、かつその前方
の修繕対象の電子回路基板7をこれを透過して見ること
ができるのは云うまでもない。焦点をそれぞれに合わせ
ることにより、それぞれをより明確に見ることができる
のも先に述べた通りである。
【0068】パソコン1の本体1aは、上記確認信号の
入力があるまでは待機状態にあり、ヘッドマウントディ
スプレイ2の表示部2aは、上記基板7を特定するデー
タの表示を継続している。前記のように、作業者によっ
て確認信号が入力され、その入力が確認されると(ステ
ップS3)、当該の電子回路基板7の基板全体の画像デ
ータが読み込まれる(ステップS4)。この画像データ
には、既述のように、全欠陥部位を表示するデータも含
まれている。次いで、このように全欠陥部位を示すデー
タを含む基板全体の画像データは、前記ヘッドマウント
ディスプレイ2に入力され、その表示部2aで該全体画
像6が表示される。このとき、その中の全ての欠陥部位
6aは点滅表示される(ステップS5)。
【0069】こうして作業者は、これから修繕作業を行
うべき電子回路基板7の修繕すべき全欠陥部位6aを予
め確認することができる。先に述べたように、このディ
スプレイ2の表示部2aに表示された画像は、該ディス
プレイ2が透過形であるため、図5に示すように、これ
に表示される画像6と面前の電子回路基板7そのものと
を重ね合わせて見ることが可能である。それ故、欠陥部
位6aの確認がより正確かつスピーディに行えるもので
ある。
【0070】作業者は、以上のようにして表示部2aに
表示された基板7の全体画像6により予め欠陥部位6a
の確認を行った後、その次の段階へ進もうとする場合
は、前記指示用リモコン装置1cを操作して、表示され
た内容について確認できた旨の信号の入力を行う。
【0071】前記ヘッドマウントディスプレイ2の表示
部2aは、この入力が確認されるまでは、全体画像6の
表示が継続され、確認信号の入力待ちでの状態になって
いる。この確認信号の入力が確認されると(ステップS
6)、前記ハードディスクから対象の電子回路基板7の
個別の欠陥部位画像データの一つ及びその欠陥内容デー
タが読み込まれ(ステップS7)、これが前記ヘッドマ
ウントディスプレイ2に入力され、その表示部2aでこ
れが表示される(ステップS8)。
【0072】前記欠陥部位の画像は該表示部2aの中央
に表示され、その欠陥内容は、この実施例では右側部に
表示される。欠陥内容の表示は、先に述べたように、
「半田付け不良」のように人が直ちに理解できる自然言
語で行われる。
【0073】作業者は、このようなヘッドマウントディ
スプレイ2の表示部2aに表示される欠陥部位画像によ
って殆どその内容を正確に理解できる筈であるが、表示
部2aの側部に表示される内容表示によりより正確にそ
れが確認できることとなる。この段階で、作業者は、上
記の欠陥部位画像を見ながら、電子回路基板7の該当部
位の修繕作業に入ることができる。先に述べたように、
このヘッドマウントディスプレイ2は、透過形であるか
ら、以上のように、欠陥部位画像を見ながら面前の電子
回路基板の該当部位の修繕作業を行うことも問題なく行
える。もっとも修繕作業は、電子回路基板7の該当部位
にしっかりと焦点を合わせて行う方がこれを明確に見る
こととなって好ましい。
【0074】この段階に入ってから、欠陥部位が不明に
なった場合には、図4のフローチャートには煩雑になる
ので示していないが、いつでも自由に前記指示用リモコ
ン装置1cを操作して、表示を後退させることが可能で
あり、再度前段階の全体画像の表示をさせて欠陥部位を
更に確認することもできる。
【0075】いずれにしても欠陥部位の画像が眼前のヘ
ッドマウントディスプレイ2の表示部2aに表示されて
おり、頭部をどのように動かしても、これから目を離す
ことにならないので、これを一時的にも見失うようなこ
とがない。そのため全体として非常に能率的に修繕作業
を行うことができる。
【0076】このようにして該当欠陥部位の修繕が完了
した後は、前記指示用リモコン装置1cを用いて、その
旨、即ち、リペア確認の操作をすると(ステップS
9)、パソコン1の本体1aに於いては、同一の電子回
路基板7に更に他の欠陥がないか確認が行われ(ステッ
プS10)、もしあれば、次の欠陥部位画像データ及び
その欠陥内容データが前記ハードディスクから読み込ま
れ(ステップS11)、引き続いてこれがヘッドマウン
トディスプレイ2に入力され、その表示部2aでその画
像及び欠陥内容が表示され(ステップS8)ることとな
るという既述の動作が、新たな欠陥部位について繰り返
されることとなる。これは欠陥部位の数だけ繰り返され
る。
【0077】ステップS9で、他の欠陥がないと判断さ
れれば、更に欠陥のある他の電子回路基板7があるか否
かの判断が行われ(ステップS12)、あれば、次の電
子回路基板7を特定するデータが読み込まれ(ステップ
S13)、次いでステップS2に戻ってその基板を特定
するデータがヘッドマウントディスプレイ2に入力さ
れ、その表示部2aで表示され(ステップS2)、また
先に述べたプロセスが繰り返されることとなる。
【0078】ステップS12で、既に修繕すべき電子回
路基板7がないと判断されれば、このプロセスは終了す
る。即ち、こうして全ての要修繕電子回路基板7の修繕
が完了すれば修繕支援プロセスは終了する。
【0079】<実施例2>図6は実施例2の工業製品の
リペア支援装置の身体装着側の要素を示す概略説明図、
図7は実施例2の工業製品のリペア支援装置をLANの
一部に組み込んで使用する状態を示す概要構成図であ
る。
【0080】この実施例2の工業製品のリペア支援装置
は、図6及び図7に示すように、実施例1のヘッドマウ
ントディスプレイ2に代えてウエアラブルパソコン11
を備えたウエアラブル単眼ディスプレイ12を採用し、
かつLANに接続しているパソコン1とは無線通信手段
を介して接続した点及びこれに付随して変更される点の
みが実施例1とは異なるものであり、それ以外の点は同
一である。要するにこの実施例2の工業製品のリペア支
援装置は、パソコン1、ウエアラブルパソコン11、ウ
エアラブル単眼ディスプレイ12、無線LANアダプタ
8、これに対応する受信カード、及びウエアラブルパソ
コン11に付設する操作部11aを構成要素とするもの
である。
【0081】前記パソコン1には、図7に示すように、
無線LANアダプタ8を付設させ、かつ前記ウエアラブ
ルパソコン11にはこれに対応する受信カードを内蔵さ
せている。該ウエアラブルパソコン11には、操作部1
1aが付設してあり、作業者はこれを実施例1の指示用
リモコン装置1cに代えて使用し、装置に必要な指示を
与えうる。該ウエアラブルパソコン11は、この操作部
11aによって入力された作業者の要求を前記受信カー
ド及びLANアダプタ8を介して前記パソコン1に送信
し、その要求に対するパソコン1の応答を受け取り、内
容に応じてウエアラブル単眼ディスプレイ12にそれを
入力して表示させるようになっている。該ウエアラブル
パソコン11はこのような機能のみを担当し、その限り
で前記パソコン1の機能は、削減され、他方、上記の通
信機能が付与されている。
【0082】なおウエアラブルパソコン11の能力が充
分であれば、前記パソコン1の機能を全て該ウエアラブ
ルパソコン11が担当することとし、該ウエアラブルパ
ソコン11は、LANに接続した無線LANアダプタを
介してサーバ5と直接データのやり取りをするように構
成することも可能である。
【0083】前記ウエアラブル単眼ディスプレイ12
は、図6に示すような市販の一般的なそれであり、頭部
に着用して用いるものである。眼前に表示部12aを備
え、それより上部に頭部に着用するための着用手段が構
成されているものである。この実施例2のそれは非透過
型単眼視用のそれであり、それ故、その表示部12aに
表示される欠陥部位画像等は、これを一方の目で見なが
ら他方の目ではその前方に位置させた対応する電子回路
基板の該当部位を見ることが可能となるものである。
【0084】この実施例2でも、図7に示すように、こ
のように構成した工業製品のリペア支援装置を、自動検
査装置3、目視検査支援装置4及びサーバ5を接続した
LANに続して使用する。先に述べたように、パソコン
1とウエアラブルパソコン11とは無線LANアダプタ
8及び受信カードを介して接続している。
【0085】したがって作業者は、ウエアラブルパソコ
ン11を身体の適当な部位に着用し、かつウエアラブル
単眼ディスプレイ12をその頭部に着用した上で、前記
指示用リモコン装置1cと同様に、前記操作部11aを
操作すれば、実施例1の工業製品のリペア支援装置と同
様に用いることができるし、同様の効果を得ることがで
きる。
【0086】ウエアラブル単眼ディスプレイ12が非透
過型の単眼ディスプレイである点が実施例1のそれと異
なるが、既述のように、一方の目でその表示部12aの
画像等の表示を見ながら他方の目で面前の電子回路基板
7等を見るのは慣れれば容易なことであり、殆ど同様に
使用することができる。
【0087】またこの実施例2は、身体装着側のウエア
ラブル単眼ディスプレイ12等が無線LANアダプタ8
等の無線通信手段でパソコン1側と接続しているため、
身体の自由度が大きくなり、一層作業の能率を高めるこ
とができる。
【0088】
【発明の効果】従って、本発明の1、2及び3のリペア
支援装置によれば、作業者は視線を大きく移動させるこ
となしに、欠陥部位の画像と対象の工業製品の欠陥部位
とを見ることができるため、正確かつスピーディに欠陥
部位を見出し、かつ見出した欠陥部位を見失うことな
く、相互を比較対照しながら修繕作業を行うことができ
る。そのため非常に能率的に修繕作業を行うことができ
る。
【0089】本発明の4の工業製品のリペア支援装置に
よれば、作業者は工業製品の修繕作業をする際に行動の
自由度がいっそう増すので、より能率的に作業を行なう
ことができる。
【図面の簡単な説明】
【図1】実施例1の工業製品のリペア支援装置の概略説
明図。
【図2】ヘッドマウントディスプレイの拡大斜視図。
【図3】実施例1の工業製品のリペア支援装置をLAN
の一部に組み込んで使用する状態を示す概要構成図。
【図4】修繕作業を支援するプロセスを示したフローチ
ャート。
【図5】ヘッドマウントディスプレイの表示部に表示さ
れた電子回路基板の全体画像と対応する電子回路基板と
が重なって見えることを示した説明図。
【図6】実施例2の工業製品のリペア支援装置の身体装
着側の要素を示す概略説明図。
【図7】実施例2の工業製品のリペア支援装置をLAN
の一部に組み込んで使用する状態を示す概要構成図。
【符号の説明】
1 パーソナルコンピュータ(パソコン) 1a 本体 1b キーボード 1c 指示用リモコン装置 1d ディスプレイ 2 ヘッドマウントディスプレイ 2a 表示部 3 自動検査装置 4 目視検査支援装置 5 サーバ 6 画像 7 電子回路基板 8 無線LANアダプタ 11 ウエアラブルパソコン 11a 操作部 12 ウエアラブル単眼ディスプレイ 12a 表示部

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 対象工業製品の少なくとも欠陥部位の画
    像データを含む欠陥データを受け取り、該欠陥データを
    設定順序又は作業者の指示に従う順序で出力する制御手
    段と、表示された欠陥データと比較対照しながら対象工
    業製品を修繕し得るように、該欠陥データを受け取って
    欠陥部位の画像及びその他の欠陥データを表示するヘッ
    ドマウントディスプレイとで構成した工業製品のリペア
    支援装置。
  2. 【請求項2】 前記ヘッドマウントディスプレイとして
    透過型両眼視用のそれを採用し、該ヘッドマウントディ
    スプレイで表示される前記欠陥部位の画像と前記対象工
    業製品の該当部位とを同時に又は順次比較対照しながら
    修繕作業を行ない得るように構成した請求項1の工業製
    品のリペア支援装置。
  3. 【請求項3】 前記ヘッドマウンドディスプレイとして
    非透過形単眼視用のそれを採用し、該ヘッドマウントデ
    ィスプレイで表示される前記欠陥部位の画像を一方の目
    で、同時に他方の目で前記対象工業製品を、それぞれ見
    て比較対照しながらその修繕作業を行ない得るように構
    成した請求項1の工業製品のリペア支援装置。
  4. 【請求項4】 前記ヘッドマウントディスプレーとし
    て、ウエアラブルパソコンを備えたそれを採用し、前記
    制御手段から対象工業製品の欠陥データを該ウエアラブ
    ルパソコンに無線送信し、該ウエアラブルパソコンを通
    じて該欠陥データをヘッドマウントディスプレイに送る
    ように構成した請求項1、2又は3の工業製品のリペア
    支援装置。
JP2002146700A 2002-05-21 2002-05-21 工業製品のリペア支援装置 Pending JP2003338700A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002146700A JP2003338700A (ja) 2002-05-21 2002-05-21 工業製品のリペア支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002146700A JP2003338700A (ja) 2002-05-21 2002-05-21 工業製品のリペア支援装置

Publications (1)

Publication Number Publication Date
JP2003338700A true JP2003338700A (ja) 2003-11-28

Family

ID=29705601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002146700A Pending JP2003338700A (ja) 2002-05-21 2002-05-21 工業製品のリペア支援装置

Country Status (1)

Country Link
JP (1) JP2003338700A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009150866A (ja) * 2007-11-29 2009-07-09 Toshiba Corp 外観検査装置、外観検査システム及び外観検査方法
JP2009276124A (ja) * 2008-05-13 2009-11-26 Pfu Ltd 図面情報管理装置および照合検査方法
WO2017033561A1 (ja) * 2015-08-21 2017-03-02 新日鉄住金ソリューションズ株式会社 表示システム、表示装置、表示方法及びプログラム
JP2017044496A (ja) * 2015-08-24 2017-03-02 大豊精機株式会社 溶接検査方法
KR101855778B1 (ko) * 2016-12-06 2018-05-09 현대자동차 주식회사 가상 마킹을 이용한 차체 결함 제거 방법, 및 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009150866A (ja) * 2007-11-29 2009-07-09 Toshiba Corp 外観検査装置、外観検査システム及び外観検査方法
JP2009276124A (ja) * 2008-05-13 2009-11-26 Pfu Ltd 図面情報管理装置および照合検査方法
WO2017033561A1 (ja) * 2015-08-21 2017-03-02 新日鉄住金ソリューションズ株式会社 表示システム、表示装置、表示方法及びプログラム
US10539509B2 (en) 2015-08-21 2020-01-21 Ns Solutions Corporation Display system, display device, display method, and non-transitory computer readable recording medium
JP2017044496A (ja) * 2015-08-24 2017-03-02 大豊精機株式会社 溶接検査方法
KR101855778B1 (ko) * 2016-12-06 2018-05-09 현대자동차 주식회사 가상 마킹을 이용한 차체 결함 제거 방법, 및 시스템
US10192367B2 (en) 2016-12-06 2019-01-29 Hyundai Motor Company Vehicle body flaw elimination method using virtual mark and system thereof

Similar Documents

Publication Publication Date Title
JP4896621B2 (ja) 視野計
JP2008003781A (ja) 作業監視システム
KR20070053759A (ko) X 선 투시 장치
JP2014002320A (ja) 内視鏡装置、内視鏡画像記録用フォルダ生成方法及びプログラム
WO2018158812A1 (ja) 点検支援装置、点検支援方法および記録媒体
JP2019056764A (ja) 内視鏡装置、内視鏡システム及び検査方法
CN111035458A (zh) 一种手术综合视景智能辅助系统及图像处理方法
KR100751160B1 (ko) 의료용 화상 기록 시스템
JP2009226170A (ja) 医療用画像処理装置
JP2005338551A (ja) 工業用内視鏡装置
JP5307407B2 (ja) 内視鏡装置およびプログラム
JP2003338700A (ja) 工業製品のリペア支援装置
WO2020079780A1 (ja) 航空機検査支援装置および航空機検査支援方法
JP6635680B2 (ja) 内視鏡装置及び内視鏡装置の設定方法
JP3381462B2 (ja) 実装基板の検査装置
TWI307407B (ja)
JP4464641B2 (ja) 工業用内視鏡システム
JP6242075B2 (ja) 内視鏡装置及び内視鏡画像記録用フォルダの表示方法
JP4011888B2 (ja) 計測内視鏡装置
JP5101089B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
WO2018158818A1 (ja) 点検支援装置、点検支援方法および記録媒体
EP1847960B1 (en) Inspection apparatus for inspecting articles
WO2018225326A1 (ja) 医療情報処理システム
JP6990482B1 (ja) 検査システム、方法及びプログラム
JPH024312A (ja) 眼鏡用画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080617