JP2002162466A - 監視方法 - Google Patents

監視方法

Info

Publication number
JP2002162466A
JP2002162466A JP2000360571A JP2000360571A JP2002162466A JP 2002162466 A JP2002162466 A JP 2002162466A JP 2000360571 A JP2000360571 A JP 2000360571A JP 2000360571 A JP2000360571 A JP 2000360571A JP 2002162466 A JP2002162466 A JP 2002162466A
Authority
JP
Japan
Prior art keywords
laser radar
target
monitoring
monitor device
turning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000360571A
Other languages
English (en)
Inventor
Takeshi Ogata
武 緒方
Yukinori Komori
行則 小森
Tomoyoshi Baba
智義 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2000360571A priority Critical patent/JP2002162466A/ja
Publication of JP2002162466A publication Critical patent/JP2002162466A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

(57)【要約】 【課題】 船舶などにおける障害物監視には、電波レー
ダ、赤外線カメラによる監視や双眼鏡などによる目視な
どが行われているが、電波レーダは遠距離、大型の物体
には向くが、小型物体や木製やプラスチックの船舶は認
識できず、赤外線カメラはパッシブセンサのため、対象
物までの距離の認識ができない。また、雨や霧の場合は
視程以下のものしか観測できず、また温度差検知のた
め、夜間に長時間海面上に存在した物体はこの温度差が
小さくなって検知が困難になり、障害物の発見ができな
くなる。また双眼鏡などの目視観測も、雨や霧の場合は
視程以下のものしか観測できず、当然のことながら夜間
は全く観測ができなくなる。 【解決手段】 本発明においてはレーザレーダを用い、
レーザレーダ装置の監視結果を表示するモニタ装置を双
眼鏡の監視と同様目標の方に向け、合わせてレーザレー
ダ装置をこのモニタ装置と同じ回転角、仰角となるよう
制御し、同一方向を向いたときにレーザレーダの旋回を
ロックして監視距離を変化させ、目標物が認識されたら
今度はその目標物を追尾するよう制御する

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、船舶などにおける
障害物などの監視を、レーザレーダで行うようにした監
視方法に関するものである。
【0002】
【従来の技術】船舶においては、他船や障害物の監視に
電波レーダが使われ、また、水中、水底などの障害物探
知のため、ドップラーソナーなどが使われている。ま
た、電波レーダは遠距離に有る物体や大型の物体は監視
可能だが、小型物体や木製やプラスチックの船舶は認識
できないため、赤外線カメラによる監視や双眼鏡などに
よる目視などが併用されて監視が行われている。
【0003】
【発明が解決しようとする課題】しかしながら赤外線カ
メラはパッシブセンサのため、対象物までの距離の認識
ができず、また、雨や霧の場合は視程以下のものしか観
測できない。また温度差検知のため、夜間に長時間海面
上に存在した物体はこの温度差が小さくなって検知が困
難になり、障害物の発見ができなくなる。また双眼鏡な
どの目視観測も、雨や霧の場合は視程以下のものしか観
測できず、当然のことながら夜間は全く観測ができな
い。
【0004】そのため本発明においては、レーザレーダ
を用い、双眼鏡を扱うと全く同じようにして雨や霧や夜
間でも観測ができる監視方法を提供し、船舶などの航行
の安全が確保できるようにすることが課題である。
【0005】
【課題を解決するための手段】そのため本発明において
は、レーザレーダ装置の監視結果を表示するモニタ装置
を双眼鏡の監視と同様目標の方に向け、合わせてレーザ
レーダ装置をこのモニタ装置と同じ回転角、仰角となる
よう制御し、同一方向を向いたときにレーザレーダの旋
回をロックして監視距離を変化させて目標対象物を監視
し、目標物が認識されたら今度はその目標物を追尾する
よう制御して、レーザレーダに双眼鏡と同じ機能を持た
せたものである。
【0006】そのため本発明においては、請求項1に記
載したように、レーザレーダと、該レーザレーダの監視
結果を表示するモニタ装置と、前記レーザレーダを仰角
の変更を含んで旋回させる旋回用架台とを有し、前記モ
ニタ装置を目標方向に向けたとき、該モニタ装置の向き
を検出して前記レーザレーダの向きがモニタ装置の向き
と一致するよう前記旋回用架台を制御し、前記モニタ装
置とレーザレーダの向きが一致したとき、レーザレーダ
の旋回を一時的にロックした後レーザレーダの走査距離
を変更して目標を探索し、認識した目標が前記表示画面
上の中心となるよう前記旋回用架台とレーザレーダを制
御して追尾することを特徴とする。
【0007】このようにすることにより、モニタ装置を
目標方向に向けることでレーザレーダを目標対象物の方
向に向けることができ、双眼鏡で目標対象物を観察する
のと全く同様にモニタ画面上で目標対象物を監視するこ
とが可能となる。しかも、双眼鏡の場合と異なって雨や
霧や夜間でも観測ができ、船舶などの航行の安全を確保
できる。
【0008】そしてレーザレーダのロックは、請求項2
に記載したように、前記レーザレーダの旋回のロック
を、モニタ装置を監視したオペレータがおこなうことを
特徴とする。
【0009】このように、目標対象物を監視するオペレ
ータが介在してレーザレーダの旋回のロックを行うこと
により、モニタ装置を確実に目標対象物に向けることが
でき、より確実な監視が可能となる。
【0010】
【発明の実施の形態】以下、図面に基づいて本発明の実
施の形態を例示的に詳しく説明する。但し、この実施の
形態に記載されている構成部品の寸法、材質、形状、そ
の相対配置などは、特に特定的な記載がない限りはこの
発明の範囲をそれのみに限定する趣旨ではなく、単なる
説明例に過ぎない。
【0011】図1は本発明の実施の形態を示した装置の
概略ブロック図であり、図2は本発明を用いた物体監視
方法のフロー図、図3はレーザレーダの原理の説明図、
図4はレーザレーダの構成の概略ブロック図、図5は目
標追尾の方法の説明図である。
【0012】図1において、1はレーザレーダのモニタ
装置、2はレーザレーダ、3はレーザレーダを仰角の変
更を含んで旋回させる旋回用架台、4は全体の制御回
路、5は旋回用架台の旋回制御回路、6はレーザレーダ
の旋回を一時的にロックするロックオンスイッチ、7は
レーザレーダで目標対象物を追尾する指示を行う自動追
尾スイッチ、8はその自動追尾を制御する自動追尾制御
回路である。
【0013】図4において、40はレーザレーダの制御
ユニット、41はレーザレーダの監視結果を録画するた
めのデジタルビデオデッキ、42は図1に1で示したモ
ニタ装置で、タッチパネル式になっている。43はモニ
タ装置上に映し出された目標物を指示するためのジョイ
スティックなどの指示装置、44はレーザレーダの送受
光部で、45は780〜800nmの波長帯の不可視極
短パルスレーザ光を発する半導体レーザなどで構成した
レーザヘッド、46は送光光学系、47は受光用のズー
ムレンズ、48は反射してきたレーザ光を受光するため
の高速ゲート付きICCD(イメージインテンシファイ
アCCD)カメラなどの高感度、底残像カメラヘッド、
49は図1に3で示したレーザレーダの旋回台部、50
は旋回台49の旋回量などをセットするプリセットコン
トローラ、51はカメラゲインを変化させたり、画像の
白・黒を反転させたりする画像処理ユニット、52はレ
ーザの電源、53はレーザ光の送光と受光の同期をとる
ための同期回路、54はICCDカメラヘッド48のコ
ントローラ、55は、一定距離で反射してきたレーザ光
のみを受光できるようICCDカメラヘッド48に設け
た高速シャッターなどのゲートをコントロールする高速
ゲート装置コントローラ、56はレーザレーダ制御ユニ
ット40から送られてきた制御信号を各ユニットの制御
用に変換する制御信号変換ユニットである。
【0014】最初に図3を用いてレーザレーダの原理に
ついて説明すると、図3において30はレーザ、31は
カメラ、32はコントローラ、33はシャッター、34
は対象物35の前に存在する雨・霧等の浮遊粒子であ
る。まず図3(A)のように、レーザ光がレーザ30か
ら目標に向けて送光されたとき、カメラ31のシャッタ
ー33は閉じている。そのため、対象物35の前に存在
する雨・霧等の浮遊粒子34で反射された光はシャッタ
ー33に遮られ、カメラ31には到達しない。そして図
3(B)のように光が対象物35に達して反射され、
(C)のようにその反射光がカメラ31に達した瞬間だ
けシャッター33を開くことにより、特定の距離にある
対象物35からの反射光のみを受光することができる。
【0015】そのためレーザレーダでは、対象物までの
距離はこのシャッターを開けるタイミングの調節で設定
することができ、また高感度のICCDカメラを使うこ
とで、昼夜を問わず、さらに雨・霧といった悪天候や高
波の時でも、これらの影響を大幅に削減して対象物のみ
を観測することが可能となる。また、前記したように非
鉄製の対象、例えば木造やプラスチック製の小型船舶な
どや海面浮遊物も形状まではっきりと視認することがで
きる。
【0016】本発明はこのようなレーザレーダを用い、
前記したように双眼鏡を扱うと全く同じようにして雨や
霧や夜間でも観測ができる監視方法を提供するもので、
レーザレーダ装置の監視結果を表示するモニタ装置1を
双眼鏡の監視と同様目標の方に向け、合わせてレーザレ
ーダ装置2をこのモニタ装置と同じ回転角、仰角となる
よう制御し、同一方向を向いたときにレーザレーダの旋
回をロックして監視距離を変化させ、目標物が認識され
たら今度はその目標物を追尾するよう制御するようにし
ている。
【0017】このような構成のレーザレーダ装置におい
て、今、海上の浮遊物などの目標対象物が発見される
と、まずモニタ装置1を発見した目標対象物の方に向け
る。するとステップ20で制御回路4により、このモニ
タ装置1の回転角θ1、仰角ψ1が検出され、それがス
テップ21で自動追尾制御回路8に送られて、このモニ
タ装置1の回転角θ1、仰角ψ1に対応したレーザレー
ダ装置2の回転角θ2、仰角ψ2が計算される。そして
この回転角θ2、仰角ψ2の信号が旋回制御回路5に送
られ、レーザレーダ2の向きがモニタ装置1の向きと一
致するよう旋回用架台3が駆動され、ステップ22でロ
ックオンスイッチ6が押下されたことが検出されるまで
このサイクルが続けられる。
【0018】こうしてレーザレーダ2がモニタ装置1と
同じ方向に向けられ、オペレータが図1のロックオンス
イッチ6を押下すると、ステップ22でそれが検出さ
れ、制御回路4から信号が自動追尾制御回路8に送られ
てレーザレーダ2の旋回がロックされる。そして図4に
おけるレーザレーダの制御ユニット40が制御信号変換
ユニット56に信号を送ってレーザレーダを動作させ、
モニタ装置1にレーザレーダからの映像を表示させる。
【0019】こうしてレーザレーダ装置2が動作を開始
すると、次のステップ23における追尾目標点の認識を
行うため、オペレータは図4におけるタッチパネル式モ
ニタ42で対象物までの距離を指示する。するとレーザ
レーダ制御ユニット40は、この信号を制御信号変換ユ
ニット56に送り、同期回路53、ICCDカメラコン
トローラ54、高速ゲート装置コントローラ55に指示
して、指定された距離でレーザレーダの走査が行われる
ようにする。
【0020】そして、レーザヘッド45から発せられた
光が送光光学系46を通して対象物の方向に送光される
と、前記図3で説明したように、高速ゲート付きICC
Dカメラなどのカメラヘッド48の高速ゲートが、高速
ゲート装置コントローラ55で、指定された距離の物体
から反射した光のみがカメラヘッド48に到達するよう
なタイミングで開閉される。
【0021】そのため、目標とする対象物からの反射光
がカメラヘッド48に達するから、その信号を画像処理
ユニット51で処理し、制御信号変換ユニット56を通
してレーザレーダ制御ユニット40に送り、モニタ4
2、すなわち図1におけるモニタ装置1に表示する。こ
のとき、もし目標対象物が表示されていない場合は、対
象物までの距離を変更し、同様の動作を繰り返す。
【0022】こうして追尾目標がモニタ上に捉えられる
と、今度はジョイスティック43を使い、追尾目標の中
心を指示する。するとステップ24で、このモニタ42
上の追尾目標点の中心とモニタ中心とのズレΔX、ΔY
が検出され、その値が自動追尾制御装置8に送られる。
そしてステップ25で、この追尾目標がモニタ装置1の
中心に表示するためのレーザレーダ装置2の回転角θ
2、仰角ψ2が計算され、それが旋回制御回路5に送ら
れてレーザレーダ装置2が旋回され、追尾目標がモニタ
装置1の中心に表示される。
【0023】そしてここで、図1における自動追尾スイ
ッチ7が押されると、テンプレートマッチングなどの手
法を使って追尾目標の移動量が算出され、その移動量を
上記したレーザレーダ装置2の回転角θ2、仰角ψ2と
して計算し、旋回制御装置5によって追尾目標を自動追
尾する。
【0024】この自動追尾におけるテンプレートマッチ
ングは、例えば図5の(A)に示したように中心に追尾
目標60が表示されると、その追尾目標60を含む領域
61をテンプレートとしてまず記憶する。そしてこの追
尾目標が図5(B)のように60’の位置まで移動した
場合、先に記憶したテンプレートと各画素の明るさの差
をとってその絶対値を全て加算し、同じ事を微少距離ず
らしながら行って和が最小になるずらし量を最小二乗方
などで求め、このずらし量の位置を追尾目標60の移動
量とするものであり、こうして求めた移動量を前記した
ようにレーザレーダ装置2の回転角θ2、仰角ψ2とし
て計算して旋回制御回路5に送り、追尾目標を自動追尾
する。
【0025】このようにすることにより、近距離の障害
物やプラスチック船など、電波レーダで観測できないも
のも観測が可能となり、また前記したように、レーザレ
ーダはたとえ夜であっても、また雨や霧、及び波などで
見えにくい対象物があってもそれに影響されることなく
対象物からの反射光のみを観測することができ、しかも
双眼鏡で観測するのと同様にモニタ装置1が目標対象物
の方を向いてレーザレーダ装置2が追尾して行くから、
船舶の安全航行に大きく貢献することができる。
【0026】またレーザレーダの光源に使用するレーザ
は、前記したように不可視光の波長帯の光を使うため、
相手に気づかれずに観測するなどの用途にも使用可能で
ある。
【0027】
【発明の効果】以上記載の如く本発明によれば、レーザ
レーダ装置の監視結果を表示するモニタ装置を双眼鏡の
監視と同様目標の方に向け、合わせてレーザレーダ装置
をこのモニタ装置と同じ回転角、仰角となるよう制御す
るようにしたから、双眼鏡で目標対象物を観察するのと
全く同様にモニタ画面上で目標対象物を監視することが
可能となる。しかも、双眼鏡の場合と異なって雨や霧や
夜間でも観測ができ、船舶などの航行の安全を確保で
き、大きな効果をもたらすものである。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係る要部構成を示す概
略ブロック図である。
【図2】 本発明を用いた物体監視方法のフロー図であ
る。
【図3】 レーザレーダの原理の説明図である。
【図4】 レーザレーダ装置の概略ブロック図である。
【図5】 目標追尾の方法の説明図である。
【符号の説明】
1 モニタ装置 2 レーザレーダ 3 旋回用架台 4 制御回路 5 旋回制御回路 6 ロックオンスイッチ 7 自動追尾スイッチ 8 自動追尾制御回路
フロントページの続き (72)発明者 馬場 智義 長崎市深堀町五丁目717番1号 三菱重工 業株式会社長崎研究所内 Fターム(参考) 2F112 AD01 BA03 CA20 DA13 DA15 DA32 EA05 FA03 FA12 FA21 FA45 5J084 AA01 AA05 AB02 AB08 AC03 AD01 AD05 BA03 BA34 BA50 BB03 BB35 CA03 CA20 CA34 CA55 CA67 CA69 CA70 DA01 DA04 DA07 EA07 EA21 EA23 EA29

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 レーザレーダと、該レーザレーダの監視
    結果を表示するモニタ装置と、前記レーザレーダを仰角
    の変更を含んで旋回させる旋回用架台とを有し、前記モ
    ニタ装置を目標方向に向けたとき、該モニタ装置の向き
    を検出して前記レーザレーダの向きがモニタ装置の向き
    と一致するよう前記旋回用架台を制御し、前記モニタ装
    置とレーザレーダの向きが一致したとき、レーザレーダ
    の旋回を一時的にロックした後レーザレーダの走査距離
    を変更して目標を探索し、認識した目標が前記表示画面
    上の中心となるよう前記旋回用架台とレーザレーダを制
    御して追尾することを特徴とする監視方法。
  2. 【請求項2】 前記レーザレーダの旋回のロックを、モ
    ニタ装置を監視したオペレータがおこなうことを特徴と
    する請求項1に記載した監視方法。
JP2000360571A 2000-11-28 2000-11-28 監視方法 Pending JP2002162466A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000360571A JP2002162466A (ja) 2000-11-28 2000-11-28 監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000360571A JP2002162466A (ja) 2000-11-28 2000-11-28 監視方法

Publications (1)

Publication Number Publication Date
JP2002162466A true JP2002162466A (ja) 2002-06-07

Family

ID=18832148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000360571A Pending JP2002162466A (ja) 2000-11-28 2000-11-28 監視方法

Country Status (1)

Country Link
JP (1) JP2002162466A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005147678A (ja) * 2003-11-11 2005-06-09 Mitsubishi Heavy Ind Ltd 監視装置
CN100538723C (zh) * 2007-10-26 2009-09-09 浙江工业大学 多视觉传感器信息融合的内河船舶自动识别系统
CN107645648A (zh) * 2017-09-27 2018-01-30 苏州宝时洁电器有限公司 一种监控装置及其监控方法
JP2019064402A (ja) * 2017-09-29 2019-04-25 東亜建設工業株式会社 船舶航行用監視システム
CN111951305A (zh) * 2020-08-20 2020-11-17 重庆邮电大学 一种基于视觉和激光雷达的目标检测和运动状态估计方法
JP2022172185A (ja) * 2019-08-06 2022-11-15 直之 村上 コンピユーターの目(pceye)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57172266A (en) * 1981-04-17 1982-10-23 Auto Process:Kk Distance measuring device
JPS61246685A (ja) * 1985-04-25 1986-11-01 Ishikawajima Harima Heavy Ind Co Ltd 衝突物捕捉映像装置
JPH01109450U (ja) * 1988-01-19 1989-07-24
JPH0356923A (ja) * 1989-07-26 1991-03-12 Nec Corp 立体視装置
JPH06138233A (ja) * 1992-10-30 1994-05-20 Mitsubishi Electric Corp 追尾式距離検出装置
JPH0763557A (ja) * 1993-08-30 1995-03-10 Fujita Corp 追尾装置の視準方法及び装置
JPH10162119A (ja) * 1996-11-29 1998-06-19 Mitsubishi Heavy Ind Ltd 水中物体認識装置
JPH11311671A (ja) * 1998-04-28 1999-11-09 Mitsubishi Heavy Ind Ltd 航行障害物探知操船装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57172266A (en) * 1981-04-17 1982-10-23 Auto Process:Kk Distance measuring device
JPS61246685A (ja) * 1985-04-25 1986-11-01 Ishikawajima Harima Heavy Ind Co Ltd 衝突物捕捉映像装置
JPH01109450U (ja) * 1988-01-19 1989-07-24
JPH0356923A (ja) * 1989-07-26 1991-03-12 Nec Corp 立体視装置
JPH06138233A (ja) * 1992-10-30 1994-05-20 Mitsubishi Electric Corp 追尾式距離検出装置
JPH0763557A (ja) * 1993-08-30 1995-03-10 Fujita Corp 追尾装置の視準方法及び装置
JPH10162119A (ja) * 1996-11-29 1998-06-19 Mitsubishi Heavy Ind Ltd 水中物体認識装置
JPH11311671A (ja) * 1998-04-28 1999-11-09 Mitsubishi Heavy Ind Ltd 航行障害物探知操船装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005147678A (ja) * 2003-11-11 2005-06-09 Mitsubishi Heavy Ind Ltd 監視装置
CN100538723C (zh) * 2007-10-26 2009-09-09 浙江工业大学 多视觉传感器信息融合的内河船舶自动识别系统
CN107645648A (zh) * 2017-09-27 2018-01-30 苏州宝时洁电器有限公司 一种监控装置及其监控方法
JP2019064402A (ja) * 2017-09-29 2019-04-25 東亜建設工業株式会社 船舶航行用監視システム
JP2022172185A (ja) * 2019-08-06 2022-11-15 直之 村上 コンピユーターの目(pceye)
JP7282310B2 (ja) 2019-08-06 2023-05-29 直之 村上 コンピユーターの目(pceye)
CN111951305A (zh) * 2020-08-20 2020-11-17 重庆邮电大学 一种基于视觉和激光雷达的目标检测和运动状态估计方法
CN111951305B (zh) * 2020-08-20 2022-08-23 重庆邮电大学 一种基于视觉和激光雷达的目标检测和运动状态估计方法

Similar Documents

Publication Publication Date Title
CA2833167C (en) Infrared camera systems and methods
JP2003276677A (ja) 船舶の離着桟支援装置
KR102001594B1 (ko) 비가시공간 투시 레이더-카메라 융합형 재난 추적 시스템 및 방법
US5231480A (en) Airborne imaging lidar system employing towed receiver or transmitter
KR101508290B1 (ko) 주야간 감시장치 및 그를 이용한 수상 감시시스템
CN201506458U (zh) 一种全天候高速船用夜视设备
CN105828039A (zh) 港口安全监控及水面溢油监测系统
JP2002162466A (ja) 監視方法
JP4301051B2 (ja) 港湾監視システム
JP2002162467A (ja) 監視方法
JP2004028601A (ja) 監視用レーザレーダシステム及び撮像方法
JP2005090846A (ja) 射撃システム
JP4008179B2 (ja) 水上浮遊物の探知・追尾方法及びその装置
JP3848817B2 (ja) 航行障害物探知装置
JP3810729B2 (ja) 海上探索システム、及び、海上探索方法
KR20160017400A (ko) 레이더와 레이저를 이용한 정밀촬영장치
JP6660192B2 (ja) 飛行物体監視システム
US11747481B2 (en) High performance three dimensional light detection and ranging (LIDAR) system for drone obstacle avoidance
JP2006250626A (ja) 監視装置
CN206891590U (zh) 一种光学反狙击系统
KR20210100983A (ko) 관심영역에 존재하는 추적대상을 추적하는 객체 추적 시스템 및 방법
JP2003337172A (ja) レーザレーダ監視システム
CN211653388U (zh) 一种基于全景成像与长焦观察的船用复合搜索取证装置
Novick Market Survey of Airborne Small Unmanned Aircraft System Sensors February 2020
JPS62153786A (ja) レ−ダ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100205

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100604