JP2006053698A - 撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラム - Google Patents
撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2006053698A JP2006053698A JP2004233909A JP2004233909A JP2006053698A JP 2006053698 A JP2006053698 A JP 2006053698A JP 2004233909 A JP2004233909 A JP 2004233909A JP 2004233909 A JP2004233909 A JP 2004233909A JP 2006053698 A JP2006053698 A JP 2006053698A
- Authority
- JP
- Japan
- Prior art keywords
- image
- modulated light
- light
- captured image
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 オブジェクト抽出装置1は、発光部8から変調光10を発し、オブジェクト11による反射光12を変調光デコード部2で復調(デコード)し、ここで正常にデコードされるか否かに基づいてオブジェクトの距離を知る点に特徴がある。従来技術のように光の差分で距離を知る方法とは異なり、変調光を利用していることから、背景に明るさの変化が発生した場合でも誤認識することがない、ロバストなシステムを提供することができる。
【選択図】 図1
Description
図1には、本発明の第1の実施形態に係るオブジェクト抽出装置の機能構成を模式的に示している。図示のオブジェクト抽出装置1は、変調光デコード部2と、タイミング制御部7と、発光部8と、レンズ9を備えている。さらに、変調光デコード部2は、撮像部3と、バッファ・メモリ5と、演算部6で構成される。
図7には、本発明の第2の実施形態に係るオブジェクト抽出装置の機能構成を示している。図示のオブジェクト抽出装置1は、変調光デコード部2と、タイミング制御部7と、発光部8と、レンズ9で構成される。さらに、変調光デコード部2は、撮像部3と、フレーム間比較部4と、バッファ・メモリ5と、演算部17で構成される。本実施形態と上述の第1の実施形態との相違は、フレーム間比較部4が存在する点と、演算部17におけるデータの取り扱いの点にある。
ここでは、上述した手段を用いたオブジェクト切抜きのための情報と、通常画像の情報とにより切り抜かれたオブジェクトのみを表示装置により表示させるという実施形態について説明する。
ところで、上述した第3の実施形態では抽出されたオブジェクトを簡易に表示できる一方、撮像部からの出力データには環境光に加え変調光が載っている。このため、通常画像データを表示する場合は、変調光が照射された特定のオブジェクトについて、周囲に比べ明るくなったり、変調光によってフリッカが観察されたりするといった問題が見られる場合がある。本実施形態では、抽出されたオブジェクトが、オブジェクト抽出のために照射された変調光を浴びることにより生ずるこれらの問題を解決するためのものである。
第4の実施形態では、変調光成分の影響を受けないオブジェクトの画像を得るために、環境光成分のみがオブジェクトに照射されている通常画像の取得と、オブジェクト抽出のための画像取得とを時分割により行なう。後者のオブジェクト抽出を行なうための画像取得では、環境光成分にさらに変調光成分も載った光によりオブジェクトが照射されている画像の取得を行なう。このように時分割でオブジェクトの撮影を行なう都合上、オブジェクトの画像フレーム内での位置に空間的なずれが発生しうる(前述)。
これまでは、1種類の変調コードのパターンからなる変調光を用いてオブジェクトを照射し、その撮像画像を画素毎に正しくデコードされたか否かという2値によりオブジェクトの抽出を行なう各実施形態について説明してきた。これに対し、本発明の第6の実施形態では、変調コードの異なる複数の種類の変調光を用いてオブジェクトを照射するようにした。そして、その撮像画像を画素毎にデコードを試み、正しくデコードされている場合は、さらに、いずれのコード・パターンがデコードされているのかを検知することで、いずれの変調光に対する反射光であるかを特定する。この場合、各変調光により抽出されたオブジェクト毎に個別の画像処理を適用することができるので、さらに使い勝手の良いシステムを提供することができる。以下では、変調光を用いたオブジェクト抽出の応用として、2種類以上の変調コードのパターンからなる変調光を用いた実施形態について説明する。
上述した第6の実施形態では、光強度を異ならせた複数の変調光を用いた。これに対し、本実施形態では、発光角度が異なる複数の変調光を用いている。
2…変調光デコード部
3…撮像部
4…フレーム間比較部
5…バッファ・メモリ
6…演算部
7…タイミング制御部
8…発光部
9…レンズ
17…演算部
Claims (51)
- 任意にコーディングされた変調光を照射する照射部と、
前記変調光に対する特定のオブジェクトからの反射光を含んだ画像を撮像する撮像部と、
前記変調光のデコーディングに基づいて撮像画像を処理する演算部と、
を具備することを撮像装置。 - 前記演算部は、撮像画像に対し変調光のデコーディングを行ない、正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出する、
ことを特徴とする請求項1に記載の撮像装置。 - 前記撮像部は、2次元的に配列された撮像素子で構成され、
前記演算部は、撮像素子毎に前記変調光のデコーディングを試み、正しくデコードされたか否かに基づいて前記変調光が照射された部分と照射されていない部分に分離する、
ことを特徴とする請求項1に記載の撮像装置。 - 前記照射部は、所定の発光周波数に従って変調光をコーディングし、
前記撮像部は、前記発光周波数と同等以上のフレームレートで画像を撮像し、
前記演算部は、前記撮像部からの出力信号を基に、前記特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする、
ことを特徴とする請求項1に記載の撮像装置。 - 前記照射部において変調光をコーディングし、前記演算部において撮像画像から前記変調光のデコーディングを行なうときに、前記撮像部はフレームレートを切り替える、
ことを特徴とする請求項4に記載の撮像装置。 - 前記撮像部が通常の画像撮像を行なう通常画像撮像モードと、前記撮像部が前記演算部において前記変調光のデコーディングを行なうための画像撮像を行なうデコード・モードを備える、
ことを特徴とする請求項1に記載の撮像装置。 - 前記通常画像撮像モードでは、前記照射部は変調光を照射せず、前記撮像部は環境光に対する反射光からなる画像を撮像し、
前記デコード・モードでは、前記照射部は変調光を照射し、前記撮像部は、環境光及び前記変調光に対する反射光からなる画像を撮像する、
ことを特徴とする請求項6に記載の撮像装置。 - 前記通常画像撮像モードと前記デコード・モードを時分割で交互に動作する、
ことを特徴とする請求項6に記載の撮像装置。 - 前記演算部は、前記デコード・モード下で撮像した画像に対し前記変調光のデコーディングを行なった結果に基づいて前記特定のオブジェクトの部分を特定し、前記通常画像撮像モード下で撮像した画像のうち該当部分を前記特定のオブジェクトの画像として抽出する、
ことを特徴とする請求項6に記載の撮像装置。 - 前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違による前記特定のオブジェクトの移動を考慮して、前記通常画像撮像モード下での撮像画像から前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項9に記載の撮像装置。 - 前記演算部は、前記デコード・モードと前記通常画像撮像モード間で撮像画像の時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求め、前記動きベクトルに基づいて前記デコード・モード下での撮影画像中における前記特定のオブジェクトの部分から前記通常画像撮像モード下での撮像画像中における前記特定のオブジェクトの部分へアドレス変換して前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項10に記載の撮像装置。 - 前記撮像部における数フレーム分の撮像画像を記憶する記憶部をさらに備える、
ことを特徴とする請求項1に記載の撮像装置。 - 前記演算部は、前後のフレームの比較に基づいて撮像画像を処理する、
ことを特徴とする請求項12に記載の撮像装置。 - 前記撮像部と、前記記憶部と、前記演算部が単一の半導体回路チップで構成される、
ことを特徴とする請求項12に記載の撮像装置。 - 前記照射部は、不可視光の波長成分からなる変調光を照射する、
ことを特徴とする請求項1に記載の撮像装置。 - 前記照射部は、コード、コーディング方式、光強度、発光角度のうち少なくとも1つが相違する2種類以上の変調光を照射する、
ことを特徴とする請求項1に記載の撮像装置。 - 前記照射部は、コードの異なる2種類以上の変調光を照射し、
前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光に照射された部分をそれぞれ抽出する、
ことを特徴とする請求項1に記載の撮像装置。 - 前記演算部は、コードが異なる変調光が照射された部分毎に個別の画像処理を適用する、
ことを特徴とする請求項17に記載の撮像装置。 - 前記演算部は、特定のコードによる変調光が照射された部分のみを表示出力する、
ことを特徴とする請求項17に記載の撮像装置。 - 前記照射部は、コード毎に光強度を異ならせた2種類以上の変調光を照射し、
前記演算部は、コード毎に変調光のデコーディングを行ない、各変調光に照射された部分をそれぞれオブジェクトとして抽出するとともに、変調光毎の光強度に基づいて各オブジェクトまでの距離を同定する、
ことを特徴とする請求項1に記載の撮像装置。 - 前記演算部は、距離が同定されたオブジェクト毎に抽出し、表示出力する、
ことを特徴とする請求項20に記載の撮像装置。 - 前記照射部は、コード毎に発光角度を異ならせた2種類以上の変調光を照射し、
前記演算部は、発光角度毎に変調光のデコーディングを行ない、画角に応じたオブジェクトの表示処理を行なう、
ことを特徴とする請求項1に記載の撮像装置。 - 任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報を処理する情報処理装置であって、
撮像画像に対し変調光のデコーディングを行なうデコード手段と、
正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出手段と、
を具備することを特徴とする情報処理装置。 - 撮像画像は2次元的に配列された画素信号で構成され、
前記デコード手段は、画素信号毎に前記変調光のデコーディングを試み、
前記オブジェクト抽出手段は、正しくデコードされた画素の部分をオブジェクトとして抽出する、
ことを特徴とする請求項23に記載の情報処理装置。 - 撮像画像は変調光をコーディングする発光周波数と同等以上のフレームレートで撮像されており、
前記デコード手段は、撮像画像を基に特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする、
ことを特徴とする請求項23に記載の情報処理装置。 - 環境光に対する反射光からなる通常撮像画像と、環境光及びコーディングされた変調光に対する反射光からなるオブジェクト抽出用撮像画像をともに入力する、
ことを特徴とする請求項23に記載の情報処理装置。 - 通常撮像画像とオブジェクト抽出用撮像画像を時分割で交互に入力し、それぞれの画像の処理を行なう、
ことを特徴とする請求項26に記載の情報処理装置。 - 前記オブジェクト抽出手段は、オブジェクト抽出用撮像画像から前記変調光のデコーディングを行なった結果に基づいて前記特定のオブジェクトの部分を特定し、通常撮像画像のうち該当部分を前記特定のオブジェクトの画像として抽出する、
ことを特徴とする請求項26に記載の情報処理装置。 - 前記オブジェクト抽出手段は、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違による前記特定のオブジェクトの移動を考慮して、前記通常撮像画像から前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項28に記載の情報処理装置。 - 前記オブジェクト抽出手段は、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求め、前記動きベクトルに基づいて前記オブジェクト抽出用撮影画像中における前記特定のオブジェクトの部分から前記通常撮像画像中における前記特定のオブジェクトの部分へアドレス変換して前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項29に記載の情報処理装置。 - コードの異なる2以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコード手段は、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出手段は、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出する、
ことを特徴とする請求項23に記載の情報処理装置。 - コードが異なる変調光が照射された部分毎に個別の画像処理を適用する画像処理手段をさらに備える、
ことを特徴とする請求項31に記載の情報処理装置。 - 前記画像処理手段は、特定のコードによる変調光が照射された部分のみを表示出力する、
ことを特徴とする請求項32に記載の情報処理装置。 - コード毎に光強度を異ならせた2種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコード手段は、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出手段は、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出するとともに、変調光毎の光強度に基づいて各オブジェクトまでの距離を同定する、
ことを特徴とする請求項23に記載の情報処理装置。 - 距離が同定されたオブジェクト毎に抽出し、表示出力する表示手段をさらに備える、
ことを特徴とする請求項34に記載の情報処理装置。 - コード毎に発光角度を異ならせた2種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコード手段は、撮像画像に対し発光角度毎に変調光のデコーディングを行ない、
前記オブジェクト抽出手段は、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトを画角毎に抽出する、
ことを特徴とする請求項23に記載の情報処理装置。 - 任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報を処理する情報処理方法であって、
撮像画像に対し変調光のデコーディングを行なうデコーディング・ステップと、
正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出ステップと、
を具備することを特徴とする情報処理方法。 - 撮像画像は2次元的に配列された画素信号で構成され、
前記デコーディング・ステップでは、画素信号毎に前記変調光のデコーディングを試み、
前記オブジェクト抽出ステップでは、正しくデコードされた画素の部分をオブジェクトとして抽出する、
ことを特徴とする請求項37に記載の情報処理方法。 - 撮像画像は変調光をコーディングする発光周波数と同等以上のフレームレートで撮像されており、
前記デコーディング・ステップでは、撮像画像を基に特定のオブジェクトからの変調光に対する反射光に含まれるコードをデコードする、
ことを特徴とする請求項37に記載の情報処理方法。 - 環境光に対する反射光からなる通常撮像画像と、環境光及びコーディングされた変調光に対する反射光からなるオブジェクト抽出用撮像画像をともに入力する、
ことを特徴とする請求項37に記載の情報処理方法。 - 通常撮像画像とオブジェクト抽出用撮像画像を時分割で交互に入力し、それぞれの画像の処理を行なう、
ことを特徴とする請求項40に記載の情報処理方法。 - 前記オブジェクト抽出ステップでは、オブジェクト抽出用撮像画像から前記変調光のデコーディングを行なった結果に基づいて前記特定のオブジェクトの部分を特定し、通常撮像画像のうち該当部分を前記特定のオブジェクトの画像として抽出する、
ことを特徴とする請求項40に記載の情報処理方法。 - 前記オブジェクト抽出ステップでは、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違による前記特定のオブジェクトの移動を考慮して、前記通常撮像画像から前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項42に記載の情報処理方法。 - 前記オブジェクト抽出ステップでは、通常撮像画像とオブジェクト抽出用撮像画像間での時間的な相違に起因する前記特定のオブジェクトの空間的な相違を表す動きベクトルを求め、前記動きベクトルに基づいて前記オブジェクト抽出用撮影画像中における前記特定のオブジェクトの部分から前記通常撮像画像中における前記特定のオブジェクトの部分へアドレス変換して前記特定のオブジェクトの画像を抽出する、
ことを特徴とする請求項43に記載の情報処理方法。 - コードの異なる2以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコーディング・ステップでは、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出ステップでは、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出する、
ことを特徴とする請求項37に記載の情報処理方法。 - コードが異なる変調光が照射された部分毎に個別の画像処理を適用する画像処理ステップをさらに備える、
ことを特徴とする請求項45に記載の情報処理方法。 - 前記画像処理ステップでは、特定のコードによる変調光が照射された部分のみを表示出力する、
ことを特徴とする請求項46に記載の情報処理方法。 - コード毎に光強度を異ならせた2種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコーディング・ステップでは、撮像画像に対しコード毎に変調光のデコーディングを行ない、
前記オブジェクト抽出ステップでは、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトをそれぞれ抽出するとともに、変調光毎の光強度に基づいて各オブジェクトまでの距離を同定する、
ことを特徴とする請求項37に記載の情報処理方法。 - 距離が同定されたオブジェクト毎に抽出し、表示出力する表示ステップをさらに備える、
ことを特徴とする請求項48に記載の情報処理方法。 - コード毎に発光角度を異ならせた2種類以上の変調光が照射された特定のオブジェクトを撮像して得られる画像情報を入力し、
前記デコーディング・ステップでは、撮像画像に対し発光角度毎に変調光のデコーディングを行ない、
前記オブジェクト抽出ステップでは、コード毎にデコードした結果に基づいて、各変調光に照射されたオブジェクトを画角毎に抽出する、
ことを特徴とする請求項37に記載の情報処理方法。 - 任意にコーディングされた変調光が照射された特定のオブジェクトを撮像して得られる画像情報の処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
撮像画像に対し変調光のデコーディングを行なうデコーディング・ステップと、
正しくデコードされたか否かに基づいて撮像画像のうち前記変調光が照射された部分とそれ以外の部分に分離し、前記変調光が照射された部分を前記特定のオブジェクトとして抽出するオブジェクト抽出ステップと、
を具備することを特徴とするコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004233909A JP4438557B2 (ja) | 2004-08-10 | 2004-08-10 | 撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004233909A JP4438557B2 (ja) | 2004-08-10 | 2004-08-10 | 撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006053698A true JP2006053698A (ja) | 2006-02-23 |
JP2006053698A5 JP2006053698A5 (ja) | 2007-08-30 |
JP4438557B2 JP4438557B2 (ja) | 2010-03-24 |
Family
ID=36031151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004233909A Expired - Fee Related JP4438557B2 (ja) | 2004-08-10 | 2004-08-10 | 撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4438557B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2202607A2 (en) | 2008-12-25 | 2010-06-30 | Sony Corporation | Input apparatus, handheld apparatus and control method |
JP2012044380A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 撮像装置 |
US8352075B2 (en) | 2008-11-03 | 2013-01-08 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting feature information of object and apparatus and method for creating feature map |
-
2004
- 2004-08-10 JP JP2004233909A patent/JP4438557B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352075B2 (en) | 2008-11-03 | 2013-01-08 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting feature information of object and apparatus and method for creating feature map |
EP2202607A2 (en) | 2008-12-25 | 2010-06-30 | Sony Corporation | Input apparatus, handheld apparatus and control method |
US8413077B2 (en) | 2008-12-25 | 2013-04-02 | Sony Corporation | Input apparatus, handheld apparatus, and control method |
JP2012044380A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4438557B2 (ja) | 2010-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190236404A1 (en) | Image processing apparatus image processing method and storage medium for lighting processing on image using model data | |
US20190273908A1 (en) | Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation | |
US9547791B2 (en) | Image processing system, image processing apparatus, image processing method, and program | |
JP5959923B2 (ja) | 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 | |
US20110149044A1 (en) | Image correction apparatus and image correction method using the same | |
CN101366271A (zh) | 图像捕获装置中的自动闪烁校正 | |
CN108781268B (zh) | 图像处理装置和方法 | |
JP2006277085A (ja) | 光学式ポインティング制御装置及び該装置を用いたポインティングシステム | |
CN110830730A (zh) | 电子装置中用于生成移动图像数据的设备和方法 | |
JP2010130438A (ja) | 情報復元装置、及び、情報復元方法 | |
CN104113696B (zh) | 运动物体的轨迹的拍摄方法及装置 | |
JP2007088835A (ja) | 機器制御装置 | |
JP4438557B2 (ja) | 撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラム | |
JP5018652B2 (ja) | 物体存在判定装置 | |
KR20150101343A (ko) | 영상 투사 시스템 | |
JP4507210B2 (ja) | 情報伝送システム、受信装置、及び、情報復号方法 | |
JP3625442B2 (ja) | 物体検出方法及び物体検出装置並びに物体検出プログラム | |
KR20190122692A (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP4735658B2 (ja) | 受信装置、及び、プログラム | |
JP6827598B1 (ja) | 画像ベースのサービスのためのデバイス | |
JP2001273484A (ja) | 指示位置検出システム、プレゼンテーションシステムおよび情報記憶媒体 | |
KR100927554B1 (ko) | 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법 | |
JP7331703B2 (ja) | 読取装置 | |
KR101280840B1 (ko) | 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법 | |
JP2018098716A (ja) | 発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091228 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |