JP2009251523A - 相関演算方法、相関演算装置、焦点検出装置および撮像装置 - Google Patents
相関演算方法、相関演算装置、焦点検出装置および撮像装置 Download PDFInfo
- Publication number
- JP2009251523A JP2009251523A JP2008102673A JP2008102673A JP2009251523A JP 2009251523 A JP2009251523 A JP 2009251523A JP 2008102673 A JP2008102673 A JP 2008102673A JP 2008102673 A JP2008102673 A JP 2008102673A JP 2009251523 A JP2009251523 A JP 2009251523A
- Authority
- JP
- Japan
- Prior art keywords
- data
- correlation
- amount
- focus detection
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【解決手段】複数の第1データA1,A2,・・が一次元上に配列された第1データ列ANと、複数の第2データB1,B2,・・が一次元上に配列された第2データ列BNとを、一次元上で変位量を変えながら相対的に変位させ、第1データ列ANと第2データ列BNの間の相関量を演算して相関量の極値が得られる変位量を求める相関演算方法において、複数の第1データAn、An+1のN階(ただし、N=1,2,・・)の差分データ(An−An+1)から成る第3データ列と、複数の第2データBn+k、Bn+1+kのN階の差分データ(Bn+k−Bn+1+k)から成る第4データ列との間で内積演算を行い、算出された演算値を相関量とする。
【選択図】図16
Description
(2) 請求項2の発明は、請求項1に記載の相関演算方法において、前記内積演算に用いた前記複数の第1データと前記複数の第2データにより前記演算値を正規化するようにしたものである。
(3) 請求項3の発明は、請求項1に記載の相関演算方法において、一次元上の所定位置の近傍における前記第3データ列のM個(ただし、M=2,3,・・)のデータと、前記第4データ列のM個のデータとをそれぞれM次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出し、前記内積演算に用いた前記複数の第1データと前記複数の第2データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出するようにしたものである。
(4) 請求項4の発明は、請求項1に記載の相関演算方法において、一次元上の所定位置の近傍における前記第3データ列のM個(ただし、M=2,3,・・)のデータと、前記第4データ列のM個のデータとをそれぞれM次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記内積演算に用いた前記複数の第1データと前記複数の第2データにより正規化して前記相関量を算出するようにしたものである。
(5) 請求項5の発明は、複数の第1データが一次元上に配列された第1データ列と、複数の第2データが一次元上に配列された第2データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第1データ列と前記第2データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、前記複数の第1データのN階(ただし、N=1,2,・・)の差分データから成る第3データ列と、前記複数の第2データのN階の差分データから成る第4データ列との間で外積演算を行い、算出された演算値を前記相関量とする相関演算方法である。
(6) 請求項6の発明は、請求項5に記載の相関演算方法において、前記外積演算に用いた前記複数の第1データと前記複数の第2データにより前記演算値を正規化するようにしたものである。
(7) 請求項7の発明は、請求項5に記載の相関演算方法において、一次元上の所定位置の近傍における前記第3データ列のM個(ただし、M=2,3,・・)のデータと、前記第4データ列のM個のデータとをそれぞれM次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出し、前記外積演算に用いた前記複数の第1データと前記複数の第2データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出するようにしたものである。
(8) 請求項8の発明は、請求項5に記載の相関演算方法において、一次元上の所定位置の近傍における前記第3データ列のM個(ただし、M=2,3,・・)のデータと、前記第4データ列のM個のデータとをそれぞれM次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記外積演算に用いた前記複数の第1データと前記複数の第2データにより正規化して前記相関量を算出するようにしたものである。
(9) 請求項9の発明は、請求項1〜8のいずれか一項に記載の相関演算方法により、前記相関量の極値が得られる前記変位量を求める演算手段を備えた相関演算装置である。
(10) 請求項10の発明は、結像光学系を通る一対の光束を受光し、この一対の光束が前記結像光学系の予定焦点面上に形成する一対の像に対応する一対のデータ列を生成する瞳分割像検出手段と、前記一対のデータ列の間の相関量の極値が得られる変位量を求める請求項9に記載の相関演算装置と、前記変位量に基づいて前記結像光学系の焦点調節状態を検出する焦点検出手段とを備えた焦点検出装置である。
(11) 請求項11の発明は、請求項10に記載の焦点検出装置と、マイクロレンズと光電変換部から成る撮像用画素と焦点検出用画素が配列された撮像素子とを備え、前記瞳分割像検出手段は、前記焦点検出用画素の出力に基づいて前記一対のデータ列を生成する撮像装置である。
An=αn+2・αn+1+αn+2,
Bn=βn+2・βn+1+βn+2 ・・・(1)
(1)式において、n=1〜Nである。
P(n)=−(An−An+d)・(Bn+k−Bn+k+k) ・・・(2)
(2)式において、dは整数定数(=1,2,3,・・・)である。局所的相関量P(n)は、1階差分データ(An−An+d)と1階差分データ(Bn+k−Bn+d+k)との内積演算の結果を符号反転したものとなっており、相関度が高いほど小さな値となる。
C(k)=ΣP(n)=−Σ(An−An+d)・(Bn+k−Bn+d+k) ・・・(3)
x=kj+D/SLOP ・・・(4),
C(x)= C(kj)−|D| ・・・(5),
D={C(kj-1)−C(kj+1)}/2 ・・・(6),
SLOP=MAX{C(kj+1)−C(kj),C(kj-1)−C(kj)} ・・・(7)
DEF=KX・PY・x ・・・(8)
(8)式において、PYは検出ピッチであり、KXは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。
C(k)=ΣP(n)=−ΣAn・Bn+k ・・・(9)
図18に示す同一性の崩れたサイン波形の一対の像データに対し、(9)式に示す相関演算(d=1)を適用して相関量C(k)を求めると、図22に示すようなグラフとなり、元の波形のバランス崩れの影響を受け大きく歪んでいる。
以上説明した実施形態では、第1データ列間の1階差分と第2データ列間の1階差分との内積演算により局所的相関量P(n)を算出し、この局所的相関量P(n)をデータの位置nを所定区間に亘って積算することによって、歪みが生じた一対の像に対して高精度に像ズレ量の検出を行う例を示したが、本発明はこのような相関演算方法に限定されるものではなく、以下に示す相関演算方法としてもよい。
P(n)=(An−An+d−Ma)・(Bn+k−Bn+d+k−Mb) ・・・(10),
Ma=Σ(An−An+d)/N ・・・(11),
Mb=Σ(Bn+k−Bn+d+k)/N ・・・(12),
C(k)=1−ΣP(n)/{Sqrt(Σ(An−An+d)2)・Sqrt(Σ(Bn+k−Bn+d+k)2)} ・・・(13)
なお、(11)式、(12)式において、Nは(11)式〜(13)式のΣ演算の積算数であり、Sqrt( )は平方根を表す。
P(n)=(An−Ma)・(Bn+k−Mb) ・・・(14),
Ma=ΣAn/N ・・・(15),
Mb=ΣBn+k/N ・・・(16),
C(k)=1−ΣP(n)/{Sqrt(ΣAn2)・Sqrt(ΣBn+k2)} ・・・(17)
P(n)=(An−An+d)・(Bn+k−Bn+d+k) ・・・(18),
C(k)=1−ΣP(n)/{(ΣAn/N)・(ΣBn+k/N)} ・・・(19)
P(n)=(An−An+d)・(Bn+k−Bn+d+k)/{Sqrt(An2+An+d2)・Sqrt(Bn+k2+Bn+d+k2)} ・・・(20),
C(k)=W−ΣP(n) ・・・(21)
(21)式において、Wは所定の定数である。なお、(20)式の代わりに(22)式を用いることもできる。
P(n)=(An−An+d)・(Bn+k−Bn+d+k)/{(An+An+d)・(Bn+k+Bn+d+k)} ・・・(22)
上述した(2)式では局所的相関量P(n)を1階差分データどうしの内積演算とした例を示したが、(23)式に示すように2階差分データどうしの内積演算とすることもできる。
P(n)=−(An−2・An+d+An+2d)・(Bn+k−2・Bn+d+k+Bn+2d+k) ・・・(23)
(23)式において、dは整数定数(=1,2,3,・・・)である。また、局所的相関量P(n)は、2階差分データ(An−2・An+d+An+2d)と2階差分データ(Bn+k−2・Bn+d+k+Bn+2d+k)との内積演算の結果を符号反転したものであり、相関度が高いほど小さな値となる。
C(k)=ΣP(n)=−Σ(An−2・An+d+An+2d)・(Bn+k−2・Bn+d+k+Bn+2d+k) ・・・(24)
P(n)=(An−2・An+d+An+2d−Ma)・(Bn+k−2・Bn+d+k+Bn+2d+k−Mb) ・・・(25),
Ma=Σ(An−2・An+d+An+2d)/N ・・・(26),
Mb=Σ(Bn+k−2・Bn+d+k+Bn+2d+k)/N ・・・(27),
C(k)=1−ΣP(n)/{Sqrt(Σ(An−2・An+d+An+2d)2)・Sqrt(Σ(Bn+k−2・Bn+d+k+Bn+2d+k)2)} ・・・(28)
(26)式、(27)式において、Nは(25)式〜(28)式のΣ演算の積算数である。
P(n)=(An−2・An+d+An+2d)・(Bn+k−2・Bn+d+k+Bn+2d+k) ・・・(29),
C(k)=1−ΣP(n)/{(ΣAn/N)・(ΣBn+k/N)} ・・・(30)
P(n)=(An−2・An+d+An+2d)・(Bn+k−2・Bn+d+k+Bn+2d+k)/{Sqrt(An2+An+d2+An+2d2)・Sqrt(Bn+k2+Bn+d+k2+Bn+2d+k2)}・・・(31),
C(k)=W−ΣP(n) ・・・(32)
(32)式において、Wは所定の定数である。なお、(31)式の代わりに(33)式を用いることもできる。
P(n)=(An−2・An+d+An+2d)・(Bn+k−2・Bn+d+k+Bn+2d+k)/{(An+An+d+An+2d)・(Bn+k+Bn+d+k+Bn+2d+k)} ・・・(33)
以上説明した実施形態では、第1データ列間の1階以上の差分データと第2データ列間の1階以上の差分データとの内積演算により算出した局所的相関量P(n)を、データの位置nを所定区間に亘って積算することによって、歪みが生じた一対の像に対して高精度に像ズレ量の検出を行う例を示したが、本発明はこれらの相関演算方法に限定されるものではなく、以下に示すような他の実施形態も可能である。
P(n)=|(An−An+d)・(Bn+d+k−Bn+2d+k)−(An+d−An+2d)・(Bn+k−Bn+d+k)| ・・・(34)
(34)式において、dは整数定数(=1,2,3,・・・)である。局所的相関量P(n)は、1階差分データの組{(An−An+d)、(An+d−An+2d)}と,
1階差分データの組{(Bn+k−Bn+d+k)、(Bn+d+k−Bn+2d+k)}を2次元ベクトルの成分と考えた場合の外積演算の絶対値をとったものとなっており、相関度が高いほど小さな値となる。
C(k)=ΣP(n)=Σ|(An−An+d)・(Bn+d+k−Bn+2d+k)−(An+d−An+2d)・(Bn+k−Bn+d+k)| ・・・(35)
P(n)={(An−An+d)・(Bn+d+k−Bn+2d+k)−(An+d−An+2d)・(Bn+k−Bn+d+k)}2+{(An−An+d)・(Bn+2d+k−Bn+3d+k)−(An+2d−An+3d)・(Bn+k−Bn+d+k)}2+{(An+d−An+2d)・(Bn+2d+k−Bn+3d+k)−(An+2d−An+3d)・(Bn+d+k−Bn+2d+k)}2 ・・・(36)
撮像素子における焦点検出エリアの配置は図2に示す配置に限定されず、対角線方向やその他の位置に水平方向および垂直方向に焦点検出エリアを配置してもよい。
Claims (11)
- 複数の第1データが一次元上に配列された第1データ列と、複数の第2データが一次元上に配列された第2データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第1データ列と前記第2データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、
前記複数の第1データのN階(ただし、N=1,2,・・)の差分データから成る第3データ列と、前記複数の第2データのN階の差分データから成る第4データ列との間で内積演算を行い、算出された演算値を前記相関量とすることを特徴とする相関演算方法。 - 請求項1に記載の相関演算方法において、
前記内積演算に用いた前記複数の第1データと前記複数の第2データにより前記演算値を正規化することを特徴とする相関演算方法。 - 請求項1に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第3データ列のM個(ただし、M=2,3,・・)のデータと、前記第4データ列のM個のデータとをそれぞれM次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出し、前記内積演算に用いた前記複数の第1データと前記複数の第2データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出することを特徴とする相関演算方法。 - 請求項1に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第3データ列のM個(ただし、M=2,3,・・)のデータと、前記第4データ列のM個のデータとをそれぞれM次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記内積演算に用いた前記複数の第1データと前記複数の第2データにより正規化して前記相関量を算出することを特徴とする相関演算方法。 - 複数の第1データが一次元上に配列された第1データ列と、複数の第2データが一次元上に配列された第2データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第1データ列と前記第2データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、
前記複数の第1データのN階(ただし、N=1,2,・・)の差分データから成る第3データ列と、前記複数の第2データのN階の差分データから成る第4データ列との間で外積演算を行い、算出された演算値を前記相関量とすることを特徴とする相関演算方法。 - 請求項5に記載の相関演算方法において、
前記外積演算に用いた前記複数の第1データと前記複数の第2データにより前記演算値を正規化することを特徴とする相関演算方法。 - 請求項5に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第3データ列のM個(ただし、M=2,3,・・)のデータと、前記第4データ列のM個のデータとをそれぞれM次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出し、前記外積演算に用いた前記複数の第1データと前記複数の第2データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出することを特徴とする相関演算方法。 - 請求項5に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第3データ列のM個(ただし、M=2,3,・・)のデータと、前記第4データ列のM個のデータとをそれぞれM次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記外積演算に用いた前記複数の第1データと前記複数の第2データにより正規化して前記相関量を算出することを特徴とする相関演算方法。 - 請求項1〜8のいずれか一項に記載の相関演算方法により、前記相関量の極値が得られる前記変位量を求める演算手段を備えることを特徴とする相関演算装置。
- 結像光学系を通る一対の光束を受光し、この一対の光束が前記結像光学系の予定焦点面上に形成する一対の像に対応する一対のデータ列を生成する瞳分割像検出手段と、
前記一対のデータ列の間の相関量の極値が得られる変位量を求める請求項9に記載の相関演算装置と、
前記変位量に基づいて前記結像光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。 - 請求項10に記載の焦点検出装置と、
マイクロレンズと光電変換部から成る撮像用画素と焦点検出用画素が配列された撮像素子とを備え、
前記瞳分割像検出手段は、前記焦点検出用画素の出力に基づいて前記一対のデータ列を生成することを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008102673A JP5338112B2 (ja) | 2008-04-10 | 2008-04-10 | 相関演算装置、焦点検出装置および撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008102673A JP5338112B2 (ja) | 2008-04-10 | 2008-04-10 | 相関演算装置、焦点検出装置および撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009251523A true JP2009251523A (ja) | 2009-10-29 |
JP5338112B2 JP5338112B2 (ja) | 2013-11-13 |
Family
ID=41312264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008102673A Expired - Fee Related JP5338112B2 (ja) | 2008-04-10 | 2008-04-10 | 相関演算装置、焦点検出装置および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5338112B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168658A1 (ja) * | 2012-05-07 | 2013-11-14 | 株式会社ニコン | 焦点検出装置 |
JP2013235048A (ja) * | 2012-05-07 | 2013-11-21 | Nikon Corp | 焦点検出装置 |
JP2017027080A (ja) * | 2016-10-25 | 2017-02-02 | 株式会社ニコン | 焦点検出装置及び撮像装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102002919B1 (ko) * | 2017-12-27 | 2019-07-23 | 한국광기술원 | 스테레오스코픽 환경에서의 초점조절능 판별시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61235808A (ja) * | 1985-04-12 | 1986-10-21 | Hitachi Ltd | 自動焦点合せ方法及び装置 |
JPH05127073A (ja) * | 1991-11-01 | 1993-05-25 | Canon Inc | 焦点検出装置 |
JP2007333720A (ja) * | 2006-05-17 | 2007-12-27 | Nikon Corp | 相関演算方法、相関演算装置、焦点検出装置および撮像装置 |
JP2008052009A (ja) * | 2006-08-24 | 2008-03-06 | Nikon Corp | 焦点検出装置、焦点検出方法および撮像装置 |
-
2008
- 2008-04-10 JP JP2008102673A patent/JP5338112B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61235808A (ja) * | 1985-04-12 | 1986-10-21 | Hitachi Ltd | 自動焦点合せ方法及び装置 |
JPH05127073A (ja) * | 1991-11-01 | 1993-05-25 | Canon Inc | 焦点検出装置 |
JP2007333720A (ja) * | 2006-05-17 | 2007-12-27 | Nikon Corp | 相関演算方法、相関演算装置、焦点検出装置および撮像装置 |
JP2008052009A (ja) * | 2006-08-24 | 2008-03-06 | Nikon Corp | 焦点検出装置、焦点検出方法および撮像装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168658A1 (ja) * | 2012-05-07 | 2013-11-14 | 株式会社ニコン | 焦点検出装置 |
JP2013235048A (ja) * | 2012-05-07 | 2013-11-21 | Nikon Corp | 焦点検出装置 |
CN104285173A (zh) * | 2012-05-07 | 2015-01-14 | 株式会社尼康 | 焦点检测装置 |
US9497374B2 (en) | 2012-05-07 | 2016-11-15 | Nikon Corporation | Focus detection device |
JP2017027080A (ja) * | 2016-10-25 | 2017-02-02 | 株式会社ニコン | 焦点検出装置及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5338112B2 (ja) | 2013-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5458475B2 (ja) | 焦点検出装置および撮像装置 | |
JP5012495B2 (ja) | 撮像素子、焦点検出装置、焦点調節装置および撮像装置 | |
JP4858008B2 (ja) | 焦点検出装置、焦点検出方法および撮像装置 | |
JP4802993B2 (ja) | 相関演算方法、相関演算装置、焦点検出装置および撮像装置 | |
JP5066893B2 (ja) | 相関演算方法、相関演算装置、焦点検出装置および撮像装置 | |
US7586588B2 (en) | Correlation operation method, correlation operation device, focus detection device and imaging device | |
JP5157084B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP5423111B2 (ja) | 焦点検出装置および撮像装置 | |
JP5381472B2 (ja) | 撮像装置 | |
JP5338112B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP5278123B2 (ja) | 撮像装置 | |
JP5338113B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP5804105B2 (ja) | 撮像装置 | |
JP5228777B2 (ja) | 焦点検出装置および撮像装置 | |
JP5338119B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP5407314B2 (ja) | 焦点検出装置および撮像装置 | |
JP5332384B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP5338118B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP4968009B2 (ja) | 相関演算方法、相関演算装置、焦点検出装置および撮像装置 | |
JP5685892B2 (ja) | 焦点検出装置、焦点調節装置および撮像装置 | |
JP2009162845A (ja) | 撮像素子、焦点検出装置および撮像装置 | |
JP4968010B2 (ja) | 相関演算方法、相関演算装置、焦点検出装置および撮像装置 | |
JP5614227B2 (ja) | 焦点検出装置及び撮像装置 | |
JP5399627B2 (ja) | 焦点検出装置、焦点調節装置および撮像装置 | |
JP6610227B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120406 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5338112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |