JP2009071676A - 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 - Google Patents
撮像装置、撮像装置制御プログラム及び撮像装置制御方法 Download PDFInfo
- Publication number
- JP2009071676A JP2009071676A JP2007239241A JP2007239241A JP2009071676A JP 2009071676 A JP2009071676 A JP 2009071676A JP 2007239241 A JP2007239241 A JP 2007239241A JP 2007239241 A JP2007239241 A JP 2007239241A JP 2009071676 A JP2009071676 A JP 2009071676A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- spectral
- information
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】ステップS4の分光特性データ取得処理においては、連写枚数でありかつ透過波長帯域数である(n)と、1枚の画像を撮影するための露出時間tとを用いて波長帯域毎の露出時間t/nを設定し、透過波長帯域の数(n)に分割された画像の波長帯域において、波長帯域毎に露出&撮影処理を実行する。したがって、このステップS4での処理により、バッファメモリには分光フィルタを透過した波長帯域毎の分光画像及びこれら各分光画像の特性を示す分光特性が記憶される。この分光特性データにより、シーン又は被写体の自動識別処理を実行し(ステップS6)、このシーン又は被写体の自動識別処理により識別されたシーン又は被写体に基づいて、測光処理、AE処理、WB処理を実行して撮影条件を設定する(ステップS7)。
【選択図】図3
Description
図1は、本発明の一実施の形態に係るデジタルカメラ(分光カメラ)1の回路構成を示すブロック図である。図に示すように、デジタルカメラ1は、制御回路2を有している。制御回路2には、CPU3とこのCPU3にデータバス4を介して各々接続されたインタフェース5、音声入出力回路6、入力回路7、メモリカード・IF8、USBコントローラ9、入出力インタフェース10、入出力回路11、入出力ポート12、13、HDD・IF14が設けられている。音声入出力回路6には、マイク16がアンプ17及びA/D変換器18を介して接続されているとともに、スピーカ19がアンプ20及びD/A変換器21を介して接続されている。入力回路7には、各種操作キー、スイッチ等が設けられた操作入力部22が接続され、メモリカード・IF8には脱着自在に設けられた画像メモリ媒体25が接続されている。USBコントローラ9はUSB端子26に接続されており、入出力インタフェース10はアンテナ27を有する無線LAN送受信部28に通信コントローラ29を介して接続されている。また、入出力回路11には、外部トリガー端子30がトリガー検出部31を介して接続されている。
V(x,y;λi)=V(x,y;λi)×{T0(λi)/T(λi)}×{S0(λi)/S(λi)}
ここで
V(x,y;λi):輝度信号
T(λi):帯域毎の撮影レンズや干渉フィルタ等の分光透過率
S(λi):撮像センサの分光撮像感度
T0(λi):理想の分光特性(透過率100%)や標準の分光透過率
S0(λj):理想の分光感度や標準の分光感度。
Ri(x、y)=r′(λi)・V(x,y;λi)、
Gi(x、y)=g′(λi)・V(x,y;λi)、
Bi(x、y)=b′(λi)・V(x,y;λi)。
Ri(x、y)=r ̄(λi)・V(x,y;λi)、
Gi(x、y)=g ̄(λi)・V(x,y;λi)、
Bi(x、y)=b ̄(λi)・V(x,y;λi)。
R(x,y)=ΣiRi(x,y)、
G(x,y)=ΣiGi(x,y)、
B(x,y)=ΣiBi(x,y)。
したがって、バッファメモリ(B)81には、読み出し周期時間(Tr)毎に、各波長帯の分光画像の各画素のR,G,Bが順次加算されて更新されていく。
第1の被写体枠K1における複数の波長帯域λ1〜λn毎の分光特性データが
Vo(k=1;λ1)、Vo(k=1;λ2)、・・・Vo(k=1;λn)と記憶され、
第2の被写体枠K2における複数の波長帯域λ1〜λn毎の分光特性データが
Vo(k=2;λ1)、Vo(k=2;λ2)、・・・Vo(k=2;λn)と記憶され、また、
第Lの被写体枠KLにおける複数の波長帯域λ1〜λn毎の分光特性データが
Vo(k=L;λ1)、Vo(k=L;λ2)、・・・Vo(k=L;λn)と記憶されることとなる。
また、一画面内に単一の被写体枠(K)のみがある場合には、
Vo(k=1;λ1)、Vo(k=1;λ2)、・・・Vo(k=1;λn)のみ記憶されることとなる。
[分光フィルタ59]
前記分光フィルタ59としては、狭帯域の透過波長特性を持つフィルタを用いる。この狭帯域の透過波長特性を持つフィルタとしては、リオ(Lyot)フィルタや、ファブリペロー(Fabry−Perot)干渉フィルタ等がある。また、LCTF(液晶チューナブルフィルタ)やLCFP(液晶ファブリペロー)エタロンなどの電子制御可能なフィルタも用いることができる。
リオ・フィルタ(LyotFilter)は、複屈折性の結晶板による干渉を利用し、非常に狭い波長城の光を透過する光学フィルタであって、2枚の平行な偏光板の間に、方解石や水晶など複屈折性(birefringence)の結晶板を配したものである。複屈折性の結晶板(厚さd)を透過した光は、互いに垂直な振動方向の通常光と異常光の2光線に分離し、それぞれ異なる屈折率と位相速度を持つ。結晶のX軸方向に直線偏光した光に対して屈折率Ne、Y軸方向に直線偏光した光に対して屈折率Noの場合、
位相差δは、δ=(2π/λ)(Ne−No)d・・・式(1)
透過率Tは、T=cos2δ/2・・・式(2)
となり、分離した通常光と異常光は、同じ偏光状態で光路長の整数倍に等しい波長の光だけが、結晶板から出射される。2枚の平行な偏光板の間に、結晶板を45度回転させて配すると、全体の波長特性は、周期的に多数の透過ピークがある櫛歯状の透過波長特性となる。結晶板の角度をモータ等で回転させることにより、透過波長のピークを変えて、フィルタ特性をチューニングできる。
T=T1T2T3・・・TN−1=cos2×(2x)cos2(4x)・・・cos2(2N−1x)・・・式(3)
ファブリ・ペロー干渉フィルタ(Fabry−PerotFilter、Fabry−PerotEtalon)は、多重反射光線の干渉効果を利用して、狭い波長城の光だけを透過する。水晶の平行平板の両面、若しくは、2枚のガラス板の内面に、金属薄膜や誘電体多層薄膜など反射膜をコートした単純な構造で、各種光学機器に広く利用されている。反射膜(半透鏡)を透過して内部に入射された光線は、2枚の面の間を多重反射する。透過光の波面は、その内、偶数回の反射を受けた後に透過する各成分波面の重畳となる。
位相差δ=(2π/λ)2ndcosθ=4πndcosθ/λ・・・式(4)
入射光Iinに対し、透過光Itは、It=Iin×(1−R2/{(1−R)2+4Rsin2(δ)}となるので、
透過率T=(1−R)2/{(1−R)2+4Rsin2(δ)・・・式(5)
ここで、δ:位相差、λ:波長、θ:入射角、d:ミラー間の物理的間隔、n:媒質の屈折率(空気の場合n=1)、R:ミラーの反射率。
このとき、他の波長では、各透過成分波面間で打ち消し合いの干渉が起こり、透過光がゼロ近くまで減少する。ミラーは、可視光ではAg、Au、AI、Cr、Rhなどを蒸着した金属膜コーティングでも可能だが、吸収ロスが大きいために、主に、多層の誘電体薄膜等が用いられる。可視光域では、高屈折率のH膜(ZnS等)と低屈折率のL膜(MgF2等)を、λ/4厚ずつ交互に13層重ねた誘電体多層膜で、99.5%程度の反射率が得られる。
フィネスF=FSR/FWHM=Δλ/δλ=π√R/(1−R)・・・式(7)
ピーク波長の半値全幅FWHM=δλ=FSR/F・・・式(9)
鏡面の反射率Rを上げるほど、フィネスFが高くなり、波長分解能であるFWHM=δλを狭くし、透過ピークを鋭くすることができる。
It(θ,λ)=Io(λ)/[1+{4R/(1−R)2}sin2(2πでnd・cosθ/λ)]=Io(λ)/{1+(F/π)2sin2(δ/2)}・・・式(10)
ここで、Io(λ)は、同心円状の干渉パターン(Hadinger fringe)の中心での透過光強度。
視野角FOV=√{(8/λ)Xδλ}・・・式(11)
前述のリオ・フィルタや、ファブリ・ペロー・フィルタに、液晶素子や電気光学結晶などの複屈折性要素を挿入して組み合わせると、透過波長特性を電子的に可変できる狭帯域フィルタを構成でき、選択された所望の波長帯域で分光撮影ができる。
所望の波長において、全フィルタにおける透過率のピークを揃えるためには、液晶にかけるAC(交流)若しくは直流(DC)矩形波の電圧を調整して、所望の狭帯域波長に各フィルタの透過率ピークを合わせる必要がある。
液晶ファブリ・ペロー・エタロン(LCFP)としては、米国SSI社(Scientific Solutions lnc.)のものが公知である。LCFPは、前述の多重反射を利用するファブリ・ペロー干渉フィルタの、薄膜ミラーが形成された2枚のガラス板(又は水晶板)等の間に、液晶層を封入し、両側に透明電極を形成したものである。所定の波長特性となるようにミラー間隔(ギャップ)を最適に設計するのに加え、エタロンのギャップ幅を埋める液晶層の両側電極に印加する電圧を変えることで、液晶層の屈折率nを変化させて、それまでピークではなかった波長に透過率ピークを与えるように変化させ、前述のファブリ・ペロー干渉フィルタにおける前述の式(4)、式(5)により、
間隔d、液晶層も含む屈折率nを式(4)に代入して、
位相差δ=4πndcosθ/λ・・・前述式(4)
を求め、当該位相差δを式(5)に代入して、
透過率T=(1−R)2/{(1−R)2+4Rsin2(δ)}・・・前述式(5)
を求めることができ、フィルタの各波長における分光透過率特性を求めることができる。 あるいは、これら理論式によるシミュレーション結果又は逆算結果と、液晶の駆動電圧−屈折率特性データから、所望の透過特性となる液晶の屈折率n、及び、所要の駆動電圧Vを求めることができ、各層フィルタを所望の分光透過率特性とすることができる。さらに、異なるミラー間隔のエタロンを多層に積層し、各層に設けた液晶層に印加する電圧を変えることで、複数層のフィルタ全てを透過する波長帯域を、所望の狭帯域の波長帯城λにチューニングすることができ、順次選択した波長帯域の光だけを撮像して、分光撮影に利用できる。ただし、液晶の特性として、この屈折率変化は偏光の直交2成分のうち、1成分のみにしか機能しないため、他方の成分はチューニングには寄与できず、この不要成分をブロックするためにLCFPと直列に偏光板を挿入する必要がある。
分光撮影で利用するフィルタの動作波長範囲を、例えば、波長400nm〜700nmの可視光全域とする場合、その全域において高反射率となるコーティングを、平面度の高いエタロン基板上に蒸着する必要がある。また、コーティングの反射率と透過率との相反や、エタロン面の平坦度や間隔の平行精度などから、実用的に無理なく実現できるフィネスFには、例えば(SSI社製LCFPの標準品の場合)波長400nmでF≦8、600nmでF≦10、800nmでF≦12、i200nmでF≦15、1500nmでF≦20などと、ある程度の限界がある。
複数のエタロンを直列に組み合わせて使う場合、ギャップ幅の大きな方の第1エタロン(波長分解エタロン)が、系全体の透過幅を規定し、ギャップ幅の小さな方の第2エタロン(次数抑制エタロン)がFSRを規定する。系全体のFSRは、両エタロンのFSRの比に依存する。第1エタロンのFSR1と、第2エタロンのFSR2との整数比が、B/Aで表現できるとすると、
FSR=A×FSR1=B×FSR2・・・式(12)
B=1の場合は、第2エタロンのFSR2そのものが全体系のFSRになる。それ以外なら、全体系のFSRは次数抑制エタロンのFSR2よりもB倍だけ大きくなる。式(12)から、2台のエタロンを組合せた系では、波長分解エタロンのFSRはA倍に拡大し、全体系のFSRの中に存在できる透過帯の総数も、A倍(FSR拡大係数)に拡大することができる。
従来のように、撮像素子60をCCDで構成する場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のCCD転送路によって順繰りに転送され、出力回路で初めてFD(Floating Diffusion)アンプにより信号電圧に増幅されて出力される。CCDから出力された撮像信号は、CDS(Correlated Double Sampling:相関二重サンプル)回路でノイズ除去及びサンプル&ホールド処理され、AGC(自動利得制御)アンプで増幅され、ADC(A/D変換器)でデジタル撮像信号に変換され、DSP(信号処理回路)に出力される。
本実施の形態に係るデジタルカメラ1に用いる撮像素子では、任意のサイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読み出しができるように、図13に示す撮像素子200を用いることが好ましい。すなわち、この撮像素子200は、タイミング発生回路201に接続された垂直走査回路202と水平走査回路203及び列回路部204を備えるとともに、並列直列変換部204、符号器205を有している。列回路部204には、CDS回路206、A/D変換回路207、画素加算回路208を一組とする回路が複数設けられて、各々列信号線209が接続されている。一方、垂直走査回路202には、行選択線(アドレス線)210と転送TC線(行読出し線)211及び行リセット線212とが接続されている。また、イメージセンサ部213には、複数の単位画素回路214が設けられており、各単位画素回路214は、前記列信号線209、行選択線(アドレス線)210、転送TC線(行読出し線)211、行リセット線212に接続されたフォトダイオード215等で構成されている。
特開2005−278135号公報には、積分型のADC回路を、列並列のADC比較器とアップ/ダウンカウンタを用いてCDS/ADC回路として構成して、デジタル衆値をメモリ部に書き込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせると目算器なしで画素加算演算を行えるようにしたCMOSイメージセンサが開示されている。したがって、本実施の形態におけるイメージセンサ部63として、前記CMOSイメージセンサを用いてもよい。
通常読み出し、又は加算読み出しされた撮像信号のデジタル信号は、並列/直列変換回路で順次シリアル(直列)のデジタル信号に変換されて出力されDSPに転送される。高解像度、高速フレームで撮像を行うためには、当然ながら、撮像信号を高速でDSPに転送する必要がある。一般のCMOS入出力回では、入出力信号の振幅は、電源電圧範囲の一杯の範囲で振らせるので、消費電力が大きくなり転送できる速度も遅くなってしまう。これに対し、例えば、CML系(Cuent Mode Logic、電流モードロジック)の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、電圧を振らせるというよりは電流をon/offさせる方法で、(vdd−0.4V)の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。また、LVDS系(Low−voltge Differential Signaling、小振幅差動信号方式)は、2本の信号線を使って情報を運ぶ差動信号式で、単一チャネルあたり数百〜数千Mbps(メガビット/秒)の高速度でデータ伝送でき、かつ、mWレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数も減らせるため、モニタ表示装置とPC本体等とのデジタル入出力インタフェースとして利用されている。
図1に示したように、CMOイメージセンサ内蔵のCDS/ADC回路でデジタル変換され、並列又は直列のデジタル信号で高速転送された撮像信号を入力すると、DSP(デジタル信号処理回路)では、まずシェーディング正や黒レベル補正、欠陥画素補正など前処理を行った後、デジタルAGC回路で増幅するとともに、ホワイトバランス調整やカラーバランス調整を行う。通常のRGB3色カラーの撮像素子の場合には、撮像素子の前面に設けられたモザイク状のRGBカラーフィルタ配列に従って、画素毎には一つの色分しか持たないBayerデータから、他の色差成分の画素値も、近隣周辺の画素値等から画素関して求めて、面素毎にRGB各色差成分の階調値を持つデジタル画像データに変換するラー補間処理などを行うが、本例の高速度分光撮影カメラでは、撮像素子に画素のカラーフィルタを設けずに、撮像素子の全面素で同時に受光し、順次フィルタの透過波長特性を切り替えながら、高速で連続撮影した波長帯域毎の分光画像を撮影する。
一般に、波長(λ)における3次元空間座標(x,y,z)の時間(t)における、ある反射物体の分光反射率の関数をO(x,y,z,t,λ)で表すと、この物質を、分光放射率E(λ)の光源で照明して、分光透過率TL(λ)のレンズを通して結像し、分光透過率TFi(λ)のフィルタ、分光感度S(λ)を有する撮像素子のカメラで撮影するとき、カメラの撮像出力である2次元画像Vi(x,y)は、次式で表すことができる。
Vi(x,y)=∫∫∫TL(λ)TFi(λ)S(λ)t(t)A(z)O(x,y,z,t,λ)E(λ)dλdtdz・・・式(13)
(ただし、t(t):露光時間、A(z):レンズによる結像関数(3次元−2次元変換関数))。
Vi(x,y)=∫TL(λ)TFi(λ)S(λ)O(x,y,λ)(λ)dλ・・・式(14)
となる。
一般に、色再現では3色の分解像VR、VG,VBを、例えば、CIE−XYZ表色系における等色関数x ̄(λ),y ̄(λ),z ̄(λ)などを用いて、元の物体の3刺激値(Xi,Yi,Zi)が、下記の(XO,YO,ZO)と対応するような、所謂測色的な色再現が行われている。
XO=KO∫O(λ)E(λ)x ̄(λ)dλ、
YO=KO∫O(λ)E(λ)y ̄(λ)dλ、
ZO=KO∫O(λ)E(λ)z ̄(λ)dλ、・・・式(15)
ここで、KO=100[%]/{∫E(入)y ̄(λ)dλ}、
Xh=K∫O′(λ)E′(λ)x ̄(λ)dλ、
Yh=K∫O′(λ)E′(λ)y ̄(λ)dλ、
Zh=K∫O′(λ)E′(λ)z ̄(λ)dλ、・・・式(16)
ここで、K=100[%]/{∫E′(λ)y ̄(λ)dλ}、
本実施の形態のような分光画像の場合も式(14)から、
Vi(x,y)=∫TL(λ)TFi(λ)S(λ)O(x,y,λ)(λ)dλ・・・前式(14)
(ただし、vi(x,y):2次元画像、E(λ):光源の分光放射率、TL(λ):撮影レンズの分光透過率、TFi(λ):i番目のフィルタの分光透過率、S(λ)撮像素子の分光感度、O(x,y,λ.):物体の分光反射率である。
得られた複数枚の分光画像データを高速で転送入力したDSPでは、各波長帯λiにおける画の輝度信号V(x,y;λi)を、帯域毎の撮影レンズや干渉フィルタ等の分光透過率T(λi)、撮像センサの分光撮像感度S(λi)など、実際のカメラの分光特性や固体バラツキデータ等予めカメラ内のメモリに記憶しておき、実際の分光特性T(λi)や、S(λi)と、理想の分光特性(透過率100%)や標準の分光透過率T0(λi)や分光感度S0(λj)との比率で除算する、又は、比率の逆数を波長帯域(λ)毎の変換係数として乗算することにより、波長帯域別の感度性バラツキが補正された分光画像V′(x,y;λi)を得る。つまり、
V′(x,y;λi)=V(x,y;λi)×{T0(λi)/T(λi)}×{S0(λi)/S(λi)}・・・式(17a)
又は、
V′(x,y;λi)=V(x,y;λi)×{1/T(λi)}×{1/S(λi)}・・・式(17b)
Ri(x、y)=V′(x,y;λi)×r ̄(λi)、
Gi(x、y)=V′(x,y;λi)×g ̄(λi)、
Bi(x、y)=V′(x,y;λi)×b ̄(λi)、・・・式(18)
R(x,y)=ΣiRi(x,y)、
G(x,y)=ΣiGi(x,y)、
B(x,y)=ΣiBi(x,y)、・・・式(19)
図14は、前記ステップS4及びステップS15で実行される分光スルー画像の映像処理、分光特性データの取得処理の他の実施の形態における処理例(処理例(2))を示すフローチャートである。先ず、ユーザーによる操作入力部22での操作に応じて、分光フィルタ59の波長帯域(λi)と、その帯域数(n)とを設定するとともに(ステップS401)、スルー映像の読み出し更新周期(Tr)を設定する(ステップS402)。次に、前記帯域数(n)からなるで構成される波長帯域において、最初の波長帯域(λi=λ1)を選択する(ステップS403)。この最初の波長帯域(λi=λ1)は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。
V(x,y;λi)=V(x,y;λi)×{T0(λi)/T(λi)}×{S0(λi)/S(λi)}
ここで
V(x,y;λi):輝度信号
T(λi):帯域毎の撮影レンズや干渉フィルタ等の分光透過率
S(λi):撮像センサの分光撮像感度
T0(λi):理想の分光特性(透過率100%)や標準の分光透過率
S0(λj):理想の分光感度や標準の分光感度。
Ri(x、y)=r′(λi)・V(x,y;λi)、
Gi(x、y)=g′(λi)・V(x,y;λi)、
Bi(x、y)=b′(λi)・V(x,y;λi)。
長帯域における当該被写体の分光反射率が、いずれも参照群の下限〜上限の範囲内にあるか否か評価する。例えば、前記図8(a)に示す人間の肌の分光反射率特性をプログラムメモリ23に記憶しておき、被写体枠(k)の分光特性データ列Vo(k;λi)(k=1〜L、i=1〜n)が分光反射率の上限と下限の範囲内であれば、人の肌と判断する。これにより、迅速かつ精度よく人の肌を判断することができる。
被写体の分光特性データ(分光特性データ列Vo(k;λi)(k=1〜L、i=1〜n)と、予めプログラムメモリ23に記憶させておいた複数の参照群の分光特性データとの類似度(又は相関係数)を順次算出して、最も類似度や相関の高かった参照群を、当該被写体や材質の種類と判別する。例えば、前記図9及び図10は、各種素材における分光反射率の例であり、これをプログラムメモリ23に記憶させておく。
被写体の分光特性と参照群の分光特性との二乗誤差(誤差の二乗和)を算出して、違い(差の二乗誤差)の大きさで判別する。
n帯域の被写体の分光特性の共分散行列をの類似度や相関などを算出して、シーン識別することができる。例えば、図16は(a)絵の具、(b)人の肌、(C)花の各シーンにおける分光反射率(分光反射率の集合)と、分光反射率集合の共分散行列、主成分ベクトルの例である。図16の各シーンでは、異なる分光反射率の被写体が混在したり、異なるシーンでも類似する被写体が含まれたりするが、分光反射率集合の共分散行列パターンを見ると、シーン毎の特徴で区別できる場合が多いので、シーンの識別に利用できる。
シーンの分光反射率特性から、その共分散行列や相関行列などを用いて、主成分ベクトルを求め、参照群の主成分ベクトルと比較して類似度や相関を評価する。また、被写体の分光特性を図16のような各シーンの参照群の主成分ベクトルの合成で近似し、第1〜3次の)主成分による累積寄与率を算出して、累積寄与率の割合が大きい参照群が、当該被写体のシーンであろうと推定できる。
図17は、「太陽光+天空光」の混合と見なせる日向と日陰の分光分布の例を示す。これをプログラムメモリ23に記憶させておくことにより、日向と日陰の分光分布から、太陽光と天空光の分光放射特性を推定算出できる。
・日向の分光分布:Csun(λ)=R(λ)(Esky(λ)+Esun(λ))、
・日陰の分光分布:Cshade(λ)=R(λ)Esky(λ)、とすると、
・天空光の分光放射特性:Esky(λ)=Esun(λ)・Cshade(λ)/{Csun(λ)−Cshade(λ)}
以上の方法により、当該被写体枠の分光特性と類似度や相関、評価値が高い参照群を、当該被写体やその材質の種類、あるいは、撮影シーンであると、推定や判別ができる。なお、分光特性に基づき参照群と比較する方法であれば、他の評価方法を用いてもよい。
(1)類似度(Similarity)、非類似度
2つの関数f(x)とg(x)の類似度や、画像f(x,y)と参照画像g(x,y)の類似度を求めるには、差の二乗和(残差の平方和、二乗誤差)が用いられる。
S=∫[{f(x)−f〜}−{(x)−g〜}]2dx・・・(A1)
上式を展開すると、
S=∫f2(x)dx+∫g2(x)dx−2∫f(x)g(x)dk・・・(A2)
もし、∫f2(x)dxと∫g2(x)dxが一定ならば、∫f(x)g(x)dxが大きいほど、f(x)とg(x)が一致することになるので、次式の内積(lnner Product)も、マッチングの尺度として使用できる。
内積S’=∫f(x)g(x)dx・・・(A3)
これを、大きさで正規化すると、次式の相関係数(Correlation Coefficieut)が得られる。
相関係数R=∫f(x)(x)dx/[√{∫f2(x)dx}・√{∫g2(x)dx}]・・・(A4)
一般に、n個のサンプルに対して、平均値、分散、標準偏差、変動係数は、それぞれ、次式で表される。
平均値μσ=X〜=(1/n)・ΣkXk (Σkは、Σk=1〜nを表す。以下同様)
分散 σ2=(1/n)・Σk(Xk−X〜)2
標準偏差(7=√σ2}=√{(1/n)・Σk(Xk−X〜)2}
変動係数Cv=σ/X〜
2個の変数X,Yに対し、共分散、相関係数を次式で定義できる。
共分散 C(x,Y)=σXY=(1/n)・Σk(Xk−X〜)・(Yk−Y〜)・・・(A5)
相関係数R(X,Y)=ρXY=C(X,Y)/{σ(X)σ(Y)}
=Σk(Xk−X〜)・(Yk−Y〜)/[√{Σk(Xk−X〜)2}・√{Σk(Yk−Y〜)2}]・・・(A6)
R(X,Y)は、−1≦R(X,Y)≦1の値となる。
主成分分析(PCA、Principal Component Analysis)は、多変量解析の手法の一つで、多くの変数のデータをできるだけ情報の損失なしに少数個(m個)の総合的指標(主成分)で表現する手法である。P次元のデータを、m次元のデータに縮約するという意味で、次元圧縮に用いることもできる。主成分分析では、データの変数間の共分散行列または相関行列を用いて、この行列の固有値問題を解き、固有値の大きい方から第一主成分、第二主成分、・・・と主成分を求めていく。これにより、相関係数を最大化するような少数の合成変数を主成分として取り出す。主成分得点(スコア)は、元のデータをこの次元で表現したものである。
通常、主成分を求めるには、例えば、多数の標本データの重心を通る直
線を引く場合を考えると、この直線は適当な重みaiをつけ、
合成変数Z=a1・x1+a2・x2a2・・・+xnan ・・・・(A8)
となるZを考えればよいが、各点から直線への距離が最小になるように直線を引く必要がある。このようにするには、
a1+a2+・・・+an=1 ・・・(A9)
の条件下で合成変数Zの分散が最大になるようにすればよい。
変量が2個の時で、分散共分散行列から主成分を求める例を、以下に説明すると、標本データの分散共分散行列Cを、
|S11 S12|
C=|S21 S22| とすると、
CU=ΛU(Λ:実数) ・・・ (A10)
を満たす時、Λ(ラムダ)をCの固有値、UをΛに属する固有ベクトルという。
|a1|
U=|a2|とするとき、|C−ΛI|=O (I:単位行列) ・・・ (A11)
を固有方程式という。 この固有方程式から固有値Λを求める。
|C−Λ| I=0 ・・・ (A12)
|S11 S12| |10|
|S21 S22|−Λ・|01|=0 ・・・ (A13)
|S11−Λ S12 |
|S21 S22−Λ|=0 ・・・ (A14)
(S11−Λ)・(S22−Λ)−S12 2=0 ・・・ (A15)
となり、これから、固有値Λが求まる。
Λ=[(S11+S22)±√{(S11+S12)2−4・(S11S22−S12 2)}]/2 ・・・(A16)
次に、固有ベクトルU=|a1|を求める。
|a2|
|S11 S12| |a1| |a1|
|S21 S22|・|a2|=Λ・0|a2| ・・・ (A17)
|S11・a1+S12・a2=Λ・a1
|S12・a1+S22・a2=Λ・a2
|a1 2+a2 2=1
よって、
a1=±S12/√{(S12)+(Λ−S11)}
a2=±(Λ−S11/√{(S12)+(Λ−S11)}2 ・・・・(A19)
第1主成分の式は、Z1=a1・x1+a2・x2 であるが、
原点を0からデータの重心(x1,x2)に移動すると、
Z1=a1・(x1−x〜)+a2・(x2−x〜) ・・・ (A20)
この式を用いて主成分得点(スコア)を求めることができる。
変量がP個ある場合も、同様に、
CU=ΛU(Λ:実数)、|C−ΛI|=0の固有方程式を解いて固有値Λを得て、
固有値ΛをΛ1≧Λ2≧・・・≧ΛP≧0とすると、
固有値の大きい方から順に、第1主成分、第2主成分、・・・、第p主成分となるので、
各Λ1に属する固有ベクトルUを求めると、同様に、各主成分の係数を得ることができる。
最大の固有値Λ1から、第1主成分が得られ、Λ1に属する固有ベクトルaiを求めて、第1主成分の式が求められる。
(第1主成分の式): Z=a1・x1+a2・x2+・・・ap・xp+a0 ・・・(A21)
(第2主成分の式): Z2=a1′・x1+a2′・x2+・・・xP+aP+a0′ ・・・(A22)
以下、同様にして第p主成分まで求めることができる。
参照群の分光反射率を、多変数r=[rl,r2 ・・・rL]tとすると、
分光反射率集合の平均ベクトル、及び共分散行列は、
平均ベクトルr〜=(1/n)・Σi・ri ・・・(A23)
共分散行列Crr= 集合平均<(r−r〜)・(r−r〜)T={1/(n−1}・Σ・(r−r〜)・(r−r〜)T ・・・ (A24)
上記のr=[rl,r2 ・・・rL]tを、互いに無関係な少数個の変数に換するための正規直交基底ベクトルをUI,U2,・・・,ULとすると、この2つの基底ベクトルを用いる座標変換は、
座標変換a=UT(r−r〜) ・・・(A25)
ただし、U=[u1,u2,・・・,uL]
無相関化によって、a=[al,a2 ・・・,aL]Tの共分散行列は対角化されるとすると、
|σ1 2 |
| σ2 2 |
共分散行列Caa=<a・aT>=| ・ | ・・・(A26)
| ・ |
| ・ |
|0 σL 2|
Caa=<UT(r−r〜)・(UT(r−r〜))T>=UT<(r−r〜)・(r−r〜))TU=UTCrrU ・・・(A27)
2 制御回路
3 CPU
22 操作入力部
24 データメモリ
25 メモリカード媒体
25 画像メモリ媒体
28 プログラムメモリ
32 分光フィルタ駆動部
34 焦点レンズ駆動部
35 ズーム駆動部
36 ブレ補正駆動部
38 シャッタ駆動部
39 ストロボ
40 ストロボ駆動回路
41 LED
42 LED駆動回路
44 検出回路
58 撮像光学系
59 分光フィルタ
60 撮像素子
63 イメージセンサ部
64 水平走査部
65 垂直走査部
67 DSP部
69 前処理部
71 帯域別信号処理部
72 マルチプレーン加算回路
73 RGB変換部
74 階調変換ガンマ補正部
75 カラーマトリクス回路
76 解像度変換部
77 コントローラ
78 画像認識処理部
79 測光処理/合焦検出/分光特性抽出処理部
80 画像データバス
84 表示駆動回路
85 表示部
Claims (24)
- 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、
このフィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、
前記フィルタ手段の後方に配置され、該フィルタ手段が透過波長帯域を変化させる毎に撮像する撮像手段と、
この撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と
を備えることを特徴とする撮像装置。 - 前記機能実現手段は、
前記連続分光情報に基づき、被写体の種別を判別する判別手段を備え、
この判別手段により判別された被写体の種別に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行することを特徴とする請求項1記載の撮像装置。 - 前記機能実現手段は、
前記判別手段により判別された被写体の種別に応じて撮影条件を設定する設定手段を備えることを特徴とする請求項追加請求項2記載の撮像装置。 - 前記機能実現手段は、
前記判別手段により判別された被写体の種別に基づいて、撮影シーンを判別する撮影シーン判別手段を備え、
前記設定手段は、前記撮影シーン判別手段により判別された撮影シーンに応じて撮影条件を設定することを特徴とする請求項3記載の撮像装置。 - 前記機能実現手段は、
前記判別手段により判別された被写体の種別を表示させる種別表示制御手段を備えることを特徴とする請求項2、3又は4記載の撮像装置。 - 前記撮像手段により撮像された被写体像を表示する表示手段と、
この表示手段に表示された被写体像において主要被写体を特定する特定手段とを備え、
前記判別手段は、前記特定手段により特定された前記主要被写体における前記連続分光情報に基づき、前記被写体の種別を判別することを特徴とする請求項2から5にいずれか記載の撮像装置。 - 被写体の種類、素材、材質等の被写体の種別を判別するための判別情報を記憶した判別情報記憶手段を備え、
前記判別手段は、前記判別情報記憶手段に記憶された前記判別情報と、前記連続分光情報との比較に基づき、前記被写体の種別を判別することを特徴とする請求項2から6にいずれか記載の撮像装置。 - 前記判別情報記憶手段は、複数の判別情報を記憶し、
前記判別手段は、前記複数種の判別情報と前記連続分光情報とを比較演算して、その演算結果に基づき前記被写体の種別を判別することを特徴とする請求項7記載の撮像装置。 - 前記判別情報には、人の肌を判別するための人物判別情報が含まれ、
前記判別手段は、前記記憶手段に記憶されている人物判別情報と前記連続分光情報とに基づき、前記被写体の種別を判別することを特徴とする請求項7記載の撮像装置。 - 前記判別情報には、人物以外の他の被写体を判別するための物質判別情報が含まれ、
前記判別手段は、前記記憶手段に記憶されている物質判別情報と前記連続分光情報とに基づき、前記被写体の種別を判別することを特徴とする請求項7記載の撮像装置。 - 前記判別情報には、コンクリート、タイル、石材、レンガ、アルミ、塗装等の建造物の壁面又は地面の構成被写体を判別するための面判別情報が含まれ、
前記判別手段は、前記記憶手段に記憶されている面判別情報と前記連続分光情報とに基づき、前記被写体の種別を判別することを特徴とする請求項7記載の撮像装置。 - 前記判別情報には、被写体の材質を判別するための材質判別情報が含まれ、
前記判別手段は、前記記憶手段に記憶されている材質判別情報と前記連続分光情報とに基づき、前記被写体の種別を判別することを特徴とする請求項7記載の撮像装置。 - 前記設定手段により設定される撮影条件は、露出補正の設定条件、ストロボ発光条件、ホワイトバランスの設定条件、ISO感度の設定条件、測光方式の選択、フォーカスモードの選択、合焦させるAFエリアの選択のいずれか少なくとも一つを含むことを特徴とする請求項3から12にいずれか記載の撮像装置。
- 前記設定手段は、更に、撮影動作に応答して記録手段に記録される記録画像の画像補正条件を前記撮影条件として設定することを特徴とする請求項3から13にいずれか記載の撮像装置。
- 前記機能実現手段は、
前記連続分光情報に基づき、被写体の特性を示す視覚情報を生成する生成手段と、
この生成手段により生成された前記被写体の特性を示す視覚情報を表示させる視覚情報表示制御手段と
を備えることを特徴とする請求項1から14にいずれか記載の撮像装置。 - 前記生成手段は、被写体の予め指定された範囲における特性を示す視覚情報を生成し、
前記視覚情報表示制御手段は、前記生成手段により生成された前記被写体の予め指定された範囲における特性を示す視覚情報を表示させることを特徴とする請求項15記載の撮像装置。 - 前記判別情報には、時間経過に伴う被写体の状態変化を判別するための状態変化判別情報が含まれ、
前記判別手段は、前記記憶手段に記憶されている状態変化判別情報と前記連続分光情報とに基づき、前記被写体の状態変化を判別することを特徴とする請求項7記載の撮像装置。 - 前記時間経過に伴う被写体の状態変化には、少なくとも被写体の劣化、成熟、退色が含まれることを特徴とする請求項17記載の撮像装置。
- 前記機能実現手段は、
前記撮像手段により撮像された被写体像を表示するとともに、自動焦点制御を行う領域を示すフォーカス枠を表示する表示手段と、
前記連続分光情報に基づき、被写体を特定するための特定情報を取得する特定情報取得手段と、
この特定情報取得手段により取得された特定情報と被写体像から抽出した情報とを比較することにより、前記表示手段に表示された被写体像において目標被写体を識別する識別手段と、
この識別手段により識別された前記目標被写体に前記フォーカス枠を追従させる追従制御手段と
を備えることを特徴とする請求項1から18にいずれか記載の撮像装置。 - 前記特定情報は、分光特性情報又は分光特性情報から判別された被写体情報もしくは素材、材質の種類情報であることを特徴とする請求項19記載の撮像装置。
- 前記撮像手段により撮像された前記透過波長帯域毎の画像データを合成する合成手段と、
この合成手段により合成された合成画像データを記録手段に記録する記録制御手段とを更に備えることを特徴とする請求項1から20にいずれか記載の撮像装置。 - 前記フィルタ手段が変化させる被写体光の透過波長帯域を選択する選択手段を備え、
前記分光制御手段は、前記選択手段により選択された前記被写体光の透過波長帯域を複数の狭波長帯域に分割し、前記フィルタ手段を前記狭波長帯域に順次変化させることを特徴とする請求項1から21にいずれか記載の撮像装置。 - 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、
このフィルタ手段の後方に配置された撮像手段とを備える撮像装置が有するコンピュータを、
前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御手段と、
この撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と
して機能させることを特徴とする撮像装置制御プログラム。 - 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、
このフィルタ手段の後方に配置された撮像手段とを備える撮像装置の制御方法であって、
前記フィルタ手段に駆動信号を入力して、前記透過波長帯域を複数段に変化させる分光制御ステップと、
この撮像手段により撮像された透過波長帯域毎の分光画像が有する情報の連続からなる連続分光情報に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップと
を含むことを特徴とする撮像装置制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007239241A JP5056297B2 (ja) | 2007-09-14 | 2007-09-14 | 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007239241A JP5056297B2 (ja) | 2007-09-14 | 2007-09-14 | 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009071676A true JP2009071676A (ja) | 2009-04-02 |
JP2009071676A5 JP2009071676A5 (ja) | 2010-10-21 |
JP5056297B2 JP5056297B2 (ja) | 2012-10-24 |
Family
ID=40607461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007239241A Expired - Fee Related JP5056297B2 (ja) | 2007-09-14 | 2007-09-14 | 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5056297B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011069757A (ja) * | 2009-09-28 | 2011-04-07 | Hitachi Solutions Ltd | スペクトル解析装置 |
JP2011193066A (ja) * | 2010-03-12 | 2011-09-29 | Sanyo Electric Co Ltd | 撮像装置 |
JP2012004716A (ja) * | 2010-06-15 | 2012-01-05 | Sanyo Electric Co Ltd | 撮像装置及び電子機器 |
JP2012165078A (ja) * | 2011-02-03 | 2012-08-30 | Olympus Imaging Corp | 撮像装置および撮像プログラム |
JP2013026669A (ja) * | 2011-07-15 | 2013-02-04 | Tokyo Institute Of Technology | ノイズ低減装置、ノイズ低減方法及びプログラム |
JP2013090169A (ja) * | 2011-10-19 | 2013-05-13 | Panasonic Corp | 撮像装置 |
US9347831B2 (en) | 2014-02-26 | 2016-05-24 | Seiko Epson Corporation | Electronic apparatus and control method of electronic apparatus |
JPWO2014133076A1 (ja) * | 2013-02-27 | 2017-02-02 | 株式会社ニコン | 撮像素子および電子機器 |
JP2020155860A (ja) * | 2019-03-19 | 2020-09-24 | 富士ゼロックス株式会社 | 情報処理システム及びプログラム |
WO2022271153A1 (en) * | 2021-06-22 | 2022-12-29 | Hewlett-Packard Development Company, L.P. | Liquid crystal tunable polarization filters for color imagers |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6862229B2 (ja) | 2017-03-15 | 2021-04-21 | キヤノン株式会社 | 解析装置、撮像装置、解析方法、および、プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0541830A (ja) * | 1991-08-06 | 1993-02-19 | Minolta Camera Co Ltd | 人物適応露出制御装置 |
JP2000152254A (ja) * | 1998-11-05 | 2000-05-30 | Nippon Hoso Kyokai <Nhk> | 波長選択型液晶カメラ装置 |
JP2005142938A (ja) * | 2003-11-07 | 2005-06-02 | Casio Comput Co Ltd | 電子カメラ、制御プログラム |
JP2007194917A (ja) * | 2006-01-19 | 2007-08-02 | Seiko Epson Corp | 画像の撮影シーンに適した効果処理の設定 |
JP2007208757A (ja) * | 2006-02-03 | 2007-08-16 | Casio Comput Co Ltd | カメラ装置及びカメラ制御プログラム |
-
2007
- 2007-09-14 JP JP2007239241A patent/JP5056297B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0541830A (ja) * | 1991-08-06 | 1993-02-19 | Minolta Camera Co Ltd | 人物適応露出制御装置 |
JP2000152254A (ja) * | 1998-11-05 | 2000-05-30 | Nippon Hoso Kyokai <Nhk> | 波長選択型液晶カメラ装置 |
JP2005142938A (ja) * | 2003-11-07 | 2005-06-02 | Casio Comput Co Ltd | 電子カメラ、制御プログラム |
JP2007194917A (ja) * | 2006-01-19 | 2007-08-02 | Seiko Epson Corp | 画像の撮影シーンに適した効果処理の設定 |
JP2007208757A (ja) * | 2006-02-03 | 2007-08-16 | Casio Comput Co Ltd | カメラ装置及びカメラ制御プログラム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011069757A (ja) * | 2009-09-28 | 2011-04-07 | Hitachi Solutions Ltd | スペクトル解析装置 |
JP2011193066A (ja) * | 2010-03-12 | 2011-09-29 | Sanyo Electric Co Ltd | 撮像装置 |
JP2012004716A (ja) * | 2010-06-15 | 2012-01-05 | Sanyo Electric Co Ltd | 撮像装置及び電子機器 |
JP2012165078A (ja) * | 2011-02-03 | 2012-08-30 | Olympus Imaging Corp | 撮像装置および撮像プログラム |
JP2013026669A (ja) * | 2011-07-15 | 2013-02-04 | Tokyo Institute Of Technology | ノイズ低減装置、ノイズ低減方法及びプログラム |
JP2013090169A (ja) * | 2011-10-19 | 2013-05-13 | Panasonic Corp | 撮像装置 |
JPWO2014133076A1 (ja) * | 2013-02-27 | 2017-02-02 | 株式会社ニコン | 撮像素子および電子機器 |
US9347831B2 (en) | 2014-02-26 | 2016-05-24 | Seiko Epson Corporation | Electronic apparatus and control method of electronic apparatus |
JP2020155860A (ja) * | 2019-03-19 | 2020-09-24 | 富士ゼロックス株式会社 | 情報処理システム及びプログラム |
JP7234720B2 (ja) | 2019-03-19 | 2023-03-08 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム及びプログラム |
WO2022271153A1 (en) * | 2021-06-22 | 2022-12-29 | Hewlett-Packard Development Company, L.P. | Liquid crystal tunable polarization filters for color imagers |
Also Published As
Publication number | Publication date |
---|---|
JP5056297B2 (ja) | 2012-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5056297B2 (ja) | 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 | |
JP5082648B2 (ja) | 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 | |
US8462238B2 (en) | Camera design for the simultaneous capture of near-infrared and visible images | |
WO2021238843A1 (zh) | 一种基于多光谱图像探测技术的环境色温测试方法及系统 | |
JP5040600B2 (ja) | 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 | |
US9060110B2 (en) | Image capture with tunable polarization and tunable spectral sensitivity | |
WO2017023209A1 (en) | Hyperspectral imaging apparatus and method | |
US20120213407A1 (en) | Image capture and post-capture processing | |
WO2013120956A1 (fr) | Procede et dispositif de mesure de la couleur d'un objet | |
US20090141974A1 (en) | Image processing apparatus and method, and program | |
US8836808B2 (en) | Adaptive color imaging by using an imaging assembly with tunable spectral sensitivities | |
US20190058837A1 (en) | System for capturing scene and nir relighting effects in movie postproduction transmission | |
JP2003284082A (ja) | 正確な電子色捕獲及び再生の装置および方法 | |
JP2009290694A (ja) | 撮像装置 | |
US9432642B2 (en) | Imaging system and method having extended depth of field | |
US8654210B2 (en) | Adaptive color imaging | |
KR20150128002A (ko) | 실외 및 실내에서의 홍채이미지 획득장치 및 방법 | |
Wu et al. | Development of an underwater multispectral imaging system based on narrowband color filters | |
US20120212636A1 (en) | Image capture and post-capture processing | |
JP5040628B2 (ja) | 撮像装置、印刷システム、撮像装置制御プログラム及び撮像装置制御方法 | |
Kriesel et al. | True-color night vision cameras | |
CN212228729U (zh) | 成像系统 | |
EP2805514B1 (en) | Apparatus for ambient light spectrum detection in digital photography | |
WO2018136732A1 (en) | Multiple band multiple polarizer optical device | |
US11079277B2 (en) | Spectral imaging device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100908 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120703 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120716 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5056297 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |