JP2006039144A - 撮像装置及びその制御方法、及び、撮像装置の自動焦点調節装置 - Google Patents

撮像装置及びその制御方法、及び、撮像装置の自動焦点調節装置 Download PDF

Info

Publication number
JP2006039144A
JP2006039144A JP2004217774A JP2004217774A JP2006039144A JP 2006039144 A JP2006039144 A JP 2006039144A JP 2004217774 A JP2004217774 A JP 2004217774A JP 2004217774 A JP2004217774 A JP 2004217774A JP 2006039144 A JP2006039144 A JP 2006039144A
Authority
JP
Japan
Prior art keywords
unit
lens
lens unit
focus
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004217774A
Other languages
English (en)
Other versions
JP4612814B2 (ja
JP2006039144A5 (ja
Inventor
Hiroto Okawara
裕人 大川原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004217774A priority Critical patent/JP4612814B2/ja
Priority to US11/184,281 priority patent/US7570879B2/en
Priority to EP05254553A priority patent/EP1624673B1/en
Priority to CN2005100871253A priority patent/CN1727982B/zh
Priority to KR1020050067860A priority patent/KR100682428B1/ko
Publication of JP2006039144A publication Critical patent/JP2006039144A/ja
Publication of JP2006039144A5 publication Critical patent/JP2006039144A5/ja
Application granted granted Critical
Publication of JP4612814B2 publication Critical patent/JP4612814B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】 レンズユニットが着脱自在なカメラ本体において、レンズユニット種別の違いにかかわらず目的の主被写体を違和感無く安定して合焦する技術を提供する。
【解決手段】 接続されたレンズユニットの種別が判定されると、その判定結果に基づいてローパスフィルタ214、215、及び、ハイパスフィルタ217にカットオフ周波数を設定する。撮像素子の所定領域内の周波数成分データについて、ピークホールド回路219乃至221、225乃至227、積分回路232乃至237、差分ピークホールド回路247乃至249にてそれぞての評価値情報を生成する。カメラマイコン114は、得られた評価値情報をレンズユニット内のレンズマイコンに送信する。
【選択図】 図2

Description

本発明は、レンズユニットを交換可能な撮像装置、その自動焦点調節装置に関するものである。
従来より、ビデオカメラ等の映像器に用いられている自動焦点調節装置として、CCD等撮像素子から得られる映像信号中の高周波成分を抽出し、この高周波成分が最大となるように撮影レンズを駆動して焦点調節行う、いわゆる山登り方式が知られている(TTLオートフォーカス)。このような自動焦点調節方式は、焦点調節用の特殊な光学部材が不要であり、遠方で近くでも距離によらずに正確にピントを合わせることができる等の長所を有する。
この種の自動焦点調節処理をレンズが交換できるビデオカメラに使用された例について、図8を用いて説明する。
図示において、801はフォーカシングレンズであって、レンズ駆動用モータ811によって、光軸方向に移動させて焦点合わせを行う。このレンズを通った光は、撮像素子802の撮像面上に結像されて電気信号に光電変換され、映像信号として出力される。この映像信号は、CDS/AGC803でサンプルホールドしてから所定のレベルに増幅され、A/D変換器804でデジタル映像データへと変換され、カメラのプロセス回路へ入力されて、標準テレビジョン信号に変換されると共に、バンドパスフィルタ805(以下BPF)へと入力される。BPF805では、映像信号中の高周波成分を抽出し、ゲート回路806で画面内の合焦検出領域に設定された部分に相当する信号のみを抜き出し、ピークホールド回路807で垂直同期信号の整数倍に同期した間隔でピークホールドを行い、AF評価値を生成する。このAF評価値は本体AFマイコン808に取り込まれ、本体AFマイコン508内で合焦度に応じて、フォーカシング速度、及び、AF評価値が増加するようにモータ駆動方向を決定し、フォーカスモータの速度及び方向をレンズマイコン809に送る。レンズマイコン809は、本体マイコン808に指示された通りにモータドライバ810を介したモータ811によってフォーカシングレンズ801を光軸方向にうごかすことで焦点調節をおこなう。
しかしながら、上記従来例は、自動焦点調節の制御をカメラ本体に持ち、限られた特定のレンズユニットの範囲で最適になるように自動焦点調節の応答性等を決定しているものであって、その限られたレンズユニット以外のレンズユニットへ交換する場合には性能を出すのは難しい。
これに対し、レンズユニットが交換可能なカメラシステムにおいて、カメラ本体はAF駆動信号を生成するのではなく、AF評価情報を生成し、レンズユニットはカメラ本体とは独立してフォーカシングする技術がある(特許文献1)。
特開平9−9130号公報
しかしながら上記文献に記載の従来例では、次のような問題があった。
先ず、カメラ本体とレンズユニットの開発時期が比較的近い場合、レンズユニットは装着されるカメラの撮像系仕様に合わせ、フォーカシングレンズの位置分解能を決めているので格別な問題は発生しない。
ところが、昨今のカメラに搭載されている撮像素子は、より微細化、高密度化が図られてきている。従って、1号機から数年後のタイミングで後継機(仮に2号機という)を開発する場合、用いられる撮像素子は当然、前世代よりも微細化・高密度化が進んだ撮像素子が選択される事となる。換言すれば、2号機の撮像素子の画素ピッチが小さくなり、許容錯乱円の縮小化されることになる。
従って、1号機の許容錯乱円に合わせてフォーカシングレンズの位置分解能を決定している旧レンズを、開発しようとする2号機のカメラ本体に装着すると、2号機では許容錯乱円が小さいため、オートフォーカス(AF)動作した際のウォブリング等の動きの影響を受けた映像が撮像されることになる。
また、カメラ本体の撮像素子の画素ピッチで決まる許容錯乱円が1号機と同じであっても、例えば単板撮像素子(CCD)システムを3板CCDシステムにする場合や、3板CCDシステムでRGBの各CCDの取付位置を1/2画素相当ずらし、画素補間する事で解像度UPを図る、所謂「画素ずらし」システムを用いる場合など、撮影画像の実質の画素密度がUPし、実質の許容錯乱円が小型化し、上述の問題と同様な現象が発生してしまっていた。
本発明は上述の問題点を解消し、開発時期の異なるレンズユニットとカメラ本体がどのように組み合わされても、あらゆる被写体や撮影条件で目的の主被写体を違和感無く、安定して合焦する技術を提供しようとするものである。
本発明に於ける第1の発明は、撮像手段より出力された撮像信号中より、画面内の1つまたは複数の焦点検出領域の1つまたは複数の焦点信号を抽出する抽出手段と、前記抽出手段出力信号のレベルの増減に基づいて光学系のフォーカシングレンズを合焦点へ駆動する駆動方向及び駆動速度を決定する制御手段と、前記制御手段に基づいて前記フォーカシングレンズを駆動する駆動手段と、前記制御手段及び前記駆動手段をレンズユニット内に持ち、前記抽出手段出力を前記レンズユニットに引き渡す、レンズユニットを交換可能な撮像装置の自動焦点調節装置において、組み合わされるレンズユニットの種別情報に応じて、前記抽出手段の抽出特性を変更することを特徴とする撮像装置の自動焦点調節装置にある。
本発明に於ける第2の発明は、前記フォーカシングレンズを単一方向に駆動させ、ピント状態をボケ状態から合焦状態を経由してボケ状態とした際に、ピント状態に応じて変化する焦点信号レベルが描く増減カーブ形状において、該増減カーブ形状の急峻度を変化させるよう、前記抽出手段の抽出特性を変更する、第1の発明に記載される自動焦点調節装置にある。
本発明に於ける第3の発明は、前記抽出手段の抽出特性は、抽出する帯域成分の利得を変更する事を特徴とした、第2の発明に述べられる記載される自動焦点調節装置にある。
本発明に於ける第4の発明は、前記抽出手段の抽出特性は、抽出する帯域成分の中心周波数は変更せずに、帯域幅を変更する事を特徴とした、第2の発明に記載される自動焦点調節装置にある。
本発明によれば、許容錯乱円が縮小化されたカメラ本体が、装着されるレンズユニットの種別情報を検出し、レンズユニットのフォーカシングレンズの位置分解能が、前記許容錯乱円とマッチしない場合には、カメラ本体側でレンズユニット側に引き渡すAF評価値に対し、そのデフォーカス特性の描く山形状が、より急峻な形状(Q値が高くなる形状)となるようにAF評価値生成特性を変更するという手段を設ける。この結果、AF評価値のデフォーカス特性はシャープな山形状と出来るので、山極大点の合焦ポイントから、所定レベルAF評価値が下がるフォーカスレンズ位置ズレ量は、山形状が平坦な場合に比べ、小振幅とする事が可能となる。従って、レンズユニット側のAF制御の変更を伴うことなく、カメラ本体のAF評価値生成特性を変更するだけで、合焦点付近でのAF動作に伴う位置変化範囲は自ずと狭める事が可能となり、AF動作時の動きを見えなくすることが可能となる。また、本発明によれば、過去発売したレンズユニット群の資産を損なうことなく、高画素・高性能な撮影画像を得ることが可能な、レンズ交換可能なカメラシステムを提供でき、ユーザーに無駄な出費を強いない、ユーザーフレンドリーなカメラシステムとして商品提供できる、という効果を有する。
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
図1は、本発明の実施形態における撮像システムの構成を示す図である。図中、128はデジタルビデオカメラ本体(以下、単にカメラ本体)であり、127は交換可能なレンズユニットを示している。カメラ本体128とレンズユニット127のそれぞれの接続部には接続端子が設けられ、レンズユニット127をカメラ本体128に装着した際に、たがいに電気的に接続される。
被写体からの光は、レンズユニット内で固定されている第1のレンズ群101、変倍を行う稼働可能な第2のレンズ群102、絞り103、固定されている第3のレンズ群104、焦点調節機能と変倍による焦点面の移動を補正するコンペ機能とを兼ね備えた稼働可能な第4のレンズ群105(以下フォーカスレンズと称す)を通って、3原色中の赤(R)の成分はCCD等の撮像素子106上に、緑(G)の成分はCCD等の撮像素子107上に、青(B)の成分はCCD等の撮像素子108の上にそれぞれ結像される。
撮像素子上のそれぞれの像は光電変換され、増幅器108、109、110でそれぞれ最適なレベルに増幅されカメラ信号処理回路112へ供給され標準テレビ信号に変換されると同時に、AF信号処理回路113へも供給される。
AF信号処理回路113で生成されたAF評価値情報は、本体マイコン114内のデータ読み出しプログラム115によって読み出され、レンズマイコン116へ転送する。また、本体マイコン114は、ズームスイッチ130及びAFスイッチ131を読み込み、スイッチの状態をレンズマイコン116に送る。
レンズマイコン116内では、AFプログラム117が本体マイコン114からのAFスイッチ131の状態およびAF評価値情報を受け取り、AFスイッチ131がオンのときは、このAF評価値に基づいてモータ制御プログラム118を介して、フォーカスモータドライバ126でフォーカスモータ125を駆動し、フォーカシングレンズ105を光軸方向に移動させて焦点合わせを行う。
図2は、AF信号処理回路113の詳細を示し、図3は撮像素子のAF評価領域並びにAF信号処理回路113の処理タイミングを示す図である。
図3において、外側の枠は撮像素子106、107、108の出力の有効映像画面である。内側の3分割された枠は焦点調節用のゲート枠で、左側のL枠、中央のC枠、右側のR枠を示すゲート信号が枠生成回路254から出力される。これらの各枠の開始位置でリセット信号をLR1、CR1、RR1で生成し、後述する積分回路、ピークホールド回路等をリセットする。また枠生成回路254は、1フレームの評価処理の終了を示す信号IR1を生成し、各積分値、ピークホールド値を各バッファに転送させる。また、偶数フィールドの走査を実線で、奇数フィールドの走査を点線でしめす。偶数フィールド、奇数フィールド共に、偶数ラインはTE_LPF出力を選択し、奇数ラインはFE_LPF出力を選択する。以下、図2の各構成を、図3と共に説明する。
増幅器108、109、110でそれぞれ最適なレベルに増幅された赤(R)、緑(G)、青(B)のCCD出力信号は、それぞれA/D変換器206、207、208でデジタル信号に変換され、カメラ信号処理回路112へと送られると同時にそれぞれアンプ209、210、211で適切に増幅され、加算器208で加算され、自動焦点調節用輝度信号S5を生成する。ガンマ回路213はこの信号S5を入力し、前もって決められたガンマカーブでガンマ変換し、低輝度成分を強調し高輝度成分を抑圧した信号S6を生成する。ガンマ変換された信号S6は、カットオフ周波数の高いLPFであるTE−LPF214と、カットオフ周波数の低いLPFであるFE−LPF215に供給される。マイコン114は、マイコンインターフェース253を通して決定したそれぞれのフィルタ特性を示すパラメータをTE−LPF214、FE−LPF215に設定することで、信号S6の低域成分を示す出力信号S7及びS8が生成される。
信号S7及び信号S8は、スイッチ216に供給される。スイッチ216は、水平ラインが偶数番目か奇数番目かを識別する信号であるLineE/O信号にしたがい、信号S6、S7のいずれか一方をハイパスフィルタ(以下HPF )217へ出力する。実施形態では、映像信号の偶数ラインを示すタイミングでは信号S7をHPF217へと通し、奇数ラインの場合には信号S8を通すようにした。
HPF217は、マイコン114がマイコンインターフェース253を通して決定した奇数/偶数それぞれのフィルタ特性で高域成分のみを抽出し、絶対値回路 218はその信号を絶対値化することで正の信号S9を生成する。この信号S9は、ピークホールド回路225、226、227、及びラインピークホールド回路231へ供給される。
枠生成回路(window generator)254は、図3で示されるような画面内の位置に焦点調節用のL枠、C枠、R枠を示すゲート信号を生成する。
ピークホールド回路225には枠生成回路254出力のL枠を示すゲート信号及び水平ラインが偶数番目か奇数番目かを識別する信号であるLineE/O信号が入力され、図3で示されるように焦点調節用L枠の左上隅のLR1位置で、ピークホールド回路225の初期化を行い、マイコンからマイコンインターフェース253を通して指定した偶数ラインか奇数ラインのどちらかの各枠内の信号S9をピークホールドし、タイミングIR1で、バッファ228へL枠内のTEピーク評価値、FEピーク評価値(以下、TE/FE評価値)を格納する。
同様に、ピークホールド回路226には枠生成回路254からのC枠ゲート信号及びLineE/O信号が入力され、図3で示される焦点調節用C枠の左上隅のCR1位置でピークホールド回路226の初期化をおこない、マイコンからマイコンインターフェース253を通して指定した偶数ラインか奇数ラインのどちらかの各枠内の信号S9をピークホールドし、タイミングIR1で、バッファ229に枠C内のピークホールド値(TE/FEピーク評価値)を格納する。
さらに同様に、ピークホールド回路227には枠生成回路254出力のR枠ゲート信号及びLineE/O信号が入力され、図3で示される焦点調節用R枠の左上隅のRR1の位置でピークホールド回路227の初期化をおこない、マイコンからマイコンインターフェース253を通して指定した偶数ラインか奇数ラインのどちらかの各枠内の信号S9をピークホールドし、タイミングIR1で、バッファ230に枠R内のピークホールド値(TE/FEピーク評価値)を格納する。
ラインピークホールド回路231には、信号S9及び枠生成回路254出力のL枠、C枠、R枠が入力され、各枠内の水平方向の開始点で初期化され、各枠内の信号S9の1ライン中のピーク値をホールドする。積分回路232乃至237には、ラインピークホールド回路231出力及び水平ラインが偶数番目か奇数番目かを識別する信号であるLineE/O信号が入力されると同時に、積分回路232、235には、枠生成回路出力L枠、積分回路233、236には枠生成回路出力C枠、積分回路34、37には枠生成回路出力R枠を示す信号が入力される。
積分回路232は、焦点調節用L枠の先頭である左上のLR1位置で初期化をおこない、各枠内の偶数ラインの終了直前でラインピークホールド回路出力を内部レジスタに累積加算し、タイミングIR1で、加算結果であるラインピーク積分評価値をバッファ238に格納する。積分回路233は、焦点調節用C枠の先頭である左上のCR1で初期化をおこない、枠内の偶数ラインの終了直前でラインピークホールド回路出力を内部レジスタに累積加算し、タイミングIR1において、加算結果であるラインピーク積分評価値をバッファ239に格納する。積分回路234は、焦点調節用R枠の先頭である左上のRR1で初期化をおこない、各枠内の偶数ラインの終了直前でラインピークホールド回路出力を内部レジスタに累積加算し、タイミングIR1において、バッファ240に加算結果をラインピーク積分評価値として格納する。
積分回路235、236、237は、それぞれ積分回路232、233、234が偶数ラインのデータについて加算する代わりに、それぞれ奇数ラインのデータの加算を行ない、それぞれバッファ241、242、243に結果を転送する。
また、信号S7は、ピークホールド回路219、220、221及びライン最大値ホールド回路244及びライン最小値ホールド回路245に入力される。
ピークホールド回路219は枠生成回路254からのL枠ゲート信号を入力し、L枠の先左上隅のタイミングLR1で、ピークホールド回路219の初期化をおこない、L枠内の信号S7をピークホールドし、タイミングIR1で、ピークホールド結果(L枠の内の最大値)をYピーク評価値としてバッファ222に格納する。同様に、ピークホールド回路220は枠生成回路254からのC枠ゲート信号を入力し、C枠の左上隅のタイミングCR1で初期化をおこない、C枠内の信号S7をピークホールドし、タイミングIR1で、ピークホールド結果をYピーク評価値としてバッファ223に格納する。さらに同様に、ピークホールド回路221は枠生成回路254出力のR枠ゲート信号が入力され、R枠の左上隅のタイミングRR1で初期化をおこない、R枠内の信号S7をピークホールドし、タイミングIR1で、ピークホールド結果をYピーク評価値としてバッファ224に格納する。
ライン最大値ホールド回路244及びライン最小値ホールド回路245には、枠生成回路254からのL枠、C枠、R枠ゲート信号が入力され、各枠内の水平方向の開始点で初期化され、各枠内の信号S7の1ラインのそれぞれ最大値及び最小値をホールドする。これらでホールドされた最大値及び最小値は、減算器246へと入力され、「最大値−最小値」の差分信号S10が計算され、ピークホールド回路247、248、249に供給される。
ピークホールド回路247は枠生成回路254からのL枠ゲート信号を入力し、L枠の先頭である左上隅のタイミングLR1で初期化をおこない、L枠内の信号S10をピークホールドし、タイミングIR1で、ピークホールド結果をMax-Min評価値としてバッファ250に格納する。同様にピークホールド回路248は枠生成回路254からのC枠ゲート信号を入力し、C枠の先頭である左上隅のタイミングCR1で初期化をおこない、C枠内の信号S10をピークホールドし、タイミングIR1で、ピークホールド結果をMax-Min評価値としてバッファ251格納する。さらに同様にピークホールド回路249は枠生成回路254からのR枠ゲート信号を入力し、R枠の先頭である左上隅のタイミングRR1で初期化をおこない、R枠内の信号S10をピークホールドし、タイミングIR1におおいて、ピークホールド結果をMax-Min評価値としてバッファ252に格納する。
以上の結果、バッファ222〜224、228〜230、238〜243、及び、250〜252には評価値情報が格納される。枠生成回路254は、タイミングIR1でマイコン114に対して割り込み信号を出する。マイコン114は、この割り込み信号を受けてマイコンインターフェース253を通してバッファ222〜224、228〜230、238〜243、及び、250〜252内の各評価値情報を、それらバッファに次のデータが格納される前に読み取り、垂直同期信号に同期してレンズマイコン116に転送する。
図7は、カメラ本体とレンズの通信タイミングを示している。前述のように、本体マイコンで読み込まれたAF評価値情報は、垂直同期信号(V同期)に同期して、垂直同期信号の直後にレンズマイコンに転送する。
次に各枠内のTE/FEピーク評価値、TEラインピーク積分評価値、FEラインピーク積分評価値、Yピーク評価値、Max-Min評価値を使用してレンズマイコン116がどのように自動焦点調節動作をするか説明する。
TE/FEピーク評価値は合焦度を表わす評価値で、ピークホールド値なので比較的被写体依存が少なくカメラのぶれ等の影響が少なく、合焦度判定、再起動判定に最適である。TEラインピーク積分評価値、FEラインピーク積分評価値も合焦度を表わすが、積分効果でノイズの少ない安定した評価値なので方向判定に最適である。さらにピーク評価値もラインピーク積分評価値も、TEの方がより高い高周波成分を抽出しているので合焦近傍に最適で、逆にFEは合焦から遠い大ボケ時に最適である。また、Yピーク評価値やMax-Min評価値は合焦度にあまり依存せず被写体に依存するので、合焦度判定、再起動判定、方向判定を確実に行なうために、被写体の状況把握するのに最適である。つまりYピーク評価値で高輝度被写体か低照度被写体かの判定を行ない、Max-Min評価値でコントラストの大小の判定を行ない、TE/FEピーク評価値、TEラインピーク積分評価値、FEラインピーク積分評価値の山の大きさを予測し補正することで、最適な制御をする。これらの評価値、及び評価値の種別や内容を表すバージョン情報が、カメラ本体128からレンズユニット127に転送され、レンズユニット内のレンズマイコン116で自動焦点調節動作が行われる。
図4を用いてレンズユニット内のレンズマイコンでの、変倍動作が行われていないときの、AFプログラム117の自動焦点調節動作のアルゴリズムについて説明する。尚、レンズユニットへの電源はカメラ本体から供給されるものである。
最初起動(ステップSA1)し、TEやFEピークのレベルで速度制御をかけ、山の頂上付近ではTEラインピーク積分評価値、山の麓ではFEラインピーク積分評価値を主に使用して方向制御することで山登り制御(ステップSA2)を行なう。次に、TEやFEピーク評価値の絶対値やTEラインピーク積分評価値の変化量で、山の頂点判断(A3)を行ない、頂上付近で合焦点確認動作を行う(A4)。最もレベルの高い点で停止し、再起動待機(ステップSA5)に移行する。再起動待機では、TEやFEピーク評価値のレベルが下がったことを検出した場合、再起動(ステップSA6)する。この自動焦点調節動作のループの中で、TE/FEピークを用いて速度制御をかける度合いや、山の頂上判断の絶対レベル、TEラインピーク積分評価値の変化量等は、Yピーク評価値やMax-Min評価値を用いた被写体判断より山の大きさの予測を行ない、これに基づいて決定する。
図6は本発明の特徴である装着されたレンズユニットの種別情報に応じ、送出するAF評価値の特性を切り換える方法について説明するための図面であり、本体マイコン114内で行われる処理フローを示している。
ここではカメラ本体が後発に開発されている事を想定しており、許容錯乱円=αであるとする(図5(a)のカメラ3の種別)。また、装着の可能性があるレンズユニット群は、位置分解能が異なっており、次式(1)で決まる焦点深度内に、3〜4ポイントの停止位置を持つように位置分解能が設定されているとする。
焦点深度=実質許容錯乱円×Fno …(1)
図5(a)はカメラ本体の種別情報であるが、カメラ毎の撮像系システムの違いにより、実質許容錯乱円がそれぞれ異なっている。ここで、実質というのは、3板CCDの場合や、画素ずらしの有無、CCD全受像エリアを縮小して撮像画を生成するのか?、等倍で切り出すのか?、720(H)×480(V)のCCDをそのまま使っているのか?等により、モニター上の空間周波数で換算される見かけ上の錯乱円の事を意味している。
例えば、画素ずらし有りの場合、実施形態のCCDの解像度よりも約1.5倍UPすることになり、実質許容錯乱円は{CCDセルピッチで決まる錯乱円}×Fno/1.5の係数分縮小されることになる。逆に、1440(H)*960(V)のCCDを縮小してNTSCの動画像を生成する場合には、2倍になった分だけ、錯乱円は大きくなることになる。また、カメラの種別毎にサポート出来るレンズユニット種別も示しているが、カメラ毎の発売タイミングで存在するレンズユニットのみをサポートすることとなる。図6で説明するフローチャートはカメラ3に組み込まれているファームウェアであり、カメラ3はレンズ1,2,3をサポートする。
一方、図5(b)はレンズユニットの種別情報を表しており、それぞれ対応可能な実質許容錯乱円、サポートするカメラ本体の種別情報を示している。ここでのサポートとは、実質許容錯乱円的にフォーカス位置分解能が満足するカメラの撮像系を意味していおり、図5(b)に対応カメラ毎の焦点深度内のフォーカス停止可能ポイント、及び制御上の最小移動単位を示す。レンズユニット3は、カメラ本体1,2,3を全てサポートし、レンズ内でカメラ種別に応じてフォーカス位置分解能を最適化する切替制御が入れ込んであり、カメラ1本体に対しては3ポイント単位を最小移動量とし、カメラ本体2には2ポイント、カメラ本体3には1ポイント単位で制御する。
一方、レンズ1,2はそれぞれカメラ本体1,カメラ本体1,2までしかサポートできず、カメラ本体3の実質錯乱円から想定される焦点深度では、レンズ1で1ポイント、レンズ2で2ポイントの停止位置しか有しないので、合焦ポイントは出せるものの、合焦点近傍でのウォブリング動作などは、焦点深度を超える動きとなり、AF動作の動きが映像変化となって目に見える結果となっていた。特にエッジが強調される光った縦線などの被写体が有ると、別の被写体の出入りで再起動動作がかかった場合など、主被写体はピントが維持できているのにエッジ被写体はエッジ幅がフォーカスの動きに合わせ変化し、動きが見えたり、落ち着きのない印象を与える結果となっていた。しかもレンズ1,2は世の中に既に出回っており、レンズ3のようにカメラ本体3を検出して、フォーカス位置分解能を切り換えるような制御を行うことも不可能になっているものである。
カメラ本体3は装着されるレンズが1または2であった場合に、AFの挙動が映像に影響してしまって不自然な映像が見えるという問題を解決する為のフローが図6である。
実施形態の特徴とする点は、装着レンズの種別情報に応じAF評価値に生成特性を変更することにある。
先ず、ステップS601で起動し、ステップS602で初期設定として本体マイコンのAF評価値を生成するための設定を行う(図2で説明した、TE_LPF214やFE_LPF215やHPF217のフィルタ特性を設定し、AF評価値として抽出する中心周波数、抽出帯域幅、抽出信号のゲイン設定を決定する)。
カメラ本体3の場合、ステップS602で設定されるAF評価値抽出フィルタ設定は、レンズ3を想定して、標準的な帯域設定を行うものとする。次に図7の通信タイミングでレンズマイコンと通信するため、ステップS603で垂直同期信号が来るまで待機し、その同期信号が発生するとステップS604で相互通信を行い、先に説明した評価値の送信と、図5に示した種別情報のデータのやりとりをする。すなわち、カメラ本体側では自身の種別情報をレンズユニットに送信し、レンズユニットからはその種別情報を受信する。
なお、装着されたレンズユニットの種別情報の受信は、図7のタイミングに限定されず、電源ON時、レンズユニットの交換が不図示のセンサで検出されたタイミングで行っても良い。
ステップS605では、設定したレンズの種別情報、並びに、設定済のAF評価値の抽出特性がマッチしているかを判別する。装着レンズがレンズ3の場合には、ステップS602で設定した抽出特性と一致しているので、ステップS608へ進み、カメラの通常制御を実行し、次の垂直同期信号が来るまでステップS603で待機する。
また、ステップS605で装着レンズがレンズ3以外であると判定した場合、ステップS606へ進み、レンズ種別情報がレンズ1または2なのかを確認する。レンズ1又は2が装着されていると判定した場合には、ステップS607に進み、AF評価値の抽出特性をレンズ1または2用に変更し、図2のTE_LPF214やFE_LPF215や、HPF217を所定の特性に切替を行い、ステップS603へ戻る。
従って次回の通信ではステップS605でレンズマイコンとのバージョンが一致しているのでステップS608の処理が行える。
一方、レンズ1または2の装着を解除して、レンズ3を装着した場合には、ステップS605の判定でレンズ種別と抽出特性とがマッチしなくなり、ステップS606に進むが、今回はレンズ3が装着されているので、ステップS609でレンズ3用の標準的な評価値抽出特性に設定され、図2のTE_LPF214やFE_LPF215、並びに、HPF217を所定の特性に切替えた後に、ステップS603へ戻る動作となる。
以上、図6のフロ−チャートでレンズ種別毎にAF評価値の抽出特性を切り換える動作について説明した。次に、レンズ3用の抽出特性と、レンズ1または2用の評価値抽出特性の違いについて、図9、図10を用いて説明する。
図6のステップS602で設定するレンズ3用の抽出特性は、図9(a)の基本とするフィルタ特性901である。この特性は、TE_LPF214とHPF217とで構成される高域側の評価値成分を抽出するための特性であり、中心周波数と帯域幅とで決定される。この周波数は、受像機で解像される空間周波数、AFのピント精度、ボケ状態から合焦点に円滑に至らすための特性決定のためのものである(図9(d)の符号903)。
さらにカメラ本体の撮像系システムが異なっても、標準的なチャート撮影した際に得られる評価値レベルが、同様なレベルとなるように、ゲイン設定で有る程度規格化可能となっている。このように規格化されたAF評価値とすることで、レンズユニットに対し装着されるカメラ本体が異なっても、レンズユニット内のAF制御で用いられるパラメータを、レンズユニットの種類毎に変更する必要が無いようにしている。
ところが、レンズユニットが本例のレンズ1または2の場合と、レンズ3の場合とで、フォーカス位置分解能が異なり、レンズ1または2ではカメラ3の実質許容錯乱円に対して分解能が不足する。このような場合には、図9(b)の符号902の様に中心周波数のゲイン特性を持ち上げることで、図9(c)の符号905の様なシャープなAF評価値特性を生成する。この結果、同じボケレベル907だけ変化した際の、フォーカス移動量が、基本の評価値特性903のフォーカス移動量904に比べ、符号906の様に移動量が小さくなるようにすることが出来る。すなわち、フォーカシングレンズの移動量が小さいわけであるから、AF処理中の映像への影響が小さいことを意味する。
従って、実際のAF動作では合焦点近傍での合焦確認のためのフォーカス移動範囲を、実質許容錯乱円比較で小さくすることが出来るので、様々な撮影シーンであっても、フォーカスレンズの動きが画面上で見えてしまうといった問題を防止することが可能となる。
なお、図9(b)では、抽出フィルタの中心周波数抽出ゲインを変更したが、図9(e)では、上述した規格化する際の一律ゲイン設定を、規格化レベル以上に増幅させ、図9(c)と同様に急峻なAF評価値にデフォーカス特性を得るようにしても良い。基本の評価値特性に対して一律ゲインをかけることで符号903の形状は、符号908の様なデフォーカス特性になる。このとき、同じボケレベル907だけ変化した際の、フォーカス移動量が、基本の評価値特性903のフォーカス移動量904に比べ、909の様に移動量が小さくなるようにすることが可能となる。
図9では、主としてAF評価値の帯域抽出を行う際のゲインを、装着レンズの種別に応じ切り換える手法について説明した。これによって本発明が限定されるものではない。例えば、ゲインを変更する変わりに、帯域幅を変えても良い。
図10(a)は図9(a)と同様な基本となる抽出フィルタ特性である(符号901)。このときの中心周波数は1.5MHzで帯域幅設定は−6dBのポイントを基準として、500kHz〜2.5MHzとしているが、この帯域幅を図10(b)の符号1001の様に幅を狭める。本例では、1MHz(1002)〜2MHz(1003)としており、このフィルタで抽出されるAF評価値は図10(c)の符号1004の様に、903比較でシャープなデフォーカス特性となる。従って、AF動作時の動きが画面上に見えることを防ぐことが可能となる。
上述の例では、評価値抽出フィルタのゲイン特性、帯域幅特性をそれぞれ変更する2つの例を説明してきたが、これらは排他的であるわけではなく、それらを組み合わせでも構わないし、評価値のデフォーカス特性の急峻度(Q値)を変化させる事が可能ならば、どのような手法であっても構わない。
以上説明してきたように、本実施形態によれば、カメラ本体の実質許容錯乱円に対して、フォーカス位置分解能が不足気味のレンズが装着された場合、カメラ本体より送出するAF評価値特性が、デフォーカス特性として急峻な形状となるように評価値を抽出する抽出手段特性を変更する手法を用いることにより、AF動作の見えを抑制できるので、過去のカメラ仕様に合わせた旧レンズが装着されても、違和感無く円滑なAFを実現できる交換レンズカメラシステムを提供することが可能となる。そして、最新撮像技術に基づいた高解像・高性能・高付加価値といったカメラへの買い換えに対しても、ユーザーの持つ旧レンズという資産を最大限に活用しつつ、円滑に移行でき、満足度の高いカメラシステムとして提供することが可能となる。
実施形態における撮像システムの構成を示す図である。 実施形態におけるAF信号処理回路の詳細を示す図である。 撮像素子におけるAF評価領域を示す図である。 レンズユニット内のレンズマイコンの処理内容を示すフローチャートである。 レンズユニットとカメラ本体それぞれの種類と対応関係を示す図である。 実施形態におけるカメラ本体内のカメラマイコンの処理を示すフローチャートである。 実施形態におけるレンズユニットとカメラ本体との通信タイミングを示すフローチャートである。 従来のカメラ装置のブロック構成図である。 ゲイン調整により評価情報を生成と、評価情報によるレンズユニットのフォカシングレンズの移動距離が少なくなる原理を示す図である。 帯域調整により評価情報を生成と、評価情報によるレンズユニットのフォカシングレンズの移動距離が少なくなる原理を示す図である。

Claims (8)

  1. 撮像手段より出力された撮像信号中より、画面内の1つまたは複数の焦点検出領域の1つまたは複数の焦点信号を抽出する抽出手段と、前記抽出手段出力信号のレベルの増減に基づいて光学系のフォーカシングレンズを合焦点へ駆動する駆動方向及び駆動速度を決定する制御手段と、前記制御手段に基づいて前記フォーカシングレンズを駆動する駆動手段と、前記制御手段及び前記駆動手段をレンズユニット内に持ち、前記抽出手段出力を前記レンズユニットに引き渡す、レンズユニットを交換可能な撮像装置の自動焦点調節装置において、組み合わされるレンズユニットの種別情報に応じて、前記抽出手段の抽出特性を変更することを特徴とする撮像装置の自動焦点調節装置。
  2. 前記フォーカシングレンズを単一方向に駆動させ、ピント状態をボケ状態から合焦状態を経由してボケ状態とした際に、ピント状態に応じて変化する焦点信号レベルが描く増減カーブ形状において、該増減カーブ形状の急峻度を変化させるよう、前記抽出手段の抽出特性を変更することを特徴とする請求項1に記載の自動焦点調節装置。
  3. 前記抽出手段の抽出特性は、抽出する帯域成分の利得を変更する事を特徴とする請求項2に記載の自動焦点調節装置。
  4. 前記抽出手段の抽出特性は、抽出する帯域成分の中心周波数は変更せずに、帯域幅を変更する事を特徴とする請求項2に記載される自動焦点調節装置。
  5. 撮像部を有し、レンズユニットが脱着可能なカメラ本体としての撮像装置であって、
    カメラ本体から送信されたAF評価情報に基づいて、カメラ本体から独立してフォーカシングレンズの位置調整を実行するレンズマイコンを内蔵するレンズユニットを接続する接続手段と、
    接続されたレンズユニットの種別を判定する判定手段と、
    接続されたレンズユニットを介し、前記撮像部で撮像された映像データと前記判定手段の判定結果に基づき、山型カーブを持つAF評価情報の急峻度を調整する調整手段と、
    該調整手段で調整したAF評価情報を接続されたレンズユニットに送信する送信手段と
    を備えることを特徴とする撮像装置。
  6. 前記調整手段は、前記撮像部中の所定領域内の映像データの周波数帯域の所定周波数のゲインを調整することを特領とする請求項5に記載の撮像装置。
  7. 前記調整手段は、前記撮像部中の所定領域内の映像データの周波数帯域幅を調整することを特領とする請求項5に記載の撮像装置。
  8. 撮像部と、カメラ本体から送信されたAF評価情報に基づいて、カメラ本体から独立してフォーカシングレンズの位置調整を実行するレンズマイコンを内蔵するレンズユニットを接続する接続手段とを備え、レンズユニットが脱着可能なカメラ本体としての撮像装置の制御方法であって、
    接続されたレンズユニットの種別を判定する判定工程と、
    接続されたレンズユニットを介し、前記撮像部で撮像された映像データと前記判定工程の判定結果に基づき、山型カーブを持つAF評価情報の急峻度を調整する調整工程と、
    該調整工程で調整したAF評価情報を接続されたレンズユニットに送信する送信工程と
    を備えることを特徴とする撮像装置の制御方法。
JP2004217774A 2004-07-26 2004-07-26 自動焦点調節装置及びその制御方法並びに撮像装置 Expired - Fee Related JP4612814B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004217774A JP4612814B2 (ja) 2004-07-26 2004-07-26 自動焦点調節装置及びその制御方法並びに撮像装置
US11/184,281 US7570879B2 (en) 2004-07-26 2005-07-18 Image sensing apparatus, control method therefor, and automatic focus adjusting device for image sensing apparatus
EP05254553A EP1624673B1 (en) 2004-07-26 2005-07-21 Image sensing apparatus and control method therefor
CN2005100871253A CN1727982B (zh) 2004-07-26 2005-07-26 图像传感装置及其控制方法
KR1020050067860A KR100682428B1 (ko) 2004-07-26 2005-07-26 촬상장치 및 그 제어 방법 및, 촬상장치의 자동 초점조절장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004217774A JP4612814B2 (ja) 2004-07-26 2004-07-26 自動焦点調節装置及びその制御方法並びに撮像装置

Publications (3)

Publication Number Publication Date
JP2006039144A true JP2006039144A (ja) 2006-02-09
JP2006039144A5 JP2006039144A5 (ja) 2007-09-06
JP4612814B2 JP4612814B2 (ja) 2011-01-12

Family

ID=35124374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004217774A Expired - Fee Related JP4612814B2 (ja) 2004-07-26 2004-07-26 自動焦点調節装置及びその制御方法並びに撮像装置

Country Status (5)

Country Link
US (1) US7570879B2 (ja)
EP (1) EP1624673B1 (ja)
JP (1) JP4612814B2 (ja)
KR (1) KR100682428B1 (ja)
CN (1) CN1727982B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015504574A (ja) * 2012-01-26 2015-02-12 エルジー・ケム・リミテッド 安全性の向上した電池モジュール及びこれを含む電池パック

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100727838B1 (ko) * 2001-04-24 2007-06-14 삼성테크윈 주식회사 초점조절 기능을 가지는 카메라 시스템
US7969673B2 (en) * 2008-11-11 2011-06-28 Phokus Research Group, Llc Night vision instrument focus device
JP2010271359A (ja) * 2009-05-19 2010-12-02 Canon Inc オートフォーカス装置および撮像装置
JP5791285B2 (ja) * 2011-02-02 2015-10-07 キヤノン株式会社 撮像装置、焦点調整方法、プログラム
CN103283215B (zh) * 2011-06-09 2017-03-08 郑苍隆 自动聚焦图像系统
US10924697B2 (en) * 2013-02-27 2021-02-16 Nikon Corporation Image sensor and electronic device having imaging regions for focus detection extending in first and second different directions

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0446471A (ja) * 1990-06-14 1992-02-17 Toshiba Corp 自動焦点調節装置
JPH07115581A (ja) * 1993-10-15 1995-05-02 Canon Inc オートフォーカス装置
JPH08320438A (ja) * 1995-05-25 1996-12-03 Olympus Optical Co Ltd 位相差検鏡用自動焦点検出装置
JPH095609A (ja) * 1995-06-23 1997-01-10 Canon Inc カメラシステム
JPH1010414A (ja) * 1996-06-20 1998-01-16 Canon Inc 撮像装置
JPH1042184A (ja) * 1996-07-26 1998-02-13 Fuji Photo Film Co Ltd フイルムスキャナーの自動焦点調節装置
JP2004191814A (ja) * 2002-12-13 2004-07-08 Canon Inc オートフォーカス装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369461A (en) * 1988-07-29 1994-11-29 Canon Kabushiki Kaisha Automatic focus adjusting device in camera system
JP2791044B2 (ja) * 1988-08-31 1998-08-27 キヤノン株式会社 レンズ交換可能なカメラ及びレンズユニット及びカメラシステム
DE69034036T2 (de) * 1989-02-09 2003-08-14 Canon K.K., Tokio/Tokyo Kameragerät
EP0481418A3 (en) * 1990-10-15 1992-11-25 Canon Kabushiki Kaisha Image pickup apparatus provided with interchangeable lenses
US5371566A (en) * 1992-03-05 1994-12-06 Olympus Optical Co., Ltd. Camera system
JP3189157B2 (ja) * 1992-09-25 2001-07-16 株式会社ニコン レンズ交換可能なカメラシステム
US6236431B1 (en) * 1993-05-27 2001-05-22 Canon Kabushiki Kaisha Video camera apparatus with distance measurement area adjusted based on electronic magnification
US6222588B1 (en) * 1993-05-28 2001-04-24 Canon Kabushiki Kaisha Automatic focus adjusting device with driving direction control
JP3610093B2 (ja) * 1994-08-04 2005-01-12 キヤノン株式会社 撮像装置
JP3943608B2 (ja) 1995-06-22 2007-07-11 キヤノン株式会社 カメラ及びレンズユニット
US6683652B1 (en) 1995-08-29 2004-01-27 Canon Kabushiki Kaisha Interchangeable lens video camera system having improved focusing
JP3610167B2 (ja) * 1996-07-30 2005-01-12 キヤノン株式会社 レンズ制御方法及び装置
US6650367B1 (en) * 1997-12-11 2003-11-18 Canon Kabushiki Kaisha Lens device, imaging apparatus, imaging system, lens control system and computer readable storage medium
JP2002122778A (ja) * 2000-10-19 2002-04-26 Fuji Electric Co Ltd 自動焦点調節装置および電子的撮像装置
JP2002258381A (ja) * 2001-02-28 2002-09-11 Asahi Optical Co Ltd レンズ交換式カメラ、そのカメラボディおよび撮影レンズ
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP4235424B2 (ja) 2002-09-19 2009-03-11 キヤノン株式会社 カメラおよびカメラシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0446471A (ja) * 1990-06-14 1992-02-17 Toshiba Corp 自動焦点調節装置
JPH07115581A (ja) * 1993-10-15 1995-05-02 Canon Inc オートフォーカス装置
JPH08320438A (ja) * 1995-05-25 1996-12-03 Olympus Optical Co Ltd 位相差検鏡用自動焦点検出装置
JPH095609A (ja) * 1995-06-23 1997-01-10 Canon Inc カメラシステム
JPH1010414A (ja) * 1996-06-20 1998-01-16 Canon Inc 撮像装置
JPH1042184A (ja) * 1996-07-26 1998-02-13 Fuji Photo Film Co Ltd フイルムスキャナーの自動焦点調節装置
JP2004191814A (ja) * 2002-12-13 2004-07-08 Canon Inc オートフォーカス装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015504574A (ja) * 2012-01-26 2015-02-12 エルジー・ケム・リミテッド 安全性の向上した電池モジュール及びこれを含む電池パック

Also Published As

Publication number Publication date
CN1727982B (zh) 2011-03-23
JP4612814B2 (ja) 2011-01-12
EP1624673A1 (en) 2006-02-08
KR100682428B1 (ko) 2007-02-15
US7570879B2 (en) 2009-08-04
US20060018649A1 (en) 2006-01-26
CN1727982A (zh) 2006-02-01
KR20060046785A (ko) 2006-05-17
EP1624673B1 (en) 2012-12-26

Similar Documents

Publication Publication Date Title
JP3975395B2 (ja) カメラシステム
CN108462830B (zh) 摄像装置及摄像装置的控制方法
JP2002190981A (ja) 撮像装置、撮影レンズ装置および撮像システム
JP5089154B2 (ja) オートフォーカスシステム
WO2018051730A1 (ja) レンズ装置、カメラシステム、及びレンズ駆動方法
KR100682428B1 (ko) 촬상장치 및 그 제어 방법 및, 촬상장치의 자동 초점조절장치
JP4642542B2 (ja) 焦点調節装置、撮像装置、およびその制御方法
JP2011217311A (ja) 撮像装置および撮像装置の制御方法
US6507367B2 (en) Image pickup apparatus for varying filter characteristics for focus adjustment
JP4925168B2 (ja) 撮像方法および装置
JP2008003144A (ja) レンズ調整システム
JP3943610B2 (ja) カメラ及びレンズユニット
JP2018185354A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP5320937B2 (ja) 焦点検出装置および撮像装置
JP2006215285A (ja) オートフォーカスシステム
JP3943608B2 (ja) カメラ及びレンズユニット
JP2010204303A (ja) 撮像装置
JP2004056222A (ja) 撮像装置、撮像装置の制御方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
JPH095609A (ja) カメラシステム
JP2010197524A (ja) 撮像装置
JP5295197B2 (ja) 焦点調節装置、撮像装置、およびその制御方法
JPH0915486A (ja) 交換レンズ式カメラシステム
JP4336696B2 (ja) 撮像装置
JP2007060577A (ja) 撮像装置
JP2004151608A (ja) オートフォーカスシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070720

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101001

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101016

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees