JP2008309883A - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
JP2008309883A
JP2008309883A JP2007155358A JP2007155358A JP2008309883A JP 2008309883 A JP2008309883 A JP 2008309883A JP 2007155358 A JP2007155358 A JP 2007155358A JP 2007155358 A JP2007155358 A JP 2007155358A JP 2008309883 A JP2008309883 A JP 2008309883A
Authority
JP
Japan
Prior art keywords
focus detection
focus
image blur
detection pixel
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007155358A
Other languages
English (en)
Other versions
JP5012236B2 (ja
Inventor
Shigeo Takahashi
茂雄 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007155358A priority Critical patent/JP5012236B2/ja
Priority to EP08157742.1A priority patent/EP2019546B1/en
Priority to US12/155,738 priority patent/US8284295B2/en
Publication of JP2008309883A publication Critical patent/JP2008309883A/ja
Application granted granted Critical
Publication of JP5012236B2 publication Critical patent/JP5012236B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/16Viewfinders combined with focusing aids
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】像ブレに起因する焦点検出の信頼性低下を抑制する。
【解決手段】複数の焦点検出用画素を有する焦点検出用画素列が複数の撮像用画素の二次元配列中に組み込まれ、撮影光学系により結像される像を受光して画像信号と焦点検出信号を出力するローリングシャッター方式の撮像兼焦点検出素子を備え、焦点検出用画素列から出力される焦点検出信号に基づいて撮影光学系の焦点調節状態を検出するとともに、像ブレ量を検出し、ローリングシャッターの走査方向と異なる方向に配列された焦点検出用画素列において、焦点検出手段により検出された焦点調節状態の信頼性を像ブレ量に応じて判定し、信頼性ありと判定された焦点調節状態に基づいて撮影光学系の焦点調節を行う。
【選択図】図17

Description

本発明はデジタルカメラに関する。
撮像用画素を二次元状に配列したCMOS型素子の一部を焦点検出用画素列に置き換え、撮影レンズにより結像された被写体像の画像信号を出力するとともに、撮影レンズの焦点調節状態を示す焦点検出信号を出力する撮像兼焦点検出素子を備えた撮像装置が知られている(例えば、特許文献1参照)。
この出願の発明に関連する先行技術文献としては次のものがある。
特開2000−292686号公報
上述した従来の撮像装置では、ローリングシャッターによる走査方向と異なる方向に配列された焦点検出用画素列から焦点検出信号を読み出す際に像ブレが発生すると、焦点検出信号に像ブレに起因したノイズ成分が混入し、この焦点検出信号に基いて焦点検出演算を行っても検出結果の信頼性が低下してしまうという問題がある。
(1) 請求項1の発明は、複数の焦点検出用画素を有する焦点検出用画素列が複数の撮像用画素の二次元配列中に組み込まれ、撮影光学系により結像される像を受光して画像信号と焦点検出信号を出力するローリングシャッター方式の撮像兼焦点検出素子を備え、焦点検出用画素列から出力される焦点検出信号に基づいて撮影光学系の焦点調節状態を検出するとともに、像ブレ量を検出し、ローリングシャッターの走査方向と異なる方向に配列された焦点検出用画素列において、焦点検出手段により検出された焦点調節状態の信頼性を像ブレ量に応じて判定し、信頼性ありと判定された焦点調節状態に基づいて撮影光学系の焦点調節を行う。
(2) 請求項2のデジタルカメラは、像ブレ量の積算値が所定のしきい値を超えた場合に、ローリングシャッターの走査方向と異なる方向に配列された焦点検出用画素列の焦点調節状態には信頼性がないと判定するようにしたものである。
(3) 請求項3のデジタルカメラは、検出された焦点調節状態の信頼性を示すパラメーターを算出し、パラメーターとしきい値とを比較して焦点調節状態の信頼性を判定する際に、像ブレ量の積算値に応じてしきい値を変更する。
(4) 請求項4のデジタルカメラは、焦点検出用画素列ごとに像ブレ量を検出し、各焦点検出用画素列の焦点調節状態の信頼性を、焦点検出画素列ごとの像ブレ量に応じて判定するようにしたものである。
(5) 請求項5のデジタルカメラは、撮影者の手ブレを検出するとともに被写体ブレを検出し、手ブレ量と被写体ブレ量とに基づいて像ブレ量を検出するようにしたものである。
本発明によれば、像ブレによる焦点検出結果の信頼性低下を抑制することができる。
図1は一実施の形態のデジタルカメラの構成を示す図である。撮影レンズ1はズーミングレンズ1a、絞り1b、フォーカシングレンズ1cなどから構成され、被写体像を撮像兼焦点検出素子2の受光面に結像する。撮像兼焦点検出素子2は、複数の画素を平面上に配列したCMOS型イメージセンサーであり、各画素の出力をローリングシャッター方式で読み出す。撮像兼焦点検出素子2は撮像用画素と焦点検出用画素と有し、撮影レンズ1により結像された被写体像の画像信号を出力するとともに、撮影レンズ1の焦点調節状態を示す焦点検出信号を出力する。この撮像兼焦点検出素子2の詳細については後述する。
信号処理回路3は、撮像兼焦点検出素子2から出力される画像信号および焦点検出信号に増幅処理やゲイン調整を施す回路である。A/Dコンバーター4は処理後の画像信号および焦点検出信号をデジタル信号に変換する。画像処理回路5は、画像信号に各種の補正処理や圧縮処理を施すとともに、撮影時に焦点検出用画素の出力を周辺の撮像用画素の出力により補完して画像信号を生成する回路である。記録装置6はメモリカードなどの着脱可能な記録媒体に撮影画像を記録し、表示装置7はカメラ背面に設けられるLCDに撮影画像のスルー画像や各種撮影に関する情報を表示する。
駆動回路8は絞り1bとフォーカシングレンズ1cを駆動制御し、タイミングジェネレーター(T/G)9は撮像兼焦点検出素子2、信号処理回路3、A/Dコンバーター4および画像処理回路5へ各処理を開始または終了させるためのタイミング信号を出力する。制御装置10はCPU10a、メモリ10b、タイマー10cなどを備え、画像処理回路5、記録装置6、表示装置7、駆動回路8、およびタイミングジェネレーター9を制御してカメラのシーケンス制御、撮像制御、焦点検出制御、焦点調節制御、画像処理制御、画像記録制御、画像表示制御などを行う。なお、メモリ10bは各種のソフトウエアカウンターやソフトウエアフラグとして用いられるとともに、焦点検出用画素列ごとの像ブレ量積算値などが記憶される。
制御装置10にはカメラの各種操作を行うためのスイッチ、コマンドダイヤル、方向キーなどの操作部材11が接続されている。操作部材11には、シャッターボタンの半押し操作に連動してオン、オフするレリーズ半押しスイッチ、シャッターボタンの全押し操作に連動してオン、オフするレリーズスイッチ、連続撮影モードなどの各種撮影モードを切り換える撮影モードセレクターなどが含まれる。
ブレ検出器12はジャイロセンサーを備え、像ブレ量を検出する。すなわち、カメラを保持する撮影者の手ブレに起因するカメラのブレ量を検出するとともに、連続して撮像した画像の差分を取って動きベクトルを算出し、動きベクトルに基づいて被写体のブレ量を検出し、カメラブレ量と被写体ブレ量とに基づいて像ブレ量を検出する。
図2〜図6は撮像兼焦点検出素子2の構造を示す図である。図2は撮像兼焦点検出素子2を構成する画素20の断面図であり、撮像兼焦点検出素子2はこのような画素20が二次元状に配列されたものである。各画素20は光電変換部21の前にマイクロレンズ22が配置され、光電変換部21は全画素共通の半導体基板23上に形成される。
図3は撮像兼焦点検出素子2の正面(受光面)図であり、焦点検出用画素列2a、2b、2c、2d、2e、2fの配置を示す。図4〜図6に示すように、焦点検出用画素列2a〜2fは、図2に示す画素20のマイクロレンズ22の前面に遮光マスク24を設けた焦点検出用画素20Aと20Bを交互に一列に配列したものである。焦点検出用画素列2a〜2fは、撮影レンズ1の撮影画面に設定された複数の焦点検出エリアのそれぞれに対応する位置に配置されている。なお、この明細書では焦点検出用画素20A、20B以外の画素20を便宜上、撮像用画素と呼ぶ。
遮光マスク24は、マイクロレンズ22の頂点を通る円弧でマイクロレンズ22の表面を二分したときの片方の表面を覆うように設けられ、隣接する焦点検出用画素20Aと20Bで遮光マスク24による遮光面が対称となるように配置される。換言すれば、焦点検出用画素列2a〜2fでは、焦点検出用画素20Aと20Bの遮光マスク24による遮光面が互い違いになるように、焦点検出用画素20Aと20Bが交互に配列される。
撮影画面の横方向(左右方向)に対応して配列される焦点検出用画素列2a、2b、2cでは、図5に示すように、遮光マスク24による遮光面が横方向に互い違いになるように、焦点検出用画素20Aと20Bが交互に配列される。また、撮影画面の縦方向(上下方向)に対応して配列される焦点検出用画素列2d、2e、2fでは、図6に示すように、遮光マスク24による遮光面が縦方向に互い違いになるように、焦点検出用画素20Aと20Bが交互に配列される。
この撮像兼焦点検出素子2は撮影レンズ1の予定焦点面に配置され、焦点検出用画素20A、20B以外の各撮像用画素は撮影レンズ1の射出瞳を通過した被写体からの光束を受光する。一方、各焦点検出用画素20A、20Bは、図4に示すように、撮影レンズ1の射出瞳を横(左右)方向または縦(上下)方向に二分したときの一方の領域を通過した光束(ここでは、焦点検出用光束という)25または26を受光する。換言すれば、焦点検出用画素列2a〜2fでは、焦点検出用画素20Aが撮影レンズ1による被写体像を右または上からにらみ、焦点検出用画素20Bが撮影レンズ1による被写体像を左または下からにらんでいる。
各焦点検出用画素列2a〜2fにおいて、撮影レンズ1の射出瞳の一対の領域の内の、一方の領域を通過した焦点検出用光束25を受光する焦点検出用画素20Aの出力信号列と、他方の領域を通過した焦点検出用光束26を受光する焦点検出用画素20Bの出力信号列との相対的なずれ量、つまり位相差を検出し、これら一対の信号列のずれ量すなわち位相差に基づいて撮影レンズ1の焦点調節状態すなわちデフォーカス量を検出することができる。
横方向の焦点検出用画素列2a、2b、2cでは、撮影レンズ1の射出瞳の横(左右)方向の一対の領域を通過した一対の焦点検出用光束25と26のずれ量を検出し、撮影画面の横方向における撮影レンズ1のデフォーカス量を検出する。一方、縦方向の焦点検出用画素列2d、2e、2fでは、撮影レンズ1の射出瞳の縦(上下)方向の一対の領域を通過した一対の焦点検出用光束25と26のずれ量を検出し、撮影画面の縦方向における撮影レンズ1のデフォーカス量を検出する。
図7および図8は、焦点検出用画素列2a〜2fから出力される一対の出力信号列を示す。各焦点検出用画素列(2a〜2f)の出力信号列において、撮影レンズ1の射出瞳の一方の領域を通過した焦点検出用光束25(図4参照)を受光した焦点検出用画素20Aの信号列31と、他方の領域を通過した焦点検出用光束26を受光した焦点検出用画素20Bの信号列32とを比較する。このとき、一対の信号列31と32を互いにシフトさせて比較するが、各焦点検出用画素列(2a〜2f)の全範囲にわたって比較演算を行うことはできないので、焦点検出用画素列の内の図中のハッチング領域で示す“画素出力比較領域”内において比較演算を行う。
今、ある焦点検出用画素列において図7に示すような一対の焦点検出信号列31、32が検出されたときに、画素出力比較領域において一対の焦点検出信号列31と32を互いにシフトさせながら一対の信号列31と32の相関量を演算し、図8に示すように画素出力比較領域内で一対の焦点検出信号列31と32の相関量が最小になるまでシフトする。相関量が最小になったときのシフト量が撮影レンズ1のピントずれ量に相当し、焦点検出用画素列(2a〜2f)の画素ピッチ、マイクロレンズ22の仕様などにより決まる変換係数を用いてピントずれ量をデフォーカス量に変換する。
ここで、図9を参照し、ある焦点検出用画素列を例に上げて瞳分割型位相差検出方式の相関演算処理について説明する。ある焦点検出用画素列の一対の信号列31と32をそれぞれei,fi(ただしi=1〜m)とすると、まず(1)式に示す差分型相関アルゴリズムによって相関量C(L)を求める。
C(L)=Σ|e(i+L)−f(i)| ・・・(1)
(1)式において、Lは整数であり、一対の信号列ei,fiのピッチを単位とした相対的シフト量である。また、Lのとる範囲はLmin〜Lmax(図9に示す例では−5〜+5)である。さらに、Σはパラメーターiの範囲の総和演算を表し、パラメータiのとる範囲はpからqまでであり、1≦p<q≦mの条件を満足するように定められる。pとqの値によって上述した画素出力比較領域の大きさが設定される。
(1)式による演算結果は、図9(a)に示すように、一対の信号列ei,fiの相関が高いシフト量L=kj(図9(a)ではkj=2)において相関量C(L)が最小になる。次に、(2)〜(5)式による3点内挿の手法を用いて連続的な相関量に対する最小値C(L)min=C(x)を与えるシフト量xを求める。
x=kj+D/SLOP ・・・(2)、
C(x)= C(kj)−|D| ・・・(3)、
D={C(kj-1)-C(k j+1)}/2 ・・・(4)、
SLOP=MAX{C(kj+1)-C(k j),C(kj-1)−C(k j)} ・・・(5)
また、算出したシフト量xに基づいて被写体像面の予定焦点面に対するデフォーカス量DEFを(6)式により求めることができる。
DEF=KX・PY・x ・・・(6)
(6)式において、PYは検出ピッチであり、KXは上述した射出瞳上の一対の領域の重心の開き角の大きさによって決まる変換係数である。
算出されたデフォーカス量DEFに信頼性があるかどうかは、以下のようにして判定する。図9(b)に示すように、一対の信号列ei,fiの相関度が低い場合は、内挿された相関量の最小値C(X)の値が大きくなる。したがって、C(X)が所定値以上の場合は信頼性が低いと判定する。あるいは、相関量の最小値C(X)を信号列ei,fiのコントラストで規格化するために、コントラストに比例した値となるSLOPで相関量最小値C(X)を徐した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるSLOPが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量DEFの信頼性が低いと判定する。なお、図9(c)に示すように、一対の信号列ei,fiの相関度が低く、シフト範囲Lmin〜Lmaxの間で相関量C(L)の落ち込みがない場合は、最小値C(X)を求めることができず、このような場合は焦点検出不能と判定する。
次に、CMOS型撮像兼焦点検出素子2からローリングシャッター方式で各画素の信号を読み出す方法について説明する。図10は、撮像兼焦点検出素子2からローリングシャッター方式で各画素の信号を読み出すときの走査方法を説明する図でる。CMOS型の撮像兼焦点検出素子2の各画素の信号を読み出す際には、図10に示すように撮像兼焦点検出素子2の横方向(左右方向)の最上位の走査線1から最下位の走査線nの順に走査し、この走査線の順に1行ごとの各画素の信号が読み出される。なお、撮像兼焦点検出素子2の横方向(左右方向)は撮影レンズ1の撮影画面における横方向(左右方向)と一致する。
図11は各走査線ごとの画素信号の読み出し方法を示す。最上位の走査線1から最下位の走査線nの順に走査線ごとに露光され、露光後に走査線ごとの各画素信号が読み出される。最上位の走査線1から最下位の走査線nまでを1フレーム期間とし、この1フレーム期間の露光および信号読み出し動作が繰り返し実行される。このように、CMOS型の撮像兼焦点検出素子2では、撮影画面の横方向(左右方向)の走査線ごとに画素信号の読み出しが行われるので、隣接する走査線どうしでは走査線間の信号読み込み時間差Δtが存在する。
撮影画面の横方向(左右方向)に配列される焦点検出用画素列2a、2b、2c(図3、図5参照)に対しては、画素列が1本の走査線上に重なっているので、これらの焦点検出用画素列2a、2b、2cに対応する走査線の信号読み出し時に焦点検出用画素列2a、2b、2cからそれぞれ焦点検出信号が一度に読み出される。一方、撮影画面の縦方向(上下方向)に配列される焦点検出用画素列2d、2e、2f(図3、図6参照)に対しては、画素列と走査線とが直交しているので、各焦点検出用画素列2d、2e、2fの焦点検出信号をすべて読み出すためには、各焦点検出用画素列2d、2e、2fと交差するすべての走査線上の画素の信号を読み出し、撮像用画素の撮像信号と焦点検出用画素の焦点検出信号とが混在する読み出し信号の中から焦点検出用信号を抽出する必要がある。
走査線と配列方向が直交する焦点検出用画素列2d、2e、2fでは、図12に示すように、焦点検出用画素20A、20Bごとの信号の読み出しの際に、図11に示す走査線間の信号読み出し時間差Δtと同じ時間差が生じる。したがって、走査線と直交する焦点検出用画素列2d、2e、2fからすべての焦点検出用画素の信号を読み出し終わるまでには、時間差Δtに焦点検出用画素列2d、2e、2fの焦点検出用画素の数を乗じた時間がかかることになる。
このような長い読み出し時間の間に像ブレが発生すると、読み出した焦点検出信号が実際の被写体像と一致しなくなり、焦点検出信号に像ブレに起因したノイズが混入することになる。したがって、このような焦点検出信号に基づいて上述した焦点検出演算(相関演算)を実施しても、信頼性の高い焦点検出結果は得られず、像ブレ量が大きい場合には焦点検出不能になる。
図13〜図17は一実施の形態の撮影動作を示すフローチャートである。これらのフローチャートを参照して一実施の形態の撮影動作を説明する。操作部材11のシャッターボタンが半押しされ、レリーズ半押しスイッチがオンすると、制御装置10のCPU10aは図13に示す撮影プログラムと図14に示す像ブレ量検出プログラムの実行を開始する。これらのプログラムは並列に実行される。まず、図13のステップ1において図15に示す焦点検出信号読み出しサブルーチンを実行する。
図15のステップ21において、メモリ10bに記憶されている各焦点検出用画素列2a〜2fの像ブレ量積算値を0にリセットするとともに、メモリ10bに記憶されている走査線カウンターの値を1に初期化する。走査線カウンターは画像信号を読み出す走査線の位置を示すカウンターである。ステップ22で撮像兼焦点検出素子2により焦点検出のための撮像を行う。次に、ステップ23で走査線カウント値が最下段のnより大きいか、つまり1フレーム分(図11参照)の画素信号の読み出しが終了したか否かを確認し、終了しているときは図13のステップ2へリターンし、終了していないときはステップ24へ進む。
ステップ24において、走査線カウント値の1行の画素の中に縦方向(上下方向)の焦点検出用画素列2d、2e、2fの焦点検出用画素が含まれているか否かを判別する。走査線カウント値の画素の中に縦方向の焦点検出用画素列の焦点検出用画素が含まれている場合はステップ25へ進み、メモリ10bに記憶されている縦方向の焦点検出用画素列の読み出し中フラグに1を設定し、そうでない場合はステップ26へ進んで縦方向の焦点検出用画素列の読み出し中フラグに0を設定する。
なお、この読み出し中フラグは縦方向の焦点検出用画素列2d、2e、2fごとに設け、焦点検出用画素列ごとに走査線カウント値の画素の中に縦方向の焦点検出用画素列の焦点検出用画素が含まれているか否かを確認し、焦点検出用画素列ごとに読み出し中フラグを設定する。ステップ27で走査線カウント値の1行の画素信号を読み出し、続くステップ28で走査線カウンターの値をインクリメントしてステップ24へ戻り、上述した処理を繰り返す。
次に、図14に示す像ブレ量検出動作を説明する。所定時間間隔で制御装置10のCPU10aに割り込みがかかり、CPU10aはこの像ブレ量検出プログラムを実行する。図14のステップ11において、メモリ10bに記憶されている縦方向の焦点検出用画素列読み出し中フラグに1が設定されているか否かを確認し、1が設定されている場合はステップ12へ進み、そうでない場合はこのプログラムの実行を終了する。縦方向の焦点検出用画素列読み出し中フラグが1のときは、ステップ12でブレ検出器12により検出された像ブレ量を入力する。そして、ステップ13で、読み出し中フラグに1が設定されている縦方向の焦点検出用画素列の像ブレ量積算値(メモリ10bに記憶)に今回検出された像ブレ量を加算して更新する。
図13のステップ2において、図16に示す焦点検出演算サブルーチンを実行する。図16のステップ31で、図13のステップ1で取得した焦点検出のための撮像結果から焦点検出画素列2a〜2fごとの焦点検出信号を抽出する。続くステップ32で、焦点検出用画素列2a〜2fごとに焦点検出信号に基づいて上述した焦点検出演算(相関演算)を実行し、デフォーカス量を算出する。その後、図13のステップ3へリターンする。リターン後の図13のステップ3において、図17に示す信頼性判定サブルーチンを実行する。
図17のステップ41において、メモリ10bに記憶されている縦方向の焦点検出用画素列2d、2e、2fの像ブレ量積算値が予め設定したしきい値を超えているか否かを、縦方向の焦点検出用画素列2d、2e、2fごとに判別する。像ブレ量積算値がしきい値を超えていればステップ44へ進み、像ブレ量積算値がしきい値を超えている縦方向の焦点検出用画素列の焦点検出結果のデフォーカス量を信頼性なしと判定する。像ブレ量積算値がしきい値を超えていない場合はステップ42へ進み、図9により説明した方法ですべての焦点検出用画素列2a〜2fの焦点検出結果のデフォーカス量に信頼性があるか否か(焦点検出不能か否かを含む)を判定する。
像ブレ量積算値がしきい値以下であり、かつ焦点検出演算結果のデフォーカス量に信頼性があると判定された場合は、ステップ43で当該焦点検出用画素列の焦点検出信号に基づいて得られたデフォーカス量には信頼性があると判定する。像ブレ量積算値がしきい値を超えているか、または演算結果のデフォーカス量の信頼性がない場合は、ステップ44で当該焦点検出用画素列における焦点検出結果には信頼性がないとする。信頼性判定後、図13のステップ4へリターンする。
リターン後の図13のステップ4において、すべての焦点検出用画素列2a〜2fにおける焦点検出結果の信頼性の有無を確認する。すべての焦点検出用画素列2a〜2fの焦点検出結果の信頼性がない場合はステップ10へ進み、操作部材11のシャッターボタンが半押しされているか否かを確認し、半押しされているときはステップ1へ戻って上述した処理を繰り返し、半押しされていないときは撮影動作を終了する。
焦点検出用画素列2a〜2fの内のいずれかの焦点検出結果に信頼性がある場合はステップ5へ進み、信頼性のあるデフォーカス量の中から所定のアルゴリズム、例えば最至近を示すデフォーカス量を選択し、そのデフォーカス量に基づいて目標合焦位置までのレンズ駆動量を算出する。続くステップ6でレンズ駆動量にしたがって駆動回路8によりフォーカシングレンズ1cを駆動し、合焦させる。
ステップ7で操作部材11のシャッターボタンが全押しされたか、すなわちシャッターレリーズ操作がなされたかを確認する。レリーズ操作がないときはステップ10へ進み、レリーズ半押し操作が続けられているか否かを確認し、レリーズ半押し操作が継続されているときはステップ1へ戻って上述した処理を繰り返し、レリーズ半押し操作がないときは撮影動作を終了する。
レリーズ操作がなされたときはステップ8へ進み、撮像兼焦点検出素子2により撮影のための撮像を行う。続くステップ9で、画像処理回路5で今回の撮影で取得した画像信号に対してホワイトバランスなどの各種補正処理を施すとともに、焦点検出用画素の出力(焦点検出信号)を周辺の撮像用画素の出力(画像信号)で補間し、被写体像データを生成する。この被写体像データを記録装置6に記録して撮影動作を終了する。
このように、一実施の形態によれば、複数の焦点検出用画素を有する焦点検出用画素列が複数の撮像用画素の二次元配列中に組み込まれ、撮影レンズ1により結像される像を受光して画像信号と焦点検出信号を出力するローリングシャッター方式の撮像兼焦点検出素子2を備え、焦点検出用画素列から出力される焦点検出信号に基づいて撮影レンズ1のデフォーカス量を検出するとともに、像ブレ量を検出し、ローリングシャッターの走査方向と異なる方向に配列された焦点検出用画素列の焦点調節状態の信頼性を像ブレ量に応じて判定し、信頼性ありと判定された焦点調節状態に基づいて撮影レンズ1の焦点調節を行うようにした。これにより、像ブレによる焦点検出結果の信頼性低下を抑制することができる。
一実施の形態によれば、像ブレ量の積算値が所定のしきい値を超えた場合に、ローリングシャッターの走査方向と異なる方向に配列された焦点検出用画素列のデフォーカス量には信頼性がないと判定するようにしたので、像ブレによる焦点検出結果の信頼性低下を防止することができる。
一実施の形態によれば、焦点検出用画素列ごとに像ブレ量を検出し、各焦点検出用画素列のデフォーカス量の信頼性を焦点検出画素列ごとの像ブレ量に応じて判定するようにしたので、像ブレによる焦点検出結果の信頼性低下をきめ細かく抑制することができる。
一実施の形態によれば、撮影者の手ブレを検出するとともに被写体ブレを検出し、手ブレ量と被写体ブレ量とに基づいて像ブレ量を検出するようにしたので、焦点検出結果の信頼性低下の原因となる像ブレを確実に検出することができ、焦点検出結果の信頼性低下を防ぐことができる。
《一実施の形態の変形例》
本願発明のデジタルカメラは、デジタルスチルカメラ、デジタルビデオカメラ、一眼レフデジタルカメラ、コンパクトデジタルカメラなど、あらゆる種類のデジタルカメラに適用でき、上述したような効果を得ることができる。
上述した一実施の形態では、ローリングシャッター方式の走査方向と異なる方向に配列された焦点検出用画素列として、撮影レンズ1の撮影画面の縦方向(上下方向)に配列された焦点検出用画素列2d、2e、2fを例に上げて説明したが(図3参照)、撮影画面の縦方向の焦点検出用画素列に限定されず、ローリングシャッター方式の走査線と配列方向が交差する焦点検出用画素列はすべて、それらの焦点検出用画素列で検出されるデフォーカス量の信頼性を像ブレ量に応じて判定する。なお、焦点検出用画素列の個数および配列方向は上述した一実施の形態の個数および配列方向に限定されない。
上述した一実施の形態では、ある焦点検出用画素列の像ブレ量の積算値がしきい値を超える場合には、当該焦点検出用画素列で検出されたデフォーカス量には信頼性がないと判定する例を示したが、像ブレ量積算値に応じて図9で説明した信頼性判定しきい値を変更するようにしてもよい。当然、像ブレ量積算値が大きくなるほど、信頼性ありと判定されにくくなるように信頼性判定しきい値を変更する。
このように、検出されたデフォーカス量の信頼性を示すパラメーターを算出し、このパラメーターとしきい値とを比較してデフォーカス量の信頼性を判定する際に、像ブレ量の積算値に応じて上記しきい値を変更することによって、像ブレによる焦点検出結果の信頼性低下をきめ細かく抑制することができる。
上述した一実施の形態では、焦点検出用画素20Aのマイクロレンズ22に遮光マスク24を設け、撮影レンズ1の射出瞳上の対の領域を通過した対の焦点検出用光束25、26を選択的に受光する例を示したが、焦点検出用画素は上述した一実施の形態の構造に限定されず、撮影レンズ1の射出瞳上の対の領域を通過した対の焦点検出用光束25、26を選択的に受光し、瞳分割型の位相差検出が可能な焦点検出用画素であればどのような構成でもよい。
例えば、図18(a)に示すように、遮光マスクで瞳分割を行う代わりにマイクロレンズ41ごとに一対の光電変換部42a、42bを設け、撮影レンズの射出瞳の一対の領域を通過した一対の焦点検出用光束を一対の光電変換部42aと42bで選択的に受光するようにしてもよい。一対の光電変換部の形状は図18(a)に示すような矩形に限定されず、例えば図18(b)に示すように半円形の一対の光電変換部43a、43bとしてもよい。さらに、図18(c)に示すように、マイクロレンズごとに一対の光電変換部44a、44bの片方を交互に設置し、隣接する一対の焦点検出用画素で撮影レンズの射出瞳の一対の領域を通過した一対の焦点検出用光束を選択的に受光するようにしてもよい。
一実施の形態のデジタルカメラの構成を示す図 撮像兼焦点検出素子を構成する画素の断面図 撮像兼焦点検出素子の正面図 焦点検出用画素列の断面図 撮影画面の横方向に配置された焦点検出用画素列の詳細図 撮影画面の縦方向に配置された焦点検出用画素列の詳細図 焦点検出用画素列から出力される一対の出力信号列を示す図 焦点検出用画素列から出力される一対の出力信号列を互いにシフトさせて相関量を算出する方法を説明する図 一対の焦点検出用信号列の相関量の演算方法と演算結果の信頼性を説明する図 撮像兼焦点検出素子から画素信号の読み出し方法を説明する図 撮像兼焦点検出素子から画素信号の読み出し方法を説明する図 走査線と直交する焦点検出用画素列における焦点検出用画素ごとの信号読み出し時間差を説明する図 一実施の形態の撮影動作を示すフローチャート 一実施の形態の像ブレ量検出動作を示すフローチャート 焦点検出信号読み出しサブルーチンを示すフローチャート 焦点検出演算サブルーチンを示すフローチャート 信頼性判定サブルーチンを示すフローチャート 撮像兼焦点検出素子の他の変形例を示す図
符号の説明
1 撮影レンズ
2 撮像兼焦点検出素子
8 駆動回路
11 操作部材
12 変位検出器
10 制御装置
20 画素
20A、20B 焦点検出用画素

Claims (5)

  1. 複数の焦点検出用画素を有する焦点検出用画素列が複数の撮像用画素の二次元配列中に組み込まれ、撮影光学系により結像される像を受光して画像信号と焦点検出信号を出力するローリングシャッター方式の撮像兼焦点検出素子と、
    前記焦点検出用画素列から出力される前記焦点検出信号に基づいて前記撮影光学系の焦点調節状態を検出する焦点検出手段と、
    像ブレ量を検出する像ブレ検出手段と、
    ローリングシャッターの走査方向と異なる方向に配列された前記焦点検出用画素列において、前記焦点検出手段により検出された焦点調節状態の信頼性を前記像ブレ量に応じて判定する信頼性判定手段と、
    前記信頼性判定手段により信頼性ありと判定された前記焦点調節状態に基づいて前記撮影光学系の焦点調節を行う焦点調節手段とを備えることを特徴とするデジタルカメラ。
  2. 請求項1に記載のデジタルカメラにおいて、
    前記信頼性判定手段は、前記像ブレ量の積算値が所定のしきい値を超えた場合に、ローリングシャッターの走査方向と異なる方向に配列された前記焦点検出用画素列の焦点調節状態には信頼性がないと判定することを特徴とするデジタルカメラ。
  3. 請求項1に記載のデジタルカメラにおいて、
    前記信頼性判定手段は、前記焦点検出手段で検出された焦点調節状態の信頼性を示すパラメーターを算出し、前記パラメーターとしきい値とを比較して前記焦点調節状態の信頼性を判定する手段と、前記像ブレ量の積算値に応じて前記しきい値を変更する手段とを有することを特徴とするデジタルカメラ。
  4. 請求項1〜3のいずれか1項に記載のデジタルカメラにおいて、
    前記像ブレ検出手段は前記焦点検出用画素列ごとに像ブレ量を検出し、
    前記信頼性判定手段は、前記各焦点検出用画素列の前記焦点調節状態の信頼性を、前記焦点検出画素列ごとの像ブレ量に応じて判定することを特徴とするデジタルカメラ。
  5. 請求項1〜4のいずれか1項に記載のデジタルカメラにおいて、
    前記像ブレ検出手段は、撮影者の手ブレを検出するとともに被写体ブレを検出し、手ブレ量と被写体ブレ量とに基づいて像ブレ量を検出することを特徴とするデジタルカメラ。
JP2007155358A 2007-06-12 2007-06-12 デジタルカメラ Active JP5012236B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007155358A JP5012236B2 (ja) 2007-06-12 2007-06-12 デジタルカメラ
EP08157742.1A EP2019546B1 (en) 2007-06-12 2008-06-06 Digital camera
US12/155,738 US8284295B2 (en) 2007-06-12 2008-06-09 Digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007155358A JP5012236B2 (ja) 2007-06-12 2007-06-12 デジタルカメラ

Publications (2)

Publication Number Publication Date
JP2008309883A true JP2008309883A (ja) 2008-12-25
JP5012236B2 JP5012236B2 (ja) 2012-08-29

Family

ID=39745013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007155358A Active JP5012236B2 (ja) 2007-06-12 2007-06-12 デジタルカメラ

Country Status (3)

Country Link
US (1) US8284295B2 (ja)
EP (1) EP2019546B1 (ja)
JP (1) JP5012236B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271499A (ja) * 2009-05-20 2010-12-02 Canon Inc 撮像装置
JP2011252955A (ja) * 2010-05-31 2011-12-15 Nikon Corp 撮像装置
JP2014055999A (ja) * 2012-09-11 2014-03-27 Sony Corp 処理装置、処理方法、及び、プログラム
WO2014050718A1 (ja) * 2012-09-28 2014-04-03 株式会社ニコン 焦点検出装置および撮像装置
JP2014139679A (ja) * 2011-03-31 2014-07-31 Fujifilm Corp 撮像装置及びその合焦制御方法
JP2015138201A (ja) * 2014-01-23 2015-07-30 キヤノン株式会社 撮像装置及び撮像方法
JP2016161721A (ja) * 2015-02-27 2016-09-05 富士通株式会社 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8851378B2 (en) * 2009-09-24 2014-10-07 Ebay Inc. System and method for recognizing deformed linear barcodes from a stream of varied-focus video frames
EP2762944B1 (en) * 2011-09-28 2016-11-23 Fujifilm Corporation Imaging device and focusing control method
JP6041871B2 (ja) * 2012-05-15 2016-12-14 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2014029353A (ja) * 2012-07-31 2014-02-13 Sony Corp 焦点調整装置および焦点調整方法
JP6044403B2 (ja) * 2013-03-18 2016-12-14 富士通株式会社 撮像装置、撮像方法、および撮像プログラム
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
JP6053652B2 (ja) * 2013-09-20 2016-12-27 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6478457B2 (ja) * 2014-01-23 2019-03-06 キヤノン株式会社 焦点調節装置及び焦点調節方法
DE102014201779B4 (de) * 2014-01-31 2016-12-15 Carl Zeiss Smt Gmbh Strahlpropagationskamera und Verfahren zur Lichtstrahlanalyse
US9715721B2 (en) * 2015-12-18 2017-07-25 Sony Corporation Focus detection
CN109477948B (zh) * 2016-07-06 2021-02-19 富士胶片株式会社 对焦控制装置、对焦控制方法、对焦控制程序、透镜装置、摄像装置
CN106534686A (zh) * 2016-11-15 2017-03-22 维沃移动通信有限公司 一种移动终端的拍摄方法和移动终端
US11516378B2 (en) * 2020-04-27 2022-11-29 Qualcomm Incorporated Methods and apparatus employing a phase detection autofocus (PDAF) optical system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09105970A (ja) * 1996-09-13 1997-04-22 Minolta Co Ltd 光学装置
JP2000292686A (ja) * 1999-04-06 2000-10-20 Olympus Optical Co Ltd 撮像装置
JP2000330006A (ja) * 1999-05-20 2000-11-30 Nikon Corp 撮影装置及び撮影装置付属品
WO2006043315A1 (ja) * 2004-10-20 2006-04-27 Mitsubishi Denki Kabushiki Kaisha 撮像装置および撮像装置を備えた携帯機器
JP2006184679A (ja) * 2004-12-28 2006-07-13 Seiko Epson Corp 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
JP2007041570A (ja) * 2005-07-01 2007-02-15 Nikon Corp 電子カメラ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0727106B2 (ja) * 1984-12-20 1995-03-29 株式会社ニコン カメラの焦点検出装置
US4774538A (en) * 1985-06-14 1988-09-27 Canon Kabushiki Kaisha Focus control method and camera
US5218394A (en) * 1989-11-20 1993-06-08 Minolta Camera Kabushiki Kaisha Automatic focusing camera with improved determination of operation modes
US5371539A (en) * 1991-10-18 1994-12-06 Sanyo Electric Co., Ltd. Video camera with electronic picture stabilizer
JP3054603B2 (ja) * 1997-05-15 2000-06-19 三洋電機株式会社 自動焦点装置
US6906751B1 (en) * 1998-07-22 2005-06-14 Minolta Co., Ltd. Digital camera and control method thereof
US6819360B1 (en) * 1999-04-01 2004-11-16 Olympus Corporation Image pickup element and apparatus for focusing
JP2000292681A (ja) * 1999-04-06 2000-10-20 Canon Inc 焦点検出装置
JP4007716B2 (ja) * 1999-04-20 2007-11-14 オリンパス株式会社 撮像装置
JP5002086B2 (ja) * 1999-10-28 2012-08-15 キヤノン株式会社 焦点検出装置と撮像装置
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP3977062B2 (ja) 2001-11-21 2007-09-19 キヤノン株式会社 撮像装置及び焦点調節方法
JP4717572B2 (ja) * 2005-09-20 2011-07-06 キヤノン株式会社 光学機器および焦点調節方法
JP2007155358A (ja) 2005-11-30 2007-06-21 Keiyo Gas Kk 埋設ガス管の漏洩箇所検査構造
US8253810B2 (en) * 2007-12-05 2012-08-28 Aptina Imaging Corporation Method, apparatus and system for image stabilization using a single pixel array

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09105970A (ja) * 1996-09-13 1997-04-22 Minolta Co Ltd 光学装置
JP2000292686A (ja) * 1999-04-06 2000-10-20 Olympus Optical Co Ltd 撮像装置
JP2000330006A (ja) * 1999-05-20 2000-11-30 Nikon Corp 撮影装置及び撮影装置付属品
WO2006043315A1 (ja) * 2004-10-20 2006-04-27 Mitsubishi Denki Kabushiki Kaisha 撮像装置および撮像装置を備えた携帯機器
JP2006184679A (ja) * 2004-12-28 2006-07-13 Seiko Epson Corp 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
JP2007041570A (ja) * 2005-07-01 2007-02-15 Nikon Corp 電子カメラ

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271499A (ja) * 2009-05-20 2010-12-02 Canon Inc 撮像装置
JP2011252955A (ja) * 2010-05-31 2011-12-15 Nikon Corp 撮像装置
JP2014139679A (ja) * 2011-03-31 2014-07-31 Fujifilm Corp 撮像装置及びその合焦制御方法
JP2014055999A (ja) * 2012-09-11 2014-03-27 Sony Corp 処理装置、処理方法、及び、プログラム
US9451149B2 (en) 2012-09-11 2016-09-20 Sony Corporation Processing apparatus, processing method, and program
WO2014050718A1 (ja) * 2012-09-28 2014-04-03 株式会社ニコン 焦点検出装置および撮像装置
JP2014071290A (ja) * 2012-09-28 2014-04-21 Nikon Corp 焦点検出装置および撮像装置
CN104685399A (zh) * 2012-09-28 2015-06-03 株式会社尼康 焦点检测装置以及摄像装置
US9451154B2 (en) 2012-09-28 2016-09-20 Nikon Corporation Focus detection device and image-capturing apparatus
US9756237B2 (en) 2012-09-28 2017-09-05 Nikon Corporation Focus detection device and image-capturing apparatus
JP2015138201A (ja) * 2014-01-23 2015-07-30 キヤノン株式会社 撮像装置及び撮像方法
JP2016161721A (ja) * 2015-02-27 2016-09-05 富士通株式会社 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム

Also Published As

Publication number Publication date
EP2019546B1 (en) 2018-09-05
EP2019546A2 (en) 2009-01-28
US8284295B2 (en) 2012-10-09
JP5012236B2 (ja) 2012-08-29
EP2019546A3 (en) 2011-12-14
US20080309771A1 (en) 2008-12-18

Similar Documents

Publication Publication Date Title
JP5012236B2 (ja) デジタルカメラ
USRE48552E1 (en) Method and system for image construction using multiple exposures
JP4720508B2 (ja) 撮像素子および撮像装置
US9531944B2 (en) Focus detection apparatus and control method thereof
JP2008309882A (ja) デジタルカメラ
EP2179581B1 (en) Image-pickup apparatus and control method therof
US8259215B2 (en) Image pickup apparatus having focus control using phase difference detection
JP5791349B2 (ja) 撮像装置及びその制御方法
US9681037B2 (en) Imaging apparatus and its control method and program
US10530994B2 (en) Image capture apparatus, control method for image capture apparatus and non-transitory recording medium for combining image
JP2009141390A (ja) 撮像素子および撮像装置
US9060119B2 (en) Image capturing apparatus and control method for image capturing apparatus
US10057478B2 (en) Focus detecting apparatus and method of controlling the same
EP3002940A1 (en) Imaging apparatus and imaging method
JP2008310072A (ja) デジタルカメラ
US9602716B2 (en) Focus-detection device, method for controlling the same, and image capture apparatus
JP5311960B2 (ja) 撮像装置、その制御方法及びプログラム
US11496663B2 (en) Focusing apparatus, image pickup apparatus, focusing method, and storage medium, which can provide stable focusing
JP2003274281A (ja) 撮像装置
US9800775B2 (en) Focus detection apparatus and method, and image capturing apparatus
JP5217942B2 (ja) 焦点調節装置および撮像装置
JP2016051016A (ja) 撮像装置
JP2019168661A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US11394899B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium for generating viewpoint movement moving image
JP2006285110A (ja) カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5012236

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250