JP2008015353A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2008015353A JP2008015353A JP2006188323A JP2006188323A JP2008015353A JP 2008015353 A JP2008015353 A JP 2008015353A JP 2006188323 A JP2006188323 A JP 2006188323A JP 2006188323 A JP2006188323 A JP 2006188323A JP 2008015353 A JP2008015353 A JP 2008015353A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- imaging
- signal
- photoelectric conversion
- pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
従来、焦点検出技術の1つとして瞳分割位相差方式が知られている。この瞳分割位相差方式の原理を適用した固体撮像装置として、特許文献1が知られている。この特許文献1では、撮像面上に焦点検出用画素が配列される。これら焦点検出用画素のそれぞれには、2つずつの光電変換域が設けられる。これら焦点検出用画素の配列パターンに従って、瞳分割像の明暗パターンを検出する。この明暗パターンを瞳分割方向にずらしながら差分が最小となるパターンズレ量(位相差)を検出する。このパターンズレ量に対応して、撮影レンズのデフォーカス量を求めることができる。
上述した特許文献1の従来技術では、分割像の明暗パターンを良好に検出するため、撮像面に焦点検出用画素を多数配置しなければならない。
これら多数の焦点検出用画素は、通常の撮像用画素とは異なるため、撮像用画素と同等の画像信号を得ることが難しい。そのため、多数の焦点検出用画素を撮像面に配置することによって、撮像される画像信号の品質を落としてしまう。
そこで、本発明では、撮像面上の少ない焦点検出用画素であっても、焦点検出を実施可能にすることを目的とする。
In the prior art of
Since many of these focus detection pixels are different from normal imaging pixels, it is difficult to obtain an image signal equivalent to the imaging pixels. For this reason, by disposing a large number of focus detection pixels on the imaging surface, the quality of the image signal to be captured is degraded.
Accordingly, an object of the present invention is to enable focus detection even with few focus detection pixels on the imaging surface.
《1》 本発明の撮像装置は、撮像用画素の群、焦点検出用画素、焦点演算部を備える。
撮像用画素の群は、撮像面に複数設けられ、撮影レンズを透過した受光光束を画素単位に光電変換して、画像信号を生成する。
焦点検出用画素は、撮像用画素の群の中に設けられ、瞳形成マイクロレンズ、および光電変換域を備える。この瞳形成マイクロレンズは、画素単位の受光光束から撮影レンズの射出瞳の実像を形成する。一方、光電変換域は、射出瞳の実像を瞳分割してそれぞれ光電変換し、一組の瞳分割信号を生成する。
焦点演算部は、焦点検出用画素から一組の瞳分割信号を取得して信号差分を検出し、信号差分に応じて撮影レンズの焦点調節状態を推定する。
《2》 なお好ましくは、撮影レンズと撮像面との光学的距離を変動させる変動部を備える。焦点演算部は、光学的距離の変動に伴う信号差分の変化に基づいて、撮影レンズのデフォーカス(焦点ズレ)量または合焦位置を推定する。
《3》 また好ましくは、焦点演算部は、光学的距離の変動に伴って信号差分の標本値を複数求める。焦点演算部は、これら複数の信号差分の標本値を外延近似または補間近似して、信号差分がゼロとなる合焦位置を推定する。
《4》 なお好ましくは、焦点演算部は、光学的距離の変動に伴う信号差分の増減方向に基づいて、撮影レンズが後ピン状態か前ピン状態かを判定する。
《5》 また好ましくは、焦点検出用画素の光電変換域は、射出瞳の実像を同心状に瞳分割する。光電変換域は、実像の中央領域の光電変換信号と、実像の周辺領域の光電変換信号を生成して、一組の瞳分割信号とする。
《6》 なお好ましくは、焦点検出用画素は複数設けられる。焦点演算部は、複数の焦点検出用画素から求めた個々の信号差分から絶対値和を算出して、信号差分とする。
《7》 また好ましくは、焦点演算部が検出する信号差分を小さくする方向に、撮影レンズを焦点制御することにより、撮影レンズを合焦させる焦点制御部を備える。
<< 1 >> The imaging device of the present invention includes a group of imaging pixels, a focus detection pixel, and a focus calculation unit.
A plurality of groups of imaging pixels are provided on the imaging surface, and a received light beam transmitted through the photographing lens is photoelectrically converted pixel by pixel to generate an image signal.
The focus detection pixel is provided in the group of imaging pixels, and includes a pupil forming microlens and a photoelectric conversion area. This pupil forming microlens forms a real image of the exit pupil of the photographic lens from the received light beam in pixel units. On the other hand, in the photoelectric conversion area, a real image of the exit pupil is divided into pupils and each photoelectrically converted to generate a set of pupil division signals.
The focus calculation unit acquires a set of pupil division signals from the focus detection pixels, detects a signal difference, and estimates a focus adjustment state of the photographing lens according to the signal difference.
<< 2 >> Preferably, there is provided a changing unit that changes the optical distance between the photographic lens and the imaging surface. The focus calculation unit estimates the defocus (focus shift) amount or focus position of the photographing lens based on a change in signal difference accompanying a change in optical distance.
<< 3 >> Preferably, the focus calculation unit obtains a plurality of sample values of the signal difference as the optical distance varies. The focus calculation unit estimates the in-focus position where the signal difference becomes zero by performing an extension approximation or interpolation approximation on the sample values of the plurality of signal differences.
<< 4 >> Preferably, the focus calculation unit determines whether the photographing lens is in the rear pin state or the front pin state based on the increase / decrease direction of the signal difference accompanying the change in the optical distance.
<< 5 >> Also preferably, the photoelectric conversion area of the focus detection pixel divides the real image of the exit pupil into pupils concentrically. In the photoelectric conversion area, a photoelectric conversion signal in the central area of the real image and a photoelectric conversion signal in the peripheral area of the real image are generated and used as a set of pupil division signals.
<< 6 >> Preferably, a plurality of focus detection pixels are provided. The focus calculation unit calculates the sum of absolute values from the individual signal differences obtained from the plurality of focus detection pixels, and obtains the signal difference.
<< 7 >> Preferably, a focus control unit that focuses the photographic lens by controlling the focus of the photographic lens in a direction to reduce the signal difference detected by the focus calculation unit is provided.
本発明では、一組の瞳分割信号の信号差分(レベル差)に基づいて、焦点調節状態を推定する。この場合、少なくとも1つの焦点検出用画素が撮像面にあれば、焦点調節状態の推定が可能になる。したがって、位相差検出のための焦点検出用画素を多数配列する従来例に比べて、撮像面に配置する焦点検出用画素の数を適宜に減らすことが可能になる。その結果、撮像画像の画質を高めることが可能になる。 In the present invention, the focus adjustment state is estimated based on the signal difference (level difference) between a set of pupil division signals. In this case, if at least one focus detection pixel is on the imaging surface, the focus adjustment state can be estimated. Therefore, the number of focus detection pixels arranged on the imaging surface can be appropriately reduced as compared with the conventional example in which a large number of focus detection pixels for phase difference detection are arranged. As a result, the image quality of the captured image can be improved.
《第1実施形態》
[電子カメラの構成説明]
図1は、本実施形態の電子カメラ10を示すブロック図である。
図1において、電子カメラ10には、撮影レンズ12が装着される。この撮影レンズ12は、焦点制御部12aによって焦点調節位置が駆動される。この撮影レンズ12の像空間には、固体撮像装置11の撮像面が配置される。この撮像面は、ピエゾ素子などの変動部11aによって光軸方向に微少変位される。
撮像制御部14は、固体撮像装置11を制御して画像信号を読み出す。この画像信号は、信号処理部15、およびA/D変換部16を介して処理された後、メモリ17に一時蓄積される。
このメモリ17は、バス18に接続される。このバス18には、変動部11a、焦点制御部12a、撮像制御部14、マイクロプロセッサ19、焦点演算部20、記録部22、画像圧縮部24および画像処理部25なども接続される。なお、焦点演算部20については、マイクロプロセッサ19を用いてソフトウェア的に実現してもよい。
上記のマイクロプロセッサ19には、レリーズ釦などの操作部19aが接続される。また、上記の記録部22には、記録媒体22aが着脱自在に装着される。
<< First Embodiment >>
[Description of electronic camera configuration]
FIG. 1 is a block diagram showing an
In FIG. 1, a photographing lens 12 is attached to the
The imaging control unit 14 reads the image signal by controlling the solid-
This memory 17 is connected to a
The
[画素レイアウトの説明]
図2は、固体撮像装置11の画素レイアウトを示す図である。
固体撮像装置11の撮像面には、撮像用画素31の群が配置される。個々の撮像用画素31には、画素単位に受光光束を光電変換する光電変換域32が設けられる。この光電変換域32の上層には、平坦化層を介して、受光光束を光電変換域32に集光するマイクロレンズ33が設けられる。撮像用画素31の群は、撮影レンズ12を介して撮像面に投影される被写体像を画素単位に光電変換することによって、画像信号を生成する。
撮像面には、複数の焦点検出エリアZが配置される。この焦点検出エリアZには、撮像用画素31の群の間を縫うように、焦点検出用画素37が市松パターンに配置される。
この焦点検出用画素37には、瞳形成マイクロレンズ36が形成される。この瞳形成マイクロレンズ36は、画素単位の受光光束を集光して撮影レンズ12の射出瞳の実像を形成する。
焦点検出用画素37内には、この射出瞳の実像を同心状に瞳分割するために、2つの光電変換域34a,34bが配置される。この光電変換域34aは、実像の周辺領域の光電変換信号を生成する。一方、光電変換域34bは、実像の中央領域の光電変換信号を生成する。
[Description of pixel layout]
FIG. 2 is a diagram illustrating a pixel layout of the solid-
A group of
A plurality of focus detection areas Z are arranged on the imaging surface. In this focus detection area Z,
A pupil forming microlens 36 is formed in the
In the
[回路説明]
図3は、固体撮像装置11の等価回路を示す図である。
固体撮像装置11は、垂直転送回路3、水平転送回路4、相関二重サンプリング回路5、撮像用画素31の群、および焦点検出用画素37の群から概略構成される。
まず、撮像用画素31の回路構成について説明する。撮像用画素31には、フローティングデフージョンFDが設けられる。このフローティングデフージョンFDには、リセットトランジスタQRを介して、電源ラインVDDに接続される。また、このフローティングデフージョンFDと光電変換域32との間には、転送トランジスタQTが配置される。この転送トランジスタQTのゲートには、垂直転送回路3から制御信号φTGaが供給される。
[Circuit explanation]
FIG. 3 is a diagram illustrating an equivalent circuit of the solid-
The solid-
First, the circuit configuration of the
このフローティングデフージョンFDの電圧は、増幅素子QAのゲートに印加される。増幅素子QAのソースは、行選択トランジスタQSをオン制御することにより、垂直読み出し線2に接続される。この行選択トランジスタQSを介して、増幅素子QAのソースに電流源Isが接続されることにより、増幅素子QAはソースホロワ回路を構成する。その結果、フローティングデフージョンFDの電圧に対応したソースホロワ電圧が、垂直読み出し線2に出力される。
The voltage of the floating diffusion FD is applied to the gate of the amplifying element QA. The source of the amplifying element QA is connected to the
次に、焦点検出用画素37の構成上の特徴について説明する。焦点検出用画素37には、撮像用画素31の光電変換域32に代えて、同心状に区分された光電変換域34a,34bが設けられる。
光電変換域34aは、転送トランジスタQTaを介して、フローティングデフージョンFDに接続される。この転送トランジスタQTaのゲートには、垂直転送回路3から制御信号φTGaが供給される。
Next, structural features of the
The
もう一方の光電変換域34bは、転送トランジスタQTbを介して、フローティングデフージョンFDに接続される。この転送トランジスタQTbのゲートには、垂直転送回路3から制御信号φTGbが供給される。
なお、光電変換域34bは、ドーナツ状の光電変換域34aに周囲を囲まれる。そのため、光電変換域34bと、上述した周辺回路(転送トランジスタQTbなど)との接続が困難となる。このような場合は、光電変換域34aをC字状に形成し、その間隙を通して光電変換域34bと周辺回路との接続を行ってもよい。
The other
Note that the
[焦点検出用画素37の光学作用]
図4は、焦点検出用画素37の光学作用を説明する図である。
焦点検出用画素37内には、一組の光電変換域34a,34bが同心状に配置される。この光電変換域34aには、図4に示すように、撮影レンズ12の射出瞳の周辺を通過した光束が入射する。一方、光電変換域34bには、図4に示すように、撮影レンズ12の射出瞳の中央を通過した光束が入射する。一組の光電変換域34a,34bは、それぞれの受光光束を光電変換して、一組の瞳分割信号Sa,Sbを生成する。
[Optical Action of Focus Detection Pixel 37]
FIG. 4 is a diagram for explaining the optical action of the
In the
図5は、一組の光電変換域34a,34bに入射する受光光束の様子を示す図である。
図5[A]に示す合焦状態では、一組の光電変換域34a,34bに入射する受光光束は、合焦被写体の同一箇所から出た光束となる。したがって、一組の瞳分割信号Sa,Sbは、光電変換域34a,34bの受光効率を利得補正すれば、同一の信号レベルとなる。すなわち、光電変換域34a,34bの受光効率の補正係数をα,βとすると、
合焦状態の信号差分D=|αSa−βSb|=0
となる。
FIG. 5 is a diagram illustrating a state of a received light beam incident on a pair of
In the in-focus state shown in FIG. 5A, the received light beam incident on the pair of
In-focus signal difference D = | αSa−βSb | = 0
It becomes.
一方、図5[B]に示す前ピン状態では、一組の光電変換域34a,34bに入射する受光光束は、被写体の手前で交差する。そのため、一組の光電変換域34a,34bには、図5[B]に示すように、被写体側の同心状の異なる領域から出た光束がそれぞれ入射する。適当な輝度パターンを有する被写体であれば、異なる領域から出射されるこれら光束の光強度は異なる。そのため、一組の瞳分割信号Sa,Sbは、異なる信号レベルとなる。すなわち、
前ピン状態の信号差分D=|αSa−βSb|>0
となる。
On the other hand, in the front pin state shown in FIG. 5B, the received light beams incident on the pair of
Signal difference D of front pin state D = | αSa−βSb |> 0
It becomes.
また、図5[C]に示す後ピン状態では、一組の光電変換域34a,34bに入射する受光光束は、被写体の後方で仮想的に交差する。そのため、一組の光電変換域34a,34bには、図5[C]に示すように、被写体側の同心状の異なる領域から出た光束がそれぞれ入射する。適当な輝度パターンを有する被写体であれば、異なる領域から出射されるこれら光束の光強度は異なる。そのため、一組の瞳分割信号Sa,Sbは、異なる信号レベルとなる。すなわち、
後ピン状態の信号差分D=|αSa−βSb|>0
となる。
このような焦点検出用画素37の光学作用を利用して、撮影レンズ12の焦点調節状態を推定することが可能になる。
In the rear pin state shown in FIG. 5C, the received light beams incident on the set of
Rear pin state signal difference D = | αSa−βSb |> 0
It becomes.
It is possible to estimate the focus adjustment state of the photographic lens 12 by using such an optical action of the
[焦点検出動作の説明]
図6は、電子カメラ10の動作を説明する流れ図である。以下、図6に示すステップ番号の順に沿って、この動作を説明する。
[Description of focus detection operation]
FIG. 6 is a flowchart for explaining the operation of the
ステップS1: まず、電子カメラ10側の公知の機能(手動選択,自動選択など)によって、焦点検出エリアZの選択が行われる。
Step S1: First, the focus detection area Z is selected by a known function (manual selection, automatic selection, etc.) on the
ステップS2: マイクロプロセッサ19は、レリーズ釦の半押し操作に同期して、撮像制御部14を介して固体撮像装置11に、選択エリアからの瞳分割信号の読み出し動作を指示する。
この指示に従って、固体撮像装置11内の垂直転送回路3は、選択エリアの焦点検出用画素37の存在するn行目の制御信号φRS(n)と制御信号φTGa(n)と制御信号φTGb(n)とを立ち上げる。これにより、一組の光電変換域34a,34bは、転送トランジスタQTa、フローティングデフージョンFD、およびリセットトランジスタQRを介してリセットされる。
Step S2: The
In accordance with this instruction, the vertical transfer circuit 3 in the solid-
その後、垂直転送回路3は、n行目の制御信号φTGa(n)および制御信号φTGb(n)を立ち下げて、転送トランジスタQTa,QTbを非導通に変化させる。この時点から、一組の光電変換域34a,34bは信号電荷の蓄積を開始する。
なお、n行目のリセットトランジスタQRの導通状態を継続することにより、n行目のフローティングデフージョンFDの電位をリセットする。このリセットの後、垂直転送回路3は、リセットトランジスタQRを非導通に変化させる。その結果、フローティングデフージョンFDは、フローティング状態に戻り、その瞬間の電圧(リセット電圧)を保持する。
この状態で、垂直転送回路3は、制御信号φL(n)をハイレベルに設定し、n行目の行選択トランジスタQSを導通させる。その結果、n行目のリセット電圧は、増幅素子QAを介して垂直読み出し線2にソースホロワ出力される。
垂直読み出し線2に出力されたリセット電圧は、制御信号φSHの立ち下げによって相関二重サンプリング回路5(回路内のコンデンサ群)に保持される。
Thereafter, the vertical transfer circuit 3 causes the control signal φTGa (n) and the control signal φTGb (n) in the n-th row to fall, and changes the transfer transistors QTa and QTb to non-conduction. From this point of time, the pair of
The potential of the n-th row floating diffusion FD is reset by continuing the conduction state of the n-th row reset transistor QR. After this reset, the vertical transfer circuit 3 changes the reset transistor QR to non-conduction. As a result, the floating diffusion FD returns to the floating state and holds the voltage (reset voltage) at that moment.
In this state, the vertical transfer circuit 3 sets the control signal φL (n) to a high level, and turns on the row selection transistor QS of the nth row. As a result, the reset voltage in the n-th row is output as a source follower to the
The reset voltage output to the
次に、垂直転送回路3は、制御信号φTGa(n)を用いて、n行目の転送トランジスタQTaを導通させる。この導通によって、転送トランジスタQTaに接続された光電変換域34aに蓄積された信号電荷は、フローティングデフージョンFDに転送される。この転送動作に伴って、フローティングデフージョンFDの電圧はリセット電圧から信号電荷の転送分だけ相対変化する。このn行目の信号電圧は、増幅素子QAを介して垂直読み出し線2にソースホロワ出力される。
このように垂直読み出し線2を介して読み出された光電変換域34aの信号電圧は、相関二重サンプリング回路5に印加される。相関二重サンプリング回路5からは、この信号電圧とリセット電圧の差に相当する瞳分割信号Saが出力される。
この状態で、水平転送回路4は、焦点検出用画素37が存在する列の制御信号φH1などを用いて、転送トランジスタQTaに接続された光電変換域34aの瞳分割信号SaをVoutから順次に読み出す。
続いて、上述した読み出し動作を、制御信号φTGa(n)を制御信号φTGb(n)に代えて、繰り返すことにより、光電変換域34bの瞳分割信号SbもVoutから順次に読み出す。
Next, the vertical transfer circuit 3 conducts the transfer transistor QTa in the n-th row using the control signal φTGa (n). By this conduction, the signal charge accumulated in the
Thus, the signal voltage of the
In this state, the
Subsequently, the readout operation described above is repeated by replacing the control signal φTGa (n) with the control signal φTGb (n), whereby the pupil division signal Sb of the
以上の動作を、選択エリア内の焦点検出用画素37に限定して繰り返すことにより、全画素を読み出すことなく、瞳分割信号Sa、Sbを短時間に読み出すことが可能になる。
このように読み出された瞳分割信号Sa、Sbは、信号処理部15およびA/D変換部16を介してデジタル化された後、メモリ17に一時記憶される。
By repeating the above operation for only the
The pupil division signals Sa and Sb read in this way are digitized via the signal processing unit 15 and the A /
ステップS3: 焦点演算部20は、メモリ17内から一組の瞳分割信号Sa,Sbを読み出し、焦点検出用画素37ごとに下記の信号差分Dを求める。
信号差分D=|αSa−βSb|
なお、補正係数α,βは、光電変換域34a,34bの受光効率の比に応じた係数であり、合焦状態において信号差分Dがゼロとなる係数値に予め設定される。
Step S3: The
Signal difference D = | αSa−βSb |
The correction coefficients α and β are coefficients corresponding to the ratio of the light receiving efficiencies of the
ステップS4: 焦点演算部20は、選択エリア内に複数の焦点検出用画素37が存在する場合は、ステップS3で求めた信号差分の絶対値和を求めて、信号差分Dとする。なお、和を取る代わりに、平均値や中間値や最大値などを求めて信号差分Dとしてもよい。
Step S4: When there are a plurality of
ステップS5: 焦点演算部20は、信号差分Dが合焦許容値Dth以下に収まるか否かを判定する。この合焦許容値Dthは、実質的に合焦状態と見なせる信号差分Dの上限値を定めるものであり、実測結果などから予め決定される値である。
ここで、信号差分Dが合焦許容値Dth以下に収まる場合、焦点演算部20は、撮影レンズ12が合焦状態にあると判断し、ステップS6に動作を移行する。
一方、信号差分Dが合焦許容値Dthを超えている場合、焦点演算部20は、撮影レンズ12が非合焦状態にあると判断し、ステップS7に動作を移行する。
Step S5: The
Here, when the signal difference D falls within the allowable focus value Dth, the
On the other hand, when the signal difference D exceeds the in-focus allowable value Dth, the
ステップS6: 電子カメラ10内のマイクロプロセッサ19は、レリーズ釦の全押し操作に同期して、撮像制御部14を介して固体撮像装置11に、画像信号の読み出し動作を指示する。読み出された画像信号は、信号処理部15およびA/D変換部16を介して、メモリ17に一時記憶される。
なお、焦点検出用画素37の配置箇所においては、画像信号が欠落する。この欠落部分の画像信号については、周辺の画像信号を用いて補間することが可能である。また、焦点検出用画素37の光電変換域34a,34bの信号を用いて、欠落部分の画像信号を生成してもよい。
メモリ17に記憶された画像信号は、画像処理部25および画像圧縮部24を介して処理が施される。処理後の画像信号は、記録部22を介して記録媒体22aに記録保存される。以上の動作によって、電子カメラ10の撮像動作が終了する。
Step S6: The
Note that image signals are missing at the locations where the
The image signal stored in the memory 17 is processed through the
ステップS7: マイクロプロセッサ19は、変動部11aを駆動して、固体撮像装置11の撮像面を光軸方向に変位させる。電子カメラ10は、この変位した状態で、ステップS2〜S4と同様の処理を実行し、信号差分Dの変化を求める。
Step S7: The
ステップS8: 焦点演算部20は、撮像面の変位に伴う信号差分Dの増減方向に基づいて、撮影レンズ12が後ピン/前ピンのいずれの状態かを判定する。
図7は、この信号差分Dの変化と、撮影レンズ12の焦点調節状態との関係を示す説明図である。
撮影レンズ12と撮像面との光学的距離の増加に伴って信号差分Dが減少した場合、光学的距離を増加させる方向に合焦位置が存在することになる。すなわち、撮影レンズ12は後ピン状態にあると判断できる。
逆に、撮影レンズ12と撮像面との光学的距離の増加に伴って信号差分Dが増加した場合、光学的距離を減少させる方向に合焦位置が存在することになる。すなわち、撮影レンズ12は前ピン状態にあると判断できる。
Step S8: The
FIG. 7 is an explanatory diagram showing the relationship between the change in the signal difference D and the focus adjustment state of the photographic lens 12.
When the signal difference D decreases as the optical distance between the photographic lens 12 and the imaging surface increases, the in-focus position exists in the direction in which the optical distance is increased. That is, it can be determined that the photographic lens 12 is in the rear pin state.
Conversely, when the signal difference D increases with an increase in the optical distance between the photographic lens 12 and the imaging surface, the in-focus position exists in the direction in which the optical distance decreases. That is, it can be determined that the photographic lens 12 is in the front pin state.
ステップS9: 焦点演算部20は、撮像面の変位に伴う信号差分Dの変化に基づいて、撮影レンズ12のデフォーカス量または合焦位置を推定する。
例えば、図7に示すような関係では、信号差分Dの変化が大きいほど、合焦位置から遠く、デフォーカス量を大きい値と推定できる。逆に、信号差分Dの変化が小さいほど、合焦位置に近く、デフォーカス量が小さい値と推定できる。信号差分Dの変化量とデフォーカス量(または合焦位置)との対応関係を実測実験により予め設定しておくことにより、信号差分Dからデフォーカス量を推定することが可能になる。
また例えば、焦点演算部20は、撮像面の変位に伴って信号差分Dの標本値を複数求める。焦点演算部20は、これら複数の信号差分Dの標本値を外延近似または補間近似することにより、図7に示すような近似関数を求める。この場合の近似関数は、直線関数または曲線関数のどちらも使用可能である。焦点演算部20は、この近似関数に基づいて、信号差分Dがゼロとなる合焦位置を推定する。焦点演算部20は、この合焦位置の推定結果に基づいて、撮影レンズ12のデフォーカス量を求める。
Step S9: The
For example, in the relationship as shown in FIG. 7, the larger the change in the signal difference D, the farther from the in-focus position, the greater the defocus amount can be estimated. Conversely, it can be estimated that the smaller the change in the signal difference D, the closer to the in-focus position and the smaller the defocus amount. It is possible to estimate the defocus amount from the signal difference D by presetting the correspondence between the change amount of the signal difference D and the defocus amount (or in-focus position) through an experiment.
For example, the
ステップS10: 焦点演算部20は、ステップS5,S8,S9で求めた撮影レンズ12の焦点調節状態をマイクロプロセッサ19に出力する。
マイクロプロセッサ19は、この焦点調節状態に応じて、焦点制御部12aを介して、撮影レンズ12の焦点制御を実施する。
Step S10: The
The
例えば、焦点制御部12aは、撮影レンズ12の焦点調節位置を至近側と無限側との間で走査しながら、焦点演算部20で逐次検出される信号差分Dがゼロ付近に整定するように焦点制御を実施してもよい。
For example, the
また例えば、焦点制御部12aは、ステップS8で判定された前ピン/後ピンの判定結果に従って、撮影レンズ12の焦点調節位置の駆動方向を決定してもよい。この動作により、焦点制御の動作を高速化することができる。
For example, the
また例えば、焦点制御部12aは、ステップS9で求めたデフォーカス量または合焦位置に従って、撮影レンズ12の焦点調節の目標位置を決定してもよい。この動作により、焦点制御の動作を更に高速化することができる。
このような焦点制御動作の後、改めて合焦判定を行う必要があれば、マイクロプロセッサ19は、ステップS2に動作を移行する。
なお、ステップS10の焦点制御の過程で合焦判定が既になされている場合、ステップS6の撮像動作に直に動作を移行してもよい。
For example, the
After such a focus control operation, if it is necessary to make another in-focus determination, the
Note that if the focus determination has already been made in the focus control process in step S10, the operation may be shifted directly to the imaging operation in step S6.
[第1実施形態の効果など]
以上説明したように、第1実施形態では、一組の瞳分割信号の信号差分(レベル差)に基づいて、焦点調節状態を判断する。この焦点検出は、従来の瞳分割位相差方式とは異なる。ここでは、違いを明確に表現するため、本発明方式を瞳分割レベル差方式と称する。この瞳分割レベル差方式では、最低1つの焦点検出用画素37を撮像面に配置することで、焦点調節状態の検出が可能になる。したがって、瞳分割像の明暗パターンを得るため焦点検出用画素を多数配列する従来例とは異なり、撮像面上の焦点検出用画素の数を格段に減らすことができる。したがって、撮像画像の品質低下を低く抑えることが可能になる。
[Effects of First Embodiment]
As described above, in the first embodiment, the focus adjustment state is determined based on the signal difference (level difference) between a set of pupil division signals. This focus detection is different from the conventional pupil division phase difference method. Here, in order to express the difference clearly, the method of the present invention is referred to as a pupil division level difference method. In this pupil division level difference method, it is possible to detect the focus adjustment state by arranging at least one
さらに、第1実施形態では、変動部11aを用いて撮影レンズ12と撮像面との光学的距離を変動させる。焦点演算部20は、この距離変動に伴う信号差分Dの変化に基づいて、撮影レンズ12のデフォーカス(焦点ズレ)量や合焦位置を推定する。
Furthermore, in the first embodiment, the optical distance between the photographic lens 12 and the imaging surface is changed using the changing unit 11a. The
特に、第1実施形態では、焦点演算部20が、光学的距離の変動に伴って信号差分Dの標本値を複数求める。焦点演算部20は、この信号差分Dの標本値を外延近似または補間近似する。この近似演算によって、信号差分Dがゼロ付近となる合焦位置を正確に推定することが可能になる。
In particular, in the first embodiment, the
また、第1実施形態では、光学的距離の変動に伴う信号差分Dの増減方向に基づいて、撮影レンズ12の後ピン/前ピンを的確に判定することができる。 In the first embodiment, the rear pin / front pin of the photographing lens 12 can be accurately determined based on the increase / decrease direction of the signal difference D accompanying the change in the optical distance.
ところで、第1実施形態では、焦点検出用画素37内に同心状の光電変換域34a,34bを設ける。この同心状の瞳分割では、瞳分割方向に方向依存性がないという特徴を有する。そのため、縦エッジや横エッジといった特定のエッジ方向に限定されずに、あらゆる方位の被写体エッジについて焦点検出が可能になる。
Incidentally, in the first embodiment, concentric
さらに、この同心状の瞳分割は、周期被写体による焦点の誤検出が殆ど起こらないという優れた特徴を有する。例えば、図5に示す縦ストライプの周期被写体において、信号差分Dがほぼゼロとなるのは、図5[A]の合焦状態のケースだけである。図5[B][C]の非合焦状態において、信号差分Dがゼロとなる特異点は存在しない。 Furthermore, this concentric pupil division has an excellent feature that there is almost no false detection of focus by a periodic subject. For example, the signal difference D is almost zero in the vertical stripe periodic subject shown in FIG. 5 only in the in-focus state of FIG. 5A. In the out-of-focus state of FIGS. 5B and 5C, there is no singular point where the signal difference D becomes zero.
また、第1実施形態では、1つの焦点検出エリア内に複数の焦点検出用画素37を配置する。これら焦点検出用画素37ごとに求めた信号差分の絶対値和を算出して、信号差分Dとする。この場合、選択エリア内のいずれか1つの焦点検出用画素37に、被写体の明暗変化(エッジなど)が投影されていれば焦点検出が可能となる。そのため、焦点検出の確実性を一段と高めることができる。
In the first embodiment, a plurality of
さらに、複数の信号差分の絶対値和をとることで、個々の瞳分割信号Sa,Sbのノイズの影響を軽減できる。その結果、暗い撮影環境のようにノイズが増加する状況下にあっても、正確な焦点検出が可能になる。 Furthermore, by taking the sum of absolute values of a plurality of signal differences, it is possible to reduce the influence of noise of the individual pupil division signals Sa and Sb. As a result, accurate focus detection is possible even in a situation where noise increases, such as in a dark shooting environment.
《第2実施形態》
図8[A][B]は、焦点検出用画素の光電変換域の配置例を示す図である。なお、その他の構成については、第1実施形態と同様のため、ここでの重複説明を省略する。
図8[A]では、焦点検出用画素57に、一組の光電変換域54a,54bを備える。この一組の光電変換域54a,54bは、射出瞳の実像を瞳分割方向(縦,横,斜めなど)に対称区分するように配置される。なお、1つの焦点検出エリア内には、瞳分割方向の異なる焦点検出用画素57が複数設けられる。この構成により、多様な方向の被写体エッジについて焦点検出が可能になる。
<< Second Embodiment >>
FIGS. 8A and 8B are diagrams illustrating an example of arrangement of photoelectric conversion areas of focus detection pixels. Other configurations are the same as those in the first embodiment, and thus redundant description is omitted here.
In FIG. 8A, the
一方、図8[B]は、焦点検出用画素77に、ドーナツを2分した形状の光電変換域74a,74bを備える。この一組の光電変換域74a,74bは、射出瞳の実像を瞳分割方向(縦,横,斜めなど)に対称区分するように配置される。なお、1つの焦点検出エリア内には、瞳分割方向の異なる焦点検出用画素77が複数設けられる。この構成により、多様な方向の被写体エッジに対して焦点検出が可能になる。
On the other hand, in FIG. 8B, the
《実施形態の補足事項》
なお、上述した実施形態では、焦点検出用画素を撮像面に粗に配置できることの効果を説明している。しかしながら、本発明はこれに限定されるものではない。必要であれば、従来と同様に、焦点検出用画素を撮像面に密に配置してもかまわない。
<< Additional items of embodiment >>
In the above-described embodiment, the effect that the focus detection pixels can be roughly arranged on the imaging surface is described. However, the present invention is not limited to this. If necessary, focus detection pixels may be densely arranged on the imaging surface as in the conventional case.
また、上述した実施形態では、焦点検出エリア内に焦点検出画素を市松配列するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、ベイヤ配列などのカラー撮像素子では、画像信号から同一色成分が集中的に欠落しないよう、焦点検出用画素を適宜に分散させて配置することが好ましい。 In the above-described embodiment, the case where the focus detection pixels are arranged in a checkered pattern in the focus detection area has been described. However, the present invention is not limited to this. For example, in a color image sensor such as a Bayer array, it is preferable to disperse the focus detection pixels appropriately so that the same color component is not lost intensively from the image signal.
なお、上述した実施形態では、信号差分Dが偶数次の収束曲線(図7参照)となるケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図9に示すように、信号差分Dが、奇数次の収束曲線を示す場合にも、後ピン/前ピンの判定や、デフォーカス量の概略的な推定が可能になる。また、奇数次の関数を用いて、信号差分Dの標本値を近似することにより、合焦位置(デフォーカス量)や合焦位置の推定を行うことも可能になる。 In the above-described embodiment, the case where the signal difference D is an even-order convergence curve (see FIG. 7) has been described. However, the present invention is not limited to this. For example, as shown in FIG. 9, even when the signal difference D indicates an odd-order convergence curve, it is possible to determine the rear pin / front pin and to roughly estimate the defocus amount. Further, by approximating the sample value of the signal difference D using an odd-order function, it is possible to estimate the in-focus position (defocus amount) and the in-focus position.
また、上述した実施形態では、撮像用画素と焦点検出用画素とを同一サイズとしている。しかしながら、本発明はこれに限定されるものではない。例えば、1つの焦点検出用画素を、撮像用画素の複数個分の画素サイズにしてもよい。この場合、焦点検出用画素の受光効率を高めて、焦点検出精度を向上させることができる。また、1つの焦点検出用画素を、撮像用画素の配置の隙間に収まるようにサイズ縮小してもよい。 In the above-described embodiment, the imaging pixels and the focus detection pixels have the same size. However, the present invention is not limited to this. For example, one focus detection pixel may have a pixel size corresponding to a plurality of imaging pixels. In this case, the light detection efficiency of the focus detection pixels can be increased, and the focus detection accuracy can be improved. Further, the size of one focus detection pixel may be reduced so as to fit within the gap in the arrangement of the imaging pixels.
なお、上述した実施形態では、XYアドレス方式(CMOS型など)の固体撮像装置のケースについて説明した。しかしながら、本発明はこれに限定されるものではない。CCD型固体撮像装置などに本発明を適用してもよい。 In the above-described embodiment, the case of the solid-state imaging device of the XY address method (CMOS type or the like) has been described. However, the present invention is not limited to this. The present invention may be applied to a CCD type solid-state imaging device or the like.
さらに、上述した実施形態では、固体撮像装置11と焦点演算部20とを別体に設けている。しかしながら、本発明はこれに限定されるものではない。例えば、焦点演算部20を固体撮像装置11の内蔵回路としてもよい。この場合、焦点演算部20を、差分回路や絶対値回路などのアナログ回路として構成することができる。また、焦点演算部20をデジタル回路として構成してもよい。
Further, in the above-described embodiment, the solid-
なお、上述した実施形態では、変動部により撮像面を光軸方向に変位させることで、撮影レンズと撮像面との光学的距離を変動させている。しかしながら、本発明はこれに限定されるものではない。例えば、撮像レンズの焦点調節位置を駆動することにより、撮影レンズと撮像面との光学的距離を変動させてもよい。また例えば、撮影レンズと撮像面との光路上に屈折率の異なる光学部材を挿抜することによって、撮影レンズと撮像面との光学的距離を変動させてもよい。 In the above-described embodiment, the optical distance between the imaging lens and the imaging surface is changed by displacing the imaging surface in the optical axis direction by the changing unit. However, the present invention is not limited to this. For example, the optical distance between the photographic lens and the imaging surface may be changed by driving the focus adjustment position of the imaging lens. Further, for example, the optical distance between the photographing lens and the imaging surface may be changed by inserting and removing optical members having different refractive indexes on the optical path between the photographing lens and the imaging surface.
また、上述した実施形態では、瞳形成マイクロレンズ36を単層のレンズで構成している。しかしながら、本発明はこれに限定されるものではない。瞳形成マイクロレンズ36を複数層のレンズから構成してもよい。この場合、瞳形成マイクロレンズ36による射出瞳の実像の結像性能を高めることが可能になり、焦点検出精度を一段と高めることができる。 In the above-described embodiment, the pupil forming microlens 36 is constituted by a single-layer lens. However, the present invention is not limited to this. The pupil forming microlens 36 may be composed of a plurality of layers of lenses. In this case, it is possible to improve the imaging performance of the real image of the exit pupil by the pupil forming microlens 36, and the focus detection accuracy can be further improved.
なお、上述した第1実施形態では、光電変換域34a,34bの外形を円状に形成している。しかしながら、本発明はこれに限定されるものではない。光電変換域34a,34bは同心状であればよく、その外形には限定されてない。例えば、光電変換域34bを矩形とし、光学変換域34aを口の字状やコの字状に形成してもよい。
In the first embodiment described above, the outer shapes of the
以上説明したように、本発明は、焦点検出機能を有する撮像装置に利用可能な技術である。 As described above, the present invention is a technique that can be used for an imaging apparatus having a focus detection function.
10…電子カメラ,11…固体撮像装置,11a…変動部,12…撮影レンズ,12a…焦点制御部,17…メモリ,19…マイクロプロセッサ,20…焦点演算部,31…撮像用画素,32…光電変換域,33…マイクロレンズ,34a…光電変換域,34b…光電変換域,36…瞳形成マイクロレンズ,37…焦点検出用画素,57…焦点検出用画素,77…焦点検出用画素
DESCRIPTION OF
Claims (7)
前記撮像用画素の群の中に設けられ、画素単位の受光光束から前記撮影レンズの射出瞳の実像を形成する瞳形成マイクロレンズと、前記射出瞳の実像を瞳分割してそれぞれ光電変換し、一組の瞳分割信号を生成する光電変換域とを備えた焦点検出用画素と、
前記焦点検出用画素から一組の前記瞳分割信号を取得して信号差分を検出し、前記信号差分に応じて前記撮影レンズの焦点調節状態を推定する焦点演算部と
を備えたことを特徴とする撮像装置。 A group of imaging pixels that are provided on the imaging surface and photoelectrically convert the received light flux that has passed through the imaging lens in units of pixels to generate an image signal;
Provided in the group of pixels for imaging, pupil forming microlens that forms a real image of the exit pupil of the photographic lens from a received light beam in pixel units, and a pupil split of the real image of the exit pupil, respectively, photoelectrically converted, A focus detection pixel having a photoelectric conversion region for generating a set of pupil division signals;
A focus calculation unit that acquires a set of the pupil division signals from the focus detection pixels, detects a signal difference, and estimates a focus adjustment state of the photographic lens according to the signal difference. An imaging device.
前記撮影レンズと前記撮像面との光学的距離を変動させる変動部を備え、
前記焦点演算部は、前記光学的距離の変動に伴う前記信号差分の変化に基づいて、前記撮影レンズのデフォーカス(焦点ズレ)量または合焦位置を推定する
ことを特徴とする撮像装置。 The imaging apparatus according to claim 1,
A variable unit that varies the optical distance between the imaging lens and the imaging surface;
The focus calculation unit estimates an amount of defocus (focus shift) or a focus position of the photographing lens based on a change in the signal difference accompanying a change in the optical distance.
前記焦点演算部は、前記光学的距離の変動に伴って信号差分の標本値を複数求め、前記複数の信号差分の標本値を外延近似または補間近似して前記信号差分がゼロとなる合焦位置を推定する
ことを特徴とする撮像装置。 The imaging device according to claim 3.
The focus calculation unit obtains a plurality of sample values of the signal difference as the optical distance varies, and an in-focus position at which the signal difference becomes zero by extending or interpolating the sample values of the plurality of signal differences. An imaging apparatus characterized by estimating
前記焦点演算部は、前記光学的距離の変動に伴う前記信号差分の増減方向に基づいて、前記撮影レンズが後ピン状態か前ピン状態かを判定する
ことを特徴とする撮像装置。 In the imaging device according to claim 2 or 3,
The imaging apparatus according to claim 1, wherein the focus calculation unit determines whether the photographing lens is in a rear pin state or a front pin state based on an increase / decrease direction of the signal difference accompanying the change in the optical distance.
前記焦点検出用画素の前記光電変換域は、
前記射出瞳の実像を同心状に瞳分割し、前記実像の中央領域の光電変換信号と、前記実像の周辺領域の光電変換信号を生成し、一組の瞳分割信号とする
ことを特徴とする撮像装置。 The imaging apparatus according to any one of claims 1 to 4,
The photoelectric conversion area of the focus detection pixel is:
The real image of the exit pupil is concentrically divided into pupils, and a photoelectric conversion signal in a central region of the real image and a photoelectric conversion signal in a peripheral region of the real image are generated to form a set of pupil division signals. Imaging device.
前記焦点検出用画素は複数設けられ、
前記焦点演算部は、前記複数の焦点検出用画素から求めた個々の信号差分から絶対値和を算出して前記信号差分とする
ことを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 5,
A plurality of the focus detection pixels are provided,
The focus calculation unit calculates an absolute value sum from individual signal differences obtained from the plurality of focus detection pixels, and sets the difference as the signal difference.
前記焦点演算部が検出する前記信号差分を小さくする方向に、前記撮影レンズを焦点制御することにより、前記撮影レンズを合焦させる焦点制御部を備えた
ことを特徴とする撮像装置。
The imaging device according to any one of claims 1 to 6,
An imaging apparatus comprising: a focus control unit that focuses the photographic lens by controlling the focus of the photographic lens in a direction to reduce the signal difference detected by the focus calculation unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006188323A JP2008015353A (en) | 2006-07-07 | 2006-07-07 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006188323A JP2008015353A (en) | 2006-07-07 | 2006-07-07 | Imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008015353A true JP2008015353A (en) | 2008-01-24 |
Family
ID=39072406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006188323A Pending JP2008015353A (en) | 2006-07-07 | 2006-07-07 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008015353A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009217073A (en) * | 2008-03-11 | 2009-09-24 | Canon Inc | Imaging apparatus and method for controlling the same |
JP2013251874A (en) * | 2012-06-04 | 2013-12-12 | Canon Inc | Image pickup apparatus, method for driving image pickup apparatus, image pickup system, and method for driving image pickup system |
JP2015232676A (en) * | 2014-06-11 | 2015-12-24 | キヤノン株式会社 | Imaging device, control method of imaging device, program, and storage medium |
US20160269619A1 (en) * | 2010-04-08 | 2016-09-15 | Sony Corporation | Image pickup apparatus, solid-state image pickup element, and image pickup method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5945733A (en) * | 1982-09-09 | 1984-03-14 | Hitachi Ltd | Pcm terminal station |
JPH02295281A (en) * | 1989-05-10 | 1990-12-06 | Canon Inc | Storage controller for photoelectric converting element |
JPH1096852A (en) * | 1996-09-20 | 1998-04-14 | Kyocera Corp | Focus detector using two-dimensional imaging device |
JP2003244712A (en) * | 2002-02-19 | 2003-08-29 | Canon Inc | Imaging apparatus and system |
JP2005221798A (en) * | 2004-02-06 | 2005-08-18 | Fujinon Corp | Automatic focusing system |
-
2006
- 2006-07-07 JP JP2006188323A patent/JP2008015353A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5945733A (en) * | 1982-09-09 | 1984-03-14 | Hitachi Ltd | Pcm terminal station |
JPH02295281A (en) * | 1989-05-10 | 1990-12-06 | Canon Inc | Storage controller for photoelectric converting element |
JPH1096852A (en) * | 1996-09-20 | 1998-04-14 | Kyocera Corp | Focus detector using two-dimensional imaging device |
JP2003244712A (en) * | 2002-02-19 | 2003-08-29 | Canon Inc | Imaging apparatus and system |
JP2005221798A (en) * | 2004-02-06 | 2005-08-18 | Fujinon Corp | Automatic focusing system |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009217073A (en) * | 2008-03-11 | 2009-09-24 | Canon Inc | Imaging apparatus and method for controlling the same |
US20160269619A1 (en) * | 2010-04-08 | 2016-09-15 | Sony Corporation | Image pickup apparatus, solid-state image pickup element, and image pickup method |
JP2013251874A (en) * | 2012-06-04 | 2013-12-12 | Canon Inc | Image pickup apparatus, method for driving image pickup apparatus, image pickup system, and method for driving image pickup system |
JP2015232676A (en) * | 2014-06-11 | 2015-12-24 | キヤノン株式会社 | Imaging device, control method of imaging device, program, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7298635B2 (en) | Imaging element and imaging device | |
US8890972B2 (en) | Image capturing apparatus and image processing method | |
JP5028154B2 (en) | Imaging apparatus and control method thereof | |
JP5276374B2 (en) | Focus detection device | |
JP4935078B2 (en) | Solid-state imaging device and electronic camera using the same | |
JP5850680B2 (en) | Imaging apparatus and control method thereof | |
US20080291311A1 (en) | Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus | |
JP5000413B2 (en) | Imaging system and image signal processing program | |
JP2007281296A (en) | Solid imaging devise and electronic camera | |
JP6099904B2 (en) | Imaging device | |
JP2010268052A (en) | Imaging device | |
JP2009105682A (en) | Image sensor and imaging apparatus | |
JP2007158692A (en) | Solid state imaging device and electronic camera using the same | |
JP6442362B2 (en) | Image pickup apparatus and image pickup element control method | |
JP2006343456A (en) | Focus detecting device, and imaging apparatus | |
JP6381274B2 (en) | Imaging device, control method thereof, and control program | |
JP6234058B2 (en) | Focus adjustment apparatus and control method thereof | |
JP2005092085A (en) | Focus detecting method and focusing method, and focus detecting device and focusing device | |
JP2009188463A (en) | Imaging apparatus and control method thereof | |
JP6238578B2 (en) | Imaging apparatus and control method thereof | |
JP2008310072A (en) | Digital camera | |
JP2008015353A (en) | Imaging device | |
JP4567712B2 (en) | Imaging device | |
JP2018182459A (en) | Imaging apparatus and control method thereof | |
JP4972902B2 (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110912 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111227 |