JP2007158830A - Image pickup device and image pickup device control method - Google Patents

Image pickup device and image pickup device control method Download PDF

Info

Publication number
JP2007158830A
JP2007158830A JP2005352415A JP2005352415A JP2007158830A JP 2007158830 A JP2007158830 A JP 2007158830A JP 2005352415 A JP2005352415 A JP 2005352415A JP 2005352415 A JP2005352415 A JP 2005352415A JP 2007158830 A JP2007158830 A JP 2007158830A
Authority
JP
Japan
Prior art keywords
light leakage
clamping
pixel portion
level
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005352415A
Other languages
Japanese (ja)
Other versions
JP2007158830A5 (en
JP4926467B2 (en
Inventor
Satoshi Suzuki
聡史 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005352415A priority Critical patent/JP4926467B2/en
Publication of JP2007158830A publication Critical patent/JP2007158830A/en
Publication of JP2007158830A5 publication Critical patent/JP2007158830A5/ja
Application granted granted Critical
Publication of JP4926467B2 publication Critical patent/JP4926467B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To inexpensively apply a countermeasure for preventing an OB part from being affected by a light leak to the OB part caused by a large incident light amount due to a high-luminance subject or the like. <P>SOLUTION: It is detected that an output level in an OB pixel part is changed corresponding to a distance from an effective pixel part. An OB region for calculating a dark level is changed corresponding to the detection results. Consequently, it is possible to detect a proper dark level that is not affected by the light leak to the OB pixel part caused by the large incident light amount due to the high-luminance subject or the like. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は撮像装置、撮像装置の制御方法に関し、特に、OBクランプを行う際に用いて好適な技術に関する。   The present invention relates to an imaging apparatus and a method for controlling the imaging apparatus, and more particularly to a technique suitable for use in performing OB clamping.

従来、固体メモリ素子を有するメモリカードを記録媒体として、CCD、CMOS等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の画像処理装置は既に市販されている。   2. Description of the Related Art Conventionally, an image processing apparatus such as an electronic camera that records and reproduces a still image or a moving image captured by a solid-state imaging device such as a CCD or CMOS using a memory card having a solid-state memory element as a recording medium is already on the market.

これらの電子カメラの撮像素子の多くは、OB(Optical Black)画素と呼ばれるアルミニウム膜等によって遮光された複数の画素を備えており、そのOB画素範囲(以下、OB部とする)の出力値をもって、ダークレベルとしてOBクランプを行っている撮像装置が多い。ここで、OBクランプによるダークレベルの調整には以下のような問題があった。   Many of the image pickup devices of these electronic cameras have a plurality of pixels shielded by an aluminum film or the like called OB (Optical Black) pixels, and have an output value of the OB pixel range (hereinafter referred to as an OB portion). There are many imaging devices that perform OB clamping as a dark level. Here, the dark level adjustment by the OB clamp has the following problems.

すなわち、OB部の全体もしくは一部分が有効画素部のダークレベルとは異なったレベルとなってしまう現象が発生してしまう恐れがある。具体例として、例えば、OB部の付近に高輝度の被写体が存在し、入射光量が大量であった場合を説明する。このような場合、遮光しているにもかかわらず、隣接する有効画素領域からの光漏れやブルーミングにより、OB部のレベルが有効画素部のダークレベルを維持できなくなるという現象が発生する。   That is, there is a possibility that a phenomenon may occur in which the whole or part of the OB portion has a level different from the dark level of the effective pixel portion. As a specific example, for example, a case where a high-luminance subject exists near the OB portion and the amount of incident light is large will be described. In such a case, a phenomenon occurs in which the level of the OB portion cannot maintain the dark level of the effective pixel portion due to light leakage or blooming from the adjacent effective pixel region, although the light is blocked.

OB部の出力レベルと有効画素部のダークレベルとの間にずれが発生すると、入射光が無いダーク状態の値を誤ってしまい、入射光量に対する出力信号のリニアリティが保てなくなる。その結果、例えば、ホワイトバランス処理後の色がおかしくなってしまう等の問題が発生する。   If a deviation occurs between the output level of the OB portion and the dark level of the effective pixel portion, the value of the dark state without incident light is wrong, and the linearity of the output signal with respect to the incident light amount cannot be maintained. As a result, there arises a problem that, for example, the color after white balance processing becomes strange.

図8は、OB部と有効画素部の境界付近に高輝度被写体による入射光があった場合に発生するOB浮きが生じている問題例を示す図である。図8(a)は水平OBクランプを行う前を示し、図8(b)は水平OBクランプを行った後を示している。ここで言う水平OBクランプとは、得られた画像における各行のダークレベルをその行の水平OB部のレベルにクランプすることをいう。   FIG. 8 is a diagram illustrating a problem example in which OB floating that occurs when incident light from a high-luminance subject is present near the boundary between the OB portion and the effective pixel portion. FIG. 8A shows before horizontal OB clamping, and FIG. 8B shows after horizontal OB clamping. Here, the horizontal OB clamp means that the dark level of each row in the obtained image is clamped to the level of the horizontal OB portion of that row.

この問題例においては、図8(a)に示される高輝度入射部によってOB部のレベルが一部持ち上がり、このOB部を用いて水平OBクランプを行うと、図8(b)のように、OBが持ち上がった部分の行のダークレベルが引き下げられて、沈んだ部分が帯状に発生してしまう。   In this problem example, the level of the OB part is partially raised by the high-intensity incident part shown in FIG. 8A. When horizontal OB clamping is performed using this OB part, as shown in FIG. The dark level of the row where the OB is raised is lowered, and the sunken portion is generated in a band shape.

このようなOB領域への光漏れに対する対策としては様々な提案がなされており、例えば特許文献1において提案されている撮像装置においては、高輝度入射光によるOB部への光漏れの発生を、OB部の出力レベルを算出することによって検知している。そして、そのOB部の出力結果に基づき、OB部のレベルが大きい場合には、光漏れの影響の受けにくい、有効画素領域から離れたOB領域を使用する等の対策を施している。   Various proposals have been made as countermeasures against such light leakage to the OB region. For example, in the imaging device proposed in Patent Document 1, occurrence of light leakage to the OB portion due to high-intensity incident light is Detection is performed by calculating the output level of the OB section. Then, based on the output result of the OB portion, when the level of the OB portion is high, measures are taken such as using an OB region that is not easily affected by light leakage and is far from the effective pixel region.

特開平9−247552号公報Japanese Patent Laid-Open No. 9-247552

しかしながら、このような従来の電子カメラ等の固体撮像装置におけるOB領域への光漏れ問題の対処法においては、以下のような問題があった。すなわち、OB部の出力レベルが有効画素部のダークのレベルと異なる現象としては、光漏れだけではない。例えば、図9(a)に示すような、暗電流量がOB部と有効画素部とで異なる「OB段差」と呼ばれる現象が発生することがある。図9(b)は輝度分布を示している。また、図10(a)に示すような、暗電流量が局所的に異なるムラとなり、例えば、周辺回路の発熱等により画素領域の周辺ほど暗電流量が多くなるといった現象などがある。同様に図10(b)は輝度分布を示している。これらの現象に対して「有効画素領域から離れたOB領域を使用する」などの「光漏れ」の場合と同様の対策を施してしまうと、図9の現象に対しては効果がなく、更には、図10の現象に対しては、かえって逆効果となってしまう問題点があった。   However, in the method of dealing with the problem of light leakage to the OB region in such a conventional solid-state imaging device such as an electronic camera, there are the following problems. That is, the phenomenon in which the output level of the OB portion differs from the dark level of the effective pixel portion is not only light leakage. For example, as shown in FIG. 9A, a phenomenon called “OB step” may occur in which the dark current amount is different between the OB portion and the effective pixel portion. FIG. 9B shows the luminance distribution. Further, as shown in FIG. 10A, the dark current amount becomes uneven locally, and for example, there is a phenomenon that the dark current amount increases toward the periphery of the pixel region due to heat generation of the peripheral circuit. Similarly, FIG. 10B shows the luminance distribution. If measures similar to those in the case of “light leakage” such as “use OB region far from effective pixel region” are applied to these phenomena, there is no effect on the phenomenon of FIG. However, the phenomenon of FIG. 10 has an adverse effect.

また、有効画素領域から離れたOB領域を使用する対策を施す場合に、高輝度入射の影響を確実に受けないOB領域を確保しようとすると、OB領域を大幅に拡大しなければならなくなるので、チップサイズを拡大することが必要となり、撮像素子の製造コストがアップしてしまうという問題点があった。   In addition, when taking measures to use an OB area far from the effective pixel area, if an OB area that is not reliably affected by high-intensity incidence is to be secured, the OB area must be greatly enlarged. There is a problem that it is necessary to increase the chip size, which increases the manufacturing cost of the image sensor.

本発明は前述の問題点に鑑み、高輝度被写体等による大量の入射光量にともなうOB部への光漏れの影響を受けないようにする対策を安価に施すことができるようにすることを目的としている。   SUMMARY OF THE INVENTION In view of the above-described problems, an object of the present invention is to provide a low-cost measure for preventing the influence of light leakage on an OB portion due to a large amount of incident light by a high-luminance subject or the like. Yes.

本発明の撮像装置は、被写体を撮像して生成された画像データを記録媒体に記録する撮像装置であって、前記被写体からの反射光により露光した光信号を電気信号へと変換する画素を複数有する有効画素部と、前記有効画素部に隣接して形成され、その前面が遮光されたOB画素部とから構成される撮像素子と、前記OB画素部における出力レベルに基づいて前記画像データのダークレベルを決定するOBクランプ手段と、前記OB画素部における出力レベルが前記有効画素部からの距離に応じて変化していることを検出するOB画素部変化検出手段とを有し、前記OBクランプ手段は、前記OB画素部変化検出手段による検出結果に応じて、前記ダークレベルを算出するOB領域を変えることを特徴とする。   An imaging apparatus according to the present invention is an imaging apparatus that records image data generated by imaging a subject on a recording medium, and includes a plurality of pixels that convert an optical signal exposed by reflected light from the subject into an electrical signal. An image pickup device comprising an effective pixel portion having an OB pixel portion formed adjacent to the effective pixel portion and shielded from light in front of the effective pixel portion, and darkness of the image data based on an output level in the OB pixel portion. An OB clamp unit that determines a level; and an OB pixel unit change detection unit that detects that an output level in the OB pixel unit changes according to a distance from the effective pixel unit. Is characterized in that the OB area for calculating the dark level is changed according to the detection result by the OB pixel part change detecting means.

本発明の撮像装置の制御方法は、被写体を撮像して生成された画像データを記録媒体に記録する撮像装置の制御方法であって、前記被写体からの反射光により露光した光信号を電気信号へと変換する画素を複数有する有効画素部と、前記有効画素部に隣接して形成され、その前面が遮光されたOB画素部とから構成される撮像素子において、前記OB画素部における出力レベルに基づいて前記画像データのダークレベルを決定するOBクランプ工程と、前記OB画素部における出力レベルが前記有効画素部からの距離に応じて変化していることを検出するOB画素部変化検出工程とを有し、前記OBクランプ工程は、前記OB画素部変化検出工程による検出結果に応じて、前記ダークレベルを算出するOB領域を変えることを特徴とする。   An imaging apparatus control method according to the present invention is an imaging apparatus control method for recording image data generated by imaging a subject on a recording medium, wherein an optical signal exposed by reflected light from the subject is converted into an electrical signal. In an imaging device comprising an effective pixel portion having a plurality of pixels to be converted and an OB pixel portion formed adjacent to the effective pixel portion and shielded from light in front of the effective pixel portion, based on the output level in the OB pixel portion An OB clamping step for determining the dark level of the image data, and an OB pixel portion change detection step for detecting that the output level in the OB pixel portion changes according to the distance from the effective pixel portion. In the OB clamping step, the OB region for calculating the dark level is changed according to the detection result of the OB pixel portion change detection step.

本発明によれば、OB部における出力レベルが有効画素部からの距離に応じて変化していることを検出し、その検出結果に応じて、ダークレベルを算出するOB領域を変えるようにしたので、高輝度被写体等による大量の入射光量にともなうOB部への光漏れの影響を受けない適切なダークレベルを安価に検出することができる。これにより、OBクランプエラーが生じることを防ぐことができる。   According to the present invention, it is detected that the output level in the OB portion changes according to the distance from the effective pixel portion, and the OB region for calculating the dark level is changed according to the detection result. In addition, an appropriate dark level that is not affected by light leakage to the OB portion due to a large amount of incident light by a high-luminance subject or the like can be detected at low cost. Thereby, it is possible to prevent an OB clamp error from occurring.

(第1の実施形態)
以下、図面を参照して本発明の実施形態を説明する。
図1は、本実施形態における電子カメラの構成例を示すブロック図である。
図1において、100は、画像処理装置である。12は、撮像素子14の露光量を制御する絞り機能を有したシャッタである。14は、光学像を電気信号に変換する撮像素子である。複数のレンズ、絞り、シャッタ等で構成されるレンズユニット300に入射した光線は、撮像素子14上に光学像として決像する。
(First embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration example of an electronic camera according to the present embodiment.
In FIG. 1, reference numeral 100 denotes an image processing apparatus. Reference numeral 12 denotes a shutter having a diaphragm function for controlling the exposure amount of the image sensor 14. An image sensor 14 converts an optical image into an electric signal. A light beam incident on the lens unit 300 including a plurality of lenses, a diaphragm, a shutter, and the like is determined as an optical image on the image sensor 14.

レンズユニット300内の撮影レンズ310に入射した光線は、絞り312、外側レンズマウント306、内側レンズマウント106、第1のミラー130及びシャッタ12を通じて一眼レフ方式により導かれた撮像素子14上に光学像として結像する。   The light beam incident on the photographing lens 310 in the lens unit 300 is an optical image on the image sensor 14 guided by the single-lens reflex system through the diaphragm 312, the outer lens mount 306, the inner lens mount 106, the first mirror 130 and the shutter 12. To form an image.

15は、撮像素子14から出力されるアナログ信号に対して各種処理を行うアナログ信号処理回路(AFE)である。アナログ信号処理回路15は、入力アナログ画像信号の相関2重サンプリングを行うCDS部16と、アナログ画像信号に所定のゲインをかけるPGA部17と、及びアナログ信号をディジタル信号に変換するA/D変換部18とから構成されている。なお、本実施形態において後述する水平OBクランプはこのアナログ信号処理回路15で行われる。   Reference numeral 15 denotes an analog signal processing circuit (AFE) that performs various processes on the analog signal output from the image sensor 14. The analog signal processing circuit 15 includes a CDS unit 16 that performs correlated double sampling of an input analog image signal, a PGA unit 17 that applies a predetermined gain to the analog image signal, and an A / D conversion that converts the analog signal into a digital signal. Part 18. In this embodiment, horizontal OB clamping described later is performed by the analog signal processing circuit 15.

19は、撮像素子14及びアナログ信号処理回路15等にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50によって制御される。   A timing generation circuit 19 supplies a clock signal and a control signal to the image sensor 14 and the analog signal processing circuit 15 and is controlled by the memory control circuit 22 and the system control circuit 50.

20は、画像処理回路であり、アナログ信号処理回路15からのデータあるいはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20は、必要に応じて撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL(スルー・ザ・レンズ)方式のAWB(オートホワイトバランス)処理を行う。なお、本実施形態において後述するOB積分はこの画像処理回路20で行われる。   An image processing circuit 20 performs predetermined pixel interpolation processing and color conversion processing on data from the analog signal processing circuit 15 or data from the memory control circuit 22. Further, the image processing circuit 20 performs predetermined arithmetic processing using image data captured as necessary, and based on the obtained arithmetic result, a TTL (through the lens) type AWB (auto white balance). Process. Note that the OB integration described later in the present embodiment is performed by the image processing circuit 20.

22は、メモリ制御回路であり、アナログ信号処理回路15、タイミング発生回路19、画像処理回路20、メモリ30及び圧縮・伸長回路32を制御する。アナログ信号処理回路15から送られるデータは、画像処理回路20及びメモリ制御回路22を介して、あるいは直接、メモリ制御回路22を介して画像表示メモリ24あるいはメモリ30に書き込まれる。   A memory control circuit 22 controls the analog signal processing circuit 15, the timing generation circuit 19, the image processing circuit 20, the memory 30, and the compression / decompression circuit 32. Data sent from the analog signal processing circuit 15 is written into the image display memory 24 or the memory 30 via the image processing circuit 20 and the memory control circuit 22 or directly via the memory control circuit 22.

24は、画像表示メモリであり、26は、D/A変換器である。28は、TFT方式のLCDからなる画像表示部である。画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28に表示される。撮像された画像データを画像表示部28で逐次表示する場合は、電子ファインダ機能を実現することが可能である。   Reference numeral 24 denotes an image display memory, and reference numeral 26 denotes a D / A converter. Reference numeral 28 denotes an image display unit composed of a TFT LCD. The display image data written in the image display memory 24 is displayed on the image display unit 28 via the D / A converter 26. When the captured image data is sequentially displayed on the image display unit 28, an electronic viewfinder function can be realized.

30は、撮影された静止画像や動画像を格納するためのメモリである。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。32は、適応離散コサイン変換(ADCT)などにより画像データを圧縮伸長する圧縮・伸長回路であり、メモリ30に格納された画像を読み出して圧縮処理あるいは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。   Reference numeral 30 denotes a memory for storing captured still images and moving images. The memory 30 can also be used as a work area for the system control circuit 50. Reference numeral 32 denotes a compression / decompression circuit that compresses and decompresses image data by adaptive discrete cosine transform (ADCT) or the like, reads an image stored in the memory 30, performs compression processing or decompression processing, and stores the processed data in the memory Write to 30.

40は、システム制御回路50による制御に基づいて、絞り312を制御する絞り制御部340と連携しながらシャッタ12を制御するシャッタ制御部である。50は、画像処理装置100全体を制御するシステム制御回路であり、シャッタ制御回路40を介したシャッタ12の制御や絞り制御部340を介した絞り制御を含めた一連の撮像動作を制御する。また、システム制御回路50は不図示のAE(自動露出)、AF(オートフォーカス)回路による各種動作などを、各種設定に従い制御する回路である。   Reference numeral 40 denotes a shutter control unit that controls the shutter 12 in cooperation with an aperture control unit 340 that controls the aperture 312 based on control by the system control circuit 50. A system control circuit 50 controls the entire image processing apparatus 100 and controls a series of imaging operations including control of the shutter 12 via the shutter control circuit 40 and aperture control via the aperture controller 340. The system control circuit 50 is a circuit that controls various operations by an AE (automatic exposure) and AF (autofocus) circuit (not shown) according to various settings.

90及び94は、メモリカードやハードディスク等の記録媒体との第1及び第2のインターフェースであり、92及び96は、メモリカードやハードディスクなどの記録媒体との接続を行う第1及び第2の内側コネクタである。   Reference numerals 90 and 94 denote first and second interfaces with a recording medium such as a memory card and a hard disk. Reference numerals 92 and 96 denote first and second inner sides for connection with a recording medium such as a memory card and a hard disk. It is a connector.

98は、第1の内側コネクタ92、第2の内側コネクタ96に第1及び第2の記録媒体200、210が装着されているか否かを検知する記録媒体着脱検知部である。120は、内側レンズマウント106内で画像処理装置100をレンズユニット300と接続するための第5のインターフェースである。   Reference numeral 98 denotes a recording medium attachment / detachment detection unit that detects whether or not the first and second recording media 200 and 210 are attached to the first inner connector 92 and the second inner connector 96. Reference numeral 120 denotes a fifth interface for connecting the image processing apparatus 100 to the lens unit 300 in the inner lens mount 106.

130、132はそれぞれ第1及び第2のミラーであり、撮影レンズ310に入射した光線を、一眼レフ方式によって光学ファインダ104に導く。第2のミラー132はクイックリターンミラーの構成にしてもハーフミラーの構成にしてもどちらでもよい。   Reference numerals 130 and 132 denote first and second mirrors, respectively, which guide light rays incident on the photographing lens 310 to the optical viewfinder 104 by a single-lens reflex system. The second mirror 132 may be either a quick return mirror or a half mirror.

200は、メモリカードやハードディスクなどの第1の記録媒体である。第1の記録媒体200は、半導体メモリや磁気ディスクなどから構成される第1の記録部202、画像処理装置100と接続するための第3のインターフェース204、及び画像処理装置100との接続を行う第1の外側コネクタ206とを有している。   Reference numeral 200 denotes a first recording medium such as a memory card or a hard disk. The first recording medium 200 is connected to the first recording unit 202 configured by a semiconductor memory, a magnetic disk, or the like, the third interface 204 for connecting to the image processing apparatus 100, and the image processing apparatus 100. And a first outer connector 206.

210は、第1の記録媒体200と同様であり、メモリカードやハードディスク等の第2の記録媒体である。第2の記録媒体210は、半導体メモリや磁気ディスク等から構成される第2の記録部212、画像処理装置100と接続するための第4のインターフェース214、及び画像処理装置100との接続を行う第2の外側コネクタ216とを有している。   210 is the same as the first recording medium 200, and is a second recording medium such as a memory card or a hard disk. The second recording medium 210 is connected to a second recording unit 212 configured by a semiconductor memory, a magnetic disk, or the like, a fourth interface 214 for connecting to the image processing apparatus 100, and the image processing apparatus 100. And a second outer connector 216.

300は、交換レンズタイプのレンズユニットである。306は、レンズユニット300を画像処理装置100と機械的に結合する外側レンズマウントである。外側レンズマウント306内には、レンズユニット300を画像処理装置100と電気的に接続する各種機能が含まれている。   Reference numeral 300 denotes an interchangeable lens type lens unit. Reference numeral 306 denotes an outer lens mount that mechanically couples the lens unit 300 to the image processing apparatus 100. Various functions for electrically connecting the lens unit 300 to the image processing apparatus 100 are included in the outer lens mount 306.

310は、撮影レンズであり、312は、絞りである。320は、外側レンズマウント306内でレンズユニット300を画像処理装置100と接続するための第6のインターフェースである。   Reference numeral 310 denotes a photographing lens, and 312 denotes an aperture. Reference numeral 320 denotes a sixth interface for connecting the lens unit 300 to the image processing apparatus 100 in the outer lens mount 306.

322は、レンズユニット300を画像処理装置100と電気的に接続する第3の外側コネクタであり、画像処理装置100の第3の内側コネクタ122と接続されている。第3の外側コネクタ322は、画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うとともに、各種電流が供給され、あるいは電流を供給する機能を備えている。   Reference numeral 322 denotes a third outer connector that electrically connects the lens unit 300 to the image processing apparatus 100, and is connected to the third inner connector 122 of the image processing apparatus 100. The third outer connector 322 has a function of transmitting control signals, status signals, data signals, and the like between the image processing apparatus 100 and the lens unit 300 and supplying various currents or supplying currents. .

340は、システム制御回路50による制御に基づいて、シャッタ12を制御するシャッタ制御部40と連携しながら、絞り312を制御する絞り制御部である。342は、撮影レンズ310のフォーカシングを制御する測距制御部である。また、344は、撮影レンズ310のズーミングを制御するズーム制御部であり、350は、レンズユニット300全体を制御するレンズシステム制御回路である。   Reference numeral 340 denotes an aperture control unit that controls the aperture 312 in cooperation with the shutter control unit 40 that controls the shutter 12 based on control by the system control circuit 50. Reference numeral 342 denotes a distance measurement control unit that controls focusing of the photographing lens 310. Reference numeral 344 denotes a zoom control unit that controls zooming of the photographing lens 310, and reference numeral 350 denotes a lens system control circuit that controls the entire lens unit 300.

次に図2乃至図6を参照して、本実施形態の動作を説明する。
図2は、本実施形態において、第1の例として水平OBクランプを用いてダークレベルへのクランプを行う構成の撮像装置における撮像シーケンスを示すフローチャートである。
Next, the operation of the present embodiment will be described with reference to FIGS.
FIG. 2 is a flowchart illustrating an imaging sequence in an imaging apparatus configured to perform clamping to a dark level using a horizontal OB clamp as a first example in the present embodiment.

撮影開始に伴い、システム制御回路50はタイミング発生回路19を介して撮像素子14における信号蓄積を開始させる(ステップS101)。次に、シャッタ12が開閉することによって露光を行った後(ステップS102)、撮像素子14における信号蓄積を終了させる(ステップS103)。   With the start of imaging, the system control circuit 50 starts signal accumulation in the image sensor 14 via the timing generation circuit 19 (step S101). Next, after exposure is performed by opening and closing the shutter 12 (step S102), signal accumulation in the image sensor 14 is terminated (step S103).

次に、水平OB部において先頭行から読出しを始める(ステップS104)。そして、アナログ信号処理回路15は、行の読出しにおける水平OB部の読出し時に水平OB部を出力する際の光漏れを検出する(ステップS105)。次に、その検出結果に基づいて水平OBクランプにおいてダーククランプに使用するダークレベルを設定する(ステップS106)。   Next, reading is started from the first row in the horizontal OB portion (step S104). Then, the analog signal processing circuit 15 detects light leakage when outputting the horizontal OB portion at the time of reading the horizontal OB portion in the row reading (step S105). Next, the dark level used for the dark clamp in the horizontal OB clamp is set based on the detection result (step S106).

アナログ信号処理回路15は、ステップS106で求めたダークレベルが所定値になるようにクランプを施しながら、有効画素部の行読出しを行う(ステップS107)。有効画素部の行読出しが完了したら、その行が最終行であるかを判定する(ステップS108)。この判定の結果、最終行である場合は、一連の撮影動作を終了する。一方、ステップS108の判定の結果、最終行でない場合は、ステップS104に戻り、次の行の読出しを行う。   The analog signal processing circuit 15 performs row reading of the effective pixel portion while performing clamping so that the dark level obtained in step S106 becomes a predetermined value (step S107). When the row reading of the effective pixel portion is completed, it is determined whether or not the row is the last row (step S108). If the result of this determination is the last row, the series of shooting operations are terminated. On the other hand, if the result of determination in step S108 is not the last line, the process returns to step S104 to read the next line.

図3は、本実施形態において、第2の例として水平OB部の平均出力値をもってダークレベルとし、水平OB積分によってダーククランプを行う構成の撮像装置における撮像シーケンスを示すフローチャートである。
撮影開始に伴い、システム制御回路50はタイミング発生回路19を介して撮像素子14における信号蓄積を開始させる(ステップS201)。次に、シャッタ12が開閉することによって露光を行った後(ステップS202)、撮像素子14における信号蓄積を終了させる(ステップS203)。
FIG. 3 is a flowchart illustrating an imaging sequence in an imaging apparatus having a configuration in which the average output value of the horizontal OB unit is set to a dark level and dark clamping is performed by horizontal OB integration as a second example in the present embodiment.
With the start of shooting, the system control circuit 50 starts signal accumulation in the image sensor 14 via the timing generation circuit 19 (step S201). Next, after exposure is performed by opening and closing the shutter 12 (step S202), signal accumulation in the image sensor 14 is terminated (step S203).

次に、アナログ信号処理回路15を介して蓄積された信号を読出し(ステップS204)、一旦メモリ30に格納する。そして、画像処理回路20は、メモリ30に格納された取得画像に対し、各行における水平OB部への光漏れを検出し(ステップS205)、その結果、光漏れが発生しているか否かを判定する(ステップS206)。   Next, the signal accumulated via the analog signal processing circuit 15 is read (step S204) and temporarily stored in the memory 30. Then, the image processing circuit 20 detects light leakage to the horizontal OB portion in each row for the acquired image stored in the memory 30 (step S205), and determines whether or not light leakage has occurred as a result. (Step S206).

この判定の結果、光漏れが発生していない場合は、OB積分領域として有効画素領域に近い第1のOB積分領域を選択する(ステップS207)。一方、ステップS206の判定の結果、光漏れが発生している場合は、第1のOB積分領域よりも有効画素領域から離れた第2のOB積分領域をOB積分領域として設定する(ステップS208)。   If no light leakage occurs as a result of this determination, the first OB integration region close to the effective pixel region is selected as the OB integration region (step S207). On the other hand, if light leakage has occurred as a result of the determination in step S206, the second OB integration region that is farther from the effective pixel region than the first OB integration region is set as the OB integration region (step S208). .

次に、設定されたOB積分領域の出力レベルの算出結果からダークレベルを求める(ステップS209)。そして最後に、画像処理回路20により、ダークレベルが所定値となるように画面全体のレベルのオフセットを施し(ステップS210)、一連の撮影動作を終了する。   Next, the dark level is obtained from the calculation result of the output level of the set OB integration region (step S209). Finally, the image processing circuit 20 offsets the level of the entire screen so that the dark level becomes a predetermined value (step S210), and the series of photographing operations is completed.

図4は、図2のステップS105及び図3のステップS205における水平OB部への光漏れの有無を検出するシーケンスのフローチャートである。
まず、各行において、複数に分割した領域それぞれの平均出力値を算出し(ステップS301)、その複数領域の平均出力値のばらつきが所定範囲内に収まっているか否かを判定する(ステップS302)。この判定の結果、平均出力値のばらつきが所定範囲内に収まっている場合は、その行においてはOB部への光漏れは発生していないと判断する(ステップS305)。
FIG. 4 is a flowchart of a sequence for detecting the presence or absence of light leakage to the horizontal OB unit in step S105 of FIG. 2 and step S205 of FIG.
First, in each row, the average output value of each of the divided areas is calculated (step S301), and it is determined whether or not the variation in the average output value of the plurality of areas is within a predetermined range (step S302). As a result of the determination, if the variation in the average output value is within the predetermined range, it is determined that no light leaks to the OB portion in that row (step S305).

一方、ステップS302の判定の結果、複数領域の平均出力値のばらつきが予め定められた範囲を超えていた場合は、続けて、各領域の平均出力値が、有効画素領域に近い領域ほど大きくなっているか否かを判定する(ステップS303)。この判定の結果、有効画素領域に近い領域ほど平均出力値が大きくなっている場合は、その行においてOB部への光漏れが発生していると判断する(ステップS304)。   On the other hand, as a result of the determination in step S302, if the variation in the average output value of the plurality of regions exceeds the predetermined range, the average output value of each region continues to increase as the region is closer to the effective pixel region. It is determined whether or not (step S303). As a result of this determination, if the average output value is larger in the region closer to the effective pixel region, it is determined that light leakage to the OB portion has occurred in that row (step S304).

一方、ステップS303の判定の結果、有効画素領域に近い領域ほど平均出力値が大きくなっていない場合は、その行におけるOB部への光漏れは発生していないと判断する(ステップS305)。そして、ステップS304、ステップS305におけるOB部への光漏れの有無の判定がなされたところで、水平OB部への光漏れ検出ルーチンを終了する。   On the other hand, as a result of the determination in step S303, if the average output value is not larger in the region closer to the effective pixel region, it is determined that light leakage to the OB portion in that row has not occurred (step S305). Then, when it is determined in step S304 or step S305 whether or not there is light leakage to the OB part, the light leakage detection routine to the horizontal OB part is ended.

図5は、図2のステップS106におけるOBクランプレベルの設定手順の一例を示すフローチャートである。
OBクランプレベル設定ルーチンの開始に伴い、まず光漏れの有無を判定する(ステップS401)。この判定の結果、光漏れが発生していない場合は、水平OBクランプ領域として有効画素領域に近い第1のOBクランプ領域を選択する(ステップS402)。一方、ステップS401の判定の結果、光漏れが発生している場合は、第1のOBクランプ領域よりも有効画素領域から離れた第2のOBクランプ領域を選択する(ステップS403)。そして、ステップS402、ステップS403で設定されたOBクランプ領域の出力値を算出する(ステップS404)。次に、その行のOBクランプレベルを設定し(ステップS405)、OBクランプレベル設定ルーチンを終了する。
FIG. 5 is a flowchart showing an example of the procedure for setting the OB clamp level in step S106 of FIG.
With the start of the OB clamp level setting routine, first, the presence or absence of light leakage is determined (step S401). If no light leakage occurs as a result of this determination, the first OB clamp area close to the effective pixel area is selected as the horizontal OB clamp area (step S402). On the other hand, if light leakage has occurred as a result of the determination in step S401, a second OB clamp region that is farther from the effective pixel region than the first OB clamp region is selected (step S403). And the output value of the OB clamp area | region set by step S402 and step S403 is calculated (step S404). Next, the OB clamp level of that row is set (step S405), and the OB clamp level setting routine is terminated.

図6は、図2のステップS106における図5のフローチャートとは異なるOBクランプレベル設定手順の一例を説明するフローチャートである。
OBクランプレベル設定ルーチンの開始に伴い、まず光漏れの有無を判定する(ステップS501)。
FIG. 6 is a flowchart for explaining an example of an OB clamp level setting procedure different from the flowchart of FIG. 5 in step S106 of FIG.
With the start of the OB clamp level setting routine, first, the presence or absence of light leakage is determined (step S501).

この判定の結果、光漏れが発生していない場合は、水平OBクランプ領域として予め定められた領域における出力値を算出する(ステップS502)。次に、その値を、その行のOBクランプレベルを設定し(ステップS503)、OBクランプレベル設定ルーチンを終了する。一方、ステップS501の判定の結果、光漏れが発生している場合には、OBクランプレベルを更新することなく、そのままOBクランプレベル設定ルーチンを終了する。   If no light leakage occurs as a result of this determination, an output value in a region predetermined as a horizontal OB clamp region is calculated (step S502). Next, the value is set to the OB clamp level of the row (step S503), and the OB clamp level setting routine is terminated. On the other hand, if light leakage has occurred as a result of the determination in step S501, the OB clamp level setting routine is terminated without updating the OB clamp level.

図7は、本実施形態におけるOB部の傾斜(変化)検出方法の一例を詳細に説明する図である。
図7に示すグラフはある行の出力レベルを表している。横軸は水平方向のアドレスであり、特に水平OB部を中心に表記している。また、縦軸は出力レベルである。図7では、水平OB部に近い有効画素領域に大きな入射光量があるために、水平OB部へ光漏れが発生し、水平OB内での出力レベルが有効画素に近い領域ほど大きくなるような傾斜を有している状態を表している。
FIG. 7 is a diagram for explaining in detail an example of a method of detecting the inclination (change) of the OB portion in the present embodiment.
The graph shown in FIG. 7 represents the output level of a certain row. The horizontal axis is an address in the horizontal direction, and particularly, the horizontal OB portion is mainly described. The vertical axis is the output level. In FIG. 7, since there is a large amount of incident light in the effective pixel region close to the horizontal OB portion, light leakage occurs in the horizontal OB portion, and the output level in the horizontal OB increases as the region near the effective pixel increases. It represents the state of having.

この図7を用いて説明する傾斜検出方法においては、水平OB部を(1)〜(5)の5つのブロックに分割し、それぞれのブロックにおける平均出力値を算出する。そして、各ブロックの平均出力値が所定範囲内に収まっているか否かを判定する。この判定の結果、所定範囲内に収まっていないブロックが存在し、かつ、各ブロックの値が有効画素領域に近いほど値が大きい場合には、「光漏れによるOB浮き」が発生していると判定する。   In the inclination detection method described with reference to FIG. 7, the horizontal OB portion is divided into five blocks (1) to (5), and an average output value in each block is calculated. Then, it is determined whether or not the average output value of each block is within a predetermined range. As a result of this determination, if there is a block that does not fall within the predetermined range, and the value is larger as the value of each block is closer to the effective pixel area, “OB floating due to light leakage” has occurred. judge.

図2〜図6のフローチャートにおいて、通常時は周辺回路の発熱等の影響を受けやすいブロック(1)と、光漏れの影響の受けやすいブロック(5)を除いた、ブロック(2)、(3)、(4)の領域の出力値の平均値をもってダークレベルとする。そして、水平OBクランプもしくは水平OB積分を行うが、前記水平OB部の傾斜検出の結果「光漏れによるOB浮き」が発生していると判定された場合には、判定結果に応じてダークレベルを定める領域を変更する。   In the flowcharts of FIGS. 2 to 6, blocks (2) and (3) except for a block (1) that is easily affected by heat generation of peripheral circuits and a block (5) that is easily affected by light leakage. The average value of the output values in the areas (4) and (4) is set as the dark level. Then, horizontal OB clamping or horizontal OB integration is performed. If it is determined that “OB floating due to light leakage” has occurred as a result of the inclination detection of the horizontal OB portion, the dark level is set according to the determination result. Change the defined area.

詳細に説明すると、図2及び図5を用いて説明した第1の例においては、水平OB部傾斜検出時所定範囲内に収まっていると算出されたブロック(1)〜(3)の領域の平均出力値をもってダークレベルとする。そして、図3で説明した第2の例においては、例えば有効画素領域から離れているブロック(1)、(2)の領域の平均出力値をもってダークレベルとして水平OBクランプもしくは水平OB積分を行う。   More specifically, in the first example described with reference to FIGS. 2 and 5, the areas of the blocks (1) to (3) calculated to be within the predetermined range at the time of detecting the horizontal OB portion inclination are shown. Use the average output value as the dark level. In the second example described with reference to FIG. 3, for example, horizontal OB clamping or horizontal OB integration is performed with the average output value of the areas of blocks (1) and (2) far from the effective pixel area as the dark level.

図2及び図6で説明した第1の例の別の形態においては、「光漏れによるOB浮き」が発生していると判定された行に対してはその行の水平OB部からはダークレベルを求めない。代わりに、OB浮き発生直前の行のダークレベルを用いて、その行のダークレベルと定めて、水平OBクランプを行う。また、水平OB積分の場合は、「光漏れによるOB浮き」が発生している行を除いて算出する。   In another form of the first example described in FIG. 2 and FIG. 6, a dark level is determined from the horizontal OB portion of a row for which it is determined that “OB floating due to light leakage” has occurred. Don't ask for. Instead, using the dark level of the row immediately before the occurrence of OB floating, the dark level of that row is determined and horizontal OB clamping is performed. Further, in the case of horizontal OB integration, calculation is performed excluding the row where “OB floating due to light leakage” occurs.

なお、本実施形態においては水平OB部を5分割したが、より多くのブロックに分割することにより、より分解能の高い傾斜の検出も可能である。また、より少ない分割数として各ブロックの領域を広げることによって、ランダムノイズやキズなどの影響による誤判定の可能性を減らすことも可能である。   In the present embodiment, the horizontal OB portion is divided into five. However, by dividing the horizontal OB portion into a larger number of blocks, it is possible to detect an inclination with higher resolution. Further, by expanding the area of each block with a smaller number of divisions, it is possible to reduce the possibility of erroneous determination due to the influence of random noise, scratches, and the like.

以上、図1〜図7を用いて本実施形態の説明を行った。
なお、本実施形態においては、水平OBの出力をクランプするために、水平OB部の傾斜を検出して水平OB部への光漏れを求めたが、垂直OBの出力をクランプするために、垂直OB部の傾斜を検出して垂直OB部への光漏れを求めてもよい。勿論、水平及び垂直の両OBともモニタする構成としても問題ない。
The embodiment has been described above with reference to FIGS.
In this embodiment, in order to clamp the output of the horizontal OB, the inclination of the horizontal OB portion is detected and light leakage to the horizontal OB portion is obtained. However, in order to clamp the output of the vertical OB, The light leakage to the vertical OB portion may be obtained by detecting the inclination of the OB portion. Of course, there is no problem even if both horizontal and vertical OBs are monitored.

また、本実施形態の説明においては、OBクランプレベルの算出及び設定を行う際に、図3を用いて説明したOB積分領域の設定及び、図5,図6を用いて説明した水平OBクランプ領域の設定において、光漏れが発生しているときと発生していないときとのそれぞれに対応する2つの領域から一方を選択するという構成として説明したが、OBクランプレベル算出の領域として3つ以上の領域から選択するような構成としても問題ない。例えば、図4においてOB領域内の出力の傾斜を検出する際に使用した複数の分割領域の出力値をもとに、異常出力となっていない分割領域の全てもしくは一部をOBクランプレベル算出領域として設定し、その領域の平均出力値をOBクランプレベルとするような構成としても問題ない。   In the description of the present embodiment, when the OB clamp level is calculated and set, the setting of the OB integration area described with reference to FIG. 3 and the horizontal OB clamp area described with reference to FIGS. In the above setting, one of the two areas corresponding to when light leakage occurs and when no light leakage occurs is selected. However, three or more areas are calculated as OB clamp level calculation areas. There is no problem even if the configuration is selected from the area. For example, based on the output values of a plurality of divided areas used when detecting the output gradient in the OB area in FIG. 4, all or a part of the divided areas that are not abnormally output are converted into the OB clamp level calculation area. There is no problem even if the average output value of the region is set to the OB clamp level.

なお、第1及び第2の記録媒体200、210は、PCMCIAカードやコンパクトフラッシュ(登録商標)等のメモリカード、ハードディスク等だけでない。マイクロDAT、光磁気ディスク、CD−RやCD−RW等の光ディスク、DVD等の相変化型光ディスク等で構成されていても勿論問題無い。   Note that the first and second recording media 200 and 210 are not only a memory card such as a PCMCIA card or a compact flash (registered trademark), a hard disk, or the like. Of course, there is no problem even if it is composed of a micro DAT, a magneto-optical disk, an optical disk such as a CD-R or CD-RW, a phase change optical disk such as a DVD.

また、第1及び第2の記録媒体200、210がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。さらに、その複合媒体から一部が着脱可能な構成としても勿論問題無い。   Of course, there is no problem even if the first and second recording media 200 and 210 are composite media in which a memory card and a hard disk are integrated. Further, there is no problem even if a part of the composite medium is detachable.

そして、本実施形態の説明においては、第1及び第2の記録媒体200、210は画像処理装置100と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が画像処理装置100に固定したままとなっていても勿論問題無い。   In the description of the present embodiment, the first and second recording media 200 and 210 have been described as being separated from the image processing apparatus 100 and arbitrarily connectable. However, any or all of the recording media may be used. Of course, there is no problem even if the image processing apparatus 100 remains fixed.

また、第1の記録媒体200または第2の記録媒体210が、画像処理装置100に単数或いは複数接続可能な構成であっても構わない。そして、第1及び第2の記録媒体200、210が画像処理装置100に装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせの構成であっても、勿論問題無い。   The first recording medium 200 or the second recording medium 210 may be configured to be connectable to the image processing apparatus 100 by a single number or a plurality. The first and second recording media 200 and 210 have been described as being mounted on the image processing apparatus 100, but there is of course no problem if the recording medium has a single or a plurality of combinations.

(本発明に係る他の実施形態)
前述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像装置の制御方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each means constituting the image pickup apparatus and each step of the control method of the image pickup apparatus in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図2〜6に示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 2 to 6) for realizing the functions of the above-described embodiments is directly or remotely supplied to the system or apparatus. This includes the case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。   Examples of the recording medium for supplying the program include a floppy (registered trademark) disk, a hard disk, an optical disk, and a magneto-optical disk. Further, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, there is a method of connecting to a homepage on the Internet using a browser of a client computer. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   As another method, the program of the present invention is encrypted, stored in a recording medium such as a CD-ROM, distributed to users, and encrypted from a homepage via the Internet to users who have cleared predetermined conditions. Download the key information to be solved. It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   As another method, the program read from the recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.

本発明の第1の実施形態における機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the function structure in the 1st Embodiment of this invention. 本発明の第1の実施形態において、主ルーチンの第1の例を示すフローチャートである。5 is a flowchart illustrating a first example of a main routine in the first embodiment of the present invention. 本発明の第1の実施形態において、主ルーチンの第2の例を示すフローチャートである。7 is a flowchart illustrating a second example of a main routine in the first embodiment of the present invention. 本発明の第1の実施形態における光漏れを検知する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence which detects the light leak in the 1st Embodiment of this invention. 本発明の第1の実施形態におけるOBクランプレベルを設定する処理手順の第1の例を示すフローチャートである。It is a flowchart which shows the 1st example of the process sequence which sets the OB clamp level in the 1st Embodiment of this invention. 本発明の第1の実施形態におけるOBクランプレベルを設定する処理手順の第2の例を示すフローチャートである。It is a flowchart which shows the 2nd example of the process sequence which sets the OB clamp level in the 1st Embodiment of this invention. 本発明の第1の実施形態におけるOB部の傾斜検出方法の一例を示す図である。It is a figure which shows an example of the inclination detection method of the OB part in the 1st Embodiment of this invention. 従来の問題例を説明する図である。It is a figure explaining the example of a conventional problem. 従来例によって解決できない問題例を説明する図である。It is a figure explaining the example of a problem which cannot be solved by a prior art example. 従来例によって解決できない他の問題例を説明する図である。It is a figure explaining the other example of a problem which cannot be solved by a prior art example.

符号の説明Explanation of symbols

12 シャッタ
14 撮像素子
15 アナログ信号処理回路
16 CDS部
17 PGA部
18 A/D変換部
19 タイミング発生回路
20 画像処理回路
22 メモリ制御回路
24 画像表示メモリ
26 D/A変換器
28 画像表示部
30 メモリ
32 圧縮・伸長回路
40 シャッタ制御部
50 システム制御回路
90 第1のインターフェース
92 第1の内側コネクタ
94 第2のインターフェース
96 第2の内側コネクタ
98 記録媒体着脱検知部
100 画像処理装置
104 光学ファインダ
106 内側レンズマウント
120 第5のインターフェース
122 第3の内側コネクタ
130 第1のミラー
132 第2のミラー
200 第1の記録媒体
202 第1の記録部
204 第3のインターフェース
206 第1の外側コネクタ
210 第2の記録媒体
212 第2の記録部
214 第4のインターフェース
216 第2の外側コネクタ
300 レンズユニット
306 外側レンズマウント
310 撮影レンズ
312 絞り
320 第6のインターフェース
322 第3の外側コネクタ
340 絞り制御部
342 測距制御部
344 ズーム制御部
350 レンズシステム制御回路
DESCRIPTION OF SYMBOLS 12 Shutter 14 Image pick-up element 15 Analog signal processing circuit 16 CDS part 17 PGA part 18 A / D conversion part 19 Timing generation circuit 20 Image processing circuit 22 Memory control circuit 24 Image display memory 26 D / A converter 28 Image display part 30 Memory 32 Compression / decompression circuit 40 Shutter control unit 50 System control circuit 90 First interface 92 First inner connector 94 Second interface 96 Second inner connector 98 Recording medium attachment / detachment detection unit 100 Image processing device 104 Optical viewfinder 106 Inside Lens mount 120 Fifth interface 122 Third inner connector 130 First mirror 132 Second mirror 200 First recording medium 202 First recording unit 204 Third interface 206 First outer connector 210 Second Record Medium 212 Second recording unit 214 Fourth interface 216 Second outer connector 300 Lens unit 306 Outer lens mount 310 Shooting lens 312 Aperture 320 Sixth interface 322 Third outer connector 340 Aperture control unit 342 Distance control unit 344 Zoom control unit 350 Lens system control circuit

Claims (22)

被写体を撮像して生成された画像データを記録媒体に記録する撮像装置であって、
前記被写体からの反射光により露光した光信号を電気信号へと変換する画素を複数有する有効画素部と、前記有効画素部に隣接して形成され、その前面が遮光されたOB画素部とから構成される撮像素子と、
前記OB画素部における出力レベルに基づいて前記画像データのダークレベルを決定するOBクランプ手段と、
前記OB画素部における出力レベルが前記有効画素部からの距離に応じて変化していることを検出するOB画素部変化検出手段とを有し、
前記OBクランプ手段は、前記OB画素部変化検出手段による検出結果に応じて、前記ダークレベルを算出するOB領域を変えることを特徴とする撮像装置。
An imaging apparatus that records image data generated by imaging a subject on a recording medium,
An effective pixel portion having a plurality of pixels that convert an optical signal exposed by reflected light from the subject into an electrical signal, and an OB pixel portion that is formed adjacent to the effective pixel portion and whose front surface is shielded from light An image pickup device,
OB clamping means for determining a dark level of the image data based on an output level in the OB pixel unit;
OB pixel part change detecting means for detecting that the output level in the OB pixel part changes according to the distance from the effective pixel part,
The imaging apparatus according to claim 1, wherein the OB clamping unit changes an OB region for calculating the dark level in accordance with a detection result by the OB pixel unit change detection unit.
前記OB画素部変化検出手段は、前記OB画素部における出力レベルの変化がない範囲を抽出する平坦部抽出手段を有し、
前記OBクランプ手段は、前記平坦部抽出手段によって抽出されたOB範囲の出力レベルをもとにクランプレベルを決定することを特徴とする請求項1に記載の撮像装置。
The OB pixel part change detecting means has a flat part extracting means for extracting a range where there is no change in the output level in the OB pixel part,
The imaging apparatus according to claim 1, wherein the OB clamp unit determines a clamp level based on an output level of an OB range extracted by the flat part extraction unit.
前記OB画素部変化検出手段は、前記OB画素部において前記有効画素部に近づくにつれて出力レベルが上昇している場合に、前記OB画素部への光漏れが起こっていると判定する光漏れ判定手段を有することを特徴とする請求項1に記載の撮像装置。   The OB pixel unit change detecting unit determines that light leakage to the OB pixel unit is occurring when the output level increases as the effective pixel unit approaches the OB pixel unit. The imaging apparatus according to claim 1, further comprising: 前記OBクランプ手段は、前記光漏れ判定手段により前記光漏れが起こっていると判定された場合には、前記有効画素部から離れたOB範囲の出力レベルをもとに前記クランプレベルを決定することを特徴とする請求項3に記載の撮像装置。   The OB clamp means determines the clamp level based on the output level of the OB range away from the effective pixel portion when the light leakage determination means determines that the light leakage has occurred. The imaging apparatus according to claim 3. 前記OBクランプ手段は、前記撮像素子の各行毎に水平OB画素部の所定の範囲の出力レベルをもとに前記ダークレベルのクランプを行う水平OBクランプ手段を有することを特徴とする請求項3に記載の撮像装置。   The OB clamp means includes horizontal OB clamp means for clamping the dark level based on a predetermined range of output levels of a horizontal OB pixel portion for each row of the image sensor. The imaging device described. 前記光漏れ判定手段は、前記撮像素子の各行毎に判定を行うことを特徴とする請求項5に記載の撮像装置。   The imaging apparatus according to claim 5, wherein the light leakage determination unit performs determination for each row of the imaging element. 前記OBクランプ手段は、前記光漏れ判定手段により前記光漏れが起こっていると判定された場合には、前記クランプレベルを求めるOB範囲を前記有効画素部から離れた範囲へと変更することを特徴とする請求項6に記載の撮像装置。   The OB clamp means changes the OB range for obtaining the clamp level to a range away from the effective pixel portion when the light leakage determination means determines that the light leakage has occurred. The imaging device according to claim 6. 前記OBクランプ手段は、前記光漏れ判定手段により前記光漏れが起こっていると判定された行においては、前記光漏れが検出される直前の行のクランプレベルを用いてクランプを行うことを特徴とする請求項6に記載の撮像装置。   The OB clamp means performs clamping using the clamp level of the row immediately before the light leakage is detected in the row where the light leakage is determined by the light leakage determination means. The imaging device according to claim 6. 前記OBクランプ手段は、前記OB画素部の所定領域の平均出力値をもとにダークレベルのクランプを行うOB積分手段を有することを特徴とする請求項3に記載の撮像装置。   The imaging apparatus according to claim 3, wherein the OB clamping unit includes an OB integration unit that performs dark level clamping based on an average output value of a predetermined region of the OB pixel unit. 前記OB積分手段は、前記光漏れ判定手段により前記光漏れが起こっていると判定された場合には、OB積分範囲を前記有効画素部から離れた範囲へと変更することを特徴とする請求項9に記載の撮像装置。   The OB integration unit is configured to change an OB integration range to a range away from the effective pixel portion when the light leakage determination unit determines that the light leakage occurs. 9. The imaging device according to 9. 前記OB積分手段は、前記光漏れ判定手段により前記光漏れが起こっていると判定された場合には、前記OB積分領域として前記光漏れが起こっている行を含まないでOB積分を行うことを特徴とする請求項9に記載の撮像装置。   The OB integration means performs the OB integration without including the row where the light leakage occurs as the OB integration area when the light leakage determination means determines that the light leakage occurs. The imaging apparatus according to claim 9, wherein the imaging apparatus is characterized. 被写体を撮像して生成された画像データを記録媒体に記録する撮像装置の制御方法であって、
前記被写体からの反射光により露光した光信号を電気信号へと変換する画素を複数有する有効画素部と、前記有効画素部に隣接して形成され、その前面が遮光されたOB画素部とから構成される撮像素子において、前記OB画素部における出力レベルに基づいて前記画像データのダークレベルを決定するOBクランプ工程と、
前記OB画素部における出力レベルが前記有効画素部からの距離に応じて変化していることを検出するOB画素部変化検出工程とを有し、
前記OBクランプ工程は、前記OB画素部変化検出工程による検出結果に応じて、前記ダークレベルを算出するOB領域を変えることを特徴とする撮像装置の制御方法。
A method of controlling an imaging apparatus that records image data generated by imaging a subject on a recording medium,
An effective pixel portion having a plurality of pixels that convert an optical signal exposed by reflected light from the subject into an electrical signal, and an OB pixel portion that is formed adjacent to the effective pixel portion and whose front surface is shielded from light An OB clamping step of determining a dark level of the image data based on an output level in the OB pixel unit,
An OB pixel portion change detection step for detecting that an output level in the OB pixel portion is changed according to a distance from the effective pixel portion;
The method for controlling an imaging apparatus, wherein the OB clamping step changes an OB region for calculating the dark level in accordance with a detection result obtained by the OB pixel portion change detection step.
前記OB画素部変化検出工程は、前記OB画素部における出力レベルの変化がない範囲を抽出する平坦部抽出工程を有し、
前記OBクランプ工程は、前記平坦部抽出工程によって抽出されたOB範囲の出力レベルをもとにクランプレベルを決定することを特徴とする請求項12に記載の撮像装置の制御方法。
The OB pixel portion change detection step includes a flat portion extraction step of extracting a range where there is no change in the output level in the OB pixel portion,
The method according to claim 12, wherein the OB clamping step determines a clamping level based on an output level of an OB range extracted by the flat portion extraction step.
前記OB画素部変化検出工程は、前記OB画素部において前記有効画素部に近づくにつれて出力レベルが上昇している場合に、前記OB画素部への光漏れが起こっていると判定する光漏れ判定工程を有することを特徴とする請求項12に記載の撮像装置の制御方法。   The OB pixel portion change detection step is a light leakage determination step of determining that light leakage to the OB pixel portion occurs when an output level increases as the effective pixel portion approaches the OB pixel portion. The method of controlling an imaging apparatus according to claim 12, comprising: 前記OBクランプ工程は、前記光漏れ判定工程により前記光漏れが起こっていると判定された場合には、前記有効画素部から離れたOB範囲の出力レベルをもとに前記クランプレベルを決定することを特徴とする請求項14に記載の撮像装置の制御方法。   The OB clamping step determines the clamping level based on the output level of the OB range away from the effective pixel portion when the light leakage determining step determines that the light leakage has occurred. The method for controlling an imaging apparatus according to claim 14. 前記OBクランプ工程は、前記撮像素子の各行毎に水平OB画素部の所定の範囲の出力レベルをもとに前記ダークレベルのクランプを行う水平OBクランプ工程を有することを特徴とする請求項14に記載の撮像装置の制御方法。   The OB clamping step includes a horizontal OB clamping step of clamping the dark level based on an output level of a predetermined range of a horizontal OB pixel portion for each row of the image pickup device. A control method for the imaging apparatus according to the description. 前記光漏れ判定工程は、前記撮像素子の各行毎に判定を行うことを特徴とする請求項16に記載の撮像装置の制御方法。   The method according to claim 16, wherein the light leakage determination step performs determination for each row of the image sensor. 前記OBクランプ工程は、前記光漏れ判定工程により前記光漏れが起こっていると判定された場合には、前記クランプレベルを求めるOB範囲を前記有効画素部から離れた範囲へと変更することを特徴とする請求項17に記載の撮像装置の制御方法。   In the OB clamping step, when it is determined in the light leakage determination step that the light leakage has occurred, the OB range for obtaining the clamping level is changed to a range away from the effective pixel portion. The control method of an imaging device according to claim 17. 前記OBクランプ工程は、前記光漏れ判定工程により前記光漏れが起こっていると判定された行においては、前記光漏れが検出される直前の行のクランプレベルを用いてクランプを行うことを特徴とする請求項17に記載の撮像装置の制御方法。   In the OB clamping step, in the row where the light leakage is determined by the light leakage determination step, clamping is performed using the clamping level of the row immediately before the light leakage is detected. An image pickup apparatus control method according to claim 17. 前記OBクランプ工程は、前記OB画素部の所定領域の平均出力値をもとにダークレベルのクランプを行うOB積分工程を有することを特徴とする請求項14に記載の撮像装置の制御方法。   The method according to claim 14, wherein the OB clamping step includes an OB integration step of performing dark level clamping based on an average output value of a predetermined region of the OB pixel unit. 前記OB積分工程は、前記光漏れ判定工程により前記光漏れが起こっていると判定された場合には、OB積分範囲を前記有効画素部から離れた範囲へと変更することを特徴とする請求項20に記載の撮像装置の制御方法。   The OB integration step changes an OB integration range to a range away from the effective pixel portion when the light leakage determination step determines that the light leakage has occurred. 20. A method for controlling the imaging apparatus according to 20. 前記OB積分工程は、前記光漏れ判定工程により前記光漏れが起こっていると判定された場合には、前記OB積分領域として前記光漏れが起こっている行を含まないでOB積分を行うことを特徴とする請求項20に記載の撮像装置の制御方法。   In the OB integration step, when it is determined in the light leakage determination step that the light leakage has occurred, the OB integration step includes performing the OB integration without including the row in which the light leakage occurs as the OB integration region. 21. A method for controlling an imaging apparatus according to claim 20, wherein:
JP2005352415A 2005-12-06 2005-12-06 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD Expired - Fee Related JP4926467B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005352415A JP4926467B2 (en) 2005-12-06 2005-12-06 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005352415A JP4926467B2 (en) 2005-12-06 2005-12-06 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Publications (3)

Publication Number Publication Date
JP2007158830A true JP2007158830A (en) 2007-06-21
JP2007158830A5 JP2007158830A5 (en) 2009-01-29
JP4926467B2 JP4926467B2 (en) 2012-05-09

Family

ID=38242597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005352415A Expired - Fee Related JP4926467B2 (en) 2005-12-06 2005-12-06 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Country Status (1)

Country Link
JP (1) JP4926467B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193042A (en) * 2009-02-17 2010-09-02 Hoya Corp Fixed-pattern noise removal unit, imaging unit, and electronic endoscope system
JP2011030202A (en) * 2009-06-29 2011-02-10 Nikon Corp Digital camera
JP2013098845A (en) * 2011-11-02 2013-05-20 Olympus Corp Imaging apparatus and streaking correction method
JP2016076804A (en) * 2014-10-06 2016-05-12 株式会社 日立産業制御ソリューションズ Imaging apparatus and imaging method
US10871629B2 (en) 2016-07-25 2020-12-22 Canon Kabushiki Kaisha Imaging apparatus and control method of imaging apparatus
JP2021505016A (en) * 2017-11-24 2021-02-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Photosensitive imaging systems and devices with crosstalk compensation for optical black pixels in the array
CN114128251A (en) * 2019-07-19 2022-03-01 佳能株式会社 Image forming apparatus and control method thereof
US11917300B2 (en) 2021-03-30 2024-02-27 Canon Kabushiki Kaisha Image pickup apparatus and image pickup element, which are capable of performing appropriate correction processing that suppresses influence of high luminance light, control method for image pickup apparatus, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102351950B1 (en) 2017-06-30 2022-01-18 삼성전자주식회사 Electonical device comprising image signal processor

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261730A (en) * 1999-03-10 2000-09-22 Matsushita Electric Ind Co Ltd Solid-state image pickup device and camera using it
JP2002290841A (en) * 2001-03-23 2002-10-04 Nikon Corp Imaging device, and electronic camera
JP2002306408A (en) * 2001-04-10 2002-10-22 Asahi Optical Co Ltd Clamping circuit for electronic endoscope
JP2003018468A (en) * 2001-07-04 2003-01-17 Canon Inc Signal processing unit, its control method, and its program
JP2003092705A (en) * 2001-09-18 2003-03-28 Canon Inc Imaging apparatus
JP2003198953A (en) * 2001-12-21 2003-07-11 Canon Inc Image pickup device and image pickup method
JP2004153677A (en) * 2002-10-31 2004-05-27 Canon Inc Imaging device
JP2005176115A (en) * 2003-12-12 2005-06-30 Canon Inc Image pickup device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261730A (en) * 1999-03-10 2000-09-22 Matsushita Electric Ind Co Ltd Solid-state image pickup device and camera using it
JP2002290841A (en) * 2001-03-23 2002-10-04 Nikon Corp Imaging device, and electronic camera
JP2002306408A (en) * 2001-04-10 2002-10-22 Asahi Optical Co Ltd Clamping circuit for electronic endoscope
JP2003018468A (en) * 2001-07-04 2003-01-17 Canon Inc Signal processing unit, its control method, and its program
JP2003092705A (en) * 2001-09-18 2003-03-28 Canon Inc Imaging apparatus
JP2003198953A (en) * 2001-12-21 2003-07-11 Canon Inc Image pickup device and image pickup method
JP2004153677A (en) * 2002-10-31 2004-05-27 Canon Inc Imaging device
JP2005176115A (en) * 2003-12-12 2005-06-30 Canon Inc Image pickup device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193042A (en) * 2009-02-17 2010-09-02 Hoya Corp Fixed-pattern noise removal unit, imaging unit, and electronic endoscope system
JP2011030202A (en) * 2009-06-29 2011-02-10 Nikon Corp Digital camera
JP2013098845A (en) * 2011-11-02 2013-05-20 Olympus Corp Imaging apparatus and streaking correction method
JP2016076804A (en) * 2014-10-06 2016-05-12 株式会社 日立産業制御ソリューションズ Imaging apparatus and imaging method
US10871629B2 (en) 2016-07-25 2020-12-22 Canon Kabushiki Kaisha Imaging apparatus and control method of imaging apparatus
JP2021505016A (en) * 2017-11-24 2021-02-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Photosensitive imaging systems and devices with crosstalk compensation for optical black pixels in the array
JP7052040B2 (en) 2017-11-24 2022-04-11 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Photosensitivity imaging systems and devices with crosstalk compensation for optical black pixels in an array
CN114128251A (en) * 2019-07-19 2022-03-01 佳能株式会社 Image forming apparatus and control method thereof
CN114128251B (en) * 2019-07-19 2023-12-08 佳能株式会社 Image forming apparatus and control method thereof
US11863891B2 (en) 2019-07-19 2024-01-02 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
US11917300B2 (en) 2021-03-30 2024-02-27 Canon Kabushiki Kaisha Image pickup apparatus and image pickup element, which are capable of performing appropriate correction processing that suppresses influence of high luminance light, control method for image pickup apparatus, and storage medium

Also Published As

Publication number Publication date
JP4926467B2 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
JP4926467B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP4186699B2 (en) Imaging apparatus and image processing apparatus
JP4378341B2 (en) Imaging apparatus and correction method
JP4824586B2 (en) Imaging device
JP2007281546A (en) Imaging apparatus and imaging method
JP4466015B2 (en) Image processing apparatus and image processing program
JP5084366B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP5257106B2 (en) Imaging apparatus and imaging method
JP4855155B2 (en) Imaging apparatus and imaging method using the same
JP4438363B2 (en) Image processing apparatus and image processing program
JP4700544B2 (en) Imaging apparatus and imaging method
JP4466017B2 (en) Image processing apparatus and image processing program
JP4719505B2 (en) Video signal processing apparatus and video signal processing method
JP2008113132A (en) Electronic camera and image processing program
JP6351255B2 (en) Imaging apparatus, imaging method, program, and storage medium
JP4466016B2 (en) Image processing apparatus and image processing program
JP2011135379A (en) Imaging apparatus, imaging method and program
JP5159295B2 (en) Automatic focusing device and imaging device
JP5264541B2 (en) Imaging apparatus and control method thereof
JP2007028496A (en) Image processing apparatus, image processing method, program and storage medium
JP2010056817A (en) Imaging apparatus
JP4514138B2 (en) Method for driving solid-state imaging device and digital camera
JP2007129328A (en) Imaging apparatus
JP2006217418A (en) Image processing apparatus and method
JP5476863B2 (en) Imaging apparatus, image processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111205

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4926467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees