JP2011023872A - Imaging apparatus, exposure amount adjusting method - Google Patents
Imaging apparatus, exposure amount adjusting method Download PDFInfo
- Publication number
- JP2011023872A JP2011023872A JP2009165693A JP2009165693A JP2011023872A JP 2011023872 A JP2011023872 A JP 2011023872A JP 2009165693 A JP2009165693 A JP 2009165693A JP 2009165693 A JP2009165693 A JP 2009165693A JP 2011023872 A JP2011023872 A JP 2011023872A
- Authority
- JP
- Japan
- Prior art keywords
- charge
- exposure
- unit
- amount
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、露光量を調節する撮像装置、露光量調節方法に関する。 The present invention relates to an imaging apparatus that adjusts an exposure amount and an exposure amount adjustment method.
従来の撮像装置は、光学系を通して撮像面が受ける光の量(受光量)をTTL(Through the Lens)露出計等により測定し、シャッタ速度(期間)と絞りを用いて、露光量を調節する。たとえば、露光量を増やしたい場合に、シャッタ優先モードであれば絞りをより開き、絞り優先モードではシャッタ時間を長くする。一方、露光量を減らしたい場合に、シャッタ優先モードであれば絞りをより閉じ、絞り優先モードではシャッタ時間を短くする。 Conventional imaging devices measure the amount of light received by an imaging surface through an optical system (light reception amount) using a TTL (Through the Lens) exposure meter or the like, and adjust the exposure amount using a shutter speed (period) and a diaphragm. . For example, when it is desired to increase the exposure amount, the aperture is further opened in the shutter priority mode, and the shutter time is increased in the aperture priority mode. On the other hand, when it is desired to reduce the exposure amount, the aperture is closed more in the shutter priority mode, and the shutter time is shortened in the aperture priority mode.
しかし、絞りを閉めてもまだ露光量が多い場合、従来の撮像装置は、シャッタ時間を短くすることで、露光量をさらに減少させるよう調節していた(特許文献1参照)。 However, when the exposure amount is still large even after the aperture is closed, the conventional imaging apparatus has been adjusted to further reduce the exposure amount by shortening the shutter time (see Patent Document 1).
ここで、シャッタ速度と絞りには、次のような撮影効果のあることが知られている。すなわち、絞りについては、絞りを調整すると画像フレーム中の焦点の合う範囲が変わることが知られている。これにより従来の撮像装置における絞り優先モードは、絞りを開けることで、狭い範囲に焦点の合った「ぼけ量」の多い画像を得ることを目的とし、逆に絞りを閉じることで、背景まで焦点が合った「ぼけ量」の少ない画像を得ることを目的とした映像表現を実現していた。 Here, it is known that the shutter speed and the aperture have the following shooting effects. In other words, it is known that when the aperture is adjusted, the in-focus range in the image frame changes. As a result, the aperture priority mode in the conventional imaging device aims at obtaining an image with a large amount of “blur” focused on a narrow range by opening the aperture, and conversely, focusing on the background by closing the aperture. The video expression aiming at obtaining an image with a small amount of “blurring” that matched was realized.
さらに、シャッタ速度については、シャッタ速度を調整すると画像フレーム中の被写体の「ぶれ」が変わることが知られている。これにより従来の撮像装置におけるシャッタ優先モードは、シャッタ速度を速くすることで、動く被写体の「ぶれ量」が少ない画像を得ることを目的とし、逆にシャッタ速度を遅くすることで、「ぶれ量」が大きい画像を得ることを目的とした映像表現を実現していた。 Further, with regard to the shutter speed, it is known that the “blurring” of the subject in the image frame changes when the shutter speed is adjusted. As a result, the shutter priority mode in the conventional imaging apparatus aims at obtaining an image with less “blurring amount” of the moving subject by increasing the shutter speed, and conversely by reducing the shutter speed, "I realized a video expression aimed at obtaining a large image.
しかしながら、「ぼけ量」と「ぶれ量」をどちらも撮影者が意図した量にしようとした場合、露光量を調整するためにはND(減光)フィルターを使うか、感度を変えなければならなかった。ところが、NDフィルターは連続的に露光量調整を行うことはできなかった。また、強い光の下では受光素子の出力が飽和してしまうことから、飽和した出力値が最大信号レベル以下になるまで感度を下げることは無意味であるため、感度は大きく下げることができなかった。そのため、シャッタ速度と絞りをやむなく変えることになり、撮影効果上、撮影者が意図しない画像が得られてしまうことがある。 However, when both the “blur amount” and “blur amount” are intended to be the amount intended by the photographer, an ND (dimming) filter must be used or the sensitivity must be changed to adjust the exposure amount. There wasn't. However, the ND filter cannot adjust the exposure amount continuously. In addition, since the output of the light receiving element is saturated under strong light, it is meaningless to reduce the sensitivity until the saturated output value falls below the maximum signal level, so the sensitivity cannot be greatly reduced. It was. Therefore, the shutter speed and the aperture are inevitably changed, and an image unintended by the photographer may be obtained due to the photographing effect.
例えば、動画を撮影するために従来の撮像装置が高速にシャッタを切りながら、動いている被写体を撮像した場合、シャッタが高速に切られたために被写体像の「ぶれ量(尾引き量)」が減少してしまい、撮像された動画はパラパラとしたコマ送り画像のような違和感のある動画となってしまう、という問題があった。 For example, when a conventional imaging device captures a moving subject while shooting a shutter at a high speed to shoot a moving image, the “shake amount (tailing amount)” of the subject image is reduced because the shutter is released at a high speed. As a result, the captured moving image becomes a moving image with a sense of incongruity like a frame-by-frame framed image.
これを解決する手法として、撮像装置が高速シャッタで撮像した複数の画像フレームを画像処理により合成することで、ぶれ量のある画像を再現する手法がある。 As a technique for solving this, there is a technique for reproducing an image with a blurring amount by combining a plurality of image frames captured by the imaging apparatus with a high-speed shutter by image processing.
この手法を用いた場合、従来の撮像装置は、1回の露光で1枚の画像フレームを撮像し、撮像された複数の画像フレームを画像処理により合成することで、ぶれ量のある画像フレームを生成していた。 When this method is used, the conventional imaging apparatus captures one image frame by one exposure, and combines a plurality of captured image frames by image processing, so that an image frame having a blurring amount can be obtained. It was generated.
しかしこの手法では、高速にシャッタを連続的に切った回数だけ画像フレームができてしまうため、画像フレームの枚数が増大し、これに応じて消費電力も増大してしまうという問題があった。 However, this method has a problem in that the number of image frames increases because the number of image frames is increased by the number of times the shutter is continuously released at a high speed, and the power consumption increases accordingly.
また、シャッタを高速にしないで絞りを絞っていった場合、あまり絞りすぎると光の回折により像がぼやけて解像度が低下するという問題があった。このため、シャッタを高速に切ったり、絞りを閉じたりしなくても、露光量を減少させることにより被写体の滑らかな動きを撮像でき、解像度が低下しない撮像装置が求められている。 Further, when the aperture is stopped without speeding up the shutter, there is a problem that if the aperture is too much, the image is blurred due to light diffraction and the resolution is lowered. For this reason, there is a demand for an imaging apparatus that can capture a smooth movement of a subject by reducing the exposure amount without reducing the exposure amount without closing the shutter at high speed or closing the aperture stop, and does not reduce the resolution.
本発明は、前記の諸点に鑑みてなされたものであり、画像フレームの枚数を必要以上に増大させずに、被写体の滑らかな動きが撮像でき、解像度が低下しない撮像装置を提供することを目的とする。 The present invention has been made in view of the above-described points, and an object of the present invention is to provide an imaging apparatus that can capture a smooth movement of a subject without increasing the number of image frames more than necessary and does not reduce resolution. And
本発明は、上記の課題を解決するためになされたものであり、露光量に応じた電荷を出力する光電変換部(例えば、実施形態の光電変換部124)と、前記電荷を蓄積する電荷蓄積部(例えば、実施形態の電荷蓄積部118)と、前記電荷を廃棄するドレイン電極(例えば、実施形態のドレイン電極114)と、前記光電変換部及び前記電荷蓄積部の電位を初期化するリセット電極(例えば、実施形態のリセット電極122)と、を有する画素(例えば、実施形態の画素111)を複数備える受光素子(例えば、実施形態の受光素子110)と、前記電荷を読み出すカメラ制御部(例えば、実施形態のカメラ制御部130)と、受光量に応じて電荷蓄積時間と電荷廃棄時間を調整し、前記初期化後に、前記電荷蓄積部への前記電荷の蓄積と、前記ドレイン電極への前記電荷の廃棄と、を前記電荷蓄積時間と前記電荷廃棄時間に基づいて複数回繰り返した後で前記電荷を読み出すよう前記カメラ制御部を制御する露光調整部(例えば、実施形態の露光調整部140)と、を備えることを特徴とする撮像装置(例えば、実施形態の撮像装置100)である。
The present invention has been made in order to solve the above-described problem, and includes a photoelectric conversion unit (for example, the photoelectric conversion unit 124 of the embodiment) that outputs charges according to an exposure amount, and a charge storage that stores the charges. Unit (for example,
また本発明は、前記露光調整部が、前記電荷が所定の閾値以上である場合、電荷蓄積時間または1画像フレームあたりの露光回数を減少させるよう前記カメラ制御部を制御することを特徴とする撮像装置(例えば、実施形態の撮像装置100)である。
According to the present invention, the exposure adjustment unit controls the camera control unit to reduce the charge accumulation time or the number of exposures per image frame when the charge is equal to or greater than a predetermined threshold value. An apparatus (for example, the
また本発明は、前記露光調整部が、前記電荷が所定の閾値以下である場合、電荷蓄積時間または1画像フレームあたりの露光回数を増加させるよう前記カメラ制御部を制御することを特徴とする撮像装置(例えば、実施形態の撮像装置100)である。
According to the present invention, the exposure adjustment unit controls the camera control unit to increase the charge accumulation time or the number of exposures per image frame when the charge is equal to or less than a predetermined threshold value. An apparatus (for example, the
また本発明は、前記露光調整部が、電荷蓄積時間を可変させるよう前記カメラ制御部を制御することを特徴とする撮像装置(例えば、実施形態の撮像装置100)である。
Further, the present invention is an imaging apparatus (for example, the
また本発明は、前記露光調整部が、シャッタ優先モードにおいて、絞りを調整することにより露光量を調節することを特徴とする撮像装置(例えば、実施形態の撮像装置100)である。
The present invention is also an imaging apparatus (for example, the
また本発明は、前記露光調整部が、絞り優先モードにおいて、シャッタ速度を調整することにより露光量を調節することを特徴とする撮像装置(例えば、実施形態の撮像装置100)である。
The present invention is also an imaging apparatus (for example, the
また本発明は、撮像装置(例えば、実施形態の撮像装置100)における露光量調節方法であって、光電変換部(例えば、実施形態の光電変換部124)が、露光量に応じた電荷を出力するステップと、電荷蓄積部(例えば、実施形態の電荷蓄積部118)が、前記電荷を蓄積するステップと、ドレイン電極(例えば、実施形態のドレイン電極114)が、前記電荷を廃棄するステップと、リセット電極(例えば、実施形態のリセット電極122)が、前記光電変換部及び前記電荷蓄積部の電位を初期化するステップと、カメラ制御部(例えば、実施形態のカメラ制御部130)が、前記電荷を読み出すステップと、露光調整部(例えば、実施形態の露光調整部140)が、受光量に応じて電荷蓄積時間と電荷廃棄時間を調整し、前記初期化後に、前記電荷蓄積部への前記電荷の蓄積と、前記ドレイン電極への前記電荷の廃棄と、を前記電荷蓄積時間と前記電荷廃棄時間に基づいて複数回繰り返した後で前記電荷を読み出すよう前記カメラ制御部を制御するステップとを有することを特徴とする露光量調節方法である。
The present invention is also an exposure amount adjustment method in an imaging apparatus (for example, the
請求項1と請求項4に記載の発明によれば、撮像装置が、1画像フレームあたり複数回の露光を行うため、露光回数や電荷蓄積時間によって露光量を調節しながら、被写体の動きに応じてぶれた被写体像を1画像フレームに得ることができるので、画像フレームの枚数を必要以上に増大させずに、被写体の動きが滑らかな動画を撮像することができる。 According to the first and fourth aspects of the present invention, since the imaging device performs exposure a plurality of times per image frame, the exposure amount is adjusted according to the number of exposures and the charge accumulation time, and according to the movement of the subject. Since a blurred subject image can be obtained in one image frame, a moving image with a smooth subject motion can be captured without increasing the number of image frames more than necessary.
請求項1と請求項4に記載の発明によれば、撮像装置が、1画像フレームあたり複数回の露光を行うため、露光回数や電荷蓄積時間によって露光量を調節しながら、動いている被写体が時間経過に応じて1画像フレームに撮像された画像を得ることができるので、画像フレームの枚数を必要以上に増大させずに、被写体の動きを捉えた静止画を撮像することができる。 According to the first and fourth aspects of the present invention, since the imaging apparatus performs multiple exposures per image frame, the moving subject is adjusted while adjusting the exposure amount according to the number of exposures and the charge accumulation time. Since an image captured in one image frame can be obtained as time elapses, a still image capturing the movement of the subject can be captured without increasing the number of image frames more than necessary.
請求項2に記載の発明によれば、撮像装置が、受光素子から出力される電荷量に応じて、電荷蓄積時間または1画像フレームあたりの露光回数を減少させるので、受光素子から出力される電荷量(蓄積電位)を飽和させること無く、短時間に露光量を調節して被写体を撮像することができる。 According to the second aspect of the present invention, the imaging device reduces the charge accumulation time or the number of exposures per image frame in accordance with the amount of charge output from the light receiving element, so that the charge output from the light receiving element. The subject can be imaged by adjusting the exposure amount in a short time without saturating the amount (accumulated potential).
請求項3に記載の発明によれば、撮像装置が、受光素子から出力される電荷量に応じて、電荷蓄積時間または1画像フレームあたりの露光回数を増加させるので、受光素子から出力される電荷量(蓄積電位)を充分に取得しながら、短時間に露光量を調節して被写体を撮像することができる。 According to the third aspect of the invention, since the imaging device increases the charge accumulation time or the number of exposures per image frame in accordance with the amount of charge output from the light receiving element, the charge output from the light receiving element. The subject can be imaged by adjusting the exposure amount in a short time while sufficiently acquiring the amount (accumulated potential).
本発明を実施するための一実施形態について説明する。図1は、本発明の一実施形態における撮像装置のブロック図である。撮像装置100は、受光素子110と、カメラ制御部130と、露光調整部140と、を備える。なお、撮像装置100は露出計(不図示)をさらに備えていてもよい。
An embodiment for carrying out the present invention will be described. FIG. 1 is a block diagram of an imaging apparatus according to an embodiment of the present invention. The
光学系200は、被写体から入射される光束を通過させ、受光素子110の撮像面125(図7に図示)に被写体像を投影する。光学系200はレンズ(不図示)を備え、撮像装置100の露光調整部140から入力される焦点調節指示に応じてレンズ(不図示)を移動させる。また光学系200は絞り(不図示)を備え、露光調整部140から入力される絞り調節指示に応じて絞りを調節する。
The
図2は、本発明の一実施形態における画素のブロック図である。画素111は、図1の受光素子110の撮像面125(図7に図示)に行列状に複数個配置される。画素111は、光電変換部124と、ドレインゲート112と、ドレインゲート制御端子113と、ドレイン電極114と、ドレイン電極出力端子115と、電荷蓄積ゲート116と、電荷蓄積ゲート制御端子117と、電荷蓄積部118と、電荷蓄積部出力端子119と、リセットゲート120と、リセットゲート制御端子121と、リセット電極122と、リセット電極出力端子123と、を備える。
FIG. 2 is a block diagram of a pixel in an embodiment of the present invention. A plurality of pixels 111 are arranged in a matrix on the imaging surface 125 (shown in FIG. 7) of the
光電変換部124は、露光量に応じた電荷を、ドレインゲート112または電荷蓄積ゲート116に出力する。ドレインゲート制御端子113は、図1のカメラ制御部130から出力されるドレインゲート指示をドレインゲート112に入力する。同様にドレインゲート制御端子113は、電位を初期化するためのリセット指示をカメラ制御部130から入力され、ドレインゲート112に出力する。
The photoelectric conversion unit 124 outputs a charge corresponding to the exposure amount to the
ドレインゲート指示またはリセット指示のいずれかが入力されている場合、ドレインゲート112は、光電変換部124の電荷をドレイン電極114に出力する。またドレインゲート指示またはリセット指示のいずれもが入力されていない場合、ドレインゲート112は、光電変換部124の電荷をドレイン電極114に出力しない。ドレイン電極114は、ドレインゲート112から入力された電荷を、ドレイン電極出力端子115に出力する。ドレイン電極出力端子115に出力された電荷は廃棄される。
When either the drain gate instruction or the reset instruction is input, the
電荷蓄積ゲート制御端子117は、図1のカメラ制御部130から出力される電荷蓄積ゲート指示を電荷蓄積ゲート116に入力する。同様に電荷蓄積ゲート制御端子117は、カメラ制御部130から出力されるリセット指示を電荷蓄積ゲート116に入力する。電荷蓄積ゲート指示またはリセット指示のいずれかが入力されている場合、電荷蓄積ゲート116は、光電変換部124の電荷を電荷蓄積部118に出力する。また電荷蓄積ゲート指示またはリセット指示のいずれもが入力されていない場合、電荷蓄積ゲート116は、光電変換部124の電荷を電荷蓄積部118に出力しない。
The charge storage gate control terminal 117 inputs a charge storage gate instruction output from the
電荷蓄積部118は、電荷蓄積ゲート116から入力された電荷を蓄積する。電荷蓄積部118は、図1のカメラ制御部130によって電荷蓄積部出力端子119が開放された場合、電荷蓄積部118に蓄電された電荷量に応じた電位(以下、「蓄積電位」と称する)を、電荷蓄積部出力端子119を介してカメラ制御部130に出力する。特に、リセット電極122によって所定の電位に初期化(リセット)された状態で電荷蓄積部118が出力する電位を、以下「リセット電位」と称する。このようにして図1の受光素子110は、リセット電位と、電荷蓄積部118に蓄積された電荷による蓄積電位と、をカメラ制御部130に出力する。
The
リセットゲート制御端子121は、図1のカメラ制御部130から出力されるリセット指示をリセットゲート120に入力する。リセット指示が入力されている場合、リセットゲート120は、電荷蓄積部118の電荷をリセット電極122に出力する。またリセット指示が入力されていない場合、リセットゲート120は、電荷蓄積部118の電荷をリセット電極122に出力しない。
The reset gate control terminal 121 inputs a reset instruction output from the
リセット電極122は、例えば電源電位にあり、リセットゲート120から入力された電荷を、リセット電極出力端子123に出力する。リセット電極出力端子123に出力された電荷は廃棄される。
The
露光調整部140には、受光素子110が出力した蓄積電位(電荷量)がカメラ制御部130から入力される。露光調整部140は、受光量が充分か否かを蓄積電位に基づいて判定し、電荷蓄積時間と、電荷廃棄時間と、露光回数(電荷蓄積回数)と、をカメラ制御部130に指示する。すなわち露光調整部140は、蓄積電位が所定の閾値以上である場合、露光量が充分であると判定し、電荷蓄積時間または1画像フレームあたりの露光回数を減少させて(露光時間調整)、カメラ制御部130にこれらを指示する。また露光調整部140は、蓄積電位が所定の閾値以下である場合、露光量が充分でないと判定し、電荷蓄積時間または1画像フレームあたりの露光回数を増加させて、カメラ制御部130にこれらを指示する。なお、露光調整部140は、電荷蓄積時間の代わりに、電荷廃棄時間をパラメータとして露光調整を行ってもよい。
The stored potential (charge amount) output from the
また、露光調整部140は、シャッタ優先モード及び絞り優先モードを切り替えることができるとしてもよい。この場合、露光調整部140は、シャッタ優先モードではシャッタ速度を優先し、絞りを調整することにより露光量を調節してもよい。また、露光調整部140は、絞り優先モードでは絞りを優先し、シャッタ速度を調整することにより露光量を調節してもよい。
The
画像処理装置300は、カメラ制御部130から入力された画素信号に基づいて所定の画像処理を行い、画像フレームを生成する。カメラ制御部130は、電荷蓄積ゲート制御端子117と、ドレインゲート制御端子113と、リセットゲート制御端子121と、にリセット指示を所定の1フレーム周期(例えば、16.67[ms])で出力する。この所定の1フレーム周期ごとに受光素子110から出力されたデータに基づいて、画像処理装置300によって1画像フレームが生成される。
The
カメラ制御部130には、電荷蓄積時間と、電荷廃棄時間と、露光回数と、が露光調整部140から入力される。またカメラ制御部130には、蓄積電位とリセット電位が受光素子110から入力される。カメラ制御部130は、蓄積電位とリセット電位とを用いて、相関二重サンプリング(Correllated Double Sampling)を行う。カメラ制御部130は、相関二重サンプリングによって取得した電荷量をアナログ−デジタル(AD)変換し、画素信号として画像処理装置300に出力する。またカメラ制御部130は、1フレーム周期における電荷蓄積回数をカウントし、記憶する。
The
図3は、本発明の一実施形態におけるカメラ制御部130の動作タイミングチャートである。また図4は、本発明の一実施形態における画素111の電位と、画素111の動作ステップと、の関係を示す図である。カメラ制御部130は、電荷蓄積時間に基づいて、図2の光電変換部124が電荷を蓄積するよう次のように動作する。ここで、図3のステップS1からステップS5までが1フレーム周期となり、撮像装置100はこのフレーム周期を繰り返す。
FIG. 3 is an operation timing chart of the
まず光学系200は、被写体から入射される光束を通過させ、受光素子110の撮像面125(図7に図示)に被写体像を投影する。これにより、光電変換部124は露光される。カメラ制御部130には、電荷蓄積時間と、電荷廃棄時間と、露光回数と、が露光調整部140から入力される。これらのパラメータは、前値ホールドされた値を用いても良いし、可変としてもよい。例えば、露光調整部140は、後述のステップS3が実行される時間を徐々に長く又は短くしてもよい。
First, the
カメラ制御部130は、電荷蓄積ゲート制御端子117と、ドレインゲート制御端子113と、リセットゲート制御端子121と、にリセット指示を出力する。光電変換部124に蓄積された電荷は、これによりドレイン電極114とリセット電極122から廃棄され、光電変換部124の電位が初期化(リセット)される。また電荷蓄積部118に蓄積された電荷は、リセット電極122から廃棄され、電荷蓄積部118の電位が初期化(リセット)される。またカメラ制御部130は、電荷蓄積回数を値「0」に初期化して記憶する(ステップS1)。
The
次にカメラ制御部130は、ドレインゲート指示をドレインゲート112に入力し、さらにリセット指示の出力を停止する。リセット指示の出力が停止されたことにより、リセットゲート120の電位と、電荷蓄積ゲート116の電位が上がり、電荷蓄積部118からリセットゲート120や電荷蓄積ゲート116に電荷が出力されなくなる。さらにカメラ制御部130は、電荷蓄積部出力端子119を開放する。これにより電荷蓄積部118は、電荷蓄積部出力端子119を介してカメラ制御部130にリセット電位を出力する(ステップS2)。
Next, the
次にカメラ制御部130は、電荷蓄積ゲート指示を入力する。光電変換部124は、露光量に応じた電荷を電荷蓄積ゲート116に出力する。これにより電荷蓄積ゲート116は、光電変換部124の電荷を電荷蓄積部118に出力する。電荷蓄積部118は、電荷蓄積ゲート116から入力された電荷を蓄積する。予め定められた時間が経過すると、カメラ制御部130は電荷蓄積ゲート指示の出力を停止する(ステップS3)。
Next, the
ここで、1回目のステップS3の始まりからN(Nは露光回数)回目のステップS3の終わりまでの期間が、「シャッタ速度(期間)」である。また、上記ステップS3が実行される時間と値Nとを乗算した値が「電荷蓄積時間」である。また、電荷蓄積時間に撮像面125が受ける光の量が「露光量」である。なお、上記ステップS3が実行される時間には最小値があってもよく、値Nを固定し、ステップS3が実行される時間を可変してもよい。 Here, the period from the start of the first step S3 to the end of the Nth (N is the number of exposures) step S3 is the “shutter speed (period)”. A value obtained by multiplying the time for executing step S3 and the value N is the “charge accumulation time”. The amount of light received by the imaging surface 125 during the charge accumulation time is the “exposure amount”. Note that the time for executing step S3 may have a minimum value, the value N may be fixed, and the time for executing step S3 may be varied.
次にカメラ制御部130は、ドレインゲート指示をドレインゲート112に入力する。これによりドレインゲート112は、光電変換部124の電荷をドレイン電極114に出力する。ドレイン電極114は、ドレインゲート112から入力された電荷をドレイン電極出力端子115に出力する。ドレイン電極出力端子115に出力された電荷は廃棄される。予め定められた時間が経過すると、カメラ制御部130はドレインゲート指示の出力を停止する。
Next, the
さらにカメラ制御部130は、電荷蓄積回数に値「1」を加算し記憶する。またカメラ制御部130は、露光調整部140から入力された露光回数と、電荷蓄積回数と、を比較する。電荷蓄積回数が露光回数に達していない場合、カメラ制御部130はステップS3に戻る。電荷蓄積回数が露光回数に達している場合、カメラ制御部130はステップS5に進む(ステップS4)。このステップS4が実行される時間と値Nとを乗算した値が「電荷廃棄時間」である。
Furthermore, the
次に、電荷蓄積回数が露光回数に達したとする。カメラ制御部130は、電荷蓄積部出力端子119を開放する。電荷蓄積部118は、電荷蓄積部出力端子119を介してカメラ制御部130に蓄積電位を出力する。このようにして図1の受光素子110は、電荷蓄積部118に蓄積された電荷による蓄積電位をカメラ制御部130に出力する。カメラ制御部130は、蓄積電位とリセット電位とを用いて、相関二重サンプリングを行う。カメラ制御部130は、相関二重サンプリングによって取得した電荷量をAD変換し、画素信号として画像処理装置300に出力する。画像処理装置300は、カメラ制御部130から入力された画素信号に基づいて所定の画像処理を行い、画像フレームを生成する(ステップS5)。
Next, it is assumed that the charge accumulation count reaches the exposure count. The
図5は、本発明の一実施形態における露光量調整の手順を示すフローチャートである。露光量調整(露光時間調整)処理において、露光調整部140は、次に示す手順で電荷蓄積時間を決める。まず、露光調整部140は、露出計(不図示)等により受光量を測定する(ステップSa1)。次に露光調整部140は、受光量を絞り量で除算した値に応じて「シャッタ時間」を決める(ステップSa2)。ここで、絞り量とは、光学系200の絞りを通過する光の量に比例する量であり、光束が受光素子の撮像面に投影された面積に相当する。
FIG. 5 is a flowchart showing the procedure for adjusting the exposure amount in one embodiment of the present invention. In the exposure adjustment (exposure time adjustment) process, the
なお、十分遠くにある被写体の放射輝度Bと、撮像面照度Lとの関係は、K:比例定数、t:レンズ透過率、A:撮像面の面積を用いて、「L=K・t・B・A」と表すことができる。また、撮像面照度Lと、受光素子の出力電圧Vとの関係は、G:比例定数、T:シャッタ速度を用いて、「V=G・L・T」と表すことができる。したがって、受光素子の出力電圧Vは、「V=S・t・A・B・T」(S:比例定数)と表すことができ、A,t,Tを調整することで、受光素子の出力電圧Vを妥当な大きさになるようにしてもよい。 The relationship between the radiance B of an object sufficiently far away and the illuminance L on the imaging surface is expressed as follows: K: proportional constant, t: lens transmittance, A: area of the imaging surface. B · A ”. The relationship between the imaging surface illuminance L and the output voltage V of the light receiving element can be expressed as “V = G · L · T” using G: proportional constant and T: shutter speed. Therefore, the output voltage V of the light receiving element can be expressed as “V = S · t · A · B · T” (S: proportional constant), and by adjusting A, t, T, the output of the light receiving element The voltage V may be set to an appropriate level.
次に露光調整部140は、シャッタ時間とシャッタ速度(期間)を比較する(ステップSa3)。シャッタ時間がシャッタ速度(期間)よりも短い場合(Sa3−YES)、露光調整部140は、シャッタ時間を所定の標準露光回数(例えば100)で除算した値を、暫定的に電荷蓄積時時間とする(ステップSa4)。
Next, the
標準露光回数とは、被写体像が途切れないように見えるための最小の露光回数であり、例えば100回である。ここで、途切れないように見える被写体像とは、どのように見える被写体像かについて、例を挙げて説明する。 The standard number of exposures is the minimum number of exposures for the subject image to appear uninterrupted, and is 100 times, for example. Here, an example of the subject image that looks uninterrupted will be described.
図6は、本発明の一実施形態における露光回数と、被写体のぶれ方を説明する図である。一例として、被写体である電球が、左から右に高速に移動していった場合について説明する。図6(A)は、露光回数が多い場合の被写体のぶれ方を示す図であり、図6(C)は、露光回数が少ない場合の被写体のぶれ方を示す図であり、図6(B)は、露光回数がその中間である場合の被写体のぶれ方を示す図である。 FIG. 6 is a diagram for explaining the number of exposures and how the subject blurs in one embodiment of the present invention. As an example, a case will be described in which a light bulb as a subject moves at high speed from left to right. 6A is a diagram showing how the subject shakes when the number of exposures is large, and FIG. 6C is a diagram showing how the subject shakes when the number of exposures is small, and FIG. ) Is a diagram showing how the subject shakes when the number of exposures is in the middle.
標準露光回数で撮像された場合、被写体である電球は、図6(A)に示すように途切れないように見える被写体像となる。すなわち、標準露光回数より少ない回数で撮像された場合に、被写体である電球は、図6(B)及び(C)に示すように途切れて見える被写体像となる。なお、標準露光回数は、撮影者の設定操作によって設定されるとしてもよい。 When the image is taken with the standard number of exposures, the light bulb that is the subject becomes a subject image that appears uninterrupted as shown in FIG. That is, when an image is captured with a number of times smaller than the standard number of exposures, the light bulb that is the subject becomes a subject image that appears to be broken as shown in FIGS. The standard number of exposures may be set by a photographer's setting operation.
次に、図5のフローチャートに戻って説明を続ける。露光調整部140は、電荷蓄積時間と最短電荷蓄積時間を比較する(ステップSa5)。電荷蓄積時間が最短電荷蓄積時間より長い場合(Sa5−YES)、露光調整部140は、シャッタ速度を標準露光回数で除算した値からシャッタ時間を減算した値を、電荷廃棄時間とする(ステップSa6)。電荷蓄積時間が最短電荷蓄積時間より短い場合(Sa5−NO)、シャッタ時間を最短電荷蓄積時間で除算した値を、露光回数とする。ここで、少数点以下の値は切り捨てられるものとする(ステップSa7)。
Next, returning to the flowchart of FIG. The
露光調整部140は、露光回数が0回より大きいか否かを判定する(ステップSa8)。露光回数が0回より大きくない(露光回数が1回より小さくなった)場合、露光調整部140は、露光回数を1回とする。これは次のステップSa9において、値「0」で除算を行わないようにするためである(ステップSa10)。さらに、露光調整部140は、シャッタ速度を露光回数で除算した値から最短電荷蓄積時間を減算した値を、電荷廃棄時間とする(ステップSa9)。
The
一方、ステップSa3において、シャッタ時間がシャッタ速度よりも長い場合(Sa3−NO)、露光調整部140は、絞り優先モードであるか否かを判定する(ステップSa12)。絞り優先モードである場合(Sa12−YES)、露光調整部140は、シャッタ時間を電荷蓄積時時間とする(ステップSa13)。さらに、露光調整部140は、電荷廃棄時間を値「0」とする(ステップSa14)。
On the other hand, when the shutter time is longer than the shutter speed in step Sa3 (Sa3-NO), the
一方、ステップSa12において、絞り優先モードでない場合(Sa12−NO)、露光調整部140は、露光量をシャッタ速度で除算した値を、絞り量とする(ステップSa15)。
On the other hand, when the aperture priority mode is not set in step Sa12 (Sa12-NO), the
次に、露光調整部140は、絞り量と最大絞り量を比較する(ステップSa16)。ここで、最大絞り量は、例えば光学系200の構造に基づいて決まる値である。絞り量が最大絞り量より小さい場合(Sa16−NO)、露光調整部140は、絞り量を最大絞り値とする。絞り量が最大絞り量より大きい場合(Sa16−YES)、露光調整部140は、電荷蓄積時間をシャッタ速度(期間)とする(ステップSa17)。さらに、露光調整部140は、電荷廃棄時間を値「0」とする(ステップSa18)。このようにして、露光調整部140は、電荷蓄積時間を決める。
Next, the
図7は、本発明の一実施形態における受光素子に複数回露光された被写体像と、1画像フレームに相当する受光素子からの出力と、を示す図である。一例として、撮像装置100は、右から左に振れる被写体400を撮像するとする(図7(A))。図3、図4に示すステップS3同士の時間間隔を短く撮像すれば、受光素子110の出力(1画像フレームに相当)は、撮像面125の画素111に被写体像126が蓄積されるので、被写体126の動きに応じてぶれた被写体像(扇形)となる(図7(B))。また例えば、図3に示すステップS3の各電荷蓄積時間を徐々に長くした場合、各電荷蓄積時間に応じて「ぶれの明るさ」が変化するグラデーション効果のある被写体像126を得ることができる。
FIG. 7 is a diagram illustrating a subject image exposed to the light receiving element a plurality of times and an output from the light receiving element corresponding to one image frame in the embodiment of the present invention. As an example, it is assumed that the
以上、撮像装置100は、シャッタを高速に切らなくとも、シャッタ速度(期間)よりも短い時間で行う露光と、絞りを併用しながら、画像フレームの枚数を必要以上に増大させずに、被写体400の動きが滑らかな動画を撮像することができる。すなわち、撮像装置100は、1画像フレームあたり複数回の露光を行うため、露光回数や電荷蓄積時間によって露光量を調節しながら、被写体400の動きに応じてぶれた被写体像126を1画像フレームに得ることができるので、画像フレームの枚数を必要以上に増大させずに、被写体400の動きが滑らかな動画を撮像することができる。
As described above, the
また図3、図4に示すステップS4の時間を長く撮像し、かつステップS1からステップS5までに繰り返されるステップS3の回数を少なくすれば、受光素子110の出力(1画像フレームに相当)は、撮像面125の画素111に被写体像126が蓄積されるので、時間経過に応じて複数回露光された被写体像となる(図7(C))。 Further, if the time of step S4 shown in FIG. 3 and FIG. 4 is imaged long and the number of times of step S3 repeated from step S1 to step S5 is reduced, the output of the light receiving element 110 (corresponding to one image frame) is Since the subject image 126 is accumulated in the pixel 111 on the imaging surface 125, the subject image is exposed a plurality of times as time passes (FIG. 7C).
これにより撮像装置100は、1画像フレームあたり複数回の露光を行うため、露光回数や電荷蓄積時間によって露光量を調節しながら、動いている被写体400が時間経過に応じて1画像フレームに撮像された画像を得ることができるので、画像フレームの枚数を必要以上に増大させずに、被写体400の動きを捉えた静止画を撮像することができる。
As a result, since the
また前述のように、蓄積電位が所定の閾値以上である場合、露光調整部140は、電荷蓄積時間または1画像フレームあたりの露光回数を減少させて、カメラ制御部130に指示する。これにより撮像装置100は、受光素子110から出力される電荷量に応じて、電荷蓄積時間または1画像フレームあたりの露光回数を減少させるので、受光素子110から出力される電荷量(蓄積電位)を飽和させること無く、短時間に露光量を調節して被写体400を撮像することができる。
As described above, when the accumulated potential is equal to or higher than the predetermined threshold, the
また、蓄積電位が所定の閾値以下である場合、露光調整部140は、電荷蓄積時間または1画像フレームあたりの露光回数を増加させて、カメラ制御部130に指示する。これにより撮像装置100は、受光素子110から出力される電荷量に応じて、電荷蓄積時間または1画像フレームあたりの露光回数を減少させるので、受光素子110から出力される電荷量(蓄積電位)を充分に取得しながら、短時間に露光量を調節して被写体400を撮像することができる。
When the accumulated potential is equal to or lower than a predetermined threshold, the
また、露光調整部140は、電荷蓄積時間を可変するようカメラ制御部130を制御する。これにより撮像装置100は、各電荷蓄積時間に応じて「ぶれの明るさ」が変化するグラデーション効果のある被写体像126を得ることができる。
The
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
また、本発明に記載の撮像装置は、撮像装置100に対応し、光電変換部は、光電変換部124に対応し、電荷蓄積部は、電荷蓄積部118に対応し、ドレイン電極は、ドレイン電極114に対応し、受光素子は、受光素子110に対応し、カメラ制御部は、カメラ制御部130に対応し、露光調整部は、露光調整部140に対応する。
The imaging device according to the present invention corresponds to the
また、図3、図4に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものであってもよい。 Also, the program for realizing each step shown in FIGS. 3 and 4 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by the computer system and executed. Processing may be performed. Here, the “computer system” may include hardware such as an OS (Operating System) and peripheral devices.
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
本発明は、露光量を調節する撮像装置に好適である。 The present invention is suitable for an imaging apparatus that adjusts the exposure amount.
100…撮像装置(撮像装置) 110…受光素子(受光素子) 111…画素 112…ドレインゲート 113…ドレインゲート制御端子 114…ドレイン電極(ドレイン電極) 115…ドレイン電極出力端子 116…電荷蓄積ゲート 117…電荷蓄積ゲート制御端子 118…電荷蓄積部(電荷蓄積部) 119…電荷蓄積部出力端子 120…リセットゲート 121…リセット制御端子 122…リセット電極(リセット電極) 123…リセット電極出力端子 124…光電変換部(光電変換部)130…カメラ制御部(カメラ制御部) 140…露光調整部(露光調整部) 200…光学系 300…画像処理装置
DESCRIPTION OF
Claims (7)
前記電荷を読み出すカメラ制御部と、
受光量に応じて電荷蓄積時間と電荷廃棄時間を調整し、前記初期化後に、前記電荷蓄積部への前記電荷の蓄積と、前記ドレイン電極への前記電荷の廃棄と、を前記電荷蓄積時間と前記電荷廃棄時間に基づいて複数回繰り返した後で前記電荷を読み出すよう前記カメラ制御部を制御する露光調整部と、
を備えることを特徴とする撮像装置。 A photoelectric conversion unit that outputs charges according to the exposure amount, a charge storage unit that stores the charges, a drain electrode that discards the charges, and a reset electrode that initializes the potentials of the photoelectric conversion unit and the charge storage unit A light receiving element comprising a plurality of pixels having:
A camera control unit for reading out the electric charge;
The charge accumulation time and the charge disposal time are adjusted according to the amount of received light, and after the initialization, the accumulation of the charge in the charge accumulation unit and the disposal of the charge in the drain electrode are defined as the charge accumulation time. An exposure adjustment unit that controls the camera control unit to read out the electric charge after repeating a plurality of times based on the charge discarding time;
An imaging apparatus comprising:
光電変換部が、露光量に応じた電荷を出力するステップと、
電荷蓄積部が、前記電荷を蓄積するステップと、
ドレイン電極が、前記電荷を廃棄するステップと、
リセット電極が、前記光電変換部及び前記電荷蓄積部の電位を初期化するステップと、
カメラ制御部が、前記電荷を読み出すステップと、
露光調整部が、受光量に応じて電荷蓄積時間と電荷廃棄時間を調整し、前記初期化後に、前記電荷蓄積部への前記電荷の蓄積と、前記ドレイン電極への前記電荷の廃棄と、を前記電荷蓄積時間と前記電荷廃棄時間に基づいて複数回繰り返した後で前記電荷を読み出すよう前記カメラ制御部を制御するステップと、
を有することを特徴とする露光量調節方法。 An exposure amount adjustment method in an imaging apparatus,
A step in which the photoelectric conversion unit outputs an electric charge according to the exposure amount;
A charge storage unit for storing the charge;
A drain electrode discarding the charge;
A reset electrode initializing potentials of the photoelectric conversion unit and the charge storage unit;
A camera control unit reading the charge;
The exposure adjustment unit adjusts the charge accumulation time and the charge disposal time according to the amount of received light, and after the initialization, accumulates the charge in the charge accumulation unit and discards the charge in the drain electrode. Controlling the camera control unit to read the charge after repeating a plurality of times based on the charge accumulation time and the charge discarding time;
A method for adjusting an exposure amount, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009165693A JP5210988B2 (en) | 2009-07-14 | 2009-07-14 | Imaging apparatus, exposure amount adjustment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009165693A JP5210988B2 (en) | 2009-07-14 | 2009-07-14 | Imaging apparatus, exposure amount adjustment method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011023872A true JP2011023872A (en) | 2011-02-03 |
JP5210988B2 JP5210988B2 (en) | 2013-06-12 |
Family
ID=43633579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009165693A Active JP5210988B2 (en) | 2009-07-14 | 2009-07-14 | Imaging apparatus, exposure amount adjustment method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5210988B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020137276A1 (en) * | 2018-12-27 | 2020-07-02 | パナソニックIpマネジメント株式会社 | Imaging device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6549409B2 (en) * | 2015-05-13 | 2019-07-24 | オリンパス株式会社 | Imaging device, imaging method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0432381A (en) * | 1990-05-29 | 1992-02-04 | Olympus Optical Co Ltd | Electronic image pickup device |
JPH10257382A (en) * | 1997-03-13 | 1998-09-25 | Hitachi Ltd | Electronic camera |
JP2004015291A (en) * | 2002-06-05 | 2004-01-15 | Sony Corp | Solid-state image pickup device and its driving method |
-
2009
- 2009-07-14 JP JP2009165693A patent/JP5210988B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0432381A (en) * | 1990-05-29 | 1992-02-04 | Olympus Optical Co Ltd | Electronic image pickup device |
JPH10257382A (en) * | 1997-03-13 | 1998-09-25 | Hitachi Ltd | Electronic camera |
JP2004015291A (en) * | 2002-06-05 | 2004-01-15 | Sony Corp | Solid-state image pickup device and its driving method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020137276A1 (en) * | 2018-12-27 | 2020-07-02 | パナソニックIpマネジメント株式会社 | Imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP5210988B2 (en) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5249077B2 (en) | Imaging apparatus and image processing method | |
JP5802520B2 (en) | Imaging device | |
US10356321B2 (en) | Imaging apparatus with focus adjustment control and exposure adjustment control | |
JP5929712B2 (en) | Image capturing apparatus and image capturing apparatus control method | |
JP2019097213A (en) | Imaging device, method for acquiring image data, and program | |
US20150207973A1 (en) | Imaging device and imaging method | |
JP2008271412A (en) | Imaging unit and control method therefor, program, and recording medium | |
CN101051168A (en) | Photographing apparatus and method | |
CN101035204A (en) | Electronic blur correction device and electronic blur correction method | |
JP2007243759A (en) | Digital imaging apparatus | |
JP2017041736A (en) | Imaging apparatus and imaging method | |
JP5759190B2 (en) | Imaging apparatus and control method thereof | |
JP5625854B2 (en) | Imaging apparatus and shutter operation selection method | |
JP2010074535A (en) | Photographing apparatus and photographing method | |
JP5287598B2 (en) | Imaging apparatus, exposure adjustment method, and program | |
JP5210988B2 (en) | Imaging apparatus, exposure amount adjustment method | |
JP4379490B2 (en) | Image sensor | |
JP2013118474A (en) | Imaging apparatus and method for controlling imaging apparatus | |
JP2013054123A (en) | Optical instrument | |
JP5460909B2 (en) | Imaging apparatus and image processing method | |
JP7314597B2 (en) | Imaging device | |
JP6149346B2 (en) | Imaging device | |
JP6149345B2 (en) | Image capturing apparatus and image quality adjustment method | |
JP4089676B2 (en) | Imaging device | |
JP6562021B2 (en) | IMAGING DISPLAY DEVICE, IMAGE PROCESSING DEVICE, IMAGING DEVICE, AND IMAGING DISPLAY DEVICE CONTROL METHOD |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5210988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |