JP2008245056A - Photographing device - Google Patents
Photographing device Download PDFInfo
- Publication number
- JP2008245056A JP2008245056A JP2007084823A JP2007084823A JP2008245056A JP 2008245056 A JP2008245056 A JP 2008245056A JP 2007084823 A JP2007084823 A JP 2007084823A JP 2007084823 A JP2007084823 A JP 2007084823A JP 2008245056 A JP2008245056 A JP 2008245056A
- Authority
- JP
- Japan
- Prior art keywords
- camera shake
- image
- photographing
- camera
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、撮影光学系で撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置に関する。 The present invention relates to a photographic device that forms an image of a subject on an image sensor with a photographic optical system to generate an image representing the subject.
最近、1.2メガ(120万画素)で1分間に300枚という数のフレームを生成することが可能な撮像素子の開発に成功したということが報告された。このような撮像素子を用いると、1秒間に何枚もの画像を得ることができるのでフレームごとの画像中の画素どうしを加算してS/N比を上げて高精細な静止画撮影を得ることができ、また連続した複数回の撮影を高速に行なって複数枚の画像を重ね合わせてぶれを補正することができる(例えば特許文献1参照)。また、上記撮像素子を用いると特許文献2にあるように被写体の動きの速さが速いときには撮影間隔を短くして手ぶれや被写体ぶれを抑制することもできる。 Recently, it was reported that an image sensor capable of generating 300 frames per minute with 1.2 mega (1.2 million pixels) was successfully developed. When such an image sensor is used, since many images can be obtained per second, high-definition still image shooting can be obtained by adding pixels in the image for each frame to increase the S / N ratio. In addition, it is possible to correct blur by superimposing a plurality of images by performing a plurality of continuous shootings at a high speed (see, for example, Patent Document 1). In addition, when the above-described image sensor is used, as described in Patent Document 2, when the subject moves quickly, the photographing interval can be shortened to suppress camera shake or subject blur.
ところで、従来より、撮影装置においては手ぶれ検出センサで手ぶれを検出し検出した手ぶれの状態に応じて撮影光学系を構成する光学素子のうちの少なくとも一つと撮像素子とを相対的に移動させることにより手ぶれを補正する技術(以降の説明においては光学式ぶれ補正という)や1フレーム間に高速連写を行なって撮影コマごとの画像の動きから動きベクトルを検出し検出した動きに応じて画像を重ね合わせることにより手ぶれを補正する技術(以降の説明においては電子式ぶれ補正という)が提案されている(例えば特許文献3〜9)。この電子式ぶれ補正を行なう場合には上記のようなフレームレートの高い撮像素子等を使うとより顕著な効果が得られる。 By the way, conventionally, in an imaging apparatus, by detecting a camera shake by a camera shake detection sensor, the image pickup element is moved relative to at least one of the optical elements constituting the imaging optical system in accordance with the detected camera shake state. A technique for correcting camera shake (hereinafter referred to as optical camera shake correction) and high-speed continuous shooting during one frame to detect a motion vector from the motion of the image for each frame and superimpose the images according to the detected motion Techniques for correcting camera shake by combining them (hereinafter referred to as electronic camera shake correction) have been proposed (for example, Patent Documents 3 to 9). When this electronic blur correction is performed, a more remarkable effect can be obtained by using an image sensor having a high frame rate as described above.
また上記特許文献の中には、例えば特許文献8、特許文献9にあるように手ぶれの発生状況などに応じて光学式ぶれ補正と電子式ぶれ補正とが併用されるものがある。これら特許文献8や特許文献9にあるように光学式ぶれ補正と電子式ぶれ補正が併用されると、どのようなぶれであってもぶれが好適に補正される。 In addition, among the above-mentioned patent documents, for example, as disclosed in Patent Documents 8 and 9, there are those in which optical shake correction and electronic shake correction are used in combination according to the occurrence of camera shake. As described in Patent Document 8 and Patent Document 9, when optical blur correction and electronic blur correction are used in combination, the blur is suitably corrected regardless of the blur.
特許文献8には光学式ぶれ補正と電子式ぶれ補正とを併用して複数枚の画像のセンタがあうようにカメラ本体の姿勢を光学的に制御する技術が提案されており、また上記特許文献9には光学式ぶれ補正と電子式ぶれ補正とを併用して複数枚撮影時の各コマごとの撮影においては光学式ぶれ補正を行なって各コマの繋ぎにおいては電子式ぶれ補正を行なう技術が提案されている。 Patent Document 8 proposes a technique for optically controlling the posture of a camera body so that the centers of a plurality of images are aligned by using both optical blur correction and electronic blur correction. No. 9 is a technique that uses optical blur correction and electronic blur correction together to perform optical blur correction when shooting each frame when shooting a plurality of frames, and to perform electronic blur correction when connecting each frame. Proposed.
しかしながら特許文献9の技術においては光学式ぶれ補正で手ぶれが補正できる状況にあっても電子式ぶれ補正が常に実行されてしまうため、毎回の撮影に要する演算時間が常に長くなってしまうという問題を抱えている。この問題は、光学式ぶれ補正と電子式ぶれ補正との使い分けが明細書中に明確に示されていない特許文献8においても発生する恐れが十分にある。 However, in the technique of Patent Document 9, electronic blur correction is always executed even in a situation where camera shake can be corrected by optical blur correction, so that the calculation time required for each photographing always becomes long. I have it. This problem is likely to occur even in Patent Document 8 where the distinction between optical blur correction and electronic blur correction is not clearly shown in the specification.
光学式ぶれ補正のみでぶれ補正ができるにも拘わらず、電子ぶれ補正が常に併用されて一回の撮影に要する演算時間が長くなると、撮影後すぐのシャッタチャンスに撮影を行なうことができなくなってしまう。
本発明は上記問題点を解決し、撮影後すぐのシャッタチャンスに撮影を行なうことができる率が高まる撮影装置を提供することを目的とするものである。 SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problems and to provide an imaging apparatus that increases the rate at which photography can be performed at a photo opportunity immediately after photography.
上記課題を達成する本発明の撮影装置は、撮影光学系で撮像素子上に被写体を結像させてその被写体を表わす画像を生成する撮影装置において、
手ぶれを検出する手ぶれ検出センサと、
上記手ぶれ検出センサによる撮影前の手ぶれ検出結果が所定レベル以下である第1の手ぶれ状態にあるか、所定レベルを超えている第2の手ぶれ状態にあるかを判定する手ぶれレベル判定手段と、
上記手ぶれレベル判定手段による判定結果が、上記第1の手ぶれ状態にあるとの判定結果であったときに、撮影時に単独の1枚の撮影画像を生成する第1の撮影モードによる撮影を実行し、上記手ぶれレベル判定手段による判定結果が上記第2の手ぶれ状態にあるとの判定結果であったときに連続する複数枚の撮影画像を生成する第2の撮影モードによる撮影を実行する撮影手段と、
撮影時に、上記撮影光学系を構成する光学素子のうちの少なくとも1つと上記撮像素子とを相対的に移動させることにより、上記撮影手段に手ぶれが補正された撮影画像を生成させる第1の手ぶれ補正手段と、
上記手ぶれレベル判定手段による、上記第2の手ぶれ状態にあるとの判定結果を受けて、上記第2の撮影モードの実行により得られた複数枚の撮影画像を、相対的なぶれが補正されるように画像どうしの位置を修正して重ね合せることにより、手ぶれが補正された重合せ画像を生成する第2の手ぶれ補正手段とを備えたことを特徴とする。
The imaging device of the present invention that achieves the above-described problem is an imaging device that forms an image of a subject on an image sensor with a shooting optical system and generates an image representing the subject.
A camera shake detection sensor for detecting camera shake;
A camera shake level determination means for determining whether a camera shake detection result before photographing by the camera shake detection sensor is in a first camera shake state in which a camera shake detection result is equal to or lower than a predetermined level or a second camera shake state in which a predetermined level is exceeded;
When the determination result by the camera shake level determination means is the determination result that the first camera shake state is present, shooting is performed in the first shooting mode that generates a single shot image at the time of shooting. Photographing means for performing photographing in a second photographing mode for generating a plurality of consecutive photographed images when the judgment result by the hand shake level judging means is a judgment result indicating that the second camera shake state is present; ,
At the time of shooting, a first camera shake correction that causes the shooting unit to generate a shot image in which camera shake is corrected by relatively moving at least one of the optical elements constituting the shooting optical system and the imaging device. Means,
In response to the determination result that the camera shake level determination means is in the second camera shake state, relative shake is corrected for a plurality of captured images obtained by executing the second imaging mode. In this way, the image processing apparatus includes a second camera shake correction unit that generates a superimposed image in which camera shake is corrected by correcting and superimposing positions of the images.
上記本発明の撮影装置によれば、上記第1の手ぶれ状態にあるときには光学式ぶれ補正を行なう上記第1の手ぶれ補正手段により手ぶれが補正され、上記第2の手ぶれ状態にあるときには電子式ぶれ補正を行なう上記第2の手ぶれ補正手段によって手ぶれが補正される。 According to the photographing apparatus of the present invention, camera shake is corrected by the first camera shake correction means for performing optical camera shake correction in the first camera shake state, and electronic camera shake is in the second camera shake state. The camera shake is corrected by the second camera shake correcting means for performing the correction.
そうすると、上記第1の手ぶれ補正手段で光学式ぶれ補正を行なうことで手ぶれを補正することができるときには、上記第2の手ぶれ補正手段に電子的補正を行なわせずに済み、余計な演算を行なわせなくて済む分、演算時間の短縮化を図ることができる。 Then, when the camera shake can be corrected by performing the optical camera shake correction with the first camera shake correction unit, the second camera shake correction unit does not need to perform electronic correction, and extra calculation is performed. As a result, the calculation time can be shortened.
その結果、光学ぶれ補正である上記第1の手ぶれ補正手段だけで手ぶれが補正された場合には、撮影後すぐのシャッタチャンスに確実に撮影を行なうことができる。 As a result, when the camera shake is corrected only by the first camera shake correction means, which is a light learning correction, it is possible to reliably perform shooting at a photo opportunity immediately after shooting.
また、上記第1の手ぶれ補正手段では手ぶれを補正することができないときには、必要であるとして上記第2の手ぶれ補正手段によって演算処理により電子的に手ぶれが補正される。なお、このときには上記第1の手ぶれ補正手段を動作させたままにしておいても良い。 Further, when the first camera shake correction unit cannot correct the camera shake, the second camera shake correction unit corrects the camera shake electronically by calculation processing as necessary. At this time, the first camera shake correction means may be left operating.
ここで、当該撮影装置が、半押しと全押しとからなる2段押しのシャッタボタンであって、さらに該シャッタボタンに指が触れたことを検出するタッチセンサ付きのシャッタボタンを備え、
上記手ぶれレベル判定手段は、上記手ぶれ検出センサによる、上記シャッタボタンに指が触れたタイミングからそのシャッタボタンが半押しされるタイミングまでの間の手ぶれ検出結果に基づいて上記第1の手ぶれ状態にあるか上記第2の手ぶれ状態にあるかを判定するものであることが好ましい。
Here, the photographing apparatus is a two-step shutter button that is half-pressed and fully pressed, and further includes a shutter button with a touch sensor that detects that a finger touches the shutter button,
The camera shake level determination means is in the first camera shake state based on a camera shake detection result between the timing when the finger touches the shutter button and the timing when the shutter button is half-pressed by the camera shake detection sensor. It is preferable to determine whether the camera is in the second camera shake state.
そうすると、撮影直前に上記手ぶれレベル判定手段によって手ぶれが判定されるので、上記第1の手ぶれ状態にあるか上記第2の手ぶれ状態にあるかの検出精度が上がる。また手ぶれ検出センサを動作させる時間が短縮される分、電力消費が低減される。 Then, since the camera shake level is determined by the camera shake level determination unit immediately before shooting, the detection accuracy of whether the camera is in the first camera shake state or the second camera shake state is improved. In addition, power consumption is reduced by reducing the time for operating the camera shake detection sensor.
また同じ効果を得るためには、当該撮影装置が、半押しと全押しとからなる2段押しのシャッタボタンと、眼が近づいたことを検出する接眼センサを有するファインダとを備え、
上記手ぶれレベル判定手段は、上記手ぶれ検出センサによる、上記ファインダに眼が近づいたタイミングから上記シャッタボタンが半押しされるタイミングまでの間の手ぶれ検出結果に基づいて上記第1の手ぶれ状態にあるか上記第2の手ぶれ状態にあるかを判定するものであっても良い。
In order to obtain the same effect, the photographing apparatus includes a two-press shutter button that is half-pressed and fully pressed, and a finder that has an eyepiece sensor that detects that the eye is approaching,
Whether the camera shake level determination means is in the first camera shake state based on a camera shake detection result between the timing when the eye approaches the finder and the timing when the shutter button is half-pressed by the camera shake detection sensor. It may be determined whether the camera is in the second camera shake state.
また上記手ぶれレベル判定手段による判定結果をユーザに通知する通知手段を備えた態様であると良く、さらに上記第1の撮影モードの実行により得られた撮影画像、および上記第2の撮影モードにより得られた撮影画像に対応させて、上記第1の撮影モードにより得られた画像であるか、上記第2の撮影モードにより得られた画像であるかを表わす情報を記録する記録手段を備えた態様であると尚良い。 Further, it may be provided with a notification means for notifying the user of the determination result by the camera shake level determination means, and further obtained by the photographed image obtained by executing the first photographing mode and the second photographing mode. An aspect provided with recording means for recording information indicating whether the image is obtained in the first photographing mode or the second photographing mode in correspondence with the taken image. It is still better to be.
以上説明した様に、撮影後すぐのシャッタチャンスに撮影を行なうことができる率が高まる撮影装置が実現する。 As described above, it is possible to realize a photographing apparatus that increases the rate at which photographing can be performed immediately after the photographing.
以下図面を参照して本発明の実施の形態を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明の撮影装置の一実施形態であるデジタルカメラを示す図である。 FIG. 1 is a diagram showing a digital camera which is an embodiment of a photographing apparatus of the present invention.
図1には本発明の一実施形態であるデジタルカメラ100の斜視図が示されている。図1(a)には正面上方から見た斜視図が示されており、図1(b)には背面上方から見た斜視図が示されている。
FIG. 1 is a perspective view of a
図1(a)に示すように、本実施形態のデジタルカメラ100のボディ中央にはレンズ鏡胴170が備えられており、そのレンズ鏡胴170の上方には、ファインダ105が備えられている。またそのファインダ105の脇には撮影補助光発光窓161が備えられている。
As shown in FIG. 1A, a
また、図1(b)に示すように本実施形態のデジタルカメラ100の背面および上面にはユーザがこのデジタルカメラ100を使用するときにいろいろな操作を行うための操作子群101が備えられている。
In addition, as shown in FIG. 1B, an
この操作子群101の中にはデジタルカメラ100を作動させるための電源スイッチ101aのほか、十字キー101b、メニュー/OKキー101c、キャンセルキー101d、モードレバー101eなどがある。これらの操作子群101の中のモードレバー101eによっては、再生モードと撮影モードの切替や撮影モードの中でさらに動画モード、静止画モードの切替が行なわれる。上記モードレバー101eが撮影モードに切り替えられた状態にあるときに電源スイッチ101aが投入されるとLCDパネル150上にスルー画が表示されて、そのスルー画を見ながらシャッタチャンスにレリーズ釦102が押されると被写体の撮影が行なわれる。なお上記モードレバー101eが再生側に切り替えられた状態にあるときには既撮影画像がLCDパネル150上に再生表示される。
In addition to the
詳細は後述するが図1に示すデジタルカメラ100の内部には、手ぶれを検出する手ぶれ検出センサと手ぶれ補正手段とが配備されており、手ぶれ検出センサの検出結果に基づいて手ぶれ補正手段によって撮影時の手ぶれが補正される構成になっている。
As will be described in detail later, a camera shake detection sensor for detecting camera shake and a camera shake correction unit are provided in the
なお本実施形態のデジタルカメラ100が備えるレリーズ釦102は半押しと全押しの2つの操作態様を有しており、半押しされたときのタイミングで測光と測距との双方が撮影装置内で行われて測光値に応じた絞りおよびシャッタ秒時が設定され、さらに測距された被写体距離にあうピント位置にフォーカスレンズが配置された後、全押し操作に応じて設定されたシャッタ秒時でシャッタが駆動され撮像素子で露光が行なわれる。また、本実施形態のデジタルカメラが備えるシャッタにはメカニカルシャッタと撮像素子が備える電子シャッタとの2つのシャッタがあり、シャッタ秒時が長いときにはメカニカルシャッタが用いられメカニカルシャッタでは駆動することができない位までシャッタ秒時が短くなってきたときには電子シャッタが用いられる。ただし静止画撮影においてはスミアなどが発生する恐れがあるので、なるべくメカニカルシャッタが用いられる。また、スルー画においてはメカニカルシャッタが用いられることもあるが主に電子シャッタが用いられる。
Note that the
図2は、図1のデジタルカメラ100内部の電気系統の構成ブロック図である。
FIG. 2 is a configuration block diagram of an electrical system inside the
図2を参照してこのデジタルカメラ100の内部の構成および動作を簡単に説明する。
The internal configuration and operation of the
本実施形態のデジタルカメラ100ではすべての処理がメインCPU110によって統括的に制御されている。ただし、測光処理や測距処理や露光処理等の撮影処理に関しては、メインCPU110と測光・測距CPU120とが連携して処理を実行する構成になっている。
In the
図2を参照して構成および各部の動作を説明していく。 The configuration and the operation of each part will be described with reference to FIG.
まずメインCPU110周りの構成を説明する。
First, the configuration around the
メインCPU110の入力部には図1(b)に示した操作子群101からの操作信号がそれぞれ供給されていてそれらの操作信号のうちの少なくとも一つが供給されてきたら操作信号に応じた処理が適宜メインCPU110によって実行される。メインCPU110はEEPROM110aを有しており、このEEPROM110aにはデジタルカメラ100として動作するために必要なプログラムが書き込まれているので、まず操作子群101の中の電源スイッチ101a(図1参照)が投入されたらそのEEPROM110a内のプログラムの手順にしたがってメインCPU110によりこのデジタルカメラ全体の動作を制御する処理が開始される。なお、メインCPU110とEEPROM110aには常に電源130から電力が供給されている。
The operation signal from the
ここで操作子群101の中の電源スイッチ101a(図1参照)が投入された後のデジタルカメラ100の動作を、図2を参照して説明する。
Here, the operation of the
操作子群101の中の電源スイッチ101aが投入されたら、メインCPU110により電源スイッチ101aが投入されたことが検知され、電源130から測光・測距CPU120などの各ブロックに電力が供給される。電源130が投入されたときにモードレバー101eが撮影側に切り替えられている場合には、まず撮像素子112に結像された被写体像が画像信号として所定の間隔ごとに間引かれて出力され、その出力された画像信号に基づく被写体像が画像表示LCD15のLCDパネル150上に表示される。この撮像素子112にはクロックジェネレータ(以下、CGという)1121からタイミング信号が供給されており、このタイミング信号によって所定の間隔ごとに、画像信号が間引かれて出力される。つまりCG1121により撮像素子112が備える電子シャッタが駆動され所定の間隔ごとにスルー画作成用の撮影が行なわれる。このCG1121からはメインCPU110からの指示に基づいてタイミング信号が出力されており、そのタイミング信号は、撮像素子112の他、後段のホワイトバランスγ処理部113、さらにA/D部114にも供給されている。したがって、撮像素子112、ホワイトバランスγ処理部113、A/D部114ではそのタイミング信号に同期して順序良く画像信号の処理が流れるように行なわれる。なお本実施形態の撮像素子112には、従来例で説明したように1秒間に300フレームを生成することが可能な撮像素子が用いられているとする。
When the
こうしてCG1121からのタイミング信号に同期して撮像素子112、ホワイトバランスγ処理部113、A/D部114で順序良く画像信号の処理が流れるように行なわれてA/D部114でアナログの画像信号がデジタルの画像信号に変換されたら、ホワイトバランス調整やガンマ補正さらには撮影感度の調整が施された画像信号が後段のYC処理部116に供給される。A/D部114からYC処理部116へ画像信号を供給するにあたってはA/D部114とYC処理部116との双方の処理タイミングをあわせる必要があるので、バッファメモリ115によってバッファメモリ115を境にした前段(A/D部114等)の処理タイミングと後段(YC処理部116)の処理タイミングとがあう様に調整されてYC処理部116に画像信号であるRGB信号が転送される。YC処理部116では、そのRGB信号からYC信号への変換が行なわれ、その後バス121を介してその変換されたYC信号が画像表示LCD15に供給されるとともにY信号がメインCPU110に供給される。
In this way, the
YC信号が供給される画像表示LCD15の方にはまずYC信号をRGB信号に変換するYC→RGB変換部151があり、このYC→RGB変換部151でYC信号が再びRGB信号に変換され、その変換されたRGB信号がドライバ152に供給され、さらにそのドライバ152によって画像表示LCD15のLCDパネル150上にRGB信号に基づくカラー画像(被写体像)の表示が行なわれる。
The image display LCD 15 to which the YC signal is supplied has a YC →
また、Y信号が供給されるメインCPU110の方では、Y信号に基づいて測光が行なわれその測光値が測光・測距CPU120に供給されてその測光・測距CPU120によって絶えず絞り径の変更設定や撮像素子112が備える電子シャッタのシャッタ秒時の設定等が行なわれて適正な明るさを持つスルー画を得るために必要な露出が調整される様になっている。さらに、メインCPU110では、Y信号からコントラストが検出されピント調整も絶えず行なわれる様になっていて、そのピント調整により得た合焦位置が測光・測距CPU120に通知され測光・測距CPU120によってフォーカスレンズ1111が合焦位置に配置される様にもなっている。
In the
前述したCG1121から出力されるタイミング信号に同期して撮像素子112、ホワイトバランスγ処理部113、A/D部114およびバッファメモリ115等が動作して、所定の間隔ごとに撮像素子112で生成された画像信号が処理されている訳であるから、この画像表示LCD15の表示パネル150上には撮影レンズが向けられた方向の被写体が被写体像として常に表示され続ける。この表示され続けている被写体像を視認しながら、シャッタチャンスにレリーズ釦102が押されると、レリーズ釦102の押下タイミングを起点として撮像素子112に電子シャッタが設定されて撮像素子112に被写体光が結像され、所定のシャッタ秒時が経過してメカニカルシャッタが閉じ駆動された後には撮像素子112に結像された被写体光に基づく画像信号すべてがRGB信号となって出力される。このRGB信号はメインCPU110の制御の下にバス121を介してYC処理部116に供給されYC処理部116でYC信号に変換される。さらにバス121を介して圧縮・伸張部117に供給され圧縮・伸張部117でYC信号の画像信号が圧縮され、その圧縮された画像信号がヘッダと共に画像ファイルとなってメモリカード119に記録される。この圧縮・伸張部117では静止画についてはJPEG規格に準拠した圧縮方法で圧縮が行なわれてメモリカード119に画像ファイルが記録される。この画像ファイルのヘッダには圧縮情報や撮影情報などが書き込まれており、このデジタルカメラ100のモードレバー101eが再生側に切り替えられたら、メモリカード119からそのファイルのヘッダがまず読み出され、そのヘッダ内の圧縮情報に基づいてファイル内の圧縮画像信号が圧縮・伸張部117で伸張されて画像信号が元に復元された後、メインCPU110の制御の下にバス121を介して画像表示LCD15側に供給されその画像信号に基づく被写体像がLCDパネル150上に表示される。
The
ここで本実施形態のデジタルカメラ100には、手ぶれ補正手段180が備えられており、撮影時に手ぶれが発生したときには手ぶれ検出センサ140で検出された手ぶれの検出結果に応じてその手ぶれ補正手段180によって手ぶれの補正が行なわれる。その手ぶれ補正手段180には、手ぶれ補正制御部181と、その手ぶれ補正制御部181からの指示を受けて動作する手ぶれ補正ドライバ182と、その手ぶれ補正ドライバ182により駆動される手ぶれ補正レンズ183と、その手ぶれ補正レンズ183が動いている最中のレンズ位置を検出するレンズ位置検出部184とが備えられていて上記手ぶれ検出センサ140で検出された手ぶれの状態に応じてメインCPU110の制御の下にその手ぶれ補正手段180によって手ぶれ補正が行なわれる。
Here, the
さらに、本実施形態においては、メインCPU110がフレームごとの画像の画像の重合せを加算処理により行なうことによってぶれを補正する機能を有している。この例では上記手ぶれ検出センサ140による手ぶれの検出結果が所定の値を超えて上記手ぶれ補正手段180では補正することが出来ない、本発明にいう第2の手ぶれ状態にある場合には手ぶれ補正手段180によって手ぶれの補正が行なわれるとともにメインCPU110によって画像の加算処理が行なわれて手ぶれが補正される構成になっている。つまりこの例では、メインCPU110によって手ぶれのレベルが所定のレベルを超えていると判定された場合には、従来例で説明した、光学ぶれ補正と電子ぶれ補正が併用されて所定の値以下であると判定された場合には光学ぶれ補正が行なわれる。
Further, in the present embodiment, the
本実施形態においては、本発明にいう手ぶれレベル判定手段の一例がメインCPU110で構成され、本発明にいう第1のぶれ補正手段の一例がメインCPU110と手ぶれ補正手段180で構成され、本発明にいう第2のぶれ補正手段の一例がメインCPU110と測光・測距CPU120とCG1121で構成される。
In the present embodiment, an example of the camera shake level determination unit according to the present invention is configured by the
ここで、メインCPU110と測光・測距CPU120が行なう撮影処理と、その撮影処理の実行中にメインCPU110の指示に基づいて手ぶれ補正手段180が行なう光学式ぶれ補正の処理内容とメインCPU110自身が行なう電子的ぶれ補正の処理内容とを説明する。
Here, the
まず撮影処理を説明する。 First, the photographing process will be described.
図3(a)は、メインCPU110と測光・測距CPU120との双方が協同して実行する撮影処理の手順を示すフローチャートである。図3(a)のフローの処理は、シャッタボタン102が半押しされたときに開始される。
FIG. 3A is a flowchart showing the procedure of the photographing process executed jointly by the
シャッタボタン102が半押しされたら、ステップS301でAE処理(測光結果に応じて絞り等を調整して露出調整を行なう処理)を実行して、次のステップS302でAF処理(フォーカスレンズを合焦位置に配置する処理)を実行する。
When the
次のステップで露光を開始し、所定のシャッタ秒時が経過したらメカニカルシャッタを閉じて露光を終了する(ステップS303)。次のステップS304へ進んでステップS304でCG1121に指示して、撮像素子112に向けて読出信号を供給させて撮像素子112から画像信号を出力させる。
In the next step, exposure is started, and when a predetermined shutter time elapses, the mechanical shutter is closed to complete the exposure (step S303). Proceeding to the next step S304, the
次のステップS305ではCG1121に指示してタイミング信号をA/D部114に供給させることによりA/D部114にタイミング信号に同期してA/D変換を行なわせる。次のステップS306でデジタル信号に変換された画像信号を、バッファメモリ115からバス121を経由してYC処理部116に供給しYC処理部116に信号処理を開始させる。YC処理部116での信号処理が終了したら、次のステップS307で今度は圧縮・伸張部117に1フレーム分の画像信号をバスを経由して供給して圧縮伸張部117に圧縮処理を行なわせて、圧縮画像信号をメモリカード119に記録させてこのフローの処理を終了する。
In the next step S305, the
ここで、ステップS303の露光処理の詳細を、図3(b)を参照して説明する。 Here, details of the exposure processing in step S303 will be described with reference to FIG.
図3(b)は、図3(a)に示す露光のステップS303の詳細を示すフローチャートである。 FIG. 3B is a flowchart showing details of the exposure step S303 shown in FIG.
このフローの処理によりメインCPU110は、手ぶれ検出センサ140による、シャッタボタン102が半押しされるタイミングまでの間の手ぶれ検出結果に基づいて手ぶれ補正処理とともに撮影処理を測光・測距CPU120の協力の基に実行する。なお図中の符号S1は半押しを示す。
Through the processing of this flow, the
まず、ステップS3031で、半押しされるまでに上記手ぶれ検出センサ140で検出された手ぶれの角度が所定角度(0.5度)を超えているかどうかを判定する。このステップS3031で所定角度(0.5度)を超えていると判定した場合には、本発明にいう第2の手ぶれ状態にあるとしてステップS3033へ進んで、クロックジェネレータ1121に指示して1/fのシャッタ速度で連続する複数枚の画像を撮影させる。このステップS3033の撮影処理が本発明にいう第2の撮影モードの処理になる。さらにステップS3034へ進んでステップS3034でステップS3033で得た複数枚の画像の加算処理を行なって、ステップS3036で露光が終了したらステップS3037でメカニカルシャッタを閉じ駆動してこのフローの処理を終了する。
First, in step S3031, it is determined whether or not the camera shake angle detected by the camera
また、ステップS3031で、手ぶれ検出センサ140で検出された手ぶれの角度が所定角度(0.5度)以下であると判定した場合には、ステップS3032へ進んでステップS3032で、今度は手ぶれの周波数が所定周波数(20Hz)を超えているかどうかを判定する。
If it is determined in step S3031 that the camera shake angle detected by the camera
このステップS3032で手ぶれの周波数が所定周波数(20Hz)を超えていると判定した場合も上記第2の手ぶれ状態にあるとしてステップS3033へ進んでステップS3033からステップS3037の処理を実行する。ステップS3032で手ぶれの周波数が所定の周波数以下であると判定した場合は、第1の手ぶれ状態にあるとしてステップS3035で手ぶれ補正手段180に手ぶれの補正を行なわせながらCG1121に指示して撮像素子120に1/fより2段遅いシャッタ速度を設定するとともにそのシャッタ速度に応じた撮影感度をホワイトバランスγ処理部113に設定して単独の撮影を行なわせる。このステップS3035の撮影処理が本発明にいう第1の撮影モードになる。そしてステップS3036で露光が終了したらステップS3037でメカニカルシャッタを閉じ駆動してこのフローの処理を終了する。
If it is determined in step S3032 that the camera shake frequency exceeds the predetermined frequency (20 Hz), the process proceeds to step S3033 as the second camera shake state, and the processing from step S3033 to step S3037 is executed. If it is determined in step S3032 that the camera shake frequency is equal to or lower than the predetermined frequency, the
つまり、本実施形態においては、本発明にいう撮影手段の一例が、メインCPU110と測光・測距CPU120とCG1121とで構成される。
In other words, in the present embodiment, an example of the photographing unit referred to in the present invention includes the
こうして、本発明にいうレベル判定手段の一例を構成するメインCPU110の判定結果に基づいて、第1の手ぶれ補正手段180で手ぶれを補正する構成にしておいて、所定のレベルを超えた場合にのみ第2の手ぶれ補正手段180の一例を構成するメインCPU110で手ぶれを補正する構成にすると、光学ぶれ補正のみで手ぶれの補正を行なうことができる場合には、従来に比べて演算時間が短縮され、撮影後すぐのシャッタチャンスに撮影を行なうことができるようになる。
Thus, based on the determination result of the
すなわち、撮影後すぐのシャッタチャンスに撮影を行なうことができる率が高まる撮影装置が実現する。 In other words, an imaging apparatus is realized that increases the rate at which imaging can be performed on a photo opportunity immediately after imaging.
ここで、第1の実施形態では、電源オン時からシャッタボタン102が半押しされるタイミングまでの間の手ぶれ検出センサ140の検出結果に基づいて手ぶれ補正を行なう例を示したが、撮影前の状態を電源オン時から半押しまでの間ずっと検出する構成にすると、無駄な処理が増えて手ぶれの検出精度が低下するとともに電力消費が増えてしまう。
Here, in the first embodiment, the example in which the camera shake correction is performed based on the detection result of the camera
そこで、例えばシャッタボタン102にタッチセンサを搭載して撮影者がシャッタボタンに触れたときに撮影が行なわれようとしているとして、撮影直前のぶれ状態のみを検出する構成にすると、ぶれの検出精度が高められるとともに第1実施形態より効率的に処理が行なわれて電力消費量が低減される。
Therefore, for example, assuming that a touch sensor is mounted on the
図4、図5は、第1の実施形態よりも処理の効率化が図られた第2実施形態を説明する図である。 4 and 5 are diagrams for explaining the second embodiment in which the processing efficiency is improved as compared with the first embodiment.
図4の構成は、シャッタボタン102がタッチセンサ(ここでは静電センサ1021)付きのシャッタボタン102Aに変更されている以外は、図2と同じ構成である。
The configuration of FIG. 4 is the same as that of FIG. 2 except that the
また、図5の処理は、図3(b)のステップS3031とステップS3032の処理がシャッタボタン102に触れたタイミングからシャッタボタン102が半押しされるタイミングまでの間の手ぶれ検出結果に基づいた処理(S3031A、S3032A)に変更された以外は、図3(b)の処理と同じ処理である。
Further, the processing in FIG. 5 is based on the camera shake detection result from the timing at which the processing at step S3031 and step S3032 in FIG. 3B touches the
図4に示す様に静電センサ付きのシャッタボタン102Aが設けられると、メインCPU110がこの撮影装置の、撮影直前の振れ状態を検出することができるので、手ぶれ検出センサ140による手ぶれの検出時間の短縮化を図ることができる。
As shown in FIG. 4, when the
以上説明した様にこの第2の実施形態の様に撮影直前および撮影時の振れ状態を検出する構成にすると、第1実施形態のシャッタチャンスに確実に撮影を行なうことができる率が高まるという効果に加えて、第1の実施形態よりもぶれの検出精度が高められるとともに電力消費が低減されるという効果が得られる。 As described above, when the shake state immediately before and during the shooting is detected as in the second embodiment, the rate at which shooting can be performed reliably in the photo opportunity of the first embodiment is increased. In addition to this, it is possible to obtain an effect that the blur detection accuracy is improved and the power consumption is reduced as compared with the first embodiment.
ここで撮影を行なうときには撮影者がシャッタボタン102に触れるだけでなく、ファインダ105を覗いてフレーミングを行なうこともある。
Here, when photographing, the photographer may not only touch the
図6、図7は、第3実施形態を説明する図である。 6 and 7 are diagrams for explaining the third embodiment.
図6の構成は、図1(b)に示すファインダ105の接眼部に、眼が近づいたことを検出する接眼センサ1051が追加されている以外は図2の構成と同じ構成である。また図3のステップS3031とステップS3032の処理が、ファインダに眼が近づいたタイミングからシャッタボタンが半押しされるタイミングまでの間の手ぶれ検出結果に基づいた処理(S3031B,S3032B)に変更されている以外は、図3(b)の処理と全く同じ処理である。
The configuration in FIG. 6 is the same as the configuration in FIG. 2 except that an
図6、図7の構成にしても、第2の実施形態と同様に、第1実施形態のシャッタチャンスに確実に撮影を行なうことができる率が高まるという効果に加えて、ぶれの検出精度が高められるとともに電力消費が低減されるという効果が得られる。 6 and 7, in the same way as the second embodiment, in addition to the effect of increasing the rate at which shooting can be performed reliably in the photo opportunity of the first embodiment, the detection accuracy of the blur is also increased. It is possible to increase the power consumption while reducing the power consumption.
なお、本実施形態では、第1のぶれ補正手段である手ぶれ補正手段を常時作動させ、ある値を超える手ぶれが発生したときに第2のぶれ補正手段を構成するCPU110に画像加算を行なわせてぶれの補正を行なわせているが、本発明はこれによらず、所定の値を超えるときには第2の手ぶれ補正手段に手ぶれの補正を行なわせ、所定の値以下のときには手ぶれ補正手段180に手ぶれを補正させるように構成して第1のぶれ補正手段と第2のぶれ補正手段とをぶれ量に応じて切り替える構成にしても良い。
In the present embodiment, the camera shake correction unit that is the first camera shake correction unit is always operated, and when a camera shake exceeding a certain value occurs, the
ところで、手ぶれ補正が電子式ぶれ補正であるか光学式ぶれ補正であるかが表示によりユーザに通知されると、ユーザは例えば直前の撮影時に電子式ぶれ補正が行なわれていたためにその直後のシャッタチャンスに撮影を行なうことができなかったということを知ることができる。 By the way, when the user is notified by a display whether the camera shake correction is an electronic camera shake correction or an optical camera shake correction, since the user has performed the electronic camera shake correction at the time of the last shooting, for example, the shutter immediately thereafter You can know that you couldn't take a picture at the chance.
図8、図9は、光学式手ぶれ補正、電子式手ぶれ補正のうちのどちらで手ぶれ補正が行なわれたをユーザに通知する構成にした場合の処理を説明する図である。 FIGS. 8 and 9 are diagrams for explaining processing in a case where the user is notified of which of the optical camera shake correction and the electronic camera shake correction has been performed.
ステップS3032A、ステップS3032Bの表示処理を追加した以外は、図3の処理と同じである。 The processing is the same as that in FIG. 3 except that the display processing in steps S3032A and S3032B is added.
メインCPU110と測光・測距CPU120とが協力して撮影処理を実行すると、図9に示す様にLCDパネル150上に光学式防振(又は電子的防振)と表示される。
When the
こうしてLCDパネル上に表示されると、ユーザは前回の撮影に続けて次回の撮影を行なおうとしたときに撮影をすることができなかった訳を知ることができる。 When displayed on the LCD panel in this way, the user can know the reason why the user could not take a picture when the next picture was taken following the previous picture.
また、撮影時にどちらの手ぶれ補正が行なわれたかがLCDパネル上に表示されると、ユーザは、撮影時の状況を確認しながら画像の不具合の解析を行なうことができる。 Further, when which camera shake correction was performed at the time of shooting is displayed on the LCD panel, the user can analyze an image defect while checking the situation at the time of shooting.
図10は、第1の撮影モードの実行により得られた撮影画像および第2の撮影モードにより得られた撮影画像に対応させて、第1の撮影モードにより得られた画像であるか第2の撮影モードにより得られた画像であるかを表わす情報を記録する処理を加えた処理を説明する図である。 FIG. 10 shows whether the captured image obtained by executing the first imaging mode and the captured image obtained by executing the second imaging mode are images acquired by the first imaging mode or the second image. It is a figure explaining the process which added the process which records the information showing whether it is the image acquired by imaging | photography mode.
図10の処理はステップS309が追加された以外は、図3(a)、図3(b)の処理と全く同じである。また、図11は、ステップS309の処理で画像ファイル内に情報が記録される場所を示すメモリアロケーションを示す図である。 The process in FIG. 10 is exactly the same as the process in FIGS. 3A and 3B except that step S309 is added. FIG. 11 is a diagram showing a memory allocation indicating a place where information is recorded in the image file in the process of step S309.
図10のステップS309の処理が実行されると、図11のタグ領域に情報が記録され、再生時にはその情報に基づく情報がLCDパネル上に表示される。そうすると、ユーザはLCDパネル上の情報を見て画像の不具合の原因などを解析することができる。 When the process of step S309 of FIG. 10 is executed, information is recorded in the tag area of FIG. 11, and information based on the information is displayed on the LCD panel during reproduction. Then, the user can analyze the cause of the image defect by looking at the information on the LCD panel.
100 デジタルカメラ
101 操作子群
102 102A シャッタボタン
105 ファインダ
110 メインCPU
110a EEPROM
112 CCD固体撮像素子
113 ホワイトバランスγ処理部
114 A/D部
115 バッファメモリ
116 YC処理部
117 圧縮・伸張部
118 I/F
119 メモリカード
120 測光・測距CPU
150 LCDパネル
140 手ぶれ検出センサ
180 手ぶれ補正手段
181 手ぶれ補正制御部
182 手ぶれ補正ドライバ
183 手ぶれ補正レンズ
184 レンズ位置検出部
100
110a EEPROM
112 CCD solid-
119
150
Claims (5)
手ぶれを検出する手ぶれ検出センサと、
前記手ぶれ検出センサによる撮影前の手ぶれ検出結果が所定レベル以下である第1の手ぶれ状態にあるか、該所定レベルを超えている第2の手ぶれ状態にあるかを判定する手ぶれレベル判定手段と、
前記手ぶれレベル判定手段による判定結果が、前記第1の手ぶれ状態にあるとの判定結果であったときに、撮影時に単独の1枚の撮影画像を生成する第1の撮影モードによる撮影を実行し、前記手ぶれレベル判定手段による判定結果が前記第2の手ぶれ状態にあるとの判定結果であったときに連続する複数枚の撮影画像を生成する第2の撮影モードによる撮影を実行する撮影手段と、
撮影時に、前記撮影光学系を構成する光学素子のうちの少なくとも1つと前記撮像素子とを相対的に移動させることにより、前記撮影手段に手ぶれが補正された撮影画像を生成させる第1の手ぶれ補正手段と、
前記手ぶれレベル判定手段による、前記第2の手ぶれ状態にあるとの判定結果を受けて、前記第2の撮影モードの実行により得られた複数枚の撮影画像を、相対的なぶれが補正されるように画像どうしの位置を修正して重ね合せることにより、手ぶれが補正された重合せ画像を生成する第2の手ぶれ補正手段とを備えたことを特徴とする撮影装置。 In a photographing apparatus that forms an image of a subject on an image sensor with a photographing optical system and generates an image representing the subject,
A camera shake detection sensor for detecting camera shake;
A camera shake level determination means for determining whether a camera shake detection result before photographing by the camera shake detection sensor is in a first camera shake state in which the result is equal to or lower than a predetermined level or in a second camera shake state in which the predetermined level is exceeded;
When the determination result by the camera shake level determination means is a determination result that the first camera shake state is present, shooting is performed in the first shooting mode that generates a single shot image at the time of shooting. Photographing means for executing photographing in a second photographing mode for generating a plurality of continuous photographed images when the judgment result by the camera shake level judging means is a judgment result that the second camera shake state is present; ,
At the time of shooting, a first camera shake correction that causes the shooting unit to generate a shot image in which camera shake is corrected by relatively moving at least one of the optical elements constituting the shooting optical system and the imaging device. Means,
In response to the determination result that the camera shake level determination means is in the second camera shake state, relative shake is corrected for a plurality of captured images obtained by executing the second imaging mode. An image capturing apparatus comprising: a second camera shake correction unit that generates a superimposed image in which camera shake is corrected by correcting and superimposing positions of images as described above.
前記手ぶれレベル判定手段は、前記手ぶれ検出センサによる、前記シャッタボタンに指が触れたタイミングから該シャッタボタンが半押しされるタイミングまでの間の手ぶれ検出結果に基づいて前記第1の手ぶれ状態にあるか前記第2の手ぶれ状態にあるかを判定するものであることを特徴とする請求項1記載の撮影装置。 The photographing apparatus is a two-step pressed shutter button consisting of half-press and full-press, and further includes a shutter button with a touch sensor that detects that a finger touches the shutter button,
The camera shake level determination means is in the first camera shake state based on a camera shake detection result between a timing at which a finger touches the shutter button and a timing at which the shutter button is half-pressed by the camera shake detection sensor. 2. The photographing apparatus according to claim 1, wherein the photographing apparatus is configured to determine whether the camera is in the second camera shake state.
前記手ぶれレベル判定手段は、前記手ぶれ検出センサによる、前記ファインダに眼が近づいたタイミングから前記シャッタボタンが半押しされるタイミングまでの間の手ぶれ検出結果に基づいて前記第1の手ぶれ状態にあるか前記第2の手ぶれ状態にあるかを判定するものであることを特徴とする請求項1記載の撮影装置。 The photographing apparatus includes a two-step shutter button that is half-pressed and fully-pressed, and a finder that has an eye sensor that detects that the eye is approaching,
Whether the camera shake level determination means is in the first camera shake state based on a camera shake detection result between the timing when the eye approaches the finder and the timing when the shutter button is half-pressed by the camera shake detection sensor. The photographing apparatus according to claim 1, wherein the photographing apparatus is configured to determine whether the second camera shake state is present.
Corresponding to the photographed image obtained by execution of the first photographing mode and the photographed image obtained by the second photographing mode, the image is obtained by the first photographing mode or the second photographing mode. 2. The photographing apparatus according to claim 1, further comprising recording means for recording information indicating whether the image is obtained in the photographing mode.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007084823A JP4758379B2 (en) | 2007-03-28 | 2007-03-28 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007084823A JP4758379B2 (en) | 2007-03-28 | 2007-03-28 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008245056A true JP2008245056A (en) | 2008-10-09 |
JP4758379B2 JP4758379B2 (en) | 2011-08-24 |
Family
ID=39915810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007084823A Expired - Fee Related JP4758379B2 (en) | 2007-03-28 | 2007-03-28 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4758379B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011217101A (en) * | 2010-03-31 | 2011-10-27 | Ntt Docomo Inc | Portable terminal |
WO2013190906A1 (en) * | 2012-06-18 | 2013-12-27 | ソニー株式会社 | Display control device, imaging device, and display control method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006128781A (en) * | 2004-10-26 | 2006-05-18 | Konica Minolta Photo Imaging Inc | Photographing apparatus |
JP2008048013A (en) * | 2006-08-11 | 2008-02-28 | Canon Inc | Camera main body and camera system having same |
JP2008124728A (en) * | 2006-11-10 | 2008-05-29 | Sanyo Electric Co Ltd | Imaging device |
-
2007
- 2007-03-28 JP JP2007084823A patent/JP4758379B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006128781A (en) * | 2004-10-26 | 2006-05-18 | Konica Minolta Photo Imaging Inc | Photographing apparatus |
JP2008048013A (en) * | 2006-08-11 | 2008-02-28 | Canon Inc | Camera main body and camera system having same |
JP2008124728A (en) * | 2006-11-10 | 2008-05-29 | Sanyo Electric Co Ltd | Imaging device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011217101A (en) * | 2010-03-31 | 2011-10-27 | Ntt Docomo Inc | Portable terminal |
WO2013190906A1 (en) * | 2012-06-18 | 2013-12-27 | ソニー株式会社 | Display control device, imaging device, and display control method |
Also Published As
Publication number | Publication date |
---|---|
JP4758379B2 (en) | 2011-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5054583B2 (en) | Imaging device | |
JP4656331B2 (en) | Imaging apparatus and imaging method | |
JP4434151B2 (en) | Imaging device | |
TWI514847B (en) | Image processing device, image processing method, and recording medium | |
JP2008236645A (en) | Photographing device | |
TWI459126B (en) | Image processing device capable of generating a wide-range image, image processing method and recording medium | |
TW200808044A (en) | Imaging apparatus and computer readable recording medium | |
JP2007243250A (en) | Imaging apparatus and imaging method | |
JP6222514B2 (en) | Image processing apparatus, imaging apparatus, and computer program | |
JP4985251B2 (en) | Imaging apparatus, focus control method, and focus control program | |
US20130286254A1 (en) | Image capturing apparatus, control method, and recording medium | |
JP4977569B2 (en) | Imaging control apparatus, imaging control method, imaging control program, and imaging apparatus | |
JP2013110754A (en) | Camera device, and photographing method and program of the same | |
JP2010193324A (en) | Camera apparatus, photographing method thereof and program | |
JP4758379B2 (en) | Imaging device | |
JP2009020163A (en) | Imaging apparatus and program therefor | |
JP2008263478A (en) | Imaging apparatus | |
JP4597887B2 (en) | Imaging device | |
JP2009182832A (en) | Photographing device and through image displaying method | |
JP5105298B2 (en) | Imaging apparatus and program thereof | |
JP2006157342A (en) | Imaging apparatus | |
JP2005236511A (en) | Electronic camera | |
JP2007049407A (en) | Photographic device | |
JP4910720B2 (en) | camera | |
JP2008067200A (en) | Photographing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110303 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110602 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |