JP2009194548A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2009194548A
JP2009194548A JP2008032058A JP2008032058A JP2009194548A JP 2009194548 A JP2009194548 A JP 2009194548A JP 2008032058 A JP2008032058 A JP 2008032058A JP 2008032058 A JP2008032058 A JP 2008032058A JP 2009194548 A JP2009194548 A JP 2009194548A
Authority
JP
Japan
Prior art keywords
image data
thinned
output
recording
storage medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008032058A
Other languages
Japanese (ja)
Other versions
JP5115230B2 (en
Inventor
Akihiro Yoshizawa
昭弘 義澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008032058A priority Critical patent/JP5115230B2/en
Publication of JP2009194548A publication Critical patent/JP2009194548A/en
Application granted granted Critical
Publication of JP5115230B2 publication Critical patent/JP5115230B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging element which does not miss a desired photographing scene for a period until a photographing preparation operation is completed. <P>SOLUTION: This imaging apparatus includes a power supply operation part 15 for instructing a power feeding means 16 to start power feeding in accordance with an operation by a user; an imaging control means 1 for controlling an imaging element 7 for allowing an output of thinning image data and inhibiting an output of all pixel image data from starting an image data output of the imaging element 7 after starting power feeding by the power feeding means 16 until completing a photographing preparation operation including at least one between a focusing operation and an exposure adjustment operation, and releasing the inhibition of the output of the all pixel image data after the completing of the photographing preparation operation so as to allow the output of the all pixel image data; and a volatile storing means 22 for temporarily storing the thinning image data output from the imaging element 7 to store in a nonvolatile image data storage medium 19 for a period from starting the output of the thinning image data until completing the photographing preparation operation. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像素子を用いた撮像装置に関する。   The present invention relates to an imaging apparatus using an imaging element.

従来、レリーズ釦の半押し操作に連動して撮像を開始し、得られた連写画像をバッファメモリへ記録し、レリーズ釦の全押しにより、連写開始後の所定の画像から全押しタイミングまでの画像を保存するカメラが知られている(例えば、非特許文献1参照)。このような連写を行うことにより、撮影したい瞬間よりも遅れて全押しされた場合でも、決定的瞬間を逃がさず撮影することができる。   Conventionally, imaging is started in conjunction with the half-pressing operation of the release button, the obtained continuous shot image is recorded in the buffer memory, and from the predetermined image after the continuous shooting is started to the full press timing by fully pressing the release button. There is known a camera that stores the image (see Non-Patent Document 1, for example). By performing such continuous shooting, it is possible to shoot without missing a decisive moment even when the shutter button is fully pressed after the moment of shooting.

[平成19年12月10日検索]インターネット<URL:http://dc.casio.jp/ngdc/features2.html>[Search on December 10, 2007] Internet <URL: http://dc.casio.jp/ngdc/features2.html>

しかしながら、一般に、カメラの電源をオンした直後は、レンズをピントのあった状態にするまでのAF準備動作や露出補正のための準備動作を含む撮影準備動作が完了するまでは、レリーズ操作をしても撮影が許可されない。したがって、電源オン直後の撮影準備動作の完了前においては、レリーズ操作をしても撮影が許可されないので、背景技術で説明したカメラの動作を行うことができず、撮影したい決定的な瞬間を逃してしまうという問題があった。   However, in general, immediately after the camera is turned on, a release operation is performed until a shooting preparation operation including an AF preparation operation until the lens is brought into focus and a preparation operation for exposure correction is completed. Even shooting is not allowed. Therefore, before the completion of the shooting preparation operation immediately after the power is turned on, shooting is not permitted even if the release operation is performed. Therefore, the camera operation described in the background art cannot be performed, and a critical moment to be shot is missed. There was a problem that.

請求項1の発明による撮像装置は、光学系により結像された像を撮像して、全画素の信号に基づく全画素画像データおよび全画素の内の所定画素の信号に基づく間引き画像データのいずれかを選択的に出力可能な撮像素子と、間引き画像データに基づいて光学系の合焦動作を行う焦点調節手段と、間引き画像データに基づいて露出調整動作を行う露出調整手段と、撮像素子と焦点調節手段と露出調整手段に電力を供給する電力供給手段と、ユーザによる操作に応じて、電力供給手段に電力の供給開始を指示する電力供給操作部と、電力供給手段による電力供給開始後における撮像素子の画像データ出力開始から、合焦動作および露出調整動作の少なくとも一方を含む撮影準備動作が完了するまでは、間引き画像データの出力を許可するとともに全画素画像データの出力を禁止し、撮影準備動作の完了後は全画素画像データの出力の禁止を解除して許可するように、撮像素子を制御する撮像制御手段と、間引き画像データの出力開始から撮影準備動作が完了するまでの期間において、撮像素子から出力される間引き画像データを、不揮発性画像データ記憶媒体に記録するために一時的に保存する揮発性記憶手段と、を備えたことを特徴とする。
請求項2の発明による撮像装置は、光学系により結像された像を撮像して、全画素の信号に基づく全画素画像データおよび全画素の内の所定画素の信号に基づく間引き画像データのいずれかを選択的に出力可能な撮像素子と、間引き画像データに基づいて光学系の合焦動作を行う焦点調節手段と、間引き画像データに基づいて露出調整動作を行う露出調整手段と、撮像素子と焦点調節手段と露出調整手段に電力を供給する電力供給手段と、ユーザによる操作に応じて、電力供給手段に電力の供給開始を指示する電力供給操作部と、電力供給手段による電力供給開始後における撮像素子の画像データ出力開始から、合焦動作および露出調整動作の少なくとも一方を含む撮影準備動作が完了するまでは、間引き画像データの出力を許可するとともに全画素画像データの出力を禁止し、撮影準備動作の完了後は全画素画像データの出力の禁止を解除して許可するように、撮像素子を制御する撮像制御手段と、間引き画像データの出力開始から撮影準備動作が完了するまでの期間において、撮像素子から出力される間引き画像データを不揮発性画像データ記憶媒体に記録する記録手段と、を備えたことを特徴とする。
請求項3の発明は、請求項1に記載の撮像装置において、ユーザの操作に応じて、全画素画像データを取得するための撮影指示を行うレリーズ操作部と、撮影準備動作が完了する前にレリーズ操作部の操作が行われた場合に、画像データ出力開始からレリーズ操作部の操作時までの期間に揮発性記憶手段に保存された間引き画像データを、不揮発性画像データ記憶媒体に記録する記録手段と、を備えたものである。
請求項4の発明は、請求項3に記載の撮像装置において、記録手段は、撮影準備動作が完了する前にレリーズ操作部の操作が行われた場合に、画像データ出力開始から、レリーズ操作部の操作時以降の連続する2つの間引き画像データ間の相関値が所定値以内となるまでの期間において揮発性記憶手段が記憶した間引き画像データを、不揮発性画像データ記憶媒体に記録することを特徴とする。
請求項5の発明は、請求項3に記載の撮像装置において、撮像素子により撮像される像のブレ量を検出するブレ量検出手段と、記録手段は、撮影準備動作が完了する前にレリーズ操作部の操作が行われた場合に、画像データ出力開始から、ブレ量検出手段で検出されるブレ量が所定範囲内となるまでの期間において揮発性記憶手段が記憶した間引き画像データを、不揮発性画像データ記憶媒体に記録することを特徴とする。
請求項6の発明は、請求項1または2に記載の撮像装置において、不揮発性記憶媒体への間引き画像データの記録を行う記録モードと、不揮発性記憶媒体への間引き画像データの記録を行わない非記録モードとを選択する選択手段を備えたことを特徴とする。
請求項7の発明は、請求項3に記載の撮像装置において、記録手段は、撮影準備動作が完了する前にレリーズ操作部の操作が行われた場合には、全画素画像データを不揮発性記憶媒体に記録することなく間引き画像データを不揮発性記憶媒体へ記録し、撮影準備動作が完了後にレリーズ操作部の操作が行われた場合には、間引き画像データを不揮発性記憶媒体に記録することなく全画素画像データを不揮発性記憶媒体に記録することを特徴とする。
請求項8の発明は、請求項7に記載の撮像装置において、記録手段が、全画素画像データを不揮発性記憶媒体に記録することなく間引き画像データを不揮発性記憶媒体へ記録したことをユーザに報知する報知手段を更に備えたものである。
The image pickup apparatus according to the first aspect of the invention picks up an image formed by the optical system, and selects any one of all-pixel image data based on signals of all pixels and thinned image data based on signals of predetermined pixels among all pixels. An image sensor capable of selectively outputting the image, a focus adjustment unit that performs an in-focus operation of the optical system based on the thinned image data, an exposure adjustment unit that performs an exposure adjustment operation based on the thinned image data, and an image sensor. A power supply unit that supplies power to the focus adjustment unit and the exposure adjustment unit; a power supply operation unit that instructs the power supply unit to start supplying power in response to an operation by a user; and From the start of image data output of the image sensor to the completion of the shooting preparation operation including at least one of the focusing operation and the exposure adjustment operation, the output of the thinned image data is permitted. Image output control means for controlling the image sensor and start of output of thinned image data so that the output of all pixel image data is prohibited and the prohibition of output of all pixel image data is canceled and permitted after the completion of the shooting preparation operation Volatile storage means for temporarily storing the thinned image data output from the image sensor for recording in a nonvolatile image data storage medium during a period from the image capturing preparation operation to the completion of the image capturing preparation operation. Features.
An image pickup apparatus according to a second aspect of the invention picks up an image formed by an optical system, and selects any one of all pixel image data based on signals of all pixels and thinned image data based on signals of predetermined pixels of all pixels. An image sensor capable of selectively outputting the image, a focus adjustment unit that performs an in-focus operation of the optical system based on the thinned image data, an exposure adjustment unit that performs an exposure adjustment operation based on the thinned image data, and an image sensor. A power supply unit that supplies power to the focus adjustment unit and the exposure adjustment unit; a power supply operation unit that instructs the power supply unit to start supplying power in response to an operation by a user; and From the start of image data output of the image sensor to the completion of the shooting preparation operation including at least one of the focusing operation and the exposure adjustment operation, the output of the thinned image data is permitted. Image output control means for controlling the image sensor and start of output of thinned image data so that the output of all pixel image data is prohibited and the prohibition of output of all pixel image data is canceled and permitted after the completion of the shooting preparation operation And recording means for recording the thinned image data output from the image sensor in a non-volatile image data storage medium during a period from when the imaging preparation operation is completed.
According to a third aspect of the present invention, in the imaging apparatus according to the first aspect, a release operation unit that issues a photographing instruction for acquiring all pixel image data in response to a user operation, and before the photographing preparation operation is completed. Recording in which thinned-out image data stored in the volatile storage means is recorded in a nonvolatile image data storage medium during the period from the start of image data output to the time of operation of the release operation unit when the release operation unit is operated Means.
According to a fourth aspect of the present invention, in the image pickup apparatus according to the third aspect, the recording means starts the release operation unit from the start of image data output when the release operation unit is operated before the photographing preparation operation is completed. The thinned-out image data stored in the volatile storage means in a period until the correlation value between two consecutive thinned-out image data within the predetermined value after the time of the operation is recorded in the nonvolatile image data storage medium. And
According to a fifth aspect of the present invention, in the image pickup apparatus according to the third aspect, the blur amount detecting means for detecting the blur amount of the image picked up by the image sensor and the recording means are arranged so that the release operation is completed before the photographing preparation operation is completed. The thinned-out image data stored in the volatile storage means from the start of image data output until the blur amount detected by the blur amount detection means falls within a predetermined range when the operation of the image data is performed is nonvolatile. It is recorded on an image data storage medium.
According to a sixth aspect of the present invention, in the imaging apparatus according to the first or second aspect, a recording mode for recording thinned image data on a non-volatile storage medium and no thinning image data on a non-volatile storage medium are recorded. A selection means for selecting a non-recording mode is provided.
According to a seventh aspect of the present invention, in the image pickup apparatus according to the third aspect, the recording means stores all pixel image data in a nonvolatile manner when the release operation unit is operated before the photographing preparation operation is completed. If the thinned image data is recorded on the non-volatile storage medium without being recorded on the medium, and the release operation unit is operated after the photographing preparation operation is completed, the thinned image data is not recorded on the non-volatile storage medium. All pixel image data is recorded on a nonvolatile storage medium.
According to an eighth aspect of the present invention, in the imaging apparatus according to the seventh aspect, the recording means records to the user that the thinned-out image data is recorded on the non-volatile storage medium without recording all the pixel image data on the non-volatile storage medium. The information processing device further includes notification means for notification.

本発明によれば、撮影準備動作が完了するまでの期間において、従来のように所望の撮影シーンを逃してしまうというような事態が発生するのを、防止することができる。   According to the present invention, it is possible to prevent the occurrence of a situation in which a desired shooting scene is missed as in the prior art until the shooting preparation operation is completed.

以下、図を参照して本発明を実施するための最良の形態について説明する。図1は本発明による撮像装置の一実施の形態を示す図であり、デジタルカメラの概略構成を示すブロック図である。デジタルカメラは、主制御部1、撮影光学系2、レンズ駆動部3、ブレ補正駆動部4、絞り5、絞り駆動部6、撮像素子7、ドライバ8、AFE(Analog Front End)9、タイミングジェネレータ10、メモリカードドライブ装置11、画像処理回路12、ジャイロセンサ13、レリーズボタン14、電源ボタン15、電源16、表示パネル17、表示パネル駆動回路18、不揮発性の内蔵メモリ20、記録設定ボタン23を備えている。   Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an embodiment of an imaging apparatus according to the present invention, and is a block diagram showing a schematic configuration of a digital camera. The digital camera includes a main control unit 1, an imaging optical system 2, a lens driving unit 3, a shake correction driving unit 4, an aperture 5, an aperture driving unit 6, an image sensor 7, a driver 8, an AFE (Analog Front End) 9, and a timing generator. 10, a memory card drive device 11, an image processing circuit 12, a gyro sensor 13, a release button 14, a power button 15, a power supply 16, a display panel 17, a display panel drive circuit 18, a nonvolatile built-in memory 20, and a recording setting button 23. I have.

撮影光学系2を通過した被写体光は、絞り5を介して撮像素子7上に結像される。絞り5は、絞り駆動部6により駆動される。撮影光学系2に設けられたフォーカスレンズをレンズ駆動部3によって駆動することにより、撮影光学系2の焦点調節が行われる。また、撮影光学系2には、手ブレ等による像ブレを補正するブレ補正レンズが設けられている。ブレ補正駆動部4は、ジャイロセンサ13により検出されたカメラの振れ角速度に基づいて、撮像面上における被写体像のブレ低減する方向にブレ補正レンズを駆動する。   The subject light that has passed through the photographing optical system 2 forms an image on the image sensor 7 through the diaphragm 5. The diaphragm 5 is driven by a diaphragm driving unit 6. The focus lens of the photographing optical system 2 is adjusted by driving a focus lens provided in the photographing optical system 2 by the lens driving unit 3. The photographing optical system 2 is provided with a blur correction lens that corrects image blur due to camera shake or the like. Based on the camera shake angular velocity detected by the gyro sensor 13, the shake correction driving unit 4 drives the shake correction lens in a direction to reduce the blur of the subject image on the imaging surface.

撮像素子7にはCCDセンサやCMOSセンサなどのエリアセンサが用いられ、被写体像の明るさに応じた光電変換信号(撮像信号)を出力する。撮像素子7の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられている。撮像素子7がカラーフィルタを通して被写体像を撮像するため、各受光素子から出力される信号は、それぞれRGB表色系の色情報を有する。   An area sensor such as a CCD sensor or a CMOS sensor is used as the image sensor 7 and outputs a photoelectric conversion signal (imaging signal) corresponding to the brightness of the subject image. R (red), G (green), and B (blue) color filters are provided on the imaging surface of the imaging device 7 so as to correspond to the pixel positions, respectively. Since the image sensor 7 captures a subject image through the color filter, the signal output from each light receiving element has color information of the RGB color system.

タイミングジェネレータ10は、主制御部1からの指令に応じてタイミング信号を発生し、ドライバ8およびAFE9にタイミング信号を供給する。ドライバ8は、撮像素子7に電荷を蓄積させ、蓄積電荷を掃き出させるための駆動信号を上記タイミング信号に基づき生成し、生成した駆動信号を撮像素子7へ供給する。なお、ここでは、AFE9とタイミングジェネレータ10とを別構成としたが、AFE9にタイミングジェネレータ10が含まれる構成でも構わない。   The timing generator 10 generates a timing signal in response to a command from the main control unit 1 and supplies the timing signal to the driver 8 and the AFE 9. The driver 8 accumulates charges in the image sensor 7, generates a drive signal for sweeping out the accumulated charges based on the timing signal, and supplies the generated drive signal to the image sensor 7. Here, the AFE 9 and the timing generator 10 are configured separately, but the AFE 9 may include the timing generator 10.

AFE9には、CDS(相関二重サンプリング)回路、AGC(オートゲインコントロール)回路およびADCが設けられており、タイミングジェネレータからのタイミング信号がそれぞれの回路に供給される。CDS回路は画像信号の低周波ノイズ低減処理を行う。AGC回路はゲインを調整することにより撮像信号のレベル調整を行う。アナログ処理された画像信号はADCによりデジタル信号に変換され、画像処理回路12に入力される。撮像素子7は、ライブビュー表示と呼ばれるリアルタイム表示および動画記録用にデータ量を削減するために、全撮像素子のデータから水平または垂直方向に間引かれたデータ、または両方向に間引かれたデータを出力することが可能である。   The AFE 9 is provided with a CDS (correlated double sampling) circuit, an AGC (auto gain control) circuit, and an ADC, and a timing signal from a timing generator is supplied to each circuit. The CDS circuit performs low frequency noise reduction processing of the image signal. The AGC circuit adjusts the level of the imaging signal by adjusting the gain. The analog processed image signal is converted into a digital signal by the ADC and input to the image processing circuit 12. The image sensor 7 is data thinned out in the horizontal or vertical direction from the data of all the image sensors or data thinned out in both directions in order to reduce the amount of data for real-time display called live view display and moving image recording. Can be output.

画像処理回路12は、デジタル信号を処理する回路であって例えばASICとして構成され、AFE9から出力されたデータに対して、ホワイトバランス(WB処理)、階調補正処理、色補正処理、フォーマット変換、圧縮処理等を施す。なお、間引きデータに基づいて画像を生成する場合、アスペクト比の調整は画像処理回路12において行われる。色補正においては、RGB色空間で表現されたカラー情報のYCrCb色空間で表現されたカラー情報への変換も行われる。   The image processing circuit 12 is a circuit that processes a digital signal, and is configured as, for example, an ASIC. For the data output from the AFE 9, white balance (WB processing), gradation correction processing, color correction processing, format conversion, Apply compression processing. When an image is generated based on the thinned data, the aspect ratio is adjusted in the image processing circuit 12. In the color correction, color information expressed in the RGB color space is also converted into color information expressed in the YCrCb color space.

主制御部1はマイクロコンピュータにより構成され、レリーズボタン14や電源ボタン15の操作に連動してオンオフするレリーズスイッチや電源スイッチを含む各種スイッチの状態の検出や、AFE9やレンズ駆動部3等を含む各種周辺回路の制御や、被写体への合焦動作のためのAF演算、被写界に対する適正な露出制御値を得るためのAE演算等の各種演算処理などを行う。主制御部1はROM(不図示)や揮発性記録媒体であるDRAM22を備えており、マイクロコンピュータが所定のプログラムを実行することにより、各種周辺回路を統括的に制御する。DRAM22は、画像処理や画像圧縮処理等の処理途中や処理後のデータを一時的に格納するためのバッファメモリとして用いられる。   The main control unit 1 is constituted by a microcomputer, and includes detection of the state of various switches including a release switch and a power switch that are turned on and off in conjunction with the operation of the release button 14 and the power button 15, and includes the AFE 9 and the lens driving unit 3 Various arithmetic processes such as control of various peripheral circuits, AF calculation for focusing on the subject, and AE calculation for obtaining an appropriate exposure control value for the object scene are performed. The main control unit 1 includes a ROM (not shown) and a DRAM 22 which is a volatile recording medium, and the microcomputer performs overall control of various peripheral circuits by executing predetermined programs. The DRAM 22 is used as a buffer memory for temporarily storing data during and after processing such as image processing and image compression processing.

メモリカードドライブ装置11には、フラッシュメモリ等の不揮発性記録媒体で構成されるメモリカード19が着脱可能に装着される。メモリカードドライブ装置11は、画像処理回路12で画像処理された後の画像データをメモリカード19に書き込む。なお、着脱可能なメモリカード19に画像データを記録する代わりに、内蔵メモリ20に記録させるようにしても良い。   A memory card 19 composed of a nonvolatile recording medium such as a flash memory is detachably attached to the memory card drive device 11. The memory card drive device 11 writes the image data after the image processing by the image processing circuit 12 to the memory card 19. Instead of recording the image data on the removable memory card 19, it may be recorded on the built-in memory 20.

表示パネル17は、画像処理回路12により生成されたライブビュー用の画像を表示したり、メモリカード19に記録された画像データを再生表示したりするモニタである。表示パネル17としては、例えば、LCD(液晶表示素子)や有機エレクトロルミネッセンスなどが用いられる。表示パネル駆動回路18は、画像処理回路12からのデジタル画像信号に基づいて、表示パネル17に画像を表示するための表示データを作成するとともに、メモリカード19から読み出された圧縮画像データから表示データを生成する。その場合、表示パネル17の表示画素数に適合した画像サイズの画像データを生成する。   The display panel 17 is a monitor that displays a live view image generated by the image processing circuit 12 and reproduces and displays image data recorded in the memory card 19. As the display panel 17, for example, an LCD (Liquid Crystal Display Element) or organic electroluminescence is used. The display panel drive circuit 18 creates display data for displaying an image on the display panel 17 based on the digital image signal from the image processing circuit 12 and displays the display data from the compressed image data read from the memory card 19. Generate data. In that case, image data having an image size suitable for the number of display pixels of the display panel 17 is generated.

レリーズボタン14はレリーズスイッチをオン操作するための操作部材である。ユーザがレリーズボタン14を操作してレリーズスイッチをオンすると、主制御部1は、静止画や動画の記録タイミングを設定する。主制御部1は、レリーズスイッチの状態変化を検出することにより、撮像素子7からのデータ取得し、画像処理装置12およびメモリカードドライブ装置11の制御を行って画像データをメモリカード19に記録する。電源ボタン15は、デジタルカメラの起動、停止を行わせるための操作部材である。ユーザが電源ボタン15をオン操作すると、主制御部1は、電源スイッチの状態変化を検出して電源16の制御や周辺回路の制御を行う。   The release button 14 is an operation member for turning on the release switch. When the user operates the release button 14 to turn on the release switch, the main control unit 1 sets the recording timing of a still image or a moving image. The main control unit 1 acquires the data from the image sensor 7 by detecting a change in the state of the release switch, controls the image processing device 12 and the memory card drive device 11, and records the image data in the memory card 19. . The power button 15 is an operation member for starting and stopping the digital camera. When the user turns on the power button 15, the main control unit 1 detects a change in the state of the power switch and controls the power supply 16 and peripheral circuits.

図2、3は本実施の形態における制御を説明する図である。図2は、電源起動からレリーズ操作による撮影処理までの処理動作の一例を示すフローチャートである。図3は、制御シーケンスを示す図である。図2に示すフローチャートで示される一連の処理は、主制御部1で撮影処理プログラムを実行して行われる。この撮影処理プログラムは、不図示のROMまたは内蔵メモリ20に記録されている。なお、各ステップの処理は主制御部1の制御の下で実行されるので、各ステップの説明では、その動作主体である主制御部1の記述を省略して説明する場合もある。   2 and 3 are diagrams for explaining the control in the present embodiment. FIG. 2 is a flowchart illustrating an example of processing operations from power activation to shooting processing by a release operation. FIG. 3 is a diagram showing a control sequence. A series of processing shown in the flowchart shown in FIG. 2 is performed by executing a photographing processing program in the main control unit 1. This photographing processing program is recorded in a ROM (not shown) or the built-in memory 20. In addition, since the process of each step is performed under control of the main control part 1, in the description of each step, description of the main control part 1 which is the operation subject may be omitted.

ユーザが電源ボタン15をオン操作すると、電源スイッチの状態がオフからオンに変化する。主制御部1は、電源スイッチの状態変化を検出し、すなわち、図3に示す信号の立下りを検出し、図2に示す処理をスタートする。ステップS1では、主制御部1は、電源スイッチの状態変化により電源起動要求を検出すると、電源16から撮像素子7やレンズ駆動部3等を含む各種周辺回路へと電力を供給させる。ステップS2では、主制御部1は、撮像データ(間引きデータ)取り込みと画像処理のタイミングを取るための、データ取得の同期タイミングとなったか否かを判定する。ステップS2において、同期タイミングになったと判定されるとステップS3へ進み、主制御部1は、間引きデータの取り込みを開始する。   When the user turns on the power button 15, the state of the power switch changes from off to on. The main control unit 1 detects the state change of the power switch, that is, detects the falling edge of the signal shown in FIG. 3, and starts the processing shown in FIG. In step S <b> 1, when the main control unit 1 detects a power activation request based on a change in the state of the power switch, the main control unit 1 supplies power from the power source 16 to various peripheral circuits including the image sensor 7 and the lens driving unit 3. In step S <b> 2, the main control unit 1 determines whether or not it is a data acquisition synchronization timing for taking the timing of capturing image data (thinned data) and image processing. If it is determined in step S2 that the synchronization timing has come, the process proceeds to step S3, and the main control unit 1 starts taking in the thinned data.

図3の制御シーケンスに示すように、電力供給が開始されると、撮像素子7からはライブビュー表示のための間引きデータ(t11)が出力され、タイミングt11で取り込んだ間引きデータに対して、画像処理回路12は、次の間引きデータ出力タイミングt12と同期したタイミングt21において上述した画像処理を行う。画像処理後の間引き画像データは、表示のためにVRAM21に格納されるとともに、記録のために、バッファメモリとしてのDRAM22に格納される。表示パネル駆動回路18は、画像処理後の画像データ(間引き画像データ)に基づいて、表示パネル17に画像を表示させる。図3の制御シーケンスでは、タイミングt31で間引き画像データによる表示パネル17への画像表示を行うとともに、同じタイミングt41においてDRAM22への間引き画像データの記録が行われる。   As shown in the control sequence of FIG. 3, when power supply is started, the image sensor 7 outputs thinning data (t11) for live view display, and an image is obtained with respect to the thinning data captured at timing t11. The processing circuit 12 performs the above-described image processing at a timing t21 synchronized with the next thinned data output timing t12. The thinned image data after the image processing is stored in the VRAM 21 for display and is stored in the DRAM 22 as a buffer memory for recording. The display panel drive circuit 18 displays an image on the display panel 17 based on the image data after image processing (thinned image data). In the control sequence of FIG. 3, the thinned image data is displayed on the display panel 17 at the timing t31, and the thinned image data is recorded in the DRAM 22 at the same timing t41.

さらに、タイミングt12で出力された間引きデータは、次の間引きデータ出力タイミングt13と同期したタイミングt22において画像処理される。そして、画像処理後の間引き画像データによる表示パネル17への画像表示(t32)、および、間引き画像データのDRAM22への記録(t42)を行う。このような一連の処理が繰り返し実行されることで、ライブビュー表示が行われる。また、後述する撮影準備完了まで、DRAM22への間引き画像データの記録が行われる。   Further, the thinned data output at timing t12 is subjected to image processing at timing t22 synchronized with the next thinned data output timing t13. Then, image display on the display panel 17 using the thinned image data after image processing (t32) and recording of the thinned image data in the DRAM 22 (t42) are performed. Live view display is performed by repeatedly executing such a series of processes. Further, the thinned image data is recorded in the DRAM 22 until completion of photographing preparation described later.

上述した画像処理とは別に、データ出力タイミングt12と同期してAE処理用のデータ取り込みを行い(a1)、その取り込んだデータに基づいて、撮像素子7の出力レベルが所定範囲となるように露出制御値の演算(AE演算)をデータ出力タイミングt13に同期して行う(b1)。そして、算出された露出制御値に基づいて、撮像素子7の蓄積時間、絞り5の絞り値およびISO感度の制御(AE制御)を行う(c1)。このAE制御(c1)は、タイミングt14における4回目の撮像データ出力の立下りで開始され、立ち上がる前(次の撮像データ出力が開始される前)に完了する。   Apart from the above-described image processing, data acquisition for AE processing is performed in synchronization with the data output timing t12 (a1), and exposure is performed so that the output level of the image sensor 7 falls within a predetermined range based on the acquired data. The control value calculation (AE calculation) is performed in synchronization with the data output timing t13 (b1). Based on the calculated exposure control value, the accumulation time of the image sensor 7, the aperture value of the aperture 5 and the ISO sensitivity are controlled (AE control) (c1). This AE control (c1) is started at the falling edge of the fourth imaging data output at timing t14, and is completed before the rising edge (before the next imaging data output is started).

例えば、ダイナミックレンジで200の値をとるデータに対して、値が100になるように制御する場合を考える。この場合、最初が200のときは半分(100)になるようにシャッター秒時を変えて、次に取り込んだときに出力値が100になっていれば良いが、ダイナミックレンジが200なので、最初の出力値200は飽和しているのかどうか分からない。飽和している場合(例えば、実際の値が300である場合)に半分になるように制御すると、次の出力値は150になってしまう。そのため、さらに2回目のAE演算が必要になる。   For example, consider a case where control is performed so that the value becomes 100 for data having a value of 200 in the dynamic range. In this case, when the first is 200, the shutter speed is changed so that it becomes half (100), and the output value should be 100 when the next capture is performed, but since the dynamic range is 200, the first It is not known whether the output value 200 is saturated. When it is controlled to be half when it is saturated (for example, when the actual value is 300), the next output value becomes 150. Therefore, a second AE calculation is required.

このように、電源投入直後は、露出演算の初期値となるべき値がないため、データの取り込み、AE演算、および、そのAE演算結果を反映するためのAE制御の一連の処理を1回行っただけでは、信頼性のある露出制御値を得ることはできない。一般的には、上述した一連の処理を数回繰り返し行う必要がある。このようなAE動作を数回繰り返すことにより、露出制御値が安定して所定範囲内となったならば、全画素データを用いた撮影が可能な状態となる。なお、図3に示す例では、AE動作を(a1)〜(c1)と(a2)〜(c2)の2回行った時点で撮影が可能な状態となる。   In this way, immediately after the power is turned on, there is no value that should be the initial value of the exposure calculation. Therefore, a series of processes of data acquisition, AE calculation, and AE control for reflecting the AE calculation result is performed once. It is not possible to obtain a reliable exposure control value only by merely. Generally, it is necessary to repeat the above-described series of processes several times. By repeating such an AE operation several times, if the exposure control value is stably within a predetermined range, it becomes possible to perform photographing using all pixel data. In the example shown in FIG. 3, shooting is possible when the AE operation is performed twice (a1) to (c1) and (a2) to (c2).

本実施の形態では、このような状態を撮影準備完了状態と称することにし、撮影準備完了状態(タイミングt6)となるまでは全画素データの出力を禁止して間引きデータの出力のみを許可し、撮影準備完了となったならば、全画素データの禁止状態を解除して出力を許可する(t6)。そのため、レリーズスイッチオンによる全画素データを用いた撮影ができるようになる。   In the present embodiment, such a state is referred to as a shooting preparation completion state, and until the shooting preparation completion state (timing t6), the output of all pixel data is prohibited and only the output of thinned data is permitted. When the preparation for photographing is completed, the prohibition state of all pixel data is canceled and output is permitted (t6). Therefore, it becomes possible to perform photographing using all pixel data by turning on the release switch.

図3では、タイミングt5においてレリーズ操作がレリーズスイッチオンとなっている。また、撮影準備完了により、間引き画像データのDRAM22への記録動作は終了する。すなわち、撮影準備完了(t6)前の出力データ(t17)に基づく間引き画像データはDRAM22への記録(バッファリング)が行われるが(t47)、撮影準備完了(t6)後の出力データ(t18)に基づく間引き画像データついては、DRAM22への記録が行われない。なお、撮影準備には、上述した露出に関するものに限らず、AFやフラッシュ発光用のコンデンサの充電、ブレ補正などの準備状態に関するものも含まれる。   In FIG. 3, the release operation is turned on at the timing t5. In addition, the recording operation of the thinned image data in the DRAM 22 ends when the preparation for photographing is completed. That is, the thinned-out image data based on the output data (t17) before shooting preparation completion (t6) is recorded (buffered) in the DRAM 22 (t47), but output data (t18) after shooting preparation completion (t6). The thinned image data based on the above is not recorded in the DRAM 22. Note that the preparation for photographing includes not only the above-described exposure but also the preparation related to the charging of the AF and flash light-emitting capacitors and the blur correction.

なお、本実施の形態における全画素データとは通常の静止画撮影の際のデータを指しており、間引きデータとの対比で全画素という名称を用いているのであって、必ずしも厳密な意味での撮像素子7に含まれる全ての画素を指すわけではない。   Note that all pixel data in this embodiment refers to data at the time of normal still image shooting, and the name of all pixels is used in contrast to thinned data, and is not necessarily in a strict sense. Not all pixels included in the image sensor 7 are indicated.

図2に戻って、ステップS4において、主制御部1は、バッファリングされた間引き画像データのメモリカード19への記録設定が有効になっているか否かを判定する。間引き画像データをメモリカード19に記録するか否かの設定は、ユーザによる記録設定ボタン23の操作により予め行われる。また、表示パネル17にメニュー画面を呼び出して、メニュー画面に基づいて予めユーザが操作部材を操作することにより設定するようにしても良い。   Returning to FIG. 2, in step S <b> 4, the main control unit 1 determines whether or not the recording setting of the buffered thinned image data in the memory card 19 is valid. The setting as to whether or not to record the thinned image data on the memory card 19 is performed in advance by the operation of the recording setting button 23 by the user. Alternatively, the menu screen may be called on the display panel 17 and the user may set the operation member in advance based on the menu screen.

ステップS4で有効と判定されるとステップS5へ進み、間引き画像データのバッファリングの開始、および間引き画像データによる画像の表示パネル17への表示を開始する。間引き画像データのバッファリングとは、主制御部1が間引きデータをDRAM22に保存することを意味する。具体的には、間引き画像データのバッファリングとは、ステップS1の電力供給開始後であってステップS4において有効判定がなされた後から後述撮影準備完了までの期間において、撮像素子7から出力された間引き画像データを主制御部1がDRAM22に保存することを意味する。間引き画像データのバッファリングは、基本的にバッファリングを行う期間の全ての間引きデータを保存することとするが、バッファリングを行う期間の一部の間引き画像データを保存することにしても良い。表示パネル17へ表示するための画像は、バッファリング用の間引き画像データに基づいてパネル表示用画像を生成する。または、記録用とパネル表示用とに分けて画像処理ラインを2つ設けても良い。   If it is determined to be valid in step S4, the process proceeds to step S5 to start buffering of the thinned image data and display of the image on the display panel 17 using the thinned image data. The buffering of the thinned image data means that the main control unit 1 stores the thinned data in the DRAM 22. Specifically, the buffering of the thinned image data is output from the image sensor 7 in the period after the start of power supply in step S1 and after the validity determination is made in step S4 until the completion of shooting preparation described later. This means that the thinned image data is stored in the DRAM 22 by the main control unit 1. In the buffering of the thinned image data, all the thinned data in the buffering period is basically stored, but the thinned image data in a part of the buffering period may be stored. As an image to be displayed on the display panel 17, a panel display image is generated based on the thinned image data for buffering. Alternatively, two image processing lines may be provided separately for recording and panel display.

ステップS6では、主制御部1は、レリーズスイッチがオンか否かを判定する。主制御部1は、レリーズスイッチのオン状態を検出するまでステップS6の処理を繰り返し、レリーズスイッチのオン状態を検出するとステップS7へ進む。ステップS7において、主制御部1は、上述した撮影準備が完了したか否かを判定する。ステップS7で撮影準備完了と判定されるとステップS8へ進み、ステップS5で開始した間引き画像データのDRAM22へのバッファリングを終了し、さらにステップS9に進んで、バッファリングされた間引き画像データをメモリカード19に記録する。その後、ステップS10へ進んで、全画素データに基づく撮影処理を行い、図2に示す一連の処理を終了する。   In step S6, the main control unit 1 determines whether or not the release switch is on. The main control unit 1 repeats the process of step S6 until it detects the on state of the release switch, and proceeds to step S7 when it detects the on state of the release switch. In step S7, the main control unit 1 determines whether or not the above-described shooting preparation is completed. If it is determined in step S7 that shooting preparation is complete, the process proceeds to step S8, the buffering of the thinned image data started in step S5 to the DRAM 22 is terminated, and the process further proceeds to step S9 to store the buffered thinned image data in the memory. Record on the card 19. Thereafter, the process proceeds to step S10, the photographing process based on all pixel data is performed, and the series of processes shown in FIG.

一方、ステップS7で撮影準備が完了していないと判定された場合には、ステップS14に進み、レリーズスイッチのオン操作による全画素データに基づく撮影処理を実行できないことを示す警告表示を、表示パネル17に表示する。   On the other hand, if it is determined in step S7 that the preparation for photographing has not been completed, the process proceeds to step S14, and a warning display indicating that photographing processing based on all pixel data by turning on the release switch cannot be performed is displayed on the display panel. 17 is displayed.

また、予め、間引き画像データを記録しない設定とされていて、ステップS4からステップS11へと進んだ場合には、ステップS11において、主制御部1は、間引き画像データによるライブビュー表示を開始させる。ステップS12では、主制御部1は、レリーズスイッチがオンとなったか否かを判定する。そして、レリーズスイッチオンが検出されるとステップS13へ進み、撮影準備が完了しているか否かを判定する。ステップS13において撮影準備が完了していないと判定されるとステップS15へと進み、撮影準備完了と判定されるとステップS10へ進んで撮影処理を実行する。ステップS10の撮影処理が完了すると、図2の一連の処理が終了する。一方、ステップ13からステップS15へと進んだ場合、主制御部1は、上述したステップS14と同様に、レリーズスイッチのオン操作による全画素データに基づく撮影処理を実行できないことを示す警告表示を、表示パネル17に表示する。   If it is set in advance not to record the thinned image data and the process proceeds from step S4 to step S11, in step S11, the main control unit 1 starts live view display using the thinned image data. In step S12, the main control unit 1 determines whether or not the release switch is turned on. If release switch on is detected, the process proceeds to step S13, where it is determined whether or not preparation for shooting has been completed. If it is determined in step S13 that the preparation for photographing is not completed, the process proceeds to step S15. If it is determined that preparation for photographing is completed, the process proceeds to step S10 to perform the photographing process. When the photographing process in step S10 is completed, the series of processes in FIG. On the other hand, when the process proceeds from step 13 to step S15, the main control unit 1, similarly to step S14 described above, displays a warning display indicating that the photographing process based on all pixel data by turning on the release switch cannot be executed. Displayed on the display panel 17.

上述した図2に示す処理において、記録設定が有効である場合には、カメラ起動後の間引きデータ出力から撮影準備完了までに得られた間引き画像データをDRAM22にバッファリングし、撮影準微意完了前にレリーズスイッチがオンされると、バッファリングされた間引き画像データをメモリカード19に記録するようにした。そのため、従来は、ユーザがレリーズ操作をしても撮影が許可されず撮影シーンを逃していた撮影準備完了前であっても、本実施の形態のカメラではそのようなことを避けることができ、間引き画像データとして記録される。   In the processing shown in FIG. 2 described above, when the recording setting is valid, the thinned image data obtained from the thinning data output after the camera is activated until the completion of the photographing preparation is buffered in the DRAM 22 and before the photographing semi-detail is completed. When the release switch is turned on, the buffered thinned image data is recorded on the memory card 19. Therefore, conventionally, even before the preparation for shooting, where shooting was not permitted even if the user performed a release operation and the shooting scene was missed, such a situation can be avoided in the camera of the present embodiment, Recorded as thinned image data.

(変形例)
図4は、図2に示した処理動作の変形例を示すフローチャートであり、図2のステップS4以降の処理を示したものである。省略されたステップS1〜S3の処理は、図2の場合と全く同じである。また、図4においては、破線で囲んだ部分の処理が図2に示したフローチャートと異なっており、以下では異なる部分を中心に説明する。
(Modification)
FIG. 4 is a flowchart showing a modification of the processing operation shown in FIG. 2, and shows the processing after step S4 in FIG. The omitted steps S1 to S3 are exactly the same as those in FIG. In FIG. 4, the processing of the portion surrounded by the broken line is different from the flowchart shown in FIG. 2, and the following description will focus on the different portion.

ステップS5において、主制御部1は、間引き画像データのバッファリング、および表示パネル17へのライブビュー表示を開始したならば、ステップS106に進んで撮影準備が完了したか否かを判定する。ステップS106で撮影準備完了と判定されるとステップS107へ進み、ステップS5で開始した間引き画像データのDRAM22へのバッファリングを終了し、さらにステップS108へ進んで、DRAM22に記録されている間引き画像データを全て消去する。一方、ステップS106で撮影準備が完了していないと判定された場合には、ステップS107,108をスキップして、ステップS109へと進む。   In step S5, when starting the buffering of the thinned image data and the live view display on the display panel 17, the main control unit 1 proceeds to step S106 and determines whether or not the preparation for photographing is completed. If it is determined in step S106 that the photographing preparation is completed, the process proceeds to step S107, the buffering of the thinned image data started in step S5 to the DRAM 22 is terminated, and the process further proceeds to step S108, where the thinned image data recorded in the DRAM 22 is completed. Are all deleted. On the other hand, if it is determined in step S106 that the preparation for photographing has not been completed, steps S107 and 108 are skipped and the process proceeds to step S109.

ステップS109において、主制御部1は、レリーズスイッチがオンか否かを判定し、レリーズスイッチのオン状態を検出したならばステップS110へと進み、レリーズスイッチがオンでない場合にはステップS106へ戻る。ステップS110では、主制御部1は、撮影準備が完了したか否かを判定する。そして、撮影準備完了と判定した場合にはステップS10へ進んで撮影処理を実行し、撮影準備が完了していないと判定した場合には、ステップS111へ進む。   In step S109, the main control unit 1 determines whether or not the release switch is on. If the release switch is on, the main control unit 1 proceeds to step S110. If the release switch is not on, the main control unit 1 returns to step S106. In step S110, the main control unit 1 determines whether or not the shooting preparation is completed. If it is determined that the preparation for shooting is completed, the process proceeds to step S10 to execute the shooting process. If it is determined that the preparation for shooting is not completed, the process proceeds to step S111.

ステップS111では、DRAM22への記録を開始してからレリーズスイッチ14がオンとなるまでのバッファリングデータ(間引き画像データ)をメモリカード19に記録する。続くステップS112では、主制御部1は、レリーズスイッチのオン操作による全画素データに基づく撮影処理を実行できないことを示す警告表示を、表示パネル17に表示する。ステップS113では、主制御部1は、DRAM22に保存されている間引き画像データに関するバッファリングデータを一旦クリアする。そして、再度、間引き画像データのバッファリングを再開し、ステップS106へ戻る。   In step S111, buffering data (thinned image data) from when recording to the DRAM 22 is started until the release switch 14 is turned on is recorded on the memory card 19. In the subsequent step S112, the main control unit 1 displays a warning display on the display panel 17 indicating that the photographing process based on all the pixel data by turning on the release switch cannot be executed. In step S <b> 113, the main control unit 1 once clears buffering data related to the thinned image data stored in the DRAM 22. Then, buffering of the thinned image data is resumed, and the process returns to step S106.

ステップS113の処理を行うことにより、撮影準備完了までに複数回のレリーズ操作があった場合、2回目以降のレリーズ操作によりメモリカード19に記録される間引き画像データは、ステップS113のバッファリング再開からの間引き画像データとなる。すなわち、2回目以降のレリーズ操作では、ステップS5のバッファリング開始からの全ての間引き画像データをメモリカード19に記録するようにしていないので、間引き画像データを記録するため必要なメモリカード19の記録容量を小さく抑えることができる。   By performing the processing in step S113, if there are a plurality of release operations until the completion of shooting preparation, the thinned-out image data recorded in the memory card 19 by the second and subsequent release operations is started from the restart of buffering in step S113. This is thinned image data. That is, in the second and subsequent release operations, not all of the thinned image data from the start of buffering in step S5 is recorded on the memory card 19, so recording of the memory card 19 necessary for recording the thinned image data is not performed. The capacity can be kept small.

図4に示した変形例では、撮影準備完了までにユーザによるレリーズボタン14の操作が複数回行われた場合、レリーズ操作毎に間引き画像データがメモリカード19に記録されることになる。その場合、各間引き画像データの最終コマに近い部分に、ユーザが撮影しようとしたシーンの画像が含まれることになる。そのため、後で撮影データの整理を行う際に、間引き画像データ中の所望のシーンを容易に探し出すことができる。もちろん、図2に示す処理動作においても、ステップS14の後に、レリーズスイッチオンのタイミングの画像データが、バッファリングされた間引き画像データの何コマ目であるかをメモリカード19に記録するような処理を追加すれば、同様の効果を奏することができる。   In the modification shown in FIG. 4, when the user operates the release button 14 a plurality of times before the preparation for photographing is completed, thinned image data is recorded in the memory card 19 for each release operation. In that case, an image of a scene that the user tried to shoot is included in a portion close to the last frame of each thinned image data. Therefore, a desired scene in the thinned-out image data can be easily found when rearranging the shooting data later. Of course, also in the processing operation shown in FIG. 2, after step S14, the number of frames of the buffered thinned-out image data is recorded in the memory card 19 after the release switch is turned on. If is added, the same effect can be achieved.

上述した図2に示す処理動作では、間引きデータの取り込みを開始してから撮影準備完了まで間引き画像データをバッファリングし、バッファリングされた全ての間引き画像データをメモリカード19に記録した。また、図4に示す処理動作では、バッファリングの範囲は図2の処理動作の場合と同様であるが、メモリカード19に記録する間引き画像データは、バッファリング開始からレリーズスイッチオンまでの範囲であった。   In the processing operation shown in FIG. 2 described above, the thinned image data is buffered from the start of the acquisition of the thinned data to the completion of the shooting preparation, and all the buffered thinned image data is recorded in the memory card 19. In the processing operation shown in FIG. 4, the buffering range is the same as in the processing operation of FIG. 2, but the thinned image data to be recorded on the memory card 19 is in the range from the start of buffering to the release switch on. there were.

しかし、バッファリングの範囲や記録の範囲の決め方はこれらに限らず、次のように設定しても良い。第1の例は、バッファリングは間引きデータ取り込み開始から撮影準備完了まで行い、メモリカード19への記録は、レリーズスイッチオンのタイミングの1コマ、または、レリーズスイッチオンの前後複数コマを記録する。第2の例は、FIFO(First In First Out)方式により常に最新の複数コマ(例:5コマ)のみをバッファリングし、レリーズスイッチがオンされたならば、そのときにバッファリングされている最新の複数コマ、または、前記最新の複数コマに加えてレリーズスイッチオン後の複数コマも記録する。   However, the method of determining the buffering range and the recording range is not limited to these, and may be set as follows. In the first example, buffering is performed from the start of fetching of thinned data to the completion of shooting preparation, and recording to the memory card 19 is performed by recording one frame at the timing when the release switch is turned on or a plurality of frames before and after the release switch is turned on. In the second example, only the latest multiple frames (for example, 5 frames) are always buffered by the FIFO (First In First Out) method, and if the release switch is turned on, the latest buffered at that time Or a plurality of frames after the release switch is turned on in addition to the latest frames.

また、図4に示した例のように、レリーズスイッチオンのタイミングで記録範囲を区切るのではなく、そのときの画像の安定状態も加味して、安定状態を示すパラメータが所定範囲内となって安定状態となるまでを記録範囲としても良い。この場合の画像の安定状態として考えられるものとして、撮影構図の安定が考えられる。安定の判定に用いるパラメータとして、例えば、AE関係では、画面を複数に分割した各エリアの輝度値(Yデータ)や各エリアの色合い(Cb,Crデータ)の変化がある。また、ジャイロセンサ13の検出値に基づく像のブレ量を用いて安定を判定しても良い。   Further, as in the example shown in FIG. 4, the recording range is not divided at the release switch-on timing, and the stable state parameter is within the predetermined range in consideration of the stable state of the image at that time. The recording range may be set until a stable state is reached. As what can be considered as a stable state of the image in this case, the photographing composition can be stable. As parameters used for determination of stability, for example, in the AE relationship, there are changes in the luminance value (Y data) of each area obtained by dividing the screen into a plurality of colors and the hue (Cb, Cr data) of each area. Alternatively, stability may be determined using an image blur amount based on the detection value of the gyro sensor 13.

例えば、分割したエリアの輝度値を用いる場合、連続する2つの間引き画像データに関して、注目するエリア内の輝度値を比較する。撮像対象である被写体が動いたり、撮影時にカメラにブレが生じたりして撮影構図が変化した場合、連続する2つの間引き画像データ間において、エリア内の輝度値に差が生じることがある。その輝度値の差ΔYはエリアによっても異なるが、最も大きな差ΔYが予め定めた基準値以下となったならば安定と判定する。すなわち、DRAM22へのバッファリング開始時から、レリーズスイッチオン後の差ΔYが基準値以下となるまでの期間においてDRAM22に保存された間引き画像データを、メモリカード19に記録する。   For example, when the luminance values of the divided areas are used, the luminance values in the area of interest are compared with respect to two consecutive thinned image data. When the photographic composition changes due to movement of a subject to be imaged or camera shake at the time of shooting, there may be a difference in luminance value in the area between two consecutive thinned image data. The luminance value difference ΔY varies depending on the area, but if the largest difference ΔY is equal to or less than a predetermined reference value, the luminance value is determined to be stable. That is, the thinned image data stored in the DRAM 22 is recorded in the memory card 19 in the period from the start of buffering to the DRAM 22 until the difference ΔY after the release switch is turned on becomes equal to or less than the reference value.

バッファリングされていた間引き画像データをメモリカード19へ記録する場合の記録形態としては、静止画データとして1コマずつ記録し、記録された静止画データの必要なコマ(全体または所定範囲のコマ)をメモリカード19に記録する形態がある。また、間引き画像データを動画データとしてバッファリングし、その動画データ全体をメモリカード19に記録したり、所定コマ範囲のデータを静止画データとして切り出してメモリカード19に記録したりしても良い。   When recording the buffered thinned-out image data to the memory card 19, the recording form is recorded one frame at a time as still image data, and the necessary frames of the recorded still image data (entire or frames in a predetermined range) are recorded. Is recorded on the memory card 19. Further, the thinned image data may be buffered as moving image data, and the entire moving image data may be recorded on the memory card 19, or data in a predetermined frame range may be cut out as still image data and recorded on the memory card 19.

なお、MPEG形式の動画データとしてメモリカード19に記録する場合、上述した安定判定は、MPEGの動きベクトルの大きさに基づいて行う。すなわち、動画データの連続した2つのコマ(フレーム)の間引き画像データについて、コマ間の動きベクトルの大きさを安定判定に用いる。この場合、被写体の動きによる動きベクトルではなく、カメラのブレ等による画面全体の動きを判定するので、例えば、画面全体を複数のエリアに分割し、動きベクトルの大きさが小さいエリアについて考える。そのエリアの動きベクトルの大きさが所定の基準値以下となったならば、画面全体の画像の動き(ブレ)が安定したと判定する。   When recording the moving image data in the MPEG format on the memory card 19, the above-described stability determination is performed based on the magnitude of the MPEG motion vector. That is, for the thinned image data of two consecutive frames (frames) of moving image data, the magnitude of the motion vector between frames is used for stability determination. In this case, since the motion of the entire screen due to camera shake or the like is determined instead of the motion vector due to the motion of the subject, for example, the entire screen is divided into a plurality of areas, and an area with a small motion vector is considered. If the size of the motion vector in the area becomes equal to or smaller than a predetermined reference value, it is determined that the motion (blur) of the image on the entire screen is stable.

なお、上述した実施の形態では静止画撮影を例に説明したが、動画撮影に関しても同様に適用することができる。すなわち、撮影準備完了前の時点から動画データのバッファリングを行い、撮影準備完了前にユーザが動画撮影を開始するための撮影スイッチ(上述したレリーズスイッチに相当)をオンとした場合には、バッファリングされていた動画データもメモリカード19等の不揮発性記録媒体に記録をする。   In the embodiment described above, still image shooting has been described as an example, but the present invention can be similarly applied to moving image shooting. That is, when the moving image data is buffered from the time before completion of shooting preparation, and the user turns on a shooting switch (corresponding to the release switch described above) for starting moving image shooting before completion of shooting preparation, The ringed moving image data is also recorded on a non-volatile recording medium such as the memory card 19.

以上説明したように、本実施の形態による撮像装置では、電源16による電力供給開始後における撮像素子7の画像データ出力開始から、合焦動作および露出調整動作の少なくとも一方を含む撮影準備動作が完了するまでは、間引き画像データの出力を許可するとともに全画素画像データの出力を禁止し、撮影準備動作の完了後は全画素画像データの出力の禁止を解除して許可するように、撮像素子7を制御し、間引き画像データの出力開始から撮影準備動作が完了するまでの期間において、撮像素子7から出力される間引き画像データをDRAM22にバッファリングし、バッファリングされたデータをメモリカード19に記録する用にしたので、画像データ出力開始から撮影準備完了までにレリーズボタン14が操作されても、従来のように、撮影シーンを逃すことがない。
なお、撮像素子7から出力される間引き画像データをDRAM22にバッファリングすることなしに、メモリカード19に記録するようにしても良い。
さらには、撮像素子7による画像データ出力開始から、レリーズ操作部の操作時以降の連続する2つの間引き画像データ間の相関値が所定値以内となるまでの間引き画像データや、ジャイロセンサ13の検出値に基づくブレ量が所定範囲内となるまでの間引き画像データを、メモリカード19に記録することにより、より安定した画像を記録することができる。
また、メモリカード19へ間引き画像データの記録を行う設定と、記録を行わない設定とを記録設定ボタン23の操作により切り替えられるようにすることで、記録が必要ないときに間引き画像データがメモリカード19に記録されてしまうのを防止できる。
さらにまた、レリーズ操作したときに、全画素画像データではなく間引き画像データがメモリカード19に記録された場合に、警告を表示パネル17に表示してそのことをユーザに報知することで、ユーザはメモリカード19に全画素画像データではなく間引き画像データが記録されたことを容易に認識することができる。
As described above, in the imaging apparatus according to the present embodiment, the imaging preparation operation including at least one of the focusing operation and the exposure adjustment operation is completed from the start of image data output of the imaging element 7 after the power supply by the power supply 16 is started. Until then, the output of the thinned-out image data is permitted and the output of all the pixel image data is prohibited, and after the completion of the shooting preparation operation, the prohibition of the output of all the pixel image data is canceled and permitted. In the period from the start of the output of the thinned image data to the completion of the shooting preparation operation, the thinned image data output from the image sensor 7 is buffered in the DRAM 22, and the buffered data is recorded in the memory card 19. Therefore, even if the release button 14 is operated from the start of image data output to the completion of shooting preparation, To, I never miss a shooting scene.
The thinned image data output from the image sensor 7 may be recorded in the memory card 19 without being buffered in the DRAM 22.
Furthermore, after the start of image data output by the image sensor 7, the thinned image data or the gyro sensor 13 is detected until the correlation value between two consecutive thinned image data after the release operation unit is operated is within a predetermined value. By recording the thinned image data on the memory card 19 until the blur amount based on the value falls within the predetermined range, a more stable image can be recorded.
In addition, by switching the setting for recording the thinned image data to the memory card 19 and the setting for not recording by the operation of the recording setting button 23, the thinned image data is stored in the memory card when recording is not necessary. 19 can be prevented from being recorded.
Furthermore, when thinned-out image data is recorded in the memory card 19 when the release operation is performed, a warning is displayed on the display panel 17 to notify the user of the warning, so that the user can It can be easily recognized that not all pixel image data but thinned image data is recorded in the memory card 19.

なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。   In addition, the above description is an example to the last, and this invention is not limited to the said embodiment at all unless the characteristic of this invention is impaired.

本発明による撮像装置の一実施の形態を示す図であり、デジタルカメラの概略構成を示すブロック図である。1 is a diagram illustrating an embodiment of an imaging apparatus according to the present invention, and is a block diagram illustrating a schematic configuration of a digital camera. 電源起動からレリーズ操作による撮影処理までの処理動作の一例を示すフローチャートである。It is a flowchart which shows an example of the processing operation from a power activation to the imaging | photography process by release operation. 制御シーケンスを示す図である。It is a figure which shows a control sequence. 処理動作の変形例を示すフローチャートである。It is a flowchart which shows the modification of processing operation.

符号の説明Explanation of symbols

1:主制御部、2:撮影光学系、3:レンズ駆動部、4:ブレ補正駆動部、5:絞り、6:絞り駆動部、7:撮像素子、8:ドライバ、9:AFE(Analog Front End)、10:タイミングジェネレータ、11:メモリカードドライブ装置、12:画像処理回路、13:ジャイロセンサ、14:レリーズボタン、15:電源ボタン、16:電源、17:表示パネル、18:表示パネル駆動回路、19:メモリカード、20:内蔵メモリ、21:VRAM、22:DRAM、23:記録設定ボタン   1: main control unit, 2: photographing optical system, 3: lens driving unit, 4: blur correction driving unit, 5: aperture, 6: aperture driving unit, 7: image sensor, 8: driver, 9: AFE (Analog Front End), 10: Timing generator, 11: Memory card drive device, 12: Image processing circuit, 13: Gyro sensor, 14: Release button, 15: Power button, 16: Power supply, 17: Display panel, 18: Display panel drive Circuit: 19: Memory card, 20: Built-in memory, 21: VRAM, 22: DRAM, 23: Record setting button

Claims (8)

光学系により結像された像を撮像して、全画素の信号に基づく全画素画像データおよび全画素の内の所定画素の信号に基づく間引き画像データのいずれかを選択的に出力可能な撮像素子と、
前記間引き画像データに基づいて前記光学系の合焦動作を行う焦点調節手段と、
前記間引き画像データに基づいて露出調整動作を行う露出調整手段と、
前記撮像素子と前記焦点調節手段と前記露出調整手段に電力を供給する電力供給手段と、
ユーザによる操作に応じて、前記電力供給手段に電力の供給開始を指示する電力供給操作部と、
前記電力供給手段による電力供給開始後における前記撮像素子の画像データ出力開始から、前記合焦動作および前記露出調整動作の少なくとも一方を含む撮影準備動作が完了するまでは、前記間引き画像データの出力を許可するとともに前記全画素画像データの出力を禁止し、前記撮影準備動作の完了後は前記全画素画像データの出力の禁止を解除して許可するように、前記撮像素子を制御する撮像制御手段と、
前記間引き画像データの出力開始から前記撮影準備動作が完了するまでの期間において、前記撮像素子から出力される前記間引き画像データを、不揮発性画像データ記憶媒体に記録するために一時的に保存する揮発性記憶手段と、を備えたことを特徴とする撮像装置。
An image sensor that captures an image formed by an optical system and can selectively output either all pixel image data based on signals of all pixels or thinned image data based on signals of predetermined pixels among all pixels When,
A focus adjusting means for performing a focusing operation of the optical system based on the thinned image data;
Exposure adjustment means for performing an exposure adjustment operation based on the thinned image data;
Power supply means for supplying power to the image sensor, the focus adjustment means, and the exposure adjustment means;
A power supply operation unit that instructs the power supply means to start supplying power in response to an operation by a user;
From the start of image data output of the image sensor after the start of power supply by the power supply means, until the shooting preparation operation including at least one of the focusing operation and the exposure adjustment operation is completed, the thinned image data is output. Imaging control means for controlling the imaging element to permit and prohibit the output of the all-pixel image data, and to cancel and permit the output of the all-pixel image data after the completion of the shooting preparation operation; ,
During the period from the start of output of the thinned image data to the completion of the shooting preparation operation, the thinned image data output from the image sensor is temporarily stored for recording in a nonvolatile image data storage medium. And an image storage device.
光学系により結像された像を撮像して、全画素の信号に基づく全画素画像データおよび全画素の内の所定画素の信号に基づく間引き画像データのいずれかを選択的に出力可能な撮像素子と、
前記間引き画像データに基づいて前記光学系の合焦動作を行う焦点調節手段と、
前記間引き画像データに基づいて露出調整動作を行う露出調整手段と、
前記撮像素子と前記焦点調節手段と前記露出調整手段に電力を供給する電力供給手段と、
ユーザによる操作に応じて、前記電力供給手段に電力の供給開始を指示する電力供給操作部と、
前記電力供給手段による電力供給開始後における前記撮像素子の画像データ出力開始から、前記合焦動作および前記露出調整動作の少なくとも一方を含む撮影準備動作が完了するまでは、前記間引き画像データの出力を許可するとともに前記全画素画像データの出力を禁止し、前記撮影準備動作の完了後は前記全画素画像データの出力の禁止を解除して許可するように、前記撮像素子を制御する撮像制御手段と、
前記間引き画像データの出力開始から前記撮影準備動作が完了するまでの期間において、前記撮像素子から出力される前記間引き画像データを不揮発性画像データ記憶媒体に記録する記録手段と、を備えたことを特徴とする撮像装置。
An image sensor that captures an image formed by an optical system and can selectively output either all pixel image data based on signals of all pixels or thinned image data based on signals of predetermined pixels among all pixels When,
A focus adjusting means for performing a focusing operation of the optical system based on the thinned image data;
Exposure adjustment means for performing an exposure adjustment operation based on the thinned image data;
Power supply means for supplying power to the image sensor, the focus adjustment means, and the exposure adjustment means;
A power supply operation unit that instructs the power supply means to start supplying power in response to an operation by a user;
From the start of image data output of the image sensor after the start of power supply by the power supply means, until the shooting preparation operation including at least one of the focusing operation and the exposure adjustment operation is completed, the thinned image data is output. Imaging control means for controlling the imaging element to permit and prohibit the output of the all-pixel image data, and to cancel and permit the output of the all-pixel image data after the completion of the shooting preparation operation; ,
Recording means for recording the thinned image data output from the image sensor in a nonvolatile image data storage medium in a period from the start of outputting the thinned image data to the completion of the shooting preparation operation. An imaging device that is characterized.
請求項1に記載の撮像装置において、
ユーザの操作に応じて、前記全画素画像データを取得するための撮影指示を行うレリーズ操作部と、
前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合に、前記画像データ出力開始から前記レリーズ操作部の操作時までの期間に前記揮発性記憶手段に保存された前記間引き画像データを、前記不揮発性画像データ記憶媒体に記録する記録手段と、を備えたことを特徴とする撮像装置。
The imaging apparatus according to claim 1,
A release operation unit that issues a shooting instruction to acquire the all-pixel image data in accordance with a user operation;
If the release operation unit is operated before the shooting preparation operation is completed, the thinning stored in the volatile storage unit during a period from the start of image data output to the operation of the release operation unit is performed. An image pickup apparatus comprising: a recording unit that records image data in the nonvolatile image data storage medium.
請求項3に記載の撮像装置において、
前記記録手段は、前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合に、前記画像データ出力開始から、前記レリーズ操作部の操作時以降の連続する2つの間引き画像データ間の相関値が所定値以内となるまでの期間において前記揮発性記憶手段が記憶した前記間引き画像データを、前記不揮発性画像データ記憶媒体に記録することを特徴とする撮像装置。
The imaging device according to claim 3.
When the release operation unit is operated before the shooting preparation operation is completed, the recording unit performs two consecutive thinned-out image data from the start of the image data output to the time when the release operation unit is operated. An image pickup apparatus, wherein the thinned image data stored in the volatile storage means is recorded in the nonvolatile image data storage medium until a correlation value between the values becomes within a predetermined value.
請求項3に記載の撮像装置において、
前記撮像素子により撮像される像のブレ量を検出するブレ量検出手段と、
前記記録手段は、前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合に、前記画像データ出力開始から、前記ブレ量検出手段で検出される前記ブレ量が所定範囲内となるまでの期間において前記揮発性記憶手段が記憶した前記間引き画像データを、前記不揮発性画像データ記憶媒体に記録することを特徴とする撮像装置。
The imaging device according to claim 3.
A blur amount detecting means for detecting a blur amount of an image captured by the image sensor;
When the release operation unit is operated before the photographing preparation operation is completed, the recording unit detects that the amount of blur detected by the blur amount detecting unit is within a predetermined range from the start of image data output. An image pickup apparatus, wherein the thinned image data stored in the volatile storage unit is recorded in the non-volatile image data storage medium during a period up to.
請求項1または2に記載の撮像装置において、
前記不揮発性記憶媒体への前記間引き画像データの記録を行う記録モードと、前記不揮発性記憶媒体への前記間引き画像データの記録を行わない非記録モードとを選択する選択手段を備えたことを特徴とする撮像装置。
The imaging device according to claim 1 or 2,
And a selection unit that selects a recording mode in which the thinned image data is recorded in the nonvolatile storage medium and a non-recording mode in which the thinned image data is not recorded in the nonvolatile storage medium. An imaging device.
請求項3に記載の撮像装置において、
前記記録手段は、前記撮影準備動作が完了する前に前記レリーズ操作部の操作が行われた場合には、前記全画素画像データを前記不揮発性記憶媒体に記録することなく前記間引き画像データを前記不揮発性記憶媒体へ記録し、前記撮影準備動作が完了後に前記レリーズ操作部の操作が行われた場合には、前記間引き画像データを前記不揮発性記憶媒体に記録することなく前記全画素画像データを前記不揮発性記憶媒体に記録することを特徴とする撮像装置。
The imaging device according to claim 3.
When the release operation unit is operated before the photographing preparation operation is completed, the recording unit stores the thinned image data without recording the all-pixel image data on the nonvolatile storage medium. When the release operation unit is operated after recording to the nonvolatile storage medium and the photographing preparation operation is completed, the all-pixel image data is recorded without recording the thinned image data on the nonvolatile storage medium. An image pickup apparatus that records in the nonvolatile storage medium.
請求項7に記載の撮像装置において、
前記記録手段が、前記全画素画像データを前記不揮発性記憶媒体に記録することなく前記間引き画像データを前記不揮発性記憶媒体へ記録したことをユーザに報知する報知手段を更に備えたことを特徴とする撮像装置。
The imaging apparatus according to claim 7,
The recording means further comprises notification means for notifying a user that the thinned-out image data has been recorded in the nonvolatile storage medium without recording the all-pixel image data in the nonvolatile storage medium. An imaging device.
JP2008032058A 2008-02-13 2008-02-13 Imaging device Expired - Fee Related JP5115230B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008032058A JP5115230B2 (en) 2008-02-13 2008-02-13 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008032058A JP5115230B2 (en) 2008-02-13 2008-02-13 Imaging device

Publications (2)

Publication Number Publication Date
JP2009194548A true JP2009194548A (en) 2009-08-27
JP5115230B2 JP5115230B2 (en) 2013-01-09

Family

ID=41076194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008032058A Expired - Fee Related JP5115230B2 (en) 2008-02-13 2008-02-13 Imaging device

Country Status (1)

Country Link
JP (1) JP5115230B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221148A (en) * 2010-04-06 2011-11-04 Hoya Corp Camera

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027326A (en) * 2000-07-05 2002-01-25 Minolta Co Ltd Digital camera
JP2002158901A (en) * 2000-11-17 2002-05-31 Olympus Optical Co Ltd Electronic camera
JP2003116143A (en) * 2001-10-03 2003-04-18 Sony Corp Image pickup device and image quality correction method
JP2003158670A (en) * 2001-11-22 2003-05-30 Fuji Photo Film Co Ltd Electronic camera and signal processing method
JP2006140892A (en) * 2004-11-15 2006-06-01 Konica Minolta Photo Imaging Inc Electronic still camera
JP2006180471A (en) * 2004-11-25 2006-07-06 Casio Comput Co Ltd Camera, photographed image selection/recording method and program
JP2007072254A (en) * 2005-09-08 2007-03-22 Casio Comput Co Ltd Imaging apparatus and its program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027326A (en) * 2000-07-05 2002-01-25 Minolta Co Ltd Digital camera
JP2002158901A (en) * 2000-11-17 2002-05-31 Olympus Optical Co Ltd Electronic camera
JP2003116143A (en) * 2001-10-03 2003-04-18 Sony Corp Image pickup device and image quality correction method
JP2003158670A (en) * 2001-11-22 2003-05-30 Fuji Photo Film Co Ltd Electronic camera and signal processing method
JP2006140892A (en) * 2004-11-15 2006-06-01 Konica Minolta Photo Imaging Inc Electronic still camera
JP2006180471A (en) * 2004-11-25 2006-07-06 Casio Comput Co Ltd Camera, photographed image selection/recording method and program
JP2007072254A (en) * 2005-09-08 2007-03-22 Casio Comput Co Ltd Imaging apparatus and its program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221148A (en) * 2010-04-06 2011-11-04 Hoya Corp Camera

Also Published As

Publication number Publication date
JP5115230B2 (en) 2013-01-09

Similar Documents

Publication Publication Date Title
JP4919160B2 (en) Imaging apparatus and program thereof
JP5144481B2 (en) Imaging apparatus and imaging method
JP2013013050A (en) Imaging apparatus and display method using imaging apparatus
US20110109771A1 (en) Image capturing appratus and image capturing method
JP2011049822A (en) Display controller and display control program
TWI492618B (en) Image pickup device and computer readable recording medium
JP2010093679A (en) Imaging apparatus, and imaging control method
WO2008023765A1 (en) Digital camera
JP2011135209A (en) Imaging apparatus, and control program for the same
JP4865648B2 (en) Imaging device
JP6758950B2 (en) Imaging device, its control method and program
JP2010193324A (en) Camera apparatus, photographing method thereof and program
JP2006253887A (en) Imaging apparatus
JP2008079222A (en) Digital camera
JP5115230B2 (en) Imaging device
JP4522232B2 (en) Imaging device
JP2011130031A (en) Imaging apparatus, and control method for the same
JP2006262221A (en) Imaging apparatus and image processing method
JP6521034B2 (en) Imaging device
JP2006157342A (en) Imaging apparatus
JP5144469B2 (en) Imaging apparatus and control method thereof
JP2008283477A (en) Image processor, and image processing method
JP2007316471A (en) Imaging apparatus and program therefore
US20130194456A1 (en) Imaging device
US11736658B2 (en) Image pickup apparatus, image pickup method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5115230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees