JP2012039570A - Imaging device and image processing program - Google Patents

Imaging device and image processing program Download PDF

Info

Publication number
JP2012039570A
JP2012039570A JP2010180493A JP2010180493A JP2012039570A JP 2012039570 A JP2012039570 A JP 2012039570A JP 2010180493 A JP2010180493 A JP 2010180493A JP 2010180493 A JP2010180493 A JP 2010180493A JP 2012039570 A JP2012039570 A JP 2012039570A
Authority
JP
Japan
Prior art keywords
instruction
image data
image
focus adjustment
exposure control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010180493A
Other languages
Japanese (ja)
Other versions
JP5633239B2 (en
Inventor
Koichi Sakamoto
浩一 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2010180493A priority Critical patent/JP5633239B2/en
Publication of JP2012039570A publication Critical patent/JP2012039570A/en
Application granted granted Critical
Publication of JP5633239B2 publication Critical patent/JP5633239B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To accurately perform screening of images even if a recording instruction of a photographic image is performed immediately after a photographing preparation operation instruction in an imaging device having an image screening function.SOLUTION: An imaging device comprises: an imaging unit 12 that images light from an object; a recording unit 18 that according to an input of a first instruction for instructing a photographing preparation operation including a focus adjustment operation or an exposure control operation by the imaging unit, starts the photographing preparation operation and a photographing operation by the imaging unit, and when a second instruction for performing a recording instruction of a photographic image is input, records plural image data acquired by the imaging unit before and after the input of the second instruction; an image screening unit 10 that screens the images in the descending order of evaluation values calculated for the respective plural image data; and an evaluation value control unit 10 that when the time difference between the first instruction and the second instruction is within a predetermined time, among the plural image data recorded on the recording unit, reduces the evaluation values of the plural image data acquired in a period until a focus adjustment state becomes a predetermined focus adjustment state by the focus adjustment operation or an exposure control state becomes a predetermined exposure control state by the exposure control operation.

Description

本発明は、画像選別機能を有する撮像装置及び画像処理プログラムに関するものである。   The present invention relates to an imaging apparatus having an image selection function and an image processing program.

従来、撮影者が望む画像を確実に取得できるように、撮影準備の開始を指示するファーストレリーズによる合焦が終了すると、撮影を指示するセカンドレリーズの有無にかかわらず画像の記録を開始し、セカンドレリーズが行なわれたときに、このセカンドレリーズに対応する画像を基準画像として、基準画像の前に撮影された所定枚数の画像及び基準画像の後に撮影された所定枚数の画像をメモリカードに記録する電子カメラが存在する(例えば、特許文献1参照)。   Conventionally, in order to ensure that the photographer wants to obtain the desired image, when focusing with the first release that instructs the start of shooting preparation is completed, image recording is started regardless of the presence of the second release that instructs shooting. When a release is performed, an image corresponding to the second release is used as a reference image, and a predetermined number of images taken before the reference image and a predetermined number of images taken after the reference image are recorded on the memory card. There is an electronic camera (see, for example, Patent Document 1).

特開2001−313865号公報JP 2001-313865 A

しかしながら、上述の電子カメラにおいて、ファーストレリーズとセカンドレリーズが略同時に行なわれる、いわゆるレリーズボタンの一気押しが行なわれた場合、撮影指示前の画像は記録されておらず、また撮影指示の直後の画像は自動焦点調節による合焦が完了していない段階撮影された画像であり最適な画像として選出される可能性は低い。   However, in the above-mentioned electronic camera, when the first release and the second release are performed substantially simultaneously, that is, when the so-called release button is pressed at once, the image before the shooting instruction is not recorded, and the image immediately after the shooting instruction is recorded. Is an image captured in a stage where focusing by automatic focus adjustment has not been completed, and is not likely to be selected as an optimal image.

本発明の目的は、画像選別機能を有する撮像装置において撮影準備動作の指示の直後に撮影画像の記録指示が行なわれた場合においても精度良く画像の選別を行うことができる撮像装置及び画像処理プログラムを提供することである。   An object of the present invention is to provide an image pickup apparatus and an image processing program capable of accurately selecting an image even when an instruction to record a shot image is given immediately after an instruction for a shooting preparation operation in an image pickup apparatus having an image selection function. Is to provide.

本発明は以下のような解決手段により上記課題を解決する。なお、理解を容易にするために、本発明の実施の形態に対応する符号を付して説明するが、本発明はこれに限定されるものではない。   The present invention solves the above problems by the following means. In addition, in order to make an understanding easy, it attaches | subjects and demonstrates the code | symbol corresponding to embodiment of this invention, but this invention is not limited to this.

本発明の撮像装置(2)は、被写体からの光を撮像する撮像部(12)と、前記撮像部による焦点調節動作または露出制御動作を含む撮影準備動作を指示する第1指示の入力に応じて、前記撮影準備動作と前記撮像部による撮影動作を開始し、撮影画像の記録指示を行う第2指示が入力された場合に、前記第2指示の入力前後において前記撮像部で取得された複数の画像データを記録する記録部(18)と、前記複数の画像データごとに算出された評価値の高い順に画像を選別する画像選別部(10)と、前記第1指示と前記第2指示との時間差が所定時間以内である場合に、前記記録部に記録されている前記複数の画像データの中で、前記焦点調節動作によって所定の焦点調節状態または前記露出制御動作によって所定の露出制御状態になるまでの期間に取得された前記複数の画像データの前記評価値を小さくする評価値制御部(10)とを備えることを特徴とする。   The imaging device (2) according to the present invention responds to an input of a first instruction that instructs an imaging preparation operation including a focus adjustment operation or an exposure control operation by the imaging unit, and an imaging unit (12) that images light from a subject. When the second instruction for starting the photographing preparation operation and the photographing operation by the imaging unit and inputting a recording image recording instruction is input, the plurality of images acquired by the imaging unit before and after the second instruction is input. A recording unit (18) that records the image data, an image sorting unit (10) that sorts images in descending order of evaluation values calculated for each of the plurality of image data, the first instruction, and the second instruction Among the plurality of image data recorded in the recording unit, the focus adjustment operation causes the focus adjustment state or the exposure control operation causes the exposure control state to reach a predetermined exposure control state. Na It characterized in that it comprises evaluation value control unit to reduce the evaluation value of the acquired plurality of image data in the period leading up to the (10).

また、本発明の画像処理プログラムは、撮像部による焦点調節動作または露出制御動作を含む撮影準備動作を指示する第1指示の入力に応じて前記撮影準備動作と前記撮像部による撮影動作を開始し、撮影画像の記録指示を行う第2指示が入力された場合に、前記第2指示の入力前後において前記撮像部で取得された複数の画像データを記録し、記録された前記複数の画像データの選別を行う撮像装置に適用される画像処理プログラムであって、前記複数の画像データごとに画像を選別するための評価値を算出する評価値算出ステップと、前記第1指示と前記第2指示との時間差が所定時間以内である場合に、前記複数の画像データの中で、前記焦点調節動作によって所定の焦点調節状態または前記露出制御動作によって所定の露出制御状態になるまでの期間に取得された前記複数の画像データの前記評価値を小さくする評価値制御ステップと、前記複数の画像データの中から前記評価値が高い順に画像を選別する画像選別ステップと、を含むことを特徴とする。   The image processing program of the present invention starts the shooting preparation operation and the shooting operation by the imaging unit in response to an input of a first instruction that instructs a shooting preparation operation including a focus adjustment operation or an exposure control operation by the imaging unit. When a second instruction for instructing recording of a captured image is input, a plurality of image data acquired by the imaging unit are recorded before and after the input of the second instruction, and the plurality of recorded image data An image processing program applied to an imaging device that performs sorting, an evaluation value calculating step for calculating an evaluation value for selecting an image for each of the plurality of image data, the first instruction, and the second instruction When the time difference is within a predetermined time, among the plurality of image data, a predetermined focus adjustment state by the focus adjustment operation or a predetermined exposure control state by the exposure control operation An evaluation value control step of reducing the evaluation value of the plurality of image data acquired in a period until the image selection step, and an image selection step of selecting an image from the plurality of image data in descending order of the evaluation value. It is characterized by including.

また、本発明の画像処理プログラムは、撮像部による焦点調節動作または露出制御動作を含む撮影準備動作を指示する第1指示の入力に応じて前記撮影準備動作と前記撮像部による撮影動作を開始し、撮影画像の記録指示を行う第2指示の入力前後において前記撮像部で取得され記録された複数の画像データの選別を行う画像処理装置に適用される画像処理プログラムであって、前記複数の画像データごとに付加されている前記複数の画像を選別するための評価値及び前記第1指示と前記第2指示との時間差が所定時間以内である場合に、前記複数の画像データの中で、前記焦点調節動作によって所定の焦点調節状態または前記露出制御動作によって所定の露出制御状態になるまでの期間に取得された前記複数の画像データの前記評価値を小さくする補正係数に基づいて、前記複数の画像データの中から前記評価値が高い順に画像を選別する画像選別ステップを含むことを特徴とする。   The image processing program of the present invention starts the shooting preparation operation and the shooting operation by the imaging unit in response to an input of a first instruction that instructs a shooting preparation operation including a focus adjustment operation or an exposure control operation by the imaging unit. An image processing program applied to an image processing apparatus for selecting a plurality of image data acquired and recorded by the imaging unit before and after inputting a second instruction for instructing recording of a captured image, wherein the plurality of images When the evaluation value for selecting the plurality of images added for each data and the time difference between the first instruction and the second instruction are within a predetermined time, among the plurality of image data, The evaluation values of the plurality of image data acquired in a period until a predetermined focus adjustment state by the focus adjustment operation or a predetermined exposure control state by the exposure control operation are reduced. Based on Kusuru correction coefficient, characterized in that it comprises an image selection step of selecting an image in the order the evaluation value is higher among the plurality of image data.

本発明によれば、画像選別機能を有する撮像装置において撮影準備動作の指示の直後に撮影画像の記録指示が行なわれた場合においても精度良く画像の選別を行うことができる。   According to the present invention, it is possible to select an image with high accuracy even when an instruction to record a shot image is issued immediately after an instruction for a shooting preparation operation in an imaging apparatus having an image selection function.

実施の形態に係る電子カメラのシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of the electronic camera which concerns on embodiment. 実施の形態に係る取得画像と評価値の関係を示す図である。It is a figure which shows the relationship between the acquired image and evaluation value which concern on embodiment. 実施の形態に係るレリーズボタンの一気押しがされた場合のAE,AFの完了時期を示す図である。It is a figure which shows the completion time of AE and AF when the release button which concerns on embodiment is pressed at once. 実施の形態に係る取得画像の評価値に対する補正係数を示す図である。It is a figure which shows the correction coefficient with respect to the evaluation value of the acquired image which concerns on embodiment. 実施の形態に係る取得画像の評価値に対する補正係数を示す図である。It is a figure which shows the correction coefficient with respect to the evaluation value of the acquired image which concerns on embodiment.

以下、図面を参照して、本発明の実施の形態に係る撮像装置としての電子カメラについて説明する。図1は実施の形態に係る電子カメラ2のシステム構成を示すブロック図である。図1に示すように、電子カメラ2は、マイクロプロセッサ等により構成され電子カメラ2の各部を統括的に制御する制御部10を備えている。制御部10には、撮像素子12、LCD表示部14、バッファメモリ16、プログラムメモリ17、メモリカード18及び操作部20が接続されている。   Hereinafter, an electronic camera as an imaging apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a system configuration of an electronic camera 2 according to the embodiment. As shown in FIG. 1, the electronic camera 2 includes a control unit 10 that is configured by a microprocessor or the like and controls each part of the electronic camera 2 in an integrated manner. An imaging device 12, LCD display unit 14, buffer memory 16, program memory 17, memory card 18, and operation unit 20 are connected to the control unit 10.

撮像素子12は、CMOSイメージセンサ等により構成され、撮影レンズ(図示せず)を介した被写体からの光を撮像し、制御部10に対して撮像信号を出力する。またCMOSイメージセンサには瞳分割位相差方式による焦点検出画素が組み込まれており、制御部10に対して焦点検出信号を出力する。   The image sensor 12 is configured by a CMOS image sensor or the like, images light from a subject via a photographing lens (not shown), and outputs an image signal to the control unit 10. The CMOS image sensor incorporates a focus detection pixel based on a pupil division phase difference method, and outputs a focus detection signal to the control unit 10.

LCD表示部14は、電子カメラ2の背面部に配置され、撮像素子12からの撮像信号に基づくスルー画像等を表示する。バッファメモリ16は、撮像素子12から出力された撮像信号に基づく複数フレームの画像データを一時的に記録する。プログラムメモリ17は、制御部10が電子カメラ2の各部を統括的に制御し、撮像処理、再生処理、画像選別処理などの各処理を実施するためのプログラムを記憶する。メモリカード18は、電子カメラ2に設けられたカードスロット(図示せず)に着脱可能に装着される可搬性を有する記憶媒体であり、例えば、CFカード、SDカード、スマートメディア等が用いられる。   The LCD display unit 14 is disposed on the back side of the electronic camera 2 and displays a through image or the like based on the imaging signal from the imaging device 12. The buffer memory 16 temporarily records a plurality of frames of image data based on the imaging signal output from the imaging device 12. The program memory 17 stores a program for the control unit 10 to comprehensively control each unit of the electronic camera 2 and to perform each process such as an imaging process, a reproduction process, and an image selection process. The memory card 18 is a portable storage medium that is detachably attached to a card slot (not shown) provided in the electronic camera 2. For example, a CF card, an SD card, smart media, or the like is used.

操作部20は、電子カメラ2の電源をオン/オフする電源スイッチSW1、レリーズボタン(図示せず)を半押し位置まで押下することによりオンする半押しスイッチSW2、レリーズボタンの全押しによりオンする全押しスイッチSW3を備えている。   The operation unit 20 is turned on by fully pressing the release button, a power switch SW1 that turns on / off the power of the electronic camera 2, a half-press switch SW2 that is turned on by pressing a release button (not shown) to a half-pressed position. A full push switch SW3 is provided.

次に、図2を参照して、電子カメラ2の画像選別機能を用いた画像の選択処理について説明する。まず、操作部20の電源スイッチSW1がオンされると、電子カメラ2は、静止画像の撮影を行う撮影モードとして起動し、制御部10は、撮像素子12による撮像を開始し、撮像素子12から所定のフレームレート(例えば30fps)で読み出した撮像信号に基づきLCD表示部14にスルー画像の表示を行う。この状態において、操作者が撮影準備動作の指示のためにレリーズボタンを半押し位置まで押下すると、半押しスイッチSW2がオンされる(S1)。   Next, an image selection process using the image selection function of the electronic camera 2 will be described with reference to FIG. First, when the power switch SW <b> 1 of the operation unit 20 is turned on, the electronic camera 2 is activated as a shooting mode for shooting a still image, and the control unit 10 starts imaging with the imaging device 12, and starts from the imaging device 12. A through image is displayed on the LCD display unit 14 based on the imaging signal read at a predetermined frame rate (for example, 30 fps). In this state, when the operator depresses the release button to the half-pressed position to instruct the shooting preparation operation, the half-press switch SW2 is turned on (S1).

半押しスイッチSW2がオンされると、制御部10は、露出制御動作(AE)及び焦点調整動作(AF)を開始する。即ち、撮像素子12から出力される撮像信号に基づいて露出制御動作を行い、適正露出が得られるようにシャッター速度および絞り値を確定する。例えば、平均測光方式によって被写体の明るさ(輝度)情報を検出する場合には、スルー画像を構成する信号値を平均して得た値を被写体の輝度情報とし、この被写体の輝度情報に基づいて最適露出値を確定してシャッター速度および絞り値を確定する。また、制御部10は、撮像素子12から読出された焦点検出信号を用いて瞳分割による焦点検出処理によりデフォーカス量を求め、図示しない撮影レンズの合焦を行なう。   When the half-press switch SW2 is turned on, the control unit 10 starts an exposure control operation (AE) and a focus adjustment operation (AF). That is, the exposure control operation is performed based on the image pickup signal output from the image pickup device 12, and the shutter speed and the aperture value are determined so that proper exposure can be obtained. For example, when detecting the brightness (luminance) information of a subject by the average photometry method, a value obtained by averaging the signal values constituting the through image is used as the subject luminance information, and based on the luminance information of the subject. Determine the optimum exposure value and the shutter speed and aperture value. Further, the control unit 10 obtains a defocus amount by focus detection processing by pupil division using the focus detection signal read from the image sensor 12, and performs focusing of a photographing lens (not shown).

また、制御部10は、画像データのプリキャプチャーを開始する。即ち、制御部10は、複数フレームの画像データをプリキャプチャーの画像データとして連続取得し、取得した複数フレームの画像データをバファメモリ16に記録する。ここで、バファメモリ16に記録する複数フレームの画像データの数は、プリキャプチャー設定数として、例えば10フレームと定められている(図2参照)。従って、制御部10は、バファメモリ16に記録された画像データの数が10フレームに達した場合には、古い画像データから順に上書き消去する。これによりプリキャプチャーのために使用するバファメモリ16の容量を節約することができる。   In addition, the control unit 10 starts pre-capture of image data. That is, the control unit 10 continuously acquires a plurality of frames of image data as pre-captured image data, and records the acquired plurality of frames of image data in the buffer memory 16. Here, the number of image data of a plurality of frames to be recorded in the buffer memory 16 is determined to be, for example, 10 frames as the pre-capture setting number (see FIG. 2). Accordingly, when the number of image data recorded in the buffer memory 16 reaches 10 frames, the control unit 10 overwrites and erases the old image data in order. Thereby, the capacity of the buffer memory 16 used for pre-capture can be saved.

次に、撮影画像の記録指示を行うためにレリーズボタンが全押し位置まで押下されると全押しスイッチSW3がオンされる(S2)。これにより制御部10は、画像データのポストキャプチャーを開始する。即ち、制御部10は、複数フレームの画像データをポストキャプチャーの画像データとして連続取得し、取得した複数フレームの画像データをバファメモリ16に記録する。ここで、バファメモリ16に記録する複数フレームの画像データの数は、ポストキャプチャー設定数として、例えば10フレームと定められている(図2参照)。なお、通常の静止画撮影においては、撮影準備動作の指示(S1)と撮影画像の記録指示(S2)との時間間隔が所定時間以上であるため、バファメモリ16に記録されているプリキャプチャー画像は、露出制御動作(AE)及び焦点調整動作(AF)が完了した後に取得された画像である。   Next, when the release button is pressed down to the fully-pressed position in order to instruct recording of the photographed image, the fully-press switch SW3 is turned on (S2). Thereby, the control unit 10 starts post capture of the image data. That is, the control unit 10 continuously acquires a plurality of frames of image data as post-capture image data, and records the acquired plurality of frames of image data in the buffer memory 16. Here, the number of image data of a plurality of frames to be recorded in the buffer memory 16 is determined to be, for example, 10 frames as the post-capture setting number (see FIG. 2). In normal still image shooting, since the time interval between the shooting preparation operation instruction (S1) and the shot image recording instruction (S2) is equal to or longer than a predetermined time, the pre-capture image recorded in the buffer memory 16 is The image acquired after the exposure control operation (AE) and the focus adjustment operation (AF) are completed.

次に、制御部10は、バファメモリ16に記録された画像データ、即ち、プリキャプチャーにより取得した10フレームの画像データとポストキャプチャーにより取得した10フレームの画像データ、即ち20フレームの画像データを読み出し、この20フレームの画像データを画像選別の候補画像データとして、各画像データについて画像解析を行い画像選別のための評価処理項目に基づいて評価値の算出を行う。ここで、画像選別のための評価処理項目としては、評価対象画像における鮮鋭度、評価対象画像における「顔」の目瞑りの有無、評価対象画像における「顔」の最大面積、評価対象画像における「顔」の笑顔の度合い、評価対象画像における被写体の大きさ等がある。従って、評価値の算出においては、これらの評価処理項目毎の評価値を算出し、算出された評価処理項目毎の評価値を用いて各画像データの評価値を算出する。なお、評価値の算出においては、ここで挙げた全ての評価処理項目を用いる必要はなく、適宜評価処理項目を選択して用いてもよい。   Next, the control unit 10 reads out the image data recorded in the buffer memory 16, that is, 10 frames of image data acquired by pre-capture and 10 frames of image data acquired by post-capture, that is, 20 frames of image data. Using the 20 frames of image data as candidate image data for image selection, image analysis is performed for each image data, and an evaluation value is calculated based on an evaluation processing item for image selection. Here, evaluation processing items for image selection include sharpness in the evaluation target image, presence / absence of “face” in the evaluation target image, maximum area of “face” in the evaluation target image, “ The degree of smile of “face”, the size of the subject in the evaluation target image, and the like. Accordingly, in the calculation of the evaluation value, the evaluation value for each evaluation processing item is calculated, and the evaluation value for each image data is calculated using the calculated evaluation value for each evaluation processing item. In calculating the evaluation value, it is not necessary to use all the evaluation processing items mentioned here, and the evaluation processing items may be selected and used as appropriate.

一般に画像の評価値は、図2に示すように画像データのプリキャプチャー時において上昇し、全押しスイッチSW3がオンされた時(S2)の直前に最大値(ベストショット)となり、その後降下する。これは通常撮影者が撮影中に、撮影を望む撮影シーンを認識してから、実際にレリーズボタンを全押しするまでの間に若干のタイムラグが生じるためである。   In general, as shown in FIG. 2, the evaluation value of an image rises at the time of image data pre-capture, reaches a maximum value (best shot) immediately before the full-press switch SW3 is turned on (S2), and then falls. This is because, during normal shooting, a slight time lag occurs between the time when the photographer recognizes a shooting scene desired to be shot and the time when the release button is fully pressed.

各画像データについて評価値を算出すると、制御部10は、評価値の高い順に所定枚数(例えば5フレーム)の画像データを記録画像として選別し、選別された各画像データに評価値をタグ情報として付加し、Exif等の所定のファイル形式でメモリカード18に記録する。   When the evaluation value is calculated for each image data, the control unit 10 selects a predetermined number (for example, 5 frames) of image data as a recorded image in descending order of the evaluation value, and uses the evaluation value as tag information for each selected image data. In addition, it is recorded on the memory card 18 in a predetermined file format such as Exif.

ここで、図3に示すように、半押しスイッチSW2のオン(S1)と全押しスイッチSW3のオン(S2)が略同時であった場合、いわゆるレリーズボタンの一気押しがなされた場合には、プリキャプチャーの画像データとして取得された画像データは存在しないため、ポストキャプチャーの画像データとして取得された10フレームの画像データが、画像選別の候補画像データとなり、各候補画像データについて画像解析を行い画像選別のための評価処理項目に基づいて評価値の算出を行う。   Here, as shown in FIG. 3, when the half-push switch SW2 is turned on (S1) and the full-push switch SW3 is turned on (S2) substantially simultaneously, when a so-called release button is pressed at once, Since there is no image data acquired as pre-capture image data, 10 frames of image data acquired as post-capture image data become candidate image data for image selection, and image analysis is performed on each candidate image data. An evaluation value is calculated based on an evaluation processing item for selection.

また、この場合には、半押しスイッチSW2のオン(S1)により、露出制御動作(AE)及び焦点調整動作(AF)が開始されるため、ポストキャプチャーの画像データとして取得された画像データの中で最初に取得された数フレームの画像データは露出制御動作(AE)及び焦点調整動作(AF)の完了前の画像データである。従って、露出制御動作(AE)及び焦点調整動作(AF)の完了前に取得された画像データがメモリカード18に記録される画像データとして選択される可能性を低くするために、これらの画像データの評価位置に対する補正係数を算出する。ここで、通常は露出制御動作(AE)は、焦点調整動作(AF)の完了前に完了するため、焦点調整動作(AF)の完了前に取得された画像データの評価位置に対する補正係数を算出すればよい。   In this case, since the exposure control operation (AE) and the focus adjustment operation (AF) are started by turning on the half-press switch SW2 (S1), the image data acquired as the post-capture image data is included in the image data. The first frame of image data acquired in step 1 is image data before completion of the exposure control operation (AE) and the focus adjustment operation (AF). Therefore, in order to reduce the possibility that the image data acquired before the completion of the exposure control operation (AE) and the focus adjustment operation (AF) is selected as the image data recorded in the memory card 18, these image data A correction coefficient for the evaluation position is calculated. Here, since the exposure control operation (AE) is normally completed before the focus adjustment operation (AF) is completed, the correction coefficient for the evaluation position of the image data acquired before the focus adjustment operation (AF) is completed is calculated. do it.

図4は、半押しスイッチSW2のオン(S1)と全押しスイッチSW3のオン(S2)が略同時であった場合の、露出制御動作(AE)及び焦点調整動作(AF)の完了前に取得された画像データの評価値に対する補正係数を示す。この図に示すように、全押しスイッチSW3がオンされた時点(S2)におけるポストキャプチャーとして取得された画像データの評価値に対する補正係数は0.0であり、露出制御動作(AE)及び焦点調整動作(AF)が完了した時点における画像データの評価値に対する補正係数は1.0である。即ち、全押しスイッチSW3がオンされた時点(S2)に近いほど補正係数の値は小さい値になる。   FIG. 4 is obtained before the completion of the exposure control operation (AE) and the focus adjustment operation (AF) when the half-push switch SW2 is turned on (S1) and the full-push switch SW3 is turned on (S2). The correction coefficient with respect to the evaluation value of the obtained image data is shown. As shown in this figure, the correction coefficient for the evaluation value of the image data acquired as the post-capture at the time when the full-press switch SW3 is turned on (S2) is 0.0, and the exposure control operation (AE) and the focus adjustment The correction coefficient for the evaluation value of the image data at the time when the operation (AF) is completed is 1.0. That is, the closer to the point (S2) when the full push switch SW3 is turned on, the smaller the correction coefficient value.

従って、露出制御動作(AE)及び焦点調整動作(AF)が完了する以前(補正期間)に取得された画像データの評価値に対しては、図4に示す補正係数に従って全押しスイッチSW3がオンされた時点(S2)からの時間に応じた補正係数が乗算され、補正期間に取得された画像について画像データの評価値の低減が行われメモリカード18に記録される画像として選別され難くする。   Therefore, for the evaluation value of the image data acquired before the exposure control operation (AE) and the focus adjustment operation (AF) are completed (correction period), the full push switch SW3 is turned on according to the correction coefficient shown in FIG. The correction coefficient corresponding to the time from the time point (S2) is multiplied, and the evaluation value of the image data is reduced for the image acquired in the correction period so that it is difficult to be selected as an image to be recorded on the memory card 18.

即ち、図2に示すように通常は、全押しスイッチSW3がオンされた時点(S2)に近いほど画像データに対する評価値は、大きい値となるが補正係数を乗算することにより、全押しスイッチSW3がオンされた時点(S2)に近いほど評価値の低減の割合が大きくなる。従って、露出制御動作(AE)及び焦点調整動作(AF)が完了した後に取得した画像がメモリカード18に記録される画像として選別される可能性が高くなる。   That is, as shown in FIG. 2, normally, the closer to the point (S2) when the full-press switch SW3 is turned on, the larger the evaluation value for the image data is, but the full-press switch SW3 is multiplied by the correction coefficient. The rate of reduction of the evaluation value increases as it is closer to the time point (S2) when is turned on. Therefore, there is a high possibility that an image acquired after the exposure control operation (AE) and the focus adjustment operation (AF) are completed is selected as an image to be recorded on the memory card 18.

本実施の形態に係る電子カメラ2によれば、画像選別機能を有する撮像装置において撮影準備動作の指示の直後に撮影画像の記録指示が行なわれた場合においても精度良く画像の選別を行うことができる
なお、図5に示すように、半押しスイッチSW2のオン(S1)と全押しスイッチSW3のオン(S2)との時間差が短時間であり略同時であるとみなすことができる場合、いわゆるレリーズボタンの一気押しがなされたとみなすことができる場合には、図4に示す場合と同様に半押しスイッチSW2のオン(S1)から露出制御動作(AE)及び焦点調整動作(AF)が完了するまでに取得された画像データの評価値に対する補正係数を算出し、露出制御動作(AE)及び焦点調整動作(AF)が完了する以前(補正期間)に取得された画像データの評価値に対しては、図5に示す補正係数に従って全押しスイッチSW3がオンされた時点(S2)からの時間に応じた補正係数が乗算され、補正期間に取得された画像について画像データの評価値の低減が行われメモリカード18に記録される画像として選別され難くする。
According to the electronic camera 2 according to the present embodiment, it is possible to select an image with high accuracy even when an instruction to record a shot image is issued immediately after an instruction for a shooting preparation operation in an imaging apparatus having an image selection function. As shown in FIG. 5, when the time difference between the ON of the half-press switch SW2 (S1) and the ON of the full-press switch SW3 (S2) is a short time and can be regarded as being substantially simultaneous, the so-called release When it can be considered that the button has been pressed at once, as in the case shown in FIG. 4, the half-press switch SW2 is turned on (S1) until the exposure control operation (AE) and the focus adjustment operation (AF) are completed. A correction coefficient for the evaluation value of the acquired image data is calculated, and the image acquired before the exposure control operation (AE) and the focus adjustment operation (AF) are completed (correction period). The evaluation value of the data is multiplied by a correction coefficient corresponding to the time from the point (S2) when the full push switch SW3 is turned on according to the correction coefficient shown in FIG. The evaluation value is reduced so that it is difficult to select an image to be recorded on the memory card 18.

また、上述の実施の形態において、いわゆるレリーズボタンの一気押しがなされた場合には、露出制御動作(AE)及び焦点調整動作(AF)の完了前に取得された画像データがメモリカード18に記録される画像データとして選択される可能性を低くするために、これらの画像データの評価位置に対する補正係数を算出しているが、これらの画像データの評価位置を0にして、メモリカード18に記録される画像データの候補から除外するようにしてもよい。   In the above-described embodiment, when the so-called release button is pressed at once, image data acquired before the completion of the exposure control operation (AE) and the focus adjustment operation (AF) is recorded in the memory card 18. In order to reduce the possibility of being selected as image data to be selected, correction coefficients for the evaluation positions of these image data are calculated, but the evaluation positions of these image data are set to 0 and recorded in the memory card 18. The image data may be excluded from the candidate image data to be processed.

また、上述の実施の形態において、いわゆるレリーズボタンの一気押しがなされた場合に、予め定められているポストキャプチャー設定数である10フレームの画像データの取得期間中に露出制御動作(AE)及び焦点調整動作(AF)が完了しなかった場合には、例えば更に10フレームの画像データをポストキャプチャーの画像データとして取得するようにしてもよい。この間に露出制御動作(AE)及び焦点調整動作(AF)が完了した場合には、予め定められているポストキャプチャー設定数である10フレームの画像データと、更に取得した10フレームのポストキャプチャーの画像データとを選択候補の画像データとし、露出制御動作(AE)及び焦点調整動作(AF)が完了する以前に取得された画像データの評価値に対する補正係数を算出し、メモリカード18に記録する画像データを選別する。なお、更に10フレームの画像データをポストキャプチャーの画像データとして取得した場合において、露出制御動作(AE)及び焦点調整動作(AF)が完了しなかった場合には、ポストキャプチャーの画像データの取得を終了する。   In the above-described embodiment, when the so-called release button is pressed at once, the exposure control operation (AE) and the focus during the acquisition period of 10 frames of image data, which is a predetermined number of post-capture settings. When the adjustment operation (AF) is not completed, for example, 10 frames of image data may be acquired as post-capture image data. When the exposure control operation (AE) and the focus adjustment operation (AF) are completed during this time, 10 frames of image data, which is a predetermined number of post capture settings, and 10 frames of post capture images acquired. The correction coefficient for the evaluation value of the image data acquired before the exposure control operation (AE) and the focus adjustment operation (AF) are completed, and the image to be recorded in the memory card 18 Select data. In addition, when 10 frames of image data are acquired as post-capture image data, if the exposure control operation (AE) and the focus adjustment operation (AF) are not completed, acquisition of post-capture image data is performed. finish.

また、上述の実施の形態においては、いわゆるレリーズボタンの一気押しがなされた場合に、露出制御動作(AE)及び焦点調整動作(AF)の完了前に取得された画像データの評価値に対する補正係数を算出し、算出された補正係数を撮影画像の評価値に乗算する第1の制御、または露出制御動作(AE)及び焦点調整動作(AF)の完了前に取得された画像データの評価値を0にする第2の制御により、露出制御動作(AE)及び焦点調整動作(AF)の完了前に取得された画像がメモリカード18に記録される画像として選別され難くしているが、撮影シーンまたは撮影モードに応じて第1の制御と第2の制御のいずれかを用いるようにしてもよい。例えば、LCD表示部に表示されているスルー画像に基づいて撮影シーンの解析を行い、人物の顔が大きく写っている場合には第2の制御を行う。また、撮影モードがポートレートに設定された場合に、第2の制御を行うようにしてもよい。更に、操作者がキー操作などにより第1の制御または第2の制御を選択できるようにしてもよい。   In the above-described embodiment, when the so-called release button is pressed at once, the correction coefficient for the evaluation value of the image data acquired before the completion of the exposure control operation (AE) and the focus adjustment operation (AF) And the evaluation value of the image data acquired before the completion of the first control or the exposure control operation (AE) and the focus adjustment operation (AF) for multiplying the evaluation value of the photographed image by the calculated correction coefficient. The second control for setting to zero makes it difficult to select an image acquired before the completion of the exposure control operation (AE) and the focus adjustment operation (AF) as an image to be recorded on the memory card 18. Alternatively, either the first control or the second control may be used depending on the shooting mode. For example, the photographic scene is analyzed based on the through image displayed on the LCD display unit, and the second control is performed when the face of the person is shown large. Further, the second control may be performed when the photographing mode is set to portrait. Furthermore, the operator may be able to select the first control or the second control by a key operation or the like.

また、上述の実施の形態においては、電子カメラにおいて撮像した画像の選別処理を実施する場合を例に挙げて説明したが、パーソナルコンピュータ等の画像処理を行うことができる画像処理装置において、画像選別処理を実施する画像処理プログラムを読み込んで実行するようにしてもよい。即ち、画像選別処理を実施する画像処理プログラムは、電子カメラ2の焦点調節動作または露出制御動作を含む撮影準備動作を指示するレリーズボタンの半押しに応じて撮影準備動作と撮影動作を開始し、撮影画像の記録指示を行うレリーズボタンの全押がされた場合に、レリーズボタンの全押の前後において取得され記録された複数の画像データの選別を行う画像処理装置に適用される画像処理プログラムであって、複数の画像データごとに付加されている画像を選別するための評価値及びレリーズボタンの半押しと全押しとの時間差が所定時間以内である場合に、複数の画像データの中で、焦点調節動作によって所定の焦点調節状態または露出制御動作によって所定の露出制御状態になるまでの期間に取得された画像データの評価値を小さくする補正係数に基づいて、複数の画像データの中から評価値が高い順に画像を選別する画像選別ステップを含む。したがって、画像データに評価値及び補正係数が付加されている場合に、画像処理装置において、この画像処理プログラムを実行することにより、電子カメラにおいて撮影準備動作の指示の直後に撮影画像の記録指示が行なわれた場合に記録された画像についても精度良く画像の選別を行うことができる。   Further, in the above-described embodiment, the case of performing the selection process of the image captured by the electronic camera has been described as an example. However, in the image processing apparatus capable of performing the image process such as a personal computer, the image selection is performed. An image processing program for executing processing may be read and executed. That is, the image processing program for performing the image selection process starts the shooting preparation operation and the shooting operation in response to the half-press of the release button that instructs the shooting preparation operation including the focus adjustment operation or the exposure control operation of the electronic camera 2. An image processing program applied to an image processing apparatus for selecting a plurality of image data acquired and recorded before and after the release button is fully pressed when the release button for instructing to record a captured image is fully pressed. If the time difference between the evaluation value for selecting the image added for each of the plurality of image data and the half-press and full-press of the release button is within a predetermined time, among the plurality of image data, The evaluation value of the image data acquired during the period until the focus adjustment operation reaches the predetermined focus adjustment state or the exposure control operation reaches the predetermined exposure control state is reduced. Based on Kusuru correction coefficient includes an image selecting step of evaluation value is selected images in descending order from among a plurality of image data. Therefore, when an evaluation value and a correction coefficient are added to the image data, the image processing apparatus executes the image processing program, so that an instruction to record a photographed image is issued immediately after the instruction for the photographing preparation operation in the electronic camera. With respect to the image recorded when it is performed, the image can be selected with high accuracy.

また、選別候補の画像データから、評価値及び補正係数を算出することができる場合、例えば画像データに、いわゆるレリーズボタンの一気押しがなされたか否かの情報、露出制御動作(AE)及び焦点調整動作(AF)が完了しているか否かの情報が付加されている場合には、画像処理装置において、評価値及び補正係数を算出し、上述の画像処理プログラムを用いて画像の選別を行ってもよい。   In addition, when the evaluation value and the correction coefficient can be calculated from the image data of the selection candidate, for example, information on whether or not the so-called release button is pressed on the image data, the exposure control operation (AE), and the focus adjustment. When information indicating whether or not the operation (AF) is completed is added, the image processing apparatus calculates an evaluation value and a correction coefficient, and performs image selection using the above-described image processing program. Also good.

2…電子カメラ、10…制御部、12…撮像素子、14…LCD表示部、16…バッファメモリ、17…プログラムメモリ、18…メモリカード、20…操作部   DESCRIPTION OF SYMBOLS 2 ... Electronic camera, 10 ... Control part, 12 ... Image sensor, 14 ... LCD display part, 16 ... Buffer memory, 17 ... Program memory, 18 ... Memory card, 20 ... Operation part

Claims (7)

被写体からの光を撮像する撮像部と、
前記撮像部による焦点調節動作または露出制御動作を含む撮影準備動作を指示する第1指示の入力に応じて、前記撮影準備動作と前記撮像部による撮影動作を開始し、撮影画像の記録指示を行う第2指示が入力された場合に、前記第2指示の入力前後において前記撮像部で取得された複数の画像データを記録する記録部と、
前記複数の画像データごとに算出された評価値の高い順に画像を選別する画像選別部と、
前記第1指示と前記第2指示との時間差が所定時間以内である場合に、前記記録部に記録されている前記複数の画像データの中で、前記焦点調節動作によって所定の焦点調節状態または前記露出制御動作によって所定の露出制御状態になるまでの期間に取得された前記複数の画像データの前記評価値を小さくする評価値制御部と
を備えることを特徴とする撮像装置。
An imaging unit for imaging light from a subject;
In response to an input of a first instruction for instructing a shooting preparation operation including a focus adjustment operation or an exposure control operation by the imaging unit, the imaging preparation operation and the imaging operation by the imaging unit are started and an instruction to record a captured image is issued. A recording unit that records a plurality of image data acquired by the imaging unit before and after the input of the second instruction when a second instruction is input;
An image sorting unit that sorts images in descending order of evaluation values calculated for each of the plurality of image data;
When a time difference between the first instruction and the second instruction is within a predetermined time, a predetermined focus adjustment state or a state of the plurality of image data recorded in the recording unit by the focus adjustment operation. An imaging apparatus comprising: an evaluation value control unit configured to reduce the evaluation values of the plurality of image data acquired during a period until a predetermined exposure control state is achieved by an exposure control operation.
前記評価値制御部は、前記焦点調節動作によって所定の焦点調節状態または前記露出制御動作によって所定の露出制御状態になるまでの期間に取得された前記複数の画像データの前記評価値に対する補正係数を算出する補正係数算出部を備えることを特徴とする請求項1記載の撮像装置。   The evaluation value control unit calculates a correction coefficient for the evaluation values of the plurality of image data acquired in a period until a predetermined focus adjustment state by the focus adjustment operation or a predetermined exposure control state by the exposure control operation. The imaging apparatus according to claim 1, further comprising a correction coefficient calculation unit for calculating. 前記補正係数算出部は、前記第1指示の入力から前記焦点調節動作によって所定の焦点調節状態または前記露出制御動作によって所定の露出制御状態になるまでの時間に応じた補正係数を算出することを特徴とする請求項2記載の撮像装置。   The correction coefficient calculation unit calculates a correction coefficient according to a time from the input of the first instruction until a predetermined focus adjustment state by the focus adjustment operation or a predetermined exposure control state by the exposure control operation. The imaging apparatus according to claim 2. 前記補正係数算出部は、前記第1指示の入力に近い時に取得された前記画像データほど、前記評価値を小さくする補正係数を算出することを特徴とする請求項3記載の撮像装置。   The imaging apparatus according to claim 3, wherein the correction coefficient calculation unit calculates a correction coefficient that decreases the evaluation value for the image data acquired when the input is closer to the input of the first instruction. 前記評価値制御部は、前記第1指示の入力から前記焦点調節動作によって所定の焦点調節状態または前記露出制御動作によって所定の露出制御状態になるまでの期間に取得された前記画像データの前記評価値を0にすることを特徴とする請求項1記載の撮像装置。   The evaluation value control unit is configured to evaluate the image data acquired during a period from the input of the first instruction to a predetermined focus adjustment state by the focus adjustment operation or a predetermined exposure control state by the exposure control operation. The imaging apparatus according to claim 1, wherein the value is set to 0. 撮像部による焦点調節動作または露出制御動作を含む撮影準備動作を指示する第1指示の入力に応じて前記撮影準備動作と前記撮像部による撮影動作を開始し、撮影画像の記録指示を行う第2指示が入力された場合に、前記第2指示の入力前後において前記撮像部で取得された複数の画像データを記録し、記録された前記複数の画像データの選別を行う撮像装置に適用される画像処理プログラムであって、
前記複数の画像データごとに画像を選別するための評価値を算出する評価値算出ステップと、
前記第1指示と前記第2指示との時間差が所定時間以内である場合に、前記複数の画像データの中で、前記焦点調節動作によって所定の焦点調節状態または前記露出制御動作によって所定の露出制御状態になるまでの期間に取得された前記複数の画像データの前記評価値を小さくする評価値制御ステップと
前記複数の画像データの中から前記評価値が高い順に画像を選別する画像選別ステップと、
を含むことを特徴とする画像処理プログラム。
A second instruction for instructing recording of a captured image by starting the imaging preparation operation and the imaging operation by the imaging unit in response to an input of a first instruction for instructing an imaging preparation operation including a focus adjustment operation or an exposure control operation by the imaging unit; An image applied to an imaging apparatus that records a plurality of image data acquired by the imaging unit before and after the input of the second instruction and selects the plurality of recorded image data when an instruction is input A processing program,
An evaluation value calculating step for calculating an evaluation value for selecting an image for each of the plurality of image data;
When a time difference between the first instruction and the second instruction is within a predetermined time, a predetermined exposure control is performed by a predetermined focus adjustment state by the focus adjustment operation or by an exposure control operation in the plurality of image data. An evaluation value control step of reducing the evaluation value of the plurality of image data acquired in a period until the state is reached, and an image selection step of selecting an image from the plurality of image data in descending order of the evaluation value;
An image processing program comprising:
撮像部による焦点調節動作または露出制御動作を含む撮影準備動作を指示する第1指示の入力に応じて前記撮影準備動作と前記撮像部による撮影動作を開始し、撮影画像の記録指示を行う第2指示の入力前後において前記撮像部で取得され記録された複数の画像データの選別を行う画像処理装置に適用される画像処理プログラムであって、
前記複数の画像データごとに付加されている前記複数の画像を選別するための評価値及び前記第1指示と前記第2指示との時間差が所定時間以内である場合に、前記複数の画像データの中で、前記焦点調節動作によって所定の焦点調節状態または前記露出制御動作によって所定の露出制御状態になるまでの期間に取得された前記複数の画像データの前記評価値を小さくする補正係数に基づいて、前記複数の画像データの中から前記評価値が高い順に画像を選別する画像選別ステップ
を含むことを特徴とする画像処理プログラム。
A second instruction for instructing recording of a captured image by starting the imaging preparation operation and the imaging operation by the imaging unit in response to an input of a first instruction for instructing an imaging preparation operation including a focus adjustment operation or an exposure control operation by the imaging unit; An image processing program applied to an image processing apparatus that selects a plurality of image data acquired and recorded by the imaging unit before and after inputting an instruction,
When the evaluation value for selecting the plurality of images added for each of the plurality of image data and the time difference between the first instruction and the second instruction are within a predetermined time, the plurality of image data Based on a correction coefficient for reducing the evaluation value of the plurality of image data acquired during a period until the focus adjustment operation is performed in a predetermined focus adjustment state or the exposure control operation is performed in a predetermined exposure control state. An image processing program comprising an image selection step of selecting an image from the plurality of image data in descending order of the evaluation value.
JP2010180493A 2010-08-11 2010-08-11 Imaging apparatus and image processing program Active JP5633239B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010180493A JP5633239B2 (en) 2010-08-11 2010-08-11 Imaging apparatus and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010180493A JP5633239B2 (en) 2010-08-11 2010-08-11 Imaging apparatus and image processing program

Publications (2)

Publication Number Publication Date
JP2012039570A true JP2012039570A (en) 2012-02-23
JP5633239B2 JP5633239B2 (en) 2014-12-03

Family

ID=45851015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010180493A Active JP5633239B2 (en) 2010-08-11 2010-08-11 Imaging apparatus and image processing program

Country Status (1)

Country Link
JP (1) JP5633239B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013179520A (en) * 2012-02-29 2013-09-09 Nikon Corp Imaging apparatus
US9307139B2 (en) 2013-06-25 2016-04-05 Socionext Inc. Imaging apparatus and imaging method for selecting image from among captured images
CN112437235A (en) * 2020-11-11 2021-03-02 Oppo广东移动通信有限公司 Night scene picture generation method and device and mobile terminal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313865A (en) * 2000-05-01 2001-11-09 Olympus Optical Co Ltd Electronic camera
JP2005333542A (en) * 2004-05-21 2005-12-02 Nikon Corp Electronic camera and image processing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313865A (en) * 2000-05-01 2001-11-09 Olympus Optical Co Ltd Electronic camera
JP2005333542A (en) * 2004-05-21 2005-12-02 Nikon Corp Electronic camera and image processing system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013179520A (en) * 2012-02-29 2013-09-09 Nikon Corp Imaging apparatus
US9307139B2 (en) 2013-06-25 2016-04-05 Socionext Inc. Imaging apparatus and imaging method for selecting image from among captured images
CN112437235A (en) * 2020-11-11 2021-03-02 Oppo广东移动通信有限公司 Night scene picture generation method and device and mobile terminal

Also Published As

Publication number Publication date
JP5633239B2 (en) 2014-12-03

Similar Documents

Publication Publication Date Title
JP5394296B2 (en) Imaging apparatus and image processing method
JP5025532B2 (en) Imaging apparatus, imaging apparatus control method, and imaging apparatus control program
JP2006140892A (en) Electronic still camera
JP4309524B2 (en) Electronic camera device
JP5633239B2 (en) Imaging apparatus and image processing program
JP4310066B2 (en) Digital camera
JP2008199476A (en) Imaging apparatus
JP5742282B2 (en) camera
JP2005333542A (en) Electronic camera and image processing system
JP5396940B2 (en) Imaging apparatus and image processing apparatus
JP2010087598A (en) Photographic apparatus, photographic control method and program therefor, image display apparatus, image display method and program therefor, and photographic system, control method therefor and program therefor
JP2009272799A (en) Imaging device and program
JP2004333924A (en) Camera
JP2007208355A (en) Photographing device, method, and program
JP5966436B2 (en) Imaging apparatus and program
JP5157528B2 (en) Imaging device
JP5720368B2 (en) Imaging device
JP3913046B2 (en) Imaging device
JP2007208732A (en) Method for recording print specifying information and digital camera
JP2008209760A (en) Photographing method and photographing device
JP2007334242A (en) Digital camera
JP2013016924A (en) Image evaluation device
JP5069076B2 (en) Imaging apparatus and continuous imaging method
JP5262799B2 (en) camera
JP2010032669A (en) Digital still camera, and control method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140916

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140929

R150 Certificate of patent or registration of utility model

Ref document number: 5633239

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250