JP2018113624A - Imaging apparatus and control method for imaging apparatus - Google Patents
Imaging apparatus and control method for imaging apparatus Download PDFInfo
- Publication number
- JP2018113624A JP2018113624A JP2017003655A JP2017003655A JP2018113624A JP 2018113624 A JP2018113624 A JP 2018113624A JP 2017003655 A JP2017003655 A JP 2017003655A JP 2017003655 A JP2017003655 A JP 2017003655A JP 2018113624 A JP2018113624 A JP 2018113624A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- subject
- reading
- mode
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、及び撮像装置の制御方法に関し、特に連続合焦撮影の制御に関する。 The present invention relates to an imaging apparatus and a method for controlling the imaging apparatus, and more particularly to control of continuous focus imaging.
従来、CMOSイメージセンサ等の撮像素子からオートフォーカス評価値に必要な画像の読出しを行う際、静止画像等の通常の読出し速度よりも速い速度で読み出すことで高速な焦点検出を行う技術がある。 Conventionally, when reading an image necessary for an autofocus evaluation value from an image sensor such as a CMOS image sensor, there is a technique for performing high-speed focus detection by reading at a speed faster than a normal reading speed of a still image or the like.
例えば、特許文献1では、有効画素領域のうち特定の領域の画素信号のみを撮像素子から読み出し、オートフォーカス評価値を取得することで高速な焦点検出を行う技術が開示されている。また、特許文献2では、予め区分された静止画像の読出し領域のうち特定の区分領域を他の区分領域よりも先に読み出し、オートフォーカス評価値を取得することで高速な焦点検出を行う技術が開示されている。 For example, Patent Document 1 discloses a technique for performing high-speed focus detection by reading out only a pixel signal of a specific area from an effective pixel area from an image sensor and acquiring an autofocus evaluation value. Patent Document 2 discloses a technique for performing high-speed focus detection by reading a specific segmented region out of the segmented still image readout region before other segmented regions and acquiring an autofocus evaluation value. It is disclosed.
しかしながら、特許文献1に開示された従来技術では、有効画素領域の全体を読出して被写体を検知し、オートフォーカス評価値取得のための読出し領域を決めている。しかしながら、全体を読み出す際には被写体のいない部分も読み出すことになるため、無駄な読み出し時間を費やしてしまい、結果オートフォーカス評価値取得までに時間が掛かることが考えられる。 However, in the prior art disclosed in Patent Document 1, the entire effective pixel area is read to detect the subject, and the reading area for acquiring the autofocus evaluation value is determined. However, when reading the whole, a part without a subject is also read, and therefore, it is considered that useless reading time is consumed, and it takes time to obtain the result autofocus evaluation value.
また、特許文献2に開示された従来技術では、静止画像の読出しと一部並行して、オートフォーカス評価値取得のための読出しを行っている。オートフォーカス評価値取得のための読出し部分は予め区分された静止画像の読出し領域内の特定の一部領域としている。しかしながら、予め区分けされた一部の領域を読み出す場合、被写体に動きがあると、設定した領域に被写体が入らない可能性が高くなり、被写体検出・追尾性能としては低下することが考えられる。 In the prior art disclosed in Patent Document 2, reading for obtaining an autofocus evaluation value is performed in parallel with reading of a still image. A read-out portion for acquiring the autofocus evaluation value is a specific partial area in a still-image read-out area divided in advance. However, when a part of the pre-divided area is read, if the subject moves, there is a high possibility that the subject will not enter the set area, and the subject detection / tracking performance may be reduced.
本発明は、上記課題を鑑みて、オートフォーカスによるフォーカス位置の決定までに掛かる時間を抑制しつつ、被写体追尾しながらの高速連写撮影を実現する撮像装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an imaging apparatus that realizes high-speed continuous shooting while tracking a subject while suppressing the time taken to determine a focus position by autofocus.
上記の課題を解決するために、本発明の撮像装置は、撮影開始命令を受けて撮像素子から信号を読み出す読み出し手段と、前記読み出し手段が読み出した前記信号から被写体を検出する検出手段と、前記検出手段の検出結果に基づいて前記信号を読み出す領域を決定する決定手段と、前記決定手段で決定した領域に基づいてオートフォーカス評価値を取得する取得手段と、前記取得手段で取得した前記オートフォーカス評価値からレンズを駆動するための駆動量を算出して、駆動手段を駆動させる制御信号を出力する制御手段と、を備え、前記検出手段は、前記読み出し手段が前記信号を読み出しが完了する前に、前記読み出しを終えた信号から前記被写体の検出を開始することを特徴とする。 In order to solve the above-described problem, an imaging apparatus according to the present invention includes a reading unit that receives a shooting start command and reads a signal from an imaging element, a detection unit that detects a subject from the signal read by the reading unit, A determination unit that determines an area from which the signal is read based on a detection result of the detection unit; an acquisition unit that acquires an autofocus evaluation value based on the region determined by the determination unit; and the autofocus acquired by the acquisition unit Control means for calculating a driving amount for driving the lens from the evaluation value and outputting a control signal for driving the driving means, and the detecting means before the reading means completes reading the signal. In addition, the detection of the subject is started from the signal for which the reading has been completed.
本発明によれば、オートフォーカスによるフォーカス位置の決定までに掛かる時間を抑制しつつ、被写体追尾しながらの高速連写撮影を実現する撮像装置を提供することができる。また、静止画像読出しをしている途中で被写体検出処理を行い、その検出結果に基づいてオートフォーカス評価値取得のための読出し領域を決めて評価値演算を実行する。これにより、次の撮影のフォーカス位置の決定までに掛かる時間を抑制しつつ、被写体追尾しながら高速連写撮影することができる。 According to the present invention, it is possible to provide an imaging apparatus that realizes high-speed continuous shooting while tracking a subject while suppressing the time taken to determine the focus position by autofocus. In addition, subject detection processing is performed while still images are being read out, and an evaluation value calculation is executed by determining a reading area for acquiring an autofocus evaluation value based on the detection result. As a result, it is possible to perform high-speed continuous shooting while tracking the subject while suppressing the time taken to determine the focus position of the next shooting.
以下、本発明を実施するための最良の形態について図面などを参照して説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
(第1実施形態)
まず、本実施形態に係る撮像装置の全体構成について図1を用いて説明する。本実施形態に係る撮像装置100は、デジタルカメラ等の撮像装置である。図1に示すように、結像光学系の先端部に第1レンズ群101が配置されており、第1レンズ群101は、光軸方向に進退可能に保持されている。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行なう他、静止画撮影時には露光秒時調節用シャッタとしても機能する。絞り兼用シャッタ102と第2レンズ群103とは一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動によって、変倍作用(ズーム機能)を奏する。第3レンズ群105は、光軸方向の進退によって、焦点調節を行う。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子107は、2次元CMOSフォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。
(First embodiment)
First, the overall configuration of the imaging apparatus according to the present embodiment will be described with reference to FIG. The
ズームアクチュエータ111は、図示しないカム筒を回動することで、第1レンズ群101乃至第3レンズ群105を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ114は、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。
The
撮影時に用いられる照明手段(被写体照明用電子フラッシュ)115は、キセノン管を用いた閃光照明装置が好適であるが、連続発光するLEDを備えた照明装置を用いてもよい。オートフォーカス(以下、AFと記す)補助光手段116は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。制御部121は、撮像装置100における種々の制御を司るものであり、不図示のCPU(演算部)、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有している。
The illumination means (electronic flash for subject illumination) 115 used at the time of photographing is preferably a flash illumination device using a xenon tube, but an illumination device including LEDs that emit light continuously may be used. Autofocus (hereinafter referred to as AF) auxiliary light means 116 projects an image of a mask having a predetermined aperture pattern onto a subject via a light projection lens, and improves focus detection capability for a dark subject or a low-contrast subject. Let The
電子フラッシュ制御回路122は、撮影動作に同期して照明手段115を点灯制御する。補助光駆動回路123は、焦点検出動作に同期してAF補助光手段116を点灯制御する。撮像素子駆動回路124は、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換して制御部121に送信する。画像処理回路125は、撮像素子107が取得した画像の被写体検出、γ変換、カラー補間、JPEG圧縮等の処理を行う。フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路128は、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。ズーム駆動回路129は、撮影者によるズーム操作に応じてズームアクチュエータ111を駆動する。
The electronic
表示装置131は、例えば、LCD等により構成されており、撮像装置100の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作スイッチ群132は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。記録媒体133は、着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。メモリ134は、RAM、ROM等であり、所定のプログラムの記憶や、画像処理中の画像データや画像処理に必要なパラメータデータの保持等を行っている。制御部121は、メモリ134の有するROMに記憶された所定のプログラムに基づいて、撮像装置100の各種回路を駆動し、AF、撮影、画像処理、記録等の一連の動作を実行する。
The
次に、本実施形態に係る撮像装置によって行われる被写体追従AF連続撮影について、図2と図3を用いて説明する。図2は、本実施形態に係る撮像装置における被写体追従AF連続撮影の際の動作のタイミングを示すタイミングチャートである。加えて、図3は、本実施形態に係る撮像装置における被写体追従AF連続撮影の際の動作を示すフローチャートである。 Next, the subject tracking AF continuous shooting performed by the imaging apparatus according to the present embodiment will be described with reference to FIGS. FIG. 2 is a timing chart showing operation timings in the subject tracking AF continuous shooting in the imaging apparatus according to the present embodiment. In addition, FIG. 3 is a flowchart illustrating an operation at the time of subject tracking AF continuous shooting in the imaging apparatus according to the present embodiment.
撮像装置100は、操作スイッチ群132に含まれる撮影モード選択スイッチのユーザー操作により、撮影モードが被写体追従AF連続撮影モードとなっていることを前提とする。撮影モードのときに、操作スイッチ群132に含まれるレリーズスイッチがオンとなることで撮影が開始され、ステップS301へ移行する。まず、ステップS301では、撮影開始命令を受けて静止画撮影のために撮像素子107に対して露光を開始し、電荷が蓄積される。露光時間は絞りシャッタアクチュエータ112で制御する。このとき撮像素子駆動回路124において、撮像素子107の有効画素領域全体含む領域を読み出す駆動モードで撮像素子107を制御する。なお、処理のタイミングは、図2の静止画蓄積201で示すように、撮影開始の後に実行する。次に、ステップS302では、撮像素子駆動回路124により、撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して制御部121に送信する処理を開始する。ステップS301において設定した駆動モードに従って、有効画素領域全体を含む領域の画像信号を読み出す。なお、処理のタイミングは、図2の静止画読出し202で示すように、静止画蓄積処理の完了後に実行する。
The
次に、ステップS303では、撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して制御部121に1画素毎、もしくは複数の画素単位で次々送信している。そして、被写体検出処理の開始時間は、以下のようにして決める。まず、被写体検出処理の開始をAF可能な領域までの読み出しが完了するタイミングとなるように決める。なぜなら、AFできない領域で被写体を検出して、その周辺においてAF評価値演算を行ったとしても。、結局はAFできない。つまり、AF可能な領域まで読み出しが完了した時点で、読み出した画像信号を基に被写体検出すれば必要なAF評価値演算は可能であるから、AF可能な領域までの読み出しが完了する時点を被写体検出処理の開始時間とすればよい。また、AF可能な領域は、撮影モードや、レンズの種類により変わるため、条件に応じて検出開始時間を変えてもよく、連写撮影の速度設定を基に決めてもよい。連写速度が速い場合は、撮影と次の撮影との撮影間の処理時間をより短くする必要があるため、被写体検出処理の開始時間を早めることで、撮影間の処理時間を短くすることが出来る。この場合、読み出し完了している画像信号が少なくなってしまうため、被写体検出の精度は低下してしまうが、連写速度はより高速にすることが可能となる。
In step S303, an image signal obtained from the electric charge accumulated in the
次に、ステップS304では、制御部121に送信されてきた画像信号を基に画像処理回路125において被写体検出処理を開始する。後述するが、AF処理に必要な検出結果情報は、被写体の位置情報であり、またAF開始時間には制約があり、AF開始までには検出処理が終わっている必要がある。被写体が多数あるような場面で、検出処理が間に合わなかった場合は、前回の撮影での検出処理結果の位置情報を代用してもよく、予めデフォルト位置情報を設定しておいて、それをAF処理では使用する方法でもよい。また、処理のタイミングは、前述の通り、静止画読出しの途中からであり、AF可能領域まで読み出しが完了する時点、または設定中の連写速度を保証できる時点となる。
Next, in step S304, subject detection processing is started in the
次に、ステップS305では、図2に示すように、の静止画読出し202の処理の途中から被写体検出203が開始され、静止画読み出し処理と被写体検出処理を並行して実行している。ここで、AF開始時間は以下のように決める。連写速度によって決まる次の撮影開始時間に対して、AF評価値算出用読み出し領域算出処理、AF評価値算出用読み出しのための蓄積、AF評価値算出用読み出し、AF評価値算出とレンズ駆動量の算出、レンズの駆動、これらが完了するように決める。
Next, in step S305, as shown in FIG. 2,
次に、ステップS306では、被写体検出の結果からAF評価値算出用読み出し領域を算出する。前提として、AF評価値算出用読み出しは、撮像素子駆動回路124において静止画読み出しとは別の駆動で制御し、撮像素子107の有効画素領域を部分的に読み出す。このとき、被写体検出結果の被写体位置情報を用いて、被写体位置を中心として、有効画素領域に対して部分的に読み出す位置を決定する。処理のタイミングとしては、図2のAF蓄積204に含めているが、前述の通りに定めたAF開始時間のタイミングで実行する。
In step S306, an AF evaluation value calculation readout area is calculated from the subject detection result. As a premise, the AF evaluation value calculation readout is controlled by driving different from the still image readout in the image
次に、ステップS307では、AF評価値算出のために撮像素子107へ露光を開始し、電荷が蓄積される。なお、露光時間は絞りシャッタアクチュエータ112で制御する。静止画とは異なり、本実施形態では、撮像素子駆動回路124において、撮像素子107の有効画素領域の一部の領域を読み出す駆動モードで撮像素子107を制御する。処理のタイミングは、図2のAF蓄積204で示すように、AF評価値算出用読み出し領域算出処理の後に実行する。
Next, in step S307, exposure to the
次に、ステップS308では、撮像素子駆動回路124により、撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して制御部121に送信する処理を開始する。つまり、ステップS307において設定した駆動モードに従って有効画素領域の一部の領域の画像信号を読み出す。処理のタイミングは、図2のAF読出し205で示すように、AF評価値算出用読み出しのための蓄積処理の完了後に実行する。
Next, in step S <b> 308, the image
次に、ステップS309では、制御部121に送信された画像信号を基にAFの評価値算出を実行して、次の撮影で被写体にフォーカスするためのレンズの駆動量を制御部121で算出する。処理のタイミングは、図2の駆動量算出206で示すように、AF評価値算出用読み出しの完了後に実行する。
Next, in step S309, AF evaluation value calculation is performed based on the image signal transmitted to the
次に、ステップS310では、制御部121で算出して出力した制御信号に基づくレンズの駆動量から、被写体に合焦する位置までレンズを駆動させる。つまり、フォーカス駆動回路126または絞りシャッタ駆動回路127、あるいはそれらを組み合わせて制御して、各アクチュエータ114、112を駆動させて、被写体に合焦する位置までレンズを駆動させる。なお、処理のタイミングは、図2のレンズ駆動207で示すように、駆動量算出の後に実行する。
Next, in step S310, the lens is driven from the driving amount of the lens based on the control signal calculated and output by the
次に、ステップS311では、操作スイッチ群132に含まれるレリーズスイッチ(SW2)がオンかオフかを判定する。SW2がオンである場合(NO)、ステップS301に戻って処理を進め、ステップS310で合焦したレンズ位置で連写撮影を続ける。一方、SW2がオフである場合(YES)、連写撮影を停止して撮影終了となる。処理のタイミングは、図2のレンズ駆動207の後にレリーズスイッチの判定をして、SW2がオンならば撮影開始されて静止画蓄積208の静止画蓄積処理、静止画読出し209の静止画読み出しと撮影処理を続けていく。
Next, in step S311, it is determined whether the release switch (SW2) included in the
以上、本実施形態では、静止画読み出し途中から被写体検出処理を開始する。これにより検出処理と静止画読み出しとを並行させることで撮影間の処理時間をより短くすることができる。また、AF評価値算出用読み出しについては読み出す領域を被写体位置に基づいた撮像素子の有効画素領域の一部としている。これにより、被写体の検出、追尾精度は保ったまま、読み出しに掛かる時間をより短くすることができる。従って、被写体の検出、追尾精度は保ちつつ、撮影間の処理時間とAF評価値算出用読み出し時間を短縮することで、被写体追従しながらの連写撮影において連写速度をより速めることができる。 As described above, in the present embodiment, the subject detection process is started in the middle of reading out a still image. Accordingly, the processing time between photographings can be further shortened by making detection processing and still image reading in parallel. In addition, for AF evaluation value calculation readout, the readout area is part of the effective pixel area of the image sensor based on the subject position. As a result, it is possible to shorten the time required for reading while maintaining the detection and tracking accuracy of the subject. Accordingly, by shortening the processing time between photographing and the AF evaluation value calculation readout time while maintaining the subject detection and tracking accuracy, the continuous shooting speed can be further increased in continuous shooting while following the subject.
(第2実施形態)
第2実施形態による撮像装置によって行われる被写体追従AF連続撮影について、図4と図5を用いて説明する。図4は、本実施形態に係る撮像装置における被写体追従AF連続撮影の際の動作のタイミングを示すタイミングチャートである。また、図5は、本実施形態に係る撮像装置における被写体追従AF連続撮影の際の動作を示すフローチャートである。
(Second Embodiment)
Subject tracking AF continuous shooting performed by the imaging apparatus according to the second embodiment will be described with reference to FIGS. 4 and 5. FIG. 4 is a timing chart showing operation timings in the subject tracking AF continuous shooting in the imaging apparatus according to the present embodiment. FIG. 5 is a flowchart showing an operation at the time of subject tracking AF continuous shooting in the imaging apparatus according to the present embodiment.
本実施形態は、第1実施形態による撮像装置によって行われる被写体追従AF連続撮影の処理に対して、被写体検出処理の内容が異なる。その他の処理については、第1実施形態による処理内容と同じ処理を行う。すなわち、図5のステップS501からステップS503では、図3のステップS301からステップS303と同じ処理を行い、図5のステップS509からステップS513では、図3のステップS307からステップS311と同じ処理を行う。加えて、タイミングチャート上の処理についても、図4の静止画蓄積401と静止画読出し402、静止画蓄積409と静止画読出し410は、図2の静止画蓄積201と静止画読出し202、静止画蓄積208と静止画読出し209と同じ処理を行っておる。また、図4のAF蓄積405からレンズ駆動408もまた、図2のAF蓄積204からレンズ駆動207と同じ処理を行う。なお、本実施形態では、第1実施形態による撮像装置によって行われる被写体追従AF連続撮影の処理と異なる被写体検出処理およびそのタイミングについて説明する。
In the present embodiment, the subject detection process differs from the subject tracking AF continuous shooting process performed by the imaging apparatus according to the first embodiment. For other processing, the same processing as the processing content according to the first embodiment is performed. That is, in steps S501 to S503 in FIG. 5, the same processes as in steps S301 to S303 in FIG. 3 are performed, and in steps S509 to S513 in FIG. 5, the same processes as in steps S307 to S311 in FIG. In addition, regarding the processing on the timing chart, the
まず、ステップS504において、図3のステップS304と同様に、被写体検出を開始する。ただし、本実施形態では、2通りの手段で被写体の検出を行う。1つの検出手段は、被写体の内容や個数等は判別しない精度の低い検出手段である。つまり、検出精度のパラメータを調節することで、後述のAF開始時間までに、主被写体の位置とサイズの情報を検出結果として出力することを保証する検出速度優先の検出手段である。本実施形態では、入力した画像信号を基にした色情報から当該検出を行う。なお、本処理は、図4のモノ検出403のモノ検出処理に該当する。
First, in step S504, subject detection is started as in step S304 of FIG. However, in this embodiment, the subject is detected by two means. One detection means is a low-precision detection means that does not discriminate the contents or number of subjects. That is, it is a detection speed priority detection unit that guarantees that information on the position and size of the main subject is output as a detection result by adjusting the detection accuracy parameter by an AF start time described later. In the present embodiment, the detection is performed from color information based on the input image signal. This process corresponds to the mono detection process of the
もう1つの検出手段は、検出結果として被写体が顔か否かを判定して、その被写体の個数、それぞれの位置とサイズ、重要度の順位まで出力する、高精度な検出手段である。つまり、顔やその他の物体の個数が多いところを撮影する場合に検出処理が高負荷となり、検出結果を出力するまでに時間が掛かるような検出精度優先の検出手段である。図4の顔検出404a、404bの顔検出処理に該当する。なお、それぞれの検出を開始するタイミングについては、図4のモノ検出403、顔検出404a、顔検出404bに示すように、静止画の読み出しを実施している途中から、2つの検出処理を同時に開始する。
Another detection unit is a high-precision detection unit that determines whether or not a subject is a face as a detection result, and outputs the number of the subject, each position and size, and the order of importance. In other words, this detection means prioritizes detection accuracy so that the detection process becomes heavy when photographing a place where the number of faces and other objects is large, and it takes time to output the detection result. This corresponds to the face detection processing of
次に、ステップS505では、静止画読み出し処理と2つの被写体検出処理を並行して実行している。また、AF開始時間についても図3のステップステップS305と同様に、連写速度によって決まる次の撮影開始時間に対して、AF領域算出処理、AF蓄積、AF読み出し、AF評価値とレンズ駆動量の算出、レンズの駆動、これらが完了するように決める。 Next, in step S505, the still image reading process and the two subject detection processes are executed in parallel. As for the AF start time, as in step S305 of FIG. 3, the AF area calculation process, AF accumulation, AF readout, AF evaluation value, and lens drive amount are compared with the next shooting start time determined by the continuous shooting speed. Calculation, lens driving, and so on are determined to be completed.
次に、ステップS506では、ステップS504で開始した2つの被写体検出処理において、ステップS505で示すAF開始時間が経過した際に、検出精度優先の検出結果を出力できているか否かを判定する。判定するタイミングとしては、モノ検出403、顔検出404a、顔検出404bの検出処理を開始してからAF開始時間に到達したところで開始する。検出精度優先の検出結果が出力できている場合(YES)、すなわちモノ検出403、顔検出404bで示すようにAF開始時間までに2つの検出結果が出力できている状態にある場合は、ステップS507の処理を開始する。一方、検出速度優先の検出結果のみが出力できている場合(NO)、すなわちモノ検出403、顔検出404bで示すようにAF開始時間までに検出速度優先の検出結果のみが出力できている状態にある場合は、ステップS508の処理を開始する。以下それぞれの処理を説明する。
Next, in step S506, in the two subject detection processes started in step S504, it is determined whether or not a detection accuracy priority detection result has been output when the AF start time indicated in step S505 has elapsed. The determination timing starts when the AF start time is reached after the detection processing of the
ステップS507では、検出精度優先の検出結果を用いて、AF評価値算出用読み出し領域を算出する。検出結果が1つの物体であれば、その物体の位置を中心として読み出し領域を決定する。一方で複数の物体が検出された際は、最も順位の高い物体の位置を中心として読み出し領域を決定する。また、読み出し領域の決定に顔情報を用いる場合、サイズによって、瞳位置を中心に領域決定するか、顔自体の中心で領域決定するかを判別する。上記の通り決定した読み出し領域に対して読み出しを開始する。読み出しの際の撮像素子107の駆動制御としてはステップS306と同様に、有効画素領域を部分的に読み出す駆動方式で制御する。処理のタイミングとしては405に含めているが、AF開始時間のタイミングで実行する。
In step S507, an AF evaluation value calculation readout area is calculated using a detection accuracy priority detection result. If the detection result is one object, the reading area is determined with the position of the object as the center. On the other hand, when a plurality of objects are detected, the reading area is determined with the position of the highest ranked object as the center. In addition, when face information is used to determine the readout area, it is determined whether to determine the area centered on the pupil position or the center of the face itself depending on the size. Reading is started for the reading area determined as described above. As for the drive control of the
ステップS508では、検出速度優先の検出結果を用いて、AF評価値算出用読み出し領域を算出する。検出結果としては、物体1つの情報のみ出力されているので、その物体の位置を中心として読み出し領域を決定し、読み出しを開始する。読み出しの際の撮像素子107の駆動制御としては、図3のステップS306、ステップS507と同様に、有効画素領域を部分的に読み出す駆動方式で制御する。なお、処理のタイミングとしてはAF蓄積405に含めているが、AF開始時間のタイミングで実行する。
In step S508, an AF evaluation value calculation readout area is calculated using the detection speed priority detection result. As the detection result, only information on one object is output, so a reading area is determined around the position of the object, and reading is started. As drive control of the
以上、本実施形態によれば、第1実施形態に対して検出方法を2つに分けて同時に実施することで、検出速度優先の検出により連写速度を保証しながらも、被写体の検出、追尾も保証が可能となる。加えて、検出精度優先の検出がAF開始時間に間に合う場合は、より精度の高い検出結果を用いることで追尾性能も向上できる。 As described above, according to this embodiment, the detection method is divided into two in the first embodiment, and the detection and tracking of the subject are performed while guaranteeing the continuous shooting speed by the detection speed priority detection. Can also be guaranteed. In addition, when the detection accuracy priority is in time for the AF start time, the tracking performance can be improved by using a more accurate detection result.
(第3実施形態)
以下、図6及び図8を参照して、本実施形態に係る撮像装置について説明する。本実施形態に係る撮像装置は、被写体の状況に応じて適切なAF読出しを行い得るものである。本実施形態に係る撮像装置の基本的な構成は、図1を用いて上述した第1実施形態による撮像装置と同様であるため、説明を省略する。
(Third embodiment)
Hereinafter, the imaging apparatus according to the present embodiment will be described with reference to FIGS. The imaging apparatus according to the present embodiment can perform appropriate AF reading according to the condition of the subject. The basic configuration of the imaging apparatus according to this embodiment is the same as that of the imaging apparatus according to the first embodiment described above with reference to FIG.
図6は、本実施形態に係る撮像装置における被写体追従AF連続撮影を示すフローチャートである。図6に示す各ステップは、本実施形態による撮像装置100の制御部121によって行われる。まず、図6のステップS601からステップS608、ステップS613からステップS617までは、第2実施形態において上述した図5のステップS501からステップS508、ステップS509からステップS513までと同様であるため、説明を省略する。
FIG. 6 is a flowchart showing subject tracking AF continuous shooting in the imaging apparatus according to the present embodiment. Each step shown in FIG. 6 is performed by the
ステップS609では、ステップ601とステップS602で撮影した静止画において、ステップS607またはステップS608により決定したAF読出し領域に相当する領域内の輝度を算出する。そして、予めメモリ134に記憶してある輝度閾値と比較して低輝度と判定した場合(ステップS609でYES)、ステップS610へ移行する。一方、低輝度ではないと判定した場合(ステップS609でNO)、ステップS611へ移行する。 In step S609, the luminance in the area corresponding to the AF read area determined in step S607 or step S608 is calculated in the still images taken in steps 601 and S602. If it is determined that the brightness is lower than the brightness threshold value stored in advance in the memory 134 (YES in step S609), the process proceeds to step S610. On the other hand, when it is determined that the brightness is not low (NO in step S609), the process proceeds to step S611.
ステップS610では、ステップS604で検出した顔・モノ検出結果から被写体の大きさと動きが、予めメモリ134に記憶してある大きさ閾値及び動き閾値と比較する。そして、被写体の大きさが小さくかつ動きが小さいと判定した(閾値以下)場合(ステップS610でNO)、ステップS612へ移行する。一方、被写体の大きさが大きいかまたは動きが大きいと判定した(閾値以上)場合には(ステップS610でYES)、ステップS611へ移行する。
In step S610, the size and movement of the subject are compared with the size threshold value and the motion threshold value stored in advance in the
次に、ステップS611では、撮像素子駆動回路124により、AF読出しのための撮像素子107の撮像動作をステップS607またはステップS608により決定したAF読出し領域を含む範囲で間引きモードに設定する。一方、ステップS612では、撮像素子駆動回路124により、AF読出しのための撮像素子107の撮像動作をステップS607またはステップS608により決定したAF読出し領域を含む範囲でクロップモードに設定する。クロップモードで設定する読み出し範囲は間引きモードより狭い。
Next, in step S611, the imaging
ここで、ステップS609とステップS610における判定とAF読出しモードの関係を、図8を用いて説明する。画像419のように静止画におけるAF読み出し領域の輝度が低く、被写体の大きさと動きが小さい場合には、AF読出しモードをAF420のように被写体部分に限定して読み出すクロップモードを設定する。一方、画像417のように静止画におけるAF読み出し領域は低輝度ではなく、被写体の大きさが大きいか動きが大きい場合には、AF読出しモードをAF418のように全画面ではないが被写体部分を含む広い範囲を一部読み出す間引きモードを設定する。
Here, the relationship between the determination in step S609 and step S610 and the AF readout mode will be described with reference to FIG. When the brightness of the AF readout area in a still image is low as in the
なお、本実施形態では、ステップS609及びステップS610で予めメモリ134に記憶してある輝度閾値、大きさ閾値、動き閾値は撮影前にユーザーが操作スイッチ群132により設定できる構成であってもよい。また、ステップS610で被写体の大きさと動きを判定してAF読出しモードを決定するが、ステップS606で顔検出ありの場合は顔を被写体とし、顔検出なしの場合はモノを被写体として後の処理を行う。
In the present embodiment, the luminance threshold value, the magnitude threshold value, and the motion threshold value stored in advance in the
以上、本実施形態によれば、被写体の輝度、大きさ、動きの判定結果に応じて、被写体の大きさと動きが小さい場合には狭い範囲のクロップモード読出しであり、その領域内の情報量を多く取得できる。そのため、被写体追従AF連続撮影の連写性能を損なうことなく、被写体の輝度が低い場合でもAFの低輝度性能を向上することが可能となる。 As described above, according to this embodiment, when the size and movement of the subject are small according to the determination result of the luminance, size, and movement of the subject, the crop mode reading is performed in a narrow range, and the amount of information in the region is calculated. You can get more. Therefore, it is possible to improve the low brightness performance of AF even when the brightness of the subject is low, without impairing the continuous shooting performance of subject tracking AF continuous shooting.
(第4実施形態)
以下、図9及び図10を参照して、本実施形態に係る撮像装置について説明する。本実施形態に係る撮像装置は、被写体の状況に応じて適切なAF読出しを行い得るものである。本実施形態に係る撮像装置の基本的な構成は、図1を用いて上述した第1実施形態による撮像装置と同様であるため、説明を省略する。図9及び図10は、本実施形態に係る撮像装置における被写体追従AF連続撮影を示すフローチャートである。図9及び図10に示す各ステップは、本実施形態に係る撮像装置100の制御部121によって行われる。
(Fourth embodiment)
Hereinafter, the imaging apparatus according to the present embodiment will be described with reference to FIGS. 9 and 10. The imaging apparatus according to the present embodiment can perform appropriate AF reading according to the condition of the subject. The basic configuration of the imaging apparatus according to this embodiment is the same as that of the imaging apparatus according to the first embodiment described above with reference to FIG. 9 and 10 are flowcharts illustrating subject tracking AF continuous shooting in the imaging apparatus according to the present embodiment. Each step shown in FIGS. 9 and 10 is performed by the
なお、ステップS701からステップS707、ステップS712からステップS716までは、第2実施形態において上述した図5のステップS501からステップS507、ステップS509からステップS513までと同様であるため、説明を省略する。 Steps S701 to S707 and Steps S712 to S716 are the same as Steps S501 to S507 and Steps S509 to S513 in FIG. 5 described above in the second embodiment, and thus description thereof is omitted.
ステップS708では、画像処理回路125のモノ検出結果からAF読出し領域を決定しステップS711へ移行する。次に、ステップS709では、ステップ701とステップS702で撮影した静止画において、ステップS707またはステップS708により決定したAF読出し領域に相当する領域内の輝度を算出する。そして、予めメモリ134に記憶してある輝度閾値と比較する。その結果、低輝度と判定した場合(ステップS709においてYES)、ステップS710へ移行する。一方、低輝度ではないと判定した場合(ステップS709においてNO)、ステップS711へ移行する。
In step S708, an AF read area is determined from the mono detection result of the
次に、ステップS710では、撮像素子駆動回路124により、AF読出しのための撮像素子107の撮像動作をステップS707またはステップS708により決定したAF読出し領域を含む範囲でクロップモードに設定する。一方、ステップS711では、撮像素子駆動回路124により、AF読出しのための撮像素子107の撮像動作をステップS707またはステップS708により決定したAF読出し領域を含む範囲で間引きモードに設定する。なお、クロップモードで設定する読み出し範囲は間引きモードより狭い。また、被写体検出でモノ検出しかできていない場合は、画像処理回路125における被写体追従性能が顔検出した場合に比べて劣るため、AFで対象を見つけるために広い範囲の情報を必要とする。
Next, in step S710, the imaging
以上、本実施形態によれば、モノ検出しかできていない場合はより広い範囲の読出しである間引きモードによりAF対象を見失いにくくなるため被写体追従AF連続撮影のAF連続性を保つことが可能となる。 As described above, according to the present embodiment, when only mono detection can be performed, it is difficult to lose sight of the AF target by the thinning mode which is a wider range of reading, and thus it is possible to maintain the AF continuity of the subject tracking AF continuous shooting. .
(第5実施形態)
以下、図11及び図12を参照して、本実施形態に係る撮像装置について説明する。本実施形態に係る撮像装置は、被写体の状況に応じて適切なAF読出しを行い得るものである。本実施形態に係る撮像装置の基本的な構成は、図1を用いて上述した第1実施形態に係る撮像装置と同様であるため、説明を省略する。
図9は、本実施形態に係る撮像装置における被写体追従AF連続撮影を示すフローチャートである。図11及び図12に示す各ステップは、本実施形態に係る撮像装置100の制御部121によって行われる。
(Fifth embodiment)
Hereinafter, the imaging apparatus according to the present embodiment will be described with reference to FIGS. 11 and 12. The imaging apparatus according to the present embodiment can perform appropriate AF reading according to the condition of the subject. The basic configuration of the imaging apparatus according to the present embodiment is the same as that of the imaging apparatus according to the first embodiment described above with reference to FIG.
FIG. 9 is a flowchart showing subject tracking AF continuous shooting in the imaging apparatus according to the present embodiment. Each step shown in FIGS. 11 and 12 is performed by the
なお、ステップS801からステップS812、ステップS814からステップS818までは、第3実施形態の図6及び図7のステップS601からステップS612、ステップS613からステップS617までと同様であるため、説明を省略する。 Steps S801 to S812 and steps S814 to S818 are the same as steps S601 to S612 and steps S613 to S617 in FIG. 6 and FIG.
次に、ステップS813では、ステップS814のAF蓄積の時間と、ステップS815のAF読出しの時間を算出する。被写体追従AF連続撮影のAF精度を保持するため図8においてAF蓄積413とAF読出し414は、次の撮影開始までの所定の時間内に処理を終える必要がある。なお、AF蓄積とAF読出しの総処理時間は一定であるが、ステップS811またはステップS812で設定したAF読出し領域とモードに応じてAF読出し時間が変化する。被写体領域が低輝度の場合にはAF読出し時間が短い際は総処理時間の内のAF蓄積時間を延ばし、低輝度ではない場合にはAF蓄積時間を静止画と同一の値またはAFに適した値とする。
In step S813, the AF accumulation time in step S814 and the AF read time in step S815 are calculated. In order to maintain the AF accuracy of the subject tracking AF continuous shooting, the
以上、本実施形態によれば、AF読出し領域と読出しモードに応じてAF読出し時間を算出し、被写体領域が低輝度の場合にはAF蓄積時間を延ばすことでAF画像の輝度を上げることができ、より精度の高いAF処理が可能となる。 As described above, according to the present embodiment, the AF readout time is calculated according to the AF readout area and the readout mode, and the AF image brightness can be increased by extending the AF accumulation time when the subject area has a low brightness. Therefore, AF processing with higher accuracy is possible.
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。 Moreover, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
100 撮像装置
107 撮像素子
121 制御部
DESCRIPTION OF
Claims (10)
前記読み出し手段が読み出した前記信号から被写体を検出する検出手段と、
前記検出手段の検出結果に基づいて前記信号を読み出す領域を決定する決定手段と、
前記決定手段で決定した領域に基づいてオートフォーカス評価値を取得する取得手段と、
前記取得手段で取得した前記オートフォーカス評価値からレンズを駆動するための駆動量を算出して、駆動手段を駆動させる制御信号を出力する制御手段と、
を備え、
前記検出手段は、前記読み出し手段が前記信号を読み出しが完了する前に、前記読み出しを終えた信号から前記被写体の検出を開始する
ことを特徴とする撮像装置。 Read means for receiving a shooting start command and reading a signal from the image sensor;
Detecting means for detecting a subject from the signal read by the reading means;
Determining means for determining a region from which the signal is read based on a detection result of the detecting means;
Acquisition means for acquiring an autofocus evaluation value based on the area determined by the determination means;
A control unit that calculates a driving amount for driving the lens from the autofocus evaluation value acquired by the acquiring unit and outputs a control signal for driving the driving unit;
With
The image pickup apparatus, wherein the detection unit starts detection of the subject from a signal for which the reading has been completed before the reading unit has completed reading the signal.
ことを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein reading of the signal by the reading unit and detection of the subject by the detection unit are performed in parallel.
検出速度を優先して前記被写体を検出する第1の検出手段と、
検出精度を優先して前記被写体を検出する第2の検出手段と、
を有し、
前記第1の検出手段と前記第2の検出手段は、並行して前記被写体を検出し、
前記決定手段は、前記第2の検出手段の検出結果に応じて前記領域を決定する
ことを特徴とする請求項1または2に記載の撮像装置。 The detection means includes
First detection means for detecting the subject with priority on detection speed;
Second detection means for detecting the subject giving priority to detection accuracy;
Have
The first detection means and the second detection means detect the subject in parallel,
The imaging apparatus according to claim 1, wherein the determination unit determines the region according to a detection result of the second detection unit.
ことを特徴とする請求項3に記載の撮像装置。 The determination means determines the region based on the detection result by the second detection means when the detection result of the subject by the second detection means is output, and the detection result by the second detection means The imaging apparatus according to claim 3, wherein when the image is not output, the region is determined based on a detection result by the first detection unit.
前記被写体の大きさ及び動きを判定する第2の判定手段と、
をさらに備え、
前記決定手段は、前記第1及び第2の判定手段の判定結果に応じて、前記第2の検出手段の検出結果より決定した領域に基づく間引きモードを決定する
ことを特徴とする請求項3または4に記載の撮像装置。 First determination means for determining the luminance of the subject;
Second determination means for determining the size and movement of the subject;
Further comprising
The determination unit determines a thinning mode based on a region determined based on a detection result of the second detection unit according to a determination result of the first and second determination units. 5. The imaging device according to 4.
前記決定手段は、前記第1の判定手段が前記輝度が所定の輝度閾値よりも高いと判定した場合、または前記第1の手段が前記輝度が前記所定の輝度閾値よりも低く、かつ前記第2の判定手段が前記被写体の大きさ及び動きが所定の閾値以上であると判定した場合、前記第1のモードに決定し、
前記決定手段は、前記第1の判定手段が前記輝度が前記所定の輝度閾値よりも低く、かつ前記第2の判定手段が前記被写体の大きさ及び動きが所定の閾値以下であると判定した場合、前記第2のモードに決定する
ことを特徴とする請求項3乃至5のいずれか1項に記載の撮像装置。 The thinning mode includes a first mode and a second mode,
The determination unit determines that the first determination unit determines that the luminance is higher than a predetermined luminance threshold, or the first unit determines that the luminance is lower than the predetermined luminance threshold, and the second If the determination means determines that the size and movement of the subject are equal to or greater than a predetermined threshold, the first mode is determined,
The determining means is when the first determining means determines that the luminance is lower than the predetermined luminance threshold, and the second determining means determines that the size and movement of the subject are equal to or less than the predetermined threshold. The imaging apparatus according to claim 3, wherein the second mode is determined.
前記第2のモードは、前記決定した領域を含む範囲であって、かつ前記第1のモードにおける範囲よりも狭い範囲で間引きをしないモードである
ことを特徴とする請求項6に記載の撮像装置。 The first mode is a mode in which thinning is performed in a range including the determined area,
The imaging apparatus according to claim 6, wherein the second mode is a mode that does not perform thinning out in a range that includes the determined region and that is narrower than the range in the first mode. .
前記決定手段は、前記決定手段が前記第2の検出手段による検出結果に基づいて前記領域を決定し、かつ前記第1の判定手段が前記輝度が所定の輝度閾値よりも低いと判定した場合、前記第2のモードに決定する
ことを特徴とする請求項3乃至7のいずれか1項に記載の撮像装置。 The determining means determines the area when the determining means determines the area based on the detection result by the first detecting means, or when the determining means determines the area based on the detection result by the second detecting means. And when the first determination means determines that the luminance is higher than a predetermined luminance threshold, the first mode is determined,
The determining means determines the area based on the detection result by the second detecting means, and the first determining means determines that the luminance is lower than a predetermined luminance threshold, The imaging apparatus according to claim 3, wherein the second mode is determined.
をさらに備え、
前記算出手段は、前記間引きモードに応じて前記時間を算出する
ことを特徴とする請求項5乃至8のいずれか1項に記載の撮像装置。 A calculation unit for calculating a time for the acquisition unit to acquire the autofocus evaluation value;
The imaging apparatus according to claim 5, wherein the calculation unit calculates the time according to the thinning mode.
撮影開始命令を受けて撮像素子から信号を読み出す読み出し工程と、
前記読み出し工程で読み出した前記信号から被写体を検出する検出工程と、
前記検出工程における検出結果に基づいて前記信号を読み出す領域を決定する決定工程と、
前記決定工程で決定した領域に基づいてオートフォーカス評価値を取得する取得工程と、
前記取得工程で取得した前記オートフォーカス評価値からレンズを駆動するための駆動量を算出して、駆動手段を駆動させる制御信号を出力する制御工程と、
を有し、
前記検出工程では、前記読み出し工程で前記信号を読み出しが完了する前に、前記読み出しを終えた信号から前記被写体の検出を開始する
ことを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus,
A reading process of receiving a shooting start command and reading a signal from the image sensor;
A detecting step of detecting a subject from the signal read in the reading step;
A determination step of determining a region from which the signal is read based on a detection result in the detection step;
An acquisition step of acquiring an autofocus evaluation value based on the region determined in the determination step;
A control step of calculating a driving amount for driving the lens from the autofocus evaluation value acquired in the acquisition step, and outputting a control signal for driving the driving unit;
Have
In the detection step, the detection of the subject is started from the signal that has been read before the signal is completely read in the reading step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017003655A JP6808501B2 (en) | 2017-01-12 | 2017-01-12 | Imaging device and control method of imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017003655A JP6808501B2 (en) | 2017-01-12 | 2017-01-12 | Imaging device and control method of imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018113624A true JP2018113624A (en) | 2018-07-19 |
JP6808501B2 JP6808501B2 (en) | 2021-01-06 |
Family
ID=62911449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017003655A Active JP6808501B2 (en) | 2017-01-12 | 2017-01-12 | Imaging device and control method of imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6808501B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020056953A (en) * | 2018-10-03 | 2020-04-09 | キヤノン株式会社 | Anti-shake device, image processing apparatus, and detection method |
-
2017
- 2017-01-12 JP JP2017003655A patent/JP6808501B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020056953A (en) * | 2018-10-03 | 2020-04-09 | キヤノン株式会社 | Anti-shake device, image processing apparatus, and detection method |
Also Published As
Publication number | Publication date |
---|---|
JP6808501B2 (en) | 2021-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5061188B2 (en) | Digital single-lens reflex camera | |
JP3992992B2 (en) | Subject image acquisition device | |
JP3823921B2 (en) | Imaging device | |
US10187564B2 (en) | Focus adjustment apparatus, imaging apparatus, focus adjustment method, and recording medium storing a focus adjustment program thereon | |
JP2017211487A (en) | Imaging apparatus and automatic focus adjustment method | |
JP4614143B2 (en) | Imaging apparatus and program thereof | |
JP2006091915A (en) | Imaging apparatus | |
CN101321229A (en) | Image sensing apparatus and control method therefor | |
JP5409483B2 (en) | Imaging device | |
JP2007225897A (en) | Focusing position determination device and method | |
JP6501536B2 (en) | Imaging device, control method therefor, program, storage medium | |
JP5409201B2 (en) | Focus detection apparatus and focus detection method | |
JP2009302794A (en) | Imaging apparatus | |
JP2014056153A (en) | Focus adjustment device, imaging device, and control method therefor | |
JP6808501B2 (en) | Imaging device and control method of imaging device | |
JP6168827B2 (en) | Image stabilization apparatus and optical apparatus | |
JP6552408B2 (en) | Image pickup apparatus and control method thereof | |
JP5415208B2 (en) | Imaging device | |
CN111835980A (en) | Image pickup apparatus, control method thereof, and storage medium | |
JP2006201568A (en) | Camera detectable of hand shake | |
WO2021161959A1 (en) | Information processing device, information processing method, information processing program, imaging device, imaging device control method, control program, and imaging system | |
JP2012133067A (en) | Imaging apparatus | |
JP5069076B2 (en) | Imaging apparatus and continuous imaging method | |
JP6626332B2 (en) | Imaging device and control method thereof | |
JP6799411B2 (en) | Focus detection device and method, and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201209 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6808501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |