JP2014082590A - Imaging apparatus, control method and program thereof - Google Patents
Imaging apparatus, control method and program thereof Download PDFInfo
- Publication number
- JP2014082590A JP2014082590A JP2012228251A JP2012228251A JP2014082590A JP 2014082590 A JP2014082590 A JP 2014082590A JP 2012228251 A JP2012228251 A JP 2012228251A JP 2012228251 A JP2012228251 A JP 2012228251A JP 2014082590 A JP2014082590 A JP 2014082590A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- aperture
- unit
- aperture value
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は撮像装置に関し、特にマイクロレンズアレイにより被写体光の入射方向の情報を取得してリフォーカス画像を再構成する手段を有する撮像装置に関する。 The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus having means for reconstructing a refocused image by acquiring information on the incident direction of subject light using a microlens array.
近年、電子カメラ等の撮像装置において、被写体光の強度分布のみならず入射方向の情報をも取得可能な撮像装置(ライトフィールドカメラ)が提案されている。 In recent years, an imaging apparatus (light field camera) that can acquire not only the intensity distribution of subject light but also information on the incident direction has been proposed in an imaging apparatus such as an electronic camera.
例えば非特許文献1によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光を対応する複数の画素によって入射方向別に受光できる。 For example, according to Non-Patent Document 1, a microlens array is arranged between a photographing lens and an image sensor, and one microlens is associated with a plurality of pixels of the image sensor, so that light that has passed through the microlens Can be received for each incident direction by a plurality of corresponding pixels.
このようにして取得された画像信号(ライトフィールド情報)に対して、通常の撮影画像の生成のほかに、「Light Field Photography」と呼ばれる手法を適用し、任意の仮想像面(リフォーカス面)にピントを合わせた画像を撮影後に再構成することができる。このため、撮影の際にピント合わせが不要になり、シャッターチャンスを逃さないで撮影することが可能となっている。 The image signal (light field information) acquired in this way is applied to a method called “Light Field Photography” in addition to the generation of a normal captured image, and an arbitrary virtual image plane (refocus plane) An image focused on can be reconstructed after shooting. This eliminates the need for focusing during shooting and enables shooting without missing a photo opportunity.
上述のようにライトフィールドカメラでは、撮影後にリフォーカス面を設定することで任意の位置にピントを合わせることが可能である。従って、撮影時にはレンズを開放にして被写界深度を気にせずシャッターを押すことができる。しかしながら、その際に表示画面で構図や被写体の状態を確認しようとしても、被写体の配置によっては画面に表示されている被写体像が全体にわたってボケてしまう。 As described above, in the light field camera, it is possible to focus on an arbitrary position by setting a refocus plane after shooting. Therefore, when taking a picture, the lens can be opened and the shutter can be pressed without worrying about the depth of field. However, even if an attempt is made to check the composition or the state of the subject on the display screen at that time, the subject image displayed on the screen is blurred throughout depending on the arrangement of the subject.
一般的な撮影手順では、構図や被写体が笑顔になった状態などのピント以外の情報も確認しながら撮影するので、それが出来ないとカメラのユーザビリティを著しく損なってしまうことになる。 In a general shooting procedure, shooting is performed while checking information other than the focus, such as the composition and the state that the subject is smiling. If this is not possible, the usability of the camera will be significantly impaired.
そこで本発明は、ライトフィールドカメラでの撮影の際の、所定の周期で画像を撮像し、表示するいわゆるライブビューモードでの被写体の表示において、撮影画像の構図及び被写体の状態を簡単に確認することができるフィールドカメラを提供することを目的とする。 Therefore, the present invention simply confirms the composition of the captured image and the state of the subject in the display of the subject in the so-called live view mode in which images are taken and displayed at a predetermined cycle when photographing with the light field camera. An object of the present invention is to provide a field camera.
上記の課題を解決するために、本発明の撮像装置は、撮影レンズ、絞り、および撮影レンズおよび絞りを通過した被写体光を集光する複数のマイクロレンズからなるマイクロレンズアレイを含む撮像光学系と、撮像光学系を経た光を光電変換するために各マイクロレンズに対応する所定数の光電変換素子を配列した複数の光電変換素子を有する撮像手段を備えた撮像装置であって、操作手段で入力されたユーザからの指示を検出し、検出したユーザからの指示に従って絞り値を決定し、決定した絞り値に基づいて前記絞りを制御し、所定の周期で撮像手段による撮像が行われるライブビューモードである場合は、撮影指示に応じて撮像する際の絞り値に関わらず、撮像手段で撮像される画像の少なくとも複数の領域が納まる被写界深度を与える絞り値で絞りを制御し、ライブビューモード中に操作手段で撮影指示が入力されたことを検出したときは、撮影指示に応じて撮像する際の絞り値で絞りを制御する。 In order to solve the above problems, an imaging apparatus of the present invention includes an imaging optical system including a photographing lens, a diaphragm, and a microlens array including a plurality of microlenses that collect subject light that has passed through the photographing lens and the diaphragm. An imaging apparatus including an imaging unit having a plurality of photoelectric conversion elements in which a predetermined number of photoelectric conversion elements corresponding to each microlens are arranged to photoelectrically convert light that has passed through the imaging optical system, and is input by an operation unit A live view mode in which an instruction from the user is detected, an aperture value is determined according to the detected instruction from the user, the aperture is controlled based on the determined aperture value, and imaging is performed by an imaging unit at a predetermined cycle In this case, a depth of field that provides at least a plurality of areas of the image captured by the imaging unit is given regardless of the aperture value at the time of imaging according to the shooting instruction. It controls the aperture in aperture, when the imaging instruction by the operation means during the live view mode is detected that is input, controls the diaphragm aperture value of imaging in accordance with the photographing instruction.
本発明によれば、ライトフィールドカメラの撮影時のライブビューモードにおいて絞りを自動的に絞るので、撮影画像の構図及び被写体の状態を簡単に確認することができるライトフィールドカメラを提供することができる。 According to the present invention, since the aperture is automatically reduced in the live view mode at the time of shooting with the light field camera, it is possible to provide a light field camera capable of easily confirming the composition of the captured image and the state of the subject. .
以下、図面を参照しながら本発明の好適な実施の形態を詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
図1に本発明の第1の実施例に係わる撮像装置の一例としてのライトフィールドカメラの外観図を示す。 FIG. 1 shows an external view of a light field camera as an example of an image pickup apparatus according to the first embodiment of the present invention.
同図において、表示部130は画像や各種情報を、例えば液晶画面に表示する表示部である。シャッターボタン143は撮影指示を行うための操作部である。モードダイアル144は各種モードを切り替えるための操作部である。
In the figure, a
コネクタ112は接続ケーブル111とデジタルカメラ100とのコネクタである。操作部140はユーザからの各種操作(指示入力)を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラホイール141は操作部140に含まれる回転操作可能な操作部材である。142は電源スイッチであり、電源オン、電源オフを切り替えるスイッチである。
The
記録媒体120はメモリカードやハードディスク等の記録媒体である。記録媒体スロット121は記録媒体120を格納するためのスロットである。記録媒体スロット121に格納された記録媒体120は、デジタルカメラ100との通信が可能となる。蓋122は記録媒体スロット121の蓋である。
The
図2は、本実施例に係わるデジタルカメラ100の構成例を示すブロック図である。図において、図1と同じ部分は同じ符号を付して示す。
FIG. 2 is a block diagram illustrating a configuration example of the
同図において、205は撮像光学系であり、撮像レンズ203、絞り204、ライトフィールド光学系202より構成される。201はシャッター、222は光学像を電気信号に光電変換するCCDやCMOS素子等で構成される撮像部である。223はA/D変換器であり、アナログ信号をデジタル信号に変換する。A/D変換器223は、撮像部222から出力されるアナログ信号をデジタル信号に変換するために用いられる。
In FIG. 2,
224は画像処理部であり、A/D変換器223からの画像データ、又は、メモリ制御部215からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部224では、撮影中に得られた画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部250が露光制御等を行う。これにより撮影条件に従ったAE(自動露出)処理、EF(フラッシュプリ発光)処理等が行われる。画像処理部224では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてAWB(オートホワイトバランス)処理も行っている。さらに、画像処理部224は、メモリ232に保持されるライトフィールドRAWデータを用いて、設定されたリフォーカス位置において再構成画像を生成する処理を行う。なお、リフォーカス位置は、操作部材、タッチパネル等を介したユーザ入力に従ってシステム制御部250が指示する。
A/D変換器223からの出力データは、画像処理部224及びメモリ制御部215を介して、メモリ232に直接書き込まれる。メモリ232は、撮像部222によって得られ、A/D変換器223によりデジタルデータに変換された画像データや、表示部130に表示するための画像データを格納する。メモリ232は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ232は、画像表示用のメモリ(ビデオメモリ)を兼ねている。
Output data from the A /
213はD/A変換器であり、メモリ232に格納されている表示用の画像データをアナログ信号に変換して表示部130に供給する。こうして、メモリ232に書き込まれた表示用の画像データは、D/A変換器213を介して表示部130により表示される。表示部130は、LCD等の表示器により、D/A変換器213からのアナログ信号に応じた画像の表示を行う。
A D / A
A/D変換器223によって一度A/D変換によりデジタル化された信号は、画像処理部224で所定の信号処理を施された後にメモリ232に蓄積される。前記メモリ232に蓄積されたデジタル信号をD/A変換部213でアナログ信号に変換し、表示部130に逐次転送して表示することで、表示部130は電子ビューファインダ(スルー画像表示)として機能する。尚、表示部130として、立体表示に対応した表示手段を用いることも可能である。その際には、画像処理部224において立体表示に対応した表示用データを生成してメモリ232に書き込み、D/A変換器213を介して表示部130に表示する。
The signal once digitized by A / D conversion by the A /
圧縮・伸張部235は、ライトフィールドRAWデータから再構成された画像データを入力してJPEG(Joint Photographic Experts Group)等の圧縮、伸張処理を行う。
The compression /
不揮発性メモリ256は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ256には、システム制御部250の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施例で後述する各種フローチャートを実行するために、撮像装置100の各部を制御するためのプログラムである。
The nonvolatile memory 256 is an electrically erasable / recordable memory, and for example, an EEPROM or the like is used. The nonvolatile memory 256 stores operation constants, programs, and the like for the
250はシステム制御部(CPU)であり、デジタルカメラ100の全体を制御する。前述した不揮発性メモリ256に記録されたプログラムをシステム制御部250が実行することで、後述する本実施例の各動作を実現する。
A system control unit (CPU) 250 controls the entire
252はシステムメモリであり、RAMが用いられる。システムメモリ252には、システム制御部250の動作用の定数、変数、不揮発性メモリ256から読み出したプログラム等が展開される。また、システム制御部250は、メモリ232、D/A変換器213、表示部130等を制御することにより表示制御も行う。
Reference numeral 252 denotes a system memory, which uses a RAM. In the system memory 252, constants and variables for operation of the
システムタイマー253は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。236はタッチパネルであり、表示部130の例えば液晶画面上に貼付されている。タッチパネルの検出方式として抵抗膜方式、静電容量方式等の公知の技術を用いるものとする。指でプレスした位置はシステム制御部250で検出し、座標等に変換して利用することができる。
The
モード切替スイッチ144、第1シャッタースイッチ261、第2シャッタースイッチ262、操作部140はシステム制御部250に各種の動作指示を入力するための操作手段である。
The
モード切替スイッチ144は、システム制御部250の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。第1シャッタースイッチ262は、デジタルカメラ100に設けられたシャッターボタン143の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1によりシステム制御部250は、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
The
第2シャッタースイッチ262は、シャッターボタン143の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部250は、第2シャッタースイッチ信号SW2に従って、撮像部222からの信号読み出しから記録媒体120に画像データを書き込むまでの一連の撮影動作の制御を開始する。
The
操作部140の各操作部材には、表示部130に表示される種々の機能アイコンを選択操作することなどに応じて適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部130に表示される。利用者は、表示部130に表示されたメニュー画面と、4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
Functions are appropriately assigned to the operation members of the
コントローラホイール141は、操作部140に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール141を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいて、システム制御部250はデジタルカメラ100の各部を制御する。このパルス信号によって、コントローラホイール141が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール141は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール141自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール141自体は回転せず、コントローラホイール141上でのユーザの指の回転動作などを検出するものであってもよい(いわゆる、タッチホイール)。
The
280は電源制御部であり、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部280は、その検出結果及びシステム制御部250の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体120を含む各部へ供給する。
A
230は電源部であり、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。218はメモリカードやハードディスク等の記録媒体120とのインターフェースである。記録媒体120は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
次に、本実施例の撮像装置における撮影レンズ203、ライトフィールド光学系202および撮像部222の構成について説明する。
Next, the configuration of the
図3は、撮像部222およびライトフィールド光学系202の関係を模式的に示す図である。図において、図2と同じ部分は同じ符号を付して示す。
FIG. 3 is a diagram schematically illustrating the relationship between the
複数(所定数)の分割画素301に対して1つのマイクロレンズ305が対応するように配置されている。1つのマイクロレンズ後方にある複数の分割画素301(光電変換素子)をまとめて画素配列310と定義する。なお、図示するように、本実施例では画素配列310には、分割画素301が5行5列の計25個あるものとする。
One
図4は、撮影レンズ203から出射された被写体光が1つのマイクロレンズ305によって集光されて撮像部222で受光されるときの光線の軌跡を光軸Zに対して垂直方向から観察した図である。撮影レンズ203の各瞳領域a1〜a5から出射され、マイクロレンズ305を通過した光は、後方の対応する分割画素p1〜p5にそれぞれ結像する。受光部222で光電変換された画像信号を用いて、画面内で任意に設定した焦点位置(リフォーカス面)における画像を再構成処理することで、任意の被写体にピントが合った画像を生成することができる。ここで、図示のように、絞り204を用いてライトフィールド光学系202に入射する光を制限すれば、一部のマイクロレンズアレイ305を通過する被写体像のみに制限されるので、被写界深度の深い画像を得ることができる。なお、画像の再構成処理の詳細は周知の技術であるので、ここでの説明は省略する。
FIG. 4 is a diagram in which the trajectory of a light beam when the subject light emitted from the photographing
次に、図5のフローチャートを用いて、本実施例に係る撮像装置の撮影動作について説明する。 Next, the shooting operation of the image pickup apparatus according to the present embodiment will be described with reference to the flowchart of FIG.
S501で撮影を開始し、S502において撮像装置の動作モードが所定の周期で撮像部222による撮像が行われるライブビューモードであるか否かをシステム制御部250が判定する。ライブビューモードへの移行は、例えば図1の操作部140の操作部材により指示し、操作部材の状態をシステム制御部250が検出して内部のステータスを変更することで実現する。
Shooting is started in S501, and in S502, the
S502でライブビューモード中であると判定されると、S503でシステム制御部250は撮像光学系205の絞り204を制御して絞り204を絞り、これによりライトフィールド光学系202に入射する光を制限する。その結果、リフォーカス面の位置に依存せずパンフォーカス画像が生成される。
If the live view mode is determined in S502, the
パンフォーカス画像を取得するための絞り値を下記によりシステム制御部250で決定する。
絞り値=(焦点距離×焦点距離)/(被写体距離×許容錯乱円径) (式1)
ここで、被写体距離は被写界深度に入れたい最も手前の被写体までの距離であり、予め設定値として保持することで対応可能であるが、被写体距離を測距して設定しても良い。許容錯乱円径は撮像光学系により定まる値である。
The aperture value for acquiring the pan focus image is determined by the
Aperture value = (focal length × focal length) / (subject distance × allowable circle of confusion) (Formula 1)
Here, the subject distance is the distance to the foremost subject to be included in the depth of field, and can be dealt with by holding it as a preset value in advance, but the subject distance may be measured and set. The permissible circle of confusion is a value determined by the imaging optical system.
S504では、撮像されたパンフォーカスの画像に画像処理部224で所定の処理を施し、処理した画像データをメモリ制御部215を介して表示部130に表示する。
In step S <b> 504, the
次にS505でユーザの撮影指示に対応するシャッターの押下を検知する。シャッターの押下は、前述のように2つのスイッチにより構成されており、ここでは第2シャッタースイッチ信号SW2を検出する。第2シャッタースイッチ信号SW2が検出されなかった場合は、S504における被写体像のライブビュー表示を継続する。S505で第2シャッタースイッチ信号SW2を検出したときは、S506に移行する。 In step S <b> 505, pressing of the shutter corresponding to the user's shooting instruction is detected. As described above, the pressing of the shutter is constituted by two switches, and here, the second shutter switch signal SW2 is detected. If the second shutter switch signal SW2 is not detected, the live view display of the subject image in S504 is continued. When the second shutter switch signal SW2 is detected in S505, the process proceeds to S506.
S506では、ライトフィールド撮影の効果を最大限生かせるように絞り204を開放側に制御するように絞り値を決定する。S507では、絞り制御の完了をシステム制御部250が検出した後に、撮像動作でライトフィールドRAWデータを取得し、取得した画像データに画像処理部224で所定の画像処理を施した後メモリ232に保持する。次いで、システム制御部250は、メモリ232に保持されているライトフィールドRAWデータをバスに接続されている記録媒体120に記録するよう指示し、メモリ制御部215によりRAWデータを記録媒体120に記録する。記録が終了すると、S508で撮影動作を終了する。
In step S506, the aperture value is determined so that the
図6を参照して、本実施例に係る撮像装置の絞り制御とリフォーカス位置について説明する。
図6で100はライトフィールドカメラである。カメラに対して人物602、人物603及び樹木604の3つの被写体がある。図5のフローチャートで示したライブビューモードの場合には、絞り204を絞った状態での被写界深度606となり、最も手前の人物602から一番奥の樹木604までの被写体画像が被写界深度内となる。その結果、表示部130に表示されるライブビューの異なる位置ある複数の被写体の画像はピントの合った鮮明な画像となる。ここで、上記3つの被写体全てを被写界深度内にするのではなく、ライブビューで画像を確認したい被写体に応じて、例えば人物のみのように、少なくとも複数の被写体の画像が被写界深度内となるように絞りを絞ってもよい。
With reference to FIG. 6, the aperture control and the refocus position of the imaging apparatus according to the present embodiment will be described.
In FIG. 6,
他方、第2シャッタースイッチ信号SW2が検出された時の被写界深度は、図6のシャッタ押下げ時の被写界深度605のように浅くなり、複数の被写体にピントがあった画像を撮影することはできない。但し、ライトフィールドカメラ100では記録したRAWデータを用いて後でリフォーカス動作ができるので、各被写体602、603及び604にピントが合った画像を記録後に生成することができる。
On the other hand, the depth of field when the second shutter switch signal SW2 is detected is as shallow as the depth of
以上のように、本実施例の撮像装置では、ライブビューモードのときに絞りを絞ったパンフォーカス画像で被写体像を確認できるので、撮影画像の構図や被写体の表情などの状態を確認しながらシャッターの押下ができる。またシャッターの押下時には、絞りを開放にして深度の浅い状態で被写体像を撮影して記録しても後でリフォーカスできるので、背景とのボケ味を生かした画像を鑑賞することが可能となる。 As described above, in the image pickup apparatus of the present embodiment, the subject image can be confirmed with a pan-focus image with a narrowed aperture in the live view mode, so the shutter while confirming the composition of the captured image and the state of the subject's facial expression. Can be pressed. In addition, when the shutter is pressed, the subject can be refocused even if the subject image is taken and recorded in a shallow depth with the aperture open, so that it is possible to view images that take advantage of the blurring of the background. .
本発明の第2の実施例について以下で説明する。 A second embodiment of the present invention will be described below.
本実施例では、ライトフィールドカメラで撮影したRAWデータを用いてリフォーカス動作したときに、複数の被写体に対して同時にピントが合うようにシャッター押下時の絞り値を制御することが第1の実施例と異なる。従って、撮像装置の構成は第1の実施例と同様であるので、ここでの説明は省略する。 In this embodiment, when a refocus operation is performed using RAW data photographed by a light field camera, the aperture value at the time of pressing the shutter is controlled so that a plurality of subjects are focused simultaneously. Different from the example. Accordingly, the configuration of the image pickup apparatus is the same as that of the first embodiment, and a description thereof is omitted here.
第1の実施例の撮像装置においては、図6に示すようにシャッター押下時に絞りを開放に制御し、そのため被写界深度は605で示される範囲を持ったものになっている。従って記録後のリフォーカス動作において人物602と人物603に対して同時にピントが合うリフォーカス位置を設定することができない。 In the image pickup apparatus of the first embodiment, as shown in FIG. 6, the aperture is controlled to be open when the shutter is pressed, so that the depth of field has a range indicated by 605. Accordingly, it is impossible to set a refocus position at which the person 602 and the person 603 are focused at the same time in the refocus operation after recording.
そこで本実施例では、リフォーカス動作したときに所望の複数の被写体に同時にピントが合うように、シャッターの押下時に絞り値を適応的に決定する。この場合の被写体の位置と被写界深度との関係を図7に概念的に示す。なお、図7において図6と同じ部分は同じ番号を付して示し、ここでの説明は省略する。 Therefore, in this embodiment, the aperture value is adaptively determined when the shutter is pressed so that a desired plurality of subjects are focused simultaneously when the refocusing operation is performed. FIG. 7 conceptually shows the relationship between the position of the subject and the depth of field in this case. In FIG. 7, the same parts as those in FIG. 6 are denoted by the same reference numerals, and description thereof is omitted here.
図7において720はシャッター押下時の被写界深度であり、ここでは人物602及び人物603の二人の被写体が被写界深度内に収まる範囲を有する。この被写界深度での撮像でライトフィールドRAWデータを取得することにより、記録後のリフォーカス動作の際に、リフォーカス位置721で人物602及び人物603のいずれにもピントが合った画像を再構成することが可能となる。
In FIG. 7,
次に、図8のフローチャートを用いて、本実施例に係わる撮像動作を説明する。 Next, the imaging operation according to the present embodiment will be described using the flowchart of FIG.
S801で撮影動作が開始されると、S802で撮像装置の動作モードがライブビューモードであるかどうかを判定する。判定方法は第1の実施例と同様である。 When the shooting operation is started in S801, it is determined in S802 whether the operation mode of the imaging apparatus is the live view mode. The determination method is the same as in the first embodiment.
S803では絞り204を制御してパンフォーカス画像を撮像して、S804で表示部130に表示する。この動作は第1の実施例と同様であるので、更なる説明は省略する。次にS805で記録後のリフォーカス動作時に同時にピントを合わせたい被写体領域を選択する。
In step S803, the
ここでの選択を、図9を用いて説明する。図9は、ユーザが本実施例に係わる撮像装置の表示部130に設けられたタッチパネルを使用して被写体領域を選択するときの様子を示す図である。同図において、100は本実施例に係るライトフィールドカメラ、902はタッチパネル、901は液晶画面で構成された表示部130に表示されている選択領域である。ユーザは、タッチパネル902を操作しながら選択領域を指示することができる。図9に示すように被写体領域をタッチパネル902上でプレスすると、システム制御部250はプレスされた領域を検出してその位置情報を取得する。
This selection will be described with reference to FIG. FIG. 9 is a diagram illustrating a state where the user selects a subject area using the touch panel provided on the
選択領域が指示され、S806で第2シャッタースイッチ信号SW2が検出されると、ライトフィールド光学系202を介して被写体の光学像を撮像して画像データを取得し、メモリ232に保持する。第2シャッタースイッチ信号SW2が検出されない場合には、S804に戻り被写体像のライブビュー表示を継続する。
When the selection area is instructed and the second shutter switch signal SW 2 is detected in S 806, an optical image of the subject is captured through the light field
S807では、第2シャッタースイッチ信号SW2の検出によりメモリ232に保持された画像データに基づいて、画像処理部224が、リフォーカス位置を図7の下限位置710から上限位置711までを所定のステップで移動しながら再構成画像を生成する。システム制御部250は各ステップで生成される再構成画像から、指示された選択領域に相当する人物602及び人物603の画像のピント状態を検出する。ピント状態の検出は、画像の周波数成分を解析する等の公知の技術を用いれば良いので、ここでの説明は省略する。各ステップでピント状態を検出することにより、システム制御部250は人物602及び人物603に最もピントが合っているリフォーカス位置730及び731を検出する。
In S807, based on the image data held in the memory 232 by the detection of the second shutter switch signal SW2, the
次いでS808では、システム制御部250が検出したリフォーカス位置の情報に基づいて人物602及び人物603が被写界深度内に収まる絞り値を算出し、算出結果に基づいて絞り204を制御する。絞り値は各被写体のリフォーカス位置を撮影距離に変換することで算出することもできるし、またリフォーカス位置と絞り値のテーブルを予め作成しておき、それを参照して絞り値を生成しても良い。
In step S808, an aperture value within which the person 602 and the person 603 are within the depth of field is calculated based on the information on the refocus position detected by the
絞り値を制御したらS809において被写体像を撮像してライトフィールドRAWデータを取得し、取得したライトフィールドRAWデータを記録媒体に記録する。記録したら、S810で撮影動作を終了する。 When the aperture value is controlled, in step S809, a subject image is captured to acquire light field RAW data, and the acquired light field RAW data is recorded on a recording medium. Once recorded, the shooting operation is terminated in S810.
尚、本実施例では、再構成画像から検出したリフォーカス位置をもとに絞り値を得ているが、測距センサを備えることで被写体までの距離を取得して絞り値を生成することも可能である。この場合はS807のリフォーカス動作が必要なくなるので、より高速に撮影動作を行うことができる。 In this embodiment, the aperture value is obtained based on the refocus position detected from the reconstructed image. However, by providing a distance measuring sensor, the aperture value can be generated by acquiring the distance to the subject. Is possible. In this case, since the refocusing operation in S807 is not necessary, the photographing operation can be performed at a higher speed.
また、S807およびS808の絞り制御において、S805で選択された被写体領域が一つのときは、S807のリフォーカス位置の検出を行なわずに、S808で絞りを開放にするように制御してもよい。 In the aperture control in S807 and S808, when there is only one subject area selected in S805, control may be performed so that the aperture is opened in S808 without detecting the refocus position in S807.
また、画面を予め複数の領域に分割し、各分割領域内の画像にピントが合った再構成画像を生成するためのリフォーカスパラメータを検出して保持しておくことも可能である。そうすることで、選択された被写体領域に対応する分割領域のリフォーカスパラメータを用いてS808での絞り値の制御を行うようにしてもよい。 It is also possible to divide the screen into a plurality of areas in advance and detect and hold a refocus parameter for generating a reconstructed image in focus on the image in each divided area. By doing so, the aperture value may be controlled in step S808 using the refocus parameter of the divided area corresponding to the selected subject area.
上述のように、本実施例によれば、ライブビューの際は被写体の構図及び状態を確認することが可能になり、また記録後のリフォーカスにおいては複数の被写体にピントが合うリフォーカス位置を設定することが可能となる。これにより、ユーザにとって使い勝手のよいライトフィールドカメラを提供することが可能となる。 As described above, according to the present embodiment, it is possible to check the composition and state of a subject during live view, and in refocus after recording, a refocus position that focuses on a plurality of subjects can be set. It becomes possible to set. This makes it possible to provide a light field camera that is convenient for the user.
[他の実施の形態]
前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
[Other embodiments]
Each means constituting the recording apparatus and each step of the recording method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable storage medium storing the program are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(図示したフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 Note that the present invention includes a case where a software program (a program corresponding to the illustrated flowchart) that realizes the functions of the above-described embodiments is directly or remotely supplied to a system or apparatus. This includes the case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。 Examples of the storage medium for supplying the program include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。 As another program supply method, there is a method of connecting to a homepage on the Internet using a browser of a client computer. It can also be supplied by downloading the computer program itself of the present invention or a compressed file including an automatic installation function from a homepage to a storage medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 As another method, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and encrypted from a homepage via the Internet to users who have cleared predetermined conditions. Download the key information to be solved. It is also possible to execute the encrypted program by using the key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。 As another method, a program read from a storage medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
Claims (15)
ユーザからの指示を入力する操作手段と、
撮影条件に従って前記操作手段による撮影指示に応じて撮像する際の絞り値を決定し、前記決定した絞り値に基づいて前記絞りを制御する制御手段を備え、
前記制御手段は、所定の周期で前記撮像手段による撮像が行われるライブビューモードである場合は、前記撮影指示に応じて撮像する際の絞り値に関わらず、前記撮像手段で撮像される画像の少なくとも複数の領域が納まる被写界深度を与える絞り値で前記絞りを制御し、前記ライブビューモード中に前記操作手段で撮影指示が入力されたことを検出したときは、前記撮影指示に応じて撮像する際の絞り値で前記絞りを制御することを特徴とする撮像装置。 An imaging optical system including a photographic lens, an aperture, and a microlens array composed of a plurality of microlenses that collects subject light that has passed through the photographic lens and the aperture, and each for photoelectrically converting the light that has passed through the imaging optical system An imaging apparatus comprising an imaging means having a plurality of photoelectric conversion elements in which a predetermined number of photoelectric conversion elements corresponding to microlenses are arranged,
An operation means for inputting an instruction from the user;
A control unit that determines an aperture value for imaging according to a shooting instruction from the operation unit according to a shooting condition, and controls the aperture based on the determined aperture value;
In the live view mode in which imaging by the imaging unit is performed at a predetermined cycle, the control unit is configured to display an image captured by the imaging unit regardless of an aperture value when imaging is performed according to the imaging instruction. When the aperture is controlled with an aperture value that gives a depth of field that contains at least a plurality of areas, and when it is detected that a shooting instruction is input by the operating means during the live view mode, An imaging apparatus, wherein the aperture is controlled by an aperture value at the time of imaging.
前記制御手段は、前記撮像手段で撮像される画像に含まれる少なくとも一つの被写体のみが納まる被写界深度を与える絞り値を、前記選択手段で選択された少なくとも一つの被写体領域が納まる被写界深度を与える絞り値に決定することを特徴とする請求項1乃至3のいずれか一項に記載の撮像装置。 The operation means includes selection means for selecting at least one subject area of the image captured by the imaging means,
The control means provides an aperture value that gives a depth of field where only at least one subject included in an image captured by the imaging means is stored, and an object field where at least one subject area selected by the selection means falls The imaging apparatus according to claim 1, wherein an aperture value that gives a depth is determined.
前記制御手段は、前記生成手段で生成された再構成画像から前記選択手段で選択された少なくとも一つの被写体領域のリフォーカス位置を検出し、前記検出したリフォーカス位置に基づいて前記選択手段で選択された少なくとも一つの被写体領域が納まる被写界深度を与える絞り値を決定することを特徴とする請求項4に記載の撮像装置。 A generating unit that generates a reconstructed image from an image captured by the imaging unit;
The control unit detects a refocus position of at least one subject area selected by the selection unit from the reconstructed image generated by the generation unit, and selects the selection unit based on the detected refocus position. The imaging apparatus according to claim 4, wherein an aperture value that gives a depth of field in which at least one subject area is stored is determined.
前記制御手段は、前記測距手段により検出された距離に基づいて前記選択手段で選択された少なくとも一つの被写体領域が納まる被写界深度を与える絞り値を決定することを特徴とする請求項4に記載の撮像装置。 Ranging means for detecting the distance of the subject area selected by the selection means,
5. The control unit determines an aperture value that gives a depth of field in which at least one subject area selected by the selection unit falls within the distance detected by the distance measuring unit. The imaging device described in 1.
前記撮像手段で撮像された画像を記録媒体に記録する記録手段と、
をさらに備え、
前記制御手段は、前記操作手段で撮影指示が入力されたことを検出したときは、前記撮像手段で撮像された画像を、前記記録手段で前記記録媒体にRAWデータとして記録することを特徴とする請求項1乃至9のいずれか一項に記載の撮像装置。 Display means for displaying an image captured at a predetermined cycle by the imaging means;
Recording means for recording an image captured by the imaging means on a recording medium;
Further comprising
When the control unit detects that a shooting instruction is input by the operation unit, the control unit records the image captured by the imaging unit as RAW data on the recording medium by the recording unit. The imaging device according to any one of claims 1 to 9.
操作手段によりユーザからの指示を入力する入力ステップと、
前記入力ステップで入力されたユーザからの指示を検出する検出ステップと、
撮影条件に従って前記操作手段による撮影指示に応じて撮像する際の絞り値を決定し、前記決定した絞り値に基づいて前記絞りを制御する制御ステップを備え、
前記制御手段は、所定の周期で前記撮像手段による撮像が行われるライブビューモードである場合は、前記撮影指示に応じて撮像する際の絞り値に関わらず、前記撮像手段で撮像される画像の少なくとも複数の領域が納まる被写界深度を与える絞り値で前記絞りを制御し、前記ライブビューモード中に前記操作手段で撮影指示が入力されたことを検出したときは、前記撮影指示に応じて撮像する際の絞り値で前記絞りを制御することを特徴とする制御方法。 An imaging optical system including a photographic lens, an aperture, and a microlens array composed of a plurality of microlenses that collects subject light that has passed through the photographic lens and the aperture, and each for photoelectrically converting the light that has passed through the imaging optical system A method for controlling an imaging apparatus including an imaging means having a plurality of photoelectric conversion elements in which a predetermined number of photoelectric conversion elements corresponding to microlenses are arranged,
An input step of inputting an instruction from the user by an operation means;
A detection step of detecting an instruction from the user input in the input step;
A control step of determining an aperture value at the time of imaging in accordance with a shooting instruction from the operation means according to a shooting condition, and controlling the aperture based on the determined aperture value;
In the live view mode in which imaging by the imaging unit is performed at a predetermined cycle, the control unit is configured to display an image captured by the imaging unit regardless of an aperture value when imaging is performed according to the imaging instruction. When the aperture is controlled with an aperture value that gives a depth of field that contains at least a plurality of areas, and when it is detected that a shooting instruction is input by the operating means during the live view mode, A control method, wherein the aperture is controlled by an aperture value at the time of imaging.
コンピュータを、
ユーザからの指示を入力する操作手段、
前記操作手段で入力されたユーザからの指示を検出する検出手段、
撮影条件に従って前記操作手段による撮影指示に応じて撮像する際の絞り値を決定し、前記決定した絞り値に基づいて前記絞りを制御する制御手段を備え、
前記制御手段は、所定の周期で前記撮像手段による撮像が行われるライブビューモードである場合は、前記撮影指示に応じて撮像する際の絞り値に関わらず、前記撮像手段で撮像される画像の少なくとも複数の領域が納まる被写界深度を与える絞り値で前記絞りを制御し、前記ライブビューモード中に前記操作手段で撮影指示が入力されたことを検出したときは、前記撮影指示に応じて撮像する際の絞り値で前記絞りを制御する制御手段
として機能させるプログラム。 An imaging optical system including a photographic lens, an aperture, and a microlens array composed of a plurality of microlenses that collects subject light that has passed through the photographic lens and the aperture, and each for photoelectrically converting the light that has passed through the imaging optical system A program for controlling imaging means having a plurality of photoelectric conversion elements in which a predetermined number of photoelectric conversion elements corresponding to microlenses are arranged,
Computer
Operation means for inputting instructions from the user,
Detecting means for detecting an instruction from the user input by the operating means;
A control unit that determines an aperture value for imaging according to a shooting instruction from the operation unit according to a shooting condition, and controls the aperture based on the determined aperture value;
In the live view mode in which imaging by the imaging unit is performed at a predetermined cycle, the control unit is configured to display an image captured by the imaging unit regardless of an aperture value when imaging is performed according to the imaging instruction. When the aperture is controlled with an aperture value that gives a depth of field that contains at least a plurality of areas, and when it is detected that a shooting instruction is input by the operating means during the live view mode, A program that functions as a control unit that controls the aperture with an aperture value at the time of imaging.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012228251A JP6082223B2 (en) | 2012-10-15 | 2012-10-15 | Imaging apparatus, control method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012228251A JP6082223B2 (en) | 2012-10-15 | 2012-10-15 | Imaging apparatus, control method thereof, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014082590A true JP2014082590A (en) | 2014-05-08 |
JP2014082590A5 JP2014082590A5 (en) | 2015-12-03 |
JP6082223B2 JP6082223B2 (en) | 2017-02-15 |
Family
ID=50786410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012228251A Active JP6082223B2 (en) | 2012-10-15 | 2012-10-15 | Imaging apparatus, control method thereof, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6082223B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230541A (en) * | 2014-06-04 | 2015-12-21 | キヤノン株式会社 | Image processor and control method thereof, and program |
JP2016028468A (en) * | 2014-07-09 | 2016-02-25 | キヤノン株式会社 | Imaging apparatus and control method thereof and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004287183A (en) * | 2003-03-24 | 2004-10-14 | Fuji Photo Film Co Ltd | Digital camera |
JP2007004471A (en) * | 2005-06-23 | 2007-01-11 | Nikon Corp | Image synthesis method and image pickup apparatus |
JP2011133714A (en) * | 2009-12-25 | 2011-07-07 | Nikon Corp | Imaging apparatus and image reproducing apparatus |
JP2012083584A (en) * | 2010-10-13 | 2012-04-26 | Nikon Corp | Imaging device |
-
2012
- 2012-10-15 JP JP2012228251A patent/JP6082223B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004287183A (en) * | 2003-03-24 | 2004-10-14 | Fuji Photo Film Co Ltd | Digital camera |
JP2007004471A (en) * | 2005-06-23 | 2007-01-11 | Nikon Corp | Image synthesis method and image pickup apparatus |
JP2011133714A (en) * | 2009-12-25 | 2011-07-07 | Nikon Corp | Imaging apparatus and image reproducing apparatus |
JP2012083584A (en) * | 2010-10-13 | 2012-04-26 | Nikon Corp | Imaging device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230541A (en) * | 2014-06-04 | 2015-12-21 | キヤノン株式会社 | Image processor and control method thereof, and program |
JP2016028468A (en) * | 2014-07-09 | 2016-02-25 | キヤノン株式会社 | Imaging apparatus and control method thereof and program |
Also Published As
Publication number | Publication date |
---|---|
JP6082223B2 (en) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016023406A1 (en) | Shooting method for motion trace of object, mobile terminal and computer storage medium | |
JP7276393B2 (en) | Imaging device and imaging method | |
CN104780324B (en) | A kind of method and apparatus of shooting | |
US20150181135A1 (en) | Image capturing apparatus and control method thereof | |
JP2012222495A (en) | Image processor, image processing method, and program | |
JP2014007580A (en) | Imaging apparatus, method of controlling the same and program therefor | |
US10148861B2 (en) | Image pickup apparatus generating focus changeable image, control method for image pickup apparatus, and storage medium | |
JP6312460B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
CN104869307B (en) | A kind of method and apparatus of shooting | |
JP5409483B2 (en) | Imaging device | |
JP6180285B2 (en) | Imaging apparatus, imaging method, and program | |
JP6082223B2 (en) | Imaging apparatus, control method thereof, and program | |
US20170359511A1 (en) | Image capturing device capable of intermittently capturing images of subject, control method for the same, and program | |
JP6312423B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP6761303B2 (en) | Imaging device and its control method | |
JP2013247478A (en) | Image pickup device, control method and program thereof, and recording medium | |
JP6376753B2 (en) | Imaging apparatus, display control apparatus control method, and recording apparatus control method | |
JP5289354B2 (en) | Imaging device | |
JP6735566B2 (en) | Image management apparatus, image reproduction apparatus and control method thereof, program, and storage medium | |
JP2019110366A (en) | Image capture device capable of overlay display control | |
JP6257310B2 (en) | Imaging apparatus, imaging control method, and program | |
JP6516410B2 (en) | Image processing apparatus, image processing method and program | |
JP5648563B2 (en) | Image processing apparatus, image processing method, and program | |
JP6592330B2 (en) | Imaging apparatus and imaging method | |
JP2014110443A (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151014 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151014 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6082223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |