JP2017098633A - 撮影装置、画像評価方法及びプログラム - Google Patents
撮影装置、画像評価方法及びプログラム Download PDFInfo
- Publication number
- JP2017098633A JP2017098633A JP2015226107A JP2015226107A JP2017098633A JP 2017098633 A JP2017098633 A JP 2017098633A JP 2015226107 A JP2015226107 A JP 2015226107A JP 2015226107 A JP2015226107 A JP 2015226107A JP 2017098633 A JP2017098633 A JP 2017098633A
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- unit
- photographing
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】撮影装置1は、センサ部17と、付帯情報評価部54とを備える。センサ部17は、当該撮影装置の光軸方向の水平面に対する仰俯角を測定する。付帯情報評価部54は、撮影が実行された際にセンサ部17により測定された仰俯角から光軸方向の水平面に対する仰俯角を算出して、撮影された画像の評価値を算出する。これにより、撮影時における撮影装置1の姿勢が仰俯角を持っていた場合、仰俯角を反映した画像の評価が行われる。
【選択図】図2
Description
光軸まわりの回転方向の水平度が高い画像は安定感があり自然な印象が得られる。
撮影装置であって、
当該撮影装置の光軸方向の水平面に対する仰俯角を測定する測定手段と、
撮影が実行された際に前記測定手段により測定された仰俯角に基づき、撮影された画像の評価値を算出する算出手段と、
を備えることを特徴とする。
[ハードウェア構成]
図1は、本発明の一実施形態に係る撮影装置1のハードウェアの構成を示すブロック図である。
撮影装置1は、例えば、デジタルカメラとして構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号が撮影画像のデータとして出力される。撮影画像のデータは、CPU11や図示しない画像処理部等に適宜供給され、撮影画像が生成される。
図2は、このような撮影装置1の機能的構成のうち、画像評価処理を実行するための機能的構成を示す機能ブロック図である。
画像評価処理とは、センサ情報等の画像の付帯情報と、画像の内容とに基づいて、所定の評価項目に応じた重み付けを行って画像のスコア(評価値)を算出し、スコアの高い画像を選択する一連の処理をいう。
また、記憶部20の一領域には、画像記憶部71が設定される。
画像記憶部71には、画像評価処理において評価の対象となる候補画像のデータが記憶される。
第1評価モードは、画像の付帯情報に基づくスコア(以下、適宜「センサスコア」と呼ぶ。)と、画像の内容に基づくスコア(以下、適宜「画質スコア」と呼ぶ。)とを算出し、付帯情報及び画像の内容における評価項目に応じて設定された重み付けを行ってスコアを合計することにより、総合的なスコア(以下、適宜「総合スコア」と呼ぶ。)を算出するモードである。
図3は、第1評価モードにおいてスコアを算出する際の評価項目の分類例を示す模式図である。
図3に示すように、第1評価モードにおける評価項目は、大分類として、(1)「装置が備えるセンサによる測定値(付帯情報)に基づく評価」と、(2)「撮影された画像の内容に基づく評価」とに分けられている。
また、第1評価モードにおいて、大分類(2)は、小分類として、(2−1)「画像全体の内容」と、(2−2)「画像の特徴部分の内容」とに分けられている。そして、画像の内容に関しては、小分類(2−1)及び(2−2)に属する評価項目それぞれについて、スコアが算出される。図3に示すように、「画像全体の内容」には、評価項目として、自動露出(AE)の結果(露出オーバーあるいは露出アンダー等)、構図解析結果(被写体が配置された構図)、及び自動焦点(AF)の結果(合焦状態)が含まれ、「画像の特徴部分の内容」には、評価項目として、顔検出の結果が含まれている。
図4に示すように、第2評価モードでは、仰俯角が0度である場合には、水平角が0度(水平)からずれる程、付与されるスコアが小さくなっている。一方、仰俯角が0度(地面と平行)からずれる程、水平角が0度からずれていても、付与されるスコアの減少度合いは小さくなり、仰俯角が上限(ここでは90度)の場合、水平角に関わらず、最大のスコアが付与される。
撮影装置1が移動していない状態における回転ぶれ(X軸、Y軸、Z軸の各回転方向のぶれ)は、ジャイロセンサ等によって比較的容易に検出できるものの、撮影装置1が特定の方向に進行している場合の平行移動成分については、ノイズの多さ等も起因して、検出することが困難である。そこで、第3評価モードでは、撮影装置1の平行移動成分を行動推定結果(歩行/走行、その他、静止等)として推定し、その推定結果に応じてぶれ量を算出することにより、画像の評価に反映させる。
なお、行動推定は、撮影装置1の平行移動分の移動速度を加速度から測定し、その測定した速度と所定の閾値(例えば、時速1km)とを比較することにより実現可能であるが、推定方法はこれに限定されず、他の公知の技術を使用して推定してもよい。
図5に示すように、第3評価モードにおいては、予め検出した鉛直方向ベクトルVと、現在の加速度ベクトルAとに基づいて、現在の平行移動成分C(=A−V)が推定される。第3評価モードでは、この平行移動成分Cを基に、付帯情報評価部54によって、後述する方法で平行移動成分に基づくぶれ量が算出される。
付帯情報取得部53は、各候補画像に付帯している撮影時のセンサ情報(付帯情報)を取得する。
具体的には、付帯情報評価部54は、センサによる絶対的な測定値に属する評価項目それぞれ(水平角及び仰俯角)について設定されている重みを測定値に乗算し、重み付け後の測定値(評価項目のスコア)を合計することにより、センサによる絶対的な測定値に基づくスコア(絶対値評価)を算出する。また、付帯情報評価部54は、センサによる相対的な測定値に属する評価項目それぞれ(撮影時のぶれ量、行動推定結果(歩行、走行あるいは乗り物による移動等)及びカメラワーク(パンニング、チルティングあるいはフィックス等))について設定されている重みを測定値(または推定結果に応じて設定された値)に乗算し、重み付け後の測定値(評価項目のスコア)を合計することにより、センサによる相対的な測定値等に基づくスコア(相対値評価)を算出する。そして、付帯情報評価部54は、絶対値評価及び相対値評価それぞれについて設定されている重みを絶対値評価及び相対値評価を示す各スコアに乗算して合計し、付帯情報に基づくスコア(センサスコア)を算出する。
具体的には、付帯情報評価部54は、第2評価モードにおいて、仰俯角に対応したスコアSaを、水平角Ah及び仰俯角Aeに基づいて、以下のように算出する。
Vh=θ−|Mod(Ah,θ)|
Ve=|θ×Ae/90|
Sa=100×min(Vh+Ve,θ)/θ
θ=360/n
ただし、Vhは水平角の特徴量でその範囲は、−180度<0度(水平)<180度、Veは仰俯角方向の特徴量でその範囲は、−90度<0度(水平)<90度、θは撮影装置1の傾きの許容角度、nは角度分割数、Modは第1引数を第2引数で除算した剰余を与える演算子、minは各引数のうちで最小の値を選択する演算子である。なお、角度分割数は、いずれの角度でスコアを低くするかを決定するパラメータであり、撮影が横撮りまたは縦撮りで行われること等を考慮して設定される。
なお、光軸方向の水平面に対する角度である仰俯角は、センサ部17により測定された鉛直方向に対する仰角から算出する。
具体的には、付帯情報評価部54は、第3評価モードにおいて、次式によって、平行移動成分に基づくぶれ量を算出する。
ぶれ量=|平行移動成分C|×f(行動推定結果)×α
ただし、平行移動成分C=(加速度ベクトルA)−(鉛直方向ベクトルV)、f(行動推定結果)は行動推定結果に応じて所定の係数を返す関数、αはぶれ量に換算するための係数である。なお、本実施形態において、f(行動推定結果)は、行動推定結果が走行または歩行である場合には1、静止状態である場合には0、それ以外である場合には0.5を返す関数となっている。
これにより、平行移動成分によるぶれ度合いを表す付帯情報(加速度)が、行動推定結果に応じて、画像の評価のためのぶれ度合いに補正される。
具体的には、画像内容評価部55は、画像全体の内容に属する評価項目それぞれ(自動露出(AE)の結果、構図解析結果、及び自動焦点(AF)の結果(合焦状態))について設定されている重みを測定値に乗算し、重み付け後の測定値(評価項目のスコア)を合計することにより、画像全体の内容を示すスコア(画像全体評価)を算出する。また、画像内容評価部55は、画像の特徴部分の内容に属する評価項目(顔検出の結果)について設定されている重みを測定値に乗算し、重み付け後の測定値(評価項目のスコア)を合計することにより、画像の特徴部分の内容を示すスコア(特徴部分評価)を算出する。そして、付帯情報評価部54は、画像全体評価及び特徴部分評価それぞれについて設定されている重みを画像全体評価及び特徴部分評価を示す各スコアに乗算して合計し、画像の内容に基づくスコア(画質スコア)を算出する。
画像生成部57は、総合評価部56によって算出された総合スコアを参照し、候補画像の中から総合スコアが最も高いもの(または総合スコアが上位のもの)を選択する。また、画像生成部57は、複数の候補画像群から選択した画像を用いて、一つの新たな画像(複数の画像を動画像として連結させたハイライトムービーあるいは複数の画像を1枚の静止画像に合成したハイライトフォト等)を生成する。
図6は、図2の機能的構成を有する図1の撮影装置1が実行する画像評価処理の流れを説明するフローチャートである。
画像評価処理は、ユーザによる入力部18への画像評価処理開始の操作により開始される。
ステップS3において、各候補画像に付帯している撮影時のセンサ情報(付帯情報)を取得する。
ステップS5において、画像内容評価部55は、設定されているモードに応じて、候補画像取得部52によって取得された各候補画像の内容に基づくスコア(画質スコア)を算出する。
ステップS7において、画像生成部57は、総合評価部56によって算出された総合スコアを参照し、候補画像の中から総合スコアが最も高いもの(または総合スコアが上位のもの)を選択する。
ステップS7の後、画像評価処理は終了する。
このように選択された画像を用いて、画像生成部57によってハイライトムービー等の新たな画像が生成される。
また、撮影時における撮影装置1の姿勢が仰俯角を持っていた場合、水平角が0度でない状態で撮影された画像にも、より大きいスコアが付与され、より選択されやすいように処理される(第2評価モード)。
これにより、多様な画角で撮影された画像をより適切に選択することが可能となる。
また、撮影時に撮影装置1が平行移動成分をもって移動していた場合、平行移動成分に基づくぶれ量がスコアに反映され、より選択され難いように処理される(第3評価モード)。
これにより、センサで直接検出し難い平行移動成分によるぶれをスコアに反映させることができ、より適切に画像を選択することが可能となる。
センサ部17は、当該撮影装置の光軸方向の水平面に対する仰俯角を測定する。
付帯情報評価部54は、撮影が実行された際にセンサ部17により測定された仰俯角から光軸方向の水平面に対する仰俯角を算出して、撮影された画像の評価値を算出する。
これにより、撮影時における撮影装置1の姿勢が仰俯角を持っていた場合、仰俯角を反映した画像の評価が行われる。また、撮影装置の鉛直方向に対する仰角を測定する加速度センサ等の一般的に使用されているセンサを使用して、容易に当該撮影装置の仰俯角を測定することができる。
したがって、撮影装置1によれば、光軸まわりの回転方向以外で角度に変化がある場合に、適切にその画像を評価することができる。
これにより、仰俯角をもって撮影された画像をより高く評価することができる。
付帯情報評価部54は、撮影が実行された際にセンサ部17により測定される水平角を加味して、撮影された画像の評価値を算出する。
これにより、水平角の状態を反映させて、画像を評価することができる。
これにより、水平面に対する傾きが小さい状態で撮影された画像をより高く評価することができる。
これにより、画像の評価目的に応じて適切な評価値を算出することができる。
画像生成部57は、撮影された複数の画像から、付帯情報評価部54により算出された評価値に基づき、画像を選択する。
これにより、適切な撮影画像を選択することができる。
例えば、上述の実施形態において、画質スコアを算出する際に、ユーザが手動設定した内容(手動によりホワイトバランス設定した場合等)については、その評価項目の評価を高めるように重み付けを大きくすることが可能である。例えば、次式に基づいて、その評価項目のスコアを補正することができる。
評価項目のスコア=(評価項目の測定値+手動設定内容に付与する測定値のバイアス)×手動設定に付与するゲイン
また、上述の実施形態において、画質スコアを算出する際に、画像の特徴部分を、顔が写っているか否かに基づいて評価することとしたが、これに限られない。即ち、画像の内容を解析し、顔の大きさ、写っている顔の数、顔に基づく個人認証の結果、被写体の位置、シーン、コントラスト等の評価項目を設定し、これらの評価結果を画質スコアに反映させることとしてもよい。
例えば、本発明は、評価処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
撮影装置であって、
当該撮影装置の光軸方向の水平面に対する仰俯角を測定する測定手段と、
撮影が実行された際に前記測定手段により測定された仰俯角に基づき、撮影された画像の評価値を算出する算出手段と、
を備えることを特徴とする撮影装置。
[付記2]
前記算出手段は、光軸方向の水平面に対する角度の絶対値が大きい仰俯角ほど評価値を高く算出することを特徴とする付記1に記載の撮影装置。
[付記3]
前記測定手段は、当該撮影装置の光軸方向を軸とした回転方向の、水平面に対する角度である水平角を、更に測定し、
前記算出手段は、撮影が実行された際に前記測定手段により測定される水平角を加味して、撮影された画像の評価値を算出することを特徴とする付記1または2に記載の撮影装置。
[付記4]
前記算出手段は、光軸方向を軸とした回転方向の、水平面に対する角度の絶対値が小さい水平角ほど評価値を高く算出することを特徴とする付記1から3のいずれか1つに記載の撮影装置。
[付記5]
前記算出手段は、算出する評価値の用途に応じて、異なる重み付けをして評価値を算出することを特徴とする1から4のいずれか1つに記載の撮影装置。
[付記6]
撮影された複数の画像から、前記算出手段により算出された評価値に基づき、画像を選択する選択手段を、更に備えることを特徴とする付記1から5のいずれか1つに記載の撮影装置。
[付記7]
撮影装置で実行される画像評価方法であって、
当該撮影装置の光軸方向の水平面に対する仰俯角を測定する測定処理と、
撮影が実行された際に前記測定処理により測定された仰俯角に基づき、撮影された画像の評価値を算出する算出処理と、
を含むことを特徴とする画像評価方法。
[付記8]
撮影装置を制御するコンピュータに、
当該撮影装置の光軸方向の水平面に対する仰俯角を測定する測定機能と、
撮影が実行された際に前記測定機能により測定された仰俯角に基づき、撮影された画像の評価値を算出する算出機能と、
を実現させることを特徴とするプログラム。
Claims (8)
- 撮影装置であって、
当該撮影装置の光軸方向の水平面に対する仰俯角を測定する測定手段と、
撮影が実行された際に前記測定手段により測定された仰俯角に基づき、撮影された画像の評価値を算出する算出手段と、
を備えることを特徴とする撮影装置。 - 前記算出手段は、光軸方向の水平面に対する角度の絶対値が大きい仰俯角ほど評価値を高く算出することを特徴とする請求項1に記載の撮影装置。
- 前記測定手段は、当該撮影装置の光軸方向を軸とした回転方向の、水平面に対する角度である水平角を、更に測定し、
前記算出手段は、撮影が実行された際に前記測定手段により測定される水平角を加味して、撮影された画像の評価値を算出することを特徴とする請求項1または2に記載の撮影装置。 - 前記算出手段は、光軸方向を軸とした回転方向の、水平面に対する角度の絶対値が小さい水平角ほど評価値を高く算出することを特徴とする請求項1から3のいずれか1項に記載の撮影装置。
- 前記算出手段は、算出する評価値の用途に応じて、異なる重み付けをして評価値を算出することを特徴とする1から4のいずれか1項に記載の撮影装置。
- 撮影された複数の画像から、前記算出手段により算出された評価値に基づき、画像を選択する選択手段を、更に備えることを特徴とする請求項1から5のいずれか1項に記載の撮影装置。
- 撮影装置で実行される画像評価方法であって、
当該撮影装置の光軸方向の水平面に対する仰俯角を測定する測定処理と、
撮影が実行された際に前記測定処理により測定された仰俯角に基づき、撮影された画像の評価値を算出する算出処理と、
を含むことを特徴とする画像評価方法。 - 撮影装置を制御するコンピュータに、
当該撮影装置の光軸方向の水平面に対する仰俯角を測定する測定機能と、
撮影が実行された際に前記測定機能により測定された仰俯角に基づき、撮影された画像の評価値を算出する算出機能と、
を実現させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015226107A JP6668700B2 (ja) | 2015-11-18 | 2015-11-18 | 撮影装置、画像評価方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015226107A JP6668700B2 (ja) | 2015-11-18 | 2015-11-18 | 撮影装置、画像評価方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017098633A true JP2017098633A (ja) | 2017-06-01 |
JP6668700B2 JP6668700B2 (ja) | 2020-03-18 |
Family
ID=58817407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015226107A Active JP6668700B2 (ja) | 2015-11-18 | 2015-11-18 | 撮影装置、画像評価方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6668700B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7423685B2 (ja) | 2017-09-28 | 2024-01-29 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006253758A (ja) * | 2005-03-08 | 2006-09-21 | Casio Comput Co Ltd | 画像表示制御装置及びプログラム |
JP2009212644A (ja) * | 2008-03-03 | 2009-09-17 | Nikon Corp | 撮影装置 |
JP2010262531A (ja) * | 2009-05-08 | 2010-11-18 | Canon Inc | 画像情報処理装置、画像情報処理方法及びプログラム |
JP2014131120A (ja) * | 2012-12-28 | 2014-07-10 | Casio Comput Co Ltd | 撮像装置、撮像制御方法、及びプログラム |
-
2015
- 2015-11-18 JP JP2015226107A patent/JP6668700B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006253758A (ja) * | 2005-03-08 | 2006-09-21 | Casio Comput Co Ltd | 画像表示制御装置及びプログラム |
JP2009212644A (ja) * | 2008-03-03 | 2009-09-17 | Nikon Corp | 撮影装置 |
JP2010262531A (ja) * | 2009-05-08 | 2010-11-18 | Canon Inc | 画像情報処理装置、画像情報処理方法及びプログラム |
JP2014131120A (ja) * | 2012-12-28 | 2014-07-10 | Casio Comput Co Ltd | 撮像装置、撮像制御方法、及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7423685B2 (ja) | 2017-09-28 | 2024-01-29 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6668700B2 (ja) | 2020-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10070038B2 (en) | Image processing apparatus and method calculates distance information in a depth direction of an object in an image using two images whose blur is different | |
US9489747B2 (en) | Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor | |
JP6101074B2 (ja) | 光学機器、像ブレ補正装置、撮像装置、およびその制御方法、プログラム、記憶媒体 | |
KR101847392B1 (ko) | 화상처리장치 및 그 제어 방법 | |
JP5979553B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
US11184524B2 (en) | Focus control device, focus control method, program, and imaging device | |
CN107787463B (zh) | 优化对焦堆栈的捕获 | |
JP2015012482A (ja) | 画像処理装置及び画像処理方法 | |
JP5811654B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015119323A (ja) | 撮像装置、画像取得方法及びプログラム | |
JP6631190B2 (ja) | 画像評価装置、画像評価方法及びプログラム | |
US11513315B2 (en) | Focus control device, focus control method, program, and imaging device | |
KR101783990B1 (ko) | 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법 | |
JP4752733B2 (ja) | 撮像装置および撮像方法、並びに撮像装置の設計方法 | |
JP2013130762A (ja) | 撮像装置、その制御方法およびプログラム | |
JP2013130761A (ja) | 撮像装置、その制御方法およびプログラム | |
JP6668700B2 (ja) | 撮影装置、画像評価方法及びプログラム | |
JP2017098634A (ja) | 画像評価装置、画像評価方法及びプログラム | |
JP6210106B2 (ja) | 撮影装置、画像評価方法及びプログラム | |
JP6660010B2 (ja) | 測定装置、測定方法及びプログラム | |
JP5484129B2 (ja) | 撮像装置 | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6521133B2 (ja) | 撮像制御装置、撮像制御方法、及び、プログラム | |
JP5884759B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6668700 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |