JP2011029763A - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法 Download PDFInfo
- Publication number
- JP2011029763A JP2011029763A JP2009171227A JP2009171227A JP2011029763A JP 2011029763 A JP2011029763 A JP 2011029763A JP 2009171227 A JP2009171227 A JP 2009171227A JP 2009171227 A JP2009171227 A JP 2009171227A JP 2011029763 A JP2011029763 A JP 2011029763A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- cpu
- information
- dimensional arrangement
- main subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像処理装置は、フレーム画像51について、複数の特徴量マップを統合した顕著性マップを用いて注目点領域61を推定する(ステップSa)。画像処理装置は、被写体の距離情報71を取得する(ステップSb)。画像処理装置は、注目点領域61及び距離情報71を用いて、被写体の3次元的な配置位置に関する3次元配置情報91を生成する(ステップSc)。画像処理装置は、3次元配置情報91と、複数シーン毎に予め生成されている物体の3次元的な配置条件を示す3次元配置条件情報92とを比較し、その比較結果を用いて、複数シーンの中から、入力画像と一致するシーンの候補(シーン候補101など)を選択する(ステップSd)。
【選択図】図2
Description
以下、本発明の第1実施形態を図面に基づいて説明する。
図1は、本発明の第1実施形態に係る画像処理装置100のハードウェアの構成を示す図である。画像処理装置100は、例えばデジタルカメラにより構成することができる。
図2は、シーン自動識別処理の概略を説明する図である。
また、CPU9は、液晶表示コントローラ12などを制御して、スルー撮像時にDRAM7に記録された各フレーム画像データを順次読み出して、それぞれに対応するフレーム画像を液晶ディスプレイ13に表示させる。なお、以下、かかるCPU9の一連の処理を、スルー表示と称する。
以下の説明では、スルー撮像及びスルー表示により、例えば図2に示されるフレーム画像51が液晶ディスプレイ13に表示されているとする。
すなわち、CPU9は、フレーム画像51に対応するフレーム画像データから複数種類の特徴量を抽出して、複数種類毎に特徴量マップをそれぞれ作成する。次に、CPU9は、複数種類毎の特徴量マップを統合することで、顕著性マップを生成する。そして、CPU9は、顕著性マップを用いて、フレーム画像51の中から、人間の視覚的注意を引く可能性の高い画像領域(以下、注目点領域と称する)を推定する。例えば図2の例では、人物の被写体に対応する注目点領域61と、風景(建築物)の被写体に対応する注目点領域62とが推定されている。
ステップSaの注目点領域推定処理は、後述する図6のステップS27の処理に対応する。注目点領域推定処理の詳細については、図7乃至図10を参照して後述する。
すなわち、図2に示されるように、測距センサ16は、n個(nは2以上の整数値)の測距枠D1乃至Dn毎に、枠内に含まれる被写体までの距離を検出する。CPU9は、測距センサ16による測距枠D1乃至Dn毎の各検出結果を示す情報(以下、測距情報と称する)を、距離情報として取得する。例えば図2の例では、測距枠D1乃至Dn毎に距離情報71がそれぞれ取得されている。
このように、距離情報としては、本実施の形態では測距情報が採用されている。しかしながら、距離情報は、特にこれに限定されず、その他、焦点レンズ駆動位置を示す情報(以下、焦点レンズ位置情報と称する)や、オートフォーカス枠の合焦コントラスト情報(以下、合焦情報と称する)であっても構わない。
ステップSbの処理は、後述する図6のステップS22の処理に対応する。
すなわち、CPU9は、注目点領域に含まれる被写体を、主要被写体として認定する。例えば図2の例では、注目点領域61に含まれる人物と、注目点領域62に含まれる風景(建築物)とが、主要被写体として認定される。次に、CPU9は、距離情報を用いて、各主要被写体までの3次元的な配置位置をそれぞれ認識し、それらの認識結果を示す情報を生成する。なお、以下、かかる認識結果を示す情報を、主要被写体の3次元配置情報と称する。例えば図2の例では、主要被写体の3次元配置情報91が生成されている。ここでいう3次元とは、フレーム画像51における水平方向及び垂直方向に対応する2次元と、距離情報71に基づく奥行き方向に対応する1次元とをあわせた3次元をいう。
ステップScの処理は、後述する図6のステップS28の処理に対応する。
すなわち、1のシーンにおける物体(主要被写体となり得るオブジェクト)の3次元的な配置位置に関する各種条件を示す情報(以下、3次元配置条件情報と称する)が、複数のシーン毎にROM11などに予め記憶されているとする。例えば図2の例では、シーン別の3次元配置条件情報92がROM11などに予め記憶されているとする。
この場合、CPU9は、主要被写体の3次元配置情報91と、複数シーンの各3次元配置条件情報92のそれぞれとを、1つずつ比較照合していく。そして、CPU9は、比較照合の結果に基づいて、複数シーンの中から、撮影条件を設定するために用いるシーンの候補(以下、シーン候補と称する)をP個選択する。なお、Pは、1以上の整数値であって、設計者などが任意に設定し得る整数値である。
このようにして、CPU9は、複数シーンの中から、一致シーン又は類似シーンを検索することができる。そこで、CPU9は、検索したシーンの中から、例えば一致度が上位P番目までのシーンを、シーン候補として選択する。
なお、シーンの比較照合の手法自体は、ここで説明した内容の手法に特に限定されず、任意の手法を採用することができる。
ステップSdのシーン比較照合処理は、後述する図6のステップS29の処理に対応する。シーン比較照合処理の詳細については、図11を参照して後述する。
すなわち、図2に示されるように、測光センサ17は、m個(mは2以上の整数値)の測光枠BV1乃至BVm毎に、枠内に含まれる被写体の輝度分布を検出する。CPU9は、測光センサ17による測光枠BV1乃至BVm毎の各検出結果を示す情報(以下、測光情報と称する)を、輝度情報として取得する。例えば図2の例では、測光枠BV1乃至BVm毎に輝度情報81が取得されている。
このように、輝度情報としては、本実施の形態では測光情報が採用されている。しかしながら、輝度情報は、特にこれに限定されず、その他、フレーム画像データの輝度データに基づく情報などであっても構わない。
すなわち、CPU9は、測光枠BV1乃至BVm毎の輝度情報81に基づいて、例えばフレーム画像51全体の平均輝度を算出する。そして、CPU9は、例えば平均輝度が所定の閾値よりも高い(明るい)場合、「風景と人物」のシーン候補101を第1候補として選択する。これに対して、CPU9は、例えば平均輝度が所定の閾値よりも低い(暗い)場合、「夜景と人物」のシーン候補103を第1候補として選択する。
さらにまた、CPU9は、測光枠BV1乃至BVm毎の輝度情報81に基づいて、例えば人物などの主要被写体の輝度、並びに、それ以外の背景領域の平均輝度及び最大輝度をそれぞれ算出する。そして、CPU9は、例えば、主要被写体の輝度が背景領域の平均輝度より低い(暗い)場合、又は、主要被写体の輝度が背景領域の最大輝度よりも著しく低い(暗い)場合、「逆光シーン」のシーン候補102を第1候補として選択する。これに対して、CPU9は、それ以外の場合、例えば上述した平均輝度に基づいて、「風景と人物」のシーン候補101又は「夜景と人物」のシーン候補103を第1候補として選択する。
このように、ステップSeの細分類識別処理が実行されると、主要被写体の3次元配置のみならず、輝度情報も考慮されて、シーン候補がさらに細かく分類されて選択される。その結果、第1候補としてより適切なシーン候補が選択される。
図4に示されるように、液晶ディスプレイ13には、主表示領域111と、サブ表示領域112とが設けられている。図4の例では、フレーム画像51が主表示領域111に表示されている。また、シーン情報121乃至123が、上からその順番でサブ表示領域112に表示されている。
すなわち、シーン情報121乃至123が、フレーム画像51に対して選択されたP=3個のシーン候補をそれぞれ特定する情報である。具体的には、シーン情報121は、一致度が第1位のシーン候補(第1候補)を特定すべく、第1候補のシーン名称及び見本画像から構成されている。同様に、シーン情報122は、一致度が第2位のシーン候補(第2候補)を特定すべく、第2候補のシーン名称及び見本画像から構成されている。シーン情報123は、一致度が第3位のシーン候補(第3候補)を特定すべく、第3候補のシーン名称及び見本画像から構成されている。
なお、シーン情報の構成は、対応するシーン候補を特定可能な構成であれば足り、図4の例に限定されない。その他例えば、シーン候補の説明文をシーン情報として採用することもできる。
具体的には例えば、図4の例では、サブ表示領域112に、シーンモードの選択マーク131が表示されている。したがって、ユーザは、操作部14を操作することで、選択マーク131を、シーン情報121乃至123のうち所望の1つを指し示す位置に移動させることができる。そして、ユーザは、操作部14に対して決定操作をすることで、シーン情報121乃至123のうち、選択マーク131が指し示すシーン情報を選択することができる。この場合、CPU9は、ユーザにより選択されたシーン情報に対応するシーン候補を、選択シーンとして決定する。例えば図4の例では、選択マーク131が指し示すシーン情報121に対応するシーン候補(第1候補)が、選択シーンとして決定される。
例えば本実施の形態では、図5に示されるテーブル情報がROM11に予め記憶されているとする。
図5のテーブル情報には、「ID」、「シーン情報」、「3次元配置条件情報」、「撮影条件設定情報」、及び「画像補正条件設定情報」という各項目が設けられている。また、図5のテーブル情報において、所定の1行は所定の1シーンに対応している。
したがって、同一行の各項目には、所定の1シーンについての同名称の情報、すなわち、ID(Identity)、シーン情報、3次元配置条件情報、撮影条件設定情報、及び、画像補正条件設定情報のそれぞれが格納されている。
ユーザがレリーズ釦を半押ししていない場合、ステップS6においてNOであると判定され、処理はステップS1に戻され、それ以降の処理が繰り返される。すなわち、ユーザがレリーズ釦を半押しするまでの間、ステップS1乃至S6のループ処理が繰り返し実行される。
なお、Treismanの特徴統合理論については、「A.M.Treisman and G.Gelade,“A feature―integration theory of attention”,Cognitive Psychology,Vol.12,No.1,pp.97−136,1980.」を参照すると良い。
また、Itti及びKochらによる顕著性マップについては、「L.Itti,C.Koch, and E.Niebur,“A Model of Saliency−Based Visual Attention for Rapid Scene Analysis”,IEEE Transactions on Pattern Analysis and Machine Intelligence,VOl.20,No11,November 1998.」を参照すると良い。
また、図8AのステップS64の処理では、輝度のCenter−Surroundスケール間差分が、輝度コントラストI(c,s)として求められた。これに対して、図8BのステップS84の処理では、色相(R/G,B/Y)のCenter−Surroundスケール間差分が、色相コントラストとして求められる。なお、色成分のうち、赤の成分がRで示され、緑の成分がGで示され、青の成分がBで示され、黄の成分がYで示されている。また、以下、色相R/Gについての色相コントラストを、RG(c,s)と記述し、色相B/Yについての色相コントラストを、BY(c,s)と記述する。
ここで、上述の例にあわせて、注目画素cが3通り存在して、周辺画素sが2通り存在するとする。この場合、図8AのステップS61乃至S65のループ処理の結果、6通りの輝度コントラストIの特徴量マップが求められた。これに対して、図8BのステップS81乃至S85のループ処理の結果、6通りの色相コントラストRGの特徴量マップと、6通りの色相コントラストBYの特徴量マップとが求められる。
最終的に、図8AのステップS66の処理で、輝度の特徴量マップFIが求められた。これに対して、図8BのステップS86の処理で、色の特徴量マップが求められる。なお、以下、色の特徴量マップを、他の特徴量マップと区別すべく、FCと記述する。
また、ステップS104の処理では、方向性のCenter−Surroundスケール間差分が、方向性コントラストとして求められる。なお、以下、方向性コントラストを、O(c,s,θ)と記述する。
ここで、上述の例にあわせて、注目画素cが3通り存在して、周辺画素sが2通り存在するとする。この場合、ステップS101乃至S105のループ処理の結果、回転角θ毎に、6通りの方向性コントラストOの特徴量マップが求められる。例えば回転角θとして、0°,45°,90°,135°の4方向が採用されている場合には、24通り(=6×4通り)の方向性コントラストOの特徴量マップが求められる。
最終的に、ステップS106の処理で、方向性の特徴量マップが求められる。なお、以下、方向性の特徴量マップを、他の特徴量マップと区別すべく、FOと記述する。
ステップS121において、CPU9は、マルチスケールのコントラストの特徴量マップを求める。これにより、マルチスケールのコントラストの特徴量マップ作成処理は終了となる。
なお、以下、マルチスケールのコントラストの特徴量マップを、他の特徴量マップと区別すべく、Fcと記述する。
なお、以下、Center−Surroundの色ヒストグラムの特徴量マップを、他の特徴量マップと区別すべく、Fhと記述する。
なお、以下、色空間分布の特徴量マップを、他の特徴量マップと区別すべく、Fsと記述する。
すなわち、顕著性マップSを用いた場合、視覚的注意を引きそうな対象は大略推定することが可能である。しかしながら、例えば、乱雑で複雑な背景や、コントラストが低い情景に対して顕著性マップSを用いた場合、誤推定する可能性がある。したがって、このような誤推定を抑制するためには、顕著性マップSの精度や解像度を向上させる必要がある。ところが、小型のデジタルカメラなどで構成される画像処理装置100に対して顕著性マップSを適用する場合、逆に、計算処理能力や要求処理時間といった制限が課される。したがって、このような場合、顕著性マップSを生成するためには、撮像画像サイズや画像更新の周期を間引きしたり、特徴数や階層数などを削減したりする必要が生じる。その結果、顕著性マップSの精度や解像度は、向上するどころかむしろ低下してしまうことになる。
以上まとめると、小型のデジタルカメラなどで構成される画像処理装置100に対して顕著性マップSを適用する場合、顕著性マップSのみを用いて実現可能となるレベルは、AF枠の候補を推定する(合焦枠を自動選択する)レベル程度である。すなわち、顕著性マップSのみを用いてシーンの自動識別をした場合、十分な性能、精度、信頼性などを得ることができない。
図12に示される主要被写体の3次元配置情報は、「画素座標」、「特徴量マップ」、「注目点領域(顕著性マップ)」、「距離/合焦情報(奥行き情報)」、「輝度情報など被写体情報」、及び「顔検出領域か否か」という各項目から構成されている。
図12に示される主要被写体の3次元配置情報において、所定の1行は、処理対象画像データを構成する各画素値のうち所定の1つに対応している。したがって、同一行の各項目には、例えば、所定の1画素についての、画素位置(画素座標)、各特徴量マップのデータ、何れの注目点領域に属するのかについての情報、距離情報(測距情報)、測光情報、及び、顔検出領域か否かを示す情報がそれぞれ格納されている。なお、顔検出については、第2実施形態の説明として後述する。
次に、本発明の第2実施形態を説明する。
なお、本発明の第2実施形態に係る画像処理装置のハードウェアの構成は、第1実施形態に係る画像処理装置100の図1のハードウェアの構成と基本的に同様である。また、CPU9の機能も、第1実施形態のCPU9が有する上述した各種機能をそのまま有している。
例えば、上述した第1実施形態と第2実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、オブジェクトを含む画像と一致するシーンを識別する機能を有する電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)などにより構成される。光磁気ディスクは、MD(Mini−Disk)などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM11や、図示せぬハードディスクなどで構成される。
Claims (7)
- 主要被写体を含む入力画像に対して、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定部と、
前記主要被写体に関する距離情報を取得する第1の取得部と、
前記推定部により推定された前記注目点領域、及び、前記第1の取得部により取得された前記距離情報を用いて、前記主要被写体の3次元的な配置位置に関する3次元配置情報を生成する生成部と、
前記生成部により生成された前記3次元配置情報、及び、複数シーン毎に予め生成されている、物体の3次元的な配置条件を示す条件情報を用いて、前記複数シーンの中から、前記入力画像と一致するシーンの候補を選択する選択部と
を備える画像処理装置。 - 前記主要被写体の所定の状態に関する状態情報を取得する第2の取得部をさらに備え、
前記選択部は、前記シーンの候補を選択する場合に、さらに、前記第2の取得部により取得された前記状態情報を用いる
請求項1に記載の画像処理装置。 - 前記第2の取得部は、前記状態情報として、前記主要被写体の輝度分布を取得する
請求項2に記載の画像処理装置。 - 前記入力画像に前記主要被写体として含まれる人物の顔を検出する検出部をさらに備え、
前記選択部は、前記シーンの候補を選択する場合に、さらに、前記検出部により検出された前記人物の顔を用いる
請求項1乃至3のうちの何れかに記載の画像処理装置。 - 前記主要被写体を撮影する撮影部をさらに備え、
前記入力画像は、前記撮影部により前記主要被写体が撮影された結果得られる画像である
請求項1乃至4のうちの何れかに記載の画像処理装置。 - 前記選択部により選択された前記シーンの候補の中から、1つのシーンを決定する決定部と、
前記決定部により決定された前記シーンを用いて、前記撮影部に対する撮影条件を設定する設定部と
をさらに備える請求項5に記載の画像処理装置。 - 主要被写体を含む入力画像に対して、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定ステップと、
前記主要被写体に関する距離情報を取得する取得ステップと、
前記推定ステップの処理により推定された前記注目点領域、及び、前記取得ステップの処理により取得された前記距離情報を用いて、前記主要被写体の3次元的な配置位置に関する3次元配置情報を生成する生成ステップと、
前記生成ステップの処理により生成された前記3次元配置情報、及び、複数シーン毎に予め生成されている、物体の3次元的な配置条件を示す条件情報を用いて、前記複数シーンの中から、前記入力画像と一致するシーンの候補を選択する選択ステップと
を含む画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009171227A JP5375401B2 (ja) | 2009-07-22 | 2009-07-22 | 画像処理装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009171227A JP5375401B2 (ja) | 2009-07-22 | 2009-07-22 | 画像処理装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011029763A true JP2011029763A (ja) | 2011-02-10 |
JP2011029763A5 JP2011029763A5 (ja) | 2012-08-09 |
JP5375401B2 JP5375401B2 (ja) | 2013-12-25 |
Family
ID=43638033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009171227A Active JP5375401B2 (ja) | 2009-07-22 | 2009-07-22 | 画像処理装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5375401B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014064061A (ja) * | 2012-09-19 | 2014-04-10 | Canon Inc | 撮像装置及びその制御方法 |
KR20150050486A (ko) * | 2013-10-30 | 2015-05-08 | 가부시키가이샤 모르포 | 화상처리장치, 화상처리방법 및 프로그램 |
JP2015146500A (ja) * | 2014-02-03 | 2015-08-13 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295581A (ja) * | 2005-04-12 | 2006-10-26 | Olympus Corp | 撮影システム、および映像信号処理プログラム |
JP2008022333A (ja) * | 2006-07-13 | 2008-01-31 | Fujifilm Corp | 撮像装置及び撮像方法 |
-
2009
- 2009-07-22 JP JP2009171227A patent/JP5375401B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295581A (ja) * | 2005-04-12 | 2006-10-26 | Olympus Corp | 撮影システム、および映像信号処理プログラム |
JP2008022333A (ja) * | 2006-07-13 | 2008-01-31 | Fujifilm Corp | 撮像装置及び撮像方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014064061A (ja) * | 2012-09-19 | 2014-04-10 | Canon Inc | 撮像装置及びその制御方法 |
KR20150050486A (ko) * | 2013-10-30 | 2015-05-08 | 가부시키가이샤 모르포 | 화상처리장치, 화상처리방법 및 프로그램 |
KR101709380B1 (ko) | 2013-10-30 | 2017-02-22 | 가부시키가이샤 모르포 | 화상처리장치, 화상처리방법 및 프로그램 |
JP2015146500A (ja) * | 2014-02-03 | 2015-08-13 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5375401B2 (ja) | 2013-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4844657B2 (ja) | 画像処理装置及び方法 | |
CN101416219B (zh) | 数字图像中的前景/背景分割 | |
JP5279654B2 (ja) | 画像追尾装置、画像追尾方法、及びコンピュータプログラム | |
US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
KR20090045870A (ko) | 촬상 장치, 그 제어 방법 및 프로그램 | |
JP4732299B2 (ja) | 特定被写体像の検出方法およびデジタルカメラ | |
JP2011035636A (ja) | 画像処理装置及び方法 | |
JP5939705B2 (ja) | 被写体判定装置、被写体判定方法及びプログラム | |
JP2009177271A (ja) | 撮像装置、その制御方法およびプログラム | |
US8369619B2 (en) | Method and apparatus for skin color correction and digital photographing apparatus using both | |
JP2009111716A (ja) | 撮像装置、プログラムおよびテンプレート生成方法 | |
Rahman et al. | Real-time face-priority auto focus for digital and cell-phone cameras | |
JP2017229061A (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP5471130B2 (ja) | 画像処理装置及び方法 | |
JP5375401B2 (ja) | 画像処理装置及び方法 | |
CN107547789B (zh) | 影像获取装置及其摄影构图的方法 | |
JP2011039596A (ja) | 画像追尾装置、画像追尾方法、及びコンピュータプログラム | |
JP2001304855A (ja) | 測距装置 | |
JP5515492B2 (ja) | 画像処理装置及び方法 | |
JP5509621B2 (ja) | 画像処理装置、カメラおよびプログラム | |
JP2011035634A (ja) | 画像処理装置及び方法 | |
JP4716266B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP2011134019A (ja) | 画像処理装置及びその制御方法 | |
CN113992904A (zh) | 一种信息处理方法、装置、电子设备和可读存储介质 | |
JP5463688B2 (ja) | 合焦評価装置、カメラおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5375401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |