JP2011211598A - 撮像システムおよび撮像装置 - Google Patents
撮像システムおよび撮像装置 Download PDFInfo
- Publication number
- JP2011211598A JP2011211598A JP2010078674A JP2010078674A JP2011211598A JP 2011211598 A JP2011211598 A JP 2011211598A JP 2010078674 A JP2010078674 A JP 2010078674A JP 2010078674 A JP2010078674 A JP 2010078674A JP 2011211598 A JP2011211598 A JP 2011211598A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- imaging
- imaging device
- pan
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】撮像システムは撮像装置Aと撮像装置Bとから構成される。撮像装置Aが追被写体Aを追尾し、撮像装置Bは被写体Bを追尾する。撮像装置A、Bは、画像解析部114、動作制御部115、メタデータ生成部116、接近判定部117、動き予測部118、構図決定部119、撮像トリガ生成部120を備える。被写体Aと被写体Bとが接近した場合に撮像装置Bからメタデータを撮像装置Aに送信し、メタデータに基づいて撮像装置Aは構図を決定する。そして、被写体Aと被写体Bが近づいて被写体Bが撮像装置Aの撮像範囲に入ったら決定した構図で撮像を行う。
【選択図】図6
Description
<1.第1の実施の形態>
[1−1.撮像システムの構成]
[1−2.撮像装置の構成]
[1−3.撮像システムの動作]
[1−4.構図決定の具体例]
[1−5.応用例]
<2.第2の実施の形態>
[2−1.撮像システムの動作]
[2−2.応用例]
<3.変形例>
[1−1.撮像システムの構成]
図1は、この発明に係る撮像システム1の概略構成を示す図である。図1に示すように撮像システム1は、近接した状態で並設された撮像装置Aと撮像装置Bとから構成されている。撮像装置Aが特許請求の範囲における第1の撮像装置に相当し、撮像装置Bが第2の撮像装置に相当するものである。また、請求項10以降においては、撮像装置Aが撮像装置、撮像装置Bが他の撮像装置に相当する。なお、本実施の形態では、撮像装置Aおよび撮像装置Bとしては、静止画像を記録するデジタルスチルカメラが用いられている。撮像装置Aと撮像装置Bとは後述する通信部108を介して接続されており、メタデータ、画像データ、撮像トリガなどの各種データの送受信が可能となっている。各種データの詳細およびその送受信については後述する。
以下、上述の撮像システム1を構成する撮像装置A、撮像装置Bについて説明する。図2は、この発明に係る撮像装置Aの構成を示すブロック図である。また、図3は撮像装置の外観構成を示す図である。なお、撮像装置Bの構成も撮像装置Aと同様であるため、その説明を省略する。撮像装置Aは、被写体の撮像を行う撮像部100と撮像部100のパン・チルト動作を担う駆動部200とから構成されている。
以下、撮像システム1が行う撮像処理について説明する。図5Aは、第1の実施の形態において撮像装置Aが行う処理の流れを示すフローチャートである。図5Bは、撮像装置Bが行う処理の流れを示すフローチャートである。撮像装置Aが行う処理と撮像装置Bが行う処理とは常時並行して行われる。
例えば、笑顔撮影の場合は、撮像装置Aは上述の処理を行いながら常時入力画像データをバッファメモリ109に蓄えている。さらに、上述の処理と並行して常時被写体の表情判定を行い、被写体の笑顔が検出されたら撮像トリガをスイッチ110に出力する。これにより、被写体の笑顔を捉えた画像データがエンコード部111に送られて、最終的に記録部112に保存される。
図6および図7は構図の決定の具体例をそれぞれ示すものである。まず、図6に示す例について説明する。まず、図6Aの状態は、撮像装置Aは被写体Aを自動追尾して撮像している。また、撮像装置Bは被写体Aとは異なる被写体Bを検出し、被写体Bと被写体Aとが「接近している状態」と判定したため被写体Bを追尾対象として決定し、メタデータBを撮像装置Aに送信した状態である。すなわち、撮像装置Aにおいては、ステップS111乃至ステップS114までが行われ、撮像装置BにおいてはステップS121乃至ステップS128までが行われた状態である。そして、被写体Bは被写体Aにさらに接近しようとしている。
次に、第1の実施の形態の応用例について説明する。図8A、図8Bは共に、被写体Aは同じ位置に留まっており、被写体Bが被写体Aに向けて移動している場合を示すものである。図8Aは被写体Bの移動速度が速い例を示すものであり、図8Bは被写体Bの移動速度が遅い例を示すものである。この応用例では、被写体Bの動きに合わせて撮像範囲Aの調整を行うことによって、被写体Aおよび被写体Bを常に撮像装置Aの撮像範囲A内に収めながら、被写体Bが被写体Aに徐々に近づいてゆく過程を逃さず捉えることができる。
以下、この発明の第2の実施の形態について図9乃至図11を参照して説明を行う。なお、撮像システム1、撮像装置Aおよび撮像装置Bの構成は第1の実施の形態と同様であるため、その説明を省略する。
なお、第2の実施の形態においては、前提として、撮像装置Aはあらかじめ設定された被写体Aを自動追尾しており、所定のアルゴリズムに従い撮像を行うものとする。また、撮像装置Bもあらかじめ設定された被写体B(被写体Aとは異なる。)を自動追尾しており、所定のアルゴリズムに従い撮像を行うものとする。所定のアルゴリズムは、第1の実施の形態で説明したのと同様に、追尾対象としている被写体の笑顔を検出したときに撮影を行う、一定の時間間隔を空けて定期的に撮像を行う、同一被写体は10秒以上間隔を空けて撮像する、一回の撮像ごとにズーム倍率を変更して撮像を行う、などである。
次に、図11を参照して第2の実施の形態の応用例について説明する。図11は応用例において撮像装置で行われる処理を示すフローチャートである。図11のフローチャートは撮像装置Aが行う処理についてのものである。撮像装置Bも撮像装置Aと同様の処理を行うため、撮像装置Bについてのフローチャートは省略する。この応用例は、第2の実施の形態におけるステップS216およびステップS226のズーム倍率の調整は行わず、被写体の接近の度合いに応じて撮像の頻度のみを変更する、というものである。
以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。第1および第2の実施の形態においては撮像装置は2つである場合を想定して説明を行ったが、撮像装置の数は2つに限られず、それ以上でもよい。また、被写体が接近した場合に構図の決定、撮像トリガの生成が行われる場合を想定して説明を行ったが、逆に被写体Aと被写体Bとが離れていく場合に構図を決定し、撮像トリガを生成してもよい。
100・・・撮像部
108・・・通信部
112・・・記録部
113・・・制御部
114・・・画像解析部
115・・・動作制御部
116・・・メタデータ生成部
117・・・接近判定部
118・・・動き予測部
119・・・構図決定部
120・・・撮像トリガ生成部
Claims (19)
- 相互通信可能な複数の撮像装置からなり、複数の被写体を撮像する撮像システムにおいて、
前記複数の撮像装置に含まれる第1の撮像装置は、第1のメタデータを生成して前記複数の撮像装置に含まれる第2の撮像装置に送信し、
前記第2の撮像装置は、第2のメタデータを生成して前記第1の撮像装置に送信し、
前記第1の撮像装置および前記第2の撮像装置のうちいずれか一方または両方は、前記第1のメタデータおよび前記第2のメタデータに基づいて構図を決定する
撮像システム。 - 前記第1の撮像装置は、前記複数の被写体に含まれる第1の被写体と前記複数の被写体に含まれる第2の被写体とが接近しているか否かを判定し、
前記第1の被写体と前記第2の被写体とが接近していると判定した場合に、前記第1の被写体と前記第2の被写体とが撮像範囲内に収まるように構図を決定する
請求項1に記載の撮像システム。 - 前記第1の撮像装置は、パン・チルト動作可能な駆動部を備え、決定された前記構図に基づいて前記駆動部のパン・チルト動作を制御する
請求項2に記載の撮像システム。 - 前記第1の撮像装置は、決定された前記構図に基づいてズーム倍率を調整する請求項2に記載の撮像システム。
- 前記第1の撮像装置および第2の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記第1のメタデータは、前記第1の撮像装置の撮像範囲内における前記第1の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものであり、
前記第2のメタデータは、前記第2の撮像装置の撮像範囲内における前記第2の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものである
請求項1に記載の撮像システム。 - 前記第1の撮像装置および/または前記第2の撮像装置は、前記複数の被写体に含まれる第1の被写体と前記複数の被写体に含まれる第2の被写体とが接近しているか否かを判定する第1の接近判定を行い、
該第1の接近判定により該第1の被写体と該第2の被写体とが接近していると判定した場合に、前記第1の撮像装置と前記第2の撮像装置の撮像範囲のサイズが一致するように構図を決定する
請求項1に記載の撮像システム。 - 前記第1の撮像装置および/または前記第2の撮像装置は、前記第1の被写体と前記第2の被写体とが接近しているか否かを判定する第2の接近判定を行い、
該第2の接近判定により前記第1の被写体と前記第2の被写体とが接近していると判定した場合に、前記第1の被写体および前記第2の被写体の撮像を行う
請求項6に記載の撮像システム。 - 前記第1の撮像装置および/または前記第2の撮像装置は、前記第1の被写体と前記第2の被写体間の距離に基づいて前記第1の接近判定および前記第2の接近判定を行い、
前記第2の接近判定は、前記第1の被写体と前記第2の被写体間の距離が、前記第1の接近判定において接近していると判定した場合における前記第1の被写体と前記第2の被写体間の距離よりも短い場合に前記第1の被写体と前記第2の被写体が接近していると判定する請求項7に記載の撮像システム。 - 前記第1の撮像装置および第2の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記第1のメタデータは、前記第1の撮像装置の撮像範囲内における前記第1の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものであり、
前記第2のメタデータは、前記第2の撮像装置の撮像範囲内における前記第2の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものである
請求項6に記載の撮像システム。 - 複数の撮像装置からなり、複数の被写体を撮像する撮像システムを構成する撮像装置において、
該撮像装置は、
メタデータを生成するメタデータ生成部と、
該メタデータ生成部により生成された前記メタデータを前記撮像システムを構成する他の撮像装置に送信し、さらに、該他の撮像装置が生成した他のメタデータを受信する通信部と、
前記メタデータおよび前記他のメタデータに基づいて撮像の構図を決定する構図決定部と
を備える撮像装置。 - 前記撮像装置はさらに、
前記複数の被写体に含まれる第1の被写体と前記複数の被写体に含まれる第2の被写体とが接近しているか否かを判定する接近判定部を備え、
前記構図決定部は、該接近判定部により前記第1の被写体と前記第2の被写体とが接近していると判定された場合に前記第1の被写体と前記第2の被写体とが撮像範囲内に収まるように構図を決定する
請求項10に記載の撮像装置。 - 前記撮像装置はさらに、
パン・チルト動作可能な駆動部を備え、決定された前記構図に基づいて前記駆動部のパン・チルト動作を制御する
請求項11に記載の撮像装置。 - 前記撮像装置は、決定された前記構図に基づいてズーム倍率を調整する請求項11に記載の撮像装置。
- 前記撮像装置はさらに、
前記複数の被写体に含まれる第1の被写体と第2の被写体とが接近しているか否かを判定する接近判定部と、
該接近判定部により前記第1の被写体と前記第2の被写体とが接近していると判定した場合に前記メタデータを前記他の撮像装置に送信する
請求項10に記載の撮像装置。 - 前記撮像装置および前記他の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記メタデータは、前記撮像装置の撮像範囲内における前記第1の被写体の大きさおよび位置を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものであり、
前記他のメタデータは、前記他の撮像装置の撮像範囲内における前記第2の被写体の大きさおよび位置を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものである
請求項10または14に記載の撮像装置。 - 前記撮像装置はさらに、
前記第1の被写体と前記第2の被写体とが接近しているか否かを判定する接近判定部を備え、
前記構図決定部は、該接近判定部により行われる第1の接近判定により該第1の被写体と該第2の被写体とが接近していると判定された場合に、前記撮像装置と前記他の撮像装置の撮像範囲のサイズが一致するように構図を決定する
請求項10に記載の撮像装置。 - 前記接近判定部はさらに、
前記第1の被写体と前記第2の被写体とが接近しているか否かを判定する第2の接近判定を行い、
該第2の接近判定により前記第1の被写体と前記第2の被写体とが接近していると判定した場合に、前記第1の被写体および前記第2の被写体の撮像を行う
請求項16に記載の撮像装置。 - 前記第1の接近判定および前記第2の接近判定は、前記第1の被写体と前記第2の被写体間の距離に基づいて前記第1の被写体と前記第2の被写体とが接近しているか否かの判定を行い、
前記第2の接近判定は、前記第1の被写体と前記第2の被写体間の距離が、前記第1の接近判定において接近していると判定した場合の前記第1の被写体と前記第2の被写体間の距離よりも短い場合に前記第1の被写体と前記第2の被写体が接近していると判定する請求項17に記載の撮像装置。 - 前記撮像装置および前記他の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記メタデータは、前記撮像装置の撮像範囲内における前記第1の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報からなり、
前記他のメタデータは、前記他の撮像装置の撮像範囲内における前記第2の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報からなる
請求項16に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010078674A JP5625443B2 (ja) | 2010-03-30 | 2010-03-30 | 撮像システムおよび撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010078674A JP5625443B2 (ja) | 2010-03-30 | 2010-03-30 | 撮像システムおよび撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011211598A true JP2011211598A (ja) | 2011-10-20 |
JP5625443B2 JP5625443B2 (ja) | 2014-11-19 |
Family
ID=44942174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010078674A Expired - Fee Related JP5625443B2 (ja) | 2010-03-30 | 2010-03-30 | 撮像システムおよび撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5625443B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014024362A1 (ja) * | 2012-08-06 | 2014-02-13 | 株式会社ニコン | 電子機器、方法およびプログラム |
JP2015042003A (ja) * | 2013-08-23 | 2015-03-02 | 明星電気株式会社 | 移動体追尾装置、移動体追尾方法 |
WO2015146102A1 (ja) * | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 画像認識装置、画像認識方法、画像認識プログラムが記録された記録媒体、及び、画像認識システム |
JP2020005120A (ja) * | 2018-06-28 | 2020-01-09 | セコム株式会社 | 監視装置 |
WO2021193053A1 (ja) * | 2020-03-24 | 2021-09-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP7176868B2 (ja) | 2018-06-28 | 2022-11-22 | セコム株式会社 | 監視装置 |
WO2023276005A1 (ja) * | 2021-06-29 | 2023-01-05 | 三菱電機株式会社 | 制御装置、撮影システムおよび追尾制御方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003274257A (ja) * | 2002-03-13 | 2003-09-26 | Matsushita Electric Ind Co Ltd | 自動動画撮影システム、自動動画撮影方法および自動動画撮像装置 |
JP2005203860A (ja) * | 2004-01-13 | 2005-07-28 | Olympus Corp | 画像記録システム、カメラ及び被写体観察システム |
JP2006086591A (ja) * | 2004-09-14 | 2006-03-30 | Canon Inc | 移動体追跡システム、撮影装置及び撮影方法 |
JP2007067510A (ja) * | 2005-08-29 | 2007-03-15 | Toshiba Corp | 映像撮影システム |
JP2007208659A (ja) * | 2006-02-01 | 2007-08-16 | Canon Inc | 連携カメラシステム |
JP2009100301A (ja) * | 2007-10-17 | 2009-05-07 | Sony Corp | 構図判定装置、構図判定方法、プログラム |
JP2009141606A (ja) * | 2007-12-05 | 2009-06-25 | Canon Inc | 映像処理システム、映像処理装置、映像処理方法 |
-
2010
- 2010-03-30 JP JP2010078674A patent/JP5625443B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003274257A (ja) * | 2002-03-13 | 2003-09-26 | Matsushita Electric Ind Co Ltd | 自動動画撮影システム、自動動画撮影方法および自動動画撮像装置 |
JP2005203860A (ja) * | 2004-01-13 | 2005-07-28 | Olympus Corp | 画像記録システム、カメラ及び被写体観察システム |
JP2006086591A (ja) * | 2004-09-14 | 2006-03-30 | Canon Inc | 移動体追跡システム、撮影装置及び撮影方法 |
JP2007067510A (ja) * | 2005-08-29 | 2007-03-15 | Toshiba Corp | 映像撮影システム |
JP2007208659A (ja) * | 2006-02-01 | 2007-08-16 | Canon Inc | 連携カメラシステム |
JP2009100301A (ja) * | 2007-10-17 | 2009-05-07 | Sony Corp | 構図判定装置、構図判定方法、プログラム |
JP2009141606A (ja) * | 2007-12-05 | 2009-06-25 | Canon Inc | 映像処理システム、映像処理装置、映像処理方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014024362A1 (ja) * | 2012-08-06 | 2014-02-13 | 株式会社ニコン | 電子機器、方法およびプログラム |
JP2015042003A (ja) * | 2013-08-23 | 2015-03-02 | 明星電気株式会社 | 移動体追尾装置、移動体追尾方法 |
WO2015146102A1 (ja) * | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 画像認識装置、画像認識方法、画像認識プログラムが記録された記録媒体、及び、画像認識システム |
JPWO2015146102A1 (ja) * | 2014-03-28 | 2017-04-13 | 日本電気株式会社 | 画像認識装置、画像認識方法、画像認識プログラム、及び、画像認識システム |
JP2020005120A (ja) * | 2018-06-28 | 2020-01-09 | セコム株式会社 | 監視装置 |
JP7086752B2 (ja) | 2018-06-28 | 2022-06-20 | セコム株式会社 | 監視装置 |
JP7176868B2 (ja) | 2018-06-28 | 2022-11-22 | セコム株式会社 | 監視装置 |
WO2021193053A1 (ja) * | 2020-03-24 | 2021-09-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US20230132986A1 (en) * | 2020-03-24 | 2023-05-04 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
WO2023276005A1 (ja) * | 2021-06-29 | 2023-01-05 | 三菱電機株式会社 | 制御装置、撮影システムおよび追尾制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5625443B2 (ja) | 2014-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5625443B2 (ja) | 撮像システムおよび撮像装置 | |
US20200221014A1 (en) | Image pickup device and method of tracking subject thereof | |
US8831282B2 (en) | Imaging device including a face detector | |
US9716831B2 (en) | Imaging control apparatus, imaging control method, and program | |
US11812132B2 (en) | Imaging device, control method therefor, and recording medium | |
US20090322896A1 (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
US20140029799A1 (en) | Image processing device and image processing method | |
EP2051505A2 (en) | Composition determining apparatus, composition determining method, and program | |
CN111294488B (zh) | 摄像设备及其控制方法和存储介质 | |
JP2014023159A (ja) | 撮影装置、その撮影制御方法及び眼球認識装置 | |
WO2020078440A1 (zh) | 采集高清晰度面部图像的装置和摄像头云台自动俯仰调节的方法 | |
TW201121307A (en) | Image pickup controller, image pickup control method, program, and image pickup system | |
JP2011166305A (ja) | 画像処理装置および撮像装置 | |
CN102111540A (zh) | 图像处理装置、图像处理方法以及程序 | |
RU2762998C2 (ru) | Оборудование фиксации изображений и способ управления для него | |
JP2017046321A (ja) | 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム | |
JP6011569B2 (ja) | 撮像装置、被写体追尾方法及びプログラム | |
JP6624800B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
JP2017204795A (ja) | 追尾装置 | |
JP2008154189A (ja) | 撮像装置及び撮像方法 | |
JP2005020205A (ja) | 画像撮影装置 | |
CN104243777A (zh) | 显示控制装置、显示控制方法、程序和图像拾取装置 | |
CN111512625B (zh) | 摄像设备及其控制方法和存储介质 | |
US11818457B2 (en) | Image capturing apparatus, control method therefor, and storage medium | |
WO2021140879A1 (ja) | 撮像装置、撮像装置の制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140915 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5625443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |