JP2011130014A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2011130014A
JP2011130014A JP2009284238A JP2009284238A JP2011130014A JP 2011130014 A JP2011130014 A JP 2011130014A JP 2009284238 A JP2009284238 A JP 2009284238A JP 2009284238 A JP2009284238 A JP 2009284238A JP 2011130014 A JP2011130014 A JP 2011130014A
Authority
JP
Japan
Prior art keywords
image
optical system
imaging
output
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009284238A
Other languages
English (en)
Other versions
JP5606053B2 (ja
Inventor
Teruhiro Nishio
彰宏 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009284238A priority Critical patent/JP5606053B2/ja
Publication of JP2011130014A publication Critical patent/JP2011130014A/ja
Application granted granted Critical
Publication of JP5606053B2 publication Critical patent/JP5606053B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Lenses (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Studio Devices (AREA)

Abstract

【課題】結像光学系が付加されて2回以上の偶数回結像方式で被写体像を形成すると共に出力画像を自動的に正位置画像とすることが可能な撮像装置を提供する。
【解決手段】デジタルカメラ100は、撮像素子104の出力を処理することによって出力画像信号の反転又は回転を行なう画像処理手段と、筺体101aの移動を検出するカメラ移動検出手段103と、撮像素子104の出力に基づいて被写体像の移動方向を検出する画像移動検出手段105と、両移動検出手段の出力を比較することによって画像処理手段を制御する制御手段と、を有する。
【選択図】図4

Description

本発明は、撮像装置に関する。
従来、撮影装置に付加光学系を接続して2回以上の偶数回結像方式で被写体像を形成する場合に、画像の上下左右で反転するという問題があった。これに対して、テレビジョンシステムや液晶プロジェクターに関しては、画像を反転や回転を行なう提案がなされている(特許文献1及び2)。
特開平4−192678号公報 特開2005−24573号公報
しかしながら、特許文献1及び特許文献2は、画像の上下及び左右の反転の自動判別手段を具体的に示しておらず、使用者が手動で切り替え操作を行なわなければならなかった。
本発明は、結像光学系が付加されて2回以上の偶数回結像方式で被写体像を形成すると共に出力画像を自動的に正位置画像とすることが可能な撮像装置を提供することを例示的な目的とする。
本発明の一側面としての撮像装置は、着脱可能な結像光学系を有し、被写体像を形成する撮影光学系と、当該撮影光学系が形成する被写体像を光電変換する撮像素子と、前記撮影光学系と前記撮像素子を収納する筺体と、前記撮像素子の出力を処理することによって出力画像信号の反転又は回転する画像処理手段と、前記筺体の移動を検出する第1移動検出手段と、前記撮像素子の出力に基づいて前記被写体像の移動方向を検出する第2移動検出手段と、前記第1移動検出手段と前記第2移動検出手段の出力を比較することによって前記画像処理手段を制御する制御手段と、を有することを特徴とする。
本発明は、結像光学系が付加されて2回以上の偶数回結像方式で被写体像を形成すると共に出力画像を自動的に正位置画像とすることが可能な撮像装置を提供することができる。
本実施例のアタッチメント光学系と撮影光学系が接続された撮像装置(光学装置)の光路図である。 図2(a)は、図1の撮像装置が無限遠方の被写体を2回結像している状態を示す光路図であり、図2(b)は、図1の対物光学系に反射部材を挿入して対物光学系を屈曲させた状態を示す光路図である。 図2に示すアタッチメント光学系が装着されたデジタルカメラの概略断面図である。 図3に示すプロセッサが実行する画像処理のフローチャートである。 本実施例の制御系のブロック図である。
図1は、アタッチメント光学系(光学装置)Aが撮影光学系Mの物体側に装着されたデジタルカメラ(撮像装置)の光路図である。アタッチメント光学系Aが装着されると撮影光学系Mと共に被写体像を形成する撮像装置の撮影光学系を構成する。SPは虹彩絞り、FILは赤外カットやローパス等のフィルタ類、IPは結像面を示す。
本実施例は、デジタルコンパクトカメラ(撮像装置)のように、本来備わっている変倍
光学系である一般的な仕様の撮影光学系(再結像光学系)の物体側に結像光学系であるアタッチメント光学系を着脱可能に接続して2回結像光学系を実現している。撮像装置は、アタッチメント光学系と撮影光学系の2回結像光学系により、レンズ外径を大型にせずに超広角な撮影画角を得ることができる。もちろん、アタッチメント光学系Aは撮影光学系Mと共に2回よりも多い偶数回の結像を行なってもよい。
アタッチメント光学系Aは、物体側から順に、対物光学系B1、フィールドレンズ群B2及び補正レンズ群B3を有する。対物光学系B1は全体が正の屈折力を有する。フィールドレンズ群B2は、必須ではないが対物光学系B1の結像位置近傍に配置され、正の屈折力を有して軸外光線を偏向して撮影光学系Mに導光する。補正レンズ群B3は、軸上光線を平行化としてアタッチメント光学系Aから射出し、正の屈折力を有する。補正レンズ群B3は、対物光学系B1よりも撮影光学系Mに近い。補正レンズ群B3は、対物光学系B1が結像する空中像を撮影光学系Mの結像面IPの位置に焦点を合わせる機能を有する。
好ましくは、対物光学系B1は、物体側から順に互いに像側のレンズ面が強い凹面である2枚の負レンズで構成された負の屈折力を有した前レンズ群B1aを有し、各レンズ面の曲率を弱めて非点収差の発生を低減する。また、対物光学系B1は、物体側から順に空気間隔を挟んで正レンズ負レンズが接合された全体が正の屈折力である接合レンズと凸レンズで構成された正の屈折力を有した後レンズ群B1bを有する。
また、フィールドレンズ群B2は、物体側から順に物体側に凸形状を有した正レンズと空気間隔を挟んで物体側に凹形状を有した負レンズを有する。正レンズにより、入射光線の偏向作用を行なった後に、その像側の負レンズが球面収差の補正を行なう。その結果、フィールドレンズ群から射出される光線は近平行光となり、その後リレーレンズ群を介して再結像される像の周辺ケラレを防止することができる。
補正レンズ群B3は色収差の発生を押えるために正レンズと負レンズを組み合わせたダブレットを有することが好ましい。
撮影光学系Mは、物体側から順に、正レンズ群MB1、負レンズ群MB2、正レンズ群MB3、正レンズ群MB4からなる4群構成を有する。撮影光学系Mは、各レンズ群間隔を変化させて変倍作用を行なうと同時に結像面の位置変化がないように各レンズ群移動を行なう。また、撮影光学系Mは、レンズ群MB4を光軸方向に移動させることでフォーカス作用を行なう。なお、撮影光学系Mは、物体側から順に、負レンズ群と正レンズ群からなる2群構成を有してもよい。この場合、撮影光学系Mは、両レンズ群の間隔変化と共に結像面IPからの位置を変化させることで変倍中も焦点移動を起さない変倍構造を有し、フォーカス作用は正レンズ群を光軸方向に移動させることで行なう。
図2(a)は、図1に示す撮像装置が無限遠方の被写体像が2回結像した状態を示す光路図であり、この光学系による被写体像は本来の正立した被写体像に対して上下及び左右が反転する。
図2(b)は、図1の撮像装置の対物光学系B1内に反射部材Rを挿入して同時に対物光学系B1の前側レンズ群B1aを屈曲させることで撮影方向を偏向している状態を示す光路図である。図2(b)に示す光学系による被写体像は、反射部材Rの挿入前に対して偏向方向に結像が反転するため、この光学系による被写体像は本来の正立した被写体像に対して左右が反転する。なお、反射部材Rの挿入位置は限定されない。
図3は、アタッチメント光学系Aがデジタルカメラ(撮像装置)100に装着された状態を示す概略断面図である。デジタルカメラ100は、撮影光学系Mを収納するコンバータアタッチメント110の物体側にアタッチメント光学系Aを収納するアタッチメント光学装置120を交換可能に装着している。コンバータアタッチメント110は、デジタルカメラ100に装着されるアダプターリングであり、アタッチメント光学装置120をデジタルカメラ100に固定するための中間部材である。
アタッチメント光学装置120の先端には、対物光学系B1の前側レンズ群B1aを収納する鏡筒122を物体側に有して反射部材Rを収納する遮光部材124が取り付けられる。遮光部材124は蛇腹やゴム材のような伸縮自在な材料からなり、反射部材Rを光路に挿入及び退避させる手段として機能する。反射部材Rは、対物光学系B1の空気間隔部に挿入され、図2(b)に示すように、90°だけ光路を偏向する。反射部材Rは、回動にて退避が可能であり、同時に反射部材Rが退避した後に光軸上に対物光学系B1の前側レンズ群B1aを配置するように矢印方向に回動を行なえば、図2(a)に示すストレート構造の光学系を構成することができる。
デジタルカメラ100は、液晶モニタ(表示部)101b、姿勢検出手段102、カメラ移動検出手段103、撮像素子104、画像移動検出手段105、プロセッサ106、及びこれらを収納する筺体101aを更に有する。
姿勢検出手段102は横位置と縦位置を検出する。カメラ移動検出手段103は、パン(水平)方向とチルト(垂直)方向への筺体101aの移動を検出する第1移動検出手段である。なお、図3では、カメラ移動検出手段103が、パンとチルトの2軸を同時に検出しているが、パンとチルトを独立した2つの検出手段により構成されてもよいし、カメラ移動検出手段103は姿勢検出手段102の機能を更に有してもよい。姿勢検出手段102とカメラ移動検出手段103は、振動ジャイロなどの角度検出器の出力を不図示の積分処理により角度信号に変換して出力する。
撮像素子104は、撮影光学系M又はアタッチメント光学系Aと撮像光学系Mによって形成される被写体像を光電変換する。画像移動検出手段105は、撮像素子104からの画像情報から画像がどの方向に移動したのかを判断する。画像移動検出手段105は、一般に、時間差を設けた対の画像の比較により画像の動きベクトルを検出する第2移動検出手段である。
プロセッサ(CPU)106は、カメラ移動検出手段103の検出結果を取得してデジタルカメラ100の移動方向を判断する移動方向判断手段として機能する。次に、プロセッサ106は、移動方向判断手段と画像移動検出手段の結果に基づいてデジタルカメラ100の微動による移動方向と出力画像の移動方向を比較する移動方向比較手段として機能する。次に、プロセッサ106は、撮像素子104の出力を処理することによって出力画像信号の反転又は回転する画像処理手段として機能する。更に、プロセッサ106は、カメラ移動検出手段103と画像移動検出手段105の出力を比較することによって画像処理手段を制御する制御手段としても機能する。プロセッサ106は、画像処理済みの画像を液晶モニタ101bや不図示の記憶媒体へ出力する画像出力手段としても機能する。なお、姿勢検出手段102とプロセッサ106の画像回転手段は、必須ではなく縦、横撮影時に出力画像の認識性を高めるために必要であれば用いる。
図4は、プロセッサ106が実行する画像処理のフローチャートである。図中、「S」はステップを意味する。なお、被写体像は初期状態では上下及び左右が反転した状態であり、デジタルカメラ100は横位置が基準であるものとする。
まず、画像処理が開始すると、プロセッサ106は、現在の姿勢を検出する(S1)。次に、カメラの手振れによる微動にてプロセッサ106は、カメラの移動方向と画像の移動方向を検出する(S2)。次に、プロセッサ106は、カメラのパン移動方向と画像移動方向は一致するかどうかを判断する(S3)。プロセッサ106は、一致していると判断すると(S3のはい)、画像の左右反転処理を行なう(S4)。
一方、プロセッサ106は、一致していないと判断した場合(S3のいいえ)又はS4の後で、カメラのチルト(上下)移動方向と画像の移動方向が一致しているかどうかを判断する(S5)。プロセッサ106は、一致していると判断すると(S5のはい)、画像の上下反転処理を行なう(S6)。
S5のいいえの場合又はS6の後で、プロセッサ106は、S1の結果を利用してカメラが縦位置であるかどうかを判断し(S7)、そうであれば(S7のはい)、画像の回転処理を行う(S8)。プロセッサ106は、S7のいいえの場合又はS8の後で、画像情報を出力して(S9)、処理を終了する。
なお、このフローは一例であって画像の反転や回転はパンやチルト方向等の判断時の都度に行なわなくともよい。例えば、各段階の判断結果に応じて処理の必要情報記憶を行ない、最終的な画像情報出力処理前に前記記憶した情報を用いてまとめて画像の反転及び回転を行なってもよい。
一般に、画像の移動検出を撮像素子104の動きベクトルの検出より行なうと時間がかかり、振動ジャイロなどの角度検出器の検出遅れは小さいため、両者の検出結果をそのまま比較すると異なる時間における動きの比較になってしまう。カメラ移動検出手段103の出力を遅延させて検出タイミングを合わせると共に公知のバンドパスフィルタ(BPF)を用いて比較したい移動周波数(例えば1〜2Hz)を抽出することによって安定した判定を行なうことができる。
図5はこの状態を示す制御系のブロック図である。パン方向(P)のカメラ移動検出手段103aとチルト方向(t)のカメラ移動検出手段103bの出力は、それぞれ遅延手段107a及びbを介して遅延されてからBPF108a及び108cに入力される。遅延手段107a及びbは、ローパスフィルタ、積分回路、或いは所定時間記録時間差を設けるなどの機能を有し、カメラ移動検出手段103a及び103bの出力を遅延させる。一方、パン方向の画像移動検出手段105aとチルト方向の画像移動検出手段105bの出力はBPF108b及び108dに遅延手段を介さずに入力される。遅延手段107a及びbにより、カメラ移動検出手段103の検出タイミングと画像移動検出手段105の検出タイミングが一致する。BPF108a〜108dは不要ノイズをカットする。BPFで取り出す周波数帯域は、例えば、5Hzなど手振れの主要帯域に設定する。
109a及び109bは差動検出手段であり、BPF108aと108bの出力差とBPF108cと108dの出力差を求める。出力差がほぼゼロの時はゼロ、カメラ移動検出手段103の出力と画像移動検出手段105の出力が逆になっている時(アタッチメント光学系Aを取り付けた時)はその出力は倍になる。109c及び109dは公知のウィンドコンパレータであり、差動検出手段109a及び109bの出力がほぼゼロの時はL、倍の時はH、その中間の時はHLを出力し、プロセッサ106に信号を入力する。なお、差動検出手段やウィンドコンパレータはプロセッサ106の一部であってもよい。
ウィンドコンパレータ109c及び109dの出力は4種類に分けられる。
ウィンドコンパレータ109c及び109dが両方ともLの場合にはアタッチメント光学系Aは装着されておらず、被写体像は正立であり、プロセッサ106は画像処理を行なわない。
ウィンドコンパレータ109cが両方ともHの場合にはアタッチメント光学系Aは装着されており、被写体像は上下及び左右が逆であるため、プロセッサ106は上下左右とも画像を反転させる。
ウィンドコンパレータ109cがLでウィンドコンパレータ109dがHの場合にはアタッチメント光学系が装着されており、被写体像は左右が逆であるため、プロセッサ106は左右のみ反転させる。
ウィンドコンパレータ109c及び109dが両方ともHLの場合にはアタッチメント光学系Aは装着されており、被写体像は90度回転した縦位置の状態であり、プロセッサ106は画像の向きを右90度回転させる。
以上、アタッチメント光学系Aを撮影光学系に接続した場合において、その接続状態を伝達する手段や手動の切り替えを行なわなくとも出力画像を自動的に正位置画像とすることができる。
光学装置は、撮像装置に適用することができる。撮像装置は、被写体の撮像に適用することができる。
100 デジタルカメラ(撮像装置)
101a 筺体
103、103a、103b カメラ移動検出手段(第1移動検出手段)
104 撮像素子
105、105a、105b 画像移動検出手段(第2移動検出手段)
106 プロセッサ
A アタッチメント光学系(結像光学系)
M 撮影光学系

Claims (3)

  1. 着脱可能な結像光学系を有し、被写体像を形成する撮影光学系と、
    当該撮影光学系が形成する被写体像を光電変換する撮像素子と、
    前記撮影光学系と前記撮像素子を収納する筺体と、
    前記撮像素子の出力を処理することによって出力画像信号の反転又は回転する画像処理手段と、
    前記筺体の移動を検出する第1移動検出手段と、
    前記撮像素子の出力に基づいて前記被写体像の移動方向を検出する第2移動検出手段と、
    前記第1移動検出手段と前記第2移動検出手段の出力を比較することによって前記画像処理手段を制御する制御手段と、
    を有することを特徴とする撮像装置。
  2. 前記撮影光学系は、光路を偏向する反射部材と、反射部材を前記光路に挿入及び退避させる手段と、を有し、前記反射部材を挿入すると前記被写体像が反転することを特徴とする請求項1に記載の撮像装置。
  3. 前記撮影光学系は偶数回の結像を行なうことを特徴とする請求項1又は2に記載の撮像装置。
JP2009284238A 2009-12-15 2009-12-15 撮像装置および画像処理方法 Expired - Fee Related JP5606053B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009284238A JP5606053B2 (ja) 2009-12-15 2009-12-15 撮像装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009284238A JP5606053B2 (ja) 2009-12-15 2009-12-15 撮像装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2011130014A true JP2011130014A (ja) 2011-06-30
JP5606053B2 JP5606053B2 (ja) 2014-10-15

Family

ID=44292158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009284238A Expired - Fee Related JP5606053B2 (ja) 2009-12-15 2009-12-15 撮像装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP5606053B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013129274A1 (ja) * 2012-03-02 2013-09-06 コニカミノルタ株式会社 コンバータレンズ及び撮像光学系
WO2013133053A1 (ja) * 2012-03-08 2013-09-12 コニカミノルタ株式会社 テレコンバータレンズ及び撮像光学系
WO2014045596A1 (ja) * 2012-09-20 2014-03-27 日東光学株式会社 ズームレンズシステムおよび撮像装置
WO2014125533A1 (ja) * 2013-02-15 2014-08-21 Yabe Akira 撮像光学系
US9529181B2 (en) 2013-10-10 2016-12-27 Nittoh Kogaku K.K. Zoom lens system and imaging apparatus
US9910251B2 (en) 2014-03-19 2018-03-06 Nittoh Inc. Lens system and imaging apparatus having a lens at each side of an intermediate image which move in synchronization during focusing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331658A (ja) * 1998-05-20 1999-11-30 Sony Corp カメラ、および携帯型電子機器
JP2002014405A (ja) * 2000-06-30 2002-01-18 Nikon Corp 電子カメラ用レンズアダプタおよび電子カメラ
JP2002176572A (ja) * 2000-12-06 2002-06-21 Minolta Co Ltd デジタルカメラを備えた携帯機器
JP2009213094A (ja) * 2008-03-06 2009-09-17 Olympus Imaging Corp 観察像を表示可能な撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331658A (ja) * 1998-05-20 1999-11-30 Sony Corp カメラ、および携帯型電子機器
JP2002014405A (ja) * 2000-06-30 2002-01-18 Nikon Corp 電子カメラ用レンズアダプタおよび電子カメラ
JP2002176572A (ja) * 2000-12-06 2002-06-21 Minolta Co Ltd デジタルカメラを備えた携帯機器
JP2009213094A (ja) * 2008-03-06 2009-09-17 Olympus Imaging Corp 観察像を表示可能な撮像装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013129274A1 (ja) * 2012-03-02 2013-09-06 コニカミノルタ株式会社 コンバータレンズ及び撮像光学系
WO2013133053A1 (ja) * 2012-03-08 2013-09-12 コニカミノルタ株式会社 テレコンバータレンズ及び撮像光学系
JP2019015987A (ja) * 2012-09-20 2019-01-31 株式会社nittoh ズームレンズシステムおよび撮像装置
WO2014045596A1 (ja) * 2012-09-20 2014-03-27 日東光学株式会社 ズームレンズシステムおよび撮像装置
JPWO2014045596A1 (ja) * 2012-09-20 2016-08-18 日東光学株式会社 ズームレンズシステムおよび撮像装置
JP2017204011A (ja) * 2012-09-20 2017-11-16 株式会社nittoh ズームレンズシステムおよび撮像装置
WO2014125533A1 (ja) * 2013-02-15 2014-08-21 Yabe Akira 撮像光学系
JP2014157209A (ja) * 2013-02-15 2014-08-28 Teru Yabe 撮像光学系
TWI567422B (ja) * 2013-02-15 2017-01-21
US9529181B2 (en) 2013-10-10 2016-12-27 Nittoh Kogaku K.K. Zoom lens system and imaging apparatus
US10663702B2 (en) 2013-10-10 2020-05-26 Nittoh Inc. Zoom lens system and imaging apparatus
US9910251B2 (en) 2014-03-19 2018-03-06 Nittoh Inc. Lens system and imaging apparatus having a lens at each side of an intermediate image which move in synchronization during focusing
US10422981B2 (en) 2014-03-19 2019-09-24 Nittoh Inc. Lens system and imaging apparatus having adjacent stop and fixed lens system at an output side

Also Published As

Publication number Publication date
JP5606053B2 (ja) 2014-10-15

Similar Documents

Publication Publication Date Title
JP5606053B2 (ja) 撮像装置および画像処理方法
CN103969812B (zh) 变焦透镜和包括所述变焦透镜的图像拾取装置
JP4838557B2 (ja) ズームレンズ及びそれを有する撮像装置
JP5635584B2 (ja) 撮影機器、カメラシステム及びフォーカス制御のための情報を算出する方法
CN110023809B (zh) 摄像光学系统、透镜单元以及摄像装置
JP2006031002A (ja) ズームレンズ光学系
CN106814440A (zh) 转换器器件和图像捕获装置
JP2008129454A (ja) 光学装置、撮像装置、制御方法、及びプログラム
JP2007140064A (ja) 像振れ補正機能付き光学機器
JP2008015475A (ja) ファインダー光学系及びそれを用いた撮像装置
JP2012252213A (ja) 撮像装置、プログラム及び撮像装置のブレ補正方法
JP2010141671A (ja) 撮像装置
JPH09318872A (ja) ダブレットレンズ、可変頂角プリズム、及び振れ補正装置
JP4914121B2 (ja) 接眼光学系及びそれを有するファインダー光学系
JP5393877B2 (ja) 撮像装置および集積回路
JP2019070706A (ja) 撮像装置
JP2008180964A (ja) 光学系
JP2007156252A (ja) 観察光学系
KR101430963B1 (ko) 손떨림 보정장치를 구비한 촬영장치 및 광학계
JP2006171356A (ja) 撮像装置
JP3783296B2 (ja) 手振れ補正機能を有した撮像装置
JPH10148859A (ja) 振れ判別装置及び振れ補正装置
JP7353749B2 (ja) 画像処理装置、撮像装置及び画像処理装置の制御方法
JP2013057740A (ja) 立体映像撮影システム及びレンズ装置
JP2021190816A (ja) 観察装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140826

LAPS Cancellation because of no payment of annual fees