JP2011135412A - 映像表示装置、映像表示装置の制御方法、及びコンピュータプログラム - Google Patents

映像表示装置、映像表示装置の制御方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2011135412A
JP2011135412A JP2009294002A JP2009294002A JP2011135412A JP 2011135412 A JP2011135412 A JP 2011135412A JP 2009294002 A JP2009294002 A JP 2009294002A JP 2009294002 A JP2009294002 A JP 2009294002A JP 2011135412 A JP2011135412 A JP 2011135412A
Authority
JP
Japan
Prior art keywords
display device
video
video display
correction value
temperature correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009294002A
Other languages
English (en)
Other versions
JP5409337B2 (ja
Inventor
Toshinori Yamamoto
俊則 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009294002A priority Critical patent/JP5409337B2/ja
Publication of JP2011135412A publication Critical patent/JP2011135412A/ja
Application granted granted Critical
Publication of JP5409337B2 publication Critical patent/JP5409337B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

【課題】水中環境において、映像表示装置の観察者の目と映像を表示する表示手段との間の距離に応じて、表示対象の映像信号の赤色成分を強調した表示を行う。
【解決手段】映像表示装置が、映像表示装置が水中環境にあるかを判断し、映像表示装置が水中環境にあると判断した場合に、表示対象の映像信号の映像表示装置の観察者の目と映像表示部9との間の距離に対応する赤色成分減衰を補償する色温度補正値を決定する。そして、映像表示装置が、上記決定した色温度補正値に基づいて、表示対象の映像信号の赤色成分を増幅する。
【選択図】図1

Description

本発明は、映像表示装置、映像表示装置の制御方法、及びコンピュータプログラムに関する。
カメラ等の映像表示装置においては、撮影環境にかかわらず安定した映像を記録し、表示することが必要である。撮影環境にかかわらず安定した映像を記録し、表示するために、例えば、水中撮影を行う場合に、防水ハウジング内にカメラを取り付けことによって、撮影機能を維持する技術が提案されている。しかし、水中は、光の性質が陸上と異なるので、カメラが、陸上で撮影した場合と同じ画質の映像を記録することは困難である。水分子によって一部の光成分が吸収されるので、水中においては色温度が偏った形で映像が記録されてしまうからである。すなわち、水分子中を光が通過する距離に応じて、特に、赤色成分が大きな減衰を受け、記録される画像が青味の強調された画像になってしまう。
水中撮影において赤色成分が減衰するという問題に対処するために、撮影者が、昼光色ストロボ光源を水中へ持ち込み、被写体とカメラとを近距離に設置して撮影することが考えられる。一方、電子カメラにおいては、記録映像の色温度を変更するためのホワイトバランス調整機能を用いて、色温度を変更するようにしている。なお、特許文献1は、カメラと被写体との水深差に応じてホワイトバランス調整値を算出する電子スチルカメラを開示している。
特許第3528202号公報
上記特許文献1が開示する電子スチルカメラは、カメラと被写体との水深差に応じてカメラ側のホワイトバランスを調整する。しかし、水中においては、赤色成分の減衰率が大きい。従って、水中環境に応じた適切なホワイトバランス調整を行うためには、カメラが備える映像表示手段が表示する映像を観察する観察者の目と映像表示手段との間の距離を考慮することが必要である。水中における赤色成分の減衰率は非常に大きく、水中を赤色光が30cm移動する間に約15%、60cmで約25%、90cmで約30%もの光量が失われる。これは、映像表示手段と観察者との間の距離によって、映像の表示色が大きく変化してしまうからである。
すなわち、水中において映像を観察する撮影者が、自分の意図に合致したホワイトバランス調整ができたと知覚した場合であっても、実際に目に届いた画像の赤成分は減衰しているので、記録画像は赤成分の強調されたものとなってしまう。このため、水中において観察者が自分の意図に合致したホワイトバランス調整を行ったつもりでも、撮影後、映像を陸上で確認すると赤色が強調された映像になっているという問題が生じる。従って、水中環境においては映像表示装置から、観察者の目へ届く映像信号が原信号の色温度に忠実な色温度となるようにすること、すなわち、原信号の赤色成分を強調した表示をすることが必要である。
本発明は、水中環境において、映像表示装置の観察者の目と映像を表示する表示手段との間の距離に応じて、表示対象の映像信号の赤色成分を強調した表示を行う映像表示装置、映像表示装置の制御方法、及びコンピュータプログラムの提供を目的とする。
本発明の一実施形態の映像表示装置は、映像表示装置が水中環境にあるかを判断する水中環境判断手段と、映像信号を表示する表示手段と、前記映像表示装置が水中環境にあると判断された場合に、表示対象の映像信号の前記映像表示装置の観察者の目と前記表示手段との間の距離に対応する赤色成分減衰を補償する色温度補正値を決定する色温度補正値決定手段とを備える。前記表示手段は、前記決定された色温度補正値に基づいて、前記表示対象の映像信号の赤色成分を増幅する。
本実施形態の映像表示装置によれば、水中環境において、映像表示装置の観察者の目と映像を表示する表示手段との間の距離に応じて、表示対象の映像信号の赤色成分を強調した表示を行うことができる。
本発明の第1の実施形態の映像表示装置の構成例を示す図である。 第1の実施形態の映像表示処理フローを示す図である。 本発明の第2の実施形態の映像表示装置の構成例を示す図である。 第2の実施形態の映像表示処理フローを示す図である。
図1は、本発明の第1の実施形態の映像表示装置の構成例を示す図である。図1に示す映像表示装置は、入力された映像信号を表示する処理装置である。この映像表示装置は、例えば、デジタルカメラ等の撮像装置であってもよい。この映像表示装置は、水中モード切換部1、映像入力部2、30cmプリセット部3、60cmプリセット部4、90cmプリセット部5、選択部6、色温度補正値決定部7、表示ドライブ部8、映像表示部9を備える。
水中モード切換部1は、映像表示装置が水中環境にあるかを判断する水中環境判断手段として機能する。例えば、水中モード切換部1は、映像表示装置の観察者によるスライドスイッチ等を用いた操作入力に従って、映像表示装置が水中環境にあるか、又は陸上環境にあるかを判断し、判断結果を色温度補正値決定部7と表示ドライブ部8とに通知する。水中モード切換部1が、映像表示装置が配置されている環境内の液体分子や気体分子を取得して分析し、分析結果に基づいて映像表示装置が水中環境にあるかを判断するようにしてもよい。映像入力部2は、映像信号を表示ドライブ部8に対して入力する。映像入力部2が入力する映像信号は、映像表示装置が備える所定の撮像手段が撮像する映像信号であってもよいし、予め所定の記憶媒体に記憶された映像信号であってもよい。また、この映像信号は、映像表示装置が備える所定の処理部が、撮像された信号を被写体と映像表示装置との距離に応じてホワイトバランス調整した結果得られる映像信号であってもよい。
30cmプリセット部3乃至90cmプリセット部5には、色温度補正値が予め記憶されている。色温度補正値は、表示ドライブ部8が映像信号の赤色成分を増幅するために用いる赤色発光ドライブ電力の倍率である。30cmプリセット部3には、30cm用の色温度補正値が予め記憶されている。30cm用の色温度補正値は、表示対象の映像信号の、視認距離30cmに対応する赤色成分減衰を補償する色温度補正値である。視認距離は、観察者の目と映像表示部9との間の距離である。60cmプリセット部4には、60cm用の色温度補正値が予め記憶されている。60cm用の色温度補正値は、表示対象の映像信号の、視認距離60cmに対応する赤色成分減衰を補償する色温度補正値である。90cmプリセット部4には、90cm用の色温度補正値が予め記憶されている。90cm用の色温度補正値は、表示対象の映像信号の、視認距離90cmに対応する赤色成分減衰を補償する色温度補正値である。
選択部6は、観察者の操作入力に従って、30cm、60cm、90cmという距離のうち、一つの距離を視認距離として選択入力する。選択部6は、選択入力された視認距離に対応するプリセット部を選択する。そして、選択部6は、選択したプリセット部に設定されている色温度補正値を読み出して、色温度補正値決定部7に入力する。すなわち、選択部6は、観察者の目と前記表示手段との距離を入力する入力手段として機能し、予め設定された複数の距離のうち、一つの距離を観察者の目と映像表示部9との間の距離として選択する。
色温度補正値決定部7は、表示対象の映像信号の視認距離に対応する赤色成分減衰を補償する色温度補正値を決定する色温度補正値決定手段として機能する。すなわち、色温度補正値決定部7は、水中モード切換部1から通知された映像表示装置が水中環境にあるかについての判断結果と、選択部6によって入力された色温度補正値とに基づいて、赤色発光ドライブ電力の倍率を決定する。この赤色発光ドライブ電力の倍率は、表示対象の映像信号の視認距離に対応する赤色成分減衰を補償するための、赤色成分の増幅率に対応する。具体的には、色温度補正値決定部7は、水中モード切換部1から映像表示装置が水中環境にあることを通知された場合に、選択部6によって入力された色温度補正値を、表示ドライブ部8が赤色成分の増幅に用いる赤色発光ドライブ電力の倍率として決定する。色温度補正値決定部7は、水中モード切換部1から映像表示装置が陸上環境にあることを通知された場合には、赤色発光ドライブ電力の倍率を1倍に決定する。
表示ドライブ部8は、水中モード切換部1から通知された映像表示装置が水中環境にあるかについての判断結果と、色温度補正値決定部7が決定した赤色発光ドライブ電力の倍率とに基づいて、映像入力部2から入力された映像信号の赤色成分を増幅する。具体的には、表示ドライブ部8は、水中モード切換部1から映像表示装置が水中環境にあることを通知された場合に、色温度補正値決定部7が決定した赤色発光ドライブ電力の倍率で、映像入力部2から入力された映像信号の赤色成分を増幅する。表示ドライブ部8は、赤色成分を増幅した映像信号を映像表示部9に対して出力する。これにより、映像信号の赤色成分についての色温度補正が行われる。
ここで、表示ドライブ部8が映像信号の赤色成分の増幅に用いる赤色発光ドライブ電力の倍率について説明する。水中での光学特性については、赤色成分の減衰率が非常に大きい。従って、本実施形態の映像表示装置は、赤色発光ドライブ電力の倍率を視認距離に対応した赤色成分減衰を補償する倍率に調整して映像信号の赤色成分を強調することにより、減衰を補償する色温度補正を行う。例えば、視認距離30cmの場合、表示ドライブ部8は視認距離30cmに対応する、倍率1.3倍の赤色発光ドライブ電力で映像信号の赤色成分を増幅する。また、例えば、視認距離60cmの場合、表示ドライブ部8は視認距離60cmに対応する、倍率1.7倍の赤色発光ドライブ電力で映像信号の赤色成分を増幅する。また、例えば、視認距離90cmの場合、表示ドライブ部8は視認距離90cmに対応する、倍率2倍の赤色発光ドライブ電力で映像信号の赤色成分を増幅する。
表示ドライブ部8は、水中モード切換部1から映像表示装置が陸上環境にあることを通知された場合には、色温度補正を行わない。すなわち、この場合には、表示ドライブ部8は、赤色発光ドライブ電力の倍率を、陸上環境の場合に色温度補正値決定部7が決定した1倍とする。なお、表示ドライブ部8は、緑色成分、青色成分については、発光ドライブ電力の倍率を1倍とする。
映像表示部9は、表示ドライブ部8が出力した映像信号を表示する。映像表示部9は、例えばLCD(Liquid Crystal Display)を備える。すなわち、表示ドライブ部8及び映像表示部9は、表示手段として機能し、この表示手段は、色温度補正値決定部7によって決定された色温度補正値に基づいて、表示対象の映像信号の赤色成分を増幅する。
図1に示す映像表示装置が備える各処理部は、図示を省略するCPU(Central Processing Unit )の制御に従って動作する。また、本発明の第1の実施形態の映像表示装置の制御方法及びコンピュータプログラムは、図1に示す映像表示装置が備える各処理部の機能によって実現される。
図2は、第1の実施形態の映像表示処理フローを示す図である。まず、水中モード切換部1が、映像表示装置が水中環境にあるかを判断する(ステップS1)。水中モード切換部1が、映像表示装置が水中環境ではなく陸上環境にあると判断した場合、表示ドライブ部8は色温度補正を行なわず、映像信号が補正無し色温度で表示される(ステップS6)。水中モード切換部1が、映像表示装置が水中環境にあると判断した場合、選択部6が、30cmプリセット部3乃至90cmプリセット部5のうちのいずれか1つのプリセット部を選択する(ステップS2)。選択部6が30cmプリセット部3を選択した場合、表示ドライブ部8が映像信号を倍率1.3倍の赤色発光ドライブ電力で増幅する(ステップS3)。選択部6が60cmプリセット部4を選択した場合、表示ドライブ部8が映像信号を倍率1.7倍の赤色発光ドライブ電力で増幅する(ステップS4)。選択部6が90cmプリセット部4を選択した場合、表示ドライブ部8が映像信号を倍率2倍の赤色発光ドライブ電力で増幅する(ステップS5)。図1、図2を参照して前述した第1の実施形態の映像表示装置によれば、水中環境において、映像表示装置の観察者の目と映像を表示する表示手段との間の距離に応じて、表示対象の映像信号の赤色成分を強調した表示を行うことができる。
図3は、本発明の第2の実施形態の映像表示装置の構成例を示す図である。図3に示す映像表示装置は、水中モード切換部1、映像入力部2、表示ドライブ部8、映像表示部9、測距部10、色温度補正値決定部11を備える。図3に示す映像表示装置が備える処理部のうち、図1に示す映像表示装置が備える処理部と同一の符号が付されたものは、図1に示す映像表示装置が備える処理部と同様の機能を有する。
測距部10は、視認距離すなわち観察者の目と映像表示手段9との距離を測定する。測距部10は、光学的な測距方法、振動波を利用した測距方法等、距離を測定するための任意の方法を用いて視認距離を測定する。色温度補正値決定部11は、図1に示す色温度補正値決定部7と同様に、色温度補正値決定手段として機能する。具体的には、色温度補正値決定部11は、水中モード切換部1から映像表示装置が水中環境にあることを通知された場合に、測距部10が測定した視認距離に基づいて、表示ドライブ部8が赤色成分の増幅に用いる赤色発光ドライブ電力の倍率を決定する。例えば、色温度補正値決定部11は、以下の式1に従って、赤色発光ドライブ電力の倍率を決定する。
赤色発光ドライブ電力の倍率=1+視認距離(m)×1.1・・・式1
例えば、視認距離30cmの場合、上記の式1に従うと、赤色発光ドライブ電力は約1.3倍となる。また、視認距離60cmの場合、赤色発光ドライブ電力は約1.7倍となる。また、視認距離90cmの場合、赤色発光ドライブ電力は約2.0倍となる。赤色発光ドライブ電力の倍率を決定するために用いられる式は、決定される倍率が、視認距離に応じた映像信号の赤色成分減衰を補償することになる倍率になるように予め決定される。色温度補正値決定部11は、水中モード切換部1から映像表示装置が陸上環境にあることを通知された場合には、赤色発光ドライブ電力の倍率を1倍に決定する。本発明の第2の実施形態の映像表示装置の制御方法及びコンピュータプログラムは、図3に示す映像表示装置が備える各処理部の機能によって実現される。
図4は、第2の実施形態の映像表示処理フローを示す図である。図4のステップS11乃至S14のうち、ステップS11、S14は、それぞれ、図2のステップS1、S6と同様であるので、説明を省略する。ステップS12において、測距部10が、視認距離を測定する(ステップS12)。そして、色温度補正値決定部11が、ステップS12において測定された視認距離に対応する赤色発光ドライブ電力の倍率を決定する(ステップS13)。表示ドライブ部8が上記決定された赤色発光ドライブ電力の倍率で映像信号を増幅することによって、視認距離に応じた赤色成分減衰が補償される。図3、図4を参照して前述した第2の実施形態の映像表示装置によれば、水中環境において、映像表示装置の観察者の目と映像を表示する表示手段との間の距離の測定結果に応じて、表示対象の映像信号の赤色成分を強調した表示を行うことができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
1 水中モード切換部
2 映像入力部
3 30cmプリセット部
4 60cmプリセット部
5 90cmプリセット部
6 切換部
7 色温度補正値決定部
8 表示ドライブ部
9 映像表示部

Claims (6)

  1. 映像表示装置が水中環境にあるかを判断する水中環境判断手段と、
    映像信号を表示する表示手段と、
    前記映像表示装置が水中環境にあると判断された場合に、表示対象の映像信号の前記映像表示装置の観察者の目と前記表示手段との間の距離に対応する赤色成分減衰を補償する色温度補正値を決定する色温度補正値決定手段とを備え、
    前記表示手段は、前記決定された色温度補正値に基づいて、前記表示対象の映像信号の赤色成分を増幅する
    ことを特徴とする映像表示装置。
  2. 前記観察者の目と前記表示手段との距離を入力する入力手段を備え、
    前記色温度補正値決定手段は、前記表示対象の映像信号の前記入力された距離に対応する赤色成分減衰を補償する色温度補正値を決定する
    ことを特徴とする請求項1に記載の映像表示装置。
  3. 前記入力手段は、予め設定された複数の距離のうち一つの距離を前記観察者の目と前記表示手段との間の距離として選択する
    ことを特徴とする請求項2に記載の映像表示装置。
  4. 前記観察者の目と前記表示手段との距離を測定する測距手段を備え、
    前記色温度補正値決定手段は、前記測定された前記観察者の目と前記表示手段との間の距離に基づいて、表示対象の映像信号の前記距離に対応する赤色成分減衰を補償する色温度補正値を決定する
    ことを特徴とする請求項1に記載の映像表示装置。
  5. 映像信号を表示する表示手段を備える映像表示装置が水中環境にあるかを判断する工程と、
    前記映像表示装置が水中環境にあると判断された場合に、表示対象の映像信号の前記映像表示装置の観察者の目と前記表示手段との間の距離に対応する赤色成分減衰を補償する色温度補正値を決定する工程と、
    前記決定された色温度補正値に基づいて、前記表示対象の映像信号の赤色成分を増幅する工程と、
    前記赤色成分が増幅された映像信号を表示する工程とを有する
    ことを特徴とする映像表示装置の制御方法。
  6. 請求項5に記載の映像表示装置の制御方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
JP2009294002A 2009-12-25 2009-12-25 映像表示装置、映像表示装置の制御方法、及びコンピュータプログラム Expired - Fee Related JP5409337B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009294002A JP5409337B2 (ja) 2009-12-25 2009-12-25 映像表示装置、映像表示装置の制御方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009294002A JP5409337B2 (ja) 2009-12-25 2009-12-25 映像表示装置、映像表示装置の制御方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2011135412A true JP2011135412A (ja) 2011-07-07
JP5409337B2 JP5409337B2 (ja) 2014-02-05

Family

ID=44347652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009294002A Expired - Fee Related JP5409337B2 (ja) 2009-12-25 2009-12-25 映像表示装置、映像表示装置の制御方法、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP5409337B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021518A (ja) * 2011-07-12 2013-01-31 Canon Inc 撮像装置およびその制御方法
JP2015213366A (ja) * 2015-07-14 2015-11-26 キヤノン株式会社 撮像装置およびその制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06351025A (ja) * 1993-06-04 1994-12-22 Nikon Corp 電子スチルカメラ
JP2006197478A (ja) * 2005-01-17 2006-07-27 Fuji Photo Film Co Ltd 撮影装置
JP2007322850A (ja) * 2006-06-02 2007-12-13 Matsushita Electric Ind Co Ltd 画像信号処理装置及び画像表示装置
JP2010226497A (ja) * 2009-03-24 2010-10-07 Olympus Imaging Corp 撮影装置およびライブビュー表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06351025A (ja) * 1993-06-04 1994-12-22 Nikon Corp 電子スチルカメラ
JP2006197478A (ja) * 2005-01-17 2006-07-27 Fuji Photo Film Co Ltd 撮影装置
JP2007322850A (ja) * 2006-06-02 2007-12-13 Matsushita Electric Ind Co Ltd 画像信号処理装置及び画像表示装置
JP2010226497A (ja) * 2009-03-24 2010-10-07 Olympus Imaging Corp 撮影装置およびライブビュー表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021518A (ja) * 2011-07-12 2013-01-31 Canon Inc 撮像装置およびその制御方法
JP2015213366A (ja) * 2015-07-14 2015-11-26 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JP5409337B2 (ja) 2014-02-05

Similar Documents

Publication Publication Date Title
JP5817131B2 (ja) 撮像装置と撮像方法並びに撮像プログラム
JP2011059658A (ja) 表示装置、表示方法およびコンピュータプログラム
US20160295107A1 (en) Imaging system, warning generation device and method, imaging device and method, and program
JP2005269373A (ja) 映像信号処理システムおよび電子映像機器
JPWO2015011824A1 (ja) 撮像装置
JP2015154414A (ja) 撮像装置、撮像方法
JP2009246468A (ja) 撮影装置及び撮影装置の制御方法
JP5409337B2 (ja) 映像表示装置、映像表示装置の制御方法、及びコンピュータプログラム
JP2010154478A (ja) 複眼撮像装置及びその合成画像生成方法
JP2015194680A (ja) 撮像装置
JP2017102393A (ja) 撮像装置
JP2014137704A (ja) 撮像装置
JP2012168299A (ja) 撮像装置
JP2010272981A (ja) 撮影装置
JP2010171769A (ja) 電子カメラ
JP2015126416A (ja) 画像処理装置、制御方法およびプログラム
JP2016063391A (ja) 撮像装置、表示装置、及び、電子機器
JP2009071783A5 (ja)
JP2015126295A (ja) 撮像装置及びその制御方法
EP2556655B1 (en) Electronic camera viewfinder with continuous variable adjustable colour temperature
JP2011249948A (ja) ステレオ画像処理装置、画像処理方法及びプログラム
JP6929109B2 (ja) 撮像装置及びプログラム
US20130141614A1 (en) Shading correction method for image capturing apparatus, and image capturing apparatus
JP2010010846A (ja) 画質評価支援装置及び画質評価支援方法
JP2009159404A (ja) 画像処理方法、画像処理装置及び画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131105

R151 Written notification of patent or utility model registration

Ref document number: 5409337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees