JP2008145465A - 撮影装置の被写界深度調整方法及びユーザインターフェイス - Google Patents

撮影装置の被写界深度調整方法及びユーザインターフェイス Download PDF

Info

Publication number
JP2008145465A
JP2008145465A JP2006328964A JP2006328964A JP2008145465A JP 2008145465 A JP2008145465 A JP 2008145465A JP 2006328964 A JP2006328964 A JP 2006328964A JP 2006328964 A JP2006328964 A JP 2006328964A JP 2008145465 A JP2008145465 A JP 2008145465A
Authority
JP
Japan
Prior art keywords
focus
data
contrast
depth
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006328964A
Other languages
English (en)
Other versions
JP4996221B2 (ja
JP2008145465A5 (ja
Inventor
Hiromichi Konishi
弘通 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sigma Corp
Original Assignee
Sigma Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sigma Corp filed Critical Sigma Corp
Priority to JP2006328964A priority Critical patent/JP4996221B2/ja
Publication of JP2008145465A publication Critical patent/JP2008145465A/ja
Publication of JP2008145465A5 publication Critical patent/JP2008145465A5/ja
Application granted granted Critical
Publication of JP4996221B2 publication Critical patent/JP4996221B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【課題】絞りF値が予め撮影前に設定され、コントラスト方式で合焦判定を行う撮影装置において、ライブビューで確認しにくい被写界深度を、使用者の勘ではなく客観的データに基づいて精密にマニュアルフォーカス調整を行うことができるようにする。
【解決手段】マニュアルフォーカス調整操作前にフォーカス駆動可能範囲のコントラストデータを全てを取り込み、撮影画面全体の各座標(x,y)においてコントラストデータが最大値をとる被写体距離を特定する。その被写体距離を基準に被写界深度を決定し、コントラストデータを被写界深度に属するか否かにより分別して、合焦判定テーブルを作成する。使用者のマニュアルフォーカス調整操作による被写体距離の決定により、合焦判定テーブルに基づいて合焦分布データをライブビューに重畳表示する。
【選択図】図3

Description

本発明は、ライブビューの機能を有し、合焦判定にコントラスト方式を採用するデジタルスチルカメラ又はデジタル静止画像の撮影機能を有した電子機器において、静止画像を撮影する際に、使用者の意図に即した被写体距離における被写界深度をより精密且つ容易にマニュアルフォーカス調整操作をして撮影するための方法と使用者が前記被写界深度を容易に認識できるユーザインターフェイスの表示方法に関する。
特にコンパクトデジタルスチルカメラの多くにおいては、ボディのコンパクト性を保つために一眼レフカメラのような光学式ファインダを有しないものが多い。こうしたコンパクトデジタルスチルカメラではLCD等の液晶表示部や電子ビューファインダ(以下、EVFと称する。)に表示されるライブビューを通して撮影時の撮影画角、合焦判定及び被写界深度等、又は再生画像を通して記録画像の確認等を行っていた。
光学式ファインダを有しないライブビューを利用したデジタルスチルカメラにおいては、撮像素子から取り込まれる画像のコントラストの高さにより合焦を判断をするコントラスト式の合焦判定方法を一般的に採用している。
尚、液晶表示部に表示されるライブビューはリアルタイムの画像を光学式ファインダを覗かずに確認できる利点もあるため、コンパクトデジタルスチルカメラに拘らず一眼レフデジタルスチルカメラにも利用されている。
ライブビューを利用して撮影画像を確認するデジタルスチルカメラでは、液晶表示部やEVFは解像度、サイズ及び直射日光等の環境条件により、デジタルスチルカメラ上での撮影又は再生時における視認性に限界がある。そのためライブビューに基づいて使用者の勘に頼った撮影が行われるので、結果としてPC上等で確認する実際の画像と撮影時に確認した画像とに差が生じていた。
そこで、従来では客観的なデータにより精密なフォーカス調整及び被写界深度調整を行うために下記のような発明が公開されている。
引用文献1において、使用者が液晶表示部に表示されるライブビューからの主観的な判断により合焦判定するのではなく、液晶表示部に表示される客観的な測定データに基づいて合焦判定を行う発明が公開されている。引用文献1には、マニュアルフォーカスにより得た画像データのフォーカスエリアである一部分について、被写体距離とコントラスト評価値を軸にした合焦分布データをファインダ画像上に重畳表示する発明が記載されている。
引用文献2において、被写界深度を客観的データに基づいて表示する発明が公開されている。引用文献2には、オートフォーカスにより合焦と判断した被写体距離から計算式により被写界深度を求め、被写界深度に属する被写体を強調して表示する発明が記載されている。又、前記被写界深度は許容錯乱円径の調整によって調節できるとされている。
特許第3812824号公報 特許第3675412号公報
被写界深度は合焦となる被写体距離に基づいて前後に一定の範囲を有している。前後した又は離れた位置の不連続な複数の被写体を同時に一つの前記被写界深度の範囲内に精密におさめることを、ライブビューの視認性により行うのは難しい。
又、使用者の意図に即したより細かいフォーカス調整及び被写界深度におけるボケの調整等をする際には、マニュアルフォーカス調整が適している。しかしながら、従来では撮影時にライブビューを確認しながらマニュアルフォーカス調整操作を行い撮影画面全体の広い範囲における合焦判定及び被写界深度等の確認をすることが困難であった。
このため使用者のマニュアルフォーカス調整操作は液晶表示部やEVFのライブビューに基づいて使用者の勘により行われるため、デジタルスチルカメラ上の撮影及び再生時の画像とPC上等の実際の画像とを比べた場合に差が生じていた。
本願発明における課題は、ライブビューを使用した被写界深度調整において、前後した及び離れた不連続の複数の被写体であっても、同時に一つの被写界深度におさめることができる精密なマニュアルフォーカス調整を実現することである。(図2を参照。)
引用文献1に記載された発明は使用者が予め設定したフォーカスエリアにおいて客観的な測定データに基づいた合焦判定が可能である。但し、合焦のピーク値は確認できるが、被写界深度はやはり液晶表示部に表示される画像から使用者の勘により判断するしかない。又、フォーカスエリアにおける合焦判定に限られているため、撮影画面全体の不連続な複数の被写体が同時に合焦する、つまり同時に被写界深度に属しているかを客観的データに基づいて判断できない。
引用文献2に記載された発明はオートフォーカス後の被写体距離から被写界深度が決定し、使用者は強調して表示された前記被写界深度を確認できる。但し、あくまでもオートフォーカスの結果による被写体距離での被写界深度は確認できるが、被写界深度を不連続な複数の被写体について同時に考慮しながらマニュアルフォーカス調整することができない。又、オートフォーカスによりフォーカスレンズが合焦する被写体距離まで移動してから被写界深度を表示するのでは、フォーカスレンズの連続的な移動に際して被写界深度が連続的に変化する様子を使用者が確認しながら被写体距離を決定することは困難である。又、被写界深度は許容錯乱円径によって調整されるよりむしろ、使用者が撮影前に予め設定する絞りF値及びレンズ焦点距離に従属して決定される方が実際の写真撮影の理念に適っている。
上記の課題を解決するために本発明において下記の手段を行った。
請求項1では、まず絞り優先オートモードやマニュアルモードにおいて絞りF値を使用者の任意により設定する。次にフォーカスレンズが移動可能なフォーカス駆動可能範囲においてコントラストデータを全てレンズ開放F値で取り込む。取り込んだコントラストデータはフォーカスレンズ位置、つまり被写体距離と撮影画面全体の座標(x,y)を軸にしたテーブルとして記憶される。このコントラストデータのテーブルについて撮影画面全体の各座標(x,y)における被写体距離が被写界深度に属するか否かで前記被写体距離に当たるコントラストデータを2数値に変換する。このようにしてコントラストデータのテーブルを全て変換したものを合焦判定テーブルとする。合焦判定テーブルは2数値で表されているので、任意の2色をそれぞれの数値に配色して、最終的に合焦判定テーブルに基づく合焦分布データを2色でライブビューに重畳表示する(図12を参照。)。使用者はマニュアルフォーカスで決定した被写体距離における合焦分布データを確認することによって、被写界深度を容易に認識できる。又、マニュアルフォーカス調整操作を繰り返す度に合焦分布データを確認しながら被写界深度調整が可能である。
請求項2は、請求項1において2色で行った合焦判定を、より詳細に行うために合焦及び非合焦の判定をそれぞれ多色で行う合焦判定方法である。これにより使用者は例えば合焦範囲のなかでも特にどこが合焦しているのか、又、微少量のマニュアルフォーカス調整操作によりどこがもうすぐ非合焦範囲になってしまうのかが容易に認識できる。
請求項3は、請求項1において2色で行った合焦判定を、より段階的に行うために合焦から非合焦までの全体におけるコントラストデータのレベルに応じて漸次的な配色で表示した方法である。
請求項4では、請求項1、請求項2及び請求項3において撮影画面全体の一部分でのみコントラストデータを取り込み、合焦判定テーブルでその一部分以外におけるコントラストデータの取り込み及び変換処理を省略することにより、撮影装置の処理時間を短縮する。
請求項5では、請求項1、請求項2及び請求項3においてフォーカスリミッタにより限定されたフォーカス駆動可能範囲でのみコントラストデータを取り込み、合焦判定テーブルでそのフォーカス駆動可能範囲以外におけるコントラストデータの取り込み及び変換処理を省略することにより、撮影装置の処理時間を短縮する。
請求項6では、請求項1、請求項2及び請求項3において使用者のマニュアルフォーカス調整操作前に、オートフォーカスを利用して予め蓋然的な合焦位置までフォーカスレンズを移動させることにより、マニュアルフォーカス調整量を減少させ撮影の迅速化を図る。
請求項7では、請求項1、請求項2及び請求項3において被写界深度を、絞りF値、レンズ焦点距離及び被写体距離から予めファームウェアに組み込まれたテーブルを参照することにより決定する。
請求項8では、請求項1、請求項2及び請求項3において被写界深度を、絞りF値、レンズ焦点距離、被写体距離及び許容錯乱円径から計算式により決定する。
請求項9は、請求項1、請求項2及び請求項3において重畳表示される合焦分布データをより視認性のよいものにするために、ライブビューを単一色の配色にするものである。
請求項10は、請求項1、請求項2及び請求項3において重畳表示される合焦分布データをより視認性のよいものにするために、ライブビューの彩度を低下させるものである。
本発明により、使用者はライブビューに重畳表示される合焦分布データを確認し、撮影画面全体の広い範囲を考慮して、前後した及び離れた不連続な複数の被写体に対して同時に一つの被写界深度におさめるための精密なマニュアルフォーカス調整操作が可能となる。又、ライブビューに重畳表示される合焦分布データによって、使用者は被写界深度を容易に認識しやすくなる。又、合焦分布データはフォーカスレンズ位置の移動とともに連続的に変化するため、使用者は被写界深度の連続的な移動を容易に認識することができる。
以下、本発明の最良な実施形態について、図面とあわせて詳細に説明する。
図1はデジタルスチルカメラ100の後部を表す斜視図である。101は電源ボタン、102はレリーズボタン、103は撮影モード設定ダイヤル、104はズームコントローラボタン、105はメニュー操作ボタン群、106は液晶表示部及び107はコントラストデータ取り込みボタンである。
電源ボタン101は撮影時又は撮影した画像の再生時にデジタルスチルカメラ100の電源のON/OFFを切り替える機能を有したボタンである。基本的に使用者は前記電源ボタン101によりデジタルスチルカメラ100の電源のON/OFFを切り替える。オートパワーオフ機能が搭載されているデジタルスチルカメラにおいて、デジタルスチルカメラ100の操作が長時間なされず待機する時にバッテリの無駄な消費を防ぐため、使用者が任意に設定する時間を過ぎると自動的にデジタルスチルカメラ100の電源はOFFになる。
レリーズボタン102は2段階に押下できる機構となっている。レリーズボタン102の押下直後から第1段階まで押下が完了すると、オートフォーカスモード選択時には自動焦点調整がなされ、さらに後述する撮影モード設定ダイヤル103でプログラムオートモード、絞り優先オートモード又はシャッタ速度優先オートモード等の設定時には、撮影条件に即してそれぞれの撮影モードにおける絞りF値及びシャッタ速度等が自動的に決定される。その後、レリーズボタン102を第2段階まで完全に押下するとシャッタがきれる機構となっている。
使用者は撮影モード設定ダイヤル103で任意の撮影モードを設定する。デジタルスチルカメラを含む多くの自動制御式カメラでは、絞りF値、シャッタ速度及びフォーカス等の自動調整が可能である。自動制御式カメラは一般的にプログラムオートモード、絞り優先オートモード、シャッタ速度優先オートモード及びマニュアルモード等の撮影モード設定機能を有している。
プログラムオートモードでは、カメラが検出した撮影時の露出量及びレンズ焦点距離に応じて、絞りF値及びシャッタ速度の組み合わせが自動的に決定される。前記絞りF値及びシャッタ速度の組み合わせはカメラのファームウェアに予め書き込まれている。プログラムオートモードでカメラが撮影条件に合った絞りF値及びシャッタ速度の組み合わせを自動的に決定するので、使用者は適正な露光量を与えた写真を自動的に撮ることができる。
絞り優先オートモードでは、カメラが検出した撮影時の露出量及びレンズ焦点距離に応じて、使用者が任意に設定する絞りF値を考慮したシャッタ速度が自動的に決定される。絞り優先オートモードでカメラが使用者の任意による絞りF値を考慮した撮影条件に合うシャッタ速度を自動的に決定するので、使用者は適正な露光量を与えた写真を半自動的に撮ることができる。
シャッタ速度優先オートモードでは、カメラが検出した撮影時の露出量及び焦点距離に応じて、使用者が任意に設定するシャッタ速度を考慮した絞りF値が自動的に決定される。
シャッタ速度優先オートモードでカメラが使用者の任意によるシャッタ速度を考慮した撮影条件に合う絞りF値を自動的に決定するので、使用者は適正な露光量を与えた写真を半自動的に撮ることができる。
マニュアルモードでは、絞りF値及びシャッタ速度はいずれも使用者の任意により設定することができる。これにより、使用者は任意の露光量を与えた写真を手動的に撮ることができる。
ズームコントローラボタン104は、撮影時において被写体の拡大率を光学的及び電子的に拡大縮小する。又、撮影画像の再生時において液晶表示部106に表示される撮影画像の拡大率を電子的に拡大縮小する。
メニュー操作ボタン群105を用いて、撮影時に液晶表示部106に表示されるメニュー選択画面を確認しながら撮影に必要な各種設定を行う。撮影に必要な各種設定とは、ISO感度、ホワイトバランス、撮影画像圧縮の種類、撮影画像の圧縮度、連写モード、オートブラケットモード、撮影タイマーの設定等を指す。より細かい撮影設定として、露出補正値設定及びオートフォーカスの測距点選択等がこれにあたる。
メニュー操作ボタン群105を用いて、撮影画像の再生時には、液晶表示部106に表示される撮影された画像の選択、消去及び撮影設定データの表示等を行う。動画を記録できるデジタルスチルカメラにおいては、撮影された動画の選択、消去及び撮影設定データの表示等を行う。
液晶表示部106は一般的にLCDが用いられる。メニュー操作ボタン群を省略してここにタッチパネル液晶を設置し、タッチスクリーンで各種操作をできるようにしても良い。液晶表示部106ではメニュー設定画面、ライブビュー、撮影画像再生等、状況に応じて様々な表示を行う。
撮影に必要な各種設定を完了し、メニュー選択画面を終了すると、デジタルスチルカメラ100の電源がONであり撮影画像再生時でない時には、液晶表示部106に不図示の撮像素子からリアルタイムに取り込まれるライブビューを表示する。使用者はこの液晶表示部106に表示されるライブビューを確認することにより、使用者の意図するフォーカス位置でフォーカスされているか判断したり、撮影画角や画面構成を調整したりする。ファインダーを有するデジタルスチルカメラにおいては、ファインダー内にライブビューを表示するEVFによりライブビューを確認する。本発明は液晶表示部106又はEVFへライブビューが表示されている時に、被写界深度に関する情報を使用者に効果的に与え、使用者が意図する被写界深度で容易に撮影することができる被写界深度データの表示方法及びユーザインターフェイスである。これに関する詳細は後述する。
実施例ではデジタルスチルカメラ100にコントラストデータ取り込みボタン107を設けた。これはデジタルスチルカメラに搭載されている、若しくは一眼レフデジタルスチルカメラのようなレンズ交換式デジタルスチルカメラに装着されているレンズのフォーカス調整可能領域の全体で、コントラストデータの取り込みを開始するためのボタンである。コントラストデータ取り込みボタン107を押下すると、フォーカスレンズがフォーカス可能な全領域を駆動し、各ステップ毎のフォーカスレンズ位置における撮影画面全体のコントラストデータを取り込み記憶する。詳細な説明については後述する。
実施例において設けたコントラストデータ取り込みボタン107を含め、電源ボタン101、レリーズボタン102、撮影モード設定ダイヤル103、ズームコントローラボタン104及びメニュー操作ボタン群105は予めそれぞれが各機能に対してその役割を担っている。しかしながら、デジタルスチルカメラ等の電子機器におけるボタン及びダイヤル操作は機械的にのみ機能するだけではなく、それぞれ電子制御的にも機能することができるので、電子機器のファームウェアの設計により各ボタン及びダイヤルに複数の機能を担わせたり、新たな機能を追加したり、消去したり、又は機能を相互に入れ替えたり、複数のボタンを同時に押下して新たな機能を実行させたりすることが可能である。
例えばメニュー操作ボタン群に実施例において設けたコントラストデータ取り込みボタン107の機能を追加することで、コントラストデータ取り込みボタン107を除去することもできる。このようにして部品点数を削減し、コスト及び組立て工程の削減をすることも可能である。実施例ではデジタルスチルカメラ100のファームウェアの設計を簡単にし、デジタルスチルカメラ100の各ボタンの機能及び使用者の操作方法を単純化したものを記載した。
次に本発明である被写界深度調整方法及びユーザインターフェイスについて詳細に説明する。
以下の説明においてデジタルスチルカメラ100の撮影モードは絞り優先オートモード又はマニュアルモードの設定であり、使用者により絞りF値は撮影前に設定されているものとする。本発明は使用者が予め設定したレンズ焦点距離及び絞りF値に基づいて被写界深度を可視化し、使用者がこれを容易に認識できるようにするものであり、プログラムオートモード及びシャッタ速度優先オートモードのようにシャッタ押下時に絞りF値が自動的に決定される撮影モードには適さない。
又、撮影におけるシャッタ速度、レンズ焦点距離、オートフォーカスポイント、ホワイトバランス、ISO感度及び画像圧縮方式等の基本的な撮影設定は設定済みであることを前提とする。但し、以下に説明する方法において支障をきたさない限り手順途中で前記各設定項目は変更できるようにしても良いことは言うまでもない。
図3は本発明であるデジタルスチルカメラ100において被写界深度を可視化する方法の全体を示したフローチャートである。図3のフローチャートに示す本発明の目的は、使用者がデジタルスチルカメラ100を用いて静止画像を撮影する際に、撮影画面全体の各区画におけるコントラストデータによる合焦判定の可視化により、ズームレンズの焦点距離、フォーカスレンズの位置及び絞りF値を考慮した被写界深度を正確且つ容易に認識できるようにすることである。
次に図3のフローチャートを用いて、実施例の全体について逐次説明する。
デジタルスチルカメラ100に設けられたコントラストデータ取り込みボタン107又はその機能を有する他のボタンを押下することにより、フォーカスレンズをそのフォーカス可能な全領域で駆動させて、各フォーカスレンズ位置で撮影画面全体の各区画におけるコントラストデータを取得する。取得したデータから合焦判定テーブルを作成する(S301)。ここでフォーカスレンズ位置は合焦させようとする被写体までの距離として換算することができるので、フォーカスレンズ位置と被写体距離は同意義として使用する。
使用者が予め撮影前に設定したオートフォーカスポイントにおけるコントラストデータを参照し、これにより合焦とみなすことができるコントラストデータの最大値をとるフォーカスレンズ位置までフォーカスレンズを移動させる(S302)。
実施例では合焦判定テーブルから得た被写界深度の情報をライブビューの画面全体に着色して可視化する。そのためライブビューに実際の色を表示したままであると使用者にとって被写界深度の情報を示した着色が識別しにくくなるので、ライブビューをモノクロ表示に変換する(S303)。
S303までにおいて、合焦判定テーブルの作成と液晶表示部106におけるライブビューのモノクロ化が完了している。ここで使用者からのマニュアルフォーカス調整操作を待ち、これにより移動したフォーカスレンズの位置から被写体距離を特定する(S304)。
S304で使用者が移動させたフォーカスレンズの位置における撮影画面全体の合焦判定をS301において作成した合焦判定テーブルから読み出し、合焦判定をS303でモノクロ化されたライブビューに重畳表示し、合焦分布データを表示する(S305)。
使用者がマニュアルフォーカスを完了した後、レリーズボタン102を完全に押下することにより撮影をし、撮影した静止画像をデジタルスチルカメラ100の内部不揮発性メモリ又はデジタルスチルカメラ100に脱着可能な外部不揮発性メモリに記録する(S306)。
本発明である、合焦分布データにより被写界深度を可視化したマニュアルフォーカスモードを終了する時には、S301において作成した合焦判定テーブルのデータを消去し、ライブビューをモノクロ表示から実際の色の表示に戻し、実施例の実施前の状態に復帰する(S307)。
次に図3に示したフローチャートの詳細を図4乃至図7を用いて説明する。
図4及び図5を用いて、図3におけるS301の合焦判定テーブルの作成方法について詳細に説明する。
ここで合焦判定テーブルの構成について説明する。
図8は一つのフォーカスレンズ位置におけるデジタルスチルカメラ100の不図示の撮像素子から取り込まれた撮影画面全体である。撮像素子はCCDやCMOS等の種類や構成の違いは問わず、デジタルスチルカメラ100に取り込む光をアナログ信号からデジタル信号に変換する装置のことを指す。
図8に図示したように、撮影画面全体を任意の大きさの均等な矩形に区切り、これをコントラストデータを取り込む一単位の区画とする。
この矩形の大きさは任意だが、すべての矩形を撮像素子から取り込まれた撮影画面全体に隙間なく敷き詰めることができることと、矩形の総数に起因する全ての矩形から取り込まれたコントラストデータを処理するデジタルスチルカメラ100の処理能力が実用性に適ったものであることが条件となる。
矩形の総数について、実施例では予めデジタルスチルカメラ100に組み込まれたファームウェアにより設定済みであるとしたが、使用者の任意により矩形の総数を選択できるファームウェアの設定としても良いことは言うまでもない。
又、図8に図示したように前記各矩形にはそれぞれ座標(x,y)を与え、撮影画面全体における各矩形の位置を特定できるようにする。撮影画面全体の全ての矩形について、コントラストデータを撮像素子の各座標(x,y)の矩形にあたる位置からそれぞれ取り込み、そのデータを記憶する。その後、フォーカスレンズ位置を1ステップずらし、コントラストデータを取り込むという繰り返しを全てのフォーカスレンズ位置について行う。最終的に図9に図示するようなコントラストデータのテーブルを完成させる。
次に前記コントラストデータのテーブルを合焦判定テーブルに変換する。
本発明は撮影前にコントラストデータを取り込み、その大きさがピークとなる周辺を合焦とみなしている。つまり、コントラスト方式の合焦判定をするものである。
図8に図示したコントラストデータのテーブルから撮影画面全体の一つの座標(x,y)における全てのフォーカスレンズ位置について、取り込んだ全てのコントラストデータを読み出す。その中からコントラストデータの最大値を特定し、そのコントラストデータ最大値におけるフォーカスレンズ位置、つまり被写体距離を特定する。
前記被写体距離、撮影設定におけるレンズ焦点距離及び絞りF値における、前側被写界深度及び後側被写界深度を予めデジタルスチルカメラ100のファームウェアに組み込まれたテーブルから決定する。このテーブルにはデジタルスチルカメラ100に搭載されたレンズ又は装着されている交換式レンズのデータから、予め前側被写界深度及び後側被写界深度が算出されている。
コントラストデータ最大値をとる被写体距離を基準にして、前側被写界深度を差し引いた被写体距離と、後側被写界深度を加えた被写体距離との区間を合焦する被写体距離の区間とみなす。尚、図11に図示したように、この区間を被写界深度という。
コントラストデータのテーブルにおいて被写体距離が被写界深度の範囲内であるコントラストデータを1に変換し、それ以外は0に変換する。これを撮影画面全体の全ての座標(x,y)及びフォーカス駆動可能範囲の全てについて繰り返す。
このようにして実際のコントラストデータのテーブルを合焦判定の基準となる数値に変換したテーブルを合焦判定テーブルとする。
図4のフローチャートを用いて、コントラストデータのテーブル作成方法について逐次説明する。
デジタルスチルカメラ100の不図示の撮像素子からフォーカスレンズの全フォーカス範囲で撮影画面全体のコントラストデータを取り込む時に、デジタルスチルカメラ100に搭載されたレンズ又はデジタルスチルカメラ100に装着された交換式レンズの絞りを開放F値にする(S401)。
コントラストデータを取り込む目的は、単にその最大値を特定するためである。そのため撮影時のように露出量の調整を考慮しなくても良いため、様々な撮影条件において確実にコントラストデータを取り込むことができるように、絞りを露出量が最大となる開放F値にする。
次にコントラストデータをフォーカスレンズ位置、つまり被写体距離に応じて逐次取り込み、記憶していく。まず、フォーカスレンズの初期位置において撮影画面全体のコントラストデータを取り込む(S402)。
フォーカスレンズの全フォーカス範囲を移動する全移動距離を短縮し、もって迅速な撮影とするために、フォーカスレンズの初期位置において最初に画面全体のコントラストデータを取り込む。
フォーカスレンズの初期位置において取り込んだ撮影画面全体のコントラストデータを記憶する(S403)。
フォーカスレンズを現在位置から1ステップ移動させ(S404)、フォーカスレンズを移動させた位置における撮影画面全体のコントラストデータを取り込み(S405)、そのデータをメモリに記憶する(S406)。
最終的にコントラストデータのテーブルが完成するまで、フォーカスレンズの移動とその移動位置における撮影画面全体のコントラストデータの取り込みを繰り返す(S407)。
全フォーカス範囲が広いレンズについてはコントラストデータのテーブルが完成するまで時間がかかる。実施例ではコントラストデータの取り込み範囲を全フォーカス範囲としたが、このコントラストデータを取り込む総時間を短縮するために、撮影時に使用者がだいたいの被写体距離がわかっている場合にはフォーカスリミッタを利用してコントラストデータを取り込むフォーカス範囲を限定しても良い。
又、撮影画面全体ではなく撮影画面全体の一部分におけるコントラストデータのみを取り込むことにより、コントラストデータを取り込む総時間を短縮することもできる。
図5のフローチャートを用いて、図4のフローチャートにおいて作成されたコントラストデータのテーブルを合焦判定テーブルに変換する方法について逐次説明する。
図9に図示したように、コントラストデータのテーブルは撮影画面全体における座標(x,y)と被写体距離とを軸にして構成されている。まずその中から撮影画面全体における座標(x,y)について全てのコントラストデータを読み出す(S501)。
S501で読み出した全てのコントラストデータにおける最大値を決定し(S502)、コントラストデータのテーブルでコントラストデータ最大値に対応する被写体距離を特定する(S503)。
S503で特定したコントラストデータ最大値に対応する被写体距離を記憶する(S504)。実施例において、コントラストデータのテーブルは後述するように合焦判定テーブルとして2数値のデータに変換される。そのため、S302に示すオートフォーカス時においてS503で特定したコントラストデータ最大値に対応する被写体距離の結果を利用するには、撮影画面全体における各座標(x,y)について各被写体距離を別途記憶しておく必要がある。
S503で特定したコントラストデータの最大値に対応する被写体距離を基準とした前側被写界深度と後側被写界深度との区間である被写界深度を求める(S505)。前側被写界深度及び後側被写界深度はデジタルスチルカメラ100に予め組み込まれたファームウェアのテーブルにより決定する。
このテーブルはデジタルスチルカメラ100に搭載されたレンズ又はデジタルスチルカメラ100に装着された交換式レンズのデータにおける実測値により予め作成されている。撮影設定におけるレンズ焦点距離、絞りF値及び被写体距離からこのテーブルを参照することにより前側被写界深度及び後側被写界深度が決定する。
又、予めテーブルを設けずに前側被写界深度及び後側被写界深度をレンズ焦点距離、絞りF値、許容錯乱円径及び被写体距離から計算式を用いて算出できるようにしても良い。
撮影画面全体における各座標(x,y)について、被写体距離zがS505で求めた被写界深度の範囲内に属するか否かを判別する(S506)。被写界距離zが被写界深度の範囲内に属する場合にはそのコントラストデータを1に変換し、属さない場合にはそのコントラストデータを0に変換する(S507)。
撮影画面全体における各座標(x,y)について全ての被写体距離zの判別が完了するまでS506からS507を繰り返す(S508)。
実施例では合焦と非合焦とを1と0の2数値で判定しているが、より詳細に視覚的に判断できるようにしたいときには、合焦及び非合焦の度合いをより多数値で判定しても良い。例えば、前側被写界深度及び後側被写界深度におけるそれぞれのコントラストデータの範囲全体を特定の割合で分割し、それぞれの分割範囲に対して固有の数値を割り当てて、より詳細な合焦度を表示することができる合焦判定としても良い。
又、合焦と非合焦とのコントラストデータの範囲全体を特定の割合で分割し、それぞれの分割範囲に対して固有の数値を割り当てて、合焦度をグラデーションで表現することにより感覚的な合焦判定としても良い。
S501からS508で示したコントラストデータのテーブルの合焦判定テーブルへの変換を撮影画面全体における各座標(x,y)全てについて完了するまで繰り返す(S509)。
S501からS509により図10に図示したような合焦判定テーブルが完成する。
図6を用いて図3のS302に示した撮影前に設定したオートフォーカスポイントにおけるフォーカスレンズの合焦位置への移動、つまりオートフォーカスについて詳細に説明する。
本発明は使用者がマニュアルフォーカスを利用してフォーカスレンズを所望の位置へ自由に調整し、最終的なフォーカスレンズ位置における被写界深度を決定するものである。そのため、必ずしもオートフォーカス機能を必要とはしない。
しかしながら、使用者は撮影画面全体における目標となる被写体をある程度撮影時に意図しており、そのおよその被写体距離に合うように自動でフォーカスレンズ位置を決め、そこからフォーカスレンズ位置を微少量調整して所望の被写界深度を決定することができれば、精密な撮影がより迅速に可能である。
そこで、オートフォーカス機能を用いて、マニュアルフォーカス操作前にフォーカスレンズ位置を使用者が所望するおよその被写体距離に移動させることにより、撮影スピードの迅速化を図った。尚、オートフォーカス機能は本発明において必須の過程ではないので省略しても良い。
コントラスト方式によりオートフォーカスを行うデジタルスチルカメラ等の電子機器は、オートフォーカスを行う撮影画面全体における特定の位置を予めファームウェアにより設定し、その特定の位置についてのみオートフォーカスをすることが可能である。本発明の様に多くの矩形を生成し、それぞれにおいてコントラストデータを取得するならば、その多くの矩形の中からオートフォーカスポイントを指定できるようにしても良い。
図6のフローチャートを用いてオートフォーカスポイントにおけるオートフォーカスについて逐次説明する。
予め設定したオートフォーカスポイントにおいて、S504で記憶したコントラストデータ最大値に対応する被写体距離を読み出す(S601)。前記被写体距離に応じてフォーカスレンズ位置を自動的に移動させる(S602)。
オートフォーカスが完了した後、前述した通り図3のS303でライブビューをモノクロ化する。ライブビューをモノクロ化する理由は後述するようにライブビューにコントラストデータに基づく合焦分布データを重畳して着色表示するためである。合焦分布データによる着色がライブビューの実際の色と重なるのを避け、使用者が合焦判定を認識しやすいようにする。
従って、使用者がライブビューと合焦分布データとを同時に認識しやすいようなライブビューの色に変換するならば、セピアや黒色以外の単一色による表示でも良い。又、単一色でなくとも、ライブビューに対して合焦分布データの表示に用いた着色が十分認識できる程度にライブビューの彩度を低くしても良い。
図7を用いて、図3のS304及びS305で示した使用者によるマニュアルフォーカス操作及び図3のS301で作成された合焦判定テーブルに基づく合焦分布データの表示方法について詳細に説明する。
S302でオートフォーカスにより決定したフォーカスレンズ位置から、使用者のマニュアルフォーカス調整操作によりフォーカスレンズを移動させる。移動させたフォーカスレンズ位置情報によりこれに対応した被写体距離を特定できる。
S301で作成した合焦判定テーブルを参照して、前記被写体距離に対応した撮影画面全体の合焦判定データを読み出す。前記合焦判定データに基づいて、合焦判定をモノクロ化したライブビューに重畳して色づけ表示することにより、合焦判定を可視化した合焦分布データを作成する。使用者は意図するフォーカスレンズ位置、つまり被写体距離を得るまで前記合焦分布データを確認しながら、マニュアルフォーカス調整操作を繰り返す。
図7のフローチャートを用いて、使用者のマニュアルフォーカス操作及び合焦分布データの作成について逐次説明する。
図3のS303でライブビューをモノクロ化し、使用者のマニュアルフォーカス操作が可能となったならば、マニュアルフォーカス操作可能サインを液晶表示部106等に表示する(S701)。
前述したように実施例では、使用者が意図する蓋然的なフォーカスレンズ位置、つまり被写体距離をオートフォーカスによりまず決定し、オートフォーカスにより決定したフォーカスレンズ位置から微少量マニュアルフォーカス調整操作を行うことにより、最終的な使用者の意図するフォーカスレンズ位置に移動させることとしている。これにより撮影の迅速化を図っている。従って、使用者によるマニュアルフォーカス調整操作前におけるオートフォーカスの最中に、使用者が誤ってマニュアルフォーカス操作を行わないようにする必要がある。そこで、オートフォーカスが完了した後、マニュアルフォーカス操作可能サインを表示するようにしている。
S701でマニュアルフォーカス操作可能サインが表示された後、使用者がマニュアルフォーカス調整操作を行う(S702)。使用者はデジタルスチルカメラ100に搭載されたレンズ又はデジタルスチルカメラ100に装着された交換式レンズの不図示のスケールリングをレンズ鏡筒周りに回転させることでマニュアルフォーカス調整操作を行う。デジタルスチルカメラにフォーカス調整を電子制御的に行うボタン又はダイヤル等が設置されている場合には、これを押下又は回転してマニュアルフォーカス調整を行う。
S702で使用者がマニュアルフォーカス調整操作により決定したフォーカスレンズの位置情報から被写体距離を特定する(S703)。S301で作成した合焦判定テーブルを参照して、前記被写体距離に対応する撮影画面全体の合焦判定データを読み出す(S704)。
使用者がS702のマニュアルフォーカス調整操作で決定したS703の被写体距離における撮影画面全体の各座標(x,y)について、S301で記憶した合焦判定データは1であるか否かを判別する(S705)。
1であるならば座標(x,y)の位置にある矩形に例えば半透明緑色等を、0であるならば例えば半透明赤色等をS303でモノクロ化されたライブビューに重畳表示する。合焦判定を指定する色はデジタルスチルカメラ100の設計者又は使用者により任意に設定及び選択可能にすることができることは言うまでもない。
S703の被写体距離における撮影画面全体の全ての座標(x,y)についてS301で作成された合焦判定テーブルに基づく着色が完了するまでS705からS706を繰り返す(S707)。これにより合焦分布データがライブビューに重畳表示される。
使用者がS702のマニュアルフォーカス調整操作で決定したS703の被写体距離における前記合焦分布データを確認して、所望の合焦分布データが得られたと判断したならばマニュアルフォーカス調整操作を終了し、次の撮影及び記録の過程に移る。そうでなければ所望の合焦分布データを得るまで使用者はS702からS707のマニュアルフォーカス調整操作及び合焦分布データの表示を繰り返す(S708)。
使用者が図7のS708で所望する合焦分布データを得たと判断した後、図3のS306で示した撮影及び記録をする。
撮影はレリーズボタン102の完全な押下によりデジタルスチルカメラ100の不図示のシャッタがきれ、不図示の撮像素子から撮影画像データが取り込まれるることにより行われる。本発明における撮影では、前述したように絞りF値が既に設定済みであり、オートフォーカスではなくマニュアルフォーカスを利用しているため、レリーズボタン102の押下直後から第1段階までの押下時には原則として絞りF値及び被写体距離は変更されない。尚、撮影モード設定ダイヤル103で絞り優先オートモードが選択されている場合には、この時にシャッタ速度が自動的に決定される。
記録は撮影終了後に取り込まれた撮影画像データを予め設定された画像圧縮方式で自動的に圧縮し、デジタルスチルカメラ100に脱着可能な外部不揮発性メモリ又はデジタルスチルカメラ100に搭載された内部不揮発性メモリへ転送することにより行われる。画像圧縮について非圧縮を設定している場合には、取り込まれた撮影画像データはそのまま前記不揮発性メモリへ転送される。
尚、図3のS303においてライブビューはモノクロ化されているが撮影時には実際の色の撮影画像データを取り込み、記録することは言うまでもない。又、撮影時の絞りF値はコントラストデータを取り込む際に設定した開放F値から、予め使用者が設定した絞りF値に戻っていることは言うまでもない。
最後に本発明による合焦分布データの表示を終了する場合には、S301で作成した合焦判定テーブルをメモリから消去し、S303でモノクロ化したライブビューを実際の色のライブビューに戻す(S307)。
以上により、本発明における実施例を終了する。
実施例におけるデジタルスチルカメラの後部斜視図である。 前後した及び離れた不連続な複数の被写体の例を示す参考図である。 実施例における全体を示すフローチャートである。 実施例におけるコントラストデータのテーブルの作成を示すフローチャートである。 実施例におけるコントラストデータのテーブルを合焦判定テーブルに変換するフローチャートである。 実施例におけるオートフォーカスを示すフローチャートである。 実施例における合焦分布データをライブビューに重畳表示する方法を示すフローチャートである。 撮影画面全体を複数の矩形に分割し、座標(x,y)を付した参考図である。 コントラストデータのテーブルを示した参考図である。 合焦判定テーブルを示した参考図である。 取り込まれたコントラストデータの分布グラフを示した参考図である。 撮影画面全体において、合焦分布データにより被写界深度を可視化した様子を示す参考図である。
符号の説明
100 デジタルスチルカメラ
101 電源ボタン
102 レリーズボタン
103 撮影モード設定ダイヤル
104 ズームコントローラボタン
105 メニュー操作ボタン
106 液晶表示部
107 コントラストデータ取り込みボタン

Claims (10)

  1. マニュアルフォーカス調整機能を有し、撮影前に使用者の任意により絞りF値を設定することができる機能を有し、コントラストを検出してその高さにより合焦判定を行う機能を有した撮影装置において、レンズを絞り開放F値にしてフォーカス駆動可能範囲のコントラストデータを撮像素子から全て取り込み、取得したコントラストデータのテーブルを合焦判定テーブルに変換し、前記コントラストデータに基づいて得られた被写界深度と前記合焦判定テーブルにより、ライブビューに合焦分布データを2色の着色によって重畳表示するための表示方法及び前記合焦分布データが表示されるユーザインターフェイス。
  2. マニュアルフォーカス調整機能を有し、撮影前に使用者の任意により絞りF値を設定することができる機能を有し、コントラストを検出してその高さにより合焦判定を行う機能を有した撮影装置において、レンズを絞り開放F値にしてフォーカス駆動可能範囲のコントラストデータを撮像素子から全て取り込み、取得したコントラストデータのテーブルを合焦判定テーブルに変換し、前記コントラストデータに基づいて得られた被写界深度と前記合焦判定テーブルにより、ライブビューに合焦分布データを合焦度及び非合焦度に応じた多色の着色によって重畳表示するための表示方法及び前記合焦分布データが表示されるユーザインターフェイス。
  3. マニュアルフォーカス調整機能を有し、撮影前に使用者の任意により絞りF値を設定することができる機能を有し、コントラストを検出してその高さにより合焦判定を行う機能を有した撮影装置において、レンズを絞り開放F値にしてフォーカス駆動可能範囲のコントラストデータを撮像素子から全て取り込み、取得したコントラストデータのテーブルを合焦判定テーブルに変換し、前記コントラストデータに基づいて得られた被写界深度と前記合焦判定テーブルにより、ライブビューに合焦分布データを合焦から非合焦までの段階に応じた漸次的な着色によって重畳表示するための表示方法及び前記合焦分布データが表示されるユーザインターフェイス。
  4. 撮影画面全体の一部分のみにおいてフォーカス駆動可能範囲のコントラストデータを撮像素子から全て取り込み、合焦判定テーブルを一部省略化した請求項1、請求項2及び請求項3の表示方法及びユーザインターフェイス。
  5. フォーカスリミッタを設けて全フォーカス駆動可能範囲の一部分のみにおいてコントラストデータを全て取り込むことにより、合焦判定テーブルを一部省略化した、請求項1、請求項2及び請求項3の表示方法及びユーザインターフェイス。
  6. 使用者のマニュアルフォーカス調整操作の直前に、オートフォーカスで予め蓋然的な被写体距離を決定する、請求項1、請求項2及び請求項3の表示方法及びユーザインターフェイス。
  7. 被写界深度を絞りF値、レンズ焦点距離及び被写体距離から予めファームウェアに組み込まれたテーブルを参照して決定する、請求項1、請求項2及び請求項3の表示方法及びユーザインターフェイス。
  8. 被写界深度を絞りF値、レンズ焦点距離、被写体距離及び許容錯乱円径から計算式により決定する、請求項1、請求項2及び請求項3の表示方法及びユーザインターフェイス。
  9. ライブビューを単一色にした後、これに合焦分布データを重畳表示した、請求項1、請求項2及び請求項3の表示方法及びユーザインターフェイス。
  10. ライブビューの彩度を低下させた後、これに合焦分布データを重畳表示した、請求項1、請求項2及び請求項3の表示方法及びユーザインターフェイス。
JP2006328964A 2006-12-06 2006-12-06 被写界深度調整方法及びそのユーザインターフェイスを有する撮影装置 Active JP4996221B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006328964A JP4996221B2 (ja) 2006-12-06 2006-12-06 被写界深度調整方法及びそのユーザインターフェイスを有する撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006328964A JP4996221B2 (ja) 2006-12-06 2006-12-06 被写界深度調整方法及びそのユーザインターフェイスを有する撮影装置

Publications (3)

Publication Number Publication Date
JP2008145465A true JP2008145465A (ja) 2008-06-26
JP2008145465A5 JP2008145465A5 (ja) 2010-01-28
JP4996221B2 JP4996221B2 (ja) 2012-08-08

Family

ID=39605758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006328964A Active JP4996221B2 (ja) 2006-12-06 2006-12-06 被写界深度調整方法及びそのユーザインターフェイスを有する撮影装置

Country Status (1)

Country Link
JP (1) JP4996221B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098167A (ja) * 2007-10-12 2009-05-07 Casio Comput Co Ltd 撮像装置及びそのプログラム
EP2131444A1 (en) 2008-06-03 2009-12-09 Sumida Corporation Antenna coil for receiving an external magnetic field
JP2010224607A (ja) * 2009-03-19 2010-10-07 Casio Computer Co Ltd 画像合成装置及びプログラム
WO2011102299A1 (ja) * 2010-02-19 2011-08-25 三洋電機株式会社 制御装置および投写型映像表示装置
JP2012235180A (ja) * 2011-04-28 2012-11-29 Nikon Corp デジタルカメラ
JP2013066058A (ja) * 2011-09-16 2013-04-11 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2013186293A (ja) * 2012-03-08 2013-09-19 Seiko Epson Corp 画像生成装置および画像表示方法
JP2013203335A (ja) * 2012-03-29 2013-10-07 Denso It Laboratory Inc 対象認識装置
JP2021051090A (ja) * 2020-12-24 2021-04-01 株式会社東京精密 表面形状測定方法
WO2023276446A1 (ja) * 2021-06-30 2023-01-05 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003241067A (ja) * 2002-02-18 2003-08-27 Minolta Co Ltd 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003241067A (ja) * 2002-02-18 2003-08-27 Minolta Co Ltd 撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098167A (ja) * 2007-10-12 2009-05-07 Casio Comput Co Ltd 撮像装置及びそのプログラム
EP2131444A1 (en) 2008-06-03 2009-12-09 Sumida Corporation Antenna coil for receiving an external magnetic field
JP2010224607A (ja) * 2009-03-19 2010-10-07 Casio Computer Co Ltd 画像合成装置及びプログラム
WO2011102299A1 (ja) * 2010-02-19 2011-08-25 三洋電機株式会社 制御装置および投写型映像表示装置
JP2012235180A (ja) * 2011-04-28 2012-11-29 Nikon Corp デジタルカメラ
JP2013066058A (ja) * 2011-09-16 2013-04-11 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2013186293A (ja) * 2012-03-08 2013-09-19 Seiko Epson Corp 画像生成装置および画像表示方法
JP2013203335A (ja) * 2012-03-29 2013-10-07 Denso It Laboratory Inc 対象認識装置
JP2021051090A (ja) * 2020-12-24 2021-04-01 株式会社東京精密 表面形状測定方法
JP7001947B2 (ja) 2020-12-24 2022-01-20 株式会社東京精密 表面形状測定方法
WO2023276446A1 (ja) * 2021-06-30 2023-01-05 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
JP7477726B2 (ja) 2021-06-30 2024-05-01 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム

Also Published As

Publication number Publication date
JP4996221B2 (ja) 2012-08-08

Similar Documents

Publication Publication Date Title
JP4996221B2 (ja) 被写界深度調整方法及びそのユーザインターフェイスを有する撮影装置
JP5004726B2 (ja) 撮像装置、レンズユニットおよび制御方法
US8525921B2 (en) Image capturing apparatus and control method therefor
JP5163257B2 (ja) 撮像装置
JP4804210B2 (ja) 撮像装置及びその制御方法
KR20100091846A (ko) 촬상 장치 및 촬상 방법
JP4926833B2 (ja) カメラシステム
JP5827491B2 (ja) 撮像装置、及び撮像装置の制御方法
JP2005277813A (ja) 電子撮像装置
JP2009296127A (ja) 撮像装置
JP2008299157A (ja) カメラシステム
JP4931769B2 (ja) 撮像装置および撮像制御方法
JP5928016B2 (ja) 撮像装置及び撮像方法
JP2008054031A (ja) デジタルカメラ及び表示制御方法
JP2021021857A (ja) 撮像装置およびその制御方法
JP2006157225A (ja) 撮像装置
JP2009044382A (ja) カメラの表示装置
JP2005221578A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2009239651A (ja) 撮像装置
JP2007114414A (ja) 撮像装置
JP2008052022A (ja) 撮像装置および撮像方法
JP4576175B2 (ja) デジタルカメラ
JP2016142779A (ja) 撮像装置
JP6452336B2 (ja) 撮像装置およびその制御方法
JP2019191439A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120511

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4996221

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250