JP2008060818A - カメラ及び光学機器 - Google Patents

カメラ及び光学機器 Download PDF

Info

Publication number
JP2008060818A
JP2008060818A JP2006234084A JP2006234084A JP2008060818A JP 2008060818 A JP2008060818 A JP 2008060818A JP 2006234084 A JP2006234084 A JP 2006234084A JP 2006234084 A JP2006234084 A JP 2006234084A JP 2008060818 A JP2008060818 A JP 2008060818A
Authority
JP
Japan
Prior art keywords
image
aperture
image signal
aperture value
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006234084A
Other languages
English (en)
Other versions
JP4948091B2 (ja
JP2008060818A5 (ja
Inventor
Osamu Nonaka
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2006234084A priority Critical patent/JP4948091B2/ja
Publication of JP2008060818A publication Critical patent/JP2008060818A/ja
Publication of JP2008060818A5 publication Critical patent/JP2008060818A5/ja
Application granted granted Critical
Publication of JP4948091B2 publication Critical patent/JP4948091B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】シャッタスピードを変更することによって得られる画像の差異を予測表示し、撮影者の思いを反映した、雰囲気豊かな写真をきれいに撮影することができるカメラ及び光学機器を提供することである。
【解決手段】撮影時に、被写体30からの像信号を所定時間露光して撮像素子14によって撮像信号を得る。上記所定の露光時間の切り替えは切り替えスイッチにより行われる。そして、上記撮影に先立って、撮像素子14の出力信号を上記所定の露光時間より短い露光時間で所定の時間間隔で繰り返し入力し、撮像素子14の出力の時間的な変化を画像判定部18で検出する。また、この変化検出結果より、上記被写体の撮影に際して得られる画像を、画像処理部20及び効果予測部17aで予測して表示部21に表示する。
【選択図】 図1

Description

本発明は、撮影レンズの絞り量を切り替えて画像記録するカメラ及び光学機器に関するものである。
一般に、写真撮影法として、シャッタスピードや絞り制御を切り替えること(マニュアル撮影を行うこと)によって、レンズの効果を変えたり、動いているものを表現する効果を変えたりして、画像の表現を調節する方法が知られていた。フィルムを使用したカメラでは、現像やプリントしてからでなければ結果がわからなかったために、なかなかこのような切り替えによる効果の違いを習得しにくいものであった。
ところが、近年、デジタル化が進展し、レンズのぼけや被写界深度に関しては、カメラ背面等に設けられた液晶などで簡単に効果確認が可能となった。また、撮影光路とは別にモニタ用光路を設けて、そこに挿入する光学部材を変更して、擬似的にそれを視覚化する提案が知られている(例えば、特許文献1参照)。
特開平9−69972号公報
しかしながら、上記特許文献1による技術では、構成が複雑である上に、実際の撮影レンズの持ち味とは異なる効果となってしまうという問題が考えられていた。
したがって本発明は上記実情に鑑みてなされたものであり、その目的は、デジタルカメラならではの画像処理機能を有効利用して、撮影レンズの絞りを変化させたときに、撮影時に生じる画像の効果を予め目視可能とし、それを確認しながらユーザの意図を正しく再現した写真を撮影することのできるカメラ及び光学機器を提供することである。
すなわち請求項1に記載の発明は、撮影レンズと、上記撮影レンズにより生成される光学像を受光して画像信号を出力する撮像手段と、上記撮影レンズ内に配され、第1の絞り値と、上記第1の絞り値とは異なる第2の絞り値を設定可能な絞り手段と、上記絞り手段を上記第1の絞り値に設定した状態で上記撮像手段から得られる第1の画像信号と、上記絞り手段を上記第2の絞り値に設定した状態で上記撮像手段から得られる第2の画像信号とを用いて、第1の絞り値と第2の絞り値との間の第3の絞り値相当の予測画像信号を生成する予測手段と、を具備することを特徴とする。
請求項2に記載の発明は、請求項1に記載の発明に於いて、上記第1の画像信号と第2の画像信号を比較して画像信号変化を検出する検出手段と、上記検出手段の検出結果に基づいて、画像信号変化が所定値に対して大きい部分を背景部と判定し、画像信号変化が所定値に対して小さい部分を主被写体部と判定する判定手段と、を更に具備することを特徴とする。
請求項3に記載の発明は、請求項2に記載の発明に於いて、上記判定手段で上記主被写体部と判定された部分には動画像を、上記背景部と判定された部分には静止画像を、1つの画像として合成する合成手段を更に具備することを特徴とする。
請求項4に記載の発明は、請求項1に記載の発明に於いて、上記第1、第2の画像信号と予測画像信号とに基づく画像を一覧表示する表示手段を更に具備することを特徴とする。
請求項5に記載の発明は、請求項4に記載の発明に於いて、上記表示手段により一覧表示された画像から1つの画像を選択する選択手段と、上記選択手段により選択された画像に対応する絞り値を設定する設定手段と、を更に具備することを特徴とする。
請求項6に記載の発明は、請求項3に記載の発明に於いて、上記第1、第2の画像信号と予測画像信号とに基づく画像を一覧表示する表示手段と、上記表示手段により一覧表示された画像から1つの画像を選択する手段と、上記選択手段により選択された画像に対応する絞り値を設定する設定手段と、を更に具備し、上記合成手段は、上記背景部分に、上記第1、第2、予測画像信号のうち上記設定された絞り値に対応する画像に基づいた静止画像を合成することを特徴とする。
請求項7に記載の発明は、請求項1に記載の発明に於いて、上記予測手段は、第1、第2の画像信号の平均を取って、予測画像信号を生成することを特徴とする。
請求項8に記載の発明は、撮影レンズと、上記撮影レンズにより生成される光学像を受光して画像信号を出力する撮像手段と、複数の絞り値を設定可能な絞り手段と、上記絞り手段の複数の絞り値で得られた画像信号から、それぞれの絞り値の間の絞り値相当の予測画像信号を生成する予測手段と、を具備することを特徴とする。
請求項9に記載の発明は、請求項8に記載の発明に於いて、上記複数の絞り値で得られた画像信号に基づく画像と、上記予測画像信号に基づく画像とを一覧表示する表示手段を更に具備することを特徴とする。
請求項10に記載の発明は、請求項9に記載の発明に於いて、上記表示手段により一覧表示された画像から1つの画像を選択する選択手段と、上記選択手段により選択された画像に対応する絞り値を設定する設定手段と、を更に具備することを特徴とする。
請求項11に記載の発明は、焦点調整用のフォーカスレンズを備えた撮影レンズと、上記撮影レンズ内に配され、第1の絞り値と、上記第1の絞り値とは異なる第2の絞り値を設定可能な絞り手段と、上記絞り手段を介して上記撮影レンズにより生成される光学像を受光して画像信号を出力する撮像素子と、上記絞り手段を上記第1の絞り値に設定した状態で上記撮像素子から得られる第1の画像信号と、上記絞り手段を上記第2の絞り値に設定した状態で上記撮像素子から得られる第2の画像信号とに基づいて、上記第1の絞り値と第2の絞り値との間の第3の絞り値相当の予測画像信号を予測する予測手段と、上記予測手段で予測された上記予測画像信号を生成する生成手段と、を具備することを特徴とする。
請求項12に記載の発明は、被写体光を導く撮影レンズと、上記被写体光の光量を調節して第1の絞り値と、上記第1の絞り値とは異なる第2の絞り値を設定可能な絞り手段と、を有する撮影レンズ部と、上記撮影レンズにより生成される光学像を受光して画像信号を出力する撮像手段と、上記絞り手段を上記第1の絞り値に設定した状態で上記撮像手段から得られる第1の画像信号と、上記絞り手段を上記第2の絞り値に設定した状態で上記撮像手段から得られる第2の画像信号とを用いて、第1の絞り値と第2の絞り値との間の第3の絞り値相当の予測画像信号を生成する予測手段と、を有する本体部と、を具備することを特徴とする。
請求項13に記載の発明は、請求項12に記載の発明に於いて、上記第1の画像信号と第2の画像信号を比較して画像信号変化を検出する検出手段と、上記検出手段の検出結果に基づいて、画像信号変化が所定値に対して大きい部分を背景部と判定し、画像信号変化が所定値に対して小さい部分を主被写体部と判定する判定手段と、を更に具備することを特徴とする。
請求項14に記載の発明は、請求項12に記載の発明に於いて、上記予測手段は、第1、第2の画像信号の平均を取って、予測画像信号を生成することを特徴とする。
本発明によれば、デジタルカメラならではの画像処理機能を有効利用して、撮影レンズの絞り値を変化させたときに、撮影時に生じる画像の効果を予め目視可能とし、それを確認しながらユーザの意図を正しく再現した写真を撮影することのできるカメラ及び光学機器を提供することができる。
以下、図面を参照して、本発明の実施形態を説明する。
図1は、本発明の一実施形態に係るデジタルカメラの基本構成を示したブロック図である。このデジタルカメラ(以下、カメラと略記する)10は、メインCPU(以下、MPUと記す)11と、ズーム制御部12と、絞り制御部13と、ズームレンズ(撮影レンズ)15と、絞り16と、撮像素子17と、アナログフロントエンド部(AFE)18と、画像処理部20と、画像判定部21と、圧縮部23と、記録制御部24と、記録メディア25と、出力部26と、表示制御部29と、表示部30と、補助光発光部32と、複数のスイッチ33a、33b、33cとを有して構成される。
判定手段としての機能を有するMPU11はマイクロコントローラ等から構成されるもので、ユーザによる各種の操作をスイッチ33a、33b、33cの状態によって検出する。MPU11は、上記スイッチ33a、33b、33cの検出結果と所定のプログラムに従って状態を判定し、撮影時に上述した各ブロックをシーケンシャルに制御する。これらのスイッチ33a、33b、33cの操作に従って、撮影/再生のモード切り替えや撮影モードの切り替え等も行えるようになっている。また、ズーミングの操作も、このように構成されたスイッチをユーザが操作することを、MPU11が検知して実行する。このズーム制御用の釦(図示せず)等も備えておき、ズームレンズ15をズーム制御部12で制御し、レンズでの被写体拡大ができない場合には、撮像素子17の中から像を取り出すエリアを、MPU11が限定する制御をAFE18に実行させて、部分画像を全画像として表示、記録することでズームの延長とする。
尚、スイッチ33a〜33cは、電源のオン、オフを行う電源スイッチ(33a)や、レリーズ操作を行うためのレリーズスイッチ(33b)、撮影と再生、シャッタスピードや本発明の特徴たる絞り16の切り替えやその他のスイッチ(切り替え手段;33c)の機能を有しており、ユーザの操作を入力するものである。
上記撮影レンズ15はズームレンズである場合が多く、ユーザの操作に従い、MPU11によって、ズーム制御部12を介して焦点距離が切り替えられ、また、ズーミングの位置がモニタされる。また、ズームレンズ15の絞り16は、絞り制御部13によってその口径が変えられ、絞り値を変更することができる。ユーザのスイッチ制御によって、この口径を切り替えて撮影することが可能となっている。この絞り16の切り替えによって、被写体35の描写は、図2及び図3に示されるように変化する。尚、図1に於いては、絞り16はズームレンズ15とは別に示されているが、実際にはレンズ鏡筒内で、図2及び図3に示されるように、複数の撮影レンズの間に設けられている。
図2(a)は、絞り16が開いた状態の光路を図示している。同図に於いて、撮像素子17の撮像面17aに対して、主被写体35aの像がぴったりとピントあわせした状態であり、背景の木35bの像は撮像面17aでピントが合わないので、b0 の大きさのぼけとなる。したがって、図2(b)に示されるように、主被写体にはピントが合っても、背景像は大きくぼけて被写体が浮かび上がったような効果の写真40となる。ポートレート時には、このような表現の写真が好まれる。また、背景が乱雑であったり、背景に特に記録したいものが存在しない場合には、このような方法で、邪魔な背景をぼかしてしまう撮影がなされる。
また、図3(a)は、絞り16が絞られた状態の光路を示している。図2(a)の場合と同様に、主被写体35aにピントが合った状態を表現しており、背景の木35bの像は、撮像素子17の撮像面17aではピントが合っていない状態となる。しかし、この場合、絞り16によって有効な光線が限定されているので、ぼけ量bn が図2(a)に示される例の場合よりも小さく、撮影した結果は、図3(b)に示されるように、背景がよりはっきりしたものとなる。このような描写は、どのような場所で撮影されたかが分かりやすいので、スナップ写真の時に好ましい。背景がきれいな場合は、このような撮影法を好む人が多い。
つまり、図2のような絞りの状態で撮影するか、図3のような絞りの状態で撮影するかは、その時の状況や撮影の意図によって好ましさが変化する。また、これらのぼけ具合の効果は、簡単には事前に判断することはできない。何故ならば、いわゆるプレビュー等で、絞り16を絞って被写体35を確認しようとすると、ズームレンズ15を通る光線が少なくなって暗くなる方が気になって、背景のぼけ具合を完全に認識することが難しくなってしまうからである。
本実施形態では、このような絞りの効果を、最新のデジタル技術で視覚化し、ユーザがより簡単に、絞りの効果を楽しむことができるカメラを提供する。特に、背景のぼけは、一義的に決まるわけではなく、撮影時の撮影レンズの焦点距離や、主被写体とカメラの距離、更に、背景の物体までの距離によって、適切な絞り値が変化する。単に絞り込むと、光量が不足してシャッタスピードが長くなって、ぶれやすくなったりする。また、絞りを開きすぎると、被写界深度が浅くなるので、ちょっとした動きでピントがずれてピンぼけ写真となってしまう。つまり、状況を加味しながら、適切な絞り値の設定が重要である。
被写体35からの像は、ズームレンズ15を介して多数の受光面(画素)を有するCMOSセンサやCCD等で構成される撮像素子17で受光される。撮像素子17では、これが電気的な信号に変換される。そして、この結果がA/D変換部を含むAFE18にてデジタル信号化され、更に画像処理部20に入力される。
また、AFE18は、撮像素子17の出力する信号を取捨選択する機能を有しており、全部の受光面から限られた範囲の画像データや、間引かれた画素データのみを抽出することができる。この制御によって、所定の領域のみの画像を記録すれば、いわゆるトリミングと同様の効果を出すことができる。画面に入ってくる全てのものを、必ずしも撮影したくない場合には、このような工夫が有効である。
上記撮像素子17は、無数の画素から構成されるが、幾つかの同色の画素信号を加算して利用することによって、S/Nを改善することが可能である。このような出力加算処理も、AFE18にて可能である。
画像の生成手段や合成手段である画像処理部20は、入力信号の色や階調やシャープネスを補正処理するもので、撮影時には、後段の圧縮部23にて圧縮記録を行う。また、画像処理部20の信号を利用して、撮像素子17から入力されてくる画像の特徴等を判定する画像判定部21等が、このシステムには含まれている。後述するが、逆光シーン等、補助的な光を照射した方が良いシーン等を判定して、しかるべき制御を行う場合等にこの機能の出力を参照する。また、本実施形態の特徴たる、被写体の像の変化の検出等も行うようになっている。更に、この画像処理部20内には、後述するように、絞り等の効果を予測する効果予測部20aを有している。この効果予測部20aで予測される予測画像信号は、画像処理部20で生成される。
画像処理部20から出力された信号は、圧縮部23によって圧縮される。圧縮部23内には、JPEGコア部等の静止画像用圧縮部23a(図1には圧縮Sと示される)、またはMPEG4やH.264等の圧縮用コア部で構成される動画用圧縮部23b(図1には圧縮Mと示される)を有している。
この圧縮部23で圧縮された画像信号は、記録制御部24を介して記録メディア25に記録される。そして、ここで記録されたデータは、出力部26によって、図示されないパーソナルコンピュータ等を介して、ホームページやブログ等のサービスにアップロード可能である。こうした用途を前提にした画像は、撮影時から、それに相応しい撮影方法をとっておき、掲載時に所定の効果が得られるような工夫をしておく。そして、記録メディア25に記録された圧縮データは、画像処理部20によって伸張されて再生されるが、この結果は表示制御部29を介して表示部30にて鑑賞することが可能になっている。また、この表示部30は液晶や有機EL等から成るもので、カメラのファィンダの機能を兼用している。
上記画像処理部20は、また、図示されないがリサイズ回路を有している。このリサイズ回路は、表示制御部29によって制御される表示部30に、撮像素子17からの信号を表示できるようなサイズに加工してリアルタイムに入力する。
上記表示制御部29には、マルチ画像制御部29aを有している。画面を単一の画像表示にのみ使用するのではなく、複数画像の表示に利用する場合には、このマルチ画像制御部29aを利用して、表示部30の表示パネルに複数の画像を表示可能としている。これは、例えば、奇数番目に入力された画像を画面の左側に、偶数番目に入力された画像信号を画面の右側に表示するような制御を司るものである。
補助光発光部27では、撮影状況に応じて、被写体35に光を照射して、明るさの不足や、不均一な明るさを防止するようにしている。
図4は、本実施形態によるカメラの絞り制御効果のプレビュー表示の考え方を説明するためのタイミングチャートである。
ユーザが、撮影時に被写体を狙いながらプレビューの操作を行うと、図4(a)に示されるように、絞り16の口径が小さくなり、また元に戻される。この絞り込みの過程や、元に戻す過程に於いて、図4(b)に示されるように撮像を行い(絞り値が大きくなると撮像時間を長めにして、露出値は極力一定にしている)、開放時AV0 〜AVn まで、ここでは5つの絞り値によって5つの像が得られるので、この結果から、その撮影条件に於ける主被写体と背景の関係から、各絞りに於いて得られる背景のぼけ方が検出できる。
この背景のぼけ方を、仮にコントラストとして図示すると、図4(c)に示されるようなグラフが得られる。つまり、背景が主被写体に近いならば、あまり大きな変化はなく(C1)、主被写体から遠いならば、どんどん変化する(C2)。また、レンズの焦点距離によってもこの変化は異なるので、特に背景の描写を気にする初心者のユーザにとっては、撮影時のその状況下に於いて、こまめに絞りの効果を確認することが好ましい。
このように、現在の撮影状況下に於いて、どのような背景描写となるかが、表示部30内の図示されないサブ画面に表示され、その中の画像からユーザが感覚的に好きな描写を選ぶことができる。絞り値を数値で選ぶような構成のカメラもあるが、そうした方法では、撮影シーンによって変わる効果までを感覚的に判断することができない。
本実施形態による手法であれば、撮影レンズの持ち味やそのときの状況全てを加味して、実際の結果を予測して一覧表示するので、ユーザは、これを比較して、最も自分の好きな描写の写真を簡単に選択することができる。特に、一眼レフレックスカメラ(以下、単に一眼レフカメラと略記する)等、F2、F2.8、F4、F5.6、F8、F11、F16、F22と8段階、またはそれ以上に絞り値の細かい設定が可能であるが、これらの細かい差異を見分けるには一覧表示してみないと分かりにくい。このように、単純に絞り値は、設定すればすぐに思い通りの写真が得られるわけではない。
また、全ての絞りの設定結果を確認しながら、該設定結果を順次一覧に表示するのも手間がかかるので、本実施形態では、幾つかの絞り設定の結果を判定し、それよりも多い数の絞りの効果については推測して画像処理表示するようにしている。このような工夫によって、短時間に得られた複数画像から、それより多い数の画像を予測して表示することができる。
実際の設定可能な絞り値の数だけの画像を実際に実測していると、時間がかかってしまい、その間に被写体が動いてしまう可能性があった。反対に、被写体の動きの影響がないスピードで多数の画像を取得するのは、撮像素子や回路の処理スピードの限界があって実現は難しい。この一覧の表示としては、単純に、上述した8段階の絞りについて、表示部30に8つの画像を並べてもよいが、図4(d)に示されるように、表示部30の中心に現在の画像41aを、その周辺に、サンプル画像41bとして絞りを変えた時にどうなるかを、例えば、変化の大きい画像部分のみを抜き出して表示するようにしてもよい。これについては、図5のフローチャートのステップS25以降で説明する。
次に、このような構成のカメラを制御動作について、図5のフローチャートを参照して説明する。尚、このフローチャートによる処理動作は、主にMPU11の指令に従って行われる。
電源スイッチ33aがオンされることにより本ルーチンが開始され、先ずステップS1に於いて、撮影を行うか否かが、撮影モードの選択の有無によって判定される。ここで、撮影操作が行われる場合はステップS2に移行し、行われない場合は後述するステップS9に移行する。ステップS2では、絞り値が選択された撮影であるか否かが判定される。ここで、絞り値が選択された撮影であった場合は、ステップS3に移行して、その絞り値に撮影レンズ15の絞りが設定される。そして、続くステップS4にて、上記ステップS3で設定された条件で露出が合うように、シャッタスピードや撮像素子17の感度が上げられて撮影が行われる。
一方、上記ステップS2に於いて、絞り優先撮影でない場合は、ステップS5に移行して、シャッタスピードや絞りの組合わせが、より自由に変更されての撮影が行われる。
その後、ステップS6にて、撮像素子17による撮像が行われる。尚、上記ステップS4、S5の何れの場合も、被写体が暗い場合等は、補助光発光部32の照射を伴って撮影時に光が補われる。このように撮影が行われると、ステップS7にて色補正やコントラスト補正等の画像処理や画像圧縮が行われる。次いで、ステップS8にて記録メディア25に記録される。
また、上記ステップS1に於いて撮影操作が行われない場合は、ステップS9に移行して再生モードであるか否かが判定される。ここで、ユーザによって再生モードに設定されている場合にはステップS10に移行し、そうでない場合はステップS13に移行する。
ステップS10では、画像の一覧が表示部30に表示される。次いで、ステップS11にて、この一覧表示の中に選択画像があるか否かが判定される。その結果、選択画像があれば、ステップS12に移行してその画像が表示部30に全面表示される。その後、上記ステップS1に移行する。また、上記ステップS11にて選択画像がない場合はステップS12をスキップして上記ステップS1に移行する。
一方、上記ステップS9に於いて再生モードでない場合は、ステップS13に於いて電源スイッチ33aの状態が判定される。ここで、電源スイッチ33aがオフにされていれば、電源オフの制御が行われる。これに対し、上記ステップS13にて電源スイッチ33がオン状態であれば、ステップS14に移行する。
このステップS14では、本実施形態の特徴たる絞り確認の操作が行われたか否かが判定される。ここで、絞り確認操作が行われた場合はステップS17に移行し、そうでない場合はステップS15に移行して撮像素子17による撮像が行われる。次いで、ステップS16にて、撮像素子17で撮像された結果が表示部30の表示用パネルに表示される。その後、上記ステップS1に移行する。
また、上記ステップS14にて絞り確認操作が行われた場合は、ステップS17にて、絞り16による絞り込みが開始される。続いて、ステップS18にて撮像動作及び記録動作が行われる。このステップS18の撮像動作及び記録動作は、ステップS19にて絞り込みが終了したと判定されるまで、繰り返し行われる(図4参照)。また、このステップS19にて絞り込み終了と判定された後も、ステップS20にて撮像動作及び記録動作が行われる。
その後、ステップS21にて絞り16の開放制御が開始され、続くステップS22にて撮像動作及び記録動作が行われる。そして、ステップS23に於いて、絞り16の開放が終了したと判定されるまで、ステップS22に移行して撮像動作及び記録動作が繰り返し行われる。このようにして得られた絞り制御に伴っての撮像結果は、一覧表示されて絞り16の効果を目視可能にするか、或いは画像合成で目視可能にするかの何れの表示形態が選択されたのかが、ステップS24に於いて判定され、それに応じて制御が切り替えられる。
一覧表示時はステップS25に移行して、図4(d)に示されるように、表示部30上に、各絞り値での高速撮影結果と、その結果から推測された背景のぼけ画像が一覧表示され、同時にステップS26にて、画像パネルの開きスペース(ここでは画面中央)に、撮像中の画像がリアルタイムに表示(動画像表示)される。
ここで、図6のフローチャートを参照して、上記ステップS25のサブルーチン「絞り変化撮像画像一覧表示」の動作について説明する。
ここでは、説明を単純化するために、得られた2つの絞り状態の画像から、その間の絞り画像を推測する方法について説明する。
つまり、本サブルーチンに入ると、先ずステップS41にて、絞り16が変化されて変化した部分が背景部分として抽出される。これは、図7(a)、(b)に示されるように、絞り値が異なる条件で得られた画像信号が比較されて、その変化が小さい部分が主被写体と考えるものである。逆に変化が大きい部分が背景IBKとされる。
続くステップS42、S43では、異なる所定絞り値で得た画像I1 、I2 (図5のフローチャートのステップS17〜S23で得たもの)が、I1 、I2 とされる。そして、ステップS44、S45では、そのうち上記ステップS41で背景と判定された部分の画像が利用されて、画像信号の平均化が画像処理部20内で行われ、これが予測画像信号I3 として生成される。
このようにして、I1 、I2 を得た絞りの中間の絞り値で得られるであろう画像I3 が、実際には取得されていなくとも、推測して表示することが可能となる。図7(c)に波線で表される像が、このI3 に相当する。この画像が得られる絞り値はI1 が得られる絞り値より大きく、I2 が得られる絞り値より小さい絞り値であるから、表示時はI1 とI2 の間にI3 を表示する。したがって、ステップS46では、I1 、I3 、I2 の順で背景IBKが表示される。その後、本ルーチンを抜けて図5のフローチャートのステップS26に移行する。
尚、ここでは2つの絞り値の間の絞り値のときの画像を推測して、3つの画像を並べて表示する例を示したが、これは説明を単純化するためであり、4つの絞り値変化で得られた画像からその間の3つの絞り値での画像を推測して7つの画像を得るようにしてもよい。また、開放絞りと絞り込み時の2画像に対し、重み付けを変えて平均化することによって、複数の絞り値での複数の推測画像を得るようにしてもよい。
例えば、図7に示される画像信号I1 、I2 の間の2つの絞り値での画像を推測するには、I1を2/3倍した画像とI2 を1/3倍した画像を加算した合成画像と、逆にI1 を1/3倍した画像とI2 を2/3倍した画像を加算した合成画像を表示すれば、I1 とI2 を得た絞りの間の2つの絞り値での背景のぼけ具合を目視可能にすることができる。実際には、I1 とI2 を撮影するタイミングで被写体が動いてしまい、正しく背景分離できない可能性もあるが、本実施形態では、一度の絞り込み制御の間に複数回の画像取り込みを終わらせて、そこからその複数回以上の画像を表示するので、動きの影響を極力排除した設計にすることができる。
このような表示によって、ユーザは、分かりにくい抽象的な絞り値ではなく、そのシーンや撮影条件、または、使用中のレンズに応じて望む効果を設定し、また、リアルタイム表示で撮影タイミングやフレーミングを決めながら、思ったとおりの作画効果の撮影を楽しむことができる。
ステップS26にて、一覧表示部以外、すなわち背景画像以外がリアルタイム表示されると、続くステップS27に於いて、一覧表示した画像より選択した画像であるか否かが判定される。その結果、選択した画像であれば、ステップS28に移行して、上記ステップS6の撮影時にその条件での絞りがその値に設定されるように、絞り条件が電気的に保持された後、上記ステップS1に移行する。また、上記ステップS27で選択した画像がなければ、ステップS28をスキップして上記ステップS1に移行する。
一方、上記ステップS24に於いて、一覧表示以外がユーザによって選択された場合は、ステップS29に移行して、上記ステップS17〜S23で得られた絞り変化時に得られた画像のうち、コントラストの変化が大きいところを背景として判定される。この背景部は、後述するステップS31にて、ユーザにより選択、設定された絞り値に従って、上記ステップS17〜S23で得られた画像(リアルタイム画像ではない静止画像)が切り替えられて表示される。但し、背景部以外は、ステップS30にて、主被写体部としてスルー画表示(リアルタイムに得られた動画像が逐次表示)される。これは、ピントの合った部分は、図2及び図3に示されるように、絞り値によってピンぼけになることがないことを応用したもので、絞りを開いていくと大きくぼける部分は背景、ボケ方が小さい部分は主被写体と判定することができる。
ステップS32では、リアルタイム表示の主被写体と、記録してある絞り変化時の背景画像が画像処理部20で合成されて比較可能なように一覧表示される。この時の表示が、図8に示される。この場合、図8(a)に示される画像中のエリア43aがリアルタイム表示エリアであり、エリア43bが背景表示エリアである。このように、図8(a)、図8(b)に示される2つの画像が比較可能な表示となる。絞りを開いた時、図8(a)に示されるような効果となり、絞りを閉じると、図8(b)に示されるような効果となることを、比較して認識することができる。
これらの図8(a)、図8(b)に示される画像を見ながら、例えば、モデル撮影会のようなシーンに於いて、人物の表情を捉えることが重要なシーンで、それに集中した撮影が可能となる。これらの複数画像表示で背景のぼけを比較しながら撮影を行えば、絞りの効果を視覚的に確認しながら、よい表情を捉える瞬間に集中して、思い通りの作画を楽しむことができる。背景は、主被写体よりも動きが少ない場合も多いので、そのような状況では、このような利用法は有効である。
図9は、上述した絞り選択を行う際のカメラの操作例を示した図である。
図9に於いて、ユーザは、カメラ10を構えて、表示部(液晶モニタ)30上のリアルタイムの撮像画像45aを見ながら、レリーズスイッチ33bの押し込みタイミングを決定する。このタイミングに先立って、ユーザは、表示部30のサンプル画像45bを見ながら、カメラ10の背面部に設けられている絞り選択キー46を操作して、背景のぼけの効果を選択する。この絞り選択キー46は、例えば、十字キー等で構成されるもので、キーの上下、左右等の方向の操作によって複数存在するサンプル画像45bの中から所望の画像を選択して、当該十字キーを押し込む等の操作により選択画像を決定するようにしている。
また、本発明の他の実施形態として、例えば、一眼レフカメラのように、撮影用の撮像素子への光路と、ファインダ用の光路が分けられているカメラにも応用することができる。
図10は、このような一眼レフカメラの概略構成を示したブロック図である。
尚、図10に於いて、以下に述べる構成部以外のカメラの基本的な構成部分は、図1に示されるデジタルカメラと同様であるので、同一の部分には同一の参照番号を付すものとし、図示及び説明は省略する。
図10に於いて、被写体35の像は、撮影レンズ15を介してメインの撮像素子17a(撮影時に画像を記録部メディア25に記録するためのセンサ)に入射し、ここで取り込まれた像が記録部50に記録される。この時、反射ミラー51は、図示されないが撮影光路外に退避する。反射ミラー51が図示のような状態では、反射された被写体像は、ペンタプリズム52を介して接眼レンズ系53に導かれ、ユーザにより目視可能となっている。
このような構成にする理由は、撮像素子17aが大型、且つ高画素であり、高速な読み出しができない場合にも、本実施形態の効果を得やすいからである。したがって、メインの撮像素子17a以外に、ペンタプリズム52内で結像した画像をモニタするサブの撮像素子17bを利用すれば、撮影前に表示部30への画像を表示することが可能となる。この表示部30用の撮像素子17bに高速のものを利用すれば、上述した実施形態のような撮影効果やプレビュー可能な一眼レフカメラを提供することが可能となる。
図11は、上述した絞り選択を行う際の一眼レフカメラの操作例を示した図である。
一眼レフカメラの場合、撮影時の構図は、ユーザがカメラ10のファインダ55を覗いて決定し、本発明の特徴たる絞りの効果のサンプル画像は、表示部30に表示される。ここから、絞り選択キー46が操作されることによって、効果により絞り値を選択することができるようにしてもよい。従来は、絞りの数字で判定しており、実際の効果は目視ではわかり難いものであった。
また、表示部30の小さな画面上に多くのサンプル画像を並べて比較するのはわかり難いため、図12に示されるように、サンプル画像61の中から、背景で最もコントラスト変化の大きい部分を表示するようにしてもよい。この場合、メイン画像60aの何処の部分をサブ画面に示しているかをわかりやすくするために、メインのスルー画(リアルタイム画像)に、スーパーインポーズ表示で変化が大きかった部分を示す枠60bを表示するようにしてもよい。
次に、このような構成の一眼レフカメラのサブ画像表示の動作について、図13のフローチャートを参照して説明する。
本シーケンスが開始されると、先ずステップS51にて、上述したように、絞り16を変えながらの撮像が行われる。次に、ステップS52にて、このときのコントラストの変換が最も大きかった画像部分が選択される。そして、ステップS53にて、こうして得られた変化のある複数の画像部分が、絞り値の大きくなる順、または小さくなる順に整理されて表示される。
その後、ステップS54にて、ぼけの変化のあった画像がある部分が、メイン画像60aとして明示されるべく枠60bが表示されると、本シーケンスを抜ける。
上述したように、本実施形態では、撮影前に絞りを一度可変制御しながら、そのとき高速で得た複数の撮像結果と、撮影時に設定された絞りの差、撮影前の撮像素子及び光学系と、撮影後の撮像素子及び光学系の差異を考慮して、表示画像を強調等、加工して表示制御するので、非常に高画質でレンズ交換可能なカメラでありながら、絞り優先撮影等、露出制御の効果をモニタ上で確認し、十分予測、把握した撮影が可能となる。
以上説明したように、本発明によれば、撮影レンズの絞りを変更することによって得られる画像の差異を予測表示し、撮影者の思いを反映した、雰囲気豊かな写真をきれいに撮影することができるカメラを提供することが可能となる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形実施が可能であるのは勿論である。
更に、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
尚、この発明の上記実施の形態によれば、以下の如き構成を得ることができる。
すなわち、
(1) 絞り手段を有する撮影レンズと、
撮影時に、上記撮影レンズを介した被写体からの像信号を得る撮像手段と、
上記絞り手段の絞り値の切り替えを行う切り替え手段と、
上記撮影に先立って、上記、撮像手段の出力信号を、上記絞り手段の絞り値を切り替えながら、所定の時間間隔で繰り返し入力し、上記撮像手段の出力の変化を検出する画像変化検出手段と、
上記画像変化検出手段の変化検出結果より、上記被写体の撮影に際して得られる画像を予測して表示する表示手段と、
を具備することを特徴とするカメラ。
(2) 上記絞り切り替え手段制御時に、像信号が所定量変化する画面内部分を検出する画面部分検出手段を更に具備し、
上記表示手段は、上記検出された画面部分以外の画像と、上記検出された画面部分の画像を合成表示することを特徴とする上記(1)に記載のカメラ。
(3) 絞り手段を有する撮影レンズと、
撮影時に、上記撮影レンズを介した被写体からの像信号を得る撮像手段と、
上記絞り手段の絞り値の切り替えを行う切り替え手段と、
上記撮影に先立って、上記撮像手段の出力信号を、上記絞り手段の一度の絞込み制御に伴いn回入力し、上記撮像手段の出力の変化を検出する画像変化検出手段と、
上記画像変化検出手段の変化検出結果より、上記被写体の撮影に際して得られるであろうn個以上の画像例を表示する表示手段と、
を具備することを特徴とするカメラ。
本発明の一実施形態に係るデジタルカメラの基本構成を示したブロック図である。 絞り16の切り替えによって変化する被写体35の描写について説明するもので、絞り16が開いた状態を示した図である。 絞り16の切り替えによって変化する被写体35の描写について説明するもので、絞り16が絞られた状態を示した図である。 本発明によるカメラの絞り制御効果のプレビュー表示の考え方を説明するためのタイミングチャートである。 本発明の一実施形態に於けるカメラの動作を説明するためのフローチャートである。 図5のフローチャートに於けるステップS25のサブルーチン「絞り変化撮像画像一覧表示」の動作について説明するフローチャートである。 被写体の位置と画像信号の関係を示したグラフである。 リアルタイム表示の主被写体と、記録してある絞り変化時の背景画像が合成されて比較可能な画像の表示例を示した図である。 絞り選択を行う際のカメラの操作例を示した図である。 本発明の他の実施形態を示すもので、一眼レフカメラの概略構成を示したブロック図である。 絞り選択を行う際の一眼レフカメラの操作例を示した図である。 絞り選択を行う際のカメラで選択画像の他の表示例を示した図である。 本発明の他の実施形態である一眼レフカメラのサブ画像表示の動作について説明するフローチャートである。
符号の説明
10…デジタルカメラ(カメラ)、11…メインCPU(MPU)、12…ズーム制御部、13…絞り制御部、15…ズームレンズ(撮影レンズ)、16…絞り、17…撮像素子、18…アナログフロントエンド部(AFE)、20…画像処理部、20a…効果予測部、21…画像判定部、23…圧縮部、23a…静止画像用圧縮部(圧縮S)、23b…動画用圧縮部(圧縮M)、24…記録制御部、25…記録メディア、26…出力部、29…表示制御部、29a…マルチ画像制御部、30…表示部、32…補助光発光部、33a、33b、33c…複数のスイッチ。

Claims (14)

  1. 撮影レンズと、
    上記撮影レンズにより生成される光学像を受光して画像信号を出力する撮像手段と、
    上記撮影レンズ内に配され、第1の絞り値と、上記第1の絞り値とは異なる第2の絞り値を設定可能な絞り手段と、
    上記絞り手段を上記第1の絞り値に設定した状態で上記撮像手段から得られる第1の画像信号と、上記絞り手段を上記第2の絞り値に設定した状態で上記撮像手段から得られる第2の画像信号とを用いて、第1の絞り値と第2の絞り値との間の第3の絞り値相当の予測画像信号を生成する予測手段と、
    を具備することを特徴とするカメラ。
  2. 上記第1の画像信号と第2の画像信号を比較して画像信号変化を検出する検出手段と、
    上記検出手段の検出結果に基づいて、画像信号変化が所定値に対して大きい部分を背景部と判定し、画像信号変化が所定値に対して小さい部分を主被写体部と判定する判定手段と、
    を更に具備することを特徴とする請求項1に記載のカメラ。
  3. 上記判定手段で上記主被写体部と判定された部分には動画像を、上記背景部と判定された部分には静止画像を、1つの画像として合成する合成手段を更に具備することを特徴とする請求項2に記載のカメラ。
  4. 上記第1、第2の画像信号と予測画像信号とに基づく画像を一覧表示する表示手段を更に具備することを特徴とする請求項1に記載のカメラ。
  5. 上記表示手段により一覧表示された画像から1つの画像を選択する選択手段と、
    上記選択手段により選択された画像に対応する絞り値を設定する設定手段と、
    を更に具備することを特徴とする請求項4に記載のカメラ。
  6. 上記第1、第2の画像信号と予測画像信号とに基づく画像を一覧表示する表示手段と、
    上記表示手段により一覧表示された画像から1つの画像を選択する手段と、
    上記選択手段により選択された画像に対応する絞り値を設定する設定手段と、
    を更に具備し、
    上記合成手段は、上記背景部分に、上記第1、第2、予測画像信号のうち上記設定された絞り値に対応する画像に基づいた静止画像を合成することを特徴とする請求項3に記載のカメラ。
  7. 上記予測手段は、第1、第2の画像信号の平均を取って、予測画像信号を生成することを特徴とする請求項1に記載のカメラ。
  8. 撮影レンズと、
    上記撮影レンズにより生成される光学像を受光して画像信号を出力する撮像手段と、
    複数の絞り値を設定可能な絞り手段と、
    上記絞り手段の複数の絞り値で得られた画像信号から、それぞれの絞り値の間の絞り値相当の予測画像信号を生成する予測手段と、
    を具備することを特徴とするカメラ。
  9. 上記複数の絞り値で得られた画像信号に基づく画像と、上記予測画像信号に基づく画像とを一覧表示する表示手段を更に具備することを特徴とする請求項8に記載のカメラ。
  10. 上記表示手段により一覧表示された画像から1つの画像を選択する選択手段と、
    上記選択手段により選択された画像に対応する絞り値を設定する設定手段と、
    を更に具備することを特徴とする請求項9に記載のカメラ。
  11. 焦点調整用のフォーカスレンズを備えた撮影レンズと、
    上記撮影レンズ内に配され、第1の絞り値と、上記第1の絞り値とは異なる第2の絞り値を設定可能な絞り手段と、
    上記絞り手段を介して上記撮影レンズにより生成される光学像を受光して画像信号を出力する撮像素子と、
    上記絞り手段を上記第1の絞り値に設定した状態で上記撮像素子から得られる第1の画像信号と、上記絞り手段を上記第2の絞り値に設定した状態で上記撮像素子から得られる第2の画像信号とに基づいて、上記第1の絞り値と第2の絞り値との間の第3の絞り値相当の予測画像信号を予測する予測手段と、
    上記予測手段で予測された上記予測画像信号を生成する生成手段と、
    を具備することを特徴とするカメラ。
  12. 被写体光を導く撮影レンズと、上記被写体光の光量を調節して第1の絞り値と、上記第1の絞り値とは異なる第2の絞り値を設定可能な絞り手段と、を有する撮影レンズ部と、
    上記撮影レンズにより生成される光学像を受光して画像信号を出力する撮像手段と、上記絞り手段を上記第1の絞り値に設定した状態で上記撮像手段から得られる第1の画像信号と、上記絞り手段を上記第2の絞り値に設定した状態で上記撮像手段から得られる第2の画像信号とを用いて、第1の絞り値と第2の絞り値との間の第3の絞り値相当の予測画像信号を生成する予測手段と、を有する本体部と、
    を具備することを特徴とする光学機器。
  13. 上記第1の画像信号と第2の画像信号を比較して画像信号変化を検出する検出手段と、
    上記検出手段の検出結果に基づいて、画像信号変化が所定値に対して大きい部分を背景部と判定し、画像信号変化が所定値に対して小さい部分を主被写体部と判定する判定手段と、
    を更に具備することを特徴とする請求項12に記載の光学機器。
  14. 上記予測手段は、第1、第2の画像信号の平均を取って、予測画像信号を生成することを特徴とする請求項12に記載の光学機器。
JP2006234084A 2006-08-30 2006-08-30 光学機器 Expired - Fee Related JP4948091B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006234084A JP4948091B2 (ja) 2006-08-30 2006-08-30 光学機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006234084A JP4948091B2 (ja) 2006-08-30 2006-08-30 光学機器

Publications (3)

Publication Number Publication Date
JP2008060818A true JP2008060818A (ja) 2008-03-13
JP2008060818A5 JP2008060818A5 (ja) 2009-10-08
JP4948091B2 JP4948091B2 (ja) 2012-06-06

Family

ID=39243080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006234084A Expired - Fee Related JP4948091B2 (ja) 2006-08-30 2006-08-30 光学機器

Country Status (1)

Country Link
JP (1) JP4948091B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011114450A (ja) * 2009-11-25 2011-06-09 Olympus Imaging Corp 撮影装置および撮影装置の制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10262164A (ja) * 1997-03-18 1998-09-29 Canon Inc 画像入力装置、画像入力方法および記憶媒体
JP2001309232A (ja) * 2000-04-19 2001-11-02 Olympus Optical Co Ltd 撮像装置
JP2002135627A (ja) * 2000-10-27 2002-05-10 Olympus Optical Co Ltd 電子カメラ装置および画像表示方法
JP2005109954A (ja) * 2003-09-30 2005-04-21 Casio Comput Co Ltd 画像撮影処理装置及びプログラム
JP2005354486A (ja) * 2004-06-11 2005-12-22 Fuji Photo Film Co Ltd 撮影装置および方法並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10262164A (ja) * 1997-03-18 1998-09-29 Canon Inc 画像入力装置、画像入力方法および記憶媒体
JP2001309232A (ja) * 2000-04-19 2001-11-02 Olympus Optical Co Ltd 撮像装置
JP2002135627A (ja) * 2000-10-27 2002-05-10 Olympus Optical Co Ltd 電子カメラ装置および画像表示方法
JP2005109954A (ja) * 2003-09-30 2005-04-21 Casio Comput Co Ltd 画像撮影処理装置及びプログラム
JP2005354486A (ja) * 2004-06-11 2005-12-22 Fuji Photo Film Co Ltd 撮影装置および方法並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011114450A (ja) * 2009-11-25 2011-06-09 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
US8648926B2 (en) 2009-11-25 2014-02-11 Olympus Imaging Corp. Imaging device and imaging device control method

Also Published As

Publication number Publication date
JP4948091B2 (ja) 2012-06-06

Similar Documents

Publication Publication Date Title
JP2019054461A (ja) 撮像装置および撮像方法
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
JP6325841B2 (ja) 撮像装置、撮像方法、およびプログラム
KR101599872B1 (ko) 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
JP4799366B2 (ja) 撮像装置及び画像再生装置
JP2006067452A (ja) 映像記録装置、および電子カメラ
JP4360318B2 (ja) デジタルスチルカメラ
JP4977569B2 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2013110754A (ja) カメラ装置、及びその撮影方法とプログラム
JP2008042746A (ja) カメラ、撮影制御方法、プログラム
JP6706167B2 (ja) 撮像装置、画像合成方法、およびプログラム
JP2019029954A (ja) 画像処理装置および画像処理方法
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP2008048215A (ja) カメラ
JP2010141609A (ja) 撮像装置
JP2008054031A (ja) デジタルカメラ及び表示制御方法
JP4368783B2 (ja) 撮影装置
JP4948091B2 (ja) 光学機器
JP4887840B2 (ja) 撮影装置及びプログラム
JP2019036885A (ja) 画像処理装置および画像処理方法
JP6226536B2 (ja) 撮像装置及びその制御方法
JP4767118B2 (ja) カメラ
JP2009139423A (ja) 撮像装置及び被写体距離算出方法
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2014138259A (ja) 撮影機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090821

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120306

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4948091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees