JP2013025230A - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP2013025230A
JP2013025230A JP2011161971A JP2011161971A JP2013025230A JP 2013025230 A JP2013025230 A JP 2013025230A JP 2011161971 A JP2011161971 A JP 2011161971A JP 2011161971 A JP2011161971 A JP 2011161971A JP 2013025230 A JP2013025230 A JP 2013025230A
Authority
JP
Japan
Prior art keywords
zoom
instruction
control unit
shooting
zooming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011161971A
Other languages
English (en)
Other versions
JP5864938B2 (ja
Inventor
Akihiro Ryuzaki
昭洋 粒崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011161971A priority Critical patent/JP5864938B2/ja
Priority to US13/554,860 priority patent/US9380201B2/en
Publication of JP2013025230A publication Critical patent/JP2013025230A/ja
Application granted granted Critical
Publication of JP5864938B2 publication Critical patent/JP5864938B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Abstract

【課題】 被写体がフレームアウトした場合でも、撮影者が即座に被写体を捉え直しつつ、所望の画角で撮影する。
【解決手段】 フレーミングアシストズーム機能の開始および終了を指示する指示操作手段と、ズーム位置を記憶する記憶手段と、ズーム駆動を行う駆動手段と、駆動手段を制御する制御手段と、映像を撮影する撮像手段とを備え、制御手段は、該機能の開始が指示された場合(S100)、記憶手段にズーム位置を記憶する(S101)とともに駆動手段によりズーム位置をワイド方向に変更し(S108)、該機能の終了が指示された場合(S114)、記憶したズーム位置へズームインする(S118)とともに、撮像手段にズームイン後の自動撮影を行わせる(S126)。
【選択図】 図5

Description

本発明は、フレーミングアシストズーム機能を有する撮像装置およびその制御方法に関するものである。
デジタルカメラ等の撮像装置には、ズームレンズの駆動による光学的な変倍(光学ズーム)機能と、撮像した領域の一部を拡大する電子的な変倍(電子ズーム)機能を備えたものがある。近年、ズームレンズの性能向上により超広角から超望遠まで同一のレンズで撮影でき、また撮像素子の高画素化によって、拡大倍率を高くしても十分な解像感の得られる撮影が可能になってきている。
一方、撮影したい画角へと高速に移動させる機能として、いわゆるプリセットズーム機能及びシャトルショットズーム機能が知られている。プリセットズーム機能とは、撮影者がスイッチを操作することで、任意のズーム位置から、メモリに予め記憶させておいたズーム位置へ移動させる機能である。また、シャトルショットズーム機能はプリセットズーム機能の拡張機能であり、元のズーム位置への復帰機能をもつ。つまり、撮影者がスイッチを操作することで、任意のズーム位置から、メモリに記憶させたズーム位置へ移動させ、その際には元のズーム位置をメモリに記憶しておき、プリセットズーム動作が終了した場合に元のズーム位置に戻すことができる。
特許文献1には、プリセットズーム機能及びシャトルセットズーム機能に係る制御装置が開示されている。この装置では、光学ズーム領域および電子ズーム領域のうち一方のズーム領域にある第1のズーム状態から、他方のズーム領域にあって記憶手段に記憶された第2のズーム状態へのメモリズーム動作を行わせることができる。また特許文献2に開示の装置では、プリセットズーム機能によるズーム位置の記憶動作と記憶したズーム位置への再生動作を選択する操作部材と、該操作部材によって選択されている動作を実行させる別の操作部材とを異なる指で操作できる。
特開2006−50019号公報 特開2001−117153号公報
ところで、超高倍率のズーム機能を備える撮像装置では、超望遠状態での画角合わせの際、被写体の僅かな移動でフレームアウトが起こり得る。またカメラを構えた撮影者が行う一寸したパンニング操作であっても画角の範囲が大きく変化してしまう。このように超望遠状態では、動体である被写体を所望の画角にフレーミングすることが困難であるという課題があった。
前記特許文献1及び2に開示されたプリセットズーム機能やシャトルセットズーム機能では、撮影者が撮影したいズーム位置に一度移動させる操作を行ってからズーム位置をメモリに記憶させる必要がある。そのため、フレームアウトした移動中の被写体を追いかけて撮影する場合や、被写体像の大きさが変わってしまった場合において、ズーム位置の記憶内容を更新するには、時間がかかってしまい、撮影者がシャッタチャンスを逃す可能性がある。さらに、特許文献2に開示された従来技術では、フレームアウトする被写体を追いかけながら、被写体像を所定の大きさで撮影するためには、撮影者が操作手順に習熟する必要があった。これは複数の操作部材でズーム操作を繰り返しながらズーム位置を記憶させる必要があることによる。
(発明の目的)
本発明の目的は、被写体がフレームアウトした場合でも、撮影者が即座に被写体を捉え直しつつ、所望の画角で撮影可能な撮像装置及びその制御方法を提供することである。
上記目的を達成するために、本発明の撮像装置は、フレーミングアシストズーム機能を有する撮像装置であって、前記フレーミングアシストズーム機能の開始および終了を指示する指示操作手段と、ズーム位置を記憶する記憶手段と、ズーム駆動を行う駆動手段と、前記駆動手段を制御する制御手段と、映像を撮影する撮像手段とを備え、前記制御手段が、前記指示操作手段により前記フレーミングアシストズーム機能の開始が指示された場合、前記記憶手段にズーム位置を記憶するとともに前記駆動手段によりズーム位置をワイド方向に変更し、前記指示操作手段により前記フレーミングアシストズーム機能の終了が指示された場合、前記記憶手段に記憶したズーム位置へズームインするとともに、前記撮像手段にズームイン後の自動撮影を行わせることを特徴とするものである。
本発明によれば、被写体がフレームアウトした場合でも、撮影者が即座に被写体を捉え直しつつ、所望の画角で撮影することができる。
本発明の実施例1に係るデジタルカメラの構成例を示すブロック図である。 焦点距離と被写体距離ごとのフォーカス位置との関係を例示した図である。 防振制御部に関する回路構成を示すブロック図である。 ズームアウト状態およびズームイン状態での画角を示す図である。 実施例1のフレーミングアシストズーム機能の処理例を説明するフローチャートである。 電子ズーム及び光学ズームによるズームアウト位置の算出方法を説明する図である。 実施例2のフレーミングアシストズーム機能の処理例を説明するフローチャートである。
本発明を実施するための形態は、以下の実施例1および2に記載される通りである。
以下に、本発明の実施例1を添付図面に基づいて詳細に説明する。なお、本発明によって実現される機能は、撮影者によるフレーミングを支援するズーム機能であり、便宜上、フレーミングアシストズーム機能(以下、FAズーム機能と略記する)と呼ぶこととする。
図1は、本発明の実施例1に係る撮像装置の一例としての、デジタルカメラ100の構成例を示すブロック図である。レンズ鏡筒101は、その内部にレンズ群を保持してレンズ駆動を行う。ズームレンズ102は焦点距離を調節することで光学的に画角を変更し、フォーカスレンズ103はピントを調節する。防振レンズ104は手振れに起因する像振れを補正する補正用レンズであり、光量を調節する絞り及びシャッタ105は露出制御に使用される。レンズ鏡筒101を通過した光は、CCD(電荷結合素子)やCMOS(相補型金属酸化膜半導体)等を用いた撮像素子106にて受光され、光信号から電気信号へと変換される。電気信号は、画像処理回路107に入力されて、画素補間処理や色変換処理等が施された後、画像データとして画像メモリ108に送られる。画像メモリ108はDRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等で構成される。
表示部109は、TFT型LCD(薄膜トランジスタ駆動型液晶表示器)等で構成され、撮影した画像データとともに、特定の情報(例えば、撮影情報や後述するFAズーム枠等)を表示する。このようなライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ(EVF)機能を実現している。
絞りシャッタ駆動部110は、画像処理回路107での画像処理によって得られた輝度情報に基づいて露出制御値(絞り値及びシャッタ速度)を演算し、この演算結果に基づき絞り及びシャッタ105を駆動する。これによって、AE(自動露出)制御が行われる。
防振レンズ駆動部111は、ジャイロセンサ等の角速度センサの情報から防振制御部120によってデジタルカメラ100に加わる振れ量を演算し、振れを打ち消すように防振レンズ104を駆動する。
フォーカスレンズ駆動部112はフォーカスレンズ103を駆動する。例えば、コントラストAF(オートフォーカス)方式の制御では、画像処理回路107の画像処理によって得られた撮影光学系の焦点調節情報(コントラスト評価値)に基づき、被写体にピントが合うようにフォーカスレンズ103が駆動される。なお本発明の適用上、焦点調節制御の如何は問わないので、位相差AF方式や他の方式と組み合わせた方式が採用可能である。ズームレンズ駆動部113はズーム操作指示に従ってズームレンズ102を駆動する。操作部117には、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等が設けられている。ズーム操作指示に用いるズーム操作部材の操作量及び操作方向に基づいてズーム駆動速度や駆動方向が演算され、演算結果に従ってズームレンズ102が光軸に沿って移動する。
撮影動作によって生成された画像データは、インターフェース(I/F)部115を介して記録部116に送られて記録される。画像データは、カメラに装着して使用するメモリーカード等の外部記録媒体や、デジタルカメラ100に内蔵されている不揮発性のメモリ118、あるいは両方に記録される。
操作部117は前記ズーム操作部材の他、通常の撮影開始の指示や後述するFAズーム機能によるズームイン後の自動撮影の指示を行うレリーズスイッチ、FAズーム機能の開始や終了を指示するFAズーム操作スイッチ等を含む。FAズーム操作スイッチは、本発明の指示操作手段に相当する。操作信号は制御手段としての後述のシステム制御部114に送られる。メモリ118は、プログラムデータや画像データの他に、デジタルカメラ100の設定情報や、後述するFAズーム機能におけるズーム戻り位置等の情報を記憶する。なおズーム戻り位置とは、FAズームの終了時に、開始時のズーム位置へと復帰させる際の戻り位置であり、その詳細については後述する。
システム制御部114はCPU(中央演算処理装置)等の演算装置を用いて構成され、撮影者の操作に応じて各部に制御命令を送ることでカメラ全体を制御する。システム制御部114は、メモリ118に記憶されている各種の制御プログラム、例えば撮像素子106の制御やAE/AF制御、防振制御、ズーム制御(FAズーム処理を含む)等を行うためのプログラムを実行する。
次に、システム制御部114のうち、FAズーム機能に関連する制御について説明する。なお図1にはシステム制御部114の内部処理をCZ制御部119、防振制御部120、電子ズーム制御部121、FAズーム枠制御部122、FAズーム制御部123により機能ブロックで表している。
光学ズームによる画角変更時でも合焦状態を維持するためには、レンズ鏡筒101に示すリアフォーカスタイプの鏡筒の場合、ズームレンズ102のズーム位置に応じてフォーカスレンズ103を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム(CZ)制御という。図2は、ズームレンズの焦点距離と、ピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータデーブルをグラフ化した図である。このテーブルはフォーカスカムテーブルと称する。横軸はズーム位置に対応する焦点距離を示し、縦軸はフォーカス位置を示し、各グラフ線の横にはカメラから被写体までの距離(被写体距離)を示している。システム制御部114は、AF動作時にフォーカスレンズ駆動部112を制御してフォーカスレンズ103を所定の範囲で移動させることでスキャン動作を行う。この動作中に得られるコントラスト評価値等を用いて既知の方法により、合焦点であるフォーカス位置が検出される。その時のズーム位置とフォーカス位置から、フォーカスカムテーブルを参照することで被写体距離が計測可能である。
デジタルカメラ100は光学ズーム機能と電子ズーム機能を有する。CZ制御部119とズームレンズ駆動部113は光学ズーム駆動を担当する。CZ制御部119は、ズーム動作時にて所定の制御周期ごとにズームレンズ102のズーム位置を検出し、そのズーム位置に応じたAF動作により計測した被写体距離でのフォーカスカムテーブルに追従するようにフォーカスレンズ103を駆動させる。これによって、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。
一方、電子ズーム制御部121及び画像メモリ108は電子ズーム駆動を担当する。電子ズーム制御部121は、画像メモリ108に転送された画像データから対象領域を切り出すことによって電子ズーム機能を実現する。また、撮像素子106に取り込む映像のフレームレート周期で切り出す範囲を徐々に大きくし、表示部109に表示させることで滑らかな電子ズーム表示が実現される。
防振制御部120では、角速度センサ等の角速度信号を振れ量である角度信号に変換し、防振レンズ駆動部111に対して防振レンズ104の駆動指令を出す。図3は、防振制御に関する回路構成を示すブロック図である。300は角速度センサ等の振れ検出部である。301は振れ検出部300からの振れ信号(振れ出力)を増幅する増幅器、302は増幅された振れ信号をデジタル信号に変換するA/D変換器である。303はDC成分をカットするカットオフ周波数変更可能なデジタルハイパスフィルタ(デジタルHPF)、304は振れ信号である角速度信号を角度信号に変換するためのデジタルローパスフィルタ(デジタルLPF)である。305は振れ信号から防振レンズ104の振れ補正量を算出する振れ補正量算出部である。防振制御部120を構成するデジタルHPF303やデジタルLPF304、振れ補正量算出部305は、主にCPU内での演算によって行われる。デジタルHPF303のカットオフ周波数は、振れ検出部300で検出した振れ量に応じて変更される。撮影者がカメラを大きく振るパンニング操作やズームレンズ102を駆動する際の振動などによって生じる比較的周波数が低い大きな振れを検出した場合、カットオフ周波数を高くする。これにより、防振制御部120の応答を抑制することでできるだけ中央付近に防振レンズ104を駆動するようになる。そのため、大きな振れに応答して防振レンズ104が可動範囲外まで駆動し、電子ビューファインダ(EVF)の表示画像が大きく揺れてしまうのを防止することができる。振れ量が小さくなると、カットオフ周波数を徐々に元の低い周波数に戻す。しかしながら、カットオフ周波数を上げることで、可動範囲外へ駆動しようとすることを防止できるが、その間は防振性能が落ちてしまうという問題がある。
次にFAズーム機能の概要と、FAズーム枠制御部122及びFAズーム制御部123を説明する。従来、撮影者が望遠状態でフレーミングしてシャッタチャンスを待っている間に被写体が動いてフレームアウトした場合等では、撮影者は以下の操作が必要であった。
・ズーム操作部材の操作によりズームアウトを行って被写体を探索すること。
・再び所望の画角になるまでズーム操作を行って画角調整すること。
・レリーズスイッチの操作により撮影を指示すること。
これに対して、FAズーム機能を搭載したデジタルカメラ100では、撮影前に画角合わせ等を行う状態(以下、撮影準備状態という)で被写体を見失ってしまった場合、撮影者はFAズーム操作スイッチを操作すればよい。このFAズーム操作スイッチは、FAズーム機能のために割り当てられたスイッチであり、ズーム操作部材とは別の部材の押下によって、FAズーム機能の開始をカメラに指示する。FAズーム制御部123は、FAズーム操作スイッチから開始指示が出されたときの電子ズーム及び光学ズームの各ズーム位置をメモリ118に記憶する。さらにFAズーム制御部123は、後述する図5の処理手順に従って、CZ制御部119または電子ズーム制御部121に対してズームアウトの指示を行い、撮影準備状態よりも画角がズームアウトされた状態(以下、被写体探索状態という)にする。
図4(A)及び図4(B)はズームアウト状態での画角を示し、図4(C)及び図4(D)はズームイン状態での画角を示す。FAズーム枠制御部122は、図4(A)及び図4(B)で示すように、記憶した撮影準備状態での画角を示す大きさを算出し、表示部109のEVFの中心部に枠、つまりFAズーム枠400を表示させる。FAズーム枠400の大きさは、ズームアウトした時点でのズーム倍率を元に計算される。例えば、撮影準備状態から電子ズーム倍率を2倍、光学ズーム倍率を3倍としてズームアウトして被写体探索状態となった場合には、被写体探索状態でEVFに表示される画角に対して、(1/2)×(1/3)=1/6倍の大きさのFAズーム枠400が表示される。
FAズーム操作スイッチの押下中はズームアウト状態が保持される。撮影者は被写体探索状態で所望の被写体を発見した場合(図4(A))、FAズーム枠400を目安としてFAズーム枠400内に被写体が収まるようにフレーミングを行う(図4(B))。その後、撮影者がFAズーム操作スイッチを開放してFAズーム終了をカメラ指示すると、FAズーム制御部123は、記憶しておいた撮影準備状態のズーム位置まで電子ズームまたは光学ズームによるズームイン動作を行う。こうして図4(C)で示すような最適なフレーミング状態が得られる。また、ズームアウト状態である被写体探索状態でレリーズスイッチ操作を行うと、ズームイン動作後に即座に撮影を行うことを指示することができる。ズームイン後にカメラが自動的に撮影を行うことで、レリーズスイッチ操作によるタイムラグによって図4(D)のように被写体が再度フレームアウトしてしまうことを防ぐ。
ここでFAズーム機能の終了後のズームイン後自動撮影時のAF動作について説明する。FAズーム機能を有効に使用できる状況においては、撮影したい被写体はカメラから離れた無限遠に近い距離にいることが想定される。そこで、ズームイン後の自動撮影でのAF動作としては、スキャン動作を無限遠付近の狭い移動範囲のみで行うか、もしくは、スキャン動作を行わず無限遠の位置にフォーカスレンズ103を移動させることで、撮影タイムラグを短縮することができる。スキャン範囲の決定方法としては、例えば、被写体までの距離をある距離以上であると仮定し、図2で示すフォーカスカムテーブルと被写体深度(同一のフォーカスレンズ位置でピントが許容できる範囲)から最小限のスキャン範囲(移動範囲)を求める方法などが考えられる。
次に、ズームイン後自動撮影時の防振動作について説明する。FAズーム機能によるズームイン動作時にズームモータなどの振動やズームイン操作時の手振れによって所定量以上の振れを振れ検出部300が検出すると、防振制御部120のデジタルHPF303はカットオフ周波数を高くするように制御される。ズームイン後に自動撮影を行う場合、カットオフ周波数が高い状態で撮影を行うと最適な防振性能を得ることができない恐れがあった。特に超望遠にズームインして撮影を行う場合には手振れの影響が大きく、防振性能が劣化した状態で撮影を行うと、振れによる失敗画像を撮影してしまう可能性が高かった。そこで、システム制御部114は、ズームイン後自動撮影の指示を出す際、振れ検出部300から手振れ量を取得し、振れ量の判定を行う。振れ量が所定値以下であった場合には、撮像素子106及び絞りシャッタ駆動110を制御し、撮影を行う。これらの処理によって、撮影者は簡単な操作で、フレームアウトした被写体を再度フレームインさせながら所望の画角で撮影することができる。
次に図5を用いて、FAズーム機能の処理例について説明する。
ステップS100でFAズーム制御部123は、撮影準備状態で操作部117のFAズーム操作スイッチが押下されたか否かを判定する。FAズーム操作スイッチの押下が検出されるとFAズーム処理が開始される。
ステップS101でFAズーム制御部123は、撮影準備状態での光学ズーム位置をCZ制御部119から取得し、電子ズーム位置を電子ズーム制御部121から取得する。さらにFAズーム制御部123は光学ズーム位置及び電子ズーム位置のデータをメモリ118に記憶する。なお、光学ズーム位置は、光学ズーム機能によって変更可能なズーム倍率に相当するズームレンズの位置を表し、電子ズーム位置は電子ズーム機能によって変更可能な画像拡大及び縮小の倍率に相当する制御位置を表す。
ステップS102でFAズーム制御部123は、メモリ118に記憶しているズームアウト駆動量を取得する。ズームアウト駆動量は、撮影者が設定メニューでの操作によって変更可能である。この場合、操作部117と表示部109がズームアウト駆動量の設定手段を構成する。本例では、予め設定されたズームアウト駆動量に従って後述のズームアウト動作が行われるが、FAズーム制御部123が該動作を段階的に制御する形態や、撮影者が停止操作を行うまでの間、ズームアウト動作を継続させる形態等がある。
ステップS103でFAズーム制御部123は、撮影準備状態でのズーム状態が電子ズーム状態であるか否かを判定する。一般的なズーム操作では、操作部117のズーム操作スイッチが押下されると、光学ズーム位置がワイド端からテレ端の間である場合には、CZ制御部119の制御下で光学ズームを駆動させる。光学ズーム位置がテレ端であって、さらにテレ方向への操作指示がなされた場合には電子ズーム制御部121が電子ズームを駆動させることで超望遠撮影が可能となる。ズーム操作部材の操作によるズーム動作とFAズーム動作との整合性を取るために、FAズーム動作においても、撮影準備状態でのズーム状態が電子ズーム状態の場合には電子ズームを先に駆動させる。つまり、メモリ118に記憶した時点のズーム位置が優先すべきズーム状態でのズーム領域内にあるか否かが判定され、本例では電子ズームが優先されるので、ステップS103ではズーム位置が電子ズーム領域にあるか否かが判定される。FAズーム開始時のズーム状態が電子ズーム状態であった場合には、ステップS104に処理を進める。ステップS104でFAズーム制御部123は後述するズームアウト位置の算出方法に従って、ステップS101で取得した電子ズーム位置とステップS102で取得したズームアウト駆動量から電子ズームのズームアウト位置を算出し、電子ズーム制御部121に設定する。ステップS105でFAズーム制御部123は、電子ズーム制御部121に対して、ステップS104で設定した電子ズームのズームアウト位置までワイド方向に変倍処理を行うように指示する。電子ズーム制御部121は電子ズームによるズームアウト動作を行う。
ステップS103にて撮影準備状態でのズーム位置が光学ズーム領域にあると判定された場合や、ステップS105にて電子ズームのズームアウト動作が終了した場合には、ステップS106に進む。ステップS106でFAズーム制御部123は、さらに光学ズームによるズームアウトが必要であるか否かを判断する。つまり、電子ズームだけでは、設定したズームアウト駆動量のズーム駆動に充分でない場合、残りのズームアウト駆動量を光学ズームで補う必要がある(駆動残量の算出については後述する)。光学ズームによるズームアウトが必要と判断された場合にはステップS107に進み、光学ズームによるズームアウトが不要な場合にはステップS109に進む。ステップS107でFAズーム制御部123は、後述の算出方法に従って、光学ズーム位置とズームアウト駆動量から光学ズームのズームアウト位置を算出し、CZ制御部119に設定する。ステップS108でFAズーム制御部123は、CZ制御部119に対して、ステップS107で設定した光学ズームのズームアウト位置までズーム駆動するように指示する。CZ制御部119はズームレンズ駆動部113を制御し、ワイド方向への光学ズームのズームアウト動作を行う。そしてステップS109に進む。
ステップS109でFAズーム制御部123は、ズームアウト倍率に応じたFAズーム枠400の表示をFAズーム枠制御部122に指示し、被写体探索状態とする。
ステップS110乃至S113ではズームイン後自動撮影の指示と指示の解除手順を示している。ズームイン後自動撮影の指示/指示解除の動作を、本例では被写体探索状態での操作部117のレリーズスイッチ操作によって行う。つまり、レリーズスイッチは、FAズーム機能の終了が指示される前にズームイン後自動撮影の指示/指示解除を行う本発明の撮影指示手段および撮影指示解除手段に相当する。また、FAズーム制御部123は、ズームイン後自動撮影の指示をする場合にはメモリ118に確保したズームイン後自動撮影フラグをオンとし、ズームイン後自動撮影の指示を解除する場合にはフラグをオフとする。このフラグをズームイン後に判定することで自動撮影のオン/オフを切り替える。ステップS110では被写体探索状態で操作部117のレリーズスイッチの操作が行われたか否かを判定する。レリーズ操作が行われた場合には、ステップS111に進み、ズームイン後自動撮影フラグがすでにオンされているか否かの判定を行う。ズームイン後自動撮影フラグがオフの場合(S111のno)、ステップS112に処理を進め、ズームイン後自動撮影フラグをオンとする。すでにズームイン後自動撮影フラグがオンの場合(S111のyes)、ステップS113に処理を進め、ズームイン後自動撮影フラグをオフとして自動撮影の指示を解除する。
ステップS114でFAズーム制御部123は、被写体探索状態で操作部117のFAズーム操作スイッチが開放され、オフ状態になったか否かを判定する。FAズーム制御部123は、FAズーム操作スイッチがオフ状態になったことを検出するとステップS115以降のFAズーム終了動作を開始する。ステップS115でFAズーム制御部123は、ステップS101で記憶したズーム戻り位置のデータをメモリ118から読み込む。ステップS116でFAズーム制御部123は、被写体探索状態でのズーム状態が光学ズーム状態であるか否かを判定する。光学ズーム状態の場合(S116のyes)、光学ズームを優先してズームインを行うためにステップS117に処理を進め、電子ズーム状態の場合(S116のno)では電子ズームのみでズームインを行うためにステップS119に処理を進める。ステップS117でFAズーム制御部123は、ステップS115で読み込んだズーム戻り位置のうち、光学ズームによるズームイン位置をCZ制御部119に設定する。ステップS118でFAズーム制御部123は、CZ制御部119に対して、ステップS117で設定した光学ズームによるズームイン位置までズームレンズ102をテレ方向に駆動するように指示する。CZ制御部119はズームレンズ駆動部113を制御して、光学ズームでのズームイン動作を行う。
ステップS116にて被写体探索状態でのズーム位置が電子ズーム領域内であると判定された場合や、ステップS118での光学ズームでズームイン動作が終了した場合には、ステップS119に進む。ステップS119でFAズーム制御部123は、さらに電子ズームによるズームインが必要か否かを判断する。電子ズームによるズームインが必要な場合にはステップS120に進み、電子ズームによるズームインが不要な場合には撮影準備状態にして処理を終了する。ステップS120でFAズーム制御部123は、ステップS115で読み込んだズーム戻り位置のうち、電子ズームによるズームイン位置を電子ズーム制御部121に設定する。ステップS121でFAズーム制御部123は、電子ズーム制御部121に対して、ステップS120で設定した電子ズームによるズームイン位置までテレ方向の変倍処理を行うように指示する。電子ズーム制御部121は電子ズームイン動作を行い、これによってズーム戻り位置へと復帰する。
ステップS122では、メモリ118からズームイン後自動撮影フラグを読み込み、自動撮影を行うか否かの判定を行う。ズームイン後自動撮影フラグがオンの場合にはステップS123に進み、ズームイン後自動撮影フラグがオフの場合にはFAズーム機能の処理を終了する。ステップS123でFAズーム制御123は、前述の算出方法によって算出したスキャン範囲でフォーカスレンズ駆動部112を駆動し、タイムラグを短縮させたAF動作を行う。ステップS124では、自動撮影時に最適な防振性能を得るため振れ検出部300から振れ量を取得し、所定値以下であるかを判定する。振れ量が所定値以下の場合にはステップS126に進み、振れ量が所定値を超える場合にはステップS125に進む。ステップS125ではステップS124で振れ量が所定値以下となるまで計時し、タイムアウト時間が経過するまでステップS124及びS125の判定を繰り返す。タイムアウト時間経過しても振れ量が所定値以下に収束しない場合、撮影処理を行わずFAズーム機能を終了する。ステップS124で振れ量が所定値以下と判定された場合、ステップS126ではシステム制御部114から撮像素子106及び絞りシャッタ駆動部110を制御し、撮影処理を行う。ステップS122にてズームイン後自動撮影フラグがオフと判定された場合やステップS125にて振れ量がタイムアウト時間内で収束しないと判定された場合、FAズーム機能の処理を終了する。
次に、図6を用いて、図5のステップS104及びS107で設定する電子ズーム及び光学ズームのズームアウト位置の算出方法について説明する。図6は、ズームアウト駆動量をズーム倍率に基づく連続量で設定するときのズームアウト動作例を示す図である。本例では、光学ズームの焦点距離が24乃至840mmの範囲で光学ズーム倍率を最大35倍とし、電子ズーム倍率を最大4倍としており、ズームアウト駆動量はズーム倍率に換算して1/8倍とされている。なお、図中の「光学ワイド端」、「光学テレ端」は光学ズーム動作におけるワイド端(焦点距離24mm)、テレ端(焦点距離840mm)をそれぞれ示し、光学ズーム領域の境界を表す。「電子ワイド端」、「電子テレ端」は電子ズーム動作におけるワイド端(焦点距離840mm相当)、テレ端(焦点距離3360mm相当)をそれぞれ示し、電子ズーム領域の境界を表す。光学テレ端位置と電子ワイド端位置が一致している。
パターン1は、撮影準備状態でのズーム位置が、光学テレ端位置で焦点距離840mmのときのズームアウト位置を示している。撮影準備状態でのズーム状態は光学ズーム状態であるため、電子ズーム位置は電子ワイド端位置のままである。ズーム倍率1/8倍に対応するズームアウト駆動量で光学ズーム位置を変更した場合、840mm×(1/8倍)=105mmの焦点距離に対応する位置がズームアウト位置となる。
パターン2は、撮影準備状態でのズーム位置が、光学ミドル位置で焦点距離192mmのときのズームアウト位置を示している。このときの光学ズームのズームアウト位置は、192mm×(1/8倍)=24mmの焦点距離に対応する光学ワイド端位置がズームアウト位置となる。
パターン3は、撮影準備状態でのズーム位置が、光学ミドル位置で焦点距離72mmのときのズームアウト位置を示している。光学ズームのズームアウト位置の算出結果は、72mm×(1/8倍)=9mmとなり、光学ワイド端位置よりも広角側の位置となる。この場合、光学ワイド端位置をズームアウト位置とする。
パターン4は、撮影準備状態でのズーム位置が、電子テレ端位置のときのズームアウト位置を示している。電子ズーム倍率は最大4倍であるため、電子ズームのズームアウト位置は電子ワイド端位置とし、残りの2倍分については光学ズームでのズームアウト動作が行われる。したがって、光学ズームによるズームアウト位置は840mm×(1/2倍)=420mmの焦点距離に対応する位置となる。
ズーム倍率に基づいてズームアウト駆動量を設定する場合、パターン3のようにズームアウト位置が光学ワイド端位置を越える場合を除いて、被写体探索状態でのFAズーム枠の大きさが一定になる(ズームアウトした画角が同じ倍率になる)という利点が得られる。
なお、図5のステップS117やS120で行われるズームイン位置の算出についても、光学ズームが優先されることを除いて上記と同様に行われるため、説明は省略する。
次に図7を用いて、本発明の実施例2について説明する。実施例1では、ズームイン後自動撮影の指示と指示解除がレリーズスイッチ操作によって行われるが、実施例2ではズームイン後自動撮影の指示と指示解除がズームイン後自動撮影モードの選択と非選択により行われる。その他の点は実施例1と同様である。
図7は、FAズーム機能の処理を示すフローチャートである。表示部109の表示されるモード選択メニューと操作部117の操作スイッチ等によって、撮影準備状態時にメニュー操作を行うことでズームイン後自動撮影モードを選択するものである。
図7のステップS200からS209及びS214からS226(S222を除く)は、図5のステップS100からS109及びS114からS126(S122を除く)までの処理と同様であるため説明を省略する。すなわち、ステップS222では、ズームイン後自動撮影モードの選択状態によって、自動撮影を行うか否かの判定を行う。ズームイン後自動撮影モードがオンの場合にはステップS223に進み、ズームイン後自動撮影モードがオフの場合にはFAズーム機能の処理を終了する。
以上、本発明の好ましい実施例について説明したが、本発明の要旨の範囲内で種々の変形及び変更が可能である。例えば、上記実施例では、ズームイン後の自動撮影の指示手段として、レリーズスイッチの操作やモード選択メニューからのモード選択によって自動撮影の指示を行う例を示したが、レリーズスイッチ以外の操作部材によって指示を行ってもよい。また、スイッチの長押しなど操作方法を変えることで指示を行ってもよい。さらに、上記実施例では、自動撮影の指示手段や自動撮影用AF処理、振れ量判定処理の全てを行う例を示したが、いずれかの処理を選択して行うというような形態でもよい。
102 ズームレンズ
114 システム制御部
117 操作部
118 メモリ
119 CZ制御部
120 防振制御部
121 電子ズーム制御部
122 FAズーム枠制御部
123 FAズーム制御部

Claims (7)

  1. フレーミングアシストズーム機能を有する撮像装置であって、
    前記フレーミングアシストズーム機能の開始および終了を指示する指示操作手段と、
    ズーム位置を記憶する記憶手段と、
    ズーム駆動を行う駆動手段と、
    前記駆動手段を制御する制御手段と、
    映像を撮影する撮像手段とを備え、
    前記制御手段は、前記指示操作手段により前記フレーミングアシストズーム機能の開始が指示された場合、前記記憶手段にズーム位置を記憶するとともに前記駆動手段によりズーム位置をワイド方向に変更し、前記指示操作手段により前記フレーミングアシストズーム機能の終了が指示された場合、前記記憶手段に記憶したズーム位置へズームインするとともに、前記撮像手段にズームイン後の自動撮影を行わせることを特徴とする撮像装置。
  2. 前記制御手段に前記ズームイン後の自動撮影を行うことを指示する撮影指示手段を備え、
    前記フレーミングアシストズーム機能の終了が指示される前に前記撮影指示手段による前記ズームイン後の自動撮影が指示された場合に、前記制御手段は前記自動撮影を行わせることを特徴とする請求項1に記載の撮像装置。
  3. 前記撮影指示手段による指示を解除する撮影指示解除手段を備え、
    前記フレーミングアシストズーム機能の終了が指示される前に前記撮影指示解除手段による指示の解除がなされた場合に、前記制御手段は前記自動撮影を行わせないことを特徴とする請求項2に記載の撮像装置。
  4. 前記フレーミングアシストズーム機能の終了後に前記ズームイン後の自動撮影を行うか否かを選択するモード選択手段を備え、
    前記モード選択手段によって選択されたモードに従って前記制御手段は前記自動撮影を行わせることを特徴とする請求項1に記載の撮像装置。
  5. 撮影される画像のピントを調節するフォーカスレンズと、
    前記フォーカスレンズを移動させたときのコントラストからピントの合うフォーカス位置を検出するオートフォーカス手段とを備え、
    前記オートフォーカス手段は、前記フレーミングアシストズーム機能の終了後の自動撮影時には通常の撮影時よりも前記フォーカスレンズの移動範囲を狭くすることを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。
  6. 撮像装置に生じる振れ量を検出する振れ検出手段を備え、
    前記振れ検出手段によって検出された振れ量が所定値以下となった場合に、前記制御手段は前記自動撮影を行わせることを特徴とする請求項1ないし5のいずれか1項に記載の撮像装置。
  7. フレーミングアシストズーム機能を有する撮像装置の制御方法であって、
    前記フレーミングアシストズーム機能の開始及び終了の指示を受け付けるステップと、
    前記フレーミングアシストズーム機能の開始の指示を受け付けたときにズーム位置を記憶するとともにズーム位置をワイド方向に変更するステップと、
    前記フレーミングアシストズーム機能の終了の指示を受け付けたときに、前記開始の指示を受け付けたときに記憶したズーム位置へズームインするステップと、
    前記フレーミングアシストズーム機能の終了とともにズームイン後の自動撮影を行うステップとを有することを特徴とする撮像装置の制御方法。
JP2011161971A 2011-07-25 2011-07-25 撮像装置及びその制御方法 Expired - Fee Related JP5864938B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011161971A JP5864938B2 (ja) 2011-07-25 2011-07-25 撮像装置及びその制御方法
US13/554,860 US9380201B2 (en) 2011-07-25 2012-07-20 Image capture apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011161971A JP5864938B2 (ja) 2011-07-25 2011-07-25 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2013025230A true JP2013025230A (ja) 2013-02-04
JP5864938B2 JP5864938B2 (ja) 2016-02-17

Family

ID=47596907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011161971A Expired - Fee Related JP5864938B2 (ja) 2011-07-25 2011-07-25 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US9380201B2 (ja)
JP (1) JP5864938B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043558A (ja) * 2013-07-24 2015-03-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2015043557A (ja) * 2013-07-24 2015-03-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2015076707A (ja) * 2013-10-08 2015-04-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2017192131A (ja) * 2017-04-27 2017-10-19 株式会社ニコン 画像処理装置
JP7438706B2 (ja) 2019-09-30 2024-02-27 キヤノン株式会社 撮像制御装置、撮像装置、及び撮像制御方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8477217B2 (en) * 2008-06-30 2013-07-02 Sony Corporation Super-resolution digital zoom
US9105550B2 (en) * 2013-01-11 2015-08-11 Digimarc Corporation Next generation imaging methods and systems
US9253410B2 (en) * 2013-04-25 2016-02-02 Canon Kabushiki Kaisha Object detection apparatus, control method therefor, image capturing apparatus, and storage medium
US20150103181A1 (en) * 2013-10-16 2015-04-16 Checkpoint Technologies Llc Auto-flat field for image acquisition
JP6289207B2 (ja) * 2014-03-27 2018-03-07 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP6373121B2 (ja) * 2014-08-20 2018-08-15 キヤノン株式会社 画像処理装置およびその制御方法
JP6824710B2 (ja) * 2015-12-15 2021-02-03 キヤノン株式会社 ズーム制御装置およびズーム制御方法、撮像装置
US10212364B2 (en) * 2015-12-15 2019-02-19 Canon Kabushiki Kaisha Zoom control apparatus, image capturing apparatus and zoom control method
JP2019029998A (ja) * 2017-07-28 2019-02-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、および制御プログラム
JP7160042B2 (ja) * 2017-09-08 2022-10-25 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP7023663B2 (ja) * 2017-10-12 2022-02-22 キヤノン株式会社 撮像装置およびその制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818833A (ja) * 1994-06-27 1996-01-19 Sony Corp 撮像装置
JP2003337277A (ja) * 2002-05-20 2003-11-28 Canon Inc 光学機器
JP2007316471A (ja) * 2006-05-29 2007-12-06 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2009212804A (ja) * 2008-03-04 2009-09-17 Fujifilm Corp 構図アシスト機能付き撮像装置及び該撮像装置における構図アシスト方法
JP2010161718A (ja) * 2009-01-09 2010-07-22 Canon Inc 画像処理装置及び画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117153A (ja) 1999-10-19 2001-04-27 Canon Inc ズームコントロール装置およびこれを備えたレンズ装置、カメラシステム
JP2005033508A (ja) * 2003-07-14 2005-02-03 Minolta Co Ltd 撮像装置
JP2006050019A (ja) * 2004-07-30 2006-02-16 Canon Inc 撮影システムの制御装置、
JP4352334B2 (ja) * 2004-12-27 2009-10-28 ソニー株式会社 撮像装置および方法、並びにプログラム
JP4254825B2 (ja) * 2006-09-04 2009-04-15 カシオ計算機株式会社 撮像装置、ズーム情報表示方法、およびズーム情報表示プログラム
JP4880756B2 (ja) * 2007-07-31 2012-02-22 パナソニック株式会社 カメラシステムおよびカメラ本体
JP2009258680A (ja) * 2008-03-27 2009-11-05 Panasonic Corp カメラシステム、カメラ本体、交換レンズユニット、フォーカス制御方法、およびプログラム。
US8339503B2 (en) * 2008-09-10 2012-12-25 Panasonic Corporation Lens barrel and imaging device
JP2010193031A (ja) * 2009-02-17 2010-09-02 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
JP5384145B2 (ja) * 2009-03-05 2014-01-08 株式会社ザクティ ズームレンズを具えた撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818833A (ja) * 1994-06-27 1996-01-19 Sony Corp 撮像装置
JP2003337277A (ja) * 2002-05-20 2003-11-28 Canon Inc 光学機器
JP2007316471A (ja) * 2006-05-29 2007-12-06 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2009212804A (ja) * 2008-03-04 2009-09-17 Fujifilm Corp 構図アシスト機能付き撮像装置及び該撮像装置における構図アシスト方法
JP2010161718A (ja) * 2009-01-09 2010-07-22 Canon Inc 画像処理装置及び画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043558A (ja) * 2013-07-24 2015-03-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2015043557A (ja) * 2013-07-24 2015-03-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2015076707A (ja) * 2013-10-08 2015-04-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2017192131A (ja) * 2017-04-27 2017-10-19 株式会社ニコン 画像処理装置
JP7438706B2 (ja) 2019-09-30 2024-02-27 キヤノン株式会社 撮像制御装置、撮像装置、及び撮像制御方法

Also Published As

Publication number Publication date
US9380201B2 (en) 2016-06-28
JP5864938B2 (ja) 2016-02-17
US20130027510A1 (en) 2013-01-31

Similar Documents

Publication Publication Date Title
JP5864938B2 (ja) 撮像装置及びその制御方法
JP5623207B2 (ja) 撮像装置及びその制御方法
US9692980B2 (en) Imaging apparatus and control method for the same
JP2012060371A (ja) 撮像システムおよび画素信号読出し方法
JP7297412B2 (ja) 画像処理装置、画像処理方法、およびレンズ装置
JP2010068134A (ja) 撮像装置及びその撮影制御方法
JP6643036B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
JP2013126177A (ja) 表示制御装置、撮像装置および表示制御プログラム
JP5744581B2 (ja) 撮像装置及びその制御方法
JP6188474B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP5011235B2 (ja) 撮影装置及び撮影方法
JP6245923B2 (ja) 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP4941141B2 (ja) 撮像装置
JP7289055B2 (ja) 撮像装置
JP5903658B2 (ja) 撮像装置
JP2014225854A (ja) 撮像装置及びその制御方法
JP2021019255A (ja) 撮像装置およびその制御方法
JP2014103489A (ja) 撮像装置及びその制御方法
JP4845653B2 (ja) カメラシステム、カメラ本体、交換レンズユニットおよび像ブレ補正方法
JP2008070566A (ja) カメラシステム、カメラ本体、交換レンズユニットおよび像ブレ補正方法
JP6347862B2 (ja) 撮像装置及び撮像装置の制御方法
JP6104425B2 (ja) 撮像装置及び撮像装置の制御方法
JP5917641B2 (ja) ズーム制御装置、撮像装置、及びズーム制御装置の制御方法
JP5438496B2 (ja) 撮像装置及びその制御方法、プログラム
JP5664440B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151225

R151 Written notification of patent or utility model registration

Ref document number: 5864938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees