JP2015215572A - 撮像装置及びその制御方法、レンズユニット、撮像システム - Google Patents

撮像装置及びその制御方法、レンズユニット、撮像システム Download PDF

Info

Publication number
JP2015215572A
JP2015215572A JP2014099833A JP2014099833A JP2015215572A JP 2015215572 A JP2015215572 A JP 2015215572A JP 2014099833 A JP2014099833 A JP 2014099833A JP 2014099833 A JP2014099833 A JP 2014099833A JP 2015215572 A JP2015215572 A JP 2015215572A
Authority
JP
Japan
Prior art keywords
unit
lens
focus
imaging
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014099833A
Other languages
English (en)
Other versions
JP2015215572A5 (ja
JP6457740B2 (ja
Inventor
拓人 鈴木
Takuto Suzuki
拓人 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014099833A priority Critical patent/JP6457740B2/ja
Priority to DE102015005526.7A priority patent/DE102015005526A1/de
Priority to KR1020150062881A priority patent/KR101758104B1/ko
Priority to US14/707,498 priority patent/US9618723B2/en
Priority to CN201510233267.XA priority patent/CN105100592B/zh
Publication of JP2015215572A publication Critical patent/JP2015215572A/ja
Publication of JP2015215572A5 publication Critical patent/JP2015215572A5/ja
Application granted granted Critical
Publication of JP6457740B2 publication Critical patent/JP6457740B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/12Reflex cameras with single objective and a movable reflector or a partly-transmitting mirror
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】 フォーカスレンズの駆動制御のために生じるタイムラグを短くすること。
【解決手段】 撮影光学系を備えたレンズユニットを装着可能な撮像装置は、撮影光学系の焦点状態を検出する第1の焦点検出手段と、第1の焦点検出手段と異なる方法で前記撮影光学系の焦点状態を検出する第2の焦点検出手段と、第1の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報をレンズユニットに送信するよう制御する第1の演算手段と、第2の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を第1の演算手段を介さずにレンズユニットに送信するよう制御する第2の演算手段と、を有する。
【選択図】 図3

Description

本発明は、撮像装置及びその制御方法、レンズユニット、撮像システムに関し、特に、焦点調節時の制御に関するものである。
近年、一眼レフカメラのデジタル化によって、静止画撮影だけでなく、ライブビュー撮影や、動画撮影ができるデジタル一眼レフカメラが普及している。一般的にデジタル一眼レフカメラでは、静止画撮影時と、動画撮影時及びカメラの液晶モニタで被写体を確認しながら撮影をするライブビュー撮影時とで、オートフォーカス(AF)方式が異なる。
例えば、特許文献1には、次のような交換レンズ式カメラのレンズ制御システムが開示されている。まず、静止画撮影時は、撮影レンズを介して入射した被写体像の光束の一部を、光路に挿入されたサブミラーによりAFセンサ方向に反射させ、AFセンサにおいて一対の像信号が生成される。カメラCPUでは、一対の像信号の位相差に基づいてデフォーカス値を算出し、その結果に基づいてレンズユニットと通信を行ってフォーカスレンズを駆動させ、被写体に焦点を合わせる。
また、動画撮影時及びライブビュー撮影時は、撮影レンズを介して入射した被写体像を撮像素子に入力させるため、メインミラー(クイックリターンミラー)とサブミラーを上部に跳ね上げて光路から退避させる。画像処理部は、撮像素子から得た画像情報に基づいて、コントラスト値等を算出し、算出した値をカメラCPUに通信で送る。カメラCPUは送られてきた情報に基づいてレンズユニットと通信を行って、被写体に焦点を合わせる。
特開2010−197646号公報
特許文献1に開示された従来技術では、必ずカメラCPUを介してレンズユニットと通信を行う構成となっており、カメラCPUにおいて撮影レンズの駆動制御の情報が生成される。このため、動画撮影時及びライブビュー撮影時にレンズユニットへフォーカスレンズの駆動制御の指令を送るには、画像処理部はカメラCPUにフォーカスレンズの駆動制御情報を生成するためのコントラスト評価値を通信で送る必要がある。したがって、レンズユニットへフォーカスレンズの駆動指令を送信するのに2段階の通信処理が必要になり、通信によるタイムラグが生じるという問題があった。
本発明は上記問題点を鑑みてなされたものであり、交換レンズシステムにおいて、フォーカスレンズの駆動制御のために生じるタイムラグを短くすることを目的とする。
上記目的を達成するために、第1の本発明は、撮影光学系を備えたレンズユニットを装着可能な撮像装置であって、前記撮影光学系の焦点状態を検出する第1の焦点検出手段と、前記第1の焦点検出手段と異なる方法で前記撮影光学系の焦点状態を検出する第2の焦点検出手段と、前記第1の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記レンズユニットに送信するよう制御する第1の演算手段と、前記第2の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記第1の演算手段を介さずに前記レンズユニットに送信するよう制御する第2の演算手段と、を有することを特徴とする。
第2の本発明は、撮像装置であって、撮影光学系を通過した光束を光電変換して撮像信号を生成する撮像手段と、前記撮影光学系の焦点状態を検出する第1の焦点検出手段と、前記第1の焦点検出手段と異なる方法で、前記撮像手段から出力される信号を用いて前記撮影光学系の焦点状態を検出する第2の焦点検出手段と、前記第1の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算する第1の演算手段と、前記撮像信号を画像データに変換する画像処理手段を含み、前記第2の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算する第2の演算手段と、を有することを特徴とする。
第3の本発明は、撮像装置システムであって、撮影光学系を備えたレンズユニットと、前記撮影光学系の焦点状態を検出する第1の焦点検出手段と、前記第1の焦点検出手段と異なる方法で前記撮影光学系の焦点状態を検出する第2の焦点検出手段と、前記第1の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記レンズユニットに送信するよう制御する第1の演算手段と、前記第2の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記第1の演算手段を介さずに前記レンズユニットに送信するよう制御する第2の演算手段と、を有することを特徴とする。
本発明によれば、交換レンズシステムにおいて、フォーカスレンズの駆動制御のために生じるタイムラグを短くすることができる。
本発明の実施形態に係る静止画撮影の撮影準備中の撮像装置の概略構成を示すブロック図。 実施形態に係る動画撮影及びライブビュー撮影時の撮像装置の概略構成を示すブロック図。 実施形態に係るレンズ制御部との初期通信時のフローチャート。 実施形態に係る撮影モードでのレンズ制御部との通信切替手順を示すフローチャート。 実施形態に係るレンズ制御部との通信をカメラ制御部から画像処理部へ切り替える際のタイミングチャート。 実施形態に係るレンズ制御部との通信を、画像処理部からカメラ制御部へ切り替える際のタイミングチャート。 実施形態に係るレンズユニットに記憶されているデータの一例を示す図。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
図1及び図2は、本発明の実施形態に係る撮像装置システムの概略構成を示すブロック図である。撮像装置システムは主に、カメラユニット200及び、カメラユニット200に装着可能なレンズユニット300(レンズ部)からなる。
レンズユニット300は交換レンズタイプであり、コネクタ301、レンズマウント302、絞り303、撮像レンズ304、レンズ制御部305を含む。カメラユニット200とレンズユニット300は、レンズマウント202及び302を介して接続される。また、コネクタ201及び301を介して、カメラユニット200とレンズユニット300が電気的に接続されることで、通信可能に構成されている。
図1では、撮像レンズ304を便宜上1枚のレンズにより表しているが、実際には、焦点調節するための光学部材であるフォーカスレンズ(不図示)を含む複数のレンズから構成されている。レンズ制御部305はレンズユニット300全体を制御する。また、レンズ制御部305は、動作用の定数、変数、プログラム等を記憶するメモリやレンズユニット300固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定等を保持する不揮発メモリの機能も備える。更にレンズ制御部305は、焦点検出センサ101或いは画像処理部103より測定された画像の焦点状態に応じてカメラユニット200内で生成されたAF制御情報に基づいて、合焦状態となるように撮像レンズ304のフォーカシングを制御し、撮像センサ106に入射する被写体像の結像位置を変更する。これにより、AF動作を行うことが可能である。また、レンズ制御部305は、絞り303の制御や、撮像レンズ304のズーミングを制御する機能も兼ね備える。
なお、カメラユニット200にレンズユニット300が装着されている場合、カメラ制御部は、レンズ電源151を介してレンズユニット300に電力を供給する。
次に、カメラユニット200の構成について説明する。図1はライブビュー表示を行わずに静止画撮影を行う場合の撮影準備中の構成、図2は動画撮影及びライブビュー撮影時における構成を示す。
<静止画撮影の撮影準備中>
静止画撮影の撮影準備中は、図1に示すように、撮像レンズ304、絞り303から構成される撮影光学系を介してカメラユニット200に入射した被写体からの光束の大部分は、クイックリターンミラー31で上方に反射される。これにより、被写体像はファインダスクリーン51上に結像され、ユーザーはこの像をペンタプリズム52、接眼レンズ53を介して観察することができる。
一方、光束の一部はクイックリターンミラー31を透過し、後方のサブミラー30で下方へ曲げられ、視野マスク32、赤外カットフィルタ33、フィールドレンズ34、絞り38、二次結像レンズ39を経て焦点検出センサ101上に結像する。焦点検出センサ101(第1の焦点検出手段、センサユニット)では、光束が二次結像レンズ39により分割されることにより、撮影光学系の異なる瞳領域を通過した光束を不図示の受光素子アレイにて光電変換し、視差を有する一対の像信号を生成する。そして、カメラ制御部100において一対の像信号の位相差を検出することにより、その検出結果から、撮像レンズ304の焦点状態を検出することができる。
カメラ制御部100は、焦点検出センサ101により得られた焦点状態に基づいて、撮像レンズ304に含まれるフォーカスレンズの駆動制御情報を生成し、合焦位置に駆動するように制御する。即ち、カメラ制御部100が第1の演算手段を構成する。また、カメラ制御部100は、カメラ制御部100がレンズ制御部305と通信できるように通信切替回路102を制御する。そして、通信切替回路102、レンズ通信IF回路107、コネクタ201及び301を介してレンズ制御部305に対して撮像レンズの駆動命令を送信する。レンズ制御部305は、カメラ制御部100の命令に従って撮像レンズ304を駆動する。
ここで、不図示のレリーズボタンの押下等により静止画撮影が指示されると、クイックリターンミラー31及びサブミラー30が跳ね上がり、シャッタ105が開いて、被写体からの光束が撮像センサ106上に結像する。撮像センサ106は結像された光束を電気信号に変換し、アナログフロントエンド(AFE)104に出力する。AFE104は撮像センサ106から出力された電気信号から出力ノイズを除去するCDS回路や、A/D変換前に増幅処理を行う非線形増幅回路、A/D変換を行うA/D変換回路等を含み、デジタル信号に変換した画像信号を画像処理部103に出力する。画像処理部103では、AFE104から出力された画像信号にガンマ変換等の所定の画像処理を施し、記録用や表示用のフォーマットに変換した画像データを生成し、出力する。
<動画撮影及びライブビュー撮影時>
動画撮影及びライブビュー撮影時は、図2に示すように、クイックリターンミラー31及びサブミラー30は跳ね上がったまま保持される。また、シャッタ105は開放状態で保持される。クイックリターンミラー31が跳ね上がることにより、光束は上部に反射されないため、ユーザーはこの像をペンタプリズム52、接眼レンズ53を介して観察することができない。また、焦点検出センサ101への光路も絶たれるため、焦点検出センサ101での焦点状態の検出はできなくなる。
撮影光学系を介してカメラユニット200に入射した被写体からの光束の大部分は、シャッタ105を介して撮像センサ106上に露光される。撮像センサ106により光電変換された撮像信号はAFE104でデジタル信号に変換され、画像処理部103に送られる。画像処理部103は送られてきた画像信号からコントラスト値を算出し、撮像レンズ304の焦点状態を評価する。また、AFE104から出力された画像信号にガンマ変換等の所定の画像処理を施し、記録や表示に適したフォーマットに変換した画像データを出力する。出力された画像データを不図示の表示部に順次表示することで、ライブビュー画像が得られる。動画撮影が指示されている間は、画像処理部103から出力された画像データを記録する。
撮像センサ106を用いた焦点検出手段としては、画像信号の所定の周波数成分に基づくコントラスト値を算出して焦点状態を評価する方法(コントラスト検出方式)の他に、例えば、次のようにして求めても良い。即ち、撮像センサ106の撮像面に、レンズユニット300の異なる瞳領域を通過した光束を受光可能な画素を設け、得られた一対の視差画像の位相差を算出して被写体の焦点状態を評価する(撮像面位相差検出方式)。
そして本実施形態では、カメラ制御部100は、画像処理部103がレンズ制御部305と通信できるように通信切替回路102を制御する。そして、画像処理部103は、合焦させるために撮像レンズ304のフォーカスレンズの駆動制御情報を算出し、駆動命令を送信することでレンズ制御部305を制御する。レンズ制御部305は、画像処理部103の命令に従って撮像レンズ304を駆動する。即ち、画像処理部103が第2の演算手段に相当する。
なお、動画撮影及びライブビュー撮影中に、ユーザーから静止画撮影を指示する操作がなされた場合には、画像処理部103がレンズ制御部305と通信を行っている状態のまま、1フレーム分の画像データを記録することで、静止画を記録する。
<通信切り替え制御>
次に、本実施形態における、レンズ制御部305と通信する際の、カメラ制御部100と画像処理部103との通信切り替え制御について、図3及び図4のフローチャートを参照しながら説明する。レンズ制御部305との通信を、カメラ制御部100と画像処理部103のどちらが行うかを決定する通信権利の調停は、カメラ制御部100がマスター、画像処理部103がスレーブとなり行う。換言すると、カメラ制御部100と画像処理部103のどちらがレンズ制御部305との通信を行うかを決定する役割をカメラ制御部100が有する。本実施形態では、カメラ制御部100は常時通電されるのに対して、画像処理部103はパワーオフ中は電源が切られる。この場合、常時通電されるカメラ制御部100が、レンズユニットの状態やスイッチ等を監視するとともに、通信切り替え制御も行うことが望ましい。
カメラユニット200に電池(不図示)が挿入され、電源が入ると(S100)、レンズユニット300が装着されていること、もしくは装着されたことをカメラ制御部100が検知し(S101)、レンズユニット300に電力を供給する(S102)。レンズユニット300に電力が供給されると、カメラ制御部100は、通信切替回路102を制御し、カメラ制御部100から、通信切替回路102、レンズ通信IF回路107、コネクタ201及び301を介して、レンズ制御部305と通信を開始する。カメラ制御部100は、レンズ制御部305を介して、図7に示すようなレンズ内の記憶部(不図示)で記憶している情報のうち、レンズ識別情報や管理情報、機能情報、各種設定等、必要な情報(第1のレンズ情報)を取得する(S103)。
その後、カメラ制御部100は、レンズ制御部305との通信権利を画像処理部103に移す制御を行う。図5は、通信権利の調停時の制御信号の状態を表す図である。カメラ制御部100がレンズ制御部305との通信を終えた後、カメラ制御部100から画像処理部103に対して通信切替要求信号を通知する(S104)。画像処理部103は、通信切替要求信号の立ち下がりエッジで通知を受けて、レンズ制御部305との通信準備を行う(S105)。画像処理部103は、切替準備が完了した時点で、カメラ制御部100に対して通信切替準備完了通知を出す(S106)。カメラ制御部100は、画像処理部103からの通信切替準備完了通知を立ち下がりエッジで受けて、画像処理部103とレンズ制御部305が通信を行えるように、通信切替回路102に対する制御信号をローレベルからハイレベルに切り替える。通信切替回路102がカメラ制御部100からの制御信号を受信し、S107で画像処理部103との通信に切り替えた後、画像処理部103はレンズ制御部305との通信を開始する。
画像処理部103は、レンズ制御部305との通信権利が譲渡された後、レンズユニット300に対してリセット処理(S108)を行う。それと並行して、図7に示すレンズ内の記憶部(不図示)に記憶している情報のうち、画像補正処理を含む画像処理に必要なデータ(第2のレンズ情報)をレンズ制御部305から取得する(S109)。ここで、第2のレンズ情報は画像処理部103で用いられる情報であるため、カメラ制御部100を介さずに画像処理部103が直接レンズ制御部305から受信する。これにより、余計な通信をなくすことができるため、通信によるタイムラグを短縮するとともに、カメラ制御部100の処理負荷を軽減することができる。レンズユニット300は、画像処理部103からのリセット要求と画像処理に必要なデータの出力要求に対して、リセット処理を行うと同時に(並行して)、画像処理に必要なデータの出力を行う。画像処理部103は画像処理に必要なデータの取得を終えると、レンズユニット300に対して、リセット処理終了の確認を行い、レンズ制御部305がリセット処理を終えた時点で、カメラユニット200とレンズユニット300は撮影準備に移る。
このように、レンズユニット300がリセット処理を行うのと並行して、画像処理部103が画像処理に必要なデータを取得することで、カメラ起動時における処理時間を短縮することができる。なお、ここでのリセット処理とは、撮影光学系を構成するフォーカスなどのレンズ、絞り、防振用の光学系の位置を初期化する処理である。
図4は、撮影準備に入った後の制御を示すフローチャートである。まず、カメラ制御部100は、(ライブビューを用いない)静止画撮影モードが選択されているか、または、動画撮影モードもしくはライブビュー撮影モードが選択されているかを判定する(S200)。なお、ここでは、静止画撮影モード、動画撮影モード、ライブビュー撮影モードのいずれかを選択する場合について説明するが、通常、カメラはその他の撮影モードや、再生モード等の撮影モード以外のその他のモードを備えている。不図示ではあるが、それらのモードが設定されている場合、レンズユニット300との通信制御としては、判定時の状態を維持しても良いし、撮影準備時と同様の状態としてもよい。本実施形態では、少なくとも、静止画撮影モード、または、動画撮影モードもしくはライブビュー撮影モードが選択されている場合に、以下のように制御する。
動画撮影もしくはライブビュー撮影モードが選択されている場合、カメラ制御部100は、レンズ制御部305との通信をカメラ制御部100が行っているか、画像処理部103が行っているかを判断する(S201)。画像処理部103が通信を行っている場合には、引き続き画像処理部103がレンズ制御部305との通信を行い(S207)、動画撮影もしくはライブビュー撮影が行われる。
S201でレンズ制御部305との通信をカメラ制御部100が行っている場合には、カメラ制御部100が画像処理部103へ通信切替要求を通知する(S202)。ここでは、図3のS104からS107で図5を参照にして説明した手順と同じ手順で切り替えを行う。すなわち、画像処理部103は、通信切替要求信号の立ち下がりエッジで通知を受けて、レンズ制御部305との通信準備を行い(S203)、通信準備が完了した時点で、カメラ制御部100に対して切替準備完了通知を出力する(S204)。カメラ制御部100は、画像処理部103からの通知を受けて、画像処理部103がレンズ制御部305と通信を行えるように、通信切替回路102を制御する(S205)。
カメラ制御部100は、通信切替回路102を切り替えるように制御した後、レンズ制御部305との通信状態を終了し(S206)、画像処理部103がレンズ制御部305との通信を行い(S207)、動画撮影もしくはライブビュー撮影が行われる。
一方、静止画撮影モードが選択されている場合(S200でNO)、カメラ制御部100は、レンズ制御部305との通信をカメラ制御部100が行っているか、画像処理部103が行っているかを判断する(S209)。カメラ制御部100が通信を行っている場合には、引き続きカメラ制御部100がレンズ制御部305と通信を行う(S215)。この状態で、静止画撮影が行われる。
S209でレンズ制御部305との通信を画像処理部103が行っている場合、カメラ制御部100は、レンズ制御部305との通信権利を、カメラ制御部100に切り替える制御を行う。図6は、レンズ制御部305との通信を画像処理部103からカメラ制御部100に切り替える際の制御信号の状態を表す図である。カメラ制御部100は画像処理部103へ通信切替要求を通知し(S210)、レンズ制御部305との通信準備を行う(S211)。画像処理部103は、カメラ制御部100からの通信切替要求通知を立ち下がりエッジで受け取り、レンズ制御部305との通信を終え、カメラ制御部100に対して切替準備完了通知を出力する(S212)。カメラ制御部100は、画像処理部103からの通知を立ち下がりエッジで受け取り、カメラ制御部100がレンズ制御部305と通信を行えるように、通信切替回路102に対して制御信号をハイレベルからローレベルに切り替える(S213)。
カメラ制御部100が通信切替回路102を切り替えるように制御した後、画像処理部103は、レンズ制御部305との通信状態を終了する(S214)。カメラ制御部100はレンズ制御部305との通信を行う(S215)。この状態で、静止画撮影が行われる。
S200以降の処理は、カメラユニット200が撮影以外のモード(例えば、再生モードや他の設定モード等)に切り替えられたり、電源がオフされるまで、繰り返し行われる。この処理は、定期的に行っても良いし、モードの切り替えを検知したときに行うようにしてもよい。
以上説明したように、先行技術では、画像処理部103で撮像センサからの出力に基づくAF評価値を生成した後、レンズ駆動制御を行うカメラ制御部100に、通信でAF評価値を受け渡す工程が必要であった。そのため、AF評価値を画像処理部103からカメラ制御部100へ受け渡す通信の分、タイムラグが生じていた。
これに対し、本実施形態によれば、撮像センサ106から出力される信号に基づいてAF行う場合は、画像処理部103がレンズ制御部305と通信を行ってレンズ駆動制御を行う。これにより、画像処理部103からカメラ制御部100へAF評価値を通信する工程が不要になり、画像処理部103が直接フォーカスレンズを駆動制御するため、レンズの駆動制御のタイムラグを低減することができる。さらに、画像処理部103がカメラ制御部100を介さずにレンズユニットと通信することで、カメラ制御部100の通信処理負荷が小さくなり、カメラ制御部100が他の処理を行える時間が増える効果がある。
また、本実施形態では、焦点検出センサ101から出力される信号に基づいてAFを行う場合は、カメラ制御部100がレンズ制御部305と通信を行ってレンズ駆動制御を行う。すなわち、本実施形態では、カメラ制御部100と画像処理部103のどちらがレンズ制御部305と通信を行ってレンズ駆動制御を行うかを、AF方式に応じて選択的に制御する。
ここで、撮像センサ106からの信号は垂直同期信号に同期して出力されるため、垂直同期信号に同期した周期でレンズユニットと通信する場合は画像処理部103を用いることが好ましい。このような垂直同期信号に同期した通信は、撮像に同期したタイミングでフォーカスレンズなどの制御を行うことが求められる動画撮影やライブビュー撮影において特に有効である。一方で、静止画撮影の場合は、垂直同期信号に同期せずに、任意のタイミングで速やかにレンズユニットとデータを通信することが求められるため、本実施形態ではカメラ制御部100を用いて通信を行う。
なお、本実施形態では、静止画撮影モード時に焦点検出センサ101を使用したAFを、動画撮影及びライブビュー撮影モード時に撮像センサ106を使用したAFを行うが、撮影モードとAF方式の関係はこれに限定されるものではない。撮像センサ106からの出力を用いてAFを行う場合に、画像処理部がレンズユニットへのAF制御通信を行うものであれば、本発明の適用範囲内である。
また、カメラの起動時に行うレンズ制御部305との初期通信の際も、カメラ制御部100を介さずに、画像処理部103がレンズ制御部305から画像処理に必要なデータを直接取得する。そのため、カメラ制御部100がレンズ制御部305からデータを取得して画像処理部103にデータの受け渡しをしていた処理が不要になる。これにより、画像処理に必要なデータの通信に伴う処理負荷が減った分、カメラ制御部100が他の処理を行えるようになるため、初期通信に要する時間が少なくなり、撮影準備を終えるまでの時間が短くなる効果がある。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100:カメラ制御部、101:焦点検出センサ、102:通信切替回路、103:画像処理部、106:撮像センサ、107:レンズ通信IF回路、200:カメラユニット、300:レンズユニット、304:撮像レンズ、305:レンズ制御部

Claims (20)

  1. 撮影光学系を備えたレンズユニットを装着可能な撮像装置であって、
    前記撮影光学系の焦点状態を検出する第1の焦点検出手段と、
    前記第1の焦点検出手段と異なる方法で前記撮影光学系の焦点状態を検出する第2の焦点検出手段と、
    前記第1の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記レンズユニットに送信するよう制御する第1の演算手段と、
    前記第2の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記第1の演算手段を介さずに前記レンズユニットに送信するよう制御する第2の演算手段と、
    を有することを特徴とする撮像装置。
  2. 前記撮影光学系を通過した光束を光電変換して撮像信号を生成する撮像手段をさらに有し、
    前記第2の演算手段は、前記撮像信号を画像データに変換する画像処理手段を含むことを特徴とする請求項1に記載の撮像装置。
  3. 前記第2の演算手段は、前記撮像手段から出力される信号を用いて焦点調節の制御情報を演算することを特徴とする請求項2に記載の撮像装置。
  4. 前記第1の演算手段は、前記撮像手段から出力される信号を用いずに焦点調節の制御情報を演算することを特徴とする請求項2又は3に記載の撮像装置。
  5. 前記第2の演算手段は、前記撮像信号のコントラストに基づいて、焦点調節の制御情報を演算することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
  6. 前記撮像手段は、前記撮影光学系の異なる瞳領域を通過した一対の光束をそれぞれ受光して一対の像信号を生成し、
    前記第2の演算手段は、前記撮像手段から出力された前記一対の像信号の位相差に基づいて、焦点調節の制御情報を演算することを特徴とする請求項2乃至5のいずれか1項に記載の撮像装置。
  7. 静止画撮影モードが選択されている場合に、前記第1の演算手段を用い、動画撮影モードまたはライブビュー撮影モードが選択されている場合に、前記第2の演算手段を用いることを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記第1の焦点検出手段は、前記撮影光学系を介して入射する光束を視差のある一対の光束に分割し、それぞれの光束を受光して一対の信号を生成するセンサユニットを備え、
    前記第1の演算手段は、前記センサユニットから出力された前記一対の信号の位相差に基づいて、焦点調節の制御情報を演算することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記第1の演算手段は、当該第1の演算手段と前記第2の演算手段のいずれが前記レンズユニットとの通信を行うかを制御することを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
  10. 前記レンズユニットと通信する演算手段を切り替えるための通信切替回路を有し、
    前記第1の演算手段は、前記通信切替回路を制御するための信号を出力することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  11. 撮影モードの指示を受け付ける操作手段を更に有し、
    前記操作手段から受け付けた撮影モードに応じて前記第1の焦点検出手段と前記第2の焦点検出手段のいずれかが使用され、
    前記第1の演算手段は、当該撮影モードに応じて、前記第1の演算手段と前記第2の演算手段のうち、どちらを前記レンズユニットとの通信に用いるかを切り替えるように制御することを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
  12. 前記第1の演算手段は、前記レンズユニットから、レンズ識別情報を含む第1のレンズ情報を取得し、
    前記第2の演算手段は、前記レンズユニットから、画像処理に用いるための第2のレンズ情報を取得する
    ことを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
  13. 前記第2の演算手段は、前記撮影光学系のリセット処理を行うよう制御することを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。
  14. 請求項1乃至13のいずれか1項に記載の撮像装置に装着可能なレンズユニットであって、
    撮影光学系と、
    前記撮像装置と通信可能であって、前記撮影光学系の駆動を制御するレンズ制御手段とを有し、
    前記レンズ制御手段は、画像処理に用いるための第2のレンズ情報を前記第2の演算手段に送信することを特徴とするレンズユニット。
  15. 前記レンズ制御手段は、前記第2の演算手段から、前記撮影光学系のリセット処理を指示する情報を受信することを特徴とする請求項14に記載のレンズユニット。
  16. 前記レンズ制御手段は、前記第2のレンズ情報の送信と、前記撮影光学系のリセット処理とを、並行して行うことを特徴とする請求項15に記載のレンズユニット。
  17. 撮影光学系を通過した光束を光電変換して撮像信号を生成する撮像手段と、
    前記撮影光学系の焦点状態を検出する第1の焦点検出手段と、
    前記第1の焦点検出手段と異なる方法で、前記撮像手段から出力される信号を用いて前記撮影光学系の焦点状態を検出する第2の焦点検出手段と、
    前記第1の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算する第1の演算手段と、
    前記撮像信号を画像データに変換する画像処理手段を含み、前記第2の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算する第2の演算手段と、
    を有することを特徴とする撮像装置。
  18. 撮影光学系を備えたレンズユニットを装着可能で、前記撮影光学系の焦点状態を検出する第1の焦点検出手段と、前記第1の焦点検出手段と異なる方法で前記撮影光学系の焦点状態を検出する第2の焦点検出手段とを備える撮像装置の制御方法であって、
    第1の演算手段が、前記第1の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記レンズユニットに送信するよう制御する工程と、
    第2の演算手段が、前記第2の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記第1の演算手段を介さずに前記レンズユニットに送信するよう制御する工程と、
    を有することを特徴とする撮像装置の制御方法。
  19. 撮影光学系を通過した光束を光電変換して撮像信号を生成する撮像手段と、前記撮像信号を画像データに変換する画像処理手段と、前記撮影光学系の焦点状態を検出する第1の焦点検出手段と、前記第1の焦点検出手段と異なる方法で、前記撮像手段から出力される信号を用いて前記撮影光学系の焦点状態を検出する第2の焦点検出手段とを備える撮像装置の制御方法であって、
    第1の演算手段が、前記第1の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算する工程と、
    前記画像処理手段を含む第2の演算手段が、前記第2の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算する工程と、
    を有することを特徴とする撮像装置の制御方法。
  20. 撮影光学系を備えたレンズユニットと、
    前記撮影光学系の焦点状態を検出する第1の焦点検出手段と、
    前記第1の焦点検出手段と異なる方法で前記撮影光学系の焦点状態を検出する第2の焦点検出手段と、
    前記第1の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記レンズユニットに送信するよう制御する第1の演算手段と、
    前記第2の焦点検出手段の検出結果に基づいて焦点調節の制御情報を演算し、当該制御情報を前記第1の演算手段を介さずに前記レンズユニットに送信するよう制御する第2の演算手段と、
    を有することを特徴とする撮像システム。
JP2014099833A 2014-05-13 2014-05-13 撮像装置及びその制御方法、レンズユニット、撮像システム Expired - Fee Related JP6457740B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014099833A JP6457740B2 (ja) 2014-05-13 2014-05-13 撮像装置及びその制御方法、レンズユニット、撮像システム
DE102015005526.7A DE102015005526A1 (de) 2014-05-13 2015-04-30 Bildaufnahmevorrichtung, Steuerverfahren dafür, Linseneinheit und Bildaufnahmesystem
KR1020150062881A KR101758104B1 (ko) 2014-05-13 2015-05-06 촬상장치, 촬상장치의 제어방법, 렌즈 유닛, 및 촬상 시스템
US14/707,498 US9618723B2 (en) 2014-05-13 2015-05-08 Image capturing apparatus, control method thereof, lens unit, and image capturing system
CN201510233267.XA CN105100592B (zh) 2014-05-13 2015-05-08 摄像装置、摄像装置的控制方法、透镜单元及摄像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014099833A JP6457740B2 (ja) 2014-05-13 2014-05-13 撮像装置及びその制御方法、レンズユニット、撮像システム

Publications (3)

Publication Number Publication Date
JP2015215572A true JP2015215572A (ja) 2015-12-03
JP2015215572A5 JP2015215572A5 (ja) 2017-06-22
JP6457740B2 JP6457740B2 (ja) 2019-01-23

Family

ID=54361766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014099833A Expired - Fee Related JP6457740B2 (ja) 2014-05-13 2014-05-13 撮像装置及びその制御方法、レンズユニット、撮像システム

Country Status (5)

Country Link
US (1) US9618723B2 (ja)
JP (1) JP6457740B2 (ja)
KR (1) KR101758104B1 (ja)
CN (1) CN105100592B (ja)
DE (1) DE102015005526A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6866078B2 (ja) * 2016-07-25 2021-04-28 キヤノン株式会社 アクセサリ装置、撮像装置、通信制御方法および通信制御プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008216439A (ja) * 2007-03-01 2008-09-18 Matsushita Electric Ind Co Ltd カメラシステム
JP2009128614A (ja) * 2007-11-22 2009-06-11 Olympus Imaging Corp カメラ及びカメラの自動焦点調節装置
JP2009258558A (ja) * 2008-04-21 2009-11-05 Canon Inc 選択された撮影モードに応じて通信方式を切り換えるレンズ交換式カメラ本体、交換レンズ及びカメラシステム
JP2010066495A (ja) * 2008-09-10 2010-03-25 Olympus Imaging Corp カメラ
JP2010160427A (ja) * 2009-01-09 2010-07-22 Olympus Imaging Corp カメラシステム及び変換アダプタ
JP2012037692A (ja) * 2010-08-06 2012-02-23 Canon Inc カメラシステムの中間アクセサリおよびカメラシステム
US20120262623A1 (en) * 2011-04-06 2012-10-18 Nikon Corporation Optical apparatus
JP2013011776A (ja) * 2011-06-30 2013-01-17 Canon Inc レンズ装置およびカメラシステム
JP2013125170A (ja) * 2011-12-15 2013-06-24 Nikon Corp アダプター、カメラシステム、およびアダプター制御プログラム
JP2014057187A (ja) * 2012-09-12 2014-03-27 Canon Inc 撮像装置およびその制御方法、並びにレンズユニット

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003295047A (ja) * 2002-04-05 2003-10-15 Canon Inc 撮像装置および撮像システム
US7469098B2 (en) * 2004-07-12 2008-12-23 Canon Kabushiki Kaisha Optical apparatus
JP4981325B2 (ja) * 2006-02-13 2012-07-18 キヤノン株式会社 カメラシステム
WO2009028139A1 (ja) * 2007-08-29 2009-03-05 Panasonic Corporation 撮像装置
JP2010197646A (ja) 2009-02-25 2010-09-09 Nikon Corp カメラ
JP5430314B2 (ja) * 2009-09-18 2014-02-26 キヤノン株式会社 撮像装置及びその制御方法
JP5653035B2 (ja) * 2009-12-22 2015-01-14 キヤノン株式会社 撮像装置、焦点検出方法、および制御方法
JP5821187B2 (ja) * 2010-12-24 2015-11-24 ソニー株式会社 撮像システム、マウントアダプタ、撮像装置、およびプログラム
JP5896763B2 (ja) * 2012-02-02 2016-03-30 キヤノン株式会社 光学機器および自動焦点調節を行う方法
JP5627652B2 (ja) * 2012-06-06 2014-11-19 キヤノン株式会社 撮像装置およびその制御方法、並びにレンズ装置およびその制御方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008216439A (ja) * 2007-03-01 2008-09-18 Matsushita Electric Ind Co Ltd カメラシステム
JP2009128614A (ja) * 2007-11-22 2009-06-11 Olympus Imaging Corp カメラ及びカメラの自動焦点調節装置
JP2009258558A (ja) * 2008-04-21 2009-11-05 Canon Inc 選択された撮影モードに応じて通信方式を切り換えるレンズ交換式カメラ本体、交換レンズ及びカメラシステム
JP2010066495A (ja) * 2008-09-10 2010-03-25 Olympus Imaging Corp カメラ
JP2010160427A (ja) * 2009-01-09 2010-07-22 Olympus Imaging Corp カメラシステム及び変換アダプタ
JP2012037692A (ja) * 2010-08-06 2012-02-23 Canon Inc カメラシステムの中間アクセサリおよびカメラシステム
US20120262623A1 (en) * 2011-04-06 2012-10-18 Nikon Corporation Optical apparatus
JP2012220631A (ja) * 2011-04-06 2012-11-12 Nikon Corp 光学機器
JP2013011776A (ja) * 2011-06-30 2013-01-17 Canon Inc レンズ装置およびカメラシステム
JP2013125170A (ja) * 2011-12-15 2013-06-24 Nikon Corp アダプター、カメラシステム、およびアダプター制御プログラム
JP2014057187A (ja) * 2012-09-12 2014-03-27 Canon Inc 撮像装置およびその制御方法、並びにレンズユニット

Also Published As

Publication number Publication date
US20150334288A1 (en) 2015-11-19
US9618723B2 (en) 2017-04-11
CN105100592B (zh) 2018-06-15
DE102015005526A1 (de) 2015-11-19
CN105100592A (zh) 2015-11-25
KR101758104B1 (ko) 2017-07-14
KR20150130232A (ko) 2015-11-23
JP6457740B2 (ja) 2019-01-23

Similar Documents

Publication Publication Date Title
JP5322783B2 (ja) 撮像装置及び該撮像装置の制御方法
US10708503B2 (en) Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium
JP5366643B2 (ja) 撮像装置
JP5106064B2 (ja) 撮像装置、およびレンズユニット
JP2019092119A (ja) 撮像装置、レンズ装置およびこれらの制御方法
JP2013160832A (ja) 光学機器
JP5850624B2 (ja) 交換レンズ
JP2015111252A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6457740B2 (ja) 撮像装置及びその制御方法、レンズユニット、撮像システム
JP2014153625A (ja) 撮像装置、画像処理装置、画像処理方法および撮影システム
US10469733B2 (en) Imaging apparatus, control method of imaging apparatus, and storage medium storing control program of imaging apparatus for controlling focus-related communications
JP6300570B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP2014006477A (ja) 撮像装置、レンズ装置および撮像装置の制御方法
JP5743459B2 (ja) 撮像装置およびレンズユニット
JP5590850B2 (ja) 撮像装置および撮像装置のフォーカス制御方法
JP2016114720A (ja) 撮像装置および撮像装置の制御方法
JP6289048B2 (ja) レンズ装置、撮像装置および制御方法
JP2011064987A (ja) 撮像装置及びその制御方法
JP2017125897A (ja) 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体
JP2015215572A5 (ja)
JP6384520B2 (ja) レンズ鏡筒
JP2016142776A (ja) 撮像装置
JP2015090371A (ja) レンズ装置、撮像装置本体、レンズ装置と撮像装置本体からなる撮影システムおよび制御方法
JP6459409B2 (ja) カメラボディ、交換レンズ及び撮像装置
JP6153324B2 (ja) 交換レンズおよび撮影システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181221

R151 Written notification of patent or utility model registration

Ref document number: 6457740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees