JP2018180101A - アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法 - Google Patents

アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法 Download PDF

Info

Publication number
JP2018180101A
JP2018180101A JP2017075537A JP2017075537A JP2018180101A JP 2018180101 A JP2018180101 A JP 2018180101A JP 2017075537 A JP2017075537 A JP 2017075537A JP 2017075537 A JP2017075537 A JP 2017075537A JP 2018180101 A JP2018180101 A JP 2018180101A
Authority
JP
Japan
Prior art keywords
imaging lens
imaging
lens
actuator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017075537A
Other languages
English (en)
Other versions
JP6933487B2 (ja
Inventor
前出 淳
Atsushi Maede
淳 前出
彰人 齋藤
Akihito Saito
彰人 齋藤
関本 芳宏
Yoshihiro Sekimoto
芳宏 関本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rohm Co Ltd
Original Assignee
Rohm Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rohm Co Ltd filed Critical Rohm Co Ltd
Priority to JP2017075537A priority Critical patent/JP6933487B2/ja
Priority to KR1020180037241A priority patent/KR102022189B1/ko
Priority to US15/944,097 priority patent/US10750091B2/en
Publication of JP2018180101A publication Critical patent/JP2018180101A/ja
Priority to US16/921,209 priority patent/US10897574B2/en
Application granted granted Critical
Publication of JP6933487B2 publication Critical patent/JP6933487B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02Lateral adjustment of lens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

【課題】センタリング動作に起因する画像のシフトを抑制する。
【解決手段】撮像素子1002は、撮像レンズ1004を通過した像を撮像する。ブレ検出手段1012は、ブレを検出する。アクチュエータ1006は、撮像レンズ1004を位置決めする。アクチュエータドライバ1100は、ブレ検出手段1012からのブレ検出信号Sに応じてアクチュエータ1006を制御する。撮像装置1000は、撮像レンズ1004の位置を強制的に変化させる際に生じる像のシフトを、撮像レンズ1004の位置の強制的な変化量に応じた撮像素子の有効画素領域のシフトによって補正する。
【選択図】図1

Description

本発明は、アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法に関する。
近年、スマートフォンなどに搭載されるカメラモジュールにおいては、撮像レンズの位置を検出して、この位置情報をフィードバックすることで、撮像レンズの位置を高精度かつ高速に制御する機能を取り入れるものが増加してきている。特に、光学手振れ補正(OIS)にフィードバック制御を取り入れることにより、高精度の手振れ補正が可能となるため、暗い場所で、遠方の被写体をブレなく撮影したいという要求の高まりとともに、OISを採用したカメラは今後も増加していくと予想される。このようなフィードバック制御を取り入れたOIS機能付きのカメラにおいては、ジャイロセンサで手ブレの角速度が検出され、これを積分することで角度ブレ量が計算されるとともに、レンズの位置を検出しながら、角度ブレ量に応じてレンズを変位させることで手ブレが補正される。
以上のように、角度ブレ量は角速度を積分することによって得られるため、積分によって生じるDC成分が累積していくおそれがある。すなわち、手ブレ補正というAC動作を繰り返している間にDC成分が累積する訳で、DC成分が累積すると、フィードバック制御なのでレンズの位置もオフセットし、偏った側では十分な変位を与えることができなくなる。
特許文献1には、OISの動作中に手ブレ補正の制限範囲を越えそうになった場合、センタリング動作を行って、レンズを所定の位置に戻すことが開示されている。また、特許文献2には、光学式と加算式の手ブレ補正を組み合わせた場合において、分割露光終了のタイミングでセンタリングを実施することが開示されている。
特開2001−154226号公報 特開2010−78635号公報
特許文献1のように、累積した角度ブレ信号のDC成分をリフレッシュし、ゼロレベルに戻した場合、それにともなってレンズの位置検出信号も初期状態に戻り、センタリングが実行されるが、これはレンズの位置が急激に動くことを意味しており、連続した動画の撮影時などは急激な画像の変化によって使用者が違和感をおぼえることになりかねない。使用者が違和感をおぼえない程度にゆっくりとセンタリングを行った場合、センタリングを行っている最中に可動範囲が足りなくなり、手ブレ補正が破綻する可能性がある。
特許文献2のように、光学式の手ブレ補正を実行しながら加算式の分割露光を行う場合において、レンズの位置が可動範囲の限界に近づいたら分割露光を終了して、センタリングを行うこととすると、センタリング前後の画像を比較して位置合わせのための画素シフト量を算出するため処理に時間がかかる。
本発明はかかる状況に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、センタリング動作に起因する画像のシフトを抑制可能な撮像装置を提供することにある。
本発明のある態様は撮像装置に関する。撮像装置は、撮像レンズと、撮像レンズを通過した像を撮像する撮像素子と、ブレを検出するブレ検出手段と、撮像レンズを位置決めするアクチュエータと、ブレ検出手段からのブレ検出信号に応じてアクチュエータを制御するアクチュエータドライバと、を備える。撮像装置は、撮像レンズの位置を強制的に変化させる際に生じる像のシフトを、撮像レンズの位置の強制的なシフト量に応じた撮像素子の有効画素領域のシフトによって補正する。
この態様によると、所定の位置から撮像レンズの位置が偏った場合において、元の所定の位置に強制的に近づけようとしたときに、像のシフトに応じて、撮像素子の有効画素領域もシフトさせるので、使用者が見るモニター画面や記録された画像の上では急激な画像シフトが見えなくなり、使用者が実感することなくセンタリングを行うことができる。
撮像装置は、アクチュエータへの駆動信号の変化量から、撮像レンズの位置の強制的な変化量を算出してもよい。
撮像レンズの位置の変化量は、アクチュエータを駆動するための駆動信号の変化量と対応するから、適切な補正が可能となる。
撮像装置は、撮像レンズの位置を示す位置検出信号を生成する位置検出手段をさらに備えてもよい。アクチュエータドライバは、位置検出信号にもとづいて撮像レンズの位置をフィードバック制御してもよい。撮像装置は、位置検出信号のDC成分の変化量から、撮像レンズの位置の強制的な変化量を算出してもよい。
位置検出信号のDC成分の変化量を画素上の像の変位分に換算することで、有効画素領域のシフト量と方向を決定できる。
撮像装置は、ブレ検出信号のDC成分の変化量から、撮像レンズの位置の強制的な変化量を算出してもよい。
ブレ検出信号のDC成分の変化量を画素上の像の変位分に換算することで、有効画素領域のシフト量と方向を決定できる。
撮像装置は、パン・チルト検出手段をさらに備え、パン・チルト動作だと判定された場合に、撮像レンズの位置を強制的に変化させてもよい。
これにより、パン・チルトだと判定されるまでに蓄積されたレンズ位置のDC成分をいち早く解消できるため、像のシフトを的確に補正することができる。
撮像装置は、有効画素領域のシフトを徐々に解除してもよい。
有効画素領域をシフトしたままでは次の有効画素領域のシフトのための画素の余裕がなくなるのに対して、ずらした画素を元に戻すので再び画素の余裕を生むことができ、かつ徐々に元に戻すので使用者は画像が動いていることをほとんど実感しなくてもよい。
撮像装置は、有効画素領域のシフトの解除動作を、次に撮像レンズの位置を強制的に変化させるタイミングまでに行ってもよい。
これにより、次に有効画素領域のシフトを行うときまでには、前回の有効画素領域の偏りが解除できるので、画素を有効活用でき、補正範囲を広くできる。
本発明の別の態様は、像ブレを補正するための撮像レンズを位置決めするアクチュエータを駆動するアクチュエータドライバに関する。アクチュエータドライバは、撮像レンズの位置情報にもとづいて、レンズ位置のDC成分を強制的に変化させることができ、強制的に変化させた場合は、有効画素領域のシフトのための情報として、レンズ位置の強制的な変化量またはそれにもとづいた有効画素領域のシフト量を出力する。
これにより撮像素子あるいは撮像素子の出力を処理するプロセッサは、アクチュエータドライバからの情報にもとづいて、有効画素領域を適切に設定できる。
レンズの位置情報は、アクチュエータの駆動電流から得られてもよい。またレンズの位置情報は、アクチュエータが備える位置検出手段からの位置検出信号から得られてもよい。
アクチュエータドライバは、ブレ検出手段からの角速度情報にもとづいてブレ角度を算出する演算部を備え、ブレ角度のDC成分を変化させることでレンズ位置を強制的に変化させてもよい。
アクチュエータドライバは、パン・チルト検出手段を備えてもよく、パン・チルト動作だと判定された場合に、レンズ位置のDC成分を変化させてもよい。
なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
さらに、この課題を解決するための手段の記載は、すべての欠くべからざる特徴を説明するものではなく、したがって、記載されるこれらの特徴のサブコンビネーションも、本発明たり得る。
本発明によれば、センタリング動作に起因する画像のシフトを抑制できる。
実施の形態に係る手ブレ補正機能付きの撮像装置の基本構成を示す図である。 DC成分の累積を説明する図である。 図3(a)〜(c)は、センタリング処理を説明する図である。 生データGDと画像データGDの関係を示す図である。 図1のカメラモジュールの動作波形図である。 アクチュエータドライバの構成を示すブロック図である。 撮像装置を示す図である。 レンズ制御装置の一部の具体的な構成を示すブロック図である。 図9(a)〜(e)は、センタリングと画像シフトによる像の動きを説明する図である。 センタリングと画像シフトによる画像補正方法のプロセスを説明するフローチャートである。 様々な実施形態におけるセンタリングのトリガやセンタリングによるレンズ変位量の算出方法の流れを説明する図である。
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
また図面に記載される各部材の寸法(厚み、長さ、幅など)は、理解の容易化のために適宜、拡大縮小されている場合がある。さらには複数の部材の寸法は、必ずしもそれらの大小関係を表しているとは限らず、図面上で、ある部材Aが、別の部材Bよりも厚く描かれていても、部材Aが部材Bよりも薄いこともあり得る。
本明細書において、「部材Aが、部材Bと接続された状態」とは、部材Aと部材Bが物理的に直接的に接続される場合のほか、部材Aと部材Bが、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
同様に、「部材Cが、部材Aと部材Bの間に設けられた状態」とは、部材Aと部材C、あるいは部材Bと部材Cが直接的に接続される場合のほか、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
図1は、実施の形態に係る手ブレ補正機能付きの撮像装置1000の基本構成を示す図である。撮像装置1000は、デジタルカメラやデジタルビデオカメラ、スマートフォンやタブレット端末に内蔵されるカメラモジュールである。図1には、手ブレ補正に関連するブロックのみが示され、オートフォーカスに関連するブロックは省略されている。
撮像装置1000は、撮像素子1002、撮像レンズ1004、アクチュエータ1006、アクチュエータドライバ1100、位置検出素子1010、ブレ検出手段1012、画像処理用のプロセッサ1014を備える。
撮像レンズ1004は、撮像素子1002への入射光路上に設けられる。撮像レンズ1004は、その光軸と垂直な面(撮像素子1002に撮像面と平行な面)内で位置決め可能に支持されている。具体的には撮像レンズ1004は、撮像素子1002の1辺に沿った第1方向(X方向)と、それと垂直な第2方向(Y方向)それぞれについて独立に位置決め可能となっている。
アクチュエータ1006は、撮像レンズ1004を位置決め可能に構成される。上述のように撮像レンズ1004はX方向およびY方向に独立に位置決め可能であり、したがって、アクチュエータ1006は、X軸用、Y軸用の2つが設けられる。図1には理解の容易化のためX軸についてのみ示される。
ブレ検出手段1012はたとえばジャイロセンサであり、撮像装置1000のブレを検出する。アクチュエータドライバ1100は、ブレ検出手段1012が検出したブレ量を示すブレ検出信号Sを受け、ブレが相殺されるように、アクチュエータ1006を制御する。具体的には、ヨー方向のブレ検出信号Sにもとづいて、撮像レンズ1004のX軸方向を位置決めし、ピッチ方向のブレ検出信号Sにもとづいて、撮像レンズ1004のY軸方向を位置決めする。
手振れ補正では、撮像レンズ1004を正確に位置決めする必要があるため、フィードバック制御(クローズドループ制御)が採用される。位置検出素子1010は、たとえばホールセンサなどの磁気検出素子であり、撮像レンズ1004の変位を示す位置検出信号(ホール信号)Sを生成する。
アクチュエータドライバ1100は、位置検出信号Sの示す撮像レンズ1004の位置が、ブレ角度に応じた目標位置と一致するように、駆動信号Sをフィードバック制御する。たとえばアクチュエータドライバ1100は、角度ブレ量θと撮像レンズ1004の変位との間で線形制御を行う。
ブレ検出手段1012としてジャイロセンサを用いる場合、ブレ検出信号Sは、角速度のディメンジョンを有する。アクチュエータドライバ1100は、ヨーイング方向およびピッチ方向それぞれについて、ブレ検出信号Sを積分することにより、角度ブレ量θ、θを計算し、角度ブレ量θ、θに応じて撮像レンズ1004を変位させる。
アクチュエータドライバ1100においてブレ検出信号Sの積算を繰り返すと、DC成分が累積していく。図2は、DC成分の累積を説明する図である。θ’は、ヨー方向の角速度を、θはヨー角度(角度ブレ量)を示す。ヨー角速度θ’に一点鎖線に示すDC成分が含まれると、それを積分して得られる角度ブレ量θのDC成分が時間とともに増大していく。撮像レンズ1004のX軸方向の変位量を、角度ブレ量θに対して線形制御する場合、撮像レンズ1004の位置が、時間とともにシフトしていく。撮像レンズ1004の位置が可動範囲に達すると、手ブレ補正の処理が破綻する。ピッチ方向についても同様の問題が生ずる。
そこでアクチュエータドライバ1100は、角度ブレ量θのDC成分がある程度大きくなると、言い換えれば撮像レンズ1004の基準位置(たとえばX=0)からのオフセット量がある程度大きくなると、撮像レンズ1004の位置を基準位置に近づく方向に強制的に変化させる。この処理をセンタリング処理と称する。センタリング処理は、(i)位置検出素子1010からの位置検出信号Sにもとづいて行ってもよいし、(ii)ブレ検出手段1012からのブレ検出信号Sにもとづいて行ってもよいし、(iii)ドライバ部1112の出力(駆動電流あるいは駆動電圧)にもとづいて行ってもよいし、(iv)コントローラ1110の内部信号にもとづいて行ってもよい。たとえば、位置検出信号SのDC成分が所定範囲を逸脱したことをトリガーとして、センタリング処理を行ってもよい。またセンタリングを行う角度ブレ量やオフセット量の大きさは任意に設定することが可能で、たとえばフレームごとに細かくセンタリングを行ってもよい。
図3(a)〜(c)は、センタリング処理を説明する図である。ここでの撮像レンズ1004の位置の変化は、短時間で行うことが望ましい。時刻tが、センタリング処理のタイミングである。ここでは、撮像レンズ1004の位置XのDC成分が、しきい値DCMAXに達すると、センタリング処理が発生する。図3(a)に示すように、アクチュエータドライバ1100は、撮像レンズ1004の位置を基準位置(X=0)にリセットしてもよい。センタリング処理では、角度ブレ量θを変化させることにより、撮像レンズ1004の位置を変化させてもよい。
図3(b)に示すように、アクチュエータドライバ1100は、撮像レンズ1004を、所定量ΔX、基準位置(X=0)に向けてシフトしてもよい。
図3(c)に示すようにアクチュエータドライバ1100は撮像レンズ1004を、リセット直前の位置(あるいはリセット直前の位置のオフセット量)に所定の係数を乗じた変化量、基準位置(X=0)に向けてシフトしてもよい。
図1に戻る。撮像素子1002は、撮像レンズ1004を透過した像を撮影し、生データGDを生成する。プロセッサ1014は、撮像素子1002が撮像した生データGDを処理し、画像データGDを出力する。図4は、生データGDと画像データGDの関係を示す図である。撮像素子1002の出力である生データGDは、撮像素子1002の1フレーム分の全ピクセルの輝度データを含んでもよい。一方、最終生成される画像データGDは、全ピクセルの中から、有効画素領域AEFF内の画素を抽出したものであり、有効画素領域AEFFより外側のデータを捨てられる。プロセッサ1014は、アクチュエータドライバ1100からの制御信号SCNTにもとづいて有効画素領域AEFFをX方向およびY方向にシフト可能に構成されている。プロセッサ1014の機能は、撮像素子1002に実装されてもよい。有効画素領域AEFFのシフトは、電子式手ブレ補正と同様の処理を用いればよい。
再度、図1に戻る。このように、アクチュエータドライバ1100は、撮像レンズ1004の位置のDC成分を強制的に変化させることが可能に構成される。そして、撮像レンズ1004の位置を強制的に変化させた場合は、プロセッサ1014による有効画素領域AEFFのシフトのための情報として、レンズ位置の強制的な変化量ΔXまたはそれにもとづいた有効画素領域AEFFのシフト量を示す制御信号SCNTを出力する。プロセッサ1014は、制御信号SCNTに応じて、有効画素領域AEFFをシフトさせる。
つまり撮像装置1000は、撮像レンズ1004の位置を強制的に変化させる際に生じる像のシフトを、撮像レンズ1004の位置の強制的な変化量ΔXに応じた有効画素領域AEFFのシフトによって補正する。
以上が撮像装置1000の基本構成である。図5は、図1の撮像装置1000の動作波形図である。図5は、ヨー方向のセンタリング処理が示され、上から順に、撮像レンズ1004のX方向の変位量と、有効画素領域AEFFの基準点のx座標(たとえば中心座標)が示される。上段の破線は、DCオフセット成分を表す。時刻tより前において、角速度信号のDC成分が累積されていき、それによって撮像レンズ1004のX座標のDCオフセットが増大していく。時刻tにDCオフセット成分がしきい値DCMAXに到達すると、センタリング処理が発生する。このとき、アクチュエータドライバ1100からプロセッサ1014に対して、撮像レンズ1004の位置の変化量に応じた制御信号SCNTが供給される。その結果、プロセッサ1014は、有効画素領域AEFFの基準点を、制御信号SCNTに応じた方向および量、シフトさせる。その後、プロセッサ1014は、有効画素領域AEFFのシフトを、時間とともに徐々に解除していく。
続いてアクチュエータドライバ1100の構成例を説明する。図6は、アクチュエータドライバ1100の構成を示すブロック図である。アクチュエータドライバ1100は、インタフェース回路1102、A/Dコンバータ1104、補正回路1106、ジャイロコントローラ1107、センタリング処理部1114を備える。アクチュエータドライバ1100は、ひとつの半導体基板に一体集積化された機能ICであってもよい。図6には、ヨー方向のブレおよびそれに対応するX軸方向のアクチュエータ1006の制御に関するブロックのみが示される。
インタフェース回路1102は、ブレ検出手段1012からデジタルの角速度信号Sを受信する。A/Dコンバータ1104は、位置検出素子1010からの位置検出信号Sをデジタルの検出コードDに変換する。A/Dコンバータ1104の前段には、アンプが設けられてもよい。位置検出信号Sがデジタル信号である場合、A/Dコンバータ1104は省略可能である。
補正回路1106は、検出コードDを、撮像レンズ1004の実際の変位と線形な関係を有する検出コードDに変換する(線形補償)。補正回路1106は温度補償を行ってもよい。補正回路1106は省略してもよい。
ジャイロコントローラ1107は、角速度信号Sにもとづいて、撮像レンズ1004の変位量(目標位置)を指示するターゲットコードDを生成する。たとえばジャイロコントローラ1107は、角速度信号Sを積分し、角度情報を生成し、角度情報に係数を掛けて得られる値を、ターゲットコードDとしてもよい。
制御回路1108は、補正後の検出コードDがターゲットコードDに近づくようにアクチュエータ1006を制御する。制御回路1108は、コントローラ1110およびドライバ部1112を含む。コントローラ1110は、補正後の検出コードDとターゲットコードDの誤差がゼロに近づくように制御指令値Sを生成する。ドライバ部1112は制御指令値Sに応じた駆動信号Sをアクチュエータ1006に供給する。
センタリング処理部1114は、上述のセンタリング処理を実行する。そしてセンタリング処理部1114は、センタリング処理を実行し、撮像レンズ1004の位置を強制的に変化させた場合は、プロセッサ1014による有効画素領域AEFFのシフトのための情報として、レンズ位置の強制的な変化量ΔXまたはそれにもとづいた有効画素領域AEFFのシフト量を示す制御信号SCNTを出力する。制御信号SCNTは、X方向(ヨーイング)、Y方向(ピッチ方向)それぞれについて生成される。
アクチュエータドライバ1100は、プロセッサコア(組み込みプロセッサ)1120を備えてもよい。上述のコントローラ1110、補正回路1106、ジャイロコントローラ1107、センタリング処理部1114は、プロセッサコア1120およびプログラムの組み合わせによって実装してもよい。
本発明は、上述の説明から導かれるさまざまな装置、回路に及ぶものであり、特定の構成に限定されるものではない。以下、本発明の範囲を狭めるためではなく、発明の本質や回路動作の理解を助け、またそれらを明確化するために、より具体的な実施例や変形例を説明する。
図7は、撮像装置300を示す図である。撮像装置300は、デジタルカメラやデジタルビデオカメラ、スマートフォンやタブレット端末に内蔵されるカメラモジュールである。撮像装置300は、撮像素子302、撮像レンズ304、プロセッサ306およびレンズ制御装置400を備える。撮像レンズ304は、撮像素子302に入射する光の光軸上に配置される。レンズ制御装置400は、プロセッサ306からの位置指令値(ターゲットコードとも称する)PREFなどにもとづいて、撮像レンズ304を位置決めする。
AF動作の場合、レンズ制御装置400は撮像レンズ304を光軸方向(Z軸方向)に変位させる。プロセッサ306は、撮像素子302が撮像した画像のコントラストが高くなるように、位置指令値PREFを生成する(コントラストAF)。あるいは撮像素子302の外部に設けられ、あるいは撮像面に埋め込まれたAFセンサからの出力にもとづいて、位置指令値PREFが生成されてもよい(位相差AF)。
OIS動作の場合、レンズ制御装置400は撮像レンズ304を撮像素子302と平行な面内で光軸に垂直な方向(X軸および/またはY軸方向)に変位させる。ジャイロセンサ308の出力はアクチュエータドライバ500に入力される。アクチュエータドライバの中で角速度が角度に積分され、角度ブレ量に対応したレンズ変位を与えるように位置指令値PREFが生成され、アクチュエータが駆動されて目標位置にレンズが変位する。なお、アプリケーション用途との併用などのため、ジャイロセンサ308が携帯電話やスマートフォン本体に設置される場合は、プロセッサ306を介して位置指令値PREFを生成してもかまわない。
レンズ制御装置400は、位置フィードバックにより、アクチュエータ402を制御する。具体的にはレンズ制御装置400は、アクチュエータ402、位置検出素子(AF、OIS)404、温度検出素子(AF、OIS)406およびアクチュエータドライバIC(Integrated Circuit)500を備える。アクチュエータ402は、たとえばボイスコイルモータである。撮像レンズ304はホルダー310に搭載され、Z軸方向可動に支持されている。ホルダー310にはAFコイル312が巻回されており、AFコイル312に対向して永久磁石314が配置されている。AFコイル312に通電することにより、永久磁石314との磁気的相互作用により撮像レンズ304とホルダー310は一体的にZ軸方向に駆動される。一方、永久磁石314を含めたAF駆動機構全体がX軸および/またはY軸方向可動に支持されており、固定部に配置されたOISコイル316に通電することにより、永久磁石314との磁気的相互作用により撮像レンズ304、ホルダー310、永久磁石314などはX軸および/またはY軸方向に駆動される。ボイスコイルモータの固定部は、撮像装置300の筐体に対して固定されている。
位置検出素子404は、たとえばホール素子などの磁気的検出手段が多く用いられており、ここではホール素子を前提に説明する。ボイスコイルモータのAF可動部、たとえばホルダー310には、永久磁石318が取り付けられ、AFには動かない部分にはAF用ホール素子320が取り付けられる。これらの組み合わせによりAF用の位置検出素子404が形成される。一方、永久磁石314に対向して固定部にはOIS用のホール素子322が取り付けられる。これらの組み合わせによりOIS用の位置検出素子404が形成される。なお、ホール素子322は、図7ではX軸用のものしか示していないが、図では影にかくれて見えない位置にY軸用のホール素子も存在する。位置検出素子404は、撮像レンズ304の現在の位置に応じた電気信号(以下、位置検出信号PFBという)を生成し、位置検出信号PFBは、アクチュエータドライバIC500にフィードバックされる。
アクチュエータドライバIC500は、ひとつの半導体基板に集積化された機能ICである。ここでの「集積化」とは、回路の構成要素のすべてが半導体基板上に形成される場合や、回路の主要構成要素が一体集積化される場合が含まれ、回路定数の調節用に一部の抵抗やキャパシタなどが半導体基板の外部に設けられていてもよい。回路を1つのチップ上に集積化することにより、回路面積を削減することができるとともに、回路素子の特性を均一に保つことができる。
アクチュエータドライバIC500は、フィードバックされた位置検出信号PFBが、位置指令値PREFと一致するように、アクチュエータ402をフィードバック制御する。
このように撮像レンズ304の位置を検出して、これをフィードバックして位置制御に用いることにより、ステップ応答における過渡振動を抑えて収束を速めたり、目標位置への位置決め精度を高めたりできる。
理想的には、位置検出素子404の出力(すなわち位置検出信号PFB)もしくはそれに対応する位置指令値PREFと、撮像レンズ304の実際の変位の関係は線形かつ温度変動等に関して不変であり、ばらつきも存在しないことが望ましい。しかしながら現実的には、この関係は非線形であり、また撮像装置300ごとにばらつきが存在し、さらに、位置検出素子404の温度によってもその関係は変動する。非線形性、温度変化が位置決め精度を悪化させる場合は、線形補償、温度補償を行ってもよい。線形補償は、位置検出信号PFBと実際の変位との関係を示す関数を、理想とする1次関数(直線)に変換するように位置検出信号PFBの値を補正することで実現される。温度補償は、温度変化によって変化する位置検出信号PFBと実際の変位との関係の傾きやオフセットを、温度ごとに補正することで実現される。
実際の変位の情報を得るために、撮像素子302からの画像情報を画像変位検出素子408として利用してもよい。特定パターンの画像が何画素分動いたかの情報に画素ピッチを掛け算することで像の変位量が得られる。像の変位量は、光学系の焦点距離などの情報を用いてレンズの変位量に換算することができる。一方、温度情報については、ホール素子320、322を温度検出素子406として利用することができる。温度検出は、ホール素子の内部抵抗の温度による変化を利用して行う。検出された温度情報Tは、アクチュエータドライバIC500に入力される。アクチュエータドライバIC500は、温度情報Tにもとづいて、アクチュエータ402の駆動制御を補正する。
次に、レンズ制御装置400の具体的な構成例を説明する。
図8は、レンズ制御装置400の一部の具体的なブロック図である。図8ではOISのひとつの軸に対応する部分のみを示しており、OISの他軸やAFについても同様の構成が準備されている。位置検出素子404はホール素子322であり、アクチュエータ402の可動部の変位に応じたホール電圧V+,V−を発生し、アクチュエータドライバIC500のホール検出ピン(HP,HN)に供給する。
位置検出部510は、ホール電圧V+,V−に基づいて、アクチュエータ402の可動部の位置(変位)を示すデジタルの位置検出値PFBを生成する。位置検出部510は、ホール電圧を増幅するホールアンプ512と、ホールアンプ512の出力をデジタル値の位置検出値PFBに変換するA/Dコンバータ514を含む。
温度検出部520は、温度を示す温度検出値Tを生成する。温度は、位置検出素子404の温度を示すことが望ましい。図8では、位置検出素子404であるホール素子322を、温度検出素子406としても利用する。これは、ホール素子322の内部抵抗rが温度依存性を有することを利用したものである。温度検出部520は、ホール素子322の内部抵抗rを測定し、温度を示す情報として利用する。
温度検出部520は、定電流回路522とA/Dコンバータ524を含む。定電流回路522は、ホール素子322に所定のバイアス電流IBIASを供給する。このバイアス電流IBIASは、ホール素子322を動作させるために必要な電源信号でもあり、したがって定電流回路522は、ホールバイアス回路として把握することができる。
ホール素子322の両端間には、電圧降下IBIAS×rが発生する。この電圧降下は、ホールバイアスピン(HB)に入力される。A/Dコンバータ524は、HBピンの電圧VHB(=IBIAS×r)をデジタル値Tに変換する。バイアス電流IBIASは既知で一定であるから、デジタル値Tは内部抵抗rに比例する信号であり、したがって、ホール素子322の温度の情報を含んでいる。内部抵抗rと温度の関係は事前に測定し、関数化し、またはテーブル化されており、後段の補正部530において、デジタル値Tが温度情報に変換される。
ジャイロセンサ308からの信号はジャイロDSP(Digital Signal Processor)540に入力される。ジャイロDSP540では、ジャイロセンサ308の出力である角速度信号に対してハイパスフィルタで低域をカットし、これを積分してブレ角度に変換し、この信号を増幅して位置指令値PREFを生成する。
補正部530は、位置検出部510からの位置検出値PFBを補正する。具体的には、補正部530は、線形補償部532、温度補償部534、メモリ536を含む。線形補償部532は、位置検出値PFBと実際の変位の関係の直線性を補正する。温度補償部534は、位置検出値PFBと実際の変位との関係に対して、温度変化によって関係が変化するのを補正する。メモリ536には、これらの補正に必要なパラメータが格納される。メモリ536は、ROMやフラッシュメモリなどの不揮発性メモリであってもよいし、回路の起動のたびに外部のROMから供給されるデータを一時的に保持する揮発性メモリであってもよい。
コントローラ560は、位置指令値PREFと、補正部530による補正後の位置検出値PFBCMPを受ける。コントローラ560は、位置検出値PFBCMPが位置指令値PREFと一致するように、制御指令値SREFを生成する。アクチュエータ402がボイスコイルモータである場合、制御指令値SREFはボイスコイルモータに供給すべき駆動電流の指令値である。コントローラ560は、たとえば誤差検出器562とPID制御器564を含む。誤差検出器562は、位置検出値PFBCMPと位置指令値PREFの差分(誤差)ΔPを生成する。PID制御器564は、PID(比例・積分・微分)演算によって、制御指令値SREFを生成する。PID制御器564に換えて、PI制御器を用いてもよいし、非線形制御を採用してもよい。PID制御器564の後段には、所定の係数を乗算するゲイン回路566が設けられてもよい。ドライバ部570は、制御指令値SREFに応じた駆動電流をアクチュエータ402に供給する。
前述のように、ジャイロセンサ308からの角速度信号を積分すると、角度のDC成分が蓄積していく可能性があり、このDC成分に相当する変位検出信号が得られるように、アクチュエータ402にはDC電流が印加されるため、OIS動作のための可動範囲が片側において十分に得られなくなるおそれがある。これを防ぐためには、ジャイロDSP540は、所定のタイミングで角度信号をリフレッシュしてやる必要がある。しかしながら、急激にリフレッシュを行うと、レンズ位置も急激に元の位置(DC成分がないときの位置)に戻る(センタリング)ため、画像が急激に変化し、手ブレがなくても手ブレが発生したような画像を生成してしまうことになる。これを画像シフト(有効画素領域のフト)によって補正するため、アクチュエータドライバICは画像シフト量の基準になる信号SCNTを出力する。
画像シフトの基準になる信号のひとつの例は、リフレッシュ前後における角度信号の変化量であり、これをプロセッサ(CPU)306に提供する。リフレッシュ前後それぞれの角度信号を制御信号SCNTとしてプロセッサ306に提供し、プロセッサ306で変化量を算出してもよい。図8はこの例で示している。角度信号の変化量がわかれば、それに対応するレンズの位置検出信号の変化量に換算でき、レンズの位置検出信号の変化量がわかれば、目標となる画素シフト量が算出できる。プロセッサ306は、計算された画素シフト量に基づいて画素の有効領域をシフトさせ、センタリングにともなう画像のシフトを見えなくする。図8のジャイロDSP540は、図6のジャイロコントローラ1107とセンタリング処理部1114の機能を統合したブロックと把握できる。
プロセッサ306に戻す画像シフトの基準となる信号は、これに限定される訳ではない。レンズの位置検出信号のDC成分が所定の値を超えたタイミングで、初期の位置へとセンタリングしてもよい。センタリングと同時に角度信号のリフレッシュも実施しておくことが望ましい。センタリング前後それぞれの位置検出信号のDC成分をプロセッサ306に提供するか、DC成分の変化量をプロセッサ306に提供する。プロセッサ306は位置検出信号の変化量に対応した画素シフト量を算出し、計算された画素シフト量に基づいて画素の有効領域をシフトさせ、センタリングにともなう画像のシフトを見えなくする。
アクチュエータの駆動電流を基準信号としてもよい。アクチュエータの駆動電流のDC成分が所定の値を超えた場合、DC成分がゼロになるようにセンタリングを行う。センタリングと同時に角度信号のリフレッシュも実施しておくことが望ましい。センタリング前後それぞれのアクチュエータ駆動電流のDC成分をプロセッサ306に提供するか、DC成分の変化量をプロセッサ306に提供する。プロセッサ306は、駆動電流のDC成分の変化量に対して、アクチュエータの駆動感度の値等を用いてレンズの変位量に換算し、レンズの変位量がわかれば、目標となる画素シフト量が算出できる。プロセッサ306は、計算された画素シフト量に基づいて画素の有効領域をシフトさせ、センタリングにともなう画像のシフトを見えなくする。
上記のように各種DC成分の変化量を算出してプロセッサ306に提供するためには、アクチュエータドライバIC500内にもCPUを搭載しておくことが望ましい。アクチュエータドライバIC500内にCPUがあれば、DC成分の変化量だけでなく、最終的な画素のシフト量までを算出し、その結果をプロセッサ306に提供できるので、プロセッサは画素シフトだけを行ってもよい。
X、Y、Zの各軸に対応したレンズ制御装置は、各軸ごとにチップ化してもよいし、集積化して全体で1チップまたは2チップとしてもよい。
なお、「リフレッシュ」や「センタリング」などの言葉からは「0にする」あるいは「中央にする」などが連想されるが、必ずしもそれに限定される訳ではない。リフレッシュした結果として信号が0にならない場合やセンターからのずれが残留している場合も含まれる。「センター」と言っても可動範囲のセンター、電流値のセンターなど様々な可能性があり、センタリングは厳密な意味でのセンターとは限らない。要するに、説明の便宜上、「リフレッシュ」や「センタリング」などの用語で説明したにすぎない。
以下では、角度信号のリフレッシュ、あるいはレンズ位置のセンタリングの際に生じる画像の変位を画素シフトによって補正する場合の像の動き、補正方法について、第1実施例を参照して説明する。また、センタリングを実施する場合のトリガを何にするかなど、様々な条件を変更した場合の例について、第2実施例を参照して説明する。
<第1実施例>
本発明の第1実施例について、図9(a)〜(e)ないし図10を用いて説明する。図9(a)〜(e)は、センタリングと画像シフトによる像の動きを説明する図である。図10は、センタリングと画像シフトによる画像補正方法のプロセスを説明するフローチャートである。
図9(a)から(e)を参照して、像の動きを説明する。1は画素全体(図4のGD)を示し、2はその中の有効画素領域(図4のAEFF)を示す。画素全体1のサイズに対して、有効画素領域2のサイズはやや小さく設定されており、画素シフトのための余裕を形成している。3は被写体像である。
図9(a)は初期の状態を示しており、被写体像3は画素全体1の中央、有効画素領域2の中央に位置している。全体画素1に対する有効画素領域2の位置はバランスが取れた位置となっている。
図9(b)は、手ブレ補正動作を繰り返しているうちに、ブレ角度検出信号にDCオフセット成分が蓄積し、それを誤差信号としてレンズがシフトし、被写体像3が画素全体1の中心、有効画素領域2の中心からシフトしてしまった状態を示している。この状態は、たとえば図のように偏った被写体像3の位置だと、画像の上側、左側におけるレンズの可動範囲が狭い状態となっており、十分な手ブレ補正ができなくなる恐れがある。たとえば、ブレ角度のDCオフセット成分が所定の閾値を超えたことを認識した場合には、レンズの位置を元に戻す動作を行うことが望ましい。
図9(c)は、ブレ角度のDCオフセット成分がリフレッシュされ、それにともなってレンズ位置が初期位置にセンタリングされ、被写体像3が図9(a)と同等になった状態を示している。センタリング前の被写体像3を薄いグレーで示している。このように急激なセンタリングを行った場合は、被写体像3も急激にシフトするため、使用者はあたかも手ブレしたかのように感じる。
図9(d)は、この違和感を取り除くため、有効画素領域2を変更、すなわち画素シフトを行った状態を示している。有効画素領域2の中では、被写体像3はセンタリング前と同等の位置にあり、使用者は画像の急激なシフトを感じない。しかし、この状態では有効画素領域2が画素全体1に対して偏ったままである。
画素全体1と有効画素領域2の差が十分に大きいか、動画撮影がこの時点で終了するなら、有効画素領域の偏りはこのままにして、撮影をストップしている間に初期状態に戻してもよいが、このまま動画撮影を継続する場合は、いずれ有効画素領域2のシフトができなくなる。そこで、図9(e)のように、有効画素領域2のシフトを元に戻す。このとき、有効画素領域を徐々にシフトさせ、図9(a)の状態に戻す。
「徐々に」と言うのは、使用者が手ブレと誤解しない程度にゆっくりと、という意味である。すなわち、使用者が自分の手が動いてパン・チルト動作を行ったと勘違いできるレベルの速度となる。ゆっくりと元に戻して図9(a)の状態に戻るまでの時間であるが、次にセンタリング動作を行うまでに終えることが望ましい。
続いて、処理の流れについて、図10のフローチャートを用いて説明する。処理S100では、ジャイロセンサからの角速度信号を積分したあとのブレ角度のDCオフセット成分が所定の値(DCMAX)に達しているかいないかを判定する。所定値を超えていなければ(S100のN)そのまま手ブレ補正動作を継続し、越えていれば(S100のY)リフレッシュ動作、センタリング動作を開始する。
処理S102では、リフレッシュ動作、センタリング動作開始時点でのレンズの位置情報、すなわちX、Yのホール出力信号を取得する。処理S104では、処理S102で取得したレンズの位置情報と初期の位置情報との差分を算出する。初期の位置情報と表現したのは、ブレ信号を一気に0へとリフレッシュすることを想定したためである。通常、ブレ信号が0の状態でホール信号のキャリブレーションを行い、この状態のホール出力信号を0に設定するので、初期の位置情報はホール信号0を表す。徐々にブレ角のDCオフセット成分を減らしていく場合は、レンズ位置の初期値とはブレ角が減少した後のホール出力(最新のホール出力)となる。リフレッシュ動作開始時点のホール出力との差分に応じて、その都度画素のずらし量を算出し、画素をずらす(有効画素領域をずらす)とよい。
処理S106では、レンズ位置情報の差分に対応する画素シフト量を算出する。あらかじめ、ホール出力の変化量に対する画素上の被写体の移動量の割合を算出しておく。個体ごとに算出してもよいし、ばらつきが小さければ平均値などの代表値を一括して用いてもよい。
処理S108では、ブレ角度信号をリフレッシュする。ここでは一気に0にすることを想定する。徐々に変化させる場合は上述の通りである。ブレ角度信号のDCオフセット成分が0になると、誤差信号がなくなることになるので(少なくともDC成分は)、処理S110で、レンズの位置は初期位置(キャリブレーション位置)に戻る。
処理S112では、処理S106で算出した画素シフト量だけ、画素をシフトさせる。具体的には、全体画素1内の有効画素領域2を動かす。これにより、急激なレンズのセンタリング動作を行った場合でも、被写体像が急激にシフトすることを防ぐことが可能となる。
処理S114では、一旦シフトさせた有効画素領域を徐々に元に戻す。徐々に戻すことにより、手ブレが生じているような認識はされず、被写体の位置が動いているという認識をもたないか、認識できたとしてもどちらかというとパン・チルトによって被写体像の位置が動いたと錯覚できる。使用者が手に持っている場合はこのような錯覚をするが、たとえば三脚に載せて撮影している場合などは、カメラが動いていない場合も考えられるので、有効画素領域を元に戻す動作は実行しなくて済めばそれにこしたことはない。
<第2実施例>
本発明の第2実施例について、図11を用いて説明する。図11は、センタリングを実施する場合のトリガを何にするかなど、様々な条件を変更した場合の例について説明する図である。
図11では、第1の実施形態で説明したケースも含まれている。ブレ角度信号のDC成分が所定値を超えた→ブレ角度信号のDC成分を変化させる→ブレ角度信号のDC成分の変化に対する位置検出信号のDC成分の変化→位置検出信号のDC成分の変化量に位置検出感度を掛ける→センタリングにともなうレンズ変位量を算出→レンズの焦点距離などをもとに画素シフト量の算出→画素シフトによる補正、という流れがそれに相当する。本実施形態では、それ以外のケースを中心に説明する。
まずは、センタリングを実施するトリガとして、レンズ駆動のDC電流が所定値を超えたことを検出してもよい。ここでDC電流としたのはアクチュエータとしてVCMを想定したためで、他のアクチュエータではDC電流ではない場合も考えられる。DC電流が所定値を超えたら、DC電流をたとえば0に戻す。このときのDC電流の変化量にアクチュエータの駆動感度を掛けると、レンズの変位量が算出できる。あとは、第1実施例の処理と同じである。アクチュエータが位置検出手段をもたず、角度ブレ量に応じたフィードフォワード制御を行う場合には、このような方法を用いるとよい。
次に、アクチュエータが位置検出手段を有し、フィードバック制御を行う場合について説明する。センタリングを実施するトリガとして、位置検出信号のDC成分が所定値を超えたことを検出してもよい。位置検出信号のDC成分が所定値を超えたら、位置検出信号のDC成分をたとえば強制的に0にする。同時に、ブレ角度信号のDC成分も0にリフレッシュしておくとよい。位置検出信号のDC成分の変化量に位置検出感度を掛けるとセンタリングにともなうレンズ変位量を算出できる。あとは、第1実施例の処理と同じである。
第1実施例と同様、ブレ角度信号のDC成分が所定値を超えたことをセンタリングのトリガとするが、アクチュエータが位置検出手段をもたない場合は、フィードフォワード制御となるため、ブレ角度の変化命令に対応したアクチュエータの駆動電流の変化を検出し、これにアクチュエータの駆動感度を掛けることでレンズ変位量を算出する。
最後にパン・チルトを検出した場合について説明する。パン・チルト動作だと判定するには、ブレ角度信号のDC成分が所定値を超えたことなどが用いられ、他のケースと似ているが、それ以外の要素、たとえば角速度を判断材料に用いる場合もあり、他の条件と異なるトリガ基準となるケースも考えられる。通常は手ブレ信号のDCオフセット成分の閾値よりも低いDC値でパン・チルト判定がなされるので、DC成分が多く蓄積する前にセンタリング動作が行える。パン・チルトでは、上記のように一方向に継続してレンズが動くため、パン・チルト動作が繰り返されるようなら、センタリングによってレンズの位置を戻す量を大きめに設定し、アクチュエータの全可動範囲をもっと有効に使うようにしてもよい。
なお、パン・チルトの検出とは関係なく、ブレ角度のDCオフセット成分だけをリフレッシュの判断基準としてもかまわない。パン・チルトと判定されるとハイパスフィルタ等のカットオフ周波数を高めて、ブレ角度のDCオフセット成分の累積が抑えられるので、パン・チルトが終了してカットオフ周波数が元に戻され、再びDCオフセット成分の累積が増大したところで、リフレッシュを行ってもよい。
以上のようなレンズ制御装置は、携帯電話用のカメラモジュールなどに用いられる。特に、本発明のレンズ制御装置の好適な応用のひとつは、光学手ブレ補正(OIS)機能を備えた撮像装置である。本発明を利用することで、リフレッシュ動作、センタリング動作を行った後の被写体像の急激なシフトを使用者が認識することなく、連続的な動画撮影時などでも画像のぶれが少ない、高画質撮影が可能となるので、本発明はOIS機能を備えた撮像装置に適用するのが好適である。
本明細書には以下の技術が開示される。
ある開示は、撮像装置に関する。撮像装置は、撮像レンズと、撮像素子と、撮像レンズを駆動するためのアクチュエータと、像ブレを検出するためのブレ検出手段と、を備え、ブレ検出手段の出力に応じて撮像レンズを駆動することで像ブレを補正する撮像装置であって、撮像レンズの位置のDCオフセット成分を変化させる際に生じる画像のシフトを、撮像レンズの位置のDCオフセット成分の変化量に応じた画素シフトによって補正することを特徴としている。
以上の構成によれば、所定の位置から撮像レンズの位置が偏った場合において、元の所定の位置に強制的に戻そうとしたとき(センタリング動作)、急激に画像がシフトするのに応じて画素の有効領域もシフトさせるので、使用者が見るモニター画面や記録された画像の上では急激な画像シフトが見えなくなり、使用者が実感することなくセンタリングを行うことができる。
撮像装置では、撮像レンズを駆動するための駆動信号の変化量から撮像レンズの位置のDCオフセット成分の変化量を算出してもよい。
以上の構成によれば、撮像レンズを駆動するための駆動信号、たとえば電流値の変化量から、これにアクチュエータの駆動感度を掛け算することで、撮像レンズの位置のDCオフセット成分の変化量を算出でき、画像シフトによる補正が可能となる。
また、撮像装置では、撮像レンズの位置を検出するための位置検出手段を備え、位置検出手段の出力により撮像レンズの位置をフィードバック制御する撮像装置であって、位置検出手段の出力のDCオフセット成分の変化量から撮像レンズの位置のDCオフセット成分の変化量を算出してもよい。
以上の構成によれば、位置検出手段の出力信号にしたがってセンタリング動作を行うことができ、位置検出信号の変化分を画素上の像の変位分に換算することで、画素シフト量と方向が決定できるので、使用者が急激な画像シフトを認識せずにセンタリングを行うことができる。
また、ある撮像装置では、ブレ検出手段の出力のDCオフセット成分の変化量から撮像レンズの位置のDCオフセット成分の変化量を算出してもよい。
以上の構成によれば、ジャイロセンサなどのブレ検出手段によって検出された角速度信号を積分してブレ角度情報を得る際に蓄積されるDC成分をゼロに戻す(リフレッシュ)ことで、フィードバック制御された撮像レンズは元の位置(初期設定位置)に戻るが、そのときのレンズの変位量を画素上の変位に換算することで、画素シフト量と方向が決定できるので、使用者が急激な画像シフトを認識せずにセンタリングを行うことができる。
また、ある撮像装置では、パン・チルト検出手段を備え、パン・チルト動作だと判定された場合に、撮像レンズの位置のDCオフセット成分を変化させてもよい。
以上の構成によれば、パン・チルトだと判定されるまでに蓄積されたレンズ位置のDC成分をいち早く解消し、センタリングできるので、センタリング動作にともなう画像シフトを的確に補正することができる。パン・チルトだと判定されると、フィルタのカットオフ周波数を変更するなどして、それ以上DC成分が蓄積されるのを防ぎつつ、センタリング動作を行う。通常は手ブレ信号のDCオフセット成分の閾値よりも低いDC値でパン・チルト判定がなされるので、より素早くセンタリング動作を行うことが可能となる。
また、ある撮像装置では、画素シフトによって生じた画像のシフトを徐々に解除してもよい。
以上の構成によれば、画素シフトを行ったままでは次の画素シフトのための画素の余裕がなくなるのに対して、ずらした画素を元に戻すので再び画素の余裕を生むことができ、かつ徐々に元に戻すので使用者は画像が動いていることをほとんど実感しなくてもよい。すなわち、ここで言う徐々に、とは使用者が実感できない、あるいは違和感や不快感を受けない程度にゆっくり、という意味である。
また、撮像装置では、画像シフトの解除動作を、次に位置のDCオフセット成分を変化させるタイミングまでに行ってもよい。
以上の構成によれば、次にセンタリングを行うときまでには、画素シフトによって生じた有効画素の偏りが解除できるので、画素を有効活用でき、補正範囲を広くできる。
また本開示には、以下のアクチュエータドライバが含まれる。アクチュエータドライバは、像ブレを補正するレンズアクチュエータを駆動するためのアクチュエータドライバであって、レンズの位置情報に基づいて、レンズ位置のDCオフセット成分を強制的に変化させることができ、強制的に変化させた場合は、画素シフトのための情報として、DCオフセット成分の変化またはそれに基づいた画素シフト量を出力することを特徴としている。
以上の構成によれば、所定の位置から撮像レンズの位置が偏った場合において、元の所定の位置に強制的に戻そうとしたとき(センタリング動作)、急激に画像がシフトするのに応じて画素の有効領域もシフトさせることができるので、使用者が見るモニター画面や記録された画像の上では急激な画像シフトが見えなくなり、使用者が実感することなくセンタリングを行うことができる。
アクチュエータドライバでは、レンズの位置情報は、アクチュエータの駆動電流から得てもよい。
また、アクチュエータドライバでは、レンズの位置情報は、アクチュエータが備える位置検出手段の信号から得てもよい。
また、アクチュエータドライバでは、ブレ検出手段からの角速度情報に基づいてブレ角度を算出する手段を備え、ブレ角度のDCオフセット成分を変化させることでレンズの位置を変化させることができてもよい。
また、アクチュエータドライバでは、パン・チルト検出手段を備え、パン・チルト動作だと判定された場合に、撮像レンズの位置のDCオフセット成分を変化させてもよい。
本開示には、以下の画像補正方法が含まれる。画像補正方法は、発生したブレに対応して、アクチュエータによって撮像レンズの位置を変化させることにより像ブレを補正することが可能な撮像装置における画像補正方法であって、所定のタイミングで撮像レンズの位置のDCオフセット成分を強制的に変化させるプロセスと、撮像レンズの位置のDCオフセット成分を強制的に変化させる直前の撮像レンズの位置情報を記憶するプロセスと、強制的に変化させた後の撮像レンズの位置情報と、記憶した位置情報との差分を算出するプロセスと、算出した差分に応じて、撮像素子の有効画素領域をずらすことで、強制的な撮像レンズの位置変化による画像シフトを補正するプロセスと、を備えることを特徴としている。
以上の構成によれば、所定の位置から撮像レンズの位置が偏った場合において、元の所定の位置に強制的に戻そうとしたとき(センタリング動作)、急激に画像がシフトするのに応じて有効画素領域もシフトさせるので、使用者が見るモニター画面や記録された画像の上では急激な画像シフトが見えなくなり、使用者が実感することなくセンタリングを行うことができる。
また、画像補正方法では、撮像レンズの位置情報は、撮像レンズを駆動するためのアクチュエータの駆動信号から得てもよい。
また、画像補正方法では、撮像レンズの位置情報は、撮像レンズを駆動するためのアクチュエータが備える位置検出手段の信号から得てもよい。
また、画像補正方法では、強制的な撮像レンズの位置変化による画像シフトを補正した後、画像シフトを徐々に解除するプロセスをさらに有してもよい。
また、画像補正方法では、画像シフトの解除動作を、次に撮像レンズの位置のDCオフセット成分を強制的に変化させるタイミングまでに行ってもよい。
1000…カメラモジュール、1002…撮像素子、1004…撮像レンズ、1006…アクチュエータ、1010…位置検出素子、1012…ブレ検出手段、1014…プロセッサ、1100…アクチュエータドライバ、1102…インタフェース回路、1104…A/Dコンバータ、1106…補正回路、1107…ジャイロコントローラ、1108…制御回路、1110…コントローラ、1112…ドライバ部、1114…センタリング処理部、1120…プロセッサコア、1…画素全体、2…有効画素領域、3…被写体像、300…撮像装置、302…撮像素子、304…撮像レンズ、306…プロセッサ、308…ジャイロセンサ、310…ホルダー、312…AFコイル、314…永久磁石、316…OISコイル、318…永久磁石、320,322…ホール素子、400…レンズ制御装置、402…アクチュエータ、404…位置検出素子、406…温度検出素子、408…画像変位検出素子、500…アクチュエータドライバ、510…位置検出部、512…ホールアンプ、514…A/Dコンバータ、520…温度検出部、522…定電流回路、524…A/Dコンバータ、530…補正部、532…線形補償部、534…温度補償部、536…メモリ、540…ジャイロDSP、560…コントローラ、562…誤差検出器、564…PID制御器、570…ドライバ部。

Claims (17)

  1. 撮像レンズと、
    前記撮像レンズを通過した像を撮像する撮像素子と、
    ブレを検出するブレ検出手段と、
    前記撮像レンズを位置決めするアクチュエータと、
    前記ブレ検出手段からのブレ検出信号に応じて前記アクチュエータを制御するアクチュエータドライバと、
    を備え、
    前記撮像レンズの位置を強制的に変化させる際に生じる前記像のシフトを、前記撮像レンズの位置の強制的な変化量に応じた前記撮像素子の有効画素領域のシフトによって補正することを特徴とする撮像装置。
  2. 前記アクチュエータへの駆動信号の変化量から、前記撮像レンズの位置の前記強制的な変化量を算出することを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像レンズの位置を示す位置検出信号を生成する位置検出手段をさらに備え、
    前記アクチュエータドライバは、前記位置検出信号にもとづいて前記撮像レンズの位置をフィードバック制御し、
    前記位置検出信号のDC成分の変化量から、前記撮像レンズの位置の前記強制的な変化量を算出することを特徴とする請求項1に記載の撮像装置。
  4. 前記ブレ検出信号のDC成分の変化量から、前記撮像レンズの位置の前記強制的な変化量を算出することを特徴とする請求項2または3に記載の撮像装置。
  5. パン・チルト検出手段をさらに備え、パン・チルト動作だと判定された場合に、前記撮像レンズの位置を強制的に変化させることを特徴とする請求項2から4のいずれかに記載の撮像装置。
  6. 前記有効画素領域のシフトを徐々に解除することを特徴とする請求項1から5のいずれかに記載の撮像装置。
  7. 前記有効画素領域のシフトの解除動作を、次に前記撮像レンズの位置を強制的に変化させるタイミングまでに行うことを特徴とする請求項6に記載の撮像装置。
  8. 像ブレを補正するための撮像レンズを位置決めするアクチュエータを駆動するアクチュエータドライバであって、
    前記撮像レンズの位置情報にもとづいて、レンズ位置のDC成分を強制的に変化させることができ、強制的に変化させた場合は、有効画素領域のシフトのための情報として、前記レンズ位置の強制的な変化量またはそれにもとづいた前記有効画素領域のシフト量を出力することを特徴とするアクチュエータドライバ。
  9. 前記レンズの位置情報は、前記アクチュエータの駆動電流から得ることを特徴とする請求項8に記載のアクチュエータドライバ。
  10. 前記レンズの位置情報は、前記アクチュエータが備える位置検出手段からの位置検出信号から得ることを特徴とする請求項8に記載のアクチュエータドライバ。
  11. ブレ検出手段からの角速度情報にもとづいてブレ角度を算出する演算部を備え、
    前記ブレ角度のDC成分を変化させることで前記レンズ位置を強制的に変化させることを特徴とする請求項9または10に記載のアクチュエータドライバ。
  12. パン・チルト検出手段を備え、
    パン・チルト動作だと判定された場合に、前記レンズ位置のDC成分を変化させることを特徴とする請求項9から11のいずれかに記載のアクチュエータドライバ。
  13. 撮像素子によって、撮像レンズを通過した像を撮像するステップと、
    ブレに応じて前記撮像レンズを変位させるステップと、
    前記撮像レンズの位置を強制的に変化させるステップと、
    前記撮像レンズの位置を変化させる直前の前記撮像レンズの位置情報を記憶するステップと、
    変化させた後の前記撮像レンズの位置情報と、記憶した位置情報との差分を算出するステップと、
    前記差分に応じて、前記撮像素子の有効画素領域をシフトするステップと、
    を備えることを特徴とする撮像方法。
  14. 前記撮像レンズの位置情報は、前記撮像レンズを駆動するアクチュエータの駆動信号から得ることを特徴とする請求項13に記載の撮像方法。
  15. 前記撮像レンズの位置情報を、前記撮像レンズを駆動するアクチュエータが備える位置検出手段が生成する位置検出信号から生成するステップをさらに備えることを特徴とする請求項13に記載の撮像方法。
  16. 前記撮像素子の前記有効画素領域のシフトの後、前記有効画素領域を徐々に解除するステップをさらに有することを特徴とする請求項13から15のいずれかに記載の撮像方法。
  17. 前記有効画素領域のシフトの解除動作を、次に前記撮像レンズの位置を強制的に変化させるタイミングまでに行うことを特徴とする請求項16に記載の撮像方法。
JP2017075537A 2017-04-05 2017-04-05 アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法 Active JP6933487B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017075537A JP6933487B2 (ja) 2017-04-05 2017-04-05 アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法
KR1020180037241A KR102022189B1 (ko) 2017-04-05 2018-03-30 액추에이터 드라이버 및 이것을 사용한 촬상 장치, 및 촬상 방법
US15/944,097 US10750091B2 (en) 2017-04-05 2018-04-03 Actuator driver, imaging device using the same, and imaging method
US16/921,209 US10897574B2 (en) 2017-04-05 2020-07-06 Actuator driver, imaging device using the same, and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017075537A JP6933487B2 (ja) 2017-04-05 2017-04-05 アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021036656A Division JP7098773B2 (ja) 2021-03-08 2021-03-08 アクチュエータドライバ

Publications (2)

Publication Number Publication Date
JP2018180101A true JP2018180101A (ja) 2018-11-15
JP6933487B2 JP6933487B2 (ja) 2021-09-08

Family

ID=63711399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017075537A Active JP6933487B2 (ja) 2017-04-05 2017-04-05 アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法

Country Status (3)

Country Link
US (2) US10750091B2 (ja)
JP (1) JP6933487B2 (ja)
KR (1) KR102022189B1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6869049B2 (ja) * 2017-02-24 2021-05-12 ローム株式会社 アクチュエータドライバ、撮像装置、キャリブレーション方法
JP6933487B2 (ja) * 2017-04-05 2021-09-08 ローム株式会社 アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法
KR102412291B1 (ko) * 2017-08-18 2022-06-23 삼성전자 주식회사 카메라 모듈에 포함된 렌즈부의 흔들림을 제어하는 전자 장치 및 전자 장치의 동작 방법
TWI633357B (zh) * 2017-09-15 2018-08-21 致伸科技股份有限公司 影像對焦方法以及應用該方法的影像擷取裝置與電子裝置
JP2019191258A (ja) * 2018-04-19 2019-10-31 オリンパス株式会社 撮像装置、撮像プログラム、撮像方法
EP3690508A1 (en) 2019-02-01 2020-08-05 Tdk Taiwan Corp. Control method of driving mechanism
JPWO2021200191A1 (ja) * 2020-03-31 2021-10-07
US11223767B1 (en) * 2020-12-16 2022-01-11 Semiconductor Components Industries, Llc Methods and apparatus for optical image stabilization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240371A (ja) * 2003-02-10 2004-08-26 Nikon Corp ブレ補正装置を備えた撮影装置
JP2011109329A (ja) * 2009-11-16 2011-06-02 Canon Inc 撮像装置
JP2015035001A (ja) * 2014-11-04 2015-02-19 株式会社ニコン ブレ補正装置及び光学機器
JP2015180917A (ja) * 2014-03-05 2015-10-15 キヤノン株式会社 像振れ補正装置及びその制御方法、撮像装置、レンズ装置、プログラム、記憶媒体
WO2017170165A1 (ja) * 2016-03-30 2017-10-05 富士フイルム株式会社 撮像装置、作動方法、画像処理装置及び画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4426681B2 (ja) * 1999-11-30 2010-03-03 オリンパス株式会社 電子カメラ装置
JPWO2005045516A1 (ja) * 2003-10-20 2007-11-29 松下電器産業株式会社 撮像装置およびその制御方法
JP5011387B2 (ja) * 2007-07-13 2012-08-29 パナソニック株式会社 撮像装置
JP2010078635A (ja) 2008-09-24 2010-04-08 Sanyo Electric Co Ltd ブレ補正装置及び撮像装置
KR101663225B1 (ko) * 2010-01-19 2016-10-06 삼성전자주식회사 디지털 영상처리장치 및 방법
US8923691B2 (en) * 2012-01-30 2014-12-30 Panasonic Corporation Shake correcting device and imaging apparatus having shake correcting device
JP6250446B2 (ja) * 2014-03-19 2017-12-20 日本テレビ放送網株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP6933487B2 (ja) * 2017-04-05 2021-09-08 ローム株式会社 アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240371A (ja) * 2003-02-10 2004-08-26 Nikon Corp ブレ補正装置を備えた撮影装置
JP2011109329A (ja) * 2009-11-16 2011-06-02 Canon Inc 撮像装置
JP2015180917A (ja) * 2014-03-05 2015-10-15 キヤノン株式会社 像振れ補正装置及びその制御方法、撮像装置、レンズ装置、プログラム、記憶媒体
JP2015035001A (ja) * 2014-11-04 2015-02-19 株式会社ニコン ブレ補正装置及び光学機器
WO2017170165A1 (ja) * 2016-03-30 2017-10-05 富士フイルム株式会社 撮像装置、作動方法、画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP6933487B2 (ja) 2021-09-08
US10750091B2 (en) 2020-08-18
US20200336664A1 (en) 2020-10-22
US10897574B2 (en) 2021-01-19
KR20180113168A (ko) 2018-10-15
KR102022189B1 (ko) 2019-09-17
US20180295286A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
US10897574B2 (en) Actuator driver, imaging device using the same, and imaging method
KR102196231B1 (ko) 손떨림 보정 장치 및 그 조정 방법, 손떨림 보정 회로 및 손떨림 보정 방법과, 카메라 모듈 및 그 광학 요소의 위치 제어 방법
KR101643617B1 (ko) 디지털 촬영 장치 및 그의 슬립 모드 제어 방법
US8169487B2 (en) Image-shake correction apparatus and imaging apparatus
KR102176284B1 (ko) 디지털 촬영시스템 및 그 제어방법
JP2021177245A (ja) 撮像装置およびアクチュエータドライバ
JP2017116924A (ja) ズーム制御装置およびズーム制御方法、撮像装置
JP5866960B2 (ja) 撮像装置及び撮像装置の位置ずれ補正方法
US11683588B2 (en) Methods and apparatus for optical image stabilization
JP7299385B2 (ja) アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法
JP7098773B2 (ja) アクチュエータドライバ
JP5521624B2 (ja) ブレ補正機能付き撮像装置
KR20150058952A (ko) 손떨림 보정 시스템 및 그 제어방법
JP5707801B2 (ja) 撮像装置および電子機器
JP5744495B2 (ja) 光学機器およびその制御方法
JP2019114920A (ja) アクチュエータドライバ、及びこれを用いた撮像装置、及びキャリブレーション方法
JP5029269B2 (ja) 撮像装置
WO2020012960A1 (ja) 撮像装置
JP2013061491A (ja) 光学機器およびそれを備えた撮像装置、光学機器の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6933487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150