JP2019008214A - 撮像装置およびそのキャリブレーション方法 - Google Patents

撮像装置およびそのキャリブレーション方法 Download PDF

Info

Publication number
JP2019008214A
JP2019008214A JP2017125260A JP2017125260A JP2019008214A JP 2019008214 A JP2019008214 A JP 2019008214A JP 2017125260 A JP2017125260 A JP 2017125260A JP 2017125260 A JP2017125260 A JP 2017125260A JP 2019008214 A JP2019008214 A JP 2019008214A
Authority
JP
Japan
Prior art keywords
gravity
angle
axis
detecting
detection element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017125260A
Other languages
English (en)
Other versions
JP6910219B2 (ja
Inventor
淳 嶋谷
Atsushi Shimatani
淳 嶋谷
彰人 齋藤
Akihito Saito
彰人 齋藤
関本 芳宏
Yoshihiro Sekimoto
芳宏 関本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rohm Co Ltd
Original Assignee
Rohm Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rohm Co Ltd filed Critical Rohm Co Ltd
Priority to JP2017125260A priority Critical patent/JP6910219B2/ja
Priority to KR1020180071925A priority patent/KR102129169B1/ko
Priority to US16/016,961 priority patent/US10567628B2/en
Publication of JP2019008214A publication Critical patent/JP2019008214A/ja
Priority to JP2021112090A priority patent/JP7192053B2/ja
Application granted granted Critical
Publication of JP6910219B2 publication Critical patent/JP6910219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

【課題】加振レスで角速度検出信号のキャリブレーションを行う技術を提供する。【解決手段】重力の方向に対するブレ検出素子の座標軸の方向のずれに対応する第1角度θ1を検出する(S202)。重力の方向に対するカメラモジュールの方向のずれに対応する第2角度θ2を検出する(S204)。第1角度θ1および第2角度θ2にもとづいて、ブレ検出素子の検出信号を補正するためのパラメータを取得する(S206)。【選択図】図2

Description

本発明は、ジャイロセンサ等の角速度検出素子を備える撮像装置およびそのキャリブレーション方法に関する。
近年、スマートフォンなどに搭載されるカメラモジュールにおいては、撮像レンズの位置を検出して、この位置情報をフィードバックすることで、撮像レンズの位置を高精度かつ高速に制御する機能を取り入れるものが増加してきている。特に、光学手振れ補正(OIS)にフィードバック制御を取り入れることにより、高精度の手振れ補正が可能となるため、暗い場所で、遠方の被写体をブレなく撮影したいという要求の高まりとともに、OISを採用したカメラは今後も増加していくと予想される。
カメラにおける手振れには、ピッチ、ヨー、ロールの3方向の角度ブレが考えられる。通常、ピッチは光軸に対して縦方向のブレを指し、ヨーは光軸に対して横方向のブレを指し、ロールは光軸まわりの回転ブレを指す。それぞれのブレ量は、ジャイロセンサによって角速度信号として検出され、これを積分することで角度ブレ量が算出される。これまでのOIS機能を備えたカメラでは、ピッチ方向とヨー方向の角度ブレ量に応じてレンズを光軸に垂直なXY平面内でシフトさせることで手振れを補正する、レンズシフト方式あるいはバレルシフト方式と呼ばれるOISが主流となっている。ロール方向のブレに対しては、信号処理によって補正する、いわゆる電子式手振れ補正が採用されるケースが多い。
ジャイロセンサの角速度検出軸に対して、カメラモジュールにおけるアクチュエータの駆動軸、位置検出軸、撮像素子の画素方向軸等は、それぞれの実装ばらつき等により必ずしも一致しておらず、何らかの信号補正(キャリブレーション)を行うことが望ましい。ジャイロセンサがカメラモジュールの基板内に搭載されている場合は、一体で加振することで角速度検出軸の方向がわかり、これに合わせて位置検出信号を補正したり、あるいはアクチュエータの駆動方向に合わせて角速度検出信号を補正することが可能となる。
角速度センサ(ジャイロセンサ)の揺れ検出軸と駆動系(アクチュエータ)の揺れ補正軸との傾きを補正する技術が特許文献1に開示されている。具体的には、揺れ検出軸と揺れ補正軸の傾きθを用いて角速度信号の補正信号を得ることが記載されており、この傾きθを求める方法として、機械的な角度を測定することと、実際に角速度を加えること(すなわち加振すること)が開示されている。
同様に、角速度センサの取り付け角度の傾きにもとづく出力誤差を補正する技術が特許文献2に開示されている。具体的には、角速度センサの取り付け角度の傾きにもとづく出力誤差を補正することが記載されており、所定の軸方向に加振したときの2方向の角速度センサの出力の比から補正係数を求めることが開示される。
一方、角度ブレに加えて並進ブレまで補正することを目的として、角速度センサに加えて加速度センサを搭載したカメラの例が特許文献3に開示されている。具体的には角速度センサと加速度センサを搭載し、角度ブレとともに並進ブレを補正し、カメラの姿勢に応じて並進ブレの演算量を変えることが開示されている。
特開2004−194157号公報 特開2008−116920号公報 特開2013−54193号公報
しかしながら、パッケージングされた角速度センサ内部の検出軸の方向を機械的に測定することは非常に困難であり、カメラモジュールの製造工程内で1台ずつ加振することも時間がかかり面倒である。
また、カメラモジュールと角速度センサが一体化されている場合には、前述のように一体で加振してキャリブレーションする方法が採用可能であるが、カメラモジュールと角速度センサが別々に実装された上で個別に検証される場合、たとえばカメラモジュールを検査するメーカーと角速度センサを実装するメーカーが異なる場合などにおいては、カメラモジュールと角速度センサそれぞれで何らかの基準を設けてキャリブレーションされることが望ましいが、従来の一体加振の方法ではそれができない。
本発明はかかる状況に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、加振レスで撮像装置をキャリブレーションする方法を提供することにある。また別の目的のひとつは、高精度な手振れ補正が可能な撮像装置を提供することにある。
本発明のある態様は、撮像装置のキャリブレーション方法に関する。キャリブレーション対象の撮像装置は、撮像素子、および前記撮像素子への入射光路上に設けられたレンズを含むカメラモジュールと、撮像装置に作用するブレ量を検出するブレ検出素子と、撮像装置に作用する重力の方向を判定する重力検出素子と、を備える。キャリブレーション方法は、重力の方向に対するブレ検出素子の座標軸の方向のずれに対応する第1角度を検出するステップと、重力の方向に対するカメラモジュールの方向のずれに対応する第2角度を検出するステップと、第1角度および第2角度にもとづいて、ブレ検出素子の検出信号を補正するためのパラメータを取得するステップと、を備える。
この方法によれば、重力方向に対するブレ検出素子の座標軸のずれ角を加振レスで検出することが可能であるとともに、重力方向に対するカメラモジュールの方向、たとえば画素軸の方向のずれ角を検出するので、カメラモジュールとブレ検出素子が一体化されていない場合でも、重力方向を媒介として、カメラモジュールの方向に合わせてブレ検出信号を補正するキャリブレーションが可能となり、結果として高精度な手ぶれ補正が可能となる。
第2角度を検出するステップは、所定パターンを有するチャートを前記撮像素子で撮像するステップと、撮像画像における所定パターンの方向と画素軸の方向とのずれにもとづいて、第2角度を取得するステップと、を含んでもよい。
この方法によれば、チャートの所定パターンの方向と重力方向との間のずれを考慮した上で、所定パターンの方向と画素軸の方向のずれ角を検出するので、カメラモジュールの画素軸の方向と重力方向とのずれ角がわかる。
第2角度を検出するステップは、チャートの所定パターンの方向を、重力の方向に合わせてあらかじめ調整するステップをさらに含んでもよい。
この方法によれば、チャートの所定パターンの方向が重力方向に合っているので、所定パターンの方向と画素軸の方向のずれ角を検出することで、画素軸の方向と重力方向とのずれ角がわかる。
第2角度を検出するステップは、チャートの所定パターンの方向と重力方向とのずれに対応する第3角度をあらかじめ検出するステップをさらに含んでもよい。第3角度を、第2角度の検出に利用してもよい。
この方法によれば、チャートの所定パターンの方向が重力方向とずれていたとしても、そのずれ角を把握しておくことで、画素軸の方向と重力方向のずれ角を算出することが可能となる。
第1角度を検出するステップは、重力検出素子の座標軸の方向と重力方向とのずれに対応する第4角度を検出するステップを含んでもよい。ブレ検出素子の座標軸の方向と、重力検出素子の座標軸の方向とが実質的に平行であるものとして、第4角度を、第1角度としてもよい。
この方法によれば、ブレ検出素子の座標軸の方向と、重力検出素子の座標軸の方向とが略一致するものとしてキャリブレーションを行うので、重力検出素子の座標軸と重力方向とのずれ角を、ブレ検出素子の座標軸の方向と重力方向のずれ角に代用できる。
本発明の別の態様は、撮像装置に関する。撮像装置は、撮像素子、および前記撮像素子への入射光路上に設けられたレンズを含むカメラモジュールと、撮像装置に作用するブレ量を検出するブレ検出素子と、撮像装置に作用する重力の方向を判定する重力検出素子と、を備え、上記のいずれかのキャリブレーション方法によりキャリブレーションがなされることを特徴としている。
以上の構成によれば、重力方向に対するブレ検出素子の座標軸のずれ角を加振レスで検出することが可能であるとともに、重力方向に対するカメラモジュールの方向、たとえば画素軸の方向のずれ角を検出するので、カメラモジュールとブレ検出素子が一体化されていない場合でも、重力方向を媒介として、カメラモジュールの方向に合わせてブレ検出信号を補正するキャリブレーションが可能となり、結果として高精度な手振れ補正が可能な撮像装置が実現できる。
ある態様において、ブレ検出素子と重力検出素子は一体的にパッケージングされていてもよい。ブレ検出素子と重力検出素子が一体的にワンパッケージ化されているので、お互いの座標軸の方向ずれを極力小さくでき、加振レスでもブレ検出素子の座標軸の方向と重力方向とのずれ角を検出することができる。
またある態様においてブレ検出素子のブレ検出部と、重力検出素子の重力方向検出部とが、同一のプロセスで作製されていてもよい。ブレ検出素子のブレ検出部と、重力検出素子の重力方向検出部とが、同一のシリコンプロセスで高精度に作製されるので、お互いの座標軸の方向ずれをさらに小さくでき、加振レスでもブレ検出素子の座標軸の方向と重力方向とのずれ角を検出することができる。
また、ある態様において、重力検出素子は、少なくとも2軸方向の加速度が検出できる加速度センサであってもよい。重力検出素子として加速度センサが用いられるので、重力方向を検出するだけでなく、並進ブレの補正などにも活用でき、有効に利用できる。
また、ある態様においてカメラモジュールは、レンズを光軸に垂直な方向に変位させるためのアクチュエータと、光軸に垂直な方向のレンズの変位を検出する位置検出素子と、を備えてもよい。撮像素子の画素軸の方向に対する前記位置検出素子の検出方向のずれの影響をなくすように、位置検出素子の位置検出信号が補正されていてもよい。この態様によれば、カメラモジュールにおける撮像素子の画素軸の方向に対する位置検出素子の検出方向のずれが補正されているため、ブレ検出素子と位置検出素子という2つの検出手段の間のキャリブレーションが可能となる。
なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
さらに、この課題を解決するための手段の記載は、すべての欠くべからざる特徴を説明するものではなく、したがって、記載されるこれらの特徴のサブコンビネーションも、本発明たり得る。
本発明によれば、加振レスでブレ検出信号のキャリブレーションが可能となる。また高精度な手振れ補正が可能な撮像装置を提供できる。
実施の形態に係る撮像装置を示す図である。 実施の形態に係るキャリブレーションのフローチャートである。 図2のキャリブレーションで測定される第1角度θおよび第2角度θを説明する図である。 図4(a)、(b)は、実施例に係るキャリブレーションを説明する図である。 図5(a)、(b)は、重力・ブレ検出素子が重力方向に対して傾いた状態を示す図である。 図6(a)、(b)は、チャートが重力方向に対して傾いた状態を示す図である。 チャートの所定パターンが、画像上で画素軸の方向に対して傾いている状態を示す図である。 画素とジャイロセンサの傾き関係を示す図である。 実施の形態に係るキャリブレーションのフローチャートである。 実施の形態に係るカメラモジュールのシステム構成例を示すブロック図である。 図11(a)、(b)は、撮像装置におけるカメラモジュールの画素軸と位置検出軸のずれ角を説明する図である。 実施の形態に係るアクチュエータドライバICの構成を示す図である。 ゲインキャリブレーションに用いられるチャートのパターンの一例を示す図である。 ゲインキャリブレーションに用いられる画素上の変位とホール信号出力の関係を示す図である。
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
また図面に記載される各部材の寸法(厚み、長さ、幅など)は、理解の容易化のために適宜、拡大縮小されている場合がある。さらには複数の部材の寸法は、必ずしもそれらの大小関係を表しているとは限らず、図面上で、ある部材Aが、別の部材Bよりも厚く描かれていても、部材Aが部材Bよりも薄いこともあり得る。
本明細書において、「部材Aが、部材Bと接続された状態」とは、部材Aと部材Bが物理的に直接的に接続される場合のほか、部材Aと部材Bが、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
同様に、「部材Cが、部材Aと部材Bの間に設けられた状態」とは、部材Aと部材C、あるいは部材Bと部材Cが直接的に接続される場合のほか、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
<座標軸に関するキャリブレーション>
はじめに実施の形態に係るキャリブレーション方法について、図1から図9を参照して説明する。
図1は、実施の形態に係る撮像装置100を示す図である。撮像装置100は、撮像機能を備える電子機器150の一部であり、重力・ブレ検出素子200およびカメラモジュール300を備える。電子機器150は、スマートフォンやタブレット端末、ラップトップコンピュータやポータブルオーディオプレイヤなどが例示されるがその限りでない。
重力・ブレ検出素子200は、撮像装置100に作用するブレ量を検出するブレ検出素子200Aと、撮像装置に作用する重力の方向を判定する重力検出素子200Bと、を含む。重力検出素子としては、重力方向が検出できれば足りるので重力センサのようなものを用いてもよいが、加速度センサを用いることで、重力方向を検出するだけでなく、並進ブレの補正などにも活用できるため、本実施形態では加速度センサとして説明する。ブレ検出素子としては、ブレ検出手段として一般的なジャイロセンサを用いるものとする。
本明細書において、ブレ検出素子200Aの検出軸を角速度検出軸と称し、重力検出素子200Bの検出軸を、加速度検出軸と称する。
重力・ブレ検出素子200は、加速度センサとジャイロセンサがひとつのパッケージ内に実装されたものが市販されており、加速度検出軸と角速度検出軸のずれが小さくなるように高精度に実装されているため、これを用いることが望ましい。さらには、加速度センサとジャイロセンサがMEMS技術で形成され、同一のプロセスで作製されたものであるならば、両者の座標軸の関係はシリコンプロセスの精度で形成されていることが期待できるため、さらに望ましい。
カメラモジュール300は、撮像素子302およびレンズ304を含む。本明細書において撮像素子302の水平方向および垂直方向を、画素軸と総称する。レンズ304は、撮像素子302への入射光路上に設けられる。便宜のために、電子機器150を基準として左右の方向にX軸を、上下方向にY軸を、奥行き方向にZ軸をとる。
レンズ304は、オートフォーカスのために、光軸方向(Z軸方向)に変位可能に支持され、図示しないアクチュエータにより位置決めされる。また手ブレ補正機能付きのカメラモジュール300の場合、レンズ304はX方向およびY方向にも変位可能に支持されており、図示しないアクチュエータによって、X方向、Y方向それぞれに関して位置決め可能となっている。
理想的には、カメラモジュール300の画素軸と、電子機器150のX軸、Y軸は一致しており、また重力・ブレ検出素子200の2つの検出軸もまた、電子機器150のX軸、Y軸と一致することが望ましいが、組み立て精度の問題から、それらを完全に一致させることは難しい。
そこで本実施の形態に係るキャリブレーション方法では、重力の方向を媒介として、ブレ検出素子200Aの角速度検出軸の方向と、カメラモジュール300の画素軸の方向のずれを検出し、これを補正する。本実施の形態において、単に「検出軸」という場合、Y軸と平行であるべき検出軸を指す。
キャリブレーションは、カメラモジュール300および重力・ブレ検出素子200を電子機器150に実装後に実行される。図2は、実施の形態に係るキャリブレーションのフローチャートである。
はじめに、電子機器150のY軸が重力方向(すなわち鉛直方向)と平行となるように、電子機器150の位置合わせを行う(S200)。なお、後述のように電子機器150の傾きは、キャリブレーションに本質的に影響しないため、処理S200は省略してもよい。
そして、重力方向に対するブレ検出素子200Aの座標軸の方向のずれに対応する第1角度θを検出する(S202)。また、重力方向に対するカメラモジュール300の方向(画素軸)のずれに対応する第2角度θを検出する(S204)。
図3は、図2のキャリブレーションで測定される第1角度θおよび第2角度θを説明する図である。ステップS202,S204では、これらの角度θ、θが測定される。
図2に戻る。そして測定された第1角度θおよび第2角度θにもとづいて、電子機器150の実動作中において、ブレ検出素子200Aの検出信号を補正するためのパラメータを取得する(S206)。θとθを用いて計算した値をパラメータとしてもよいし、θとθをパラメータとしてもよい。
以上が実施の形態に係るキャリブレーション方法の基本原理である。以下、キャリブレーションの実施例を説明する。
図4(a)、(b)は、実施例に係るキャリブレーションを説明する図である。図4(a)は、キャリブレーション工程におけるセットアップを示す。また図4(b)はキャリブレーションに使用可能なチャート600の変形例を示す。
キャリブレーションの実行時に、チャート600が用いられる。チャート600には、たとえば十字状の直線パターン610が形成されている。しかしながら、パターンはこれに限定される訳ではなく、図4(b)のような4点程度のドットパターン620でもよい。カメラモジュール300はチャート600の直線パターン610を撮像し、画像として取り込むことができる。高精細なディスプレイパネルに、所定のパターンを表示させたものをチャート600として用いてもよい。
図5(a)、(b)を参照して、重力・ブレ検出素子200の重力方向に対する傾き(すなわち第1角度θ)について説明する。図5(a)、(b)は、重力・ブレ検出素子が重力方向に対して傾いた状態を示す図である。図5(a)は全体図を、図5(b)は加速度検出部の拡大図を示している。
重力・ブレ検出素子200は、同一パッケージ内に加速度検出部202(図1の重力検出素子200B)と角速度検出部204(図1のブレ検出素子200A)を備える。加速度検出部202の座標軸206と角速度検出部204の座標軸208は実質的に平行であるものとする。重力方向210に対して、重力・ブレ検出素子200は傾いている。傾きの原因として、重力・ブレ検出素子200の素子内部の軸の傾き、実装傾き、電子機器150全体の傾きなどが考えられる。電子機器150全体の傾きは、カメラモジュール300にも与えられるため、相殺される。加速度検出部202の座標軸206が重力方向210に対して傾いていた場合、図5(b)に示すように、重力加速度gは2つの軸方向にベクトル分解され、座標軸206側の重力加速度としてgが、それと垂直な座標軸212側の重力加速度としてgが検出される。したがって、傾き角(第4角度)θは、
θ=tan−1(g/g) …(1)
で求められる。
加速度検出部202の座標軸206と角速度検出部204の座標軸208は実質的に平行である場合、式(1)で求められる第4角度θは、重力方向に対する角速度検出部204の座標軸208のずれに対応する角度、すなわち図3のブレ検出素子200Aの座標軸の方向と重力方向のずれに対応する第1角度θに他ならない。
次に、図6(a)、(b)を参照して、チャート600の調整について説明する。図6(a)、(b)は、チャートが重力方向に対して傾いた状態を示す図である。チャート600におけるパターン610の方向は重力方向(鉛直方向)に対して傾いている可能性がある。その場合は、図6(a)のように、チャート600全体を回転させて、パターン610の方向と重力方向が一致するように調整する。重力方向はおもりをぶら下げた糸の方向などで判別できる。パターン610の水平線の方向に水準器を合わせてもよい。チャートの調整は装置のセッティング時に1回だけ行えばいいので、時間をかけてでも合わせ込めばよいが、どうしても合わせきれない場合は、図6(b)のように、パターン610の方向と重力方向とのずれ角(第3角度)θを測定し、カメラモジュールのずれ角の計算時に補正してもよい。本実施例では、厳密な位置合わせの結果、パターン610の方向と重力方向とのずれは無いものとする(θ=0)。
次に、図7を参照して、カメラモジュール300の画素軸350の方向とチャート600のパターン610の方向とのずれ角について説明する。図7は、チャートの所定パターンが、画像上で画素軸の方向に対して傾いている状態を示す図である。
カメラモジュール300でチャート600のパターン610を撮像する。カメラモジュール300の電子機器150への取り付け方向が傾いていた場合、撮像されたパターン610の画像(パターン像)352は画素軸350に対して傾いてしまう。この傾き角をθとする。θは、パターン像352に沿って横方向のピクセル数Δxと縦方向のピクセル数Δyの比をカウントすることで求めることができる。なお、ピクセルの密度は、図7に示される格子よりもはるかに高い。
θ=tan−1(Δx/Δy)
図7は画素軸基準で描かれているため、画素軸350に対してパターン像352が左まわりに回転していることになる。重力軸基準で考えた場合には、パターン610の方向が重力と一致しているため、画素軸350が右まわりに回転して傾いていることになる。
図6(a)のように、チャート600のパターン610の方向が重力方向と一致(θ=0)しているとして、図5と図7の測定結果から、カメラモジュール300の画素軸350に対するジャイロセンサの角速度検出部204の座標軸208の傾きΔθは、
Δθ=θ+θ …(2)
で与えられる。θ、θなどの正負は、傾きの方向等を考慮して決めなければならないのは当然のことである。
式(2)の傾きΔθを、電子機器150の実動作中において、ブレ検出素子200A(角速度検出部204)の検出信号(角速度信号)を補正するためのパラメータと保持してもよい。
電子機器150の実動作中における、傾きΔθの影響の補正について説明する。図8は、画素とジャイロセンサ204の傾き関係を示す図である。図8に示すように、画素軸350に対して、ジャイロセンサ204の座標軸208(=加速度センサ202の座標軸206)の傾きをΔθとし、ジャイロセンサ204の角速度検出軸方向の出力値をG、Gとする。このとき、G、Gを画素軸方向にベクトル分配すると、そのときの値P、Pは、
=G cosΔθ−G sinΔθ …(3)
=G sinΔθ+G cosΔθ …(4)
で求められる。このようにして、画素軸の方向に作用する角速度検出信号の成分が得られる。この場合も、傾きΔθやG、Gの方向によってこれらの正負を決めてやる必要がある。
なお、上記のような三角関数の演算がCPUやDSPの処理能力上、問題となる場合は、θ≒0との仮定のもとに、
cosθ≒1−θ/2 …(5)
sinθ≒θ …(6)
の近似式を用いて計算してもかまわない。
画素軸の方向とジャイロセンサの角速度検出軸の方向が傾いている場合の角速度検出信号のキャリブレーション方法は以上の通りである。図9は、実施の形態に係るキャリブレーションのフローチャートである。
処理S101は、必須のプロセスではないが、予めカメラモジュールの画素軸方向とホール素子(位置検出素子)の検出軸方向のずれの影響をなくすようにホール検出信号を補正しておくことが望ましい。ずれがなければ補正する必要はないし、ホール素子などの位置検出素子を搭載していないカメラモジュールであれば、処理S101を適用せずにキャリブレーションを実行してもかまわない。
処理S102では、図4に示すようにスマートフォンのような電子機器150にカメラモジュール300とジャイロセンサ、加速度センサを含む重力・ブレ検出素子200を実装する。ここで、これらを適当に実装する訳ではなく、少なくとも式(5)や式(6)の近似式が使える程度のずれ角に抑えられるように実装することが望ましい。
処理S103では、たとえば十字パターンのように方向性がわかるパターンを設けたチャートを準備し、パターンの方向(十字パターンの縦線の方向など)が重力方向に一致するよう、チャートの設置角度を調整する。この調整は個体ごとに行う必要はなく、生産装置としての初期調整なので、時間をかけてでも極力高精度に調整しておくことが望ましい。どうしても追い込めない場合は、ずれ角を計測しておいて、後の画素軸と重力方向のずれ角計測時に考慮して補正してもよい。
処理S104では、一体化された加速度センサとジャイロセンサのうち、加速度センサを使って重力方向を検出する。加速度検出軸と重力方向がずれていた場合は、2つの軸に分配されて重力が検出されるので、それらの比を用いて重力方向が判別できる。
処理S105では、加速度センサの座標軸=ジャイロセンサの座標軸として、処理4で測定した重力方向により、ジャイロセンサの座標軸と重力方向とのずれ角θを算出する。
処理S106では、チャートの十字パターンをカメラモジュールで撮像し、画像上の十字パターンの方向と画素の並びの方向とのずれ角θを算出する。
処理S107では、θとθを用いて、撮像素子の画素軸の方向に対するジャイロセンサの角速度検出軸の方向の傾き角Δθを算出する。これにより、重力方向を媒介として、カメラモジュールの画素軸とジャイロセンサの角速度検出軸とのずれ角が算出できる。
処理S108では、Δθにもとづいて、ジャイロセンサの角速度検出信号を補正する。以上で、画素軸と角速度検出軸の間のずれに対するキャリブレーションが完了する。
<撮像装置>
続いて、実施の形態に係る撮像装置について、図10から図12を用いて説明する。
まずは、撮像装置の一例であるカメラモジュールの構成例について、図10を参照して説明する。図10は、実施の形態に係るカメラモジュールのシステム構成例を示すブロック図である。
カメラモジュール300は、撮像素子302、レンズ304、プロセッサ306、およびレンズ制御装置400を備える。また、ジャイロセンサ308からの信号がレンズ制御装置400に入力される。ジャイロセンサ308はカメラモジュールの外部に設置される。ジャイロセンサ308からの信号は、上述の式(3)、(4)の処理にもとづいて、画素軸基準でキャリブレーションされていることが望ましい。なお、式(3)、(4)にもとづく補正は、アクチュエータドライバIC500の内部(たとえば図12のジャイロDSP550)により実行してもよい。
レンズ304は、撮像素子302に入射する光の光軸上に配置される。レンズ制御装置400は、プロセッサ306からの位置指令値(ターゲットコードとも称する)PREFにもとづいて、レンズ304を光軸方向に位置決めする。また、レンズ制御装置400は、ジャイロセンサ308からの出力(角度ずれに応じて補正された出力)Gにもとづいて位置指令値(ターゲットコード)PREFを生成し、位置指令値PREFにもとづいてレンズ304を位置決めする。
レンズ制御装置400は、アクチュエータ402と、アクチュエータドライバIC(Integrated Circuit)500とを備える。アクチュエータ402は、レンズ304を光軸方向(Z軸方向)に変位させるAFアクチュエータ部402Aと、AFアクチュエータ部を光軸に垂直な2つの方向(X軸方向、Y軸方向)に独立に変位させるOISアクチュエータ部402Bを含む。AFアクチュエータ部402AおよびOISアクチュエータ部402Bは、カメラモジュール300に組み込まれている。プロセッサ306は、AF動作において、撮像素子302が撮像した画像のコントラストが高くなるように、位置指令値PREFを生成する(コントラストAF)。あるいは撮像素子302の外部に設けられ、あるいは撮像面に埋め込まれたAFセンサからの出力にもとづいて、位置指令値PREFが生成されてもよい(位相差AF)。OISに対してはジャイロセンサ308からの出力GをアクチュエータドライバIC500に入力し、位置指令値PREFを生成する。
アクチュエータ402は、たとえばボイスコイルモータであり、レンズ304はホルダー310に搭載され、Z軸方向可動に支持されている。ホルダー310にはAFコイル312が巻回されており、AFコイル312に対向してAF永久磁石314が配置されている。図示はしないが、AF永久磁石314に接してAFヨークを設けてもよい。AFコイル312に通電することにより、AF永久磁石314との磁気的相互作用によりレンズ304とホルダー310は一体的にZ軸方向に駆動される。ホルダー310には位置検出用の永久磁石316が固定されており、これに対向してAF方向には動かない固定部にホール素子318が配置され、永久磁石316とホール素子318の相対変位によりAF方向の位置検出が可能となる。
一方、AFアクチュエータ部全体が可動部となり、XY方向可動に支持されている。AF永久磁石314に対向して固定部にはOISコイル320とホール素子322が固定されている。AF永久磁石314とOISコイル320が、OISアクチュエータ部403を形成しており、それらの磁気的相互作用によりAFアクチュエータ部(OIS可動部)はXY方向に駆動される。また、AF永久磁石314とホール素子322の相対変位によりOIS方向の位置検出が可能となる。
このように、永久磁石とホール素子の組み合わせにより位置検出素子404が形成される。位置検出素子404は、レンズ304の現在の位置に応じた電気信号(以下、位置検出信号PFBという)を生成し、位置検出信号PFBは、アクチュエータドライバIC500にフィードバックされる。ホール素子318、322を利用して、温度検出を行う温度検出手段406を形成してもよい。温度検出手段406は、温度検出信号TをアクチュエータドライバICに提供する。これにより、アクチュエータ内部の温度が検出できるので、位置検出信号の温度補正などに利用できる。
アクチュエータドライバIC500は、ひとつの半導体基板に集積化された機能ICである。ここでの「集積化」とは、回路の構成要素のすべてが半導体基板上に形成される場合や、回路の主要構成要素が一体集積化される場合が含まれ、回路定数の調節用に一部の抵抗やキャパシタなどが半導体基板の外部に設けられていてもよい。回路を1つのチップ上に集積化することにより、回路面積を削減することができるとともに、回路素子の特性を均一に保つことができる。
アクチュエータドライバIC500は、フィードバックされた位置検出信号PFBが、位置指令値PREFと一致するように、OISアクチュエータ部403をフィードバック制御する。
プロセッサ306からの情報により、所定パターンの撮像画像における距離や変位量などの画素変位情報が得られる。すなわち、画素情報にもとづいて画素変位検出手段408は画素変位情報PDをアクチュエータドライバICに提供する。
次に、画素軸に対する位置検出軸の傾きの補正について、図11(a)、(b)を参照して説明する。図11(a)、(b)は、撮像装置におけるカメラモジュールの画素軸と位置検出軸のずれ角を説明する図である。ホール検出信号をフィードバックしてサーボをかけた状態で、x方向のホール信号にオフセットを与えると、x方向のホール検出軸の方向にレンズは変位する。y方向のホール信号にはオフセットを与えない。このときの画素上のパターンの動きを観察することで図11(a)の結果を得ることができる。図11(b)の結果も同様の手法で得ることができる。
これらの関係が直線的に変化しているものとして、ある位置検出値Hx0におけるx方向、y方向の像の移動量をa、aとする。このときのaとaの比が画素軸と位置検出軸の傾きを表しており、比例定数をCとして、
=C・a …(7)
と表す。
同様に、図11(b)のように、x方向のホール素子の位置検出信号がほとんど変化しない方向に駆動した場合、ある位置検出値Hy0におけるx方向、y方向の像の移動量をb、bとする。このときのbとbの比が画素軸と位置検出軸の傾きを表しており、比例定数をCとして、
=C・b …(8)
と表す。なお、C、Cが符号を含めた傾きを表している。
また、x方向、y方向それぞれのホール素子の位置検出感度をS、Sとし、それぞれの比をα、βとして下記のように表す。
α=S/S …(9)
β=S/S …(10)
以上より、位置検出軸上の変位X、Yに対して検出される位置検出信号をH、Hとし、補正後のホール素子の位置検出信号をそれぞれH'、H'とすると、
'=H−S・C・Y=H−β・C・H …(11)
'=H−S・C・X=H−α・C・H …(12)
となる。比例定数C,Cを実測し、各軸のホール素子の位置検出感度の比α、βを計算しておくことで、補正後の位置検出信号H'、H'が得られる。
なお、ホール素子の位置検出感度S、Sを求める際に、実際の変位情報が必要となるが、これには画素変位検出手段408からの情報を利用するとよい。画素変位検出手段408からの情報は、レンズの変位情報そのものではないが、上記のようにSとSの比を計算に用いるので、画素変位検出手段408からの情報をレンズの変位情報としてもかまわない。
続いてレンズ制御装置400の具体的な構成例について、図12を参照して説明する。図12は、実施の形態に係るアクチュエータドライバICの構成を示す図である。図12には、X軸用およびY軸用の回路ブロックが示され、オートフォーカス用については省略される。X軸、Y軸については同様に構成されるため、特に必要のない限り、それらを区別せずに共通に説明する。
位置検出素子404はホール素子322X,322Yであり、アクチュエータ402の可動部の変位に応じたホール電圧V,Vを発生し、アクチュエータドライバIC500のホール検出ピン(HP,HN)に供給する。
位置検出部510は、ホール電圧V,Vに基づいて、アクチュエータ402の可動部の位置(変位)を示すデジタルの位置検出値PFBを生成する。位置検出部510は、ホール電圧を増幅するホールアンプ512と、ホールアンプ512の出力をデジタル値の位置検出値PFBに変換するA/Dコンバータ514を含む。
温度検出部520は、温度を示す温度検出値Tを生成する。位置検出素子404であるホール素子322X,322Y(以下、322と総称する)を、温度検出素子406としても利用する。これは、ホール素子322の内部抵抗rが温度依存性を有することを利用したものである。温度検出部520は、ホール素子322の内部抵抗rを測定し、温度を示す情報として利用する。
温度検出部520は、定電流回路522とA/Dコンバータ524を含む。定電流回路522は、ホール素子322に所定のバイアス電流IBIASを供給する。このバイアス電流IBIASは、ホール素子322を動作させるために必要な電源信号でもあり、したがって定電流回路522は、ホールバイアス回路として把握することができる。
ホール素子322の両端間には、電圧降下IBIAS×rが発生する。この電圧降下は、ホールバイアスピン(HB)に入力される。A/Dコンバータ524は、HBピンの電圧VHB(=IBIAS×r)をデジタル値Tに変換する。バイアス電流IBIASは既知で一定であるから、デジタル値Tは内部抵抗rに比例する信号であり、したがって、ホール素子32の温度の情報を含んでいる。内部抵抗rと温度の関係は事前に測定し、関数化し、またはテーブル化されており、後段の補正部530において、デジタル値Tが温度情報に変換される。
インタフェース回路540は、ブレ検出素子308であるジャイロセンサからピッチ角速度ω、ヨー角速度ωを受信する。たとえばインタフェース回路540は、I2C(Inter IC)などのシリアルインタフェースであってもよい。ジャイロDSP550はインタフェース回路540が受信した角速度信号ω,ωを積分し、位置指令値PREFを生成する。ピッチ角速度ω、ヨー角速度ωは、画素軸の方向に合わせてベクトル分配されて補正された値であることが望ましい。画素軸の方向に合わせてジャイロ信号を補正する処理回路内で位置指令値PREFまで生成してもよい。
補正部530は、位置検出部510からの位置検出値PFBを補正する。具体的には、補正部530は、線形補償部532、温度補償部534、メモリ536を含む。温度補償部534は、位置検出値PFBと実際の変位との関係に対して、温度変化によって関係が変化するのを補正する。線形補償部532は、位置検出値PFBと実際の変位の関係の直線性を補正する。メモリ536には、補正に必要な各種パラメータや関数などが格納される。メモリ536は、ROMやフラッシュメモリなどの不揮発性メモリであってもよいし、回路の起動のたびに外部のROMから供給されるデータを一時的に保持する揮発性メモリであってもよい。
クロストーク補償部538は、2個の乗算器539X,539Yで表される。各アンプ539は、式(11)、(12)にしたがって、一方のホール検出信号に対して符号を含めた所定の係数を掛け、他方のホール検出信号に加え、クロストーク補償を行う。
コントローラ560は、位置指令値PREFと、クロストーク補正後の位置検出値H'、H'を受ける。コントローラ560は、位置検出値H'、H'が位置指令値PREFと一致するように、制御指令値SREFを生成する。アクチュエータ402がボイスコイルモータである場合、制御指令値SREFはボイスコイルモータに供給すべき駆動電流の指令値である。コントローラ560は、たとえば誤差検出器562とPID制御器564を含む。誤差検出器562は、位置検出値H'、H'と位置指令値PREFの差分(誤差)ΔPを生成する。PID制御器564は、PID(比例・積分・微分)演算によって、制御指令値SREFを生成する。PID制御器564に換えて、PI制御器を用いてもよいし、非線形制御を採用してもよい。PID制御器564の後段には、所定の係数を乗算するゲイン回路566が設けられてもよい。ドライバ部570は、制御指令値SREFに応じた駆動電流をアクチュエータ402に供給する。
<ゲインキャリブレーション>
以上では、座標軸の方向のずれを補正するキャリブレーションについて説明した。すなわち、重力方向を媒介として、ブレ検出素子の座標軸とカメラモジュールにおける画素軸とのずれ角を補正するキャリブレーション方法について説明し、さらには画素軸とアクチュエータの位置検出軸とのずれ角を補正するキャリブレーション方法についても説明した。これにより、異なる検出手段を用いた場合の座標軸の方向のずれが補正される(クロストーク補正)が、さらには異なる検出手段の検出信号の大きさに関するキャリブレーション(ゲインキャリブレーション)も実施されることが望ましい。具体的には、ブレ検出素子によって検出されるブレ角を補正するために必要なレンズの変位量がどれくらいで、その時の位置検出信号の変化がいくらになるかの係数を求めるキャリブレーションである。当然ながら、これも加振レスで行うことが望ましい。
加振レスで行うブレ角とレンズ変位とのゲインキャリブレーションについて、図13および図14を用いて説明する。図13は、ゲインキャリブレーションに用いられるチャートのパターンの一例を示す図である。図14は、ゲインキャリブレーションに用いられる画素上の変位とホール信号出力の関係を示す図である。
手振れ補正では、ブレ角に応じてレンズをシフトさせる。ブレ角に対する最適なレンズ変位量には個体ばらつきがあり、この関係を個体ごとに調整するゲインキャリブレーションが必要となる。レンズの変位量は位置検出信号で管理するので、ここでのキャリブレーションでは、角度変化に対する位置検出信号の変化の割合を示す係数を求めることになる。
まず、図13に示すような4点のドットパターンを有するチャート630を準備する。前述のような十字パターンでもよいが、ドットパターンの方が2点間の距離が算出しやすい。チャート630上での、たとえば上下の2点間の距離Yは、あらかじめ実測しておく。さらに、カメラモジュールからチャートまでの焦点距離Lを測定すると、カメラモジュールから見た上記2点の視野角θが、
θ=tan−1(Y/L) …(13)
により求まる。θの単位は無次元数のradである。
次に、このチャート630を撮像し、画像上の2点間の距離をピクセル数Ypixとして求める。したがって、チャート630上の2点を基準として、画像上のピクセル数Ypixと視野角θの比aが計算できる。すなわち、
a=Ypix/θ …(14)
次に、アクチュエータによりレンズを変位させ、そのときのドットパターンの画素上の変位(ピクセル数)と位置検出信号変化との関係を求める。図14がその結果であり、各測定点を直線近似することでその傾きb[V/ピクセル]を求める。
以上の関係を用いて、任意のブレ角x[rad]に対する最適な位置検出信号の変化y[V]は、
y=a・b・x …(15)
によって求めることができる。これがブレ角とレンズの変位(位置検出信号)との関係である。
上記の関係を求める際に加振は行っていない。つまり、加振レスでゲインキャリブレーションが実行できるので、製造工程内で加振する手間が必要なくなり、かつジャイロセンサがカメラモジュール内に含まれないような構成の場合でも、カメラモジュール単体でゲインキャリブレーションが可能となる。なお、ジャイロ検出信号とブレ角の関係については、ジャイロセンサの個体ばらつきを含むことになるが、これは加振しない限り正確な値を求めることはできないため、加振レスの条件のもとでは標準的な実力値を用いるとよい。通常、ジャイロセンサの感度のばらつきは、仕様値に比べて実力は十分に小さい。以上がゲインキャリブレーションの一例となる。
以上のような撮像装置は、スマートフォンなどの電子機器などに用いられる。特に、本発明の撮像装置の好適な応用のひとつは、光学手ぶれ補正(OIS)機能を備えた撮像装置であり、特にカメラモジュール内にジャイロセンサが配置されない構成において有効となる。本発明を利用することで、加振レスでブレ検出信号のキャリブレーションが可能であるとともに、カメラモジュールとブレ検出素子で共通の基準を設けて個別にキャリブレーションを行うことで、一体化されていない状態でもキャリブレーションを可能とし、高精度な手振れ補正が可能な撮像装置を実現できる。
100…撮像装置、150…電子機器、200…重力・ブレ検出素子、202…加速度検出部、204…角速度検出部、300…カメラモジュール、302…撮像素子、304…レンズ、306…プロセッサ、308…ジャイロセンサ、400…レンズ制御装置、402…アクチュエータ、404…位置検出素子、406…温度検出手段、408…画素変位検出手段、500…アクチュエータドライバIC、510…位置検出部、520…温度検出部、530…補正部、540…インタフェース回路、550…ジャイロDSP、560…コントローラ、570…ドライバ部、600,630…チャート。

Claims (11)

  1. 撮像装置のキャリブレーション方法であって、
    前記撮像装置は、
    撮像素子および前記撮像素子への入射光路上に設けられたレンズを含むカメラモジュールと、
    前記撮像装置に作用するブレ量を検出するブレ検出素子と、
    前記撮像装置に作用する重力の方向を判定する重力検出素子と、
    を備え、
    前記キャリブレーション方法は、
    前記重力の方向に対する前記ブレ検出素子の座標軸の方向のずれに対応する第1角度を検出するステップと、
    前記重力の方向に対する前記カメラモジュールの方向のずれに対応する第2角度を検出するステップと、
    前記第1角度および前記第2角度にもとづいて、前記ブレ検出素子の検出信号を補正するためのパラメータを取得するステップと、
    を備えることを特徴とするキャリブレーション方法。
  2. 前記第2角度を検出するステップは、
    所定パターンを有するチャートを前記撮像素子で撮像するステップと、
    撮像画像における前記所定パターンの方向と画素軸の方向とのずれにもとづいて、前記第2角度を取得するステップと、
    を含むことを特徴とする請求項1に記載のキャリブレーション方法。
  3. 前記第2角度を検出するステップは、前記チャートの前記所定パターンの方向を、前記重力の方向に合わせてあらかじめ調整するステップをさらに含むことを特徴とする請求項2に記載のキャリブレーション方法。
  4. 前記第2角度を検出するステップは、
    前記チャートの前記所定パターンの方向と重力方向とのずれに対応する第3角度をあらかじめ検出するステップをさらに含み、
    前記第3角度を、前記第2角度の検出に利用することを特徴とする請求項2に記載のキャリブレーション方法。
  5. 前記第1角度を検出するステップは、前記重力検出素子の座標軸の方向と重力方向とのずれに対応する第4角度を検出するステップを含み、
    前記ブレ検出素子の座標軸の方向と、前記重力検出素子の座標軸の方向とが実質的に平行であるものとして、前記第4角度を、前記第1角度とすることを特徴とする請求項1から4のいずれかに記載のキャリブレーション方法。
  6. ゲインキャリブレーションを実施するステップをさらに備え、
    前記ゲインキャリブレーションは、
    長さまたは距離が既知である2点を含む所定パターンを有するチャートを撮像するステップと、
    前記カメラモジュールから前記2点を望む視野角を取得するステップと、
    撮影画像上の前記2点の間の距離を、ピクセル数として取得するステップと、
    前記レンズを変位させ、位置検出信号の変化と、パターンの画素上の変位をピクセル数を単位として取得するステップと、
    を含むことを特徴とする請求項1から5のいずれかに記載のキャリブレーション方法。
  7. 撮像装置であって、
    撮像素子および前記撮像素子への入射光路上に設けられたレンズを含むカメラモジュールと、
    前記撮像装置に作用するブレ量を検出するブレ検出素子と、
    前記撮像装置に作用する重力の方向を判定する重力検出素子と、
    を備え、
    請求項1から5のいずれかのキャリブレーション方法によりキャリブレーションがなされることを特徴とする撮像装置。
  8. 前記ブレ検出素子と前記重力検出素子は一体的にパッケージングされていることを特徴とする請求項7に記載の撮像装置。
  9. 前記ブレ検出素子のブレ検出部と、前記重力検出素子の重力方向検出部とが、同一のプロセスで作製されていることを特徴とする請求項8に記載の撮像装置。
  10. 前記重力検出素子は、少なくとも2軸方向の加速度が検出できる加速度センサであることを特徴とする請求項7から9のいずれかに記載の撮像装置。
  11. 前記カメラモジュールは、
    前記レンズを光軸に垂直な方向に変位させるアクチュエータと、
    前記光軸に垂直な方向の前記レンズの変位を検出する位置検出素子と、
    をさらに含み、
    前記撮像素子の画素軸の方向に対する前記位置検出素子の検出方向のずれの影響をなくすように、前記位置検出素子の位置検出信号が補正されることを特徴とする請求項7に記載の撮像装置。
JP2017125260A 2017-06-27 2017-06-27 撮像装置のキャリブレーション方法 Active JP6910219B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017125260A JP6910219B2 (ja) 2017-06-27 2017-06-27 撮像装置のキャリブレーション方法
KR1020180071925A KR102129169B1 (ko) 2017-06-27 2018-06-22 촬상 장치 및 그 캘리브레이션 방법
US16/016,961 US10567628B2 (en) 2017-06-27 2018-06-25 Imaging device and calibration method thereof
JP2021112090A JP7192053B2 (ja) 2017-06-27 2021-07-06 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017125260A JP6910219B2 (ja) 2017-06-27 2017-06-27 撮像装置のキャリブレーション方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021112090A Division JP7192053B2 (ja) 2017-06-27 2021-07-06 撮像装置

Publications (2)

Publication Number Publication Date
JP2019008214A true JP2019008214A (ja) 2019-01-17
JP6910219B2 JP6910219B2 (ja) 2021-07-28

Family

ID=64692867

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017125260A Active JP6910219B2 (ja) 2017-06-27 2017-06-27 撮像装置のキャリブレーション方法
JP2021112090A Active JP7192053B2 (ja) 2017-06-27 2021-07-06 撮像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021112090A Active JP7192053B2 (ja) 2017-06-27 2021-07-06 撮像装置

Country Status (3)

Country Link
US (1) US10567628B2 (ja)
JP (2) JP6910219B2 (ja)
KR (1) KR102129169B1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6869049B2 (ja) * 2017-02-24 2021-05-12 ローム株式会社 アクチュエータドライバ、撮像装置、キャリブレーション方法
US11218626B2 (en) * 2017-07-28 2022-01-04 Black Sesame International Holding Limited Fast focus using dual cameras
CN108876739B (zh) * 2018-06-15 2020-11-24 Oppo广东移动通信有限公司 一种图像补偿方法、电子设备及计算机可读存储介质
EP3690508A1 (en) 2019-02-01 2020-08-05 Tdk Taiwan Corp. Control method of driving mechanism
US11223767B1 (en) * 2020-12-16 2022-01-11 Semiconductor Components Industries, Llc Methods and apparatus for optical image stabilization
US11494881B2 (en) * 2020-12-29 2022-11-08 Hb Innovations, Inc. Global movement image stabilization systems and methods
US11887338B2 (en) * 2022-06-16 2024-01-30 Motional Ad Llc Maintaining calibration of an IBIS camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191282A (ja) * 2007-02-02 2008-08-21 Nidec Copal Corp 手ぶれ補正装置
WO2009011105A1 (ja) * 2007-07-13 2009-01-22 Panasonic Corporation 撮像装置
JP2011179821A (ja) * 2010-02-26 2011-09-15 Hitachi Automotive Systems Ltd 複合センサの製造方法
JP2015219468A (ja) * 2014-05-20 2015-12-07 リコーイメージング株式会社 撮像装置及び制御方法
JP2016130643A (ja) * 2015-01-13 2016-07-21 セイコーエプソン株式会社 物理量センサー、物理量センサーの製造方法、電子機器および移動体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4428734B2 (ja) * 1998-02-24 2010-03-10 キヤノン株式会社 撮像装置
JP4307056B2 (ja) 2002-12-13 2009-08-05 キヤノン株式会社 撮像装置、揺れ補正方法、及びプログラム
SE529510C2 (sv) * 2006-03-16 2007-09-04 Flir Systems Ab Metod för korrektion av olikheter hos detektorelement ingående i en IR-detektor
JP5106015B2 (ja) 2006-10-10 2012-12-26 ペンタックスリコーイメージング株式会社 角速度検出装置
JP2008129088A (ja) 2006-11-16 2008-06-05 Eastman Kodak Co 角速度検出システムを備えるカメラの誤差除去方法
JP2008288869A (ja) * 2007-05-17 2008-11-27 Konica Minolta Holdings Inc キャリブレーション装置、キャリブレーション方法及びプログラム
JP5574157B2 (ja) 2010-03-16 2014-08-20 株式会社リコー 撮像装置の組み立て方法および撮像装置
JP5558956B2 (ja) 2010-07-29 2014-07-23 キヤノン株式会社 撮像装置およびその制御方法
JP2012237884A (ja) 2011-05-12 2012-12-06 Nikon Corp ブレ補正装置及び光学機器
JP2012247544A (ja) * 2011-05-26 2012-12-13 Fujifilm Corp 撮像装置、プログラム及び撮像装置のブレ補正方法
JP2013015571A (ja) * 2011-06-30 2013-01-24 Fujifilm Corp 撮像装置、プログラム及び手振れ補正方法
JP2013054193A (ja) 2011-09-02 2013-03-21 Nikon Corp ブレ補正装置及び光学機器
JP5572247B2 (ja) 2013-06-27 2014-08-13 株式会社日立ハイテクインスツルメンツ 画像歪補正方法
US8860818B1 (en) * 2013-07-31 2014-10-14 Apple Inc. Method for dynamically calibrating rotation offset in a camera system
CN104954631B (zh) * 2014-03-25 2018-02-27 腾讯科技(深圳)有限公司 一种视频处理方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191282A (ja) * 2007-02-02 2008-08-21 Nidec Copal Corp 手ぶれ補正装置
WO2009011105A1 (ja) * 2007-07-13 2009-01-22 Panasonic Corporation 撮像装置
JP2011179821A (ja) * 2010-02-26 2011-09-15 Hitachi Automotive Systems Ltd 複合センサの製造方法
JP2015219468A (ja) * 2014-05-20 2015-12-07 リコーイメージング株式会社 撮像装置及び制御方法
JP2016130643A (ja) * 2015-01-13 2016-07-21 セイコーエプソン株式会社 物理量センサー、物理量センサーの製造方法、電子機器および移動体

Also Published As

Publication number Publication date
US10567628B2 (en) 2020-02-18
US20180376068A1 (en) 2018-12-27
JP6910219B2 (ja) 2021-07-28
JP2021179617A (ja) 2021-11-18
KR20190001545A (ko) 2019-01-04
JP7192053B2 (ja) 2022-12-19
KR102129169B1 (ko) 2020-07-01

Similar Documents

Publication Publication Date Title
JP7192053B2 (ja) 撮像装置
US10469752B2 (en) Imaging device that adjusts lens positioning based on a ratio in order to address crosstalk
JP6869049B2 (ja) アクチュエータドライバ、撮像装置、キャリブレーション方法
KR20180113168A (ko) 액추에이터 드라이버 및 이것을 사용한 촬상 장치, 및 촬상 방법
US8482621B2 (en) Image stabilization control circuit for imaging apparatus
JP2008151822A (ja) 像ブレ補正装置
EP3605219B1 (en) Imaging element driving device, and imaging device
JP2008020716A (ja) 像ぶれ補正装置
KR20180076307A (ko) 카메라의 상 흔들림을 보정하도록 구성된 액츄에이터의 구동량을 교정하기 위한 방법
US20220224839A1 (en) Crosstalk correction method and actuator driver
JP7192052B2 (ja) 撮像装置およびアクチュエータドライバ
US11683588B2 (en) Methods and apparatus for optical image stabilization
JP6899729B2 (ja) アクチュエータドライバ及びこれを用いた撮像装置
JP5521624B2 (ja) ブレ補正機能付き撮像装置
JP2010072563A (ja) 振れ補正装置および撮像装置
JP6917799B2 (ja) 撮像装置
US20190234738A1 (en) Chip module, signal processing method, and electronic equipment
JP6458374B2 (ja) 撮影装置及び撮影方法並びに駆動制御装置及び駆動制御方法
TWI569081B (zh) 影像擷取系統
JP7299385B2 (ja) アクチュエータドライバ、およびこれを用いた撮像装置、ならびに撮像方法
US11635632B2 (en) Mirror-based microelectromechanical system for optical image stabilization
JP2019114920A (ja) アクチュエータドライバ、及びこれを用いた撮像装置、及びキャリブレーション方法
JP2010230916A (ja) ブレ補正装置および光学機器
US20220294988A1 (en) Methods and apparatus for optical image stabilization
JPH0980537A (ja) ブレ補正装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210706

R150 Certificate of patent or registration of utility model

Ref document number: 6910219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150