JP2012503368A - 光学アセンブリと画像センサを整列させるための方法及び装置 - Google Patents
光学アセンブリと画像センサを整列させるための方法及び装置 Download PDFInfo
- Publication number
- JP2012503368A JP2012503368A JP2011527159A JP2011527159A JP2012503368A JP 2012503368 A JP2012503368 A JP 2012503368A JP 2011527159 A JP2011527159 A JP 2011527159A JP 2011527159 A JP2011527159 A JP 2011527159A JP 2012503368 A JP2012503368 A JP 2012503368A
- Authority
- JP
- Japan
- Prior art keywords
- image sensor
- image
- pen
- optical
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/023—Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Lens Barrels (AREA)
Abstract
【解決手段】レンズに対する最良焦点ポイントに画像センサを位置決めするための方法が記述されている。レンズは光軸を有しており、また、画像センサは、その光軸に沿って複数の位置へ移動する。画像センサは、複数の位置の各々でレンズを通してターゲット画像の画像を取り込む。複数の位置の各々で画像センサから出力されるピクセルデータから、取り込まれた画像中のぼやけの度合いが導き出される。ぼやけと光軸に沿った画像センサの位置の間の相互関係が導き出される。次に、その相互関係によって最良焦点ポイントとして示される光軸上の位置へ画像センサが移動され、そこで画像センサがレンズに対してしっかりと固定される。
【選択図】図18
Description
光軸に沿った複数の位置へ画像センサを移動させるステップと、
画像センサを使用して、複数の位置の各々でレンズを通してターゲット画像の画像を取り込むステップと、
画像センサから出力されるピクセルデータから、複数の位置の各々で取り込まれた画像中のぼやけの度合いを導き出すステップと、
ぼやけと光軸に沿った画像センサの位置の間の相互関係を導き出すステップと、
最良焦点ポイントとして相互関係によって示される光軸上の位置へ画像センサを移動させるステップと、
画像センサをレンズに対してしっかりと固定するステップと
が含まれている。
一様な雑音の画像を描写しているターゲットを用意するステップと、
画像センサ及びターゲットが光軸上に存在するように光学コンポーネントを画像センサに対して位置決めするステップと、
光軸に沿った複数の位置でターゲットの一組の画像を取り込むステップであって、複数の位置が光学コンポーネント焦点面の一方の側から光学コンポーネント焦点面のもう一方の側まで及ぶステップと、
取り込まれた画像の各々の広帯域周波数成分の解析から、上記一組の画像の個々の画像中のぼやけレベルの度合いを決定するステップと、
ぼやけのレベルと光軸に沿った位置の間の相互関係を導き出すステップと、
取り込まれた画像の広帯域周波数成分が高周波成分の最も高い比率を有していることを相互関係が示している光軸上の一点に対する最良焦点の位置を決定するステップと
が含まれている。
画像センサを取り付けるためのセンサステージと、
レンズを取り付けるための光学ステージと、
ターゲット画像のためのターゲットマウントと、
レンズ及び画像センサを最良焦点の位置でしっかりと固定するための固定デバイスと、
画像センサによって取り込まれた画像を受け取るためのプロセッサと
を備えており、
センサステージ及び光学ステージは、画像センサが光軸に沿って複数の位置へ移動し、画像センサが複数の位置の各々でレンズを通してターゲットの画像を取り込むよう、互いに対して変位するように構成されており、また、プロセッサは、取り込まれた画像中の高周波成分の比率の測度を提供して、測度が最大になる最良焦点の位置を見出すように構成されている。
1.1 緒言及び機能概説
図1及び図2に示されているネットページペン400は、タグが振られたネットページ表面と共に動作する運動知覚書込み器具である(上で相互参照した米国特許出願第12/477877号を参照されたい)。ネットページペン400には、通常、表面をマーキングするための従来のボールポイントペンカートリッジ及びニブ406、表面上のペンの絶対経路を取り込み、且つ、表面を識別するための画像センサ412及びプロセッサ、ニブに加えられる力を同時に測定するための力センサ、ジェスチャーが取り込まれたことを示すための光学ジェスチャーボタン、及び経過時間を同時に測定するための実時間クロックが含まれている。
ネットページペン400の総重量(40g)、サイズ及び形状(155mm×19.8mm×18mm)は、従来のハンドヘルド書込み器具の拘束の範囲内である。
ネットページペン400は、電池状態、オンライン状態及び/又は取り込み阻止状態などのペンの状態を使用者に伝えるために使用される1つ又は複数の視覚ユーザインジケータ420を組み込むことができる。個々のインジケータ420は、ネットページペンのハウジング404内の整形された開口又はディフューザを照明している(開口又はディフューザの形は、通常、表示の性質に対応するアイコンである)。また、充電状態を表示するために使用される追加電池状態インジケータも、ペンがネットページペン受け台に挿入されている間、ネットページペンの頂部の後方から目視することができる。
取り込み阻止インジケータは、赤のLEDを備えており、ディジタルインキの取り込みが阻止されると、エラーフィードバックを提供している。場合によっては、ネットページペン400がディジタルインキを取り込むことができない多くの状態、或いはネットページペン400が適切な品質のディジタルインキを取り込むことができない多くの条件が存在している。
・表面にタグが振られていない場合
・ペンの視野が、タグが振られた表面の縁からわずかに、或いは完全に外れている場合
・タグパターンの印刷が貧弱である場合(例えば印刷エラーのため、或いは使用されている印刷媒体の品質が貧弱であるため)
・タグパターンが損傷している場合(例えばタグパターンが色あせているか、或いは何かが塗り付けられている場合、又は表面に引っ掻き傷があるか、或いは表面が汚れている場合)
・タグパターンが偽造されている場合(つまりタグパターンに無効ディジタル署名が含まれている場合)
・ペンが過度に傾斜している場合(つまり過度の幾何学的ひずみ、焦点外れぼやけ及び/又は貧弱な照明の原因になる)
・ペンの速度が速すぎる場合(つまり過度の運動ぼやけの原因になる)
・タグパターンが鏡面反射(つまり表面自体からの反射又は印刷されたタグパターン或いは図形からの反射)によって不鮮明になっている場合
などの多くの条件の下で生じる。
・ペンが登録されていない場合(ペンの独自の内部記録によって、或いはサーバによって指示された場合に)
・ペンが接続されていない場合(つまりサーバに)
・ペンが取り込みを阻止されている場合(例えばサーバからのコマンドによって)
・ペンの使用者が認証されていない場合(例えば指紋などの生物測定又は手書き署名或いはパスワードなどによって)
・ペンが盗まれた場合(つまりサーバによって報告される)
・ペンのインキカートリッジが空の場合(例えばペンは、参照によりその内容が本明細書に組み込まれている米国特許第6808330号に記載されているユニバーサルペンであり、したがってそのインキ消費が容易にモニタされる)
などの多くの状況の下ではディジタルインキを取り込まないように選択することも可能である。
図6に示されているように、ネットページペンの受け台コンタクト424は、ノーズコーン409の下方に位置している。これらのコンタクト424は、ネットページペンが挿入されると、ネットページペン受け台426の一組の対応するコンタクトと接触し、ネットページペン400を充電するために使用される。
・ネットページペン400がその内部電池410を充電することができるよう、充電電流源を提供すること、及び
・最終的にはネットページサーバ10と通信するためにネットページペン400を接続するためのホスト通信ブルートゥース(登録商標)無線エンドポイントを提供すること
が存在している。
1.5.1 部品及びアセンブリ
図8及び図9を参照すると、ペン400は、高体積製品として設計されており、
光学アセンブリ430と、
力センサ442を含んだ力知覚アセンブリ440と、
力知覚アセンブリの部品を含んだニブ後退アセンブリ460と、
主PCB408及び電池410を含んだ主アセンブリ480、
の4つの主要サブアセンブリを有している。
図10及び図11は、光学アセンブリ430の主要コンポーネントを示したものである。光学PCB431は、剛直部分434及び可撓部分435を有している。「ヒマリア」画像センサ432は、光学バレル成形物438と共に光学PCB431の剛直部分434の上に取り付けられている。
ペンには固定焦点狭帯域赤外線画像化システムが組み込まれている。この固定焦点狭帯域赤外線画像化システムには、焦点外れぼやけ又は運動ぼやけによって影響されない鮮鋭な画像を取り込むために、露光時間が短く、開口が小さく、且つ、光輝同期照明を使用したカメラが利用されている。
図13A及び図13Bは、ペン光学系の断面図を示したものである。ニブ406に隣接する表面1に印刷されたネットページタグの画像(図3参照)は、レンズ436によって画像センサ432の能動領域の上に集束する。微小開口439は、被写界深度がペンの必要なピッチ範囲及びロール範囲に適応するように寸法化されている。
図14は、ネットページペンの光路の光線軌跡を示したものである。画像センサ432は、能動領域が256ピクセル平方のCMOS画像センサである。個々のピクセルは8ミクロン平方であり、フィルファクタは50%である。
ペンの規定傾斜範囲は、−22.5°〜+45.0°ピッチであり、ロール範囲は、−45.0°〜+45.0°である。ペンをその規定範囲内で傾斜させることにより、傾斜した物体平面が焦点面から離れて最大5.0mm移動する。したがって規定開口は、15.7ミクロンの画像センサ部分における許容可能なぼやけ半径で、±5.0mmの対応する被写界深度を提供している。非対称ピッチ範囲に適応するために、光学系の焦点面は、用紙よりもペンの方に1.8mmだけ近くに置かれている。そうすることにより、必要な被写界深度内に最適焦点がより一層集中する。
光学バレル及び画像センサは、ネットページペンの中に取り付けるためにはそれらを組み合わせて単一の光学アセンブリにしなければならない。この節では、レンズに対する最良焦点位置に画像センサを配置するために使用される技法及び装置について説明する。発明の背景の節で説明したように、光学アセンブリは、異なるペングリップのポーズ範囲のため、大きい被写界深度(約5mm)を有していなければならない。画像プロセッサは、最大、特定の閾値まで画像ぼやけを処理することができる。この点に鑑みて、画像センサは、ペンの規定ポーズ範囲内で取り込まれる画像中のぼやけのレベルが閾値未満を維持するようにレンズに対して配置しなければならない。このタイプの既存の光学アセンブリ(Anoto社のライセンスの下で製造されている符号化センシングペンなど)の場合、画像センサ及びレンズの正確な位置決めは、精密な製造公差に頼ることによって達成されている。精度の高いコンポーネント及びアセンブリは、製造コストを釣り上げる。
この節には、焦点測定方法の概説が示されている。焦点は、タグ復号化のために使用される画像の品質に対する大きな影響を有しており、したがってタグ複合化性能と直接的な相互関係を有している。特に、ネットページペン内の光学系は、タグが振られた表面を広範囲のペンポーズにわたって復号することができるよう、大きい被写界深度を提供しなければならない。
1.光軸に沿った公称焦点位置から一定の範囲にわたってオフセットした位置に配置された光学系を使用して一組の画像が取り込まれる。
2.焦点の品質、即ち逆焦点外れつまりぼやけが画像毎に導き出される。
3.画像全体にわたる焦点の品質を表す曲線が焦点予測から構築される。
4.最良焦点の位置に対応する焦点曲線上の最大値の位置が見出される。
従来、光学アライメントに使用される座標系のZ軸は、レンズの光軸に沿って配置されている。焦点面は、X−Y平面に対して平行である。最初のステップとして、画像センサ432(図10参照)の中心がZ軸に整列される。画像センサPCB431(図10)に既に接着されている画像センサは、画像センサPCBホルダ108の中に配置されている。光学バレル438は、光学バレルホルダ110の中に固定されている。
焦点外れは、最良焦点ポイントから外れた光軸上のオフセットによって生じる光学収差である。通常、焦点外れは、いわゆる「低域通過」フィルタリング効果(即ちぼやけ)を有しており、画像の鮮鋭度及びコントラストを小さくしている。大きい形状又は広い面積などの空間周波数が低い画像の成分は、「フィルタ」を通過して認識可能な状態を維持し、一方、鮮鋭な縁及び微小パターンなどの空間周波数が高い成分は失われ、ぼやけによって本質的に「フィルタ除去」される。
図16は、ランダム雑音ターゲット画像236を示したものである。ランダムパターンは、2値白色雑音画像から生成された。ターゲット中の任意の窓を画像化することにより、広帯域周波数成分が実質的に一定のパターンが得られる。
図17は、星形パターンターゲット238を示したものである。星形パターンは、中心点から放射状に展開している一組の黒(240)セグメント及び白(242)セグメントからなっており、個々のセグメントは、10°の角度で対している。星形パターンは、中心点の周りのスケールが不変であり、したがって光軸に沿った異なるオフセットで周波数成分が一定の画像が生成される。
ネットページペンの全ポーズ範囲にわたって許容可能な性能を提供するためには、画像センサを光学バレルに対してZ軸に沿って適切に整列させなければならない。整列が不適切であると、焦点外れによって光学アセンブリの性能が損なわれ、そのためにネットページペンの総合的な性能に直接影響することになる。
1.画像の離散フーリエ変換を実施し、
2.フーリエ変換から画像の大きさスペクトルを計算し、
3.スペクトルを正規化して照明による変化を最小化し、
4.より高い周波数ビンに存在しているエネルギーの量を計算する
ことである。
図19は、アライメントマシン100及びその主要コンポーネントの斜視図を示したものである。図20は正面図を示したものであり、また、図21は側面図を示したものである。
垂直サポート122は、剛直ベース及び補強された垂直アームを提供しており、補強された垂直アームの上には他のコンポーネントの残りの部分が取り付けられている。垂直サポート122は、機械操作に先立って、光学ベンチなどの機械的な制動表面に堅固にボルト締めされる。
1.画像センサのリセット制御
2.画像センサ取り込みパラメータのプログラミング(露光時間、オフセット及び利得)
3.画像センサデータの取り込み及びPCへの取り込まれた画像センサデータの中継
4.画像取り込みのPC制御トリガリング及び対応するターゲット照明源の制御
画像取り込みPCBは、画像センサからの画像を取り込み、これらの画像を60fps以上でPCに転送している。
マシンリセット
マシン初期化
マシン構成
取り込まれた画像の表示
オペレーションシーケンスのアセンブリ制御
を提供している。
光学アセンブリのアライメント及びアセンブリは、多数のステージで実施される。これらのステージの各々は、実施される操作毎の予測経過時間と共に、以下の節の中で要約されている。熟練した一人のオペレータがマシンを使用して完全なアセンブリプロセスを実施する場合の部品毎の総アセンブリ時間は、合計で2分未満であり、実際の予測値は約71秒である。
1.オペレータが光学バレルを光学バレルホルダの中に置く。(2秒)
2.オペレータが画像センサ撓みPCBを画像センサPCBホルダアセンブリに取り付ける。(3秒)
3.オペレータが画像センサ撓みPCBを画像取り込みPCBに接続する。(5秒)
4.オペレータが積み重ねられたZ画像センサアライメントステージを粗マイクロメートル調整を使用して公称位置へ調整し、且つ、微マイクロメートル調整をリセットする。(4秒)
5.オペレータが画像センサアライメントステージを下に向かって所定の位置へ移動させ、且つ、ステージを所定の位置で固定する。(2秒)
6.オペレータが画像センサ撓みコネクタ及び画像取り込みPCBの電力をオンする。(2秒)
合計18秒である。
1.表示された画像が適切に整列するまで、オペレータが積み重ねられたX及びY画像センサアライメントステージを調整する(7秒)。
合計7秒である。
1.焦点調整画像取り込み及び画像処理を開始するために、PCによって提供されたオペレータGUIをオペレータが使用する。(2秒)
2.PCがターゲット並進ステージを必要な範囲全体にわたって移動させ、0.1mm移動する毎に画像を取り込む。(6秒)
3.PCが最良焦点ポイントを計算する。(1秒)
4.PCが画像センサPCBの現在位置からの必要な変位を表示する。
5.必要な変位を達成するために、オペレータが積み重ねられたZ画像センサアライメントステージをマイクロメートル調整を使用して調整する。(3秒)
合計12秒である。
1.オペレータがにかわディスペンサを使用して、にかわのビーズが画像センサPCB及び光学バレルの両方と接触するよう、画像センサPCBの3つのアクセス可能面に沿ってにかわのビーズを配置する(フレックスが出現するPCBの面がアセンブリ パートIIでにかわ付けされる。以下参照)。(2秒×3面=6秒)
2.硬化インターバルの間、オペレータがUV硬化スポットランプを点灯する。(5秒)
合計11秒である。
1.オペレータが画像センサ撓みコネクタ及び画像取り込みPCBの電力をオフする。(2秒)
2.オペレータが画像センサフレックスを画像センサ撓みコネクタ及び取り込みPCBから開放する。(5秒)
3.オペレータが画像センサアライメントステージの固定を解除し、静止位置への上に向かうその移動を許容する。(2秒)
4.オペレータが完成した光学アセンブリを光学バレルホルダから再度移動させ、それを一時保持トレー(図示せず)の中に置く。(2秒)
合計11秒である。
1.オペレータが整列した光学アセンブリを一時保持トレーから再度移動させ、光学アセンブリをクランプの中に置く。(2秒)
2.オペレータがにかわディスペンサを使用して、にかわのビーズが画像センサPCB及び光学バレルの両方と接触するよう、画像センサPCBの残りの面(フレックスが出現する面)に沿ってにかわのビーズを配置する。(3秒)
3.オペレータが、硬化インターバルの間、ハンドヘルドUV硬化ランプを使用してにかわを硬化させる。(5秒)
4.オペレータが光学アセンブリをクランプから再度移動させ、それを完成部品トレーの中に置く。(2秒)
合計12秒である。
多数の異なる焦点測定方法が存在している。これらの方法によって得られる結果を比較すると、以下の計量が使用される。
焦点測定方法の最も重要な特徴は、この方法により、正しい結果が得られることである(つまり焦点曲線の最大値が最良焦点の位置に対応している)。この計量は、最良焦点の位置が未知である場合(例えばコンピュータによって模擬された画像ではなく、実画像の場合)、或いはすべての方法による結果が同じである場合は有効ではない。
鮮鋭なピークを生成している焦点曲線は、良好に焦点が合った画像と良好に焦点が合っていない画像と焦点測定が正確に差別していることを示唆している。また、この測定は、バイアス化即ちオフセット効果に対してそれほど敏感ではないようであり、ピークがより滑らか(より平ら)な曲線の場合より、より正確な最大位置の予測を間違いなく可能にしている(例えば補間を使用して)。
焦点測定は、試験される範囲全体にわたって単調でなければならず、また、連続する測定と測定の間で滑らかに変化しなければならない。そうでない場合、システムの真の焦点性能に対するあいまいさが存在することになる。
焦点測定は雑音に対して頑健でなければならず、つまり、得られる結果の精度は、画像中の雑音の量に対して敏感であってはならない。
焦点を測定する場合に生じる可能性のある多くの潜在的な問題が存在している。
ターゲットパターンは、通常、焦点を測定している間、固定位置に存在している。光学システムを光軸に沿ってオフセットさせることにより、光学系とターゲットパターンの間の距離が変化する。そのために延いてはパターンの実効解像度が変化する。画像化されるターゲットパターンの周波数成分は、すべての画像全体にわたって一定ではないため、パターンの実効解像度が変化すると焦点測定に誤差が生じることになる。
ターゲットパターンに加えて、取り込まれる画像にも付加的雑音が含まれている(例えば画像センサ雑音、表面劣化)。この雑音により、場合によっては焦点測定の精度が低下し、また、焦点曲線中の最大値の位置を移動させる可能性のあるバイアスが導入されることがある。
ターゲットパターン全体の照明は、個々の画像内で可能な限り一様でなければならない。焦点測定のために使用されるすべての画像は、同様のレベルの照明を有していなければならない。それは、多くの焦点測定技法は、照明によって変化する信号エネルギーレベルを測定していることによるものである。
焦点試験は、模擬画像及び実画像の両方に対して実施された。個々の試験セットは、取り込まれた又は模擬された画像からなっており、光学システムは、公称位置から−7mm〜7mmの範囲にわたって0.5mmの増分でオフセットされた。特に明記されていない限り、ランダムターゲットパターン(図16のターゲット236参照)が使用された。
模擬画像は、NPP6−2B光学設計を使用してZemaxソフトウェアによって生成された。米国Washington州のZemax Development Corporationは、光学システム設計のための、評判がよく、且つ、広範囲に使用されているソフトウェアを開発している。これらの画像のための真の焦点構成は既知であるため、ほとんどの焦点測定試験は、模擬画像を使用して実施された。
実画像は、NPP6−1−0251を使用して取り込まれた。機械的アセンブリの公差及び不正確性のため、このデバイス(及び他の同様のデバイス)の真の焦点を知ることはできず、したがってこのデータセットに対する焦点測定技法の精度を評価することはできない。
模擬画像と実画像の間には多くの相違がある。
模擬画像の周波数成分が焦点測定オフセットの範囲全体にわたってプロットされ、且つ、焦点測定オフセットの範囲全体にわたって実画像の周波数成分と比較された。比較の結果、模擬画像には存在しない低域通過効果が実画像には存在することが分かった。実画像は、高い周波数における周波数成分振幅の著しい減衰を示している。
多くの異なる焦点測定方法が可能である。縁効果及び視野効果を最小化するためには、すべての測定を画像センサ内のピクセルの中央窓に対して実施しなければならない。この実施形態では、画像センサからの個々の画像の中心に位置している128×128ピクセル窓がすべての測定に対して使用されている。
1.周波数に基づく方法
2.勾配に基づく方法
3.統計的方法
の3つである。
周波数に基づく焦点測定方法には、画像中の周波数成分を抽出するための変換が使用されている。焦点外れは低域通過フィルタリング効果を有しているため(上で説明済み)、画像中の高周波成分の量を焦点の品質の予測値として使用することができる。
(1) 合計 高周波成分中のエネルギーは、特定の閾値より高い周波数に対するエネルギーを合計することによって予測される。
(2) エントロピー エントロピーを使用して分布の一様性(つまり平滑性)が測定される。良好に焦点が合った画像は、より高い周波数成分を含むことになり、スペクトルをより平らにし、したがってより高いエントロピー測値を有することになる。
高速フーリエ変換(FFT)は最も一般的な離散フーリエ変換である。測定窓の中の個々の行及び個々の列のFFTを結合することにより、画像のための一次元スペクトルが得られる。次に、周波数成分の大きさを使用して焦点が予測される。
離散余弦変換(DCT)は、エネルギー圧縮特性を提供し、また、変換に境界条件が暗に含まれている離散フーリエ変換に対する代替である(DCT変換の場合、通常、窓関数は使用されない)。この実施形態では、測定窓の中の個々の行及び個々の列のDCTを結合することによって単一の一次元パワースペクトルが生成され、次にこの一次元パワースペクトルを使用して、周波数成分測定方法を使用して焦点が予測される。
勾配に基づく技法には、画像の鮮鋭度を予測するために空間領域勾配情報が使用されている(即ち縁検出)。
ラプラシアン演算子は、画像中のピクセル値の二次導関数を計算する。これは、通常、知覚される画像中のより高い周波数成分の比率を大きくするための高域通過フィルタとして作用するラプラス核を使用して画像を合成することによって実施される。フィルタリングされた画像中のエネルギーが計算され、フィルタリングされた画像中のエネルギーが大きいほど、より良好な焦点を表している。
画像のピクセル−値ヒストグラムは、確率分散と見なすことができ、統計的測度を使用して解析することができる。
ピクセル−値分散の標準偏差を使用して画像中の焦点の品質を予測することができる。良好に焦点が合った画像にはより広い動的範囲が含まれており、したがってより高いピクセル−値標準偏差を有している。
以下は、模擬画像及び実画像に対する焦点測定の結果を要約したものである。
焦点測定技法は、すべて、最良焦点の位置を正確に識別した。つまり、生成された焦点曲線の最大は、模擬画像の場合、すべて0mmオフセットの位置に存在した(これは、模擬画像の場合、最良焦点の既知の位置である)。しかしながら、ラプラシアンは最も鮮鋭なピークを生成し、この方法は、良好に焦点が合った画像と良好に焦点が合っていない画像を最も良好に差別することができることを示した。
焦点測定方法に対する雑音の影響を試験するために、付加白色ガウス雑音が模擬画像に加えられた。この雑音は、ラプラシアン方式に対してはほとんど影響を及ぼさなかったが、FFT方式は著しくその影響を受けた。FFT曲線中のより鮮鋭なピークは、この方法が付加雑音を高周波成分として識別するのに失敗したことを示している。
ランダムパターン及び星形パターンを使用した模擬画像に対する焦点測定の結果を比較すると、星形パターン238(図17参照)は、ラプラシアン方式及びFFT方式の両方を使用して、ほんの少しだけより鮮鋭なピークを生成したことを示した。これは、かろうじてより正確に焦点を測定することができることを示している。
測定技法は、すべて、最も鮮鋭な焦点曲線を生成するラプラシアンを使用して最適焦点の位置を正確に見出した。雑音の影響を試験するために、付加白色ガウス雑音が画像に加えられ、且つ、焦点測定が繰り返された。雑音によってグラフの滑らかさが減少し、また、ラプラシアン方式及びFFT方式の両方の最適焦点の位置決めに誤差が導入される。
上で説明したように、実画像に対する真の焦点は、模擬画像の場合と同様に未知である。しかしながら、上で説明したすべての焦点測定技法(ラプラシアン、FFT−sum、FFT−entropy、DCT及び標準偏差)を使用すると、最良焦点の異なるポイントの変化は比較的小さく、個々の技法が合理的に正確であることを示している。
補間を使用して、一組のサンプルポイントによって表される曲線に対する正確な最大値を見出すことができる。そのために、補間関数がサンプルに当てはめられ、関数の最大値の位置が見出される。通常、補間関数として多項式が使用され、多項式の導関数の根を見出すことによって最大値が見出される。
模擬画像の場合、ラプラシアン方式は、他の方式より若干良好であり、雑音に対する比較的小さい感度で鮮鋭なピークを生成する。一方、焦点測定方法は、雑音に対して極めて寛容であり、雑音によって焦点位置測定の精度が低下するようである。
Claims (18)
- 光軸を備えたレンズに対する最良焦点ポイントに画像センサを位置決めする方法であって、
前記光軸に沿った複数の位置へ前記画像センサを移動させるステップと、
前記画像センサを使用して、前記複数の位置の各々で前記レンズを通してターゲット画像の画像を取り込むステップと、
前記画像センサから出力されるピクセルデータから、前記複数の位置の各々で取り込まれた前記画像中のぼやけの度合いを導き出すステップと、
ぼやけと前記光軸に沿った前記画像センサの位置との間の相互関係を導き出すステップと、
最良焦点ポイントとして前記相互関係によって示される前記光軸上の位置へ、前記画像センサを移動させるステップと、
前記画像センサを前記レンズに対し固定するステップと、
を含む方法。 - 前記画像センサによって前記複数の位置の各々で取り込まれる前記画像中のぼやけの度合いを導き出す前記ステップが、前記ターゲット画像中の高周波成分の比率をぼやけの度合いとして導き出すステップ、を含む、請求項1に記載の方法。
- 前記高周波成分の比率が、前記画像センサによって知覚される周波数成分のうち周波数閾値より高い周波数成分の振幅の総和によって予測される、請求項2に記載の方法。
- 前記取り込まれた画像から周波数成分振幅の分散が、決定され、
前記分散のエントロピーが、決定され、前記取り込まれた画像の各々に対する前記高周波成分の比率として使用される、請求項2に記載の方法。 - 前記高周波成分の比率が、
前記画像センサからのピクセルの選択に対して高速フーリエ変換を実施し、前記ピクセルの選択の周波数成分の大きさを計算することによって、
決定される、請求項2に記載の方法。 - 前記ピクセルの選択が前記画像センサからの前記ピクセルの窓であり、
前記ピクセルが行及び列のアレイ形式で存在し、
個々の行及び列の前記高速フーリエ変換が一次元スペクトルに結合される、請求項5に記載の方法。 - 前記高周波成分の比率が、
前記画像センサからのピクセルの選択に対して離散余弦変換を実施し、前記ピクセルの選択の周波数成分の大きさを計算することによって、
決定される、請求項2に記載の方法。 - 前記画像センサによって前記複数の位置の各々で取り込まれる前記画像中のぼやけの度合いを導き出す前記ステップは、
任意の縁の鮮鋭度を予測するために、前記画像センサによって知覚されたピクセルからの空間領域勾配情報を使用するステップ、を含む、請求項1に記載の方法。 - 前記空間領域勾配情報が、前記取り込まれた画像からのピクセル値の二次導関数である、請求項8に記載の方法。
- 前記二次導関数が、ラプラス核を用いて、前記取り込まれた画像のピクセルを合成することによって、決定される、請求項9に記載の方法。
- 前記画像センサによって前記複数の位置の各々で取り込まれる前記画像中のぼやけの度合いを導き出す前記ステップは、
前記画像センサによって知覚されたピクセルからのピクセル値のヒストグラムを編集して、より高い標準偏差がより良好な焦点を示すようにピクセル値分散の標準偏差を計算することによって、ピクセル値分散を生成するステップ、
を含む、請求項1に記載の方法。 - 前記複数の位置の各々に対して導き出されたぼやけの前記度合いに補間関数を適用するステップ、をさらに含む、請求項1に記載の方法。
- 前記補間関数が多項式であり、多項式関数の導関数の根を見出すことによって前記多項式の最大値が決定される、請求項12に記載の方法。
- 前記ターゲット画像が、前記画像センサが前記光軸に沿って移動する際のスケールでは変化しない周波数成分を有する、請求項1に記載の方法。
- 前記ターゲット画像が一様な雑音パターンである、請求項14に記載の方法。
- 前記一様な雑音パターンが2値白色雑音パターンである、請求項15に記載の方法。
- 前記ターゲット画像が、中心点から放射しているセグメントのパターンである、請求項14に記載の方法。
- 光軸を有するレンズに対して最良焦点の位置で画像センサを光学的に整列させるための装置であって、
前記画像センサを取り付けるためのセンサステージと、
前記レンズを取り付けるための光学ステージと、
ターゲット画像のためのターゲットマウントと、
前記レンズ及び前記画像センサを最良焦点の前記位置で固定するための固定デバイスと、
前記画像センサによって取り込まれた画像を受け取るためのプロセッサと、
を備え、
前記センサステージ及び前記光学ステージが、
前記画像センサが前記光軸に沿って複数の位置へ移動し、前記画像センサが前記複数の位置の各々で前記レンズを通して前記ターゲットの画像を取り込むように互いに対して変位するように構成され、
前記プロセッサが、
前記取り込まれた画像中の高周波成分の比率の測度を提供して、前記測度が最大になる最良焦点の前記位置を見出すように構成された、
装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10026608P | 2008-09-26 | 2008-09-26 | |
US61/100,266 | 2008-09-26 | ||
PCT/AU2009/001271 WO2010034064A1 (en) | 2008-09-26 | 2009-09-25 | Method and apparatus for alignment of an optical assembly with an image sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012503368A true JP2012503368A (ja) | 2012-02-02 |
Family
ID=42057019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011527159A Pending JP2012503368A (ja) | 2008-09-26 | 2009-09-25 | 光学アセンブリと画像センサを整列させるための方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100079602A1 (ja) |
EP (1) | EP2331998A4 (ja) |
JP (1) | JP2012503368A (ja) |
KR (1) | KR20110074752A (ja) |
TW (1) | TW201023000A (ja) |
WO (1) | WO2010034064A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI479372B (zh) * | 2012-07-27 | 2015-04-01 | Pixart Imaging Inc | 光學位移偵測裝置及方法 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101643607B1 (ko) * | 2009-12-30 | 2016-08-10 | 삼성전자주식회사 | 영상 데이터 생성 방법 및 장치 |
US8760563B2 (en) * | 2010-10-19 | 2014-06-24 | Hand Held Products, Inc. | Autofocusing optical imaging device |
US8692927B2 (en) | 2011-01-19 | 2014-04-08 | Hand Held Products, Inc. | Imaging terminal having focus control |
EP2645701A1 (en) * | 2012-03-29 | 2013-10-02 | Axis AB | Method for calibrating a camera |
KR101915193B1 (ko) * | 2012-04-24 | 2018-11-05 | 한화테크윈 주식회사 | 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템 |
TWM439848U (en) * | 2012-06-08 | 2012-10-21 | Abbahome Inc | Input device and Bluetooth converter thereof |
US10642376B2 (en) * | 2012-11-28 | 2020-05-05 | Intel Corporation | Multi-function stylus with sensor controller |
JP5983779B2 (ja) * | 2013-01-07 | 2016-09-06 | 株式会社島津製作所 | ガス吸収分光装置及びガス吸収分光方法 |
US9286703B2 (en) | 2013-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | Redrawing recent curve sections for real-time smoothing |
US9196065B2 (en) | 2013-03-01 | 2015-11-24 | Microsoft Technology Licensing, Llc | Point relocation for digital ink curve moderation |
US9330309B2 (en) * | 2013-12-20 | 2016-05-03 | Google Technology Holdings LLC | Correcting writing data generated by an electronic writing device |
WO2018000333A1 (en) | 2016-06-30 | 2018-01-04 | Intel Corporation | Wireless stylus with force expression capability |
CN107707822B (zh) * | 2017-09-30 | 2024-03-05 | 苏州凌创电子系统有限公司 | 一种在线式摄像模组主动调焦设备及方法 |
US10621718B2 (en) * | 2018-03-23 | 2020-04-14 | Kla-Tencor Corp. | Aided image reconstruction |
US10649550B2 (en) | 2018-06-26 | 2020-05-12 | Intel Corporation | Predictive detection of user intent for stylus use |
CN109557631B (zh) * | 2018-12-28 | 2024-01-30 | 江西天孚科技有限公司 | 一种预加热调芯设备 |
US20230204455A1 (en) * | 2021-08-13 | 2023-06-29 | Zf Active Safety And Electronics Us Llc | Evaluation system for an optical device |
TWI779957B (zh) * | 2021-12-09 | 2022-10-01 | 晶睿通訊股份有限公司 | 影像分析模型建立方法及其影像分析設備 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07193766A (ja) * | 1993-12-27 | 1995-07-28 | Toshiba Corp | 画像情報処理装置 |
JP2001036799A (ja) * | 1999-07-23 | 2001-02-09 | Mitsubishi Electric Corp | 固定焦点型撮像装置の光学レンズ位置調整法およびその方法にかかるプログラムを記録したコンピュータ読み取り可能な記録媒体並びに固定焦点型撮像装置の光学レンズ位置調整装置 |
JP2006050497A (ja) * | 2004-08-09 | 2006-02-16 | Casio Comput Co Ltd | 画像撮影装置及び画像処理システム |
JP2006115446A (ja) * | 2004-09-14 | 2006-04-27 | Seiko Epson Corp | 撮影装置、及び画像評価方法 |
JP2007047586A (ja) * | 2005-08-11 | 2007-02-22 | Sharp Corp | カメラモジュールの組立調整装置および組立調整方法 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62225092A (ja) * | 1986-03-26 | 1987-10-03 | Sharp Corp | 固体撮像素子のデフオ−カス量測定装置 |
US5003165A (en) * | 1989-05-25 | 1991-03-26 | International Remote Imaging Systems, Inc. | Method and an apparatus for selecting the best focal position from a plurality of focal positions |
JP2833169B2 (ja) * | 1990-07-18 | 1998-12-09 | 日本ビクター株式会社 | 撮像装置 |
GB2258968B (en) * | 1991-04-17 | 1994-08-31 | Gec Ferranti Defence Syst | A method of fixing an optical image sensor in alignment with the image plane of a lens assembly |
JPH07177527A (ja) * | 1993-12-16 | 1995-07-14 | Sony Corp | 多板式電子カメラのオートフォーカス調整装置 |
US5969760A (en) * | 1996-03-14 | 1999-10-19 | Polaroid Corporation | Electronic still camera having mechanically adjustable CCD to effect focus |
KR100429858B1 (ko) * | 1997-05-21 | 2004-06-16 | 삼성전자주식회사 | 적응적 필터를 이용한 촛점 조절장치 및 방법 |
US6381013B1 (en) * | 1997-06-25 | 2002-04-30 | Northern Edge Associates | Test slide for microscopes and method for the production of such a slide |
US6836572B2 (en) * | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
US7039252B2 (en) * | 1999-02-25 | 2006-05-02 | Ludwig Lester F | Iterative approximation environments for modeling the evolution of an image propagating through a physical medium in restoration and other applications |
US20020012063A1 (en) * | 2000-03-10 | 2002-01-31 | Olympus Optical Co., Ltd. | Apparatus for automatically detecting focus and camera equipped with automatic focus detecting apparatus |
EP1297688A4 (en) * | 2000-04-21 | 2003-06-04 | Lockheed Corp | DOUBLE TELECENTRIC CATADIOPTRIC OPTICAL SYSTEM WITH EXTENDED DEPTH AND EXTENDED FIELD FOR DIGITAL IMAGING |
US6727115B2 (en) * | 2001-10-31 | 2004-04-27 | Hewlett-Packard Development Company, L.P. | Back-side through-hole interconnection of a die to a substrate |
DE10202163A1 (de) * | 2002-01-22 | 2003-07-31 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge |
US7319487B2 (en) * | 2002-04-10 | 2008-01-15 | Olympus Optical Co., Ltd. | Focusing apparatus, camera and focus position detecting method |
US6902872B2 (en) * | 2002-07-29 | 2005-06-07 | Hewlett-Packard Development Company, L.P. | Method of forming a through-substrate interconnect |
US7236310B2 (en) * | 2002-09-13 | 2007-06-26 | Carl Zeiss Ag | Device for equalizing the back foci of objective and camera |
JP4181886B2 (ja) * | 2002-09-30 | 2008-11-19 | キヤノン株式会社 | ズームレンズの制御装置および撮影システム |
JP2004297751A (ja) * | 2003-02-07 | 2004-10-21 | Sharp Corp | 合焦状態表示装置及び合焦状態表示方法 |
KR100547998B1 (ko) * | 2003-02-10 | 2006-02-01 | 삼성테크윈 주식회사 | 촬영 상태가 부적절하였음을 알려주는 디지털 카메라의제어방법 |
US20050219553A1 (en) * | 2003-07-31 | 2005-10-06 | Kelly Patrick V | Monitoring apparatus |
JP2005309323A (ja) * | 2004-04-26 | 2005-11-04 | Kodak Digital Product Center Japan Ltd | 撮像用焦点距離検出方法及び撮像装置 |
JP2006023331A (ja) * | 2004-07-06 | 2006-01-26 | Hitachi Maxell Ltd | 自動合焦装置、撮像装置及び合焦位置検出方法 |
US7598996B2 (en) * | 2004-11-16 | 2009-10-06 | Aptina Imaging Corporation | System and method for focusing a digital camera |
KR100691245B1 (ko) * | 2006-05-11 | 2007-03-12 | 삼성전자주식회사 | 휴대단말의 렌즈 위치오차 보정방법 |
KR100801088B1 (ko) * | 2006-10-02 | 2008-02-05 | 삼성전자주식회사 | 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법 |
US7794613B2 (en) * | 2007-03-12 | 2010-09-14 | Silverbrook Research Pty Ltd | Method of fabricating printhead having hydrophobic ink ejection face |
WO2009103342A1 (en) * | 2008-02-22 | 2009-08-27 | Trimble Jena Gmbh | Angle measurement device and method |
-
2009
- 2009-09-24 US US12/566,634 patent/US20100079602A1/en not_active Abandoned
- 2009-09-25 WO PCT/AU2009/001271 patent/WO2010034064A1/en active Application Filing
- 2009-09-25 JP JP2011527159A patent/JP2012503368A/ja active Pending
- 2009-09-25 EP EP09815485A patent/EP2331998A4/en not_active Withdrawn
- 2009-09-25 KR KR1020117008502A patent/KR20110074752A/ko not_active Application Discontinuation
- 2009-09-25 TW TW098132518A patent/TW201023000A/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07193766A (ja) * | 1993-12-27 | 1995-07-28 | Toshiba Corp | 画像情報処理装置 |
JP2001036799A (ja) * | 1999-07-23 | 2001-02-09 | Mitsubishi Electric Corp | 固定焦点型撮像装置の光学レンズ位置調整法およびその方法にかかるプログラムを記録したコンピュータ読み取り可能な記録媒体並びに固定焦点型撮像装置の光学レンズ位置調整装置 |
JP2006050497A (ja) * | 2004-08-09 | 2006-02-16 | Casio Comput Co Ltd | 画像撮影装置及び画像処理システム |
JP2006115446A (ja) * | 2004-09-14 | 2006-04-27 | Seiko Epson Corp | 撮影装置、及び画像評価方法 |
JP2007047586A (ja) * | 2005-08-11 | 2007-02-22 | Sharp Corp | カメラモジュールの組立調整装置および組立調整方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI479372B (zh) * | 2012-07-27 | 2015-04-01 | Pixart Imaging Inc | 光學位移偵測裝置及方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20110074752A (ko) | 2011-07-01 |
TW201023000A (en) | 2010-06-16 |
EP2331998A4 (en) | 2012-05-02 |
WO2010034064A1 (en) | 2010-04-01 |
EP2331998A1 (en) | 2011-06-15 |
US20100079602A1 (en) | 2010-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012503368A (ja) | 光学アセンブリと画像センサを整列させるための方法及び装置 | |
US8548317B2 (en) | Different aspects of electronic pens | |
US8360669B2 (en) | Retractable electronic pen with sensing arrangement | |
US8462255B2 (en) | Lens barrel, image pickup device, and lens barrel manufacturing method | |
TWI387902B (zh) | 光學導向裝置及光學導向方法 | |
US20240095944A1 (en) | Photosensor processing for improved line scanner performance | |
US20080180669A1 (en) | Apparatus for checking concentricity between lens barrel and barrel holder | |
KR102185942B1 (ko) | 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜 | |
TW201911114A (zh) | 光學資訊讀取裝置及光學資訊讀取裝置的製造方法 | |
TWI482993B (zh) | 使用具防鎖特徵、均勻力量分佈及震動傷害防止方法旋轉致動器之縮放模組 | |
JP2005156524A (ja) | 光学素子の光軸検出方法 | |
WO2015173399A1 (en) | Drift compensation / optical absolute referencing | |
US7701565B2 (en) | Optical navigation system with adjustable operating Z-height | |
CN115190215A (zh) | 一种便携式镜框扫描仪 | |
CN1916937A (zh) | 集成一体化活体指纹采集仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121211 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130314 |