JP2012503368A - 光学アセンブリと画像センサを整列させるための方法及び装置 - Google Patents

光学アセンブリと画像センサを整列させるための方法及び装置 Download PDF

Info

Publication number
JP2012503368A
JP2012503368A JP2011527159A JP2011527159A JP2012503368A JP 2012503368 A JP2012503368 A JP 2012503368A JP 2011527159 A JP2011527159 A JP 2011527159A JP 2011527159 A JP2011527159 A JP 2011527159A JP 2012503368 A JP2012503368 A JP 2012503368A
Authority
JP
Japan
Prior art keywords
image sensor
image
pen
optical
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011527159A
Other languages
English (en)
Inventor
ジョナサン, レイ ナッパー,
ゼンヤ, アレキサンダー ヨーロ,
コリン, アンドリュー ポーター,
マシュー, ジョン アンダーウッド,
ロバート, ジョン ブライス,
ゾルト ザルカ‐コヴァックス,
ポール ラプスタン,
Original Assignee
シルバーブルック リサーチ ピーティワイ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シルバーブルック リサーチ ピーティワイ リミテッド filed Critical シルバーブルック リサーチ ピーティワイ リミテッド
Publication of JP2012503368A publication Critical patent/JP2012503368A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/023Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Lens Barrels (AREA)

Abstract

【課題】光軸を備えたレンズに対する最良焦点ポイントに画像センサを位置決めする。
【解決手段】レンズに対する最良焦点ポイントに画像センサを位置決めするための方法が記述されている。レンズは光軸を有しており、また、画像センサは、その光軸に沿って複数の位置へ移動する。画像センサは、複数の位置の各々でレンズを通してターゲット画像の画像を取り込む。複数の位置の各々で画像センサから出力されるピクセルデータから、取り込まれた画像中のぼやけの度合いが導き出される。ぼやけと光軸に沿った画像センサの位置の間の相互関係が導き出される。次に、その相互関係によって最良焦点ポイントとして示される光軸上の位置へ画像センサが移動され、そこで画像センサがレンズに対してしっかりと固定される。
【選択図】図18

Description

本発明は、画像センサ上への光学コンポーネントのアセンブリに関する。特に、本発明は、固定焦点画像センサのレンズに対する最良焦点ポイントへの画像センサの正確な配置に関する。
セル電話に使用されているディジタルカメラなどのディジタルカメラには、無限焦点設定が使用されている。レンズ及び画像センサ(つまり電荷結合素子(CCD)アレイ)は、画像化される対象からの光線は、レンズに入射する際に平行である、という仮定の下に互いに対して配置されている。平行入射光は、レンズから無限の距離に位置している対象に対応している。実際にはそうではなく、レンズから約2m以上離れた対象が良好に近似される。対象からの入射光は平行ではないが極めて平行に近く、したがって結果として得られる、画像センサ上に集束する画像は十分に鮮鋭である。数メートルを超える対物距離では、画像中のぼやけのレベルは、通常、非常に低く、したがって画像センサアレイの解像度では検出することはできない。
多くのディジタルカメラは、ぼやけを検出し、且つ、レンズを移動させることによってそのぼやけを最小化するオートフォーカス機能を有している。これは、レンズから約10cm離れた対象のクローズアップを可能にしている。しかしながら、ディジタル画像化システムの中には、オートフォーカスを使用することなく、レンズに近い対象を画像化しなければならないものもある。
Anoto社のライセンスの下で製造されている電子画像センシングペン(米国特許第7832361号参照)には、ショートフォーカスカメラモジュールが必要である。これらのカメラモジュールは、オートフォーカス機能を動作させることが実際的ではないため、固定焦点面を有している。残念なことには、ペンが画像化しなければならない対象は、必ずしも焦点面には存在していない。この場合、対象は、媒体基板の上に配置された符号化データパターンである。ペングリップは使用者毎に変化し、また、ペングリップは、同じ使用者による使用中にも変化する。この点に鑑みて、取り込まれる画像は、通常、有意レベルのぼやけを有している。画像プロセッサは、特定の閾値未満にぼやけを処理することができる。この点に鑑みて、画像センサは、ペンの規定ポーズ範囲内で取り込まれる画像中のぼやけのレベルが閾値未満を維持するようにレンズに対して配置しなければならない。これは、精密な製造公差に頼ることによって達成される。精度の高いコンポーネント及びアセンブリは、製造コストを釣り上げる。
米国特許第7832361号
第1の態様によれば、本発明により、光軸を備えたレンズに対する最良焦点ポイントに画像センサを位置決めする方法が提供され、この方法には、
光軸に沿った複数の位置へ画像センサを移動させるステップと、
画像センサを使用して、複数の位置の各々でレンズを通してターゲット画像の画像を取り込むステップと、
画像センサから出力されるピクセルデータから、複数の位置の各々で取り込まれた画像中のぼやけの度合いを導き出すステップと、
ぼやけと光軸に沿った画像センサの位置の間の相互関係を導き出すステップと、
最良焦点ポイントとして相互関係によって示される光軸上の位置へ画像センサを移動させるステップと、
画像センサをレンズに対してしっかりと固定するステップと
が含まれている。
この技法によれば、ぼやけのレベルは、個々の個別レンズ及び画像センサに対する光軸に沿った変位の関数として導き出される。したがって個々のコンポーネントの製造上の不正確性がレンズに対するセンサの位置決めに影響を及ぼさないため、正確な公差を持たせるという、レンズ及びレンズが取り付けられる光学バレルに対する重要課題が緩和される。
好ましいことには、画像センサによって複数の位置の各々で取り込まれる画像中のぼやけの度合いを導き出すステップには、ターゲット画像中の高周波成分の比率をぼやけの度合いとして導き出すステップが含まれている。
好ましいことには、高周波成分の比率は、画像センサによって知覚される周波数成分のうちの周波数閾値より高い周波数成分の振幅の総和によって予測される。
好ましいことには、取り込まれた画像から周波数成分振幅の分散が決定され、また、その分散のエントロピーが決定され、且つ、取り込まれた画像の各々に対する高周波成分の比率の測度として使用される。
好ましいことには、高周波成分の比率は、画像センサからのピクセルの選択に対して高速フーリエ変換を実施し、且つ、選択の周波数成分の大きさを計算することによって決定される。
好ましいことには、選択は画像センサからのピクセルの窓であり、ピクセルは行及び列のアレイで存在し、また、個々の行及び列の高速フーリエ変換は一次元スペクトルに結合される。
好ましいことには、高周波成分の比率は、画像センサからのピクセルの選択に対して離散余弦変換を実施し、且つ、選択の周波数成分の大きさを計算することによって決定される。
好ましいことには、画像センサによって複数の位置の各々で取り込まれる画像中のぼやけの度合いを導き出すステップには、任意の縁の鮮鋭度を予測するために、画像センサによって知覚されたピクセルからの空間領域勾配情報を使用するステップが含まれている。
好ましいことには、空間領域勾配情報は、取り込まれた画像からのピクセル値の二次導関数である。
好ましいことには、二次導関数は、取り込まれた画像のピクセルをラプラス核を使用して合成することによって決定される。
好ましいことには、画像センサによって複数の位置の各々で取り込まれる画像中のぼやけの度合いを導き出すステップには、画像センサによって知覚されたピクセルからのピクセル値のヒストグラムを編集し、且つ、より高い標準偏差がより良好な焦点を示すよう、ピクセル値分散の標準偏差を計算することによってピクセル値分散を生成するステップが含まれている。
好ましいことには、この方法には、複数の位置の各々に対して導き出されたぼやけの度合いに補間関数を適用するステップがさらに含まれている。
好ましいことには、補間関数は多項式であり、多項式関数の導関数の根を見出すことによって多項式の最大値が決定される。
好ましいことには、ターゲット画像は、画像センサが光軸に沿って移動する際のスケールでは変化しない周波数成分を有している。
好ましいことには、ターゲット画像は一様な雑音パターンである。
好ましいことには、一様な雑音パターンは2値白色雑音パターンである。
好ましいことには、ターゲット画像は、中心点から放射しているセグメントのパターンである。
好ましいことには、レンズは光学バレルの中に取り付けられており、また、画像センサは光学バレルにしっかりと固定されている。好ましいことには、画像センサは、UV硬化性接着剤を使用してしっかりと固定されている。好ましいことには、画像センサは平らな外部表面を有しており、また、この方法には、画像センサをレンズに対してしっかりと固定する前に、画像センサの傾斜を調整するステップがさらに含まれている。
好ましいことには、画像センサを光軸に沿って移動させるステップには、光軸上の規則的に間隔を隔てたポイントに沿って画像センサを指標付けするステップが含まれている。好ましいことには、規則的に間隔を隔てたポイントは、1mm未満の間隔を隔てている。好ましいことには、画像センサは、最良焦点の位置まで及んでいる光軸のセクションに沿って指標付けされる。
好ましいことには、この方法には、ターゲット画像を一様に照明するステップがさらに含まれている。
好ましいことには、この方法には、複数の位置の各々に対して導き出されたぼやけの度合いに補間関数を適用するステップがさらに含まれている。好ましいことには、補間関数は多項式であり、多項式関数の導関数の根を見出すことによって多項式の最大値が決定される。
好ましいことには、この方法には、相互関係によって最良焦点であることが示された位置で画像センサからのぼやけを測定するステップと、この最良焦点位置のぼやけが最も小さいことを確認するために、最良焦点位置でのぼやけの度合いと複数の位置の各々におけるぼやけの度合いとを比較するステップがさらに含まれている。
第2の態様によれば、本発明により、光軸を有する光学コンポーネントを画像センサに対して位置決めするための方法が提供され、この方法には、
一様な雑音の画像を描写しているターゲットを用意するステップと、
画像センサ及びターゲットが光軸上に存在するように光学コンポーネントを画像センサに対して位置決めするステップと、
光軸に沿った複数の位置でターゲットの一組の画像を取り込むステップであって、複数の位置が光学コンポーネント焦点面の一方の側から光学コンポーネント焦点面のもう一方の側まで及ぶステップと、
取り込まれた画像の各々の広帯域周波数成分の解析から、上記一組の画像の個々の画像中のぼやけレベルの度合いを決定するステップと、
ぼやけのレベルと光軸に沿った位置の間の相互関係を導き出すステップと、
取り込まれた画像の広帯域周波数成分が高周波成分の最も高い比率を有していることを相互関係が示している光軸上の一点に対する最良焦点の位置を決定するステップと
が含まれている。
第3の態様によれば、本発明により、画像センサを光軸を有するレンズに対して最良焦点の位置で光学的に整列させるための装置が提供され、この装置は、
画像センサを取り付けるためのセンサステージと、
レンズを取り付けるための光学ステージと、
ターゲット画像のためのターゲットマウントと、
レンズ及び画像センサを最良焦点の位置でしっかりと固定するための固定デバイスと、
画像センサによって取り込まれた画像を受け取るためのプロセッサと
を備えており、
センサステージ及び光学ステージは、画像センサが光軸に沿って複数の位置へ移動し、画像センサが複数の位置の各々でレンズを通してターゲットの画像を取り込むよう、互いに対して変位するように構成されており、また、プロセッサは、取り込まれた画像中の高周波成分の比率の測度を提供して、測度が最大になる最良焦点の位置を見出すように構成されている。
ネットページペンの側面斜視図である。 ネットページペンのニブ端の斜視図である。 ネットページシステムの線図である。 ネットページ受け台に収められたネットページペンの斜視図である。 ネットページペンの断面正面図である。 ネットページペン上の受け台コンタクトを示す斜視図である。 ネットページペン及びネットページ受け台のための充電及びデータ接続オプションの概要を示す図である。 ネットページペン及びネットページ受け台のための充電及びデータ接続オプションの概要を示す図である。 ネットページペン及びネットページ受け台のための充電及びデータ接続オプションの概要を示す図である。 ネットページペン及びネットページ受け台のための充電及びデータ接続オプションの概要を示す図である。 ペンの分解図である。 ペンの縦断面図である。 ペンのための光学アセンブリの分解図である。 光学アセンブリの切欠斜視図である。 ペンの主PCBのための相互接続線図である。 ペン光学系に沿って取った縦断面図である。 ペン光学系に沿って取った縦断面図である。 ペンカートリッジの横に並んだペン光学系の光線軌跡を示す図である。 光学マスクとX−Yが不整列の画像センサを示す取り込まれた画像を示す図である。 光学マスクとX−Yが整列した画像センサを示す取り込まれた画像を示す図である。 一様な2値雑音ターゲット画像を示す図である。 星形パターンターゲット画像を示す図である。 高周波成分振幅対オフセットの相互関係を示すグラフである。 光学アライメントマシンの斜視図である。 光学アライメントマシンの正面図である。 光学アライメントマシンの側面図である。
以下、本発明について、単に一例にすぎないが添付の図面を参照して説明する。
画像センサとその関連する光学系のアライメントは、取り込まれる画像データの品質にとって極めて重要である。過度のぼやけは、とりわけ画像データがネットページシステムに使用される符号化パターンなどの符号化パターンに関連している場合、センサからの出力を役に立たないものにしてしまうことになる。2009年6月3日に出願した、参照によりその内容が本明細書に組み込まれている米国特許出願第12/477877号(出願人整理番号:NPS168US)に、ネットページシステム及び画像取り込みシステムの詳細が詳細に記述されている。
本発明は、ネットページペンへのそのアプリケーションを参照して説明されている。しかしながら、本発明は、このアプリケーションに限定されず、他の多くの光学知覚の分野に等しく適用することができることは理解されよう。
ネットページシステムには、ネットページ符号パターンを首尾よく画像化することが利用されている。ネットページスタイラス(ペン)を使用した画像取り込みは、符号化された表面に書き込み、或いはマーキングする際のグリップの変化及びペンの配向の変化によって複雑化されている。恐らくはペンポーズの全範囲に適応するためには、光学画像化システムには大きい焦点深度が必要である。
焦点外れ即ちぼやけのレベルは、ペンポーズ範囲の一番端に設定されている閾値内に維持しなければならない。ポーズ限界におけるぼやけ閾値に理論的に合致するセンサ及び光学コンポーネントを設計するためには、センサ及び光学コンポーネントのアセンブリは精密でなければならない。光軸に沿ったレンズの変位は、それがごく些細な変位であっても、許容可能ポーズ範囲の一番端における過剰ぼやけの原因になることがある。したがって光学コンポーネント及びセンサは、精密な公差でアセンブルしなければならない。精密アセンブリは、一般的には大量生産には適していない。ユニットのコストが途方もないコストになる場合、価格は、市場が許容する価格を超えることになる。
以下で説明する光学アライメント技法では、光学サブアセンブリの個々のコンポーネントは、それほど精密な公差では製造されていない。画像センサによって知覚される画像中の焦点外れは、ポーズ範囲全体に分布しているポイントで決定される。様々なポイントにおける焦点外れレベルをそれらのレベル間で補間することにより、最良焦点の位置が個々のレンズに対して決定される。
1. ネットページペン
1.1 緒言及び機能概説
図1及び図2に示されているネットページペン400は、タグが振られたネットページ表面と共に動作する運動知覚書込み器具である(上で相互参照した米国特許出願第12/477877号を参照されたい)。ネットページペン400には、通常、表面をマーキングするための従来のボールポイントペンカートリッジ及びニブ406、表面上のペンの絶対経路を取り込み、且つ、表面を識別するための画像センサ412及びプロセッサ、ニブに加えられる力を同時に測定するための力センサ、ジェスチャーが取り込まれたことを示すための光学ジェスチャーボタン、及び経過時間を同時に測定するための実時間クロックが含まれている。
通常の動作中、ネットページペン400は、ネットページペンのニブ406が表面を横切る際に、表面のエンコーディングを定期的にサンプルする。サンプルされた表面エンコーディングは、ネットページペン400によって復号され、それにより、表面の識別、表面上のネットページペンのニブ406の絶対位置、及び表面に対するネットページペンのポーズを含む表面情報が得られる。また、ネットページペンには、ニブ406によって表面に加えられる力を表す信号を生成する力センサが組み込まれている。
力センサによって検出されるペンダウン及びペンアップ事象によって個々のストロークの範囲が定められる。ネットページペンによって、表面情報信号、力信号及びジェスチャーボタン入力のタイプスタンプ付き組合せとしてディジタルインキが生成される。このようにして生成されたディジタルインキは、使用者による表面との対話を表しており、次に、この対話を使用して、特定の表面の部分との定義済み関係を有するアプリケーションとの対応する対話を実施することができる(一般に、ネットページ表面コーディングとの対話によって得られるデータは、すべて、本明細書においては「対話データ」と呼ばれている)。
図3は、ネットページシステムの概要を示したものである。ディジタルインキは、最終的にはネットページサーバ10に送信されるが、ネットページサーバ10への送信が可能になるまでは、ネットページペンの内部不揮発メモリにディジタルインキを保存することができる。ディジタルインキは、ネットページサーバ10によって受け取られると、表面に注釈又は注記などの使用者マークアップを再生するために、或いは手書き認識を実施するために、引き続いてレンダリングすることができる。ジェスチャーとして知られている、表面との一組のコマンド対話を表すディジタルインキのカテゴリも同じく存在している(ネットページサーバ10は、通常、本明細書において説明されているようにペン400とは遠隔に存在しているが、ペンは、ディジタルインキを翻訳するためのオンボードコンピュータシステムを有することができることは理解されよう)。
ペン400には、通常はリレーデバイス601aを介してネットページサーバ10にディジタルインキを送信するためのブルートゥース(登録商標)無線トランシーバが組み込まれているが、ネットページプリンタ601bにリレーを組み込むことも可能である。ネットページサーバからオフラインで動作している場合、ペンは、取り込まれたディジタルインキを不揮発メモリにバッファする。ネットページサーバへオンラインで動作している場合、ペンは、予めバッファされているすべてのディジタルインキが送信されると、直ちにディジタルインキを実時間で送信する。
図4は、ネットページペン受け台と呼ばれている充電受け台426に位置しているネットページペン400を示したものである。ネットページペン受け台426には、局所アプリケーション及びネットページサービスへのアクセスのための通信サポートを提供するコンピュータへのUSBケーブルを介したUSB中継及び接続のためのブルートゥース(登録商標)が含まれている。
ネットページペン400には蓄電池によって電力が供給される。この電池は、使用者がアクセスすることも、或いは交換することもできない。ネットページペンを充電するための電力は、通常、ネットページペン受け台426から供給され、また、ネットページペン受け台426は、USB接続からの電力又は外部交流アダプタからの電力のいずれかを電源にすることができる。
ネットページペンのニブ406は、使用者が後退させることができ、ニブが後退している場合の不注意なマーキングから表面及び覆いを保護する目的、及びニブが相応じて後退又は展開している場合に、電力節約状態への突入又は電力節約状態からの脱出をネットページペンに発信する目的の2つの目的を果たしている。
1.2 人間工学及びレイアウト
ネットページペン400の総重量(40g)、サイズ及び形状(155mm×19.8mm×18mm)は、従来のハンドヘルド書込み器具の拘束の範囲内である。
図5を参照すると、丸い形のケーシング404は、ネットページペン400を使用する際に、適切な機能的配向でグリップされるよう、ペンを人間工学的に心地良い形状にしている。また、丸い形は、内部コンポーネント、つまり主PCB408、電池410及びボールポイントカートリッジ402を収納するのに実用的な形でもある。
使用者は、通常、ネットページペン400を使用して、法線からネットページペン400を保持した手に向かって約30度(正の角度)の公称ピッチで書き込むが、(手から遠ざかった)約10度の負のピッチを超えるピッチでネットページペンを操作することはめったにない。ネットページペンが用紙上のパターンを画像化することができるピッチ角の範囲は、この非対称の使用法に対して最適化されている。ネットページペンのこの形状は、使用者の手の正しい配向を促している。
1つ又は複数の着色ユーザフィードバックLED420(図8参照)は、ネットページペン400の上部表面の対応する1つ又は複数のインジケータ窓421を照明している。1つ又は複数のインジケータ窓421は、ネットページペン400が典型的な書込み位置で保持されると、隠蔽されない状態を維持する。
もう一度図5を参照すると、ボールポイントペンカートリッジ402はネットページペンのハウジング404の上部部分に収納されており、使用者のグリップに対して矛盾なくボールポイントペンカートリッジ402を配置し、また、ネットページペン400を使用している間、使用者にニブ406の良好な可視性を提供している。ボールポイントペンカートリッジ402の下方の空間は、主PCB408(ネットページペン400の中央に位置している)及び電池410(ネットページペンのベースの中に位置している)のために使用されている。図2に示されているように、タグ知覚光学系412は、ニブの下方に控え目に配置されている(公称ピッチに対して)。
ボールポイントペンカートリッジ402はフロントローディングであり、内部力センサ442への結合を単純化している。
さらに図2を参照すると、ネットページペン400のニブ成形物414は、ネットページペンが最大ピッチで動作している場合のニブ成形物と用紙の表面の間の接触を防止するために、ボールポイントペンカートリッジ402の下方へ後退している。ネットページペンの光学系412及び一対の近赤外線照明LED416は、ニブの下方に位置しているフィルタ窓417(図9参照)の後方に位置している(つまりネットページペンの画像化視野はこの窓を介して出現し、また、照明LEDもこの窓を介して光る)。2つの照明LED416を使用することにより、一様な照明視野が保証される。また、これらのLEDは、ネットページペンがとりわけ光沢のある用紙上で、ある角度で保持された場合に、望ましくない反射を動的に回避することができるよう、個々に制御することも可能である。
1.3 ネットページペンフィードバック表示
ネットページペン400は、電池状態、オンライン状態及び/又は取り込み阻止状態などのペンの状態を使用者に伝えるために使用される1つ又は複数の視覚ユーザインジケータ420を組み込むことができる。個々のインジケータ420は、ネットページペンのハウジング404内の整形された開口又はディフューザを照明している(開口又はディフューザの形は、通常、表示の性質に対応するアイコンである)。また、充電状態を表示するために使用される追加電池状態インジケータも、ペンがネットページペン受け台に挿入されている間、ネットページペンの頂部の後方から目視することができる。
任意選択の電池状態インジケータは、通常、赤及び緑のLEDを備えており、残りの電池容量及び充電状態に関するフィードバックを使用者に提供している。任意選択のオンライン状態インジケータは、通常、ネットページサーバへの接続の状態に関するフィードバックを提供し、また、ブルートゥース(登録商標)ペアリングオペレーションの間、同じくフィードバックを提供する緑のLEDを備えている。
1.3.1 取り込み阻止インジケータ
取り込み阻止インジケータは、赤のLEDを備えており、ディジタルインキの取り込みが阻止されると、エラーフィードバックを提供している。場合によっては、ネットページペン400がディジタルインキを取り込むことができない多くの状態、或いはネットページペン400が適切な品質のディジタルインキを取り込むことができない多くの条件が存在している。
例えば、ペン400は、ペン400が表面のタグパターンを画像化することができないか、或いは画像化されたタグパターンを復号することができないために表面から(適切な品質の)ディジタルインキを取り込むことができないことがある。これは、場合によっては、例えば、
・表面にタグが振られていない場合
・ペンの視野が、タグが振られた表面の縁からわずかに、或いは完全に外れている場合
・タグパターンの印刷が貧弱である場合(例えば印刷エラーのため、或いは使用されている印刷媒体の品質が貧弱であるため)
・タグパターンが損傷している場合(例えばタグパターンが色あせているか、或いは何かが塗り付けられている場合、又は表面に引っ掻き傷があるか、或いは表面が汚れている場合)
・タグパターンが偽造されている場合(つまりタグパターンに無効ディジタル署名が含まれている場合)
・ペンが過度に傾斜している場合(つまり過度の幾何学的ひずみ、焦点外れぼやけ及び/又は貧弱な照明の原因になる)
・ペンの速度が速すぎる場合(つまり過度の運動ぼやけの原因になる)
・タグパターンが鏡面反射(つまり表面自体からの反射又は印刷されたタグパターン或いは図形からの反射)によって不鮮明になっている場合
などの多くの条件の下で生じる。
ペンは、その内部バッファが満杯であるためにディジタルインキを保存することができないことがある。
また、ペンは、例えば、
・ペンが登録されていない場合(ペンの独自の内部記録によって、或いはサーバによって指示された場合に)
・ペンが接続されていない場合(つまりサーバに)
・ペンが取り込みを阻止されている場合(例えばサーバからのコマンドによって)
・ペンの使用者が認証されていない場合(例えば指紋などの生物測定又は手書き署名或いはパスワードなどによって)
・ペンが盗まれた場合(つまりサーバによって報告される)
・ペンのインキカートリッジが空の場合(例えばペンは、参照によりその内容が本明細書に組み込まれている米国特許第6808330号に記載されているユニバーサルペンであり、したがってそのインキ消費が容易にモニタされる)
などの多くの状況の下ではディジタルインキを取り込まないように選択することも可能である。
また、ペンは、機能不良の力センサなどの内部ハードウェアエラーを検出した場合、ディジタルインキを取り込まないように選択することも可能である。
視覚取り込み阻止インジケータLED420は、通常、例えば上で説明した条件のうちの1つによってディジタルインキの取り込みが阻止されていることを使用者に表示している。また、このインジケータLED420を使用して、取り込みがその阻止に近づいているとき、例えばタグパターンの復号化速度が閾値未満に低下したとき、若しくはペンの傾斜又は速度が過剰傾斜又は過剰速度に近づいているとき、或いはペンのディジタルインキバッファがほぼ満杯であるときなどを表示することも可能である。
1.4 ネットページペン受け台426
図6に示されているように、ネットページペンの受け台コンタクト424は、ノーズコーン409の下方に位置している。これらのコンタクト424は、ネットページペンが挿入されると、ネットページペン受け台426の一組の対応するコンタクトと接触し、ネットページペン400を充電するために使用される。
図4は、ネットページ受け台426に収められたネットページペン400を示したものである。ネットページペン受け台426は、そのデスクトップフットプリントを最小化するためにコンパクトであり、また、安定性のために重いベースを有している。データ転送は、ネットページペン400とネットページペン受け台426の間で、ブルートゥース(登録商標)無線リンクを介して実施される。
ネットページペン受け台426は、2つの視覚状態インジケータ、つまり電力インジケータ及びオンラインインジケータを有することができる。電力インジケータは、ネットページペン受け台426が電源、例えば上流側USBポート又は交流アダプタに接続されているときは常に照明されている。オンラインインジケータは、ネットページペン受け台426へのネットページペン400の接続が確立されると、ブルートゥース(登録商標)ペアリングオペレーションの間、フィードバックを提供する。
ネットページペン受け台426によって要求される機能には、2つの主要な機能、つまり、
・ネットページペン400がその内部電池410を充電することができるよう、充電電流源を提供すること、及び
・最終的にはネットページサーバ10と通信するためにネットページペン400を接続するためのホスト通信ブルートゥース(登録商標)無線エンドポイントを提供すること
が存在している。
ネットページペン受け台426は、上流側ホストに接続するための単一USB A面プラグの中で終わっている内蔵ケーブルを有している。ネットページペンの電池410を正規に充電するための十分な電流を提供するために、ネットページペン受け台426は、通常、ルートハブポート又は自己電力供給ハブ上のポートに接続されている。ネットページペン受け台426を単に充電するだけの操作を提供するための第2のオプションは、USB A面プラグを任意選択の交流アダプタに接続することである。
図7A〜図7Dは、ネットページペン400及びネットページペン受け台426のための主充電及び接続オプションを示したものである。図7Aは、ホスト(例えばPC)からネットページペン受け台426までのUSB接続を示したものである。ネットページペン400はネットページペン受け台426に収められており、ネットページペン受け台及びネットページペンは、ブルートゥース(登録商標)を介して無線で通信している。ネットページペン受け台426は、USB母線電力によって電力が供給され、また、ネットページペン400は、USB母線電力から充電される。したがってペンを正規の速度で充電するためには、500mAの最大USB電力を利用することができなければならない。
図7Bは、ホスト(例えばPC)からネットページペン受け台426までのUSB接続を示したものである。ネットページペン400は使用中であり、受け台及びペンは、ブルートゥース(登録商標)を介して無線で通信している。ネットページペン受け台426は、USB母線電力によって電力が供給されている。
図7Cは、ネットページペン受け台426に接続された任意選択の交流アダプタを示したものである。ネットページペン400はネットページペン受け台426に収められており、任意選択の交流アダプタによって供給される電流によって充電される。
図7Dは、使用中のネットページペンを示したものである。この場合、ネットページペンは、例えばラップトップ又は移動電話に統合することができる第3パーティのブルートゥース(登録商標)を使用してホスト(例えばPC)と無線で通信している。ネットページペン受け台426にはCSR BlueCore4デバイスが含まれている。BlueCore4デバイスは、ブルートゥース(登録商標)ブリッジへのUSBとして機能しており、また、完全な埋込みブルートゥース(登録商標)解決法を提供している。
1.5 機械設計
1.5.1 部品及びアセンブリ
図8及び図9を参照すると、ペン400は、高体積製品として設計されており、
光学アセンブリ430と、
力センサ442を含んだ力知覚アセンブリ440と、
力知覚アセンブリの部品を含んだニブ後退アセンブリ460と、
主PCB408及び電池410を含んだ主アセンブリ480、
の4つの主要サブアセンブリを有している。
これらのアセンブリ及び他の主要部品は、図9の中で識別することができる。ペンの形状係数は可能な限り小さくしなければならないため、これらの部品は、実用上可能な限り密に実装されている。
ペンのボディを画定しているペンハウジング404は、一対のスナップばめサイド成形物403、カバー成形物405、エラストマスリーブ407及びノーズコーン成形物409からなっている。カバー成形物405には、LED420が照明されると使用者に視覚フィードバックを提供する1つ又は複数の透明な窓421が含まれている。
個々の特定のモールド部品の壁は薄い(0.8〜1.2mm)が、これらの成形物の組合せが強力な構造を生成している。ペン400は、使用者によるサービスを許容するようには設計されていないため、エラストマスリーブ407は、使用者による侵入を防止するために単一の保持ねじ411を覆っている。また、エラストマスリーブ407は、使用中、使用者の指によって握られるペンの人間工学高摩擦部分を提供している。
1.5.2 光学アセンブリ430
図10及び図11は、光学アセンブリ430の主要コンポーネントを示したものである。光学PCB431は、剛直部分434及び可撓部分435を有している。「ヒマリア」画像センサ432は、光学バレル成形物438と共に光学PCB431の剛直部分434の上に取り付けられている。
ペン400の臨界位置決め公差は、光学系と画像センサ432の間に存在しているため、この光学PCB431の剛直部分434により、光学バレルを画像センサに容易に整列させることができる。光学バレル成形物438は、画像センサ432の近傍に、集束レンズ436の位置を提供しているモールドイン開口439を有している。このサイズの成形物に対する熱膨張の影響は極めて小さいため、特殊な材料を使用する必要はない。
光学PCB431の可撓部分435は、画像センサ432と主PCB408の間の接続を提供している。このフレックスは、公称75ミクロンの厚さの2層ポリイミドPCBであり、アセンブリ製造中におけるある程度の操作を可能にしている。フレックス435は、その必要な曲げ半径を小さくし、主PCB408を覆い囲むためにL字形になっている。フレックス435は、ペンをアセンブルした後はフレックス435を移動させる必要はないため、取付け時にのみ撓むように特性化されている。コネクタ(主PCB408への)部分に、主PCB上で使用される光学撓みコネクタ483Aの厚さを適切な厚さにするためのスティフナが配置されている(図12参照)。離散バイパスコンデンサは、光学PCB431の撓み部分435の上に取り付けられている。撓み部分435は、主PCB408の周囲に延在しており、画像センサ部分の剛直部分434まで広がっている。
ヒマリア画像センサ432は、チップオンボード(COB)PCB手法を使用して光学PCB431の剛直部分434の上に取り付けられている。この技術の場合、裸のヒマリア画像センサダイ432がPCBににかわ付けされ、且つ、ダイ上のパッドがPCB上のターゲットパッドの上にワイヤボンディングされる。次に、腐食を防止するためにワイヤボンドがカプセル封じされる。ダイ432の隣のPCB中の4つの非めっき孔を使用してPCBと光学バレル438が整列される。次に、画像センサ432の周囲にシールを提供するために、光学バレル438が所定の位置に、にかわ付けされる。光路の中心と画像センサダイ432上の画像化領域の中心との間の水平方向の位置公差は、±50ミクロンである。ペン400の前面の拘束空間に嵌合させるために、ヒマリア画像センサダイ432は、ネットページペン400内の接続のために必要なパッドがダイの反対側の面に配置されるように設計されている。
1.6 光学設計
ペンには固定焦点狭帯域赤外線画像化システムが組み込まれている。この固定焦点狭帯域赤外線画像化システムには、焦点外れぼやけ又は運動ぼやけによって影響されない鮮鋭な画像を取り込むために、露光時間が短く、開口が小さく、且つ、光輝同期照明を使用したカメラが利用されている。
Figure 2012503368
1.6.1 ペン光学系概説
図13A及び図13Bは、ペン光学系の断面図を示したものである。ニブ406に隣接する表面1に印刷されたネットページタグの画像(図3参照)は、レンズ436によって画像センサ432の能動領域の上に集束する。微小開口439は、被写界深度がペンの必要なピッチ範囲及びロール範囲に適応するように寸法化されている。
一対のLED416は、視野内の表面を明るく照明している。LED416のスペクトル放出ピークは、取り込まれるタグの画像中のコントラストが最大化されるよう、ネットページタグを印刷するために使用される赤外線インキのスペクトル吸収ピークと整合している。LED416の輝度は、焦点外れぼやけ及び運動ぼやけを最小化するために必要な微小開口サイズ及び短い露光時間と整合している。
ロングパスフィルタ窓417は、画像化されたタグ4と空間的に一致するあらゆるカラー図形又はテキストに対する画像センサ432の応答、及びフィルタの遮断波長未満のあらゆる周辺照明に対する画像センサ432の応答を抑制している。フィルタ417の通過は、取り込まれるタグ4の画像中のコントラストを最大化するために、赤外線インキのスペクトル吸収ピークと整合している。また、フィルタ417は、光学アセンブリ412への汚染物質の侵入を防止する頑丈な物理窓としても作用している。
1.6.2 画像化システム
図14は、ネットページペンの光路の光線軌跡を示したものである。画像センサ432は、能動領域が256ピクセル平方のCMOS画像センサである。個々のピクセルは8ミクロン平方であり、フィルファクタは50%である。
規定のピッチ範囲、ロール範囲及びヨー範囲にわたってすべての画像を首尾よく復号するために、焦点距離が公称6.069mmのレンズ436を使用して、物体平面(用紙1)から像平面(画像センサ432)へ適切なサンプリング周波数で画像が転送される。レンズ436は両凸レンズであり、最も湾曲した表面は非球面状で、画像センサ432と対向している。タグ4全体の収集を保証するために必要な最小画像化視野は、46.7sの直径を有しており(sはマクロドット間隔である)、表面コーディングと視野の間の任意のアライメントを可能にしている。マクロドット間隔sが127ミクロンである場合、必要な視野は5.93mmである。
光学システムの必要な近軸倍率は、8ミクロンピクセルの画像センサの場合、ペンの全規定傾斜範囲に対してマクロドット当たり2.0ピクセルの最小空間サンプリング周波数によって定義される。したがって画像化システムには、最小224×224ピクセルの画像センサ上の物体平面部分の視野の直径(5.93mm)に対する画像センサ部分の反転画像の直径(1.47mm)の比率である−0.248の近軸倍率が使用されている。しかしながら、製造公差に適応するために、画像センサ432は256×256ピクセルである。これにより、視野中の情報を何ら失うことなく、光軸と画像センサ軸の間の最大±256ミクロン(画像センサの平面内の個々の方向の32個のピクセル)の不整列が許容される。
レンズ436は、一般的には射出成形される光学コンポーネントのために使用されるポリメタクリル酸メチル(PMMA)でできている。PMMAは、引っ掻き傷に強く、また、1.49の屈折率を有しており、810nmにおける透過率は90%である。透過率は、両方の光学表面に反射防止コーティングを施すことによって98%まで大きくなる。また、これにより、最終画像コントラストの迷光劣化の原因になる表面反射が除去される。レンズ436は、成形精度を高くするために両凸レンズになっており、レンズと光学バレルアセンブリを正確に整合させるための取付け表面を特徴としている。被写界深度設計要求事項を提供するために、直径0.7mmの開口439が使用されている。
1.7 傾斜範囲
ペンの規定傾斜範囲は、−22.5°〜+45.0°ピッチであり、ロール範囲は、−45.0°〜+45.0°である。ペンをその規定範囲内で傾斜させることにより、傾斜した物体平面が焦点面から離れて最大5.0mm移動する。したがって規定開口は、15.7ミクロンの画像センサ部分における許容可能なぼやけ半径で、±5.0mmの対応する被写界深度を提供している。非対称ピッチ範囲に適応するために、光学系の焦点面は、用紙よりもペンの方に1.8mmだけ近くに置かれている。そうすることにより、必要な被写界深度内に最適焦点がより一層集中する。
光軸はニブ軸に対して平行である。ニブ軸が用紙に対して直角をなしている場合、ニブ軸に最も近い視野の縁とニブ軸自体の間の距離は2.035mmである。
ロングパスフィルタ417は、耐摩耗性に極めて優れ、また、アセトンなどの薬品に対する耐性が極めて優れた軽量熱硬化プラスチックであるCR−39でできている。これらの特性のため、フィルタ417は窓としても機能している。フィルタの厚さは1.5mmであり、屈折率は1.50である。レンズと同様、フィルタは90%の公称透過率を有しており、この透過率は、両方の光学面に反射防止コーティングを施すことによって98%まで大きくなる。個々のフィルタ417は、COレーザカッタを使用して大型シートから容易に切断することができる。
2 画像センサ及びレンズアライメント技法
光学バレル及び画像センサは、ネットページペンの中に取り付けるためにはそれらを組み合わせて単一の光学アセンブリにしなければならない。この節では、レンズに対する最良焦点位置に画像センサを配置するために使用される技法及び装置について説明する。発明の背景の節で説明したように、光学アセンブリは、異なるペングリップのポーズ範囲のため、大きい被写界深度(約5mm)を有していなければならない。画像プロセッサは、最大、特定の閾値まで画像ぼやけを処理することができる。この点に鑑みて、画像センサは、ペンの規定ポーズ範囲内で取り込まれる画像中のぼやけのレベルが閾値未満を維持するようにレンズに対して配置しなければならない。このタイプの既存の光学アセンブリ(Anoto社のライセンスの下で製造されている符号化センシングペンなど)の場合、画像センサ及びレンズの正確な位置決めは、精密な製造公差に頼ることによって達成されている。精度の高いコンポーネント及びアセンブリは、製造コストを釣り上げる。
2.1 概説
この節には、焦点測定方法の概説が示されている。焦点は、タグ復号化のために使用される画像の品質に対する大きな影響を有しており、したがってタグ複合化性能と直接的な相互関係を有している。特に、ネットページペン内の光学系は、タグが振られた表面を広範囲のペンポーズにわたって復号することができるよう、大きい被写界深度を提供しなければならない。
光学システムの焦点を測定するために、評価すべき光学構成を使用して画像が取り込まれ、且つ、知覚された画像データから焦点の質の度合いが導き出される。ネットページペン内の光学システムは、以下の方法を使用して精密にアセンブルされる。
1.光軸に沿った公称焦点位置から一定の範囲にわたってオフセットした位置に配置された光学系を使用して一組の画像が取り込まれる。
2.焦点の品質、即ち逆焦点外れつまりぼやけが画像毎に導き出される。
3.画像全体にわたる焦点の品質を表す曲線が焦点予測から構築される。
4.最良焦点の位置に対応する焦点曲線上の最大値の位置が見出される。
次に、このオフセットを使用して光学系が正確にアセンブルされる。この方法を有効なものにするためには、画像から焦点の品質を測定するための正確な技法が必要である。そのために、図19〜図21に示されている画像センサアライメントマシンが使用される。
2.2 X−Y平面アライメント
従来、光学アライメントに使用される座標系のZ軸は、レンズの光軸に沿って配置されている。焦点面は、X−Y平面に対して平行である。最初のステップとして、画像センサ432(図10参照)の中心がZ軸に整列される。画像センサPCB431(図10)に既に接着されている画像センサは、画像センサPCBホルダ108の中に配置されている。光学バレル438は、光学バレルホルダ110の中に固定されている。
マスク232(図15A及び図15B参照)は、光学バレルの末端に置かれている。画像センサは、マスク及び光学バレルを介して照明される。照明源112は、一様な照明のためのディフューザプレート118を介して照らしている。マスクは、図15Bに示されているように最適に心出しされた場合に、画像の隅が画像センサ432の隅に単に衝突するようにサイズ化されている。アライメントは、マスク232の画像によって遮られる画像センサの個々の隅の面積が同じ面積になるまで手動で実施される。
2.3 ターゲットパターン
焦点外れは、最良焦点ポイントから外れた光軸上のオフセットによって生じる光学収差である。通常、焦点外れは、いわゆる「低域通過」フィルタリング効果(即ちぼやけ)を有しており、画像の鮮鋭度及びコントラストを小さくしている。大きい形状又は広い面積などの空間周波数が低い画像の成分は、「フィルタ」を通過して認識可能な状態を維持し、一方、鮮鋭な縁及び微小パターンなどの空間周波数が高い成分は失われ、ぼやけによって本質的に「フィルタ除去」される。
ターゲットパターンは、画像中の焦点外れの程度を測定する場合にしばしば使用される。通常、パターンは、既知の広帯域周波数成分を有しており、したがって光学収差によって生じるより高い周波数成分の減衰を測定することができる。この技法には、スケールの変化に応じて実質的に一定である周波数成分を有するターゲット画像が使用されている。つまり、ターゲットとレンズ又はターゲットと画像センサが光軸上で互いに対して移動するため、広帯域周波数成分は(それほどには)変化しない。
2.3.1 ランダムターゲット
図16は、ランダム雑音ターゲット画像236を示したものである。ランダムパターンは、2値白色雑音画像から生成された。ターゲット中の任意の窓を画像化することにより、広帯域周波数成分が実質的に一定のパターンが得られる。
2.3.2 星形ターゲット
図17は、星形パターンターゲット238を示したものである。星形パターンは、中心点から放射状に展開している一組の黒(240)セグメント及び白(242)セグメントからなっており、個々のセグメントは、10°の角度で対している。星形パターンは、中心点の周りのスケールが不変であり、したがって光軸に沿った異なるオフセットで周波数成分が一定の画像が生成される。
2.4 焦点面アライメントのための画像センサ
ネットページペンの全ポーズ範囲にわたって許容可能な性能を提供するためには、画像センサを光学バレルに対してZ軸に沿って適切に整列させなければならない。整列が不適切であると、焦点外れによって光学アセンブリの性能が損なわれ、そのためにネットページペンの総合的な性能に直接影響することになる。
最良焦点ポイントを見出すために、光軸に沿った一定の範囲の並進を使用してターゲット画像(236又は238)の一組の画像が取り込まれる。ターゲット画像は、画像センサに対する視野全体を満たし、且つ、ターゲット画像が物空間焦点面の一方の側のある位置から物空間焦点面の反対側のある位置へ並進する際に、100ミクロンの増分で画像が連続的に取り込まれるように配置されている。
画像毎に高周波成分の振幅が測定され、オフセットと焦点外れの間の相互関係をモデル化する曲線が構築される。次に、曲線の最大を見出すことによって最良焦点の位置を予測することができる。最良焦点の位置と最良焦点の所望の位置との間の差を演繹し、且つ、この差を物空間から像空間に変換することにより、画像センサPCBを並進させなければならないZ軸オフセットが提供される。
画像中の焦点外れぼやけのレベルは、ターゲット画像の知覚された画像中の高周波エネルギーの比率から予測することができる。これを実施するための可能な方法の1つは、
1.画像の離散フーリエ変換を実施し、
2.フーリエ変換から画像の大きさスペクトルを計算し、
3.スペクトルを正規化して照明による変化を最小化し、
4.より高い周波数ビンに存在しているエネルギーの量を計算する
ことである。
図18は、この技法を使用して構築された曲線の一例である。画像センサ雑音、非一様な照明及び他の形態のひずみは、焦点外れの計算精度を悪くすることになり、したがって可能である場合は最小化しなければならないことに留意されたい。
画像センサPCBが適切に調整された位置に位置すると、画像センサが実際に適切な位置に位置していることを確認するために、ターゲットが任意選択で公称物空間焦点面へ移動され、且つ、画像サンプルが取り込まれて解析される。
画像センサPCBは、画像センサの中心の前側の表面の像空間位置がレンズの最良焦点の位置から±31ミクロン以内になるように調整される(±500ミクロンの最大物空間位置誤差に対応している)。これには、アライメントマシンによる処理における蓄積傾斜公差及び画像センサPCBに関連する公差によって導入されるX及びY平面内の±2°の総許容可能画像センサ傾斜は含まれていない。
3. マシンの説明
図19は、アライメントマシン100及びその主要コンポーネントの斜視図を示したものである。図20は正面図を示したものであり、また、図21は側面図を示したものである。
3.1 主要コンポーネント
垂直サポート122は、剛直ベース及び補強された垂直アームを提供しており、補強された垂直アームの上には他のコンポーネントの残りの部分が取り付けられている。垂直サポート122は、機械操作に先立って、光学ベンチなどの機械的な制動表面に堅固にボルト締めされる。
画像センサアライメントステージ101は、多数のコンポーネントからなっており、それらが相俟って画像センサPCBホルダアセンブリのX、Y及びZ方向の調整を可能にしている。また、これらは、光学バレルホルダ110へのアクセスのためのステージの後退を可能にしている。画像センサPCBホルダ108のX、Y及びZ方向の微調整を提供するために、積み重ねられた3つの並進ステージが使用されており、X調整及びY調整(それぞれ124及び106)には高分解能ねじが取り付けられており、一方、Z調整104には、バーニアスケールがミクロンである差動マイクロメートルねじが取り付けられており、このねじはバックラッシュが小さく、また、その調整範囲は少なくとも1000μmである。
個々の並進ステージは25mm移動し、その直線精度は少なくとも1ミクロンである。個々のステージは、バックラッシュを制御するために、対応するアクチュエータに予荷重を提供している。固定位置に位置していない場合に、積み重ねられたX、Y及びZ並進ステージ(それぞれ124、106及び126)並びに画像センサPCBホルダ108を光学バレルから遠ざかる方向に移動させるために、少なくとも30mm移動する第4のばね荷重ロード/アンロードステージ102が使用されている。このステージにより、光学バレルホルダ110に光学バレルを挿入することができ、また、完成した光学アセンブリを除去することができる。
ロード/アンロードステージ102がばね荷重力に逆らって下に向かってエンドストップまで移動し、且つ、固定されると、積み重ねられたX、Y及びZ並進ステージ並びに画像センサPCBホルダ108は、画像センサが公称アセンブリ位置からZ方向に±100ミクロン外れるように配置される。
光学バレルホルダ110に対する画像センサアライメントステージ(延いては画像センサPCBホルダ108)の初期アライメントは、Z軸の誤差が最大±50ミクロンになり、また、X軸及びY軸の周りの±1°未満の傾斜が維持されるよう、マシン較正の一環として調整される。
画像センサPCBホルダ108は、画像センサPCBの背面が光学バレルホルダ110の対応する面と整列している表面に対して平らに保持されるように画像センサPCBを固定している。画像センサPCBが接触する表面は、画像センサPCBの背面と一致するよう、平らで、且つ、剛直であり、また、この表面は、画像センサPCBが適切に配置されると、画像センサPCBと光学バレルの間に、にかわを加えることができるよう、画像センサPCBの縁へのアクセスを許容するように形状化されている。
画像センサPCBは、画像センサPCBと接触する表面に統合されている真空ピックアップによって画像センサPCBホルダ108に固定されている。真空は、真空ポート128を介して引き込まれる。また、アセンブリの間、回転アライメント及び追加安定性を提供するために、対応する孔(図10参照)を画像センサPCB431のハードセクション434に配置する4つのピン(図示せず)が提供されている。
ハードセクションを越えて延在している画像センサPCB431の、信号を担っている撓みPCBコンポーネント435は、画像センサPCBホルダ108内の通路によって案内されている。
画像センサPCB431は、画像取り込みPCB(図示せず)とインタフェースしている。必要な交換の前に、コンタクトが少なくとも100,000サイクルの接触及び開放をサービスするよう、ポゴピン又はZIF(ゼロ挿入力)ソケットによって高い信頼性で画像センサPCBと接触している。
画像取り込みPCBはPCにインタフェースし、以下の機能を提供している。
1.画像センサのリセット制御
2.画像センサ取り込みパラメータのプログラミング(露光時間、オフセット及び利得)
3.画像センサデータの取り込み及びPCへの取り込まれた画像センサデータの中継
4.画像取り込みのPC制御トリガリング及び対応するターゲット照明源の制御
画像取り込みPCBは、画像センサからの画像を取り込み、これらの画像を60fps以上でPCに転送している。
光学バレルホルダ110は、垂直サポートスタンド122に貼り付けられ、アライメント及びアセンブリプロセスが継続している間、光学バレル438を保持している。光学バレルホルダ110は、光学バレルの外部表面に対応するフィーチャ、つまり光学バレルの外部表面の円筒状部分と迎合する円筒セクション、及び対応するショルダアライメントフィーチャを光学バレルの上に正確に配置するアライメントフィーチャを有している。
光学バレル438は、真空ポート129を介して引き込まれる真空によって光学バレルホルダ110内の所定の位置に保持されている。光学バレル上のアライメントフィーチャから光学バレルホルダ110までの公差は、±10ミクロン以内に制御されている。
光学バレルホルダ110には、光軸に対する画像センサのアライメントで説明される、画像センサのX−Yアライメントを実施するために視野を制限するマスクが組み込まれている。
ターゲット並進ステージ114は、積み重ねられた2つの並進ステージ及びターゲット及び照明アセンブリ112のための取付けポイントを特徴としている。第1の並進ステージは、垂直サポートスタンド122に直接取り付けられており、Z方向の並進を提供している。この並進ステージは、ねじ調整を特徴としており、初期較正時間セットアップのための25mmの移動を提供している。自動化された第2の並進ステージは、第1の並進ステージの上に積み重ねられている。この並進ステージは、少なくとも30mmのZ方向の移動を提供しており、1つの方向における再現性は、少なくとも100ミクロン±10ミクロンである。較正されると、このステージは、公称焦点位置から+14.5mm離れた位置から、公称焦点位置から−14.5mm離れた位置まで5mm/sで移動し、これにより、物空間中の±7.5mmの蓄積公差(又は像空間中の±468ミクロンの蓄積公差)を考慮するための余分の移動を含めて、+7mm〜−7mmの焦点外れ対オフセット曲線を取り込むことができる。このステージの運動はPCによって制御される。セットアップ時間較正の間、第1の較正ステージは、ターゲットホルダ116内に位置しているターゲットが、光学バレルホルダ110の底面のマスクから31.25mm±50ミクロンの位置に位置するよう、自動化された第2の並進ステージのホームゼロポイントを調整するために使用される。また、ターゲットホルダ116内に位置しているターゲット236又は238(図16及び図17参照)は、光学バレルホルダ110の底面に対して、X軸及びY軸の両方の周りに±1°未満の角度に設定される。
ターゲット及び照明アセンブリ112は、焦点を調整するための固定された一様な雑音ターゲット236又は238を組み込んだターゲット並進ステージ114上の対応する取付けポイントに取り付けられている。照明源120及び拡散板118によって拡散照明が提供される。ターゲット照明源は、一様な雑音ターゲットの背面透過拡散照明を提供している。照明源は、中心周波数が810nm、半最大帯域幅が±5nmの出力を提供している。ターゲット照明は、センサが見ることができるターゲット部分内では一様でなければならない。
焦点調整ターゲットは、ターゲット及び照明アセンブリ112に固定されており、且つ、光学バレルホルダ内に位置している光学バレルの光軸上に中心が置かれている。
画像センサPCBと光学バレルの間に接着剤を加え、引き続いてUV硬化スポットランプを使用して硬化させるために、圧縮空気接着剤ディスペンサがオペレータのために提供されている(図示せず)。接着剤ディスペンサは、UV硬化性接着剤を引き渡すための注入器及び微小ボア針を備えている。UV硬化スポットランプは、加えられた接着剤を硬化させるために供給されており、3ポールスプリットライトガイド103を備えている。ライトガイドの出力部は、1つのポールを光学アセンブリの3つのアクセス可能な縁(つまりフレックスが出現する縁を除く)の各々に導くアセンブリに結合されており、したがって画像センサPCB及び光学バレルに加えられる接着剤の3つのビーズを同時に硬化させることができる。
フレックスが出現する縁の画像センサPCB及び光学バレルに加えられた接着剤のビーズを硬化させるために、第2のハンドヘルドUV硬化スポットランプ(図示せず)が供給されている。接着剤硬化プロセスの間に放出されるUV−Aからオペレータを保護するための適切な遮蔽が提供されている(図示せず)。
ケーブル103は、ターゲット並進ステージの運動制御、非常停止知覚、画像取り込みPCBへのインタフェース、画像解析及びオペレータGUI表示を提供しているPCに接続されている。ターゲット並進ステージは、シリアルインタフェースによってPCにインタフェースしている運動コントローラに接続されている。必要な制御信号は、PC上で実行されるソフトウェアによって、オペレータGUIから選択されるアセンブリの現行の状態に応じて提供される。
マシンのための非常停止ボタン入力もPCに入力を提供しており、起動されると、非常停止ボタンをリセットし、引き続いてオペレータGUIによって再初期化することによってシステムが明確にリセットされるまでの間、ターゲット並進ステージのあらゆる運動が停止する。
オペレータGUIは、
マシンリセット
マシン初期化
マシン構成
取り込まれた画像の表示
オペレーションシーケンスのアセンブリ制御
を提供している。
3.2 操作手順
光学アセンブリのアライメント及びアセンブリは、多数のステージで実施される。これらのステージの各々は、実施される操作毎の予測経過時間と共に、以下の節の中で要約されている。熟練した一人のオペレータがマシンを使用して完全なアセンブリプロセスを実施する場合の部品毎の総アセンブリ時間は、合計で2分未満であり、実際の予測値は約71秒である。
3.2.1 部品ローディング
1.オペレータが光学バレルを光学バレルホルダの中に置く。(2秒)
2.オペレータが画像センサ撓みPCBを画像センサPCBホルダアセンブリに取り付ける。(3秒)
3.オペレータが画像センサ撓みPCBを画像取り込みPCBに接続する。(5秒)
4.オペレータが積み重ねられたZ画像センサアライメントステージを粗マイクロメートル調整を使用して公称位置へ調整し、且つ、微マイクロメートル調整をリセットする。(4秒)
5.オペレータが画像センサアライメントステージを下に向かって所定の位置へ移動させ、且つ、ステージを所定の位置で固定する。(2秒)
6.オペレータが画像センサ撓みコネクタ及び画像取り込みPCBの電力をオンする。(2秒)
合計18秒である。
3.2.2 画像センサX−Yアライメント
1.表示された画像が適切に整列するまで、オペレータが積み重ねられたX及びY画像センサアライメントステージを調整する(7秒)。
合計7秒である。
3.2.3 画像センサZアライメント
1.焦点調整画像取り込み及び画像処理を開始するために、PCによって提供されたオペレータGUIをオペレータが使用する。(2秒)
2.PCがターゲット並進ステージを必要な範囲全体にわたって移動させ、0.1mm移動する毎に画像を取り込む。(6秒)
3.PCが最良焦点ポイントを計算する。(1秒)
4.PCが画像センサPCBの現在位置からの必要な変位を表示する。
5.必要な変位を達成するために、オペレータが積み重ねられたZ画像センサアライメントステージをマイクロメートル調整を使用して調整する。(3秒)
合計12秒である。
3.2.4 アセンブリ パートI
1.オペレータがにかわディスペンサを使用して、にかわのビーズが画像センサPCB及び光学バレルの両方と接触するよう、画像センサPCBの3つのアクセス可能面に沿ってにかわのビーズを配置する(フレックスが出現するPCBの面がアセンブリ パートIIでにかわ付けされる。以下参照)。(2秒×3面=6秒)
2.硬化インターバルの間、オペレータがUV硬化スポットランプを点灯する。(5秒)
合計11秒である。
3.2.5 部品アンローディング
1.オペレータが画像センサ撓みコネクタ及び画像取り込みPCBの電力をオフする。(2秒)
2.オペレータが画像センサフレックスを画像センサ撓みコネクタ及び取り込みPCBから開放する。(5秒)
3.オペレータが画像センサアライメントステージの固定を解除し、静止位置への上に向かうその移動を許容する。(2秒)
4.オペレータが完成した光学アセンブリを光学バレルホルダから再度移動させ、それを一時保持トレー(図示せず)の中に置く。(2秒)
合計11秒である。
3.2.6 アセンブリ パートII
1.オペレータが整列した光学アセンブリを一時保持トレーから再度移動させ、光学アセンブリをクランプの中に置く。(2秒)
2.オペレータがにかわディスペンサを使用して、にかわのビーズが画像センサPCB及び光学バレルの両方と接触するよう、画像センサPCBの残りの面(フレックスが出現する面)に沿ってにかわのビーズを配置する。(3秒)
3.オペレータが、硬化インターバルの間、ハンドヘルドUV硬化ランプを使用してにかわを硬化させる。(5秒)
4.オペレータが光学アセンブリをクランプから再度移動させ、それを完成部品トレーの中に置く。(2秒)
合計12秒である。
4.0 焦点測定方法の評価
多数の異なる焦点測定方法が存在している。これらの方法によって得られる結果を比較すると、以下の計量が使用される。
4.1 精度
焦点測定方法の最も重要な特徴は、この方法により、正しい結果が得られることである(つまり焦点曲線の最大値が最良焦点の位置に対応している)。この計量は、最良焦点の位置が未知である場合(例えばコンピュータによって模擬された画像ではなく、実画像の場合)、或いはすべての方法による結果が同じである場合は有効ではない。
4.2 曲線の鮮鋭度
鮮鋭なピークを生成している焦点曲線は、良好に焦点が合った画像と良好に焦点が合っていない画像と焦点測定が正確に差別していることを示唆している。また、この測定は、バイアス化即ちオフセット効果に対してそれほど敏感ではないようであり、ピークがより滑らか(より平ら)な曲線の場合より、より正確な最大位置の予測を間違いなく可能にしている(例えば補間を使用して)。
4.3 単調性
焦点測定は、試験される範囲全体にわたって単調でなければならず、また、連続する測定と測定の間で滑らかに変化しなければならない。そうでない場合、システムの真の焦点性能に対するあいまいさが存在することになる。
4.4 雑音に対する頑健性
焦点測定は雑音に対して頑健でなければならず、つまり、得られる結果の精度は、画像中の雑音の量に対して敏感であってはならない。
4.5 潜在的な問題
焦点を測定する場合に生じる可能性のある多くの潜在的な問題が存在している。
4.5.1 固定ターゲット解像度
ターゲットパターンは、通常、焦点を測定している間、固定位置に存在している。光学システムを光軸に沿ってオフセットさせることにより、光学系とターゲットパターンの間の距離が変化する。そのために延いてはパターンの実効解像度が変化する。画像化されるターゲットパターンの周波数成分は、すべての画像全体にわたって一定ではないため、パターンの実効解像度が変化すると焦点測定に誤差が生じることになる。
4.5.2 雑音
ターゲットパターンに加えて、取り込まれる画像にも付加的雑音が含まれている(例えば画像センサ雑音、表面劣化)。この雑音により、場合によっては焦点測定の精度が低下し、また、焦点曲線中の最大値の位置を移動させる可能性のあるバイアスが導入されることがある。
4.5.3 照明
ターゲットパターン全体の照明は、個々の画像内で可能な限り一様でなければならない。焦点測定のために使用されるすべての画像は、同様のレベルの照明を有していなければならない。それは、多くの焦点測定技法は、照明によって変化する信号エネルギーレベルを測定していることによるものである。
5. 試験データ
焦点試験は、模擬画像及び実画像の両方に対して実施された。個々の試験セットは、取り込まれた又は模擬された画像からなっており、光学システムは、公称位置から−7mm〜7mmの範囲にわたって0.5mmの増分でオフセットされた。特に明記されていない限り、ランダムターゲットパターン(図16のターゲット236参照)が使用された。
試験画像の追加セットは、星形パターン238(図17参照)を使用して生成され、光学システムは、公称位置から−1.5mm〜1.5mmの範囲にわたって0.1mmの増分でオフセットされた。この追加データセットの目的は、焦点測定方法の精度及び雑音感度のより正確な評価を可能にすることである。
5.1 模擬画像
模擬画像は、NPP6−2B光学設計を使用してZemaxソフトウェアによって生成された。米国Washington州のZemax Development Corporationは、光学システム設計のための、評判がよく、且つ、広範囲に使用されているソフトウェアを開発している。これらの画像のための真の焦点構成は既知であるため、ほとんどの焦点測定試験は、模擬画像を使用して実施された。
5.2 実画像
実画像は、NPP6−1−0251を使用して取り込まれた。機械的アセンブリの公差及び不正確性のため、このデバイス(及び他の同様のデバイス)の真の焦点を知ることはできず、したがってこのデータセットに対する焦点測定技法の精度を評価することはできない。
5.3 相違
模擬画像と実画像の間には多くの相違がある。
5.3.1 周波数成分
模擬画像の周波数成分が焦点測定オフセットの範囲全体にわたってプロットされ、且つ、焦点測定オフセットの範囲全体にわたって実画像の周波数成分と比較された。比較の結果、模擬画像には存在しない低域通過効果が実画像には存在することが分かった。実画像は、高い周波数における周波数成分振幅の著しい減衰を示している。
6.0 焦点測度
多くの異なる焦点測定方法が可能である。縁効果及び視野効果を最小化するためには、すべての測定を画像センサ内のピクセルの中央窓に対して実施しなければならない。この実施形態では、画像センサからの個々の画像の中心に位置している128×128ピクセル窓がすべての測定に対して使用されている。
焦点測定方法は、大きく3つのカテゴリに分類することができる。
1.周波数に基づく方法
2.勾配に基づく方法
3.統計的方法
の3つである。
6.1 周波数に基づく方法
周波数に基づく焦点測定方法には、画像中の周波数成分を抽出するための変換が使用されている。焦点外れは低域通過フィルタリング効果を有しているため(上で説明済み)、画像中の高周波成分の量を焦点の品質の予測値として使用することができる。
高周波成分は、次の技法を使用して測定することができる。
(1) 合計 高周波成分中のエネルギーは、特定の閾値より高い周波数に対するエネルギーを合計することによって予測される。
(2) エントロピー エントロピーを使用して分布の一様性(つまり平滑性)が測定される。良好に焦点が合った画像は、より高い周波数成分を含むことになり、スペクトルをより平らにし、したがってより高いエントロピー測値を有することになる。
6.1.1 離散フーリエ変換
高速フーリエ変換(FFT)は最も一般的な離散フーリエ変換である。測定窓の中の個々の行及び個々の列のFFTを結合することにより、画像のための一次元スペクトルが得られる。次に、周波数成分の大きさを使用して焦点が予測される。
FFTを使用する場合の潜在的な問題は、変換すべき信号が周期信号であることが仮定されていることである。しかしながら、焦点測定のために使用される画像中のデータのブロックは周期信号ではなく、したがって反復信号中で階段状になることがある。この不連続性は、広帯域周波数成分を有することになり、そのためにスペクトルがリークし、信号エネルギーが広い周波数範囲にわたって不鮮明になる。
この影響を最小化するために、通常、変換に先立って個々のブロックに窓関数が適用される。この窓による影響は、信号中の個々の周波数成分の両側にサイドローブが誘導され、そのために周波数分解能が損失することである。しかしながら、このサイドローブによる影響の重大性は、通常、スペクトルリークによる影響の重大性よりはるかに小さく、したがって一般的には窓を使用することが有利である。
6.1.2 離散余弦変換
離散余弦変換(DCT)は、エネルギー圧縮特性を提供し、また、変換に境界条件が暗に含まれている離散フーリエ変換に対する代替である(DCT変換の場合、通常、窓関数は使用されない)。この実施形態では、測定窓の中の個々の行及び個々の列のDCTを結合することによって単一の一次元パワースペクトルが生成され、次にこの一次元パワースペクトルを使用して、周波数成分測定方法を使用して焦点が予測される。
6.2 勾配に基づく方法
勾配に基づく技法には、画像の鮮鋭度を予測するために空間領域勾配情報が使用されている(即ち縁検出)。
6.2.1 ラプラシアン
ラプラシアン演算子は、画像中のピクセル値の二次導関数を計算する。これは、通常、知覚される画像中のより高い周波数成分の比率を大きくするための高域通過フィルタとして作用するラプラス核を使用して画像を合成することによって実施される。フィルタリングされた画像中のエネルギーが計算され、フィルタリングされた画像中のエネルギーが大きいほど、より良好な焦点を表している。
6.3 統計的方法
画像のピクセル−値ヒストグラムは、確率分散と見なすことができ、統計的測度を使用して解析することができる。
6.3.1 標準偏差
ピクセル−値分散の標準偏差を使用して画像中の焦点の品質を予測することができる。良好に焦点が合った画像にはより広い動的範囲が含まれており、したがってより高いピクセル−値標準偏差を有している。
7.0 結果
以下は、模擬画像及び実画像に対する焦点測定の結果を要約したものである。
7.1 焦点測定
焦点測定技法は、すべて、最良焦点の位置を正確に識別した。つまり、生成された焦点曲線の最大は、模擬画像の場合、すべて0mmオフセットの位置に存在した(これは、模擬画像の場合、最良焦点の既知の位置である)。しかしながら、ラプラシアンは最も鮮鋭なピークを生成し、この方法は、良好に焦点が合った画像と良好に焦点が合っていない画像を最も良好に差別することができることを示した。
周波数方式の場合、FFT sum−of−high−frequency−energy方式は、極めて平らなピークを有する曲線を生成したエントロピー方式より良好に機能した。DCT方式は良好に機能せず、広くて平らな焦点曲線を生成した。標準偏差方式に対する焦点曲線は滑らかではなく、この測定方法は、場合によってはとりわけ不正確であることを示唆している。
引き続く試験に対しては、最も良好に機能する2つの測定方法(ラプラシアン及びFFT−sum)が使用された。
7.2 雑音
焦点測定方法に対する雑音の影響を試験するために、付加白色ガウス雑音が模擬画像に加えられた。この雑音は、ラプラシアン方式に対してはほとんど影響を及ぼさなかったが、FFT方式は著しくその影響を受けた。FFT曲線中のより鮮鋭なピークは、この方法が付加雑音を高周波成分として識別するのに失敗したことを示している。
7.3 ターゲットパターン
ランダムパターン及び星形パターンを使用した模擬画像に対する焦点測定の結果を比較すると、星形パターン238(図17参照)は、ラプラシアン方式及びFFT方式の両方を使用して、ほんの少しだけより鮮鋭なピークを生成したことを示した。これは、かろうじてより正確に焦点を測定することができることを示している。
興味深いことには、ランダムパターン236(図16参照)に対する焦点測定曲線は、変化する周波数成分によるオフセット又はスキューを示していない。これは、ランダムパターンが固定分解能効果の問題を抱えていないことを示している。
7.4 精度測定
測定技法は、すべて、最も鮮鋭な焦点曲線を生成するラプラシアンを使用して最適焦点の位置を正確に見出した。雑音の影響を試験するために、付加白色ガウス雑音が画像に加えられ、且つ、焦点測定が繰り返された。雑音によってグラフの滑らかさが減少し、また、ラプラシアン方式及びFFT方式の両方の最適焦点の位置決めに誤差が導入される。
7.5 実画像
上で説明したように、実画像に対する真の焦点は、模擬画像の場合と同様に未知である。しかしながら、上で説明したすべての焦点測定技法(ラプラシアン、FFT−sum、FFT−entropy、DCT及び標準偏差)を使用すると、最良焦点の異なるポイントの変化は比較的小さく、個々の技法が合理的に正確であることを示している。
7.6 曲線当てはめ
補間を使用して、一組のサンプルポイントによって表される曲線に対する正確な最大値を見出すことができる。そのために、補間関数がサンプルに当てはめられ、関数の最大値の位置が見出される。通常、補間関数として多項式が使用され、多項式の導関数の根を見出すことによって最大値が見出される。
多項式をサンプルに当てはめる場合、その多項式の次数が基礎をなしている曲線を正確に表すことになる。次数が低すぎると、曲線は大きい残留誤差を有することになり、ポイントを正確に当てはめることができなくなる。しかしながら、次数が高すぎると、曲線はポイントを過剰当てはめすることになり、そのために最大が適切ではなくなることがある。試験の結果は、実画像から生成されたFFT−sum曲線に対して多くの異なる多項式を使用して計算された最大焦点オフセットは、使用される多項式の次数に応じて著しく変化することがあることを示している。したがって補間を実施する場合、サンプルポイントは、可能な限り小さい雑音を有していなければならず、また、適切な補間関数を選択しなければならない。
8.0 結論
模擬画像の場合、ラプラシアン方式は、他の方式より若干良好であり、雑音に対する比較的小さい感度で鮮鋭なピークを生成する。一方、焦点測定方法は、雑音に対して極めて寛容であり、雑音によって焦点位置測定の精度が低下するようである。
星形パターンは、焦点を測定するためにはランダムパターンより若干良好である。しかしながら、このパターンを実際の焦点測定のために使用するためには、この星形パターンは、X−Yを焦点測定窓の中心に置かなければならない。ターゲットは、光学系に対して正確に配置しなければならないか、或いは焦点測定窓の正しい位置を見出すことができるよう、星形パターンの中心が検出されるものでなければならない。
実画像に対する結果の変化は、多くの焦点測定方法を使用し、且つ、結果を組み合わせて単一の最適焦点位置を生成することによって処理することができる。この組合せ方法は、どのような単一の測定方法においても、誤差又はバイアスに対してそれほど敏感ではないようである。
以上、本発明について、本明細書において単なる実施例によって説明した。当業者には、広義の本発明の概念の精神及び範囲を逸脱しない多くの変形形態及び修正が認識されよう。

Claims (18)

  1. 光軸を備えたレンズに対する最良焦点ポイントに画像センサを位置決めする方法であって、
    前記光軸に沿った複数の位置へ前記画像センサを移動させるステップと、
    前記画像センサを使用して、前記複数の位置の各々で前記レンズを通してターゲット画像の画像を取り込むステップと、
    前記画像センサから出力されるピクセルデータから、前記複数の位置の各々で取り込まれた前記画像中のぼやけの度合いを導き出すステップと、
    ぼやけと前記光軸に沿った前記画像センサの位置との間の相互関係を導き出すステップと、
    最良焦点ポイントとして前記相互関係によって示される前記光軸上の位置へ、前記画像センサを移動させるステップと、
    前記画像センサを前記レンズに対し固定するステップと、
    を含む方法。
  2. 前記画像センサによって前記複数の位置の各々で取り込まれる前記画像中のぼやけの度合いを導き出す前記ステップが、前記ターゲット画像中の高周波成分の比率をぼやけの度合いとして導き出すステップ、を含む、請求項1に記載の方法。
  3. 前記高周波成分の比率が、前記画像センサによって知覚される周波数成分のうち周波数閾値より高い周波数成分の振幅の総和によって予測される、請求項2に記載の方法。
  4. 前記取り込まれた画像から周波数成分振幅の分散が、決定され、
    前記分散のエントロピーが、決定され、前記取り込まれた画像の各々に対する前記高周波成分の比率として使用される、請求項2に記載の方法。
  5. 前記高周波成分の比率が、
    前記画像センサからのピクセルの選択に対して高速フーリエ変換を実施し、前記ピクセルの選択の周波数成分の大きさを計算することによって、
    決定される、請求項2に記載の方法。
  6. 前記ピクセルの選択が前記画像センサからの前記ピクセルの窓であり、
    前記ピクセルが行及び列のアレイ形式で存在し、
    個々の行及び列の前記高速フーリエ変換が一次元スペクトルに結合される、請求項5に記載の方法。
  7. 前記高周波成分の比率が、
    前記画像センサからのピクセルの選択に対して離散余弦変換を実施し、前記ピクセルの選択の周波数成分の大きさを計算することによって、
    決定される、請求項2に記載の方法。
  8. 前記画像センサによって前記複数の位置の各々で取り込まれる前記画像中のぼやけの度合いを導き出す前記ステップは、
    任意の縁の鮮鋭度を予測するために、前記画像センサによって知覚されたピクセルからの空間領域勾配情報を使用するステップ、を含む、請求項1に記載の方法。
  9. 前記空間領域勾配情報が、前記取り込まれた画像からのピクセル値の二次導関数である、請求項8に記載の方法。
  10. 前記二次導関数が、ラプラス核を用いて、前記取り込まれた画像のピクセルを合成することによって、決定される、請求項9に記載の方法。
  11. 前記画像センサによって前記複数の位置の各々で取り込まれる前記画像中のぼやけの度合いを導き出す前記ステップは、
    前記画像センサによって知覚されたピクセルからのピクセル値のヒストグラムを編集して、より高い標準偏差がより良好な焦点を示すようにピクセル値分散の標準偏差を計算することによって、ピクセル値分散を生成するステップ、
    を含む、請求項1に記載の方法。
  12. 前記複数の位置の各々に対して導き出されたぼやけの前記度合いに補間関数を適用するステップ、をさらに含む、請求項1に記載の方法。
  13. 前記補間関数が多項式であり、多項式関数の導関数の根を見出すことによって前記多項式の最大値が決定される、請求項12に記載の方法。
  14. 前記ターゲット画像が、前記画像センサが前記光軸に沿って移動する際のスケールでは変化しない周波数成分を有する、請求項1に記載の方法。
  15. 前記ターゲット画像が一様な雑音パターンである、請求項14に記載の方法。
  16. 前記一様な雑音パターンが2値白色雑音パターンである、請求項15に記載の方法。
  17. 前記ターゲット画像が、中心点から放射しているセグメントのパターンである、請求項14に記載の方法。
  18. 光軸を有するレンズに対して最良焦点の位置で画像センサを光学的に整列させるための装置であって、
    前記画像センサを取り付けるためのセンサステージと、
    前記レンズを取り付けるための光学ステージと、
    ターゲット画像のためのターゲットマウントと、
    前記レンズ及び前記画像センサを最良焦点の前記位置で固定するための固定デバイスと、
    前記画像センサによって取り込まれた画像を受け取るためのプロセッサと、
    を備え、
    前記センサステージ及び前記光学ステージが、
    前記画像センサが前記光軸に沿って複数の位置へ移動し、前記画像センサが前記複数の位置の各々で前記レンズを通して前記ターゲットの画像を取り込むように互いに対して変位するように構成され、
    前記プロセッサが、
    前記取り込まれた画像中の高周波成分の比率の測度を提供して、前記測度が最大になる最良焦点の前記位置を見出すように構成された、
    装置。
JP2011527159A 2008-09-26 2009-09-25 光学アセンブリと画像センサを整列させるための方法及び装置 Pending JP2012503368A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10026608P 2008-09-26 2008-09-26
US61/100,266 2008-09-26
PCT/AU2009/001271 WO2010034064A1 (en) 2008-09-26 2009-09-25 Method and apparatus for alignment of an optical assembly with an image sensor

Publications (1)

Publication Number Publication Date
JP2012503368A true JP2012503368A (ja) 2012-02-02

Family

ID=42057019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011527159A Pending JP2012503368A (ja) 2008-09-26 2009-09-25 光学アセンブリと画像センサを整列させるための方法及び装置

Country Status (6)

Country Link
US (1) US20100079602A1 (ja)
EP (1) EP2331998A4 (ja)
JP (1) JP2012503368A (ja)
KR (1) KR20110074752A (ja)
TW (1) TW201023000A (ja)
WO (1) WO2010034064A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI479372B (zh) * 2012-07-27 2015-04-01 Pixart Imaging Inc 光學位移偵測裝置及方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101643607B1 (ko) * 2009-12-30 2016-08-10 삼성전자주식회사 영상 데이터 생성 방법 및 장치
US8760563B2 (en) * 2010-10-19 2014-06-24 Hand Held Products, Inc. Autofocusing optical imaging device
US8692927B2 (en) 2011-01-19 2014-04-08 Hand Held Products, Inc. Imaging terminal having focus control
EP2645701A1 (en) * 2012-03-29 2013-10-02 Axis AB Method for calibrating a camera
KR101915193B1 (ko) * 2012-04-24 2018-11-05 한화테크윈 주식회사 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템
TWM439848U (en) * 2012-06-08 2012-10-21 Abbahome Inc Input device and Bluetooth converter thereof
US10642376B2 (en) * 2012-11-28 2020-05-05 Intel Corporation Multi-function stylus with sensor controller
JP5983779B2 (ja) * 2013-01-07 2016-09-06 株式会社島津製作所 ガス吸収分光装置及びガス吸収分光方法
US9286703B2 (en) 2013-02-28 2016-03-15 Microsoft Technology Licensing, Llc Redrawing recent curve sections for real-time smoothing
US9196065B2 (en) 2013-03-01 2015-11-24 Microsoft Technology Licensing, Llc Point relocation for digital ink curve moderation
US9330309B2 (en) * 2013-12-20 2016-05-03 Google Technology Holdings LLC Correcting writing data generated by an electronic writing device
WO2018000333A1 (en) 2016-06-30 2018-01-04 Intel Corporation Wireless stylus with force expression capability
CN107707822B (zh) * 2017-09-30 2024-03-05 苏州凌创电子系统有限公司 一种在线式摄像模组主动调焦设备及方法
US10621718B2 (en) * 2018-03-23 2020-04-14 Kla-Tencor Corp. Aided image reconstruction
US10649550B2 (en) 2018-06-26 2020-05-12 Intel Corporation Predictive detection of user intent for stylus use
CN109557631B (zh) * 2018-12-28 2024-01-30 江西天孚科技有限公司 一种预加热调芯设备
US20230204455A1 (en) * 2021-08-13 2023-06-29 Zf Active Safety And Electronics Us Llc Evaluation system for an optical device
TWI779957B (zh) * 2021-12-09 2022-10-01 晶睿通訊股份有限公司 影像分析模型建立方法及其影像分析設備

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193766A (ja) * 1993-12-27 1995-07-28 Toshiba Corp 画像情報処理装置
JP2001036799A (ja) * 1999-07-23 2001-02-09 Mitsubishi Electric Corp 固定焦点型撮像装置の光学レンズ位置調整法およびその方法にかかるプログラムを記録したコンピュータ読み取り可能な記録媒体並びに固定焦点型撮像装置の光学レンズ位置調整装置
JP2006050497A (ja) * 2004-08-09 2006-02-16 Casio Comput Co Ltd 画像撮影装置及び画像処理システム
JP2006115446A (ja) * 2004-09-14 2006-04-27 Seiko Epson Corp 撮影装置、及び画像評価方法
JP2007047586A (ja) * 2005-08-11 2007-02-22 Sharp Corp カメラモジュールの組立調整装置および組立調整方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62225092A (ja) * 1986-03-26 1987-10-03 Sharp Corp 固体撮像素子のデフオ−カス量測定装置
US5003165A (en) * 1989-05-25 1991-03-26 International Remote Imaging Systems, Inc. Method and an apparatus for selecting the best focal position from a plurality of focal positions
JP2833169B2 (ja) * 1990-07-18 1998-12-09 日本ビクター株式会社 撮像装置
GB2258968B (en) * 1991-04-17 1994-08-31 Gec Ferranti Defence Syst A method of fixing an optical image sensor in alignment with the image plane of a lens assembly
JPH07177527A (ja) * 1993-12-16 1995-07-14 Sony Corp 多板式電子カメラのオートフォーカス調整装置
US5969760A (en) * 1996-03-14 1999-10-19 Polaroid Corporation Electronic still camera having mechanically adjustable CCD to effect focus
KR100429858B1 (ko) * 1997-05-21 2004-06-16 삼성전자주식회사 적응적 필터를 이용한 촛점 조절장치 및 방법
US6381013B1 (en) * 1997-06-25 2002-04-30 Northern Edge Associates Test slide for microscopes and method for the production of such a slide
US6836572B2 (en) * 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
US7039252B2 (en) * 1999-02-25 2006-05-02 Ludwig Lester F Iterative approximation environments for modeling the evolution of an image propagating through a physical medium in restoration and other applications
US20020012063A1 (en) * 2000-03-10 2002-01-31 Olympus Optical Co., Ltd. Apparatus for automatically detecting focus and camera equipped with automatic focus detecting apparatus
EP1297688A4 (en) * 2000-04-21 2003-06-04 Lockheed Corp DOUBLE TELECENTRIC CATADIOPTRIC OPTICAL SYSTEM WITH EXTENDED DEPTH AND EXTENDED FIELD FOR DIGITAL IMAGING
US6727115B2 (en) * 2001-10-31 2004-04-27 Hewlett-Packard Development Company, L.P. Back-side through-hole interconnection of a die to a substrate
DE10202163A1 (de) * 2002-01-22 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge
US7319487B2 (en) * 2002-04-10 2008-01-15 Olympus Optical Co., Ltd. Focusing apparatus, camera and focus position detecting method
US6902872B2 (en) * 2002-07-29 2005-06-07 Hewlett-Packard Development Company, L.P. Method of forming a through-substrate interconnect
US7236310B2 (en) * 2002-09-13 2007-06-26 Carl Zeiss Ag Device for equalizing the back foci of objective and camera
JP4181886B2 (ja) * 2002-09-30 2008-11-19 キヤノン株式会社 ズームレンズの制御装置および撮影システム
JP2004297751A (ja) * 2003-02-07 2004-10-21 Sharp Corp 合焦状態表示装置及び合焦状態表示方法
KR100547998B1 (ko) * 2003-02-10 2006-02-01 삼성테크윈 주식회사 촬영 상태가 부적절하였음을 알려주는 디지털 카메라의제어방법
US20050219553A1 (en) * 2003-07-31 2005-10-06 Kelly Patrick V Monitoring apparatus
JP2005309323A (ja) * 2004-04-26 2005-11-04 Kodak Digital Product Center Japan Ltd 撮像用焦点距離検出方法及び撮像装置
JP2006023331A (ja) * 2004-07-06 2006-01-26 Hitachi Maxell Ltd 自動合焦装置、撮像装置及び合焦位置検出方法
US7598996B2 (en) * 2004-11-16 2009-10-06 Aptina Imaging Corporation System and method for focusing a digital camera
KR100691245B1 (ko) * 2006-05-11 2007-03-12 삼성전자주식회사 휴대단말의 렌즈 위치오차 보정방법
KR100801088B1 (ko) * 2006-10-02 2008-02-05 삼성전자주식회사 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법
US7794613B2 (en) * 2007-03-12 2010-09-14 Silverbrook Research Pty Ltd Method of fabricating printhead having hydrophobic ink ejection face
WO2009103342A1 (en) * 2008-02-22 2009-08-27 Trimble Jena Gmbh Angle measurement device and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193766A (ja) * 1993-12-27 1995-07-28 Toshiba Corp 画像情報処理装置
JP2001036799A (ja) * 1999-07-23 2001-02-09 Mitsubishi Electric Corp 固定焦点型撮像装置の光学レンズ位置調整法およびその方法にかかるプログラムを記録したコンピュータ読み取り可能な記録媒体並びに固定焦点型撮像装置の光学レンズ位置調整装置
JP2006050497A (ja) * 2004-08-09 2006-02-16 Casio Comput Co Ltd 画像撮影装置及び画像処理システム
JP2006115446A (ja) * 2004-09-14 2006-04-27 Seiko Epson Corp 撮影装置、及び画像評価方法
JP2007047586A (ja) * 2005-08-11 2007-02-22 Sharp Corp カメラモジュールの組立調整装置および組立調整方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI479372B (zh) * 2012-07-27 2015-04-01 Pixart Imaging Inc 光學位移偵測裝置及方法

Also Published As

Publication number Publication date
KR20110074752A (ko) 2011-07-01
TW201023000A (en) 2010-06-16
EP2331998A4 (en) 2012-05-02
WO2010034064A1 (en) 2010-04-01
EP2331998A1 (en) 2011-06-15
US20100079602A1 (en) 2010-04-01

Similar Documents

Publication Publication Date Title
JP2012503368A (ja) 光学アセンブリと画像センサを整列させるための方法及び装置
US8548317B2 (en) Different aspects of electronic pens
US8360669B2 (en) Retractable electronic pen with sensing arrangement
US8462255B2 (en) Lens barrel, image pickup device, and lens barrel manufacturing method
TWI387902B (zh) 光學導向裝置及光學導向方法
US20240095944A1 (en) Photosensor processing for improved line scanner performance
US20080180669A1 (en) Apparatus for checking concentricity between lens barrel and barrel holder
KR102185942B1 (ko) 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜
TW201911114A (zh) 光學資訊讀取裝置及光學資訊讀取裝置的製造方法
TWI482993B (zh) 使用具防鎖特徵、均勻力量分佈及震動傷害防止方法旋轉致動器之縮放模組
JP2005156524A (ja) 光学素子の光軸検出方法
WO2015173399A1 (en) Drift compensation / optical absolute referencing
US7701565B2 (en) Optical navigation system with adjustable operating Z-height
CN115190215A (zh) 一种便携式镜框扫描仪
CN1916937A (zh) 集成一体化活体指纹采集仪

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121211

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130314