JP2010506333A - 2次元スキャナを使用して3次元構造を取得する方法 - Google Patents

2次元スキャナを使用して3次元構造を取得する方法 Download PDF

Info

Publication number
JP2010506333A
JP2010506333A JP2009532408A JP2009532408A JP2010506333A JP 2010506333 A JP2010506333 A JP 2010506333A JP 2009532408 A JP2009532408 A JP 2009532408A JP 2009532408 A JP2009532408 A JP 2009532408A JP 2010506333 A JP2010506333 A JP 2010506333A
Authority
JP
Japan
Prior art keywords
image
scanner
scan
images
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009532408A
Other languages
English (en)
Other versions
JP4855523B2 (ja
Inventor
トーマス マルツベンダー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2010506333A publication Critical patent/JP2010506333A/ja
Application granted granted Critical
Publication of JP4855523B2 publication Critical patent/JP4855523B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • H04N1/00827Arrangements for reading an image from an unusual original, e.g. 3-dimensional objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/02815Means for illuminating the original, not specific to a particular type of pick-up head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/02815Means for illuminating the original, not specific to a particular type of pick-up head
    • H04N1/02845Means for illuminating the original, not specific to a particular type of pick-up head using an elongated light source, e.g. tubular lamp, LED array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/03Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array
    • H04N1/0301Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array using a bent optical path between the scanned line and the photodetector array, e.g. a folded optical path
    • H04N1/0303Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array using a bent optical path between the scanned line and the photodetector array, e.g. a folded optical path with the scanned line and the photodetector array lying in non-parallel planes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/03Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array
    • H04N1/0301Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array using a bent optical path between the scanned line and the photodetector array, e.g. a folded optical path
    • H04N1/0305Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array using a bent optical path between the scanned line and the photodetector array, e.g. a folded optical path with multiple folds of the optical path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/1013Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with sub-scanning by translatory movement of at least a part of the main-scanning components
    • H04N1/1017Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with sub-scanning by translatory movement of at least a part of the main-scanning components the main-scanning components remaining positionally invariant with respect to one another in the sub-scanning direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/1013Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with sub-scanning by translatory movement of at least a part of the main-scanning components
    • H04N1/103Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with sub-scanning by translatory movement of at least a part of the main-scanning components by engaging a rail

Abstract

一実施の形態は、フラットベッドスキャナを使用して物体の3次元構造を取得する方法に関する。物体は、走査される表面が下向きになるようにスキャナプラテン上に配置される(302)。異なる照明方向下で(たとえば、304、306、312、314)少なくとも3つの画像が取得される。これらの画像が処理されて(316)、3次元構造が生成される。他の特徴及び実施の形態も開示される。

Description

本願は、包括的には画像走査の装置及び方法に関する。
フラットベッドスキャナのようなスキャナ装置は、走査される2次元物体、一般的には写真又は印刷刊行物の或るページを表す機械可読画像データ信号を生成する。一般的なスキャナアプリケーションでは、フラットベッドスキャナによって生成された画像データ信号は、コンピュータシステムによって、走査された2次元物体の画像を、陰極線管(「CRT」)又は液晶ディスプレイ(「LCD」)のような適切な表示装置上で再生するのに使用することができる。コンピュータシステムは、2次元物体の画像を、当該コンピュータシステムに接続されたプリンタ上で印刷することもできる。
スキャナ装置及び画像走査システムの能力を向上させることが非常に望ましい。
一実施の形態は、フラットベッドスキャナを使用して物体の3次元構造を取得する方法に関する。物体は、走査される表面が下向きになるようにスキャナプラテン上に配置される。異なる照明方向下で少なくとも3つの画像が取得される。これらの画像が処理されて3次元構造が生成される。
別の実施の形態は、走査される物体から3次元情報を取得することが可能なように構成される装置に関する。当該装置は、物体が配置される少なくとも1つのスキャナプラテンと、物体の複数の2次元画像を取得するように構成される物体画像形成装置と、コンピュータ可読制御符号とを備える。コンピュータ可読制御符号は、物体画像形成装置を使用して、異なる照明方向下で少なくとも3つの画像を取得するように構成される。
別の実施の形態は、走査される物体から3次元情報を取得するスキャナに関する。スキャナは、物体が配置される少なくとも1つのスキャナプラテンと、物体の複数の2次元画像を取得するように構成される物体画像形成装置と、コンピュータ可読制御符号とを備える。物体画像形成装置は、それぞれが異なる照明方向を提供する2つの光源を備える。コンピュータ可読制御符号は、物体画像形成装置によって、それぞれ複数の光源のうちの異なるものを使用して物体の1回目の走査及び2回目の走査を引き起こすように構成され、物体を回転させた後に、物体画像形成装置によって、それぞれ複数の光源のうちの異なるものを使用して物体の3回目の走査及び4回目の走査を引き起こすようにさらに構成される。
他の特徴及び実施の形態も開示される。
フラットベッド2次元スキャナの一部の斜視図である。 図1のフラットベッドスキャナの一部を成す可動物体画像形成装置の側面断面図である。 本発明の一実施形態による2Dスキャナハードウェアを使用して3D構造を取得する方法のフローチャートである。 ユーザの視点からの本技法の説明図である。 ユーザの視点からの本技法の説明図である。 本発明の一実施形態による、複数回の2D走査から3D構造を求める方法を示すフローチャートである。 本発明の別の実施形態による、複数回の2D走査から3D構造を求める方法を示すフローチャートである。 本発明の一実施形態による照度差ステレオ計算の式を示す図である。 2次元パラメータ空間における一例の予測誤差ランドスケープを示す。 本発明の一実施形態による、3D構造の取得の一例を示す。 このような画像ベースの再照明の一例を示す。 表面法線からの幾何学的形状復元の一例を示す。
[2次元スキャナ]
図1及び図2を参照すると、フラットベッド2次元スキャナ10の一例が概略的な形態で示されている。フラットベッドスキャナ10は、長手方向14に沿って延在するハウジング12と、当該ハウジング12によって支持される透明プラテン18と、当該プラテンの下の横方向に延在する物体画像形成装置20とを備える。プラテンは、走査される文書24のような物体の画像平面を画定する、平坦な物体支持上面22を有する。物体画像形成装置20は、一対の離間される、平行な、長手方向に延在するレール26に沿って直線的に駆動されるように構成されている。図解を簡潔にするために、キャリッジ駆動部、ヒンジスキャナハウジングカバー、及び他の特徴は図示していない。
ハウジング12は通常、矩形構造であり、上壁28と、底壁30と、側壁32と、それぞれ前壁34及び後壁36とを含む。ハウジング12は、スキャナ制御システム90を封入するようになっている、前壁34に隣接する前方部38を含むことができる。ハウジング12の上壁28は通常、矩形開口又はフレーム40を有する。プラテン18の周縁は矩形フレーム40の周囲においてハウジングの上壁28に取り付けられる。
その1つの特定の例示的な実施形態による物体画像形成装置20が、図2に示される。物体画像形成装置20は、上側凸面壁50と、下側壁52と、対向する側壁54とを有する筐体を含む。装置筐体は、この例におけるように、上側壁及び下側壁をインターセプトする中心軸56を中心として対称とすることができる。一対の平行な、長手方向に離間される、横方向に延在する光源58及び60を含む光源が、装置筐体の上側壁50に隣接して配置されている。これらの光源は、たとえば、管状ランプ又は他の光生成装置を使用して実施することができる。装置筐体の上側壁50はさらに、光源58と光源60との間に位置決めされる横方向受光スリット又は開口62を画定する。
従来の2D走査の間、プラテン18の上面22上に配置される文書24のような物体の下側表面は、光源58及び60の両方によって横断線形ストリップ又は走査線70に沿って照明される。照明される走査線から反射した光のビーム72は中心軸56に沿って伸び、受光開口62を通過してミラー系76を介して光検出器アレイ74に至る。光検出器アレイ74は、たとえば線形電荷結合素子(CCD)アレイとすることができる。
[3次元構造の取得]
本願は、対象物の表面に関する3次元(3D)情報を取得する方法を開示する。本発明の一実施形態によれば、本方法は、図1及び図2に関連して上述した2Dスキャナ装置ハードウェアを使用して、このような2Dスキャナの制御ソフトウェアに特定の変更を加えて、3D情報を取得することができる。物体を回転させるために、或る追加のユーザ動作も必要とされる場合がある。代替の実施形態は、異なるスキャナ装置を利用してもよい。
図3は、本発明の一実施形態による2Dスキャナハードウェアを使用して3D構造を取得する方法300のフローチャートである。図4A及び図4Bは、ユーザの視点からの本技法の説明図である。
図3の第1のブロック302及び図4Aを参照すると、ユーザは3D構造を有する物体402をスキャナプラテン18上に配置する。物体402は、対象となる3D構造を有する面が下向きになるようにスキャナプラテン18上に配置される。換言すれば、物体402は、走査される3D構造が物体画像形成装置20と向き合った状態で配置される。次いで、物体402がこの位置にある状態で、スキャナ10によって2回の走査が実施される。
図3の第2のブロック304を参照すると、1回目の走査では、第1の横方向に延在する光源(たとえば光源58)のみがオンにされ、一方で第2の横方向に延在する光源(たとえば光源60)はオフにされている。この走査の間、物体画像形成装置20は長手方向14に沿って物体402にわたって移動し、その間に第1のセットの画像データが光検出器アレイ74から取得される。
図3の第3のブロック306を参照すると、2回目の走査では、第2の横方向に延在する光源(たとえば光源60)のみがオンにされ、一方で第1の横方向に延在する光源(たとえば光源58)はオフにされている。この走査の間、物体画像形成装置20は長手方向14に沿って物体402にわたって移動し、その間に第2のセットの画像データが光検出器アレイ74から取得される。
第2のブロック304のステップと第3のブロック306のステップとは逆にすることができることに留意されたい。換言すれば、まず第2のセットの画像データを取得することができ、次に第1のセットの画像データを取得することができる。
同時に、第1のセットの画像データ及び第2のセットの画像データは、第1の対の走査画像を含む。第1の走査画像(第1のセットの画像データ)から第2の走査画像(第2のセットの画像データ)への照明角度の変化は、物体画像形成装置20及びスキャナ10の配置から求められるため分かっている。
図3の第4のブロック308を参照すると、ユーザは物体を回転させるように指示される場合がある。たとえば、このプロンプトは、スキャナ10又はスキャナ10に結合されるコンピュータの表示画面上のメッセージを含むことができる。別の例では、このプロンプトは音声メッセージであってもよい。本発明の一実施形態によれば、このメッセージは、ユーザが物体を或る概算の角度だけ回転させなければならないことを指示することができる。好ましい一実施形態では、このメッセージは、ユーザが物体を時計回りの(又は代替的に反時計回りの)方向に約90度だけ回転させなければならないことを指示することができる。
図3の第5のブロック310並びに図4A及び図4Bを参照すると、ユーザは物体402を或る角度だけ回転させる(404)。この回転404は、対象となる3D構造が当該回転404の後もスキャナプラテン18上で依然として下向きになっているようなものである。回転された物体406の説明図を図4Bに示す。本発明の一実施形態によれば、ユーザは方法300が機能するために正確な回転角度を達成する必要はない。後述するように、予測誤差を最小限に抑えることによって正確な角度を求めることができる。次いで、2回の追加の走査(3回目の走査及び4回目の走査)が、スキャナ10によって、回転された物体406に対して実施される。
図3の第6のブロック312を参照すると、3回目の走査では、第1の横方向に延在する光源(たとえば光源58)のみがオンにされ、一方で第2の横方向に延在する光源(たとえば光源60)はオフにされている。この走査の間、物体画像形成装置20は長手方向14に沿って回転された物体406にわたって移動し、その間に第3のセットの画像データが光検出器アレイ74から取得される。
図3の第7のブロック314を参照すると、4回目の走査では、第2の横方向に延在する光源(たとえば光源60)のみがオンにされ、一方で第1の横方向に延在する光源(たとえば光源58)はオフにされている。この走査の間、物体画像形成装置20は長手方向14に沿って回転された物体406にわたって移動し、その間に第4のセットの画像データが光検出器アレイ74から取得される。
第6のブロック312のステップと第7のブロック314のステップとは逆にすることができることに留意されたい。換言すれば、まず第4のセットの画像データを取得することができ、次に第3のセットの画像データを取得することができる。
同時に、第3のセットの画像データ及び第4のセットの画像データは、第2の対の走査画像を含む。第3の走査画像(第3のセットの画像データ)から第4の走査画像(第4のセットの画像データ)への照明角度の変化は、物体画像形成装置20及びスキャナ10の配置から求められるため分かっている。
図3の第8のブロック316を参照すると、第4のセットの画像データが処理されて3D構造が生成される。このデータ処理はさらに後述する。
図5は、本発明の一実施形態による、複数回の2D走査から3D構造を求める方法500を示すフローチャートである。この方法500は、整合と、それに続く照度差ステレオ計算とを含む。したがって、この方法500は、「順次の」整合及び照度差ステレオを実施することとみなすことができる。
第1のブロック502を参照すると、第1の対の走査画像及び第2の対の走査画像を整合又は整列させることができる。たとえば、2対の走査画像を、ユーザがユーザインタフェースを介して手動で整合させることができる。一実施態様では、たとえば、ソフトウェアツールを提供することができ、それによって、ユーザが第1の対からの画像を、第2の対からの画像に視覚的に整合するまで平行移動及び回転させることができる。
第2のブロック504を参照すると、照度差ステレオ技法の静止ポーズ要件を達成するために整合(整列)された4つの画像を用いて、ここで照度差ステレオ計算を実施することができる。このような照度差ステレオ計算の式を示す図が図7Aに与えられており、これについては下記でさらに考察する。照度差ステレオ計算から、表面法線(方位)及び表面アルベドをピクセル単位で復元することができる。表面アルベドとは、幾何学的影響を除去した後の各色チャネルにおける反射される光の量を指す。
図6は、本発明の別の実施形態による、複数回の2D走査から3D構造を求める方法600を示すフローチャートである。この方法600は有利には、ソフトウェア符号を使用して自動化することができ、整合を求めるように照度差ステレオ計算からの予測誤差を最小化することを含む。したがって、この方法600は、「同時の」整合及び照度差ステレオを実施することとみなすことができる。
第1のブロック602を参照すると、この手順は整合パラメータの初期推定値から開始する。整合パラメータはxの平行移動パラメータTx及びyの平行移動パラメータTyを含み、これは2対の走査間の物体のx−y平行移動を示す。整合パラメータは回転角度Θも含み、これは2対の走査間の物体の回転を示す。
たとえば、一実施態様では、ユーザは2対の走査間で、物体を時計回りに90度だけ回転させるように指示される。この実施態様では、整合パラメータの初期推定値をTx=0、Ty=0、及びΘ=90度とすることができる。換言すれば、この実施態様では、初期推定値は、平行移動なし、及び90度の回転とすることができる。
整合パラメータの現在の推定値を使用する第2のブロック604を参照すると、4つの画像のうちの3つを使用して照度差ステレオ計算を実施して、ピクセルごとの表面法線及び表面アルベドを計算することができる。たとえば、第1のセットの画像データ、第2のセットの画像データ、及び第3のセットの画像データを使用して、ピクセルごとの表面法線及びアルベドを計算することができる。別の例では、第2のセットの画像データ、第3のセットの画像データ、及び第4のセットの画像データを使用して、ピクセルごとの表面法線及びアルベドを計算してもよい。
第3のブロック606を参照すると、表面法線及び表面アルベドを整合パラメータの初期推定値と共に使用して、残りのセットの画像データの予測値を生成することができる。このような照度差ステレオ計算の式を示す図が図7Aに与えられており、これについては下記でさらに考察する。たとえば、ピクセルごとの表面法線及びアルベドを計算するのに第1のセットの画像データ、第2のセットの画像データ、及び第3のセットの画像データが使用された場合、第4のセットの画像データの予測値を生成することができる。別の例において、ピクセルごとの表面法線及びアルベドを計算するのに第2のセットの画像データ、第3のセットの画像データ、及び第4のセットの画像データを使用することができる場合、第1のセットの画像データの予測値を生成することができる。
第4のブロック608を参照すると、残りのセットの画像データの予測値と、実際の残りのセットの画像データとの間の予測誤差が計算される。たとえば、ピクセルごとの表面法線及びアルベドを計算するのに第1のセットの画像データ、第2のセットの画像データ、及び第3のセットの画像データが使用された場合、予測された第4のセットの画像データと実際の第4のセットの画像データとの間の予測誤差が計算される。一実施態様では、予測誤差は、予測画像ピクセルと実際の画像ピクセルとの間の色値の差の二乗和とすることができる。
第5のブロック610を参照すると、3次元パラメータ空間(2次元の平行移動及び1次元の回転)において最小予測誤差が発見されたか否かについて判断が為される。2次元パラメータ空間における一例の予測誤差ランドスケープの説明図が図7Bに示されており、これについては下記でさらに考察する。
第6のブロック612を参照すると、最小予測誤差が発見されたと判断されなかった場合、パラメータ空間において、最小予測誤差(及びそれに対応するパラメータ)を発見することを目標とするステップが行われる。
本発明の一実施形態によれば、コンパス検索技法を採用してパラメータ空間における最小予測誤差を発見することができる。他の実施形態においては他の検索技法を使用してもよい。他の検索技法は、レーベンバーグ・マルカート法、勾配降下法、接合勾配法、ネルダー・ミード法、ガウス・ニュートン法、ニュートン法、及び他の技法を含む。
第6のブロック612のステップの後、方法600はブロック604におけるステップにループバックし、照度差ステレオ計算が実施され、以下同様である。換言すれば、最小予測誤差の発見を目標とするパラメータ空間における検索が継続する。
第7のブロック614を参照すると、ブロック610ごとに最小予測誤差が発見されたと判断される場合、2対の画像間の物体の整合の最良の推定値が、パラメータ空間内の最小予測誤差に対応する点によって与えられる。加えて、推定表面法線及びアルベドは、パラメータ空間内の最小予測誤差に対応する点において計算されるものである。
第8のブロック616を参照すると、表面法線及びアルベドの推定値は、整合の最良の推定値が発見されると変更又は修正することができる。
表面法線及びアルベドの推定値の修正に適用することができる1つの技法は、物体の回転のより正確な推定値を用いて最終的な表面法線及びアルベドを計算することである。反復中の照明方向に関して、この計算は、物体の特定の(たとえば90度の)回転を仮定することができ、ひいてはこの計算は複数の照明方向間の特定の角度を仮定するものとされる。収束後、回転(ひいては照明)のより正確な推定値が求められる(たとえば89度)。このより正確な推定値を使用して最終的な表面法線及びアルベドを計算し直すことができる。
表面法線及びアルベドの推定値を修正するために適用することができる別の技法は、2つの照明方向の代わりに1セットのみの照明方向を使用してアルベドを計算することである。これは、2回の走査間の任意の誤整合の効果がアルベド画像に悪影響を与えることから防止されるという点で有益であると思われる。
上述の複数回の2D走査から3D構造を求める方法600は本発明の一実施形態によるが、他の実施形態においてはステップのうちのいくつかを変更することができ且つ/又は追加のステップを加えることができる。
たとえば、本発明の好ましい一実施形態によれば、4つの画像のそれぞれの予測表面法線及びアルベドを生成するように、4つの画像から3つをグループ化する、4つの可能なグループ分けのすべてを使用して、ブロック604における照度差ステレオ計算を実施することができる。その結果、ブロック606において4つの画像のそれぞれに関して予測を行うことができる。その結果、ブロック606において、4つの画像のすべてに関して予測ピクセル値と実際のピクセル値とを比較することによって予測誤差を計算することができる。
別の例において、本発明の一実施形態によれば、同時の整合及び照度差ステレオの方法600に失敗した(たとえば、最小予測誤差に収束しない)場合、順次の整合及び照度差ステレオの方法500を使用することができる。この場合、ユーザがユーザインタフェースを介して手作業の整合を実施し、続いて照度差ステレオ計算を実施することができる。
図7Aは、本発明の一実施形態による照度差ステレオ計算の式を示す図である。既知の、しかし異なる照明方向下で表面の3つ以上の画像が与えられると、このような照度差ステレオ計算を使用して表面方位(法線)及び表面アルベドを復元することができる。
各照明を示す正規化ベクトルをlとし、単位法線ベクトルをnとすると、アルベドαを有する散光表面は輝度eを有する。照明方向の逆行列L+をピクセルごとの測定輝度値のベクトルEで乗算することによって、未知の表面方位ベクトルn’を復元することができる。照明方向の行列LからL+を計算する1つの方法は、Lのムーア・ペンローズ擬似逆行列をとることによるものである。次いで、表面方位ベクトルn’を正規化して表面法線nを復元することができる。
図7Bは、2次元パラメータ空間における一例の予測誤差ランドスケープを示す。垂直次元(高さ)は物体のy次元における平行移動及び回転に依存する予測誤差を示す。このような予測誤差ランドスケープを視覚的に示すために、2次元表面のみを示している。この説明図の目的のために、x次元における平行移動は固定されたままである。
図8は、本発明の一実施形態による3D構造の取得の一例を示す。ここで、物体は小さなクラッカーである。
第1の対の走査から生じる2つの画像802を図8の左上に示す。第1の画像802−Lは左の光源からの照明によって取得され、第2の画像802−Rは右の光源からの照明によって取得される。
クラッカーを回転させた後の、第2の対の走査からの2つの画像804を図8の左下に示す。第3の画像804−Lは左の光源からの照明によって取得され、第4の画像804−Rは右の光源からの照明によって取得される。
整合及び照度差ステレオ計算(順次又は同時)の後、結果として生成された出力は、異なる照明条件下の4つの整合された画像に加えて、表面法線806と、色+アルベド808とを含むことができる。
取得された3D構造は、物体画像形成装置の被写界深度に依存する被写界深度を有することに留意されたい。たとえば、物体画像形成装置は、約1センチメートルの被写界深度を有する場合がある。この場合、取得される3D構造の被写界深度も約1センチメートルとなる。
本発明の代替の一実施形態では、ユーザに走査の対の間で物体を回転させる代わりに、2Dスキャナ装置を、異なる照明方向下で3つの画像を取得することが可能なように構成することができる。異なる照明方向下で少なくとも3つの画像を取得することによって、物体を回転させる必要がなくなる。
たとえば、スキャナ装置は、物体画像形成装置を回転させることができるように構成することができる。たとえば、物体画像形成装置は90度だけ回転させることができる。この場合、ユーザに物体を回転させる代わりに、第1の対の走査の後で且つ少なくとも3回目の走査を行う前に、物体画像形成装置を90度だけ回転させることができる。このような装置のさらなる利点として、回転角度が正確に分かるため、画像の整合が容易になる。
別の例において、スキャナ装置は第2の物体画像形成装置を有して構成することができる。たとえば、第2の物体画像形成装置は、第1の物体画像形成装置に対して90度の角度を成して物体を走査することができる。この場合、ユーザに物体を回転させる代わりに、第1の物体画像形成装置が第1の対の走査を実施することができ、第2の物体画像形成装置が少なくとも3回目の走査を実施することができる。ここでも、このような装置のさらなる利点として、回転角度が正確に分かるため、画像の整合が容易になる。
[3D構造を使用する例示的なアプリケーション]
1つのアプリケーションにおいて、3D構造出力を使用してパラメトリックテクスチャマップ(PTM)を導出することができる。PTMはたとえば、発明者Thomas Malzbender他による「Apparatus for and Method of Enhancing Shape Perception with Parametric Texture Maps」と題する米国特許第6,654,013号明細書、及び、発明者Thomas Malzbender他による「Apparatus for and Method of Rendering 3D Objects with Parametric Texture Maps」と題する米国特許第6,888,544号明細書に記載されている。米国特許第6,654,013号明細書、及び米国特許第6,888,544号明細書の開示は参照により本明細書に援用される。
PTMを使用して、ユーザが照明及び物体の材料特性を対話的に制御することができる、画像ベースの再照明を実施することができる。図9は、このような画像ベースの再照明の一例を示す。物体の上半分と下半分とは、それらが異なる画像特性を有するかのように示されている。
別のアプリケーションにおいて、3D構造出力(特に、表面法線)を使用して、物体の幾何学的形状を復元することができる。図10は、表面法線からの幾何学的形状復元の一例を示す。法線場を統合することによって幾何学的形状を復元することができる。
上記の説明において、本発明の実施形態の完全な理解を提供するために、多数の具体的な詳細が与えられている。しかしながら、本発明の例示の実施形態の上記の説明は、網羅的であることも、本発明を開示されている正確な形態に限定することも意図されていない。当業者であれば、本発明をその具体的な詳細のうちの1つ又は複数を用いることなく、又は他の方法、構成要素等を用いて実施することができることを認識するであろう。他の場合において、既知の構造及び動作は、本発明の態様を不明瞭にしないために詳細には図示又は説明されていない。当業者には認識されるように、本明細書において、本発明の具体的な実施形態及び実施例が例示の目的で説明されているが、本発明の範囲内でさまざまな均等な変更が可能である。
上記の詳細な説明に鑑みて、これらの変更を本発明に対して行うことができる。以下の特許請求の範囲において使用されている用語は、本発明を、本明細書及び特許請求の範囲において開示されている具体的な実施形態に限定するように解釈されるべきではない。そうではなく、本発明の範囲は以下の特許請求の範囲によって画定されるべきであり、特許請求の範囲は、特許請求の範囲の解釈に関する確立された原則に従って解釈されるべきである。

Claims (10)

  1. フラットベッドスキャナを使用して物体の3次元構造を取得する方法であって、
    前記物体を、走査される表面が下向きになるようにスキャナプラテン上に配置し、
    異なる照明方向下で少なくとも3つの画像を取得し、
    前記3次元構造を生成するために、前記画像を処理することを含むことを特徴とする方法。
  2. 前記画像は、2つの光源を有する物体画像形成装置を使用して取得され、各光源は異なる照明方向を提供することを特徴とする請求項1に記載の方法。
  3. 前記画像を取得することは、それぞれ前記光源のうちの異なるものを使用する1回目の走査と2回目の走査とを含むことを特徴とする請求項2に記載の方法。
  4. 前記画像を取得することは、前記2回目の走査後に前記物体を回転させることをさらに含むことを特徴とする請求項3に記載の方法。
  5. 前記画像を取得することは、前記物体の回転後に、それぞれ前記光源のうちの異なるものを使用する3回目の走査と4回目の走査とをさらに含むことを特徴とする請求項4に記載の方法。
  6. 前記画像を処理することは、前記画像の整合と照度差ステレオ計算とを含むことを特徴とする請求項1に記載の方法。
  7. 前記画像の前記整合と前記照度差ステレオ計算とは同時に実施されることを特徴とする請求項6に記載の方法。
  8. 予測される第4の画像と取得された第4の画像との間の予測誤差を最小化する整合パラメータを発見することをさらに含むことを特徴とする請求項7に記載の方法。
  9. 走査される物体から3次元情報を取得することが可能なように構成される装置であって、
    前記物体が配置されるスキャナプラテンと、
    前記物体の複数の2次元画像を取得するように構成される物体画像形成装置と、
    前記物体画像形成装置を使用して、異なる照明方向下で少なくとも3つの画像を取得するように構成されるコンピュータ可読制御符号とを備えることを特徴とする装置。
  10. 前記物体画像形成装置は2つの光源を備え、各光源は異なる照明方向を提供することを特徴とする請求項9に記載の装置。
JP2009532408A 2006-10-10 2007-10-10 2次元スキャナを使用して3次元構造を取得する方法 Expired - Fee Related JP4855523B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/545,338 US8054500B2 (en) 2006-10-10 2006-10-10 Acquiring three-dimensional structure using two-dimensional scanner
US11/545,338 2006-10-10
PCT/US2007/021721 WO2008045503A1 (en) 2006-10-10 2007-10-10 Acquiring three-dimensional structure using two-dimensional scanner

Publications (2)

Publication Number Publication Date
JP2010506333A true JP2010506333A (ja) 2010-02-25
JP4855523B2 JP4855523B2 (ja) 2012-01-18

Family

ID=39144538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009532408A Expired - Fee Related JP4855523B2 (ja) 2006-10-10 2007-10-10 2次元スキャナを使用して3次元構造を取得する方法

Country Status (5)

Country Link
US (1) US8054500B2 (ja)
EP (1) EP2074812B1 (ja)
JP (1) JP4855523B2 (ja)
DE (1) DE602007007229D1 (ja)
WO (1) WO2008045503A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD737152S1 (en) * 2013-12-09 2015-08-25 Hon Hai Precision Industry Co., Ltd. Image measuring device
TWD166688S (zh) * 2014-03-10 2015-03-21 虹光精密工業股份有限公司 掃描器
WO2016209276A1 (en) * 2015-06-26 2016-12-29 Hewlett-Packard Development Company, L.P. Three dimensional scanning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH109838A (ja) * 1996-06-25 1998-01-16 Matsushita Electric Works Ltd 画像処理方法及び物体表面の欠陥検出方法
US20030202095A1 (en) * 2002-04-16 2003-10-30 Schultz Howard J. Optical scanner and method for 3-dimensional scanning

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404002A (en) * 1993-05-17 1995-04-04 At&T Global Information Solutions Company Backup method for multiple source optical scanner
US5898508A (en) 1993-06-09 1999-04-27 Bekanich; Joseph A. Apparatus for producing multi-dimensional images or reproductions of three dimensional objects
JP3744559B2 (ja) 1995-03-17 2006-02-15 独立行政法人情報通信研究機構 立体カメラ、立体ディスプレイ、及び、立体映像システム
GB9515311D0 (en) * 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
DE19839339A1 (de) * 1998-05-05 2000-03-02 Richard Schubert Einrichtung zur Herstellung von dreidimensionalen Aufnahmen von Gegenständen mittels optischer Scanner und ein Verfahren zur dreidimensionalen Objekterfassung
US6357658B1 (en) * 1999-04-28 2002-03-19 Peripheral Dynamics, Inc. Apparatus and methods for scanning documents including OMR, bar-code, and image data
US6297834B1 (en) 1999-06-10 2001-10-02 Hewlett-Packard Company Direction-dependent texture maps in a graphics system
US6650445B1 (en) 1999-09-17 2003-11-18 Hewlett-Packard Development Company, L.P. Optical scanner providing compensation for non-uniform bulb illumination
US7064872B1 (en) 1999-10-07 2006-06-20 Hewlett-Packard Development Company, L.P. Exposure control for a CCD scanner
US6654013B1 (en) 2000-03-17 2003-11-25 Hewlett-Packard Development Company, Lp. Apparatus for and method of enhancing shape perception with parametric texture maps
US6888544B2 (en) 2000-03-17 2005-05-03 Hewlett-Packard Development Company, L.P. Apparatus for and method of rendering 3D objects with parametric texture maps
US6677942B1 (en) * 2000-08-01 2004-01-13 International Business Machines Corporation Method and apparatus for acquiring normals maps consistent with low spatial resolution meshes
US6842265B1 (en) 2000-09-29 2005-01-11 Hewlett-Packard Development Company, L.P. Method and apparatus for controlling image orientation of scanner apparatus
US6965108B2 (en) * 2001-07-30 2005-11-15 Euro-Celtique, S.A. Method and apparatus for three dimensional imaging using infrared radiation
US6940063B2 (en) 2001-07-31 2005-09-06 Hewlett-Packard Development Company, L.P. Optical image scanner with variable focus
US6856423B2 (en) 2001-08-24 2005-02-15 Hewlett-Packard Development Company, L.P. Dual scanner system and method
JP3964646B2 (ja) * 2001-10-25 2007-08-22 富士フイルム株式会社 画像処理方法、画像処理装置、および画像信号作成方法
US7019872B2 (en) 2002-06-19 2006-03-28 Hewlett-Packard Development Company, L.P. Compact scanner and scanning method
US20040008875A1 (en) * 2002-07-09 2004-01-15 Miguel Linares 3-D fingerprint identification system
US6906314B2 (en) 2003-02-20 2005-06-14 Hewlett-Packard Development Company, L.P. Systems and methods for providing multiple object planes in an optical image scanner
US6947666B2 (en) 2003-10-22 2005-09-20 Hewlett-Packard Development Company, L.P. Support apparatus and method for use with a camera and strobe lights
KR100750112B1 (ko) 2003-11-03 2007-08-21 삼성전자주식회사 입체물 스캔 장치 및 방법
US7606395B2 (en) * 2004-08-25 2009-10-20 Tbs Holding Ag Method and arrangement for optical recording of data
GB0424417D0 (en) * 2004-11-03 2004-12-08 Univ Heriot Watt 3D surface and reflectance function recovery using scanned illumination

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH109838A (ja) * 1996-06-25 1998-01-16 Matsushita Electric Works Ltd 画像処理方法及び物体表面の欠陥検出方法
US20030202095A1 (en) * 2002-04-16 2003-10-30 Schultz Howard J. Optical scanner and method for 3-dimensional scanning

Also Published As

Publication number Publication date
EP2074812A1 (en) 2009-07-01
EP2074812B1 (en) 2010-06-16
DE602007007229D1 (de) 2010-07-29
WO2008045503A9 (en) 2008-06-12
US8054500B2 (en) 2011-11-08
US20080084589A1 (en) 2008-04-10
JP4855523B2 (ja) 2012-01-18
WO2008045503A1 (en) 2008-04-17

Similar Documents

Publication Publication Date Title
US7564571B2 (en) Method for calibrating a camera-laser-unit in respect to a calibration-object
JP3624353B2 (ja) 3次元形状計測方法およびその装置
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
US6686921B1 (en) Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US20030160970A1 (en) Method and apparatus for high resolution 3D scanning
EP3468163B1 (en) Intelligent internet high-definition scanner with laser correction
US7924477B1 (en) Automated detection of creases and/or tears in scanned prints
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
WO2009120073A2 (en) A dynamically calibrated self referenced three dimensional structured light scanner
JP2005500756A (ja) 自動位置合わせを用いるマルチプロジェクタモザイク
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
US9170207B2 (en) 3D inspection using cameras and projectors with multiple-line patterns
JP2010197198A (ja) 画像の差分による高精度ステレオカメラキャリブレーション
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
US9036024B2 (en) Apparatus for optically inspecting electronic circuits
CN102595178B (zh) 视场拼接三维显示图像校正系统及校正方法
JP4855523B2 (ja) 2次元スキャナを使用して3次元構造を取得する方法
KR101324444B1 (ko) 3차원 실물화상장치 및 이를 이용한 3차원 영상 재구성 방법
CN108062790B (zh) 应用于物体三维重建的三维坐标系建立方法
KR20060065800A (ko) 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법
CN107977998B (zh) 一种基于多视角采样的光场校正拼接装置及方法
CN110708532A (zh) 一种普适光场单元图像生成方法和系统
JP4133060B2 (ja) 画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体
KR20180040316A (ko) 광학 3d 스캐너
RU2368091C2 (ru) Система и способ сканирования и копирования

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110422

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110720

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110727

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4855523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees