JP2000089092A - ディジタルカメラによる文書撮像技術 - Google Patents

ディジタルカメラによる文書撮像技術

Info

Publication number
JP2000089092A
JP2000089092A JP11201278A JP20127899A JP2000089092A JP 2000089092 A JP2000089092 A JP 2000089092A JP 11201278 A JP11201278 A JP 11201278A JP 20127899 A JP20127899 A JP 20127899A JP 2000089092 A JP2000089092 A JP 2000089092A
Authority
JP
Japan
Prior art keywords
digital camera
document
optical axis
camera
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP11201278A
Other languages
English (en)
Other versions
JP2000089092A5 (ja
Inventor
Ross R Allen
ロス・アール・アレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2000089092A publication Critical patent/JP2000089092A/ja
Publication of JP2000089092A5 publication Critical patent/JP2000089092A5/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/306—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces for measuring evenness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/043—Viewing the scanned area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0434—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207 specially adapted for scanning pages of a book
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0436—Scanning a picture-bearing surface lying face up on a support
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/04715—Detection of scanning velocity or position by detecting marks or the like, e.g. slits
    • H04N2201/04717—Detection of scanning velocity or position by detecting marks or the like, e.g. slits on the scanned sheet, e.g. a reference sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/04743—Detection of scanning velocity or position by detecting the image directly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/04749—Detecting position relative to a gradient, e.g. using triangular-shaped masks, marks or gratings

Abstract

(57)【要約】 【課題】カメラの光軸に対して傾いた物体等についても、
歪みのない平坦な画像を得ることが可能なテ゛ィシ゛タルカメラを
提供する。 【解決手段】本発明は、テ゛ィシ゛タルカメラによる文書撮像技術
を提供する。1実施態様においては、テ゛ィシ゛タルカメラによる
撮像技術のための方法は、テ゛ィシ゛タルカメラの光軸に対する物
体（例えば、文書）の向きを決定することと、テ゛ィシ゛タルカ
メラからの物体の距離を決定することを含む。この方法
は、また、物体の平坦性(例えば、文書のカール)を決定す
ることを含む。この方法は、さらに、物体にハ゜ターンを放
射することと、放射されたハ゜ターンを検出して、次に、こ
の検出したハ゜ターンを処理して、テ゛ィシ゛タルカメラの光軸に対す
る物体の向き、テ゛ィシ゛タルカメラからの物体の距離、及び物体
の平坦性を決定することを含む。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般に、ディジタ
ルカメラに関し、より詳細には、ディジタルカメラによ
り文書を撮像（捕捉）する技術に関する。
【０００２】
【従来の技術】物体上に１つまたは複数の点（スポッ
ト）を投射し、その投射した点をオートフォーカス（自
動焦点）検出器を使って検出することは、通常の簡単操
作カメラにおけるいわゆるアクティブ（しかし音響的で
ない）オートフォーカス機構の基本である。
【０００３】
【発明が解決しようとする課題】カメラは、物体上の小
さな領域までの焦点距離を確実に決定することができる
が、手で持って文書を露光する場合のように、物体が傾
斜して結像されているかどうかは判定できない。カメラ
は、物体が近すぎて焦点合わせができないことをユーザ
に示すことはできるが、物体全体を撮影するのに焦点深
度が不十分であることは示さない。物体全体の焦点深度
が十分かどうかの決定は、一般にユーザにまかされた複
雑な問題である。しかしながら、熟練した写真家によっ
て使用されるストップド・ダウン・ビューファインダ
（stopped down viewfinder）技法などの手動操作は、
きわめて不便であり、ストップド・ダウン・ビューファ
インダにおいては低コントラスト状況で特に誤差を生じ
やすい。
【０００４】
【課題を解決するための手段】１実施態様において、本
発明を、ディジタルカメラに組み込んで、近距離におけ
る手持ちによる（手持ち式の）文書の撮像において、次
のような効果を補償することができる。・カメラの光軸
が、文書表面の法線と合っていない。
【０００５】・イメージセンサの焦点面から０．５〜１
メートル以内の撮影に使用される光学系の被写界深度が
制限されており、そのため適切な焦点合わせが困難であ
る。
【０００６】・一般的な文書は、たとえば本に装丁され
たページのように平坦でないことがある。
【０００７】この実施態様は、カメラのオートフォーカ
スの概念を、オートフォーカスと自動配向に拡張し、文
書平面の法線に対する光軸の配向の指示と、文書の平坦
度（たとえば、文書のページ・カールを含む）の指示を
提供する。
【０００８】代表的な、アクティブオートフォーカスカ
メラは、光軸の両側に配置された赤外線放射源と光検出
器を使用する。シャッター・レリーズが途中まで押され
ると、極めて平行の良好な赤外線ビームが対象物上に
（通常、縦線として）投射され、ビームの位置が、検出
器上に結像される。距離の測定は、放射源と検出器の間
の視差に依存する。
【０００９】１実施態様において、本発明は、シャッタ
ー・レリーズが途中まで押されたときに、撮像する文書
上に可視、好ましくは赤外（ＩＲ）光ビームを所定のパ
ターン（たとえば、スポット・パターン）で投射するこ
とを含む。投射パターンは、文書の距離、向き及び平坦
性（planarity）の情報を提供するように設計される。
パターンは、ディジタルカメラ内のイメージセンサを使
用して対象物の画像を撮像する直前に、そのイメージセ
ンサによって受け取られて、記憶（または処理）され
る。赤外線照射を利用することにより、目に見えない測
定が実現され、たとえば市販のＣＣＤやＣＭＯＳセンサ
の赤外線波長に対する感度が利用される。放射源とし
て、高輝度の赤外線ＬＥＤが市販されている。
【００１０】距離と位置合せを提供するパターンは、３
つの光ビームをある一定のパターンで投射することによ
って提供することができる。対象物の平坦性を測定する
ためのより強力なパターンは、４つ以上の光ビームを使
用して、たとえば複数セルの格子を提供することができ
る。
【００１１】１実施態様において、ディジタルカメラに
よる撮像技術のための方法は、ディジタルカメラの光軸
に対する物体（たとえば、文書）の向きを決定し、ディ
ジタルカメラからの物体の距離を決定するステップを含
む。この方法は、また、物体の平坦性を決定するステッ
プを含む。この方法は、さらに、物体上に、あるパター
ンを投射し、投射パターンを検出し、次に、この投射パ
ターンを処理して、ディジタルカメラの光軸に対する物
体の向き、ディジタルカメラからの物体の距離、及び物
体の平坦性を決定するステップを含む。
【００１２】本発明のその他の態様及び利点は、以下の
詳細な説明及び添付図面から明らかになるであろう。
【００１３】
【発明の実施の形態】手持ち式の文書撮像には多くの使
用上の問題点及び技術的制限がある。現世代のディジタ
ルカメラのいくつかは、文書撮影モードを備えている
が、現世代のディジタルカメラはイメージセンサの画素
数が少ないため、名刺などの小さな文書にしか有用では
ない。しかしながら、将来、手頃なディジタルカメラ
が、ページ全体の文書を高レベルの文書品質で撮影でき
るようにする４００万以上の画素を備えるであろう。
【００１４】したがって、本発明は、ディジタルカメラ
による文書の撮像技術を提供する。１実施態様において
は、本発明は、投射光ビーム（たとえば、スポット・パ
ターン）とディジタルカメラのイメージセンサを使用し
て、撮影する物体の距離、向き及び平坦性を決定する。
スポットがイメージセンサ上に鮮明に結像されることが
前提となるが、これには、カメラの光学系を近距離で最
適な合焦状態に調整できるように、カメラのオートフォ
ーカスシステムが、有効なおおよその焦点距離測定を行
うことが一般的に必要である。物体が近距離で検出され
ると、本明細書で説明するビームの放射と処理を使用し
て文書撮像モードが自動的に活性化される。結像された
各スポットの強度分布の測定により、焦点のシャープさ
と測定用スポットの有効性の指標が得られる。
【００１５】図１（ａ）は、本発明の１実施態様に従
う、物体に投射された光のスポットの規則正しい５×５
の配列を示す。撮像する物体上のスポットからの像を処
理するときに、スポットの配置が考慮されるならば、配
列が規則的である必要はない。図１（ｂ）〜１（ｅ）
は、本発明の１実施態様による様々な物体の向き及び位
置に対する図１（ａ）のスポット・パターンの例を示
す。
【００１６】図１（ｂ）は、物体が光軸に対して縦横に
傾いているときのスポット・パターンの像の例を示す。
【００１７】図１（ｃ）は、物体が光軸に対して縦に傾
いているときのスポット・パターンの像の例を示す。
【００１８】図１（ｄ）は、光軸と垂直軸が物体の右半
分の近くで一致している場合のスポット・パターン像の
例を示すが、これは、平坦でない本の場合であり、左側
のスポットは、しばしばページ・カール（page curl）
と呼ばれる平面ではない物体の湾曲を示す。
【００１９】図１（ｅ）は、湾曲だけなく表面の傾きが
ある、開いた装丁本に投射されたスポット・パターン像
の例である。
【００２０】図２（ａ）〜２（ｅ）は、図１（ａ）〜１
（ｅ）と類似しているが、本発明の別の実施態様に従っ
て、スポットパターンが４つのスポットだけを含む。
【００２１】図３（ａ）及び３（ｂ）は、本発明の１実
施態様に従って、撮像する物体の距離と向きを検出する
ための結像手法を示す。一般的な原理を説明するため、
以下のことを仮定する。
【００２２】・物体の表面は大部分平坦であり、その法
線ベクトルは、カメラの光軸に対して任意の回転角を有
する。
【００２３】・平面は、図３（ａ）及び３（ｂ）の放射
源１Ａ及び２Ａの平面に垂直なベクトルのまわりに回転
する。
【００２４】・ビーム１及び２は、光軸と平行であり、
それにより図３（ａ）及び３（ｂ）に示したすべての点
を含む平面を構成する。この平行関係は、この技法が機
能するための要件ではない（たとえば、図４には、発散
ビームを使用する場合を示す）。
【００２５】一般的な場合には、平面は、ビーム１及び
２によって構成される平面に垂直でない軸の回りに回転
する。例えば、装丁本のページや、円筒体上に印刷され
た、または巻かれた文書などのような、物体表面のある
程度の湾曲は許容される。
【００２６】図３（ａ）において、放射源１Ａ及び２Ａ
は、光軸に平行なビーム１及び２を投射する。物体の向
きＡは、光軸に関して回転された平面を示す（たとえ
ば、斜平行投影）。ビーム１及び２は、それぞれスポッ
ト１Ｂ及び２Ｂを生成する。カメラのレンズによりイメ
ージセンサに投影されたスポット１Ｂ及び２Ｂの像は、
それぞれ１Ｃ及び２Ｃである。
【００２７】平面の向きと距離は、距離Ｉ−１Ｃ（２つ
の点ＡとＢの間の距離をＡ−Ｂと示す）とＩ−２Ｃから
決定することができる。これらの距離は、カメラの結像
平面におけるイメージセンサの画素で測定することがで
きる。Ｉ−１ＣとＩ−２Ｃが等しくないことは、平面が
光軸に対して傾いていることを示す。
【００２８】平面の法線が光軸と合うように平面が回転
されると、ビーム１及び２は、たとえば物体の向きＢに
おいてスポット１Ｂ及び２Ｄをそれぞれ生成し、それら
は、それぞれ点１Ｃ及び２Ｅとして結像される。この場
合は、Ｉ−１ＣとＩ−２Ｅは同じであり、それは、法線
ベクトルと光軸が合っていることを示す。
【００２９】図３（ｂ）は、平面が光軸に対して垂直で
あり、２つの位置の間で平行移動されるときの距離の測
定を示す（たとえば、正射平行投影）。位置Ａにおい
て、ビーム１及び２は、それぞれ１Ｃ及び２Ｃとして結
像されるスポット１Ｂ及び２Ｂを物体上に生成する。物
体までの距離は、Ｉ−１ＣとＩ−２Ｃから計算すること
ができる。物体を遠くに移動すると、ビーム１及び２
は、それぞれ１Ｅ及び２Ｅとして結像されるスポット１
Ｄ及び２Ｄを生成する。距離Ｉ−１ＣがＩ−１Ｅよりも
大きいため、位置Ｂにある物体が位置Ａにある物体より
も遠くにあることが判定される。
【００３０】この例では、物体の法線が結像軸に対して
１回転され、ビーム１及び２は、光軸と平行である。物
体の距離と向きの計算には、投射結像システムにおける
既知の一定距離と結像スポットの位置とを使用する平面
三角法が適用される。
【００３１】点１Ａと１Ｂの間の距離、すなわち１Ａ−
１Ｂは、以下のように計算される。この例では、放射源
１Ａ及び２Ａが、像平面内にあると仮定している（これ
により、分かりやすくするために省略することができる
計算上の定数を導入する）。相似三角形により、次のこ
とが分かる。
【００３２】１Ａ−１Ｂ ／Ｉ−Ｆ＝１Ａ−１Ｃ／Ｉ−１Ｃ （１） １つの未知数だけに関して解くと、 １Ａ−１Ｂ＝１Ａ−１Ｃ＊（Ｉ−Ｆ／Ｉ−１Ｃ） （２ａ） また、一定距離の間の関係１Ａ−１Ｃ＝Ｉ−１Ａ＋Ｉ−
１Ｃを利用して次のように表すことができる。
【００３３】 １Ａ−１Ｂ＝Ｉ−Ｆ＊（Ｉ−１Ａ／Ｉ−１Ｃ） （２ｂ） 同様に、次のように表すことができる。
【００３４】２Ａ−２Ｂ ＝Ｉ−Ｆ＊（Ｉ−２Ａ／Ｉ−２Ｃ） （３） 文書の撮像に最適な焦点距離は、レンズの有効開口部に
おけるレンズの被写界深度を考慮して、１Ａ−１Ｂと２
Ａ−２Ｂから計算することができる。
【００３５】物体が回転した状態の場合は、文書全体に
シャープな焦点合わせを実現するカメラの能力が必要と
される。この場合は、たとえば、文書の一部が、カメラ
の焦点深度から外れることがある。この場合、本発明に
より得られる情報を利用して、文書を区分的にシャープ
な合焦状態で撮像するために、様々な有効距離ごとに複
数の露光を行うことができる。代替的には、カメラの焦
点深度を超えたという情報を利用して、文書に対してカ
メラを向け直すようにユーザに知らせる信号を発生する
ことができる。この情報は、通常、文書上の１点におけ
る単一のオートフォーカス測定からは決定できないが、
カメラと物体の正確な位置合せを実現できないか、また
はそれが実現されない場合に、文書を便宣的かつ気軽に
撮像するための貴重な機能を提供する。
【００３６】図３（ａ）の物体の向きＡにおいて、平面
が光軸と作る角度θは、次の通りである。
【００３７】 arcsin（（２Ａ−２Ｂ−１Ａ−１Ｂ）／１Ａ−２Ａ） （４） 図３（ａ）及び３（ｂ）における構成と式（１）〜
（４）は、平行ビームの場合、Ｉ−１ＣとＩ−２Ｃに対
する画素数を最大にするためには、光軸からの放射源の
ずれ（すなわち、Ｉ−１Ａ、Ｉ−２Ａ）を最大にするこ
とが望ましいことを示している。Ｉ−１ＣとＩ−２Ｃに
対する画素数を最大にすると、個別の画素数に対して、
式（２ｂ）、（３）及び（４）において最も大きな解が
得られる。
【００３８】一般的な場合において、物体が、放射源１
Ａ及び２Ａの平面に垂直でないベクトルに沿って回転さ
れる場合、式（１）〜（４）よりも複雑な幾何学的変換
が必要とされるが、このことは当業者には明らかであろ
う。
【００３９】撮像する物体の平坦性（たとえば、ひず
み）は、たとえば５つ以上のスポットを含むスポット・
パターンを使用し、そのスポット・パターンに前述の論
理を適用することにより決定される。George Wolbergに
よる、「Digital Image Warping」、IEEE Computer Soc
iety 1990、pp.52〜56には、遠近変換（perspective tr
ansformation）用の４ドット・マトリクスの原理につい
ての記載があり、参照によりその全体を本明細書に組み
込む。
【００４０】図４は、放射源３Ａ及び４Ａが、光軸上に
一緒に配置され、物体の方に向けられた非平行（発散）
ビームを使ってパターンを投射する別の実施態様を示
す。非平行ビームは、回転された物体上にスポット３Ｂ
及び４Ｂを生成する。カメラの焦点面のセンサにおける
これらの点の像は、それぞれ３Ｃと４Ｃである。
【００４１】特に、図４は、平行ビーム１及び２と、発
散ビーム３及び４とに対する異なる結果を示す。差Ｉ−
３Ｃ−Ｉ−４Ｃは、２つの大きく異なる距離３Ａ−３Ｂ
及び４Ａ−４Ｂに対して小さいことが分かる。このこと
は、一般に差Ｉ−１Ｃ−Ｉ−２Ｃがより高い感度を提供
する場合に、同じ場所に配置された発散ビームによる方
法が、平行ビームによる方法よりも感度が低く、打ち切
り誤差（discretization error）の影響を受けやすいと
いうことを示す。
【００４２】図５は、本発明の１実施態様に従うディジ
タルカメラ５０を示す。ディジタルカメラ５０は、使い
やすさと感度とを適度に両立させる相対位置において、
カメラの結像システムの光軸のまわりに配置された、Ｉ
Ｒ（赤外線）放射源１Ａ、１Ａ’、２Ａ、及び２Ａ’を
備えている。ディジタルカメラ５０は、また、アクティ
ブオートフォーカス用放射源５１、ビューファインダ５
２、オートフォーカス検出器５３、向き（測定）／測距
用放射源５４、及び結像レンズ５５を含む。
【００４３】図６は、本発明の１実施態様による図５の
ディジタルカメラの動作の流れ図である。ディジタルカ
メラ５０のシャッター・レリーズが押されると、ディジ
タルカメラ５０は、赤外線放射源１Ａ、１Ａ′、２Ａ及
び２Ａ′（図５）を使用してスポット・パターンを投射
し、ステップ６１で物体に平行赤外線ビームを放射す
る。ディジタルカメラ５０は、ステップ６２で、そのイ
メージセンサ（図７参照）上でスポット・パターンを検
出する。ディジタルカメラ５０は、図３（ａ）及び３
（ｂ）に関して前述したように、ステップ６３で物体の
向きを決定する。ディジタルカメラ５０は、図３（ａ）
及び３（ｂ）に関して前述したように、ステップ６４で
物体の平坦性を決定する。また、ディジタルカメラ５０
は、前述のように、ディジタルカメラ５０からの物体の
距離を決定することもできる。さらに、ディジタルカメ
ラ５０は、たとえば、装丁本内のページのような文書で
ある物体の（ページ）カールを決定することができる。
【００４４】次に、ディジタルカメラ５０は、この情報
を、図３（ａ）及び３（ｂ）に関して前述したように処
理する。代替的には、図４に関して前に説明したよう
に、ディジタルカメラ５０は、非平行光ビームを放射し
て、ステップ６３及び６４を実行することができる。た
とえば、画像処理アルゴリズムが、向き、平坦性及びペ
ージ・カールの決定出力を使用して、斜めに撮像されペ
ージ・カールを有する文書（たとえば、装丁本のペー
ジ）の平坦でひずみのない画像を提供することができ
る。
【００４５】図７は、本発明の１実施態様に従って、詳
細に示した図５のディジタル・カメラのブロック図であ
る。図７において、ディジタルカメラ５０は、向き／測
距用放射源１Ａ、１Ａ′、２Ａ及び２Ａ′と通信するＡ
ＳＩＣ７２（特定用途向け集積回路）、アクティブオー
トフォーカス用放射源５１、ビューファインダ５２、オ
ートフォーカス検出器５３、バス７４に接続されたメモ
リ７６（たとえば、撮像した文書のディジタル画像を記
憶するために使用される従来のランダムアクセスメモ
リ）、及びイメージセンサ７８（たとえば、放射源１
Ａ、１Ａ′、２Ａ及び２Ａ′から放射された赤外線光を
検出するためのＣＭＯＳセンサを含む光検出器アレイ）
を含む。たとえば、投射スポット・パターンを使用して
（たとえば、事前露光によって実時間情報を得て）、撮
像する文書の距離、向き、平坦性及びカールに関する情
報を取得するために、画像の撮像に使用されるイメージ
センサ７８が最初に使用される。
【００４６】ＡＳＩＣ７２は、ディジタルカメラのメイ
ンとなるＡＳＩＣである。ＡＳＩＣ７２は、画像処理を
実行する。たとえば、本発明に含まれる画像処理は、画
像処理ＡＳＩＣ７２で実施することができる。たとえ
ば、ディジタルカメラ撮像技法を実行するロジックは、
たとえば、D.E.Thomas、J.P.Moorbyによる「The Verilo
gTM Hardware Description Language」(1991)に記載さ
れているVerilogTMハードウェア記述言語のようなハー
ドウエア記述言語で実施することができる。したがっ
て、ディジタルカメラ撮像技法を実行するロジックは、
VerilogTMハードウェア記述言語で実施することがで
き、これに対応する回路を、当該技術分野において既知
の方法を使用して実施することにより、本発明の１実施
態様に従うディジタルカメラ撮像技法を実行するための
画像処理ＡＳＩＣを提供することができる（たとえば、
逆三角法数計算用のルックアップ・テーブルを使用して
３Ｄ幾何学変換を行うロジックを含むＡＳＩＣを実装す
る）。
【００４７】１実施態様においては、本発明は下記の処
理を含む。すなわち、それらは、 ・物体（たとえば、文書）の距離、形状（たとえば、文
書のカールのような平坦性）、向き、及びカメラの光軸
に対する撮像物体のカールを表す物理的測定値を提供す
ることと、 ・文書を幾何学的なひずみのない平坦な物体として表す
ことができるように、画像処理装置（イメージプロセッ
サ）に対して、文書の距離、形状、向き及びカールを示
す測定値を提供することと、 ・物体の表面の法線に対するカメラの光軸の角度方向の
指標を提供することと、 ・物体の平坦性の指標を提供することと、 ・カメラの能動的または受動的距離検出システムと共に
動作して、近焦点状態を検出し、近焦点距離における文
書の撮像を改善することと、 ・近焦点状態におけるカメラの焦点深度に関する制限の
ある文書を撮像するために様々な焦点距離における複数
の露光を必要とするカメラの露光機構に、信号を与える
ことと、 ・文書を適切に撮像するために、文書に対してカメラを
向け直すべきであるという指示をユーザに提供すること
である。
【００４８】本発明の特定の実施態様を図示し説明した
が、本発明から逸脱することなくそのより広い態様にお
いて変更及び修正を行うことができることは、当業者に
は明らかでろう。たとえば、本発明を、ハードウェアま
たはソフトウェア、あるいはハードウェアとソフトウェ
アの組合せで実現することができる。また、本発明は、
画像処理のための様々なスポット・パターンを提供する
任意の数及び配列からなる向き／測距用放射源を使用し
て実現することができる。イメージセンサ回路は、ＣＭ
ＯＳセンサ、ＣＣＤセンサ、または投射スポット・パタ
ーンを検出することができるその他のタイプのセンサを
使用して実現することができる。したがって、特許請求
の範囲は、本発明の真の範囲に含まれるそのようなすべ
ての変更及び修正をその範囲に包含するものである。
【００４９】以下においては、本発明の種々の構成要件
の組み合わせからなる例示的な実施態様を示す。
【００５０】１．ディジタルカメラ撮像技術のための方
法であって、ディジタルカメラのイメージセンサ回路
が、該ディジタルカメラの光軸に対する物体の向きを検
出するステップと、該イメージセンサ回路が、物体を撮
像するステップとからなる方法。
【００５１】２．前記イメージセンサ回路が、物体の平
坦性を検出するステップをさらに含む、上項１の方法。
【００５２】３．前記イメージセンサ回路が、文書から
なる物体のカールを検出するステップをさらに含む、上
項１の方法。
【００５３】４．放射源回路が、物体にパターンを投射
するステップをさらに含む、上項１の方法。
【００５４】５．前記イメージセンサ回路が、投射パタ
ーンを検出するステップをさらに含む、上項４の方法。
【００５５】６．画像処理回路が、検出した投射パター
ンを処理して、文書からなる物体の向きと物体の平坦性
を決定するステップをさらに含む、上項５の方法。
【００５６】７．投射パターンが、少なくとも４つの投
射スポットを含む、上項５の方法。
【００５７】８．前記パターンを投射するステップが、
複数の光ビームを放射するステップを含む、上項５の方
法。
【００５８】９．前記複数の光ビームが、平行光ビーム
を含む、上項８の方法。
【００５９】１０．前記複数の光ビームが、赤外線ビー
ムを含む、上項８の方法。
【００６０】１１．前記複数の光ビームが、発散光ビー
ムを含む、上項８の方法。
【００６１】１２．物体の向きと物体の平坦性を表すデ
ータを記憶するステップをさらに含む、上項８の方法。
【００６２】１３．ディジタルカメラ撮像技術のための
装置であって、物体に投射されたスポット・パターンを
検出するイメージセンサと、イメージセンサと通信し、
ディジタルカメラの光軸に対する物体の向きを決定する
画像処理装置とを含み、イメージセンサが、さらに、物
体を撮像することからなる装置。
【００６３】１４．物体の平坦性を決定する画像処理装
置をさらに含む、上項１３の装置。
【００６４】１５．物体にスポット・パターンを投射す
る複数の放射源をさらに含む、上項１４の装置。
【００６５】１６．複数のＣＭＯＳセンサからなるイメ
ージセンサをさらに含む、上項１５の装置。
【００６６】１７．画像処理装置が、投射スポット・パ
ターンを処理して、文書からなる物体の平坦性を決定す
るロジックをさらに含む、上項１５の装置。
【００６７】１８．画像処理装置が、投射スポット・パ
ターンを処理して、文書からなる物体の向きを決定する
ロジックをさらに含む、上項１５の装置。
【００６８】１９．前記複数の放射源が、複数の光ビー
ムを放射する、上項１５の装置。
【００６９】２０．前記複数の光ビームが、平行光ビー
ムを含む、上項１９の装置。
【００７０】２１．前記複数の光ビームが、赤外線ビー
ムを含む、上項１９の装置。
【００７１】２２．前記複数の光ビームが、発散光ビー
ムを含む、上項１９の装置。
【００７２】２３．物体の向きと物体の平坦性を表すデ
ータを記憶するメモリをさらに含む、上項１９の装置。
【００７３】２４．文書からなる物体に投射された複数
の光ビームを検出するイメージセンサをさらに含み、画
像処理装置が、その検出された複数の光ビームを解析し
て、文書の向き、文書の平坦性、文書のカール、及び文
書の距離を決定する、上項１９の装置。
【００７４】２５．文書用ディジタルカメラ撮像技術の
ための方法であって、ディジタルカメラで撮像する文書
にスポット・パターンを投射するステップと、投射スポ
ット・パターンを検出するステップと、投射スポット・
パターンを解析して、ディジタルカメラの光軸に対する
文書の向きと文書の平坦性を決定するステップを含む方
法。
【００７５】２６．文書の向きと平坦性を表すデータを
記憶するステップをさらに含む、上項２５の方法。
【００７６】２７．文書を撮像する前にデータを処理
し、それによりイメージセンサが、シャープな合焦状態
で、かつ幾何学的ひずみなしに該文書を撮像するステッ
プをさらに含む、上項２６の方法。
【００７７】２８．文書の複数の露光を処理して、複数
の距離にある文書の一部分をシャープな合焦状態で撮像
するステップをさらに含む、上項２５の方法。
【００７８】２９．文書に対してディジタルカメラを向
け直すべきであることを示す信号を出力するステップを
さらに含む、上項２５の方法。
【００７９】３０．前記投射スポット・パターンが、複
数の光ビームの投射を含む、上項２５の方法。
【００８０】３１．前記複数の光ビームが、平行な赤外
線ビームを含む、上項３０の方法。
【００８１】３２．前記投射スポット・パターンを解析
して、ディジタルカメラからの文書の距離を決定するス
テップをさらに含む、上項２５の方法。
【００８２】３３．文書のカールを決定するステップを
さらに含む、上項２５の方法。
【００８３】
【発明の効果】本発明によれば、ディジタルカメラの光
軸に対して傾いた物体や、本のページのような湾曲した
物体を撮像する際に、それらの物体の傾斜、平坦性を、
距離とともに測定することができるので、それらの物体
についても、ひずみのない平坦な画像を得ることができ
る。
【図面の簡単な説明】
【図１】（ａ）は、物体に投射された規則的な５×５配
列の光スポット（スポット・パターン）を示し、（ｂ）
〜（ｅ）は、本発明の１実施態様による物体の種々の向
きと位置に対するスポット・パターンの例を示す。
【図２】図１（ａ）〜１（ｅ）と似ているが、スポット
を４つだけ含む本発明の別の実施態様によるスポット・
パターンの図である。
【図３】本発明の１実施態様に従って、撮像する物体の
距離及び向きを検出するための結像手法を示す図であ
る。
【図４】本発明の別の実施態様に従って、撮像する物体
の距離及び向きを検出するための結像手法を示す図であ
る。
【図５】本発明の１実施態様によるディジタルカメラを
示す図である。
【図６】本発明の１実施態様による図５のディジタルカ
メラの動作の流れ図である。
【図７】本発明の１実施態様に従って、より詳細に示し
た図５のディジタルカメラのブロック図である。
【符号の説明】
５０ ディジタルカメラ ５１ アクティブオートフォーカス用放射源 ５２ ビューファインダ ５３ オートフォーカス検出器 ５４ 向き／測距用放射源 ５５ 結像レンズ

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】ディジタルカメラ撮像技術のための方法で
    あって、 ディジタルカメラのイメージセンサ回路が、該ディジタ
    ルカメラの光軸に対する物体の向きを検出するステップ
    と、該イメージセンサ回路が、物体を撮像するステップ
    とからなる方法。
JP11201278A 1998-07-21 1999-07-15 ディジタルカメラによる文書撮像技術 Withdrawn JP2000089092A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US120096 1993-09-13
US09/120,096 US6741279B1 (en) 1998-07-21 1998-07-21 System and method for capturing document orientation information with a digital camera

Publications (2)

Publication Number Publication Date
JP2000089092A true JP2000089092A (ja) 2000-03-31
JP2000089092A5 JP2000089092A5 (ja) 2006-08-31

Family

ID=22388244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11201278A Withdrawn JP2000089092A (ja) 1998-07-21 1999-07-15 ディジタルカメラによる文書撮像技術

Country Status (4)

Country Link
US (1) US6741279B1 (ja)
EP (1) EP0974811B1 (ja)
JP (1) JP2000089092A (ja)
DE (1) DE69921559T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224397B2 (en) 2001-08-29 2007-05-29 Mega Chips Corporation AF control apparatus and AF control method

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1067757A1 (en) 1999-07-09 2001-01-10 Hewlett-Packard Company Curled surface imaging system
EP1067362A1 (en) 1999-07-09 2001-01-10 Hewlett-Packard Company Document imaging system
EP1128655B1 (en) * 2000-02-21 2006-12-06 Hewlett-Packard Company, A Delaware Corporation Framing aid for a document capture device
US6463220B1 (en) * 2000-11-08 2002-10-08 Xerox Corporation Method and apparatus for indicating a field of view for a document camera
GB2372656A (en) * 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
GB2379818A (en) * 2001-07-25 2003-03-19 Univ Bristol Automatic surface inspection using plural different radiation sources.
US7053939B2 (en) 2001-10-17 2006-05-30 Hewlett-Packard Development Company, L.P. Automatic document detection method and system
FR2842591B1 (fr) * 2002-07-16 2004-10-22 Ecole Nale Sup Artes Metiers Dispositif pour mesurer des variations dans le relief d'un objet
JP2004093275A (ja) 2002-08-30 2004-03-25 Seiko Precision Inc 角度検出装置およびそれを備えたプロジェクタ
EP1426732A1 (en) * 2002-11-29 2004-06-09 Seiko Precision Inc. Angle detection apparatus, projector including the same, and angle detection method
JP3874778B2 (ja) * 2003-03-28 2007-01-31 富士通株式会社 撮影装置
JP2005006228A (ja) * 2003-06-13 2005-01-06 Casio Comput Co Ltd プロジェクタ
JP4155890B2 (ja) * 2003-07-15 2008-09-24 カシオ計算機株式会社 プロジェクタ、プロジェクタの傾斜角度取得方法及び投影像補正方法
JP3969363B2 (ja) * 2003-07-30 2007-09-05 カシオ計算機株式会社 プロジェクタ及びプロジェクタの投影像補正方法
JP4020043B2 (ja) * 2003-08-25 2007-12-12 カシオ計算機株式会社 投影装置、投影方法及びプログラム
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
JP4799216B2 (ja) * 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
WO2007112437A2 (en) * 2006-03-28 2007-10-04 Axsun Technologies, Inc. Low pixel count tunable laser raman spectroscopy system and method
EP2053348A1 (de) * 2007-10-23 2009-04-29 Texmag GmbH Vertriebsgesellschaft Verfahren und Vorrichtung zur optischen Erfassung eines Objekts
US20110019243A1 (en) * 2009-07-21 2011-01-27 Constant Jr Henry J Stereoscopic form reader
US8428394B2 (en) * 2010-05-25 2013-04-23 Marcus KRIETER System and method for resolving spatial orientation using intelligent optical selectivity
DE112014007274T5 (de) * 2014-12-19 2017-12-14 Hewlett Packard Development Company, L.P. Bestimmen von Positionsinformationen bei der Bilderfassung, basierend auf einem quasiperiodischen Muster
US10958841B2 (en) 2017-01-06 2021-03-23 Intel Corporation Integrated image sensor and display pixel
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
CN109445726B (zh) * 2018-11-09 2021-11-23 珠海奔彩打印科技有限公司 一种多方向旋转编辑打印内容的打印装置及打印方法
US10832045B2 (en) * 2019-01-10 2020-11-10 Microsoft Technology Licensing, Llc Camera environment mapping
US11211433B2 (en) 2020-05-04 2021-12-28 Intel Corporation In-display sensors and viewing angle adjustment microassemblies
US10991081B1 (en) 2020-12-31 2021-04-27 VoyagerX, Inc. Book scanning using machine-trained model
US11030488B1 (en) 2020-12-31 2021-06-08 VoyagerX, Inc. Book scanning using machine-trained model

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2514930A1 (de) 1975-04-05 1976-10-14 Opto Produkte Ag Verfahren zur optischen ermittlung und zum vergleich von formen und lagen von objekten
JPS60167069A (ja) * 1984-02-09 1985-08-30 Omron Tateisi Electronics Co 図形認識装置
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
EP0356680A1 (de) * 1988-08-11 1990-03-07 Siemens Aktiengesellschaft Optische Aufnahmeeinrichtung für Bildverarbeitungssysteme
US6133951A (en) * 1994-05-10 2000-10-17 Asahi Kogaku Kogyo Kabushiki Kaisha Still-video camera with function setting operation
US5793901A (en) * 1994-09-30 1998-08-11 Omron Corporation Device and method to detect dislocation of object image data
JPH08336069A (ja) * 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
US5753931A (en) 1995-07-13 1998-05-19 Nike, Inc. Object imaging device and method using line striping
US6034379A (en) * 1996-03-01 2000-03-07 Intermec Ip Corp. Code reader having replaceable optics assemblies supporting multiple illuminators
US6003773A (en) * 1996-03-01 1999-12-21 Intermec Ip Corp. Tablet style indicia reader with system for handling multiple indicia
US6449004B1 (en) * 1996-04-23 2002-09-10 Minolta Co., Ltd. Electronic camera with oblique view correction
US6026186A (en) * 1997-11-17 2000-02-15 Xerox Corporation Line and curve detection using local information
GB2359895B (en) * 2000-03-03 2003-09-10 Hewlett Packard Co Camera projected viewfinder

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224397B2 (en) 2001-08-29 2007-05-29 Mega Chips Corporation AF control apparatus and AF control method

Also Published As

Publication number Publication date
US6741279B1 (en) 2004-05-25
DE69921559T2 (de) 2005-10-27
EP0974811A1 (en) 2000-01-26
EP0974811B1 (en) 2004-11-03
DE69921559D1 (de) 2004-12-09

Similar Documents

Publication Publication Date Title
JP2000089092A (ja) ディジタルカメラによる文書撮像技術
US8243286B2 (en) Device and method for the contactless detection of a three-dimensional contour
US7627196B2 (en) Image processing device and image capturing device
JPH1065882A (ja) 媒体表面形状データ取得方法
JP2000354192A5 (ja)
TW201524185A (zh) 掃描裝置
JP3986748B2 (ja) ３次元画像検出装置
KR100368808B1 (ko) 디지털 엑스선 촬영 장치
US20040119833A1 (en) Three-dimensional context sensitive scanner
JP2010176325A (ja) 任意視点画像生成装置及び任意視点画像生成方法
JP2001330915A (ja) 立体画像撮影方法及び撮影補助具
US20240087167A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
JP2009236696A (ja) 被写体の３次元画像計測方法、計測システム、並びに計測プログラム
JPH10320558A (ja) キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに３次元位置情報検出方法及び装置並びに記録媒体
JPH05322526A (ja) ３次元形状測定装置
JP4390779B2 (ja) 画像入力装置
JP2015141131A (ja) 計測装置、投影装置、計測方法、及びプログラム
US11481917B2 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
JP3711808B2 (ja) 形状計測装置および形状計測方法
JP2004117186A (ja) ３次元形状測定装置
US10095014B2 (en) Optical apparatuses to collect three-dimensional information of an object
JP3207166B2 (ja) 撮像装置
JP2004132759A (ja) 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム
WO2016198014A1 (zh) 一种聚焦成像的装置、方法和终端
JP2004309568A (ja) 全方位撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060712

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20080527