JP2002081922A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、並びにプログラム

Info

Publication number
JP2002081922A
JP2002081922A JP2001108353A JP2001108353A JP2002081922A JP 2002081922 A JP2002081922 A JP 2002081922A JP 2001108353 A JP2001108353 A JP 2001108353A JP 2001108353 A JP2001108353 A JP 2001108353A JP 2002081922 A JP2002081922 A JP 2002081922A
Authority
JP
Japan
Prior art keywords
image
image processing
data
distance information
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001108353A
Other languages
English (en)
Other versions
JP3867512B2 (ja
Inventor
Tsutomu Abe
勉 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2001108353A priority Critical patent/JP3867512B2/ja
Priority to US09/892,884 priority patent/US6970600B2/en
Publication of JP2002081922A publication Critical patent/JP2002081922A/ja
Application granted granted Critical
Publication of JP3867512B2 publication Critical patent/JP3867512B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1434—Special illumination such as grating, reflections or deflections, e.g. for characters with relief
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Character Input (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 距離情報に基づく輝度画像分析により、入力
文字等の識別処理を効率的に実行する画像処理装置を提
供する。 【解決手段】 原稿、ホワイトボード等に対する文字の
書き込み状態をパターン投影による３次元計測を実行し
て距離計測を実行し、いわゆる実画像である輝度画像
と、距離計測用の画像を並列して撮り込み、距離情報に
基づく輝度画像分析により、入力文字の識別処理を実行
する。紙などに対するペンによる書き込み文字、模様等
を撮影し、撮影画像の幾何変換を実施して、自然な入力
文字分析、読み取り処理が実現される。さらに、時系列
に撮り込む画像の比較処理によるノイズ除去処理、原稿
位置修正が可能となる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は撮影対象の形状計測
をする画像処理装置および画像処理方法、並びにプログ
ラムに関し、紙などに対するペンによる書き込み文字、
模様等を撮影し、撮影画像の幾何変換を実施して、自然
な入力文字分析、読み取り処理を実現する画像処理装置
および画像処理方法、並びにプログラムに関する。
【０００２】
【従来の技術】コンピュータなどの発展により、キーボ
ード、マウス、タブレットなどさまざまな入力装置が開
発されている。手書き文字の入力装置等には、例えば図
３１に示すようなタブレットが広く普及している。
【０００３】図３１のようなタブレット型の手書き入力
装置においては、専用の入力装置が必要となる。いわゆ
る専用ペン３１０２と専用の入力装置３１０１を使用す
るために、紙に書くといった入力環境とはかけはなれ
る。また、普通の紙に文字を書き、その情報をパソコン
などに入力する場合は、スキャナやデジタルカメラなど
に入力しなければならない。
【０００４】特開平４−１２６４４７号には、２次元の
撮像素子を用い、一次元のラインセンサを用いたフラッ
トベット型のスキャナの解像度と同等の画像を得る構成
が開示されている。すなわち、２次元撮像素子に距離入
力手段を用いて、被写体の形状を算出し、幾何変換によ
り、原稿情報をフラットなプレーン上に再現する手法を
開示している。
【０００５】さらに、特開平１１−１３６５６３号にお
いては、自動焦点機構を有する結像光学系と、結像光学
系を介して原稿画像を読み取る撮像素子とを有し、原稿
画像の撮像面から撮像素子の中心まで（光軸）の距離を
測定する測距センサと、原稿画像が設置されている面の
水平面に対する角度情報を入力する原稿面角度入力手段
と、測距センサの距離情報及び原稿面角度入力手段の角
度情報により原稿の傾斜情報を検出して画像を読み取る
構成を開示している。
【０００６】また、特開平１１−１３６５６４号は、結
像光学系と、結像光学系を介して原稿画像を読み取る撮
像素子とを有し、原稿画像の撮像面の任意の３点から撮
像素子までの各距離を測定する測距手段と、測距手段に
よる３点の距離情報から撮像素子に対する原稿面の傾斜
情報を検出して、撮像素子面に対する原稿面の傾斜状態
を常時把握可能として高精度な画像を読み取る構成を開
示している。
【０００７】距離形状計測に関しては、特開平５−３３
２７３７に開示されるような空間コード化法を用いた方
法や、複数の撮像素子を備えたステレオ画像法などが一
般的である。
【０００８】
【発明が解決しようとする課題】手書き文字の入力、あ
るいは認識処理のためには、上述のような専用ペンと専
用の入力装置からなるタブレット装置を用いるか、ある
いは上述の距離計測手段を使用して原稿の傾斜状況を把
握して画像を読み取った後、幾何変換（射影変換）によ
り分析するといった手法があるが、上述の構成では、特
別の距離測定手段を必要とし、装置が大掛かりになりコ
スト高になるという欠点がある。
【０００９】本発明は、上述の問題点に鑑みてなされた
ものであり、簡易な構成で、距離計測を実行して、いわ
ゆる実画像である輝度画像と、距離計測用の画像を並列
して撮り込み、距離情報に基づく輝度画像分析により、
入力文字の識別処理を実行する画像処理装置および画像
処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】本発明は、上述の目的を
解決するものであり、その第１の側面は、パターンを投
影する投光手段と、前記投光手段の光軸方向から輝度画
像および投影パターン像を撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パタ
ーン像を撮影する第２の撮像手段とを備え、前記第２の
撮像手段の撮影した撮影パターンに基づいて第１の距離
情報を生成する３次元画像撮像手段と、前記第１の撮像
手段により撮像された輝度画像を前記距離情報に基づい
て幾何変換を実行する幾何変換手段と、を有することを
特徴とする画像処理装置にある。
【００１１】さらに、本発明の画像処理装置の一実施態
様において、前記投影パターンに対する第１の撮像手段
による撮影パターンの変化量が所定値以上の領域につい
て、該第１の撮像手段による撮影パターンに対応する新
規コードを割り付け、前記新規コードに基づいて第２の
撮像手段による撮影パターンから前記第１の距離情報を
生成する構成を有することを特徴とする。
【００１２】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、前記３次元
画像撮像手段により時系列に撮り込まれるフレームデー
タ画像相互の比較処理を実行するフレームデータ比較手
段と、前記フレームデータ比較手段におけるフレームデ
ータ画像相互の比較処理結果に基づいてフレームデータ
画像からノイズデータ除去処理を実行する画像処理手段
と、を有することを特徴とする。
【００１３】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、前記３次元
画像撮像手段により時系列に撮り込まれるフレームデー
タ画像相互の比較処理を実行するフレームデータ比較手
段と、前記フレームデータ比較手段におけるフレームデ
ータ画像相互の比較処理結果に基づいてフレームデータ
画像の画像位置変更処理を実行する画像処理手段と、を
有することを特徴とする。
【００１４】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、前記３次元
画像撮像手段により時系列に撮り込まれるフレームデー
タの初期画像を初期フレームデータとして記憶する記憶
手段と、前記３次元画像撮像手段により時系列に撮り込
まれるフレームデータ画像相互の比較処理を実行するフ
レームデータ比較手段と、前記フレームデータ比較手段
における前記初期フレームデータと、後続して撮り込ま
れるフレームデータとの比較結果に基づいて差分データ
のみを格納データとして抽出する画像処理手段と、を有
することを特徴とする。
【００１５】さらに、本発明の画像処理装置の一実施態
様において、前記投光手段は不可視領域の光を発生する
光源を有し、前記第１の撮像手段および前記第２の撮像
手段は不可視領域の光を透過するフィルターおよび不可
視領域の光を遮断するフィルターを有し、パターン投影
画像と、輝度画像とを並列に撮り込む構成を有すること
を特徴とする。
【００１６】さらに、本発明の画像処理装置の一実施態
様において、前記投光手段による投影パターンに対する
第１の撮像手段による撮影パターンの変化量が所定値未
満の領域について、第１の撮像手段および第２の撮像手
段より得られた各輝度情報の対応づけにより第２の距離
情報を生成する構成としたことを特徴とする。
【００１７】さらに、本発明の画像処理装置の一実施態
様において、前記第２の撮像手段は、前記測定対象を異
なる角度で撮像する複数の撮像手段によって構成され、
該複数の第２の撮像手段の各々の撮影した投影パターン
に基づいて距離情報を生成する構成としたことを特徴と
する。
【００１８】さらに、本発明の第２の側面は、投光手段
によりパターンを投影するパターン投光ステップと、前
記投光手段の光軸方向から第１の撮像手段により輝度画
像および投影パターン像を撮影し、前記投光手段の光軸
方向と異なる方向から第２の撮像手段により前記投影パ
ターン像を撮影する撮影ステップと、前記第２の撮像手
段の撮影した撮影パターンに基づいて第１の距離情報を
生成する距離情報生成ステップと、前記第１の撮像手段
により撮像された輝度画像を前記距離情報に基づいて幾
何変換を実行する幾何変換ステップと、を有することを
特徴とする画像処理方法にある。
【００１９】さらに、本発明の画像処理方法の一実施態
様において、前記距離情報生成ステップは、前記投影パ
ターンに対する第１の撮像手段による撮影パターンの変
化量が所定値以上の領域について、該第１の撮像手段に
よる撮影パターンに対応する新規コードを割り付け、前
記新規コードに基づいて第２の撮像手段による撮影パタ
ーンから前記第１の距離情報を生成するステップを含む
ことを特徴とする。
【００２０】さらに、本発明の画像処理方法の一実施態
様において、前記撮像ステップにおいて時系列に撮り込
まれるフレームデータ画像相互の比較処理を実行するフ
レームデータ比較ステップと、前記フレームデータ比較
ステップにおけるフレームデータ画像相互の比較処理結
果に基づいてフレームデータ画像からノイズデータ除去
処理を実行する画像処理ステップと、を有することを特
徴とする。
【００２１】さらに、本発明の画像処理方法の一実施態
様において、前記撮像ステップにおいて時系列に撮り込
まれるフレームデータ画像相互の比較処理を実行するフ
レームデータ比較ステップと、前記フレームデータ比較
ステップにおけるフレームデータ画像相互の比較処理結
果に基づいてフレームデータ画像の画像位置変更処理を
実行する画像処理ステップと、を有することを特徴とす
る。
【００２２】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、前記撮像ス
テップにおいて時系列に撮り込まれるフレームデータの
初期画像を初期フレームデータとして記憶手段に記憶す
る記憶ステップと、前記撮像ステップにおいて時系列に
撮り込まれるフレームデータ画像相互の比較処理を実行
するフレームデータ比較ステップと、前記フレームデー
タ比較ステップにおける前記初期フレームデータと、後
続して撮り込まれるフレームデータとの比較結果に基づ
いて差分データのみを格納データとして抽出する画像処
理ステップとを有することを特徴とする。
【００２３】さらに、本発明の画像処理方法の一実施態
様において、前記パターン投光ステップは、前記光源を
赤外光または紫外光を用いた不可視領域の光源として、
パターン光を不可視領域光によって形成するステップで
あり、前記撮像ステップは、パターン投影画像と、輝度
画像とを並列に撮り込むステップであることを特徴とす
る。
【００２４】さらに、本発明の画像処理方法の一実施態
様において、前記投光手段による投影パターンに対する
第１の撮像手段による撮影パターンの変化量が所定値未
満の領域について、第１の撮像手段および第２の撮像手
段より得られた各輝度情報の対応づけにより第２の距離
情報を生成するステップを有することを特徴とする。
【００２５】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法において、さらに、前記
第２の撮像手段は、前記測定対象を異なる角度で撮像す
る複数の撮像手段によって構成され、該複数の第２の撮
像手段の各々の撮影した投影パターンに基づいて距離情
報を生成するステップを有することを特徴とする。
【００２６】さらに、本発明の第３の側面は、画像保持
媒体に光を投光する投光手段と、前記投光手段によって
投光された前記画像保持媒体を撮影する撮像手段と、前
記撮像手段によって撮影された画像に基づいて輝度画像
を取得する輝度画像取得手段と、前記撮影された光から
距離情報を取得する距離情報取得手段と、前記距離情報
取得手段において取得された距離情報に基づき前記輝度
画像を幾何変換する幾何変換手段と、前記幾何変換手段
において幾何変換された輝度画像と、予め取得済みの輝
度画像との差異を抽出する画像抽出手段と、を有するこ
とを特徴とする画像処理装置にある。
【００２７】さらに、本発明の画像処理装置の一実施態
様において、前記画像保持媒体は、原稿、ホワイトボー
ド、黒板、スクリーン、壁、またはスクリーン投影用シ
ートのいずれかであることを特徴とする。
【００２８】さらに、本発明の画像処理装置の一実施態
様において、前記画像抽出手段において、処理対象とな
る予め取得済みの輝度画像は、前記幾何変換手段から先
行して入力した先行フレーム画像であることを特徴とす
る。
【００２９】さらに、本発明の画像処理装置の一実施態
様において、前記画像抽出手段において、処理対象とな
る予め取得済みの輝度画像は、記憶手段に予め記憶され
た画像データであることを特徴とする。
【００３０】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、複数の帳票フォーマ
ットデータを格納した帳票データベースと、前記幾何変
換手段において幾何変換された輝度画像と、前記帳票デ
ータベースに格納されたフォーマット画像との照合処理
を実行する帳票識別手段とを有し、前記画像抽出手段
は、前記幾何変換手段において幾何変換された輝度画像
と、前記帳票データベースに格納されたフォーマット画
像との差異を抽出する処理を実行する構成であることを
特徴とする。
【００３１】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、前記画像抽
出手段の抽出した文字データを読み取り、コード値とし
て置き換え可能な文字データに変換する文字変換処理構
成を有することを特徴とする。
【００３２】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、登録ユーザ
による筆跡履歴データを格納した認証情報データベース
と、前記幾何変換手段において幾何変換された輝度画像
を入力し、該入力画像と前記認証情報データベースに格
納された筆跡履歴データとの照合処理を実行する認証処
理手段と、を有することを特徴とする。
【００３３】さらに、本発明の画像処理装置の一実施態
様において、前記認証情報データベースには、登録ユー
ザの筆跡履歴データと署名形状データとが格納され、前
記認証処理手段は、前記幾何変換手段において幾何変換
された輝度画像を入力し、該入力画像と前記認証情報デ
ータベースに格納された筆跡履歴データとの照合処理を
実行するとともに、署名形状データとの照合処理を実行
する構成であることを特徴とする。
【００３４】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、前記幾何変
換手段において距離情報に基づき前記輝度画像を幾何変
換した画像を表示する表示手段を有することを特徴とす
る。
【００３５】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置において、画像保持媒体
と前記撮像手段との距離が固定され、前記距離情報取得
手段の取得した距離情報を格納する記憶手段を有し、前
記幾何変換手段は前記記憶手段に記憶された距離情報に
基づき前記輝度画像を幾何変換する構成であることを特
徴とする。
【００３６】さらに、本発明の第４の側面は、画像保持
媒体に光を投光する投光ステップと、前記投光された前
記画像保持媒体を撮影する撮像ステップと、前記撮像ス
テップにおいて撮影された画像に基づいて輝度画像を取
得する輝度画像取得ステップと、前記撮影された光から
距離情報を取得する距離情報取得ステップと、前記距離
情報取得ステップにおいて取得された距離情報に基づき
前記輝度画像を幾何変換する幾何変換ステップと、前記
幾何変換ステップにおいて幾何変換された輝度画像と、
予め取得済みの輝度画像との差異を抽出する画像抽出ス
テップと、を有することを特徴とする画像処理方法にあ
る。
【００３７】さらに、本発明の画像処理方法の一実施態
様において、前記画像保持媒体は、原稿、ホワイトボー
ド、黒板、スクリーン、壁、またはスクリーン投影用シ
ートのいずれかであることを特徴とする。
【００３８】さらに、本発明の画像処理方法の一実施態
様において、前記画像抽出ステップにおいて、処理対象
となる予め取得済みの輝度画像は、前記幾何変換手段か
ら先行して入力した先行フレーム画像であることを特徴
とする。
【００３９】さらに、本発明の画像処理方法の一実施態
様において、前記画像抽出ステップにおいて、処理対象
となる予め取得済みの輝度画像は、記憶手段に予め記憶
された画像データであることを特徴とする。
【００４０】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、前記幾何変
換ステップにおいて幾何変換された輝度画像と、複数の
帳票フォーマットデータを格納した帳票データベースに
格納されたフォーマット画像との照合処理を実行する帳
票識別ステップを有し、前記画像抽出ステップは、前記
幾何変換ステップにおいて幾何変換された輝度画像と、
複数の帳票フォーマットデータを格納した帳票データベ
ースに格納されたフォーマット画像との差異を抽出する
処理を実行することを特徴とする。
【００４１】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、さらに、前
記画像抽出ステップにおいて抽出した文字データを読み
取り、コード値として置き換え可能な文字データに変換
する文字変換処理ステップ、を有することを特徴とす
る。
【００４２】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、前記幾何変
換ステップにおいて幾何変換された輝度画像を入力し、
該入力画像と登録ユーザによる筆跡履歴データを格納し
た認証情報データベースに格納された筆跡履歴データと
の照合処理を実行する認証処理ステップ、を有すること
を特徴とする。
【００４３】さらに、本発明の画像処理方法の一実施態
様において、前記認証情報データベースには、登録ユー
ザの筆跡履歴データと署名形状データとが格納され、前
記認証処理ステップは、前記幾何変換ステップにおいて
幾何変換された輝度画像を入力し、該入力画像と前記認
証情報データベースに格納された筆跡履歴データとの照
合処理を実行するとともに、署名形状データとの照合処
理を実行することを特徴とする。
【００４４】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、前記幾何変
換ステップにおいて距離情報に基づき前記輝度画像を幾
何変換した画像を表示する表示ステップを有することを
特徴とする。
【００４５】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法において、画像保持媒体
と前記撮像手段との距離が固定され、前記距離情報取得
手段の取得した距離情報を格納する記憶ステップを有
し、前記幾何変換ステップは前記記憶ステップにおいて
記憶された距離情報に基づき前記輝度画像を幾何変換す
ることを特徴とする。
【００４６】さらに、本発明の第５の側面は、画像処理
をコンピュータ・システム上で実行せしめるプログラム
であって、前記プログラムは、画像保持媒体に光を投光
する投光ステップと、前記投光された前記画像保持媒体
を撮影する撮像ステップと、前記撮像ステップにおいて
撮影された画像に基づいて輝度画像を取得する輝度画像
取得ステップと、前記撮影された光から距離情報を取得
する距離情報取得ステップと、前記距離情報取得ステッ
プにおいて取得された距離情報に基づき前記輝度画像を
幾何変換する幾何変換ステップと、前記幾何変換ステッ
プにおいて幾何変換された輝度画像と、予め取得済みの
輝度画像との差異を抽出する画像抽出ステップと、を有
することを特徴とするプログラムにある。
【００４７】なお、本発明のプログラムは、例えば、様
々なプログラム・コードを実行可能な汎用コンピュータ
・システムに対して、コンピュータ可読な形式で提供す
る記憶媒体、通信媒体によって提供されるコンピュータ
・プログラムである。
【００４８】このようなプログラムをコンピュータ可読
な形式で提供することにより、コンピュータ・システム
上でプログラムに応じた処理が実現される。コンピュー
タ・プログラムをコンピュータ・システムにインストー
ルすることによって、コンピュータ・システム上では協
働的作用が発揮され、本発明の他の側面と同様の作用効
果を得ることができるのである。
【００４９】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
【００５０】
【発明の実施の形態】以下、図を用いて本発明の画像処
理装置および画像処理方法の実施の形態を詳しく説明す
る。
【００５１】本発明の画像処理装置は、異なる方向から
撮影した画像を用いて撮影被写体の距離情報を取得し、
取得した距離情報に基づいて被写体の距離情報を求め、
求めた距離情報に基づいて撮影画像としての輝度画像に
より画像内の文字等の読み取りを実行するものである。
【００５２】距離情報としての３次元形状を取得する手
法には、アクティブ手法（Active vision）とパッシブ
手法（Passive vision）がある。アクティブ手法は、
（1）レーザ光や超音波等を発して、対象物からの反射
光量や到達時間を計測し、奥行き情報を抽出するレーザ
ー手法や、（2）スリット光などの特殊なパターン光源
を用いて、対象表面パターンの幾何学的変形等の画像情
報より対象形状を推定するパターン投影方法や、(3)光
学的処理によってモアレ縞により等高線を形成させて、
３次元情報を得る方法などがある。一方、パッシブ手法
は、対象物の見え方、光源、照明、影情報等に関する知
識を利用して、一枚の画像から３次元情報を推定する単
眼立体視、三角測量原理で各画素の奥行き情報を推定す
る二眼立体視等がある。
【００５３】一般的にアクティブ手法のほうが計測精度
は高いが、投光手段の限界などにより、測定できるレン
ジが小さい場合が多い。一方、パッシブ手法は汎用的で
あり、対象に対する制約が少ない。本発明は、このアク
ティブ手法の３次元計測装置であるパターン投影法に関
するものである。パターン投影法では、対象とする物体
に基準となるパターン光を投影し、基準となるパターン
光が投影された方向とは異なる方向から撮影を行う。撮
影されたパターンは、物体の形状によって変形を受けた
ものとなる。観測された変形パターンと投影したパター
ンとの対応づけを行うことで、物体の3次元計測を行え
る。パターン投影法では、変形パターンと投影したパタ
ーンの対応づけにおいていかに誤対応を少なくし、かつ
簡便に行うかが課題となる。そこで、様々なパターン投
影の手法(空間パターンコード化、モアレ、色符号化)が
提案されている。
【００５４】代表的な空間コード化の一例は、例えばレ
ーザ光源とレーザ光をスリット形に整形するレンズ系
と、整形されたレーザ光を対象物に走査して照射するス
キャンニング装置と対象物からの反射光を検出するカメ
ラとこれらを制御する装置からなる。スキャンニング装
置から走査されるレーザ光によって対象物上に、レーザ
光が照射された部分と照射されていない部分とで縞模様
が形成される。レーザ光の照射を異なる複数のパターン
によって行うことで対象物上はＮ個の識別可能な部分に
分割される。対象物を異なる位置からカメラで撮影した
画像上の各画素が分割されたどの部分に含まれるかを判
別することで対象物の形状を算出できる。
【００５５】解像度を高くする為には複数回のレーザに
よるスキャンを行い、複数回のカメラによる撮影が必要
となる。例えば、画面を２５６の領域に分割する為には
8回の撮影が必要となる。そのため動きの早い物体の撮
影は困難となり、更にスキャンを行う間は撮影系を確実
に固定しておく必要があるので装置自体は簡便となって
も手軽に撮影を行う事は難しい。
【００５６】スリットの復元を容易に行い、更に1回で
コード化されたパターンを投影する手段として空間パタ
ーンコード化法がある。これは、３値以上の濃淡、又は
３色以上の色、又は濃淡と色の組み合わせによって３種
類以上の階調領域を有し、該階調領域の境界線の交点に
おいて少なくとも３種類の階調領域が互いに接している
ように配置した多値格子板パターンを具備し、該パター
ンを被測定対象物に投影して生じる投影像の交点に該交
点で接する階調の種類と順序に応じた主コードを付与
し、該主コードを、または交点の主コードとその周囲交
点の主コードとを組み合わせた組み合わせコードを、交
点の識別用の特徴コードとして付与する。しかし、この
方式では撮影対象によってはコード化が崩れてしまい正
しくコードの対応づけができなくなる場合がある。
【００５７】本出願と同一出願人に係る特願平１０−１
９１０６３号、(特開２０００−９４４２)、特願平１０
−２４７７９６(特開２０００−６５５４２)では投光さ
れたパターンをフィードバックし新たなコードを生成す
ることで対象物に依存しない３次元画像撮影装置を提案
した。この３次元画像撮影装置は、投光パターンを複数
の強度や複数の波長によって符号化されたものを投影し
て実現する。その際に、投光パターンが被写体の輝度情
報、素材などの影響によって変化し、３次元形状を算出
する際に、エラーとなって適切な３次元形状が計測でき
ない。そのために、上記３次元撮像装置は、投光素子と
同光軸に配置をし、被写体情報による投光パターンの変
化分をモニタし、再符号化を実施し、３次元形状を計測
する。
【００５８】まず、再コード化処理を用いた距離データ
の取得原理について説明する。再コード化処理を用いた
距離データの取得を実行する３次元画像撮像装置の構成
を表すブロック図を図１に示す。図２に光源と撮像素子
の位置関係を示す。
【００５９】図２に示すように、３次元形状測定装置
は、３台のカメラ１０１〜１０３および投光器１０４を
備える。各カメラの距離関係が揃うように、図示の距離
Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３
と投光器１０４は、ハーフミラー１０５を用いて光軸が
一致するように配置される。カメラ１，１０１、カメラ
２，１０２は、カメラ３，１０３と投光器１０４の両側
に、それらと光軸が異なるように配置される。中央の光
軸と両側の光軸との距離が基線長Ｌである。
【００６０】投光器１０４は、光源１０６と、マスクパ
ターン１０７と、強度パターン１０８と、プリズム１０
９とを有する。ここで光源１０６は、赤外もしくは紫外
光を用いた不可視領域の光源を用いることができる。こ
の場合、各カメラは図３に示すように構成される。すな
わち、入射してきた光３１０は、プリズム３０１で２方
向に分割され、一方は不可視領域（赤外あるいは紫外）
透過フィルター３０２を通って撮像装置（例えばＣＣＤ
カメラ）３０３に入射し、他方は不可視領域（赤外と紫
外）遮断フィルター３０４を通って撮像装置３０５に入
射する。
【００６１】また図２に示す光源１０６は、可視領域あ
るいは不可視領域に限定せず、撮像可能な波長帯の光源
を用いてもよい。この場合、カメラ３，１０３において
は、プログレッシブスキャンタイプのＣＣＤカメラを用
い、カメラ１，１０１、カメラ２，１０２に関しては、
特に構成はこだわらない。ただし、カメラ３，１０３と
の対応を考慮すれば、同じ構成のＣＣＤカメラが望まし
い。光源１０６からパターンが投影され、３台のカメラ
１〜３（１０１〜１０３）が同時に撮影を行う。そして
各カメラは、フィルター３０４，３０５（図３参照）を
通過した光を撮像装置３０３，３０５で得ることによ
り、画像の一括取得を行う。
【００６２】図１を用いて３次元形状測定装置の構成を
説明する。図示のように、カメラ１，１０１は、撮影し
て得た輝度情報を輝度値メモリ１２１に記憶し、撮影パ
ターンをパターン画像メモリ１２２に記憶する。カメラ
２，１０２は、同様に、輝度情報を輝度値メモリ１２３
に記憶し、撮影パターンをパターン画像メモリ１２４に
記憶する。カメラ３，１０３は、輝度情報を輝度値メモ
リ１２５に記憶し、撮影パターンをパターン画像メモリ
１２６に記憶する。投光器１０４は、事前に作成したコ
ード化されたパターンを後に参照する為に、各スリット
を正方格子上のセルに分割してフレームメモリ１２７に
格納している。
【００６３】この記憶保持された撮影パターンおよび輝
度情報を用いて、次のようにして３次元画像を得る。以
下の操作は、カメラ１，１０１とカメラ３，１０３の組
み合わせ、カメラ２，１０２とカメラ３，１０３の組み
合わせの双方に共通なので、ここではカメラ１，１０１
とカメラ３，１０３の組み合わせを例にとって説明す
る。
【００６４】図１において、領域分割部１２８は、カメ
ラ３，１０３で撮影された撮影パターンの領域分割を行
う。そして、隣り合うスリットパターン間の強度差が閾
値以下である領域については投光器からの光が届いてな
い領域１として抽出し、スリットパターン間の強度差が
閾値以上である領域については領域２として抽出する。
再コード化部１２９は、抽出された領域２について、パ
ターン画像メモリ１２６に記憶された撮影パターンとフ
レームメモリ１２７に格納された投影パターンを用いて
再コード化を行う。
【００６５】図４は、再コード化を行う際のフローチャ
ートである。まず、各スリットパターンをスリット幅毎
に縦方向に分割し（ステップ１００１）、正方形のセル
を生成する。生成された各セルについて強度の平均値を
とり、平均値を各セルの強度とする（ステップ１００
２）。画像の中心から順に、投影パターン及び撮影パタ
ーンの対応する各セル間の強度を比較し、対象物の反射
率、対象物までの距離などの要因によってパターンが変
化したためにセル間の強度が閾値以上異なるかどうかを
判断する（ステップ１００３）。閾値以上異ならない場
合は、撮影されたすべてのセルについて再コード化を終
了する（ステップ１００７）。
【００６６】閾値以上異なる場合は、新たな強度のセル
かどうか判断する（ステップ１００４）。そして、新た
な強度のセルのときは、新たなコードの生成、割り付け
を行う（ステップ１００５）。また、新たな強度のセル
でないときは、他に出現している部位と識別可能とする
スリットパターンの並びを用いてコード化する（ステッ
プ１００６）。これで、再コード化を終了する（ステッ
プ１００７）。
【００６７】図５はスリットパターンのコード化の例を
示すもので、同図（ａ）はスリットの並びによってコー
ド化された投影パターンであり、強度としてそれぞれ３
（強）、２（中）、１（弱）が割り当てられている。同
図（ｂ）においては、左から３つめのセルで強度が変化
して新たなコードが出現したので、新たに０というコー
ドを割り当てている。同図（ｃ）においては、左から３
つめ上から２つめのセルに既存のコードが出現している
ので、セルの並びから新たなコードとして、縦の並びを
［２３２］、横の並びを［１３１］という具合に再コー
ド化する。この再コード化は、対象の形状が変化に富む
部位には２次元パターンなどの複雑なパターンを投光
し、変化の少ない部位には簡単なパターンを投光してい
るのに等しい。この過程を繰り返し、全てのセルに対し
て一意なコードを割り付けることで再コード化を行う。
【００６８】図６は、カメラ６０１〜６０３および投光
器６０４を用いて、壁６０５の前に配置された板６０６
にコード化されたパターンを投光する例を示す。ここで
コード化されたパターンは、図７に示すスリットパター
ンである。このとき、カメラ６０１、カメラ６０２で得
られる画像は、図８及び図９に示すように、それぞれ板
６０６の影となる領域８０１、９０１が生ずる。本例で
は、板６０６の表面には新たにコード化されたパターン
として、図１０に示すようなスリットパターンが得られ
る。
【００６９】次に図１に戻って説明する。カメラ１，１
０１側のコード復号部１３０は、パターン画像メモリ１
２２から投影パターンを抽出し、上述と同様にしてセル
に分割する。そして、先に再コード化部１２９で再コー
ド化されたコードを用いて各セルのコードを検出し、こ
の検出したコードに基づいて光源からのスリット角θを
算出する。図１１は空間コード化における距離の算出方
法を示す図であり、各画素の属するセルのスリット角θ
とカメラ１で撮影された画像上のｘ座標とカメラパラメ
ータである焦点距離Ｆと基線長Ｌとから、次の（数１）
によって距離Ｚを算出する。
【００７０】
【数１】 Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （数１）
【００７１】この距離Ｚの算出は、カメラ２，１０２側
のコード復号部１３１においても、同様に行われる。ま
た、上述の領域１については次のようにして距離を算出
する。領域１では、投光されたパターンによるパターン
検出は行うことができないので、対応点探索部１３２に
おいて、カメラ１〜３の輝度値メモリ１２１、１２３、
１２５から読み出された輝度情報を用いて視差を検出
し、これに基づいて距離を算出する。領域１を除く領域
に対しては、前述の操作により距離が算出されているの
で、領域１の距離の最小値が得られ、また対応づけ可能
な画素も限定される。これらの制限を用いて、画素間の
対応づけを行い視差ｄを検出し、カメラパラメータであ
る画素サイズλを用いて、次の（数２）によって距離Ｚ
を算出する。
【００７２】
【数２】Ｚ＝（Ｌ×Ｆ）／（λ×ｄ） （数２）
【００７３】前述の手法でカメラ３，１０３とカメラ
１，１０１の組み合わせによって得られた距離情報で
は、図８に示す板の影となる領域８０１の距離情報が検
出できない。一方、カメラ３，１０３とカメラ２，１０
２の組み合わせによって得られた距離情報では、図９に
示す板の影となる領域９０１の距離情報が検出できな
い。しかし、図８に示す板の影となる領域８０１の距離
情報が算出可能である。従って、図１の距離情報統合部
１３３において、カメラ３，１０３とカメラ１，１０１
の組で算出された距離情報およびカメラ３，１０３とカ
メラ２，１０２で算出された距離情報から、カメラ３の
画像（図１２）のすべての画素に対する距離情報を取得
する。以上の操作によって得られた距離情報を、例えば
カメラ３の輝度画像に対応づけて３次元画像メモリに記
憶することで３次元画像撮像を行う。
【００７４】上述したような構成により、距離データを
取得することが可能となる。本発明の画像処理装置は、
上記手法によって取得される距離情報に基づいて撮影画
像としての輝度画像により画像内の文字等の読み取りを
実行するものである。
【００７５】以下、距離情報の取得、輝度画像の取得に
より画像内の文字等の読み取りを実行する構成を応用し
た画像処理装置構成についての複数の実施例について説
明する。
【００７６】［実施例１］まず、画像読み取りを実行す
る実施例１の構成について説明する。図１３は本実施例
１に係る画像処理装置のブロック図を示す図である。本
実施例の画像処理装置は、３次元画像撮像装置１３０
０、幾何変換手段１３０３、画像メモリＡ１３０４、フ
レームデータ比較手段１３０５、画像処理手段１３０
６、画像メモリＢ１３０７を有する。
【００７７】３次元画像撮像装置１３００は、上述した
図１の構成を持つものであり、例えば再コード化による
高精度な距離情報を生成する構成を持つ。上述したよう
に、３次元画像撮像装置１３００は、例えばパターン画
像から距離情報を取得する距離情報取得部１３０２と、
パターンを除いた実画像としての輝度画像を取得する輝
度情報取得部１３０１を有する。なお、以下で説明する
各実施例においての距離情報取得処理構成は、パターン
光を投影した再コード化法による距離情報取得構成を有
するものに限らず、他の距離情報取得構成を適用しても
よい。
【００７８】幾何変換手段１３０３は、距離情報取得部
１３０２によって取得される距離データに基づいて、輝
度情報取得部１３０１の取得した輝度画像の幾何変換を
行なう。幾何変換は、撮影対象の画像保持媒体としての
原稿面の例えば複数の点、例えば端点位置を識別して、
識別された複数点を撮像手段であるカメラから等距離に
なるような位置に補正する処理、すなわち、原稿を正面
から撮影した画像状態に変換する処理を実行する。
【００７９】幾何変換手段１３０３によって変換された
輝度画像は、画像メモリＡ，１３０４に時系列のフレー
ムデータとして順次格納される。さらに、フレームデー
タ比較手段１３０５は、画像メモリＡ，１３０４に格納
されたフレームデータの比較処理を実行し、例えば画像
の差分データをとる。
【００８０】画像処理部１３０６は、フレームデータ比
較手段１３０５によるフレームデータの比較処理データ
から、新たに付加されているデータのみを取り出す処理
を実行したり、複数フレームに渡るデータからノイズと
判断されるデータを取り除く処理等を実行し、不要部分
を削除したデータを画像メモリＢ，１３０７に格納す
る。
【００８１】画像メモリＢ，１３０７に格納されたデー
タは、必要に応じて、表示手段としてのモニタ、スクリ
ーン、ホワイトボード、プリンタ、記憶手段等に出力さ
れる。
【００８２】画像処理部１３０６と、フレームデータ比
較手段１３０５による処理について説明する。ユーザが
手書き入力を開始する意志を、パーソナルコンピュータ
などにインプットする。次に、手書き入力する範囲を決
定し、読み込みを開始する。この際、画像保持媒体とし
ての原稿が白紙の場合にはなんの情報も書かれていない
原稿情報をオリジナルデータとして画像メモリＡ，１３
０４に初期フレームデータとして記憶する。また、表な
どのフォームデータであれば、まず、その画像の読み込
みを行い、これを初期フレームデータとする。
【００８３】ユーザが、ペンなどで、３次元画像撮像装
置１３００によって撮影された状態において、情報を書
き込むと、３次元画像撮像装置１３００は、画像を幾何
変換し、画像メモリＡ，１３０４に格納する。フレーム
データ比較手段１３０５は、格納されたデータの前後の
フレームを比較し、差分データを取得する画像抽出手段
として機能する。画像処理部１３０６は、初期フレーム
データ上に新規に加えられた情報を画像メモリＢ，１３
０７に格納する。
【００８４】すなわち、事前に登録されている初期フレ
ームデータ画像に、手書き等により情報を付加した物で
ある場合は、事前に登録してある画像を指定し、その
後、指定した画像を読み込み、画像の差分をとり、新た
に付加されているデータを、新しいデータとして読み込
む。
【００８５】ユーザが、ペンなどで、３次元画像撮像装
置１３００によって撮影された状態において、情報を書
き込むと、３次元画像撮像装置１３００は、画像を幾何
変換し、画像メモリＡ，１３０４に格納する。フレーム
データ比較手段１３０５は、格納されたデータの前後の
フレームを比較し、差分データを取得する。画像処理手
段１３０６は、新規に加えられた情報のみを画像メモリ
Ｂ，１３０７に格納する。
【００８６】また、フレームデータ比較手段１３０５
は、何フレームかに渡って、画像を比較し、加えられた
情報が、ペンなどによって新たに書き加えられた情報
か、あるいは、ペンやユーザーの手のような書き加えら
れていない、いわばノイズであるかを判断する処理を実
行する。ノイズであると判断された場合は、画像処理部
１３０６は、その情報を消去し、書き加えられたデータ
のみデータとして画像メモリＢ，１３０７に格納する。
ノイズデータとしての判断は、例えば初期フレームデー
タには表れないデータが初期フレームデータ以外のフレ
ームデータに継続して表れるデータ、例えばペン、ユー
ザの手をノイズとして判定することによって実行され
る。
【００８７】図１４に上述のノイズ情報除去処理の具体
例を示す。図１４（ａ）は、紙等の原稿面に手書きによ
り文字を書き込んでいる状態を３次元画像撮像装置１３
００によって撮り込み、画像メモリＡ，１３０４に格納
された１フレーム画像データである。フレームデータ比
較手段１３０５は、これらの画像データからペン、ユー
ザの手をノイズとして判定し、画像処理手段１３０６
は、ノイズ処理を実行し、図１４（ｂ）に示すデータが
画像メモリＢ，１３０７に格納される。
【００８８】また、フレームデータ比較手段１３０５
は、例えば原稿が移動した場合等についても検出し、原
稿の位置データの移動に基づく差分データに基づいて、
画像処理手段１３０６が画像回転等の画像位置修正処理
を実行し前フレームデータと同一の角度、サイズでの原
稿データを画像メモリＢ，１３０６に格納する。具体的
には図１５（ａ）に示すような位置に原稿１５０１が置
かれて、文字が書き込まれていた後、図１５（ｂ）のよ
うな位置に原稿が移動、回転した場合には、フレームデ
ータ比較手段１３０５のフレームデータ比較処理によ
り、原稿位置の移動が識別されて、画像処理手段１３０
６が位置修正処理を実行し、例えばユーザによる手書き
文字のみを画像メモリＢ，１３０７に格納することがで
きる。
【００８９】図１６に本発明の画像処理装置におけるデ
ータ読み取り、データ格納処理の処理フローを示す。
【００９０】ステップＳ１６０１において、読み取り範
囲を指定する。これは、例えば、図１３示す３次元画像
撮像装置１３００において撮影され、画像メモリＡ，１
３０５に格納されるデータを画像メモリＢ１３０６を介
してモニタに表示し、表示画像上において、読み取り範
囲を任意に指定することができる。読み取り範囲として
指定された領域の画像を初期フレームデータとして画像
メモリＡ,画像メモリＢに格納し、フレームデータ比較
用データ、格納データとする。
【００９１】ステップＳ１６０２でデータの読み取りが
開始され、ステップＳ１６０３において、新規撮り込み
開始データであるかを判定し、新規撮り込み開始データ
でない場合は、ステップＳ１６０４において、蓄積画像
データとの比較処理、すなわち、フレームデータ比較手
段１３０５による画像データ比較が実行され、さらに、
図１５を用いて説明した位置修正処理が実行され、その
後、ステップＳ１６０５において、付加情報の抽出、読
み込みが実行される。
【００９２】ステップＳ１６０６，Ｓ１６０７では、フ
レームデータ比較手段１３０５は、何フレームかに渡っ
て、画像を比較し、加えられた情報が、ペンなどによっ
て新たに書き加えられた情報か、あるいは、ペンやユー
ザーの手のような書き加えられていない、いわばノイズ
であるかを判断する処理を実行する。ノイズであると判
断された場合は、ステップＳ１６０８において、画像処
理手段１３０６は、そのノイズ情報を消去する。
【００９３】ステップＳ１６０９では、必要なデータの
みが画像メモリＢ，１３０７に格納され、ステップＳ１
６１０でデータ入力が終了したか否かを判定し、終了し
ていない場合、すなわち新たな画像フレームが入力され
ている場合は、ステップＳ１６０３以降の処理を繰り返
す。
【００９４】本発明の画像処理装置のフレームデータ比
較手段１３０５および画像処理手段１３０６の処理にお
いては、例えば図１７に示すような処理が可能となる。
図１７（ａ）に示すような文字「あい」の入力に次い
で、図１７（ｂ）に示すように文字を囲むサークルが書
き込まれたとき、画像メモリＡ１３０４に時系列にフレ
ームデータを格納させ、異なるフレームデータの比較、
および差分データの抽出により、図１７（ｃ）に示すよ
うに文字を除くサークルのみを抽出することが可能とな
る。
【００９５】また、図１７（ｄ）のように原稿部を含む
文字データから、図１７（ｅ）のように原稿部を除いた
文字データのみを抽出することも可能となる。これは、
３次元画像撮像装置により時系列に撮り込まれるフレー
ムデータの初期画像を初期フレームデータとして記憶
し、フレームデータ比較手段における初期フレームデー
タと、後続して撮り込まれるフレームデータとの比較結
果に基づいて差分データのみを格納データとして抽出す
る処理によって実現される。
【００９６】図１８，１９に本発明の画像処理装置の構
成例を示す。図１８は、画像撮像部としての３次元画像
撮像装置１８０２と、画像処理を実行する画像処理部と
してのパーソナルコンピュータ（ＰＣ）１８０３を別体
として構成し、双方をケーブルで接続した構成である。
原稿１８０１に記録される文字等のデータは、３次元画
像撮像装置１８０２によって輝度情報、パターン投影画
像が取り込まれ、パーソナルコンピュータ（ＰＣ）１８
０３によって画像処理がなされる。
【００９７】また、図１９は、画像撮像部としての３次
元画像撮像装置１９０２と、画像処理を実行する画像処
理部としてのパーソナルコンピュータ（ＰＣ）１９０３
を一体として構成した例である。原稿１９０１に記録さ
れる文字等のデータは、３次元画像撮像装置１９０２に
よって輝度情報、パターン投影画像が取り込まれ、パー
ソナルコンピュータ（ＰＣ）１９０３によって画像処理
がなされる。なお、さらにコンパクトな携帯端末に撮像
装置を組み込む構成としてもよい。
【００９８】なお、本実施例１における距離情報の取得
には、前述した再コード化法を適用することなく他の様
々な手法によって距離情報を取得して取得した情報に基
づいて処理を実行する構成としてもよい。再コード化法
を適用しない手法の場合にはパターン光の投影を実行す
ることは要請されない。
【００９９】［実施例２］次に、画像読み取りを実行す
る画像処理装置の実施例２の構成について説明する。本
実施例２の構成を図２０に示す。図２０の構成は、先に
説明した実施例１の構成に、帳票識別手段２００１と帳
票データベース２００２とを付加した構成である。
【０１００】３次元画像撮像装置１３００は、上述した
図１の構成を持つものであり、例えば再コード化、ある
いは他の既存の手法によって距離情報を生成する構成を
持つ。上述した実施例１と同様、３次元画像撮像装置１
３００は、例えばパターン画像から距離情報を取得する
距離情報取得部１３０２と、実画像としての輝度画像を
取得する輝度情報取得部１３０１を有する。
【０１０１】幾何変換手段１３０３は、距離情報取得部
１３０２によって取得される距離データに基づいて、輝
度情報取得部１３０１の取得した輝度画像の幾何変換を
行なう。幾何変換は、撮影対象の原稿面の例えば複数の
点、例えば端点位置を識別して、識別された複数点を撮
像手段であるカメラから等距離になるような位置に補正
する処理、すなわち、原稿を正面から撮影した画像状態
に変換する処理を実行する。
【０１０２】幾何変換手段１３０３によって変換された
輝度画像は、画像メモリＡ，１３０４に時系列のフレー
ムデータとして順次格納される。さらに、フレームデー
タ比較手段１３０５は、画像メモリＡ，１３０４に格納
されたフレームデータの比較処理を実行し、例えば画像
の差分データをとる画像抽出手段として機能する。これ
らの処理は実施例１と同様である。
【０１０３】実施例２においては、画像メモリＡ，１３
０４に格納されるフレームデータを帳票識別手段２００
１に出力する。帳票識別手段２００１は、入力画像と帳
票データベース２００２の格納画像との比較処理を実行
する。帳票データベース２００２には様々な帳票、例え
ば請求書、注文表、清算書などのフォーマットデータが
格納され、画像メモリＡ，１３０４から入力される画像
と比較を実行し、より一致度の高い帳票を選択する。画
像メモリＡ，１３０４に格納されるフレームデータは、
幾何変換手段１３０３によって原稿を正面から撮影した
画像状態に変換されているので帳票識別手段２００１に
よる比較処理は高精度に実行することができる。
【０１０４】なお、画像データ自体を比較するのではな
く、例えば帳票の一部にＩＤ、識別Ｎｏ、バーコード等
の識別データを予め記録し、画像メモリＡ，１３０４に
格納されるフレームデータから識別データを読み取り、
読み取られた識別データに基づいて帳票データベース２
００２から一致する帳票データを取得する構成としても
よい。この場合、帳票データベース２００２には、識別
データと、帳票のフォーマットデータを対応付けて格納
することが必要である。
【０１０５】画像処理部１３０６は、帳票識別手段２０
０１によって識別された帳票のフォーマットデータを取
得し、取得したフォーマットデータと、フレームデータ
比較手段１３０５から入力されるフレームデータの比較
処理データから、新たに付加されているデータ、すなわ
ちユーザの書き込みデータを取り出す処理としての画像
抽出処理を実行したり、複数フレームに渡るデータから
ノイズと判断されるデータを取り除く処理等を実行し、
不要部分を削除したデータを画像メモリＢ，１３０７に
格納する。
【０１０６】画像メモリＢ，１３０７に格納されたデー
タは、必要に応じて、モニタ、プリンタ、記憶手段等に
出力される。
【０１０７】図２１に実施例２における書き込み用紙と
して適用可能な帳票の一例を示す。図２１に示す帳票
は、様々な書き込み項目が決められた領域に設定された
出張旅費請求書の例である。この出張旅費請求書も含め
一般的な帳票は、紙などにプリントされている。ユーザ
ーは、決められた枠の中に、自分の必要とする情報を書
き込む。
【０１０８】図２２に示すように、ユーザが帳票に書き
込み作業を行おうとする場所、例えば、机上に帳票用紙
をおき、帳票用紙のおかれた領域を例えば先に実施例１
において説明した図１８、図１９同様の撮像構成を持つ
画像読みとり装置で画像を読みとる。読みとった画像
は、図２０の幾何変換手段１３０３において幾何変換処
理がなされ、画像メモリＡ１３０４に格納される。
【０１０９】画像メモリＡに格納された画像データは、
帳票識別手段２００１に出力され、帳票データベース２
００２の格納データとの照合処理が実行される。この照
合処理は先にも説明したように画像データ同士の照合、
あるいは識別データによる照合のいずれかの方法で実行
される。照合処理の結果一致する帳票フォーマットが帳
票データベース２００２から選択され、画像処理手段１
３０６において、帳票データベースから提供されたフォ
ーマットと、フレームデータ比較手段から出力されるフ
レームデータとの差分に基づいてユーザの書き込みデー
タの識別、抽出処理が実行される。
【０１１０】画像処理手段１３０６は、新規に書き込ま
れた情報のみを画像メモリＢに出力する処理、あるいは
帳票データベースから提供されたフォーマットと新規に
書き込まれた情報とを併せた情報を出力する処理を選択
的に実行できる。新規に書き込まれた情報のみを抽出し
たデータは、例えば図２３のようなデータとなる。
【０１１１】さらに画像処理手段１３０６に、手書き文
字を識別するＯＣＲ機能を備える構成とすることによ
り、手書き入力文字を識別して例えばテキストデータ等
の文字データとして変換したデータを出力することも可
能となる。この場合、画像処理手段１３０６は、帳票識
別手段から入力した帳票フォーマットデータ上に変換文
字データを書き込む処理を実行することにより、図２４
に示すような清書されたデータの出力（表示、プリン
ト、あるいはデータ転送など）を実行することが可能と
なる。
【０１１２】また、画像処理手段１３０６において、帳
票フォーマットの書き込み位置に応じたデータ識別処理
を実行することにより、各書き込み位置毎のユーザ入力
文字データをＯＣＲ機能での変換の後、データベースや
表計算ソフトに取り込むことも可能になる。例えば図２
５に示すような一定の項目のみを取り込んだ表を生成す
る処理が可能となる。
【０１１３】例えば、保険の申し込み用紙などは、複数
枚重なって用意され、カーボンコピーによって、複数枚
に同じ情報をユーザが書き込む場合が多いが、通常は本
人控えとして、一枚は控えに取り込み、他の用紙は、Ｏ
ＣＲなどの電算処理をするフォーム、販売店控えなどい
くつかのフォームに分かれている。本実施例の手法によ
れば、記入した用紙は本人控えとしておき、上述の画像
入力装置で取り込んだ画像を他の用途に使用することが
出来る。
【０１１４】［実施例３］次に、画像読み取りを実行す
る画像処理装置の実施例３の構成について説明する。本
実施例３の構成を図２６に示す。図２６の構成は、先に
説明した実施例１の構成に、認証処理手段２６０１と認
証情報データベース２６０２とを付加した構成である。
【０１１５】本実施例３は、署名による個体認証をする
際に適用する構成である。ユーザの署名を撮影し、書き
込んだ署名情報の履歴に基づいて認証を行なう。また書
き込み終わった署名の形状を記憶する。以上の、書き
順、署名の形状を別途登録してある各々の個体のデータ
ベースと比較して、個体認証を行うものである。
【０１１６】図２６における３次元画像撮像装置１３０
０は、上述した図１の構成を持つものであり、例えば再
コード化、あるいは他の既存の手法によって距離情報を
生成する構成を持つ。上述した実施例１と同様、３次元
画像撮像装置１３００は、例えばパターン画像から距離
情報を取得する距離情報取得部１３０２と、実画像とし
ての輝度画像を取得する輝度情報取得部１３０１を有す
る。
【０１１７】幾何変換手段１３０３は、距離情報取得部
１３０２によって取得される距離データに基づいて、輝
度情報取得部１３０１の取得した輝度画像の幾何変換を
行なう。幾何変換は、撮影対象の原稿面の例えば複数の
点、例えば端点位置を識別して、識別された複数点を撮
像手段であるカメラから等距離になるような位置に補正
する処理、すなわち、原稿を正面から撮影した画像状態
に変換する処理を実行する。
【０１１８】幾何変換手段１３０３によって変換された
輝度画像は、画像メモリＡ，１３０４に時系列のフレー
ムデータとして順次格納される。さらに、フレームデー
タ比較手段１３０５は、画像メモリＡ，１３０４に格納
されたフレームデータの比較処理を実行し、例えば画像
の差分データをとる画像抽出手段として機能する。これ
らの処理は実施例１と同様である。
【０１１９】実施例３においては、画像メモリＡ，１３
０４に格納されるフレームデータを順次、認証処理手段
２６０１に出力する。認証処理手段２６０１は、入力フ
レーム情報と、認証情報データベース２６０２に格納さ
れた画像との比較処理を実行する。認証情報データベー
ス２６０２には、認証対象として登録されたユーザの署
名データが格納されている。ユーザの署名データは、登
録ユーザの実際の署名を撮影して取得されるデータであ
り、署名過程の各画像フレームデータを格納するととも
に署名完了後の署名画像をユーザの識別子に対応させて
格納したものである。
【０１２０】認証処理手段２６０１は、画像メモリＡ，
１３０４に格納されるフレームデータを順次受信し、認
証情報データベース２６０２に格納された画像フレーム
に一致するものがあるか否かを判定する。なお、署名の
前に予め識別ＩＤをユーザに入力させ、その識別ＩＤに
対応するデータを認証情報データベース２６０２から取
得してそのデータとの対比を行なう構成としてもよい。
【０１２１】図２７に認証処理手段２６０１において実
行される照合処理の具体例を示す。ここでは「山下」と
いう署名を行なう場合について示している。登録された
ユーザである山下さんの署名順序は図２７の左に示すフ
レームａ〜ｅの順に認証情報データベース２６０２に格
納されている。なお、格納される画像フレームはフレー
ムａ〜ｅの間にも多数存在する。
【０１２２】認証処理手段２６０１は、画像メモリＡ，
１３０４から受領する画像フレームデータをシーケンシ
ャルに格納データと比較する。すべてが、格納データと
一致すれば認証成立であり、格納データと異なるフレー
ムが出現した場合には、認証が不成立となる。図２７の
右側に示す認証不成立例１の画像が左側のフレームａ〜
ｂ間に出現した場合には、筆跡順が登録ユーザとは異な
ることが明らかであり、登録ユーザ本人ではないと判定
される。同様に認証不成立例２の画像が左側のフレーム
ｂ〜ｄ間に出現した場合には、筆跡順が登録ユーザとは
異なることが明らかであり、登録ユーザ本人ではないと
判定される。同様に認証不成立例３の画像が左側のフレ
ームｄ〜ｅ間に出現した場合には、筆跡順が登録ユーザ
とは異なることが明らかであり、登録ユーザ本人ではな
いと判定される。
【０１２３】さらに、署名完了後の署名全体の形状デー
タも認証情報データベース２６０２に格納され、認証処
理手段２６０１は、署名完了後の画像を画像メモリＡ，
１３０４から受領して、認証情報データベース２６０２
に格納されたデータと比較しその照合を行なう。
【０１２４】なお、上記説明においては、認証処理手段
２６０１は、データを画像メモリＡ，１３０４から直接
受領する構成として説明したが、フレームデータ比較手
段１３０５において生成される前フレームとの差分デー
タのみをフレームデータ比較手段１３０５から受領し、
差分データに基づいて筆跡順序の照合を実行する構成と
してもよい。
【０１２５】［実施例４］次に、画像読み取りを実行す
る画像処理装置の実施例４の構成について説明する。本
実施例４の構成を図２８に示す。本実施例４は、プレゼ
ンテーションや会議に使われるホワイトボードに書き込
まれる文字等の情報を読み取る構成である。
【０１２６】図２８において、画像保持媒体としてのホ
ワイトボード２８０１には、マーカペン等の書き込み用
具により文字、図形等がユーザによって書き込まれる。
また、イレーザを使用して書き込まれた文字、図形等が
ユーザによって消去可能である。
【０１２７】さらに、画像撮像部としての３次元画像撮
像装置２８０２と、画像処理を実行する画像処理部とし
てのパーソナルコンピュータ（ＰＣ）２８０３を有す
る。３次元画像撮像装置２８０２とパーソナルコンピュ
ータ（ＰＣ）２８０３は例えば通信ケーブルで接続さ
れ、データ転送可能な構成を持つ。ホワイトボード２８
０１に記録される文字等のデータは、３次元画像撮像装
置２８０２によって輝度情報、パターン投影画像が取り
込まれ、パーソナルコンピュータ（ＰＣ）２８０３によ
って画像処理がなされる。
【０１２８】３次元画像撮像装置２８０２およびパーソ
ナルコンピュータ（ＰＣ）２８０３は、先の実施例１乃
至３のいずれかの構成を持つ。すなわち、実施例１にお
いて説明した図１３、実施例２において説明した図２
０、または実施例３において説明した図２６の構成を有
する。
【０１２９】３次元画像撮像装置２８０２は、実施例１
他で説明した例えば図１３に示す距離情報を取得する距
離情報取得部１３０１と、実画像としての輝度画像を取
得する輝度情報取得部１３０２を有し、再コード化法、
あるいはその他の手法による距離情報を生成する構成を
持つ。
【０１３０】パーソナルコンピュータ（ＰＣ）２８０３
は、図１３の構成における幾何変換手段１３０３を有
し、距離情報取得部１３０２によって取得される距離デ
ータに基づいて、輝度情報取得部１３０１の取得した輝
度画像の幾何変換を行なう。幾何変換は、撮影対象のホ
ワイトボード面の例えば複数の点、例えば端点位置を識
別して、識別された複数点を撮像手段であるカメラから
等距離になるような位置に補正する処理、すなわち、ホ
ワイトボードを正面から撮影した画像状態に変換する処
理を実行する。
【０１３１】幾何変換手段によって変換された輝度画像
は、パーソナルコンピュータ（ＰＣ）２８０３内に構成
される図１３の画像メモリＡ，１３０４に時系列のフレ
ームデータとして順次格納される。さらに、パーソナル
コンピュータ（ＰＣ）２８０３内に構成されるフレーム
データ比較手段１３０５は、画像メモリＡ，１３０４に
格納されたフレームデータの比較処理を実行し、例えば
画像の差分データをとる。
【０１３２】パーソナルコンピュータ（ＰＣ）２８０３
内に構成される画像処理部１３０６は、フレームデータ
比較手段１３０５によるフレームデータの比較処理デー
タから、新たに付加されているデータのみを取り出す処
理を実行したり、複数フレームに渡るデータからノイズ
と判断されるデータを取り除く処理等を実行し、不要部
分を削除したデータをパーソナルコンピュータ（ＰＣ）
２８０３内に構成される画像メモリＢ，１３０７に格納
する。
【０１３３】画像メモリＢ，１３０７に格納されたデー
タは、必要に応じて、パーソナルコンピュータ（ＰＣ）
２８０３に構成されるモニタ、外部接続されたプリン
タ、記憶手段等に出力される。
【０１３４】画像メモリＢ，１３０７に格納されたデー
タは、ＰＣ上のモニタ、スクリーン、あるいは他のホワ
イトボードなどに投影することも可能である。この場合
の投影画像は、撮影対象となっているホワイトボード２
８０１の画像を幾何変換手段１３０３によって正面から
見た画像に変換した画像となるでので、視聴者にとって
見やすい画像の提供が実現される。
【０１３５】また、実施例２において説明した帳票識別
手段２００１、帳票データベース２００２をパーソナル
コンピュータ（ＰＣ）２８０３内に構成することで、例
えばＯＨＰ２８０５を用いてホワイトボード２８０１上
に映し出された帳票フォーマット上にユーザが書き込む
データについて、実施例２で説明したと同様の処理を実
行することが可能となる。
【０１３６】すなわち、帳票フォーマットを識別し、ユ
ーザがホワイトボード２８０１上に映し出された帳票フ
ォーマット上に書き込んだデータのみを抽出したり、抽
出したデータをＯＣＲ機能により変換し、さらに所定の
統計用データに埋め込む処理（図２５参照）や、あるい
はＯＣＲにより変換した文字データをデータベースに格
納した帳票フォーマットに併せて画像表示、プリント出
力する処理（図２４参照）などが可能となる。
【０１３７】また、実施例３において説明した認証処理
手段２６０１、認証情報データベース２６０２をパーソ
ナルコンピュータ（ＰＣ）２８０３内に構成すること
で、ユーザによるホワイトボード２８０１上への署名に
基づく認証が可能となる。
【０１３８】なお、これらの処理は、図２８に示すよう
にホワイトボード２８０１に直接書き込まれた文字、図
形等を３次元画像撮像装置２８０２によって撮影してデ
ータ処理を実行する構成に限らず、ホワイトボード２８
０１にデータを投影するＯＨＰ２８０４、あるいはその
他の投影機器によって投影されたホワイトボード２８０
１上の像を３次元画像撮像装置２８０２によって撮影し
てデータ処理を行なう構成としてもよい。
【０１３９】また、図２８に示すようにＯＨＰ２８０４
のボード面を３次元画像撮像装置２８０２’によって撮
影してデータ処理を実行する構成とすることも可能であ
る。すなわち、画像保持媒体は、原稿、ホワイトボー
ド、黒板、スクリーン、壁、またはスクリーン投影用シ
ートなど様々な媒体が可能である。
【０１４０】また、図２９に示すように、ホワイトボー
ド２９０１にデータを投影するＯＨＰ２９０４、データ
処理を実行するパーソナルコンピュータ（ＰＣ）２９０
３を有する構成において、ＯＨＰ２９０４の撮像、投影
部に３次元画像撮像装置２９０２を組み込む構成とする
ことで、機器の小型化が達成され、また３次元画像撮像
装置２９０２と、撮影対象となるＯＨＰ２９０４のボー
ド面との距離が固定され、安定したデータ処理が可能と
なる。
【０１４１】［実施例５］次に、画像読み取りを実行す
る画像処理装置の実施例５の構成について説明する。本
実施例５の構成を図３０に示す。本実施例５も実施例４
と同様、プレゼンテーションや会議に使われるホワイト
ボードに書き込まれる文字等の情報を読み取る構成であ
る。
【０１４２】図３０において、ホワイトボード３００１
には、マーカペン等の書き込み用具により文字、図形等
がユーザによって書き込まれる。また、イレーザを使用
して書き込まれた文字、図形等がユーザによって消去可
能である。
【０１４３】さらに、画像撮像部としての３次元画像撮
像装置３００２と、画像処理を実行する画像処理部とし
てのパーソナルコンピュータ（ＰＣ）３００３を有す
る。３次元画像撮像装置３００２とパーソナルコンピュ
ータ（ＰＣ）３００３は例えば通信ケーブルで接続さ
れ、データ転送可能な構成を持つ。ホワイトボード３０
０１に記録される文字等のデータは、３次元画像撮像装
置３００２によって輝度情報、パターン投影画像が取り
込まれ、パーソナルコンピュータ（ＰＣ）３００３によ
って画像処理がなされる。
【０１４４】３次元画像撮像装置３００２およびパーソ
ナルコンピュータ（ＰＣ）３００３は、先の実施例１乃
至３のいずれかの構成を持つ。すなわち、実施例１にお
いて説明した図１３、実施例２において説明した図２
０、または実施例３において説明した図２６の構成を有
する。
【０１４５】実施例５の構成は、実施例４と異なり、ホ
ワイトボード３００１と画像撮像部としての３次元画像
撮像装置３００２との距離Ｌが固定されていることであ
る。従って、距離計測処理は１度実行されればよく、計
測された距離データを３次元画像撮像装置３００２、あ
るいはパーソナルコンピュータ（ＰＣ）３００３内のメ
モリに格納し、格納データによる処理が可能となる。従
って、ユーザによる書き込みデータの処理時には、実施
例１で述べているような不可視光源を使用せずに、可視
領域の投光パターンを投影することが可能になる。
【０１４６】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
【０１４７】なお、明細書中において説明した一連の処
理はハードウェア、またはソフトウェア、あるいは両者
の複合構成によって実行することが可能である。ソフト
ウェアによる処理を実行する場合は、処理シーケンスを
記録したプログラムを、専用のハードウェアに組み込ま
れたコンピュータ内のメモリにインストールして実行さ
せるか、あるいは、各種処理が実行可能な汎用コンピュ
ータにプログラムをインストールして実行させることが
可能である。
【０１４８】例えば、プログラムは記録媒体としてのハ
ードディスクやＲＯＭ（Read OnlyMemory)に予め記録し
ておくことができる。あるいは、プログラムはフロッピ
ー（登録商標）ディスク、ＣＤ−ＲＯＭ(Compact Disc
Read Only Memory)，ＭＯ(Magneto optical)ディスク，
ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導
体メモリなどのリムーバブル記録媒体に、一時的あるい
は永続的に格納（記録）しておくことができる。このよ
うなリムーバブル記録媒体は、いわゆるパッケージソフ
トウエアとして提供することができる。
【０１４９】なお、プログラムは、上述したようなリム
ーバブル記録媒体からコンピュータにインストールする
他、ダウンロードサイトから、コンピュータに無線転送
したり、ＬＡＮ(Local Area Network)、インターネット
といったネットワークを介して、コンピュータに有線で
転送し、コンピュータでは、そのようにして転送されて
くるプログラムを受信し、内蔵するハードディスク等の
記録媒体にインストールすることができる。
【０１５０】
【発明の効果】以上、述べたように、本発明の画像処理
装置および画像処理方法は、紙などに対するペンによる
書き込み文字、模様等を撮影し、撮影画像の幾何変換を
実施して、自然な入力文字分析、読み取り処理を実現す
るもので、簡易な構成で、距離計測を実行して、いわゆ
る実画像である輝度画像と、距離計測用の画像を並列し
て撮り込み、距離情報に基づく輝度画像分析により、入
力文字の識別処理を効率的に実行することが可能とな
る。
【０１５１】さらに、本発明の画像処理装置および画像
処理方法は、時系列に撮り込む画像の比較処理を実行し
て、画像の変化の検出によるノイズ検出およびノイズ除
去処理、さらに原稿位置修正が可能となるので、正確な
データの読み取りが可能となる。
【０１５２】さらに、本発明の画像処理装置および画像
処理方法は、撮影画像を幾何変換した輝度画像と、複数
の帳票フォーマットデータを格納した帳票データベース
に格納されたフォーマット画像との差異を抽出してユー
ザの書き込みデータを抽出したり、あるいは書き込みデ
ータのテキストデータへの変換が可能となり、帳票処理
の効率化が実現される。
【０１５３】さらに、本発明の画像処理装置および画像
処理方法は、登録ユーザによる筆跡履歴データを格納し
た認証情報データベースに格納された筆跡履歴データと
幾何変換された輝度画像との照合処理により正確でかつ
効率的な個人認証処理が実現される。
【０１５４】さらに、本発明の画像処理装置および画像
処理方法は、ホワイトボードなど表示機能を持つ書き込
み可能な構成物上への書き込みデータに対する処理も可
能であり、撮影画像を幾何変換により正面位置から観察
したデータに容易に変換でき、変換データをモニタある
いはスクリーン、他のホワイトボードに対して再度ディ
スプレイする処理が可能となり、視覚的に優れた表示機
能を提供することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置において使用される３次
元形状計測装置の構成例を示すブロック図である。
【図２】本発明の画像処理装置において使用される３次
元形状計測装置のカメラ構成例を示すブロック図であ
る。
【図３】本発明の画像処理装置において使用される３次
元形状計測装置の撮像構成を説明する図である。
【図４】本発明の画像処理装置において使用される３次
元形状計測装置の処理フローを示す図である。
【図５】本発明の画像処理装置において使用される３次
元形状計測装置の投影パターンのコード化の例を示す図
である。
【図６】本発明の画像処理装置において使用される３次
元形状計測装置の撮影構成例を示す図である。
【図７】本発明の画像処理装置において使用される３次
元形状計測装置の投影パターン例を示す図である。
【図８】本発明の画像処理装置において使用される３次
元形状計測装置のカメラ１で撮影されるスリットパター
ンの例を示す図である。
【図９】本発明の画像処理装置において使用される３次
元形状計測装置のカメラ２で撮影されるスリットパター
ンの例を示す図である。
【図１０】本発明の画像処理装置において使用される３
次元形状計測装置において新たにコード化されたスリッ
トパターンの例を示す図である。
【図１１】本発明の画像処理装置において使用される３
次元形状計測装置の空間コード化法による距離算出法を
示す図である。
【図１２】本発明の画像処理装置において使用される３
次元形状計測装置のカメラ３で撮影されるスリットパタ
ーンの例を示す図である。
【図１３】本発明の画像処理装置の構成を示すブロック
図である。
【図１４】本発明の画像処理装置におけるノイズ除去処
理の具体例を説明する図である。
【図１５】本発明の画像処理装置における位置修正処理
の具体例を説明する図である。
【図１６】本発明の画像処理装置の処理フローを示す図
である。
【図１７】本発明の画像処理装置における処理態様の例
を示す図である。
【図１８】本発明の画像処理装置の構成例を示す図であ
る。
【図１９】本発明の画像処理装置の構成例を示す図であ
る。
【図２０】本発明の画像処理装置の第２実施例の構成を
示す図である。
【図２１】本発明の画像処理装置の第２実施例に適用可
能な帳票フォーマットの例を示す図である。
【図２２】本発明の画像処理装置の第２実施例における
帳票フォーマットに対するデータの書き込み処理例を示
す図である。
【図２３】本発明の画像処理装置の第２実施例における
ユーザ書き込みデータ抽出例を示す図である。
【図２４】本発明の画像処理装置の第２実施例における
データ出力例を示す図である。
【図２５】本発明の画像処理装置の第２実施例における
データ処理例を示す図である。
【図２６】本発明の画像処理装置の第３実施例の構成を
示す図である。
【図２７】本発明の画像処理装置の第３実施例における
データ処理例を示す図である。
【図２８】本発明の画像処理装置の第４実施例の構成を
示す図である。
【図２９】本発明の画像処理装置の第４実施例の変形例
構成を示す図である。
【図３０】本発明の画像処理装置の第５実施例の構成を
示す図である。
【図３１】従来のタブレット形の文字入力装置例を示す
図である。
【符号の説明】
１０１ カメラ１ １０２ カメラ２ １０３ カメラ３ １０４ 投光器 １０５ ハーフミラー １０６ 光源 １０７ マスクパターン １０８ 強度パターン １０９ プリズム １２１，１２３，１２５ 輝度値メモリ １２２，１２４，１２６ パターン画像メモリ １２７ フレームメモリ １２８ 領域分割部 １２９ 再コード化部 １３０，１３１ コード復号部 １３３ 距離情報の統合部 １３４ ３次元メモリ ３０１ プリズム ３０２，３０４ 透過フィルタ ３０３，３０５ 撮像装置 ６０１，６０２，６０３ カメラ ６０４ 投光器 ６０５ 壁 ６０６ 板 ８０１，９０１ 影領域 １３００ ３次元画像撮像装置 １３０１ 輝度情報取得部 １３０２ 距離情報取得部 １３０３ 幾何変換手段 １３０４ 画像メモリＡ １３０５ フレームデータ比較手段 １３０６ 画像処理手段 １３０７ 画像メモリＢ １５０１ 原稿 １８０１，１９０１ 原稿 １８０２，１９０２ ３次元画像撮像装置 １８０３，１９０３ パーソナルコンピュータ（ＰＣ） ２００１ 帳票識別手段 ２００２ 帳票データベース ２６０１ 認証処理手段 ２６０２ 認証情報データベース ２８０１ ホワイトボード ２８０２ ３次元画像撮像装置 ２８０３ パーソナルコンピュータ（ＰＣ） ２８０４ ＯＨＰ ２９０１ ホワイトボード ２９０２ ３次元画像撮像装置 ２９０３ パーソナルコンピュータ（ＰＣ） ２９０４ ＯＨＰ ３００１ ホワイトボード ３００２ ３次元画像撮像装置 ３００３ パーソナルコンピュータ（ＰＣ） ３１０１ 入力装置 ３１０２ 専用ペン
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ４００ Ｇ０６Ｆ 3/03 ３８０Ｋ ５Ｂ０８７ // Ｇ０６Ｆ 3/03 ３８０ 3/033 ３７０ 3/033 ３７０ Ｇ０１Ｂ 11/24 Ｋ Ｆターム(参考） 2F065 AA56 CC00 FF04 GG21 HH07 JJ05 JJ26 LL12 LL21 QQ24 QQ25 QQ31 QQ34 RR06 RR08 SS11 SS13 SS14 5B029 AA01 BB02 EE03 EE05 EE06 EE13 EE15 5B047 AA30 AB02 BA02 BB06 BC09 BC12 CA12 CA15 CB23 5B057 AA20 BA02 BA15 CA08 CA13 CA16 CA18 CB08 CB12 CB16 CB18 CC01 CE02 DA07 DB03 DB09 DC09 DC30 5B068 BB18 EE06 5B087 AE02 BC32 CC09 DD03 DD17

Claims (37)

    【特許請求の範囲】
  1. 【請求項１】パターンを投影する投光手段と、前記投光
    手段の光軸方向から輝度画像および投影パターン像を撮
    影する第１の撮像手段と、前記投光手段の光軸方向と異
    なる方向から前記投影パターン像を撮影する第２の撮像
    手段とを備え、前記第２の撮像手段の撮影した撮影パタ
    ーンに基づいて第１の距離情報を生成する３次元画像撮
    像手段と、 前記第１の撮像手段により撮像された輝度画像を前記距
    離情報に基づいて幾何変換を実行する幾何変換手段と、 を有することを特徴とする画像処理装置。
  2. 【請求項２】前記投影パターンに対する第１の撮像手段
    による撮影パターンの変化量が所定値以上の領域につい
    て、該第１の撮像手段による撮影パターンに対応する新
    規コードを割り付け、前記新規コードに基づいて第２の
    撮像手段による撮影パターンから前記第１の距離情報を
    生成する構成を有することを特徴とする請求項１に記載
    の画像処理装置。
  3. 【請求項３】前記画像処理装置は、さらに、 前記３次元画像撮像手段により時系列に撮り込まれるフ
    レームデータ画像相互の比較処理を実行するフレームデ
    ータ比較手段と、 前記フレームデータ比較手段におけるフレームデータ画
    像相互の比較処理結果に基づいてフレームデータ画像か
    らノイズデータ除去処理を実行する画像処理手段と、 を有することを特徴とする請求項１または２に記載の画
    像処理装置。
  4. 【請求項４】前記画像処理装置は、さらに、 前記３次元画像撮像手段により時系列に撮り込まれるフ
    レームデータ画像相互の比較処理を実行するフレームデ
    ータ比較手段と、 前記フレームデータ比較手段におけるフレームデータ画
    像相互の比較処理結果に基づいてフレームデータ画像の
    画像位置変更処理を実行する画像処理手段と、 を有することを特徴とする請求項１または２に記載の画
    像処理装置。
  5. 【請求項５】前記画像処理装置は、さらに、 前記３次元画像撮像手段により時系列に撮り込まれるフ
    レームデータの初期画像を初期フレームデータとして記
    憶する記憶手段と、 前記３次元画像撮像手段により時系列に撮り込まれるフ
    レームデータ画像相互の比較処理を実行するフレームデ
    ータ比較手段と、 前記フレームデータ比較手段における前記初期フレーム
    データと、後続して撮り込まれるフレームデータとの比
    較結果に基づいて差分データのみを格納データとして抽
    出する画像処理手段と、 を有することを特徴とする請求項１または２に記載の画
    像処理装置。
  6. 【請求項６】前記投光手段は不可視領域の光を発生する
    光源を有し、 前記第１の撮像手段および前記第２の撮像手段は不可視
    領域の光を透過するフィルターおよび不可視領域の光を
    遮断するフィルターを有し、パターン投影画像と、輝度
    画像とを並列に撮り込む構成を有することを特徴とする
    請求項１または２に記載の画像処理装置。
  7. 【請求項７】前記投光手段による投影パターンに対する
    第１の撮像手段による撮影パターンの変化量が所定値未
    満の領域について、第１の撮像手段および第２の撮像手
    段より得られた各輝度情報の対応づけにより第２の距離
    情報を生成する構成としたことを特徴とする請求項１ま
    たは２に記載の画像処理装置。
  8. 【請求項８】前記第２の撮像手段は、前記測定対象を異
    なる角度で撮像する複数の撮像手段によって構成され、
    該複数の第２の撮像手段の各々の撮影した投影パターン
    に基づいて距離情報を生成する構成としたことを特徴と
    する請求項１または２に記載の画像処理装置。
  9. 【請求項９】投光手段によりパターンを投影するパター
    ン投光ステップと、 前記投光手段の光軸方向から第１の撮像手段により輝度
    画像および投影パターン像を撮影し、前記投光手段の光
    軸方向と異なる方向から第２の撮像手段により前記投影
    パターン像を撮影する撮影ステップと、 前記第２の撮像手段の撮影した撮影パターンに基づいて
    第１の距離情報を生成する距離情報生成ステップと、 前記第１の撮像手段により撮像された輝度画像を前記距
    離情報に基づいて幾何変換を実行する幾何変換ステップ
    と、 を有することを特徴とする画像処理方法。
  10. 【請求項１０】前記画像処理方法において、 前記距離情報生成ステップは、 前記投影パターンに対する第１の撮像手段による撮影パ
    ターンの変化量が所定値以上の領域について、該第１の
    撮像手段による撮影パターンに対応する新規コードを割
    り付け、前記新規コードに基づいて第２の撮像手段によ
    る撮影パターンから前記第１の距離情報を生成するステ
    ップを含むことを特徴とする請求項９に記載の画像処理
    方法。
  11. 【請求項１１】前記画像処理方法は、さらに、 前記撮像ステップにおいて時系列に撮り込まれるフレー
    ムデータ画像相互の比較処理を実行するフレームデータ
    比較ステップと、 前記フレームデータ比較ステップにおけるフレームデー
    タ画像相互の比較処理結果に基づいてフレームデータ画
    像からノイズデータ除去処理を実行する画像処理ステッ
    プと、 を有することを特徴とする請求項９または１０に記載の
    画像処理方法。
  12. 【請求項１２】前記画像処理方法は、さらに、 前記撮像ステップにおいて時系列に撮り込まれるフレー
    ムデータ画像相互の比較処理を実行するフレームデータ
    比較ステップと、 前記フレームデータ比較ステップにおけるフレームデー
    タ画像相互の比較処理結果に基づいてフレームデータ画
    像の画像位置変更処理を実行する画像処理ステップと、 を有することを特徴とする請求項９または１０に記載の
    画像処理方法。
  13. 【請求項１３】前記画像処理方法は、さらに、 前記撮像ステップにおいて時系列に撮り込まれるフレー
    ムデータの初期画像を初期フレームデータとして記憶手
    段に記憶する記憶ステップと、 前記撮像ステップにおいて時系列に撮り込まれるフレー
    ムデータ画像相互の比較処理を実行するフレームデータ
    比較ステップと、 前記フレームデータ比較ステップにおける前記初期フレ
    ームデータと、後続して撮り込まれるフレームデータと
    の比較結果に基づいて差分データのみを格納データとし
    て抽出する画像処理ステップと、 を有することを特徴とする請求項９または１０に記載の
    画像処理方法。
  14. 【請求項１４】前記パターン投光ステップは、 前記光源を赤外光または紫外光を用いた不可視領域の光
    源として、パターン光を不可視領域光によって形成する
    ステップであり、 前記撮像ステップは、 パターン投影画像と、輝度画像とを並列に撮り込むステ
    ップであることを特徴とする請求項９または１０に記載
    の画像処理方法。
  15. 【請求項１５】前記画像処理方法は、さらに、 前記投光手段による投影パターンに対する第１の撮像手
    段による撮影パターンの変化量が所定値未満の領域につ
    いて、第１の撮像手段および第２の撮像手段より得られ
    た各輝度情報の対応づけにより第２の距離情報を生成す
    るステップを有することを特徴とする請求項９または１
    ０に記載の画像処理方法。
  16. 【請求項１６】前記画像処理方法において、さらに、 前記第２の撮像手段は、前記測定対象を異なる角度で撮
    像する複数の撮像手段によって構成され、該複数の第２
    の撮像手段の各々の撮影した投影パターンに基づいて距
    離情報を生成するステップを有することを特徴とする請
    求項９または１０に記載の画像処理方法。
  17. 【請求項１７】画像保持媒体に光を投光する投光手段
    と、 前記投光手段によって投光された前記画像保持媒体を撮
    影する撮像手段と、 前記撮像手段によって撮影された画像に基づいて輝度画
    像を取得する輝度画像取得手段と、 前記撮影された光から距離情報を取得する距離情報取得
    手段と、 前記距離情報取得手段において取得された距離情報に基
    づき前記輝度画像を幾何変換する幾何変換手段と、 前記幾何変換手段において幾何変換された輝度画像と、
    予め取得済みの輝度画像との差異を抽出する画像抽出手
    段と、 を有することを特徴とする画像処理装置。
  18. 【請求項１８】前記画像保持媒体は、原稿、ホワイトボ
    ード、黒板、スクリーン、壁、またはスクリーン投影用
    シートのいずれかであることを特徴とする請求項１７に
    記載の画像処理装置。
  19. 【請求項１９】前記画像抽出手段において、処理対象と
    なる予め取得済みの輝度画像は、前記幾何変換手段から
    先行して入力した先行フレーム画像であることを特徴と
    する請求項１７に記載の画像処理装置。
  20. 【請求項２０】前記画像抽出手段において、処理対象と
    なる予め取得済みの輝度画像は、記憶手段に予め記憶さ
    れた画像データであることを特徴とする請求項１７に記
    載の画像処理装置。
  21. 【請求項２１】前記画像処理装置は、 複数の帳票フォーマットデータを格納した帳票データベ
    ースと、 前記幾何変換手段において幾何変換された輝度画像と、
    前記帳票データベースに格納されたフォーマット画像と
    の照合処理を実行する帳票識別手段とを有し、 前記画像抽出手段は、前記幾何変換手段において幾何変
    換された輝度画像と、前記帳票データベースに格納され
    たフォーマット画像との差異を抽出する処理を実行する
    構成であることを特徴とする請求項１７に記載の画像処
    理装置。
  22. 【請求項２２】前記画像処理装置は、 さらに、前記画像抽出手段の抽出した文字データを読み
    取り、コード値として置き換え可能な文字データに変換
    する文字変換処理構成を有することを特徴とする請求項
    １７に記載の画像処理装置。
  23. 【請求項２３】前記画像処理装置は、さらに、 登録ユーザによる筆跡履歴データを格納した認証情報デ
    ータベースと、 前記幾何変換手段において幾何変換された輝度画像を入
    力し、該入力画像と前記認証情報データベースに格納さ
    れた筆跡履歴データとの照合処理を実行する認証処理手
    段と、 を有することを特徴とする請求項１７に記載の画像処理
    装置。
  24. 【請求項２４】前記認証情報データベースには、登録ユ
    ーザの筆跡履歴データと署名形状データとが格納され、 前記認証処理手段は、前記幾何変換手段において幾何変
    換された輝度画像を入力し、該入力画像と前記認証情報
    データベースに格納された筆跡履歴データとの照合処理
    を実行するとともに、署名形状データとの照合処理を実
    行する構成であることを特徴とする請求項２３に記載の
    画像処理装置。
  25. 【請求項２５】前記画像処理装置は、さらに、 前記幾何変換手段において距離情報に基づき前記輝度画
    像を幾何変換した画像を表示する表示手段を有すること
    を特徴とする請求項１７に記載の画像処理装置。
  26. 【請求項２６】前記画像処理装置において、 画像保持媒体と前記撮像手段との距離が固定され、 前記距離情報取得手段の取得した距離情報を格納する記
    憶手段を有し、 前記幾何変換手段は前記記憶手段に記憶された距離情報
    に基づき前記輝度画像を幾何変換する構成であることを
    特徴とする請求項１７に記載の画像処理装置。
  27. 【請求項２７】画像保持媒体に光を投光する投光ステッ
    プと、 前記投光された前記画像保持媒体を撮影する撮像ステッ
    プと、 前記撮像ステップにおいて撮影された画像に基づいて輝
    度画像を取得する輝度画像取得ステップと、 前記撮影された光から距離情報を取得する距離情報取得
    ステップと、 前記距離情報取得ステップにおいて取得された距離情報
    に基づき前記輝度画像を幾何変換する幾何変換ステップ
    と、 前記幾何変換ステップにおいて幾何変換された輝度画像
    と、予め取得済みの輝度画像との差異を抽出する画像抽
    出ステップと、 を有することを特徴とする画像処理方法。
  28. 【請求項２８】前記画像保持媒体は、原稿、ホワイトボ
    ード、黒板、スクリーン、壁、またはスクリーン投影用
    シートのいずれかであることを特徴とする請求項２７に
    記載の画像処理方法。
  29. 【請求項２９】前記画像抽出ステップにおいて、処理対
    象となる予め取得済みの輝度画像は、前記幾何変換手段
    から先行して入力した先行フレーム画像であることを特
    徴とする請求項２７に記載の画像処理方法。
  30. 【請求項３０】前記画像抽出ステップにおいて、処理対
    象となる予め取得済みの輝度画像は、記憶手段に予め記
    憶された画像データであることを特徴とする請求項２７
    に記載の画像処理方法。
  31. 【請求項３１】前記画像処理方法は、さらに、 前記幾何変換ステップにおいて幾何変換された輝度画像
    と、複数の帳票フォーマットデータを格納した帳票デー
    タベースに格納されたフォーマット画像との照合処理を
    実行する帳票識別ステップを有し、 前記画像抽出ステップは、前記幾何変換ステップにおい
    て幾何変換された輝度画像と、複数の帳票フォーマット
    データを格納した帳票データベースに格納されたフォー
    マット画像との差異を抽出する処理を実行するステップ
    を含むことを特徴とする請求項２７に記載の画像処理方
    法。
  32. 【請求項３２】前記画像処理方法は、さらに、 さらに、前記画像抽出ステップにおいて抽出した文字デ
    ータを読み取り、コード値として置き換え可能な文字デ
    ータに変換する文字変換処理ステップ、 を有することを特徴とする請求項２７に記載の画像処理
    方法。
  33. 【請求項３３】前記画像処理方法は、さらに、 前記幾何変換ステップにおいて幾何変換された輝度画像
    を入力し、該入力画像と登録ユーザによる筆跡履歴デー
    タを格納した認証情報データベースに格納された筆跡履
    歴データとの照合処理を実行する認証処理ステップ、 を有することを特徴とする請求項２７に記載の画像処理
    方法。
  34. 【請求項３４】前記認証情報データベースには、登録ユ
    ーザの筆跡履歴データと署名形状データとが格納され、 前記認証処理ステップは、前記幾何変換ステップにおい
    て幾何変換された輝度画像を入力し、該入力画像と前記
    認証情報データベースに格納された筆跡履歴データとの
    照合処理を実行するとともに、署名形状データとの照合
    処理を実行することを特徴とする請求項３３に記載の画
    像処理方法。
  35. 【請求項３５】前記画像処理方法は、さらに、 前記幾何変換ステップにおいて距離情報に基づき前記輝
    度画像を幾何変換した画像を表示する表示ステップを有
    することを特徴とする請求項２７に記載の画像処理方
    法。
  36. 【請求項３６】前記画像処理方法において、 画像保持媒体と前記撮像手段との距離が固定され、 前記距離情報取得手段の取得した距離情報を格納する記
    憶ステップを有し、 前記幾何変換ステップは前記記憶ステップにおいて記憶
    された距離情報に基づき前記輝度画像を幾何変換するこ
    とを特徴とする請求項２７に記載の画像処理方法。
  37. 【請求項３７】画像処理をコンピュータ・システム上で
    実行せしめるプログラムであって、前記プログラムは、 画像保持媒体に光を投光する投光ステップと、 前記投光された前記画像保持媒体を撮影する撮像ステッ
    プと、 前記撮像ステップにおいて撮影された画像に基づいて輝
    度画像を取得する輝度画像取得ステップと、 前記撮影された光から距離情報を取得する距離情報取得
    ステップと、 前記距離情報取得ステップにおいて取得された距離情報
    に基づき前記輝度画像を幾何変換する幾何変換ステップ
    と、 前記幾何変換ステップにおいて幾何変換された輝度画像
    と、予め取得済みの輝度画像との差異を抽出する画像抽
    出ステップと、 を有することを特徴とするプログラム。
JP2001108353A 2000-06-29 2001-04-06 画像処理装置および画像処理方法、並びにプログラム Expired - Fee Related JP3867512B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001108353A JP3867512B2 (ja) 2000-06-29 2001-04-06 画像処理装置および画像処理方法、並びにプログラム
US09/892,884 US6970600B2 (en) 2000-06-29 2001-06-28 Apparatus and method for image processing of hand-written characters using coded structured light and time series frame capture

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-196051 2000-06-29
JP2000196051 2000-06-29
JP2001108353A JP3867512B2 (ja) 2000-06-29 2001-04-06 画像処理装置および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2002081922A true JP2002081922A (ja) 2002-03-22
JP3867512B2 JP3867512B2 (ja) 2007-01-10

Family

ID=26594963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001108353A Expired - Fee Related JP3867512B2 (ja) 2000-06-29 2001-04-06 画像処理装置および画像処理方法、並びにプログラム

Country Status (2)

Country Link
US (1) US6970600B2 (ja)
JP (1) JP3867512B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006183985A (ja) * 2004-11-30 2006-07-13 Mitsubishi Kagaku Sanshi Corp 放吸熱器、及びその製造方法
US7290887B2 (en) 2003-08-08 2007-11-06 Nec Display Solutions, Ltd Projector and projection method
JP2018136709A (ja) * 2017-02-21 2018-08-30 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力プログラム及びデータ入力システム
JP2019133559A (ja) * 2018-02-02 2019-08-08 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力プログラム及びデータ入力システム

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100443678B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
EP1302891A1 (de) * 2001-10-12 2003-04-16 Siemens Aktiengesellschaft Vorrichtung zum Erfassen und Darstellen von Bewegungen
DE10156040B4 (de) * 2001-11-15 2005-03-31 Océ Document Technologies GmbH Verfahren, Vorrichtung und Computerprogramm-Produkt zum Entzerren einer eingescannten Abbildung
US6977187B2 (en) * 2002-06-19 2005-12-20 Foster-Miller, Inc. Chip package sealing method
US7415130B1 (en) * 2002-10-30 2008-08-19 Lockheed Martin Corporation Mail image profiling and handwriting matching
US7203384B2 (en) * 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7110100B2 (en) * 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7088440B2 (en) * 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7023536B2 (en) * 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US20050207486A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
CN101198964A (zh) * 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US8493628B2 (en) * 2005-04-21 2013-07-23 The Boeing Company Reproduction of images onto surfaces
US20060238815A1 (en) * 2005-04-21 2006-10-26 The Boeing Company Systems and methods of reproducing images onto surfaces
US7880719B2 (en) * 2006-03-23 2011-02-01 International Business Machines Corporation Recognition and capture of whiteboard markups in relation to a projected image
JP4697087B2 (ja) * 2006-08-09 2011-06-08 富士ゼロックス株式会社 画像処理装置
US8016198B2 (en) * 2007-10-09 2011-09-13 Hewlett-Packard Development Company, L.P. Alignment and non-alignment assist images
FR2923006B1 (fr) * 2007-10-29 2010-05-14 Signoptic Technologies Dispositif optique pour l'observation de details structurels millimetriques ou submillimetriques d'un objet a comportement speculaire
JP2010003198A (ja) * 2008-06-23 2010-01-07 Fuji Xerox Co Ltd 文書管理システム、文書管理装置、プログラム
US8229228B2 (en) * 2008-09-16 2012-07-24 Robert Bosch Gmbh Image analysis using a pre-calibrated pattern of radiation
US20100194861A1 (en) * 2009-01-30 2010-08-05 Reuben Hoppenstein Advance in Transmission and Display of Multi-Dimensional Images for Digital Monitors and Television Receivers using a virtual lens
US20110019243A1 (en) * 2009-07-21 2011-01-27 Constant Jr Henry J Stereoscopic form reader
KR100931520B1 (ko) * 2009-08-11 2009-12-14 (주)누리봄 위치 검출이 가능한 화상 표시 장치
US20110145725A1 (en) * 2009-12-11 2011-06-16 Richard John Campbell Methods and Systems for Attaching Semantics to a Collaborative Writing Surface
KR20110069958A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
US9141955B2 (en) * 2010-06-23 2015-09-22 The Western Union Company Biometrically secured user input for forms
US9754132B2 (en) 2010-06-23 2017-09-05 The Western Union Company Multi-user device with information capture capabilities
US8773464B2 (en) 2010-09-15 2014-07-08 Sharp Laboratories Of America, Inc. Methods and systems for collaborative-writing-surface image formation
US8723920B1 (en) 2011-07-05 2014-05-13 3-D Virtual Lens Technologies, Llc Encoding process for multidimensional display
US9273955B2 (en) * 2011-09-08 2016-03-01 Intel Corporation Three-dimensional data acquisition
US10528772B1 (en) 2012-02-24 2020-01-07 Socket Mobile, Inc. Assisted aimer for optimized symbol scanning by a portable computing device having an integral camera
JP6112769B2 (ja) * 2012-03-05 2017-04-12 キヤノン株式会社 情報処理装置、情報処理方法
KR101976163B1 (ko) * 2012-03-08 2019-05-31 주식회사 셀트라존 카메라와 하프미러를 이용한 바이오기기의 코드 인식 방법 및 시스템
WO2013191315A1 (ko) * 2012-06-21 2013-12-27 엘지전자 주식회사 디지털 이미지 처리 장치 및 방법
CN103682676B (zh) * 2012-09-03 2015-12-09 万都株式会社 用于提高辐射效率的天线装置和雷达装置
PL2918967T3 (pl) * 2012-11-07 2018-10-31 Artec Europe S.A.R.L. Sposób monitorowania wymiarów liniowych obiektów trójwymiarowych
US9189973B2 (en) * 2013-03-15 2015-11-17 Orcam Technologies Ltd. Systems and methods for providing feedback based on the state of an object
US9393686B1 (en) * 2013-03-15 2016-07-19 Industrial Perception, Inc. Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
US9721304B1 (en) * 2013-07-15 2017-08-01 Liberty Mutual Insurance Company Vehicle damage assessment using 3D scanning
DE102013111761B4 (de) * 2013-10-25 2018-02-15 Gerhard Schubert Gmbh Verfahren und Scanner zum berührungslosen Ermitteln der Position und dreidimensionalen Form von Produkten auf einer laufenden Fläche
CN106845473B (zh) * 2015-12-03 2020-06-02 富士通株式会社 用于确定图像是否为带地址信息的图像的方法和装置
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US10863165B2 (en) * 2017-06-07 2020-12-08 Sony Semiconductor Solutions Corporation Image processing apparatus and method
US11301063B2 (en) 2018-07-18 2022-04-12 John J. King, JR. Smart pen device and method of implementing a smart pen device
WO2020230921A1 (ko) * 2019-05-14 2020-11-19 엘지전자 주식회사 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4687326A (en) * 1985-11-12 1987-08-18 General Electric Company Integrated range and luminance camera
JPH0813088B2 (ja) 1990-09-18 1996-02-07 富士ゼロックス株式会社 画像読取装置
JPH0816608B2 (ja) 1991-03-15 1996-02-21 幸男 佐藤 形状計測装置
US5201011A (en) * 1991-11-19 1993-04-06 Xerox Corporation Method and apparatus for image hand markup detection using morphological techniques
US5436639A (en) * 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US5668897A (en) * 1994-03-15 1997-09-16 Stolfo; Salvatore J. Method and apparatus for imaging, image processing and data compression merge/purge techniques for document image databases
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
US5528290A (en) * 1994-09-09 1996-06-18 Xerox Corporation Device for transcribing images on a board using a camera based board scanner
DE69533074T2 (de) * 1994-09-09 2004-09-16 Xerox Corp. Verfahren zum Interpretieren handgeschriebener schematischer Benutzerschittstellenbefehle
JPH08237407A (ja) * 1994-12-09 1996-09-13 Xerox Corp 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法
US6044165A (en) * 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
JPH09284489A (ja) * 1996-04-12 1997-10-31 Minolta Co Ltd 画像読取り装置
US5764383A (en) * 1996-05-30 1998-06-09 Xerox Corporation Platenless book scanner with line buffering to compensate for image skew
US5760925A (en) * 1996-05-30 1998-06-02 Xerox Corporation Platenless book scanning system with a general imaging geometry
FR2756952B1 (fr) * 1996-12-06 1999-06-25 Itesoft Systeme de reconnaissance de caracteres manuscrits
JPH10336439A (ja) * 1997-05-28 1998-12-18 Minolta Co Ltd 画像読取り装置
US6023534A (en) * 1997-08-04 2000-02-08 Xerox Corporation Method of extracting image data from an area generated with a halftone pattern
JPH11136564A (ja) 1997-10-31 1999-05-21 Fuji Xerox Co Ltd 撮像装置及び画像読取装置
JP3856926B2 (ja) 1997-10-31 2006-12-13 富士ゼロックス株式会社 撮像装置及び画像読取装置
JP3422924B2 (ja) * 1998-03-27 2003-07-07 富士通株式会社 文字認識装置、文字認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3384329B2 (ja) 1998-06-22 2003-03-10 富士ゼロックス株式会社 ３次元画像撮影装置
US6125197A (en) * 1998-06-30 2000-09-26 Intel Corporation Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
JP3482990B2 (ja) * 1998-08-18 2004-01-06 富士ゼロックス株式会社 ３次元画像撮影装置
JP2000105818A (ja) 1998-09-28 2000-04-11 Fuji Xerox Co Ltd 画像読取装置
JP3475849B2 (ja) * 1999-04-16 2003-12-10 日本電気株式会社 文書画像取得装置および文書画像取得方法
US6563948B2 (en) * 1999-04-29 2003-05-13 Intel Corporation Using an electronic camera to build a file containing text
JP3714063B2 (ja) * 1999-10-19 2005-11-09 富士ゼロックス株式会社 ３次元形状計測装置
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7290887B2 (en) 2003-08-08 2007-11-06 Nec Display Solutions, Ltd Projector and projection method
JP2006183985A (ja) * 2004-11-30 2006-07-13 Mitsubishi Kagaku Sanshi Corp 放吸熱器、及びその製造方法
JP4664125B2 (ja) * 2004-11-30 2011-04-06 三菱樹脂株式会社 放吸熱器、及びその製造方法
JP2018136709A (ja) * 2017-02-21 2018-08-30 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力プログラム及びデータ入力システム
JP2019133559A (ja) * 2018-02-02 2019-08-08 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力プログラム及びデータ入力システム

Also Published As

Publication number Publication date
US6970600B2 (en) 2005-11-29
US20020001029A1 (en) 2002-01-03
JP3867512B2 (ja) 2007-01-10

Similar Documents

Publication Publication Date Title
JP3867512B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5445460B2 (ja) なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
US7609865B2 (en) 3D fingerprint and palm print data model and capture devices using multi structured lights and cameras
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
JP3753722B2 (ja) 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置
JP4473136B2 (ja) 局所的独自パターンを使用した能動的ステレオ技術による３次元画像の取得
US7822267B2 (en) Enhanced object reconstruction
US20130335535A1 (en) Digital 3d camera using periodic illumination
JP2001194114A (ja) 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP7269874B2 (ja) 複数の対象とする領域を独立的に処理する方法
US7463772B1 (en) De-warping of scanned images
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
US11182945B2 (en) Automatically generating an animatable object from various types of user input
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
WO2002009024A1 (en) Identity systems
KR100930722B1 (ko) 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체
US11645800B2 (en) Advanced systems and methods for automatically generating an animatable object from various types of user input
JP2002117403A (ja) 画像処理装置および画像処理方法
JP4141090B2 (ja) 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体
JP2005031044A (ja) 三次元誤差測定装置
JP2021022185A (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
JP6216842B1 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
CN110415128A (zh) 保单信息管理方法、装置、设备及计算机可读存储介质
WO2023248807A1 (ja) 画像処理装置および方法
Abdulov et al. Is face 3D or 2D on stereo images?

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061002

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees