JP2007208821A - 書画撮影装置、書画静止検出方法及びプログラム - Google Patents

書画撮影装置、書画静止検出方法及びプログラム Download PDF

Info

Publication number
JP2007208821A
JP2007208821A JP2006027225A JP2006027225A JP2007208821A JP 2007208821 A JP2007208821 A JP 2007208821A JP 2006027225 A JP2006027225 A JP 2006027225A JP 2006027225 A JP2006027225 A JP 2006027225A JP 2007208821 A JP2007208821 A JP 2007208821A
Authority
JP
Japan
Prior art keywords
document
image
stillness
document table
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006027225A
Other languages
English (en)
Other versions
JP4424314B2 (ja
Inventor
Masatoshi Watanuki
正敏 綿貫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2006027225A priority Critical patent/JP4424314B2/ja
Priority to US11/701,391 priority patent/US7839543B2/en
Publication of JP2007208821A publication Critical patent/JP2007208821A/ja
Application granted granted Critical
Publication of JP4424314B2 publication Critical patent/JP4424314B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00684Object of the detection
    • H04N1/00726Other properties of the sheet, e.g. curvature or reflectivity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00729Detection means
    • H04N1/00734Optical detectors
    • H04N1/00737Optical detectors using the scanning elements as detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00742Detection methods
    • H04N1/00748Detecting edges, e.g. of a stationary sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00742Detection methods
    • H04N1/0075Detecting a change in reflectivity
    • H04N1/00753Detecting a change in reflectivity of a sheet relative to a particular backgroud
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00742Detection methods
    • H04N1/00761Detection methods using reference marks, e.g. on sheet, sheet holder or guide
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00763Action taken as a result of detection
    • H04N1/00774Adjusting or controlling
    • H04N1/00782Initiating operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/0402Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0436Scanning a picture-bearing surface lying face up on a support

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

【課題】原稿書類を書画台に載置する際に原稿書類の端部に手がかかっている状態や台上で原稿用紙が静止した状態等を正確に判定する。
【解決手段】原稿書類を載置する、特定のパターンが表面に形成された書画台に載置された原稿書類を撮影部で撮影してその画像を出力する書画撮影装置に接続されたコンピュータが実行するプログラムで、上記撮影部で得る書画台画像の外周部の上記パターンの途切れ及び同画像の変化の少なくとも一方から上記書画台に載置された原稿書類の静止を判定する判定ステップをCPU31に実行させる。
【選択図】 図3

Description

本発明は、例えばプロジェクタ装置に接続し、載置された書画原稿の画像を撮影してその画像信号を供給する書画撮影装置、書画静止検出方法及びプログラムに関する。
従来より、書画カメラと呼ばれる書画台付きのカメラを、パーソナルコンピュータ及びプロジェクタ装置と接続し、上記書画台に載置した書類の画像を随時撮影してそのまま投影表示するようにしたものがある。
この種の書画カメラでは、単に書画台に載置される書類の画像を撮影しているままの状態で出力するのではなく、プレゼンテーションで使用する際に煩雑な画像を投影してしまうことがないように、あえて書類を書画台に置く際にはその書類が正しい位置に置かれて台上で静止するまでは書画台の画像を出力しないか、あるいは書画台上の書類に何らかの変化を生じる直前の画像を出力し続ける技術が考えられていた。
例えば、書画台の原稿静止を検出する技術で、画像の直線成分(画像に含まれるエッジの数)が一定以上であるとき原稿が設置されたと判断するものが提案されている。(例えば、特許文献1)
また、書画カメラそのものに関する技術ではないが、近接する分野で、原稿と手とが一緒に撮影されてしまうと都合が良くないために、原稿と手の画像を分離する技術が提案されている。(例えば、特許文献2)
特開2005−123752号公報 特開2000−308045号公報
上記特許文献1に記載されている技術は、原稿の端部にユーザの手がかかっている段階では画像中の直線部分が途切れてその量が減るために原稿が設置されたことを判断することができない。
また、上記特許文献2に記載されている技術は、原稿を書画台上に載置するような書画カメラに適用することができない。
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、原稿書類を書画台に載置する際に原稿書類の端部に手がかかっている状態や台上で原稿用紙が静止した状態等を正確に判定することが可能な書画撮影装置、書画静止検出方法及びプログラムを提供することにある。
請求項1記載の発明は、原稿書類を載置する、特定のパターンが表面に形成された書画台と、この書画台に載置された原稿書類を撮影する撮影手段と、この撮影手段で得る書画台画像の外周部の上記パターンの途切れ及び外周部の画像の変化の少なくとも一方から上記書画台に載置された原稿書類の静止を判定する第1の静止判定手段と、この第1の静止判定手段で静止したと判定した書画台の画像を出力する出力手段とを具備したことを特徴とする。
請求項1記載の発明によれば、所定のパターンが表面に形成された書画台上の原稿書類の画像から原稿書類の静止を判定するものとしたので、比較的容易な画像処理により書類原稿の書画台上での静止を正確に判定することができる。
(第1の実施の形態)
以下本発明を書画カメラ装置、パーソナルコンピュータ(PC)、及びデータプロジェクタ装置からなる書画投影システムに適用した場合の第1の実施の形態について図面を参照して説明する。
図1は、システム全体の外観と接続構成を示すものである。書画カメラ装置1とPC2とがUSB(Universal Serial Bus)ケーブル4で接続され、書画カメラ装置1でその書画台1a上に載置された書類の画像が常時撮影され、デジタル値の画像信号としてUSBケーブル4を介し、アイソクロナス転送によりリアルタイムにPC2に送られる。
このPC2は、書画カメラ装置1に付属している記録媒体、例えばCD−ROM6によりこの書画カメラ装置1用のドライバプログラムを予めインストールしており、同プログラムを実行することにより、書画カメラ装置1から送られてくる画像信号に対応したアナログ値の画像信号を生成し、RGBケーブル5を介してデータプロジェクタ装置3へ送出する。
データプロジェクタ装置3は、例えばマイクロミラー素子を用いて送られてきた画像信号に対応する光像を形成し、投影対象となるスクリーンに各種画像を投影表示する。
図2は、上記書画カメラ装置1の回路構成を示すものである。同図で、後述するスルー表示モード時に、モータ(M)11の駆動によりズーム画角や絞り位置等が移動される、レンズ光学系12の撮影光軸後方に撮像素子であるCCD13が配置される。このCCD13は、タイミング発生器(TG)14、垂直ドライバ15によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。
この光電変換出力は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路(S/H)16でサンプルホールドされ、A/D変換器17でデジタルデータに変換され、カラープロセス回路18で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUV信号)が生成され、DMA(Direct Memory Access)コントローラ19に出力される。
DMAコントローラ19は、カラープロセス回路18の出力する輝度信号Y及び色差信号Cb,Crを、同じくカラープロセス回路18からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度DMAコントローラ19内部のバッファに書込み、DRAMインタフェース(I/F)20を介してバッファメモリとして使用されるDRAM21にDMA転送を行なう。
制御部22は、CPUと、このCPUで実行される動作プログラムを固定的に記憶した不揮発性メモリ、及びワークメモリ等により構成され、この書画カメラ装置1全体の制御動作を司るもので、上記輝度及び色差信号のDRAM21へのDMA転送終了後に、この輝度及び色差信号(YUV信号)をDRAMインタフェース20を介してDRAM21より読出し、USBインタフェース(I/F)23へ送出する。
USBインタフェース23は、上記輝度及び色差信号をUSB規格に則ってアイソクロナス転送により上記USBケーブル4を介してリアルタイムにPC2に送出する。
なお、静止表示モード時にPC2からUSBインタフェース23を介して撮影指示を受信すると、制御部22はその時点でCCD13から取込んでいる1画面分の輝度及び色差信号のDRAM21へのDMA転送を取り止め、あらためて適正な露出条件に従った絞り値及びシャッタ速度と解像度でCCD13を走査駆動して1画面分の輝度及び色差信号を得てDRAM21へ転送する。
このDRAM21に転送された1フレーム分の輝度及び色差信号をDRAMインタフェース20を介してUSBインタフェース23へ送出し、あらためてUSBインタフェース23がこれらの信号をPC2へ送出する。このPC2への画像信号の送出後、再び制御部22はスルー表示状態に復帰して、CCD13からDRAM21への経路を再び起動する。
なお、制御部22にはキー入力部24が接続されるもので、このキー入力部24を構成する電源キー等のキー操作信号は直接制御部22に入力される。
次に図3によりPC2の構成について説明する。図3はこのPC2のハードウェア構成を示すものであり、各種処理制御を司るCPU31とフロントサイドバスFSBを介してノースブリッジ32が接続される。
このノースブリッジ32は、さらにメモリバスMBを介してメインメモリ33と、またグラフィクスインタフェースAGPを介してグラフィックコントローラ34及びグラフィックメモリ35と接続される他、サウスブリッジ36とも接続され、主としてこれらの間での入出力制御を実行する。
サウスブリッジ36は、PCIバス37、キーボード/マウス38、ビデオエンコーダ39、USBインタフェース40、マルチディスクドライブ41、ハードディスク装置(HDD)42と接続され、主としてこれら周辺回路とノースブリッジ32との間の入出力制御を行なう。
なお、これらPC2を構成する個々の要素は、きわめて一般的な技術であるのでその説明は省略するものとする。
なお、ビデオエンコーダ39は、与えられたデジタル値の画像信号からアナログ値の画像信号であるRGBビデオ信号を生成して出力する。
HDD42は、OS(オペレーティングシステム)や各種アプリケーションプログラム、データファイルと共に、マルチディスクドライブ41に上記CD−ROM6を装着してインストールした書画カメラ装置1用のドライバプログラムを予め記憶している。
次いで図4を用いて上記データプロジェクタ装置3の回路構成について説明する。
図中、入出力コネクタ部51より入力されたRGBビデオ信号を含む各種規格の画像信号が、入出力インタフェース(I/F)52、システムバスSBを介して画像変換部53で所定のフォーマットの画像信号に統一された後に、投影エンコーダ54へ送られる。
投影エンコーダ54は、送られてきた画像信号をビデオRAM55に展開記憶させた上でこのビデオRAM55の記憶内容からビデオ信号を生成して投影駆動部56に出力する。
この投影駆動部56は、送られてきた画像信号に対応して適宜フレームレート、例えば例えば60[フレーム/秒]と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動で空間的光変調素子(SOM)である例えばマイクロミラー素子57を表示駆動する。
このマイクロミラー素子57に対して、リフレクタ58内に配置された光源ランプ59が出射する高輝度の白色光を、カラーホイール60を介して適宜原色に着色し、インテグレータ61、ミラー62を介して照射することで、その反射光で光像が形成され、投影レンズ63を介してここでは図示しないスクリーンに投影表示される。
しかるに、光源ランプ59の点灯駆動と、カラーホイール60を回転駆動するモータ(M)64はいずれも投影光処理部65からの供給電圧値に基づいて動作する。
上記各回路のすべての動作制御を司るのが制御部66である。この制御部66は、CPUと、後述する投影動作、撮影動作の処理を含む該CPUで実行される動作プログラムを記憶した不揮発性メモリ、及びワークメモリ等により構成される。
この制御部66にはまた、システムバスSBを介して音声処理部67が接続される。
音声処理部67は、PCM音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、スピーカ68を駆動して拡声放音し、あるいは必要によりビープ音を発生させる。
なお、このデータプロジェクタ装置3に備えられるキースイッチ部69における各キー操作信号が直接制御部66に入力されると共に、Ir受信部70からの信号も直接入力される。このIr受信部70は、データプロジェクタ装置3の前面及び背面にそれぞれ設けられるもので、その赤外光受信信号をコード信号化して制御部66に送出する。
次に上記実施の形態の動作について説明する。
なお、本実施の形態の動作にあっては、PC2にインストールされた書画カメラ装置1用のドライバプログラムを制御部66がハードディスク装置42から読出してメインメモリ33上に展開して実行することで、静止表示モードに設定された書画カメラ装置1がPC2の制御を受けて書画台1a上に載置される書類原稿の静止検出を行なうもので、図5及び図6は上記ドライバプログラムにしたがった内容を示す。
その動作当初には、書画カメラ装置1にて何も載置されていない状態の書画台1aを撮影させ(ステップA01)、得た画像データを書画カメラ装置1から取込み、エッジ検出してエッジ検出部分のみが「黒(“1”)」、その他が白(“0”)となるよう白黒2値化し、これを標準パターンデータとしてメインメモリ33の一部に保持する(ステップA02)。
図7は、このとき撮影される書画台1aの画像を例示するもので、図示する如く書画台1aには予めその輝度が大きく異なる2色の斜めのストライプパターンが全面に施されている。
図8は、上記図7の書画台1aのパターン画像をエッジ検出した後に2値化した画像を例示するものであり、上記ストライプパターンの境界部分とその近傍がエッジ検出の処理により輪郭抽出された結果を示す。
この図8で示す画像が標準パターンとして保持されると共に、同図中の一点鎖線で示す範囲より外側の画像のみが、後に外周部分の標準パターンとして用いられることとなる。
次いで、書画台1a上に載置された原稿書類の静止を判断するためのカウンタ(図では「cnt」と称する)をクリアして「0」とする(ステップA03)。
その後、再度書画台1aを撮影させ(ステップA04)、得た画像データを書画カメラ装置1から取込み、エッジ検出してエッジ検出部分のみが「黒(“1”)」、その他が白(“0”)となるよう白黒2値化し(ステップA05)、これを上記ステップA02で保持した標準パターンデータと比較して内容に変化を生じたか否か判断する(ステップA06)。
ここで変化を生じていなければ書画台1a上には何も載置されていないことになるので、再び上記ステップA04からの処理に戻り、以後同様にステップA04〜A06の処理を繰返し実行することで、書画台1aに原稿書類が載置されて撮影画像に変化が生じるのを待機する。
しかして書画台1a上に何らかの原稿書類が載置されることで撮影画像に変化を生じると、ステップA06でこれを判断し、次に載置された原稿書類の輪郭を抽出する(ステップA07)。
図9は、書画台1a上に原稿書類が載置された場合の撮影画像を例示するものであり、原稿書類と共にユーザの手が写り込んでいる状態を示す。
図10は、上記図9の撮影画像をエッジ検出して2値化した画像であり、原稿書類の輪郭の4辺中、3辺は直線として抽出できているものの、残る1辺はユーザの手により途切れいる。
このように辺の途切れを検出した場合には必要に応じて補間処理を行なうことで原稿書類の4辺を得るもので、結果的に当該原稿書類の4辺を抽出することができたか否かを判断する(ステップA08)。
ここで、抽出することができなかったと判断した場合には、上記カウンタをクリアして「0」とした後に(ステップA09)、再び上記ステップA04からの処理に戻り、原稿書類の4辺の輪郭抽出ができる状態となるまで同様の処理を繰返す。
一方、必要に応じて補間処理を施すことで撮影画像から原稿書類の4辺を抽出することができた場合、ステップA08でこれを判断し、次に画像中、原稿書類の4辺のそれぞれ隣り合う2片の交点である4つの頂点の座標位置を算出した上で(ステップA10)、前回に算出した4つの頂点座標があればそれと比較し、同じ頂点座標であるか否かを判断する(ステップA11)。
ここで、前回の4つの頂点座標のデータがない場合、すなわち、はじめて原稿書類の輪郭抽出ができた場合か、または前回の4つの頂点座標はあるものの、今回の内容とは異なる場合、すなわち書画台1aで原稿書類がまだ静止していない場合には、前回の頂点座標とは異なるものと判断し、今回得た4つの頂点座標を用いて更新設定を行なった上で(ステップA12)、上記カウンタをクリアして「0」とした後に(ステップA13)、再び上記ステップA04からの処理に戻り、あらたに原稿書類の4辺の輪郭抽出ができる状態から同様の処理を繰返す。
また、上記ステップA11で前回と今回とで4つの頂点座標が一致したと判断した場合には、その前の撮影時から原稿書類が書画台1a上で移動していないことになるので、次に保持している標準パターンの外周部と現在得られている2値化画像の外周部とを比較し(ステップA14)、その内容が同じであるか否かを判断する(ステップA15)。
ここで2つの外周部のパターン画像が同じはないと判断した場合には、上記図10で示した、ユーザの手が画像中に写り込んでいる状態に代表されるように、まだ原稿書類が書画台1a上に完全に載置され終えた状態ではないものとして、上記カウンタをクリアして「0」とした後に(ステップA16)、再び上記ステップA04からの処理に戻り、あらたに原稿書類の4辺の輪郭抽出ができる状態から同様の処理を繰返す。
また、上記ステップA15で2つの外周部のパターン画像が同じであると判断した場合には、上記図10で示したようなユーザの手が画像中に写り込んでいる状態にはなく、原稿書類が書画台1a上に完全に載置され終えた状態であるものとして、上記カウンタの値を「+1」更新選択した上で(ステップA17)、その更新設定したカウント値が予め設定された時間値を示す所定値となったか否かを判断する(ステップA18)。
ここでカウンタの値が所定値に達していないと判断した際には、そのまま再び上記ステップA04からの処理に戻り、あらたに原稿書類の4辺の輪郭抽出ができる状態から同様の処理を繰返す。
しかして、書画台1a上に原稿書類が載置され、且つユーザの手がその原稿書類から外れて一定の時間が経過する間、上記ステップA04〜A08,A10,A11,A14,A15,A17,A18の処理が繰返し実行され、カウンタの値が「+1」ずつ更新設定され続ける。
そして、カウンタの値が所定値となった時点、すなわち書画台1a上に原稿書類が載置され、且つユーザの手がその原稿書類から外れて静止したまま一定の時間が経過した時点でステップA18でこれを判断し、上記4つの頂点座標に基づき、その時点で得られる撮影画像中の原稿書類の位置を示す長方形部分を抽出し(ステップA19)、抽出した画像データをここでは図示しない画像処理、すなわち輝度ムラ補正、色補正、輝度補正、輪郭抽出等のうちユーザが設定したものを施して投影を行なうべく後段の処理に委ねる一方で、本処理を続行するべく上記ステップA03からの処理に戻る。
このように、所定のパターンが表面に形成された書画台1a上の原稿書類の画像から、その外周部の途切れと画像の変化とを検出することで原稿書類の静止を判定するものとしたので、比較的容易な画像処理により書類原稿の書画台1aでの静止を正確に判定することができる。
特に、上記実施の形態においては、まず書画台1aの撮影画像に対し、画像の変化が停止したことを確認した上で外周部の途切れがなくなった状態を所定値となるまでカウントすることで静止判定を行なうものとしているので、書画台1a上に載置された原稿書類の静止をより正確に判定することができる。
加えて、書画台1aの画像の変化として具体的には、書画台1a上に載置された原稿書類の頂点座標の移動から判定するものとし、さらにその原稿書類の頂点座標の移動を撮影画像中の原稿画像の輪郭を検出することで判定するものとしている。
そのため、例えば上記図7で示したような所定のストライプパターンが形成された書画台1a上に載置された原稿書類の輪郭を抽出することで、例えばユーザの手などが写り込むことで辺中の一部が欠落し(途切れ)ている場合でも容易にこれを補間することができ、柔軟性をもって全体の処理を迅速且つ正確に実行することができる。
さらに、撮影画像の外周部の途切れを検出する際に、予め何も載置されていない状態の書画台1aの外周部のパターン画像を標準パターンとして記憶しておき、その標準パターンとその時点で得られる撮影画像の外周部の状態とを比較するものとしたので、簡易な画像処理ながら正確にユーザの手の写り込み等による影響を排除し、正確に原稿書類の静止を判定することができる。
(第2の実施の形態)
以下本発明を書画カメラ装置、パーソナルコンピュータ(PC)、及びデータプロジェクタ装置からなる書画投影システムに適用した場合の第2の実施の形態について図面を参照して説明する。
なお、システム全体の外観と接続構成については上記図1と、そのシステムを構成する書画カメラ装置、パーソナルコンピュータ(PC)、及びデータプロジェクタ装置個々の電子回路の機能構成については上記図2乃至図4と基本的に同様であるものとし、以下の文中では同一部分に同一符号を用いるものとして、その図示と説明とを省略する。
次に上記実施の形態の動作について説明する。
なお、本実施の形態の動作にあっては、PC2にインストールされた書画カメラ装置1用のドライバプログラムを制御部66がハードディスク装置42から読出してメインメモリ33上に展開して実行することで、静止表示モードに設定された書画カメラ装置1がPC2の制御を受けて書画台1a上に載置される原稿書類の静止検出を行なうもので、図11乃至図14は上記ドライバプログラムにしたがった内容を示す。
その動作当初には、各変数を初期値に設定する(ステップB01)。
ここで変数としては、書画台1a上に載置された原稿書類の静止時間をカウントする静止カウンタ(図では「静止cnt」と称する)、書画台1a上の原稿書類の頂点位置が安定したか(“TRUE”)/否か(“FALSE”)を示す頂点安定フラグ、書画台1a上の原稿書類の基準となる直前位置の頂点座標を示す頂点ベース情報、及び書画台1a外周部の原稿書類の有無に応じた画像情報量の差分の基準となる差分ベース情報を設定するものとし、具体的には上記静止カウンタに初期値「0」を、頂点安定フラグに“FALSE”をそれぞれ設定し、頂点ベース情報及び差分ベース情報をクリアする。
次に、PC2以外の書画カメラ装置1及びデータプロジェクタ装置3のいずれか外部の機器の操作により書類原稿の静止検出を終了させるための命令がないことを確認した上で(ステップB02)、書画台1a上の新規画像を撮影して画像データを取得し(ステップB03)、撮影画像中の書画台1aに形成されているストライプパターンに途切れ位置があればそれを連結することで書画台1aに載置されて原稿書類の輪郭抽出を行ない、原稿書類の4つの頂点座標を検出することができたか否かを判断する(ステップB04)。
動作当初においては、まだ書画台1a上に原稿書類が載置されておらず、当然ながら4つの頂点座標も検出することができないためにこれを判断し、次に頂点ベース情報があるか否かを判断する(ステップB05)。
ここでまだ頂点ベース情報がない場合には、頂点の移動量として「0」を設定した後に(ステップB10)、該頂点移動量が予め静止判定のために用意されたしきい値である所定量より大きいか否か判断する(ステップB13)。
ここでは当然ながら頂点移動量は上記設定により「0」であり、所定量より小さいためにこれを判断し、次に静止カウンタの値が「0」であるか否かを判断する(ステップB19)。
静止カウンタの値が「0」である場合、次に直前の頂点座標の情報があればそれらを頂点ベース情報として保持設定し、また直前の頂点座標の情報がない場合は何も行なわずに(ステップB20)、次に頂点安定フラグが“TRUE”であるか否かを判断する(ステップB21)。
ここでは“TRUE”ではなく“FALSE”であるのでこれを判断し、あらためて頂点安定フラグに“TRUE”を設定し(ステップB22)、外周部の差分情報があればそれを開放(放棄)した後に(ステップB23)、撮影で得た画像データを差分比較のためのベース画像としてメインメモリ33に保持し(ステップB24)、その後に次の撮影を行なうべく上記ステップB02からの処理に戻る。
こうして、書画台1aに原稿書類が載置されるまでの間、上記ステップB02〜B04,B10,B13,B19〜B24の処理を繰返し実行する。
図15は、書画台1a上に原稿書類が載置された状態で撮影された画像を例示するもので、原稿書留と共にユーザの手が写り込んでいることがわかる。
このように原稿書類が書画台1a上に載置されようとする状態では、撮影した画像中で原稿書類を構成する4辺中の3辺は即時画像から輪郭から抽出可能であるものの、手がかかっている残る1辺(図中の下辺)については補間処理により算出するものとなり、結果として4つの頂点座標を検出する。
こうして、書画台1a上に原稿書類が載置されようとする間、その画像がステップB03で撮影されて輪郭抽出により4つの頂点座標を検出すると、続くステップB04でこれを判断し、頂点ベース情報があるか否か判断する(ステップB11)。
この初期の段階ではまだ頂点ベース情報はないためにこれを判断すると、次に静止カウンタに「0」を設定した後(ステップB17)、頂点安定フラグに“FALSE”を設定し、頂点ベース情報を上記検出した内容で更新設定し、差分ベース情報をクリアした上で(ステップB18)、上記ステップB02からの処理に戻る。
ステップB02を介してステップB03で新規画像を撮影により取得し、ステップB04を介してステップB11で今度は頂点ベース情報があると判断すると、今回取得した4つの頂点座標から頂点ベース情報の座標位置をそれぞれ対応する位置間で減算してその差の総和を求めることで頂点移動量を算出する(ステップB12)。
この取得した頂点移動量を予め用意されたしきい値である所定量と比較してより大きいか否か判断する(ステップB13)。
ここで、頂点移動量が所定量より大きいと判断した場合、書画台1a上の原稿書類の移動があるものとして、次に静止カウンタの値が「0」であるか否かを判断する(ステップB14)。
静止カウンタの値が「0」である場合、あらためて頂点安定フラグに“FALSE”を設定し、また上記直前のステップB04で検出した4つの頂点座標を頂点ベース情報として更新設定し、さらに差分ベース情報をクリアした上で(ステップB18)、上記ステップB02からの処理に戻る。
このように書画台1a上に原稿書類があり、且つその移動量が大きい間は、上記ステップB02〜B04,B11〜B14,B18の処理を繰返し実行する。
その後、書画台1aの上に原稿書類があり、且つその移動量が小さくなると、上記と同様にB02〜B04,B11,B12の処理を経た後にステップB13で頂点移動量が所定値以下であるものと判断し、次に静止カウンタが「0」であるか否かを判断する(ステップB19)。
静止カウンタの値が「0」である場合、頂点ベース情報を必要により更新して保持した後(ステップB20)、頂点安定フラグは“TRUE”であるか否かを判断する(ステップB21)。
頂点安定フラグが“TRUE”ではなく“FALSE”である場合、これを判断してあらためて頂点安定フラグに“TRUE”を設定し(ステップB22)、外周部の差分情報があればそれを開放(放棄)した後に(ステップB23)、撮影で得た画像データを差分比較のためのベース画像としてメインメモリ33に保持し(ステップB24)、その後に次の撮影を行なうべく上記ステップB02からの処理に戻る。
その後、書画台1aの上の原稿書類の位置が静止する一方で、ユーザの手のみが多少変動する状態で、上記と同様にステップB02〜B04,B11〜B13,B19,B20の処理を経てステップB21で頂点安定フラグが“TRUE”であると判断すると、次に外周部の差分ベース情報があるか否かを判断する(ステップB25)。
ここでは、まだ外周部の差分ベース情報がクリアしたままで存在しないのでこれを判断し、あらためて直前のステップB03での撮影により得た画像と直前のステップB24で保持したベース画像の外周部差分を算出する。
ここで外周部の差分は、例えば画像中の外周部のみを例えば8画素×8画素のブロックに分割し、2枚の画像の同一位置にあるブロック間で同一画素位置どうしR(赤色)成分、G(緑色)成分、及びB(青色)成分それぞれに差分(絶対値)を取得し、各ブロック毎の平均値を求めておく。
なお、ブロック毎に平均値を求めるのは、複数の画像間で一方にノイズ等が発生していた場合の影響を軽減し、差分情報に過敏に反応してしまうことを防止するためのものである。
こうして得た差分情報を差分ベース情報として保持設定した後に(ステップB26)、次の撮影を行なうべく上記ステップB02からの処理に戻る。
その後、同様の処理工程、すなわちステップB02〜B04,B11〜B13,B19〜B21の処理を経てステップB25で外周部の差分ベース情報があると判断すると、直前のステップB03での撮影により得た画像と直前のステップB24で保持したベース画像の外周部差分を算出し、上記ステップB26で保持した同外周部の差分ベース情報と比較して(ステップB27)、新旧の外周部差分情報が一致したか否かを判断する(ステップB28)。
この場合、差分情報の比較に関しては、上述した分割ブロック単位で例えば始めにR成分どうしを比較し、所定値以上の差があるか否かを判断する。所定値以上の差がある場合にはそのブロックを変化があったブロックと見なす一方で、所定値未満の差しかない場合には変化がないものとして次いでG成分で同様の比較を行ない、さらにそれでも変化がない場合にはB成分で同様の比較を行ない、RGBすべての成分で所定値未満の差しかない場合にそのブロックを変化がないブロックと見なすものとする。
ここで両者が一致しなかった場合、すなわち外周部におけるユーザの手が変動している状態では、これを判断して(古い)差分ベース情報を破棄し、代わって新しい差分情報を差分ベース情報として保持しなおした後に(ステップB29)、その後に次の撮影を行なうべく上記ステップB02からの処理に戻る。
こうして書画台1a上の原稿書類が静止する一方で、ユーザの手が変動し続けると、上記ステップB02〜B04,B11〜B13,B19〜B21,B25,B27〜B29の処理を繰返し実行し、外周部の差分ベース情報を随時更新し続ける。
その後、書画台1a上の原稿書類のみならずユーザの手も一時的に静止すると、上記と同様にステップB02〜B04,B11〜B13,B19〜B21,B25,B27〜B29の処理を実行する。
この処理工程中のステップB28においては、ベース画像が手が動いていた当初に撮影されたものであるので、新旧の外周部の差分情報は上記と同様に一致しないと判断し、ステップB29で同差分ベース情報を更新してから上記ステップB02の処理に戻る。
しかして、ユーザの手が一時的に静止してから2巡目の処理工程において、ステップB02〜B04,B11〜B13,B19〜B21,B25,B27の処理を経てステップB28では、手が動いていない状態が2回続いたことにより新旧の外周部の差分情報が一致したと判断する。
この場合、静止カウンタに数値「1」を設定した後に(ステップB30)、新しい差分情報を重複を避けるために破棄し、古い差分ベース情報をそのまま保持して継続使用するように設定した上で(ステップB31)、ステップB02からの処理に戻る。
その後、書画台1a上のユーザの手が一時的に静止してから3巡目の処理工程において、ステップB02〜B04,B11〜B13の処理を経てステップB19で静止カウンタの値が「0」ではないと判断すると、直前のステップB03での撮影により得た画像と直前のステップB24で保持したベース画像の外周部差分を算出し、上記ステップB26で保持した同外周部の差分ベース情報と比較して(ステップB32)、新旧の外周部差分情報が一致したか否かを判断する(ステップB33)。
ここで両者が一致した場合、静止カウンタの値が画像の静止を判定するために予め用意された所定値、例えば「3」未満であるか否かを判断し(ステップB37)、所定値未満であれば静止カウンタの値を「+1」更新設定して「2」とした上で(ステップB38)、上記ステップB02からの処理に戻る。
しかるに、書画台1a上でのユーザの手の一時的な静止状態が終わり、書画台1a上から外れるように手が移動すると、上記ステップB02〜B04,B11〜B13,B19の処理を経てステップB32でその時点での手が移動している画像に基づく新旧差分情報の比較が行なわれ、ステップB33でその両者が一致したか否か判断する。
この場合、手の移動により両差分情報は一致しないためにこれを判断し、静止カウンタを「−1」更新設定した上で(ステップB34)、その更新設定したカウント値が初期値「0」ではないことを確認し(ステップB35)、再びステップB02からの処理に戻る。
こうしてユーザの手が書画台1a上で移動する間、ステップB02〜B04,B11〜B13,B19,B32,B34,B35の処理が処理を繰返し実行する。
そして、連続した静止カウンタのマイナスカウントによりそのカウント値が「0」となると、ステップB35でこれを判断し、あらためて頂点安定フラグに“FALSE”を設定すると共に、頂点ベース情報を直前のステップB04で検出した4つの頂点座標により更新設定し、さらに差分ベース情報をクリアした後に(ステップB36)、上記ステップB02からの処理に戻る。
その後、書画台1a上からユーザの手が完全に外れ、書画台1aとその上に載置された原稿書類の画像のみが撮影されるようになると、その1巡目でステップB02〜B04,B11〜B13,B19〜B21を経てステップB22で再び頂点安定フラグに“TRUE”を設定した後にステップB23,B24の処理を経てステップB02からの処理に戻る。
同2巡目でステップB02〜B04,B11〜B13,B19,B20の処理を経てステップB21で頂点安定フラグが“TRUE”であると判断し、続いてステップB25で外周部の差分ベース情報がないと判断すると、あらためてステップB26で直前のステップB03での撮影により得た画像と直前のステップB24で保持したベース画像の外周部差分を算出し、差分ベース情報として保持設定し、上記ステップB02からの処理に戻る。
その後、書画台1a上からユーザの手が完全に外れて3巡目において、ステップB02〜B04,B11〜B13,B19〜B21の処理を経てステップB25で外周部の差分ベース情報があると判断すると、ステップB27で直前のステップB03での撮影により得た画像と直前のステップB24で保持したベース画像の外周部差分を算出し、上記ステップB26で保持した同外周部の差分ベース情報と比較し、ステップB28で新旧の外周部差分情報が一致したか否かを判断する。
この時点では、新旧の外周部は共に何もない状態であり、それら差分情報は一致したと判断して、ステップB30で静止カウンタに数値「1」を設定し、ステップB31で新しい差分情報を重複を避けるために破棄し、古い差分ベース情報をそのまま保持して継続使用するように設定した上で上記ステップB02からの処理に戻る。
しかして、書画台1a上からユーザの手が完全に外れてから4,5巡目の処理工程において、それぞれステップB02〜B04,B11〜B13,B19,B32,B33,B37を介してステップB38で静止カウンタの値を2回連続して「+1」更新設定して「3」とする。
その後、書画台1a上からユーザの手が完全に外れてから6巡目の処理工程において、上記と同じくステップB02〜B04,B11〜B13,B19,B32,B33を介してステップB37で静止カウンタが所定値未満ではないと判断すると、この時点で書画台1a上は静止状態であると判定し、所定の処理、例えば書画カメラ装置1が静止表示モードであれば書画台1a上の原稿書類をより大きな画像サイズ及び高階調で撮影して色補正や輝度ムラ補正、台形補正等の予め設定した各種補正処理を施して投影表示させる。
このように、所定のパターンが表面に形成された書画台1a上の原稿書類の画像から、その外周部の途切れと画像の変化とを検出することで原稿書類の静止を判定するものとしたので、比較的容易な画像処理により書類原稿の書画台1aでの静止を正確に判定することができる。
特に、上記実施の形態においては、上記書画台画像中の原稿書類の変化を、上記パターンの輪郭の途切れ位置を連結して原稿画像の輪郭を取得し、その輪郭の各頂点座標の移動量の総和と予め設定された値との比較により判定するものとしたので、書画台1a上に載置された原稿書類の静止をより正確に判定することができる。
加えて、書画台1aの外周部の直前の画像との差分情報を随時算出して変化が止まった時間を静止カウンタでの計数動作により判定するものとしている。
そのため、簡易な画像処理ながら正確にユーザの手の写り込み等による影響を排除し、正確に原稿書類の静止を判定することができる。
(第3の実施の形態)
以下本発明を書画カメラ装置、パーソナルコンピュータ(PC)、及びデータプロジェクタ装置からなる書画投影システムに適用した場合の第3の実施の形態について図面を参照して説明する。
なお、システム全体の外観と接続構成については上記図1と、そのシステムを構成する書画カメラ装置、パーソナルコンピュータ(PC)、及びデータプロジェクタ装置個々の電子回路の機能構成については上記図2乃至図4と基本的に同様であるものとし、以下の文中では同一部分に同一符号を用いるものとして、その図示と説明とを省略する。
次に上記実施の形態の動作について説明する。
なお、本実施の形態の動作にあっては、PC2にインストールされた書画カメラ装置1用のドライバプログラムを制御部66がハードディスク装置42から読出してメインメモリ33上に展開して実行することで、静止表示モードに設定された書画カメラ装置1がPC2の制御を受けて書画台1a上に載置される原稿書類の静止検出を行なうもので、図16は上記ドライバプログラムにしたがった内容を示す。
その動作当初には、動作当初のキャリブレーショとして、原稿書類等が何も載置されていない書画台1aの画像を撮影してその画像データを書画カメラ装置1から取込み、エッジ検出してエッジ検出部分のみが「黒(“1”)」、その他が白(“0”)となるよう白黒2値化し、その外周部の直線座標を取得してメインメモリ33の一部に保持する(ステップC01)。
図17は、このとき撮影される書画台1aの画像を例示するもので、図示する如く書画台1aの外周縁部はそれより内側に比して予めその輝度及び色相が大きく異なるような縁取りパターンが施されている。
図18は、上記図17の書画台1aのパターン画像をエッジ検出した後に2値化した画像を例示するものであり、上記縁取りパターンとそれより内側との境界部分がエッジ検出の処理により外周直線として抽出された結果を示す。この矩形の直線座標データをメインメモリ33に保持する。
続いて、初期設定として、後述する書画台1a上に載置される原稿書類の用紙頂点の座標情報をクリアし、状態フラグを「静止中」に設定し、さらにカウンタの計数値をクリアする(ステップC02)。
ここで状態フラグとは、書画台1a上に原稿書類が載置されて「静止中」であるか、それ以外の「動き中」であるかを判別設定するためのものである。
またカウンタは、原稿書類の静止状態をカウントするためのもので、そのカウント値が予め用意された所定値となった時点で書画台1a上の原稿書類が静止したものと判定する。
上記初期設定の処理後、所定のフレームレート、例えば毎秒15フレームにしたがって書画台1a上を撮影して画像データを得、その画像データを構成するRGBデータのエッジ検出を行なってエッジ検出した部分のみが「黒(“1”)」、その他が白(“0”)となるよう白黒2値化し(ステップC03)、上記ステップC01で保持した直線座標データと比較して外周直線に途切れがあるか否かを判断する(ステップC04)。
ここで外周直線に途切れがないと判断した場合、次に原稿用紙の4辺を検出可能であるか否かを判断する(ステップC07)。
これは、上記エッジ検出で得た2値化画像中に、上記外周部の直線以外の略矩形状の画像があるか否かにより判断するもので、ない場合には上記ステップC02からの処理に戻る。
こうしてステップC02〜C04,C07の処理を繰返し実行しながら、書画台1a上に原稿書類が載置されるのを待機する。
しかして、書画台1a上に原稿書類が載置され、ユーザの手とともにその画像が撮影されると、ステップC04で外周直線に途切れが生じたものとしてこれを判断し、頂点座標情報とカウンタの双方をクリア設定した後に(ステップC05)、状態フラグを「動き中」であるものと変更設定し(ステップC06)、再び上記ステップC03からの処理に戻る。
図19は、このように書画台1a上にユーザの手によって原稿書類が載置されている途中の撮影画像を例示するものであり、ユーザの手が書画台1aの外周部にかかっている状態を示す。
この撮影画像をエッジ検出により2値化することで図20に示すような画像が得られるもので、ユーザの手によって外周部の直線が途切れていることがわかる。
こうしてユーザの手が書画台1a上にある間、書画台1aの外周部の一部は必ずユーザの手によって遮られ、外周部の直線が途切れることとなるもので、その間、上記ステップC03〜C06の処理を繰返し実行する。
その後、ユーザの手が書画台1aから外れ、書画台1a上に原稿書類が載置されるのみの状態となると、上記ステップC04でその撮影画像から外周部の直線に途切れがないと判断した後に、ステップC07で原稿書類の用紙の4辺が検出可能であると判断し、次に状態フラグが「静止中」であるか否かを判断する(ステップC08)。
ここでは直前のステップC06での処理により状態フラグが「動き中」に設定されているために「静止中」ではないと判断し、次に前回の原稿書類の用紙の4頂点座標データが保持されているか否かを判断する(ステップC09)。
ここで前回のどう頂点座標データが保持されていないと判断すると、カウンタをクリア設定した後に(ステップC10)、あらためてその時点での2値化画像から原稿書類の用紙の4頂点座標データを保持し(ステップC11)、さらに上記上記ステップC06で状態フラグを「動き中」に設定し、再び上記ステップC03からの処理に戻る。
その後、ユーザの手が書画台1aから外れて2巡目の処理において、ステップC03〜C04,C07,C08の処理を経てステップC09で前回の原稿書類の用紙の4頂点座標データがあると判断すると、次に上記ステップC11で保持した前回の原稿書類の用紙の4頂点座標データと今回の撮影画像から得た同座標データとを比較し、それらが同じであるか否か、換言すれば原稿種類が書画台1a上で移動していないか否かを判断する(ステップC12)。
ここで前回と今回の原稿書類の用紙の4頂点座標データが異なっていると判断した場合はカウンタをクリア設定した後に(ステップC10)、上記ステップC11からの処理に戻る。
一方で、前回と今回の同座標データが等しいと判断した場合には、原稿書類が書画台1a上で移動していないこととなるので、静止状態をカウントするカウンタの計数値が所定値に達していないことを確認した上で(ステップC13)、該カウンタの計数値を「+1」更新設定した後に(ステップC14)、上記ステップC11からの処理に戻る。
しかして、書画台1a上に原稿書類のみが載置されている状態で、上記ステップC11,C06,C03,C04,C07〜C09,C12〜C14の処理を繰返し実行し、カウンタの値を「+1」ずつ更新設定し続ける。
そして、カウンタの値が所定値となった時点、すなわち書画台1a上に原稿書類が載置され、且つユーザの手がその原稿書類から外れて静止したまま一定の時間が経過した時点でステップC13でこれを判断し、撮影により得られる書画台1a上に載置された原稿書類の用紙の4頂点座標データで規定される長方形部分を抽出して(ステップC15)、抽出した画像データをここでは図示しない画像処理、すなわち輝度ムラ補正、色補正、輝度補正、輪郭抽出等のうちユーザが設定したものを施して投影を行なうべく後段の処理に委ねる一方で、本処理を続行するべく上記ステップC02からの処理に戻る。
このように、外周部に簡単なパターンを形成した書画台1a上の原稿書類の画像から、その外周部の途切れと画像の変化とを検出することで原稿書類の静止を判定するものとしたので、比較的容易な画像処理により書類原稿の書画台1aでの静止を正確に判定することができる。
特に、上記実施の形態においては、まず書画台1aの撮影画像に対し、外周部の途切れを上記パターンの輪郭の途切れにより判定するものとしたので、エッジ検出と2値化という簡易な画像処理ながら正確にユーザの手等の有無を判定することができる。
加えて、書画台1aの画像の変化として具体的には、書画台1a上に載置された原稿書類の輪郭から得られる頂点座標の移動から判定するものとし、さらにその原稿書類の頂点座標の移動を直前に得られた同頂点座標との比較で判定し、移動のない状態を所定値カウントするものとしているので、補間処理等を行なう必要なく、きわめて簡易に原稿書類の静止を判定することができる。
また、上記書画台1aの上面に形成されたパターンは、上記図17に限るものではなく、例えば書画カメラ装置1のレンズ光学系12がズーム機能を有しており、書画台1aの撮影範囲を可変できるような場合には、図21に示す如くその輝度及び色相が大きく異なる2色を同一の幅で交互に配した同心状の矩形パターンを書画台1aの上面に形成するものとしてもよい。
このようなパターンを書画台1a上面に形成することで、該レンズ光学系12のズーム画角に対応し、常に書画台1a上に載置された書類画像の4つの頂点座標及び4辺と、ユーザの手等による外周部の途切れを確実に判定することができるようになる。
なお、上記第1乃至第3の実施の形態は、いずれも本発明を書画カメラ装置1をPC2と接続し、PC2を介して書画カメラ装置1で撮影した画像をデータプロジェクタ装置3により投影表示させるシステムに適用した場合について説明したものであり、個々の制御動作はPC2が予めインストールしている書画カメラ装置1用のドライバプログラムに基づいて実行するものとして説明したが、本発明はこれに限るものではなく、書画カメラ装置1自体が自装置内で同様の制御動作を実行するものとしてもよい。
本発明は上述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施の形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施の形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が構成が発明として抽出され得る。
本発明の第1の実施の形態に係る書画投影システムの外観と接続構成を示す図。 同実施の形態に係る書画カメラ装置の電子回路の機能構成を示すブロック図。 同実施の形態に係るパーソナルコンピュータの電子回路の機能構成を示すブロック図。 同実施の形態に係るデータプロジェクタ装置の電子回路の機能構成を示すブロック図。 同実施の形態に係る書画台上への原稿書類の載置に対する処理内容を示すフローチャート。 同実施の形態に係る書画台上への原稿書類の載置に対する処理内容を示すフローチャート。 同実施の形態に係る書画台のみの撮影画像を例示する図。 同実施の形態に係る図7の撮影画像をエッジ検出して2値化した画像を例示する図。 同実施の形態に係る原稿書類を載置した書画台の撮影画像を例示する図。 同実施の形態に係る図9の撮影画像をエッジ検出して2値化した画像を例示する図。 本発明の第2の実施の形態に係る書画台上への原稿書類の載置に対する処理内容を示すフローチャート。 同実施の形態に係る書画台上への原稿書類の載置に対する処理内容を示すフローチャート。 同実施の形態に係る書画台上への原稿書類の載置に対する処理内容を示すフローチャート。 同実施の形態に係る書画台上への原稿書類の載置に対する処理内容を示すフローチャート。 同実施の形態に係る原稿書類を載置した書画台の撮影画像を例示する図。 本発明の第3の実施の形態に係る書画台上への原稿書類の載置に対する処理内容を示すフローチャート。 同実施の形態に係る書画台のみの撮影画像を例示する図。 同実施の形態に係る図17の撮影画像をエッジ検出して2値化した画像を例示する図。 同実施の形態に係る原稿書類を載置した書画台の撮影画像を例示する図。 同実施の形態に係る図19の撮影画像をエッジ検出して2値化した画像を例示する図。 同実施の形態に係る書画台上に形成された他のパターンを例示する図。
符号の説明
1…書画カメラ装置、1a…書画台、2…パーソナルコンピュータ(PC)、3…データプロジェクタ装置、4…USBケーブル、5…RGBケーブル、6…(ドライバソフトウェア用)CD−ROM、11…モータ(M)、12…レンズ光学系、13…CCD、14…タイミング発生器(TG)、15…垂直ドライバ、16…サンプルホールド回路(S/H)、17…A/D変換器、18…カラープロセス回路、19…DMAコントローラ、20…DRAMインタフェース(I/F)、21…DRAM、22…制御部、23…USBインタフェース(I/F)、24…キー入力部、31…CPU、32…ノースブリッジ、33…メインメモリ、34…グラフィックコントローラ、35…グラフィックメモリ、36…サウスブリッジ、37…PCIバス、38…キーボード/マウス、39…ビデオエンコーダ、40…USBインタフェース(I/F)、41…マルチディスクドライブ、42…ハードディスク装置(HDD)、51…入出力コネクタ部、52…入出力インタフェース(I/F)、53…画像変換部、54…投影エンコーダ、55…ビデオRAM、56…投影駆動部、57…マイクロミラー素子、58…リフレクタ、59…光源ランプ、60…カラーホイール、61…インテグレータ、62…ミラー、63…投影レンズ、64…モータ、65…投影光処理部、66…制御部、67…音声処理部、68…スピーカ、69…キースイッチ部、70…Ir受信部、AGP…グラフィクスインタフェース、FSB…フロントサイドバス、MB…メモリバス、SB…システムバス。

Claims (12)

  1. 原稿書類を載置する、特定のパターンが表面に形成された書画台と、
    この書画台に載置された原稿書類を撮影する撮影手段と、
    この撮影手段で得る書画台画像の外周部の上記パターンの途切れ及び外周部の画像の変化の少なくとも一方から上記書画台に載置された原稿書類の静止を判定する第1の静止判定手段と、
    この第1の静止判定手段で静止したと判定した書画台の画像を出力する出力手段と
    を具備したことを特徴とする書画撮影装置。
  2. 原稿書類の頂点座標の移動を書画台の画像の変化として、書画台に載置された原稿書類の静止を判定する第2の静止判定手段をさらに備え、
    上記第1及び第2の静止判定手段共に静止と判定した時に、上記出力手段は、書画台の画像を出力することを特徴とする請求項1記載の書画撮影装置。
  3. 上記第1の静止判定手段で静止の判定をした後、上記第2の静止判定手段で静止の判定を行ない、第2の静止判定手段で静止を判定した後に、上記出力手段は、書画台の画像を出力することを特徴とする請求項2記載の書画撮影装置。
  4. 上記第2の静止判定手段で静止の判定をした後、上記第1の静止判定手段で静止の判定を行ない、第1の静止判定手段で静止を判定した後に、上記出力手段は、書画台の画像を出力することを特徴とする請求項2記載の書画撮影装置。
  5. 原稿書類が載置されていない上記書画台を上記撮影手段で撮影して得た画像を記憶する記憶手段をさらに具備し、
    上記第1の静止判定手段は、上記書画台画像の外周部の途切れとして上記記憶手段に記憶された原稿書類が載置されていない書画台画像の外周部との比較により上記原稿書類の静止を判定する
    ことを特徴とする請求項1記載の書画撮影装置。
  6. 上記第1の静止判定手段は、上記書画台画像の外周部の途切れとして経時変化に伴う同画像の外周部の差分量により上記原稿書類の静止を判定することを特徴とする請求項1記載の書画撮影装置。
  7. 上記第1の静止判定手段は、上記書画台画像の外周部の途切れとして上記パターンの輪郭の途切れにより上記原稿書類の静止を判定することを特徴とする請求項1記載の書画撮影装置。
  8. 上記第2の静止判定手段は、上記書画台画像の変化として上記パターン上の原稿画像の輪郭の検出位置により上記原稿書類の静止を判定することを特徴とする請求項2記載の書画撮影装置。
  9. 上記第2の静止判定手段は、上記書画台画像の変化として、上記パターンの輪郭の途切れ位置を連結して原稿画像の輪郭を取得し、その輪郭の各頂点座標の移動量の総和の絶対値と、予め設定された値との比較により上記原稿書類の静止を判定することを特徴とする請求項2記載の書画撮影装置。
  10. 原稿書類が載置されていない上記書画台を上記撮影手段で撮影し、その撮影画像の輪郭検出結果を記憶する記憶手段をさらに具備し、
    上記第2の静止判定手段は、上記書画台画像の変化として、上記記憶手段に記憶された輪郭検出結果と、その時点で上記撮影手段から得られる書画台画像の輪郭検出結果との比較により上記原稿書類の静止を判定する
    ことを特徴とする請求項2記載の書画撮影装置。
  11. 原稿書類を載置する、特定のパターンが表面に形成された書画台に載置された原稿書類を撮影部で撮影してその画像を出力する書画撮影装置の書画静止検出方法であって、
    上記撮影部で得る書画台画像の外周部の上記パターンの途切れ及び同画像の変化の少なくとも一方から上記書画台に載置された原稿書類の静止を判定する判定工程を有したことを特徴とする書画静止検出方法。
  12. 原稿書類を載置する、特定のパターンが表面に形成された書画台に載置された原稿書類を撮影部で撮影してその画像を出力する書画撮影装置に内蔵または接続されたコンピュータが実行するプログラムであって、
    上記撮影部で得る書画台画像の外周部の上記パターンの途切れ及び同画像の変化の少なくとも一方から上記書画台に載置された原稿書類の静止を判定する判定ステップをコンピュータに実行させることを特徴とするプログラム。
JP2006027225A 2006-02-03 2006-02-03 書画撮影装置、書画静止検出方法及びプログラム Expired - Fee Related JP4424314B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006027225A JP4424314B2 (ja) 2006-02-03 2006-02-03 書画撮影装置、書画静止検出方法及びプログラム
US11/701,391 US7839543B2 (en) 2006-02-03 2007-02-01 Document imager, document stillness detection method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006027225A JP4424314B2 (ja) 2006-02-03 2006-02-03 書画撮影装置、書画静止検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2007208821A true JP2007208821A (ja) 2007-08-16
JP4424314B2 JP4424314B2 (ja) 2010-03-03

Family

ID=38368100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006027225A Expired - Fee Related JP4424314B2 (ja) 2006-02-03 2006-02-03 書画撮影装置、書画静止検出方法及びプログラム

Country Status (2)

Country Link
US (1) US7839543B2 (ja)
JP (1) JP4424314B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220060A (ja) * 2009-03-18 2010-09-30 Casio Computer Co Ltd 画像処理装置、画像処理プログラム、画像処理方法及び画像処理システム
JP2011160423A (ja) * 2010-01-29 2011-08-18 Sharp Corp 非接触スキャンシステムおよび非接触スキャン方法
JP2012151871A (ja) * 2012-03-06 2012-08-09 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2012243120A (ja) * 2011-05-20 2012-12-10 Fujitsu Frontech Ltd 画像処理プログラム、画像処理装置及び画像処理方法
JP2012249049A (ja) * 2011-05-27 2012-12-13 Hitachi Omron Terminal Solutions Corp スキャナ装置
WO2013111278A1 (ja) * 2012-01-25 2013-08-01 SHIROTO Hisanori 画像記録装置、画像記録方法、画像記録用プログラム及び情報記録媒体
CN104580810A (zh) * 2013-10-24 2015-04-29 佳能株式会社 图像处理装置及其控制方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201053B (zh) * 2010-12-10 2013-07-24 上海合合信息科技发展有限公司 一种文本图像的切边方法
JP4918171B1 (ja) * 2011-07-21 2012-04-18 パナソニック株式会社 画像処理装置およびこれを備えた原稿読取システム
US9413912B2 (en) * 2012-10-26 2016-08-09 Abbyy Development Llc Scanning device having a bed cover including a pattern of repeated design elements
JP6075756B2 (ja) 2012-12-07 2017-02-08 株式会社Pfu 照明装置及び撮像システム
JP6007091B2 (ja) * 2012-12-07 2016-10-12 株式会社Pfu 撮像用載置台及び撮像システム
JP5997601B2 (ja) * 2012-12-17 2016-09-28 株式会社Pfu 撮像システム
JP6201515B2 (ja) * 2013-08-19 2017-09-27 株式会社リコー 画像形成装置、画像形成方法、画像形成プログラム
JP6230360B2 (ja) * 2013-10-07 2017-11-15 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
JP6448183B2 (ja) * 2013-10-24 2019-01-09 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラム
JP5698823B1 (ja) 2013-10-31 2015-04-08 株式会社Pfu 照明装置、撮像システム及び照明制御方法
WO2022250667A1 (en) * 2021-05-26 2022-12-01 Hewlett-Packard Development Company, L.P. Media position determination based on images of patterns captured by imaging sensors
JP2024034386A (ja) 2022-08-31 2024-03-13 富士フイルムビジネスイノベーション株式会社 制御装置、実行プログラム、画像撮影装置、及び画像形成装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000004390A (ja) 1998-06-15 2000-01-07 Toshiba Corp 書画カメラ装置
JP3475849B2 (ja) 1999-04-16 2003-12-10 日本電気株式会社 文書画像取得装置および文書画像取得方法
US7139107B2 (en) * 2001-09-27 2006-11-21 Shih-Zheng Kuo Automatic static image capturing device and method
JP2003204452A (ja) 2002-01-04 2003-07-18 Canon Inc 書画カメラ
JP2003319254A (ja) 2002-04-25 2003-11-07 Oki Electric Ind Co Ltd 静止画撮像装置及び静止画撮像装置における先行読取制御方法
JP4314959B2 (ja) 2003-10-14 2009-08-19 カシオ計算機株式会社 撮影装置、撮影装置における撮影対象物判定方法、及びプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220060A (ja) * 2009-03-18 2010-09-30 Casio Computer Co Ltd 画像処理装置、画像処理プログラム、画像処理方法及び画像処理システム
JP2011160423A (ja) * 2010-01-29 2011-08-18 Sharp Corp 非接触スキャンシステムおよび非接触スキャン方法
US8488213B2 (en) 2010-01-29 2013-07-16 Sharp Laboratories Of America, Inc. Methods and systems for no-touch scanning
JP2012243120A (ja) * 2011-05-20 2012-12-10 Fujitsu Frontech Ltd 画像処理プログラム、画像処理装置及び画像処理方法
JP2012249049A (ja) * 2011-05-27 2012-12-13 Hitachi Omron Terminal Solutions Corp スキャナ装置
WO2013111278A1 (ja) * 2012-01-25 2013-08-01 SHIROTO Hisanori 画像記録装置、画像記録方法、画像記録用プログラム及び情報記録媒体
JPWO2013111278A1 (ja) * 2012-01-25 2015-05-11 ピタフォー モバイル エルエルシー 画像記録装置、画像記録方法、画像記録用プログラム及び情報記録媒体
JP2012151871A (ja) * 2012-03-06 2012-08-09 Casio Comput Co Ltd 画像処理装置及びプログラム
CN104580810A (zh) * 2013-10-24 2015-04-29 佳能株式会社 图像处理装置及其控制方法
US9781291B2 (en) 2013-10-24 2017-10-03 Canon Kabushiki Kaisha Image processing apparatus, controlling method thereof, and program

Also Published As

Publication number Publication date
JP4424314B2 (ja) 2010-03-03
US7839543B2 (en) 2010-11-23
US20070188830A1 (en) 2007-08-16

Similar Documents

Publication Publication Date Title
JP4424314B2 (ja) 書画撮影装置、書画静止検出方法及びプログラム
JP3994290B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US7422331B2 (en) Image processing system, projector, and image processing method
US20170347076A1 (en) Image projection system and image projection method
US7949202B2 (en) Image processing system, projector, and image processing method
JP3871061B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
US10349023B2 (en) Image processing apparatus and method
US9470966B2 (en) Image projection apparatus and presentation system
JP2011082798A (ja) 投写型映像表示装置
US20170017309A1 (en) Image projection apparatus, image projection system, display apparatus, and display system for illuminating indication light
JP2007295049A (ja) プロジェクタ、及び映像投影方法とプログラム
US9524696B2 (en) Image projection device
US20150138512A1 (en) Information processing apparatus, image projecting apparatus, and method for providing distortion correction instruction
JP2012181264A (ja) 投影装置、投影方法及びプログラム
JP6205755B2 (ja) プロジェクタ装置、プロジェクタシステム、プロジェクタ制御方法及びプロジェクタ制御プログラム
JP5691290B2 (ja) 表示システムの設定方法、表示システムの設定装置、およびコンピューター読み取り可能な記憶媒体
US11832031B2 (en) Projection system controlling method, and projector
JP2008076445A (ja) 投影型表示装置、投影型表示方法、該方法を実行させるプログラム及び該プログラムを格納したコンピュータ読み取り可能な記録媒体
JP2011199717A (ja) 投写型表示装置および画像表示方法
JP2006003615A (ja) 映像表示装置
JP2005181731A (ja) 映像投射装置
US20090103811A1 (en) Document camera and its method to make an element distinguished from others on a projected image
JP2006270580A (ja) 撮影装置、画像撮影方法、画像撮影プログラム、画像出力装置
JP4710522B2 (ja) 撮影画像出力装置、同装置の撮影制御方法及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091130

R150 Certificate of patent or registration of utility model

Ref document number: 4424314

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131218

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees