JP2017123561A - 画像処理装置、画像処理装置の画像処理方法、画像処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】 画像処理装置が読み取る原稿領域に投影される光で発生する正反射領域を示す画像情報を投影してユーザに原稿上に正反射領域があることを通知する。【解決手段】載置される原稿に画像情報を投影する投影手段と、載置される原稿を撮影する撮影手段と、を備える画像処理装置において、撮影手段が撮影した原稿の画像の特徴量を解析して前記原稿上の正反射領域を特定する。そして、特定した正反射領域を原稿に投影する画像情報を生成し、当該画像情報を原稿に投影する構成を特徴とする。【選択図】 図７

Description

本発明は、画像処理装置、画像処理装置の画像処理方法、画像処理装置の制御方法、及びプログラムに関するものである。

従来から、画像処理装置、例えばカメラやスキャナ等の撮影部により原稿台上に載置した原稿を上方から、もしくは、斜め上方から撮影して画像データを取得する画像読み取り装置が提唱・製品化されている。
このような画像読み取り装置において、原稿台上の原稿を含む領域に、プロジェクタ等の投影部によって投影を行い、操作者に有用な情報を表示すると共に、操作性を高めるために、その投影によって仮想的な操作ボタンを表示するものが知られている。さらに、この操作ボタンに操作者が指やペンの先端部を近接させることに基づいて、撮影やその他の命令を指示できるように構成されたものが知られている（例えば、特許文献１参照）。

しかし、このように原稿を原稿が載置される平面に対して、上方から、もしくは、斜め上方から撮影する画像読み取り装置では、光沢性のある原稿を撮影する場合、撮影画像に正反射光に由来する部分的な色飛びが発生する可能性がある。すなわち、太陽光や天井照明光等の光源からの光（照明光）が原稿で正反射し、撮影部にその正反射光が入り込む。

通常、光源から照射された光が原稿の用紙や色材に吸収され、その拡散反射光を撮影部が撮影することで、色と座標の取得、すなわち画像の取得を行う。しかし、前記のような正反射光は、拡散反射光に対して相対的に照度が高く、また、原稿の用紙や色材の色に依存せず光源の色そのままの色の反射光として撮影部が撮影するケースが多い。このため、照明光の正反射が発生すると、撮影部は正しい原稿の色を取得できず、原稿台上の原稿の画像取得が阻害されるという問題がある。

このような問題を解決するため、撮影画像から照明光の正反射の有無や、正反射領域を判断した上で、発生していれば、操作者に対して表示装置を介してその旨を警告する技術がある（例えば、特許文献２参照）。

操作者はこれらの技術によって得ることができる情報を基とし、画像読み取り装置の配置、原稿の配置、照明光の光源の点灯消灯や配置のいずれか、もしくは、その複数の組み合わせを変更することによって、正反射の発生を防ぐ画像読み取り環境を構築することができる。

特開平７−１６８９４９号公報 特開平１０−２１０３５３号公報

しかし、正反射が発生した際に、液晶ディスプレイ等の表示装置に、正反射が発生している旨や、撮影画像のうち正反射領域の位置を表示しても、操作者にとっては直観的に伝わりづらいという問題がある。
すなわち、操作者の視点と撮影部との視点が異なるため、撮影部の視点にとっては正反射していても、操作者の視点にとっては正反射していない。このため、操作者は原稿の実物を見ただけでは撮影部にとって正反射が発生しているかどうか判断できず、表示装置上の表示を見て初めてその旨を確認することができる。
また、同様に、操作者からは原稿の実物をみただけでは正反射領域を把握することができないため、表示装置を見て初めて正反射領域を確認することができる。

これにより、前述のような技術を備えた画像読み取り装置であっても、照明光の正反射が発生した際に、調整して正反射の発生しない画像読み取り環境を構築するために、操作者は、表示装置に表示される正反射領域の確認、実際の原稿台上の正反射領域に相当する領域の確認、そして、画像読み取り装置・照明光の光源・原稿の調整の各ステップを、繰り返す必要があった。
すなわち、正反射の発生しない快適な画像読み取り環境を構築するため、操作者は煩雑な確認とそれに伴う操作の繰り返しを強いられるという課題があった。

本発明は、上記の課題を解決するためになされたもので、本発明の目的は、画像処理装置が読み取る原稿領域に投影される光で発生する正反射領域を示す画像情報を投影してユーザに原稿上に正反射領域があることを通知できる仕組みを提供することである。

上記目的を達成する本発明の管理装置は以下に示す構成を備える。
載置される原稿に画像情報を投影する投影手段と、前記撮影手段が撮影した原稿の画像の特徴量を解析して前記原稿上の正反射領域を特定する特定手段と、前記特定手段が特定した正反射領域を前記原稿に投影する画像情報を生成する生成手段と、を備え、前記投影手段が前記生成手段により生成された前記画像情報を前記原稿に投影することを特徴とする。

本発明によれば、画像処理装置が読み取る原稿領域に投影される光で発生する正反射領域を示す画像情報を投影してユーザに原稿上に正反射領域があることを通知できる。

画像処理装置の構成を示すブロック図である。 画像処理装置の制御方法を説明するフローチャートである。 画像処理装置における画像処理例を説明する図である。 画像処理装置における画像処理例を説明する図である。 撮像画像データを処理したヒストグラムの一例を示す図である。 処理部が処理する３つの座標系の関係を示す図である。 投影部が原稿面に投影する画像を示す図である。 投影部が原稿面に投影する画像を示す図である。

次に本発明を実施するための最良の形態について図面を参照して説明する。
＜システム構成の説明＞
〔第１実施形態〕

以下、本実施形態は、原稿台上に載置された印字された紙原稿のコピーのために上方、または、斜め上方から画像読み取りを行うと共に、原稿台および紙原稿にユーザインタフェースを投影する電子写真式複合機として説明する。
しかし、複合機に限らず、画像読み取りを含む機能、すなわちコピー機能やFAX機能を有する画像読み取り装置の全てに適用可能である。また、画像読み取りと読み取り画像データの電子化のみを行う単機能のドキュメントリーダにも適用可能である。また、画像読み取りの対象は紙原稿に限らず、紙以外の原稿や立体物であっても適用可能である。

また、本来正反射光とは、本発明を適用する画像読み取り装置の周辺にある照明から発された照明光のうち、原稿台上に載置された原稿で反射する光を全て指すものである。しかし、以下の説明および図面では特に断りのない限り、そのうち撮影部に入射するものに限定するものとする。

図１は、本実施形態の画像処理装置の構成を示すブロック図である。本実施形態では、電子写真式複合機におけるスキャン動作と、その予備動作として行う正反射の検出処理について説明する。
図１において、１００は画像読み取り装置である。１１１は主制御部で、画像読み取り装置全体の制御を行う。１１２は記憶部で、投影コンテンツ、及び、画像データとそれに付随する情報を記憶する。１１３は操作部で、操作者からの命令受信を受け付ける。
また、１０１は撮影部で、原稿の画像を撮影し電子画像データとして入力する、１０２は処理部で、照明光の正反射光の有無と正反射領域を検出する、１０３は投影部で、投影コンテンツを投影する。

図２に、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。なお、各ステップは、主制御部１１１が備えるＣＰＵが記憶された制御プログラムを実行することで実現される。
Ｓ２０１において、主制御部１１１の制御のもと、操作部１１３において受信した操作者からの命令に従い、撮影部１０１が原稿台上に載置された原稿を撮影し、電子データ化された撮影画像データを入力する。撮影画像データは記憶部１１２に保存する。Ｓ２０２からＳ２０５において、主制御部１１１の制御のもと、処理部１０２が撮影画像内の正反射領域の検出を行う。

図３、図４は、本実施形態を示す画像処理装置における画像処理例を説明する図である。本例では、照明光の光源３０１と光沢性を有する原稿３０２と撮影部３０３との関係を示す。
図３において、照明光３１１は光源３０１から原稿３０２に差し込む光であり、原稿３０２で反射し、正反射光３１２として撮影部３０３に入力する。
図４に示す原稿読取処理では、撮影画像と正反射領域４０５を示している。
図４において、撮影画像４０１内の原稿４０２中に、コンテンツ領域４０３や下地領域４０４と、正反射領域４０５とがあり、正反射領域４０５にだけ光源３０１の色が再現され、原稿３０２の全体の内容が正確に再現されない場合がある。

そこで、Ｓ２０２において、主制御部１１１の制御のもと、処理部１０２が記憶部１１２に保存された撮影画像データの信号値のヒストグラムを作成する。
図５は、図１に示した記憶部１１２に記憶された撮像画像データを処理したヒストグラムの一例を示す図である。
なお、図５において、ヒストグラムは横軸に撮影画像の信号値、縦軸に画素数をマッピングしたものであり、左に行くほど暗い画素、右に行くほど明るい画素であることを表している。
図５に示すように、撮影画像のうち、原稿の下地である下地領域や、文字画像が描かれているコンテンツ領域は相対的に暗い信号値を有し、それぞれ分布５０２や分布５０３を描く。これに対し、正反射領域４０５は相対的に明るい信号値を有するため分布５０１のような最も明るい信号値を描く。主制御部１１１の制御のもと、このようにして取得されたヒストグラムを記憶部１１２に保存する

Ｓ２０３において、主制御部１１１の制御のもと、記憶部１１２に保存された撮影された原稿の画像の特徴量を示すヒストグラムを解析して閾値を生成する。具体的には、主制御部１１１が図５に示す特性図に示す情報から記憶部１１２に保存されたヒストグラムから閾値を生成する。すなわち、図５の閾値５１１のような、切り分けのための信号値を生成する。
図５において、閾値５１１は既知の下地領域の信号値の分布５０２よりも相対的に明るい信号値の分布５０１が存在する場合に、これを分ける極小点を閾値として設定する。
すなわち、ヒストグラムが図５の上段に示す分布５００のような場合であれば、閾値５１１を生成するが、図５の下段に示す分布５２０のような場合であれば、閾値は生成しない。主制御部１１１は、閾値５１１を生成したら記憶部１１２に保存する。

Ｓ２０４において、主制御部１１１の制御のもと、処理部１０２が判断を行う。具体的には、主制御部１１１は、記憶部１１２を参照し、閾値生成がされたかどうかを判断し、閾値５１１が生成されていると判断した場合、Ｓ２０５に遷移し、されていないと主制御部１１１が判断した場合、本処理を終了する。

Ｓ２０５において、主制御部１１１の制御のもと、処理部１０２が、撮影画像のうち、その閾値５１１より明るい信号値を有する画素群を正反射領域として検出する。具体的には、主制御部１１１は、閾値５１１より明るい信号値を有する画素の座標をリスト化する。そして、主制御部１１１は、リスト化された座標リストは記憶部１１２に保存する。

Ｓ２０６において、主制御部１１１の制御のもと、処理部１０２が座標変換を実行する。なお、Ｓ２０５で得られた、撮影画像における正反射領域の座標リストは、投影画像における各座標に変換しなくてはならない。
具体的には、撮影画像の座標を(x, y)、投影画像の座標を(x', y')、原稿台を面とした二次元の絶対座標を（X, Y）とし、撮影画像座標系から絶対座標系への３×３変換行列をC、投影画像座標系から絶対座標系への３×３変換行列をPとすると、数式１および数式２となる。

したがって、式３を用いて撮影画像座標系から投影画像座標系への変換を行うことによって、特定の正反射領域の座標リストを投影画像座標系の座標情報に変換する。

図６は、図１に示した処理部１０２が座標変換処理に基づく３つの座標系の関係を示す図である。
図６において、６０１は、撮影部６１１の撮影画像座標系である。６０２は、投影部６１２が投影画像座標系である。６０３は、原稿台６１３を面とした絶対座標系である。なお、各々の座標系の相関関係は撮影部６１１、投影部６１２、原稿台６１３の配置と向きに依存する。処理部１０２が変換した座標リストは記憶部１１２に保存する。
Ｓ２０７において、主制御部１１１の制御のもと、投影部１０３が、原稿上もしくは原稿台上に正反射が検出された旨を投影するとともに、正反射領域４０５に相当する原稿台上の原稿に相当する領域に正反射領域４０５であることを知らせるガイドを図７に示すように投影する。

図７は、図１に示した投影部１０３が原稿面に投影する画像を示す図である。
図７に示す投影例では、警告のメッセージ７０１と正反射領域を表すガイド７０２（エリア画像）を投影する。なお、ガイド７０２は、記憶部１１２に保存された投影画像座標系の正反射領域の座標リストを参照して生成する。Ｓ２０７の投影処理が完了すると、本処理を終了する。

本実施形態では、正反射を検出すると、原稿やその周辺に正反射が発生している旨のメッセージや、正反射領域のガイドを表示することで、操作者が容易に正反射に関する情報を得ることができる構成となっている。
特に、操作者が正反射を防ぐために、画像読み取り装置や、原稿、もしくは、照明光の光源を移動させるような場合に、操作者が撮影画像を確認したり、撮影部の後ろ側にまわりこんで正反射を確認したりする手順を経なくても、投影表示を参照することで容易に調整することが可能となる。

なお、Ｓ２０２およびＳ２０３において、撮影画像のヒストグラムを生成し、そこから正反射の検出のための閾値を生成しているが、この閾値は既定の閾値であってもよい。また、特許文献２に示されるような、別の手法による検出であってもよい。

〔第２実施形態〕
また、Ｓ２０７における投影するエリア画像の内容を、より操作者に対する操作ガイドとして投影する構成であってもよい。
図８は、図１に示した投影部１０３が原稿面に投影する画像を示す図である。本例では、正反射領域を特定するエリア画像を原稿上で識別する特定色の画像情報として表示する例を示す。
本実施形態では、図示しない判定部によって、原稿上における正反射領域の位置を判断し、メッセージ８０１や矢印８０２によって操作者に原稿の位置の調整を促す。これによって操作者はより調整方法を具体的に得ることができ、容易に正反射の発生を回避することが可能となる。

〔第３実施形態〕
上記第１実施形態ではＳ２０１からＳ２０７までを一巡する動作フローとして説明した。しかし、動作フローを撮影部１０１の撮影する動画の１フレームごとに処理を行っても良い。
すなわちこのような構成にすることによって、リアルタイムで正反射の発生のメッセージや、正反射領域のガイドを表示することができる。これによって操作者はリアルタイムで正反射の発生の有無・領域を確認しながら、画像読み取り装置や、原稿、もしくは、照明光の光源を調整し、正反射の発生を防ぐ構成に配置することが可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。

１０１ 撮影部
１０２ 処理部
１０３ 投影部

Claims (8)

1. 載置される原稿に画像情報を投影する投影手段と、
   載置される原稿を撮影する撮影手段と、
   前記撮影手段が撮影した原稿の画像の特徴量を解析して前記原稿上の正反射領域を特定する特定手段と、
   前記特定手段が特定した正反射領域を前記原稿に投影する画像情報を生成する生成手段と、を備え、
   前記投影手段が前記生成手段により生成された前記画像情報を前記原稿に投影することを特徴とする画像処理装置。
2. 前記生成手段は、前記特定手段が特定した正反射領域を前記投影手段が投影する座標情報に変換して前記画像情報を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像情報は、前記原稿上で発生している正反射領域を特定するエリア画像であることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像情報は、前記原稿上で発生している正反射領域を回避するための操作ガイドを示す画像情報を含むことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像情報は、前記原稿上で発生している正反射領域を特定するエリア画像を原稿上で識別する特定色の画像情報であることを特徴とする請求項１に記載の画像処理装置。
6. 載置される原稿に画像情報を投影する投影手段と、載置される原稿を撮影する撮影手段と、を備える画像処理装置の画像処理方法であって、
   前記撮影手段が撮影した原稿の画像の特徴量を解析して前記原稿上の正反射領域を特定する特定工程と、
   前記特定工程が特定した正反射領域を前記原稿に投影する画像情報を生成する生成工程と、を備え、
   前記投影手段が前記生成工程により生成された前記画像情報を前記原稿に投影することを特徴とする画像処理装置の画像処理方法。
7. 載置される原稿に画像情報を投影する投影手段と、載置される原稿を撮影する撮影手段と、を備える画像処理装置の制御方法であって、
   前記撮影手段が撮影した原稿の画像の特徴量を解析して前記原稿上の正反射領域を特定する特定工程と、
   前記特定工程が特定した正反射領域を前記原稿に投影する画像情報を生成する生成工程と、
   を備えることを特徴とする画像処理装置の制御方法。
8. 請求項７に記載の画像処理装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images