JP2009229110A - 画像入力方法および画像入力装置 - Google Patents

Abstract

【課題】装置の小型化および検出精度の向上を図ることが可能な画像入力方法および画像入力装置を提供する。
【解決手段】画像入力装置は、定型の検査媒体を所定の方向に沿って搬送する搬送機構１０と、検査媒体の表面に光を照射する照明装置１６と、反射角θ１、θ２の受光軸を有し、検査媒体からの反射光をそれぞれ撮像する第１および第２撮像系１１、１２と、第１および第２撮像系から得られた検査媒体の形状情報、印刷パターン情報に基づいて検査媒体の位置変位を検出し、その位置変位情報から検査媒体の３次元情報を生成する変位検出部１３と、変位検出部により求められた３次元情報に基づいて変位を復元する画像処理部１４と、画像処理部により得られた画像に基づいて、検出媒体の認識処理を行う認識処理部１５と、を備えている。
【選択図】 図１

Description

この発明は紙葉類、カード等の検査媒体の画像を入力する画像入力方法および画像入力装置に関する。

紙葉類やカード等の検査媒体の画像を取得し、その取得画像に基づいて検査媒体を検査する場合、被険物のばたつき、浮き等を判別するため、表面変位を検出する必要がある。このような表面変位検出装置として、間歇的なスポット光を検査媒体に照射し、検査媒体からの反射光を受光素子で受光して表面の変位を検出する装置が提案されている（例えば、特許文献１）。

また、特許文献２に開示された「紙葉類判別方法および紙葉類判別装置」では、紙葉類から取得した画像を入力し、この入力された画像から特徴パターンを抽出するともに、予め登録された辞書パターンから非線形折れモデルに基づく仮想折れパターンを生成し、この仮想折れパターンと抽出された特徴パターンとを照合し、照合結果に基づき紙葉類の種類や真偽等を判定している。

従来、高速で搬送される柔軟な検査媒体の画像を取得する画像入力装置は、画角の狭い、つまり、焦点距離の長い光学系を用いることで、検査媒体の搬送方向に対して垂直な方向における検査媒体の位置変位の影響を少なくしている。
特開２００２−１９５８０８号公報 特開２００７−０２６０６８号公報

しかしながら、上記のように画角が狭い光学系を用いる場合、検査媒体の読取面から光学系までの距離であるワークディスタンスを広く取る必要があり、画像入力装置が大型になってしまうという問題がある。また、上述した画像入力装置では、搬送方向に対して垂直な方向における検査媒体の位置変位の影響が少ないことから、これら位置変位に対する取得画像の補正が行われていない。そのため、検査媒体の位置変位が生じた場合、検査精度が低下する懸念があり、検査媒体の位置変位に応じて、取得画像を補正することが望ましい。

この発明は以上の点に鑑みなされたもので、その目的は、装置の小型化および検出精度の向上を図ることが可能な画像入力方法および画像入力装置を提供することにある。

上記目的を達成するため、この発明の態様に係る画像入力方法は、所定方向に沿って搬送される定型の検査媒体を撮像する画像入力方法であって、
前記検査媒体の表面に光を照射し、前記検査媒体の表面の法線に対して反射角θ１の方向から反射光を撮像し、前記検査媒体の表面の法線に対して反射角θ２の方向から反射光を撮像し、前記反射角θ１および反射角θ２の方向から撮像した両画像から得られる前記検査媒体の形状情報、印刷パターン情報に基づいて、前記紙葉類の位置変位を検出し、前記検出された位置変位情報から前記検査媒体の３次元情報を生成し、前記３次元情報に基づいて前記検査媒体の位置変位を復元し、前記復元された画像に基づいて、前記検査媒体の認識処理する画像入力方法である。

この発明の他の態様に係る画像入力装置は、定型の検査媒体を撮像する画像入力装置であって、前記検査媒体を所定の方向に沿って搬送する搬送機構と、前記検査媒体の表面に光を照射する照明装置と、前記検査媒体の表面の法線に対して反射角θ１の角度をなす受光軸を有し、前記検査媒体からの反射光を撮像する第１撮像系と、前記検査媒体の表面の法線に対して反射角θ２の角度をなす受光軸を有し、前記検査媒体からの反射光を撮像する第２撮像系と、前記第１撮像系から得られた前記検査媒体の形状情報、印刷パターン情報と、前記第２撮像系から得られた前記検査媒体の形状情報、印刷パターン情報と、に基づいて検査媒体の位置変位を検出し、その位置変位情報から前記検査媒体の３次元情報を生成する変位検出部と、前記変位検出部により求められた３次元情報に基づいて変位を復元する画像処理部と、前記画像処理部により得られた画像に基づいて、前記検出媒体の認識処理を行う認識処理部と、を備えている。

上記構成によれば、装置の小型化および検出精度の向上を図ることが可能な画像入力方法および画像入力装置を提供する。

以下図面を参照しながら、この発明の実施形態に係る画像入力方法および画像入力装置について説明する。
図１は、本実施形態に係る画像入力方法を実施する画像入力装置を概略的に示している。画像入力装置は、検査媒体として、例えば、定型の紙葉類８を所定の搬送方向Ｂに沿って搬送する搬送機構１０、紙葉類８に検査用の照明光を照射する照明装置１６、それぞれ紙葉類からの反射光を受光する第１撮像系１１および第２撮像系１２、変位検出部１３、画像処理部１４、および認識処理部１５を備えている。

搬送機構１０は、紙葉類８を挟持して搬送する複数の搬送ローラ７、および図示しないベルト、複数のガイド等を有している。定型の紙葉類８は搬送ローラ７により図の矢印Ｂ方向に搬送される。照明装置１６は、紙葉類８に対して所定の角度位置に配設され、十分に幅の広い照射光を照射し、紙葉類８の幅方向全体を照明する。

変位検出部１３は、第１撮像系１１および第２撮像系１２で取得した画像情報、例えば、紙葉類の形状情報や印刷パターン情報に基づいて紙葉類の位置変位を検出し、その位置変位情報から紙葉類の３次元情報を生成する。画像処理部１４は、変位検出部１３により求められた３次元情報を元に、紙葉類の変位を復元する。認識処理部１５は、画像処理部１４より得られた画像に基づいて認識処理を行う。

図２は、画像入力装置を図１の矢印Ａ方向から見た図であり、第１撮像系１１と第２撮像系１２との位置関係を示している。搬送機構１０により搬送される紙葉類８は、通常、搬送基準面Ｒとなっている高さ方向の位置、および紙葉類のセンタが搬送中心軸Ｃと一致する位置を通って搬送される。第１撮像系１１および第２撮像系１２は、紙葉類８に対して照明装置１６と同一面側に設けられ、紙葉類８からの反射光を受光する位置に配設されている。

すなわち、第１撮像系１１は、受光面１７ａを有したフォトセンサ、ラインセンサ等の受光センサ２０ａと、紙葉類８からの反射光を受光面に結像するレンズ１７ｂとを有し、その光軸である受光軸が、搬送基準面Ｒと搬送中心軸Ｃとの交点を通る位置、かつ、受光軸が搬送中心軸Ｃに対して反射角θ１をなす位置に設けられている。

第２撮像系１２は、受光面１８ａを有したフォトセンサ、ラインセンサ等の受光センサ２０ｂと、紙葉類８からの反射光を受光面に結像するレンズ１８ｂとを有し、その光軸である受光軸が、搬送基準面Ｒと搬送中心軸Ｃとの交点を通る位置、かつ、受光軸が搬送中心軸Ｃに対して反射角θ２をなす位置に設けられている。本実施形態において、反射角θ１は反射角θ２と等しい角度となっている。第１撮像系１１および第２撮像系１２は、いずれも広い画角、つまり、短い焦点距離、例えば、８〜１２ｍｍを有し、かつ、深い被写界深度を有している。

図３は、広い画角と深い被写界深度を有した撮像系を示している。この撮像系は、深い被写界深度を有しているため、撮像物体２１が撮像系の有する被写界深度内に位置していれば上下方向（搬送方向に対して垂直な方向）の位置変位が生じた場合でも、焦点のずれが起きることがない。しかし、撮像物体２１が上下に変位すると、撮像画像の形状あるいは印刷パターンの変化として現れてくる。

図４は、撮像画像の変化を示している。図３において、搬送基準面Ｒに対して撮像物体２１が（＋）側に変位すると、撮像物体２１が搬送基準面Ｒにあるときに比べ、撮像画像は検出視野Ｓ内で形状が大きくなる。また、搬送基準面Ｒに対して撮像物体２１が（−）側に変位すると、撮像物体２１が搬送基準面Ｒにあるときに比べ、撮像画像は検出視野内で形状が小さくなる。

この撮像系は、広い画角θ３を有しているため、画角の狭い撮像系に比べて、撮像物体２１が上下方向の位置変位を生じた際、撮像画像の形状変化が顕著となる。そのため、撮像画像の形状変化値を測定することにより、撮像物体２１の位置変位を算出することが可能となる。

図５は、本実施形態に係る画像入力装置において、第１撮像系１１および第２撮像系１２により紙葉類８を撮像する際、紙葉類が（＋）側、（−）側に変位したときのそれぞれの撮像画像の変化を示している。図２において、紙葉類８が変位（＋）の位置にあると、第１撮像系１１により得られる紙葉類８の撮像画像は、Ａ１の形状となり、第２撮像系１２により得られる撮像画像はＢ１の形状となる。また、紙葉類８が変位（−）の位置にあると、第１撮像系１１により得られる撮像画像はＡ２の形状となり、また、第２撮像系１２により得られる撮像画像はＢ２の形状となる。

図６に示すように、搬送基準面Ｒに対して紙葉類８が傾いている場合、第１撮像系１１および第２撮像系１２により取得した撮像画像は図７に示すように変化する。第１撮像系１１により得られた撮像画像はＣ１の形状となり、第２撮像系１２により得られた撮像画像はＣ２の形状となる。

次に、上記のように受光軸の角度が異なる２つの撮像系によって取得した撮像画像から撮像物体の位置を算出する方法を簡単に説明する。
図８は、撮像物体のある点Ｘが、それぞれ第１および第２撮像系１１、１２のどの位置に結像しているかを示す図である。第１撮像系１１において、受光面１７ａ上の結像点ｘ１に結像しているということは、撮像物体の点Ｘは、結像点ｘ１と第１撮像系１１のレンズ１７ｂ中心とを結ぶ直線Ｌ１上に存在していることを意味する。一方、第２撮像系１２において、受光面１８ａ上の結像点ｘ２に結像しているということは、撮像物体の点Ｘは、結像点ｘ２と第２撮像系１２のレンズ１８ｂ中心とを結ぶ直線Ｌ２上に存在していることを意味する。このことから、第１撮像系１１に関する直線Ｌ１と第２撮像系１２に関する直線Ｌ２との交点が撮像物体点Ｘの位置であると算出することができる。

以上のように、受光軸の角度が異なる２つの第１撮像系１１と第２撮像系１２とから得られる２つの撮像画像の形状あるいは印刷パターンを測定することにより、撮像物体の位置変位を算出することが可能となる。

以上の手段を用いることにより紙葉類８の３次元情報を生成し、更に、この３次元情報に対して台形補正や歪み補正といった３次元補正処理を行うことにより、位置変位を復元し、更に、復元された画像に基づいて紙葉類の認識処理を行う。

台形補正処理は、座標変換により台形形状の画像が略方形となるように補正するものである。例えば、撮像画像の各画素の座標をＰ（ｘ、ｙ）、台形補正処理後の処理画像における各画素の座標をＱ（ｘ、ｙ）としたとき、補正後の処理画像は次式により求めることができる。
Ｑ（ｘ、ｙ）＝Ｐ（ａｘ＋ｂ、ｃｙ＋ｄ） ・・・（１）
ここで、ａ、ｂ、ｃ、ｄは座標変換時の伸張の係数である。
上記の式１に撮像画像の各画素の座標値Ｐ（ｘ、ｙ）を入力することにより、処理画像を求めることができる。なお、台形補正処理は上記の手法に拘わらず、他の手法を適用することとしてもよい。

上記のように、搬送によって、紙葉類８がばたつき、スライド、スキューといった位置変位を生じた場合でも、３次元補正処理を行って変位を復元した上で認識処理を行うことができ、位置変位に起因する認識率の低下を防止することが可能となる。

（実施形態１）
第１撮像系１１および第２撮像系１２は、受光センサ２０ａ、２０ｂとして、それぞれラインイメージセンサを備えている場合について説明する。
図９は、画像入力装置の画像入力処理の流れを示している。

搬送機構１０により搬送されてきた紙葉類８に照明装置１６から十分幅の広い照明光が照射され、その反射光が第１撮像系１１および第２撮像系１２に入射する。第１撮像系１１および第２撮像系１２は、それぞれラインイメージセンサを用いているため、紙葉類８の搬送速度とラインイメージセンサのスキャンレートによって決定される所望の幅の撮像対象がラインイメージセンサの１ラインに結像される。第１撮像系１１および第２撮像系１２により結像された光は、それぞれの撮像系にて電気信号に変換され、変位検出部１３に送られる。

変位検出部１３では、第１撮像系１１と第２撮像系１２から送られてきた１ライン分の画像情報から、その１ライン撮像時の紙葉類８の位置変位を算出する。その後、変位検出部１３は、第１撮像系１１と第２撮像系１２からそれぞれ送られてきた１ライン分の画像と位置変位情報を画像処理部１４に送る。

画像処理部１４では、送られてきた１ライン分の画像と位置変位情報とに基づいて、位置変位を復元する画像処理を行う。その後、画像処理部１４は、処理された１ライン分の画像を認識処理部５に渡す。認識処理部１５は、画像処理部１４から送られた１ライン分の画像をメモリに保存する。

図１２に示すように、第１撮像系１１および第２撮像系１２により１ラインの画像を取込み、認識処理部１５で１ライン分の画像をメモリに保存するまでの一連の処理を紙葉類１枚分の全面に渡って繰り返す。紙葉類１枚分上記の処理が完了した段階で、認識処理部１５は、紙葉類１枚分の画像をメモリから読み出し、認識処理を実施する。

（実施形態２）
第１撮像系１１および第２撮像系１２は、受光センサ２０ａ、２０ｂとして、それぞれラインイメージセンサを備えている場合で、前記実施形態１と異なる画像入力処理について説明する。
図１０は、画像入力装置の画像入力処理の流れを示している。

搬送機構１０により搬送されてきた紙葉類８に照明装置１６から十分幅の広い照明光が照射され、その反射光が第１撮像系１１および第２撮像系１２に入射する。第１撮像系１１および第２撮像系１２は、それぞれラインイメージセンサを用いているため、紙葉類８の搬送速度とラインイメージセンサのスキャンレートによって決定される所望の幅の撮像対象がラインイメージセンサの１ラインに結像される。第１撮像系１１および第２撮像系１２により結像された光は、それぞれの撮像系にて電気信号に変換され、変位検出部１３に送られる。

変位検出部１３は、第１撮像系１１および第２撮像系１２から送られてきた１ライン分のそれぞれの撮像画像を第１撮像系１１用のメモリＭ１と第２撮像系１２用のメモリＭ２とに保存する。上記の処理を所望のライン数、例えば、１０ライン分の画像がメモリＭ１、Ｍ２に保存されるまで繰り返す。

所望のライン数に到達した段階で、変位検出部１３は、メモリＭ１およびメモリＭ２に保存されたそれぞれの画像をブロックとして扱い、そのブロックでの画像の位置変位を算出する。その後、変位検出部１３は、メモリＭ１及びメモリＭ２に保存されていたそれぞれの画像と、算出した位置変位情報とを画像処理部１４に送る。

画像処理部１４は、送られてきた１ブロック分の画像と位置変位情報とに基づいて位置変位を復元する画像処理を行う。その後、画像処理部１４は、処理された１ブロック分の画像を認識処理部１５に渡す。

認識処理部１５は、画像処理部１４から送られたブロックの画像をメモリに保存しておく。第１撮像系１１および第２撮像系１２で１ラインの画像を取込み、認識処理部１５でブロックの画像をメモリに保存するまでの一連の処理を紙葉類１枚分の全面に渡って繰り返す。紙葉類１枚分について上記の処理が完了した段階で、認識処理部１５は、紙葉類１枚分の画像をメモリから読み出し、認識処理を実施する。

（実施形態３）
第１撮像系１１および第２撮像系１２は、受光センサ２０ａ、２０ｂとして、それぞれエリアイメージセンサを備えている。図１１は、画像入力装置の画像入力処理の流れを示している。

搬送機構１０により搬送されてきた紙葉類８に照明装置１６から十分幅の広い照明光が照射され、その反射光が第１撮像系１１および第２撮像系１２に入射する。第１撮像系１１および第２撮像系１２の受光面１７ａ、１８ａには、それぞれ紙葉類１枚分の像が結像される。第１撮像系１１および第２撮像系１２により結像された光は、それぞれエリアイメージセンサにより電気信号に変換され、変位検出部１３に送られる。

変位検出部１３は、第１撮像系１１および第２撮像系１２から送られてきた紙葉類１枚分の撮像画像を図１３のように所望の単位のブロックエリアにそれぞれ分割し、そのブロック単位で位置変位を算出する。その後、変位検出部１３は、第１撮像系１１により取得した撮像画像と、第２撮像系１２により取得した撮像画像と、どのように画像を分割したかを記録したブロック情報と、ブロック毎の位置変位情報と、を画像処理部１４に渡す。

画像処理部１４は、送られてきた画像、ブロック情報、およびブロック毎の位置変位情報に基づいて、ブロックごとに変位を復元する画像処理を行う。その後、処理された画像を認識処理部５１に渡す。
認識処理部５では、送られてきた画像を用いて認識処理を実施する。

以上のように構成された実施形態１、２、３に係る画像入力装置および画像入力方法によれば、紙葉類にばたつき、スライド、スキューといった位置変位が発生した場合でも、３次元補正画像処理を行うことにより、認識率の低下を防止することができる。また、広画角な、つまり、焦点距離の短い撮像系を用いることにより、検出媒体から撮像系までの距離であるワークディスタンスを短くすることができ、画像入力装置全体をコンパクトにすることができる。これにより、装置の小型化および検出精度の向上を図ることが可能な画像入力方法および画像入力装置が得られる。

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
例えば、検査対象となる検査媒体は、前述した紙葉類に限らず、カード、商品券、有価証券等の他の検査媒体としてもよい。

図１は、本発明の実施形態に係る画像入力装置を概略的に示す図。 図２は、前記画像入力装置の撮像系と紙葉類との位置関係を示す配置図。 図３は、広画角で深い被写界深度を有する撮像系を概略的に示す図。 図４は、撮像媒体の位置変位による撮像画像の形状変化を示す図。 図５は、撮像媒体の位置変位による撮像画像の形状変化を示す図。 図６は、撮像媒体が搬送基準面に対して傾斜した状態を概略的に示す図。 図７は、撮像媒体の位置変化による撮像画像の形状変化を示す図。 図８は、撮像物体の位置を算出する方法を示す撮像系の概略図。 図９は、実施形態１に係る画像入力処理の流れを示すフローチャート。 図１０は、実施形態２に係る画像入力処理の流れを示すフローチャート。 図１１は、実施形態３に係る画像入力処理の流れを示すフローチャート。 図１２は、実施形態１の画像入力方法を概略的に示す図。 図１３は、実施形態３の画像入力方法を概略的に示す図。

符号の説明

８…紙葉類、１０…搬送機構、１１…第１撮像系、１２…第２撮像系、
１３…変位検出部、１４…画像処理部、１５…認識処理部、
１６…照明装置、１７ａ、１８ａ…受光面、１７ｂ、１８ｂ…レンズ、
２０ａ、２０ｂ…受光センサ

Claims (9)

1. 所定方向に沿って搬送される定型の検査媒体を撮像する画像入力方法であって、
   前記検査媒体の表面に光を照射し、
   前記検査媒体の表面の法線に対して反射角θ１の方向から反射光を撮像し、
   前記検査媒体の表面の法線に対して反射角θ２の方向から反射光を撮像し、
   前記反射角θ１および反射角θ２の方向から撮像した両画像から得られる前記検査媒体の形状情報、印刷パターン情報に基づいて、前記紙葉類の位置変位を検出し、
   前記検出された位置変位情報から前記検査媒体の３次元情報を生成し、
   前記３次元情報に基づいて前記検査媒体の位置変位を復元し、
   前記復元された画像に基づいて、前記検査媒体の認識処理する画像入力方法。
2. 定型の検査媒体を撮像する画像入力装置であって、
   前記検査媒体を所定の方向に沿って搬送する搬送機構と、
   前記検査媒体の表面に光を照射する照明装置と、
   前記検査媒体の表面の法線に対して反射角θ１の角度をなす受光軸を有し、前記検査媒体からの反射光を撮像する第１撮像系と、
   前記検査媒体の表面の法線に対して反射角θ２の角度をなす受光軸を有し、前記検査媒体からの反射光を撮像する第２撮像系と、
   前記第１撮像系から得られた前記検査媒体の形状情報、印刷パターン情報と、前記第２撮像系から得られた前記検査媒体の形状情報、印刷パターン情報と、に基づいて検査媒体の位置変位を検出し、その位置変位情報から前記検査媒体の３次元情報を生成する変位検出部と、
   前記変位検出部により求められた３次元情報に基づいて変位を復元する画像処理部と、
   前記画像処理部により得られた画像に基づいて、前記検出媒体の認識処理を行う認識処理部と、
   を具備する画像入力装置。
3. 前記第１撮像系および第２撮像系は、受光面を有するセンサと、前記検出媒体からの反射光を前記受光面に結像するレンズと、をそれぞれ備え、前記レンズは、焦点距離が８〜１２ｍｍの画角を有している請求項２に記載の画像入力装置。
4. 前記反射角θ１および反射角θ２は、互いに角度が等しく、法線に対する向きが互いに異なっている請求項２又は３に記載の画像入力装置。
5. 前記第１撮像系および第２撮像系は、それぞれラインイメージセンサを備えている請求項２又は３に記載の画像入力装置。
6. 前記変位検出部は、前記第１撮像系および第２撮像系が画像を１ライン撮像する毎に位置変位を検出し、その位置変位情報から３次元情報を生成し、
   前記画像処理部は、画像を１ライン毎に変位を復元する請求項５に記載の画像入力装置
7. 前記変位検出部は、取得画像を所望単位のブロックエリアに分割し、分割されたブロックエリア毎に位置変位を検出し、その位置変位情報から３次元情報を生成し、
   前記画像処理部は、前記変位検出部にて分割されたブロックエリア毎に変位を復元する請求項５に記載の画像入力装置
8. 前記第１撮像系および第２撮像系は、それぞれエリアイメージセンサを備えている請求項２又は３に記載の画像入力装置。
9. 前記変位検出部は、取得画像を所望単位のブロックエリアに分割し、分割されたブロックエリア毎に位置変位を検出し、その位置変位情報から３次元情報を生成し、
   前記画像処理部は、前記変位検出部にて分割されたブロックエリア毎に変位を復元する請求項８に記載の画像入力装置

Images