JP2022526500A - レーザー線を用いるマルチカメラ式イメージングシステム - Google Patents

Abstract

本発明は、変換機又はプレス機の出力部での品質管理を行うために従来型カメラ及び単一のレーザー線を使用するイメージングシステムに関する。システムは、印刷シートの幅にわたって配置された複数のカメラを使用する。レーザー線によって、シートが完全に平らでない又は高さが変わる場合であっても印刷物の完全な画像を再構成して、幾何学的形状並びに測光歪みを補償することができる。従来型カメラの使用はコスト効果の高いシステムをもたらす。【選択図】図１

Description

本発明は、紙又は段ボールシートのようなウェブ又はシート材を搬送する機械の品質管理システムのためのイメージングシステムの分野に関する。

印刷機又は変換機を使用する場合、一連の個々のシートは、機械の種々のユニットを通って移動する。一部の機械において、ウェブは個々のシートに置き換わる。適切な品質を保証するために、管理ステーションは、印刷ラインの終端に設置することができる。この品質管理ステーションは、シートの画像を生成するイメージングシステムで構成される。画像は、制御又は検査アルゴリズムによってチェックされ、シートが仕様に合っているかが特定される。換言すると、これは、印刷／変換工程の間に発生したであろう不良をチェックする。

今日のシステムは、幅広シートにわたって小さな不良の検出が要求される場合がある。従って、多くの場合、シート全体の品質をチェックするために複数のカメラが必要となる。従来のイメージングシステムは、シートを取り込むために高速リニアカメラを使用する。このカメラは、高速でシートの１列（又は２－３列）を取り込み、カメラの下のシートの移動により、シート全体（又はウェブが使用される場合はウェブ全体）を取り込むことができる。

シートがカメラの下で期待される瞬間速度で移動しない場合、これは結果として得られる画像の変形をもたらすことになる。この現象は、リニアカメラ自体では検出することができない。

また、リニアカメラのセンサの大きさを制限するために、カメラは、投影光学システムを使用する。従って、シートが完全に平らでない場合、すなわち、その表面からセンサまでの距離が変わる場合、これは画像スケールの局所的変形をもたらすことになる。

今日、リニアカメラは、２次元カメラ（マトリクス形センサを用いてリニアカメラよりも安価になる）よりも高価である。

本発明は、品質管理ステーションのイメージングシステムにおいて２次元カメラを使用する方法に関し、これによって上記の従来技術の問題を解決する安価なシステムを得る。また、本発明は、この方法を可能にするイメージングシステムに関する。

イメージングシステム（及び方法）は、印刷機、打ち抜き機、ブレイル（ｂｒａｉｌ）処理機、より一般的には変換機などの平らな支持体を搬送するように構成される機械にうまく適合する。支持体は、個々のシート材の形態又はウェブの形態のいずれかを取る。支持体の上面は、装置の基準面上の所定の高さで移動する（この平面は、実際の表面とすること、又はウェブを用いる場合はまさに仮想平面とすることができる）。実際には、支持体は平面上を移動するので、高さは支持体の厚さに等しい。しかしながら、実際には、例えば、シートが表面上を飛翔する場合又は支持体が完全に平らでない場合、この高さは変わる可能性がある。

イメージングシステムは、支持体表面上にレーザー線を投影するレーザー光源を備える。潜在的に支持体の全幅を取り込むために横並びに（レーザー線に沿って）配置された、支持体を記録する少なくとも２つのカメラが存在する。レーザー線は、この線に沿って支持体の高さを特定するために各画像内で見える必要がある。この高さ情報のおかげで、カメラから供給される画像は、画像スライスに結合され／つなぎ合わせられ、この画像スライスは、理想的に支持体の全幅を表す。結果として得られた画像スライスは、品質管理に使用することができる。従って、結合／つなぎ合わせの前に、各画像においてレーザー線を含んでいない小区域が選択され、結合／つなぎ合わせ操作に使用される。支持体の全幅を正確に表す画像スライスを出力するために、カメラの視野は部分的に重なり合う必要があることに留意されたい。また、最適精度のために、高さは、カメラ－支持体の距離、結果的に記録された画像内の支持体の複製スケールに影響を与えるので必要である。

イメージングシステムは、レーザー光源より多くのカメラを用いて構築すること、又はカメラ毎に１つのレーザー光源を用いて構築することができ、結果的に支持体の幅に沿って繰り返すことができるモジュールがもたらされる。

上記の画像スライスの取り込みを繰り返すことで、画像スライスを結合して支持体全体の画像（又は、少なくとも高さが単一の画像スライスよりも大きな支持体の画像）を取得することができる。そのために、変換機から入手できる支持体速度を使用すること、又は、画像スライスの間の垂直重なりを用いて２つのスライスの間での支持体の平行移動を計算することができる（又は両方の組み合わせ）。垂直重なりを用いて支持体平行移動を計算するために、支持体が、十分なテクスチャ情報を持っている、例えば、支持体の境界上にマークのセットを備えることが確認される。また、（最大）支持体速度に比較して、画像の取り込みをオーバーサンプリングし、これにより、画像スライスがバラバラにならないことが保証される。垂直に重なることに関して、これはシートの移動方向による重なりを意味する。支持体の照明は高さで変わる可能性があるので、本方法は、好都合には、全てのピクセルで測光情報を補正することができる。この補正は、ピクセル座標及び関連する支持体の高さの関数である。

画像スライスを構成する小区域はレーザー線を含まないので、レーザー線に沿って測定した高さは、厳密には小区域の高さに等しくない。この現象を考慮するために、好都合には、小区域の高さ情報を計算するために、前の画像取り込みに由来するレーザー線の高さを用いることができる。また、複数の画像取り込みに由来するレーザー線の高さを組み合わせることができる。

本発明の実施形態は、同じ参照番号が同じ又は類似の要素を示す添付図面に例示的に示されている。

２つのカメラ及び単一レーザー光源を用いるイメージングシステムの実施構成の実施例を示す。 シート、レーザー線、視野、及び２つのカメラ検査領域を示す。 正投影を用いて、基準高さ上のシートに向かって高さが変化するシートの再補間原理を示す。 シートの展開を用いて、基準高さ上のシートに向かって高さが変化するシートの再補間原理を示す。 ２つのカメラを備えるシステムによる、シート上に印刷された自転車の画像の再構築の例を示す。 カメラ、照明、及びレーザー線の露出タイミングの複数の例を示す。

図１は、検査中にシート２の全幅を取り込むために２つのカメラ３、４を使用する実施形態の例を示す。レーザー光源５は、光の線６（レーザー線）をシート２上に投影する。レーザー線は、カメラ３で撮影された画像、並びにカメラ４で撮影された画像に現れる。

レーザーの投影面７は、カメラの光軸９に対して所定の角度をもつことに留意されたい。これは、シートの高さが変わる場合にカメラで取り込まれた画像の座標フレームの線シフトをもたらす。従って、画像内の線の位置を測定すること及びカメラとレーザー光源の幾何学的構成を知ることで、この線に沿ったシートの高さを計算することができる。理論的には、シートは平らであることが必要である。しかしながら、実際には、シートは湾曲する又は波状である可能性がある。シート上面の高さが変化すると、撮像面の（局所的）スケールも変化する。従って、シート上の印刷物の正確さ、もしくは切り取り線又は折り線の正確さをチェックするために、この現象は補正する必要がある。

高さ変動に起因するスケール変動を補正するために、シートの局所高さ８は、レーザー線６に沿って測定される。高さは、シートの移動方向５１に沿って変わらないと想定する。好ましくは、計算を容易にするために、カメラ３、４は、レーザー線６が画像上で水平に見えるように（完全に平らなシートに対して）配向され、シートの移動方向５１は、画像の列をほぼ辿る。この場合、画像の各列に関する高さ値を得る。より一般的には、これは、シートの移動方向に対してレーザー線が横断方向であれば十分であり（例えば、４５度から１３５度の範囲の角度で）、上記の方向に対する画像の行／列の向きは重要ではない。

図２は、カメラ３、４のそれぞれの視野３０、４０での上から見たシートを示す。シートの移動方向は、移動方向５１と呼び、レーザー線の方向は（平らなシートに関して）、横断方向と呼ぶ。各カメラの視野は、横断方向に沿って僅かに重なる（例えば、これらは、５％、１０％、又は２０％だけ重なることができ、重なり率はシートの高さで変わる場合がある）。レーザー線６は、両方のカメラの視野を横断する。例示目的で、レーザー線６の直線からの偏位は、図面では誇張されている。カメラは、検査域３１、４１を有し、これはレーザー線を含まない。検査域は、シートを画像化するために使用され、出力部で単一の画像を形成するために横断方向に沿ってつなぎ合わされる。検査域は、レーザー線の下又は上のいずれかである、すなわちシートの移動方向でのレーザー線の前又は後のいずれかである。

図３は、シートの局所高さ８を前提とした完全に平らなシートに対応する画像の再計算方法を示す。この例では、シートの２つの描写が示されており、１つは現実の状況に対応する湾曲であり（誇張された変形での）、１つは、基底上の基準の状況に対応する。基準高さ８８の選択は任意であるが、好都合には、一般的な状況に対応することができる。ここで、基準シートは、所定の高さ８８に位置する表面２９を有する完全に平らなシートと想定する。図３Ｂは、カメラで取り込んだ図３Ａの光景の画像を示す。カメラは、投影法的な投影を行うので、光景内の点１２及び１３は、画像内の同じ点１３０にマッピングされる（これらは光景内で方向１１に沿って投影される）。スケールを補正するために、仮想的にシートを直交様式で基準高さ２９に投影し（すなわち、高さ８のラインに沿って）、これによって正投影の等価物を取得し、これに関して、画像のスケールは、カメラへの距離と共に変化しない。結果として得られた画像は、再補間画像と呼ぶ。例えば、点１２は、仮想的に点１４に投影される。点１４は、画像上の位置１４０に現れる。従って、完全に平らなシートの画像を得るために、位置１３０でのピクセル値を取りこれを位置１４０にシフトする。位置１４０は、画像の光学中心１００及び位置１３０を結ぶライン１１０と、点１２の投影１４に対応する移動ライン１０４との交差点であることに留意されたい。この処理は画像の全ての点で繰り返すことができる。すなわち、変形は、局所高さによって特定することができ、これは画像において移動ライン１０２，１０４に沿って一定である。一般的に言えば、この例において、関数は、投影表現から正投影表現へのマッピングであり、局所高さの測定により可能になる。実際には、この関数の逆を使用する、すなわち再補間画像の全ての位置Ｈに関して、位置Ｈから位置Ｌへのシフトに対応する変換を計算し、位置Ｈでのピクセル（再補間画像の）を取り込み画像の位置Ｌでのピクセル値で満たす（Ｌは各ピクセルの間とすることができるので、補間で得られる）。従って、再補間画像は、予め決められた高さで取得した完全に平らな支持体（シート）の画像に対応する取り込み画像の再補間である。再補間画像は、全てのカメラについて計算される。すなわち、再補間画像はつなぎ合わされて、さらなる処理のための（例えば、品質管理のための）出力として使用される、同一の幅広つなぎ合わせ画像がもたらされる。検査域は、基準高さ２９で規定されるので、シート全幅の適切な有効範囲が保証される（シートの幅は、移動方向から垂直方向で規定される）。一般的であり本開示の範囲外である従来のカメラ較正ステップで補正される光学的ひずみの何らかの補正は無視することに留意されたい。

実際には高さ変動は小さいので、支持体上に印刷された直線の画像は、つなぎ合わせ画像の直線にマッピングする。また、投影表現のおかげで、つなぎ合わせ画像を構築するために使用される再補間画像の間の接合点の線上で不連続性は存在しない。

少し正確であるが計算集約型である代替案として、正投影を行う代わりに仮想的にシートを展開することができる（光学中心から端部に向かって）。この方法は、図４に示されている。点１２を仮想的に点１４に投影する代わりに、シートは展開され、点１２の点１５上への投影がもたらされる。そのために、展開は光学中心１０で始まる。これは、高さ値が利用可能な次の点に対応する点１７を投影することで始まる。点１７は、点１０を中心とする円弧２０に沿って投影される。点１７は、基底２９上に投影され、点１９がもたらされる（説明を単純にする目的で、ここでは点１０は基準高さ２９の上にあると想定する）。点１７及び１９につながるライン２２と、カメラの固有投影光線を辿るライン１６との間の偏差に留意されたい（従って、点１７及び１８は、取り込み画像の同じ位置に現れることになる）。図４Ｃは、操作又は図４Ａの拡大表示を示す。次の点１２は、点１７を中心とする円弧を用いて投影される。点１２は、点１７と同じ高さの点２４上に投影される。投影１４は、点２４を平行線２３に沿ってライン２２に投影することで得られる。この計算は、レーザー線に沿う全ての高さ値に関して繰り返され、検査域の全てのピクセルに適用され、再補間画像をもたらす。補間プロセスは、図３の実施例と同じであり、相違点は座標計算である。

本明細書に記載のイメージングデバイスは、印刷機又は変換機に適している。例えば、印刷機の出力部又はプラテン印刷機の出力部に位置付けることができる。イメージングデバイスは、シートをイメージングデバイスの下に平行移動させて搬送情報をイメージングデバイスに送る搬送システムと一体である。機械に応じて、支持体（又はシート）の最大幅は変わり得るので。様々な数のカメラが必要になる。例えば、狭い幅の機械は、２つのカメラを備える場合があるが、より幅のある機械は、横断方向に沿って３から９のカメラを備える場合がある。

好都合には、多数のカメラのための単一のレーザー光源を有する代わりに、各カメラのためのレーザー光源を有するように選択することができる。これにより、シート全幅をカバーするように繰り返すことができる一体化したカメラ及びレーザー光源モジュールを構築することができ、これにより、支持体の最大幅に無関係に品質が保証される。また、このことは、生産及び較正ロジスティック（ｌｏｇｉｓｔｉｃ）から好都合である。シートの高さを計算する方法も同じである。

好都合には、上記の検査域の幾何学的な再補間に加えて、検査域の各ピクセルに関する測光情報を補正することができる。支持体の高さが変化する場合、支持体を照らすために使用される照明までの距離及びカメラまでの距離が変化する。これは、カメラによって認識される輝度の変化をもたらす。換言すると、同じ支持体区域は、高さが変わると異なるピクセル値をもたらすことになる。この現象を補償するために、最上高さ及び最下高さでの（例えば、最大期待高さ及び最小期待高さでの）２つの異なる高さで一定の反射率をもつ基準平坦面の画像を記録する。次に、２つの基準画像の各ピクセルに関して、補正係数（画像の各色に関する）を計算して、記録されたピクセル値を単一の基準値（基準の支持体の一定の反射率に対応する）にマッピングする。このことは、補正係数で作られる（色値の代わりに）２つの画像をもたらす。この画像を輝度要因（ｂｒｉｇｈｔｎｅｓｓ ｆａｃｔｏｒ）画像と呼ぶことにする。支持体表面の新しい画像が記録されると、全てのピクセル位置に関する支持体表面の高さを計算し、最下及び最上高さと比較したピクセル高さに基づいて、最上輝度要因画像からの値及び最下要因画像からの値を補間することで補正係数を計算する。実際には、これは、画像の全ての色チャンネルに適用された３次元座標に基づく補間である。この補正は、支持体表面の高さに起因する照明の変動を補正するが、カメラ口径食又は照明不均一性などの他の現象も補正する。

３以上の高さでの基準平坦面の反射率を記録し、その間で補間を行い高精度の補正値を得ることができることに留意されたい。しかしながら、本出願人の照明機構を前提とすると、２つの測定値で十分であることが分かっている。

図５は、イメージングシステムの取り込みプロセスを示す。左側の図は、イメージングシステムで取り込まれる自転車を描写するシートを示す。右側の図は、イメージングシステムの次の取り込みの瞬間での、一瞬の後の同じシートを示す。この例は、２つのカメラを備えるイメージングシステムを示す。左側のカメラは視野３０及び検査領域３１を有する。右側のカメラは、視野４０及び検査域４１を有する。映像は、左側カメラで撮影した画像３２及び右側カメラで撮影した画像４２を示す。映像はレーザー線６の画像を含む。次に、画像は映像３３及び４３に再補間され、つなぎ合わされた映像３４にまとめられる。この処理は一瞬の後に繰り返され、これは映像の右側に示される。つなぎ合わされた映像３４、３４０（異なる瞬間に取得された）は、再構築された画像３５に組み合わされる／積み重ねられる。積み重ねは繰り返されて完全なシート２の画像を得る。厳密に言えば、必ずしもシートの完全な高さは必要なく、後続の品質管理工程に十分な高さになることのみを必要とする。映像の取り込み周波数は、シートの移動５０に同期する。適切に行われると、結果として得られる再構築画像は、支持体（シート）上に存在する画像／モチーフと比較して何らかの隙間又は何らかの反復を示さない。

つなぎ合わせの前に映像を再補間するのに使用されるレーザー線の高さは、同じ映像に由来するものであることに留意されたい。しかしながら、好ましく以前の映像のうちの１つを使用する。実際には、レーザーによって照らされたシートの一部が検査域に到達するまで高さ情報を記憶する。例えば、図５において、左側に描写された構成によって記録された（時間Ｔ－１で記録された）高さ情報を使用して、これを図面の右側の画像（時間Ｔで記録された）に加える。実際には、左側の図面上で、レーザー線は、シート上に示された自転車の駆動部の上部に接触するが、右側の図面において、同じ自転車の駆動部の上部は、検査域の中心にある。また、２つの線の間の何らかの値を取ること又は２つの線（一方が検査域の上、他方が検査域の下）を使用することができ、２つの線の間の高さ情報を補間して、結果的に検査域の全てのピクセルに関する高さ値を取得することができることに留意されたい。

支持体表面の何らかの反射率を可視できるレーザー画像を得るために、検査域及びレーザー線を別に撮影しようとする場合がある。検査域の露出時間は、短くする必要がある。実際には、支持体は、モーションブラーを回避するために露出時にわずかなピクセルだけでも移動してはならない。検査域の露出時間に関して、これはカメラが「開放」であり（すなわち、映像を記録する）かつ検査域が照明装置で照らされることを意味する。実際には、カメラの露出時間は、「閃光（ｆｌａｓｈ）」露出時間よりも長い。「閃光」露出時間は、照明のＯＮの瞬間とＯＦＦの瞬間と間の時間である。ここでは、画像の露出の間の閃光露出が考慮され、露出の終了後に閃光がＯＮになる又は閃光の開始前にそれがＯＮになる場合、これはカウントされない。検査域の露出時間は、閃光がＯＮでカメラが開放した時間である。レーザー線の露出時間は、同じ制約に縛られない（レーザー線の露出時間は、レーザーがＯＮでカメラが開放する時間である）。露出の間に支持体が移動する場合、これは、支持体の高さが露出の間に変化しない限り問題ない（すなわち、支持体は、問題なくピクセルを超えて移動することができる）。従って、より低いレーザー出力を使用するとしてもレーザー線が見えるのを保証するために（これにより装置のコストを節減する）、レーザー線の露出時間は、検査域の露出時間よりも長くなるように選択される。図６は、露出タイミングの例を示す。カメラの露出はライン６０で示され、照明（すなわち閃光）の露出はライン６１で示され、レーザーの露出はライン６２で示される、位置６４は、ＯＦＦ又は閉鎖位置を示すが、位置６５は、ＯＮ又は開放位置を示す。レーザー線の露出時間は、閃光露出時間の５から２０倍、例えば１０倍長くすることができる。例えば、カメラの露出時間（６０）は、８００マイクロ秒に設定することができるが、閃光露出時間（６１、６６、６７）は、８０マイクロ秒に設定することができる。レーザー線は、図６に示すように常時ＯＮとすること、又はカメラの露出６０に同期する（又は、ほぼ同期する）ことができる。照明のＯＮ／ＯＦＦ露出特性６６及び６７は、例示的なＯＮ／ＯＦＦ露出特性６１の等価の代替案を示す。図６の横座標は時間を示す。

映像３２を用いて、これを映像３２０（一瞬後に取得した）と比較することで、各映像の間の重なりを使用する幾つかの画像処理アルゴリズムを使用してシートの移動を計算することができることに留意されたい。この計算結果は、シート５０の平行移動が仕様に従って進んでいるのを検証するために用いることができる。好ましくは、シートは、このようなやり方のロバスト性を保証するために境界上に印刷された幾つかのマークを有することができる。また。この移動計算は、支持体の移動が不均一である又は期待されるものとは異なる場合に、各画像スライスを適切に結合するために用いることができる。

本明細書に開示された発明は、高さが変化する完全に平らな支持体に対しても有用であることに留意されたい。高さが基準高さ２９から異なるとすぐに、再補間は、スケール補正を実行する。例えば、本明細書に開示されたイメージングシステムは、個々のシートがおおまかに制御された高さで「飛翔する」傾向がある打ち抜き機械の出力部で画像を取得するために適用することができる。

「シート」又は「支持体」は、常に同じ物体を指すために使用されることに留意されたい。支持体がシートとして提供されるのを強調しようとする場合に「個々のシート」と記載する。

Claims (11)

1. 平らな支持体を基準面上で所定の移動方向に前記基準面上の所定の高さで平行移動させるように構成された装置のためのイメージングシステムであって、
   支持体表面上にレーザー線を前記移動方向に対して横断方向で投影するように構成されレーザー光源と、
   プロセッサと、
   前記レーザー線に沿って配置され、重なり合う視野を有する２つのカメラと、
   を備え、
   前記カメラの各々は、前記レーザー線を含む前記支持体表面の画像を取り込むように構成され、
   前記プロセッサは、
   前記画像の各々に関して、前記画像の中の前記レーザー線の位置を利用して前記レーザー線に沿った前記支持体表面の高さを計算し、
   前記画像の各々に関して、前記移動方向に従って前記レーザー線の前又は後の小区域を選択し、
   前記計算された高さを使用して重なり合った又は隣接する小区域を共同画像スライスに結合し、
   前記画像スライスを出力する、ように構成されている、
   ことを特徴とするイメージングシステム。
2. 前記カメラと同数のレーザー光源を有し、前記カメラの各々は、前記レーザー線に沿った前記支持体の高さを計算するために、それぞれのレーザー線を読み込むように構成されている、
   請求項１に記載のイメージングシステム。
3. 前記イメージングシステムは、前記画像の取り込みを前記支持体の平行移動と同期させるように構成され、それによって、異なる時間に取り込んだ画像スライスを単一の再構画像に結合し、前記イメージングシステムは、前記再構築画像を出力するように構成されている、
   請求項１又は２に記載のイメージングシステム。
4. 前記支持体を閃光するように構成された照明装置をさらに備え、閃光期間は、前記カメラの露出時間よりも短いように構成される、
   請求項１から３のいずれか１項に記載のイメージングシステム。
5. 平らな支持体が基準面上で所定の移動方向で前記基準面上の所定の高さで平行移動する装置のための、複数のカメラから生じる画像を結合する方法であって、
   －レーザー光源を使用して、前記移動方向に対して横断方向でレーザー線を支持体表面上に投影する段階と、
   －前記カメラの各々に関して、
   前記レーザー線を含む前記支持体表面の画像を取り込む段階と、
   前記画像の中の前記レーザー線の位置を使用して前記レーザー線に沿った前記支持体の高さを計算する段階と、
   前記移動方向に従って前記レーザー線の前又は後の前記画像内の所定の領域を選択する段階と、
   前記選択された領域を、予め決定された高さで取り込まれた完全に平らな支持体の画像に対応する表現に再補間する段階と、
   －前記選択された領域を、横並びの前記領域を結合することで画像スライスに結合する段階と、
   を含む方法。
6. 前記再補間する段階は、前記支持体表面に沿った前記画像の座標に基づいた、及び前記レーザー線に沿った前記支持体の高さに基づいた、測光補正の補間をさらに含む、
   請求項５に記載の方法。
7. 前記画像の取り込みを前記支持体の平行移動に同期させて、結果として得られる前記画像スライスを、何らかの隙間又は反復のない前記支持体を描写する共同の再構築画像に結合する段階をさらに含む、
   請求項５又は６に記載の方法。
8. 前記再補間する段階は、異なる時間で同じカメラで取り込んだレーザー線に沿った前記支持体の高さを使用する、
   請求項５から７のいずれか１項に記載の方法。
9. 前記支持体の前記平行移動は、前記システムの前記カメラのうちの少なくとも１つで取り込まれた連続的な重なり合った画像の内容を比較することで測定される、
   請求項７又は８に記載の方法。
10. 前記平行移動の測定値を出力する段階をさらの含む、
    請求項９に記載の方法。
11. 前記支持体の画像の取り込み時に照明装置で前記支持体を閃光する段階をさらに含み、前記画像の露出の間に、前記閃光期間は、前記レーザー線の照射期間よりも短い、
    請求項５から１０のいずれか１項に記載の方法。

Images