JP2014137291A

JP2014137291A - 外観画像生成方法及び外観画像生成装置

Info

Publication number: JP2014137291A
Application number: JP2013006198A
Authority: JP
Inventors: Tomohiko Fujii; 知彦藤井
Original assignee: Bridgestone Corp
Current assignee: Bridgestone Corp
Priority date: 2013-01-17
Filing date: 2013-01-17
Publication date: 2014-07-28
Anticipated expiration: 2033-01-17
Also published as: JP6139141B2

Abstract

【課題】被写体の表面に溝や凹凸部が設けられているケースであっても、被写体の表面に設けられている溝の底面や凹凸部にピントが合っていない２次元画像を用いて、適切に被写体の外観画像を生成する方法を提供する。
【解決手段】外観画像生成方法は、３次元カメラ３０から、被写体の形状画像を取得する工程Ａと、２次元カメラ２０から、被写体の色彩画像を取得する工程Ｂと、形状画像及び色彩画像を用いて、外観画像を生成する工程Ｃとを有する。
【選択図】図２

Description

本発明は、外観画像生成方法及び外観画像生成装置に関する。

特許文献１には、２次元カメラ（２Ｄカメラ）から取得した２次元画像（色彩画像）及び３次元カメラ（３Ｄカメラ）から取得した３次元画像（形状画像）を合成することによって、被写体（例えば、タイヤ）の外観画像を生成する技術について記載されている。

ＷＯ２００６/０５４７７５

しかしながら、上述の特許文献１は、被写体の表面に溝や凹凸部が設けられているケースを想定しているものではない。

したがって、上述の特許文献１では、被写体の表面に溝や凹凸部が設けられているケースであっても、被写体の表面に設けられている溝の底面や凹凸部にピント（焦点）が合っていない２次元画像（色彩画像）を用いて、被写体の外観画像を生成することになる。

そこで、本発明は、上述の課題に鑑みてなされたものであり、被写体の表面に溝や凹凸部が設けられているケースであっても適切に被写体の外観画像を生成することができる外観画像生成方法及び外観画像生成装置を提供することを目的とする。

本発明の第１の特徴は、被写体の外観画像を生成する外観画像生成方法であって、３次元カメラから、前記被写体の形状画像を取得する工程Ａと、２次元カメラから、前記被写体の色彩画像を取得する工程Ｂと、前記形状画像及び前記色彩画像を用いて、前記外観画像を生成する工程Ｃとを有することを要旨とする。

本発明の第１の特徴において、前記工程Ｃは、前記２次元画像に対して逆フィルタ補正処理を施すことによって、複数の補正画像を生成する工程と、前記形状画像及び前記補正画像に基づいて、前記外観画像を生成する工程とを有してもよい。

本発明の第１の特徴において、前記被写体は、タイヤであり、前記工程Ｂにおいて、前記タイヤのトレッド踏面にピントが合っている前記被写体の色彩画像、及び、前記タイヤのトレッド踏面に設けられている溝の底面にピントが合っている前記被写体の色彩画像を取得してもよい。

本発明の第２の特徴は、被写体の外観画像を生成するように構成されている外観画像生成装置であって、３次元カメラから、前記被写体の形状画像を取得するように構成されている３次元画像取得部と、２次元カメラから、前記被写体の色彩画像を取得するように構成されている２次元画像取得部と、前記形状画像及び前記色彩画像を用いて、前記外観画像を生成するように構成されている変換部とを具備することを要旨とする。

以上説明したように、本発明によれば、被写体の表面に溝や凹凸部が設けられているケースであっても適切に被写体の外観画像を生成することができる外観画像生成方法及び外観画像生成装置を提供することができる。

本発明の第１の実施形態に係る外観画像生成装置が使用されている様子を示す図である。本発明の第１の実施形態に係る外観画像生成装置の機能ブロック図である。本発明の第１の実施形態に係る外観画像生成装置によって取得されるタイヤの断面の形状画像の一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置によって３Ｄ-ＬＵＴを生成するために撮影される格子の一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置によって生成された３Ｄ-ＬＵＴの一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置によって２Ｄ-ＬＵＴを生成するために撮影されるラインの一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置によって２Ｄ-ＬＵＴを生成する方法の一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置によって生成された２Ｄ-ＬＵＴの一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置によって撮影されたラインの画像における各画素の位置の一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置によって２Ｄ-ＬＵＴを生成する方法の一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置によって２Ｄ-ＬＵＴを生成する方法の一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置によってタイヤの色彩画像の補正画像を取得する方法の一例を示す図である。本発明の第１の実施形態に係る外観画像生成装置の動作を示すフローチャートである。本発明の変更例１に係る外観画像生成装置の動作を説明するための図である。本発明の変更例１に係る外観画像生成装置の動作を説明するための図である。

（本発明の第１の実施形態に係る外観画像生成装置）
図１乃至図１３を参照して、本発明の第１の実施形態に係る外観画像生成装置１０について説明する。

本実施形態に係る外観画像生成装置１０は、被写体の外観画像を生成するように構成されている。以下、本実施形態では、被写体の一例として、タイヤ１が用いられているケースを例に挙げて説明するが、本発明は、かかるケースに限定されるものではない。

例えば、本実施形態では、図１に示すように、レーザ装置１００（例えば、ラインレーザ装置）が、駆動装置（図示せず）からの駆動力によって回転しているタイヤ１に対してレーザ照射を行っている状態で、３Ｄカメラ３０が、タイヤ１の３次元画像を取得し、２Ｄカメラ２０が、タイヤ１の２次元画像を取得するように構成されている。

ここで、３Ｄカメラ３０は、タイヤ１の３次元画像として、タイヤ１の形状画像を撮影するためのカメラ（例えば、エリアカメラ）であり、２Ｄカメラ２０は、タイヤ１の２次元画像として、タイヤ１の色彩画像を撮影するためのカメラ（例えば、ラインカメラ）である。

なお、タイヤ１のクラウン部全体をカバーするために、タイヤ１の幅方向に複数の２Ｄカメラ及び３Ｄカメラが設置されていてもよい。

図２に示すように、外観画像生成装置１０は、３Ｄ-ＬＵＴ取得部１１と、３Ｄ画像取得部１２と、第１変換部１３と、２Ｄ-ＬＵＴ取得部１４と、２Ｄ画像取得部１５と、第２変換部１６と、判断部１８と、記憶部１９とを具備している。

３Ｄ-ＬＵＴ取得部１１は、３Ｄカメラ３０から、タイヤ１の形状画像に対するＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）、すなわち、３Ｄ-ＬＵＴを取得するように構成されている。

ここで、３Ｄ-ＬＵＴは、３Ｄカメラ３０毎に設けられており、各画素（ピクセル）に関連付けられているデジタル化された輝度階調のデータを所定の物理座標に関連付ける変換を行うために用いられるテーブルである。

３Ｄ-ＬＵＴは、３Ｄカメラ３０によって撮影された一定間隔Ｌ１×Ｌ１（例えば、５ｍｍ×５ｍｍ）の格子の画像に基づいて生成される。ここで、図４に示すように、かかる格子の画像は、歪んだ状態で撮影される。

図５に、３Ｄ-ＬＵＴの一例を示す。図５の例では、３Ｄカメラ３０の画素数が、ｍ×ｎ画素であり、図５における各マス目が、３Ｄカメラ３０の各画素に対応する。すなわち、図５に示すように、３Ｄ-ＬＵＴは、３Ｄカメラ３０の各画素に対応する物理座標（ｘ_ｉｊ，ｙ_ｉｊ）（ここで、１≦ｉ≦ｍ，１≦ｊ≦ｎ）を保持している。

３Ｄ画像取得部１２は、３Ｄカメラ３０によって撮影された画像を取得するように構成されている。

第１変換部１３は、３Ｄ-ＬＵＴ取得部１１によって取得された３Ｄ-ＬＵＴを参照して、３Ｄ画像取得部１２によって取得された画像の歪みを補正するように構成されている。

すなわち、第１変換部１３は、３Ｄ-ＬＵＴを参照して、３Ｄ画像取得部１２によって取得された各画素に関連付けられているデジタル化された輝度階調のデータを所定の物理座標（ｘ_ｉｊ，ｙ_ｉｊ）に関連付ける変換を行うように構成されている。

その結果、第１変換部１３は、図３に示すように、タイヤ１の周方向に沿った１００００個の断面の形状画像を取得するように構成されている。ここで、かかる断面の形状画像は、各画素ではなく、所定の物理座標に関連付けられている。なお、かかるタイヤ１の形状画像には、色彩データが含まれていない。

２Ｄ-ＬＵＴ取得部１４は、２Ｄカメラ２０から、タイヤ１の色彩画像に対するＬＵＴ、すなわち、２Ｄ-ＬＵＴを取得するように構成されている。

ここで、２Ｄ-ＬＵＴは、２Ｄカメラ２０毎に設けられており、各画素（ピクセル）に関連付けられているデジタル化された輝度階調のデータを所定の物理座標に関連付ける変換を行うために用いられるテーブルである。

２Ｄ-ＬＵＴは、２Ｄカメラ２０によって撮影された一定間隔Ｌ１（例えば、５ｍｍ）のラインの画像（図６参照）に基づいて生成される。ここで、２Ｄ-ＬＵＴは、ラインにおける位置と各画素とを関連付けて生成される。

具体的には、２Ｄ-ＬＵＴ取得部１４は、２Ｄカメラ２０から、複数のラインの画像を取得するように構成されている。

例えば、図７に示すように、２Ｄカメラ２０は、ｙ方向に、「０」の位置、「１０」の位置、「２０」の位置、「３０」の位置と、上述のラインとの距離を変動させて撮影し、２Ｄ-ＬＵＴを生成する（図８参照）。ここで、２Ｄカメラ２０とラインとの距離は、３Ｄカメラ３０によって撮影される格子のサイズに関連させておく必要がある。

図８の例では、３Ｄカメラ３０の画素数が、ｍ×ｎ画素であり、図８における各マス目が、３Ｄカメラ３０の各画素に対応する。２Ｄ-ＬＵＴは、２Ｄカメラ２０の各画素に対応する物理座標（ｘ_ｉｊ，ｙ_ｉｊ，Ｎｏ_ｉｊ）（ここで、１≦ｉ≦ｍ，１≦ｊ≦ｎ）を保持している。

ここで、「Ｎｏ」は、２Ｄカメラ２０によって撮影されたラインの画像に対して割り振られた番号である。

例えば、図７に示すように、Ａ点の物理座標が、ｘ方向に「０」、ｙ方向に「１０」であり、図９に示すように、２Ｄカメラ２０によって撮影されたＡ点の画素に対応する位置が「２」である場合、２Ｄ-ＬＵＴには、（０，１０，２）という値が保存される。

また、図７に示すように、Ｂ点の物理座標が、ｘ方向に「１０」、ｙ方向に「１０」であり、図９に示すように、２Ｄカメラ２０によって撮影されたＢ点の画素に対応する位置が「７」である場合、２Ｄ-ＬＵＴには、（１０，１０，７）という値が保存される。

さらに、図７に示すように、Ｃ点の物理座標が、ｘ方向に「２０」、ｙ方向に「１０」であり、図９に示すように、２Ｄカメラ２０によって撮影されたＢ点の画素に対応する位置が「１２」である場合、２Ｄ-ＬＵＴには、（２０，１０，１２）という値が保存される。

また、２Ｄカメラ２０によって、上述のラインの画像を撮影する場合、図１０に示すように、ラインと２Ｄカメラ２０との距離が短くなればなるほど、撮影されたラインの画像における間隔が大きくなる。このように、同じ被写体であっても、２Ｄカメラ２０と被写体との距離によって、２Ｄカメラ２０によって取得される画像が異なる。

そのため、２Ｄカメラ２０は、被写体を撮影する場合、図１１に示すように、視点の延長線上に存在する異なる点（図１１の例では、Ｐ点及びＱ点）に対して、同じ「Ｎｏ」が割り当てられているが、２Ｄカメラ２０と被写体との距離によって、取得される画像が異なるため、取得される色彩画像も異なる。

２Ｄ画像取得部１５は、２Ｄカメラ２０によって撮影された画像を取得するように構成されている。

図１２の例では、２Ｄ画像取得部１５は、Ｙ（高さ）位置０ｍｍ〜Ｙ（高さ）位置６０ｍｍ用の１３個の色彩画像を取得するように構成されている。

第２変換部１６は、２Ｄ-ＬＵＴ取得部１４によって取得された２Ｄ-ＬＵＴを参照して、２Ｄ画像取得部１５によって取得されたタイヤ１の色彩画像の歪みを補正するように構成されている。

また、第２変換部１６は、２Ｄ画像取得部１５によって取得されたタイヤ１の色彩画像に対して、予め取得している点広がり関数Ｈを用いた逆フィルタ処理を施すことによって補正画像を生成するように構成されている。

図１２の例では、第２変換部１６は、タイヤ１の色彩画像に対して、逆フィルタ処理１〜１３を施すことによって、Ｙ（高さ）位置０ｍｍ〜Ｙ（高さ）位置６０ｍｍ用の１３個の補正画像１〜１３を算出するように構成されている。

ここで、逆フィルタ処理１〜１３で用いられるパラメータは、２Ｄ-ＬＵＴを作成する際に用いられるラインの画像に対して逆フィルタ処理を施すことによって得られたものであってもよい。

この結果、タイヤ１の色彩画像のボケを改善することができ、後述する２Ｄ-ＬＵＴ及び３Ｄ-ＬＵＴを用いたタイヤ１の色彩画像の物理座標（ｘ_ｉｊ，ｙ_ｉｊ）とタイヤ１の形状画像の物理座標（ｘ_ｉｊ，ｙ_ｉｊ）との位置合わせを正確に行うことができる。

すなわち、第２変換部１６は、上述のタイヤ１の形状画像及びタイヤ１の色彩画像（補正画像）に基づいて、タイヤ１の外観画像を生成するように構成されている。

例えば、第２変換部１６は、２Ｄ-ＬＵＴ及び３Ｄ-ＬＵＴを参照して、タイヤ１の溝の底面に対応するＹ方向（高さ方向/タイヤ１の表面に垂直な方向）の位置において逆フィルタ処理により疑似的にピントが合っているタイヤ１の色彩画像（補正画像）の画素値と、対応するタイヤ１の形状画像の所定の物理座標（ｘ_ｉｊ，ｙ_ｉｊ）の画素値とを合成することによって、タイヤ１の外観画像を生成するように構成されていてもよい。

或いは、第２変換部１６は、２Ｄ-ＬＵＴ及び３Ｄ-ＬＵＴを参照して、タイヤ１の表面に設けられている凹凸部に対応するＹ方向（高さ方向/タイヤ１の表面に垂直な方向）の位置において逆フィルタ処理により疑似的にピントが合っているタイヤ１の色彩画像（補正画像の画素値と、対応するタイヤ１の形状画像の所定の物理座標（ｘ_ｉｊ，ｙ_ｉｊ）の画素値とを合成することによって、タイヤ１の外観画像を生成するように構成されている。

なお、例えば、第２変換部１６は、上述のタイヤ１の形状画像によって、溝の底面のＹ方向の位置が「１７.５ｍｍ」であると判定した場合、Ｙ（高さ）位置１５ｍｍ用補正画像４（タイヤ１の色彩画像）及びＹ（高さ）位置２０ｍｍ用補正画像５（タイヤ１の色彩画像）を、５０％ずつの割合で合成することによって、タイヤ１の外観画像を生成する際に用いるタイヤ１の色彩画像（補正画像）、すなわち、Ｙ方向の位置「１７.５ｍｍ」においてピントが合っているタイヤ１の色彩画像（補正画像）とするように構成されていてもよい。

判定部１８は、第２変換部１６によって算出されたタイヤ１の外観画像に基づいて、タイヤ１の外観検査を行うように構成されている。

例えば、判定部１８は、第２変換部１６によって算出されたタイヤ１の外観画像と、記憶部１９に記憶されているタイヤ１の規格値（例えば、キズの大きさの規格値）とを比較することによって、タイヤ１の色彩及び形状の良否について判定することができるように構成されている。

以下、図１３を参照して、本実施形態に係る外観画像生成装置１０を用いて、回転しているタイヤ１の外観画像を生成する動作の一例について説明する。

ステップＳ１０１において、外観画像生成装置１０は、３Ｄカメラ３０から、所定周期で、タイヤ１の形状画像を取得する。ここで、外観画像生成装置１０は、３Ｄカメラ３０から、３Ｄ-ＬＵＴを取得してもよい。

例えば、外観画像生成装置１０は、タイヤ１の周方向に沿った１００００個のタイヤ１の断面の形状画像を取得する。

ここで、外観画像生成装置１０は、かかるタイヤ１の断面の形状画像の各々に基づいて、タイヤ１の表面や溝の底面や凹凸部のＹ方向（高さ方向/タイヤ１の表面に垂直な方向）の位置を決定する。

ステップＳ１０２において、外観画像生成装置１０は、２Ｄカメラ２０から、Ｙ方向（高さ方向/タイヤ１の表面に垂直な方向）におけるあるピント位置のタイヤ１の色彩画像を取得する。ここで、外観画像生成装置１０は、２Ｄカメラ２０から、２Ｄ-ＬＵＴを取得してもよい。

ステップＳ１０３において、外観画像生成装置１０は、ステップＳ１０３において取得したタイヤ１の２次元画像に対して、逆フィルタ処理を施すことによってピント位置が異なる複数のタイヤ１の色彩画像（補正画像）を疑似的に生成する。

ステップＳ１０４において、外観画像生成装置１０は、２Ｄ-ＬＵＴ及び３Ｄ-ＬＵＴを参照して、ステップＳ１０２において決定したタイヤ１の表面や溝の底面や凹凸部のＹ方向（高さ方向/タイヤ１の表面に垂直な方向）の位置において逆フィルタ補正によって疑似的にピントが合っているタイヤ１の色彩画像（補正画像）の画素値と、対応するタイヤの形状画像の所定の物理座標（ｘ_ｉｊ，ｙ_ｉｊ）の画素値とを合成することによって、タイヤ１の外観画像を生成する。

なお、外観画像生成装置１０は、タイヤ１の外観画像に基づいて、タイヤ１の外観検査を行ってもよい。

本実施形態に係る外観画像生成装置１０によれば、形状の凹凸がほとんどない溝の底面におけるコード露出やトレッド踏面における色異物付着等についても検出することができる。

（変更例１）
以下、図１４及び図１５を参照して、本発明の変更例１に係る外観画像生成装置１０について、上述の第１の実施形態に係る外観画像生成装置１０との相違点に着目して説明する。

本変更例１に係る外観画像生成装置１０では、第１に、第１変換部１３は、３Ｄ画像取得部１２によって取得された複数のタイヤ１の形状画像に基づいて、タイヤ１の基準形状画像を算出するように構成されている。

例えば、第１に、図１４（ａ）に示すように、第１変換部１３は、タイヤ１の周方向に沿った１００００個のタイヤ１の断面の形状画像を取得するように構成されている。

第２に、図１４（ｂ）に示すように、第１変換部１３は、１００００個のタイヤ１の断面の形状画像を平均化した画像である平均断面画像を生成するように構成されている。

第３に、図１４（ｃ）に示すように、第１変換部１３は、平均断面画像を構成するデータのうち、極端にＹ方向（高さ方向）の位置が低い値のデータを除外して、除外した部分について直線補間することによって、タイヤ１の断面の形状画像の全体を平滑化した画像である基準形状画像を生成するように構成されている。

第４に、図１４（ｄ）に示すように、第１変換部１３は、タイヤ１の断面の形状画像において、基準形状画像よりもＹ方向（高さ方向）の位置が低い位置を、溝の底面であると判定するように構成されている。

また、本変更例１に係る外観画像生成装置１０では、２Ｄ画像取得部１５は、タイヤ１の表面（トレッド踏面）のＹ方向（高さ方向/タイヤ１の表面に垂直な方向）の位置においてピントが合っているタイヤ１の色彩画像（補正画像）＃Ａ及び溝の底面のＹ方向（高さ方向/タイヤ１の表面に垂直な方向）の位置においてピントが合っているタイヤ１の色彩画像（補正画像）＃Ｂを取得するように構成されていてもよい。

ここで、２Ｄ画像取得部１５は、上述のタイヤ１の色彩画像（補正画像）＃Ａ及びタイヤ１の色彩画像（補正画像）＃Ｂ以外のタイヤ１の色彩画像について取得しないように構成されていてもよい。

また、図１５に示すように、第２変換部１６は、上述のタイヤ１の形状画像や基準形状画像やタイヤ１の色彩画像（補正画像）＃Ａ及び＃Ｂに基づいて、タイヤ１の外観画像を生成するように構成されている。

例えば、第２変換部１６は、２Ｄ-ＬＵＴ及び３Ｄ-ＬＵＴを参照して、タイヤ１の形状画像の所定の物理座標（ｘ_ｉｊ，ｙ_ｉｊ）と、対応するタイヤ１の表面（トレッド踏面）に対応するＹ方向（高さ方向/タイヤ１の表面に垂直な方向）の位置においてピントが合っているタイヤ１の色彩画像（補正画像）＃Ａの所定の画素値と、タイヤ１の溝の底面に対応するＹ方向（高さ方向/タイヤ１の表面に垂直な方向）の位置においてピントが合っているタイヤ１の色彩画像（補正画像）＃Ｂの所定の画素値と、を合成することによって、タイヤ１の外観画像を生成するように構成されている。

本変更例１に係る外観画像生成装置１０によれば、取得すべきタイヤ１の色彩画像のデータ量を削減しつつ、形状の凹凸がほとんどない溝の底面におけるコード露出やトレッド踏面における色異物付着等についても検出することができる。

以上、上述の実施形態を用いて本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１…タイヤ、１０…外観画像生成装置、１１…３Ｄ-ＬＵＴ取得部、１２…３Ｄ画像取得部、１３…第１変換部、１４…２Ｄ-ＬＵＴ取得部、１５…２Ｄ画像取得部、１６…第２変換部、１８…判断部、１９…記憶部、２０…２Ｄカメラ、３０…３Ｄカメラ、１００…レーザ装置

Claims

被写体の外観画像を生成する外観画像生成方法であって、
３次元カメラから、前記被写体の形状画像を取得する工程Ａと、
２次元カメラから、前記被写体の色彩画像を取得する工程Ｂと、
前記形状画像及び前記色彩画像を用いて、前記外観画像を生成する工程Ｃとを有することを特徴とする外観画像生成方法。
前記工程Ｃは、
前記色彩画像に対して逆フィルタ補正処理を施すことによって、複数の補正画像を取得する工程と、
前記形状画像及び前記補正画像に基づいて、前記外観画像を生成する工程とを有することを特徴とする請求項１に記載の外観画像生成方法。
前記被写体は、タイヤであり、
前記工程Ｂにおいて、前記タイヤのトレッド踏面にピントが合っている前記被写体の色彩画像、及び、前記タイヤのトレッド踏面に設けられている溝の底面にピントが合っている前記被写体の色彩画像を取得することを特徴とする請求項１に記載の外観画像生成方法。
被写体の外観画像を生成するように構成されている外観画像生成装置であって、
３次元カメラから、前記被写体の形状画像を取得するように構成されている３次元画像取得部と、
２次元カメラから、前記被写体の色彩画像を取得するように構成されている２次元画像取得部と、
前記形状画像及び前記色彩画像を用いて、前記外観画像を生成するように構成されている変換部とを具備することを特徴とする外観画像生成装置。