JP2014142243A

JP2014142243A - 画像処理方法

Info

Publication number: JP2014142243A
Application number: JP2013010426A
Authority: JP
Inventors: Satoshi Oikawa; 聡及川; Kotaro Muraoka; 浩太郎村岡; Michinori Okubo; 巌謙大久保
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2013-01-23
Filing date: 2013-01-23
Publication date: 2014-08-07
Anticipated expiration: 2033-01-23
Also published as: JP6076103B2

Abstract

【課題】パノラマ展開画像の精度をより向上させることが可能な画像処理方法を提供する。
【解決手段】検査対象物と同じ形状を有し、穴の側壁面の上部及び下部に線５１、５２がそれぞれ設けられたマスターワーク５０の穴Ｈを検査対象物が配置される位置と同じ位置で全方位撮像装置により撮像した環状画像を用いて、極座標変換の基準となる内円Ｃ_β及び外円Ｃ_αをそれぞれ求め、極座標変換の処理中心を内円Ｃ_βの中心Ｏ_βと外円Ｃ_αの中心Ｏ_αとの間で順次移動させながら極座標変換を行い、環状画像をパノラマ展開画像に変換する。
【選択図】図５

Description

本発明は、画像処理方法、特に構造物に形成された穴の側壁面の品質を検査するために全方位撮像装置によって撮像された穴の側壁面の環状画像をパノラマ展開画像に変換する画像処理方法に関する。

例えば、エンジンのインジェクタ（燃料噴射装置）の穴の側壁面のシール範囲に巣穴や縦傷などがあると、燃料ガスが逆流する虞がある。そこで従来、内視鏡などの全方位撮像装置を使用して、このような穴の側壁面を撮像した画像から、欠陥や損傷などを検査することが行われている。このとき、全方位撮像装置で撮像した環状画像（円形画像）をパノラマ展開画像に変換して検査することが一般的に行われている。

ここで、全方位撮像装置の光軸が穴の中心軸からずれている場合、環状画像からパノラマ展開画像への変換時に、このようなカメラの光軸のずれを補正する補正処理を行う必要がある。この補正処理として、特許文献１には、ビデオカメラで管渠内面を撮像するとき、データマッチング処理を行って、ビデオカメラの光軸と管渠の中心軸とのずれ量を求めることが開示されている。

特開２０００‐３３１１６８号公報

しかしながら、上記特許文献１に記載の技術では、予め光軸と管渠の中心軸を一致させてビデオカメラを設置した状態での、基準となる画像データを保持しておく必要がある。そのため、製品のロットに変化が生じた際や、レンズを交換する際には、基準となる画像データを新たに取得する必要がある。さらに、補正処理が複雑なプロセスを経て行われ、またパターンマッチング処理には長時間を要するため、数多くの検査をこなすには非常に効率が悪いという問題がある。

また、このようなカメラの光軸と穴の中心軸とのずれ問題の他に、カメラのレンズの公差（光学製品の製品誤差）によりカメラの視野角にバラツキがあるため、環状画像をパノラマ展開画像に展開する際、精度の良いパノラマ展開画像が得られないという問題もある。

本発明は、前述した課題に鑑みてなされたものであり、その目的は、パノラマ展開画像の精度をより向上させることが可能な画像処理方法を提供することにある。

上記目的を達成するために、請求項１の発明は、
全方位撮像装置（例えば、後述の実施形態における全方位撮像装置１０）により検査対象物の穴の側壁面を撮像した環状画像を極座標変換によりパノラマ展開画像に変換する画像処理方法であって、
前記検査対象物と同じ形状を有し、穴（例えば、後述の実施形態における穴Ｈ）の側壁面の上部及び下部に線（例えば、後述の実施形態における線５１、５２）がそれぞれ設けられたマスターワーク（例えば、後述の実施形態におけるマスターワーク５０）の穴を前記検査対象物が配置される位置と同じ位置で前記全方位撮像装置により撮像する工程と、
前記マスターワークの穴の環状画像を用いて、前記極座標変換の基準となる内円（例えば、後述の実施形態における内円Ｃ_β）及び外円（例えば、後述の実施形態における内円Ｃ_α）をそれぞれ求める工程と、
前記極座標変換する基準となる処理中心を前記求めた内円の中心（例えば、後述の実施形態における内円Ｃ_βの中心Ｏ_β）と前記求めた外円の中心（例えば、後述の実施形態における外円Ｃ_αの中心Ｏ_α）との間で順次移動させながら前記極座標変換を行い、前記検査対象物の環状画像をパノラマ展開画像に変換する工程と、
を備えることを特徴とする。

請求項２に係る発明は、請求項１の構成において、
前記内円及び前記外円を求める工程は、前記マスターワークの上部及び下部の線に対応する環状画像中の像を、それぞれ仮外円（例えば、後述の実施形態における仮外円Ｃ₂）及び仮内円（例えば、後述の実施形態における仮内円Ｃ₁）とし、
前記仮外円及び仮内円を通る円錐（例えば、後述の実施形態における円錐Ｃ）が、前記マスターワークの穴の環状画像の最外周円（例えば、後述の実施形態における最外周円Ｏ_out）と内接する位置における前記円錐の軸（例えば、後述の実施形態における円錐の軸Ｌ）に垂直な断面、及び前記マスターワークの穴の環状画像の最内周円（例えば、後述の実施形態における最内周円Ｏ_in）と外接する位置における前記円錐の軸に垂直な断面を、それぞれ前記前記極座標変換の基準となる前記外円及び前記内円とすることを特徴とする。

請求項３に係る発明は、請求項１または２の構成において、
前記マスターワークには、穴の側壁面に周方向に所定長さで軸方向に等間隔で複数の線（例えば、後述の実施形態における複数の線５３）がさらに設けられており、
前記マスターワークの穴の環状画像を用いて、前記極座標変換により前記環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求める工程と、
をさらに備えることを特徴とする。

上記目的を達成するために、請求項４に係る発明は、
全方位撮像装置（例えば、後述の実施形態における全方位撮像装置１０）により検査対象物の穴の側壁面を撮像した環状画像を極座標変換によりパノラマ展開画像に変換する画像処理方法であって、
前記検査対象物と同じ形状を有し、穴（例えば、後述の実施形態における穴Ｈ）の側壁面に周方向に所定長さで軸方向に等間隔で複数の線（例えば、後述の実施形態における複数の線５３）が設けられたマスターワーク（例えば、後述の実施形態におけるマスターワーク５０）の穴を前記検査対象物が配置される位置と同じ位置で前記全方位撮像装置により撮像する工程と、
前記マスターワークの穴の環状画像を用いて、前記極座標変換により前記環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求める工程と、
を備えることを特徴とする。

請求項５に係る発明は、請求項４の構成において、
前記視野角を求める工程は、前記マスターワークの穴の環状画像を複数の視野角でパノラマ展開画像に展開し、各視野角に対するパノラマ展開画像における前記複数の線の像の線間距離の差が最小となるような視野角を、パノラマ展開画像に変換する際の展開パラメータとして選定することを特徴とする。

請求項１の発明によれば、検査対象物と同じ形状を有し、穴の側壁面の上部及び下部に線がそれぞれ設けられたマスターワークの穴の環状画像を用いて、検査対象物の環状画像をパノラマ展開画像に展開する際の極座標変換の基準となる内円及び外円を求めるようにしたため、カメラの光軸と検査対象物の穴の中心軸とのずれを補正して、より歪みのないパノラマ展開画像を得ることが可能となる。

請求項２の発明によれば、マスターワークの上部及び下部の線に対応する環状画像中の像を、それぞれ仮外円及び仮内円とし、これら仮外円及び仮内円を通る円錐を考えることにより、検査対象物の環状画像をパノラマ展開画像に展開する際の極座標変換の基準となる内円及び外円を簡単により正確に求めることが可能となる。

請求項３の発明によれば、カメラ光軸のずれを補正するとともに、マスターワークの穴の側壁面に周方向に所定長さかつ軸方向に等間隔に設けられた複数の線の像を用いて、極座標変換により環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求めることで、歪みのない、より精度の良いパノラマ展開画像を得ることが可能となる。

請求項４の発明によれば、マスターワークの穴の側壁面に周方向に所定長さかつ軸方向に等間隔に設けられた複数の線の像を用いて、極座標変換により環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求めるようにしたため、より精度の良いパノラマ展開画像を得ることが可能となる。

請求項５の発明によれば、パノラマ展開画像を得るのに最適な視野角を正確に求めることができ、より精度の良いパノラマ展開画像を得ることが可能となる。

本発明の一実施形態に係る全方位撮像システムにより穴側壁面を撮像する状態を示す説明図である。本発明の一実施形態で用いられるマスターワークを示す（ａ）は軸方向に沿った断面図、（ｂ）は斜視図である。図２に示すマスターワークの穴の環状画像を示す説明図である。本発明の一実施形態に係る全方位撮像システムによるマスターワークに対する処理を示すフローチャートである。マスターワークの環状画像を示す説明図である。内円及び外円を求める様子を示す説明図である。視野角を求める様子を示す説明図であり、（ａ）、（ｂ）はそれぞれ異なる視野角によるパノラマ展開画像を示す。ピッチの測定法を示す説明図である。実際の検査対象物である各ワークに対する処理を示すフローチャートである。補正後のパノラマ展開画像を示す説明図である。

以下、本発明の一実施形態に係る画像処理方法について図面を参照しながら説明する。図１は、本発明の画像処理方法を実行するための全方位撮像システムを示すブロック図である。
なお、本実施形態の画像処理方法で撮像される穴は、インジェクタを配置するために形成された穴としているが、その用途、形状、穴径、深さなどは限定されない。例えば、穴は、貫通穴であっても、底壁を有する穴であってもよく、穴径が一定のストレート穴や、穴径が漸次変化するテーパ穴であってもよい。

図１に示すように、全方位撮像システム１００は、全方位撮像装置１０、画像処理装置２０及び表示装置３０から構成されている。全方位撮像装置１０は、周囲３６０°の全方位にある穴Ｈの側壁面を撮像して得た環状画像（円形画像）データを出力する。全方位撮像装置１０は、３６０°を撮像可能な広角レンズ（全方位撮像レンズ）１１、及び広角レンズ１１を介して入射光が入力されるイメージセンサ１２などを備えている。

広角レンズ１１は、イメージセンサ１２の受光面の前方に配設される。これにより、イメージセンサ１２の受光面には、広角レンズ１１による環状（円形）の像が結像する。

イメージセンサ１２は、ＣＣＤやＣＭＯＳ等からなる受光素子が２次元状に配列されてなり、各受光素子は受光光量に応じた値を出力する。これにより、イメージセンサ１２は、複数の受光素子から出力される複数の受光光量値を有する輝度分布データを生成する。イメージセンサ１２が生成した環状の輝度データ分布はＡ／Ｄ変換され、環状画像データとして画像処理装置２０に出力される。

画像処理装置２０は、その機能ブロックとして、環状画像入力部２１、画像変換部２２、展開画像出力部２３、及び補正データ取得部２４を有している。なお、画像処理装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、画像メモリ等を備えた所謂マイクロコンピュータから構成されている。

全方位撮像装置１０から入力された環状画像データは、環状画像入力部２１を介して画像処理装置２０に取り込まれる。画像処理装置２０に取り込まれた環状画像データは、画像変換部２２でパノラマ展開画像データに変換され、展開画像出力部２３を介して表示装置３０に出力される。表示装置３０は、液晶ディスプレイ、有機ＥＬディスプレイ、あるいはＣＲＴディスプレイなどの周知の表示装置からなる。

表示装置３０に表示されたパノラマ展開画像は、検査員の目視により、穴の側壁面の欠陥の有無等が検査される。あるいは、図示を省略するが、パノラマ展開画像データを画像解析装置で解析することによって自動的に穴の側壁面の欠陥の有無等を判定するようにしても良い。

ところで、全方位撮像装置１０によって撮像される穴Ｈの環状画像は、外円（最外周円）と内円（最内周円）とに挟まれた環状の領域からなる。ここで、外円（最外周円）は、環状画像の外周側境界であり、穴Ｈの上側開口または全方位撮像装置１０の撮像限界を示す。また、内円（最内周円）は、穴Ｈの下側開口、穴Ｈの底面縁、穴Ｈ内の角部など、穴Ｈの断面円形状部分の下側端を示す。このように、内円は、穴Ｈが貫通穴でなくとも発現する。なお、穴Ｈ内に角部がない場合であっても、光の当て方を工夫することによって、内円を発現させることは可能である。

画像変換部２２は、環状画像の画像データ（環状画像データ）を極座標変換して、パノラマ展開画像データを生成する。

ところで、図１において、Ｌ１を全方位撮像装置１０の光軸とし、Ｌ２を穴Ｈの中心軸としたとき、全方位撮像装置１０の光軸Ｌ１と穴Ｈの中心軸Ｌ２との間に位置ずれがない場合には、環状画像の内円の中心と外円の中心とが一致し、同じ高さの部位を撮像したそれぞれの画像は、環状画像ではすべて同心円上に位置し、極座標展開したとき、水平線状になる。

一方、全方位撮像装置１０の光軸Ｌ１と穴Ｈの中心軸Ｌ２との間に位置ずれが存在する場合には、環状画像において、外円（最外周円）の中心と、内円（最内周円）の中心とは、位置がずれており、さらに穴Ｈの側壁面の同じ高さの部位を撮像したものも、同心円状とはならずに少しずつずれてしまう。このため、光軸Ｌ１と穴Ｈの中心軸Ｌ２との間に位置ずれがある場合の環状画像を単に極座標変換しただけでは、実際には穴Ｈ側壁の同じ高さの部位を撮像したものが、水平線状ではなく、波打った線状になってしまう。

また、歪みが全くない理想的な広角レンズ１１で撮影した環状画像では、等間隔の高さの穴壁面を撮像した画像が等間隔の同心円を描く。しかし、広角レンズ１１に鉛直方向の歪みがあると、その環状画像は同心円の間隔が不均一となってしまう。

例えば、広角レンズが魚眼レンズであるとき、一般的に、被撮像体の画像は周辺部ほど歪みが大きい。したがって、全方位撮像装置１０の広角レンズ１１（図１参照）に魚眼レンズを使用すると、被撮像体は画角的に中心部に撮像される場合に比べて、周辺部に撮像される場合の方が大きく撮像される。

これに対して、パノラマ展開画像では、被撮像体は、本来の大きさのバランスで表示されることが望ましく、極座標変換の処理円の半径を順次大きくしながら環状画像をパノラマ展開画像に変換するようしている。

さらに、広角レンズ１１は光学製品であるため、製品誤差があり、どうしても製品毎にバラツキがあり、実際のレンズの視野角にはバラツキがある。そのため、画像変換部２２で単に環状画像を極座標変換しただけでは、変換時に使用する視野角との間に誤差が生じることから、実際の間隔に対応しない間隔を有するパノラマ展開画像として表現されてしまい、正しい検査を行うことができない。

そこで、補正データ取得部２４は、光軸の位置ずれや視野角のバラツキを補正するための補正データを取得し、画像変換部２２は、この補正データを用いて環状画像データをパノラマ展開画像データに変換し、より精度の高いパノラマ展開画像を得るようにしている。

本実施形態においては、全方位撮像装置１０の光軸の位置ずれ及び視野角のバラツキを補正するための補正データを取得するために、所定のマスターワーク５０が用いられる。図２に示すように、このマスターワーク５０は、検査対象物と同じ形状を有した穴Ｈを有する円筒であり、穴Ｈの上部で、上側開口から若干下方の位置にはその側壁面を一周する線５１が設けられ、穴Ｈの下部で、下側開口縁部から若干上方の位置にも側壁面を一周する線５２が設けられている。また、マスターワーク５０には、さらに、これらの線５１、５２の間に、周方向に所定長さで且つ軸方向に等間隔で複数の線５３が設けられている。なお、図２（ａ）中、αは穴Ｈを撮像する際の全方位撮像装置１０の視野角を表わしている。

次に、マスターワーク５０を用いて、全方位撮像装置１０の光軸の位置ずれ及び視野角のバラツキを補正するための補正データを取得する、全方位撮像システム１００の処理動作について、図４に示すフローチャートに沿って説明する。

まず、図４のステップＳ１００において、図１に示すように、マスターワーク５０の穴Ｈに対して、全方位撮像装置１０の先端部を向けて、穴Ｈの側壁面を撮像する。例えば、図１において、全方位撮像装置１０の光軸とマスターワーク５０の穴Ｈの中心軸との間に位置ずれがないとして、２つの線５１、５２を含むように全方位撮像装置１０で穴Ｈの環状画像を撮像した場合には、図３に示すような同心円状の環状画像が撮像される。

そして、全方位撮像装置１０が撮像して取得した環状画像データは、画像処理装置２０の環状画像入力部２１に出力される。画像処理装置２０に入力された環状画像データは前記画像メモリに格納される。

補正データ取得部２４は、画像メモリからマスターワーク５０の環状画像データを受け取ると、全方位撮像装置１０の位置ずれ及び視野角のバラツキを補正するための補正データを取得する処理を行う。

図５は、マスターワーク５０の環状画像を示し、穴Ｈの上側開口に対応する像である最外周円をＣ_out、穴Ｈの下側開口に対応する像である最内周円をＣ_in、穴Ｈの上部の線５１に対応する像を仮外円Ｃ₂、穴Ｈの下部の線５２に対応する像を仮内円Ｃ₁としている。そして、補正データとして求めるべき、極座標変換の基準となる処理円である外円及び内円をそれぞれＣ_α及びＣ_βとする。

補正データ取得部２４における処理として、まずステップＳ１１０において、図５の環状画像から、最外周円Ｃ_out、及び最内周円Ｃ_inを抽出する。これらの円は、上記環状画像から画像処理の円エッジ探傷によって求められる。

また、ステップＳ１２０において、補正データ取得部２４は、図５の環状画像から、仮外円Ｃ₂及び仮内円Ｃ₁を抽出する。これらの円も、上と同様の画像処理の円エッジ探傷によって求められる。

そして、補正データ取得部２４は、ステップＳ１３０において、これら４つの円、最外周円Ｃ_out、最内周円Ｃ_in、仮外円Ｃ₂及び仮内円Ｃ₁から、極座標変換の基準となる処理円である外円Ｃ_α及び内円Ｃ_βの中心及び半径を算出する。

具体的には、外円Ｃ_α及び内円Ｃ_βは、仮外円Ｃ₂及び仮内円Ｃ₁を通る円錐を考え、この円錐が最外周円Ｃ_out及び最内周円Ｃ_inとそれぞれ接する位置における円錐の軸に対する垂直断面の円として求められる。すなわち、仮外円Ｃ₂及び仮内円Ｃ₁をある高さに設定した円錐を膨らませていき、最外周円Ｃ_outと内接するとき、その接点での円錐の軸に対する垂直断面を外円Ｃ_αとする。また、仮外円Ｃ₂及び仮内円Ｃ₁をある高さに設定した円錐を小さくしていき、最内周円Ｃ_inと外接するとき、その接点での円錐の軸に対する垂直断面を内円Ｃ_βとする。

以下、この外円Ｃ_α及び内円Ｃ_βの算出方法を詳しく説明する。
まず、全方位撮像装置１０の光軸Ｌ１は、マスターワーク５０の穴Ｈの中心軸Ｌ２に対して傾いており、位置ずれを有し、図５の環状画像に示されるように、各円は同心円状にはないものとする。そこで仮外円Ｃ₂及び仮内円Ｃ₁をある高さに断面として含む円錐を考えると、その軸は鉛直方向に対して傾いている。また、上記円、最外周円Ｃ_out、最内周円Ｃ_in、仮外円Ｃ₂及び仮内円Ｃ₁は、すべて平行な平面上にあるものとし、これらの平面に平行な平面をｘｙ平面にとり、円錐の軸に平行な直線をｚ軸とする。

図６は、仮外円Ｃ₂及び仮内円Ｃ₁を通る円錐、及びこれらの円を示す。上述したように、仮外円Ｃ₂及び仮内円Ｃ₁を通り最外周円Ｃ_outに内接する円錐と、仮外円Ｃ₂及び仮内円Ｃ₁を通り最内周円Ｃ_inに外接する円錐とは一般には別の円錐となるであろうが、ここでは簡単のため一つの円錐Ｃで表している。

そして、仮内円Ｃ₁の中心をＯ₁（ｘ₁，ｙ₁）、半径をＲ₁、高さをｚ₁、仮外円Ｃ₂の中心をＯ₂（ｘ₂，ｙ₂）、半径をＲ₂、高さをｚ₂とし、最内周円Ｃ_inの中心をＯ_in（ｘ_in，ｙ_in）、半径をＲ_in、高さをｚ_in、最外周円Ｃ_outの中心をＯ_out（ｘ_out，ｙ_out）、半径をＲ_out、高さをｚ_out、とし、また求めるべき外円Ｃ_αの中心をＯ_α（ｘ_α，ｙ_α）、半径をＲ_α、高さをｚ_α、内円Ｃ_βの中心をＯ_β（ｘ_β，ｙ_β）、半径をＲ_β、高さをｚ_β、とする。

まず外円については、図６より、次の式（１）が成り立つ。

外円を求めるために、以下の式（２）のようにａ、ｂ、ｃをとり、また、任意の基準ｘ₀、ｙ₀、Ｒ₀をとり、高さｚをパラメータにとり
ｘ＝ａｚ＋ｘ₀
ｙ＝ｂｚ＋ｙ₀
Ｒ＝ｃｚ＋Ｒ₀
として、円錐の高さｚにおける断面の円を、中心（ｘ，ｙ）、半径Ｒで表す。

例えば、高さｚ＝ｚ₁のとき、この円は仮内円Ｃ₁、すなわち中心（ｘ₁，ｙ₁）、半径Ｒ₁となるので、ｘ＝ｘ₁、ｙ＝ｙ₁、Ｒ＝Ｒ₁となる。

ここで、例えばｚ₁＝０、ｚ₂＝１とすると、上記ｘ、ｙ、Ｒの式でｚ＝０とおくと、ｘ＝ｘ₀、ｙ＝ｙ₀、Ｒ＝Ｒ₀となる。よって、ｘ₁＝ｘ₀、ｙ₁＝ｙ₀、Ｒ₁＝Ｒ₀となる。一方、式（２）においてｚ₁＝０、ｚ₂＝１とすると、ａ＝ｘ₂−ｘ₁、ｂ＝ｙ₂−ｙ₁、ｃ＝Ｒ₂−Ｒ₁となる。

これより、上記ｘ、ｙ、Ｒの式は、
ｘ＝ａｚ＋ｘ₁
ｙ＝ｂｚ＋ｙ₁
Ｒ＝ｃｚ＋Ｒ₁
となる。

ｚ＝ｚ_αのとき、円錐の断面の円は外円Ｃ_αとなるので、その中心及び半径より、
ｘ_α＝ａｚ_α＋ｘ₁
ｙ_α＝ｂｚ_α＋ｙ₁
Ｒ_α＝ｃｚ_α＋Ｒ₁
となる。

また、図６より、最外周円Ｃ_outの中心Ｏ_outと外円Ｃ_αの中心Ｏ_αとの距離は、それぞれの円の半径の差Ｒ_out−Ｒ_αに等しい。また、ｘ_α−ｘ_out＝ａｚ_α＋ｘ₁−ｘ_out、ｙ_α−ｙ_out＝ａｚ_α＋ｙ₁−ｙ_out、及びＲ_out−Ｒ_α＝Ｒ_out−（ｃｚ_α＋Ｒ₁）＝−（ｃｚ_α＋Ｒ₁−Ｒ_out）となる。

ここで、ｄ＝ｘ₁−ｘ_out、ｅ＝ｙ₁−ｙ_out、及びｆ＝Ｒ₁−Ｒ_outとおくと、次の式（３）が成り立つ。

式（３）の両辺を二乗してｚ_αの二次方程式を解くと、次の式（４）のようにｚ_αが求まる。ただし、Ａ＝ａ²＋ｂ²−ｃ²、Ｂ＝２（ａｄ＋ｂｅ−ｃｆ）、Ｃ＝ｄ²＋ｅ²−ｆ²である。また、ここで外円としては、図６に示すように最外周円Ｃ_outの内接円を求めたいので、上記ｚ_αの２つの解のうち小さい方の値をとる。

このｚ_αの値を上記ｘ、ｙ、Ｒの式に代入して、
ｘ_α＝ａｚ_α＋ｘ₁
ｙ_α＝ｂｚ_α＋ｙ₁
Ｒ_α＝ｃｚ_α＋Ｒ₁
のように、外円の中心（ｘ_α，ｙ_α）と半径Ｒ_αを求めることができる。

次に、内円の算出についても外円と同様である。すなわち、内円については、図６より、次の式（５）が成り立つ。

内円の場合にも外円の場合と同様に上記式（２）のようにａ、ｂ、ｃをとり、任意の基準ｘ₀、ｙ₀、Ｒ₀をとり、高さｚをパラメータにとり、
ｘ＝ａｚ＋ｘ₀
ｙ＝ｂｚ＋ｙ₀
Ｒ＝ｃｚ＋Ｒ₀
として、円錐の高さｚにおける断面の円を、中心（ｘ，ｙ）半径Ｒで表す。

ｚ₁＝０、ｚ₂＝１とすると、ｘ₁＝ｘ₀、ｙ₁＝ｙ₀、Ｒ₁＝Ｒ₀及びａ＝ｘ₂−ｘ₁、ｂ＝ｙ₂−ｙ₁、ｃ＝Ｒ₂−Ｒ₁となる。これより、外円の場合と同様に、
ｘ＝ａｚ＋ｘ₁
ｙ＝ｂｚ＋ｙ₁
Ｒ＝ｃｚ＋Ｒ₁
となる。

また、図６より、最内周円Ｃ_inの中心Ｏ_inと内円Ｃ_βの中心Ｏ_βとの距離は、それぞれの円の半径の差Ｒ_β−Ｒ_inに等しい。また、ｄ＝ｘ₁−ｘ_in、ｅ＝ｙ₁−ｙ_in、及びｆ＝Ｒ₁−Ｒ_inとおくと、次の式（６）が成り立つ。

式（６）の両辺を二乗してｚ_βの二次方程式を解くと、上記式（４）の右辺と同様の式でｚ_βが求まる。ただし、Ａ＝ａ²＋ｂ²−ｃ²、Ｂ＝２（ａｄ＋ｂｅ−ｃｆ）、Ｃ＝ｄ²＋ｅ²−ｆ²である。また、ここで内円としては、図６に示すように最内周円Ｃ_inの外接円を求めたいので、上記ｚ_βの２つの解のうち大きい方の値をとる。

このｚ_βの値を上記ｘ、ｙ、Ｒの式に代入して、
ｘ_β＝ａｚ_β＋ｘ₁
ｙ_β＝ｂｚ_β＋ｙ₁
Ｒ_β＝ｃｚ_β＋Ｒ₁
のように、内円の中心（ｘ_β，ｙ_β）と半径Ｒ_βを求めることができる。

以上のようにして求めた極座標変換の基準となる処理円として、外円Ｃ_αの中心Ｏ_αと半径Ｒ_α及び内円Ｃ_βの中心Ｏ_βと半径Ｒ_β、は補正データ取得部２４に保存される。そして、実際の各ワーク（検査対象物）の処理において、画像変換部２２は、これらの補正データを補正データ取得部２４から得て、環状画像データをパノラマ展開画像データに変換する。

次に、補正データ取得部２４は、もう一つの補正データとして、環状画像をパノラマ展開画像に展開する際の視野角を求める。

まず、ステップＳ１４０において、図３に示すようなマスターワーク５０の環状画像を、上で得た外円Ｃ_α及び内円Ｃ_βの設定を用いてパノラマ展開画像に展開する。その際、展開パラメータの視野角を、全方位撮像装置１０の製品誤差の範囲内で振り、複数のパノラマ展開画像を作成する。

本実施形態においては、もともと製品の視野角が１０８°であるところ、誤差を考慮して、８０°から１２５°まで１°刻みで視野角を振り、それぞれの視野角でパノラマ展開画像に展開した。

図７に、図２のマスターワーク５０の穴Ｈの環状画像を展開したパノラマ展開画像の例を示す。図７（ａ）は、視野角８０°で展開したものであり、図７（ｂ）は、視野角１２０°で展開したものである。

マスターワーク５０の穴Ｈの側壁面に形成された複数の線５３（図２参照）のピッチは、一定間隔（例えば、１ｍｍピッチ）であり、これら複数の線５３のパノラマ展開画像における像は、所定のピッチとなる。図７に示すようなパノラマ展開画像において、補正データ取得部２４は、これらの線の像について画像処理により各ピッチの距離を測定する。

図７のようなパノラマ展開画像において、全方位撮像装置１０のレンズの特性上、どうしても画面の下の方がぼやけてしまう。そこで、図８に示すように、線の両側からエッジ処理をかけ、エッジＥとエッジＦの中点Ｐ＝（Ｅ＋Ｆ）／２を線の中心とする。こうすることにより、測定誤差を小さくすることができる。

このようにして求めた各線の位置をＰ_iとして、各線間距離（ピッチ）Ｌ_i＝Ｐ_i+1−Ｐ_iを求める。

そして、ステップＳ１５０において、補正データ取得部２４は、求めた線間距離Ｌ_iに対して各線間距離の差が最小となるような視野角を選定する。この線間距離の差の最小の算出には、最小絶対残差を用いる。すなわち、次の式（７）の値Ｄを最小とするような視野角を求める。

なお、Ｌ_aveは、式（７）の値Ｄを最小にする定数である。

このようにして補正データ取得部２４は、環状画像をパノラマ展開画像に展開する際に最適な視野角を算出し、この視野角を保存する。そして、実際の各ワーク（検査対象物）を処理する際、画像変換部２２は、補正データ取得部２４から上で算出された視野角を得、この視野角を用いて環状画像データをパノラマ展開画像データに変換する。

このように本実施形態においては、マスターワーク５０を用いて、全方位撮像装置１０の光軸の位置ずれ及び視野角のバラツキを補正するための補正データを算出している。そして、各検査対象物（ワーク）の検査においては、この補正データを用いて極座標変換が行われ、環状画像データがパノラマ展開画像データに展開される。

次に、図９のフローチャートに沿って、各検査対象物（ワーク）の処理について説明する。

まず、ステップＳ２００において、各検査対象物の穴Ｈを、図１に示すように全方位撮像装置１０によって撮像して、環状画像データを取得する。取得した環状画像データは環状画像入力部２１に入力される。

次に、ステップＳ２１０において、画像変換部２２は、環状画像入力部２１から検査対象物の環状画像データを受け取り、これをパノラマ展開画像データに変換する。画像変換部２２は、先に補正データ取得部２４においてマスターワーク５０から得られている補正データ（処理外円、内円及び視野角）を用いて、環状画像データを極座標変換してパノラマ展開画像データに変換する。

パノラマ展開画像データへの変換は、内円Ｃ_βの中心Ｏ_βを中心として、分解能等によって定めた角度毎に周方向に、内円半径Ｒ_βを半径とした処理円上に位置する環状画像データを極座標変換して、水平方向に直線状に展開する。なお、算出された画素位置が環状画像データの最小画素の位置に一致するとは限らない。これらの位置が一致しない場合、算出された画素位置に接している割合で環状画像データ（輝度データ）を補間計算して、算出された画素位置における画素データ（輝度データ）を求めればよい。

この展開作業は、処理円中心を内円Ｃ_βの中心Ｏ_βから外円Ｃ_αの中心Ｏ_αに順次、分解能等によって定めた間隔毎に直線状に移動させながら繰り返す。これと同時に処理円半径を、広角レンズ１１の鉛直方向歪みを補正するように、内円半径Ｒ_βから外円半径Ｒ_αに向けて順次長くする。このようにして環状画像データを内円Ｃ_βから外円Ｃ_αに向かって順次極座標変換する。

ステップＳ２２０において、パノラマ展開画像データは展開画像出力部２３を介してパノラマ画像として表示装置３０に表示される。このようにマスターワーク５０から得られた補正データを用いて変換されたパノラマ展開画像は、図１０に示すように、水平方向に直線状の展開画像が順次積み上がり、歪みのない等ピッチのパノラマ展開画像となる。検査者は、このパノラマ画像表示を見て検査対象物の穴側壁面の検査を正確に行うことができる。

そして、上記マスターワーク５０から得られた補正データを用いて、ステップＳ２００からステップＳ２２０の処理を繰り返し行い、各検査対象物に対して検査が行われる。

このように本実施形態においては、マスターワーク５０を用いて補正データを取得しているが、上述したように、このマスターワーク５０は、検査対象物と同じ形状を有し、穴Ｈの側壁面の上部及び下部に線５１、５２がそれぞれ設けられており、さらにこの穴の側壁面の上部及び下部に設けられた線５１、５２の間に、周方向に所定長さで且つ軸方向に等間隔で複数の線５３が設けられている。そして、マスターワーク５０の穴Ｈを、検査対象物が配置される位置と同じ位置で全方位撮像装置１０により撮像した環状画像から、極座標変換の処理円としての外円Ｃ_α及び内円Ｃ_βを求めるとともに、パノラマ展開画像に展開する際の視野角を求めるようにしている。

そして本実施形態では、このようにして取得した補正データにより、各検査対象物を撮像した環状画像データをパノラマ展開画像データに変換するようにしたため、光軸の位置ずれを補正するとともに、視野角のバラツキを補正して、より高精度なパノラマ展開画像を得ることが可能となり、検査精度が向上した。また、一度マスターワークから補正データを取得すれば、これを用いて各検査対象物の検査を行うことができるので検査効率も向上する。

尚、本発明は、前述した実施形態に限定されるものでなく、適宜、変形、改良等が可能である。

１０全方位撮像装置
１１広角レンズ
１２イメージセンサ
２０画像処理装置
２１環状画像入力部
２２画像変換部
２３展開画像出力部
２４補正データ取得部
３０表示装置
５０マスターワーク
５１マスターワークの穴上部の線
５２マスターワークの穴下部の線
５３マスターワークの穴の等間隔の複数の線

Claims

全方位撮像装置により検査対象物の穴の側壁面を撮像した環状画像を極座標変換によりパノラマ展開画像に変換する画像処理方法であって、
前記検査対象物と同じ形状を有し、穴の側壁面の上部及び下部に線がそれぞれ設けられたマスターワークの穴を前記検査対象物が配置される位置と同じ位置で前記全方位撮像装置により撮像する工程と、
前記マスターワークの穴の環状画像を用いて、前記極座標変換の基準となる内円及び外円をそれぞれ求める工程と、
前記極座標変換する基準となる処理中心を前記求めた内円の中心と前記求めた外円の中心との間で順次移動させながら前記極座標変換を行い、前記検査対象物の環状画像をパノラマ展開画像に変換する工程と、
を備えることを特徴とする画像処理方法。
前記内円及び前記外円を求める工程は、前記マスターワークの上部及び下部の線に対応する環状画像中の像を、それぞれ仮外円及び仮内円とし、
前記仮外円及び仮内円を通る円錐が、前記マスターワークの穴の環状画像の最外周円と内接する位置における前記円錐の軸に垂直な断面、及び前記マスターワークの穴の環状画像の最内周円と外接する位置における前記円錐の軸に垂直な断面を、それぞれ前記前記極座標変換の基準となる前記外円及び前記内円とすることを特徴とする請求項１に記載の画像処理方法。
前記マスターワークには、穴の側壁面に周方向に所定長さで軸方向に等間隔で複数の線がさらに設けられており、
前記マスターワークの穴の環状画像を用いて、前記極座標変換により前記環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求める工程と、
をさらに備えることを特徴とする請求項１または２に記載の画像処理方法。
全方位撮像装置により検査対象物の穴の側壁面を撮像した環状画像を極座標変換によりパノラマ展開画像に変換する画像処理方法であって、
前記検査対象物と同じ形状を有し、穴の側壁面に周方向に所定長さで軸方向に等間隔で複数の線が設けられたマスターワークの穴を前記検査対象物が配置される位置と同じ位置で前記全方位撮像装置により撮像する工程と、
前記マスターワークの穴の環状画像を用いて、前記極座標変換により前記環状画像をパノラマ展開画像に変換する際の展開パラメータの視野角を求める工程と、
を備えることを特徴とする画像処理方法。
前記視野角を求める工程は、前記マスターワークの穴の環状画像を複数の視野角でパノラマ展開画像に展開し、各視野角に対するパノラマ展開画像における前記複数の線の像の線間距離の差が最小となるような視野角を、パノラマ展開画像に変換する際の展開パラメータとして選定することを特徴とする請求項４に記載の画像処理方法。