JP2016090333A - 画像処理装置、検査装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】高精度な画像処理装置、検査装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置は、取得部１０と処理部２０とを含む。取得部１０は、対象物の像を含む第１撮像画像３０２と、第１関係と、を含む情報を取得する。第１撮像画像３０２の第１、第２画像領域ｒ１、ｒ２は、対象物の第１、第２位置ｐ１、ｐ２に対応し、第１、第２画素値を有する。第１関係は、第１画像領域ｒ１の位置と、第１位置ｐ１との間の関係である。処理部２０は、画像生成処理と、距離算出処理と、を実施する。画像生成処理では、第１、第２位置にそれぞれ対応する第３、第４画像領域ｒ３、ｒ４を含む画像を生成する。画像生成処理では、第３、第４画像領域の画素値を、情報と第１、第２画素値とに基づいて決定する。距離算出処理では、第３、第４画像領域の実空間での第１、第２距離Ｌ１，Ｌ２を算出する。第１距離Ｌ１は、第２距離Ｌ２と異なる。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、検査装置、画像処理方法及び画像処理プログラムに関する。

道路面、壁面、トンネル内壁などの特定の構造物を仮想的に垂直方向から観測した画像（以下、オルソ画像という）がある。オルソ画像は、撮像画像から生成される。撮像画像は、車両やロボットなどの移動体に設置されたカメラ等の撮像装置により撮像される。オルソ画像は、例えば、仮想的に上空から見下ろした画像であるため、停止線や文字などの道路面上のパターン模様の認識に利用することができる。このようなオルソ画像を処理する画像処理装置においては、例えば、道路面上のひび割れ検査等を高精度に行うことが望まれている。

特許第５３２２７８９号公報

本発明の実施形態は、高精度な画像処理装置、検査装置、画像処理方法及び画像処理プログラムを提供する。

実施形態に係る画像処理装置は、取得部と、処理部と、を含む。前記取得部は、実空間に設けられた対象物の第１像を含む第１撮像画像と、第１関係と、を含む情報を取得する。前記第１撮像画像の第１画像領域は、前記対象物の第１部分の第１位置に対応し第１画素値を有する。前記第１撮像画像の第２画像領域は、前記対象物の第２部分の第２位置に対応し第２画素値を有する。前記第１関係は、前記第１画像領域の位置と前記第１位置との間の関係である。前記処理部は、第１画像生成処理と、第１距離算出処理と、を実施する。前記第１画像生成処理では、第１生成画像を生成する。前記第１生成画像は、前記第１位置に対応する第３画像領域、及び、前記第２位置に対応する第４画像領域を含み、前記対象物を第１平面に投影した画像である。前記第１画像生成処理では、前記第３画像領域の第３画素値を、前記情報と前記第１画素値とに基づいて決定し、前記第４画像領域の第４画素値を、前記情報と前記第２画素値とに基づいて決定する。前記第１距離算出処理では、前記第３画像領域の第１方向の長さに対応する前記実空間での第１距離と、前記第４画像領域の前記第１方向の長さに対応する前記実空間での第２距離と、を算出する。前記第３画像領域の前記第１方向の前記長さは、前記第４画像領域の前記第１方向の前記長さと同じである。前記第１距離は、前記第２距離と異なる。

第１の実施形態に係る画像処理装置を例示するブロック図である。 移動体、撮像部、対象物及び画像処理装置を例示する模式図である。 第１の実施形態に係る画像処理方法を例示するフローチャート図である。 撮像部と対象物との位置関係を例示する模式図である。 図５（ａ）及び図５（ｂ）は、第１撮像画像及び第１生成画像を例示する図である。 第１撮像画像、対象物及び第１生成画像の関係を例示する模式図である。 図５（ｂ）の第１生成画像に対応する距離マップを例示する図である。 第２の実施形態に係る画像処理装置を例示するブロック図である。 第２の実施形態に係る画像処理方法を例示するフローチャート図である。 第３の実施形態に係る画像処理装置を例示するブロック図である。 第３の実施形態に係る画像処理方法を例示するフローチャート図である。 移動体を上部から観察した様子を例示する模式図である。 複数のオルソ画像から算出される運動ベクトルを例示する模式図である。 第４の実施形態に係る検査装置を例示するブロック図である。 第４の実施形態に係る検査方法を例示するフローチャート図である。

以下に、本発明の各実施の形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置を例示するブロック図である。
実施形態の画像処理装置１１０は、取得部１０と、処理部２０と、を含む。取得部１０には、例えば、入出力端子が用いられる。取得部１０は、有線または無線を介して外部と通信する入出力インターフェイスを含む。処理部２０には、例えば、ＣＰＵ（Central Processing Unit）やメモリなどを含む演算装置が用いられる。処理部２０の各ブロックの一部、又は全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

処理部２０には、画像生成部２１と、距離算出部２２と、が設けられる。これらの各部は、例えば、画像処理プログラムとして実現される。すなわち、画像処理装置１１０は、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現される。画像処理装置１１０に含まれる各部の機能は、上記のコンピュータ装置に搭載されたプロセッサに画像処理プログラムを実行させることにより実現することができる。このとき、画像処理装置１１０は、上記の画像処理プログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記の画像処理プログラムを配布して、この画像処理プログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、処理部２０は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

図２は、移動体、撮像部、対象物及び画像処理装置を例示する模式図である。
移動体１００は、例えば、車両、ロボット、飛行体などの移動体全般が対象とされる。移動体１００には、１つ以上の撮像部１０１が搭載される。撮像部１０１は、領域１０２を撮像範囲として観測する。領域１０２には、対象物１０３が含まれており、この例では、対象物１０３は道路面である。対象物１０３は道路面以外でもよい。対象物１０３は、建物の壁面、床面、天井面、道路の側壁、トンネルの内壁、橋梁の側面、下面、さらには、エレベータ昇降路の壁面、天井面、床面など、概ね平面または円筒型、直方形状の筒などで形成された構造物でもよい。

この例では、移動体１００が対象物１０３の上を進行方向１０４に向かって移動する。つまり、撮像部１０１は、対象物１０３を斜め上から撮像する。なお、移動体１００の進行方向１０４に沿う方向をＹ軸方向、Ｙ軸方向と直交する方向をＺ軸方向、Ｙ軸方向及びＺ軸方向と直交する方向をＸ軸方向とする。Ｚ軸方向は、移動体１００の高さ方向に沿う。Ｘ軸方向は、移動体１００の奥行き（幅）方向に沿う。

画像処理装置１１０は、例えば、撮像部１０１と共に移動体１００に搭載される。画像処理装置１１０は、移動体１００とは別の場所に設けられていてもよい。つまり、画像処理装置１１０は、設置場所に係わらず、撮像部１０１と通信可能に接続されていればよい。

図１に表すように、取得部１０は、情報３０を取得する。情報３０は、第１撮像画像３０２と、第１関係ｐｒ１と、第２関係ｐｒ２と、を含む。なお、情報３０は、少なくとも第１関係ｐｒ１を含んでいればよい。情報３０は、第２関係ｐｒ２を含まなくてもよい。第１撮像画像３０２は、実空間に設けられた対象物１０３の第１像（以下、対象物像１０３ｆという）を含む。第１撮像画像３０２としては、例えば、道路面などの特定の対象物１０３を斜め上方から撮像した画像が用いられる。第１撮像画像３０２は、第１画像領域ｒ１と、第２画像領域ｒ２と、を含む。第１画像領域ｒ１は、対象物１０３の第１部分１０３ａの第１位置ｐ１に対応し第１画素値を有する。第２画像領域ｒ２は、対象物１０３の第２部分１０３ｂの第２位置ｐ２に対応し第２画素値を有する。第１画像領域ｒ１は、例えば、第１撮像画像３０２の１つの画素の領域である。第２画像領域ｒ２は、例えば、第１撮像画像３０２の別の１つの画素の領域である。

第１関係ｐｒ１は、第１画像領域ｒ１の位置と、第１位置ｐ１と、の間の関係に係る情報である。第１関係ｐｒ１は、撮像部１０１の焦点距離及び撮像部１０１の画像中心位置を含む撮像パラメータを含む。第１位置ｐ１は、第１画像領域ｒ１の位置を撮像パラメータに基づき座標変換した位置である。第１関係ｐｒ１は、例えば、第１位置ｐ１の座標位置情報である。

第２関係ｐｒ２は、第２画像領域ｒ２の位置と、第２位置ｐ２と、の間の関係に係る情報である。第２関係ｐｒ２は、撮像部１０１の焦点距離及び撮像部１０１の画像中心位置を含む撮像パラメータを含む。第２位置ｐ２は、第２画像領域ｒ２の位置を撮像パラメータに基づき座標変換した位置である。第２関係ｐｒ２は、例えば、第２位置ｐ２の座標位置情報である。第２関係ｐｒ２は、第１関係ｐｒ１が取得出来れば算出可能である。このため、第２関係ｐｒ２は情報として取得しなくてもよい。

画像生成部２１は、第１画像生成処理を実施する。第１画像生成処理では、対象物１０３を、第１平面（例えばＸ−Ｙ平面）に投影した第１生成画像３０５を生成する。Ｘ−Ｙ平面は、第１部分１０３ａと第２部分１０３ｂとを結ぶ方向（ここではＹ軸方向）に沿う。第１生成画像３０５は、第１位置ｐ１に対応する第３画像領域ｒ３、及び、第２位置ｐ２に対応する第４画像領域ｒ４を含む。この例では、第１生成画像３０５は、対象物１０３を俯瞰したオルソ画像である。第１画像生成処理では、第３画像領域ｒ３の第３画素値を、情報３０（第１関係ｐｒ１）と第１画像領域ｒ１の第１画素値とに基づいて決定し、第４画像領域ｒ４の第４画素値を、情報３０（第２関係ｐｒ２）と第２画像領域ｒ２の第２画素値とに基づいて決定する。第３画像領域ｒ３は、例えば、第１生成画像３０５の１つの画素の領域である。第４画像領域ｒ４は、例えば、第１生成画像３０５の別の１つの画素の領域である。

距離算出部２２は、第１距離算出処理を実施する。第１距離算出処理では、第３画像領域ｒ３の第１方向（ここではＹ軸方向）の長さｄ１に対応する実空間での第１距離Ｌ１と、第４画像領域ｒ４のＹ軸方向の長さｄ２に対応する実空間での第２距離Ｌ２と、を算出する。長さｄ１は、長さｄ２と同じであり、第１距離Ｌ１は、第２距離Ｌ２と異なる。第１距離Ｌ１と第２距離Ｌ２とが異なるということは、第３画像領域ｒ３の空間分解能と第４画像領域ｒ４の空間分解能とが異なることを意味する。

この例では、第１撮像画像３０２は、対象物１０３を斜め上方から撮像した画像である。そして、第１撮像画像３０２から、対象物１０３を俯瞰した第１生成画像３０５が生成される。このため、第１生成画像３０５は、撮像部１０１から離れた画像領域ほどぼやけた画像となる。つまり、第１生成画像３０５は、撮像部１０１に近い画像領域では空間分解能が高く、撮像部１０１から離れた画像領域では空間分解能が低い。なお、空間分解能とは、２つの物体（点）を識別可能な距離で表される。この距離が短いほど空間分解能は高くなる。

オルソ画像の生成方法として、道路面を所定サイズのボクセルに区分けし、区分けしたボクセルに、入力画像から得られる各点を投票する参考例がある。これによれば、ボクセルの投票数によって低密度地点を決定している。参考例では、解像度が低い低密度地点の区別を行っている。しかし、オルソ画像上のそれぞれの位置における実空間に対応する距離（すなわち、空間分解能）を知ることはできなかった。このため、例えば、道路面やコンクリート等のひび割れ検査において所定の大きさのひび割れを特定することは困難であった。

これに対して、実施形態によれば、オルソ画像の各々の位置における実空間での距離（空間分解能）を算出することができる。このため、必要な空間分解能を持つ画像領域に絞ってひび割れ検出等を行うことが可能となる。このため、精度の高いひび割れ検出等が可能となる。これにより、高精度な画像処理装置を提供することができる。

図３は、第１の実施形態に係る画像処理方法を例示するフローチャート図である。
取得部１０は、移動体１００に搭載された撮像部１０１により撮像された第１撮像画像３０２を取得する（ステップＳ１）。

撮像部１０１は、撮像部１０１の撮像パラメータ（内部パラメータ）として、撮像部１０１の焦点距離、撮像部１０１の画像中心位置があらかじめ既知とされる。撮像パラメータは、式１の行列Ａで構成される。なお、焦点距離とは、レンズと撮像素子（画像面）との間の距離をいう。画像中心位置とは、光軸と撮像素子（画像面）との交点の座標をいう。

以下、各式において、ｘ及びＸの上の記号〜をチルダ（チルドともいう）といい、同次座標であることを表す。x(チルダ)=（ｕ、ｖ、１）は、画像上の２次元位置を同次座標表現したものである。Ｘ(チルダ)=（Ｘ、Ｙ、Ｚ、１）は、空間中のある１点の３次元位置をそれぞれ同次座標表現したものである。ｆｘ及びｆｙは、画像の横方向及び縦方向のそれぞれの焦点距離を画像の有効画素間隔で除算したものである。ｃｘ及びｃｙは、撮像部の画像中心位置を表す。Ｐは、透視投影行列を表す。

撮像部１０１のレンズに歪がある場合には、歪も求めたほうが好ましい。歪みとしては、例えば、Tangential歪みや、Radial歪み、魚眼レンズや全方位レンズ等の歪みを考慮するとよい。

取得部１０は、例えば、第１関係ｐｒ１と、第２関係ｐｒ２と、を取得する（ステップＳ２）。ステップＳ１とステップＳ２とは同時に実施してもよい。これら第１関係ｐｒ１及び第２関係ｐｒ２のそれぞれは、撮像部１０１と対象物１０３との間の位置関係を推定することで得ることができる。位置関係の推定は、画像処理装置１１０の外部で演算され、演算結果として、第１関係ｐｒ１及び第２関係ｐｒ２に関する情報が入力される。なお、位置関係の推定を処理部２０で実施してもよい。

図４は、撮像部と対象物との位置関係を例示する模式図である。
ここでいう位置関係とは、図４に表すように、撮像部１０１のカメラ座標系２００（図４では簡略化のためＸｃを省略）と、対象物１０３の対象物座標系２０１（図４では簡略化のためＸｒを省略）との間における相対的な位置関係を意味する。具体的には、３行３列の回転行列Ｒと、３次元の並進ベクトルｔと、で構成される。ここでは、対象物１０３の法線ベクトルをｎ＝（ｎｘ、ｎｙ、ｎｚ）で表現する。カメラ座標系２００と対象物座標系２０１とを結ぶベクトルの長さをｄで表現する。撮像部１０１のカメラ座標系２００と、対象物１０３の対象物座標系２０１との間の座標変換は、式２を用いて行うことができる。

第１撮像画像３０２における対象物１０３の任意の２次元位置は、式１を用いて、撮像部１０１の３次元位置（カメラ座標系２００）に変換される。さらに、撮像部１０１の３次元位置は、式２を用いて、対象物１０３の３次元位置（対象物座標系２０１）に変換される。これにより、第１撮像画像３０２における対象物１０３の第１画像領域ｒ１の位置は、実空間における対象物１０３の第１位置ｐ１に変換することができる。同様に、第１撮像画像３０２における対象物１０３の第２画像領域ｒ２の位置は、実空間における対象物１０３の第２位置ｐ２に変換することができる。

次に、撮像部１０１と対象物１０３との間の位置関係の具体的な求め方について説明する。
大きく分けると、（１）移動体１００と対象物１０３との位置関係が変わらない場合と、（２）移動体１００と対象物１０３との位置関係が動的に変わる場合と、が考えられる。（１）の位置関係が変わらない場合は、移動体１００が対象物１０３に沿って滑らかに移動する場合などである。これは、移動体１００が低速で運動する場合や、移動体１００がレールに沿って運動する場合などである。一方、（２）の位置関係が動的に変わる場合は、自動車のように道路面の起伏や車両の運動によるピッチング、ローリングなど、比較的大きく運動する場合などである。

（１）撮像部１０１（カメラ座標系２００）と、対象物１０３（対象物座標系２０１）との間の位置関係を固定する場合、位置関係の推定方法として、図面等の設計データから撮像部１０１と移動体１００との間の位置関係を算出した値を用いてもよい。また、道路面上に、キャリブレーションで用いる校正板を置き、キャリブレーション作業を行うことで、校正板とカメラとの間の位置関係を推定してもよい。

（２）撮像部１０１（カメラ座標系２００）と、対象物１０３（対象物座標系２０１）との間の位置関係を動的に算出する場合、以下のようにいくつかの方法がある。

（２−１）２台のカメラを用いる方法として、道路面のように空間上の平面で構成される場合に、空間上の平面にある物体が２台のカメラのそれぞれに投影される画像上の位置ｘ_１、ｘ_２は、式３に示すように、３行３列の射影変換行列Ｈで表現することができる。

なお、ｘ_１及びｘ_２の上の記号〜（チルダ）は、同次座標を表している。射影変換行列Ｈは、空間上の平面の法線ベクトルｎと平面までの距離ｄを含んでおり、カメラの撮像パラメータが既知である場合には、特異値分解を行うことで算出できる。射影変換行列Ｈの算出方法としては、各カメラの画像上から特徴点を抽出し、特徴点同士の対応位置を求める。射影変換行列Ｈは、この対応位置から最小２乗法を用いて求めたり、Ｍ推定法、ＲＡＮＳＡＣ(Random Sample Consensus)法等を用いてアウトライヤー（外れ値）を除去しつつ求めたりしてもよい。

（２−２）１台のカメラを用いる方法として、異なる時刻に撮像された画像を用いれば、２台のカメラを用いる方法と同様に、道路面とカメラとの間の位置関係を推定可能である。

（２−３）画像を用いない方法としては、加速度センサまたは角速度センサを用いて、センサ値の変化を検出してもよい。これにより、各時刻での道路面とカメラとの間の位置関係を求めてもよい。
また、レーザなどの測距装置を用いて、道路面の３次元形状を取得し、３次元形状に特定の道路面を当てはめることで、道路面とカメラとの間の位置関係を求めてもよい。

画像生成部２１は、ステップＳ１で取得した第１撮像画像３０２と、ステップＳ２で取得した第１関係ｐｒ１及び第２関係ｐｒ２と、を用いて第１生成画像３０５を生成する（ステップＳ３）。第１関係ｐｒ１は、第１位置ｐ１を含み、第２関係ｐｒ２は、第２位置ｐ２を含む。第１生成画像３０５としては、例えば、対象物１０３を正射投影したオルソ画像が生成される。

図５（ａ）及び図５（ｂ）は、第１撮像画像及び第１生成画像を例示する図である。
図５（ａ）は、撮像部１０１で撮像された第１撮像画像３０２を例示する図である。
図５（ｂ）は、画像生成部２１で生成された第１生成画像３０５を例示する図である。

図５（ａ）に表すように、第１撮像画像３０２は、対象物像１０３ｆを含む。この例では、対象物像１０３ｆは、道路面の像である。第１撮像画像３０２は、第１画像領域ｒ１と、第２画像領域ｒ２と、を含む。第１画像領域ｒ１は、例えば、第１撮像画像３０２の１つの画素の領域である。第２画像領域ｒ２は、例えば、第１撮像画像３０２の別の１つの画素の領域である。

図５（ｂ）に表すように、第１生成画像３０５は、第１撮像画像３０２から生成される。この例では、第１生成画像３０５は、対象物１０３を正射投影したオルソ画像である。第１生成画像３０５は、第３画像領域ｒ３と、第４画像領域ｒ４と、を含む。第３画像領域ｒ３は、例えば、第１生成画像３０５の１つの画素の領域である。第４画像領域ｒ４は、例えば、第１生成画像３０５の別の１つの画素の領域である。

図６は、第１撮像画像、対象物及び第１生成画像の関係を例示する模式図である。
第１撮像画像３０２は、第１画像領域ｒ１と、第２画像領域ｒ２と、を含む。第１画像領域ｒ１は、第１撮像画像３０２の位置３０３に配置された画素の領域である。第２画像領域ｒ２は、第１撮像画像３０２の位置３０７に配置された画素の領域である。

この例では、第１撮像画像３０２の位置３０３が、対象物１０３の位置３０４に対応している。対象物１０３の位置３０４は、対象物１０３を正射投影した第１生成画像３０５の位置３０６に変換することができる。また、第１撮像画像３０２の位置３０７が、対象物１０３の位置３０８に対応している。対象物１０３の位置３０８は、対象物１０３を正射投影した第１生成画像３０５の位置３０９に変換することができる。

対象物１０３上の３次元位置と、撮像画像３０２上の２次元位置との関係は、以下の式４を用いて表すことができる。

式４を用いれば、対象物１０３上の任意の位置に対応する、第１撮像画像３０２上の位置が分かる。この例では、対象物１０３の第１部分１０３ａの位置３０４は、第１撮像画像３０２の第１画像領域ｒ１の位置３０３に対応する。対象物１０３の第２部分１０３ｂの位置３０８は、第１撮像画像３０２の第２画像領域ｒ２の位置３０７に対応する。位置３０４、すなわち、第１位置ｐ１は、第１関係ｐｒ１に関する情報３０から取得される。位置３０８、すなわち、第２位置ｐ２は、第２関係ｐｒ２に関する情報３０から取得される。つまり、第１関係ｐｒ１（または、第１関係ｐｒ１及び第２関係ｐ２）を含む情報３０が取得できれば、式４を用いて、第１撮像画像３０２上の位置を特定できる。

対象物１０３が空間上の平面である場合には、前述の式３において説明したように２枚の画像間で射影変換行列を使って変換することができる。つまり、第１生成画像３０５と第１撮像画像３０２との間にも、対象物１０３に対応した射影変換行列Ｈｏが存在する。例えば、以下の式５の射影変換行列Ｈｏを用いれば、第１生成画像３０５と第１撮像画像３０２との間の対応関係を容易に計算することができる。これにより、オルソ画像の生成が容易に行える。

射影変換行列Ｈｏは、第１生成画像３０５を生成するために必要な撮像パラメータ（内部パラメータ）Ａ_３０５と、カメラ座標系２００と対象物座標系２０１との間の回転行列Ｒと、撮像部１０１の撮像パラメータＡと、で構成される。ここで、撮像パラメータＡ_３０５に関しては、任意のパラメータを設定できる。例えば、撮像部１０１から対象物１０３までの距離がｄ（図４参照）で表現されるとき、以下の式６のように決めることができる。

ここで、αは任意のパラメータであり、実際の道路面上の距離１メートル（ｍ）が第１生成画像３０５上でα画素の大きさになるように変換される。つまり、第１生成画像３０５の１つの画素は、実際の道路面上の距離では、１／α（ｍ）の大きさに相当する。ｃｘ’とｃｙ’は第１生成画像３０５を生成するためのカメラの画像中心である。

画像生成部２１は、第１生成画像３０５を生成するために、第１生成画像３０５の複数の画像領域に対応する基準距離を設定する。この例では、基準距離として、１／α（ｍ）が設定される。これにより、式６に示す撮像パラメータＡ_３０５が決定される。

画像生成部２１は、式４〜式６を用いて、第１位置ｐ１に対応する第１生成画像３０５の第３画像領域ｒ３の位置３０６に、第１画像領域ｒ１の第１画素値を割り当て、第２位置ｐ２に対応する第１生成画像３０５の第４画像領域ｒ４の位置３０９に、第２画像領域ｒ２の第２画素値を割り当てる。すなわち、対象物１０３の第１部分１０３ａの位置３０４における画素値を、第１撮像画像３０２の第１画像領域ｒ１の位置３０３から取得することができる。取得した画素値は、第１生成画像３０５の第３画像領域ｒ３の位置３０６にマッピングされる。同様に、対象物１０３の第２部分１０３ｂの位置３０８における画素値を、第１撮像画像３０２の第２画像領域ｒ２の位置３０７から取得することができる。取得した画素値は、第１生成画像３０５の第４画像領域ｒ４の位置３０９にマッピングされる。この処理を繰り返すことにより、第１生成画像３０５の画素値を、第１撮像画像３０２から取得することができる。

距離算出部２２は、ステップＳ３で生成した第１生成画像３０５の位置のそれぞれに対応する実空間上での距離を算出する（ステップＳ４）。距離算出部２２は、第３画像領域ｒ３のＹ軸方向の長さｄ１に対応する実空間での第１距離Ｌ１と、第４画像領域ｒ４のＹ軸方向の長さｄ２に対応する実空間での第２距離Ｌ２と、を算出する。長さｄ１は、長さｄ２と同じであり、第１距離Ｌ１は、第２距離Ｌ２と異なる。第１距離Ｌ１と第２距離Ｌ２とが異なるということは、第３画像領域ｒ３の空間分解能と第４画像領域ｒ４の空間分解能とが異なることを意味する。

ここで、前述の図２に表したように、移動体１００（車両）の上部に設置した撮像部１０１（カメラ）から道路面を観測するため、撮像部１０１が対象物１０３に対して正対して設置されていない。このような場合には、撮像部１０１から離れるほど、ぼやけたオルソ画像が生成される。

図６に表すように、対象物１０３の第１位置ｐ１（３０４）は、第１撮像画像３０２の第１画像領域ｒ１の位置３０３に対応する。対象物１０３の第２位置ｐ２（３０８）は、撮像部１０１を基準として、第１位置ｐ１（３０４）より遠方である。第２位置ｐ２（３０８）は、第１撮像画像３０２の第２画像領域ｒ２の位置３０７に対応する。第１画像領域ｒ１及び第２画像領域ｒ２のそれぞれは、１つの画素分の大きさ３１０を有するものとして、対象物１０３上での位置を求める。第１位置ｐ１（３０４）では、対象物１０３上に広がり３１１を有する。第２位置ｐ２（３０８）では、広がり３１２を有する。広がり３１２のほうが、広がり３１１より大きいことがわかる。従って、第１生成画像３０５では、撮像部１０１から遠い領域ほどぼやけた画像となる。

第１生成画像３０５上の２次元位置は、以下の式７を用いて対象物１０３上の対象物座標系２０１の３次元位置に変換できる。ここで、対象物１０３上の３次元位置には高さがない、すなわち、Ｚ軸を０とすることができる。第１生成画像３０５上の２次元位置と、対象物１０３上の３次元位置とは、一意に決めることができる。

このようにして求めた対象物１０３上の３次元位置を、式４を用いて、第１撮像画像３０２の位置（ｕ、ｖ）に変換する。変換した位置（ｕ、ｖ）に対して、例えば、ずれ量δを±０．５（±半画素）とする。この場合、±半画素ずれた位置における対象物１０３の実空間における位置を、式８を用いて算出する。

さらに、±半画素ずれたときの対象物１０３上での実際の距離を、式９を用いて求める。

式９で求めた距離diffは、第１生成画像３０５上の位置ｘ_３０５の実空間での距離である。この例では、距離diffは、１画素当たりに割り当てられた実空間上での距離に相当し、空間分解能を表す。このようにして、距離算出部２２は、式７〜式９を用いて、第３画像領域ｒ３のＹ軸方向の長さｄ１に対応する実空間での第１距離Ｌ１と、第４画像領域ｒ４のＹ軸方向の長さｄ２に対応する実空間での第２距離Ｌ２と、を算出する。

なお、この例では、第１生成画像３０５の縦方向（Ｙ軸方向）に対して計算しているが、横軸（Ｘ軸方向）に対して計算してもよく、複数の値があるときは、最大値を距離diffとすればよい。第１生成画像３０５は、対象物１０３を正射投影し、一定の間隔で生成される。このため、距離が長いほど、第１撮像画像３０２での投影位置の間隔が狭くなる。従って、第１生成画像３０５の画素値は、第１撮像画像３０２の狭い範囲から取得される。このため、引き伸ばされてぼやけた画像となる。この例では、第４画像領域ｒ４の第２距離Ｌ２は、第３画像領域ｒ３の第１距離Ｌ１よりも長い。このため、第４画像領域ｒ４のほうが第３画像領域ｒ３よりもぼやけた画像となる。

なお、ずれ量δは、ここでは０．５（半画素）としたが、撮像部１０１の撮像画像に圧縮等により複数の画素の情報が混ざっている場合には、ずれ量δを０．５より大きく設定してもよい。また、移動体１００の動きによって撮像部１０１の撮像画像に動きぶれがある場合には、ぶれの大きさに応じて、ずれ量δを調整してもよい。ぶれの大きさは、例えば、Point Spread Function（点拡がり関数）を推定することにより求めてもよい。

また、第１生成画像３０５に対象物１０３以外の物体が写りこんでいる場合は、対象物１０３以外の領域を検出して、対象物領域と区別ができるように、距離diffに大きい値もしくは負値を入れるなどしてもよい。

第１生成画像３０５の各画素位置に対して算出された距離（空間分解能）に基づき距離マップを生成する。
式９で求められた距離diffを、第１生成画像３０５の各画素位置での距離とする。この例では、第３画像領域ｒ３に対して第１距離Ｌ１が決定され、第４画像領域ｒ４に対して第２距離Ｌ２が決定される。第１生成画像３０５のその他の画像領域に対しても同様である。

ここで、式９で求められた距離diffに対して、第１生成画像３０５を生成したときに定めた撮像パラメータＡ_３０５を考慮してもよい。第１生成画像３０５の１画素当たりの基準距離は、式６により、１／αである。この１／αは、式９で求められる距離diffと同じ実空間のスケールで統一されている。このため、距離diffと基準距離１／αのうちの大きい方をその画素位置での距離とすればよい。この場合、距離算出部２２は、第３画像領域ｒ３において第１距離Ｌ１と基準距離１／αとのうちで大きい方を選択し、第４画像領域ｒ４において第２距離Ｌ２と基準距離１／αとのうちで大きい方を選択する。

図７は、図５（ｂ）の第１生成画像に対応する距離マップを例示する図である。
ステップＳ４によって、第１生成画像３０５に対応する距離マップ３０５ａが生成される。第１生成画像３０５の第３画像領域ｒ３に対応する第１距離Ｌ１は、距離マップ３０５ａの対応位置に格納される。第４画像領域ｒ４に対応する第２距離Ｌ２は、距離マップ３０５ａの対応位置に格納される。以下、同様にして、第１生成画像３０５の複数の画像領域のそれぞれに対して算出された実空間上での距離を、距離マップ３０５ａに格納する。

実施形態によれば、オルソ画像の各々の位置における実空間での距離（空間分解能）を算出することができる。このため、必要な空間分解能を持つ画像領域に絞ってひび割れ検出等を行うことが可能となる。このため、精度の高いひび割れ検出等が可能となる。これにより、高精度な画像処理装置を提供することができる。

なお、実施形態は、道路面等の対象物を俯瞰したオルソ画像に限定されない。実施形態は、特定の対象物をあおりまたは側方から見たオルソ画像に対しても適用することができる。

（第２の実施形態）
図８は、第２の実施形態に係る画像処理装置を例示するブロック図である。
実施形態の画像処理装置１１１は、取得部１０と、処理部２０と、を含む。処理部２０は、画像生成部２１と、距離算出部２２と、さらに、画像圧縮部２３と、を含む。

画像圧縮部２３は、第１生成画像３０５を圧縮する画像圧縮処理を実施する。画像圧縮処理では、第１距離Ｌ１が第２距離Ｌ２よりも長いとき、第３画像領域ｒ３の圧縮率を第４画像領域ｒ４の圧縮率よりも高くする。また、画像圧縮部２３は、第１距離Ｌ１が第２距離Ｌ２よりも短いとき、第３画像領域ｒ３の圧縮率を第４画像領域ｒ４の圧縮率よりも低くする。ここで、圧縮率とは、例えば、圧縮後の画像のデータ量と圧縮前の画像のデータ量との差と、圧縮前の画像のデータ量とを、比率（パーセント）で表したものである。圧縮率が高いと相対的に画像のデータ量は小さくなる。

図９は、第２の実施形態に係る画像処理方法を例示するフローチャート図である。
実施形態に係るステップＳ１〜ステップＳ４は、第１の実施形態で説明したため、ここでの説明は省略する。ステップＳ３で求めた第１生成画像３０５及びステップＳ４で求めた距離マップ３０５ａを画像圧縮部２３の入力とする。

画像圧縮部２３は、距離マップ３０５ａを用いて、第１生成画像３０５の圧縮を行う（ステップＳ５）。すなわち、第１生成画像３０５のデータサイズを小さくするために、画像の圧縮を行う。この際、距離マップ３０５ａを用いて、第１生成画像３０５の各画像領域のそれぞれに対してデータ量の制御を行う。第１生成画像３０５において、距離が長い画像領域では、ぼやけており、高周波成分を含まない。このため、低周波成分のみデータを保存すればよい。逆に、距離が短い画像領域では、高周波成分から低周波成分まで含むため、高周波成分から低周波成分までデータを保存する必要がある。つまり、距離が長い画像領域では圧縮率を高く、距離が短い画像領域では圧縮率を低く設定することが好ましい。

なお、１画素毎に圧縮することが難しい場合には、距離マップ３０５ａにおいて複数の画素を１つにまとめたブロックを生成してもよい。ブロック内における距離の最小値、中央値、平均値を使ってブロック内で１つの距離を算出し、これをブロック内における圧縮率の算出に利用してもよい。

実施形態によれば、オルソ画像の各々の位置における実空間での距離（空間分解能）を用いて、画像領域毎に圧縮率を異ならせ、効率的な画像圧縮を行うことができる。

（第３の実施形態）
図１０は、第３の実施形態に係る画像処理装置を例示するブロック図である。
実施形態の画像処理装置１１２は、取得部１０と、処理部２０と、を含む。処理部２０は、画像生成部２１と、距離算出部２２と、さらに、運動ベクトル算出部２４と、画像更新部２５と、を含む。

取得部１０は、情報３０を取得する。情報３０は、第１撮像画像３０２と、第１関係ｐｒ１と、第２関係ｐｒ２と、さらに、第２撮像画像３０２ａと、第３関係ｐｒ３と、第４関係ｐｒ４と、を含む。なお、情報３０は、少なくとも第１関係ｐ１及び第３関係ｐ３を含んでいればよい。第２関係ｐｒ２及び第４関係ｐｒ４を情報として取得しなくてもよい。第２撮像画像３０２ａは、対象物１０３の第２像（ここでは対象物像１０３ｆ）を含み第１撮像画像３０２とは異なる。第１撮像画像３０２と第２撮像画像３０２ａとは、例えば、撮像した方向、位置（場所）、時刻の少なくとも１つが異なる。第２撮像画像３０２ａは、第５画像領域ｒ５と、第６画像領域ｒ６と、を含む。第５画像領域ｒ５は、対象物１０３の第３部分１０３ｃの第３位置ｐ３に対応し第５画素値を有する。第６画像領域ｒ６は、対象物１０３の第４部分１０３ｄの第４位置ｐ４に対応し第６画素値を有する。第５画像領域ｒ５は、例えば、第２撮像画像３０２ａの１つの画素の領域である。第６画像領域ｒ６は、例えば、第２撮像画像３０２ａの別の１つの画素の領域である。

第３関係ｐｒ３は、第５画像領域ｒ５の位置と、第３位置ｐ３と、の間の関係に係る情報である。第３関係ｐｒ３は、撮像部１０１の焦点距離及び撮像部１０１の画像中心位置を含む撮像パラメータを含む。第３位置ｐ３は、第５画像領域ｒ５の位置を撮像パラメータに基づき座標変換した位置である。第３関係ｐｒ３は、例えば、第３位置ｐ３の座標位置情報である。

第４関係ｐｒ４は、第６画像領域ｒ６の位置と、第４位置ｐ４と、の間の関係に係る情報である。第４関係ｐｒ４は、撮像部１０１の焦点距離及び撮像部１０１の画像中心位置を含む撮像パラメータを含む。第４位置ｐ４は、第６画像領域ｒ６の位置を撮像パラメータに基づき座標変換した位置である。第４関係ｐｒ４は、例えば、第４位置ｐ４の座標位置情報である。

画像生成部２１は、第２画像生成処理を実施する。第２画像生成処理では、対象物１０３を、第２平面（例えばＸ−Ｙ平面）に投影した第２生成画像３１３を生成する。Ｘ−Ｙ平面は、第３部分１０３ｃと第４部分１０３ｄとを結ぶ方向（ここではＹ軸方向）に沿う。第２生成画像３１３は、第３位置ｐ３に対応する第７画像領域ｒ７と、第４位置ｐ４に対応する第８画像領域ｒ８と、を含む。第２画像生成処理では、第７画像領域ｒ７の第７画素値を、情報３０と第５画像領域ｒ５の第５画素値とに基づいて決定し、第８画像領域ｒ８の第８画素値を、情報３０と第６画像領域ｒ６の第６画素値とに基づいて決定する。第７画像領域ｒ７は、例えば、第２生成画像３１３の１つの画素の領域である。第８画像領域ｒ８は、例えば、第２生成画像３１３の別の１つの画素の領域である。

距離算出部２２は、第２距離算出処理を実施する。第２距離算出処理では、第７画像領域ｒ７のＹ軸方向の長さｄ３に対応する実空間での第３距離Ｌ３を算出し、第８画像領域ｒ８のＹ軸方向の長さｄ４に対応する実空間での第４距離Ｌ４を算出する。長さｄ３は、長さｄ４と同じであり、第３距離Ｌ３は、第４距離Ｌ４と異なる。

運動ベクトル算出部２４は、運動ベクトル算出処理を実施する。運動ベクトル算出処理では、第２生成画像３１３において第１生成画像３０５の第３画像領域ｒ３に対応し第９画素値を有する第９画像領域ｒ９を検出する。これには、例えば、テンプレートマッチング法（またはパターンマッチング法）が用いられる。運動ベクトル算出処理では、第３画像領域ｒ３の位置と第９画像領域ｒ９の位置との差を含む運動ベクトルＶ１を算出する。ここで、第９画像領域ｒ９のＹ軸方向の長さｄ５は、実空間での第５距離Ｌ５に対応する。なお、運動ベクトルＶ１は、第１生成画像３０５と第２生成画像３１３との間で対応する複数の画像領域（画素単位またはブロック単位）それぞれについて算出することができる。第９画像領域ｒ９は、例えば、第２生成画像３１３に含まれる１つの画素の領域である。

画像更新部２５は、第３画像生成処理を実施する。第３画像生成処理では、第１生成画像３０５と、第２生成画像３１３と、運動ベクトルＶ１と、に基づいて、対象物１０３をＸ−Ｚ平面に投影した第３生成画像３１４を生成する。第３生成画像３１４は、第１位置ｐ１に対応する第１０画像領域ｒ１０を含む。第３画像生成処理では、第１距離Ｌ１が第５距離Ｌ５未満のときは、第１０画像領域ｒ１０の画素値を、第３画像領域ｒ３の第３画素値とする。第１距離Ｌ１が第５距離Ｌ５以上のときは、第１０画像領域ｒ１０の画素値を、第９画像領域ｒ９の第９画素値とする。第１０画像領域ｒ１０は、例えば、第３生成画像３１４に含まれる１つの画素の領域である。

図１１は、第３の実施形態に係る画像処理方法を例示するフローチャート図である。
実施形態に係るステップＳ１１〜ステップＳ１３においては、第１撮像画像３０２と、第２撮像画像３０２ａと、に基づいて、２枚のオルソ画像（第１生成画像３０５及び第２生成画像３１３）が生成される。第２撮像画像３０２ａは、対象物像１０３ｆを含み第１撮像画像３０２とは異なる。ステップＳ１４においては、第１生成画像３０５の複数の画像領域のそれぞれに対応する実空間での距離と、第２生成画像３１３の複数の画像領域のそれぞれに対応する実空間での距離と、が算出される。ステップＳ１３で求めた第１生成画像３０５及び第２生成画像３１３を運動ベクトル算出部２４の入力とする。

運動ベクトル算出部２４は、２つのオルソ画像、すなわち、第１生成画像３０５と第２生成画像３１３との間で運動ベクトル（動きベクトル）Ｖ１を算出する（ステップＳ１５）。

図１２は、移動体を上部から観察した様子を例示する模式図である。
この例では、撮像部１０１は４つの異なる方向を観測しており、前方向きの観測範囲である領域１０２に加えて、左右向きに領域７００及び領域７０１、後方向きに領域７０２が設定されている。また、異なる方向でなくても、異なる時刻、異なる場所で撮像してもよい。例えば、異なる時刻で移動体１００が移動の前後で撮像した画像でもよい。また、異なる方向、時刻、場所のいずれか複数の組み合わせでもよい。

図１３は、複数のオルソ画像から算出される運動ベクトルを例示する模式図である。
この例では、領域１０２で得られた第１生成画像３０５に対して、移動体１００が前方に移動して撮像した第２生成画像３１３が示されている。移動前後の移動量である２次元の運動ベクトルＶ１を算出する。例えば、第１生成画像３０５及び第２生成画像３１３の２つのオルソ画像の画素値に基づくテンプレートマッチング法を用いて、最も類似度が高くなる２次元の運動ベクトルを算出することができる。また、回転量からなる運動ベクトルを算出してもよい。また、撮像部１０１から得られる画像に対して、Structure from Motion法を用いて、撮像部１０１の３次元空間での運動を求めた後に、撮像部１０１と対象物１０３との間の位置関係を用いて運動ベクトルに変換してもよい。また、慣性センサやＧＰＳ(Global Positioning System)等のＧＮＳＳ(Global Navigation Satellite System)を用いてもよい。

画像更新部２５は、ステップＳ１５で算出された運動ベクトルＶ１を用いて、第１生成画像３０５及び第２生成画像３１３から第３生成画像３１４を生成する（ステップＳ１６）。

図１３に表すように、第１生成画像３０５と第２生成画像３１３との間において、運動ベクトルＶ１が求められている。運動ベクトルＶ１は、第３画像領域ｒ３ａの位置と、第９画像領域ｒ９ａの位置との差を含む。これより、これら２つの第１生成画像３０５及び第２生成画像３１３を用いて、１つの第３生成画像３１４を生成することができる。第３生成画像３１４において、第１０画像領域ｒ１０ａは、第１位置Ｐ１に対応する。このとき、距離の短い画像の方が対象物１０３上の詳細な画像パターンまで観察できるため好ましい。このため、第１生成画像３０５と第２生成画像３１３とのうちで距離が短い画像の画素値が優位になるように、第３生成画像３１４での画素値を決定する。優位になるとは、例えば、第１生成画像３０５の画素値と第２生成画像３１３の画素値とのうち、距離の短いほうの画素値をそのまま第３生成画像３１４の画素値に用いることが考えられる。また、距離が短いものほど重みが大きくなるように係数を決め、係数をそれぞれの画像の画素値に乗じて画素値を算出してもよい。

ここで、距離マップ３０５ａを、第３生成画像３１４の各位置における実空間での距離に基づき更新してもよい。例えば、第１生成画像３０５の第１距離Ｌ１と第２生成画像３１３の第５距離Ｌ５とのうちで小さいほうの値を用いて更新する。第１距離Ｌ１と第５距離Ｌ５との平均値を用いて更新してもよい。第１距離Ｌ１と第５距離Ｌ５との中間値を用いて更新してもよい。または、これらの値のうちのいずれか複数の値を用いて更新してもよい。

ステップＳ１６で生成（更新）されたオルソ画像及び距離マップを用いて、道路面上のひびなどの異常の検出を行ってもよい。また、画像の圧縮に用いてもよい。また、圧縮されたオルソ画像に対して異常の検出を行ってもよい。

実施形態によれば、より距離の短い（空間分解能の高い）オルソ画像（及び距離マップ）に更新できるため、道路面上のひび検出などの精度をより高めることが可能となる。

（第４の実施形態）
図１４は、第４の実施形態に係る検査装置を例示するブロック図である。
実施形態の検査装置１１３は、取得部１０と、処理部２０とを、含む。処理部２０は、画像生成部２１と、距離算出部２２と、さらに、検査部２６と、を含む。

画像生成部２１は、第１生成画像３０５を生成する。第１生成画像３０５は、第１位置ｐ１に対応する第３画像領域ｒ３と、第２位置ｐ２に対応する第４画像領域ｒ４と、を含む。画像生成部２１は、第３画像領域ｒ３の第３画素値を、情報３０と第１画像領域ｒ１の第１画素値とに基づいて決定し、第４画像領域ｒ４の第４画素値を、情報３０と第２画像領域ｒ２の第２画素値とに基づいて決定する。

距離算出部２２は、第３画像領域ｒ３のＹ軸方向の長さｄ１に対応する実空間での第１距離Ｌ１と、第４画像領域ｒ４のＹ軸方向の長さｄ２に対応する実空間での第２距離Ｌ２と、を算出する。距離算出部２２は、長さｄ１は、長さｄ２と同じであり、第１距離Ｌ１は、第２距離Ｌ２と異なる。

検査部２６は、検査処理を実施する。検査処理では、第１距離Ｌ１が所定値以下であるか否かを判定する。第１距離Ｌ１が所定値以下のときに、対象物１０３の第１部分１０３ａの異常を検査する。検査処理では、第２距離Ｌ２が所定値以下であるか否かを判定する。第２距離Ｌ２が所定値以下のときに、対象物１０３の第２部分１０３ｂの異常を検査する。すなわち、検査部２６は、第３画像領域ｒ３及び第４画像領域ｒ４のうちで所定値以下の距離を有する画像領域を、検査対象領域として、対象物１０３の異常を検査する。なお、距離が所定値を超える画像領域は、検査対象領域とはせず、検査対象から除外する。

例えば、検査処理では、第３画像領域ｒ３を含む領域の画素値に基づいてパターン解析することにより、異常を検出する。異常とは、第１部分１０３ａのひび割れ、わだち、欠損、漏水、剥離及びさびの少なくともいずれかを含む。検査処理では、第４画像領域ｒ４を含む領域の画素値に基づいてパターン解析することにより、異常を検出する。異常とは、第２部分１０３ｂのひび割れ、わだち、欠損、漏水、剥離及びさびの少なくともいずれかを含む。

図１５は、第４の実施形態に係る検査方法を例示するフローチャート図である。
実施形態に係るステップＳ１〜ステップＳ４は、第１の実施形態で説明したため、ここでの説明は省略する。ステップＳ３で求めた第１生成画像３０５及びステップＳ４で求めた距離マップ３０５ａを検査部２６の入力とする。

検査部２６は、第１生成画像３０５及び距離マップ３０５ａを用いて、対象物１０３の異常を検査する（ステップＳ６）。

異常の検査とは、撮像部１０１として可視光領域を受光できる、いわゆる可視カメラを用いた場合には、ひび割れ、基準形状からの欠損（例えば、わだち）、さび、漏水などの検出を行うことができる。また、撮像部１０１として熱カメラを用いた場合には、漏水、剥離や、ひび割れなどの検出を行うことができる。漏水や剥離は、漏水・剥離が発生していない箇所と比べて温度に差が出る。

高精度で信頼できる異常検査を行うには、検出すべき異常箇所が確実に写っている範囲を特定して検出処理を実施する必要がある。ステップＳ４で説明したように、撮像部１０１から離れた画像領域では、実空間での距離が長くなっている。距離が長い画像領域では、幅の細いひび割れなどが写らなくなってしまう。このように撮像部１０１では写すことのできない画像領域においては、異常検出の精度が低下し、信頼性が低くなってしまう。

そこで、距離マップ３０５ａを用いて、検出すべき大きさの異常が写っている範囲を特定する。範囲の特定には、式１０を用いる。つまり、距離マップ３０５ａの位置（ｕ、ｖ）の値Ｉｑに対して、検出すべき異常箇所の最低の大きさＴ以下の場合には、検出対象の画素としてマスクの有無を設定するマスク値Imaskを１にセットする。それ以外は、検出対象でない画素としてマスク値Imaskを０にセットする。

異常箇所の検出は、マスク値Imaskが１の画像領域について、第１生成画像３０５の画素値に基づいて異常の検出を行う。ひび割れは、画像において線状に観測されるため、ひび割れ検出には、例えば、第１生成画像３０５に対してフィルタリング処理を施して、画素値が同じような値を持つ線状の形状を抽出することで検出してもよい。また、ひび割れのパターンから輝度勾配ヒストグラムなどの特徴量を算出し、ひび割れのパターンと非ひび割れのパターンとを識別するようにしてもよい。パターンの識別は、ＳＶＭ(Support Vector Machine)やニューラルネット、ランダム森などを用いて学習すればよい。漏水・剥離や、基準形状からの変異（例えば、わだち）などの検出には、周囲とは異なる画素値の領域をラベリングしたり、パターン識別を行ったりしてもよい。また、距離diffに応じてフィルタリングのフィルタサイズの大きさを変化させてもよい。例えば、距離diffが大きい場合にはサイズの大きいフィルタで処理するなどを行ってもよい。

実施形態によれば、オルソ画像の各々の位置における実空間での距離（空間分解能）を算出することができる。このため、必要な空間分解能を持つ画像領域に絞ってひび割れ検出等の異常検査を行うことが可能となる。このため、精度の高い異常検査が可能となる。

（第５〜第７の実施形態）
（５）車両の天井に搭載されたカメラを用いて道路面上のひびや欠損を検出する道路面診断装置として利用する。実施形態の画像処理装置を用いることで、信頼性の高い異常検出が可能となる。道路面の異常のため、対象物は平面形状となる。複数のオルソ画像を統合することにより、解像度の高い道路面のパノラマが生成される。さらに、圧縮サイズが異常検出に影響しないように制御されているため、データサーバでの管理に好適なデータの生成が可能となる。
（６）トンネル内を移動する移動体にカメラを取り付けて、トンネル内壁のひび・欠損、漏水・剥離を診断する装置として利用する。実施形態の画像処理装置を用いることで、トンネル内において信頼性の高い診断が可能となる。トンネルの円筒形状を平面状に展開したオルソ画像が生成される。
（７）車両や飛行体に設置されたカメラから橋梁を撮像して、例えば、橋梁下面のオルソ画像を作成することが可能となる。橋梁のさびや、ひび、変形などの検出を行うことができる。

実施形態の画像処理装置及び検査装置は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ(Hard Disk Drive)やＳＳＤ(Solid State Drive)などの外部記憶装置と、ディスプレイなどの表示装置と、カメラなどの撮像装置などを備えることができる。通常のコンピュータを利用したハードウェア構成で実現可能となっている。また、処理部を構成する各部をソフトウェア的に実現してもハードウェア的に実現してもよい。

以上、実施形態として画像処理装置、検査装置及び画像処理方法を例示して説明したが、実施形態は、この画像処理方法をコンピュータに実行させるための画像処理プログラムの形態、あるいは、この画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体の形態としてもよい。

記録媒体としては、具体的には、ＣＤ-ＲＯＭ（-Ｒ／-ＲＷ）、光磁気ディスク、ＨＤ（ハードディスク）、ＤＶＤ-ＲＯＭ（-Ｒ／-ＲＷ／-ＲＡＭ）、ＦＤ（フレキシブルディスク）、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した実施形態の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録して流通させることにより、当該方法の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置により画像処理プログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該画像処理プログラムを記憶させておき、必要に応じて読み出すことにより、実施形態の画像処理方法を実行することができる。

実施形態によれば、高精度の画像処理装置、検査装置、画像処理方法及び画像処理プログラムが提供できる。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、取得部及び処理部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。

また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述した画像処理装置、検査装置、画像処理方法及び画像処理プログラムを基にして、当業者が適宜設計変更して実施し得る全ての画像処理装置、検査装置、画像処理方法及び画像処理プログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…取得部、 ２０…処理部、 ２１…画像生成部、 ２２…距離算出部、 ２３…画像圧縮部、 ２４…運動ベクトル算出部、 ２５…画像更新部、 ２６…検査部、 ３０…情報、 １００…移動体、 １０１…撮像部、 １０２…領域、 １０３…対象物、 １０３ａ…第１部分、 １０３ｂ…第２部分、 １０３ｃ…第３部分、 １０３ｄ…第４部分、 １０３ｆ…対象物像、 １０４…進行方向、 １１０〜１１２…画像処理装置、 １１３…検査装置、 ２００…カメラ座標系、 ２０１…対象物座標系、 ３０２…第１撮像画像、 ３０２ａ…第２撮像画像、 ３０３、３０４、３０６〜３０９…位置、
３０５…第１生成画像、 ３０５ａ…距離マップ、 ３１０…大きさ、 ３１１、３１２…広がり、 ３１３…第２生成画像、 ３１４…第３生成画像、 ７００〜７０２…領域、 Ｌ１〜Ｌ５…第１〜第５距離、 Ｖ１…運動ベクトル、 ｄ１〜ｄ５…長さ、 ｐ１〜ｐ４…第１〜第４位置、 ｒ１〜ｒ１０…第１〜第１０画像領域、 ｒ３ａ…第３画像領域、 ｒ９ａ…第９画像領域、 ｒ１０ａ…第１０画像領域

Claims (9)

1. 実空間に設けられた対象物の第１像を含む第１撮像画像であって、前記第１撮像画像の第１画像領域は、前記対象物の第１部分の第１位置に対応し第１画素値を有し、前記第１撮像画像の第２画像領域は、前記対象物の第２部分の第２位置に対応し第２画素値を有する第１撮像画像と、
   前記第１画像領域の位置と、前記第１位置と、の間の第１関係と、
   を含む情報を取得する取得部と、
   前記第１位置に対応する第３画像領域、及び、前記第２位置に対応する第４画像領域を含み、前記対象物を第１平面に投影した第１生成画像を生成し、前記第３画像領域の第３画素値を、前記情報と前記第１画素値とに基づいて決定し、前記第４画像領域の第４画素値を、前記情報と前記第２画素値とに基づいて決定する第１画像生成処理と、
   前記第３画像領域の第１方向の長さに対応する前記実空間での第１距離と、前記第４画像領域の前記第１方向の長さに対応する前記実空間での第２距離と、を算出し、前記第３画像領域の前記第１方向の前記長さは、前記第４画像領域の前記第１方向の前記長さと同じであり、前記第１距離は、前記第２距離と異なる第１距離算出処理と、
   を実施する処理部と、
   を備えた画像処理装置。
2. 前記第１画像領域は、前記第１撮像画像の１つの画素の領域であり、
   前記第２画像領域は、前記第１撮像画像の別の１つの画素の領域であり、
   前記第３画像領域は、前記第１生成画像の１つの画素の領域であり、
   前記第４画像領域は、前記第１生成画像の別の１つの画素の領域である請求項１記載の画像処理装置。
3. 前記第１関係に関する前記情報は、前記対象物を撮像した撮像部の撮像パラメータを含み、前記撮像パラメータは、前記撮像部の焦点距離及び前記撮像部の画像中心位置を含み、
   前記第１位置は、前記第１画像領域の前記位置を前記撮像パラメータに基づいて座標変換される位置である請求項１または２に記載の画像処理装置。
4. 前記処理部は、前記第１生成画像を圧縮する画像圧縮処理をさらに実施し、
   前記画像圧縮処理は、前記第１距離が前記第２距離よりも長いときに前記第３画像領域の圧縮率を前記第４画像領域の圧縮率よりも高くし、前記第１距離が前記第２距離よりも短いときに前記第３画像領域の前記圧縮率を前記第４画像領域の前記圧縮率よりも低くすることを含む請求項１〜３のいずれか１つに記載の画像処理装置。
5. 前記情報は、
   前記対象物の第２像を含み前記第１撮像画像とは異なる第２撮像画像であって、前記第２撮像画像の第５画像領域は、前記対象物の第３部分の第３位置に対応し第５画素値を有し、前記第２撮像画像の第６画像領域は、前記対象物の第４部分の第４位置に対応し第６画素値を有する第２撮像画像と、
   前記第５画像領域の位置と、前記第３位置と、の間の第３関係と、
   をさらに含み、
   前記処理部は、
   前記第３位置に対応する第７画像領域、及び、前記第４位置に対応する第８画像領域を含み、前記対象物を第２平面に投影した第２生成画像を生成し、前記第７画像領域の第７画素値を、前記情報と前記第５画像領域の第５画素値とに基づいて決定し、前記第８画像領域の第８画素値を、前記情報と前記第６画素値とに基づいて決定する第２画像生成処理と、
   前記第７画像領域の前記第１方向の長さに対応する前記実空間での第３距離と、前記第８画像領域の前記第１方向の長さに対応する前記実空間での第４距離と、を算出し、前記第７画像領域の前記第１方向の前記長さは、前記第８画像領域の前記第１方向の前記長さと同じであり、前記第３距離は、前記第４距離と異なる第２距離算出処理と、
   前記第２生成画像中において前記第３画像領域に対応し第９画素値を有する第９画像領域を検出し、前記第３画像領域の位置と前記第９画像領域の位置との差を含む運動ベクトルを算出し、前記第９画像領域の前記第１方向の長さは、前記実空間での第５距離に対応する、運動ベクトル算出処理と、
   前記第１生成画像と、前記第２生成画像と、前記運動ベクトルと、に基づいて、前記第１位置に対応する第１０画像領域を含み、前記対象物を前記第２平面に投影した第３生成画像を生成する第３画像生成処理と、
   をさらに実施し、
   前記処理部は、
   前記第１距離が前記第５距離未満のときは、前記第１０画像領域の画素値を、前記第３画素値とし、
   前記第１距離が前記第５距離以上のときは、前記第１０画像領域の前記画素値を、前記第９画素値とする、
   請求項１〜４のいずれか１つに記載の画像処理装置。
6. 実空間に設けられた対象物の第１像を含む第１撮像画像であって、前記第１撮像画像の第１画像領域は、前記対象物の第１部分の第１位置に対応し第１画素値を有し、前記第１撮像画像の第２画像領域は、前記対象物の第２部分の第２位置に対応し第２画素値を有する第１撮像画像と、
   前記第１画像領域の位置と、前記第１位置と、の間の第１関係と、
   を含む情報を取得する取得部と、
   前記第１位置に対応する第３画像領域、及び、前記第２位置に対応する第４画像領域を含み、前記対象物を第１平面に投影した第１生成画像を生成し、前記第３画像領域の第３画素値を、前記情報と前記第１画素値とに基づいて決定し、前記第４画像領域の第４画素値を、前記情報と前記第２画素値とに基づいて決定する第１画像生成処理と、
   前記第３画像領域の第１方向の長さに対応する前記実空間での第１距離と、前記第４画像領域の前記第１方向の長さに対応する前記実空間での第２距離と、を算出し、前記第３画像領域の前記第１方向の前記長さは、前記第４画像領域の前記第１方向の前記長さと同じであり、前記第１距離は、前記第２距離と異なる第１距離算出処理と、
   前記第１距離が所定値以下のときに、前記対象物の前記第１部分の異常を検査する検査処理と、
   を実施する処理部と、
   を備えた検査装置。
7. 前記検査処理は、前記３画像領域を含む領域の画素値に基づいてパターン解析することにより、前記異常を検出することを含み、
   前記異常は、前記第１部分のひび割れ、わだち、欠損、漏水、剥離及びさびの少なくともいずれかを含む請求項６記載の検査装置。
8. 実空間に設けられた対象物の第１像を含む第１撮像画像であって、前記第１撮像画像の第１画像領域は、前記対象物の第１部分の第１位置に対応し第１画素値を有し、前記第１撮像画像の第２画像領域は、前記対象物の第２部分の第２位置に対応し第２画素値を有する第１撮像画像と、
   前記第１画像領域の位置と、前記第１位置と、の間の第１関係と、
   を含む情報を取得し、
   前記第１位置に対応する第３画像領域、及び、前記第２位置に対応する第４画像領域を含み、前記対象物を第１平面に投影した第１生成画像を生成し、前記第３画像領域の第３画素値を、前記情報と前記第１画素値とに基づいて決定し、前記第４画像領域の第４画素値を、前記情報と前記第２画素値とに基づいて決定し、
   前記第３画像領域の第１方向の長さに対応する前記実空間での第１距離と、前記第４画像領域の前記第１方向の長さに対応する前記実空間での第２距離と、を算出し、前記第３画像領域の前記第１方向の前記長さは、前記第４画像領域の前記第１方向の前記長さと同じであり、前記第１距離は、前記第２距離と異なる、
   画像処理方法。
9. 実空間に設けられた対象物の第１像を含む第１撮像画像であって、前記第１撮像画像の第１画像領域は、前記対象物の第１部分の第１位置に対応し第１画素値を有し、前記第１撮像画像の第２画像領域は、前記対象物の第２部分の第２位置に対応し第２画素値を有する第１撮像画像と、
   前記第１画像領域の位置と、前記第１位置と、の間の第１関係と、
   を含む情報を取得する処理と、
   前記第１位置に対応する第３画像領域、及び、前記第２位置に対応する第４画像領域を含み、前記対象物を第１平面に投影した第１生成画像を生成し、前記第３画像領域の第３画素値を、前記情報と前記第１画素値とに基づいて決定し、前記第４画像領域の第４画素値を、前記情報と前記第２画素値とに基づいて決定する処理と、
   前記第３画像領域の第１方向の長さに対応する前記実空間での第１距離と、前記第４画像領域の前記第１方向の長さに対応する前記実空間での第２距離と、を算出し、前記第３画像領域の前記第１方向の前記長さは、前記第４画像領域の前記第１方向の前記長さと同じであり、前記第１距離は、前記第２距離と異なる処理と、
   をコンピュータに実行させる画像処理プログラム。