JP2019175283A

JP2019175283A - 認識装置、認識システム、プログラムおよび位置座標検出方法

Info

Publication number: JP2019175283A
Application number: JP2018064873A
Authority: JP
Inventors: 関　海克; Haike Guan; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-03-29
Filing date: 2018-03-29
Publication date: 2019-10-10
Anticipated expiration: 2038-03-29
Also published as: JP7020240B2

Abstract

【課題】魚眼レンズを備えるカメラで撮影した動画像から所定領域における対象物の位置情報を測定する。【解決手段】魚眼レンズを備えるカメラにより所定領域を撮影した魚眼動画を複数の歪み補正要素画像に変換する変換手段と、前記歪み補正要素画像に対して対象物の認識処理を行う認識手段と、認識した前記対象物の前記歪み補正要素画像における位置座標を求める第１位置座標検出手段と、前記歪み補正要素画像における位置座標から、認識した前記対象物の前記所定領域での位置座標を求める第２位置座標検出手段と、を備える。【選択図】図４

Description

本発明は、認識装置、認識システム、プログラムおよび位置座標検出方法に関する。

従来、対象物がいつどこにいるかを可視化するため、所定領域を撮影した動画を分析することで、対象物の位置を測定し、対象物の位置情報を分析することが行われている。

特許文献１には、３６０度全方位の画像を撮像可能なカメラを用いた対象物の検出において、低解像度の画像と高解像度の画像とを用いて対象物の認識処理を行う技術が開示されている。

しかしながら、従来の技術によれば、３６０度全方位の画像を撮像可能なカメラで撮影した動画像においては歪みが発生しており、歪んだ画像から所定領域における対象物の位置情報を測定するのは難しい、という問題があった。

本発明は、上記に鑑みてなされたものであって、魚眼レンズを備えるカメラで撮影した動画像から所定領域における対象物の位置情報を測定することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、魚眼レンズを備えるカメラにより所定領域を撮影した魚眼動画を複数の歪み補正要素画像に変換する変換手段と、前記歪み補正要素画像に対して対象物の認識処理を行う認識手段と、認識した前記対象物の前記歪み補正要素画像における位置座標を求める第１位置座標検出手段と、前記歪み補正要素画像における位置座標から、認識した前記対象物の前記所定領域での位置座標を求める第２位置座標検出手段と、を備えることを特徴とする。

本発明によれば、魚眼レンズを備えるカメラで撮影した動画像から所定領域における対象物の位置情報を測定することができる、という効果を奏する。

図１は、実施の形態にかかる認識システムのハードウェア構成を示す図である。図２は、魚眼カメラのハードウェア構成を示すブロック図である。図３は、認識装置のハードウェア構成を示すブロック図である。図４は、認識装置の機能構成を示すブロック図である。図５は、魚眼カメラにより入力した画像の例を示す図である。図６は、単位球について説明する図である。図７は、正距円筒図法の座標系について説明する図である。図８は、透視投影図法の座標系について説明する図である。図９は、複数方位角および複数画角の設定例を示す図である。図１０は、３方向の歪み補正要素画像の作成例を示す図である。図１１は、作業領域での座標系と位置座標を例示的に示す図である。図１２は、歪み補正要素画像での座標系と位置座標を例示的に示す図である。図１３は、人認識処理のブロック走査を示す図である。図１４は、人認識の特徴量を示す図である。図１５は、人認識処理の階層構造を示す図である。図１６は、人認識の結果の例を示す図である。図１７は、認識装置における処理の流れを概略的に示すフローチャートである。

以下に添付図面を参照して、認識装置、認識システム、プログラムおよび位置座標検出方法の実施の形態を詳細に説明する。

ここで、図１は実施の形態にかかる認識システム１００のハードウェア構成を示す図である。図１に示すように、認識システム１００は、魚眼カメラ２００と、認識装置３００とを備えている。認識装置３００は、認識処理部３２１と、認識処理部３２１と魚眼カメラ２００とを接続するインタフェース部３２２と、を備えている。

まず、魚眼カメラ２００のハードウェア構成について説明する。

ここで、図２は魚眼カメラ２００のハードウェア構成を示すブロック図である。図２に示すように、魚眼カメラ２００は、対角線画角が１８０度以上の画角を有する魚眼レンズ２０１およびＣＣＤ（Charge Coupled Device）２０３を備えている。魚眼カメラ２００は、被写体光を、魚眼レンズ２０１を通してＣＣＤ２０３に入射する。また、魚眼カメラ２００は、魚眼レンズ２０１とＣＣＤ２０３との間に、メカシャッタ２０２を備えている。メカシャッタ２０２は、ＣＣＤ２０３への入射光を遮断する。魚眼レンズ２０１及びメカシャッタ２０２は、モータドライバ２０６より駆動される。

ＣＣＤ２０３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ２０３から出力された画像情報は、ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路２０４によりノイズ成分を除去され、Ａ／Ｄ変換器２０５によりデジタル値に変換された後、画像処理回路２０８に対して出力される。

画像処理回路２０８は、画像データを一時格納するＳＤＲＡＭ（SynchronousＤＲＡＭ）２１２を用いて、ＹＣｒＣｂ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路２０８は、信号処理や画像処理が施された画像情報を液晶ディスプレイ２１６（以下、ＬＣＤ１６とする）に表示する。

また、画像処理回路２０８は、魚眼レンズ２０１から入力した魚眼画像を正距円筒図法で変更した正距円筒画像を生成する。

画像処理回路２０８において信号処理、画像処理が施された画像情報は、圧縮伸張回路２１３を介して、メモリカード２１４に記録される。圧縮伸張回路２１３は、操作部２１５から取得した指示によって、画像処理回路２０８から出力される画像情報を圧縮してメモリカード２１４に出力すると共に、メモリカード２１４から読み出した画像情報を伸張して画像処理回路２０８に出力する。

魚眼カメラ２００は、プログラムに従って各種演算処理を行うＣＰＵ（Central Processing Unit）２０９を備えている。ＣＰＵ２０９は、プログラムなどを格納した読み出し専用メモリであるＲＯＭ（Read Only Memory）２１１、および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Random Access Memory）１０とバスラインによって相互接続されている。

ＣＣＤ２０３、ＣＤＳ回路２０４及びＡ／Ｄ変換器２０５は、タイミング信号を発生するタイミング信号発生器２０７を介してＣＰＵ２０９によって、タイミングを制御される。さらに、画像処理回路２０８、圧縮伸張回路２１３、メモリカード２１４も、ＣＰＵ２０９によって制御される。

魚眼カメラ２００の出力は、図１に示す認識装置３００の信号処理ボードであるインタフェース部３２２に入力する。

次に、認識装置３００のハードウェア構成について説明する。

ここで、図３は認識装置３００のハードウェア構成を示すブロック図である。図３に示すように、認識装置３００は、認識装置３００全体の動作を制御するＣＰＵ（Central Processing Unit）３０１、ＣＰＵ８０１の駆動に用いられるプログラムを記憶したＲＯＭ（Read Only Memory）３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）３０３を有する。また、プログラム等の各種データを記憶するＨＤ（Hard Disk）３０４、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ（Hard Disk Drive）３０５を有する。

また、認識装置３００は、メディアＩ／Ｆ３０７、ディスプレイ３０８、ネットワークＩ／Ｆ３０９を有する。メディアＩ／Ｆ３０７は、フラッシュメモリ等のメディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ３０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ３０９は、通信ネットワークを利用してデータ通信する。

また、認識装置３００は、キーボード３１１、マウス３１２、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）ドライブ３１４、バスライン３１０を有する。キーボード３１１は、文字、数値、各種指示などの入力のための複数のキーを備える。マウス３１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う。ＣＤ−ＲＯＭドライブ３１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ３１３に対する各種データの読み出し又は書き込みを制御する。バスライン３１０は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

図示した認識装置３００のハードウェア構成は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、認識装置３００が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応するため、本実施形態の認識装置３００の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。

なお、プログラムは実行可能形式や圧縮形式などでメディア３０６やＣＤ−ＲＯＭ３１３などの記憶媒体に記憶された状態で配布されるか、又は、プログラムを配信するサーバから配信される。

本実施の形態の認識装置３００で実行されるプログラムは、下記に示す各機能を含むモジュール構成となっている。認識装置３００のＣＰＵ３０１は、ＲＯＭ３０２やＨＤ３０４などの記憶媒体からプログラムを読み出して実行することにより各モジュールがＲＡＭ３０３上にロードされ、各機能を発揮する。

図４は、認識装置３００の機能構成を示すブロック図である。図４に示すように、本実施の形態にかかる認識装置３００の認識処理部３２１は、魚眼カメラ動画入力部１０１、変換手段として機能する歪み補正要素画像生成部１０２、歪み補正要素画像生成パラメータ入力部１０３、人認識辞書入力部１０４、認識手段として機能する人認識処理部１０５、第１位置座標検出手段および第２位置座標検出手段として機能する作業領域人位置計算部１０６、作業領域人位置測定結果出力部１０７を備えている。

魚眼カメラ動画入力部１０１は、魚眼カメラ２００によりオフィスや工場などの作業領域（所定領域）を撮影した魚眼動画を入力する。

ここで、図５は魚眼カメラ２００により入力した画像の例を示す図である。図５に示すように、魚眼カメラ２００により入力される画像は、魚眼画像を正距円筒図法で変更した正距円筒画像である。

図６は、単位球について説明する図である。図６においては、半径が１の単位球を示す。この単位球を用いて、魚眼カメラ２００の結像について説明する。図６に示すように、魚眼カメラ２００へ入力する光線は単位球の赤道面に対する入射角、つまり仰角を示す緯度はlatitudeである。入射光線の方位角を示す経度はlongitudeである。

図７は、正距円筒図法の座標系について説明する図である。図７に示すように、横軸は経度longitudeであり、縦軸は緯度latitudeである。横軸の経度の角度範囲は（−１８０度〜１８０度）であり、縦方向緯度の角度範囲は（−９０度〜９０度）である。縦方向と横方向は等間隔に交差する。つまり、縦方向と横方向は等間隔角度である。

歪み補正要素画像生成部１０２は、透視投影図法により、複数の方向で要素画像を作成し、歪み補正要素画像を作成する。歪み補正要素画像生成部１０２は、複数の方向の要素画像により、作業領域をカバーする。歪み補正要素画像生成パラメータ入力部１０３は、複数の方向で要素画像を作成するため、歪み補正要素画像作成のためのパラメータを入力する。入力パラメータは、要素画像の数、それぞれ要素画像の画像サイズ、画角、方位角、仰角、回転角を入力する。

図８は、透視投影図法の座標系について説明する図である。図８に示すように、魚眼歪みを補正し、歪み補正要素画像を作成するには、透視投影図法により、歪み補正要素画像を作る。図８に示すように、透視投影図法は３次元の物体を見たとおりに２次元平面に描画するための投影図法である。

歪み補正要素画像生成部１０２は、歪み補正要素画像を作成するため、図８に示す透視投影図法で歪み補正要素画像を作成する。そのため、歪み補正要素画像の１画素座標（ｘｐ，ｙｐ）は、図５に示す入力魚眼画像での対応する座標（longitude，latitude）を求めれば良い。

歪み補正要素画像生成部１０２は、図８に示すように、要素画像の画素（ｘｐ，ｙｐ）から下記に示す式（１）と式（２）により、（longitude，latitude）経度と緯度を計算する。

式（１）、式（２）は、歪み補正要素画像の方位角、仰角と回転角はすべて０のときの計算式である。歪み補正要素画像生成部１０２は、複数の歪み補正要素画像を作成するとき、それぞれの方位角、仰角と回転角で魚眼画像での座標、経度緯度（longitude，latitude）を計算する。歪み補正要素画像生成部１０２は、図６に示す単位球の回転変換により、式（１）と式（２）の結果からそれぞれの方位角、仰角と回転角で魚眼画像での座標、経度緯度（longitude，latitude）を計算する。

式（３）は単位球の回転変換式である。ここで、αは方位角、βは仰角、γは回転角である。これらのパラメータは、歪み補正要素画像生成パラメータ入力部１０３から入力する。歪み補正要素画像生成部１０２は、前記求めた経度緯度（longitude，latitude）から単位球上での（ｘ，ｙ，ｚ）座標を計算する。

歪み補正要素画像生成部１０２は、方位角、仰角、回転角により、式（３）の単位球回転行列計算によって（ｘ’，ｙ’，ｘ’）の単位球面上の座標を求める。この座標から、経度と緯度座標（longitude’，latitude’）を求める。つまり、魚眼画像上での座標値である。

歪み補正要素画像生成部１０２は、魚眼画像上の座標（longitude’，latitude’）での画素値を作り、歪み補正要素画像の座標の（ｘｐ，ｙｐ）画素値に与える。このようにして、歪み補正要素画像生成部１０２は、歪み補正要素画像を作成する。

ここで、複数方向の歪み補正要素画像を生成する方法を説明する。複数の歪み補正要素画像のそれぞれの方位角と画角を設定する必要である。そこで、それぞれの方位角と画角の設定方法を説明する。分割する画像数を設定する際に、数を多く設定すると、それぞれの補正画像の画角が小さくなる。すなわち、分割数をパラメータとして設定できる。

ここで、図９は複数方位角および複数画角の設定例を示す図である。図９に示す例は、分割数３の例を示すものである。図９に示すように、歪み補正要素画像生成部１０２は、１８０度の範囲内で、３分割し、それぞれの方位角と画角を設定する。歪み補正要素画像生成部１０２は、それぞれの画像間では境目が発生するため、一部お互いに重なる領域を設け、それぞれの画角を少し広く設定する。歪み補正要素画像生成部１０２は、設定したそれぞれの方位角と画角で、歪み補正を行う。

歪み補正要素画像生成部１０２は、複数の方位角、仰角、回転角により、複数の歪み補正要素画像を作成する。３方向の歪み補正要素画像の作成例を図１０に示す。

歪み補正要素画像により人を認識し、認識結果の位置座標から作業領域での位置座標を計算する必要である。そのため、事前キャリブレーションを行い、変換式を求める。

ここで、図１１は作業領域での座標系と位置座標を例示的に示す図である。本実施形態においては、作業領域の地面にマーカーを設けることによりキャリブレーションを行う。図１１に示すように、例えば、作業領域で黒い点のマーカーＭを設置する。マーカーＭの座標（Ｘ，Ｙ）を事前に測定し、既知の値とする。なお、図５においては、白いマーカーを設けている。

ここで、図１２は歪み補正要素画像での座標系と位置座標を例示的に示す図である。図１２に示すように、対応する歪み補正要素画像は、作業領域の地面で設けたマーカーＭを結像する。歪み補正要素画像からマーカーＭの位置を検出し、マーカーの座標は（ｘ，ｙ）とする。作業領域の地面と透視投影図法で作成した歪み補正要素画像の地面は平面なので、射影変換の関係を持つ。下記に示す式（４）で変換する。

式（４）の未知数としては、８個のｍ_ｉｊがあるので、対応点（Ｘ，Ｙ）と（ｘ，ｙ）が４点以上あれば、係数ｍ_ｉｊを求めることができる。

人認識処理部１０５は、歪み補正要素画像を用いて人認識処理を行う。より詳細には、人認識処理部１０５は、歪み補正要素画像生成部１０２で作成した歪み補正要素画像に対して、人認識処理を行う。

人認識辞書入力部１０４は、人認識処理部１０５における人認識処理に用いる人認識用辞書を入力する。より詳細には、人認識辞書入力部１０４は、機械学習方法によって、事前に人の学習データを用いた人認識用辞書を作成する。

ここで、図１３は人認識処理のブロック走査を示す図である。図１３に示すように、人認識処理部１０５は、人を認識するため、まず画像から歪み補正要素画像の範囲内で、矩形形状のブロック１を切り出す。矩形形状のブロック１における左上の座標（Ｘｓ，Ｙｓ）と右下の座標（Ｘｅ，Ｙｅ）は、ブロック１の画像内での位置とブロック１の大きさにより決まる。

矩形形状のブロックの選択は、大きいサイズから小さいサイズまで順に選択する。その理由として、本手法では、ブロックの正規化を行うので、大きいブロックと小さいブロックの処理時間は同じである。画像に大きいブロックとなる候補の数が少なく、小さいサイズのブロック数は多いので、大きいサイズのブロックから選択するとより早くオブジェクトを検知される。大きい画像が検知されると、出力すると体感速度は速くなる。

人認識処理部１０５は、人認識の特徴量を計算する。ここで、図１４は人認識の特徴量を示す図である。図１４に示すように、人認識処理部１０５は、ブロック内にある白黒の矩形特徴量を計算する。つまり、人認識処理部１０５は、ブロック内にある白黒の矩形領域に白い領域内の画素値を加算し、黒い画素領域内の画素合計値との差はブロック領域内の特徴量ｈ（ｘ）とする。図１４においては、Ａ、Ｂ、Ｃ、Ｄの４つの特徴の例を挙げた。

計算した矩形特徴量は、式（５）示すように特徴量重み付け評価値ｆ（ｘ）の計算に用いる。式（５）に示すように、人認識処理部１０５は、ブロック内に特徴量ｈ_ｔ（ｘ）を計算して、重み係数α_ｔを付けて、評価値ｆ（ｘ）を計算する。

式（５）に示すように、評価関数に特徴量ｈ_ｔ（ｘ）と重み係数α_ｔを有している。人認識辞書入力部１０４は、特徴量と重み係数を、機械学習方法により予め計算しておく。人認識辞書入力部１０４は、人認識対象に対して、学習データを集め、学習させ、特徴量と重み係数を求める。

ここで、図１５は人認識処理の階層構造を示す図である。図１５に示すように、人認識処理は、階層構造を有している。各階層では、式（５）に示す評価関数を持つ。人認識処理部１０５は、評価関数の値が、予め設定した閾値より小さい場合、人でないと判断し、そのブロック（非人ブロック）の評価を中止する。人認識処理部１０５は、各階層で評価値を計算する。人認識処理部１０５は、最後の階層において人でないと判断しなかったブロックについて、人と判断する。

人認識辞書入力部１０４は、人認識処理部１０５の各階層での評価値を計算する特徴量と重み係数および、各階層での評価値閾値を予め、人と人でない学習画像を用いて学習させ、人認識用辞書を作成する。

ここで、図１６は人認識の結果の例を示す図である。図１６に示す枠５００Ａ，５００Ｂは、人認識した結果を矩形で囲んで人領域としたものである。矩形の底辺中心点座標は、歪み補正要素画像での人認識の位置座標とする。

作業領域人位置計算部１０６は、歪み補正要素画像と作業領域の座標変換式（４）を用いて人認識処理部１０５における人認識処理により得られた歪み補正要素画像上の人位置座標（ｘ，ｙ）を変換し、作業領域での人位置（Ｘ，Ｙ）を求める。

作業領域人位置測定結果出力部１０７は、作業領域人位置計算部１０６で求められた作業領域での人位置（Ｘ，Ｙ）を出力する。

ここで、図１７は認識装置３００における処理の流れを概略的に示すフローチャートである。図１７に示すように、まず、魚眼カメラ動画入力部１０１は、魚眼カメラ２００によりオフィスや工場などの作業領域を撮影した魚眼動画を入力する（ステップＳ１）。

次いで、歪み補正要素画像生成部１０２は、透視投影図法により、複数の方向で要素画像を作成し、歪み補正要素画像を作成する（ステップＳ２）。

次いで、人認識処理部１０５は、ステップＳ２で作成した歪み補正要素画像に対して、人認識処理を行う（ステップＳ３）。

次いで、作業領域人位置計算部１０６は、ステップＳ３により得られた歪み補正要素画像上の人位置座標（ｘ，ｙ）を変換し、作業領域での人位置（Ｘ，Ｙ）を求める（ステップＳ４）。

最後に、作業領域人位置測定結果出力部１０７は、ステップＳ４で求められた作業領域での人位置（Ｘ，Ｙ）を出力する（ステップＳ５）。

このように本実施の形態によれば、魚眼カメラで撮影した動画像から所定領域における対象物の位置情報を測定することができる。

なお、本実施の形態においては、オフィスや工場などの作業領域を撮影した魚眼動画から人の位置情報を測定する形態を例示的に説明したが、これに限るものではなく、各種の測定に適用可能であることは言うまでもない。

１００認識システム
１０２変換手段
１０５認識手段
１０６第１位置座標検出手段、第２位置座標検出手段
２００カメラ
３００認識装置

特開２０１３−００９０５０号公報

Claims

魚眼レンズを備えるカメラにより所定領域を撮影した魚眼動画を複数の歪み補正要素画像に変換する変換手段と、
前記歪み補正要素画像に対して対象物の認識処理を行う認識手段と、
認識した前記対象物の前記歪み補正要素画像における位置座標を求める第１位置座標検出手段と、
前記歪み補正要素画像における位置座標から、認識した前記対象物の前記所定領域での位置座標を求める第２位置座標検出手段と、
を備えることを特徴とする認識装置。
前記変換手段は、複数の方位角、仰角、回転角のパラメータ入力により、透視投影図法によって異なる方位角の複数要素画像を生成する、
ことを特徴とする請求項１に記載の認識装置。
前記認識手段は、前記歪み補正要素画像の座標から単位球での経度と緯度を計算し、前記単位球を要素画像の方位角、仰角、回転角により、回転行列計算によって、正距円筒魚眼画像の経度と緯度座標値を求める、
ことを特徴とする請求項１に記載の認識装置。
前記第２位置座標検出手段は、前記所定領域の平面上に４点以上のマーカーを設けて事前に測定した前記所定領域における前記マーカーの位置座標と、前記歪み補正要素画像における前記マーカーの位置座標とから、前記歪み補正要素画像から前記所定領域への位置座標変換式を求める、
ことを特徴とする請求項１に記載の認識装置。
前記認識手段は、前記対象物を認識した結果を矩形で囲み、前記矩形の底辺中心点座標は、前記歪み補正要素画像での前記対象物の位置座標とする、
ことを特徴とする請求項１に記載の認識装置。
前記変換手段は、複数の前記歪み補正要素画像を生成する際に、複数の前記歪み補正要素画像が一部互いに重なる領域を設ける、
ことを特徴とする請求項１に記載の認識装置。
魚眼レンズを備えるカメラと、
請求項１ないし６の何れか一項に記載の認識装置と、
を備えることを特徴とする認識システム。
認識装置を制御するコンピュータを、
魚眼レンズを備えるカメラにより所定領域を撮影した魚眼動画を複数の歪み補正要素画像に変換する変換手段と、
前記歪み補正要素画像に対して対象物の認識処理を行う認識手段と、
認識した前記対象物の前記歪み補正要素画像における位置座標を求める第１位置座標検出手段と、
前記歪み補正要素画像における位置座標から、認識した前記対象物の前記所定領域での位置座標を求める第２位置座標検出手段と、
として機能させるためのプログラム。
認識装置で認識した対象物の位置座標検出方法であって、
魚眼レンズを備えるカメラにより所定領域を撮影した魚眼動画を複数の歪み補正要素画像に変換する変換ステップと、
前記歪み補正要素画像に対して前記対象物の認識処理を行う認識ステップと、
認識した前記対象物の前記歪み補正要素画像における位置座標を求める第１位置座標検出ステップと、
前記歪み補正要素画像における位置座標から、認識した前記対象物の前記所定領域での位置座標を求める第２位置座標検出ステップと、
を含むことを特徴とする位置座標検出方法。