JP2008522268A - 物体の位置をディジタル画像から特定する方法 - Google Patents

Abstract

シーン（場面）内の物点の位置を、光学系を通して取得したディジタル画像から特定する方法が呈示される。画像は物点に対応する像点の一組から成り、物点の位置は像点に関連する所定のベクトルにより特定される。所定のベクトルは、光学系の全ての歪効果を含む光学系を通してこの像点を生成することになる物空間内光線の反転方向を表す。

Description

本発明は一般にカメラ画像化（撮像）を用いる物点の特定、より詳しくは、特に車両搭乗者保護システムに用いられる、シーン（場面）内の物点の位置の、そのディジタル画像からの決定に関する。

エアバッグや受動シートベルト機構を含む自動車搭乗者保護システムが当該技術で周知であり、現在生産されている大多数の自動車に装備されている。かかる保護システムの展開又は作動は一般的に、感知される加速度が所定の閾値を超えるときトリガー信号を出力する加速度センサに基づいている。

エアバッグの導入は事故で蒙る傷害の厳しさを低減するのに成功している一方、或る種の状況下では、例えば幼い、又は着座が不適切な搭乗者に対して、深刻な、ときには致命的な損傷を引き起こすこともある。これは例えば、後ろ向きの幼児シートが車両の前部席に取り付けられる場合、ドライバがステアリングホイールに近すぎる場合、搭乗者がダッシュボードに近すぎる場合、又は子供が前部搭乗者シートに座っている場合の状況でそうである。そのような状況では、エアバッグを作動しないようにするか、エアバッグ展開条件を搭乗者に合わせるのが望ましい場合がある。

従って、車両内の特定の搭乗者種に応じてエアバッグ展開を合わせるため、搭乗者条件の変化を考慮した制御システムが開発されている。

車両搭乗者の種類と位置を検出する種々の視覚型制御システムが提案されている。それ等は一般的には、光学系（１つ以上のレンズを含む）を特徴とする少なくとも一個のカメラ、並びにシート部の画像を捕捉する撮像素子アレイから成る。車両内の空間が制限されていることから、車両内の搭乗者エリアを調べられる広角レンズが通常必要になる。取得画像は制御装置で処理され、車両搭乗者を検出・分類し、次いでこの搭乗者分類はエアバッグ制御のための入力として用いられる。

視覚型制御システムに固有の技術的問題は、カメラレンズを通る光が光学的に歪むことである。例えば、たる形歪曲は広角レンズの場合に見られる周知の効果である。この歪みのため直線が画像では曲がって見え、即ちあらゆる像点が変位して見える。

従って、歪みを除くために画像予備処理が用いられることが多く、搭乗者位置は、取得され、修正された、歪曲されていない画像から特定される。これは明らかに、大量のデータ処理、高い計算機能力及び高い記憶容量を必要とする。更に、歪曲除去方法は一般的に、修正画像内の物体の位置に近似を導入し、これはまた、かかる修正画像からの位置特定に明らかに影響を及ぼす。

ＵＳ６００５９５８には、単一カメラ装置を用いて車両搭乗者の種類と位置を検出する方法及びシステムが記載されている。これは、車両の内部の画像を周期的に画像輪郭データに変換し、記憶基準輪郭データと調和する画像輪郭を用いて搭乗者又は物体の種類を決定することにより、物体と前向き又は後向きの幼児シートと成人搭乗者とを区別することができる方法及びシステムである。瞬間距離も測定され、測定距離の変化が追跡される。次いで、この情報の全てが、搭乗者保護システムの展開制御を最適化するのに用いられる。

ＷＯ０２/０７８３４６には、特に搭乗者保護システム用の画像を修正する方法が記載されている。この方法では、カメラオプティクスにより歪められる原像が、表画像化規則を用いて修正画像に変換される。原像の各原画素には、目標画像の１つ又は数個の目標画素が割り当てられる。この変換は撮像素子からの、即ち実時間での読出し中に直接行われる。この方法では、原像が減寸の無ひずみ目標画像に変換されるが、これは記憶容量を節約する。だが、そのような変換規則では、近似が導入され、かかる歪曲修正画像に基づく位置特定に誤差を招くことになる。

本発明の目的は物体の位置をディジタル画像から特定する、改良された方法を提供することにある。

上記目的は、請求の範囲請求項１に記載の方法によって達成される。
本発明は、シーン（場面）内の物点（一般に広幅の物体内の点）の位置を、光学系を通して取得したこのシーンの、該物点に対応する像点から成るディジタル画像から特定する方法を提案する。本発明の重要な観点によれば、像点の位置は、この像点と関連する所定のベクトルによって決定され、この所定のベクトルとは、光学系を通して該像点を生成する物空間内の光線の方向を表す。換言すれば、そのような所定ベクトルは、像点を作る光が出て来る物点の方向を表している。

修正された無ひずみ画像を提供するため画像変換を伴う既知の物体位置特定方法と異なり、本発明は、像点を実際に生成する光線の方向を表すベクトルによって物空間内の後方に像点を写像（ｍａｐｐｉｎｇ）することに基づく。そのようなベクトルは光学系を通しての光学的ひずみを含むので、原像データを変換しなくても、観測シーン内の物点の位置を正確に特定することができる。方法は更に、画像データに対する近似を要せず、また付加的計算機能力を要しないと云う利点がある。

そこで、本方法で得られる正確な位置情報をエアバッグ装置等の自動車搭乗者保護システムの制御での搭乗者分類に用いると好都合である。

像点に関連する所定のベクトルが光学系のレンズ装置の光学的中心を通る光線の方向を表すようにすると良い。これより、像点を生成する光線が出て来た物点の方向が明瞭に表されるようになる。

対応する物点の測定遠隔を表す各像点に距離情報が関連するようにすると好都合である。そのような場合、物点の位置は所定ベクトル及び距離情報に基づいて特定することができる。

好適な実施態様では、光学系はレンズ装置を含み、観測シーンの画像は光学系を通して、レンズ装置に光学的に結合する撮像素子アレイにより取得される。取得画像には、物点に対応する像点が多数含まれる。好ましくは、各像点に距離情報が関連するようにする。各像点にグレー値（ｇｒｅｙ ｖａｌｕｅ）が関連するようにするのが良い。各像点には各自所定ベクトルが関連し、レンズ装置通過後にセンサアレイ上に像点を生成する光線の物空間内の方向を表す。所定ベクトルは好ましくは、レンズ装置の光学的中心を通る光線の方向を表すようにする。

従って、この実施態様は、所定ベクトルと距離情報に基づいて観測シーン（例えば、搭乗者区画）内の物体の３Ｄ位置を特定できる。この方法は新たな修正画像の計算を要せず、センサにより取得された未修正画像から物体の３Ｄ位置を直接得ることができ、従って従来技術による解決策とは根本的に異なっている。

所定のベクトルは好ましくは、校正により得られる。この校正は撮像素子の所定エリア（画素）に対して、光学系を通過時にこれ等のエリアに夫々当たる物空間内の光線を識別するステップを含むことになる。そのような校正処理手順は当該技術で知られており、ここで詳細な説明を要しない。この識別ステップに続いて、これ等光線の方向が所定ベクトルの計算に用いられる。これら所定ベクトルは光学系の所定の構成に対応し、画像毎に系統的に再計算される必要は無いことが理解されよう。これ等所定ベクトルは従って、記憶しておくことが有利である。

各所定ベクトルは好ましくは、基準座標系のユニタリーベクトルである。これにより、像点に対応する物点の座標は、測定距離情報にこの像点に関連する所定ベクトルを単に掛けることにより、決定することができる。この基準座標系を、例えばカメラ座標系、即ちその原点が光学系の光学的中心と一致する３次元座標系とすることができる。

望まれれば、基準座標系内の夫々ユニットベクトルであるベクトルは通常の計算により、別の座標系で用いられるように変換することができる。車両内の搭乗者分類に適用するためには、座標系をカメラ座標系ではなく、車両座標系とするのが良い。

本発明方法は特に自動車搭乗者保護システムに用いるのに十分適しているが、物体位置のディジタル画像からの決定を要する種々の用途に用いることができる。

本発明方法は、種々の光学系で得られる画像から物体の位置を抽出するのに実施することができる。物体の３次元座標決定のため、各画素（即ち、画像の各点）毎に距離情報を取得するカメラを用いるのが有利である。だが、距離情報はまた、任意の適宜方法（例えば、立体視）により決定し、その後、対応する像点に関連させることができる。尚、本方法は立体カメラシステムの２つのカメラの一方で取得された画像でも利用することができる。

本発明方法の好適な一実施態様を以下、詳細に説明する。本方法の特性及び利点は、カメラ撮像により座標決定する従来手法との比較により、より明らかになろう。
ピンホールカメラモデル

理想的カメラ（所謂ピンホールカメラ）はシーン（場面）の純粋な透視投影を行う。この投影−ここでは説明の目的のために用いる−は、所謂カメラ座標系r=(x, y, z)から画像座標系(u, v)への簡単な次の関係による簡単な写像として記述することができる。

ｕ＝ｘ・ｆ／ｚ 及び ｖ＝ｙ・ｆ／ｚ （１）

この場合、投影中心はカメラ座標系の原点O=(0, 0, 0)である。投影面Ｐは(x,y)面に平行で、ｚ軸（光軸）に沿ってＯから距離ｆ（焦点距離）変位している。

理想的には、シーン（場面）から来る光線は光学的中心を直線状に通る筈である（図１）。その場合、位置(u, v)で投影面に交差する点は画像内の点：

（ｕ_ｄ，ｖ_ｄ）＝（ｕ，ｖ） （２）

に写像されることになる。それに関連して、像平面Ｉは軸がカメラ座標系に平行するカメラレンズの後方の光学的中心か距離ｆに置かれる、即ち、像平面は鏡像投影面とみなされる。

あらゆる画素に対して距離値ｄ＝｜ｒ｜＝（ｘ^２＋ｙ^２＋ｚ^２）^１/２を取得できる開発中の３Ｄカメラがある。この距離は画像上の対応画素の位置（ｕ_ｄ，ｖ_ｄ）と共に、式（１）及び（２）の反転である式：

ｚ＝ｄ・ｆ／（ｆ^２＋ｕ^２ _ｄ＋ｖ^２ _ｄ）^１／２ （３）
ｘ＝ｕ_ｄ・ｚ／ｆ，
ｙ＝ｖ_ｄ・ｚ／ｆ．

を介して対応物点の（ｘ、ｙ、ｚ）座標を与える。

実際には、カメラレンズシステムはこの理想的で、簡単な写像（２）を示さず、光路に、従って結果となる画像に、非線形なゆがみを導入する。広角レンズに対して典型的に発生する所謂バレル（樽形）歪曲の一例を図２に示す。画像座標（ｕ_ｄ，ｖ_ｄ）が対応投影点（ｕ、ｖ）に対して変位され、式（２）は下の式（４）になるので、直線は曲がって見える。

（ｕ_ｄ，ｖ_ｄ）＝Ｆ（ｕ，ｖ） （４）

径方向のゆがみに加えて、接線方向のゆがみ、または非線形関数Ｆ（式４）で全て表すことができる修正位置からの撮像素子アレイの変位によるゆがみもある。３Ｄカメラでは、あらゆる種類の画像ゆがみが、画像座標（ｕ_ｄ，ｖ_ｄ）の変位により実位置から計算位置（ｘ、ｙ、ｚ）の変位を発生することになる。
従来のゆがみ矯正

２Ｄカメラはグレー値ｇ_ｉのマトリックスを記録する。ここでマトリックスとは像平面内の或る固定点（ａ_ｉ、ｂ_ｉ）に置かれた画素から成るものである。３Ｄカメラはグレー値のみならず、あらゆる画素位置における距離値を記録する。

従来の画像矯正は、歪曲画像で得られた値ｇ_ｉから理想的画像、即ちピンホールカメラで得られる画像の再構築を目的としている。この矯正のためには好ましくは、先ずカメラの校正を行い、変位を記述する関数Ｆ（式４）を特定することからなる。

これは特定の基準パターンを、種々の観点から取られるその画像と比較することによりなされる。既定のカメラモデルに基づく種々の校正方法がある（例えば、Janne Heikkilae, Geometric Camera Calibration using Circular Control Points, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 20, p. 1066-1074 (2000), R. Y. Tsai, A Versatile Camera Calibration Technique for High Accuracy (3D) Machine Vision Metrology Using Off-the-Shelf TV Camera and Lenses, IEEE J. Robotics Automat. Pages 323-344, Vol. RA-3 (1987)）が、ここで詳細に記載する必要は無い。

図３は、校正関数の特定の後、どのように画像矯正が従来行われているか示す。各画素ｉに対して、画素位置（ａ_ｉ、ｂ_ｉ）が理想的に、即ちカメラがあたかもピンホールカメラであるかのように、投影面Ｐ上に逆写像される。投影点（ｕ_ｉ、ｖ_ｉ）＝（ａ_ｉ、ｂ_ｉ）から、画像面上の対応する変位位置（ｕ_ｄｉ、ｖ_ｄｉ）が歪曲関数（４）を用いて計算される。図３の矢印は画素位置（ａ_ｉ、ｂ_ｉ）と画素の変位画像位置間の変位を表している。理想的画像を構成するため、歪曲位置（ｕ_ｄｉ、ｖ_ｄｉ）の周りの４画素が特定され、理想的画像内の画素ｉのグレー値は４つ画素の最近接のもののグレー値又は４つの画素のグレー値の線形組み合わせにより置き換えられる。この方法は矯正画像を生ずるあらゆる画素に対して行われる。この矯正を実時間システムで行う方法は例えば、ＷＯ０２/０７８３４６Ａ１に記載されている。

だが、矯正画像は常に、上記の処理手順による、非歪曲画像に対する近似に過ぎないことに注目しなければならない。最近接近傍修正を用いるか、又は画像が平滑化され、コントラストを失っている場合の何れにおいても、画素寸法の１/２までの画素変位が訂正されるに過ぎない。

画像マトリックスがグレー値データの代わりに（又はグレー値データに加えて）距離データを含む場合にも、同じ矯正処理手順を適用することができる。だが、画素位置（ａ_ｉ、ｂ_ｉ）と矯正距離から式（３）を介して計算される（ｘ_ｉ、ｙ_ｉ、ｚ_ｉ）座標は上記近似のため不正確であろう。更に、この矯正法ではコーナー画素の一部のものの情報は従って無視され、引き続く画像処理に対して失われることになる。
本方法を用いる３Ｄカメラデータからの無ひずみ座標決定

本方法は、シーン内の物点の位置を、像点と関連した所定ベクトル群（像点当り一ベクトル）手段によって、このシーンのディジタル画像から決定することを提案する。これらのベクトル群は、各像点を生ずる光線が現れる、観察されるシーン内の方向を示している。カメラの光学ひずみを含むこれ等ベクトル群を用いることにより、ディジタル画像から物体の位置（又は物点）を正確に特定することができる。

本方法はエアバッグ等の自動車搭乗者保護システムの搭乗者分類方法に用い、搭乗者の種類と位置にエアバッグの展開を合せるのに特に適している。

従って、ドライバ及び／又は搭乗者着座部を含む視野をもつように配置されたカメラを用いて、ディジタル画像を取得することができる。好ましくは、カメラはピクセル毎に距離値が得られる３Ｄ型のものである。そのようなカメラは当該技術で知られ、ここに詳細な説明を要しない。

可視、好ましくはＩＲレンジで動作可能なカメラは、基本的に１つ以上のレンズをもつ光学系と、光学系に作動的に連結する撮像素子（センサ）アレイを含み、センサアレイが観測シーンを２次元ディジタル画像にトランスレート（変換）するようにする。撮像素子アレイはＣＣＤ又はＣＭＯＳ型のもので良い。従って、取得ディジタル画像は、光学系を通してシーンの画像を反射する像点を形成する複数の画素から成る。画素毎に取得される距離情報は例えば、光の伝搬（飛行）時間測定に基づいて特定することができる。

実際には、飛行時間カメラは１つの撮像素子アレイに連結する１つのレンズ、並びに変調光源を有することができる。この方法はまた、いわゆるステレオカメラを備えることができる。そのようなカメラは一般には、２つのレンズと２つの撮像素子アレイを有し、更に追加の（非変調)光源を有しても良い。後者の場合には、これ等２つのレンズの一方から得られる画像に本方法を適用することができる。

以下の記載から明らかになろうが、方法の本実施態様は画像の変換を要せず、そのような３Ｄカメラにより取得されるディジタル画像から物点の３次元座標を正確に特定できる。また、これにより、画像に近似を導入することや付加的計算機能力の必要が回避される。

ディジタル画像（カメラにより取得される）は矯正される必要は無く、従って好ましくは、もとのままに留まるのが良いことを注意すべきである。その代わりに、参照３次元座標系で表される一組の所定ベクトル群が用いられる。この参照座標系は好ましくは、その中心がカメラレンズ装置の光学的中心に一致するようにする。更に、所定ベクトル群は好ましくは、光学系の中心を通る光線の方向を表すようにすべきである。

これ等のベクトル群を参照座標系のユニットベクトル群として計算すると有利である（図４）。これは、センサアレイの所定の画素に対応する物点の座標を得るのに、単にユニットベクトルに測定距離を掛ければ良いことを意味する。

各画素ｉに対して、光学系を通過後、その画素に当たる光線の物空間内方向を表す、特定されたユニットベクトルｅ_ｉがなければならない。これは像点を、図４に示すような投影面に逆に投影できることを意味し、従って実際には、ユニットベクトルは好ましくは光線の反転方向（図４に示すような）を表すことになる。だが、問題は、このユニットベクトル、即ち各所定ベクトルは光線の指向ベクトル（即ち、この光線の大域配向を表す）でなければならないと云うことが理解されよう。

上記のようにベクトルは撮像素子アレイの画素毎に特定することができるが、撮像素子アレイの部分によっては、実際には該当情報を受け取らないことがある。従って、素子アレイのこれ等の部分に位置する画素ではベクトル群を計算する必要はない。
光学的ひずみを有するユニットベクトルの特定

物点の座標特定の前提条件は所定ベクトル群の組を計算することである。既に述べたように、これは所定のカメラ構成に対する校正によりなされ、撮像素子の画素毎に、夫々の画素に当たる物空間内の光線の方向の識別を基本的に含む。

これ等の方向は好ましくは、逆ひずみ関数Ｆ´を用いて特定される。

（ｕ，ｖ）＝Ｆ´（ｕ_ｄ，ｖ_ｄ） （５）

この逆ひずみ関数を校正法で得る方法はHeikkilaeにより論じられている (上記参照) 。

あらゆる画素ｉに対して、逆ひずみ関数は画素位置（ａ_ｉ、ｂ_ｉ）を投影面Ｐ内のその投影点（ｕ_ｃｉ、ｖ_ｃｉ）に写（像）し戻す（図４参照）。これは、カメラオプティクスにより画素ｉにそのとき写像される投影面内の点である。点（ｘ_ｉ、ｙ_ｉ、ｚ_ｉ）＝（ｕ_ｃｉ、ｖ_ｃｉ、ｆ）を単位長さに対して正規化すると、光学的中心から投影点の方向に向くユニットベクトルが得られる、即ち

ユニットベクトルを用いて正確な座標を計算する

ユニットベクトル群が計算されたら、それ等は記憶することができ、画像取得中には再計算を要しない。次いで、カメラ座標系における３Ｄ座標の計算は、画素ｉで測定された距離値ｄ_ｉを対応するユニットベクトルに乗ずることにより達成される、即ち

ユニットベクトルは好ましくは記憶されるので、方法の実行毎に計算を新たに行う必要は無い。これは、位置特定のために画像変換を要する方法と比較して、計算時間とデータ処理の利得を示唆する。
世界座標系に付いての座標計算

本方法では、物点の座標はカメラ座標系で特定される。だが、もう１つの座標系（所謂「世界座標系」）での座標を計算すべき場合には、カメラユニットベクトル系から世界ユニットベクトル系を生成すれば良い。

通常、１つの座標系から別の座標系への変換は、３ｘ３回転マトリックスＲと変換ベクトルＴを含む所謂線形変換により達成される。回転マトリックスＲをカメラ座標系のユニットベクトルｅ_ｉに適用すると、世界座標系におけるユニットベクトルｅ_ｉ ^ｗが得られる。即ち、

ｅ_ｉ ^ｗ＝Ｒ・ｅ_ｉ 全てのｉについて （７）

ここでも、世界座標系のこれ等のユニットベクトル群は一度計算すれば良く、実行時間中にメモリー内に維持しておけば良い。実行時間中の座標計算はこの場合、次の簡単な式により得られる。

ピンホールカメラモデルの原理を示す図である。 樽形歪曲現象を示す図である。 従来の歪曲修正法を示す図である。 ユニットベクトル決定の原理を示す図である。

Claims (12)

1. シーン（場面）内の物点の位置を、光学系を通して取得したこのシーンの、該物点に対応する像点から成るディジタル画像から特定する方法であって、上記像点に関連し、上記光学系を通して該像点を生成する物空間内の光線の方向を表す、所定のベクトルにより上記物点の位置を特定するようにして成る方法。
2. 前記原像が夫々の物点に対応する多数の像点から成り、各自の所定ベクトルが該物点の各々に関連するようにして成る請求項１に記載の方法。
3. 各所定ベクトルが、前記光学系のレンズ装置の光学的中心を通る光線の方向を表すようにして成る請求項１又は２に記載の方法。
4. 各所定ベクトルを校正によって特定するようにして成る上記請求項の何れか１つに記載の方法。
5. 距離情報が像点に関連し、対応する物点の位置を該像点に関連する所定ベクトルと上記距離情報に基づいて特定するようにして成る請求項１〜３の何れか１つに記載の方法。
6. 測定される距離情報が各像点に関連し、該距離情報が対応する物点の測定遠隔を表すようにして成る請求項５に記載の方法。
7. 各所定ベクトルが基準座標系のユニタリーベクトルであり、測定距離情報にこの像点に関連する所定ベクトルを乗ずることにより、像点に対応する物点の座標を特定するようにして成る請求項６に記載の方法。
8. 前記測定距離情報が、前記光学系の中心から対応物点までの距離を表すようにして成る請求項７に記載の方法。
9. 前記ディジタル画像が撮像素子アレイにより取得されるようにして成る請求項１〜８の何れか１つに記載の方法。
10. グレー値が各像点に関連するようにして成る請求項１〜９の何れか１つに記載の方法。
11. 基準座標系で表現される前記所定ベクトルの座標を他の座標系に変換するようにして成る請求項１〜１０の何れか１つに記載の方法。
12. 請求項１〜１１の何れか１つに記載の方法を用いた、自動車搭乗者保護システムの搭乗者を検出、且つ分類する方法。

Images