JP2008547071A - シーン解析するための方法および画像評価ユニット - Google Patents

Abstract

本発明は、シーン解析のための方法に関する。本方法において、シーンもしくはシーン内の物体および光学センサは相対的に動き、取得したシーン情報を評価する。本発明によれば、シーンの視覚情報は、光学センサの個々のピクセルによって検出し；確定した強度変動のピクセル座標を決定し、確定したピクセルの強度変動における時間依存性を決定し、ピクセルの強度変動に関する局所的集積を統計的方法により決定し、局所的集積を、集積の数および／または位置に関して統計的方法およびデータエリア除去方法によって評価し、決定した値を検出したシーン領域のパラメータとして使用し、少なくとも１個のパラメータを、物体の特性と見なせる予め決定した所定パラメータと比較し、予め決定した所定比較基準が満足されるとき、各シーン領域に関する評価した局所的集積を前記物体の画像として見る。

Description

本発明は、請求項１の特徴部分による方法、および請求項７の前文における画像評価ユニットに関する。

本発明は、光学センサによって記録した情報の処理を対象とする。本発明の対象は、シーン解析に特別なアルゴリズムを実装している処理ユニットへの非同期のデジタルデータ伝送を行う特別な光学的半導体センサに基づく方法である。本方法は、シーンのコンテンツに関して選択した情報を伝達するものであり、この選択した情報は評価することができ、また例えば装置または描画等の制御に使用することができる。

使用するセンサは、前処理したシーン情報を非同期に転送もしくは発生する。すなわちシーンが変化したときまたはセンサの個々の画像素子がシーンの特定特徴を検出したときにのみシーン情報を転送もしくは発生する。この原理により、結果として得られるデータセットは画像ディスプレイに比べ大きく減少し、同時に既に抽出したシーンの特性によりデータの情報コンテンツは増加する。

従来のデジタル画像処理によるシーン検出は、画像センサが伝達した画像情報の評価に基づいている。通常、この画像は画像ポイント毎秒数回程度の所定サイクルで（同期して）画像センサから順次に読み出し、データに含まれるシーンの情報を評価する。データセットが大きく、評価方法が高価であるため、好適に適切な効率のよい処理システムを使用した場合においても、この原理は以下のような問題点によって制限される。すなわち、
1.) デジタル伝送チャネルのデータレートは制限されており、またある高性能画像処理における若干のタスクに対しては十分大きなデータレートではない。
2.) 多くのアプリケーション、とくに携帯アプリケーションにおいては、効率のよいプロセッサは、電力消費が大きすぎる。
3.) 効率のよいプロセッサには能動的冷却が必要となる。このためこのタイプのプロセッサを使用するシステムは、多くのアプリケーションにおいて十分コンパクトに構築することができない。
４．）効率のよいプロセッサは、多くのアプリケーション分野において高価すぎる。

本発明によると、請求項１の特徴部分に記載の特性によりこれらの欠点を解決することができる。本発明による画像評価ユニットは、請求項７の特徴部分に記載の特徴を有する。本発明の方法によって、信号は迅速に処理され、これにより観測したシーンにおける重要な情報は迅速に識別されるようになる。使用する統計的方法は、興味あるシーンパラメータに関する正確な評価もしくは対象物の識別を行う。

従来技術と本発明による方法との差を、図１に詳細に示す。今までは、画像センサからの情報またはデータは同期転送し、デジタル画像の前処理およびシーン解析の後に、結果を装置のインタフェースを介して伝送していた（図１ａ参照）。

本発明によれば、光学センサの画像信号をある特定方法で処理する。すなわち光学センサの画像素子内の光検出器が記録した強度情報を、アナログ電子回路によって前処理する。極めて一般的に、複数の互いに近接する光検出器の信号処理は、１個の画像素子内で結合することができる。画像素子の出力信号は、センサからシーン解析を行うデジタルデータ評価ユニットへのインタフェースを経て非同期で伝送し、評価の結果を装置のインタフェースで使用可能とする。（図１ｂ）

本発明による方法を、図２に模式的に示す。シーンを、光学記録ユニット（図示せず）を経て光学センサ１の結像面に示す。視覚情報は、センサの画像素子によって検出し、画像素子内の電子回路で連続的に処理する。このリアルタイムの処理によってシーンコンテンツ内における、特定の特徴を識別する。画像コンテンツ内で検出すべき特徴としては、とくに、静的エッジ（static edge）、強度の局所的変化、オプティカルフロー等がある。

特徴の検出を以下に「イベント」と記述する。イベントが発生する毎に、デジタル出力信号を画像素子によって非同期データバスにリアルタイムで生成する。この信号は、画像素子のアドレス、すなわち特徴を識別した画像フィールド上の座標を含む。このデータを、以下に「アドレスイベント（ＡＥ）」と称する。さらに、特徴の他のプロパティ、とくにイベントが生じた時間を、データ内にコード化することができる。センサ１は、この情報を関連データとして非同期データチャネルを経て処理ユニットＣＰＵに送る。バスコントローラ２は、伝送チャネルにおけるデータコリジョンを防ぐ。ある場合においては、非同期伝送プロトコルによる不規則なデータレートの調和をとるために、センサと処理ユニットとの間に、例えばＦＩＦＯなどのバッファ記憶装置３を使用すると有利である（図２参照）。

本発明による方法は、特別に設計したセンサの組み合わせ、データ伝送およびデータ処理用に用意した統計的/数学的方法からなる。設けるセンサは、光強度の変化を検出し、例えばシーン内の動きのあるエッジまたは明暗境界線などに反応する。センサは、各画像素子内の光検出器における光電流の変化に追跡する。これらの変化を、各画像素子用の積分器内で積算する。変化の総和が閾値を超えるとき、画像素子はこのイベントを、即座に非同期にデータバスを経て処理ユニットに送る。各イベント後に積分器の値を消去する。光電流の正および負の変化は別個に処理し、異なる極性のイベント（いわゆる「オン」イベントおよび「オフ」イベント）を生成する。

使用するセンサは、普通の意味における画像は生成しない。しかし、解りやすくするために、以下にイベントの二次元の説明図を使用する。この目的のため、各画像素子のイベントを時間間隔内でカウントする。イベントのない画像素子には白色ポイントを割り当てる。「オン」イベントまたは「オフ」イベントを有する画像素子をグレーまたはブラックのポイントで示す。

デジタル画像処理の用語との混同を防ぐため、以下の実施形態において用いる用語を導入する。

ＡＥフレームは、バッファ記憶装置内に保存され、規定の時間間隔内に生成されたＡＥであると定義する。

ＡＥ画像は、色もしくはグレー値をイベントの極性および周波数に割り当てた画像のＡＥフレームの図である。

図３（ａ）は、あるシーンのビデオ画像を示し、図３（ｂ）は、光強度変化に反応するセンサによって生成した同シーンのＡＥ画像である。データ処理ユニットＣＰＵでは、このシーンの特徴を統計的／数学的方法によって検討し、シーンコンテンツに関するより高次の抽象情報を取得する。このような情報としては、例えばシーン内にいる人数、または道路を走行する車の速度および距離などがある。

元画像に比べデータセットが相当に少ないことが分かる。イベントの処理には、デジタル画像処理に比べ少ない計算量と記憶容量しか必要としないため、処理をずっと効率的に行うことができる。

画像センサを、例えば部屋中央の天井に取り付けることによって、部屋内人数カウンタを実現することができる。個々のイベントを、処理ユニットによって画像フィールド内の人に相当するサイズを有した対応する正方形ゾーンに割り当てる。動いている物体で覆われた表面の単純な評価は、単純な統計的方法および補正メカニズムによって可能となる。これはセンサの視野に存在する人数に比例する。この場合人数の計算コストは小さいため、このシステムは簡単な費用効率よいマイクロプロセッサを用いて実現することができる。センサの画像フィールド内で動いている人もしくは物体が存在しない場合、イベントは生成されず、マイクロプロセッサはシステムの消費電力が大幅に最小化する省電力モードに切り替えることができる。従来技術による画像処理システムでは、センサ画像を常時処理し人を探さなくてはならないため、これを行うことは不可能である。

ドア用人数カウンタとして、画像センサを、ドア、または部屋の他の入口もしくは出口の上方に取り付ける。人は遠近法的に変形させず、人が観測領域を通過するときＡＥを軸線上（例えば、垂直軸線上）に投影し、ヒストグラムに加える（図４参照）。センサのあるドアを人が通り過ぎた場合、移動方向に突出する１個以上のピーク１がヒストグラム内に検出される。統計的重みづけを用いることで、動きの最大値および方向の計算を誤動作から保護できる。各ＡＥフレームに対して、最大のイベント数を含むヒストグラムの指標を決定し、これを直前のＡＥフレームの指標と比較する。指標がシフトした場合、これは人が動いたという事実、およびその方向が動作方向の指標が増加した方向である蓋然性（確率）を示している。この蓋然性（確率）は閾値に達するまで増加する。この場合、人がカウントされ、出入り双方の蓋然性（確率）を規定値にリセットする。このようにして、本システムは入ってくる人および出ていく人を識別し、人が部屋に入った時もしくは部屋から出た時にカウンタを増加もしくは減少させることができる。出入り双方の蓋然性をリセットすることは、視野内で活発な活動が行われている際にアルゴリズムをより確実なものとするのに都合が良いことが示されている。負の値を選択することで、人の重複カウントを防ぐために人為的な時定数を導入する。並行して歩いている複数の人は、投影領域を動作方向に沿って複数の“トラック”に分割することで、識別することができる。

多くの横断歩道（safety path）は、ドライバに歩行者に関する警告を与える警告灯を用いることで識別されている。これらの警告灯は、一日中、常時点滅し、多くの場合実際の危険を指摘するものではないためしばしばドライバには無視される。歩行者が道を横断または横断歩道に近づいた時に警告信号を発するだけの知的センサならば、警告灯により注意を払うことで交通安全の向上に寄与することができる。横断歩道における警告灯の自動点灯を行うために、横断歩道およびその周辺をモニタし、道路を横断しようとしている物体（人、自転車に乗っている人など）を識別することのできる画像センサおよびデジタルプロセッサを使用することができる。

画像センサおよび簡単なデジタル処理ユニットから成る本発明によるシステムは、データフローにおいて横断歩道上およびその付近にいる人および車両を分割・追跡することができる（図５）。本システムによって識別される物体の大きさや速度によって、人や車両などを各カテゴリに分類することが可能になる。図５は、それぞれＡＥ画像を検知し数学的／統計的評価によって個々の物体およびその動作方向を識別する２か所に設置したセンサによって同時に記録したシーンである。所定の観測期間の後、統計の概念に基づいた学習方法によって本システムは、道路、歩道、横断歩道の位置および配置を識別することが可能である。したがって、横断歩道へ向かっているおよび横断歩道上にいる全ての歩行者に関する警告を発することができる。例えば歩道を道路と平行に歩いている歩行者に関しては、識別した動作方向に従って警告は発しない。
簡単センサ（例えば赤外線動作センサ）を使用したシステムは、横断歩道付近に人が存在するかは識別できるが、その動作方向は検出することはできず、したがって、実際に横断歩道上に存在する歩行者に特化した警告を発生することはできない。

従来の方法と本発明方法との差異を模式的に示す説明図である。 本発明による画像評価ユニットを線図的に示すブロック図である。 記録した画像に関連して本発明による方法を模式的に示す説明図である。 記録した画像に関連して本発明による方法を模式的に示す説明図である。 記録した画像に関連して本発明による方法を模式的に示す説明図である。

Claims (8)

1. シーン解析のための方法であって、シーンまたはシーン内の物体と光学センサとの間における相対移動があるシーン情報を、光学センサにより記録し、この取得したシーン情報を評価する方法において、
   ‐シーンの視覚情報は、光学センサの個々の画像素子によって検出し、個々の画像素子は、所定閾値を超える光強度の絶対的変化が判明したとき、または記録したシーンポイントと光学センサとの間で生じた相対移動および／またはシーンコンテンツ変化に関連していると見なせる記録光の強度（コントラスト）に相対変化があった際に出力信号を発生するものとし、
   ‐判明した光強度変化の位置または画像素子座標を、決定または記録し、
   ‐確立した光強度変化の時間依存性とくに時点および順序を決定または記録し、
   ‐画像素子の光強度変化の局所的な集積を、統計的方法、とくに平均化、ヒストグラム、重要ポイントの密度、ドキュメントもしくは順序形成方法、時間に関するフィルタリングなどの統計的方法を用いて決定し、
   ‐局所的集積を、例えば重みづけ、数および／または位置に関する閾値の設定、データエリア除去方法などの統計的方法、とくに集積密度および／または局所分布の経時的変化を考慮した方法によって評価し、
   ‐決定した値を、検出したシーン領域の例えばサイズ、速度、動作方向、形状などのパラメータと見なし、
   ‐少なくとも１個のパラメータ、好ましくは複数のパラメータを、物体の特性と見なされる少なくとも１個の所定パラメータ、好ましくは複数の所定パラメータと比較し、
   ‐予め決定した所定比較基準が満足されたとき、それぞれのシーン領域に関する評価した局所的集積を、前記物体の画像として見る、
   ことを特徴とする方法。
2. 請求項１に記載の方法において、局所的集積を、記録したシーン内を動く関連した光強度の線形変化に関して検討し、プリセット量に関連するまたはプリセット量を越えると評価されるタイプの光強度変化を、光学センサに対して相対移動する物体の軌跡として見ることを特徴とする方法。
3. 請求項１または２に記載の方法において、局所的集積のサイズ変化を、センサに接近する物体またはセンサから遠ざかっていく物体であると解釈することを特徴とする方法。
4. 請求項１〜３のいずれか一項に記載の方法において、集積の構造における経時的変化および／または空間的変化は、シーン領域における特定特徴の特性として見ることを特徴とする方法。
5. 請求項１〜４のいずれか一項に記載の方法において、各画像素子において光強度変化によって生じる光電流変化を、モニタ、および生成または積分し、画像素子の閾値を超えたとき即座に、信号を処理ユニットに非同期に発生し、総和または積分を、とくに各信号発生後に再開することを特徴とする方法。
6. 請求項１〜５のいずれか一項に記載の方法において、光電流の正および負の変化を、個別に、決定または検出し、および処理または評価することを特徴とする方法。
7. シーン情報を記録するための画像評価ユニットであって、シーンまたはシーン内の物体と光学センサとが相対的に移動し、得られたシーン情報のための評価ユニットを有し、光学センサがシーンの視覚情報を検出する画像素子を有し、特に請求項１〜６のいずれか一項に記載の方法を実行するための該画像評価ユニットにおいて、
   個々の画像素子またはピクセルが、強度の絶対的変化が所定閾値を越えていることが判明したとき、もしくは記録したシーンポイントと光学センサとの間に生じた相対移動および／またはシーンコンテンツの変化に関連する記録した光の光強度相対変化（コントラスト）を生じた際に出力信号を発し、
   −判明した強度変化の位置または画像素子の座標を決定し、また判明した光強度変化の時間依存性、とくに時点および順序を決定するユニットを設け、
   −このユニットには、画像素子の光強度変化の局所的集積を統計的方法、とくに平均化、ヒストグラム、重要ポイントの密度、ドキュメントもしくは順序形成方法、時間に関するフィルタリングなどの統計的方法を用いて決定する計算ユニットを設けまたは配置し、
   −評価ユニットは、局所的集積を、例えば重みづけ、数および／または位置に関する閾値の設定、データエリア除去方法などの統計的方法、とくに集積密度および／または局所分布の経時的変化を考慮した方法によって評価し、決定した値を、検出したシーン領域の例えばサイズ、速度、動作方向、形状などのパラメータを表すように設け、
   −少なくとも１個のパラメータ、好ましくは複数のパラメータを、物体の特性と見なされる少なくとも１個の所定パラメータ、好ましくは複数の所定パラメータと比較する比較ユニットを、評価ユニットに設けまたは配置し、
   −予め決定した所定比較基準が満足されたとき、それぞれのシーン領域に関する評価した局所的集積を、前記物体の画像であるとして見る、
   ことを特徴とする画像評価ユニット。
8. プログラム製品をコンピュータ上で実行する時に、請求項１〜６のいずれか一項に記載の方法を実行するよう、コンピュータが読み込めるデータキャリアに保存したプログラムコード化手段を有するコンピュータプログラム製品。

Images