JP2015156212A - 映像ソース及び画像ソースにおける静止要素を検出するための方法、システム、撮像装置、可動装置、及びプログラム製品 - Google Patents

Abstract

【課題】本発明は、可動装置に搭載された撮像手段により撮像される画像において静止要素を特定するための方法に関する。【解決手段】本方法は、前記撮像手段により撮像された第１の画像と第２の画像とを取得するステップを有する。前記第１の画像及び前記第２の画像は、或る時間差だけ隔たった撮像時刻に撮像されたものであり、本方法は、前記時間差が前記可動装置の運動パラメータに依存して選択されることを特徴とする。前記第１の画像と前記第２の画像の対応する領域についての、当該対応する領域の類似性を表す決定尺度が算出され、前記算出された決定尺度に基づき、前記第１の画像と前記第２の画像の静止要素が特定される。前記特定された静止要素についての情報を含む出力信号が生成される。【選択図】図３

Description

本発明は、画像ソース（複数）内の静止要素を特定する方法、これに関するシステム、撮像装置（撮像デバイス、imaging device）、そのような撮像装置を備える可動装置、及びこれに関連するコンピュータプログラム製品に関する。特に、本画像分析は、撮像手段により撮像された画像シーケンスの画像（複数）において静止した疵（正常な状態でない部分、本来の状態でない部分、不完全な部分、flaws）を特定することに関する。本方法は、望ましくは、画像処理を利用する運転者支援システムを備えた車両、又は自律式車両（autonomous vehicles）に用いられる。

本発明は、コンピュータによる視野生成に依拠する、又はそのようなシステムが搭載された乗り物の周囲を検知するその他のセンシング技術に依拠する、自律式装置の分野に属する。本発明が適用される自律式装置の一例は自律式芝刈り機であるが、本発明は、決してこれに限られるものではない。自律動作を高信頼度で行うためには、これらの自律式装置は、あらゆる状況下において或る詳細さを持って自身の周囲を知覚することが重要である。カメラのような撮像手段は、この分野ではますます用いられるようになっており、距離推定、車線検出、あるいは複雑な物体の検出及び人間の検出といった人間の能力（ability）に関連する性能（capability）を、自律式装置に提供する。しかしながら、システム全体の信頼性にとっては、野外用途において遭遇する不利な状況においてもカメラのような光学センサが画像を提供することが、最も重要となる。光学センサ、及び特にそれらのレンズには汚れが付き、光学センサのレンズには引っかき傷が付くこともある。したがって、これらセンサを定期的に保守し又は清掃することが、ますます重要となる。このため、自律式可動装置では、これらセンサの視野が減少する問題に対処して撮像画像についての分析に誤りが生ずるのを防止するための適切な手段についての情報を生成して、光学センサについてのセルフチェックを行うことも重要となる。

“自律式可動装置（autonomous movable device）”という用語は、本分野では、当該自律式装置（“自己推進装置（self-propelled device）”）を移動させるための運転手段や推進手段、当該推進手段にパワーを供給するためのオンボードのエネルギ貯蔵器（energy reservoir）、一つ又は複数のセンサ、及び当該センサ及び上記運転手段に機能的に接続された制御手段、を備えた無人装置を称するものとして、一般に知られている。自律式装置は、一つ又は複数のセンサにより取得されたセンサデータが、推進手段への制御信号を生成すべく制御手段により処理されることに基づいて、人間のサポートを要することなく自由に操縦を行う。

将来は、特に野外用途において自律的に動作する可動装置の機能を向上すべく、より多くのセンサ、及び又は改良された特性や全く新しい能力を自律式装置に提供する光学センサなどのセンサが期待される。しかしながら、これらの新しいセンサが生成する信号の品質、特にカメラ等の光学センサが生成する信号の品質は、レンズの清浄さや、苛酷な野外環境において視覚情報を取得するために視線に挿入される透明カバーの清浄さに依存する。庭などの野外環境での天候の変化によって、及び自律式芝刈り機における芝刈りのようなタスクの実行によって、泥、砂、植物片、水などにセンサが晒されることがより多くなる。このため、センサ故障や分析誤りに起因する自律式装置の誤動作を防止すべく、センサを定期的に保守することが特に重要となる。

本発明は、センサ手段がカメラ等の一つ又は複数の光学センサで構成される場合に、特に利点がある。野外環境でカメラを用いることで、自律式可動装置により高い制御性能が備わるが、一方で、カメラの視野は、当該カメラのレンズに泥が付着することで大幅に低下する。したがって、センサを適宜に清掃することは、泥に晒される自律式ロボット装置のナビゲーションその他の特性にとって有益である。

本発明の望ましい実施形態である自律式可動装置は、自律式芝刈り機である。また、自律式芝刈り機は、草を刈るための一つ又は複数の刃を有する作業手段を備え、動作の際には、切断された草が当該自律式芝刈り機の任意の表面に付着することで急速に汚れていく。

特許文献１は、監視カメラなどの光学システムの前方レンズに付着した汚れを検出するという課題を扱っている。付加的な光学部品を追加することにより、副画像（sub-images）を生成する。この副画像は、当該副画像を生成する光線が前方レンズの異なる種々の位置を通るようにして生成される。特許文献１の提案は、ゴミや疵を検出するための付加的な技術手段を必要とし、したがって複雑であって、実施に要するコストが高くなる。

特許文献２は、例えば車両のフロントガラスのワイパーを制御すべく、センサアレイの表面に付着した水分を検出するステレオカメラのセットアップを開示している。しかしながら、立体的な深さを生成すべく２つの画像センサを必要とし、したがって付加的なハードウェアを導入しており、フロントガラス上の水分検出を行うセンサシステムを複雑にする。

特許文献３は、画像センサ及びその光学系の表面に付着したゴミに対応するピクセル位置を検出する方法を示している。特殊なテスト用セットアップを用いて一様な輝度で画像を撮像し、所与の当該一様な輝度に応じたピクセル強度を表す閾値と各ピクセルの強度とを比較する。自然環境において一様な輝度を得ることは困難であるため、開示されたこの方法では特殊なテスト用セットアップが必須であり、従ってこの方法は、車両や自律式可動装置の、通常の稼働の際におけるセンサレンズの監視には不向きである。

特許文献４は、車両のフロントガラス上の物体を検出することにより当該フロントガラスのワイパーを制御する処理を開示している。２つの画像を異なる時刻に取得して互いに比較することにより、フロントガラス上の物体を背景の物体から区別する。これに記載されている実施形態では、取得された画像はエッジ画像に変換され、比較のため両画像に存在するフロントガラス上の泥などの物体を強調すべく画素単位での強調が行われる。フロントガラス上に物体が検出された場合には、スプレーユニットが作動されてフロントガラスが清掃される。この実施形態では、一の第１のエッジ画像に対し、雨滴の特有な構造に基づいて雨滴がある否かについての分析が行われ、当該第１の画像の分析結果に基づいて、ワイパーアセンブリの制御が開始される。

エッジ画像生成のためのパラメータは、ピクセルの光強度に強く依存する。これらのパラメータは、実世界の環境内において及び特に夜間において、移動する車両が遭遇するような様々な且つ急変する光状態においては複雑となり、したがって、庭で稼働する自律式芝刈り機や屋内で動作する自律式清掃ロボットにおいては複雑となる。さらに、特許文献４に記載のシステムを用いた車両は、遠方まで見渡せる広い視野を持って、赤信号で停止し又は直線道路を走行する。これらの状況が与えられた場合、そのような状況下では背景も静止しており、フロントガラス上の静止物体を当該静止している背景から分離することは難しく、当該静止物体の検出の信頼性は限られたものとなる。

欧州特許第１ ９８３ ３３４（Ｂ１）号明細書 米国特許第６，８６１，６３６（Ｂ２）号明細書 米国特許第７，６３６，１１４（Ｂ２）号明細書 独国特許出願公開第１０ ２００７ ０５７ ７４５（Ａ１）号明細書

the Ramin Zabih and John Woodfill: "Non parametric local transforms for computing visual correspondence" (in: proceedings of European Conference on computer vision, Stockholm, Sweden, May 1994, pages 151-158)

最新技術を考察すると、上述したような当該最新技術における欠点を克服すべく、画像ソースや映像ソースのレンズ上における静止物体の存在を特定する際の技術的な課題に取り組む必要がある。

本課題は、請求項１に記載の、可動物体に設けられた撮像手段により撮像される画像内の静止物体を特定する方法により解決される。可動物体は、その環境に対する相対的な動きを行う任意の装置、特に、車両（乗り物、vehicle）、又はロボットのアーム（腕）であるものとすることができる。本方法は、前記撮像手段により撮像された第１の画像と第２の画像とを取得する第１のステップを有する。本発明によると、第１の画像と第２の画像とは、或る時間間隔を開けて異なる撮像時間に撮像される。第１の画像の撮像時刻と第２の画像の撮像時刻とは、前記可動装置の運動パラメータ（モーション・パラメータ、motion parameters）に依存する。運動パラメータは、環境に対するその可動装置の相対的な動きを表現することのできる任意のパラメータである。次のステップにおいて、第１及び第２の画像の対応する領域を決定するための評価尺度（以下、決定尺度という）が算出される。対応する領域は、第１及び第２の画像において同じ画像内の位置にある同じ形状の領域である。上記決定尺度は、第１の画像及び第２の画像の対応する領域の類似の程度を表す。次のステップにおいて、第１及び第２の画像の一の静止要素が、上記算出された決定尺度に基づいて特定される。静止要素が特定されたときは、特定された当該静止要素についての情報を含んだ出力信号が生成される。

特定の撮像時刻を選択して第１の画像及び第２の画像を取得することができれば、画像内に描写される環境内の物体については類似の程度が低くなっているような最適な撮像時刻での第１の画像と第２の画像とを選択でき、したがって、疵などの静止要素を特定するのに特に最適な機会を得ることができる、という利点が生ずる。第１の画像と第２の画像の最適な撮像時刻を特定するための基準は、撮像装置の運動パラメータから導出することができる。これら画像の撮像時刻を選択することにより、疵特定の開始時刻、及び又は撮像時刻間の時間差を、当該可動装置の運動状態（動き状態、ムーブメント・ステータス、movement status）に対し動的に適合させることができる。

望ましい実施形態では、本方法は、第１の画像の撮像時刻と第２の画像の撮像時刻との間の具体的に適合された時間差Δtを用いて画像を取得する。撮像手段が、或るフレームレートでストリームを撮像するように構成されている場合には、２つの連続する画像（フレーム）は、時間的に接近したものとなり得る。これら２つの連続する画像には、画像内の疵やアーティファクトによるものでなく、そのカメラが単にゆっくりと移動しているリアルタイムの環境によって生ずる、高い類似性で特徴づけられる要素（複数）が存在し得る。したがって、撮像手段が設けられている可動装置の運動パラメータを考慮することで、決定尺度が常に適切な画像ペアに関して算出されるようにして、当該可動装置が有する有限の計算能力を効果的に用いて、撮像された画像の品質についての信頼性の高い処理結果を出力することを可能とする。

本発明の特に望ましい実施形態では、上記決定尺度は、第１の画像と少なくとも一つの第２の画像のそれぞれとの対応する領域（パッチ）（複数）について、ピクセル毎に算出される。

望ましい実施形態では、決定尺度は、正規化された決定尺度として算出される。特に、決定尺度は、第１の画像と第２の画像の対応する領域間の相関として算出されるものとすることができる。

静止要素を決定する本方法の一実施形態では、第１の画像と第２の画像の中で、上記算出された決定尺度が或る閾値を超える一の要素が特定される。

一の実施形態では、決定尺度は、正規化相互相関（NCC、normalized cross correlation）、累積相互相関（SNCC、summed normalized cross correlation）、ランク変換画像についての累積差分尺度又は二乗差分尺度、及びセンサス変換画像の累積ハミング距離、の一つである。

輝度に基づいてピクセルを比較し、輝度差を算出して、当該輝度における僅かな差に対応するピクセルの類似性を決定する最新技術とは異なり、正規化されたピクセル値に基づいて類似性を決定する本発明の相関ベースのアプローチは、明るさが変化する状況の下においても安定で信頼性のある結果を示す。これに対し、純粋に輝度ベースの類似性尺度では処理結果が不安定となる。そのような尺度は、明るさが変化する状況に対処することはできない。例えば、車両が明るい陽が当たる領域から日陰の領域へ移動した場合でも、本発明の相関ベースの決定尺度は、最新の輝度ベースのアプローチとは異なり、安定な結果を示す。

代替の実施形態では、第１の画像と第２の画像との間でのオプティカルフローの算出に基づいて、決定尺度が算出される。決定尺度がオプティカルフローに基づく場合、第１及び第２の画像内の静止要素は、オプティカルフローが予め定められた（第２の）閾値より小さい領域か、オプティカルフローがゼロ又は殆どゼロである領域を特定することにより特定される。

本発明は、撮像手段が画像のシーケンスを撮像するように構成されている場合に、有利に用いることができる。この実施形態における撮像手段は、所与のフレームレートで時間的に連続する複数の画像（“フレーム”）で構成される映像を撮影するビデオカメラであり得る。

一の特別な実施形態では、画像のシーケンスから選択された複数の異なる画像ペアについて、複数の決定尺度が算出される。複数の画像ペアは、それら画像の少なくとも一方が互いに異なっている。第１及び第２の画像は、撮像装置により生成された画像のシーケンスから選択される。画像シーケンスの連続する画像フレーム間の時間差は、第１の画像の撮像時刻と第２の画像の撮像時刻との間の選択された時間差とは異なる。画像シーケンスにおける連続する画像フレーム間の時間差は、画像フレームを撮像する際のフレームレートの逆数に対応している。

更なる実施形態では、第１及び第２の画像の静止要素を特定するための平均決定尺度が、画像のシーケンスから算出された複数の決定尺度から算出される。

ある実施形態では、それぞれが複数のピクセルで構成される第１及び第２の画像からの当該第１及び第２の画像の対応するパッチ（複数）のピクセル毎の相関計算により、一つの決定尺度が算出される。

本方法の望ましい実施形態では、撮像手段の運動パラメータは、その可動装置の運転パラメータに対応するものであり、当該運転パラメータには、当該車両の車速及び転回角の少なくとも一つが含まれる。

本方法の一の実施形態では、撮像手段及び又は撮像手段が搭載された可動装置の、転回運動が実行されている間の時間期間に撮像された画像のシーケンスから、第１及び第２の画像が選択される。

一の実施形態では、静止物体を特定するための本方法は、撮像手段及び又は撮像手段が搭載された可動装置の転回運動が認識されたときに開始される。

他の実施形態においては、本方法は、第１及び第２の画像の、露光不足の領域、及び又は露出過度の領域を特定するステップを有する。露光不足の領域、及び又は露出過度の領域が特定されたときは、第１及び第２の画像内の露光不足の領域、及び又は露出過度の領域を排除して、第１及び第２の画像における静止要素が特定される。

本方法の他の実施形態では、検出された静止要素の数が算出され、当該静止要素の数が第３の閾値を超えたときに、当該特定された静止要素についての情報を含む出力信号が生成される。当該出力信号は、その後、特定された静止要素に応じた任意の処置を実行する基礎となったり、撮像手段（センサ）のセンサ故障、メインテナンス要求、又は清掃要求を報知する等の対策を行うトリガとなり得る。特に、上記出力信号は、レンズ清掃作業の実行、ユーザへの検出された撮像手段状態の報知、その可動装置の移動停止、及び又は、当該撮像手段を搭載する当該装置の清掃場所又はベースステーションへの移動、を開始させる。望ましくは、前記静止要素の数は、画像内の所定サイズの領域内での数として算出される。

第１及び第２の画像において特定された静止要素の数は、第１及び第２の画像の、特定された静止ピクセルの数に対応するものであり得る。

本発明の方法は、上述した方法のステップを実行するように構成された画像処理システムにおいて、有利に用いることができる。静止要素を特定するための本方法は、本方法を実行するコンピュータプログラム製品であってコンピュータ上で又はデジタル・シグナル・プロセッサ上で実行されるように構成されたコンピュータプログラム製品の形態で、実施され得る。本方法は、例えば画像処理システムが備えるカメラなどの、撮像装置において有利に用いられ得る。

本発明は、特に、自動車、モーターバイク（motorbike）、又はその他の乗り物の一部であり得る画像処理モジュールにおいて、実施され得る。本発明は、自動車の運転の際に遭遇するような実世界の環境において用いられることや、自律的に動作する任意の種類の装置又は乗り物に用いられることに、特に適している。

可動装置は、自動車用装置、自律式ロボット装置、自律式芝刈り機、陸上移動体（land mobile vehicle）、自動車、自動二輪車（バイク、オートバイ、モーターサイクル、motorcycle）、有人の又は無人の航空用乗り物、海洋用乗り物、宇宙軌道用乗り物（地球周回軌道用の乗り物、orbital vehicle）、宇宙船（宇宙飛行体、spacecraft）の一つであり得る。

本発明の更なる有利な実施形態は、撮像手段の疵などの、特定された静止要素の情報を、出力信号として制御手段に提供する。制御手段は、その情報を用いて、撮像手段の清掃を行うべく自律式可動装置の清掃作業を管理することができる。これにより、撮像手段のレンズ開口の視野を侵食している汚れの位置についての情報を提供することで、撮像手段の清掃を、目標をより絞り込んだ形で実行することができる。またあるいは、視野の品質が予め定めた品質となるまで、清掃作業を実行することができる。

以下では、画像分析のための本方法及びそれぞれの方法について、以下の添付図面を参照しつつその概略及び具体的詳細を説明する。
撮像装置により取得される第１の画像を示す図である。 撮像装置により取得される第２の画像を示す図である。 本方法の一実施形態において生成される相関マップを示す図である。 撮像手段が搭載され、且つ当該撮像手段により取得された画像シーケンスにおいて静止要素を特定する手段を備えた、車両の一実施例を示す図である。 本発明の一実施形態に係る、映像及び画像シーケンスにおいて疵を検出する方法の、処理ステップを示すフロー図である。

以下の記載及び説明では、本発明に係る可動装置の典型的な例として、芝刈り機などの自律式車両について述べる。もちろん、以下に述べる詳細は、撮像手段をセンサとして用いる他の（自律式）車両又は任意の（自律式）ロボット装置にも用いられ得ることは明らかである。

特に、可動装置は、清掃ロボット、真空掃除機、又は任意の自己推進式の（例えば、電気で進む）車両の一つであり得る。可動装置は、また、３軸又はそれ以上の軸についてプログラムされた自動制御のマニピュレータなどの、例えば製造所で用いられる、且つ撮像手段をセンサとして用いる、工業用ロボット装置であり得る。

本明細書における撮像手段又はセンサは、例えばレンズシステムなどの光学アセンブリにより、画像を撮像して当該画像を保存したり他のユニットへ転送するように適合された、任意の光学装置であり得る。撮像装置により撮像される画像は、静止画像とすることができ、当該静止画像は、映像などの動画の一部であり得る。撮像手段は、可視光スペクトルの範囲の光、又は赤外線などの他のスペクトル範囲の光に関して動作するものとすることができる。撮像手段は、カメラ、カメラモジュール、ビデオカメラ、ＬＩＤＡＲセンサ、などであり得る。なお、本発明に係る可動装置又は車両は、もちろん、深さについての知覚を付加的に出力して立体視（stereo vision）を提供すべく複数の撮像手段を備え得るが、本発明の目的においては、撮像手段という用語を用いるときは、一つの撮像手段をいうものと理解されるべきである。

単一画像の品質は多くの要因に依存し、画像品質に悪影響を及ぼすそれらの要因の一つは、「疵（flaw）」という用語に集約され得る。本出願における疵（又はアーティファクト）とは、撮像レンズ上又は当該レンズの前におかれた透明カバー上の、撮像手段の撮像エリア内に付着した泥や、フロントガラス上の引っかき傷、ガラス割れ、雨滴、虫や木の葉など、による影響を言う。撮像手段の用途に依存して、疵が検出された場合には、その疵がシステム動作にとって重大な影響を持つものでないとして実行中の動作を継続する、とするか否かの判断や、必要と思われる撮像手段の清掃、又は与えられたタスクの実行中止と安全状態への移行（例えば、車両の安全停止）、及び又は状況判断の結果についてのユーザへの報知などの、適切な対策を実行するか否か、といった判断が必要となる。

図１Ａは、撮像手段により取得された第１の画像を示す図である。この図では、黒いスポットとして示された当該第１の画像内の領域３の泥により、その撮像手段のレンズ又はレンズカバーが汚れている。第１の画像は、第１の時刻t1において撮像手段により撮像（取得）され、図示左側の一群の家屋で表された村落４と、図示中央部の道路マーキング２に挟まれて水平線６につながる道路５と、図示右側の水平線６付近の一本の木７と、を含むシーンを描写している。

撮像手段は、撮像時刻t₁の後に左へ転回し、時刻t₂＝t₁＋Δtにおいて、当該撮像手段により第２の画像８が撮像される。

時差Δtは、第１の画像の撮像時刻t₁と第２の画像の撮像時刻t₂との差である。

図１Ｂは、時刻t₁から時差Δtだけ経過した後の時刻t₂で撮像された第２の画像８を示している。撮像手段のヨー運動により、第２の画像８内の物体（例えば、村落４及び道路５）は、第１の画像１と比べて第２の画像８内の異なる位置に現れており、視線及び描画範囲の変化に起因して当該シーンから消滅しているものもある（例えば、木７）。

ヨー角は、撮像装置などの装置の、垂直軸周りの転回運動又は回転運動を表す角度である。

しかしながら、泥で汚れた撮像装置２のレンズ又は透明レンズカバーは、第２の画像８内に、位置の変化しない黒いスポットとして領域３を構成する。撮像装置のレンズ上の疵に対応する領域３は、第１の画像１においても第２の画像８においても正確に同じ場所に見えており、したがって、画像１及び画像２における静止要素を構成する。

本発明の基本的な思想は、そのような静止要素３（すなわち、第１の画像１及び第２の画像８における領域）を、疵又はアーティファクトを示すもの（indicator）として検出することである。本発明によれば、第１の画像１と第２の画像８の相関が計算され、そのような相関計算の結果が、図１Ｃに示すように、相関マップ９の形で表現される。

図１Ｃは、図１Ａ及び図１Ｂに示された第１の画像１と第２の画像８のピクセル間の、ピクセル毎の相関計算の結果を示している。図１Ｃにおける各領域のグレースケールは、第１の画像１と第２の画像８とにおける対応する情報間での相関の強さを表している。図１Ｃにおいて、“白”は、相関値が小さいことを表し、“黒”は、画像１と画像８との間の相関が高いことを示している。撮像手段の視野の軸に起因して、時刻t₁と時刻t₂との間に行われた左方向への転回運動により、第１の画像１内におけるシーンの全ての要素は、第１の画像８において右側へ移動している。このため、村落４、木７、又は道路５などの全てのシーン要素は、相関マップ９においては低い相関値をもって示される。第１の画像１と第２の画像８とにおける対応する要素は、異なるシーン要素を示すものとなるためである。

これに対し、撮像装置のレンズ上の疵は、当該撮像装置の視線と一緒に移動し、したがって、第１の画像２と第２の画像８とにおける対応する位置を占めることとなる。この暗い領域は、第１の画像１と第２の画像８における一の静止要素であるものと判断される。したがって、相関マップ９は、これに対応する位置に、黒く表された高相関の領域１１を含むものとなる。すなわち、相関マップ９は、撮像装置のレンズ上の疵の位置を、高相関の領域として表示することとなる。

画像間の相関を計算するための有利なアプローチは、ブロックマッチング又はパッチマッチングを用いることである。ブロックマッチングを実行するためには、一の画像の一のピクセルの周囲で当該画像の要素を表す画像パッチ又は画像ブロックを抽出し、他の画像の対応する画像パッチと比較する。

アーティファクトを検出するため、第１の画像１内の一のピクセルの周囲の一のパッチと、第２の画像８内の同じピクセルの周囲の一のパッチとの相関が計算される。これらの画像要素が同じ要素を示すものであれば、算出される決定尺度は高い相関値を持つものとなり、そうでない場合は、算出される決定尺度は低い相関値を示すこととなる。この処理は、ピクセル毎に当該ピクセルのパッチのそれぞれについて繰り返し実行され、相関マップが生成される。

輝度に基づいてピクセルを比較し、輝度差を算出してピクセルの類似性（輝度における小さな差に相当）を決定する最新技術とは異なり、相関をベースとして類似性を決定する本発明のアプローチは、光が変化する状況においても、安定かつ信頼性の高い結果を示す。これに対し、輝度ベースの類似性尺度は、光が変化する状況を処理することができないので、不安定な結果となる。例えば、カメラを搭載した車両が、明るい日向の領域から日陰の領域へ移動すると、本発明の相関ベースの決定尺度は、最新の輝度ベースのアプローチよりもはるかに優れた信頼性のある結果を示す。

本発明に係る決定尺度は、一の実施形態においては、正規化相互相関（NCC、normalized cross correlation）を用いる。他の実施形態では、決定尺度は、累積正規化相互相関（SNCC、summed normalized cross correlation）に基づく。

ＮＣＣは、第１の画像I1 １と第２の画像I2 ８の対応する画像パッチについて、式（１）にしたがって、算出される。

ここで、

及び

は、それぞれ、画像I1及びI2における対応するパッチの、パッチ平均値及びパッチ分散である。また、X(i)は、位置iのパッチ内の全ピクセルの集合、I1_x、I2_xは、対応する画像I1又はI2におけるピクセルxである。また、

は、I1及びI2の画像パッチ間の相互相関である。

ＳＮＣＣは、第１の画像I1１と第２の画像I2８における対応するパッチについて、式（２）により算出される。

式（２）において、

は、或る領域内での相互相関値の加算平均値、X(i)は位置iのパッチ内にある全ピクセルの集合、

は、I1及びI2の画像パッチ間の相互相関である。

本発明の更に他の実施形態では、決定尺度として、ランク変換画像（RT）の累積差分（summed difference）や、センサス変換画像の累積ハミング距離などの、他の相関尺度も用いられ得る。第１の画像１と第２の画像８において静止要素を特定する本発明の方法にこれらの手順を適用する目的のため、非特許文献１を引用するものとし、当該引用により、非特許文献１の内容は本明細書に組み入れられる。

図２は、一の実施形態に係る自律装置１２を、その機能ユニットと共に示している。

撮像手段１７は、自律装置１２の主移動方向に向けてメインボディ１６の前端付近に配されており、そのレンズは、有利な視野を確保すべく自律車両１２のハウジング（メインボディ）１６から突き出ている。本実施形態における自律車両１２は、自律式芝刈り機１２であり得る。撮像手段１７は、植物、草木の刺、その他の障害物、及び雨などの天気現象、等による、機械的なダメージからレンズを保護すべく、図２に図示しない透明なセンサカバーにより保護されるものとすることができる。本実施形態の撮像手段１７は、光学センサであり、自律式芝刈り機１２の環境の視覚画像データを取得し、当該取得した画像データを自律式芝刈り機１２の制御手段１９へ画像信号として出力する。

図示の自律車両１２は、少なくとも一つの撮像手段１７（カメラ）と制御手段１９とに加えて、運転手段１５を有する。画像処理ユニット２２は、撮像手段１７から受信した画像信号を処理するよう構成されている。制御手段１９及び画像処理ユニット２２に含まれる静止要素特定ユニット２３は、特に、静止要素を特定するための本発明の方法を実行することにより、撮像手段１７により取得された画像に影響を与えている疵であると想定されるものとして静止要素を検出するよう適合されている。

制御手段１９は、運転手段１５から自律車両１２の運転パラメータを受信する。運転パラメータは、当該自律車両の移動速度及び転回角の少なくとも一つを含み、又はその両方及び又はその他のパラメータを含むこともできる。

静止要素特定ユニット２３は、第１の画像１と第２の画像８内の静止要素を特定し、当該特定により撮像手段１７上又は当該撮像手段１７に設けられた透明カバー上に疵があると認識したときは、適切な対策動作を開始するための出力信号を生成するよう構成されている。当該出力信号は、例えば一の実施形態においては、制御手段１９が備えるセンサ清掃制御ユニット２４の制御の下でセンサ清掃処理を開始するように適合され得る。

上記出力信号は、例えば或る実施形態においては、その車両が自動車、モーターサイクル、若しくはその他の有人車両又は航空機等である場合には、表示手段を備えるダッシュボード上への警告シンボルの表示を開始するものとすることができる。警告シンボル表示は、遠隔操作車両の遠隔制御ステーションや、自律式芝刈り機１２のベースステーションにおいて、上記出力信号により開始されるものとすることもできる。対策動作を開始及び又は制御する上記出力信号は、また、自律車両１２の通信手段２５を介してユーザ又はセンサ清掃ステーション（例えば、ベースステーションに統合されたセンサ清掃ステーション）へ、メッセージを送信させるものとすることもできる。

通信手段２５は、任意の無線通信規格又は光（赤外線）通信規格を用いるものとすることができ、自律車両１２のメインボディ１６に配された、通信相手と通信を行うためのアンテナ１８を用いるように適合され得る。特に、本通信手段は、ＧＳＭ、ＵＭＴＳ、ＬＴＥ、及びその変形あるいは発展形などの通信規格に従い、自律車両１２を無線ローカルエリアネットワーク（WLAN）や移動セルラーネットワークに接続するものとすることができる。

図３は、本発明の一実施形態に従う、映像及び画像シーケンス内の静止要素を特定するための方法のステップを含むフロー図である。

ステップＳ１において、疵検出ユニット２３により第１の画像１が取得される。第１の画像１は、画像シーケンス内の画像であって、センサ手段１７により撮像されたものである。

少なくとも一つの運動パラメータが撮像手段１７の転回運動を示した時刻を、第１の画像１を取得するための撮像時刻として選択するものとすることができる。第１の画像１は、少なくとも一つの運動パラメータが静止要素１１を検出する本方法を開始するための特定の閾値を超えたときに、取得されるものとすることができる。例えば、撮像装置１７の回転速度が予め定めた閾値（限界値）を超えたことが特定されると、これによって、第１の画像１の適切な撮像のタイミングと、静止要素１１を特定するための本方法を開始するタイミングとが与えられる。

ステップＳ２において、静止要素特定ユニット２３は、次のステップＳ３に進む前に、予め定められた時間間隔Δtだけ待機する。時間間隔Δtの長さは、撮像手段１７又は自律車両１２の一つ又は複数の運動パラメータに依存する。自律車両１２の運転パラメータは、例えば、自律式可動装置１２の移動速度又は転回角（ヨー角）である。

時間間隔Δtは、第１の画像１を取得することにより本方法が開始されたときに、デフォルトの時間値に応じて選択され得る。時間間隔Δtの長さは、一の実施形態では、移動速度に関する尺度である一の運動パラメータが増加すると時間間隔Δtが減少するように選択されるものとすることができる。時間間隔Δtは、撮像手段１７の一つ又は複数の運動パラメータのそれぞれが減少したときに、増加するよう設定されるものとすることができる。時間間隔Δtの上記一つ又は複数の運動パラメータに対する依存性は、例えば、線形又は非線形の依存性であるものとすることができる。時間間隔Δtは、最小時間間隔から最大時間間隔までの、可能な時間間隔Δtの範囲から選択され得る。時間間隔Δt（すなわち、第１の画像１の撮像時刻と第２の画像８の取得時刻との時間差Δt）は、いずれの場合も、撮像手段１７のレンズ上に存在し得る静止要素１１に比べて明確に移動する物体が画像内に含まれている画像ペアについて決定尺度が算出できるように、適宜選択される。

運動パラメータは、撮像装置１７の転回運動の回転速度であり得る。運動パラメータの具体的な回転速度に対応する時間間隔Δtの値は、テーブルから読み込まれるものとすることができる。これを行うため、回転速度、移動速度、及び又は転回角と、これらに対応する時間間隔Δtの値とが、静止要素特定ユニット２３に保存されたテーブルにより関連付けられる。これに代えて、第１の画像１を取得することにより本発明の方法が開始される毎に、時間間隔Δtに適した値が、静止要素特定ユニット２３に保存されている式に従って運動パラメータから算出されるものとすることができる。

転回運動を表す運動パラメータ（角速度）に基づいてその可動装置が回転運動を行っていると認識できる時刻t₁に、第１の画像１の取得を開始するものとすることもできる。この場合、予め定めた時間差を用いて、時刻t₂が決定され得る。

ステップＳ３において、静止要素特定ユニット２３は、センサ手段１７から第２の画像８を取得する。

次に、静止要素特定ユニット２３は、ステップＳ４において、第１の画像１と第２の画像８について、決定尺度を算出する。この決定尺度の算出は、累積正規化相互相関（SNCC）その他の同様な相関尺度を用いてピクセル毎に実行され得る。ステップＳ４における相関計算の結果を用いて、多数の静止要素で構成される図１Ｃのような相関マップ９が生成される。静止要素１１は、相関マップ９のうちの、上記算出された相関尺度が高い値であることを示している要素である。

ステップＳ４における決定尺度の算出に続くステップＳ５において、相関マップ９又はその一部における静止要素１１の数が算出される。

続くステップＳ６において、第１の画像１と第２の画像８との間での静止要素１１の数が第２の閾値より少ないことが見出されたときは、静止要素特定ユニット２３が実行する本発明の一実施形態に係る疵検出のための本方法は、ステップＳ１に進み、他の第１の画像１を取得する。

ステップＳ６において、決定尺度が、上記閾値以上であることが見出されたときは、静止要素特定ユニット２３は、次のステップＳ７に進み、撮像手段１７が疵によって悪影響を受けているという情報を含む適切な出力信号を生成する。この出力信号は、静止要素１１が特定された画像１、８内の場所、及び特定された静止要素１１の数についての情報を含むものとすることもできる。その後、次のステップＳ８において、上記出力信号を用いて、撮像手段１７についての所定の問題を処理するための適切な（対応）策が開始される。この適切な策には、例えば、センサ清掃制御ユニット２４の制御の下での撮像手段１７の清掃の実行、対応するエラーメッセージの生成と通信手段２５及びアンテナ１８を介した自律式可動装置１２のベースステーションへの又はユーザデバイスへの当該メッセージの送信、の少なくとも一つが含まれ得る。本発明の一実施形態では、自律式可動装置１２は、自律式芝刈り機１２であり、ベースステーションから動作を開始し、そのバッテリを再充電するために定期的に、そのベースステーション内の（又はそのステーションにある）充電ポジションへ戻ってくる。静止要素特定ユニット２３が、ステップＳ６において自律式可動装置１２の撮像装置１７により撮像した画像内で静止要素１１を特定したときは、その自律式可動装置１２は、適宜、ベースステーションに戻り、そのベースステーションに統合されている特定のセンサ清掃ステーションにアプローチする。

本方法の一実施形態に従う方法を、第１の画像１と第２の画像８から静止要素１１を特定するものとして、図３に関連して説明したが、本発明の方法は、さらに他の実施形態において詳細に説明され得る。

相互相関を用いて任意の２つの画像から疵又はアーティファクトを特定するための静止要素の特定は、雑音を含む結果を出力する傾向がある。このため、本発明の一実施形態では、静止要素の特定に関するより安定な結果を出力するように、多数の相関計算結果が平均化される。

多数の相関値を平均化する一つのアプローチは、画像シーケンス又は画像ストリームから複数のフレーム又は画像を取得することを含む。次に、取得した複数の画像のうちのいくつかの画像ペアについて、複数のフレーム間の相互相関が算出される。次に、複数の画像ペアについての算出された相関値が、例えば平均値を計算することにより平均化されて、平均化決定尺度が生成される。これにより、算出値から外れ値の影響が除去又は低減され、従って、静止要素特定の信頼性が更に向上される。

静止要素又は疵を特定するための本方法の更に望ましい実施形態では、画像の撮像時刻間の時間差Δtを具体的に選択して画像を取得し、決定尺度を算出する。撮像手段１７が、或る（フレーム）速度で画像ストリームを取得するように構成されている場合、２つの連続する画像（フレーム）は、互いに近過ぎて、環境にある物体から静止要素（疵）を識別できない場合があり得る。それら２つの連続する画像には、類似性の高い要素が存在し得るが、その高い類似性は画像内の疵又はアーティファクトによって生じたものでない場合があり得る。

２つの連続する画像における要素が、少なくとも殆ど同一なものではあるものの、静止要素ではないのに相関尺度の値が高くなる例として、車両が停止しているか又は単にゆっくりと移動している場合がある。撮像手段１７を備える自律式可動装置１２が直線に沿って移動している場合、特に、協働する撮像手段１７の視野が狭く、且つ当該視野の視線がその自律式可動装置１２の移動ラインに向いている場合には、高いフレームレートで撮像された画像シーケンス内の２つの連続する画像には、撮像手段１７が行う３次元実世界から２次元画像平面への透視マッピングに起因して、第１の画像１と第２の画像８との間で、ほとんど静止している要素のみが含まれることとなり得る。

撮像手段１７の視野に顕著な特徴が存在しない場合にも、同様のことが観察される。このことが特に顕著なのは、例えば雲である。撮像手段１７から雲までの空間的な距離は大きいので、その撮像手段１７を備える自律式可動装置１２は、第１の画像１と第２の画像８との間で、そこに写る物体の変化を認識するためには、直線方向に大きな距離を移動する必要がある。フレームレートの逆数の時間分だけ異なる連続した画像ではなく、時間差Δtだけ隔たった第１の画像１と第２の画像８とを選択することにより、決定尺度は、より良い結果をもたらす。本発明の方法の具体的な実施形態では、第１の画像１と第２の画像８との撮像時刻の時間差Δtは、１０秒から６０秒の間で、望ましくはその可動装置の現在の速度に依存して、選択される。

長い時間差Δtを選択した場合、完全には静止しておらずゆっくりと動いているような静止要素１１は、本方法を実行した際に高い信頼度で特定されないことがあり得る。その背後に撮像手段１７が取り付けられているフロントガラスや透明なセンサカバーの上の雨滴を表す静止要素は、重力によってゆっくりと垂直方向に移動したり、大気に対する自律式可動装置１２の相対的な動きによって少なくとも部分的に水平方向へゆっくりと移動し得る。したがって、本発明の望ましい実施形態では、撮像手段１７を搭載する自律式可動装置１２の運転パラメータが、運転手段１５から、制御手段１９内の運転制御ユニット２０を介して、静止要素特定ユニット２３に出力される。静止要素測定ユニット２３は、受信した運転パラメータを分析して、静止要素特定のため決定尺度を算出するのに適した画像ペアを構成すべく、第１の画像１と第２の画像８とを、それらの撮像時刻の時間間隔Δtによって選択する。

車両１２には、通常、一つ又は複数の撮像手段１７が搭載され固定されており、その車両の運転パラメータは、撮像手段１７の運動パラメータに対応する。このことは、モーターサイクル、自動車、自律式芝刈り機、又は自律式（真空）掃除機に、特に当てはまる。しかしながら、撮像手段１７が可動装置１２に可動に取り付けられている場合には、制御手段１９内のセンサ制御ユニット２１によって取得される撮像手段１７の動きを特徴づける運動パラメータも、静止要素特定ユニット２３に出力される。その後、静止要素特定ユニット２３は、受信した撮像手段１７の運動パラメータを分析して、静止要素特定のため決定尺度を算出するのに適した画像ペアを選択すべく、第１の画像１と第２の画像８とを、当該第１の画像１と第２の画像８の撮像時刻の時間間隔Δtによって選択する。よりゆっくりと移動する装置では、より長いΔtが選択される。

本発明の一実施形態では、静止要素特定ユニット２３は、可動装置１２の運転パラメータに関連して第１の画像１と第２の画像８とを選択し、望ましくは、画像１、８がその自律式可動装置１２が転回運動を行っている時間期間の撮像時刻を持つように選択する。自律式可動装置１２に対し相対的に固定された視線を持つように搭載された撮像手段１７を持つ当該自律式可動装置１２が転回運動を行うと、当該撮像手段１７により画像内に撮像されたシーン内の全ての物体は、その転回運動の方向とは逆の方向へ動くこととなる。したがって、自律式可動装置１２の転回運動によって、第１の画像１と第２の画像８との間での顕著な変化が発生する。これに対し、撮像手段１７のレンズ上や、撮像手段１７前方のフロントガラス上にある疵やアーティファクトは、その自律式可動装置１２と共に移動し、第１の画像１と第２の画像８の対応するピクセル位置に留まる。したがって、本発明の静止要素特定方法による静止要素の特定に際して明確な相関ピークが得られるように、望ましくは、自律式可動装置１２が道路のカーブに沿って走行しているときや交差点で転回している間に撮像された第１の画像１及び第２の画像８が、選択される。

本発明の有利な実施形態の静止要素特定ユニット２３は、自律式可動装置１２の運転パラメータに関連して第１の画像１及び第２の画像８を選択し、望ましくは、その自律式可動装置１２が転回運動を行っている期間の撮像時刻を持つ第１の画像１及び第２の画像８を選択する。自律式芝刈り機１２の形態の自律式可動装置１２は、通常、その特殊な台車構成（carriage layout）に起因して例外的に小さな転回半径を示す。静止要素特定が最後に実行されてからの経過時間が長い場合、転回運動を開始させ、それと同時にそのような特定処理を開始することもできる。

本発明の構成及びその詳細の説明のため、自律式可動装置１２を用いた。ただし、本発明は、先進運転者支援システム（ADAS、Advanced Driver Assistance System）にも用いることができる。このことは、静止要素特定情報を含んだ出力信号を用いて、センサ状態の致命的な故障の可能性や生成されたセンサ情報の信頼性をユーザに伝える制御信号が生成される場合に、特に明らかである。本発明は、不利な状況下で撮像された画像データによってそのシステムの性能が左右されるような任意のシステムにおいて、任意の撮像手段により取得される当該画像データの信頼性情報を提供するのに適している。

Claims (22)

1. 可動装置（１２）に搭載された撮像手段（１７）により撮像される画像内の静止要素（１１）を特定する方法であって、
   前記撮像手段（１７）により撮像された第１の画像（１）と第２の画像（８）とを取得するステップであって、前記第１の画像（１）及び前記第２の画像（８）は、或る時間差だけ隔たった撮像時刻に撮像されたものであるステップと、
   前記第１の画像（１）と前記第２の画像（８）の対応する領域についての、当該対応する領域の類似性を表す決定尺度を算出するステップと、
   前記算出された決定尺度に基づき、前記第１の画像（１）と前記第２の画像（２）の静止要素（１１）を特定するステップと、
   前記特定された静止要素（１１）についての情報を含む出力信号を生成するステップと、
   を有し、
   取得された前記第１の画像（１）と前記第２の画像（８）の撮像時刻は、前記可動装置（１２）の少なくとも一つの運動パラメータに依存する、
   ことを特徴とする、方法。
2. 前記時間差Δtは、前記可動装置（１２）の少なくとも一つの運動パラメータに依存する、
   ことを特徴とする、請求項１に記載の方法。
3. 前記決定尺度は、前記第１の画像（１）及び前記第２の画像（８）のそれぞれの対応する領域について、ピクセル毎に算出される、
   ことを特徴とする、請求項１又は２に記載の方法。
4. 前記決定尺度は、正規化された決定尺度として算出される、
   ことを特徴とする、請求項１ないし３のいずれか一項に記載の方法。
5. 前記決定尺度は、正規化相互相関、累積正規化相互相関、ランク変換画像の累積差分尺度又は自乗差分尺度、及びセンサス変換画像の累積ハミング距離の一つである、
   ことを特徴とする、請求項１ないし４のいずれか一項に記載の方法。
6. 前記静止要素（１１）を特定するため、前記第１の画像（１）と前記第２の画像（８）とにおける、前記算出された決定尺度が閾値を超えている要素が特定される、
   ことを特徴とする、請求項４又は５に記載の方法。
7. 前記決定尺度は、前記第１の画像（１）と前記第２の画像（８）との間で算出されたオプティカルフローに基づくものである、
   ことを特徴とする、請求項１ないし４のいずれか一項に記載の方法。
8. 前記静止要素（１１）を特定するため、前記第１の画像（１）と前記第２の画像（８）とにおける前記オプティカルフローが第２の閾値より小さいか又は前記オプティカルフローがゼロである要素が特定される、
   ことを特徴とする、請求項７に記載の方法。
9. 前記撮像手段（１７）は、画像のシーケンスを撮像するよう構成されている、
   ことを特徴とする、請求項１ないし８のいずれか一項に記載の方法。
10. 前記第１の画像（１）と前記第２の画像（８）は、前記撮像手段（１７）が或るフレームレートで生成した前記画像シーケンスから選択され、
    前記フレームレートは、第１の画像（１）と前記少なくとも一つの第２の画像（８）との間の前記時間差とは異なっている、
    ことを特徴とする、請求項９に記載の方法。
11. 前記画像シーケンスの複数の画像ペアについて、複数の決定尺度が算出される、
    ことを特徴とする、請求項９又は１０に記載の方法。
12. 前記算出された複数の決定尺度から、前記静止要素（１１）を特定するための平均決定尺度が算出される、
    ことを特徴とする、請求項１１に記載の方法。
13. 前記撮像手段（１７）の前記運動パラメータは、前記可動装置（１２）の運転パラメータに対応するものであり、当該運転パラメータは、前記可動装置（１２）の速度及び転回角の少なくとも一つを含む、
    ことを特徴とする、請求項１ないし１２のいずれか一項に記載の方法。
14. 前記撮像手段の転回運動、及び又は前記撮像手段（１７）が搭載された前記可動装置（１２）の転回運動の間の撮像時刻を持つ前記第１の画像（１）及び前記第２の画像（８）が選択される、
    ことを特徴とする、請求項１ないし１３のいずれか一項に記載の方法。
15. 静止要素（１１）を特定するための前記方法は、撮像手段（１７）及び又は可動装置（１２）の転回運動が特定されたときに開始される、
    ことを特徴とする、請求項１ないし１４のいずれか一項に記載の方法。
16. 前記方法は、前記第１の画像（１）と前記第２の画像（８）の露光不足又は露出過度の領域を特定するステップを備え、
    前記第１の画像（１）と前記第２の画像（８）の露光不足又は露出過度の領域は、静止要素（１１）の特定から除外される、
    ことを特徴とする、請求項１ないし１５のいずれか一項に記載の方法。
17. 特定された静止要素（１１）の数が第３の閾値を超えたときに、前記出力信号が生成される、
    ことを特徴とする、請求項１ないし１６のいずれか一項に記載の方法。
18. 前記出力信号は、レンズ清掃処理の実行、及び又はユーザへの特定された撮像手段状態の報告、及び又は当該撮像手段（１７）が搭載された前記可動装置（１２）の移動の停止、及び又は前記撮像手段（１７）が搭載された可動装置（１２）の清掃場所への移動、を開始させるものである、
    ことを特徴とする、請求項１７に記載の方法。
19. 請求項１ないし１８のいずれか一項に記載の方法を実行するよう構成された画像処理システム。
20. 請求項１９に記載の画像処理システムを構成する撮像装置。
21. 前記可動装置（１２）は、自動車装置、自律式可動装置（１２）、自律式芝刈り機、陸上用乗り物、自動車、自動二輪車、航空用乗り物、海洋用乗り物、又は宇宙軌道用乗り物、宇宙飛行体の一つである、
    ことを特徴とする、請求項２０に記載の撮像装置（１７）を備える可動装置。
22. コンピュータ又はシグナルプロセッサ上で実行されたときに、請求項１ないし１８のいずれか一項に記載の方法を実行するコンピュータプログラム製品。

Images