JP2022551366A - カメラストリームのためのマスクを生成する方法、コンピュータープログラム製品およびコンピューター可読媒体 - Google Patents

Abstract

【解決手段】本発明は、連続画像を有するカメラストリームに基づいて非静止エリアのためのマスク（４０）を生成する方法であって、上記方法は、差分画像を蓄積することによって蓄積差分画像を生成する工程であって、各差分画像はカメラストリームの２つの画像を互いから減算することによって得られる工程、エッジ画像を蓄積することによって蓄積エッジ画像を生成する工程であって、各エッジ画像はカメラストリームのそれぞれの画像のエッジを検出することによって得られる工程、蓄積エッジ画像と蓄積差分画像を合成することによって合成画像（３０）を生成する工程、合成画像（３０）のための第１の閾値の画素値を画定する工程、および合成画像（３０）の画素をマスク（４０）に含むことによってマスクを生成する工程であって、合成画像（３０）の画素は第１の閾値の画素値に対して、同じ関係を有する工程、を含む。本発明は、さらに上記の方法を実行するコンピュータープログラム製品とコンピューター可読媒体に関するものである。【選択図】図３

Description

本発明は、カメラストリームの非静止エリアのためのマスクを生成する方法に関するものである。本発明はまた、方法を実行するコンピュータープログラム製品およびコンピューター可読媒体に関するものである。

カメラストリームのいくつかの画像を処理することは、通常、画像の静止部分と動的または変化する部分とを区別するため連続画像またはフレームを減算することを含む。ほとんどの用途、例えば、自律走行車両に関連するものは、通常、画像の静止部分を無視する必要があり、その結果動的に変化する部分のより速くてより効率的な処理がもたらされる。

画像減算および動的な閾値化を使用する方法は、ＵＳ６，０６１，４７６に開示される。画像は、回路基板上にはんだペーストを適用する前後に撮られ、その後、前後の画像は適用されたペーストを検査するために減算される。負と正の減算された画像は両方とも、スカラー閾値の代わりに動的な閾値により、減算された画像の前景と背景を分けることにより、さらに処理される。動的な閾値はスカラー閾値より正確な前景の検出を可能にするために要求される。動的な閾値化は減算された正の画像と減算された負の画像を結果としてもたらし、その後これらの画像は統合され二値化される。ソーベルエッジ検出器によるエッジ検出は、前後の画像で実行され、偽エッジを排除するため、真のピーク検出が続く。その後、結果として生じる画像は、二値化マップによって二値化される。ペーストに対応する画素は、二値化された前後の画像を減算することにより、求められる。

上記方法の欠点は、複雑なエッジ検出アルゴリズムのおかげで、それがリアルタイム信号処理に適していないということである。

ビデオストリームの前景物体画像を抽出する方法は、ＵＳ２０１１／０１６４８２３Ａ１に開示される。方法は、フレームと基準背景画像のエッジを計算することにより、画像の前景を背景と分ける工程を含む。前景は、フレームと基準背景画像のエッジを減算することにより、抽出される。方法はさらに画像からノイズを排除するため閾値化する工程を含むことができる。方法の欠点は、それが特定の用途で提供することが難しくなり得る基準背景画像を必要とするということである。例えば、自律走行車または自動運転車のダッシュボードカメラは、方法に必要な基準背景画像を撮ることができないことがある。

ＵＳ２０１２／００１４６０８Ａ１では、画像処理のための装置と方法が開示される。画像の特徴分析に基づいて、関心領域（ＲＯＩ）は決定され、マスクはＲＯＩのために作成される。本発明によると、方法で検出される特徴はエッジ検出アルゴリズムにより抽出することができる連続エッジを有するため、ＲＯＩは画像のエッジを検出することによってより正確に特定することができる。異なる方法で生成されたＲＯＩマスクは合成され、「最も関心のある領域」のためのマスクを生成する。しかしながら、作製されたマスクによってカバーされたエリアは、関心特徴に制限されるだけでなく、生成されたマスクが長方形を呈するように、その周囲のいくつかを含む。従って、上記方法は、画像の関心特徴がマスクの一部であることを単に保証するが、マスクはさらに画像部分を含み得る。これによってより高いデータストレージのニーズが生じ、それは画像のリアルタイム評価にとって不利である。

既知のアプローチの点から見て、カメラストリームのためにリアルタイムのマスク生成を可能にするため、先行技術のアプローチよりもより効率的な方式で、カメラストリームの非静止エリアをカバーするマスクを生成することができる方法が必要である。

本発明の主な目的は、非静止カメラストリームのためのマスクを生成する方法を提供することであり、先行技術のアプローチの欠点をできるだけ無くしたものである。

本発明の目的は、カメラ画像の非静止領域の識別を可能にするため、先行技術のアプローチよりも効率的な方法で、マスクを作成することができる方法を提供することである。それに応じて、本発明の目的は、無関心領域、主にカメラストリームの静止エリアを排除することを可能にするリアルタイムのマスクを生成することができる速いマスクを提供することである。

さらに、本発明の目的は、１つ以上のコンピューターで本発明に係る方法の工程を実施するための非一時的なコンピュータープログラムの製品、および１つ以上のコンピューターで方法の工程を実行するための命令を含む非一時的なコンピューター可読媒体を提供することである。

本発明の目的は、請求項１に記載の方法によって達成することができる。本発明の好ましい実施形態は従属請求項において定義される。本発明の目的は、さらに、請求項１６に記載の非一時的なコンピュータープログラム製品、および請求項１７に記載の非一時的なコンピューター可読媒体によって、達成することができる。

従来技術アプローチと比較された本発明に係る方法の主な利点は、それが関心領域、つまりカメラ画像の非静止部分のみをカバーするマスクを生成するという事実に由来する。マスクのサイズと形は、関心領域の実際のエリアと形に対応するため、あらゆる他の画素を処理することを回避することができる。これは画像のさらなる処理のために時間と資源を節約することができる。

本発明に係る方法の別の利点は、方法が画像のエッジと画像の変化する動的な部分を常に検出することができるため、照明の変化に対して堅牢であることである。従って、方法はあらゆる照明と天候条件で使用することができ、それは照明の変化によってでも影響されない。影が画像の基本的な静止エリアに落ちるとしても、静止エリアおよび非静止エリアの境界は常にこれらのエリアより画像の中心により近いため、マスク生成が画像中央から開始すると、マスク生成はこれらのエリアに到達する前に既に終了し、それはマスク生成に影響しない。

エッジ検出のさらなる工程を有することは、静止部分と非静止部分との間のより特徴的なエッジを提供し、マスク生成のための非静止画像部分のより速く安全な分離を可能にすることが認められている。提供された特徴的なエッジはさらに、レイマーチングのような単純なアルゴリズムによる、安全で正確なマスク生成を可能にする。従って、追加のエッジ検出工程による、より大きな計算のニーズに反して、方法の全体的な計算のニーズは、より単純なマスク生成によって減少し、同時に生成されたマスクはより正確になるだろう。

本発明に係る方法はリアルタイムでマスク生成することを可能にするため、リアルタイムの画像処理、および計算資源を節約するために画像から静止エリアを破棄することが特に重要である自律走行車または自動運転車のカメラによって記録された画像に、方法を適用することができる。

本発明に係る方法では、カメラストリームから発生する画像を除いて、追加の情報または入力を必要としない。

本発明の好ましい実施形態は、以下の図面を参照して例として以下に説明される。

蓄積差分画像を生成する本発明に係る方法の実施形態の工程のフロー図である。 蓄積エッジ画像を生成する本発明に係る方法の実施形態のさらなる工程のフロー図である。 蓄積差分画像と蓄積エッジ画像からマスクを生成する本発明に係る方法の実施形態の別のさらなる工程のフロー図である。

本発明はカメラストリームの非静止エリアのためのマスクを生成するための方法に関するものである。カメラストリームはカメラによって提供され、それは連続画像（１０）、好ましくは画像（１０）の連続したシリーズを有する。画像（１０）は、好ましくは所与の周波数で記録される。カメラは、車または他の乗り物のダッシュボードあるいは自動運転車または自律走行車または他の乗り物のダッシュボードに取り付けられる。ダッシュボードカメラは通常、乗り物自体の一部、例えば、記録された画像（１０）の静止していて変化しない部分であるダッシュボードまたは窓枠の一部、をカバーする視野を有する。これらの部分は画像（１０）の関心領域または関心エリアから外れているため、カメラストリームの非静止であり変化する部分を含む関心領域またはエリアのためのマスクを生成することによって、さらなる処理からそれらを除外することは有益である。

カメラはカラー（例えばＲＧＢ）画像またはグレースケール画像を記録するように構成され得るため、カメラストリームの画像（１０）はカラーまたはグレースケール画像のいずれかであり得る。

図１ー３に図示されるように、本発明に係る方法は、
差分画像（１２）を蓄積することによって蓄積差分画像（１４）を生成する工程であって、各差分画像（１２）はカメラストリームの２つの画像（１０）を互いから減算することによって得られる工程
エッジ画像（２４）を蓄積することによって蓄積エッジ画像（２６）を生成する工程であって、各エッジ画像（２４）はカメラストリームのそれぞれの画像（１０）のエッジを検出することによって得られる工程
蓄積エッジ画像（２６）と蓄積差分画像（１４）を合成することによって合成画像（３０）を生成する工程、
合成画像（３０）のための第１の閾値の画素値を画定する工程、および
合成画像（３０）の画素をマスク（４０）に含むことによってマスクを生成する工程であって、合成画像（３０）の画素は第１の閾値の画素値と同じ関係を有する工程、を含む。

本発明の実施形態はカメラストリームの画像（１０）を得る工程を含む。カメラストリームの画像（１０）を得た後、図１に図示されるように、方法の好ましい実施形態の工程は、カメラストリームの蓄積差分画像（１４）の生成を含む。カメラストリームは連続画像（１０）を有し、連続画像（１０）は次々に直接記録される画像（１０）または互いにしばらくして記録される画像（１０）（その間にさらなる画像（１０）を有する）であり得る。

工程（Ｓ１００）では、差分画像（１２）は、２つの連続画像（１０）を互いから減算することによって生成され、連続画像（１０）のうちの１つは得られた（好ましくは現在の）画像（１０）である。好ましくは、その後記録された画像（１０）は、以前に記録された画像（１０）から減算される。差分画像（１２）は、非静止であり動的に変化する画像部分より静止していて変化しない画像部分の値の方が低い。差分画像（１２）、好ましくは、連続差分画像（１２）は、画像の静止と非静止部分との間の差分を大きくする蓄積差分画像（１４）を生成するため、工程（Ｓ１１０）で合計される。方法の好ましい実施形態では、先の蓄積差分画像（１４）は、例えば、先の方法を実施する工程により提供され、先の蓄積差分画像（１４）は、好ましくはコンピューターによって保管され、蓄積差分画像（１４）は先の蓄積差分画像（１４）に差分画像（１２）を追加することによって生成される。

方法の好ましい一実施形態では、蓄積差分画像（１４）は、蓄積画像の数で各画素値を分割することによって、第１の正規化工程（Ｓ１２０）で正規化される。この随意の工程は従って、通常カラー（ＲＧＢ）またはグレースケール画像の画素値を有する正規化された蓄積差分画像（１６）をもたらす。工程（Ｓ１２０）の第１の正規化は従って、限界を超える画素値の蓄積を防ぎ、オーバーフローなどの計算問題を回避する。カメラがカラー画像を記録する場合、第１の正規化工程（Ｓ１２０）は、赤、青、緑チャネルのＲＢＧ画像の場合、各カラーチャネルについて別々に行われることになる。

カメラストリームがカラー画像からなる場合、方法は好ましくは、カラー画像をグレースケール画像に変換するための第１の変換工程（Ｓ１３０）を含む。第１の変換工程（Ｓ１３０）は、減算工程（Ｓ１００）の前、減算工程（Ｓ１００）と合計工程（Ｓ１１０）との間、合計工程（Ｓ１１０）と第１の正規化工程（Ｓ１２０）との間、または第１の正規化工程（Ｓ１２０）の後、実施され得る。一方で、第１の変換工程（Ｓ１３０）が、合計工程（Ｓ１１０）の前に実施される場合、変換は全ての画像（１０）または全ての差分画像（１２）に対して実行される必要があり、より高い計算のニーズが生じる。他方では、第１の変換工程（Ｓ１３０）が、合計工程（Ｓ１１０）の後に実施される場合、変換は１つの画像のみ、すなわち蓄積差分画像（１４）または正規化された蓄積差分画像（１６）のいずれかに影響する。しかしながら、第１の変換工程（Ｓ１３０）の前の各工程は、画像のカラーチャネルごとに実施されなければならない。第１の変換工程（Ｓ１３０）は、当該技術分野で既知の任意の変換方法またはアルゴリズムによって実施され得る。

図１に図示される方法の好ましい一実施形態では、第１の変換工程（Ｓ１３０）は、正規化されたグレースケールの蓄積する差分画像（１８）をもたらす正規化された蓄積差分画像（１６）で実施される。

本発明によると、蓄積差分画像（１４）、または第１の正規化工程（Ｓ１２０）を実施する場合、正規化された蓄積差分画像（１６）、または第１の変換工程（Ｓ１３０）を実施する場合、グレースケールの蓄積差分画像（１８）は、図３に図示されるように本発明に記載される方法のさらなる工程によって処理される。

図１に図示される工程に加えて、カメラストリームの得られた画像（１０）は、カメラストリームの静止エリアのエッジを検出するためのエッジ検出の対象となる。カメラ画像のエッジ検出の可能な工程は、図２に図示される。

方法の好ましい実施形態によると、得られた画像（１０）は、エッジ検出前の原画像を滑らかにするため、工程（Ｓ２００）でぼかされる。ぼかすための正確な方法は、実施されるエッジ検出アルゴリズムに適合するように選択される。ぼかし工程（Ｓ２００）は、ボックスぼかしまたは画像（１０）のヒストグラムを計算するなど、当該技術分野で既知の任意のぼかし方法またはアルゴリズムによって実施することができる。方法の好ましい実施形態では、ぼかし工程（Ｓ２００）は、カーネルを有するガウスのぼかしによって、より好ましくは、３ｘ３のガウスのカーネルまたは３ｘ３の個別のガウスのカーネルを使用することによって、実施される。ガウスのぼかしの標準偏差は、カーネルのサイズに対して計算される。ぼかしはノイズを減少するために使用され、なぜなら、ぼかしによって消えるそれらのエッジはエッジ検出でアーチファクトを作成するのみであるため、それらを排除することでエッジ検出またはマスク生成方法の性能が向上する。方法で求められるエッジは、画像（１０）の静止しているエリアと動的なエリアのエッジまたは境界であるため、ぼかしは一方ではそれらを排除せず、他方では求められたエッジに沿ってより連続した線をもたらす。ぼかし工程（Ｓ２００）は、原画像（１０）と同じサイズおよび寸法を有するぼかし画像（２０）をもたらす。

カメラがカラー画像（１０）を記録する場合、カラー画像は好ましくは第２の変換工程（Ｓ２１０）でグレースケール画像に変換される。第２の変換工程（Ｓ２１０）はぼかし工程（Ｓ２００）の前後で実施することができる。方法の好ましい実施形態では、第２の変換工程（Ｓ２１０）はグレースケールぼかし画像（２２）をもたらす。第２の変換工程（Ｓ２１０）は、当該技術分野で既知の任意の変換方法またはアルゴリズムによって実施され得る。

方法の好ましい実施形態では、第２の変換工程（Ｓ２１０）は省略することができ、図１に図示される第１の変換工程（Ｓ１３０）がグレースケール画像を生成する画像（１０）で直接実施される場合、図２のぼかし工程（Ｓ２００）はグレースケール画像で実施することができる。この実施形態はさらに、グレースケールのぼかし画像（２２）をもたらす。

工程（Ｓ２２０）では、エッジ画像（２４）は得られた画像（１０）のエッジを検出することによって生成される。画像（１０）がぼかし工程（Ｓ２００）でぼかされる場合、エッジ検出はぼかし画像（２０）で実施することができる。画像（１０）またはぼかし画像（２０）のどちらかがグレースケール画像に変換される場合、エッジ検出はさらに、グレースケールのぼかし画像（２２）で実施することができる。エッジ検出は当該技術分野の既知の任意のエッジ検出アルゴリズム、例えば、キャニーエッジ検出器とその変動、キャニー・デリッシュ検出器、ソーベルオペレーターを使用するエッジ検出器、プルウィット検出器、ロバートクロスオペレーターまたはフレイ・チェンオペレーターなど一次エッジ検出器、微分エッジ検出器（勾配方向の二次方向導関数のゼロクロスを検出する）、アルゴリズム、またはエッジ検出器などの画像強度の二次導関数を使用する二次エッジ検出器によって実施することができる。

本発明によると、エッジ検出は好ましくは、カーネルを有するラプラシアンアルゴリズムによって実施される。ラプラシアンアルゴリズムの利点は、他のより複雑なアルゴリズムよりも速くエッジを検出し、さらにより小さな計算力しか必要としない。ラプラシアンアルゴリズムは、検出されたエッジまわりの負および正の値の両方を含み、その値は動く物体のエッジに対して互いに相殺し合うため、静止エッジはかなり速くなる。異なるサイズを有するラプラシアンカーネルを使用することができ、カーネルが大きいほどエッジの検出は遅くなるが、検出されたエッジは大幅に変化しないため、より小さなカーネルは同様に、より大きなカーネルのように良い結果をもたらす。エッジ検出アルゴリズムは３ｘ３ラプラシアンカーネルを利用することが最適であることが発見された。エッジ検出工程（Ｓ２２０）は、画像（１０）の同じサイズを有する連続エッジ画像（２４）をもたらす。

蓄積エッジ画像（２６）は、エッジ画像（２４）、好ましくは連続エッジ画像（２４）を合計することによって、工程（Ｓ２３０）で生成される。蓄積エッジ画像（２６）は、静止エッジに対する高い値を有する。画像の他のエッジと他の部分、例えば、動く物体のエッジまたは動的に変化するエリアは、静止エッジより低い値を有する。蓄積エッジ画像（２６）のサイズは、画像（１０）のサイズと同じである。方法の好ましい実施形態では、先の蓄積エッジ画像（２６）は、例えば、方法を実施する先の工程から提供され、先の蓄積エッジ画像（２６）は好ましくはコンピューターによって保管され、蓄積エッジ画像（２６）はエッジ画像（２４）を先の蓄積エッジ画像（２６）に追加することによって、生成される。

画素値の過度な増加を回避するため、エッジ画像（２４）は、蓄積する画像の数で画像の各画素値を分割することによって、第２の正規化工程（Ｓ２４０）で正規化することができる。この第２の正規化工程（Ｓ２４０）の結果は、正規化された画像、好ましくは、カメラストリームの任意の画像（１０）と同じ範囲で値を有する正規化された蓄積エッジ画像（２８）である。

蓄積エッジ画像（２６）または正規化された蓄積エッジ画像（２８）は、カメラストリームの非静止エリアのためのマスク（４０）を生成するため、図３に図示される工程でさらに処理される。

カメラストリームの非静止エリアのためのマスク（４０）を生成するための次の工程の好ましい実施形態は、図３で図示される。方法は、図１に図示される差分画像、例えば、蓄積差分画像（１４）、正規化された蓄積差分画像（１６）、またはグレースケールの蓄積差分画像（１８）の計算をする工程の結果と、図２に図示されるエッジ検出、例えば、蓄積エッジ画像（２６）または正規化された蓄積エッジ画像（２８）の結果を使用する。

蓄積差分画像（１４）と蓄積エッジ画像（２６）は、カメラストリームの入力画像（１０）と同じサイズを有するヒストグラムと解釈することができる。この解釈はさらに、正規化された蓄積差分画像（１６）、グレースケール蓄積差分画像（１８）、および正規化された蓄積エッジ画像（２８）に適用可能である。蓄積差分のヒストグラム（蓄積差分画像（１４）、正規化された蓄積差分画像（１６）、またはグレースケールの蓄積差分画像（１８））は、静止エリアに対して低い値を示す傾向にあるのは、これらのエリアが画像中変化しないままであるためであり、従って差分はゼロ近くになる。蓄積エッジのヒストグラム（蓄積エッジ画像（２６）、または正規化された蓄積エッジ画像（２８））は、静止エッジに対して高い値を有し、変化する動的エリアに対して低い値を有する。マスクが生成されるために、常に変化する対象であるエリアは決定されることになる。この理由から、合成工程（Ｓ３００）では、蓄積エッジのヒストグラムは、静止エリアの輪郭を強調するため、蓄積差分のヒストグラムと合成される。合成工程（Ｓ３００）は、ヒストグラムの合成によって生成される合成画像（３０）をもたらし、ヒストグラムの合成は単純な減算によって実施され得る。強調効果は、ヒストグラムが正規化される場合、すなわち正規化された蓄積エッジ画像（２８）が正規化された蓄積差分画像（１６）と合成される場合、または好ましくは正規化された蓄積エッジ画像（２８）が正規化された蓄積差分画像（１６）から減算される場合、さらにより顕著であり得る。この後者の好ましい実施形態は図３に図示され、合成工程（Ｓ３００）では、正規化された蓄積エッジ画像（２８）は、静止エリアの輪郭に対する余剰な低い値を有する合成画像（３０）をもたらす正規化された蓄積差分画像（１６）から減算される。

エッジ画像（２４）がラプラシアンエッジ検出アルゴリズムによって計算される方法の実施形態では、蓄積エッジ画像（２６）の絶対値が計算されることになり、なぜなら、ラプラシアンエッジ検出は負の値と正の値の両方を含み、従って、負の値はそれらをそれらの追加の逆数と置き換えることによって排除されるようになる。

合成工程（Ｓ３００）の結果は、余剰値、例えば、静止エリアの輪郭を減算する場合の余剰な低い値を有する合成画像（３０）である。第１の閾値の画素値は、合成画像（３０）の余剰値を区別するため、合成画像（３０）のために画定される。

マスク（４０）は合成画像（３０）の画素を含むことによって、マスク生成工程（Ｓ３４０）で生成され、その画素は第１の閾値の画素値に対して、合成画像（３０）の中央画素の画素値と同じ関係を有する。中央画素の画素値と第１の閾値の画素値との関係について、中心画素の画素値は、第１の閾値の画素値より大きいか、それ以上か、それ未満か、またはそれ以下であり得る。好ましくは、マスク（４０）は第１の閾値の画素値に対して、中央画素の画素値と同じ関係を有し、合成画像（３０）内の連続領域を形成する合成画像（３０）のそれらの画素のみを含むため、第１の閾値の画素値に対して、中央画素（例えば、合成画像（３０）の周辺に近い）の画素値と同じ関係を有するさらなる画素は、マスク（４０）に含まれない。中央画素は、合成画像（３０）の幾何学的中心に近いか幾何学的中心にある任意の画素であり得る。

本発明に係る方法の好ましい実施形態では、マスク（４０）の生成は、合成画像（３０）の任意の中央画素から始まり、合成画像（３０）の周辺の方へ処理される。マスク（４０）が画素を含むことは、第１の閾値の画素値に対して、合成画像（３０）の中央画素の画素値と同じ関係を有さない画素で停止される。これは第１の閾値の画素値に対して、マスク（４０）からの中央画素の画素値と同じ関係を有するさらなる（無作為の）画素を自動的に除外する。

本発明に係る方法は、図３に示されるようにさらなる工程を含むことができる。図３に示される方法の好ましい実施形態は、第１の閾値化工程（Ｓ３１０）を含み、マーキングされる特徴とエリアは画像の他の部分と比較して極端に低い値を有するため、合成工程（Ｓ３００）が減算によって実施される場合、第１の閾値の画素値は好ましくはゼロ近くであるように選択される。合成画像（３０）が正規化された画像から計算される場合、例えば、正規化された蓄積エッジ画像（２８）は正規化された蓄積差分画像（１６）または正規化されたグレースケールの蓄積差分画像（１８）のどちらかと合成され（またはそれらから減算される）場合、合成画像（３０）の絶対値は、正規化のおかげで好ましくは［０，１］の範囲にあり、一方で静止エッジに対応する値は、１より小さい大きさであり得る。蓄積画像の数が増加するにつれて、静止エッジの正規化された画素値は減少し、ゼロにより近いようになる。本発明に係る方法の好ましい実施形態では、極端に低い値を有する非静止エッジの輪郭を作るための第１の閾値の画素値は、少なくとも１より小さい大きさになるように選択され、例えば、第１の閾値の画素値は０．１未満であり得る。最適な結果のため、第１の閾値の画素値は、少なくとも１より小さい２つの大きさ、またはより好ましくは１より小さい３つの大きさで設定され、例えば、第１の閾値の画素値は０．０１未満またはより好ましくは０．００１未満またはさらに０．０００１未満で設定される。

第１の閾値化工程（Ｓ３１０）では、閾値化された二値画像（３２）は、合成画像（３０）を閾値化および二値化することによって、生成される。第１の閾値の画素値よりも低い値を有する画素は第１の画素値に設定され、第１の画素値よりも高い値を有する画素は第２の画素値に設定され、第１の画素値と第２の画素値はお互いに異なる。好ましくは、第１の画素値は最大画素値または１であり、第２の画素値は最小画素値またはゼロである。この方式では、第１の閾値化工程（Ｓ３１０）は同時に合成画像（３０）の閾値化および二値化を達成する。原画像（１０）の静止エリアは同じ画素値（第２の画素値）を有し、一方で原画像（１０）の非静止部分は異なる画素値（第１の画素値）を有する。

閾値化された二値画像（３２）は、ヒストグラムを計算することによって、好ましくは閾値化された二値画像（３２）の異なる方向を有する２つ以上のヒストグラムを計算することによって、より好ましくはヒストグラム計算工程（Ｓ３２０）で横のぼかしと縦のぼかしのための横ヒストグラム（３４）と縦ヒストグラム（３６）をそれぞれ計算することによって、好ましくはぼかされる。ヒストグラム、例えば横ヒストグラム（３４）と縦ヒストグラム（３６）は、カメラストリームの画像（１０）よりも小さいサイズを有する。横ヒストグラム（３４）と縦ヒストグラム（３６）の二値は、好ましくは画像の幅と高さのそれぞれに比例して設定され、二値のサイズはぼかされるか排除される画像特徴の特徴的なサイズを決定する。二値が小さいと小さな特徴をぼかすのみであるが、二値が大きいと画像の大きな構造を排除することができる。好ましくは、横ヒストグラム（３４）の二値は、縦方向で１画素の縦サイズを有し、横サイズは閾値化された二値画像（３２）の横サイズ（幅）のほんの一部であり、より好ましくは二値の横サイズは閾値化された二値画像（３２）の幅の１／１０－１／１００ の範囲にある。縦ヒストグラム（３６）の二値は好ましくは１画素の横サイズを有し、縦サイズは閾値化された二値画像（３２）の縦サイズ（高さ）のほんの一部であり、より好ましくは二値の縦サイズは閾値化された二値画像（３２）の高さの１／１０－１／１００の範囲にある。好ましくは、横ヒストグラム（３４）の二値の横サイズと縦ヒストグラム（３６）の二値の縦サイズは、同じ数で閾値化された二値画像（３２）のそれぞれのサイズを分割することによって求められ、例えば、横ヒストグラム（３４）の二値の横サイズが、閾値化された二値画像（３２）の横サイズの１０分の１である場合、縦ヒストグラム（３６）の二値の縦サイズはさらに、閾値化された二値画像（３２）の縦サイズの１０分の１である。横ヒストグラム（３４）と縦ヒストグラム（３６）の各二値について、二値と同じサイズを有するガウスカーネルが適用され、ガウスカーネルの標準偏差はカーネルのサイズで求められる。

横ヒストグラム（３４）と縦ヒストグラム（３６）の計算は、閾値化された二値画像（３２）の弱い特徴またはノイズを取り除くため、閾値化された二値画像（３２）のぼかしを実施する。横のぼかしと縦のぼかしは好ましくは、横ヒストグラム（３４）と縦ヒストグラム（３６）を計算することによって別々に実施される。

方法の一実施形態では、工程（Ｓ３２０）のぼかし（ヒストグラムの計算）は、回転された方向で、好ましくは、閾値化された二値画像（３２）のサイドに対して４５°または－４５°の角度を有する方向で、実行される。

方法の別の実施形態では、工程（Ｓ３２０）のぼかし（ヒストグラムの計算）は、横方向と縦方向および回転された方向、好ましくは閾値化された二値画像（３２）のサイドに対して４５°または－４５°の角度を有する方向で、実行される。

方法は、好ましくは、ヒストグラムが原画像（１０）のサイズに伸ばされる補足の工程を含む。横ヒストグラム（３４）と縦ヒストグラム（３６）は、好ましくは単なる合算によって工程（Ｓ３３０）で合成させられ、結果として原画像（１０）と同じサイズを有する合成ヒストグラム画像（３８）をもたらす。

本発明に係る方法は、好ましくは、さらなるノイズ低減のための第２の閾値化工程（図３には図示されず）を含む。選択された第２の閾値の画素値によって、エッジの厚さは影響され得る。第２の閾値の画素値は好ましくは、合成ヒストグラム画像（３８）の最大画素値に基づいて求められ、例えば、第２の閾値の画素値は合成ヒストグラム画像（３８）の最大画素値の半分またはその付近に設定される。より高い第２の閾値の画素値を選択することは、結果として画像のより多くの特徴を排除しエッジの部分を排除するため、通常エッジが薄くなる。より低い第２の閾値の画素値を選択することは、結果として残りのより多くの特徴とより厚いエッジを有する画像をもたらす。好ましくは、妨害する特徴を画像から排除することと、適度に厚いエッジを有することとの間で、妥協をすることになる。最大画素値の半分の値を有する第２の閾値の画素値は、合成ヒストグラム画像（３８）の妨害とノイズのような特徴を排除していることが見出され、エッジはさらに最適な厚さを有している。第２の閾値化工程では、第１の閾値化工程（Ｓ３１０）と同様に、合成ヒストグラム画像（３８）は、以下の方式で二値化される。第２の閾値の画素値の上の値を有する画素は、特定の値、好ましくは最大画素値、より好ましくは１の値に設定される。第２の閾値の画素値未満の値を有する画素は、最小画素値またはゼロに設定される。結果として生じる画像は、静止エッジの最大値および画像の他の部分の最小値を有し、画像のサイズは原画像（１０）のサイズと同じである。

図３の実施形態によると、マスク（４０）は以下の方式で生成される。画像の中心から開始し、画像の周辺に向かって処理すると、マスク（４０）は中心と同じ画素値を有する全ての画素を含む。画素を含むことは、異なる画素値、すなわち、画像の他の画素値を有する画素で、停止される。

マスク生成工程（Ｓ３４０）の開始点は、画像の中央辺りからの任意の他の画素であり得、なぜなら画像の中央の辺りのエリアは静止エッジ画素を有しない可能性が最も高いからである。

方法の一実施形態では、マスク（４０）の生成は、画像の中央辺りの異なる開始点から開始することができるため、方法はより堅牢であり、画像の残りのアーチファクトまたは特徴がマスク（４０）の生成を妨げない可能性がより高い。

方法のさらなる実施形態では、マスク生成工程（Ｓ３４０）は、画像の中央から画像の周辺に向かって開始する直線に沿ったレイマーチングアルゴリズムによって実施される。レイマーチングアルゴリズムは方向の各線に沿ってより長く様々な工程をとり、結果としてそれは異なる画素を他のアルゴリズムよりも速く発見する。この実施形態では、第１の画素値に対して、合成画像（３０）の中央画素の画素値と同じ関係を有さない画素までの全ての画素は、マスク（４０）に含まれる。

さらなる得られた画像について、好ましくはカメラストリームの各新しい取得された画像（１０）のため、マスク（４０）は方法の上記工程の１つ以上を繰り返すことによって再生成することができる。連続して生成されたマスク（４０）は、記録された画像（１０）の不確実性、カメラの振動、または他の理由により、互いに異なり得る。しかしながら、蓄積画像（１０）の数が増加するにつれて、マスク（４０）は実際の関心領域すなわち、画像の動的に変化する部分をますますカバーし、従ってある一定期間後、新しく生成されたマスク（４０）は互いに異なり、基本的に同じエリアと同じ画素をカバーすることが予想されるため、マスク（４０）の生成は停止することができる。

方法の好ましい実施形態では、時間と計算資源を節約するため、マスク（４０）の生成は、安定したマスク（４０）に到達する時、停止することができる。マスク生成の停止は、停止条件を適用することによって、手動または自動で実施することができる。自動停止の場合には、停止条件が満たされる場合、マスク（４０）の生成は自動的に停止する。マスク（４０）の生成が停止すると、最後の生成されたマスク（４０）はカメラストリームのさらなる画像（１０）のために使用され得る。適用された停止条件は、生成されたマスク（４０）が十分に安定していることを保証することができる。

方法の実施形態では、マスク（４０）の生成は、あらかじめ決められた期間後または画像（１０）のあらかじめ決められた数を得た後、自動的に停止することができる。

方法の別の実施形態では、停止条件はあらかじめ決められた限界値に対する関数を評価することによって実施される。方法のこの実施形態は、各生成されたマスク（４０）のメトリック値を計算する工程、メトリック値の関数を計算し、あらかじめ決められた限界値と関数の結果との比較に基づいてマスク（４０）の生成を停止する工程を含む。

方法の好ましい実施形態では、マスク（４０）のメトリック値は、マスク（４０）の画素数（マスク（４０）に含まれた画素の総数）であり、関数は連続マスク（４０）の画素数の差分と、減算された画素数のあらかじめ決められた数の平均を含む。停止条件は満たされ、マスク（４０）の生成は、関数の結果があらかじめ決められた限界値を下回る場合、停止される。従って、マスク（４０）がマスク（４０）に属する画素の数が十分に安定し大きく変化しなくなった場合、停止条件に到達する。

平均化に加えて、さらなる関数はまた、停止条件に使用することができ、例えば、関数はカルマンフィルター、ＧＨフィルター（アルファベータフィルターとしても知られる）などの適切なフィルタリング方法を含み得る。停止条件での平均化を含む方法の利点は、十分に信頼性があり、より複雑なフィルタリング方法より小さな計算資源を必要とすることであり、従って、リアルタイムのマスク生成にとって適切である。

カメラが不整合の場合、本発明に係る方法は、マスク（４０）が実際の関心領域をカバーすることを確実にするために、やり直さなければならない。

安全上の理由から、マスク生成方法は、カメラストリームが停止しその後再開する度に、やり直すことができる。この方式では、可能性のあるカメラの不整合または他の影響は、新しいマスク（４０）の生成によって修正することができる。

いくつかのダッシュボードカメラは、魚眼レンズという名の超広角レンズを有するいわゆる魚眼カメラである。そのような魚眼レンズは、自律走行車または自動運転車または他の乗り物での用途にとって望ましいようにする極めて広い画角を達成する。大きな画角のおかげで、カメラ画像は、車や他の乗り物の静止部分など、ブランクエリアを記録しなければならず、これらのブランクエリアは画像の外側周りに位置する。以下の補足の方法は、魚眼カメラのマスクからブランクエリアを除くために適用され得る。

魚眼カメラはカラーまたはグレースケールの魚眼画像（１０）を記録することができる。

連続魚眼画像（１０）は、第１の記録された魚眼カメラ画像から直接蓄積され、より好ましくは、画像（１０）のカラー値が蓄積され、蓄積された連続魚眼画像をもたらす。蓄積された魚眼画像は、蓄積画像の数によって正規化される。

第３の閾値の画素値は、魚眼画像のブランクエリアが魚眼画像の周囲で連続していない場合、画像の周囲の画素値の平均を計算することによって計算され得る。第３の閾値の画素値のこの計算は、この第３の閾値の画素値が画素を取り除くことと保持することとのバランスを保つため、蓄積された魚眼画像を閾値化するために有利であることが分かった。この閾値化された魚眼画像は画像の特徴を含む一方で、魚眼画像のブランクエリアは除外される。この第３の閾値化は、画像の二値化も含む第１の閾値化工程（Ｓ３１０）と同様に実施される。

閾値化された魚眼画像は、魚眼マスク生成工程の対象となり得るが、先に記載されたマスクの生成工程（Ｓ３４０）に反して、このマスクは画像の周囲の画素から開始して内側へと横断して生成される。魚眼マスク生成工程では、画素は周囲の画素が保管される時、異なる値を有する第１の画素に到達するまで同じ値を有する。凸包は、魚眼画像のブランクエリアを包む保管された画素の周りで構築される。生成されたマスクは、凸包の外側の画素を含む。

魚眼画像のためのマスクの連続シリーズの生成は、生成されたマスクが、例えば、先に記載された停止条件のいずれかを実施することによって安定する場合、停止することができる。

本発明はさらに、プログラムがコンピューターによって実行される時、本発明に係る方法の一実施形態をコンピューターに実行させる命令を含むコンピュータープログラム製品に関するものである。

コンピュータープログラム製品は、１つ以上のコンピューターによって実行可能であり得る。

本発明はさらに、コンピューターによって実行される時、本発明に係る方法の一実施形態をコンピューターに実行させる命令を含むコンピューター可読媒体に関するものである。

コンピューター可読媒体は単一であるか、またはより別個の部分を含み得る。

本発明は、もちろん、詳細に上述された好ましい実施形態に限定されないが、さらなる変化形体、修正、および発展が、請求項によって定められた保護の範囲内で可能である。さらに、任意の恣意的な従属請求項の組み合わせによって定義することができる全ての実施形態は、本発明に属する。

参照符号のリスト
１０ 画像
１２ 差分画像
１４ 蓄積差分画像
１６ （正規化された）蓄積差分画像
１８ （グレースケール）蓄積差分画像
２０ （ぼかし）画像
２２ （グレースケールのぼかし）画像
２４ エッジ画像
２６ 蓄積エッジ画像
２８ （正規化された）蓄積エッジ画像
３０ 合成画像
３２ 閾値化された二値画像
３４ 横ヒストグラム
３６ 縦ヒストグラム
３８ 合成ヒストグラム画像
４０ マスク

Ｓ１００ （減算）工程
Ｓ１１０ （合計）工程
Ｓ１２０ （第１の正規化）工程
Ｓ１３０ （第１の変換）工程
Ｓ２００ （ぼかし）工程
Ｓ２１０ （第２の変換）工程
Ｓ２２０ （エッジ検出）工程
Ｓ２３０ （合計）工程
Ｓ２４０ （第２の正規化）工程
Ｓ３００ （合成）工程
Ｓ３１０ （第１の閾値化）工程
Ｓ３２０ （ヒストグラム計算）工程
Ｓ３３０ （合算）工程
Ｓ３４０ （マスク生成）工程

Claims (17)

1. 連続画像（１０）を有するカメラストリームに基づいて非静止エリアのためのマスク（４０）を生成する方法であって、前記方法は、
   差分画像（１２）を蓄積することによって蓄積差分画像（１４）を生成する工程であって、各差分画像（１２）はカメラストリームの２つの画像（１０）を互いから減算することによって得られる工程、
   エッジ画像（２４）を蓄積することによって蓄積エッジ画像（２６）を生成する工程であって、各エッジ画像（２４）はカメラストリームのそれぞれの画像（１０）のエッジを検出することによって得られる工程、
   蓄積エッジ画像（２６）と蓄積差分画像（１４）を合成することによって合成画像（３０）を生成する工程、
   合成画像（３０）のための第１の閾値の画素値を画定する工程、および
   合成画像（３０）の画素をマスク（４０）に含むことによってマスクを生成する工程であって、合成画像（３０）の画素は第１の閾値の画素値と同じ関係を有する工程、を含む、方法。
2. カメラストリームの画像（１０）を得る工程、
   差分画像（１２）を生成する工程であって、差分画像（１２）は２つの連続画像（１０）を互いから減算することによって生成され、片方は得られた画像（１０）である工程、
   先に生成された連続差分画像（１２）の合計からなる先の蓄積差分画像（１４）を提供する工程、および差分画像（１２）を先の蓄積差分画像（１４）に追加することによって蓄積差分画像（１４）を生成する工程、
   得られた画像（１０）のエッジを検出することによってエッジ画像（２４）を生成する工程、
   先に生成された連続するエッジ画像（２４）の合計からなる先の蓄積エッジ画像（２６）を提供する工程、およびエッジ画像（２４）を先の蓄積エッジ画像（２６）に追加することによって、蓄積エッジ画像（２６）を生成する工程、および
   合成画像（３０）の画素をマスクに含むことによってマスク（４０）を生成する工程であって、合成画像（３０）の画素は第１の閾値の画素値に対して、合成画像（３０）の中央画素の画素値と同じ関係を有する工程、を含むことによって特徴づけられる、請求項１に記載の方法。
3. 合成画像（３０）の中央画素からマスク（４０）の生成を開始すること、合成画像（３０）の周辺に向かって処理すること、および第１の閾値の画素値に対して、合成画像（３０）の中央画素の画素値と同じ関係を有さない画素で、マスク（４０）に画素を含むことを停止することによって特徴づけられる、請求項２に記載の方法。
4. 請求項１の工程を繰り返すことと、停止条件が満たされた場合マスク生成を停止することによって特徴づけられる、請求項１に記載の方法。
5. あらかじめ決められた限界値に対する関数を評価することで停止条件を確認することによって特徴づけられ、
   各生成されたマスク（４０）のメトリック値を計算する工程、
   メトリック値の関数を計算する工程、および
   あらかじめ決められた限界値を有する関数の結果の比較に基づいて、マスク（４０）の生成を停止する工程、を含む、請求項４に記載の方法。
6. メトリック値は各生成されたマスク（４０）の画素数であり、
   関数は、
   連続マスク（４０）の画素数の差分、および
   減算された画素数のあらかじめ決められた数の平均、を含み、
   関数の結果があらかじめ決められた限界値を下回る場合、マスク（４０）の生成を停止すること、を特徴とする、請求項５に記載の方法。
7. 第１の閾値の画素値を画定した後のさらなる工程を含むことによって特徴づけられ、前記工程は、第１の閾値の画素値より低い値を有する画素を第１の画素値に設定すること、および第１の閾値の画素値より高い値を有する画素を第２の画素値に設定することにより、合成画像（３０）を閾値化および二値化することによって閾値化された二値画像（３２）を生成することを含み、第１の画素値と第２の画素値はそれぞれ異なる、請求項１に記載の方法。
8. 閾値化された二値画像（３２）を生成した後のさらなる工程を含むことによって特徴づけられ、さらなる工程は、
   閾値化された二値画像（３２）の異なる方向を有する２つ以上のヒストグラムを計算することであって、ヒストグラムは滑らかなカーネルで計算されること、
   ヒストグラムを合成することによって合成ヒストグラム画像（３８）を生成することであって、合成ヒストグラム画像（３８）は原画像（１０）よりも小さいサイズを有すること、および
   合成ヒストグラム画像（３８）をカメラストリームの画像（１０）のサイズまで伸ばすこと、を含む、請求項７に記載の方法。
9. ノイズ低減のために、第２の閾値の画素値を使用することによって、第２の閾値化を伸ばされた合成ヒストグラム画像（３８）で実施すること、第２の閾値の画素値より高い値を有する画素を第１の画素値か第２の画素値のいずれかに設定すること、および第２の閾値の画素値より低い値を有する画素をもう一方の画素値に設定することによって特徴づけられる、請求項８に記載の方法。
10. 第２の閾値の画素値は合成ヒストグラム画像（３８）の最大画素値の半分に設定されることを特徴とする、請求項９に記載の方法。
11. 正規化された蓄積差分画像（１６）を蓄積差分画像（１４）として使用すること、および正規化された蓄積エッジ画像（２８）を蓄積エッジ画像（２６）として使用することによって特徴づけられ、
    蓄積画像の数は数えられ、
    正規化された蓄積差分画像（１６）は蓄積画像の数で蓄積差分画像（１４）を分割することによって生成され、
    正規化された蓄積エッジ画像（２８）は蓄積画像の数で蓄積エッジ画像（２６）を分割することによって生成される、請求項１に記載の方法。
12. 蓄積エッジ画像（２６）を蓄積差分画像（１４）から減算することにより合成画像（３０）を生成することによって特徴づけられる、請求項１に記載の方法。
13. エッジ検出工程（Ｓ２２０）はラプラシアンエッジ検出アルゴリズムによって実施されることを特徴とする、請求項１に記載の方法。
14. エッジ検出工程（Ｓ２２０）の前に、好ましくはぼかしガウスカーネルにより、画像（１０）をぼかす追加の工程を含むことによって特徴づけられる、請求項１３に記載の方法。
15. マスク生成工程（Ｓ３４０）は、画像（１０）の中央から開始するレイマーチングアルゴリズムによって実施されることを特徴とする、請求項１に記載の方法。
16. 非一時的なコンピュータープログラム製品であって、プログラムがコンピューターによって実行される時、コンピューターに請求項１から１５のいずれかの方法を実行させる命令を含む、非一時的なコンピュータープログラム製品。
17. 非一時的なコンピューター可読媒体であって、コンピューターによって実行される時、コンピューターに請求項１から１５のいずれかの方法を実行させる命令を含む、非一時的なコンピューター可読媒体。

Images