JP2013239167A - 対象物領域分割方法及び対象物領域分割装置 - Google Patents

Abstract

【課題】対象物領域分割方法及び装置を提供する。
【解決手段】
該方法及び装置においては、対象物を内包するシーンの視差図を取得し、該視差図における対象物輪郭を内包する１つまたは複数の初期対象物領域を取得し、各々の初期対象物領域内の対象物の視差範囲を取得し、各初期対象物領域内の、視差値が該初期対象物領域内の対象物の視差範囲の最小値未満になる点により、該初期対象物領域内の対象物を分割するための対象物分割領域を取得し、該対象物分割領域により、該初期対象物領域を分割し、対象物領域の分割結果を得る。
【選択図】図２

Description

本発明は、画像処理領域に関し、特に、対象物領域分割方法及び装置に関する。

対象物分割処理は、対象物識別及び多くの画像処理の重要な前処理の一つである。正確な対象物分割は、以降の画像処理への理解と処理に多大な助けとなり得る。例えば、現在普及しつつある運転補助システムにおいては、道路環境中の通行人や車輌や道路標識等を含む対象物、或いは対象物領域に対して分割・識別を行う必要がある。さらに、事務室環境においては、事務用机・椅子や、パソコン等の対象物や対象物領域への分割・識別が必要となる場合がある。

本発明における対象物や対象物領域は、非限定性状の対象物や障害物を全て網羅している。要約していえば、対象物分割は、シーンから対象物を分割することを含む。

現在、既に対象物の分割または検知方法が提案されている。特許文献１（米国特許ＵＳ７０４６８２２号明細書）には、類似距離値を有する特徴により、３次元対象を決定するとともに、類似高さを有する特徴により、平面対象を決定する道路車輌範囲内の対象検知方法が開示されている。しかしながら、該方法においては、近所の対象の分割または検知がなされていない。

特許文献２（国際特許出願公開ＷＯ２００９／０１３６３６Ａ２号明細書）には、対象物エッジの自動的な分割方法が提案されている。該方法では、画像へのフィルタを行い、対象物エッジ候補を識別する第１の段階と、大半の偽エッジを除去する第２の段階の、２段階の分割が用いられている。該第２の段階では、径方向に画像を走査し、第１の段階で検知されたエッジ候補のみ保持し、画像点に多項式を満足するようにすることで、他の一部の偽エッジ画素を除去し、かつ満足する点から最大距離を有する点を削除し、これにより得られた候補エッジで初期パターンを形成し、離散動的輪郭（ＤＤＣ）パターンによる変形により、対象物境界の閉輪郭を取得している。しかしながら、該方法では、シーンにおける対象物の遠近関係が考慮されておらず、距離情報が用いられていないため、検知精度が低くなっている。

実際の検知環境においては、例えば、肩を並べて歩行する複数の人等、多くの対象物がくっ付いているか、非常に接近していることがあり、ひいては、複数くっ付いている対象物（例えば、通行人）の画像特徴は、見たところ自動車の外形に非常に似ていることがある。なお、遠近上は異なるものであるが、観測者の角度から、部分的に重畳の可能性のある対象物も存在する可能性がある。

例えば、図１（ａ）、（ｂ）は、くっ付いている対象物を含むシーンが示され、ここで、図１（ａ）は、楕円フレームに２つの対象物がくっ付いているケースを示し、図１（ｂ）は、楕円フレームに複数の対象物がくっ付いているケースを示している。このようなケースにおいて、従来の識別または分割方法では、くっ付いている対象物を分割することが極めて困難で、不正確な検知結果を招くことになる。

さらに、従来の対象物分割方法においては、通常、階調図やカラー図を用いて対象物の分割を行っているが、複雑な視覚特徴によっても、対象物分割の精度が制限されてしまう。

本発明は、従来技術における前述の問題を鑑みてなされたものである。

本発明の一の態様においては、対象物を内包するシーンの視差図を取得するステップと、前記視差図における対象物の輪郭を内包する１つまたは複数の初期対象物領域を取得するステップと、各々の初期対象物領域内の対象物の視差範囲を取得するステップと、各初期対象物領域に対し、前記初期対象物領域内の、視差値が前記初期対象物領域内の前記対象物の視差範囲の最小値未満になる点に基づき、前記初期対象物領域内の対象物を分割するための対象物分割領域を取得するステップと、前記対象物分割領域により、前記初期対象物領域を分割し、対象物領域の分割結果を得るステップと、を含む、対象物領域分割方法が提供される。

前記対象物分割領域を取得するステップにおいて、前記初期対象物領域内の、視差値が前記初期対象物領域内の対象物の視差範囲の最小値未満になる点からなる領域を、前記対象物分割領域としてもよい。

前記対象物分割領域を取得するステップにおいて、前記初期対象物領域内の視差値のない点に対し、該点が前記対象物分割領域中の点と垂直方向に隣り合っているか否かを検知し、隣り合っている場合、前記視差値のない点も前記対象物分割領域にさらに追加してもよい。

前記対象物分割領域を取得するステップにおいて、該初期対象物領域内の、視差値が対象物の視差範囲の最大値を超えた点に対し、該点が前記対象物分割領域中の点と垂直方向に隣り合っているか否かを検知し、隣り合っている場合、前記視差値が対象物の視差範囲の最大値を超えた点も該対象物分割領域にさらに追加してもよい。

前記対象物分割領域により、前記初期対象物領域を分割するステップは、前記初期対象物領域内の、視差値が前記視差範囲内の点により、前記初期対象物領域内の推定対象物領域を取得するステップと、前記対象物分割領域により、前記推定対象物領域を分割するステップと、を含んでもよい。

前記推定対象物領域を取得するステップにおいて、前記初期対象物領域内の、視差値が前記視差範囲内の点からなる領域を、前記推定対象物領域としてもよい。

前記推定対象物領域を取得するステップにおいて、前記初期対象物領域内の視差値のない点に対し、該点が前記推定対象物領域中の点と隣り合っているか否かを検知し、隣り合っている場合、前記視差値のない点も前記推定対象物領域にさらに追加してもよい。

前記推定対象物領域を取得するステップにおいて、前記初期対象物領域内の、視差値が対象物の視差範囲の最大値を超えた点に対し、該点が前記推定対象物領域中の点と隣り合っているか否かを検知し、隣り合っている場合、前記視差値が対象物の視差範囲の最大値を超えた点も該推定対象物領域にさらに追加してもよい。

前記対象物分割領域により、前記推定対象物領域を分割するステップにおいて、（ａ）前記推定対象物領域から前記対象物分割領域を除去し、得られた連結領域を新規の推定対象物領域とし、（ｂ）前記新規の推定対象物領域の上縁位置情報を取得し、位置の波の谷の点を取得し、（ｃ）前記波の谷の点の高さが所定の閾値未満になるか否かを検知し、前記閾値未満になる場合、前記波の谷の点により、前記新規の推定対象物領域を２つの領域に分割するとともに、該２つの領域を新規の推定対象物領域し、（ｄ）このように得られた全ての新規の推定対象物領域に対し、再分割が不可能になるまで、以上のステップ（ｂ）〜（ｃ）を繰り返すようにしてもよい。

前記所定の閾値は、絶対閾値でもよく、前記上縁位置値から算出された相対閾値でもよい。

本発明の他の態様においては、対象物を内包するシーンの視差図を取得する視差図取得部と、前記視差図における対象物の輪郭を内包する１つまたは複数の初期対象物領域を取得する初期対象物領域取得部と、各々の初期対象物領域内の対象物の視差範囲を取得する視差範囲取得部と、各初期対象物領域に対し、前記初期対象物領域内の、視差値が前記初期対象物領域内の対象物の視差範囲の最小値未満になる点に基づき、前記初期対象物領域内の対象物を分割するための対象物分割領域を取得する対象物分割領域取得部と、前記対象物分割領域により、前記初期対象物領域を分割し、対象物領域の分割結果を得る分割部と、を含む、対象物領域分割装置が提供される。

前記対象物分割領域取得部は、前記初期対象物領域内の、視差値が前記初期対象物領域内の対象物の視差範囲の最小値未満になる点からなる領域を、前記対象物分割領域とするようにしてもよい。

本発明の対象物領域分割方法及び装置は、視差図内の対象物の距離情報及び対象物間の遮蔽関係を考慮して、比較的遠距離にある対象物の情報を裁断基準として分割を行うことにより、くっ付いている或いは接近している可能性のある対象物を分離し、これにより、正確な分割が可能になるとともに、強力な耐ノイズ能力を有することができる。

さらに、本発明は、近距離対象物に対しても処理を施すことにより、部分的に遮蔽された対象物に対しても優れた分割結果を得ることができる。

（ａ）及び（ｂ）は、検知すべきシーンに２つまたは複数のくっ付いた対象物が存在するケースを示した模式図である。 本発明の１実施例における道路対象物領域分割方法２００の全体フローチャートである。 本発明の１実施例における、図２のステップＳ２４０の対象物分割領域の取得方法３００のフローチャートである。 本発明の１実施例における、図２のステップＳ２５０の対象物分割領域を用いた該初期対象物領域の分割方法４００のフローチャートである。 本発明の１実施例における、方法４００のステップＳ４１０の推定対象物の取得方法５００のフローチャートである。 （ａ）及び（ｂ）は、本発明における、対象物領域分割方法により得られた対象物領域分割結果である。 本発明の１実施例における、更なる最適化分割結果の方法７００のフローチャートである。 は、本発明の実施例における対象物領域分割装置８００のブロック図である。

当業者の本発明へのより容易な理解のために、以下、図面及び実施例を参照しながら、本発明についてさらに詳細に説明する。

以下の順で説明する。

１.発明思想の略述及び基本概念の説明
２.実施例
２.１、対象物領域の分割フロー
２.２、対象物分割領域取得
２.３、対象物分割領域による分割
２.４、分割結果の更なる最適化
２.５、対象物分割装置
３．まとめ
＜１.発明思想の略述及び基本概念の説明＞
詳細の説明の前に、当業者の本発明の理解をより容易にするために、先ず、発明の思想を全体的に説明する。

検知すべきシーンにおいては、通常、複数の検知すべき対象物がくっ付いているか、互いに近接している場合と、近距離の対象物が遠距離の対象物の一部を遮蔽する場合がある。多くの場合、対象物は不透明であることから、対象物を通してその後ろ側の対象物を見ることができないため、遠距離の対象物をみることができた場合は、シーンにおける該遠距離対象物の両側は、２つの異なる対象物である可能性がある。このため、本発明においては、視差図における距離情報により、対象物の分割を行っている。

以下、理解の便宜上、基本概念について説明する。

視差は、実際に、ある基線の両端から同一の遠距離対象物までそれぞれ直線を引いた場合、該２つの直線からなる夾角を指している。通常は、一定間隔の２つの点から同一の目標を眺めたときに生じる方向差を指している。目標から見たときの２つの点間の夾角を、該２つの点の視差角と称し、２点間の距離を、基線と称する。視差角と基線の長さが分かれば、目標と観測者間の距離が求められる。

視差図（disparity map）は、任意の１画像を基準として、サイズが該基準画像のサイズとなり、要素値が視差値となる画像を指している。視差図は、シーン及び該シーンの対象物の距離情報が含まれている。視差図は、双眼カメラで撮像された左画像と右画像から算出されてもよく、或いは、立体図における深度図（depth map）から算出されてもよい。シーンの視差図を取得する方法は、従来技術における公知のものである。
＜２.実施例＞
＜２.１対象物領域分割のフロー＞
図２は、本発明の１実施例による道路対象物領域分割方法２００の全体フローチャートである。

図２に示されたように、ステップＳ２１０において、対象を内包するシーンの視差図を取得する。前述のように、双眼カメラ、多眼カメラ、ステレオカメラで撮像し、該対象物を含む視差図を得てもよく、または、立体図から深度図を取得し、深度図から視差図を取得してもよい。シーンの視差図の取得方法は、従来技術では公知のものである。

ステップＳ２２０において、該視差図における対象物の輪郭を内包する１つまたは複数の初期対象物領域を取得する。ステップＳ２２０で得られた視差図に対しては、式（１）に示されたように、任意の対象物分割方法により、初期の対象物領域分割結果（ＰＲＥＳ）が得られる。
式中、obj_iは、分割後の初期対象物領域を表す。

初期対象物領域の取得後は、ステップＳ２３０において、各々の初期対象物領域内のターゲット対象物の視差範囲を取得する。下記の式（２）に示されたように、各分割後の初期対象物領域には、対象物領域情報（area_i）及び対象物視差範囲(disprange_i)の情報が含まれている。

対象物領域情報area_iについては、通常、初期分割時、ターゲット対象物の凡その輪郭が不規則の形状であることから、該凡その輪郭を内包する外接矩形を、初期分割の対象物領域情報とする。図１（ａ）と（ｂ）における矩形フレーム領域を、複数の初期対象物領域と見なすことができる。もちろん、該初期対象物領域の形状は、矩形に限らず、円形や、楕円形等でもよいことは、当業者に明白である。

対象物視差範囲disprange_iについては、通常、対応するarea_iの対物物の凡その輪郭内の９０％の点を、有効点として、該area_i内のターゲット対象物の視差範囲disprange_iを算出する。該視差範囲は、例えば、[min_i、max_i]のように、１区間値であり、min_iは、初期対象物領域area_i内のターゲット対象物の最小視差値であり、max_iは、初期対象物領域area_i内のターゲット対象物の最大視差値であることから、該視差範囲により、該ターゲット対象物の距離及び厚さが反映されることになる。

もちろん、視差範囲を算出するための点は、前記９０％に限らず、９５％等でもよいことは、当業者に明白である。代替的に、対象物の視差範囲は、例えば、ＵＶ視差図方法のような、他の方法によって算出されてもよい。例えば、Yingping Huang等の人による、EURASIP Journal on Applied Signal Processing 2005:14,2322-2329ページの“Stereovision-Based Object Segmentation for Automotive Applications”題目の文献には、ＵＶ視差図による前記対象物領域（area_i）及び対象物視差範囲(disprange_i)の取得方法が開示されている。

なお、従来の分割方法で１つまたは複数の初期対象物領域を取得する以外にも、ユーザにより、視差図から１つまたは複数の初期対象物領域を指定するとともに、従来技術の方法により、各領域の対象物領域情報（area_i）及び対象物視差範囲(disprange_i)を取得してもよい。

ステップＳ２４０において、各初期対象物領域に対し、該初期対象物領域内の、視差値が該領域内の対象物の視差範囲の最小値未満になる点に基づき、該初期対象物領域内の対象物を分割するための対象物分割領域を取得する。

ステップＳ２２０から得られた各初期対象物領域については、前述のように、該領域が凡その対象物輪郭の外接矩形から得られたものであることから、該領域内には、該領域範囲内のものであるものの、該領域内のターゲット対象物に属さない点が存在する可能性がある。視差図内の点の視差値は、距離情報を反映可能な特性を考えると、初期対象物領域area_i内には、以下の４種類の点が存在する可能性がある。

Ｃ１：該点の視差値が該領域area_iのターゲット対象物の視差範囲[min_i、max_i]内にあると、該点が該ターゲット対象物上の点である可能性があることを表す。

Ｃ２：該点の視差値が該ターゲット対象物の最小視差値min_i未満になると、該点が遠距離対象物上の点の可能性があることを表す。

Ｃ３：該点の視差値が該ターゲット対象物の最大視差値max_iを超えていると、該点が近距離対象物上の点の可能性があることを表す。

Ｃ４：該点に視差値がないと、該点の値が、隣接点の値と同一の可能性があることを表す。通常、ある原因からある点に視差値がない場合が生じ、例えば、画像撮像時のカメラの欠陥により、或いは、これらの点の所属する対象物にテクスチャー情報がないことにより、視差図に黒色で反映される等である。

前記発明思想の略述で説明したように、大半の場合、対象物は不透明であり、対象物を通してその後ろの対象物を見ることができないため、初期対象物領域に、遠距離対象物に属する点（Ｃ２類の点）が含まれている場合、該遠距離点の両側は、２つの異なる対象物に属する可能性が高いことから、該遠距離点を分割点として、該初期対象物領域への更なる分割を行うことができる。

このため、ステップＳ２２０で得られた初期対象物領域に対して、該初期対象物領域内の、視差値が該領域内の対象物の視差範囲の最小値未満になる点（Ｃ２類の点）から、該初期対象物領域内の対象物を分割するための対象物分割領域が得られる。

ステップＳ２５０において、該対象物分割領域により、該初期対象物領域を分割し、対象物領域の分割結果を得る。これにより、初期対象物領域中のターゲット対象物に属さない点を除去することができ、くっ付いているか近接している対象物を分割することができる。
<２．２、対象物分割領域の取得>
以下、図３を参照して、本発明の１実施例における図２のステップＳ２４０の対象物分割領域の取得方法３００を説明する。

図３に示されたように、ステップＳ３１０において、各初期対象物領域に対し、該初期対象物領域内の、視差値が該領域内の対象物の視差範囲の最小値未満になる点からなる領域を、対象物分割領域とする。

または、該方法において、ステップＳ３２０をさらに有してもよく、該ステップＳ３２０においては、該初期対象物領域内の視差値のない点に対し、該点が該対象物分割領域中の点と垂直方向に隣り合っているか否かを検知し、隣り合っていると、該点も該対象物分割領域に追加する。

理由としては、該初期対象物領域中の視差値のない点に関しては、即ち、距離が未知である該点が、視差値を有するある点とくっ付いている場合、該点の距離がくっ付いている点の視差値と同一の可能性があることから、視差値のない点が、該対象物分割領域中の点と垂直方向に隣接していると、該点も遠距離対象物である可能性があることから、該点も対象物分割領域に追加する。

水平方向の隣接ではなく、垂直方向の隣接を考慮している理由は、通常、対象物（通行人や、自動車）は、上下に積み重ねられるのではなく、左右に（水平方向に）隣接していることから、通常は、水平方向の分割は不要で、垂直方向の分割のみ必要となる。

点が垂直方向に隣接しているか否かを検知する方法に関しては、従来技術における２連結（2-connected）方法による各点の座標値の検知で実現してもよい。

または、該方法においては、ステップＳ３３０を含んでもよく、該ステップＳ３３０において、該初期対象物領域内の視差値が対象物の視差範囲の最大値を超えた点に対し、該点が該対象物分割領域中の点と垂直方向に隣り合っているか否かを検知し、隣り合っていると、該点も該対象物分割領域に追加する。

理由としては、該初期対象物領域内の視差値がターゲット対象物の視差範囲内の最大視差値max_i を超えた点（Ｃ３類に属する点）に対し、前述のようにこれらが近距離対象物の点に属するものの、遠距離対象物を遮蔽している可能性があり、被遮蔽部分の点の距離も未知となるからである。このため、該点が該対象物分割領域中の点と垂直方向に隣接していると、該点に遮蔽される点も、該隣接点と同一の視差値を有し、即ち、該点に遮蔽される点も遠距離対象物に属する点になる可能性があることから、該点も対象物分割領域に追加する。

これにより、方法２００におけるステップＳ２５０においては、ステップＳ３３０で得られた対象物分割領域を用いて、該初期対象物領域を分割することで、より正確な対象物領域分割を実現することができる。

ここで、ステップＳ３１０のみで得られる対象物分割領域（即ち、該初期対象物領域内の、視差値が該領域内の対象物の視差範囲の最小値未満になる点からなる領域）も、方法２００におけるステップＳ２４０で得られる対象物分割領域として、直接用いてもよい。この場合、遠距離対象物の情報による、初期対象物領域の再分割が可能になり、隣接の可能性のある対象物を分割することができる。
<２．３、対象物分割領域の分割>
以下、図４を参照して、本発明の１実施例における図２のステップＳ２５０の対象物分割領域による該初期対象物領域の分割方法４００を説明する。

図４に示されたように、ステップＳ４１０において、該初期対象物領域内の、視差値が該領域のターゲット対象物の視差範囲内に点により、該初期対象物領域内の推定対象物領域を取得する。

前述のように、視差値が該領域のターゲット対象物の視差範囲内にある点は、該ターゲット対象物上に存在する可能性があることから、このような点により、該初期対象物領域内の、ターゲット対象物の最も存在し得る推定対象物領域を取得してもよい。推定対象物領域を取得する１実施例については、図５を参照して詳細に後述する。

該方法においては、ステップＳ４２０をさらに有してもよい。該ステップＳ４２０においては、得られた対象物分割領域により、該推定対象物領域の分割を行うことから、遠距離対象物の情報を用いた初期対象物領域の再分割が可能になり、隣接の可能性のある対象物の分割が可能になる。

図5は、本発明の１実施例における、ステップＳ４１０の推定対象物の取得方法５００を示している。

図５に示されたように、ステップＳ５１０において、該初期対象物領域内の、視差値が該領域内のターゲット対象物の視差範囲内の点（Ｃ１類の点）からなる領域を、該推定対象物領域とする。

または、該方法においては、ステップＳ５２０を含んでもよく、該ステップＳ５２０において、該初期対象物領域内の視差値のない点に対し、該点が該推定対象物領域中の点と隣り合っているか否かを検知し、隣り合っていると、該点も該推定対象物領域に追加する。

前述のように、該初期対象物領域内の視差値のない点（Ｃ４類に属する点）に関しては、即ち、距離が未知である該点が、視差値を有するある点と隣接している場合、該点の距離が隣接している点の視差値と同一の可能性があることから、視差値のない点が、該推定対象物領域中の点と隣接していると、該点もターゲット対象物である可能性があることから、該点も推定対象物領域に追加する。

ステップＳ５２０の検知においては、視差値のない点が、垂直方向に該推定対象物領域中の点と隣接している可能性だけでなく、水平方向に該点と隣接している可能性があることから、従来技術における４連結（4-connected）方法により、水平方向と垂直方向で隣接有無を検知してもよい。または、８連結（8-connected）方法により、８つの方向でより正確な検知を行うことができる。

または、該方法においては、ステップＳ５３０を含んでもよく、該ステップＳ５３０において、該初期対象物領域内の視差値が対象物の視差範囲の最大値を超えた点に対し、該点が該推定対象物領域中の点と隣り合っているか否かを検知し、隣り合っていると、該点も該推定対象物領域に追加する。

前述のように、該初期対象物領域内の視差値がターゲット対象物の視差範囲内の最大視差値max_iを超えた点（Ｃ３類に属する点）に対し、これらがより近距離の対象物の点に属するものの、ターゲット対象物を遮蔽している可能性があると、被遮蔽部分の点の距離も未知となることから、該点が該推定対象物領域中の点と隣接していると、該点に遮蔽される点も、該隣接点と同一の視差値を有し、即ち、該点に遮蔽される点もターゲット対象物に属する点になる可能性があることから、該点も推定対象物領域に追加する。

これにより、初期対象物領域内のターゲット対象物が最も存在し得る推定対象物領域が得られる。該推定対象物領域から、得られた対象物分割領域を引き去ることにより、正確に分割された対象物領域が得られる。このため、より遠距離の対象物の情報を用いた初期対象物領域への再分割が可能により、隣接の可能性のある対象物の分割が可能になる。

ここで、ステップＳ５１０のみで得られる推定対象物領域（即ち、該初期対象物領域内の、視差値が該領域内のターゲット対象物の視差範囲内の点からなる領域）は、方法４００におけるステップＳ４２０で得られる推定対象物領域として、直接用いてもよい。この場合、該推定対象物領域から、得られた対象物分割領域を引くことで、同様に、より遠距離の対象物の情報を用いた初期対象物領域への再分割が可能により、隣接の可能性のある対象物の分割が可能になる。

前述の本発明の対象物領域分割方法及び装置は、対象物間の遮蔽関係及び視差図内の対象物の距離情報を考慮して、比較的遠距離にある対象物の情報を裁断基準として分割を行うことにより、隣接或いは近接している対象物を分割し、正確な分割が可能になるとともに、強力な耐ノイズ能力を有することができる。さらに、該方法においては、近距離対象物に対しても処理を施すことにより、一部が遮蔽された対象物に対しても優れた分割効果が得られる。

図6（ａ）、（ｂ）は、前述の対象物領域分割方法により得られた対象物領域分割結果である。図６（ａ）は、接近またはくっ付いている複数の通行人が含まれた初期対象物領域を示し、図６（ｂ）は、前述の対象物領域分割方法により、図６（ａ）の初期対象物領域を分割して得られた対象物領域分割結果であり、複数の不規則なバー形状領域が、前記対象物分割領域の例となる。図６（ｂ）から、くっ付いた人が正確に分割されていることが分かる。
<２．４、分割結果の更なる最適化>
大半の場合、対象物が空中に飛行することは少ないことから、遠距離にある対象物が空中に飛行している場合は、路面からスタートして対象物領域を分割する必要があることから、前述の方法による分割結果をさらに最適化する。本発明における前述の対象物領域分割方法から得られた結果において、分割後の対象物領域に、外見上一部が分離されたものの、一部が依然としてくっ付いている対象物が存在する場合は、該対象物領域をさらに分割する必要がある。

図7は、本発明の１実施例における、更なる最適化分割結果の方法７００のフローチャートである。

図７に示されたように、ステップＳ７１０において、該推定対象物領域から該対象物分割領域を除去して得られた連結領域を、新規の推定対象物領域とする。

ステップＳ７２０において、該新規の推定対象物領域の上縁位置情報を取得し、位置の波の谷の点を取得する。

ステップＳ７３０において、該波の谷の点の高さが所定の閾値未満になるか否かを検知し、該波の谷の点の高さが該閾値未満になると、該波の谷の点により、該新規の推定対象物領域を２つの領域に分割するとともに、該２つの領域を新規の推定対象物領域とする。

ステップＳ７４０において、ステップＳ７３０から得られた全ての新規の推定対象物領域に対し、再分割が不可能になるまで、以上のステップＳ７２０〜Ｓ７３０を繰り返す。

該所定の閾値に関しては、当業者が需要に応じて設定してもよく、例えば、予め設定されたある固定値のように、絶対閾値でもよく、或いは、
（ａは、０〜１の範囲内の係数因子であり、Ｍｅａｎ（）は、平均値を表し、ＯＵＢは、前記上縁位置の高さを表す）のように、前記上縁位置値から算出される相対閾値でもよい。もちろん、該閾値は、実際の適用ケースに応じて、他の適切な値でもよいことは、当業者に明白である。

前述の方法７００によれば、一部がくっ付いた対象物を含む対象物領域の更なる分割が可能になる。
<２．５、対象物分割装置>
図8は、本発明の実施例における対象物領域分割装置８００のブロック図である。

図８に示されたように、該対象物領域分割装置８００は、視差図取得部８１０と、初期対象物領域取得部８２０と、視差範囲取得部８３０と、対象物分割領域取得部８４０と、分割部８５０と、を備えている。

該視差図取得部８１０は、対象物を内包するシーンの視差図を取得する。該初期対象物領域取得部８２０は、該視差図における対象物輪郭を内包する１つまたは複数の初期対象物領域を取得する。該視差範囲取得部８３０は、各々の初期対象物領域内の対象物の視差範囲を取得する。該対象物分割領域取得部８４０は、各初期対象物領域に対し、該初期対象物領域内の、視差値が該領域内の対象物の視差範囲の最小値未満になる点により、該初期対象物領域内の対象物を分割するための対象物分割領域を取得する。該分割部８５０は、該対象物分割領域により、該初期対象物領域を分割し、対象物領域の分割結果を得る。

該対象物分割領域取得部は、該初期対象物領域内の、視差値が該領域内の対象物の視差範囲の最小値未満になる点からなる領域を、該対象物分割領域としてもよい。
<３、まとめ>
以上のように、対象物を内包するシーンの視差図を取得し、該視差図における対象物輪郭を内包する１つまたは複数の初期対象物領域を取得し、各々の初期対象物領域内の対象物の視差範囲を取得し、各初期対象物領域に対し、該初期対象物領域内の、視差値が該領域内の対象物の視差範囲の最小値未満になる点に基づき、該初期対象物領域内の対象物を分割するための対象物分割領域を取得し、該対象物分割領域により、該初期対象物領域が分割され、対象物領域の分割結果が得られる、対象物領域分割方法及び装置について説明した。

本発明は、視差図内の対象物の距離情報及び対象物間の遮蔽関係を考慮して、比較的遠距離にある対象物の情報を裁断基準として分割を行うことにより、くっ付いているか接近している可能性のある対象物を分離し、これにより、正確な分割が可能になるとともに、強力な耐ノイズ能力を有することができる。さらに、本発明は、近距離対象物に対しても処理を施すことにより、部分的に遮蔽された対象物に対しても優れた分割結果を得ることができる。

前述の実施例では、道路画面を例に、本発明の対象物領域分割方法及び装置を説明したが、本発明は、同様に事務環境のような他の環境にも適用可能なことは、言うまでもない。

双眼カメラ、多眼カメラ、ステレオカメラで撮像して対象物を内包する視差図を得てもよく、或いは、立体図から深度図を取得し、深度図から視差図を取得してもよい。シーンの視差図の取得方法は、従来技術では公知のものである。

従来の分割方法で１つまたは複数の初期対象物領域を取得してもよい。または、ユーザにより、視差図から１つまたは複数の初期対象物領域を指定するとともに、従来技術の方法により、各領域の対象物領域情報及び対象物視差範囲を取得してもよい。

また、初期対象物領域内の、視差値が該領域内の対象物の視差範囲の最小値未満になる点からなる領域を、該対象物分割領域としてもよい。または、該初期対象物領域内の視差値のない点が該対象物分割領域中の点と垂直方向に隣り合っていると、該点も該対象物分割領域に追加してもよい。または、該初期対象物領域内の視差値が対象物の視差範囲の最大値を超えた点が該対象物分割領域中の点と垂直方向に隣り合っていると、該点も該対象物分割領域に追加してもよい。

また、初期対象物領域内の、視差値が該領域内のターゲット対象物の視差範囲内の点からなる領域を、推定対象物領域としてもよい。または、該初期対象物領域内の視差値のない点が該推定対象物領域中の点と隣り合っていると、該点も該推定対象物領域に追加してもよい。または、該初期対象物領域内の、視差値が対象物の視差範囲の最大値を超えた点が該推定対象物領域中の点と隣り合っていると、該点も該推定対象物領域に追加してもよい。

以上、具体的な実施例により、本発明の基本原理を説明したが、当業者が本発明の方法及び装置の全て、または任意のステップや各部を理解したうえ、任意の演算装置（プロセッサ、記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアや、これらの組合せで実現することが可能であることは、言うまでもなく、当業者が、本発明の説明のもと、基本プログラミング技能を用いて実現可能なものである。

このため、本発明の目的は、さらに、任意の演算装置上で１つのプログラムや１セットのプログラムを実行して実現できる。前記演算装置は、公知の汎用装置でよい。このため、本発明の目的は、単に前記方法や装置を実現するプログラムコードを含むプログラム製品を提供することでも実現することができる。もちろん、前記記録媒体は、任意の公知の記録媒体や、将来開発し得る任意の記録媒体でもよい。

また、本発明の装置及び方法において、各部や、各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/または再組み合わせも、本発明と同等の発明と見なされるべきである。なお、前記系列処理の実行ステップは、自然に説明順、時間順で行ってもよいが、必ずしも一定の時間順で行われる必要はなく、あるステップは、並行に、或いは独立に行われてもよい。例えば、基準レーザスポット/領域特徴値の取得ステップと候補レーザスポット/領域の生成ステップとは、独立したものであり、並行に行われてもよく、任意の前後順に行われてもよい。

本発明は、前述の具体的な実施形態によって保護範囲が制限されるものではなく、当業者が、設計要求や他の要素に応じて、多種多様な補正、組み合わせ、サブ組み合わせ、代替が可能なことは言うまでもない。本発明の精神と原則を逸脱しない範囲内のいずれの補正、同等の代替、改善等は、すべて本発明の保護範囲内のものとなる。

米国特許ＵＳ７０４６８２２号明細書 国際特許出願公開ＷＯ２００９／０１３６３６Ａ２号明細書

Claims (10)

1. 対象物を内包するシーンの視差図を取得するステップと、
   前記視差図における対象物の輪郭を内包する１つまたは複数の初期対象物領域を取得するステップと、
   各々の初期対象物領域内の対象物の視差範囲を取得するステップと、
   各初期対象物領域に対し、前記初期対象物領域内の、視差値が前記初期対象物領域内の対象物の視差範囲の最小値未満になる点に基づき、前記初期対象物領域内の対象物を分割するための対象物分割領域を取得するステップと、
   前記対象物分割領域により、前記初期対象物領域を分割し、対象物領域の分割結果を得るステップと、を含む、対象物領域分割方法。
2. 前記対象物分割領域を取得するステップにおいて、
   前記初期対象物領域内の、視差値が前記初期対象物領域内の対象物の視差範囲の最小値未満になる点からなる領域を、前記対象物分割領域とする、請求項１に記載の対象物領域分割方法。
3. 前記対象物分割領域を取得するステップにおいて、さらに、
   前記初期対象物領域内の視差値のない点に対し、該点が前記対象物分割領域中の点と垂直方向に隣り合っているか否かを検知し、隣り合っている場合、前記視差値のない点も前記対象物分割領域に追加し、
   前記初期対象物領域内の、視差値が対象物の視差範囲の最大値を超えた点に対し、該点が前記対象物分割領域中の点と垂直方向に隣り合っているか否かを検知し、隣り合っている場合、前記視差値が対象物の視差範囲の最大値を超えた点も前記対象物分割領域に追加する、請求項２に記載の対象物領域分割方法。
4. 前記対象物分割領域により、前記初期対象物領域を分割するステップは、
   前記初期対象物領域内の、視差値が前記視差範囲内の点により、前記初期対象物領域内の推定対象物領域を取得するステップと、
   前記対象物分割領域により、前記推定対象物領域を分割するステップと、を含む、請求項１に記載の対象物領域分割方法。
5. 前記推定対象物領域を取得するステップにおいて、
   前記初期対象物領域内の、視差値が前記視差範囲内の点からなる領域を、前記推定対象物領域とする、請求項４に記載の対象物領域分割方法。
6. 前記推定対象物領域を取得するステップにおいて、さらに、
   前記初期対象物領域内の視差値のない点に対し、該点が前記推定対象物領域中の点と隣り合っているか否かを検知し、隣り合っている場合、前記視差値のない点も前記推定対象物領域に追加し、
   前記初期対象物領域内の、視差値が対象物の視差範囲の最大値を超えた点に対し、該点が前記推定対象物領域中の点と隣り合っているか否かを検知し、隣り合っている場合、前記視差値が対象物の視差範囲の最大値を超えた点も前記推定対象物領域に追加する、請求項５に記載の対象物領域分割方法。
7. 前記対象物分割領域により、前記推定対象物領域を分割するステップにおいて、
   （ａ）前記推定対象物領域から前記対象物分割領域を除去し、得られた連結領域を新規の推定対象物領域とし、
   （ｂ）前記新規の推定対象物領域の上縁位置情報を取得し、位置の波の谷の点を取得し、
   （ｃ）前記波の谷の点の高さが所定の閾値未満になるか否かを検知し、前記閾値未満になる場合、前記波の谷の点により、前記新規の推定対象物領域を２つの領域に分割するとともに、該２つの領域を新規の推定対象物領域し、
   （ｄ）このように得られた全ての新規の推定対象物領域に対し、再分割が不可能になるまで、以上のステップ（ｂ）〜（ｃ）を繰り返す、請求項４に記載の対象物領域分割方法。
8. 前記所定の閾値は、絶対閾値または前記上縁位置値から算出された相対閾値である、請求項７に記載の対象物領域分割方法。
9. 対象物を内包するシーンの視差図を取得する視差図取得部と、
   前記視差図における対象物の輪郭を内包する１つまたは複数の初期対象物領域を取得する初期対象物領域取得部と、
   各々の初期対象物領域内の対象物の視差範囲を取得する視差範囲取得部と、
   各初期対象物領域に対し、前記初期対象物領域内の、視差値が前記初期対象物領域内の対象物の視差範囲の最小値未満になる点に基づき、前記初期対象物領域内の対象物を分割するための対象物分割領域を取得する対象物分割領域取得部と、
   前記対象物分割領域により、前記初期対象物領域を分割し、対象物領域の分割結果を得る分割部と、を含む、対象物領域分割装置。
10. 前記対象物分割領域取得部は、前記初期対象物領域内の、視差値が前記初期対象物領域内の対象物の視差範囲の最小値未満になる点からなる領域を、前記対象物分割領域とする、請求項９に記載の対象物領域分割装置。