JP2017062790A

JP2017062790A - 対象分割方法、対象分割装置及び対象分割プログラム

Info

Publication number: JP2017062790A
Application number: JP2016184285A
Authority: JP
Inventors: ジュジィアダヌ; Jiadan Zhu; ワンシヌ; Woo Wang Shin; ファヌションイヌ; Ying Fang Xiong; ワンチェヌ; Qian Wang; ボパヌ; Bo Pang
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-09-25
Filing date: 2016-09-21
Publication date: 2017-03-30
Anticipated expiration: 2036-09-21
Also published as: CN106558053A; JP6245330B2; CN106558053B; US20170091586A1; US10026012B2

Abstract

【課題】本発明は、対象分割方法及び対象分割装置を提供する。【解決手段】対象分割方法は、複数の対象を含む深度画像を取得し、該複数の対象を含む二次元画像を取得し、該深度画像内の各画素の深度値及び該二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得し、該複数のサブ領域について領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得し、該対象分割結果を出力する。【選択図】図１

Description

本発明は、画像処理の分野に関し、さらに具体的には、本発明は対象分割方法及び対象分割装置に関する。

画像処理分野では、正確な対象検出は依然としてホットで挑戦的な課題である。例えば、対象が互いに遮られた混雑した場面で、いかにして画像内から正確に対象を分割するかが難題となっている。このために、立体（3D）視覚に基づく技術が存在し、密集し、間違いのない深度画像を利用して対象を分割する。しかしながら、実践では、通常取得する深度画像には一部領域の深度が無効であることがある。このような深度画像については、無効深度が対象の空間連続性を壊すため、単純な立体視覚に基づく技術は過分割を起こすことがある。即ち、一つの対象を誤って複数の対象に分割してしまい、それによって対象の正確性が激しく低下する。

以上の状況を鑑み、本発明は画像内の対象を正確に分割でき、過分割や分割不足の存在を大幅に低減し、画像処理の正確性を向上する対象分割方法及び対象分割装置を提供する。

本発明の一つの実施例においては、複数の対象を含む深度画像を取得するステップと、
前記複数の対象を含む二次元画像を取得するステップと、前記深度画像内の各画素の深度値、及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得するステップと、前記複数のサブ領域について領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得するステップと、前記対象分割結果を出力するステップと、を含む、対象分割方法を提供する。

本発明の別の実施例においては、複数の対象を含む深度画像を取得する第一取得手段と、前記複数の対象を含む二次元画像を取得する第二取得手段と、前記深度画像内の各画素の深度値、及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得する画素クラスタリング手段と、前記複数のサブ領域について領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得するサブ領域クラスタリング手段と、前記対象分割結果を出力する出力手段と、を含む、対象分割装置を提供する。

本発明の別の実施例においては、処理器、メモリ、及びコンピュータプログラムコマンドがコンピュータに動かされているとき、複数の対象を含む深度画像を取得するステップと、前記複数の対象を含む二次元画像を取得するステップと、前記深度画像内の各画素の深度値、及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得するステップと、前記複数のサブ領域について領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得するステップと、前記対象分割結果を出力するステップと、を実行するメモリ内に記憶したコンピュータプログラムコマンドを含む対象分割装置を提供する。

本発明の別の実施例においては、コンピュータプログラムコマンドを記憶し、前記コンピュータプログラムコマンドがコンピュータに動かされているとき、複数の対象を含む深度画像を取得するステップと、前記複数の対象を含む二次元画像を取得するステップと、前記深度画像内の各画素の深度値、及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得するステップと、前記複数のサブ領域について領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得するステップと、前記対象分割結果を出力するステップと、を実行するコンピュータ可読記憶媒体を含むコンピュータプログラム製品を提供する。

本発明の実施例の対象分割方法及び対象分割装置では、深度画像内の各画素の深度値及び二次元画像内の各画素の画素値を利用して、画素クラスタリングと領域クラスタリングを行うことで、深度不足または前景抽出中の空洞によって対象の不連続性が生じたとしても、正確に対象分割を行うことができ、それによって過分割や分割不足の存在を大幅に低減し、対象分割の正確性を向上する。

本発明の実施例の対象分割方法の主要ステップのフローチャートである。本発明の実施例の対象分割方法の中の第一所定しきい値の決定方法の概念図である。本発明の実施例の対象分割方法の中の第一所定しきい値の決定方法の概念図である。本発明の実施例の対象分割装置の主要配置ブロック図である。本発明の別の実施例の対象分割装置の主要配置ブロック図である。

以下、図面を参考に本発明の実施例を詳細に記述する。

まず、図1を参考に本発明の実施例の対象分割方法を記述する。

図1に示すように、まずステップS110で、複数の対象を含む深度画像を取得する。例えば、双眼カメラまたはTOF（Time of Flight）カメラで前記深度画像を取得できる。

そして、ステップS120で、前記複数対象を含む二次元画像を取得する。前記二次元画像は前記深度画像に対応し、かつ照明強度情報を有している。例えば普通のカメラで前記二次元画像を取得できる。

なお、図1に示すフローチャートではステップS120はステップS110の後に示されているが、実際では、両者はこれ以外の各種順序（例えば、並行または逆にする）で行うこともできることである。例えば、普通のカメラと双眼カメラで同時に複数の対象を含む場面を画像形成し、それによって別々に前記深度画像と前記二次元画像を取得することができる。

これによって、前記深度画像と前記二次元画像を取得後、前記対象分割方法はステップS130に進む。ステップS130では、前記深度画像内の各画素の深度値及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得する。

具体的には、深度画像内で隣接し、かつ有効深度値を有する各二つの画素について、第一基準を通じて前記二つの画素を同群にクラスタリングするか否かを判断できる。一方、前記深度画像内で隣接する有効深度値を有する第一画素と無効深度値を有する第二画素について、前記第一基準と前記第一基準とは異なる第二基準の結合を通じて前記第一画素と前記第二画素を同群にクラスタリングするか否かを判断できる。ここでの用語「有効深度値」は、取得した深度画像内でその画素が深度値を有していることを意味する。用語「無効深度値」は、取得した深度画像内で例えばテクスチャ度が低いなどの各種原因によりその画素の深度値が不足していることを意味する。前記第一基準は前記第二基準と異なる。例えば、前記第一基準は深度値に基づく基準とすることができる。前記第二基準は色空間内の画素値に基づく基準とすることができる。

さらに具体的には、例えば、有効深度値を有する二つの隣接画素に対して、以下の式（1）に示すように、まず前記二つの画素が鳥瞰図上に投影した投影点間のユークリッド距離を計算できる。

式中、d₁（p,q）は点pと点qの間のユークリッド距離を表し、C_pとC_qはそれぞれ画素pとqの中心であり、例示的にC_pとC_qはそれぞれ画素pとqが鳥瞰図上に投影した投影点の中心を表すことができる。

続いて、前記ユークリッド距離が第一所定しきい値より小さいか否かを判断できる。前記第一所定しきい値は当業者が必要に応じて適切に設定でき、ここでは具体的な限定は行わない。例示的に、前記第一所定しきい値は生物特徴情報に基づくしきい値とすることができる。例えば、分割すべき対象が人である場合、前記第一所定値は例えば頭部の長さ、上半身の長さ、頭部の幅、肩幅など人類統計学生物特徴情報に基づくしきい値とすることができる。

図2Aと図2Bは第一所定しきい値の決定を例示的に示している。図2Aでは、一組の水平線a〜jを通じて人の高さを適切に区分し、これによって例えば頭部の長さ|af|、上半身の長さ|ah|、全身の長さ|aj|などのいくつかの値を決定している。図2Bでは、一組の垂直線k〜pを通じて人の幅を適切に区分し、これによって例えば頭部の幅|mn|、肩幅|lo|などのいくつかの値を決定している。画素クラスタリングのとき、必要な設計精度で適切にしきい値を選択できる。例示的に、以下に示す式（2）から第一所定しきい値を選択できる。

式中、Heightは画素深度値とカメラ姿勢から計算して取得した画素高度であり、前記カメラ姿勢はカメラの高度とピッチ角を含み、φは定数であり、例示的に
（外１）

である。

例示的に、画素クラスタリングのとき、相対的に小さい第一所定値を選択する。例えば、|ac|= Height/φ7である。

なお、上記では分割対象を人とする場合を例に第一所定しきい値の決定を記述していることである。しかしながら、本発明の実施例の対象分割方法はこれに限るものではなく、その他各種対象の分割に応用できる。

また、上記は生物特徴情報に基づく状況を例に第一所定しきい値の決定を記述していることである。しかしながら、本発明の実施例の対象分割方法はこれに限るものではなく、必要に応じてその他各種適切なしきい値を設定できる。ここではこれ以上詳細には述べない。

前記ユークリッド距離が第一所定しきい値より大きいと判断したとき、この二つの画素は同一対象に属していないことを表し、またこの二つの画素にいかなる処理も行わない。一方、前記ユークリッド距離が第一所定しきい値より小さいと判断したとき、この二つの画素は同一対象に属していることを表し、これにより二つの画素を同群にクラスタリングする。

なお、上記ではユークリッド距離を例に第一基準及びその計算方式を記述していることである。しかしながら、当業者であれば、本発明の実施例の対象分割方法はこれに限るものではなく、その他の各種距離空間に基づく第一基準を採用することができることが理解でき、ここではこれ以上詳細には述べない。

以上、互いに隣接し、かつ有効深度値を有する二つの画素の間の処理方式を記述した。以下、互いに隣接し、かつその中の一つが無効深度値を有する状況を記述する。

具体的には、前記深度画像内で隣接する有効深度値を有する画素（記述しやすくするため、以下、第一画素と称す）と無効深度値を有する画素（記述しやすくするため、以下、第二画素と称す）に対して、まず、前記二次元画像内の前記第一画素に対応する画素と前記第二画素に対応する画素の間の色空間内のマンハッタン距離を計算できる。

さらに具体的には、例えば、PGB色空間内で、以下の式（3）を通じてマンハッタン距離を計算できる。

式中、RGB（p）とRGB（q）はそれぞれ画素点pとqのRGB空間内のRGB値であり、d₂（p，q）は画素点pと画素点qの間のマンハッタン距離である。

続いて、前記マンハッタン距離が第二所定しきい値より小さいか否かを判断する。前記第二所定しきい値は当業者が必要に応じて適切に設定し、ここでは具体的な限定は行わない。例示的に、前記第二所定しきい値は10、15などにできる。

前記マンハッタン距離が第二所定しきい値より大きいと判断したとき、この二つの画素は同一対象に属していないことを表し、またそれに対していかなる処理も行わない。

一方、前記マンハッタン距離が第二所定しきい値より小さいと判断したとき、前記第一画素の深度値を前記第二画素の深度値に伝播する。例えば、前記第二画素の深度値を前記第一画素の深度値に等しくすることができる。そのため、前記第二画素も有効深度値を有する。

続いて、第一基準を通じてこの二つの画素を判断する。即ち前記第一画素と深度値伝播後の第二画素が鳥瞰図上に投影した投影点間のユークリッド距離を計算する。計算方式は上述の通りであり、ここでは繰り返さない。それから、前記ユークリッド距離が第一所定しきい値より小さいか否かを判断する。前記ユークリッド距離が第一所定しきい値より大きいと判断したとき、この二つの画素は同一対象に属していないことを表し、またそれに対していかなる処理も行わない。一方、前記ユークリッド距離が第一所定しきい値より小さいと判断したとき、第一画素と第二画素が同一対象に属すことを表し、前記第一画素と前記第二画素を同群にクラスタリングする。

なお、上記はRGB画像に基づく式（3）を例に記述していることである。しかしながら、当業者であれば本発明の実施例の対象分割方法はこれに限らず、例えばグレースケール画像、その他色空間内の画像の状況に応用できることを理解でき、ここではさらに詳しくは述べない。

また、上記はマンハッタン距離を例に第一基準とその計算方法を記述していることである。しかしながら、当業者であれば本発明の実施例の対象分割方法はこれに限らず、その他各種距離空間に基づく第二基準を応用できることが理解でき、ここではさらに詳しくは述べない。

以上、画像内の各画素に上述の処理を行うことで、画素クラスタリングを完了し、それによって複数のサブ領域を取得した。画素クラスタリングを通じて、画像内の多くの有効深度値のない画素に深度値を与え、それによって大幅に空間連続性を改善した。

続いて、前記対象分割方法はステップS140に進み、前記複数のサブ領域に領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得する。

具体的には、前記複数のサブ領域内の各二つの互いに境を接する隣接サブ領域に対して、第一基準を通じて前記隣接サブ領域を同群にクラスタリングするか否かを判断できる。一方、互いに境を接しないサブ領域内の互いに最も近い第一近隣サブ領域と第二近隣サブ領域に対して、前記第一基準と前記第一基準と異なる第二基準の結合を通じて前記近隣サブ領域を同群にクラスタリングするか否かを判断する。

さらに具体的には、前記複数のサブ領域内の各二つの互いに境を接する隣接サブ領域に対して、まず二つの前記隣接サブ領域のそれぞれの所定参考点が鳥瞰図上に投影した投影点間のユークリッド距離を計算する。前記計算方式は例えば表（1）に示すとおりであり、C_pとC_qはそれぞれサブ領域の所定参考点（例えば、中心点）が鳥瞰図上に投影した投影点を表す。

続いて、前記ユークリッド距離が第三所定しきい値より小さいか否かを判断する。例では、前記第三所定しきい値は当業者が任意で設定する値である。別の例では、前記第一所定しきい値と同様に、前記第三所定しきい値は生物特徴情報に基づくしきい値とすることができる。例示的に、領域クラスタリング時に使用する第三所定しきい値が画素クラスタリング時に使用する第一所定しきい値より大きい。例えば、前記第三所定しきい値は図2に示すような

と設定できる。また、複数回領域クラスタリングを実行している場合、前記第三所定しきい値は実行回数の増加に伴い、大きくすることができる。例えば初めて領域クラスタリングを実行するとき、前記第三所定しきい値は|mn|とすることができる。二回目の領域クラスタリングを実行するとき、前記第三所定しきい値は|af|とすることができる。三回目の領域クラスタリングを実行するとき、前記第三所定しきい値は|lo|とすることができる、などである。

前記ユークリッド距離が第三所定しきい値より大きいと判断したとき、二つの隣接サブ領域は同一対象に属していないことを表し、またそれにいかなる処理も行わない。一方、前記ユークリッド距離が第三所定しきい値より小さいと判断したとき、二つの隣接サブ領域は同一対象に属していることを表し、そのため前記隣接領域を同群にクラスタリングする。

一方、互いに境を接しないサブ領域内の互いに最も近い二つの近隣サブ領域（以下、記述しやすくするため、それぞれ第一近隣サブ領域と第二近隣サブ領域と称する）に対して、まず前記二次元画像内の前記第一近隣サブ領域内の各画素と第二近隣サブ領域内の各画素の間の色空間のマンハッタン距離を計算し、前記第一近隣サブ領域と前記第二近隣サブ領域間の平均マンハッタン距離を取得する。

好ましくは、処理計算量を低減するため、第一近隣サブ領域と第二近隣サブ領域の両者の一部隣接領域を選択できる。例えば、円形領域で、この部分の隣接領域内の各画素に対してマンハッタン距離を計算する。

具体的には、例えば、以下に示す式（4）を通じて前記平均マンハッタン距離を計算できる。

式中、AとBはそれぞれ第一近隣サブ領域と第二近隣サブ領域であり、d（a,b）は第一近隣サブ領域と第二近隣サブ領域の任意の二つの画素の間のマンハッタン距離、|A|は第一近隣サブ領域の画素の総和数、|B|は第二近隣サブ領域の画素の総和数、d_meanは第一近隣サブ領域Aと第二近隣サブ領域Bの間の平均マンハッタン距離である。

続いて、平均マンハッタン距離が第四所定しきい値より小さいか否かを判断する。第二所定しきい値と類似し、前記第四所定しきい値は当業者が必要に応じて任意で設定でき、ここでは具体的な限定は行わない。

平均マンハッタン距離が第四所定しきい値より大きいと判断したとき、前記第一近隣サブ領域と前記第二近隣サブ領域は同一対象に属していないことを表し、またいかなる処理も行わない。

一方、平均マンハッタン距離が第四所定しきい値より小さいと判断したとき、第一基準を通じて前記第一近隣サブ領域と前記第二近隣サブ領域について再度判断する。具体的には、前記第一近隣サブ領域の第一所定参考点と前記第二近隣サブ領域の第二所定参考点が鳥瞰図上に投影した投影点間のユークリッド距離を計算する。計算方式は上述の通りであり、ここでは繰り返さない。

その後、前記ユークリッド距離が第三所定しきい値より小さいか否かを判断する。前記ユークリッド距離が前記第三所定しきい値より大きいと判断したとき、第一近隣サブ領域と前記第二近隣サブ領域は同一対象に属していないことを表し、またいかなる処理も行わない。

一方、前記ユークリッド距離が第三所定しきい値より小さいと判断したとき、第一近隣サブ領域と前記第二近隣サブ領域は同一対象に属していることを表し、それによって前記第一近隣サブ領域と前記第二近隣サブ領域を同群にクラスタリングする。

以上、一回の領域クラスタリング処理を終え、クラスタリング結果としてのクラスタブロックを取得する。選択的に、対象分割の正確性を高めるため、本発明の実施例の対象分割方法は反復方式で前記領域クラスタリング処理を行うことができる。反復終了条件は例えば所定反復回数に達した、またはクラスタブロックの面積が所定しきい値に達したなどとすることができる。

その後、前記分割対象方法はステップS150に進み、前記対象分割結果を出力する。

好ましくは、クラスタリング結果を取得後、出力前に例えばノイズフィルタリング、形状識別などの後処理を行うことができ、それによってさらに対象分割結果を最適化し、対象分割の正確性を高める。

なお、上記の記述では前景画像を抽出せずに、直接最初の深度画像と二次元画像に基づいて後続の画像クラスタリングと領域クラスタリングを行っていることである。このような場合、領域レベルのクラスタリング結果を取得後、対象分割の正確性をさらに高めるため、対応する後処理を通じて取得したクラスタブロックが関心のある目標であるか否かを検証できる。

なお、好ましくは、画素クラスタリングを行う前に、前記深度画像と前記二次元画像の少なくとも一つに基づいて、画像前景の抽出を行うことができる。具体的には、例えば背景モデリングなどのいずれかの既知の前景抽出技術を採用して画像の前景を抽出できる。これにより、抽出された前景画像を下記ステップS130に出力し、画素クラスタリングを行い、それによって背景画像の干渉を回避し、対象分割の正確性をよりいっそう高め、後続処理の計算量を低減し、処理効率を引き上げる。

以上、図1及び図2を参考に本発明の実施例の対象分割方法を記述した。本発明の実施例の対象分割方法では、深度画像内の各画素の深度値及び二次元画像内の各画素の画素値を利用して、画素クラスタリングと領域クラスタリングを行うことで、深度不足または前景抽出中の空洞によって対象の不連続性が生じたとしても、正確に対象分割を行うことができ、それによって過分割や分割不足の存在を大幅に低減し、対象分割の正確性を向上する。

以下、図3を参考に本発明の実施例の対象分割装置を記述する。

図3は本発明の実施例の対象分割装置の主要配置ブロック図である。図3に示すように、本発明の実施例の対象分割装置300は主に第一取得部310、第二取得部320、画素クラスタリング部330、サブ領域クラスタリング部340、及び出力部350を含む。

第一取得部310は、複数の対象を含む深度画像を取得する。

第二取得部320は、前記複数対象を含む二次元画像を取得する。

画素クラスタリング部330は、前記深度画像内の各画素の深度値及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得する。

サブ領域クラスタリング部340は、前記複数のサブ領域に領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得する。

出力部350は、前記対象分割結果を出力する。

一つの実施例では、画素クラスタリング部330は、前記深度画像内で隣接し、かつ有効深度値を有する各二つの画素の間で、第一基準を通じて前記二つの画素を同群にクラスタリングするか否かを判断する第一基準判断部、前記深度画像内で隣接する有効深度値を有する第一画素と無効深度値を有する第二画素間が隣接し、前記第一基準と前記第一基準とは異なる第二基準の結合を通じて前記第一画素と前記第二画素を同群にクラスタリングするか否かを判断する第二基準判断部を含む。

別の実施例では、前記第一基準判断部は、前記二つの画素が鳥瞰図上に投影した投影点間のユークリッド距離を計算するユークリッド距離計算部、前記ユークリッド距離が第一所定しきい値より小さいか否かを判断する第一しきい値判断部、及びユークリッド距離が第一所定しきい値より小さいと判断したとき、前記二つの画素を同群にクラスタリングする隣接画素クラスタリング部を含む。

別の実施例では、前記第一所定しきい値は生物特徴情報に基づくしきい値である。

別の実施例では、前記第二基準判断部は、前記二次元画像内の前記第一画素に対応する画素と前記第二画素に対応する画素の間の色空間内のマンハッタン距離を計算するマンハッタン距離計算部、前記マンハッタン距離が第二所定しきい値より小さいか否かを判断する第二しきい値判断部、前記マンハッタン距離が第二所定しきい値より小さいと判断したとき、前記第一画素の深度値を前記第二画素の深度値に伝播する伝播部、前記第一画素と深度値伝播後の第二画素が鳥瞰図上に投影した投影点間のユークリッド距離を計算するユークリッド距離計算部、前記ユークリッド距離が第一所定しきい値より小さいか否かを判断する第一しきい値判断部、及び前記ユークリッド距離が第一所定しきい値より小さいと判断したとき、前記第一画素と前記第二画素を同群にクラスタリングする隣接画素クラスタリング部を含む。

別の実施例では、前記サブ領域クラスタリング部340は、前記複数のサブ領域内の各二つの互いに境を接する隣接サブ領域の間で、第一基準を通じて前記隣接サブ領域を同群にクラスタリングするか否かを判断する第一基準判断部、互いに境を接しないサブ領域内の互いに最も近い第一近隣サブ領域と第二近隣サブ領域の間で、前記第一基準と前記第一基準と異なる第二基準の結合を通じて前記近隣サブ領域を同群にクラスタリングするか否かを判断する第二基準判断部を含む。

別の実施例では、前記第一基準判断部は、二つの前記隣接サブ領域のそれぞれの所定参考点が鳥瞰図上に投影した投影点間のユークリッド距離を計算するユークリッド距離計算部、前記ユークリッド距離が第三所定しきい値より小さいか否かを判断する第三しきい値判断部、及び前記ユークリッド距離が第三所定しきい値より小さいと判断したとき、前記隣接領域を同群にクラスタリングする隣接サブ領域クラスタリング部を含む。

別の実施例では、前記第三所定しきい値は生物特徴情報に基づくしきい値である。

別の実施例では、前記第二基準判断部は、前記二次元画像内の前記第一近隣サブ領域内の各画素と前記第二近隣サブ領域内の各画素の間の色空間のマンハッタン距離を計算し、前記第一近隣サブ領域と前記第二近隣サブ領域間の平均マンハッタン距離を取得するマンハッタン距離計算部、平均マンハッタン距離が第四所定しきい値より小さいか否かを判断する第四しきい値判断部、平均マンハッタン距離が第四所定しきい値より小さいと判断したとき、前記第一近隣サブ領域の第一所定参考点と前記第二近隣サブ領域の第二所定参考点が鳥瞰図上に投影した投影点間のユークリッド距離を計算するユークリッド距離計算部、前記ユークリッド距離が第三所定しきい値より小さいか否かを判断する第三しきい値判断部、及び前記ユークリッド距離が第三所定しきい値より小さいと判断したとき、前記第一近隣サブ領域と前記第二近隣サブ領域を同群にクラスタリングする近隣サブ領域クラスタリング部を含む。

別の実施例では、前記対象分割装置300はさらに、画素クラスタリングを行う前に、前記深度画像と前記二次元画像内の少なくも一つに基づいて、画像の前景抽出を行う前景抽出部を含む。画素クラスタリング部は、抽出した前景画像内の各画素の深度値及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得する。

前記対象分割装置300の各部の配置及び操作はすでに図1と図2を参考に前述した対象分割方法の中で詳細に記述しているため、ここでは繰り返さない。

図4は、本発明の別の実施例の対象分割装置の主要配置ブロック図である。

図4に示すように、本発明の実施例の対象分割装置400は主に、一つまたは複数の処理器410と記憶装置420を含み、これらのコンポーネントは通常バスシステム430及び/またはその他形式の接続機構（未表示）を通じて互いに連結する。なお、図4に示す対象分割装置400のコンポーネント及び構造は例に過ぎず、制限するものではなく、必要に応じて対象分割装置400はその他コンポーネント及び構造を持つことができる。

処理器410は中央処理装置（CPU）またはデータ処理能力及び/またはコマンド実行能力を有するその他形式の処理ユニットとすることができ、かつ対象分割装置400内のその他コンポーネントを制御して望む機能を実行できる。

記憶装置420は一つまたは複数のコンピュータプログラム製品を含むことができ、前記コンピュータプログラム製品は例えば揮発性メモリ及び/または非揮発性メモリといった各種形式のコンピュータ可読記憶媒体を含むことができる。前記揮発性メモリはランダムアクセスメモリ（RAM）及び/またはキャッシュ（cache）などを含むことができる。前記非揮発性メモリは読取り専用メモリ（ROM）、ハードディスク、フラッシュメモリなどを含むことができる。前記コンピュータ可読記憶媒体には一つまたは複数のコンピュータプログラムコマンドを記憶でき、処理器420が前記プログラムコマンドを実行し、本発明の実施例の対象分割方法の機能及び/またはその他望む機能を実現できる。

以上、図3と図4を参考に本発明の実施例の対象分割装置を記述した。本発明の実施例の対象分割装置では、深度画像内の各画素の深度値及び二次元画像内の各画素の画素値を利用して、画素クラスタリングと領域クラスタリングを行うことで、深度不足または前景抽出中の空洞によって対象の不連続性が生じたとしても、正確に対象分割を行うことができ、それによって過分割や分割不足の存在を大幅に低減し、対象分割の正確性を向上する。

以上、図3と図4を参考に本発明の実施例の対象分割方法及び対象分割装置を記述した。

なお、本明細書では、用語「含める（包括）」「含む（包含）」またはその他のいずれかの亜種には非排他的な包含をカバーする意図があり、それによって一連の要素を含む過程、方法、物品または設備にある要素を含ませるだけでなく、明確に列記していないその他要素を含ませたり、またはこのような過程、方法、物品または設備の固有の要素を含ませたりする。さらに多くの制限のない場合、語句「……を含む」が限定する要素は、前記要素を含む過程、方法、物品または設備内に別の同じ要素がさらに存在することを排除するものではないことである。

また、本明細書では、「第一…ユニット」、「第二…ユニット」に類似する表現は記述時に区分しやすくするための過ぎず、必ず物理的分離を実現すべき二つまたは複数のユニットを意味するものではないことである。実際、必要に応じて、前記ユニットは全体を一つのユニットで実現することも、複数のユニットで実現することもできる。

なお、上記一連の処理はここで述べている順序で時系列に実行する処理を含むだけでなく、並行または別々に、時系列でなく実行する処理も含む。

以上の実施方式の記述を通じて、当業者は本発明がソフトウェアの助けを借りて、必要なハードウェアプラットフォームを加えた方式で実現でき、当然のことながら全てハードウェアを通じても実施できることをよく理解できる。このような理解に基づき、本発明の技術案の背景技術に貢献する全てまたは一部はソフトウェア製品の形式で表すことができ、当該コンピュータソフトウェア製品は例えばROM/RAM、磁気ディスク、光ディスクなどの記憶媒体に記憶でき、コンピュータ設備（例えばパソコン、サーバ、またはネットワーク設備など）に本発明の各実施例または実施例のある部分に記述されている方法を実行させるのに用いる若干のコマンドを含む。

本発明の実施例では、各種タイプの処理器が実行できるように、ユニット/モジュールはソフトウェアで実現できる。例を挙げて説明すると、識別した実行可能コードモジュールはコンピュータコマンドの一つまたは複数の物理または論理ブロックを含むことができ、例を挙げると、それを対象、過程または関数に構築することができる。いずれにしても、識別されたモジュールの実行可能コードは物理的に同じ場所にある必要はなく、異なる位置に記憶した異なるコマンドを含むことができ、これらのコマンドが論理的に一つに結び付いたとき、ユニット/モジュールを構成し、当該ユニット/モジュールの規定目的を実現する。

ユニット/モジュールがソフトウェアを利用して実現するとき、従来のハードウェア技術の水準を考慮しているため、ソフトウェアで実現できるユニット/モジュールでよい。コストを考慮しない場合、当業者はみな対応するハードウェア回路を構築して対応する機能を実現でき、前記ハードウェア回路は通常の超大規模集積回路（VLSI）またはゲートアレイ及び例えばロジックチップ、トランジスタといった従来の半導体またはその他分割したコンポーネントを含む。モジュールはさらに例えばフィールドプログラマブルゲートアレイ、プログラマブルゲートアレイロジック、プログラマブルロジック設備などのプログラマブルハードウェア設備で実現できる。

以上、本発明について詳細に紹介した。本文では具体例を応用して本発明の原理及び実施方法を論述したが、以上実施例の説明は本発明の方法及びその核心思想の理解を助けることにのみ用いる。同時に、当業者にとって、本発明の考え方に基づき、具体的な実施方法及び応用範囲に変更箇所があれば、以上より、本明細書の内容は本発明に対する制限とは理解すべきではない。

Claims

複数の対象を含む深度画像を取得するステップと、
前記複数の対象を含む二次元画像を取得するステップと、
前記深度画像内の各画素の深度値、及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得するステップと、
前記複数のサブ領域について領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得するステップと、
前記対象分割結果を出力するステップと、を含む、対象分割方法。
画素クラスタリングを行うステップは、
前記深度画像内で隣接し、かつ有効深度値を有する各二つの画素について、第一基準に基づいて、前記二つの画素を同じクラスタにクラスタリングするか否かを判断するステップと、
前記深度画像内で隣接する、有効深度値を有する第一画素と無効深度値を有する第二画素について、前記第一基準及び前記第一基準とは異なる第二基準に基づいて、前記第一画素及び前記第二画素を同じクラスタにクラスタリングするか否かを判断するステップと、を含む、請求項１に記載の対象分割方法。
第一基準に基づいて前記二つの画素を同じクラスタにクラスタリングするか否かを判断するステップは、
前記二つの画素の鳥瞰図に投影した投影点間のユークリッド距離を計算するステップと、
前記ユークリッド距離が第一所定しきい値より小さいか否かを判断するステップと、
ユークリッド距離が第一所定しきい値より小さいと判断した場合、前記二つの画素を同じクラスタにクラスタリングするステップと、を含む、請求項２に記載の対象分割方法。
前記第一所定しきい値は、生物特徴情報に基づくしきい値である、請求項３に記載の対象分割方法。
前記第一基準及び前記第二基準に基づいて前記第一画素及び前記第二画素を同じクラスタにクラスタリングするか否かを判断するステップは、
前記二次元画像内の前記第一画素に対応する画素と前記第二画素に対応する画素との間の色空間内のマンハッタン距離を計算するステップと、
前記マンハッタン距離が第二所定しきい値より小さいか否かを判断するステップと、
前記マンハッタン距離が第二所定しきい値より小さいと判断した場合、前記第一画素の深度値を前記第二画素の深度値に伝播するステップと、
前記第一画素と深度値伝播後の第二画素の、鳥瞰図に投影した投影点間のユークリッド距離を計算するステップと、
前記ユークリッド距離が第一所定しきい値より小さいか否かを判断するステップと、
前記ユークリッド距離が第一所定しきい値より小さいと判断した場合、前記第一画素及び前記第二画素を同じクラスタにクラスタリングするステップと、を含む、請求項２に記載の対象分割方法。
前記複数のサブ領域についてサブ領域クラスタリングを行うステップは、
前記複数のサブ領域内の各二つの互いに境を接する隣接サブ領域について、第一基準に基づいて、前記隣接サブ領域を同じクラスタにクラスタリングするか否かを判断するステップと、
互いに境を接しないサブ領域内の互いに最も近い第一近隣サブ領域と第二近隣サブ領域について、前記第一基準及び前記第一基準と異なる第二基準に基づいて、前記第一近隣サブ領域及び前記第二近隣サブ領域を同じクラスタにクラスタリングするか否かを判断するステップと、を含む、請求項１に記載の対象分割方法。
第一基準に基づいて前記隣接サブ領域を同じクラスタにクラスタリングするか否かを判断するステップは、
二つの前記隣接サブ領域のそれぞれの所定参考点の鳥瞰図に投影した投影点間のユークリッド距離を計算するステップと、
前記ユークリッド距離が第三所定しきい値より小さいか否かを判断するステップと、
前記ユークリッド距離が第三所定しきい値より小さいと判断した場合、前記隣接サブ領域を同じクラスタにクラスタリングするステップと、を含む、請求項６に記載の対象分割方法。
前記第三所定しきい値は、生物特徴情報に基づくしきい値である、請求項７に記載の対象分割方法。
前記第一基準及び前記第二基準に基づいて前記第一近隣サブ領域及び前記第二近隣サブ領域を同じクラスタにクラスタリングするか否かを判断するステップは、
前記二次元画像内の前記第一近隣サブ領域内の各画素と前記第二近隣サブ領域内の各画素との間の色空間のマンハッタン距離を計算し、前記第一近隣サブ領域と前記第二近隣サブ領域との間の平均マンハッタン距離を取得するステップと、
平均マンハッタン距離が第四所定しきい値より小さいか否かを判断するステップと、
平均マンハッタン距離が第四所定しきい値より小さいと判断した場合、前記第一近隣サブ領域の第一所定参考点と前記第二近隣サブ領域の第二所定参考点の、鳥瞰図に投影した投影点間のユークリッド距離を計算するステップと、
前記ユークリッド距離が第三所定しきい値より小さいか否かを判断するステップと、
前記ユークリッド距離が第三所定しきい値より小さいと判断した場合、前記第一近隣サブ領域及び前記第二近隣サブ領域を同じクラスタにクラスタリングするステップと、を含む、請求項６に記載の対象分割方法。
画素クラスタリングを行う前に、前記深度画像及び前記二次元画像のうち少なくも一つに基づいて、画像の前景を抽出するステップ、をさらに含み、
前記画素クラスタリングを行うステップは、
抽出された前景画像内の各画素の深度値及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得するステップ、を含む、請求項１に記載の対象分割方法。
複数の対象を含む深度画像を取得する第一取得手段と、
前記複数の対象を含む二次元画像を取得する第二取得手段と、
前記深度画像内の各画素の深度値、及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得する画素クラスタリング手段と、
前記複数のサブ領域について領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得するサブ領域クラスタリング手段と、
前記対象分割結果を出力する出力手段と、を含む、対象分割装置。
前記画素クラスタリング手段は、
前記深度画像内で隣接し、かつ有効深度値を有する各二つの画素について、第一基準に基づいて、前記二つの画素を同じクラスタにクラスタリングするか否かを判断する第一基準判断手段と、
前記深度画像内で隣接する、有効深度値を有する第一画素と無効深度値を有する第二画素について、前記第一基準及び前記第一基準とは異なる第二基準に基づいて、前記第一画素及び前記第二画素を同じクラスタにクラスタリングするか否かを判断する第二基準判断手段と、を含む、請求項１１に記載の対象分割装置。
前記第一基準判断手段は、
前記二つの画素の鳥瞰図に投影した投影点間のユークリッド距離を計算するユークリッド距離計算手段と、
前記ユークリッド距離が第一所定しきい値より小さいか否かを判断する第一しきい値判断手段と、
ユークリッド距離が第一所定しきい値より小さいと判断した場合、前記二つの画素を同じクラスタにクラスタリングする隣接画素クラスタリング手段と、を含む、請求項１２に記載の対象分割装置。
前記第一所定しきい値は、生物特徴情報に基づくしきい値である、請求項１３に記載の対象分割装置。
前記第二基準判断手段は、
前記二次元画像内の前記第一画素に対応する画素と前記第二画素に対応する画素との間の色空間内のマンハッタン距離を計算するマンハッタン距離計算手段と、
前記マンハッタン距離が第二所定しきい値より小さいか否かを判断する第二しきい値判断手段と、
前記マンハッタン距離が第二所定しきい値より小さいと判断した場合、前記第一画素の深度値を前記第二画素の深度値に伝播する伝播手段と、
前記第一画素と深度値伝播後の第二画素の、鳥瞰図に投影した投影点間のユークリッド距離を計算するユークリッド距離計算手段と、
前記ユークリッド距離が第一所定しきい値より小さいか否かを判断する第一しきい値判断手段と、
前記ユークリッド距離が第一所定しきい値より小さいと判断した場合、前記第一画素及び前記第二画素を同じクラスタにクラスタリングする隣接画素クラスタリング手段と、を含む、請求項１２に記載の対象分割装置。
前記サブ領域クラスタリング手段は、
前記複数のサブ領域内の各二つの互いに境を接する隣接サブ領域について、第一基準に基づいて、前記隣接サブ領域を同じクラスタにクラスタリングするか否かを判断する第一基準判断手段と、
互いに境を接しないサブ領域内の互いに最も近い第一近隣サブ領域と第二近隣サブ領域について、前記第一基準及び前記第一基準と異なる第二基準に基づいて、前記第一近隣サブ領域及び前記第二近隣サブ領域を同じクラスタにクラスタリングするか否かを判断する第二基準判断手段と、を含む、請求項１１に記載の対象分割装置。
前記第一基準判断手段は、
二つの前記隣接サブ領域のそれぞれの所定参考点の鳥瞰図に投影した投影点間のユークリッド距離を計算するユークリッド距離計算手段と、
前記ユークリッド距離が第三所定しきい値より小さいか否かを判断する第三しきい値判断手段と、
前記ユークリッド距離が第三所定しきい値より小さいと判断した場合、前記隣接サブ領域を同じクラスタにクラスタリングする隣接サブ領域クラスタリング手段と、を含む、請求項１６に記載の対象分割装置。
前記第三所定しきい値は、生物特徴情報に基づくしきい値である、請求項１７に記載の対象分割装置。
前記第二基準判断手段は、
前記二次元画像内の前記第一近隣サブ領域内の各画素と前記第二近隣サブ領域内の各画素との間の色空間のマンハッタン距離を計算し、前記第一近隣サブ領域と前記第二近隣サブ領域との間の平均マンハッタン距離を取得するマンハッタン距離計算手段と、
平均マンハッタン距離が第四所定しきい値より小さいか否かを判断する第四しきい値判断手段と、
平均マンハッタン距離が第四所定しきい値より小さいと判断した場合、前記第一近隣サブ領域の第一所定参考点と前記第二近隣サブ領域の第二所定参考点の、鳥瞰図に投影した投影点間のユークリッド距離を計算するユークリッド距離計算手段と、
前記ユークリッド距離が第三所定しきい値より小さいか否かを判断する第三しきい値判断手段と、
前記ユークリッド距離が第三所定しきい値より小さいと判断した場合、前記第一近隣サブ領域及び前記第二近隣サブ領域を同じクラスタにクラスタリングする近隣サブ領域クラスタリング手段と、を含む、請求項１６に記載の対象分割装置。
画素クラスタリングを行う前に、前記深度画像及び前記二次元画像のうち少なくも一つに基づいて、画像の前景を抽出する前景抽出手段、をさらに含み、
前記画素クラスタリング手段は、抽出された前景画像内の各画素の深度値及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得する、請求項１１に記載の対象分割装置。
複数の対象を含む深度画像を取得するステップと、
前記複数の対象を含む二次元画像を取得するステップと、
前記深度画像内の各画素の深度値、及び前記二次元画像内の各画素の画素値を利用して、画素クラスタリングを行い、複数のサブ領域を取得するステップと、
前記複数のサブ領域について領域クラスタリングを行い、クラスタリング結果を対象分割結果として取得するステップと、
前記対象分割結果を出力するステップと、をコンピュータに実行させるための対象分割プログラム。