JP2021526254A

JP2021526254A - 地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復

Info

Publication number: JP2021526254A
Application number: JP2020564941A
Authority: JP
Inventors: モハメドガラヴィ−アルクハンサリ; 浩行武田
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2018-05-22
Filing date: 2019-05-21
Publication date: 2021-09-30
Anticipated expiration: 2039-05-21
Also published as: EP3782076A4; JP7152705B2; KR20210008087A; US10621730B2; US20190362500A1; KR102598459B1; EP3782076A1; CN112313704A; WO2019226673A1

Abstract

第１のタイプのセンサと、第２のタイプのセンサと、制御回路とを含むオブジェクトセグメンテーションシステム。前記第１のタイプのセンサは、シーンの一連のカラー画像フレームを取り込む。前記第２のタイプのセンサは、前記一連のカラー画像フレームのうちの対応するカラー画像フレーム毎に深度画像を取り込む。前記制御回路は、入力カラー画像フレームに対するポイントクラウドを生成する。前記制御回路は、前記入力カラー画像フレームの背景から、前景人間オブジェクトをセグメント化する。前記制御回路は、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する地面を検出する。前記制御回路は、前記検出された地面のレベルから規定の領域内の足領域を回復する。前記制御回路は、地面の検出に基づいて、前記入力カラー画像フレームの前記背景から、前記回復された足領域を有する前記前景人間オブジェクトを抽出する。【選択図】図１

Description

〔関連出願との相互参照／引用による組み入れ〕
[0001] なし

[0002] 本開示の様々な実施形態は、画像シーケンスからのオブジェクト抽出技術に関する。具体的には、本開示の様々な実施形態は、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の正確な回復のためのオブジェクトセグメンテーション装置及び方法に関する。

[0003] 最近の画像処理の分野の開発は、様々な画像セグメンテーション技術の進歩をもたらしている。このような技術は、異なる統計的及び／又は確率的画像特徴ベースの方法に基づいて、特定の画像から関心オブジェクト（例えば人体）のセグメント化を容易にする。このようなオブジェクトセグメンテーション技術の例は、圧縮ベースのオブジェクトセグメンテーション技術、色ベースのセグメンテーション技術、深度ベースのオブジェクトセグメンテーション技術、及びヒストグラムベースのオブジェクトセグメンテーション技術を含むことができる。

[0004] 現在、特有の色ベースのセグメンテーション法では、取り込んだ画像から所定の静止した背景画像を減算することに基づいて、関心オブジェクトをセグメント化することができる。しかしながら、所定の静止した背景画像を生成するために、従来のオブジェクトセグメンテーション装置は、関心オブジェクトがシーン内に存在しないとき、シーンの一連の画像を取り込むことが必要であり、これは、望ましくない場合がある。シーンの所定の静止した背景画像は、取り込まれた一連の画像から生成することができる。背景画像減算法は、更に、静止したカメラを用いて、シーンから一連の画像を取り込む必要がある場合がある。別の深度ベースの方法では、従来の装置は、深度センサによって取り込むことができる深度画像を用いることによって、関心オブジェクトをセグメント化することができる。深度センサが、無効な深度値を含むノイズが多い深度画像を取り込む場合、従来のオブジェクトセグメンテーション装置は、取り込まれた画像から関心オブジェクトを誤って且つ不正確にセグメント化する場合がある。これらの方法に基づいてセグメント化される人間オブジェクトなどの関心オブジェクトは、足領域が欠けている場合がある。というのは、足領域は、セグメント化が不正確である場合がある地面に近接しているからである。更に、人間オブジェクトの足領域の周囲のエリアは、人間オブジェクトの影によって変化する場合もある。したがって、セグメント化された人間オブジェクトは、望ましくない場合がある消失足領域を有する場合がある。

[0005] 当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的方法の更なる制限及び不利点が明らかになるであろう。

[0006] 少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲に更に完全に示す、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のためのオブジェクトセグメンテーション装置及び方法を提供することができる。

[0007] 全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的なネットワーク環境を示すブロック図である。本開示の実施形態による、例示的なオブジェクトセグメンテーション装置を示すブロック図である。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示す図である。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示す図である。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示す図である。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示す図である。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示す図である。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示す図である。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示す図である。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示す図である。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示すフローチャートである。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示すフローチャートである。本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作を示すフローチャートである。

[0012] 地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための開示される装置及び方法では、以下の説明される実装を見出すことができる。本開示の例示的な態様は、第１のタイプのセンサと、第２のタイプのセンサとを含むオブジェクトセグメンテーションシステムを含むことができる。前記第１のタイプのセンサは、シーンの一連のカラー画像フレームを取り込むように構成することができる。前記第２のタイプのセンサは、前記一連のカラー画像フレームのうちの対応するカラー画像フレーム毎に深度画像を取り込むように構成することができる。前記オブジェクトセグメンテーションシステムは、更に、前記第１のタイプのセンサから受け取られる前記一連のカラー画像フレームのうちの入力カラー画像フレームに対するポイントクラウドを生成するように構成される制御回路を含むことができる。入力カラー画像フレームに対するポイントクラウドは、前記第２のタイプのセンサから受け取られる入力カラー画像フレームに対する対応する入力深度画像に基づいて生成することができる。

[0013] ある実施形態によれば、オブジェクトセグメンテーション装置は、第１の画像パラメータの組に基づいて、前記入力カラー画像フレームの背景から、前景人間オブジェクトをセグメント化するように構成することができる。前記セグメント化された前景人間オブジェクトは、前記前景人間オブジェクトの足領域の少なくとも一部が欠けている場合がある。前記オブジェクトセグメンテーション装置は、更に、前記生成されたポイントクラウド内の各ポイントから投影される各ベクトルに関連する向き情報に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する地面を検出するように構成することができる。ある実施形態によれば、前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを、ベクトルクラスタの組にクラスタ化することによって、前記地面を検出することができる。前記シーンに対する前記地面は、前記生成されたポイントクラウド内の前記ベクトルクラスタの組のうちの１つのベクトルクラスタに関連する向き情報に基づいて検出することができる。前記オブジェクトセグメンテーション装置は、第２の画像パラメータの組に基づいて、前記入力カラー画像フレーム内の前記検出された地面のレベルから規定の領域内の足領域を回復することができる。前記第２の画像パラメータの組は、前記第１の画像パラメータの組と異なることができる。前記オブジェクトセグメンテーション装置は、更に、前記一連のカラー画像フレームのうちの前記入力カラー画像フレームの前記背景から、前記回復された足領域を有する前記前景人間オブジェクトを抽出するように構成することができる。前記地面の検出と、前記検出された地面の前記レベルから前記規定の領域内の決定された複数の前景画素とに基づいて、前記回復された足領域を有する前記前景人間オブジェクトを抽出することができる。

[0014] ある実施形態によれば、前記オブジェクトセグメンテーション装置は、深度値が存在しない前記入力深度画像内の複数の領域を検出することができる。前記オブジェクトセグメンテーション装置は、メディアンフィルタ及び均一フィルタによって、前記入力深度画像を平滑化して、前記複数の領域において深度値を塗りつぶし、前記入力深度画像内のノイズを低減させるように構成することができる。前記オブジェクトセグメンテーション装置は、更に、前記入力深度画像に基づいて、前記生成されたポイントクラウド内の前記複数のポイントの各ポイントの３次元（３Ｄ）座標を決定するように構成することができる。前記オブジェクトセグメンテーション装置は、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを計算することができる。前記生成されたポイントクラウドの前記複数のポイントにおいて関心ポイント及び前記関心ポイントの２つの隣接ポイントの３次元座標に基づいて、前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを計算することができる。

[0015] ある実施形態によれば、前記オブジェクトセグメンテーション装置は、前記生成されたポイントクラウド内の前記複数のポイントに関連する前記計算された複数のベクトルを、ベクトルクラスタの組にクラスタ化するように構成することができる。前記計算された複数のベクトルは、前記生成されたポイントクラウド内の前記複数のポイントに関連する前記計算された複数のベクトルの各々に関連する向き情報に基づいて、クラスタ化することができる。前記オブジェクトセグメンテーション装置は、前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する複数の平面を検出するように構成することができる。

[0016] ある実施形態によれば、前記オブジェクトセグメンテーション装置は、前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、平面マップを生成することができる。更に、前記平面マップは、前記入力カラー画像フレームの画像領域内の前記検出された複数の平面をマップすることによって生成することができる。前記平面マップは、前記平面マップ内の前記検出された複数の平面のうちの異なる平面内にグループ化される画素を含むことができる。前記画素は、前記シーンの前記入力カラー画像フレームの前記画像領域内の前記平面マップ内の画素の空間位置にかかわらず、前記平面マップ内の各画素に関連する同じ向き情報に基づいて、グループ化することができる。前記オブジェクトセグメンテーション装置は、更に、前記平面マップ内の前記検出された複数の平面内の複数の点在領域を検出するように構成することができる。前記複数の点在領域は、前記画像領域内の第１の閾値数の画素よりも小さい、前記平面マップ内の複数の点在領域のエリアサイズに基づいて、検出することができる。前記オブジェクトセグメンテーション装置は、前記平面マップ内の前記検出された複数の点在領域を除去することができる。前記オブジェクトセグメンテーション装置は、更に、メディアンフィルタによって、前記画像領域内の第２の閾値数の画素よりも小さい前記検出された複数の点在領域を平滑化することができる。

[0017] ある実施形態によれば、前記オブジェクトセグメンテーション装置は、前記シーンに対する基準高さから、前記平面マップ内の前記検出された複数の平面内の最も低い平面を選択することができる。前記基準高さは、前記シーンの前記一連のカラー画像フレームを取り込む前記第１のタイプのセンサの高さに対応することができる。前記平面マップ内の前記検出された複数の平面内の前記選択された最も低い平面は、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する前記地面とすることができる。前記オブジェクトセグメンテーション装置は、前記平面マップ内の前記画素の高さベースの分布に基づいて、前記平面マップ内の異なる水平面内の画素を分離するように構成することができる。前記オブジェクトセグメンテーション装置は、更に、前記平面マップ内の前記画素の前記高さベースの分布に基づいて、前記異なる水平面内の他の画素と比較して、最も低い水平面内に存在する画素を、前記地面の前記画素として分類するように構成することができる。

[0018] ある実施形態によれば、前記オブジェクトセグメンテーション装置は、前記入力深度画像及び前記第１の画像パラメータの組を用いて、前記シーンの入力カラー画像フレーム内の前記前景人間オブジェクトの前景マスクを推定するように構成することができる。前記シーンの入力カラー画像フレーム内の前記前景人間オブジェクトの前景マスクは、前記入力カラー画像フレームと前記入力カラー画像フレームの背景画像との間の差分を２値化することによって、推定することができる。前記前景人間オブジェクトは、前記推定された前景マスクに基づいて、前記入力カラー画像フレームの前記背景からセグメント化することができる。前記オブジェクトセグメンテーション装置は、更に、前記入力カラー画像フレーム内の前記検出された地面の前記レベルから前記規定の領域内の画素の組を含むように、前記推定された前景マスクを更新するように構成することができる。前記画素の組は、前記第２の画像パラメータの組に基づいて回復される前記足領域の画素に対応することができる。

[0019] 図１は、本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的なネットワーク環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示されている。ネットワーク環境１００は、オブジェクトセグメンテーション装置１０２と、サーバ１０４と、通信ネットワーク１０６と、画像取り込み装置１０８とを含むことができる。オブジェクトセグメンテーション装置１０２は、画像取り込み装置１０８に通信可能に結合することができる。画像取り込み装置１０８は、第１のタイプのセンサ１０８Ａ及び第２のタイプのセンサ１０８Ｂを含むことができる。ある実施形態によれば、第１のタイプのセンサ１０８Ａは、画像センサとすることができ、第２のタイプのセンサ１０８Ｂは、深度センサとすることができる。第１のタイプのセンサ１０８Ａは、画像取り込み装置１０８の視野から、シーン１１０の一連のカラー画像フレーム１１２を取り込むように構成することができる。第２のタイプのセンサ１０８Ｂは、シーン１１０の一連のカラー画像フレーム１１２と同じ視野を含む一連の深度画像１１４を取り込むように構成することができる。一連のカラー画像フレーム１１２は、入力カラー画像フレーム１１６を含むことができる。一連の深度画像１１４は、入力カラー画像フレーム１１６に対応する入力深度画像１１８を含むことができる。シーン１１０は、関心オブジェクト（例えば人間オブジェクト）を含むことができる。シーン１１０は、更に、他の複数のオブジェクト、例えばテーブル、ドア、椅子、コンピュータ等を含むことができる。オブジェクトセグメンテーション装置１０２は、通信ネットワーク１０６を介して、サーバ１０４に通信可能に結合することができる。

[0020] オブジェクトセグメンテーション装置１０２は、画像取り込み装置１０８の第１のタイプのセンサ１０８Ａによって取り込まれるシーン１１０の一連のカラー画像フレーム１１２を受け取るように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。オブジェクトセグメンテーション装置１０２は、更に、画像取り込み装置１０８の第２のタイプのセンサ１０８Ｂによって取り込まれる、一連のカラー画像フレーム１１２に対応する一連の深度画像１１４を受け取ることができる。オブジェクトセグメンテーション装置１０２は、シーン１１０の一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６の背景から、前景人間オブジェクトをセグメント化するように構成することができる。オブジェクトセグメンテーション装置１０２は、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する地面を検出するように構成することができる。オブジェクトセグメンテーション装置１０２は、更に、検出された地面に基づいて、シーン１１０の入力カラー画像フレーム１１６からセグメント化された前景人間オブジェクトから、消失足領域を回復するように構成することができる。オブジェクトセグメンテーション装置１０２の機能は、高速コンピュータ装置などのローカル装置、又はアプリケーションサーバ又はグラフィック画像処理サーバなどのリモート装置に実装することができる。オブジェクトセグメンテーション装置１０２の例としては、以下に限定されるわけではないが、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、ゲーム機、タブレットコンピュータ、モバイル装置、ビデオプレーヤー、ビデオディスクライター／プレーヤーを挙げることができる。オブジェクトセグメンテーション装置１０２の他の例としては、以下に限定されるわけではないが、テレビ、家庭用娯楽システム、拡張現実装置、仮想現実装置、スマートウォッチ、又は他の任意の好適なコンピュータ装置等を挙げることができる。

[0021] サーバ１０４は、シーン１１０の一連のカラー画像フレーム１１２及びシーン１１０の一連の深度画像１１４を記憶するように構成できる好適な回路及びインターフェイスを含むことができる。サーバ１０４は、更に、シーン１１０の一連のカラー画像フレーム１１２の背景からセグメント化された人間オブジェクトと、そのセグメント化された人間オブジェクトの回復された消失した足とを記憶するように構成することができる。いくつかの実施形態では、サーバ１０４は、クラウドサーバとして実装することができ、これを利用して、ウェブアプリケーション、クラウドアプリケーション、ＨＴＴＰ要求、データベース動作、ファイル転送、ゲーム動作等を介して、サーバ１０４の上記の動作を実行することができる。

[0022] 通信ネットワーク１０６は、通信媒体を含むことができ、これを介して、オブジェクトセグメンテーション装置１０２は、サーバ１０４に通信可能に結合することができる。通信ネットワーク１０６の例としては、以下に限定されるわけではないが、インターネット、クラウドネットワーク、無線フィデリティ（Ｗｉ−Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って、通信ネットワーク１０６に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定されるわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ−Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルの少なくとも１つを含むことができる。

[0023] 画像取り込み装置１０８は、シーン１１０の複数のカラー画像及び複数の深度画像を取り込むように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。画像取り込み装置１０８は、複数のセンサ（例えば、第１のタイプのセンサ１０８Ａ及び第２のタイプのセンサ１０８Ｂ）を含むことができる。取り込まれた複数のカラー画像及び複数の深度画像は、サーバ１０４に記憶することができる。いくつかの実施形態では、第１のタイプのセンサ１０８Ａ及び第２のタイプのセンサ１０８Ｂを含む画像取り込み装置１０８は、オブジェクトセグメンテーション装置１０２内に存在することができる。画像取り込み装置１０８の例としては、以下に限定されるわけではないが、カメラ、画像センサ、色センサ（例えば、赤−緑−青（ＲＧＢ）センサ）、深度センサ等を挙げることができる。

[0024] 第１のタイプのセンサ１０８Ａ（例えば画像センサ）は、シーン１１０の複数のカラー画像を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。第１のタイプのセンサ１０８Ａは、好適な光学器械、例えば、第１のタイプのセンサ１０８Ａに対して、シーン１１０及び／又はシーン１１０内の特定の関心オブジェクトの焦点合わせを行うことができるフォーカスレンズを有することができる。第１のタイプのセンサ１０８Ａの実装の例としては、以下に限定されるわけではないが、ＲＧＢセンサ、半導体電荷結合素子（ＣＣＤ）ベースの画像センサ、相補型金属酸化膜半導体（ＣＭＯＳ）ベースの画像センサ、Ｎ型金属酸化膜半導体ベースの画像センサ、フラットパネル検出器、又は他の画像センサを挙げることができる。

[0025] 第２のタイプのセンサ１０８Ｂ（例えば深度センサ）は、シーン１１０から複数の深度画像を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。複数の深度画像の各々は、それぞれの深度画像が第２のタイプのセンサ１０８Ｂによって取り込まれることができる様々な時点で、シーン１１０内の様々なオブジェクトに関連する深度情報を含むことができる。第２のタイプのセンサ１０８Ｂの実装の例としては、以下に限定されるわけではないが、深度センサ、立体三角測量ベースの深度センサ、構造化照明３Ｄスキャナベースの深度センサ、又は符号化開口ベースの深度センサを挙げることができる。

[0026] 画像取り込み装置１０８の第１のタイプのセンサ１０８Ａは、動作時に、画像取り込み装置１０８の視野から、シーン１１０の一連のカラー画像フレーム１１２を取り込むように構成することができる。一連のカラー画像フレーム１１２は、フラッシュビデオ、オーディオ・ビデオ・インターリーブド（ＡＶＩ）ビデオ、及びＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ（ＭＰＥＧ）ビデオなどのビデオとすることができる。取り込まれた一連のカラー画像フレーム１１２は、シーン１１０の複数のオブジェクトを含むことができる。取り込まれた一連のカラー画像フレーム１１２は、更に、人間オブジェクトを含むことができる。一連のカラー画像フレーム１１２の各カラー画像フレームは、複数の画素を含むことができる。カラー画像フレームの複数の画素の各々は、色成分を含み、そのカラー画像フレーム内の空間位置を有することができる。第１のタイプのセンサ１０８Ａは、一連のカラー画像フレーム１１２をオブジェクトセグメンテーション装置１０２に送信するように構成することができる。一連のカラー画像フレーム１１２は、入力カラー画像フレーム１１６を含むことができる。

[0027] 画像取り込み装置１０８の第２のタイプのセンサ１０８Ｂは、一連のカラー画像フレーム１１２のうちの対応するカラー画像フレーム毎に深度画像を取り込むように構成することができる。第２のタイプのセンサ１０８Ｂは、第１のタイプのセンサ１０８Ａによる一連のカラー画像フレーム１１２の取り込みと同時に、一連のカラー画像フレーム１１２のうちの対応するカラー画像フレーム毎に深度画像を取り込むことができる。換言すれば、第２のタイプのセンサ１０８Ｂは、シーン１１０の一連のカラー画像フレーム１１２に対応する一連の深度画像１１４を取り込むように構成することができる。一連の深度画像１１４の各々は、一連のカラー画像フレーム１１２の異なるカラー画像フレームに対応することができる。一連のカラー画像フレーム１１２の各カラー画像フレームの深度画像は、それぞれのカラー画像フレームを取り込むことができるときの対応する時点で、シーン１１０に関連する深度情報を含むことができる。一連の深度画像１１４の各々は、複数の画素を含むことができる。深度画像の複数の画素の各々は、深度値を含み、その深度画像内の空間位置を有することができる。第２のタイプのセンサ１０８Ｂは、一連の深度画像１１４をオブジェクトセグメンテーション装置１０２に送信するように構成することができる。一連の深度画像１１４は、入力カラー画像フレーム１１６の入力深度画像１１８を含むことができる。

[0028] ある実施形態によれば、オブジェクトセグメンテーション装置１０２は、画像取り込み装置１０８から、一連のカラー画像フレーム１１２及び対応する一連の深度画像１１４を受け取るように構成することができる。換言すれば、オブジェクトセグメンテーション装置１０２は、シーン１１０の入力カラー画像フレーム１１６及び対応する入力深度画像１１８を受け取るように構成することができる。オブジェクトセグメンテーション装置１０２は、深度値が存在しない入力深度画像１１８内の複数の領域を検出するように構成することができる。オブジェクトセグメンテーション装置１０２は、入力深度画像１１８を平滑化して、深度値が存在しない複数の領域において深度値を塗りつぶして、入力深度画像１１８内のノイズを低減させることができる。入力深度画像１１８は、３ｘ３メディアンフィルタに基づいて平滑化することができる。３ｘ３メディアンフィルタは、非線形フィルタとすることができ、これは、非線形フィルタリング技術を利用して、入力深度画像１１８内の深度値が存在しない複数の領域において深度値を塗りつぶす。３ｘ３メディアンフィルタを利用して、入力深度画像１１８から「ソルト・アンド・ペッパー（ｓａｌｔａｎｄｐｅｐｐｅｒ）」型ノイズを除去することもできる。「ソルト・アンド・ペッパー（ｓａｌｔａｎｄｐｅｐｐｅｒ）」型ノイズは、画像信号の急激な及び突然の乱れによって引き起こされるインパルスノイズとしても知られる。いくつかの実施形態では、オブジェクトセグメンテーション装置１０２は、７ｘ７フィルタを利用して、入力深度画像１１８から「ガウス型」ノイズを除去することもできる。７ｘ７均一フィルタは、線形フィルタリング技術を利用して、照明不良又は高温により、入力深度画像１１８の取得中に又は入力深度画像１１８の取り込み時に発生する「ガウス型」ノイズを除去することができる。

[0029] ある実施形態によれば、オブジェクトセグメンテーション装置１０２は、平滑化された入力深度画像１１８に基づいて、入力カラー画像フレーム１１６のポイントクラウドを生成するように構成することができる。ポイントクラウドは、３次元座標系内の入力カラー画像フレーム１１６内の取り込まれたシーンを表現するポイントの集合である。入力カラー画像フレーム１１６のポイントクラウドのポイントは、３次元座標系内で「Ｘ」、「Ｙ」及び「Ｚ」座標によって定義される。シーン１１０の入力カラー画像フレーム１１６のポイントクラウドは、入力深度画像１１８に基づいて生成することができる。入力深度画像１１８の深度値に基づいて、生成されたポイントクラウドの各ポイントの３次元座標を決定することができる。３次元座標系内の「Ｘ，Ｙ，Ｚ」座標に対する座標「０，０，０」は、３次元座標系内の画像取り込み装置１０８の位置を表現することができる。

[0030] ある実施形態によれば、オブジェクトセグメンテーション装置１０２は、第１の画像パラメータの組に基づいて、入力カラー画像フレーム１１６の背景から、前景人間オブジェクトをセグメント化するように構成することができる。オブジェクトセグメンテーション装置１０２は、入力カラー画像フレーム１１６から背景画像を分離するように構成することができる。オブジェクトセグメンテーション装置１０２は、更に、入力カラー画像フレーム１１６に対応する入力深度画像１１８を用いて、初期前景マスクを推定するように構成することができる。初期前景マスクは、更に、入力カラー画像フレーム１１６と入力カラー画像フレーム１１６の背景画像との間の差分を２値化することによって、推定することができる。オブジェクトセグメンテーション装置１０２は、推定された初期前景マスクの境界領域内の第１のマスク値を有する第１の画素の組を識別するように構成することができる。第１のマスク値を有する第１の画素の組は、第１の画像パラメータの組に基づいて、第２のマスク値に更新することができ、第１の画像パラメータの組は、境界領域に関連する各画素の色成分、深度成分及び空間位置とすることができる。

[0031] オブジェクトセグメンテーション装置１０２は、初期前景マスクの更新された第２のマスク値に基づいて、前景人間オブジェクトの前景マスクを推定するように構成することができる。オブジェクトセグメンテーション装置１０２は、セグメント化された前景人間オブジェクトを生成することができる。いくつかのシナリオでは、セグメント化された前景人間オブジェクトは、前景人間オブジェクトの足領域の一部が欠けている場合がある。前景人間オブジェクトの足領域が、入力カラー画像フレーム１１６の地面に近接して存在することにより、セグメント化された前景人間オブジェクトは、足領域が欠けている場合がある。このような足領域と入力カラー画像フレーム１１６の地面との近接は、セグメント化された前景人間オブジェクトから足領域を遮断する場合がある。換言すれば、入力カラー画像フレーム１１６と入力カラー画像フレーム１１６の背景画像との間の差分が、足領域に対して最小である場合があるので、セグメント化された前景人間オブジェクトは、足領域が欠けている場合がある。更に、セグメント化された前景人間オブジェクト内の足領域の遮断は、人間オブジェクトの足領域上への人間オブジェクトの影によって引き起こされる場合がある。このようなシナリオでは、オブジェクトセグメンテーション装置１０２は、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する生成されたポイントクラウドの複数のポイントから投影される複数のベクトルを計算するように構成することができる。計算された複数のベクトルの各ベクトルは、生成されたポイントクラウドの複数のポイントのうちのポイントに対して垂直であることができる表面法線ベクトルとすることができる。生成されたポイントクラウドの複数のポイントからの関心ポイントに対するベクトルは、生成されたポイントクラウドの関心ポイント及び関心ポイントの２つの隣接ポイントの３次元座標に基づいて、計算することができる。２つの隣接ポイントは、関心ポイントのすぐ右に位置決めされるポイントと、関心ポイントのすぐ下に位置決めされるポイントとを含むことができる。関心ポイントが、生成されたポイントクラウド内の２つの隣接ポイントを有するときのみ、関心ポイントに対してベクトルを計算することができる。

[0032] オブジェクトセグメンテーション装置１０２は、生成されたポイントクラウド内の複数のポイントに関連する計算された複数のベクトルを、ベクトルクラスタの組にクラスタ化するように構成することができる。複数のベクトルは、計算された複数のベクトルの各々に関連する向き情報に基づいて、ベクトルクラスタの組にクラスタ化することができる。例えば、Ｋ平均クラスタリングを利用して、計算された複数のベクトルをベクトルクラスタの組にクラスタ化することができる。計算された複数のベクトルのベクトルクラスタの組へのクラスタ化は、向き空間内で実行することができる。ベクトルクラスタの組は、入力カラー画像フレーム１１６において取り込まれるシーン１１０内の１又は２以上の平面に対応することができる。オブジェクトセグメンテーション装置１０２は、更に、計算された複数のベクトルを単位球体上にプロットして、ベクトルクラスタの組において計算された複数のベクトルの分布を分析するように構成することができる。

[0033] ある実施形態によれば、オブジェクトセグメンテーション装置１０２は、シーン１１０に関連するベクトルクラスタの組に基づいて、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する複数の平面を検出するように構成することができる。ベクトルクラスタの組の各ベクトルクラスタは、入力カラー画像フレーム１１６において取り込まれるシーン１１０の平面に対応することができる。ベクトルクラスタの組のうちのベクトルクラスタの全てのベクトルは、そのベクトルクラスタに対応する平面の向き情報とすることができる同じ向き情報に関連することができる。複数の平面の各々は、取り込まれたシーン１１０内の個々の別個の表面として検出することができる。オブジェクトセグメンテーション装置１０２は、更に、入力カラー画像フレーム１１６において取り込まれるシーン１１０に関連するベクトルクラスタの組に基づいて、平面マップを生成するように構成することができる。平面マップは、入力カラー画像フレームの画像領域内の検出された複数の平面をマップすることによって生成することができる。生成された平面マップは、平面マップ内の検出された複数の平面のうちの異なる平面内にグループ化される画素を含むことができる。画素は、平面マップ内の画素の空間位置にかかわらず、平面マップ内の各画素に関連する同じ向き情報に基づいて、グループ化することができる。換言すれば、同じ向き情報を有する画素は、入力カラー画像フレーム１１６の画像領域内の平面マップ内の１つのグループとしてグループ化することができる。

[0034] ある実施形態によれば、オブジェクトセグメンテーション装置１０２は、平面マップ内の検出された複数の平面内の複数の点在領域を検出するように構成することができる。点在領域は、画像領域内の平面マップ内の第１の閾値数の画素よりも小さい複数の点在領域のエリアサイズに基づいて、検出することができる。換言すれば、点在領域は、平面マップ内の小さい領域とすることができ、平面マップ内の複数の点在領域の各々のエリアサイズは、画像領域内の平面マップ内の第１の閾値数の画素、例えば「１００」画素よりも小さいとすることができる。オブジェクトセグメンテーション装置１０２は、平面マップ内の検出された複数の点在領域を除去するように構成することができる。オブジェクトセグメンテーション装置１０２は、更に、メディアンフィルタの一種によって、画像領域内の第２の閾値数の画素よりも小さい検出された複数の点在領域を平滑化するように構成することができる。第２の閾値数の画素よりも小さい検出された複数の点在領域は、３ｘ３メディアンフィルタに基づいて平滑化することができる。

[0035] ある実施形態によれば、オブジェクトセグメンテーション装置１０２は、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する基準高さから、平面マップ内の検出された複数の平面内の最も低い平面を選択するように構成することができる。基準高さは、シーン１１０の一連のカラー画像フレーム１１２を取り込む画像取り込み装置１０８の高さに対応することができる。いくつかの実施形態では、平面マップ内の検出された複数の平面内の選択された最も低い平面は、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する地面に対応することができる。最も低い水平面の表面法線ベクトルの向きは、上向きの（すなわち下から上への）方向とすることができる。更に、オブジェクトセグメンテーション装置１０２は、平面マップ内の画素の高さベースの分布に基づいて、平面マップ内の地面と同じ向き情報を有する異なる水平面内の画素を分離するように構成することができる。異なる水平面の表面法線ベクトルの向きは、上向きの（すなわち下から上への）方向とすることができる。オブジェクトセグメンテーション装置１０２は、更に、平面マップの異なる水平面内の他の画素と比較して、最も低い水平面内に存在する画素を分類するように構成することができる。換言すれば、オブジェクトセグメンテーション装置１０２は、異なる水平面から、平面マップの高さベースの分布に基づいて最大数の画素を含む最も低い水平面を、地面として選択することができる。

[0036] ある実施形態によれば、オブジェクトセグメンテーション装置１０２は、検出された地面のレベルから規定の領域（例えば、検出された地面のレベルから２０ｍｍ〜１５０ｍｍ）内に位置する複数の前景画素を検出するように構成することができる。オブジェクトセグメンテーション装置１０２は、更に、入力カラー画像フレーム１１６において取り込まれるシーン１１０の検出された地面上に存在する人間オブジェクトの足領域を回復するように構成することができる。人間オブジェクトの足領域は、第１の画像パラメータの組と異なることができる第２の画像パラメータの組に基づいて、回復することができる。回復された足領域は、地面のレベルから規定の領域内に存在する前景画素の組を含むことができる。例えば、あるシナリオでは、平均シフトフィルタを利用して、入力カラー画像フレーム１１６の背景から、前景人間オブジェクトをセグメント化することができる。平均シフトフィルタを用いて、関心位置の近傍の画素の確率密度関数（ＰＤＦ）を用いて、一度に１画素ずつ、前景マスクの特定のエラーを補正することができる。確率密度関数は、ガウスカーネルに基づくカーネル密度関数を用いて、推定することができる。第１の画像パラメータの組及び第２の画像パラメータの組は、関心エリアの確率密度関数を推定するために用いられるガウスカーネルの帯域幅とすることができる。第１の画像パラメータの組に関連するガウスカーネルの帯域幅は、第２の画像パラメータの組に関連するガウスカーネルの帯域幅よりも高いとすることができる。第２の画像パラメータの組と比較してより高いガウスカーネルの帯域幅に関連することができる第１の画像パラメータの組に基づいて、入力カラー画像フレーム１１６の背景から、前景人間オブジェクトをセグメント化することができる。更に、第１の画像パラメータの組よりも低いガウスカーネルの帯域幅に関連する第２の画像パラメータの組を利用して、入力カラー画像フレーム１１６において取り込まれるシーン１１０の検出された地面上に存在する人間オブジェクトの足領域を回復することができる。

[0037] ある実施形態によれば、オブジェクトセグメンテーション装置１０２は、人間オブジェクトの回復された足領域の画素の組を含むように、人間オブジェクトの推定された前景マスクを更新することができる。推定された前景マスクは、第２の画像パラメータの組に基づいて、更新することができる。更に、オブジェクトセグメンテーション装置１０２は、入力カラー画像フレーム１１６において取り込まれるシーン１１０の検出された地面に近接して存在する人間オブジェクトの回復された足領域を有する前景人間オブジェクトを抽出することができる。抽出された前景人間オブジェクトは、足領域が地面に近接して存在することにより、セグメント化された前景人間オブジェクト内に存在しない場合がある人間オブジェクトの回復された足領域を含むことができる。オブジェクトセグメンテーション装置１０２は、人間オブジェクトの影が、入力カラー画像フレーム１１６において取り込まれるシーン１１０の地面の近くにある人間オブジェクトの足領域上に存在する場合でも、人間オブジェクトの足領域をセグメント化することができる。オブジェクトセグメンテーション装置１０２は、更に、人間オブジェクトの回復された足領域を有するセグメント化された人間オブジェクトを生成するように構成することができる。ある実施形態によれば、オブジェクトセグメンテーション装置１０２は、ディスプレイ画面上に、回復された足領域を有するセグメント化された人間オブジェクトを表示することができる。

[0038] 図２は、本開示の実施形態による、例示的なオブジェクトセグメンテーション装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２を参照すると、オブジェクトセグメンテーション装置１０２が示されている。オブジェクトセグメンテーション装置１０２は、制御回路２０２と、回復回路２０２Ａと、メモリ２０４と、入力／出力（Ｉ／Ｏ）装置２０６と、ネットワークインターフェイス２０８とを含むことができる。回復回路２０２Ａは、制御回路２０２の一部とすることができる。Ｉ／Ｏ装置２０６は、ディスプレイ画面２０６Ａを含むことができ、ディスプレイ画面２０６Ａを利用して、アプリケーションインターフェイス２１０をレンダリングすることができる。制御回路２０２は、メモリ２０４及びＩ／Ｏ装置２０６に通信可能に結合することができる。制御回路２０２は、ネットワークインターフェイス２０８を用いて、サーバ１０４及び画像取り込み装置１０８と通信するように構成することができる。

[0039] 制御回路２０２は、第２のタイプのセンサ１０８Ｂから受け取られる入力カラー画像フレーム１１６に対する対応する入力深度画像１１８に基づいて、第１のタイプのセンサ１０８Ａから受け取られる一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６に対するポイントクラウドを生成するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。制御回路２０２は、更に、シーン１１０の一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６の背景から、前景人間オブジェクトをセグメント化するように構成することができる。制御回路２０２は、複数の平面から地面を検出するように構成することができる。制御回路２０２は、１又は２以上の専用処理ユニットを含むことができ、これは、オブジェクトセグメンテーション装置１０２内の別個のプロセッサ又は回路として実装することができる。ある実施形態では、１又は２以上の専用処理ユニット及び制御回路２０２は、１又は２以上の専用処理ユニット及び制御回路２０２の機能を共同で実行する統合プロセッサ又はプロセッサ群として実装することができる。制御回路２０２は、本技術分野で公知のいくつかのプロセッサ技術に基づいて実装することができる。制御回路２０２の実装の例は、Ｘ８６ベースのプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。

[0040] 回復回路２０２Ａは、セグメント化された前景人間オブジェクトに対して検出された地面から足領域を回復するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。回復回路２０２Ａの実装の例は、専用回路、グラフィックス処理ユニット（ＧＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。

[0041] メモリ２０４は、制御回路２０２が実行可能な命令セットを記憶するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。メモリ２０４は、オペレーティングシステム及び関連するアプリケーションのデータを記憶するように構成することができる。メモリ２０４は、更に、一連のカラー画像フレーム１１２及び対応する一連の深度画像１１４を記憶するように構成することができる。メモリ２０４の実装の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ、又はセキュアデジタル（ＳＤ）カードを挙げることができる。

[0042] Ｉ／Ｏ装置２０６は、ユーザから入力を受け取り、ユーザから受け取った入力に基づいて、ユーザに出力を提供するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。例えば、Ｉ／Ｏ装置２０６を利用して、ユーザからの要求に基づいて、シーン１１０の取り込まれた一連のカラー画像フレーム１１２の背景からセグメント化された人間オブジェクトの消失している足を回復するための動作を初期化することができる。Ｉ／Ｏ装置２０６は、制御回路２０２と通信するように構成することができる様々な入出力装置を含むことができる。Ｉ／Ｏ装置２０６の例としては、以下に限定されるわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、マイク、ディスプレイ画面（例えば、ディスプレイ画面２０６Ａ）、及びスピーカを挙げることができる。

[0043] ディスプレイ画面２０６Ａは、ディスプレイ画面２０６Ａでアプリケーションインターフェイス２１０をレンダリングして、シーン１１０の取り込まれた一連のカラー画像フレーム１１２の背景からセグメント化された人間オブジェクトの回復された消失している足を表示するように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。ある実施形態によれば、ディスプレイ画面２０６Ａは、ユーザから入力を受け取るように構成することができる。このようなシナリオでは、ディスプレイ画面２０６Ａを、ユーザによる入力の提供を可能にするタッチ画面とすることができる。タッチ画面は、抵抗性タッチ画面、容量性タッチ画面、又は熱タッチ画面のうちの少なくとも１つとすることができる。ある実施形態によれば、ディスプレイ画面２０６Ａは、仮想キーパッド、スタイラス、ジェスチャ式入力、又はタッチ式入力を通じて、入力を受け取ることができる。ディスプレイ画面２０６Ａは、以下に限定されるわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、又はその他のディスプレイ装置のうちの少なくとも１つなどのいくつかの公知技術を通じて実現することができる。ある実施形態によれば、ディスプレイ画面２０６Ａは、スマートグラス装置、シースルーディスプレイ、投影式ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイのディスプレイ画面を意味することができる。

[0044] ネットワークインターフェイス２０８は、通信ネットワーク１０６を介したオブジェクトセグメンテーション装置１０２とサーバ１０４との間の通信を容易にするように構成できる好適なロジック、回路、及びインターフェイスを含むことができる。ネットワークインターフェイス２０８は、オブジェクトセグメンテーション装置１０２と通信ネットワーク１０６との有線又は無線通信をサポートする様々な公知技術を用いて実装することができる。ネットワークインターフェイス２０８としては、以下に限定されるわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ・デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、又はローカルバッファ回路を挙げることができる。ネットワークインターフェイス２０８は、インターネット、イントラネット、又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及びメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと無線通信を介して通信することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ又はＩＥＥＥ８０２．１１ｎなど）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ−Ｆｉ）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（Ｗｉ−ＭＡＸ）、電子メールプロトコル、インスタントメッセージング及びショートメッセージサービス（ＳＭＳ）などの複数の通信規格、通信プロトコル及び通信技術のいずれかを使用することができる。

[0045] アプリケーションインターフェイス２１０は、ディスプレイ画面２０６Ａなどのディスプレイ画面上にレンダリングされるユーザインターフェイス（ＵＩ）に対応することができる。アプリケーションインターフェイス２１０は、シーン１１０の取り込まれた一連のカラー画像フレーム１１２の背景からセグメント化された人間オブジェクトの回復された消失している足を表示することができる。アプリケーションインターフェイス２１０の例としては、限定されるわけではないが、グラフィカルユーザインターフェイス（ＧＵＩ）を挙げることができる。

[0046] 図１で説明したようなオブジェクトセグメンテーション装置１０２によって実行される機能又は動作は、制御回路２０２及び回復回路２０２Ａによって実行することができる。制御回路２０２及び回復回路２０２Ａによって実行される動作については、例えば図３Ａ〜図３Ｇ、図４Ａ及び図４Ｂで更に説明する。

[0047] 図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、図３Ｅ、図３Ｆ及び図３Ｇは、本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のための例示的な動作をまとめて示す。図３Ａ〜図３Ｇの説明は、図１及び図２の要素に関連して行う。

[0048] 図３Ａは、本開示の実施形態による、シーン１１０の一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６のポイントクラウドの生成を示す。図３Ａを参照すると、入力カラー画像フレーム１１６及び入力カラー画像フレーム１１６のポイントクラウド３０２が示されている。ある実施形態によれば、制御回路２０２は、第１のタイプのセンサ１０８Ａによって取り込まれる一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６に対するポイントクラウド３０２を生成するように構成することができる。ポイントクラウド３０２は、第２のタイプのセンサ１０８Ｂによって取り込まれる一連の深度画像１１４の入力深度画像１１８（図３Ａに図示せず）に基づいて生成されて、入力深度画像１１８に対する平滑化動作を通知することができる。ポイントクラウド３０２は、３次元座標系内の入力カラー画像フレーム１１６内のシーン１１０の異なる外面を表現することができる。ポイントクラウド３０２のポイントは、３次元座標系内で「Ｘ」、「Ｙ」及び「Ｚ」座標によって定義することができる。入力深度画像１１８によって表現される入力カラー画像フレーム１１６の深度値を利用して、生成されたポイントクラウド３０２の各ポイントの３次元座標を計算することができる。生成されたポイントクラウド３０２の３次元座標系内の「Ｘ，Ｙ，Ｚ」座標に対する座標「０，０，０」は、３次元座標系内の画像取り込み装置１０８の位置を表現することができる。

[0049] 図３Ｂは、本開示の実施形態による、生成されたポイントクラウドの複数のポイントから投影される複数のベクトルの計算を示す。図３Ｂを参照すると、ポイントクラウド３０２と、関心ポイント３０４（「ｉ」としても表される）と、第１の隣接ポイント３０６Ａ（「ｊ」としても表される）及び第２の隣接ポイント３０６Ｂ（「ｋ」としても表される）と、単位球体上の計算された複数のベクトルの単位球体分布３０８とが示されている。ある実施形態によれば、制御回路２０２は、生成されたポイントクラウド３０２の複数のポイントから投影される複数のベクトルを計算するように構成することができる。制御回路２０２は、関心ポイント３０４及び関心ポイント３０４の２つの隣接ポイント（例えば第１の隣接ポイント３０６Ａ（「ｊ」）及び第２の隣接ポイント３０６Ｂ（「ｋ」））の３次元座標に基づいて、関心ポイント（例えば関心ポイント３０４（「ｉ」としても表される））から投影されるベクトル「ｎ」を計算するように構成することができる。計算されたベクトル「ｎ」は、関心ポイント３０４（「ｉ」としても表される）に対して垂直である表面法線ベクトルとすることができる。第１の隣接ポイント３０６Ａ（「ｊ」）は、関心ポイント３０４（「ｉ」）のすぐ右に位置決めすることができる。第２の隣接ポイント３０６Ｂ（「ｋ」）は、関心ポイント３０４のすぐ下に位置決めすることができる。関心ポイント３０４が、生成されたポイントクラウド３０２内の２つの隣接ポイントを有するときのみ、関心ポイント３０４に対してベクトル「ｎ」を計算することができる。関心ポイント３０４から第１の隣接ポイント３０６Ａまでのベクトルは、ベクトル「ｂ」として表すことができ、関心ポイント３０４から第２の隣接ポイント３０６Ｂまでのベクトルは、ベクトル「ａ」として表すことができる。制御回路２０２は、更に、計算された複数のベクトルを、単位球体（例えば、ポイントクラウド３０２の複数のポイントから投影される計算された複数のベクトルの単位球体分布３０８）上にプロットするように構成することができる。ベクトル「ｎ」は、例えば、以下の式（１）によって計算することができる。

ここで、「ｕ」、「ｖ」及び「ｗ」は、単位球体上の計算された複数のベクトルの単位球体分布３０８の軸を表し、
ａ＝ｋ−ｉは、関心ポイント３０４（「ｉ」）から第２の隣接ポイント３０６Ｂ（「ｋ」）までのベクトル「ａ」を表し、
ｂ＝ｊ−ｉは、関心ポイント３０４（「ｉ」）から第１の隣接ポイント３０６Ａ（「ｊ」）までのベクトル「ｂ」を表す。

[0050] 図３Ｃは、本開示の実施形態による、ポイントクラウドの複数のポイントから投影される複数のベクトルのクラスタ化を示す。図３Ｃを参照すると、単位球体上の複数のベクトルの単位球体分布３０８と、ベクトルクラスタの組３１０とが示されている。ある実施形態によれば、制御回路２０２は、複数のベクトルの各々に関連する向き情報に基づいて、複数のポイントから投影される複数のベクトルをクラスタ化するように構成することができる。同じ向き情報に関連する複数のベクトルは、ベクトルクラスタの組３１０として、一緒にクラスタ化することができる。複数のベクトルは、Ｋ平均クラスタリングに基づいて、クラスタ化することができる。ベクトルクラスタの組３１０は、同じ向き情報を有する複数のベクトルに関連する複数のベクトルクラスタを含むことができる。ベクトルクラスタの組３１０におけるベクトルクラスタの数は、Ｋ平均クラスタリングに基づいて、決定することができる。ベクトルクラスタの組３１０におけるベクトルクラスタの数は、取り込まれたシーン１１０内の平面の数と同じとすることができる。例えば、ベクトルクラスタの組３１０のうちの第１のベクトルクラスタ３１０Ａは、同じ向き情報に関連する複数のベクトルを含むことができて、例えば、第１のベクトルクラスタの組における全てのベクトルの向きは、（矢印で示すように）下から上への方向とすることができる。同様に、ベクトルクラスタの組は、同じ向き情報に関連する、すなわち、図示のように左から右への方向の複数のベクトルを含む第２のベクトルクラスタ３１０Ｂを含むことができる。ベクトルクラスタの組は、３１０Ａ、３１０Ｂ、３１０Ｃ、３１０Ｄ及び３１０Ｅなどの複数のベクトルクラスタを含むことができる。ベクトルクラスタの組３１０の各ベクトルクラスタは、同じ向き情報に関連する複数のベクトルを含むことができる。制御回路２０２は、更に、シーン１１０に関連するベクトルクラスタの組３１０に基づいて、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する複数の平面を検出するように構成することができる。ベクトルクラスタの組３１０の複数のベクトルクラスタ（３１０Ａ、３１０Ｂ、３１０Ｃ、３１０Ｄ及び３１０Ｅ）は、取り込まれたシーン１１０の複数の平面に対応することができる。

[0051] 図３Ｄは、本開示の実施形態による、複数のベクトルの向き情報に関連するベクトルクラスタの組に基づく平面マップの生成を示す。図３Ｄを参照すると、（図３Ｃの）単位球体分布３０８上のベクトルクラスタの組３１０と、平面マップ３１２とが示されている。ある実施形態によれば、制御回路２０２は、入力カラー画像フレーム１１６の画像領域内の検出された複数の平面をマップすることによって、平面マップ３１２を生成するように構成することができる。生成された平面マップ３１２は、平面マップ３１２内の検出された複数の平面のうちの異なる平面内にグループ化される画素を含むことができる。画素は、平面マップ３１２内の画素の空間位置にかかわらず、平面マップ３１２内の各画素に関連する同じ向き情報に基づいて、グループ化することができる。例えば、取り込まれたシーン１１０は、部屋として、又は６つの表面向き、床面３１２Ａ、４つの壁、及び天井面３１２Ｄを有する６つの辺を有する立方体構造として、屋内シーンとすることができる。４つの壁のうち、３つの壁３１２Ｂ、３１２Ｃ及び３１２Ｅの表面は、取り込まれたシーン１１０において見えるが、残りの壁面は、一連のカラー画像フレーム１１２の取り込み中に、画像取り込み装置１０８の後ろにある場合がある。取り込まれたシーン１１０の取り込み時の画像取り込み装置１０８からの視線方向などのカメラの視線方向において又は該方向の近傍に表面法線がないので、５つの辺に対して５つの大きい向きクラスタを、ベクトルクラスタの組３１０として取得することができる。ベクトルクラスタの組３１０の第１のベクトルクラスタ３１０Ａは、床面３１２Ａに関連する画素と、平面マップ３１２内の床面３１２Ａと同じ向きに関連する他の表面とにマップすることができる。同様に、ベクトルクラスタの組３１０のベクトルクラスタ３１０Ｂは、左壁３１２Ｂに関連する画素と、シーン１１０の平面マップ３１２内の左壁３１２Ｂと同じ向きに関連する他の表面とにマップすることができる。ベクトルクラスタの組３１０のベクトルクラスタ３１０Ｃは、右壁３１２Ｃに関連する画素と、シーン１１０の平面マップ３１２内の右壁３１２Ｃと同じ向きに関連する他の表面とにマップすることができる。ベクトルクラスタの組３１０のベクトルクラスタ３１０Ｄは、天井面３１２Ｄに関連する画素と、シーン１１０の平面マップ３１２内の天井面３１２Ｄと同じ向きに関連する他の表面とにマップすることができる。ベクトルクラスタの組３１０のベクトルクラスタ３１０Ｅは、前壁３１２Ｅに関連する画素と、シーン１１０の平面マップ３１２内の前壁３１２Ｅと同じ向きに関連する他の表面とにマップすることができる。

[0052] 図３Ｅは、入力カラー画像フレーム１１６において取り込まれるシーン１１０の複数の平面からの地面の検出を示す。図３Ｅを参照すると、平面マップ３１２、入力カラー画像フレーム１１６、高さベースの画素分布３１４、基準高さ３１４Ａ、及び地面３１６が示されている。ある実施形態によれば、制御回路２０２は、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する基準高さ３１４Ａから、平面マップ３１２内の検出された複数の平面内の最も低い平面を選択するように構成することができる。基準高さ３１４Ａは、画像取り込み装置１０８の高さとすることができる。更に、制御回路２０２は、平面マップ３１２内の画素の高さベースの画素分布３１４に基づいて、選択された最も低い平面と同じ向き情報を有する画素を分離するように構成することができる。平面マップ３１２内の画素の高さベースの画素分布３１４に基づいて、第１のベクトルクラスタ３１０Ａの向き情報に関連する最大数の画素を含む最も低い水平面は、地面３１６として選択することができる。したがって、制御回路２０２は、入力カラー画像フレーム１１６において取り込まれるシーン１１０の地面３１６を正確に検出するように構成することができる。

[0053] 図３Ｆは、本開示の実施形態による、セグメント化された前景人間オブジェクトに対する検出された地面からの人間オブジェクトの消失足領域の回復を示す。図３Ｆを参照すると、地面３１６と、足領域３１８と、地面３１６のレベルから規定の領域３２０とが示されている。ある実施形態によれば、回復回路２０２Ａは、検出された地面３１６のレベルから規定の領域３２０内に位置する複数の前景画素を検出するように構成することができる。例えば、規定の領域３２０は、検出された地面３１６のレベルから２０ｍｍ〜１５０ｍｍの範囲内とすることができる。回復回路２０２Ａは、第２の画像パラメータの組に基づいて、検出された地面３１６のレベルから規定の領域３２０内に位置する検出された複数の前景画素から、足領域を回復するように構成することができる。人間オブジェクトの消失足領域（例えば足領域３１８）の回復のための第２の画像パラメータの組は、第１の画像パラメータの組と異なることができる。第２の画像パラメータの組は、入力カラー画像フレーム１１６内の地面３１６上の人間オブジェクトの影を考慮し、他の領域とは異なる足領域３１８のセグメント化のためのパラメータを設定し、取り込まれたシーンの地面３１６から足領域３１８を回復することができる。回復回路２０２Ａは、入力カラー画像フレーム１１６の背景からの足領域のセグメント化に基づいて、入力カラー画像フレーム１１６の前景内の足領域３１８を回復するように構成することができる。足領域３１８は、人間オブジェクトの単一の足又は人間オブジェクトの両方の足を含むことができる。足領域は、入力カラー画像フレーム１１６において取り込まれるシーン１１０の検出された地面３１６上の人間オブジェクトが履いている靴を含むことができる。いくつかの実施形態では、回復回路２０２Ａを利用して、シーン１１０などの取り込まれたシーンの前景領域のセグメント化において遮断される場合がある検出された地面３１６上に存在する任意の消失している前景オブジェクト部分又は領域をセグメント化することができる。

[0054] 図３Ｇ及び図３Ｈは、それぞれ、本開示の実施形態による、人間オブジェクトの足領域が欠けているセグメント化された人間オブジェクトの場合の第１のシナリオと、地面検出に基づいて回復された足領域を有するセグメント化された人間オブジェクトの場合の第２のシナリオとを示す。図３Ｇ及び図３Ｈを参照すると、入力カラー画像フレーム１１６において取り込まれるシーン１１０内に存在する人間オブジェクト３２２と、検出された地面３１６と、消失足領域を有する第１のセグメント化された人間オブジェクト３２４と、足領域３１８を有する第２のセグメント化された人間オブジェクト３２６とが示されている。

[0055] ある実施形態によれば、図３Ｇに示すような第１のシナリオは、地面３１６などの地面の検出を実行しない場合における、取り込まれたシーン１１０の前景内に存在する人間オブジェクト３２２のセグメント化を示す。オブジェクトセグメンテーション装置１０２は、図１で説明したように、地面３１６を検出することなく、人間オブジェクト３２２をセグメント化して、第１のセグメント化された人間オブジェクト３２４を取得することができる。第１のセグメント化された人間オブジェクトは、足領域３１８などの足領域が欠けている場合がある。第１のセグメント化された人間オブジェクト３２４は、足領域が地面３１６に近接して存在することにより、足領域３１８が欠けている場合がある。足領域３１８が地面３１６に近接して存在するので、前景内に存在する足領域３１８と入力カラー画像フレーム１１６の背景画像との間の差分が、最小である場合があり、その結果、第１のセグメント化された人間オブジェクト３２４は、足領域３１８が欠けている場合がある。更に、人間オブジェクト３２２の影が、地面３１６に近接している足領域３１８上に存在することにより、人間オブジェクト３２２の足領域３１８は、第１のセグメント化された人間オブジェクト３２４内に存在しない場合がある。

[0056] ある実施形態によれば、図３Ｈに示すような第２のシナリオは、地面３１６などの地面の検出を実行する場合における、取り込まれたシーン１１０の前景内に存在する人間オブジェクト３２２のセグメント化を示す。地面３１６は、図１及び図３Ｅで説明したように、生成されたポイントクラウド３０２内の複数のポイントの複数のベクトルの向き情報に基づいて検出することができる。回復回路２０２Ａは、（例えば、図３Ｆに示すように）検出された地面３１６のレベルから規定の領域３２０内に位置する複数の前景画素を検出するように構成することができる。回復回路２０２Ａは、第２の画像パラメータの組に基づいて、地面３１６のレベルから規定の領域３２０内に存在する前景画素の組に関連する消失足領域（例えば足領域３１８）を回復するように構成することができる。制御回路２０２は、更に、人間オブジェクト３２２の足領域３１８の検出された前景画素の組を含むように、人間オブジェクト３２２の推定された前景マスクを更新するように構成することができる。制御回路２０２は、足領域３１８を含むように更新された人間オブジェクト３２２の前景マスクに基づいて、足領域３１８を有する第２のセグメント化された人間オブジェクト３２６を生成することができる。第２のセグメント化された人間オブジェクト３２６は、人間オブジェクト３２２の足領域３１８を含むことができる。足領域３１８などの回復された足領域を有する第２のセグメント化された人間オブジェクト３２６は、抽出されて、ディスプレイ画面２０６Ａなどのディスプレイ画面上に表示することができる。

[0057] 図４Ａ及び図４Ｂは、本開示の実施形態による、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復の例示的な動作をまとめて示すフローチャートである。図４Ａ及び図４Ｂを参照すると、フローチャート４００が示されている。フローチャート４００の説明は、図１、図２、及び図３Ａ〜図３Ｈに関連して行う。４０４〜４４４の動作は、オブジェクトセグメンテーション装置１０２に実装することができる。フローチャート４００の動作は、４０２から開始して、４０４に進むことができる。

[0058] ４０４において、画像取り込み装置１０８の第１のタイプのセンサ１０８Ａを用いて、シーン１１０の一連のカラー画像フレーム１１２を取り込むことができる。シーン１１０の一連のカラー画像フレーム１１２は、画像取り込み装置１０８の視野から取り込むことができる。取り込まれた一連のカラー画像フレーム１１２は、シーン１１０の複数のオブジェクトを含むことができる。一連のカラー画像フレーム１１２は、入力カラー画像フレーム１１６を含むことができる。

[0059] ４０６において、画像取り込み装置１０８の第２のタイプのセンサ１０８Ｂを用いて、一連のカラー画像フレーム１１２のうちのカラー画像フレーム毎に深度画像を取り込むことができる。第２のタイプのセンサ１０８Ｂは、シーン１１０の一連のカラー画像フレーム１１２に対応する一連の深度画像１１４を取り込むように構成することができる。一連のカラー画像フレーム１１２の各カラー画像フレームの深度画像は、それぞれのカラー画像フレームを取り込むことができるときの対応する時点で、シーン１１０に関連する深度情報を含むことができる。

[0060] ４０８において、画像取り込み装置１０８から、一連のカラー画像フレーム１１２及び対応する一連の深度画像１１４を受け取ることができる。オブジェクトセグメンテーション装置１０２は、シーン１１０の入力カラー画像フレーム１１６及び対応する入力深度画像１１８を受け取るように構成することができる。

[0061] ４１０において、入力カラー画像フレーム１１６に対応する一連の深度画像１１４の入力深度画像１１８を平滑化して、入力深度画像１１８内の深度値が存在しない複数の領域において深度値を塗りつぶすことができる。制御回路２０２は、入力深度画像１１８内の深度値が存在しない複数の領域を検出するように構成することができる。制御回路２０２は、入力深度画像１１８の平滑化に基づいて、入力深度画像１１８内のノイズを低減させることができる。

[0062] ４１２において、平滑化された入力深度画像１１８に基づいて、入力カラー画像フレーム１１６のポイントクラウドを生成することができる。制御回路２０２は、ポイントクラウド（例えば、図３Ａのポイントクラウド３０２）を生成して、３次元座標系内の入力カラー画像フレーム１１６の外面を表現することができる。入力深度画像１１８の深度値に基づいて、生成されたポイントクラウドの各ポイントの３次元座標を決定することができる。例えば、図３Ａに示すように、入力深度画像１１８の深度値に基づいて、入力カラー画像フレーム１１６のポイントクラウド３０２を生成する。

[0063] ４１４において、第１の画像パラメータの組に基づいて、入力カラー画像フレーム１１６の背景から前景人間オブジェクトをセグメント化することができ、セグメント化された前景人間オブジェクトは、前景人間オブジェクトの足領域の少なくとも一部が欠けている。制御回路２０２は、入力カラー画像フレーム１１６に対応する入力深度画像１１８を用いて、前景人間オブジェクトの初期前景マスクを推定するように構成することができる。制御回路２０２は、更に、第１の画像パラメータの組に基づいて、前景人間オブジェクトの初期前景マスク値を、前景人間オブジェクトの前景マスク値に更新するように構成することができる。制御回路２０２は、前景人間オブジェクトの足領域の一部が欠けている場合があるセグメント化された前景人間オブジェクトを生成することができる。前景人間オブジェクトの足領域が、入力カラー画像フレーム１１６の地面に近接して存在することにより、セグメント化された前景人間オブジェクトは、足領域が欠けている場合がある。更に、セグメント化された前景人間オブジェクトは、人間オブジェクトの足領域上への人間オブジェクトの影により、足領域が欠けている場合がある。

[0064] ４１６において、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する生成されたポイントクラウドの複数のポイントから投影される複数のベクトルを計算することができる。制御回路２０２は、生成されたポイントクラウド３０２の複数のポイントから投影される複数のベクトルを計算するように構成することができる。計算された複数のベクトルの各ベクトルは、生成されたポイントクラウド３０２の複数のポイントのうちのポイントに対して垂直であることができる表面法線ベクトルとすることができる。生成されたポイントクラウド３０２の複数のポイントから投影される複数のベクトルの計算は、例えば図３Ｂに示されている。

[0065] ４１８において、生成されたポイントクラウド内の複数のポイントに関連する計算された複数のベクトルを、ベクトルクラスタの組にクラスタ化することができる。制御回路２０２は、複数のベクトルの各々に関連する向き情報に基づいて、複数のポイントから投影される複数のベクトルをクラスタ化するように構成することができる。同じ向き情報に関連する複数のベクトルは、例えば図３Ｃに示すように、ベクトルクラスタの組３１０として、一緒にクラスタ化することができる。

[0066] ４２０において、ベクトルクラスタの組に基づいて、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する複数の平面を検出することができる。制御回路２０２は、シーン１１０に関連するベクトルクラスタの組に基づいて、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する複数の平面を検出するように構成することができる。ベクトルクラスタの組の各ベクトルクラスタは、入力カラー画像フレーム１１６において取り込まれるシーン１１０の平面に対応することができる。

[0067] ４２２において、入力カラー画像フレーム１１６において取り込まれるシーン１１０に関連するベクトルクラスタの組に基づいて、平面マップを生成することができる。制御回路２０２は、入力カラー画像フレーム１１６の画像領域内の検出された複数の平面をマップすることによって、平面マップを生成するように構成することができる。生成された平面マップは、平面マップ内の検出された複数の平面のうちの異なる平面内にグループ化される画素を含むことができる。ベクトルクラスタの組３１０に基づく平面マップ３１２などの平面マップの生成は、例えば図３Ｄに示されている。

[0068] ４２４において、平面マップ３１２内の検出された複数の平面内の複数の点在領域を検出することができる。制御回路２０２は、画像領域内の平面マップ３１２内の第１の閾値数の画素よりも小さい複数の点在領域のエリアサイズに基づいて、複数の点在領域を検出するように構成することができる。例えば、平面マップ３１２内の複数の点在領域の各々のエリアサイズは、画像領域内の平面マップ３１２内の第１の閾値数の画素、すなわち「１００」画素よりも小さいとすることができる。

[0069] ４２６において、平面マップ３１２内の検出された複数の点在領域を除去することができる。制御回路２０２は、平面マップ内の検出された複数の点在領域を除去するように構成することができる。

[0070] ４２８において、メディアンフィルタによって、画像領域内の第２の閾値数の画素よりも小さい検出された複数の点在領域を平滑化することができる。制御回路２０２は、３ｘ３メディアンフィルタに基づいて、平面マップ３１２内の第２の閾値数の画素よりも小さい検出された複数の点在領域を平滑化するように構成することができる。

[0071] ４３０において、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する基準高さから、平面マップ内の検出された複数の平面内の最も低い平面を選択することができる。制御回路２０２は、基準高さに基づいて、平面マップ３１２内の検出された複数の平面から最も低い平面を選択するように構成することができる。基準高さは、シーン１１０の一連のカラー画像フレーム１１２を取り込む画像取り込み装置１０８の高さとすることができる。選択された最も低い平面の向きは、取り込まれたシーン１１０の地面の向きと同じとすることができる。

[0072] ４３２において、平面マップ内の画素の高さベースの分布に基づいて、平面マップ内の地面と同じ向き情報を有する異なる水平面内の画素を分離することができる。制御回路２０２は、画素の高さベースの分布に基づいて、平面マップ３１２内の地面と同じ向き情報を有する異なる水平面内の画素を分離するように構成することができる。異なる水平面の表面法線ベクトルの向きは、上向きの（すなわち下から上への）方向とすることができる。平面マップ３１２内の画素の高さベースの分布に基づく異なる水平面内の画素の分離は、例えば図３Ｅに示されている。

[0073] ４３４において、平面マップの異なる水平面内の他の画素と比較して、最も低い水平面内に存在する画素を分類することができる。制御回路２０２は、平面マップの高さベースの分布に基づいて、平面マップ３１２の異なる水平面内の他の画素と比較して、最も低い水平面内に存在する画素を分類するように構成することができる。平面マップの異なる水平面内の他の画素と比較して、最も低い水平面内に存在する画素の分類は、例えば図３Ｅに示されている。

[0074] ４３６において、異なる水平面から、平面マップの高さベースの分布に基づいて最大数の画素を含む最も低い水平面を、取り込まれたシーン１１０の地面３１６として選択することができる。制御回路２０２は、異なる水平面から、平面マップの高さベースの分布に基づいて最大数の画素を含む最も低い水平面を、地面３１６として選択することができる。画素の分類に基づく平面マップ３１２からの地面３１６の検出は、例えば図３Ｅに示されている。

[0075] ４３８において、検出された地面３１６のレベルから規定の領域内に位置する複数の前景画素を検出することができる。回復回路２０２Ａは、検出された地面３１６のレベルから規定の領域（例えば２０ｍｍ〜１５０ｍｍ）内に位置する複数の前景画素を検出するように構成することができる。例えば、図３Ｆに示すように、複数の前景画素は、規定の領域３２０内に位置することができる。

[0076] ４４０において、入力カラー画像フレーム１１６において取り込まれるシーン１１０の検出された地面３１６上に存在する人間オブジェクトの足領域を回復することができる。回復回路２０２Ａは、第２の画像パラメータの組に基づいて、検出された地面３１６上に存在する人間オブジェクトの足領域を回復するように構成することができる。検出された地面３１６上に存在する人間オブジェクトの足領域３１８の回復は、例えば図３Ｆに示されている。

[0077] ４４２において、人間オブジェクトの回復された足領域３１８の画素の組を含むように、人間オブジェクトの推定された前景マスクを更新することができる。制御回路２０２は、人間オブジェクトの回復された足領域の画素の組を含むように、人間オブジェクトの推定された前景マスクを更新するように構成することができる。

[0078] ４４４において、入力カラー画像フレーム１１６において取り込まれるシーン１１０の検出された地面３１６に近接して存在する人間オブジェクトの回復された足領域３１８を有する前景人間オブジェクトを抽出することができる。制御回路２０２は、回復された足領域３１８を有する前景人間オブジェクトを抽出して、人間オブジェクトの回復された足領域を有するセグメント化された人間オブジェクトを生成するように構成することができる。例えば、図３Ｈに示すように、制御回路２０２によって、足領域３１８を有する第２のセグメント化された人間オブジェクト３２６を生成する。制御は終了に進むことができる。

[0079] 従来のシステムでは、オブジェクトセグメンテーション技術に基づいて、一連のカラー画像フレームのうちの取り込まれた入力カラー画像フレームから、人間オブジェクトをセグメント化することができる。このような従来のシステムに基づいてセグメント化される人間オブジェクトは、人間オブジェクトの足領域が欠けている場合がある。本開示は、セグメント化された人間オブジェクトの消失足領域を回復し、人間オブジェクトの回復された足領域を有する前景人間オブジェクトを生成して抽出することができる。入力カラー画像フレームにおいて取り込まれるシーンの地面検出に基づいて、人間オブジェクトの足領域を回復することができる。開示されるオブジェクトセグメンテーション装置は、一連のカラー画像フレームのうちのカラー画像フレーム毎に深度画像を取り込むことができる。入力カラー画像フレームに対応する入力深度画像を利用して、３次元座標空間内の入力カラー画像フレームのポイントクラウドを生成することができる。入力カラー画像フレームの生成されたポイントクラウドの複数のポイントの各々から投影される複数の表面法線ベクトルに基づいて、シーンの地面を検出することができる。開示されるオブジェクトセグメンテーション装置は、更に、第２の画像パラメータの組を利用して、検出された地面のレベルから規定の領域内に存在する人間オブジェクトの足領域の複数の前景画素を検出することができる。したがって、開示されるオブジェクトセグメンテーション装置１０２は、地面上の足領域の存在する人間オブジェクトの影を考慮して、人間オブジェクトの足領域の複数の前景画素を検出する。前景足領域の深度値と入力カラー画像フレームの背景の深度値との間の差分が最小であるので、開示されるオブジェクトセグメンテーション装置は、第２の画像パラメータの組に基づいて、検出された地面のレベルから足領域の複数の前景画素を正確に検出する。したがって、開示されるオブジェクトセグメンテーション装置は、第２の画像パラメータの組に基づいて、検出された地面に近接している足領域をセグメント化することによって、（それ以外の場合では、検出及びセグメント化が非常に困難である）足領域を回復することができる。更に、オブジェクトセグメンテーション装置は、人間オブジェクトの回復された足領域を含むように、セグメント化された前景人間オブジェクトを更新する。

[0080] 本開示の実施形態によれば、地面検出に基づく画像シーケンスからの人間オブジェクトの消失している足の回復のためのオブジェクトセグメンテーション装置が開示される。オブジェクトセグメンテーション装置、例えばオブジェクトセグメンテーション装置１０２（図１）は、メモリ（例えばメモリ２０４）と、画像取り込み装置（例えば画像取り込み装置１０８）に結合される１又は２以上の回路（例えば制御回路２０２及び回復回路２０２Ａ（図２））とを含むことができる。画像取り込み装置１０８は、１又は２以上のセンサ（例えば第１のタイプのセンサ１０８Ａ及び第２のタイプのセンサ１０８Ｂ（図１））を含むことができる。画像取り込み装置１０８は、シーン（例えばシーン１１０（図１））の一連のカラー画像フレーム（例えば一連のカラー画像フレーム１１２）及び一連の深度画像（例えば一連の深度画像１１４）を取り込むことができる。制御回路２０２は、入力カラー画像フレーム（例えば、図１の入力カラー画像フレーム１１６）及び対応する入力深度画像（例えば、図１の入力深度画像１１８）を受け取るように構成することができる。制御回路２０２は、更に、対応する入力深度画像１１８に基づいて、一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６に対するポイントクラウド（例えば、図３Ｂのポイントクラウド３０２）を生成するように構成することができる。制御回路２０２は、第１の画像パラメータの組に基づいて、入力カラー画像フレーム１１６の背景から、前景人間オブジェクトをセグメント化することができる。セグメント化された前景人間オブジェクトは、前景人間オブジェクトの足領域の少なくとも一部が欠けている場合がある。制御回路２０２は、入力カラー画像フレーム１１６において取り込まれるシーン１１０に対する地面（例えば、図３Ｅの地面３１６）を検出するように構成することができる。地面３１６は、生成されたポイントクラウド３０２内の各ポイント（例えば、図３Ｂの関心ポイント「ｉ」３０４）から投影される各ベクトルに関連する向き情報に基づいて検出することができる。回復回路２０２Ａは、入力カラー画像フレーム１１６内の検出された地面３１６のレベルから規定の領域（例えば、図３Ｆの規定の領域３２０）内の足領域（例えば、図３Ｆの足領域３１８）を回復するように構成することができる。足領域３１８は、第１の画像パラメータの組と異なる第２の画像パラメータの組に基づいて、回復することができる。制御回路は、更に、一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６の背景から、回復された足領域を有する前景人間オブジェクト（例えば、図３Ｈの第２のセグメント化された人間オブジェクト３２６）を抽出するように構成することができる。回復された足領域を有する前景人間オブジェクト（例えば、図３Ｈの第２のセグメント化された人間オブジェクト３２６）は、地面３１６の検出と、検出された地面３１６のレベルから規定の領域３２０内の決定された複数の前景画素とに基づいて、抽出することができる。

[0081] 本開示の様々な実施形態は、画像取り込み装置に通信可能に結合される１又は２以上の回路を含む機械及び／又はコンピュータが実行できる命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。この命令セットは、シーンの一連のカラー画像フレームと、一連のカラー画像フレームのうちの対応するカラー画像フレーム毎の深度画像との取り込みを含むステップを実行するように、機械及び／又はコンピュータによって実行可能とすることができる。受け取られる一連のカラー画像フレームのうちの入力カラー画像フレームに対するポイントクラウドを生成することができる。ポイントクラウドは、受け取られる入力カラー画像フレームに対する対応する入力深度画像に基づいて生成することができる。第１の画像パラメータの組に基づいて、入力カラー画像フレームの背景から、前景人間オブジェクトをセグメント化することができる。セグメント化された前景人間オブジェクトは、前景人間オブジェクトの足領域の少なくとも一部が欠けている場合がある。生成されたポイントクラウド内の各ポイントから投影される各ベクトルに関連する向き情報に基づいて、入力カラー画像フレームにおいて取り込まれるシーンに対する地面を検出することができる。第１の画像パラメータの組と異なることができる第２の画像パラメータの組に基づいて、入力カラー画像フレーム内の検出された地面のレベルから規定の領域内の足領域を回復することができる。一連のカラー画像フレームのうちの入力カラー画像フレームの背景から、回復された足領域を有する前景人間オブジェクトを抽出することができる。地面の検出と、検出された地面のレベルから規定の領域内の決定された複数の前景画素とに基づいて、前景人間オブジェクトを抽出することができる。

[0082] 本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。

[0083] 本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

[0084] いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。したがって、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。

１００ネットワーク環境
１０２オブジェクトセグメンテーション装置
１０４サーバ
１０６通信ネットワーク
１０８画像取り込み装置
１０８Ａ第１のタイプのセンサ
１０８Ｂ第２のタイプのセンサ
１１０シーン
１１２一連のカラー画像フレーム
１１４一連の深度画像
１１６入力カラー画像フレーム
１１８入力深度画像
２０２制御回路
２０２Ａ回復回路
２０４メモリ
２０６入力／出力（Ｉ／Ｏ）装置
２０６Ａディスプレイ画面
２０８ネットワークインターフェイス
２１０アプリケーションインターフェイス
３０２ポイントクラウド
３０４関心ポイント
３０６Ａ第１の隣接ポイント
３０６Ｂ第２の隣接ポイント
３０８単位球体分布
３１０ベクトルクラスタの組
３１０Ａ第１のベクトルクラスタ
３１０Ｂ第２のベクトルクラスタ
３１０Ｃ，３１０Ｄ，３１０Ｅベクトルクラスタ
３１２平面マップ
３１２Ａ床面
３１２Ｂ左壁
３１２Ｃ右壁
３１２Ｄ天井面
３１２Ｅ前壁
３１４高さベースの画素分布
３１４Ａ基準高さ
３１６地面
３１８足領域
３２０規定の領域
３２２人間オブジェクト
３２４第１のセグメント化された人間オブジェクト
３２６第２のセグメント化された人間オブジェクト
４００フローチャート
４０２開始
４０４画像取り込み装置の第１のタイプのセンサを用いて、シーンの一連のカラー画像フレームを取り込む
４０６画像取り込み装置の第２のタイプのセンサを用いて、一連のカラー画像フレームのうちのカラー画像フレーム毎に深度画像を取り込む
４０８画像取り込み装置から、一連のカラー画像フレーム及び対応する一連の深度画像を受け取る
４１０入力カラー画像フレームに対応する一連の深度画像の入力深度画像を平滑化して、入力深度画像内の深度値が存在しない複数の領域において深度値を塗りつぶす
４１２平滑化された入力深度画像に基づいて、入力カラー画像フレームのポイントクラウドを生成
４１４第１の画像パラメータの組に基づいて、入力カラー画像フレームの背景から前景人間オブジェクトをセグメント化する。セグメント化された前景人間オブジェクトは、前景人間オブジェクトの足領域の少なくとも一部が欠けている
４１６入力カラー画像フレームにおいて取り込まれるシーンに対する生成されたポイントクラウドの複数のポイントから投影される複数のベクトルを計算
４１８生成されたポイントクラウド内の複数のポイントに関連する計算された複数のベクトルを、ベクトルクラスタの組にクラスタ化する
４２０シーンに関連するベクトルクラスタの組に基づいて、入力カラー画像フレームにおいて取り込まれるシーンに対する複数の平面を検出
４２２入力カラー画像フレームにおいて取り込まれるシーンに関連するベクトルクラスタの組に基づいて、平面マップを生成
４２４画像領域内の第１の閾値数の画素よりも小さい平面マップ内の複数の点在領域のエリアサイズに基づいて、平面マップ内の検出された複数の平面内の複数の点在領域を検出
４２６平面マップ内の検出された複数の点在領域を除去
４２８メディアンフィルタによって、画像領域内の平面マップ内の第２の閾値数の画素よりも小さい検出された複数の点在領域を平滑化
４３０入力カラー画像フレームにおいて取り込まれるシーンに対する基準高さから、平面マップ内の検出された複数の平面内の最も低い平面を選択
４３２平面マップ内の画素の高さベースの分布に基づいて、平面マップ内の最も低い水平面と同じ向き情報を有する異なる水平面内の画素を分離
４３４平面マップの異なる水平面内の他の画素と比較して、最も低い水平面内に存在する画素を分類
４３６異なる水平面から、平面マップの高さベースの分布に基づいて最大数の画素を含む最も低い水平面を、地面として選択
４３８検出された地面のレベルから規定の領域内に位置する複数の前景画素を検出
４４０第２の画像パラメータの組に基づいて、入力カラー画像フレームにおいて取り込まれるシーンの検出された地面上に存在する人間オブジェクトの足領域を回復
４４２人間オブジェクトの回復された足領域の画素の組を含むように、人間オブジェクトの推定された前景マスクを更新
４４４入力カラー画像フレームにおいて取り込まれるシーンの検出された地面に近接して存在する人間オブジェクトの回復された足領域を有する前景人間オブジェクトを抽出

Claims

オブジェクトセグメンテーションシステムであって、
シーンの一連のカラー画像フレームを取り込むように構成される第１のタイプのセンサと、
前記一連のカラー画像フレームのうちの対応するカラー画像フレーム毎に深度画像を取り込むように構成される第２のタイプのセンサと、
制御回路であって、前記制御回路は、
前記第２のタイプのセンサから受け取られる入力カラー画像フレームに対する対応する入力深度画像に基づいて、前記第１のタイプのセンサから受け取られる前記一連のカラー画像フレームのうちの入力カラー画像フレームに対するポイントクラウドを生成し、
第１の画像パラメータの組に基づいて、前記入力カラー画像フレームの背景から、前景人間オブジェクトをセグメント化し、前記セグメント化された前景人間オブジェクトは、前記前景人間オブジェクトの足領域の少なくとも一部が欠けており、
前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを、ベクトルクラスタの組にクラスタ化することによって、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する地面を検出し、前記シーンに対する前記地面は、前記生成されたポイントクラウド内の前記ベクトルクラスタの組のうちの１つのベクトルクラスタに関連する向き情報に基づいて検出され、
前記第１の画像パラメータの組と異なる第２の画像パラメータの組に基づいて、前記入力カラー画像フレーム内の前記検出された地面のレベルから規定の領域内の足領域を回復し、
前記地面の検出と、前記検出された地面の前記レベルから前記規定の領域内の複数の前景画素とに基づいて、前記一連のカラー画像フレームのうちの前記入力カラー画像フレームの前記背景から、前記回復された足領域を含む前記前景人間オブジェクトを抽出する、
ように構成される、制御回路と、
を含むことを特徴とするオブジェクトセグメンテーションシステム。
前記制御回路は、更に、
深度値が存在しない前記入力深度画像内の複数の領域を検出し、
メディアンフィルタ及び均一フィルタによって、前記入力深度画像を平滑化して、前記複数の領域において深度値を塗りつぶし、前記入力深度画像内のノイズを低減させる、
ように構成されることを特徴とする、請求項１に記載のシステム。
前記制御回路は、更に、前記入力深度画像に基づいて、前記生成されたポイントクラウド内の各ポイントの３次元（３Ｄ）座標を決定するように構成されることを特徴とする、請求項１に記載のシステム。
前記制御回路は、更に、前記生成されたポイントクラウドの前記複数のポイントにおいて関心ポイント及び前記関心ポイントの２つの隣接ポイントの３次元（３Ｄ）座標に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを計算するように構成され、前記生成されたポイントクラウド内の前記複数のポイントに関連する前記計算された複数のベクトルは、前記計算された複数のベクトルの各々に関連する向き情報に基づいて、前記ベクトルクラスタの組にクラスタ化されることを特徴とする、請求項３に記載のシステム。
前記制御回路は、更に、前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する複数の平面を検出するように構成されることを特徴とする、請求項４に記載のシステム。
前記制御回路は、更に、前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、平面マップを生成するように構成され、前記入力カラー画像フレームの画像領域内の前記検出された複数の平面をマップして、前記平面マップを生成することを特徴とする、請求項５に記載のシステム。
前記平面マップは、前記シーンの前記入力カラー画像フレームの前記画像領域内の前記平面マップ内の画素の空間位置にかかわらず、前記平面マップ内の各画素に関連する同じ向き情報に基づいて、前記平面マップ内の前記検出された複数の平面のうちの異なる平面内にグループ化される画素を含むことを特徴とする、請求項６に記載のシステム。
前記制御回路は、更に、前記画像領域内の第１の閾値数の画素よりも小さい、前記平面マップ内の複数の点在領域のエリアサイズに基づいて、前記平面マップ内の前記検出された複数の平面内の複数の点在領域を検出するように構成されることを特徴とする、請求項７に記載のシステム。
前記制御回路は、更に、前記平面マップ内の前記検出された複数の点在領域を除去し、その後に、メディアンフィルタによって平滑化動作を実行して、前記画像領域内の第２の閾値数の画素よりも小さい前記検出された複数の点在領域を平滑化するように構成されることを特徴とする、請求項８に記載のシステム。
前記制御回路は、更に、前記シーンに対する基準高さから、前記平面マップ内の前記検出された複数の平面内の最も低い平面を選択するように構成され、前記基準高さは、前記シーンの前記一連のカラー画像フレームを取り込む前記第１のタイプのセンサの高さに対応し、前記平面マップ内の前記検出された複数の平面内の前記選択された最も低い平面は、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する前記地面であることを特徴とする、請求項７に記載のシステム。
前記制御回路は、更に、
前記平面マップ内の前記画素の高さベースの分布に基づいて、前記平面マップ内の異なる水平面内の画素を分離し、
前記平面マップ内の前記画素の前記高さベースの分布に基づいて、前記異なる水平面内の他の画素と比較して、最も低い水平面内に存在する画素を、前記地面の前記画素として分類する、
ように構成されることを特徴とする、請求項７に記載のシステム。
前記制御回路は、更に、前記入力深度画像及び前記第１の画像パラメータの組を用いて、及び前記入力カラー画像フレームと前記入力カラー画像フレームの背景画像との間の差分の２値化によって、前記シーンの入力カラー画像フレーム内の前記前景人間オブジェクトの前景マスクを推定するように構成され、前記前景人間オブジェクトは、前記推定された前景マスクに基づいて、前記入力カラー画像フレームの前記背景からセグメント化されることを特徴とする、請求項１に記載のシステム。
前記制御回路は、更に、前記入力カラー画像フレーム内の前記検出された地面の前記レベルから前記規定の領域内の画素の組を含むように、前記推定された前景マスクを更新するように構成され、前記画素の組は、前記第２の画像パラメータの組に基づいて回復される前記足領域の画素に対応することを特徴とする、請求項１２に記載のシステム。
方法であって、
第１のタイプのセンサと、第２のタイプのセンサと、制御回路とを含むオブジェクトセグメンテーションシステムにおいて、
前記第１のタイプのセンサによって、シーンの一連のカラー画像フレームを取り込むステップと、
前記第２のタイプのセンサによって、前記一連のカラー画像フレームのうちの対応するカラー画像フレーム毎に深度画像を取り込むステップと、
前記制御回路によって、前記第２のタイプのセンサから受け取られる入力カラー画像フレームに対する対応する入力深度画像に基づいて、前記第１のタイプのセンサから受け取られる前記一連のカラー画像フレームのうちの入力カラー画像フレームに対するポイントクラウドを生成するステップと、
前記制御回路によって、第１の画像パラメータの組に基づいて、前記入力カラー画像フレームの背景から、前景人間オブジェクトをセグメント化するステップであって、前記セグメント化された前景人間オブジェクトは、前記前景人間オブジェクトの足領域の少なくとも一部が欠けている、ステップと、
前記制御回路によって、前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを、ベクトルクラスタの組にクラスタ化することによって、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する地面を検出するステップであって、前記シーンに対する前記地面は、前記生成されたポイントクラウド内の前記ベクトルクラスタの組のうちの１つのベクトルクラスタに関連する向き情報に基づいて検出される、ステップと、
前記制御回路によって、前記第１の画像パラメータの組と異なる第２の画像パラメータの組に基づいて、前記入力カラー画像フレーム内の前記検出された地面のレベルから規定の領域内の足領域を回復するステップと、
前記制御回路によって、前記地面の検出と、前記検出された地面の前記レベルから前記規定の領域内の複数の前景画素とに基づいて、前記一連のカラー画像フレームのうちの前記入力カラー画像フレームの前記背景から、前記回復された足領域を含む前記前景人間オブジェクトを抽出するステップと、
を含むことを特徴とする方法。
更に、
前記制御回路によって、深度値が存在しない前記入力深度画像内の複数の領域を検出するステップと、
前記制御回路によって、メディアンフィルタ及び均一フィルタによって、前記入力深度画像を平滑化して、前記複数の領域において深度値を塗りつぶし、前記入力深度画像内のノイズを低減させるステップと、
を含むことを特徴とする、請求項１４に記載の方法。
更に、前記制御回路によって、前記入力深度画像に基づいて、前記生成されたポイントクラウド内の各ポイントの３次元（３Ｄ）座標を決定するステップを含むことを特徴とする、請求項１４に記載の方法。
更に、前記制御回路によって、前記生成されたポイントクラウドの前記複数のポイントにおいて関心ポイント及び前記関心ポイントの２つの隣接ポイントの３次元（３Ｄ）座標に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する前記生成されたポイントクラウド内の複数のポイントから投影される複数のベクトルを計算するステップを含むことを特徴とする、請求項１６に記載の方法。
更に、前記制御回路によって、前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、前記入力カラー画像フレームにおいて取り込まれる前記シーンに対する複数の平面を検出するステップを含むことを特徴とする、請求項１７に記載の方法。
更に、前記制御回路によって、前記入力カラー画像フレームにおいて取り込まれる前記シーンに関連する前記ベクトルクラスタの組に基づいて、平面マップを生成するステップを含み、前記平面マップは、前記入力カラー画像フレームの画像領域内の前記検出された複数の平面をマップすることによって生成されることを特徴とする、請求項１８に記載の方法。
前記平面マップは、前記シーンの前記入力カラー画像フレームの前記画像領域内の前記平面マップ内の画素の空間位置にかかわらず、前記平面マップ内の各画素に関連する同じ向き情報に基づいて、前記平面マップ内の前記検出された複数の平面のうちの異なる平面内にグループ化される画素を含むことを特徴とする、請求項１９に記載の方法。