JP2001005978A - 物体抽出装置、物体抽出方法、およびプログラム提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 三次元センサから得られた三次元情報から対
象物を効率的に切り出す物体抽出装置を提供する。 【解決手段】 三次元情報に含まれる計測ポイント中の
隣接する２つの計測ポイント間の２点間距離を算出し、
算出した２点間距離情報と予め定めた閾値とを比較し
て、２点間距離が閾値より小である場合に、これら隣接
する２点は連続面領域にあると判定する。連続面領域で
あると判定された２つの計測ポイント各々には同一のラ
ベルを付与し、２点間距離が閾値より小でない計測ポイ
ント相互には各々異なるラベルを付与する。これらのラ
ベリング処理に基づいて生成される距離画像は、連続面
領域に同一ラベリングがなされ、ユーザは容易に領域選
択を行なうことが可能となり物体抽出が容易化される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体抽出装置、物
体抽出方法、および物体抽出方法を記録したプログラム
提供媒体に関する。特に三次元空間上である距離範囲に
存在する物体を他の物体、背景と切り離して領域分けを
行ない抽出することを可能とした物体抽出装置、物体抽
出方法、および物体抽出方法を記録したプログラム提供
媒体に関する。

【０００２】

【従来の技術】物体の三次元形状を求める従来手法とし
て、大きく分けて能動的手法（アクティブ手法）と受動
的手法（パッシブ手法）がある。能動的手法としては、
光を投射して、その光が反射して帰ってくるまでの時間
を測定することで各測定対象物体までの距離を求める方
法や、測定対象にスリット状のパターン光をあてて測定
対象に投影されたパターン光の形状を調べることによっ
て三次元形状を計測する光切断法といった方法がある。

【０００３】また、受動的手法として代表的なものは、
三角測量の原理を利用したステレオ画像法であり、これ
は２台以上のカメラを使って、その画像間の対応点を見
つけることで視差を求め、距離を計測する方法である。
ステレオ法については、例えば、「ミノルタ 非接触三
次元形状入力機ＶＩＶＩＤ ７００」、計測と制御、Ｖ
ＯＬ．３６，Ｎｏ．１２；ＰＡＧＥ．９１０−９１１；
１９９７、あるいは、金出、中原、奥富「マルチベース
ラインステレオ法による三次元計測」、画像ラボ、ｐｐ
５３−５７に記載されている。

【０００４】以上のような三次元センサで計測された三
次元形状をモデリング等の用途に利用するためには、計
測した三次元情報から対象物体の領域だけを背景、その
他の物体から切り出す、すなわち物体抽出を行なうこと
が必要となる。従来、この物体抽出方法としては、距離
情報を二次元の距離画像として扱うことで、市販の画像
編集ツールを使って距離画像の中の対象物体の領域を手
作業、例えばマウス等を用いて切り抜いたり、３Ｄ−Ｃ
Ｇソフトを使って手作業で不必要な部分を切り出す方法
等であり、多大な時間と労力を要する作業であった。

【０００５】ここで、距離画像とは、奥行き情報を輝度
値で表現した白黒の濃淡画像である。また、これを補助
する手段としてスネークモデルによる輪郭抽出を使った
切り出し方法（Ｍｉｃｈａｅｌ Ｋａｓｓ，Ａｎｄｒｅ
ｗ Ｗｉｔｋｎ ａｎｄ Ｄｅｍｅｔｒｉ Ｔｅｒｚｏ
ｐｏｕｌｏｓ 「Ｓｎａｋｅｓ：Ａｃｔｉｖｅ Ｃｏｎ
ｔｏｕｒ Ｍｏｄｅｌｓ」［Ｉｎｔｅｒｎａｔｉｏｎａ
ｌ Ｊｏｕｒｎａｌｏｆ Ｃｏｍｐｕｔｅｒ ｖｉｓｉ
ｏｎ，ｐｐ．３２１−３３１，１９８８］参照）があ
り、距離画像において、この機能を使えば作業量は若干
軽減できる。しかし、本方法においても、作業者が対象
物体の輪郭近傍を指定する作業は必須となる。すなわ
ち、図１に示すように距離画像１０１中に示された複数
の物体から特定の切り出し対象を選択する場合、抽出物
体１０２を特定するために抽出物体の輪郭近傍に囲み領
域を示す領域指定枠１０３を生成する作業が必要とな
る。この領域指定枠の生成作業は、対象物体が複雑であ
ったり、複数の対象物体がある場合等には、煩雑で時間
のかかる作業となってしまうという欠点があった。

【０００６】上述の方法以外の物体抽出方法としては、
距離方向の区間を区切って、その区間の対象物だけを抽
出する方法があるが、この方法においても、作業者が距
離区間の調整を行なうことが必要となり、対象物の個数
や複雑さにともなって調整作業の増大を招くことは間違
いない。

【０００７】また、この距離区間を区切る方法では、対
象物の配置によっては、１つの対象物だけを切り出すこ
とが出来ない場合もある。この例について図２、図３を
用いて説明する。

【０００８】図２に示すように、壁２０３の前に２つの
計測対象として、計測対象１，２０１、計測対象２，２
０２が配置された空間に、図２に示すように三次元セン
サを配置して奥行き情報を得るものとする。この三次元
センサによって得られる距離画像を図３の（ａ）に示
す。

【０００９】図３の（ａ）に示す距離画像から、計測対
象１，２０１と計測対象２，２０２とを切り出したい場
合には、図２に示す距離区間を、距離区間３に調整する
ことによって、切り出すことができる。しかしながら、
ここから計測対象１だけを切り出したいとき、図２の距
離区間を距離区間１に設定した場合の距離画像は図３の
（ｂ）のようになり、計測対象１，２０１の一部しか得
ることができない。また、図２の距離区間を距離区間２
に設定した場合の距離画像は図３の（ｃ）のようにな
り、計測対象１，２０１だけでなく、計測対象２，２０
２の一部も一緒に切り出す結果となる。図２の距離区間
を距離区間３に設定した場合の距離画像は図３の（ｄ）
のようになり、計測対象１，２０１、計測対象２，２０
２が一緒に切り出される。

【００１０】

【発明が解決しようとする課題】上述のように、従来の
物体抽出手法においては、例えば計測した三次元情報に
基づく距離画像において画像編集ツールを使用して対象
物体を抽出する場合、対象物体領域の切り抜き作業がマ
ウス等を用いた手作業となり、多大な時間と労力を要す
る結果を招いていた。また、距離方向の区間を区切っ
て、その区間の対象物だけを抽出する方法においても、
作業者が距離区間の調整を行なうことが必要となり、対
象物の個数や複雑さにともなって最適な距離区間の設定
作業が複雑化し調整作業の増大を招いていた。

【００１１】本発明は、上述の如き従来の物体抽出方法
の欠点に鑑みてなされたものであり、三次元センサから
得られた三次元情報から対象物を効率的に切り出すため
の物体抽出装置、物体抽出方法、およびプログラム提供
媒体を提供することを目的とする。

【００１２】本発明は、三次元センサから得られた三次
元情報から、三次元空間上においてある距離範囲、例え
ば閾値以下の距離に存在する計測点同士を連続である面
として識別することにより三次元情報を表示した例えば
距離画像を領域分けし、その識別された連続面領域のう
ち、１つまたは複数の面を選択し、それ以外の面領域を
削除することによって容易に物体抽出が実行可能な物体
抽出装置、物体抽出方法、およびプログラム提供媒体を
提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、三次元
情報に基づいて、画像中から連続面領域を構成する物体
の抽出を実行する物体抽出装置において、三次元情報に
含まれる計測ポイント中の隣接する２つの計測ポイント
間の２点間距離情報を算出し、該算出した２点間距離情
報と予め定めた閾値との比較処理を実行し、前記２点間
距離情報が前記閾値より小であるとの判定に基づいて該
隣接する計測ポイント同士が連続性を有する連続面領域
であると識別する連続面抽出手段を有することを特徴と
する物体抽出装置にある。

【００１４】さらに、本発明の物体抽出装置における一
実施態様において、前記２点間距離情報は、前記三次元
情報に基づいて得られる前記隣接する２つの計測ポイン
トの三次元座標から算出される三次元的距離であること
を特徴とする。

【００１５】さらに、本発明の物体抽出装置における一
実施態様において、前記２点間距離情報は、前記三次元
情報に基づいて得られる前記隣接する２つの計測ポイン
トの三次元座標から算出されるＺ軸方向の距離である奥
行き方向距離であることを特徴とする。

【００１６】さらに、本発明の物体抽出装置における一
実施態様において、前記連続面抽出手段は、異なる連続
面領域を識別するラベルを前記計測ポイントに対応して
付与するラベリング処理を実行する構成を有し、連続性
を有する連続面領域であると識別された２つの計測ポイ
ント各々には同一のラベルを付与するラベリング処理を
実行する構成を有することを特徴とする。

【００１７】さらに、本発明の物体抽出装置における一
実施態様において、前記画像は、三次元情報に基づいて
得られる距離画像であり、前記連続面抽出手段は、前記
距離画像に含まれる計測ポイントについて、該計測ポイ
ントと上方向に隣接する上方隣接計測ポイントとの２点
間距離情報ＤＵと前記閾値との比較処理に基づいて該計
測ポイントと上方隣接計測ポイントとの連続性を判定す
るとともに、該計測ポイントと左方向に隣接する左方隣
接計測ポイントとの２点間距離情報ＤＬと前記閾値との
比較処理に基づいて該計測ポイントと左方隣接計測ポイ
ントとの連続性を判定し、前記２点間距離情報ＤＬ、Ｄ
Ｕのいずれか一方のみが前記閾値より小である場合は、
該閾値より小の隣接計測ポイントと同一ラベルを前記計
測ポイントのラベルとして付与し、前記２点間距離情報
ＤＬ、ＤＵのいずれもが前記閾値より小でない場合は、
新たなラベルを前記計測ポイントのラベルとして付与
し、前記２点間距離情報ＤＬ、ＤＵがいずれも前記閾値
より小である場合は、前記上方向、左方向の識別ラベル
のいずれか一方のラベルを選択ラベルとし、前記計測ポ
イントのラベルとして付与するとともに、前記選択ラベ
ルと異なる前記上方向、左方向いずれかの非選択ラベル
と同一のラベルが付与された計測ポイントのラベルを選
択ラベルに変更する処理を実行する構成を有することを
特徴とする。

【００１８】さらに、本発明の物体抽出装置における一
実施態様において、前記画像は、三次元情報に基づいて
得られる距離画像であり、前記連続面抽出手段は、前記
距離画像に含まれる計測ポイントについて該計測ポイン
トの上方向に隣接する上方隣接計測ポイントとの２点間
距離情報ＤＵ、該計測ポイントの左方向に隣接する上方
隣接計測ポイントとの２点間距離情報ＤＬ、該計測ポイ
ントの下方向に隣接する上方隣接計測ポイントとの２点
間距離情報ＤＤ、該計測ポイントの右方向に隣接する上
方隣接計測ポイントとの２点間距離情報ＤＲ、の各々と
前記閾値との比較処理に基づいて該計測ポイントと上下
左右４方向の各隣接計測ポイントとの連続性を判定し、
連続性有りと判定された隣接計測ポイントを次の計測ポ
イントとして、さらに上下左右４方向の各隣接計測ポイ
ントとの連続性を判定する処理を順次繰り返す４連結法
により連続面抽出を実行する構成を有することを特徴と
する。

【００１９】さらに、本発明の物体抽出装置における一
実施態様において、前記連続面抽出手段は、三次元情報
に基づいて得られる距離画像に含まれる計測ポイントに
ついて該計測ポイントの周囲８つの隣接計測ポイントと
の連続性を判定し、連続性有りと判定された隣接計測ポ
イントを次の計測ポイントとして、さらに周囲８つの隣
接計測ポイントとの連続性を判定する処理を順次繰り返
す８連結法により連続面抽出を実行する構成を有するこ
とを特徴とする。

【００２０】さらに、本発明の物体抽出装置における一
実施態様において、前記連続面抽出手段は、抽出対象物
体を示す画像の任意の点を前記計測ポイントの起点とし
て、順次隣接計測ポイントとの連続性を判定し連続面抽
出を実行する構成を有することを特徴とする。

【００２１】さらに、本発明の物体抽出装置における一
実施態様において、前記計測ポイントの各々は、前記画
像に含まれる画素に対応づけられ、隣接する計測ポイン
トは隣接する画素に対応するものであることを特徴とす
る。

【００２２】さらに本発明の第２の側面は、三次元情報
に基づいて、画像中から連続面領域を構成する物体の抽
出を実行する物体抽出方法において、三次元情報に含ま
れる計測ポイント中の隣接する２つの計測ポイント間の
２点間距離情報を算出する２点間距離情報算出ステップ
と、算出した２点間距離情報と予め定めた閾値との比較
処理を実行する比較処理ステップと、前記２点間距離情
報が前記閾値より小であるとの判定に基づいて該隣接す
る計測ポイント同士が連続性を有する連続面領域である
と識別する連続面領域識別ステップとを有することを特
徴とする物体抽出方法にある。

【００２３】さらに、本発明の物体抽出方法における一
実施態様において、前記２点間距離情報算出ステップに
おいて用いる２点間距離情報は、前記三次元情報に基づ
いて得られる前記隣接する２つの計測ポイントの三次元
座標から算出される三次元的距離であることを特徴とす
る。

【００２４】さらに、本発明の物体抽出方法における一
実施態様において、前記２点間距離情報算出ステップに
おいて用いる２点間距離情報は、前記三次元情報に基づ
いて得られる前記隣接する２つの計測ポイントの三次元
座標から算出されるＺ軸方向の距離である奥行き方向距
離であることを特徴とする。

【００２５】さらに、本発明の物体抽出方法における一
実施態様において、前記物体抽出方法において、さら
に、異なる連続面領域を識別するラベルを前記計測ポイ
ントに対応して付与するラベリング処理ステップを有
し、該ラベリング処理ステップは、前記連続面領域識別
ステップにおいて連続性を有する連続面領域であると識
別された２つの計測ポイント各々に同一のラベルを付与
することを特徴とする。

【００２６】さらに、本発明の物体抽出方法における一
実施態様において、前記２点間距離情報算出ステップ
は、三次元情報に基づいて得られる距離画像に含まれる
計測ポイントについて計測ポイントと上方向に隣接する
上方隣接計測ポイントとの２点間距離情報ＤＵを算出す
るステップと、該計測ポイントと左方向に隣接する左方
隣接計測ポイントとの２点間距離情報ＤＬを算出するス
テップとを含み、前記比較処理ステップは、前記２点間
距離情報ＤＵと前記閾値との比較処理を実行するステッ
プと、前記２点間距離情報ＤＬと前記閾値との比較処理
を実行するステップとを含み、前記連続面領域識別ステ
ップは、前記比較処理ステップにおける比較結果に基づ
いて前記計測ポイントと左方隣接計測ポイント、および
上方隣接計測ポイントとの連続性を判定するとともに、
前記２点間距離情報ＤＬ、ＤＵのいずれか一方のみが前
記閾値より小である場合は、該閾値より小の隣接計測ポ
イントと同一ラベルを前記計測ポイントのラベルとして
付与し、前記２点間距離情報ＤＬ、ＤＵのいずれもが前
記閾値より小でない場合は、新たなラベルを前記計測ポ
イントのラベルとして付与し、前記２点間距離情報Ｄ
Ｌ、ＤＵがいずれも前記閾値より小である場合は、前記
上方向、左方向の識別ラベルのいずれか一方のラベルを
選択ラベルとし、前記計測ポイントのラベルとして付与
するとともに、前記選択ラベルと異なる前記上方向、左
方向いずれかの非選択ラベルと同一のラベルが付与され
た計測ポイントのラベルを選択ラベルに変更する処理を
実行することを特徴とする。

【００２７】さらに、本発明の物体抽出方法における一
実施態様において、前記２点間距離情報算出ステップ
は、三次元情報に基づいて得られる距離画像に含まれる
計測ポイントについて該計測ポイントの上方向に隣接す
る上方隣接計測ポイントとの２点間距離情報ＤＵ、該計
測ポイントの左方向に隣接する上方隣接計測ポイントと
の２点間距離情報ＤＬ、該計測ポイントの下方向に隣接
する上方隣接計測ポイントとの２点間距離情報ＤＤ、該
計測ポイントの右方向に隣接する上方隣接計測ポイント
との２点間距離情報ＤＲ、を算出し、前記比較処理ステ
ップは、前記２点間距離情報算出ステップにおいて算出
された２点間距離情報ＤＵ、ＤＬ、ＤＤ、ＤＲの各々と
前記閾値との比較処理を実行し、前記連続面領域識別ス
テップは、前記比較処理ステップにおける比較結果に基
づいて前記計測ポイントと上下左右各隣接計測ポイント
との連続性を判定し、連続性有りと判定された隣接計測
ポイントを次の計測ポイントとして、さらに上下左右４
方向の各隣接計測ポイントとの連続性を判定する処理を
順次繰り返す４連結法により連続面抽出を実行すること
を特徴とする。

【００２８】さらに、本発明の物体抽出方法における一
実施態様は、三次元情報に基づいて得られる距離画像に
含まれる計測ポイントについて該計測ポイントの周囲８
つの隣接計測ポイントとの連続性を判定し、連続性有り
と判定された隣接計測ポイントを次の計測ポイントとし
て、さらに周囲８つの隣接計測ポイントとの連続性を判
定する処理を順次繰り返す８連結法により連続面抽出を
実行することを特徴とする。

【００２９】さらに、本発明の物体抽出方法における一
実施態様において、抽出対象物体を示す画像の任意の点
を前記計測ポイントの起点として設定する起点設定ステ
ップを有し、前記２点間距離情報算出ステップは、前記
起点設定ステップにおいて設定されたポイントを最初の
計測ポイントとして、順次隣接計測ポイントとの連続性
を判定し連続面抽出を実行することを特徴とする。

【００３０】さらに、本発明の物体抽出方法における一
実施態様において、前記計測ポイントの各々は、前記画
像に含まれる画素に対応づけられ、隣接する計測ポイン
トは隣接する画素に対応するものであることを特徴とす
る。

【００３１】さらに、本発明の第３の側面は、三次元情
報に基づいて物体抽出処理を実行するための処理をコン
ピュータ・システム上で実行せしめるコンピュータ・プ
ログラムを有形的に提供するプログラム提供媒体であっ
て、前記コンピュータ・プログラムは、三次元情報に含
まれる計測ポイント中の隣接する２つの計測ポイント間
の２点間距離情報を算出する２点間距離情報算出ステッ
プと、算出した２点間距離情報と予め定めた閾値との比
較処理を実行する比較処理ステップと、前記２点間距離
情報が前記閾値より小であるとの判定に基づいて該隣接
する計測ポイント同士が連続性を有する連続面領域であ
ると識別する連続面領域識別ステップと、を有すること
を特徴とするプログラム提供媒体にある。

【００３２】本発明の第３の側面に係るプログラム提供
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。

【００３３】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の第１の側面と同様の作
用効果を得ることができるのである。

【００３４】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００３５】

【発明の実施の形態】本発明は、従来の物体抽出手法に
おける問題点、すなわち三次元情報に基づく距離画像に
おける対象物体領域の切り抜き作業または距離区間の調
整作業等の煩雑さを解消し効率のよい物体抽出を可能と
した物体抽出装置、物体抽出方法、およびプログラム提
供媒体であり、三次元センサから得られた三次元情報か
ら、三次元空間上である距離範囲に存在する計測点同士
を連続である面として領域分けし、その面領域のうち、
１つまたは複数の面を選択し、それ以外の面領域を削除
することによって物体抽出を行なう構成である。以下、
本発明の物体抽出装置、物体抽出方法、およびプログラ
ム提供媒体について、図面を参照しながら詳細に説明す
る。

【００３６】［実施例１］本発明の物体抽出装置の第１
実施例は、三次元センサから得られた三次元形状データ
に基づいて、連続な面領域を識別して、連続と判定した
計測ポイントに同一ラベルを付与し、異なる面と判定し
た計測ポイントに異なるラベルを付与するラベリングを
実行し、ラベリングによって複数の面領域に分けられた
領域から作業者が１つまたは複数の対象物体を選択する
ことによって物体抽出、すなわち対象物体の切り出しを
行なう構成である。

【００３７】図４に本発明の物体抽出装置における第１
実施例の機能ブロック図を示す。本発明の物体抽出装置
のハードウェア構成例については図９に示し、後段で詳
細に説明する。本実施例の物体抽出装置は、図４に示す
ように連続面抽出部４０１、対象領域選択部４０２を有
する。

【００３８】連続面抽出部４０１は、三次元センサから
得られた三次元形状データ、または距離画像を受領し、
その三次元形状データ、または距離画像から連続する面
を識別して、識別された複数の連続面領域にそれぞれ異
なるラベルを付するラベリングを実行する。

【００３９】なお、連続面抽出部４０１が受領する三次
元形状データ、または距離画像は従来技術の欄で説明し
たと同様の三次元情報データが使用可能であり、各種の
三次元形状計測方法によって得られるデータである。例
えば、三角測量の原理を利用したステレオ画像法等の受
動的手法（パッシブ手法）によって得られる三次元形状
データ、距離画像データが用いられる。

【００４０】ステレオ画像法について、その原理を簡単
に説明する。ステレオ画像法は複数のカメラを用いて２
つ以上の方向（異なる視線方向）から同一対象物を撮影
して得られる複数の画像における画素同士を対応づける
ことで測定対象物の三次元空間における位置を求めよう
とするものである。例えば基準カメラと参照カメラによ
り異なる方向から同一対象物を撮影して、それぞれの画
像内の測定対象物の距離を三角測量の原理により測定す
る。

【００４１】図５は、ステレオ画像法の原理を説明する
図である。基準カメラと参照カメラは異なる方向から同
一対象物を撮影する。基準カメラによって撮影された画
像中の「ｍｂ」というポイントの奥行きを求めることを
考える。

【００４２】基準カメラによる撮影画像注のポイント
「ｍｂ」に見える物体は、異なる方向から同一物体を撮
影している参照カメラによって撮影された画像におい
て、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上
に展開されることになる。この直線をエピポーラライン
（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）と呼ぶ。

【００４３】基準カメラにおけるポイント「ｍｂ」の位
置は、参照カメラによる画像中では「エピポーラ・ライ
ン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ
（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基
準カメラの視線上に存在する限り、奥行きすなわち基準
カメラとの距離の大小に拘らず、基準画像上では同じ観
察点「ｍｂ」に現れる。これに対し、参照カメラによる
撮影画像上における点Ｐは、エピポーラ・ライン上に基
準カメラと観察点Ｐとの距離の大小に応じた位置にあら
われる。

【００４４】図５には、エピポーラ・ラインと、参照画
像中における観察点「ｍｂ」の対応を図解している。同
図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へ
と変化するに従って、参照画像中の観察点は「ｍ１」、
「ｍ２」、「ｍ３」へとシフトする。

【００４５】以上の幾何光学的性質を利用して、観察点
「ｍｂ」をエピポーラ・ライン上で探索することによ
り、点Ｐの距離を同定することができる。これが「ステ
レオ画像法」の基本的原理である。このような方法で画
面上のすべての画素についての三次元情報を取得する。
取得した三次元情報は画素ごとに対応した画素属性デー
タとして使用することが可能となる。

【００４６】上述のステレオ画像法は１台の基準カメラ
と１台の参照カメラとを用いた構成としたが、参照カメ
ラを複数用いたマルチベースラインステレオ（Ｍｕｌｔ
ｉＢａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値
を求めて、該評価値に基づいて画素ごとの三次元情報を
取得するように構成してもよい。マルチベースラインス
テレオ画像法は、１つの基準カメラと複数の参照カメラ
によって撮影される画像を用い、複数の参照カメラ画像
それぞれについて基準カメラ画像との相関を表す評価値
を求め、それぞれの評価値を加算し、その加算値を最終
的な評価値とするものである。このマルチベースライン
ステレオ画像法の詳細は、例えば「複数の基線長を利用
したステレオマッチング」、電子情報通信学会論文誌Ｄ
−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１
３１７−１３２７ １９９２年８月、に記載されてい
る。

【００４７】なお、上述のステレオ画像法は三次元情報
を取得する一つの手法にすぎず、本発明の物体抽出装置
において使用される三次元形状データ、距離情報はこの
ステレオ画像法によって取得されるデータに限らず、例
えば、物体からの光反射時間の測定、あるいは測定対象
に投影されたスリット状のパターン光の形状調査による
光切断法等によって得られるデータでもよく、各物体の
距離情報が含まれるデータであればよい。

【００４８】本発明の物体抽出装置における連続面抽出
部４０１は、受領した三次元形状データに基づく連続面
抽出処理を行なう。この連続面抽出処理について図６を
用いて説明する。

【００４９】連続面抽出部４０１が受領する三次元形状
データは、三次元形状データを生成する際に用いられた
三次元センサから見た距離画像として表現することがで
きる。距離画像とは、表示画像上の各画素における表示
要素の三次元データを各画素に対応づけて表示した画像
データである。

【００５０】連続面抽出部４０１は、距離画像につい
て、図６（ａ）に示すように、距離画像データ表示画面
上を左上から右方向へスキャンし、１ラインの右端に到
達すると、次のラインのスキャンを実行し、各画素の距
離情報を取得し連続面の判定を実行するとともにラベリ
ングを実行する。各画素位置は、スキャンライン方向を
ｉ、スキャンラインに直交する方向をｊとした座標点Ｐ
（ｉ，ｊ）として示される。

【００５１】距離画像を三次元空間に展開したデータの
一部を図６（ｂ）に示す。図６（ｂ）において、距離画
像におけるある計測ポイントＰ（ｉ，ｊ）と、その左側
の隣接する計測ポイントＰ（ｉ−１，ｊ）との距離ＤＬ
を求める。計測ポイントＰ（ｉｊ）の三次元座標を（ｘ
（ｉ，ｊ），ｙ（ｉ，ｊ），ｚ（ｉ，ｊ））とし、計測
ポイントＰ（ｉ−１，ｊ）の三次元座標を（ｘ（ｉ−
１，ｊ），ｙ（ｉ−１，ｊ），ｚ（ｉ−１，ｊ））する
と、計測ポイントＰ（ｉ，ｊ）と、その左側の隣接する
計測ポイントＰ（ｉ−１，ｊ）との距離ＤＬは、以下に
示す式（１）によって求められる。

【００５２】

【数１】

【００５３】連続面抽出部４０１は、上記式によって求
められた計測ポイントと左に隣接する計測ポイント間の
距離ＤＬと予め定められた閾値ＴＨとを比較し、距離Ｄ
Ｌが閾値ＴＨより小さいときは、計測ポイントＰ（ｉ，
ｊ）と、その左側の隣接する計測ポイントＰ（ｉ−１，
ｊ）とは連続する面であると判定する。

【００５４】連続面抽出部４０１において用いられる上
記の閾値ＴＨは、例えば、三次元センサのＸＹＺ方向の
分解能で最も大きい値を一辺とする立方体の対角線の長
さ、あるいは奥行き分解能の大きさなどを用いることが
でき、また、作業者が任意の閾値を設定することも可能
である。これらの閾値は予め設定され、連続面抽出部４
０１のアクセス可能な記憶手段に記憶保持されている。

【００５５】連続面抽出部４０１は、次に、計測ポイン
トＰ（ｉ，ｊ）と、その上側の隣接する計測ポイントＰ
（ｉ，ｊ−１）との距離ＤＵを求める。計測ポイントＰ
（ｉｊ）の三次元座標を（ｘ（ｉ，ｊ），ｙ（ｉ，
ｊ），ｚ（ｉ，ｊ））とし、計測ポイントＰ（ｉ，ｊ−
１）の三次元座標を（ｘ（ｉ，ｊ−１），ｙ（ｉ，ｊ−
１），ｚ（ｉ，ｊ−１））すると、計測ポイントＰ
（ｉ，ｊ）と、その上側の隣接する計測ポイントＰ
（ｉ，ｊ−１）との距離ＤＵは、以下に示す式（２）に
よって求められる。

【００５６】

【数２】

【００５７】連続面抽出部４０１は、上記式によって求
められた距離ＤＵと閾値ＴＨとを比較し、距離ＤＵが閾
値ＴＨより小さいときは、計測ポイントＰ（ｉ，ｊ）
と、その上側の隣接する計測ポイントＰ（ｉ，ｊ−１）
とは連続する面であると判定する。

【００５８】連続面抽出部４０１は、上記求められた２
つの距離ＤＬ，ＤＵを用いてラベリング処理を実行す
る。ラベリング処理は、ＤＬ，ＤＵと閾値ＴＨとの比較
において決定された隣接する計測ポイントの連続性、非
連続性に基づいて下記のように定められる。

【００５９】（１）左連続、上連続の場合、 ＊ＤＬ＜ＴＨ，かつＤＵ＜ＴＨの場合、 左側のポイントＰ（ｉ−１，ｊ）のラベル番号Ｌ（ｉ−
１，ｊ）と、上側のポイントＰ（ｉ，ｊ−１）のラベル
番号Ｌ（ｉ，ｊ−１）を比較して、小さいラベル番号を
計測ポイントＰ（ｉ，ｊ）のラベル番号とする。

【００６０】（２）左連続、上不連続の場合、 ＊ＤＬ＜ＴＨ，かつＤＵ≧ＴＨの場合、 左側のポイントＰ（ｉ−１，ｊ）のラベル番号Ｌ（ｉ−
１，ｊ）を計測ポイントＰ（ｉ，ｊ）のラベル番号とす
る。

【００６１】（３）左不連続、上連続の場合、 ＊ＤＬ≧ＴＨ，かつＤＵ＜ＴＨの場合、 上側のポイントＰ（ｉ，ｊ−１）のラベル番号Ｌ（ｉ，
ｊ−１）を計測ポイントＰ（ｉ，ｊ）のラベル番号とす
る。

【００６２】（４）左不連続、上不連続の場合、 ＊ＤＬ≧ＴＨ，かつＤＵ≧ＴＨの場合、 現計測ポイントＰ（ｉ，ｊ）のラベル番号Ｌ（ｉ，ｊ）
に新しい番号「Ｌａｂｅｌ」を代入し、「Ｌａｂｅｌ」
の値を１増加させる。

【００６３】上記（１）〜（４）のラベリング原則に基
づいて、各計測ポイントのラベリングを実行する。

【００６４】連続面抽出部４０１におけるラベリング処
理のフローを図７に示す。以下、図７の各ステップにつ
いて説明する。

【００６５】ステップ７０１は初期化処理を示す。計測
ポイントは図６（ａ）に示すようにポイントＰ（ｉ，
ｊ）の左上端ポイントＰ（０，０）からスキャン方向、
すなわちｉ増加方向に進み、右端に達したポイント、す
なわちｉ＝ＭＡＸのポイントでｊを１増加させて、次ラ
インを計測する。初期化ステップ７０１では、ｉ＝０，
ｊ＝０，ｌａｂｅｌ＝０，Ｌ（０，０）＝０の設定をす
る。

【００６６】ステップ７０２では、計測ポイントのｉ座
標が０であるか否か、ステップ７０３、７０４では、ｊ
座標が０であるか否かが判定される。ｉ＝０のポイント
は、最上ラインのポイントであることを意味し、上述し
た上側隣接点との距離ＤＵを求めることがてきない。ま
た、ｊ＝０のポイントは、左端のポイントであることを
意味し、上述した左側隣接点との距離ＤＬを求めること
がてきない。これ以外のポイントではＤＬ，ＤＵを求め
ることができる。このように計測ポイントの位置に応じ
て算出可能な距離情報が異なる。

【００６７】従って、これら３つの態様に応じてステッ
プ７０５〜７０７を実行する。ステップ７０５〜７０７
では、距離ＤＬ、距離ＤＵ値を計算、あるいは距離Ｄ
Ｌ、距離ＤＵ値の計測不能ポイントにおいては、ＤＬ，
ＤＵの値を閾値ＴＨに等しい値に設定する。

【００６８】ステップ７０８〜７１０は、距離ＤＬ、距
離ＤＵと閾値ＴＨとの大小比較による場合分けを実行す
るステップである。ステップ７０８、７０９が双方とも
Ｙｅｓの場合は、上述の（１）左連続、上連続の場合、
ＤＬ＜ＴＨ，かつＤＵ＜ＴＨの場合、に相当し、次のス
テップ７１１において、左側のポイントＰ（ｉ−１，
ｊ）のラベル番号Ｌ（ｉ−１，ｊ）と、上側のポイント
Ｐ（ｉ，ｊ−１）のラベル番号Ｌ（ｉ，ｊ−１）を比較
し、次のステップ７１２あるいはステップ７１３におい
て、小さい方のラベル番号を計測ポイントＰ（ｉ，ｊ）
のラベル番号とする。

【００６９】ステップ７０８がＹｅｓ、ステップ７０９
がＮｏの場合は、上述の（２）左連続、上不連続の場
合、ＤＬ＜ＴＨ，かつＤＵ≧ＴＨの場合に相当し、ステ
ップ７１４において、左側のポイントＰ（ｉ−１，ｊ）
のラベル番号Ｌ（ｉ−１，ｊ）を計測ポイントＰ（ｉ，
ｊ）のラベル番号とする。

【００７０】ステップ７０８がＮｏ、ステップ７１０が
Ｙｅｓの場合は、上述の（３）左不連続、上連続の場
合、ＤＬ≧ＴＨ，かつＤＵ＜ＴＨの場合に相当し、ステ
ップ７１５において、上側のポイントＰ（ｉ，ｊ−１）
のラベル番号Ｌ（ｉ，ｊ−１）を計測ポイントＰ（ｉ，
ｊ）のラベル番号とする。

【００７１】ステップ７０８がＮｏ、ステップ７１０が
Ｎｏの場合は、上述の（４）左不連続、上不連続の場
合、ＤＬ≧ＴＨ，かつＤＵ≧ＴＨの場合に相当し、ステ
ップ７１６において、現計測ポイントＰ（ｉ，ｊ）のラ
ベル番号Ｌ（ｉ，ｊ）に新しい番号「Ｌａｂｅｌ」を代
入し、「Ｌａｂｅｌ」の値を１増加させる。

【００７２】これらの処理の後、ステップ７１７でｉが
最大値に達したか、またステップ７１８でｊが最大値に
達したかを判定し、Ｎｏ場合はそれぞれステップ７１
９，７２０でｉ値、ｊ値を１増加させて、次の計測ポイ
ントのラベリングを行なう。

【００７３】以上のような処理フローを最終計測ポイン
ト：Ｐ（ＭＡＸ，ＭＡＸ）まで実行することにより、す
べての計測ポイントにおけるラベルが決定する。

【００７４】ただし、この処理フローで得られたラベル
番号は距離の大きいものから、または小さいものから順
に番号が並んだものとはならないので、距離に応じたラ
ベル番号を付与することが必要な場合は、設定されたラ
ベル番号と領域の対応を調べて、ラベル番号の変換を行
なうことが必要である。

【００７５】図４の対象領域選択部４０２において、作
業者による対象領域の選択処理が行なわれる。対象領域
選択部４０２では、ラベリング処理が終了した結果得ら
れるラベリングデータを距離画像に変換し、表示手段に
表示する。ラベリングデータを距離画像に変換した画像
の例を図８に示す。図８は図２に示す物体配置、三次元
センサ配置によって得られる三次元データに対して図７
のラベリング処理フローを実行した場合に得られるラベ
リングデータを距離画像に変換した画像である。

【００７６】図８で示す領域中、ラベル０は背景に対応
する。ラベル１は図２の壁２０３、ラベル２は計測対象
１，２０１、ラベル３が計測対象２，２０２に相当す
る。図８に示すようなラベリングデータを距離画像に変
換した画像を作業者に提示することで、作業者は同一の
ラベリングがなされた領域を容易に選択でき、その結果
として物体抽出が実行される。例えば切り出したい領域
を１つまたは複数選択する場合、その選択対象領域を１
つまたは複数の異なるラベル領域から選択して、その他
のラベル領域を削除する処理を行なうことにより、容易
に選択対象の物体抽出ができる。なお、作業者は特定の
ラベル領域を指定し、その後その抽出領域を三次元表示
するように選択することも可能である。

【００７７】図９に本実施例に係る物体抽出装置のハー
ドウェア構成例を示す。図９に示すハードウェア構成例
は、ハーソナルコンピュータ等のコンピュータ装置９０
１、表示部９０８、入力装置としてのマウス９０９、キ
ーボード９１０を有するシステムとして構成され、コン
ピュータ装置９０１は、ＣＰＵ９０２、ＲＯＭ９０３、
ＲＡＭ９０４、ディスプレイインタフェース９０５、入
力デバイスインタフェース９０６、記憶装置としてのＨ
ＤＤ９０７を有する。

【００７８】ＣＰＵ９０２は、物体抽出装置としての各
種処理動作を統括的に制御するメイン・コントローラで
あり、画像中の画素選択、比較処理その他、画像の各種
処理を実行する所定のアプリケーション・プログラムを
起動するユニットである。ＣＰＵ９０２は、例えば、図
４に示す連続面抽出部４０１、対象領域選択部４０２の
処理における制御をそれぞれの処理プログラムに従って
行なう。

【００７９】ＲＯＭ９０３は、恒久的なプログラムデー
タ、例えばＩＰＬ、自己診断プログラム（ＰＯＳＴ）、
ハードウェア入出力操作を実行するためのコード群（Ｂ
ＩＯＳ）等が格納されている。

【００８０】ＲＡＭ９０４は、ＣＰＵ９０２が実行プロ
グラム・コードをロードしたり、作業データを一時格納
するために使用される書き込み可能なメモリである。連
続面抽出、対象領域選択処理における必要データ、プロ
グラム等を一時的に格納するのに使用される。

【００８１】ディスプレイ・インタフェース９０５は、
表示部９０８の表示制御を行なう。ＣＰＵ９０２の制御
のもとに処理された画像データは例えば図８には示され
ていないが、ＶＲＡＭに一旦蓄積され、表示部９０８に
供給される。

【００８２】入力デバイスインタフェース９０６は、ユ
ーザからのマウス９０９、キーボード９１０を介して入
力されるデータ、コマンド入力などを受容するインタフ
ェース装置である。

【００８３】ハード・ディスク・ドライブ（ＨＤＤ）９
０７は、比較的大容量で再書き込み可能且つ不揮発の記
憶装置であり、データ・ファイルを蓄積したり、プログ
ラム・ファイルをインストールするために使用される。
データ・ファイルとしては、撮像された画像ファイル、
画像ファイルに対応する三次元形状データ、距離画像、
ラベリングデータ等である。プログラム・ファイルの例
は、ＣＰＵ９０２において実行される連続面抽出処理、
ラベリング処理、その他画像合成、距離画像表示アプリ
ケーション、ＣＧアプリケーションなどである。なお、
外部記憶装置としてはＨＤＤ以外にも、光ディスク、光
磁気ディスク等、様々な種類の記憶装置を使用すること
ができる。

【００８４】表示部９０８は、処理画像やコマンド入力
のためのメニューなど、作業画面をユーザに提示するた
めの装置であり、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔ
ｕｂｅ：冷陰極線管）ディスプレイやＬＣＤ（Ｌｉｑｕ
ｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示ディ
スプレイ）によって構成される。表示部９０８は距離画
像の表示、三次元画像の表示、ラベリングデータを距離
画像に変換した画像の表示等が行われる。

【００８５】ユーザからの入力は、座標指示形式でコマ
ンド入力を行うマウス９０９、キャラクタ・ベースでコ
マンド入力を行うキーボード９１０によって行われる。

【００８６】なお、本発明の物体抽出装置を実際に構成
するためには、図９に示した以外にも多くのハードウェ
ア・コンポーネントが必要である。ただし、これらは当
業者には周知であり、また、本発明の要旨を構成するも
のでもないので本明細書では省略している。また、図面
の錯綜を回避するために図中の各ハードウェア・ブロッ
ク間の接続も抽象化して示している点を了承されたい。

【００８７】［実施例２］上述の実施例１では、連続面
の判定に際して隣接する計測ポイントの三次元的な距離
を求める構成を説明したが、より簡易な方法で連続面抽
出を実行する方法として隣接する計測ポイントの奥行き
方向のみの差を求めてこの差に基づいて連続面の判定を
行なう構成を、本発明の物体抽出装置の実施例２として
説明する。

【００８８】実施例２の物体抽出装置の機能ブロック
図、ハードウェア構成は実施例１と同様であり、これら
を参照して、実施例２を説明する。実施例２に係る物体
抽出装置の連続面抽出部４０１は、隣接する計測ポイン
トの奥行き方向のみの差を求める。

【００８９】連続面抽出部４０１は、実施例１と同様、
距離画像として表現することができる三次元形状データ
を受領し、距離画像について、図６（ａ）に示すよう
に、距離画像データ上を左上から右方向へスキャンす
る。距離画像におけるある計測ポイントＰ（ｉ，ｊ）
と、その左側の隣接する計測ポイントＰ（ｉ−１，ｊ）
との距離ＤＬは、奥行き方向の距離、すなわち図６
（ｂ）におけるＺ軸方向の距離として求める。距離ＤＬ
は、以下に示す式（３）によって求められる。

【００９０】

【数３】

【００９１】連続面抽出部４０１は、上記式によって求
められた距離ＤＬと予め定められた閾値ＴＨとを比較
し、距離ＤＬが閾値ＴＨより小さいときは、計測ポイン
トＰ（ｉ，ｊ）と、その左側の隣接する計測ポイントＰ
（ｉ−１，ｊ）とは連続する面であると判定する。

【００９２】上記の閾値ＴＨは、例えば、三次元センサ
の奥行き分解能をことができ、また、作業者が任意の閾
値を設定することも可能である。これらの閾値は予め設
定され、連続面抽出部４０１のアクセス可能な記憶手段
に記憶保持されている。

【００９３】連続面抽出部４０１は、次に、計測ポイン
トＰ（ｉ，ｊ）と、その上側の隣接する計測ポイントＰ
（ｉ，ｊ−１）との距離ＤＵを奥行き方向の距離、すな
わち図６（ｂ）におけるＺ軸方向の距離として求める。
距離ＤＵは、以下に示す式（４）によって求められる。

【００９４】

【数４】

【００９５】連続面抽出部４０１は、上記式によって求
められた距離ＤＵと閾値ＴＨとを比較し、距離ＤＵが閾
値ＴＨより小さいときは、計測ポイントＰ（ｉ，ｊ）
と、その上側の隣接する計測ポイントＰ（ｉ，ｊ−１）
とは連続する面であると判定する。

【００９６】連続面抽出部４０１は、上記２つの距離Ｄ
Ｌ，ＤＵを用いてラベリング処理を実行する。ラベリン
グ処理は、ＤＬ，ＤＵと閾値ＴＨとの比較において決定
された隣接する計測ポイントの連続性、非連続性に基づ
いて行われ、実施例１で説明した図７に示す処理フロー
に従った処理である。

【００９７】この実施例２に係る物体抽出装置は、三次
元空間への展開を行なわずに、近似的に実施例１と同様
の効果が得られることである。従って、連続面での領域
分割、作業者による領域選択等、すべての処理が距離画
像を用いて実行でき、演算量の減少、ユーザインタフェ
ースの簡素化が達成される。

【００９８】［実施例３］上述の実施例１、実施例２で
は、すべての計測ポイント、すなわちＰ（０，０）から
Ｐ（ＭＡＸ，ＭＡＸ）までをラベリングして、その結果
を用いて必要な連続領域を切り出すことによって物体抽
出を行なう構成を説明したが、抽出したい物体の一部を
マウス等のポインティングデバイスで指定するだけで、
その物体の連続領域を切り出す構成を、本発明の物体抽
出装置の実施例３として説明する。

【００９９】実施例３の物体抽出装置の機能ブロック
図、ハードウェア構成は実施例１，２と同様であり、こ
れらを参照して、実施例３を説明する。実施例３に係る
物体抽出装置の連続面抽出部４０２は、作業者の指定す
る抽出したい物体の一部を示す位置データを受領する。
作業者は、例えば図９に示すマウス９０９等のポインテ
ィングデバイスで表示部に表示された画像、例えば三次
元画像データ、あるいは距離画像から特定のポイントＰ
（Ｉ，Ｊ）を指定する。

【０１００】連続面抽出部４０２は、指示のあったポイ
ントＰ（Ｉ，Ｊ）の属する連続領域のみを抽出する。図
１０は、三次元計測データをＸＹＺ空間に展開したデー
タの一部を示すものである。図１０のポイントＰ（ｉ，
ｊ）が作業者が指定したポイントＰ（Ｉ，Ｊ）であった
とすると、連続面抽出部４０２は、ポイントＰ（ｉ，
ｊ）を起点として、ポイントＰ（ｉ，ｊ）と上下左右の
４方向の隣接計測ポイントとの連続性を調べ、順次計測
ポイントを移動させながら連続性を調査し、連続なポイ
ントのみを抽出し、抽出された連続なポイントについて
さらに周囲４方向のポイントとの連続性調査を進める構
成であり、いわゆる４連結法を用いたラベリングであ
る。

【０１０１】図１１、１２に本実施例３の物体抽出装置
における連続面抽出部４０２の実行するラベリング処理
フローを示す。

【０１０２】図１１のステップ１１０１は計測ポイント
Ｐ（ｉ，ｊ）を、ユーザの指示ポイントＰ（Ｉ，Ｊ）に
初期設定するステップであり、ステップ１１０２はポイ
ントＰ（ｉ，ｊ）と上下左右の４方向の隣接計測ポイン
トとの連続性を調べる４連結チェックルーチンを実行す
るステップである。４連結チェックルーチンの詳細は図
１２に示す通りである。

【０１０３】図１２に示す４連結チェックルーチンにつ
いて説明する。ステップ１２０１〜１２０６は計測ポイ
ントＰ（ｉ，ｊ）とその上に隣接するポイントＰ（ｉ，
ｊ−１）との連続性を調査するステップであり、ステッ
プ１２０７〜１２１２は計測ポイントＰ（ｉ，ｊ）とそ
の左に隣接するポイントＰ（ｉ−１，ｊ）との連続性を
調査するステップであり、ステップ１２１３〜１２１８
は計測ポイントＰ（ｉ，ｊ）とその下に隣接するポイン
トＰ（ｉ，ｊ＋１）との連続性を調査するステップであ
り、ステップ１２１９〜１２２４は計測ポイントＰ
（ｉ，ｊ）とその右に隣接するポイントＰ（ｉ＋１，
ｊ）との連続性を調査するステップである。

【０１０４】ステップ１２０１〜１２０６について説明
する。ステップ１２０１は計測ポイントＰ（ｉ，ｊ）の
上に隣接するポイントＰ（ｉ，ｊ−１）が未ラベルであ
るかを判定する。すでにラベルが付与されている場合
は、Ｎと判定され、次のステップであるステップ１２０
７に進む。未ラベルであれば、ステップ１２０２に進
み、上のポイントＰ（ｉ，ｊ−１）が計測範囲であるか
否かが判定される。例えば計測ポイントＰ（ｉ，ｊ）が
取得画像の上端ラインである場合は、さらに上のポイン
トにはデータが存在せず、計測範囲でない（すなわち
Ｎ）と判定され、次のステップであるステップ１２０７
に進む。

【０１０５】上のポイントＰ（ｉ，ｊ−１）が未ラベル
であり、計測範囲である場合には、ステップ１２０３に
進み、計測ポイントＰ（ｉ，ｊ）と上に隣接するポイン
トＰ（ｉ，ｊ−１）との連続性が判定される。

【０１０６】この連続性判定は、以下に示す式（５）に
よって求められる距離ＤＵが閾値ＴＨより小であるか否
かによって決定する。距離ＤＵは、計測ポイントＰ（ｉ
ｊ）の三次元座標を（ｘ（ｉ，ｊ），ｙ（ｉ，ｊ），ｚ
（ｉ，ｊ））とし、上の隣接ポイントＰ（ｉ，ｊ−１）
の三次元座標を（ｘ（ｉ，ｊ−１），ｙ（ｉ，ｊ−
１），ｚ（ｉ，ｊ−１））したとき、以下の式（５）に
よって求められる。

【０１０７】

【数５】

【０１０８】連続面抽出部４０１は、上記式によって求
められた距離ＤＵと予め定められた閾値ＴＨとを比較
し、距離ＤＵが閾値ＴＨより小さいときは、計測ポイン
トＰ（ｉ，ｊ）と、その上側の隣接計測ポイントＰ
（ｉ，ｊ−１）とは連続する面であると判定（ステップ
１２０３でＹｅｓ）し、ステップ１２０４に進み、上側
の隣接計測ポイントＰ（ｉ，ｊ−１）のラベルＬ（ｉ，
ｊ−１）を計測ポイントＰ（ｉ，ｊ）のラベルＬ（ｉ，
ｊ）と同一とする。

【０１０９】上記の閾値ＴＨは、例えば、三次元センサ
のＸＹＺ方向の分解能で最も大きい値を一辺とする立方
体の対角線の長さを使ったり、奥行き分解能の大きさな
どを使うことができ、また、作業者が任意の閾値を設定
することも可能である。これらの閾値は予め設定され、
連続面抽出部４０１のアクセス可能な記憶手段に記憶保
持されている。

【０１１０】さらに、ステップ１２０３で、計測ポイン
トを上に移動、すなわちＰ（ｉ，ｊ−１）に移動し、ス
テップ１２０６において同様の４連結チェックルーチン
を実行する。ここではＰ（ｉ，ｊ−１）について上下左
右の測定ポイントとの比較が実行される。

【０１１１】ステップ１２０１、ステップ１２０２にお
いて上に隣接するポイントにすでにラベルが付与されて
いる場合、あるいは上に隣接するポイントが計測範囲で
ないと判定されると、ステップ１２０７に進み、計測ポ
イントＰ（ｉ，ｊ）と左のポイントＰ（ｉ−１，ｊ）と
の連続性が判定される。以下、同様にステップ１２１３
〜１２１８において、計測ポイントＰ（ｉ，ｊ）とその
下に隣接するポイントＰ（ｉ，ｊ＋１）との連続性、ス
テップ１２１９〜１２２４において、計測ポイントＰ
（ｉ，ｊ）とその右に隣接するポイントＰ（ｉ＋１，
ｊ）との連続性が判定される。これらの判定処理は、ス
テップ１２０１〜１２０６と同様であり、説明を省略す
る。

【０１１２】計測ポイントＰ（ｉ，ｊ）と左のポイント
Ｐ（ｉ−１，ｊ）との連続性判定ステップであるステッ
プ１２０９においては、以下に示す式（６）の距離ＤＬ
と閾値ＴＨとの比較が行なわれ、距離ＤＬが閾値ＴＨよ
り小さいときには連続であると判定される。下の計測ポ
イントとの比較においては式（７）の距離ＤＤと閾値Ｔ
Ｈとの比較、右の計測ポイントとの比較においては式
（８）の距離ＤＲと閾値ＴＨとの比較が実行される。

【０１１３】

【数６】

【０１１４】この図１２に示すフローは、ステップ１２
０１，１２０２，１２０７，１２０８，１２１３，１２
１４，１２１９，１２２０の判定がすべてＮとなったと
き終了する。この４連結チェックルーチンを実行するこ
とにより、ユーザが最初に指定し、起点となったＰ
（Ｉ，Ｊ）を含む連続領域のみが抽出される。

【０１１５】すなわち、ユーザが最初に指定した計測ポ
イントＰ（Ｉ，Ｊ）を起点として、閾値ＴＨより小さい
４方向の隣接ポイントのみを抽出して連続領域を決定す
るルーチンが図１２に示す４連結チェックルーチンであ
る。

【０１１６】この実施例３の物体抽出手法に従えば測定
領域すべての連続性を調査する必要がなく、作業者の指
定したポイントを含む連続領域のみを効率的に抽出する
ことが可能となるので、余分な連続性比較処理を実行す
ることがなく、物体抽出の高速処理が可能となる。

【０１１７】なお、上述の実施例３では上下左右の４つ
の隣接ポイントを比較対象とする４連結法を用いたが、
計測ポイントの上下左右のみではなく左上、左下、右
上、右下の隣接計測ポイントとの比較処理も実行する８
連結法を用いて連続面抽出を行なうことも可能である。

【０１１８】さらに実施例３で説明した４連結法を実施
例１，２の計測全領域のラベリングに用いることも可能
である。例えば、距離画像におけるある物体中の１つの
起点Ｐ（Ｉ１，Ｊ１）から図１２に示すフローを実行す
ることによって１つの連続領域：Ｏｂｊ１の抽出を実行
する。

【０１１９】さらに、抽出された連続領域：Ｏｂｊ１に
含まれないポイントを次の計測ポイントの起点Ｐ（Ｉ
２，Ｊ２）として選択し、起点Ｐ（Ｉ２，Ｊ２）から、
新たに図１２に示すフローを実行することによって、連
続領域：Ｏｂｊ１と異なる別の新たな連続領域：Ｏｂｊ
２の抽出を行なう。これらの処理を繰り返し行なうこと
で距離画像に含まれるすべての計測範囲の連続領域抽出
が実行される。また、これらの連続領域抽出処理を並列
に、すなわち複数の起点を選択して実行すれば、さらに
高速の連続面抽出が可能となる。

【０１２０】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。また、各実施例を相互に組み合わせた態様
についても本発明の要旨に含まれるものである。本発明
の要旨を判断するためには、冒頭に記載した特許請求の
範囲の欄を参酌すべきである。

【０１２１】

【発明の効果】以上詳記したように、本発明によれば、
例えば三次元センサから得られた三次元情報に基づい
て、三次元空間に存在する特定の物体を抽出する作業に
おける作業者の手作業を削減し、連続面を自動的に認識
して効率的に対象物の抽出を実行可能な物体抽出装置、
物体抽出方法、およびプログラム提供媒体を提供するこ
とができる。

【０１２２】さらに、本発明は、三次元空間上の隣接す
る測定ポイントに存在する計測点同士の距離を閾値と比
較することにより隣接ポイントの連続性を順次、判定し
て領域分けを自動的に実行するように構成したので、作
業者の手を煩わせることなく物体抽出を可能とした物体
抽出装置、物体抽出方法、およびプログラム提供媒体を
提供することができる。

【０１２３】さらに、本発明は、画像上の任意の点を起
点として、隣接する測定ポイントに存在する計測点同士
の距離を閾値と比較し、隣接ポイントの連続性を判定
し、連続面のみを抽出して、順次、連続領域のみの判定
を実行して連続面のみの抽出を実行するように構成した
ので、不連続な不要な領域の連続性判定を省略すること
が可能となり、高速な物体抽出の可能な物体抽出装置、
物体抽出方法、およびプログラム提供媒体を提供するこ
とができる。

【図面の簡単な説明】

【図１】図１は、距離画像を用いた従来の物体抽出方法
を説明する図である。

【図２】図２は、三次元空間に配置された複数の物体と
三次元センサの配置例、および距離区間の対応について
説明した図である。

【図３】図３は、図２の物体配置構成において、各種の
距離区間を設定した場合における物体の抽出態様を説明
した図である。

【図４】図４は、本発明の物体抽出装置における第１実
施例の機能構成を中心として示したブロック図である。

【図５】図５は、本発明の物体抽出装置において使用さ
れる三次元情報取得構成として適用可能なステレオ法に
ついて説明した図である。

【図６】図６は、本発明の物体抽出装置における第１実
施例の連続面抽出の方法について説明する図である。

【図７】図７は、本発明の物体抽出装置における第１実
施例の連続面抽出の処理フローを説明する図である。

【図８】図８は、本発明の物体抽出装置における連続面
抽出によるラベリング処理の結果得られる画像例を示す
図である。

【図９】図９は、本発明の物体抽出装置における第１実
施例のハードウェア構成例を示したブロック図である。

【図１０】図１０は、本発明の物体抽出装置における第
２実施例の連続面抽出の方法について説明する図であ
る。

【図１１】図１１は、本発明の物体抽出装置における第
２実施例の連続面抽出の処理フローを説明する図（その
１）である。

【図１２】図１２は、本発明の物体抽出装置における第
２実施例の連続面抽出の処理フローを説明する図（その
２）である。

【符号の説明】

４０１…連続面抽出部 ４０２…対象領域選択部 ９０１…コンピュータ ９０２…ＣＰＵ ９０３…ＲＯＭ ９０４…ＲＡＭ ９０５…ディスプレイ・インタフェース ９０６…入力デバイス・インタフェース ９０７…ハードディスクドライブ ９０８…表示部 ９０９…マウス ９１０…キーボード

フロントページの続き (72)発明者 呉 偉国 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 芦ヶ原 隆之 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 2F065 AA04 AA21 AA53 BB05 FF05 FF09 JJ03 JJ05 JJ26 PP01 QQ00 QQ23 QQ24 QQ25 QQ28 SS02 SS13 2F112 AC06 BA05 CA08 FA19 FA50 5B057 DA06 DB03 DB05 DB09 DC02 DC22 5L096 FA66 GA14 GA15 GA51

Claims (21)

【特許請求の範囲】
1. 【請求項１】三次元情報に基づいて、画像中から連続面
   領域を構成する物体の抽出を実行する物体抽出装置にお
   いて、 三次元情報に含まれる計測ポイント中の隣接する２つの
   計測ポイント間の２点間距離情報を算出し、該算出した
   ２点間距離情報と予め定めた閾値との比較処理を実行
   し、前記２点間距離情報が前記閾値より小であるとの判
   定に基づいて該隣接する計測ポイント同士が連続性を有
   する連続面領域であると識別する連続面抽出手段を有す
   ることを特徴とする物体抽出装置。
2. 【請求項２】前記２点間距離情報は、前記三次元情報に
   基づいて得られる前記隣接する２つの計測ポイントの三
   次元座標から算出される三次元的距離であることを特徴
   とする請求項１に記載の物体抽出装置。
3. 【請求項３】前記２点間距離情報は、前記三次元情報に
   基づいて得られる前記隣接する２つの計測ポイントの三
   次元座標から算出されるＺ軸方向の距離である奥行き方
   向距離であることを特徴とする請求項１に記載の物体抽
   出装置。
4. 【請求項４】前記連続面抽出手段は、異なる連続面領域
   を識別するラベルを前記計測ポイントに対応して付与す
   るラベリング処理を実行する構成を有し、連続性を有す
   る連続面領域であると識別された２つの計測ポイント各
   々には同一のラベルを付与するラベリング処理を実行す
   る構成を有することを特徴とする請求項１に記載の物体
   抽出装置。
5. 【請求項５】前記画像は、三次元情報に基づいて得られ
   る距離画像であり、 前記連続面抽出手段は、前記距離画像に含まれる計測ポ
   イントについて、 該計測ポイントと上方向に隣接する上方隣接計測ポイン
   トとの２点間距離情報ＤＵと前記閾値との比較処理に基
   づいて該計測ポイントと上方隣接計測ポイントとの連続
   性を判定するとともに、 該計測ポイントと左方向に隣接する左方隣接計測ポイン
   トとの２点間距離情報ＤＬと前記閾値との比較処理に基
   づいて該計測ポイントと左方隣接計測ポイントとの連続
   性を判定し、 前記２点間距離情報ＤＬ、ＤＵのいずれか一方のみが前
   記閾値より小である場合は、該閾値より小の隣接計測ポ
   イントと同一ラベルを前記計測ポイントのラベルとして
   付与し、 前記２点間距離情報ＤＬ、ＤＵのいずれもが前記閾値よ
   り小でない場合は、新たなラベルを前記計測ポイントの
   ラベルとして付与し、 前記２点間距離情報ＤＬ、ＤＵがいずれも前記閾値より
   小である場合は、前記上方向、左方向の識別ラベルのい
   ずれか一方のラベルを選択ラベルとし、前記計測ポイン
   トのラベルとして付与するとともに、前記選択ラベルと
   異なる前記上方向、左方向いずれかの非選択ラベルと同
   一のラベルが付与された計測ポイントのラベルを選択ラ
   ベルに変更する処理を実行する構成を有することを特徴
   とする請求項１に記載の物体抽出装置。
6. 【請求項６】前記画像は、三次元情報に基づいて得られ
   る距離画像であり、 前記連続面抽出手段は、前記距離画像に含まれる計測ポ
   イントについて該計測ポイントの上方向に隣接する上方
   隣接計測ポイントとの２点間距離情報ＤＵ、 該計測ポイントの左方向に隣接する上方隣接計測ポイン
   トとの２点間距離情報ＤＬ、 該計測ポイントの下方向に隣接する上方隣接計測ポイン
   トとの２点間距離情報ＤＤ、 該計測ポイントの右方向に隣接する上方隣接計測ポイン
   トとの２点間距離情報ＤＲ、 の各々と前記閾値との比較処理に基づいて該計測ポイン
   トと上下左右４方向の各隣接計測ポイントとの連続性を
   判定し、 連続性有りと判定された隣接計測ポイントを次の計測ポ
   イントとして、さらに上下左右４方向の各隣接計測ポイ
   ントとの連続性を判定する処理を順次繰り返す４連結法
   により連続面抽出を実行する構成を有することを特徴と
   する請求項１に記載の物体抽出装置。
7. 【請求項７】前記連続面抽出手段は、抽出対象物体を示
   す画像の任意の点を前記計測ポイントの起点として、順
   次隣接計測ポイントとの連続性を判定し連続面抽出を実
   行する構成を有することを特徴とする請求項６に記載の
   物体抽出装置。
8. 【請求項８】前記連続面抽出手段は、三次元情報に基づ
   いて得られる距離画像に含まれる計測ポイントについて
   該計測ポイントの周囲８つの隣接計測ポイントとの連続
   性を判定し、 連続性有りと判定された隣接計測ポイントを次の計測ポ
   イントとして、さらに周囲８つの隣接計測ポイントとの
   連続性を判定する処理を順次繰り返す８連結法により連
   続面抽出を実行する構成を有することを特徴とする請求
   項１に記載の物体抽出装置。
9. 【請求項９】前記連続面抽出手段は、抽出対象物体を示
   す画像の任意の点を前記計測ポイントの起点として、順
   次隣接計測ポイントとの連続性を判定し連続面抽出を実
   行する構成を有することを特徴とする請求項８に記載の
   物体抽出装置。
10. 【請求項１０】前記計測ポイントの各々は、前記画像に
    含まれる画素に対応づけられ、隣接する計測ポイントは
    隣接する画素に対応するものであることを特徴とする請
    求項１に記載の物体抽出装置。
11. 【請求項１１】三次元情報に基づいて、画像中から連続
    面領域を構成する物体の抽出を実行する物体抽出方法に
    おいて、 三次元情報に含まれる計測ポイント中の隣接する２つの
    計測ポイント間の２点間距離情報を算出する２点間距離
    情報算出ステップと、 算出した２点間距離情報と予め定めた閾値との比較処理
    を実行する比較処理ステップと、 前記２点間距離情報が前記閾値より小であるとの判定に
    基づいて該隣接する計測ポイント同士が連続性を有する
    連続面領域であると識別する連続面領域識別ステップ
    と、 を有することを特徴とする物体抽出方法。
12. 【請求項１２】前記２点間距離情報算出ステップにおい
    て用いる２点間距離情報は、前記三次元情報に基づいて
    得られる前記隣接する２つの計測ポイントの三次元座標
    から算出される三次元的距離であることを特徴とする請
    求項１１に記載の物体抽出方法。
13. 【請求項１３】前記２点間距離情報算出ステップにおい
    て用いる２点間距離情報は、前記三次元情報に基づいて
    得られる前記隣接する２つの計測ポイントの三次元座標
    から算出されるＺ軸方向の距離である奥行き方向距離で
    あることを特徴とする請求項１１に記載の物体抽出方
    法。
14. 【請求項１４】前記物体抽出方法において、さらに、 異なる連続面領域を識別するラベルを前記計測ポイント
    に対応して付与するラベリング処理ステップを有し、該
    ラベリング処理ステップは、前記連続面領域識別ステッ
    プにおいて連続性を有する連続面領域であると識別され
    た２つの計測ポイント各々に同一のラベルを付与するこ
    とを特徴とする請求項１１に記載の物体抽出方法。
15. 【請求項１５】前記２点間距離情報算出ステップは、 三次元情報に基づいて得られる距離画像に含まれる計測
    ポイントについて計測ポイントと上方向に隣接する上方
    隣接計測ポイントとの２点間距離情報ＤＵを算出するス
    テップと、 該計測ポイントと左方向に隣接する左方隣接計測ポイン
    トとの２点間距離情報ＤＬを算出するステップとを含
    み、 前記比較処理ステップは、 前記２点間距離情報ＤＵと前記閾値との比較処理を実行
    するステップと、 前記２点間距離情報ＤＬと前記閾値との比較処理を実行
    するステップとを含み、 前記連続面領域識別ステップは、 前記比較処理ステップにおける比較結果に基づいて前記
    計測ポイントと左方隣接計測ポイント、および上方隣接
    計測ポイントとの連続性を判定するとともに、 該計測ポイントと上方向に隣接する上方隣接計測ポイン
    トとの２点間距離情報ＤＵと前記閾値との比較処理に基
    づいて該計測ポイントと上方隣接計測ポイントとの連続
    性を判定するとともに、 該計測ポイントと左方向に隣接する左方隣接計測ポイン
    トとの２点間距離情報ＤＬと前記閾値との比較処理に基
    づいて該計測ポイントと左方隣接計測ポイントとの連続
    性を判定し、 前記２点間距離情報ＤＬ、ＤＵのいずれか一方のみが前
    記閾値より小である場合は、該閾値より小の隣接計測ポ
    イントと同一ラベルを前記計測ポイントのラベルとして
    付与し、 前記２点間距離情報ＤＬ、ＤＵのいずれもが前記閾値よ
    り小でない場合は、新たなラベルを前記計測ポイントの
    ラベルとして付与し、 前記２点間距離情報ＤＬ、ＤＵがいずれも前記閾値より
    小である場合は、前記上方向、左方向の識別ラベルのい
    ずれか一方のラベルを選択ラベルとし、前記計測ポイン
    トのラベルとして付与するとともに、前記選択ラベルと
    異なる前記上方向、左方向いずれかの非選択ラベルと同
    一のラベルが付与された計測ポイントのラベルを選択ラ
    ベルに変更する処理を実行することを特徴とする請求項
    １１に記載の物体抽出方法。
16. 【請求項１６】前記２点間距離情報算出ステップは、 三次元情報に基づいて得られる距離画像に含まれる計測
    ポイントについて該計測ポイントの上方向に隣接する上
    方隣接計測ポイントとの２点間距離情報ＤＵ、 該計測ポイントの左方向に隣接する上方隣接計測ポイン
    トとの２点間距離情報ＤＬ、 該計測ポイントの下方向に隣接する上方隣接計測ポイン
    トとの２点間距離情報ＤＤ、 該計測ポイントの右方向に隣接する上方隣接計測ポイン
    トとの２点間距離情報ＤＲ、 を算出し、 前記比較処理ステップは、 前記２点間距離情報算出ステップにおいて算出された２
    点間距離情報ＤＵ、ＤＬ、ＤＤ、ＤＲの各々と前記閾値
    との比較処理を実行し、 前記連続面領域識別ステップは、 前記比較処理ステップにおける比較結果に基づいて前記
    計測ポイントと上下左右各隣接計測ポイントとの連続性
    を判定し、 連続性有りと判定された隣接計測ポイントを次の計測ポ
    イントとして、さらに上下左右４方向の各隣接計測ポイ
    ントとの連続性を判定する処理を順次繰り返す４連結法
    により連続面抽出を実行することを特徴とする請求項１
    １１に記載の物体抽出方法。
17. 【請求項１７】抽出対象物体を示す画像の任意の点を前
    記計測ポイントの起点として設定する起点設定ステップ
    を有し、 前記２点間距離情報算出ステップは、前記起点設定ステ
    ップにおいて設定されたポイントを最初の計測ポイント
    として、順次隣接計測ポイントとの連続性を判定し連続
    面抽出を実行することを特徴とする請求項１６に記載の
    物体抽出方法。
18. 【請求項１８】前記物体抽出方法は、三次元情報に基づ
    いて得られる距離画像に含まれる計測ポイントについて
    該計測ポイントの周囲８つの隣接計測ポイントとの連続
    性を判定し、 連続性有りと判定された隣接計測ポイントを次の計測ポ
    イントとして、さらに周囲８つの隣接計測ポイントとの
    連続性を判定する処理を順次繰り返す８連結法により連
    続面抽出を実行することを特徴とする請求項１１に記載
    の物体抽出方法。
19. 【請求項１９】抽出対象物体を示す画像の任意の点を前
    記計測ポイントの起点として設定する起点設定ステップ
    を有し、 前記２点間距離情報算出ステップは、前記起点設定ステ
    ップにおいて設定されたポイントを最初の計測ポイント
    として、順次隣接計測ポイントとの連続性を判定し連続
    面抽出を実行することを特徴とする請求項１８に記載の
    物体抽出方法。
20. 【請求項２０】前記計測ポイントの各々は、前記画像に
    含まれる画素に対応づけられ、隣接する計測ポイントは
    隣接する画素に対応することを特徴とする請求項１１に
    記載の物体抽出方法。
21. 【請求項２１】三次元情報に基づいて物体抽出処理を実
    行するための処理をコンピュータ・システム上で実行せ
    しめるコンピュータ・プログラムを有形的に提供するプ
    ログラム提供媒体であって、前記コンピュータ・プログ
    ラムは、 三次元情報に含まれる計測ポイント中の隣接する２つの
    計測ポイント間の２点間距離情報を算出する２点間距離
    情報算出ステップと、 算出した２点間距離情報と予め定めた閾値との比較処理
    を実行する比較処理ステップと、 前記２点間距離情報が前記閾値より小であるとの判定に
    基づいて該隣接する計測ポイント同士が連続性を有する
    連続面領域であると識別する連続面領域識別ステップ
    と、 を有することを特徴とするプログラム提供媒体。