JP2001145125A

JP2001145125A - ３次元画像検出装置

Info

Publication number: JP2001145125A
Application number: JP32147299A
Authority: JP
Inventors: Kiyoshi Yamamoto; 山本　　清
Original assignee: Asahi Kogaku Kogyo Co Ltd
Current assignee: Pentax Corp
Priority date: 1999-11-11
Filing date: 1999-11-11
Publication date: 2001-05-25
Anticipated expiration: 2019-11-11
Also published as: JP4413342B2

Abstract

(57)【要約】【課題】画素毎に被写体までの距離を検出する３次元
画像検出装置において、撮影画像中の目的被写体以外の
物体をその物体の平面形状に基づいて除去し、目的とす
る被写体の３次元形状に関するデータのみを抽出する。【解決手段】各画素値が被写体までの距離情報に対応
している３次元画像と、各画素値が被写体の視覚的な情
報に対応している２次元画像とを検出する。３次元画像
から、各画素に対応する被写体の座標データを算出す
る。２次元画像をタッチパネルが配設されたＬＣＤパネ
ル３７に表示し、被写体である樽Ｏａを載せた台Ｏｂに
対応する部分の３つの画素Ａ、Ｂ、Ｃをポインティング
ペンなどにより指定する。指定された画素に対応する被
写体の座標データから、台Ｏｂの上面に関する平面の式
を求める。求めらた平面から所定の距離内にある座標デ
ータを除き、目的とする被写体の座標データのみを得
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光伝播時間測定法
を用いて被写体の３次元形状等を検出する３次元画像検
出装置に関する。

【０００２】

【従来の技術】従来、被写体までの距離を画素毎に検出
する３次元画像検出装置としては、「Measurement Scie
nce and Technology」（S. Christie 他、vol.6, p1301
-1308,1995 年）に記載されたものや、国際公開97/0111
1号公報に開示されたものなどが知られている。これら
の３次元画像検出装置では、パルス変調されたレーザ光
が被写体に照射され、その反射光が２次元ＣＣＤセンサ
によって受光され、電気信号に変換される。このとき２
次元ＣＣＤと組み合わされたメカニカルまたは液晶素子
等からなる電気工学的シャッタの１回のシャッタ動作に
より、被写体までの距離に相関する電気信号をＣＣＤの
各画素毎に検出することができる。この電気信号からＣ
ＣＤの各画素毎に対応する被写体までの距離が、画像情
報として検出される。

【０００３】

【発明が解決しようとする課題】しかし、検出された被
写体までの画像情報には、検出の目的となる被写体を配
置するための台や背景となる壁面など、目的とする被写
体以外の物体の画像情報も含まれる。したがって、目的
とする被写体の３次元形状に関するデータのみを抽出す
るには、画像情報から得られる３次元形状に関するデー
タの中から、これら不要な物体に対応するデータを削除
しなければならない。

【０００４】本発明は、画素毎に被写体までの距離情報
を検出して得られる撮影画像全体の３次元形状に関する
情報の中から、目的とする被写体に関する情報のみを簡
単に抽出可能な３次元画像検出装置を得ることを目的と
している。

【０００５】

【課題を解決するための手段】本発明の３次元画像検出
装置は、被写体までの距離情報を画素毎に検出する３次
元画像検出手段と、距離情報から各画素に対応する被写
体表面上の点の３次元的な位置を表す位置データを生成
する３次元データ生成手段と、３次元画像検出手段によ
り撮影された空間内の平面を指定するための平面指定手
段と、平面の情報に基づいて位置データの一部を除去す
るデータ除去手段とを備えることを特徴としている。

【０００６】好ましくは平面指定手段において、平面は
３つの画素に対応する被写体表面上の点により指定され
る。

【０００７】３次元画像検出装置は好ましくは、被写体
の視覚情報である２次元画像を検出する２次元画像検出
手段と、２次元画像を表示するための画像表示手段と、
画像表示手段に表示された画像の任意の画素を指定する
ための入力手段とを備える。これにより、オペレーター
は容易に不要な物体に対応する平面を指定することがで
きる。

【０００８】例えば、平面を指定するための３つの画素
の各々は、入力手段により指定される。あるいは、平面
を指定するための３つの画素のうち２つの画素が入力手
段により指定され、残りの画素は入力手段により指定さ
れた２つの画素の一方から所定方向へ所定距離離れた画
素であってもよい。更に、平面を指定するための３つの
画素のうち１つの画素が入力手段により指定され、残り
の２つの画素は入力手段により指定された画素から各々
所定方向へ所定距離離れた画素であってもよい。

【０００９】３次元画像検出装置は好ましくは、データ
除去手段により一部のデータが除去された位置データを
記録媒体に記録可能である。このときより好ましくは、
データ除去手段により、一部のデータが除去された位置
データに対応する２次元画像を記録媒体に記録可能であ
る。

【００１０】好ましくは、各位置データから平面と各画
素に対応する被写体表面上の点の距離を求め、この距離
に基づいてデータの除去を行なう。

【００１１】好ましくは位置データは、３次元画像検出
装置を基準とした座標系の座標値である。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明の第１の実施形態
であるカメラ型の画像検出装置の斜視図である。

【００１３】カメラ本体１０の前面において、撮影レン
ズ１１の左上にはファインダ窓１２ａが設けられ、右上
にはストロボ１３が設けられている。カメラ本体１０の
上面において、撮影レンズ１１の真上には、測距光であ
るレーザ光を照射する発光装置１４が配設されている。
発光装置１４の左側にはレリーズスイッチ１５、液晶表
示パネル１６が設けられ、右側にはモード切替ダイヤル
１７が設けられている。カメラ本体１０の側面には、Ｉ
Ｃメモリカード等の記録媒体を挿入するためのカード挿
入口１９が形成され、また、ビデオ出力端子２０、イン
ターフェースコネクタ２１が設けられている。カメラ本
体１０の背面（図１４参照）には画像表示ＬＣＤパネル
（画像表示部）３７が設けられており、ＬＣＤパネル３
７の表面には、透明なタッチパネル（タッチセンサ）２
３（図２参照）がシート状に重ねて配設されている。ま
たＬＣＤパネル３７の上方にはファインダー窓（接眼
側）１２ｂ（図１４参照）が設けられている。

【００１４】図２は図１に示すカメラの回路構成を示す
ブロック図である。撮影レンズ１１の中には絞り２５が
設けられている。絞り２５の開度はアイリス駆動回路２
６によって調整される。撮影レンズ１１の焦点調節動作
およびズーミング動作はレンズ駆動回路２７によって制
御される。

【００１５】撮影レンズ１１の光軸上には撮像素子（Ｃ
ＣＤ）２８が配設されている。ＣＣＤ２８の撮像面に
は、撮影レンズ１１によって被写体像が形成され、これ
によりＣＣＤ２８において被写体像に対応した電荷が発
生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読
出動作等の動作はＣＣＤ駆動回路３０によって制御され
る。ＣＣＤ２８から読み出された電荷信号すなわち画像
信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２
においてアナログ信号からデジタル信号に変換される。
デジタルの画像信号は撮像信号処理回路３３においてガ
ンマ補正等の処理を施され、画像メモリ３４に一時的に
格納される。アイリス駆動回路２６、レンズ駆動回路２
７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシス
テムコントロール回路３５によって制御される。

【００１６】画像信号は画像メモリ３４から読み出さ
れ、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路
３６は画像信号に応じて動作し、これにより画像表示Ｌ
ＣＤパネル３７には、画像信号に対応した画像が表示さ
れる。また、システムコントロール回路３５には、タッ
チパネル２３が接続されており、ＬＣＤパネル３７の画
面の特定の位置をポインティングペン（図１４参照）で
触れると、触れられた点のタッチパネル２３上の位置が
検出され、対応するＬＣＤパネル３７の画素を検出する
ことができる。

【００１７】カメラをカメラ本体１０の外部に設けられ
たモニタ装置３９とケーブルで接続すれば、画像メモリ
３４から読み出された画像信号はＴＶ信号エンコーダ３
８、ビデオ出力端子２０を介してモニタ装置３９に伝送
可能である。またシステムコントロール回路３５はイン
ターフェース回路４０に接続されており、インターフェ
ース回路４０はインターフェースコネクタ２１に接続さ
れている。したがってカメラをカメラ本体１０の外部に
設けられたコンピュータ４１とインターフェースケーブ
ル４１を介して接続すれば、画像メモリ３４から読み出
された画像信号をコンピュータに伝送可能である。ま
た、システムコントロール回路３５は、記録媒体制御回
路４２を介して画像記録装置４３に接続されている。し
たがって画像メモリ３４から読み出された画像信号は、
画像記録装置４３に装着されたＩＣメモリカード等の記
録媒体Ｍに記録可能である。

【００１８】発光装置１４は発光素子１４ａと照明レン
ズ１４ｂにより構成され、発光素子１４ａの発光動作は
発光素子制御回路４４によって制御される。発光素子１
４ａはレーザダイオード（ＬＤ）であり、照射されるレ
ーザ光は被写体の距離を検出するための測距光として用
いられる。このレーザ光は照明レンズ１４ｂを介して被
写体の全体に照射される。被写体で反射したレーザ光が
撮影レンズ１１に入射し、ＣＣＤ２８で検出されること
により被写体までの距離情報が検出される。

【００１９】システムコントロール回路３５には、レリ
ーズスイッチ１５、モード切替ダイヤル１７から成るス
イッチ群４５と、液晶表示パネル（表示素子）１６とが
接続されている。

【００２０】計測（撮影）の目的となる被写体を配置す
るための台や、その後方にある壁面など、目的となる被
写体の背景と考えられる物体の３次元形状は、通常平面
的な形状である。したがって、背景と考えられる平面に
関するデータを検出された画像全体に対するデータの中
から除去することにより、目的とする被写体に関するデ
ータを抽出することができる。

【００２１】図３は、本実施形態において実行される平
面除去処理プログラムのフローチャートである。図３を
参照して、本実施形態における平面除去処理について説
明する。

【００２２】平面除去処理のプログラムは、レリーズス
イッチ１５が全押しされることにより起動される。ステ
ップ１０１では、２次元画像の検出が行われる。すなわ
ちＣＣＤ２８において通常のビデオ制御が行われ、被写
体の視覚情報に対応した画像データが検出される。検出
された画像データは、２次元画像データとして画像メモ
リ３４に一時的に記憶される。ステップ１０２では、被
写体の距離情報に対応した３次元画像の検出が行われ、
３次元画像データとして画像メモリ３４に一時的に記憶
される。

【００２３】ステップ１０３では、ステップ１０２にお
いて検出された３次元画像データに基づいて被写体の３
次元座標データが算出され画像メモリ３４に一時的に記
憶される。すなわち各画素に対応する被写体の３次元座
標が、例えばカメラを基準とする座標系で表される。

【００２４】ステップ１０４では、ステップ１０１にお
いて検出された２次元画像が画像表示ＬＣＤパネル３７
に表示される。ステップ１０５では、オペレーターがＬ
ＣＤパネル３７に表示された２次元画像を参照しなが
ら、ＬＣＤパネル３７に設けられたタッチパネル２３と
ポインティングペン６０等（図１４参照）の入力装置を
用いて、ＬＣＤパネル３７上の３点（画素）を指定する
ことにより（図１５参照）、削除すべき平面を指定す
る。ステップ１０６では、指定された平面から所定の距
離内にある３次元座標データが検出され、画像メモリ３
４から削除される。すなわち、ステップ１０２において
画像メモリ３４に一時的に記憶された３次元座標データ
は、システムコントロール回路３５に読み出され、指定
された平面から所定の距離内にある３次元座標データを
除いたデータのみが再び画像メモリ３４に記憶される。

【００２５】ステップ１０７では、ステップ１０６にお
いて削除された３次元画像データに対応する画素の画素
値が０に設定され、ＬＣＤパネル３７に表示される。こ
れによりＬＣＤパネル３７には、指定された平面が削除
された２次元画像が表示される。ステップ１０８では、
不要な平面が削除された被写体の３次元座標データが記
録媒体Ｍに保存され、この平面除去処理のプログラムは
終了する。なお、このとき３次元画像データの削除に対
応してその画素値が０に設定された２次元画像データも
同時に記録媒体Ｍに保存されている。

【００２６】次に図４および図５を参照して、本実施形
態において実行される距離測定の原理について説明す
る。なお図５において横軸は時間ｔである。

【００２７】距離測定装置Ｂから出力された測距光は被
写体Ｓにおいて反射し、図示しないＣＣＤによって受光
される。測距光は所定のパルス幅Ｈを有するパルス状の
光であり、したがって被写体Ｓからの反射光も、同じパ
ルス幅Ｈを有するパルス状の光である。また反射光のパ
ルスの立ち上がりは、測距光のパルスの立ち上がりより
も時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反
射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを
進んだことになるから、その距離ｒはｒ＝δ・ｔ・Ｃ／２・・・（１）により得られる。ただしＣは光速である。

【００２８】例えば測距光のパルスの立ち上がりから反
射光を検知可能な状態に定め、反射光のパルスが立ち下
がる前に検知不可能な状態に切換えるようにすると、す
なわち反射光検知期間Ｔを設けると、この反射光検知期
間Ｔにおける受光量Ａは距離ｒの関数である。すなわち
受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大
きくなるほど）小さくなる。

【００２９】本実施形態では上述した原理を利用して、
ＣＣＤ２８に設けられ、２次元的に配列された複数のフ
ォトダイオードにおいてそれぞれ受光量Ａを検出するこ
とにより、カメラ本体１０から被写体Ｓの表面の各点ま
での距離をそれぞれ検出し、被写体Ｓの表面形状に関す
る距離情報を３次元画像データとして一括して入力して
いる。

【００３０】図６は、ＣＣＤ２８に設けられるフォトダ
イオード５１と垂直転送部５２の配置を示す図である。
図７は、ＣＣＤ２８を基板５３に垂直な平面で切断して
示す断面図である。このＣＣＤ２８は従来公知のインタ
ーライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ
（縦型オーバーフロードレイン）方式を用いたものであ
る。

【００３１】フォトダイオード５１と垂直転送部５２は
ｎ型基板５３の面に沿って形成されている。フォトダイ
オード５１は２次元的に格子状に配列され、垂直転送部
５２は所定の方向（図６において上下方向）に１列に並
ぶフォトダイオード５１に隣接して設けられている。垂
直転送部５２は、１つのフォトダイオード５１に対して
４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを
有している。したがって垂直転送部５２では、４つのポ
テンシャルの井戸が形成可能であり、従来公知のよう
に、これらの井戸の深さを制御することによって、信号
電荷をＣＣＤ２８から出力することができる。なお、垂
直転送電極の数は目的に応じて自由に変更できる。

【００３２】基板５３の表面に形成されたｐ型井戸の中
にフォトダイオード５１が形成され、ｐ型井戸とｎ型基
板５３の間に印加される逆バイアス電圧によってｐ型井
戸が完全空乏化される。この状態において、入射光（被
写体からの反射光）の光量に応じた電荷がフォトダイオ
ード５１において蓄積される。基板電圧Ｖsub を所定値
以上に大きくすると、フォトダイオード５１に蓄積した
電荷は、基板５３側に掃出される。これに対し、転送ゲ
ート部５４に電荷転送信号（電圧信号）が印加されたと
き、フォトダイオード５１に蓄積した電荷は垂直転送部
５２に転送される。すなわち電荷掃出信号によって電荷
を基板５３側に掃出した後、フォトダイオード５１に蓄
積した信号電荷が、電荷転送信号によって垂直転送部５
２側に転送される。このような動作を繰り返すことによ
り、垂直転送部５２において信号電荷が積分され、いわ
ゆる電子シャッタ動作が実現される。

【００３３】図８は、３次元画像データを検出するため
にステップ１０２において実行される３次元画像検出動
作のタイミングチャートであり、図１、図２、図６〜図
８を参照して本実施形態における３次元画像検出動作に
ついて説明する。なお本実施形態の３次元画像検出動作
では、図５を参照して行なった距離測定の原理の説明と
は異なり、外光の影響による雑音を低減するために測距
光のパルスの立ち下がりから反射光を検知可能な状態に
定め、反射光のパルスが立ち下がった後に検知不可能な
状態に切換えるようにタイミングチャートを構成してい
るが原理的には何ら異なるものではない。

【００３４】垂直同期信号（図示せず）の出力に同期し
て電荷掃出し信号（パルス信号）Ｓ１が出力され、これ
によりフォトダイオード５１に蓄積していた不要電荷が
基板５３の方向に掃出され、フォトダイオード５１にお
ける蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出し
信号Ｓ１の出力の開始の後、一定のパルス幅を有するパ
ルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力さ
れる期間（パルス幅）は調整可能であり、図示例では、
電荷掃出し信号Ｓ１の出力と同時に測距光Ｓ３がオフす
るように調整されている。

【００３５】測距光Ｓ３は被写体において反射し、ＣＣ
Ｄ２８に入射する。すなわちＣＣＤ２８によって被写体
からの反射光Ｓ４が受光されるが、電荷掃出し信号Ｓ１
が出力されている間は、フォトダイオード５１において
電荷は蓄積されない（符号Ｓ２）。電荷掃出し信号Ｓ１
の出力が停止されると、フォトダイオード５１では、反
射光Ｓ４の受光によって電荷蓄積が開始され、反射光Ｓ
４と外光とに起因する信号電荷Ｓ５が発生する。反射光
Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１で
は、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、
外光のみに起因する電荷蓄積が継続する（符号Ｓ８）。

【００３６】その後、電荷転送信号Ｓ９が出力される
と、フォトダイオード５１に蓄積された電荷が垂直転送
部５２に転送される。この電荷転送は、電荷転送信号の
出力の終了（符号Ｓ１０）によって完了する。すなわ
ち、外光が存在するためにフォトダイオード５１では電
荷蓄積が継続するが、電荷転送信号の出力が終了するま
でフォトダイオード５１に蓄積されていた信号電荷Ｓ１
１が垂直転送部５２へ転送される。電荷転送信号の出力
終了後に蓄積している電荷Ｓ１４は、そのままフォトダ
イオード５１に残留する。

【００３７】このように電荷掃出し信号Ｓ１の出力の終
了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ
_U1の間、フォトダイオード５１には、被写体までの距離
に対応した信号電荷が蓄積される。そして、反射光Ｓ４
の受光終了（符号Ｓ６）までフォトダイオード５１に蓄
積している電荷が、被写体の距離情報と対応した信号電
荷Ｓ１２（斜線部）として垂直転送部５２へ転送され、
その他の信号電荷Ｓ１３は外光のみに起因するものであ
る。

【００３８】電荷転送信号Ｓ９の出力から一定時間が経
過した後、再び電荷掃出し信号Ｓ１が出力され、垂直転
送部５２への信号電荷の転送後にフォトダイオード５１
に蓄積された不要電荷が基板５３の方向へ掃出される。
すなわち、フォトダイオード５１において新たに信号電
荷の蓄積が開始する。そして、上述したのと同様に、電
荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部
５２へ転送される。

【００３９】このような信号電荷Ｓ１１の垂直転送部５
２への転送動作は、次の垂直同期信号が出力されるま
で、繰り返し実行される。これにより垂直転送部５２に
おいて、信号電荷Ｓ１１が積分され、１フィールドの期
間（２つの垂直同期信号によって挟まれる期間）に積分
された信号電荷Ｓ１１は、その期間被写体が静止してい
ると見做せれば、被写体までの距離情報に対応してい
る。なお信号電荷Ｓ１３は信号電荷Ｓ１２に比べ微小で
あるため信号電荷Ｓ１１は信号電荷Ｓ１２と等しいと見
なすことができる。

【００４０】以上説明した信号電荷Ｓ１１の検出動作は
１つのフォトダイオード５１に関するものであり、全て
のフォトダイオード５１においてこのような検出動作が
行なわれる。１フィールドの期間における検出動作の結
果、各フォトダイオード５１に隣接した垂直転送部５２
の各部位には、そのフォトダイオード５１によって検出
された距離情報が保持される。この距離情報は垂直転送
部５２における垂直転送動作および図示しない水平転送
部における水平転送動作によって３次元画像データとし
てＣＣＤ２８から出力される。

【００４１】次に図１、図２、図８及び３次元画像検出
動作のフローチャートである図９を参照して本実施形態
における３次元画像検出動作について説明する。

【００４２】ステップ２０１では、垂直同期信号が出力
されるとともに測距光制御が開始される。すなわち発光
装置１４が駆動され、パルス状の測距光Ｓ３が断続的に
出力される。次いでステップ２０２が実行され、ＣＣＤ
２８による検知制御が開始される。すなわち図８を参照
して説明した３次元画像検出動作が開始され、電荷掃出
信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離
情報の信号電荷Ｓ１１が垂直転送部５２において積分さ
れる。

【００４３】ステップ２０３では、３次元画像検出動作
の開始から１フィールド期間が終了したか否か、すなわ
ち新たに垂直同期信号が出力されたか否かが判定され
る。１フィールド期間が終了するとステップ２０４へ進
み、垂直転送部５２において積分された距離情報の信号
電荷がＣＣＤ２８から出力される。この信号電荷はステ
ップ２０５において画像メモリ３４に一時的に記憶され
る。

【００４４】ステップ２０６では測距光制御がオフ状態
に切換えられ、発光装置１４の発光動作が停止する。ス
テップ２０７では、距離データの演算処理が行なわれ、
ステップ２０８において、演算された距離データが３次
元画像データとして画像メモリ３４に一時的に記憶され
る。これにより、ステップ１０２において実行される３
次元画像検出動作は終了する。

【００４５】次に３次元画像検出動作のステップ２０７
において実行される演算処理の内容を図８を参照して説
明する。

【００４６】反射率Ｒの被写体が照明され、この被写体
が輝度Ｉの２次光源と見做されてＣＣＤに結像された場
合を想定する。このとき、電荷蓄積時間ｔの間にフォト
ダイオードに発生した電荷が積分されて得られる出力Ｓ
ｎは、Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）で表される。ここでｋは比例定数で、撮影レンズのＦナ
ンバーや倍率等によって変化する。

【００４７】図８に示されるように電荷蓄積時間を
Ｔ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の信号電
荷Ｓ１２のパルス幅をＴ_Dとし、１フィールド期間中の
その電荷蓄積時間がＮ回繰り返されるとすると、得られ
る出力ＳＭ₁₀は、ＳＭ₁₀＝Σｋ・Ｒ・Ｉ・Ｔ_D ＝ｋ・Ｎ・Ｒ・Ｉ・Ｔ_D ・・・（３）となる。なお、パルス幅Ｔ_DはＴ_D＝δ・ｔ＝２ｒ／Ｃ・・・（４）と表せる。このとき被写体までの距離ｒはｒ＝Ｃ・ＳＭ₁₀／（２・ｋ・Ｎ・Ｒ・Ｉ）・・・（５）で表せる。したがって比例定数ｋ、反射率Ｒ、輝度Ｉを
予め求めておけば距離ｒが求められる。

【００４８】次にステップ１０３において算出される３
次元座標データの演算処理について図１０〜図１３を参
照して説明する。

【００４９】図１０は、カメラの撮影光学系における焦
点Ｐ_fを座標原点に取ったカメラ座標系ｘｙｚとＣＣＤ
２８上の任意の点Ｐ（画素）と、それに対応する被写体
表面上の点Ｑとの関係を模式的に示している。ｙ軸は光
軸Ｌｐに一致しており、ｚ軸はＣＣＤ２８の垂直軸に並
行に取られ、その向きは上向きである。またｘ軸はＣＣ
Ｄ２８の水平軸に並行にとられている。点Ｐ_cはＣＣＤ
２８の受光面と光軸Ｌｐの交点であり、受光面の中心に
一致する。点ＱはＣＣＤ２８上の点Ｐの画素に対応する
被写体上の点であり、その座標は（ｘ_Q，ｙ_Q，ｚ_Q）
である。平面Πは点Ｑを含むＣＣＤ２８に平行な平面で
ある。点Ｑ_Cは光軸Ｌｐ（ｙ軸）と平面Πの交点であ
り、その座標は（０，ｙ_Q，０）である。

【００５０】図１１は、ＣＣＤ２８の受光面を正面から
見た図である。ＣＣＤ２８の水平、垂直方向の長さはそ
れぞれ２×Ｈ₀、２×Ｖ₀である。点ＰはＣＣＤ２８の
中心Ｐ_Cから左へＨ_P、上へＶ_Pの距離にある。点Ｐ_H
は、点ＰからＣＣＤ２８の水平軸Ｌ_Hへ下ろした垂線の
足である。また点Ｐ_Vは、点ＰからＣＣＤ２８の垂直軸
Ｌ_Vへ下ろした垂線の足である。

【００５１】図１２は、焦点Ｐ_fとＣＣＤ２８との関係
を焦点Ｐ_fとＣＣＤ２８の水平軸Ｌ _Hを含む平面上で表
したものであり、角Θ₀は水平画角、ｆは焦点距離であ
る。線分Ｐ_fＰ_Hが光軸Ｌｐとなす角をΘ_Pとすると、
角Θ_Pは、 Θ_P＝ｔａｎ^-1（Ｈ_p／ｆ）・・・（６）によって求められる。

【００５２】図１３は、焦点Ｐ_fとＣＣＤ２８との関係
を焦点Ｐ_fとＣＣＤ２８の垂直軸Ｌ _Vを含む平面上で表
したものであり、角θ₀は垂直画角である。線分Ｐ_fＰ
_Vが光軸Ｌｐとなす角をθ_Pとすると、角θ_Pは、 θ_P＝ｔａｎ^-1（Ｖ_p／ｆ）・・・（７）によって求められる。

【００５３】焦点Ｐ_fと点Ｐを結ぶ線分Ｐ_fＰの長さ
は、線分Ｐ_fＰ_Hと線分Ｐ_CＰ_Vの長さから、Ｐ_fＰ＝（Ｐ_fＰ_H ²＋Ｐ_CＰ_V ²）^1/2 ・・・（８）によって求められる。ここで、（８）式のＰ_fＰ_H、Ｐ
_CＰ_Vは、Ｐ_CＰ_V＝Ｖ_P、Ｐ_fＰ_H＝ｆ／ｃｏｓΘ_P なので、Ｐ_fＰ＝（（ｆ／ｃｏｓΘ_P）²＋Ｖ_P ²）^1/2 ・・・（９）と表すことができる。

【００５４】線分Ｐ_fＱの長と、線分Ｐ_fＰの長さの比
Ｐ_fＰ／Ｐ_fＱをμとすると、点Ｑの座標成分ｘ_Q、ｙ
_Q、ｚ_Qは、ｘ_Q＝Ｈ_P／μ ・・・（１０）ｙ_Q＝Ｖ_P／μ ・・・（１１）ｚ_Q＝ｆ／μ ・・・（１２）で算出される。焦点距離ｆおよびＣＣＤ２８の任意の画
素に対応する点Ｐまでの距離Ｈ_P、Ｖ_Pは既知である。
また、線分Ｐ_fＱの長さは、焦点Ｐ_fから点Ｐに対応す
る被写体の点Ｑまでの距離であり、焦点距離ｆは既知な
ので、図９のステップ２７の演算処理の結果である距離
情報に基づいて算出可能である。点Ｐは、ＣＣＤ２８の
１つの画素を代表したものであり、上述の計算はＣＣＤ
２８の全ての画素に対して可能である。したがって、任
意の画素（点Ｐ）に対応する被写体（点Ｑ）のカメラを
基準とした３次元座標（ｘ_Q，ｙ_Q，ｚ_Q）が算出可能
である。

【００５５】次に図１４、図１５を参照してステップ１
０５において実行される撮影画像中の背景に対応する平
面を指定する方法について説明する。

【００５６】図１４は、カメラの背面図であり、ＬＣＤ
パネル３７等のカメラ背面での配置を示している。ＬＣ
Ｄパネル３７には目的被写体である樽Ｏａと、樽Ｏａを
載せた平面状の台Ｏｂの２次元画像が表示されている。
オペレーターは、ポインティングペン６０を用いて画面
上の平面（台）Ｏｂに対応し、同一直線状にない任意の
３点（画素）を指定する。図１５は、図１４のＬＣＤパ
ネル３７の画面を抜き出して描いたものであり、平面Ｏ
ｂに対応する３つの画素Ａ、Ｂ、Ｃが順番にポインティ
ングペン６０により指定された状態を表している。

【００５７】各画素に対応する被写体の３次元座標はス
テップ１０３において算出されているので、画素Ａ、
Ｂ、Ｃが指定されると、それぞれ対応する被写体の３次
元座標が得られる。画素Ａ、Ｂ、Ｃは、台（平面）Ｏｂ
上の点に対応しているので、この３点から台Ｏｂに対応
する平面が決定される。

【００５８】次にステップ１０６において実行される背
景の分離処理、すなわち背景と考えられる平面に対応す
るデータを目的とする被写体に対応するデータから分離
し除去する方法について図１０、図１５〜図１８を参照
して説明する。図１６はステップ１０６において実行さ
れる背景分離処理プログラムのサブルーチンのフローチ
ャートである。

【００５９】ステップ３０１では、ステップ１０５にお
いて指定された画素（点）Ａ、Ｂ、Ｃの３次元座標から
台Ｏｂに対応する平面の式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０が
求められる。画素（点）Ａ、Ｂ、Ｃに対応する被写体の
３次元座標（位置ベクトル）をそれぞれ（ｘ_a，ｙ_a，
ｚ_a）、（ｘ_b，ｙ_b，ｚ_b）、（ｘ_c，ｙ_c，ｚ_c）
とすると、この３点を含む平面の法線ベクトルＳ
（ｘ_s，ｙ_s，ｚ_s）は、点Ａから点ＢへのベクトルＭ
（ｘ_m，ｙ_m，ｚ_m）と、点Ｂから点ＣへのベクトルＮ
（ｘ_n，ｙ_n，ｚ_n）との外積Ｍ×Ｎによって次のよう
に求められる。（ｘ_s，ｙ_s，ｚ_s）＝Ｍ×Ｎ＝（ｙ_mｚ_n−ｚ_mｙ_n，ｚ_mｘ_n−ｘ_mｚ_n，ｘ_mｙ_n−ｙ_mｘ_n）・・・（１３）（ｘ_m，ｙ_m，ｚ_m）＝（ｘ_b−ｘ_a，ｙ_b−ｙ_a，ｚ_b−ｚ_a）・・・（１４）（ｘ_n，ｙ_n，ｚ_n）＝（ｘ_c−ｘ_b，ｙ_c−ｙ_b，ｚ_c−ｚ_b）・・・（１５）

【００６０】このとき、台Ｏｂに対応する平面の式は、
法線ベクトルＳを用いて、ｘ_sｘ＋ｙ_sｙ＋ｚ_sｚ＋ｄ＝０・・・（１６）のように表すことができる。このとき（ａ，ｂ，ｃ）＝
（ｘ_s，ｙ_s，ｚ_s）であり、ｄは、（１６）式にＡ、
Ｂ、Ｃの３点のうちの何れかの座標を代入することによ
り求められる。例えば（１６）式の（ｘ，ｙ，ｚ）に点
Ａの座標を代入すれば、ｄ＝−（ｘ_sｘ_a＋ｙ_sｙ_a＋ｚ_sｚ_a）・・・（１７）と求められる。

【００６１】ステップ３０２〜ステップ３１０では、Ｃ
ＣＤ２８の各画素に対応する被写体の３次元座標データ
のうち、ステップ３０１において求められた平面から所
定の距離内にある３次元座標データが削除される。すな
わち、画像メモリ３４に記憶された３次元座標データが
システムコントロール回路３５に読み出され、ＣＣＤ２
８の左からＩ番目、上からＪ番目の画素であるＰ（Ｉ，
Ｊ）に対応する被写体上の点Ｑ（図１０参照）の３次元
座標（ｘ_Q，ｙ_Q，ｚ_Q）が、ステップ３０１において
求められた平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０から所定の距
離内にあるか否かが判定される。各画素Ｐ（Ｉ，Ｊ）の
うち平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０から所定の距離より
も離れているときのみ、データは画像メモリ３４に再び
記憶される。

【００６２】ステップ３０２及びステップ３０３では、
Ｊ及びＩの初期値１がそれぞれ設定される。ステップ３
０４では、画素Ｐ（Ｉ，Ｊ）に対応する点Ｑ（ｘ_Q，ｙ
_Q，ｚ_Q）と平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０との間の距
離Ｌが、

【数１】により求められる。ステップ３０５ではステップ３０４
で求められた距離Ｌが所定の距離であるＬ_maxよりも大
きいか否かが判定される。大きいと判定されると（例え
ば図１７の点Ｐ₁）、ステップ３０６において画素Ｐ
（Ｉ，Ｊ）に対応する３次元座標データが画像メモリ３
４に記憶され、ステップ３０７に移る。一方ステップ３
０５において、距離Ｌが所定の距離Ｌ_max以下であると
判定されると（例えば図１７の点Ｐ₂）、データが画像
メモリ３４に記憶されることなくステップ３０７に移
る。ステップ３０７では、変数Ｉが水平画素数Ｉ_endに
等しいか否かが判定され、Ｉ_endに達していなければス
テップ３０８において、Ｉに１が加算されステップ３０
４に再び戻る。ステップ３０７においてＩ＝Ｉ_endと判
定されれば、ステップ３０９において変数Ｊが垂直画素
数Ｊ_endに等しいか否かが判定される。ＪがＪ_endに達
していなければステップ３１０においてＪに１が加算さ
れ、再びステップ３０３に戻る。ステップ３０９におい
てＪ＝Ｊ_endと判定されれば、この背景分離処理のサブ
ルーチンは終了する。これにより画像メモリ３４には、
図１８のように樽Ｏａに対応する３次元座標データのみ
が記憶され、台（平面）Ｏｂに対応する３次元座標デー
タは除去される。

【００６３】以上のように第１の実施形態によれば、目
的とする被写体を配置するための台や背景となる壁面な
どの平面状の不要物体に関する３次元座標データを、目
的とする被写体に関する３次元座標データから分離除去
することができる。また、オペレーターは、被写体の視
覚的な画像である２次元画像中において、除去しようと
考える平面に対応した３つの画素を指定することによ
り、簡単にこれらの処理を行なうことができる。

【００６４】次に図１９を参照して本発明の第２の実施
形態であるカメラ型の画像検出装置について説明する。
第２の実施形態であるカメラ型の画像検出装置は、除去
する平面の指定方法が第１の実施形態と異なるだけで、
その他の構成は第１の実施形態と何ら異ならない。

【００６５】第１の実施形態ではＬＣＤパネル３７に表
示された２次元画像において、除去しようと考える平面
の３つの点に対応する３つの画素Ａ、Ｂ、Ｃをオペレー
ターがポインティングペン６０などを用いて指定するこ
とにより除去すべき平面を指定した。しかし第２の実施
形態では、オペレーターは除去しようと考える平面の２
つの点に対応する２つの画素Ａ、Ｂのみを指定する。そ
の後画素Ｃ１、Ｃ２が自動的に選択され、これらの画素
により選択される平面が決定される。

【００６６】画素Ｃ１、Ｃ２を自動的に選択する場合、
除去しようとする平面以外の物体に対応した画素を選択
してしまう可能性がある。第２の実施形態では、自動的
に選択された画素が、指定しようとする平面の点に対応
しているか否か、次のような方法で判定される。

【００６７】まずオペレーターは、ＬＣＤパネル３７に
表示された２次元画像において画素Ａを指定し、その後
画素Ｂを指定する。このとき、画素Ｃ１、Ｃ２が自動的
に選ばれる。Ｃ１、Ｃ２は例えば３つの線分ＢＡ、線分
ＢＣ１、線分ＢＣ２がそれぞれ１２０度となり、かつ線
分ＢＣ１、線分ＢＣ２が所定の長さとなるように選択さ
れる。その後、画素Ａ、Ｂ、Ｃ１の組と画素Ａ、Ｂ、Ｃ
２の組とによってそれぞれ指定される平面の式が求めら
れる。求められた２つ平面の式が同一であるとき、選択
された画素Ｃ１、Ｃ２は除去しようとする平面内の点に
対応する画素であると判定され、これらの画素により決
定される平面を除去する平面とする。同一平面でないと
きには、再び画素Ａ、Ｂの選択を行なう。

【００６８】求められた平面の式が同一であるか否か
は、画素Ａ、Ｂ、Ｃ１の組と画素Ａ、Ｂ、Ｃ２の組それ
ぞれにより指定された平面の法線ベクトルが同一方向ま
たは反対方向を向いているか否で判定される。この判定
は、各組において求められた法線ベクトルに関する単位
ベクトルの内積が±１であるか否かで判定することがで
きる。すなわち、内積が＋１または−１のとき、選択さ
れた画素Ｃ１、Ｃ２は除去しようとする平面内の点に対
応する画素であると判定される。

【００６９】以上のように第２の実施形態によれば、第
１の実施形態と同様の効果が得られる。また、平面の指
定に２点（画素）のみを指定すればよいのでオペレータ
ー第１の実施形態よりも簡単に平面の指定が行なえる。

【００７０】なお第２の実施形態において、線分ＢＣ
１、ＢＣ２の長さは所定値として与えられていたが、例
えば画素Ｂを指定した後、画素Ｂを中心とした任意の半
径の円をオペレーターが指定することにより、その長さ
を与えてもよい。

【００７１】次に図２０を参照して本発明の第３の実施
形態であるカメラ型の画像検出装置について説明する。
第３の実施形態であるカメラ型の画像検出装置は、除去
する平面の指定方法が第１及び第２の実施形態と異なる
だけで、その他の構成は第１及び第２の実施形態と何ら
異ならない。

【００７２】第１の実施形態ではＬＣＤパネル３７に表
示される２次元画像において、除去しようと考える平面
の３つの点に対応する３つの画素Ａ、Ｂ、Ｃをオペレー
ターが指定した。また、第２の実施形態では、オペレー
ターは除去しようと考える平面の２つの点に対応する２
つの画素Ａ、Ｂのみを指定し、画素Ｃ１、Ｃ２は自動的
に選択された。これに対して第３の実施形態では、オペ
レーターは除去しようと考える平面の１つの点に対応す
る画素Ａのみを指定する。画素Ａが指定された後、画素
Ｂ１、Ｂ２と画素Ｃ１、Ｃ２とが画素Ａを対称軸として
点対称となる位置に自動的に選択される。第２の実施形
態と同様に、画素Ａ、Ｂ１、Ｃ１の組と、画素Ａ、Ｂ
２、Ｃ２の組で指定される平面が同一であるか否かで、
選択された画素、Ｂ１、Ｂ２、Ｃ１、Ｃ２の適否が判定
される。２つの平面が同一であるか否かの判定方法は、
第２の実施形態と同様であり、それぞれの法線ベクトル
に関する単位ベクトルによって行われる。

【００７３】以上により、第３の実施形態においても第
１及び第２の実施形態と同様の効果が得られる。また第
３の実施形態では、オペレーターはＬＣＤパネル３７上
の１つの画素を選択すればよいので、第１及び第２の実
施形態よりも簡単に平面の指定を行なうことができる。

【００７４】なお、本実施形態では、除去する平面を指
定する際にタッチパネルとポインティングペンを用いて
画素を指定したが、トラックボールなどの入力装置を用
いて画面上のカーソルを操作し画素の指定を行なっても
よい。

【００７５】本実施形態では、指定された平面に関する
データを除去するとき、指定された平面からの距離のみ
に基づいて各画素に対応するデータが除去されるか否か
が判定された。しかし、式（１８）の分母において絶対
値をとらず、Ｌの正負の符号をも含めて画素Ｐ（Ｉ，
Ｊ）に対応するデータを除去するか否かを判定してもよ
い。すなわち、指定された平面の表裏も考慮して判定を
行ない、例えば平面により二分された３次元空間のう
ち、一方の側に含まれる点に関するデータのみを除去す
るようにしてもよい。

【００７６】

【発明の効果】以上のように本発明によれば、画素毎に
被写体までの距離情報を検出して得られる撮影画像全体
の３次元形状に関する情報の中から、目的とする被写体
に関する情報のみを簡単に抽出可能な３次元画像検出装
置を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態であるカメラ型の測距
装置の斜視図である。

【図２】図１に示すカメラの回路構成を示すブロック図
である。

【図３】本実施形態における平面除去処理プログラムの
フローチャートである。

【図４】測距光による距離測定の原理を説明するための
図である。

【図５】測距光、反射光、ゲートパルス、およびＣＣＤ
が受光する光量分布を示す図である。

【図６】ＣＣＤに設けられるフォトダイオードと垂直転
送部の配置を示す図である。

【図７】ＣＣＤを基板に垂直な平面で切断して示す断面
図である。

【図８】被写体までの距離に関するデータを検出する３
次元画像検出動作のタイミングチャートである。

【図９】３次元画像検出動作のフローチャートである。

【図１０】座標系ｘｙｚ、ＣＣＤ２８、ＣＣＤ２８の画
素とそれに対応する被写体上の点との関係を模式的に表
した図である。

【図１１】ＣＣＤ２８の正面図である。

【図１２】カメラの撮影光学系における焦点とＣＣＤ２
８との関係を示す水平断面図である。

【図１３】カメラの撮影光学系における焦点とＣＣＤ２
８との関係を示す垂直断面図である。

【図１４】カメラの背面におけるＬＣＤパネル３７の配
置とポインティングペン６０を示す図である。

【図１５】第１の実施形態における平面の指定方法を示
した図である。

【図１６】指定された平面に対応する３次元座標データ
を分離、削除するプログラムのフローチャートである。

【図１７】樽表面の点に対応する画素Ｐ₁と、台平面の
点に対応する画素Ｐ₂とを示す図である。

【図１８】撮影画像から目的被写体である樽を残し、樽
が乗せられている台（平面）を除去した状態を示す図で
ある。

【図１９】第２の実施形態における平面の指定方法を示
した図である。

【図２０】第３の実施形態における平面の指定方法を示
した図である。

【符号の説明】

１４発光装置２８ＣＣＤ

Claims

【特許請求の範囲】

【請求項１】被写体までの距離情報を画素毎に検出す
る３次元画像検出手段と、前記距離情報から、前記各画素に対応する前記被写体表
面上の点の３次元的な位置を表す位置データを生成する
３次元データ生成手段と、前記３次元画像検出手段により撮影された空間内の平面
を指定するための平面指定手段と、前記平面の情報に基づいて、前記位置データの一部を除
去するデータ除去手段とを備えることを特徴とする３次
元画像検出装置。
【請求項２】前記平面指定手段において、前記平面が
３つの画素に対応する前記被写体表面上の点により指定
されることを特徴とする請求項１に記載の３次元画像検
出装置。
【請求項３】前記被写体の視覚情報である２次元画像
を検出する２次元画像検出手段と、前記２次元画像を表
示するための画像表示手段と、前記画像表示手段に表示
された画像の任意の画素を指定するための入力手段とを
備えることを特徴とする請求項２に記載の３次元画像検
出装置。
【請求項４】前記平面を指定するための３つの画素の
各々が、前記入力手段により指定されることを特徴とす
る請求項３に記載の３次元画像検出装置。
【請求項５】前記平面を指定するための３つの画素の
うち２つの画素が、前記入力手段により指定され、残り
の画素は、前記入力手段により指定された前記２つの画
素の一方から所定方向へ所定距離離れた画素であること
を特徴とする請求項３に記載の３次元画像検出装置。
【請求項６】前記平面を指定するための３つの画素の
うち１つの画素が、前記入力手段により指定され、残り
の２つの画素は、前記入力手段により指定された画素か
ら各々所定方向へ所定距離離れた画素であることを特徴
とする請求項３に記載の３次元画像検出装置。
【請求項７】前記データ除去手段により一部のデータ
が除去された位置データを記録媒体に記録可能であるこ
とを特徴とする請求項３に記載の３次元画像検出装置。
【請求項８】前記データ除去手段により一部のデータ
が除去された位置データに対応する前記２次元画像を前
記記録媒体に記録可能であることを特徴とする請求項７
に記載の３次元画像検出装置。
【請求項９】前記各位置データから前記平面と前記各
画素に対応する被写体表面上の点の距離を求め、この距
離に基づいて前記位置データの除去を行なうことを特徴
とする請求項１に記載の３次元画像検出装置。
【請求項１０】前記位置データが、前記３次元画像検
出装置を基準とした座標系の座標値であることを特徴と
する請求項１に記載の３次元画像検出装置。