JP2001153624A

JP2001153624A - ３次元画像入力装置

Info

Publication number: JP2001153624A
Application number: JP33284399A
Authority: JP
Inventors: Shuzo Seo; 修三瀬尾; Nobuhiro Tani; 信博谷; Shinichi Kakiuchi; 伸一垣内
Original assignee: Asahi Kogaku Kogyo Co Ltd
Current assignee: Pentax Corp
Priority date: 1999-11-24
Filing date: 1999-11-24
Publication date: 2001-06-08
Also published as: US6778219B1

Abstract

(57)【要約】【課題】被計測物体の３次元形状を高精度に検出す
る。【解決手段】表面上の各点までの距離が既知である基
準物体に対して測距を行ない、３次元形状に関する距離
情報を得る（ステップ２０１）。基準物体の距離情報に
基づいて、被計測物体を用いたときに検出される距離情
報の誤差である補正データを検出する（ステップ２０
２）。表面上の各点までの距離が未知である被計測物体
に対して測距を行ない、３次元形状に関する距離情報を
得る（ステップ２０３）。被計測物体の距離情報に対
し、補正データを用いて補正する（ステップ２０４）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光伝播時間測定法
を用いて被計測物体の３次元形状等を検出する３次元画
像入力装置に関する。

【０００２】

【従来の技術】従来３次元画像入力装置による３次元計
測は、光、電波あるいは音を被計測物体に照射する能動
方式と、光等を照射しない受動方式とに分類される。能
動方式には、光伝播時間測定法、変調した光波を用いる
位相差測定法、三角測量法、モアレ法、干渉法等が知ら
れており、受動方式には、ステレオ視法、レンズ焦点法
等が知られている。

【０００３】能動方式は受動方式に比べ、レーザ光等を
照射するための機構が必要なために装置の規模が大きく
なるが、距離分解能、計測時間、計測空間範囲等の点に
おいて優れており、産業応用分野において広く用いられ
てきている。「MeasurementScience and Technology」
（S. Christie 他、vol.6, p1301-1308, 1995 年）に記
載された３次元画像入力装置では、パルス変調されたレ
ーザ光が被計測物体に照射され、その反射光がイメージ
インテンシファイアが取付けられた２次元ＣＣＤセンサ
によって受光され、電気信号に変換される。イメージイ
ンテンシファイアはレーザ光のパルス発光に同期したゲ
ートパルスによってシャッタ制御される。この構成によ
れば、遠い被計測物体からの反射光による受光量は近い
被計測物体からの反射光による受光量に比べて小さいの
で、被計測物体の距離に応じた出力がＣＣＤの各フォト
ダイオード毎に得られる。

【０００４】

【発明が解決しようとする課題】２次元ＣＣＤセンサを
用い、ゲートパルスによってシャッタ制御する装置で
は、不要電荷が高速で掃出されることによって光電変換
素子において信号電荷の蓄積が開始し、信号電荷が垂直
転送ＣＣＤへ転送されることによって蓄積は終了する。
このような掃出し動作と転送動作を繰り返すように構成
することによって、垂直転送ＣＣＤにおいて、光電変換
素子に蓄積した信号電荷を積分することが可能である。
しかし一般に、各フォトダイオードにおける掃出し動作
と転送動作のタイミングは完全には一定でなく、フォト
ダイオード毎に異なる。このようなバラツキは、被計測
物体の３次元形状の検出の誤差となる。

【０００５】本発明は、被計測物体の３次元形状を高精
度に検出することができる３次元画像入力装置を得るこ
とを目的としている。

【０００６】

【課題を解決するための手段】本発明の３次元画像入力
装置は、表面上の各点までの距離が既知である基準物
体、または表面上の各点までの距離が未知である被計測
物体に、パルス状の測距光を照射する光源と、基準物体
または被計測物体からの反射光を受け、受光量に応じた
電荷が蓄積する複数の光電変換素子と、光電変換素子に
隣接して設けられた信号電荷保持部と、光電変換素子に
蓄積した不要電荷を光電変換素子から掃出すことによ
り、光電変換素子における信号電荷の蓄積動作を開始さ
せる蓄積電荷掃出手段と、光電変換素子に蓄積した信号
電荷を信号電荷保持部に転送する信号電荷転送手段と、
蓄積電荷掃出手段と信号電荷転送手段とを交互に駆動
し、信号電荷保持部において信号電荷を積分することに
より、基準物体または被計測物体の表面上の各点までの
距離情報を検出する信号電荷積分手段と、基準物体を用
いたときに信号電荷検出手段において積分される信号電
荷に基づいて、被計測物体を用いたときに検出される距
離情報の誤差を検出する誤差検出手段とを備えたことを
特徴としている。

【０００７】３次元画像入力装置は、誤差を格納するメ
モリを備えていてもよい。誤差は複数の光電変換素子の
それぞれについて検出されることが好ましい。請求項１
に記載の３次元画像入力装置。また３次元画像入力装置
は、信号電荷積分手段によって検出された被計測物体の
表面上の各点までの距離情報に対して、誤差の分だけ補
正する距離情報補正手段を備えていてもよい。

【０００８】好ましくは、信号電荷積分手段が、光源を
消灯させた状態で、距離情報を検出する動作と同じタイ
ミングで蓄積電荷掃出手段と信号電荷転送手段を駆動す
ることにより、距離補正情報を検出し、光電変換素子が
反射光の全てを受光するように蓄積電荷掃出手段と信号
電荷転送手段を駆動することにより、反射率情報を検出
し、光源を消灯させた状態で、反射率情報を検出する動
作と同じタイミングで蓄積電荷掃出手段と信号電荷転送
手段を駆動することにより、反射率補正情報を検出す
る。

【０００９】距離情報をＳ₁₀、距離補正情報をＳ₁₁、反
射率情報をＳ₂₀、反射率補正情報をＳ₂₁としたとき、正
規化された距離情報Ｓ_Dは以下の式によって得られる。Ｓ_D＝（Ｓ₁₀−Ｓ₁₁）／（Ｓ₂₀−Ｓ₂₁）

【００１０】光電変換素子は例えば電荷蓄積型である。
光電変換素子が基板に沿って形成されている構成では、
蓄積電荷掃出手段は不要電荷を基板側に掃出す。

【００１１】信号電荷保持部は好ましくは、信号荷を３
次元画像入力装置の外部に出力するための垂直転送部で
ある。光電変換素子と信号電荷保持部は例えば、縦型オ
ーバフロードレイン構造のインターライン型ＣＣＤとし
て構成される。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は本発明の一実施形態である
３次元画像入力装置を備えたカメラの斜視図である。

【００１３】カメラ本体１０の前面において、撮影レン
ズ１１の左上にはファインダ窓１２が設けられ、右上に
はストロボ１３が設けられている。カメラ本体１０の上
面において、撮影レンズ１１の真上には、測距光である
レーザ光を照射する発光装置（光源）１４が配設されて
いる。発光装置１４の左側にはレリーズスイッチ１５と
液晶表示パネル１６が設けられ、また右側にはモード切
替ダイヤル１７とＶ／Ｄモード切替スイッチ１８が設け
られている。カメラ本体１０の側面には、ＩＣメモリカ
ード等の記録媒体を挿入するためのカード挿入口１９が
形成され、またビデオ出力端子２０とインターフェース
コネクタ２１が設けられている。

【００１４】図２は図１に示すカメラの回路構成を示す
ブロック図である。撮影レンズ１１の中には絞り２５が
設けられている。絞り２５の開度はアイリス駆動回路２
６によって調整される。撮影レンズ１１の焦点調節動作
およびズーミング動作はレンズ駆動回路２７によって制
御される。

【００１５】撮影レンズ１１の光軸上には撮像素子（Ｃ
ＣＤ）２８が配設されている。ＣＣＤ２８には、撮影レ
ンズ１１によって被写体像が形成され、被写体像に対応
した電荷が発生する。ＣＣＤ２８における電荷の蓄積動
作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によ
って制御される。ＣＣＤ２８から読み出された電荷信号
すなわち画像信号はアンプ３１において増幅され、Ａ／
Ｄ変換器３２においてアナログ信号からデジタル信号に
変換される。デジタルの画像信号は撮像信号処理回路３
３においてガンマ補正等の処理を施され、画像メモリ３
４に一時的に格納される。アイリス駆動回路２６、レン
ズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回
路３３はシステムコントロール回路３５によって制御さ
れる。

【００１６】画像信号は画像メモリ３４から読み出さ
れ、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路
３６は画像信号に応じて動作し、これにより画像表示Ｌ
ＣＤパネル３７には、画像信号に対応した画像が表示さ
れる。

【００１７】また画像メモリ３４から読み出された画像
信号はＴＶ信号エンコーダ３８に送られ、ビデオ出力端
子２０を介して、カメラ本体１０の外部に設けられたモ
ニタ装置３９に伝送可能である。システムコントロール
回路３５はインターフェース回路４０に接続され、イン
ターフェース回路４０はインターフェースコネクタ２１
に接続されている。したがって画像メモリ３４から読み
出された画像信号は、インターフェースコネクタ２１に
接続されたコンピュータ４１に伝送可能である。またシ
ステムコントロール回路３５は、記録媒体制御回路４２
を介して画像記録装置４３に接続されている。したがっ
て画像メモリ３４から読み出された画像信号は、画像記
録装置４３に装着されたＩＣメモリカード等の記録媒体
Ｍに記録可能である。

【００１８】システムコントロール回路３５には、発光
素子制御回路４４が接続されている。発光装置１４には
発光素子１４ａと照明レンズ１４ｂが設けられ、発光素
子１４ａの発光動作は発光素子制御回路４４によって制
御される。発光素子１４ａは測距光であるレーザ光を照
射するものであり、このレーザ光は照明レンズ１４ｂを
介して被計測物体の全体に照射される。被計測物体にお
いて反射した光は撮影レンズ１１に入射する。この光を
ＣＣＤ２８によって検出することにより、後述するよう
に被計測物体の３次元画像が計測される。なお、この計
測において、ＣＣＤ２８における転送動作のタイミング
等の制御はシステムコントロール回路３５とＣＣＤ駆動
回路３０によって行なわれる。

【００１９】システムコントロール回路３５には、レリ
ーズスイッチ１５、モード切替ダイヤル１７、Ｖ／Ｄモ
ード切替スイッチ１８から成るスイッチ群４５と、液晶
表示パネル（表示素子）１６とが接続されている。また
システムコントロール回路３５には、図１５を参照して
説明する距離情報検出処理において補正データを格納す
るためのメモリ３５ａが設けられている。

【００２０】図３および図４を参照して、本実施形態に
おける距離測定の原理を説明する。なお図４において横
軸は時間ｔである。

【００２１】距離測定装置Ｂから出力された測距光は被
計測物体Ｓにおいて反射し、図示しないＣＣＤによって
受光される。測距光は所定のパルス幅Ｈを有するパルス
状の光であり、したがって被計測物体Ｓからの反射光
も、同じパルス幅Ｈを有するパルス状の光である。また
反射光のパルスの立ち下がりは、測距光のパルスの立ち
下がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。
測距光と反射光は距離測定装置Ｂと被計測物体Ｓの間の
２倍の距離ｒを進んだことになるから、その距離ｒはｒ＝δ・ｔ・Ｃ／２・・・（１）により得られる。ただしＣは光速である。

【００２２】例えば測距光のパルスの立ち下がりから反
射光を検知可能な状態に定め、反射光のパルスが立ち上
がった後に検知不可能な状態に切換えて、反射光のパル
スの立ち下がりまでの成分を検出するようにすると、す
なわち反射光検知期間Ｔを設けると、この反射光検知期
間Ｔにおける受光量Ａは距離ｒの関数である。すなわち
受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大
きくなるほど）小さくなる。

【００２３】本実施形態では上述した原理を利用して、
ＣＣＤ２８に設けられ、２次元的に配列された複数のフ
ォトダイオード（光電変換素子）においてそれぞれ受光
量Ａを検出することにより、カメラ本体１０から被計測
物体Ｓの表面の各点までの距離をそれぞれ検出し、被計
測物体Ｓの表面形状に関する３次元画像のデータを一括
して入力している。

【００２４】図５は、ＣＣＤ２８に設けられるフォトダ
イオード５１と垂直転送部５２の配置を示す図である。
図６は、ＣＣＤ２８を基板５３に垂直な平面で切断して
示す断面図である。このＣＣＤ２８は従来公知のインタ
ーライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ
（縦型オーバーフロードレイン）方式を用いたものであ
る。

【００２５】フォトダイオード５１と垂直転送部（信号
電荷保持部）５２はｎ型基板５３の面に沿って形成され
ている。フォトダイオード５１は２次元的に格子状に配
列され、垂直転送部５２は所定の方向（図５において上
下方向）に１列に並ぶフォトダイオード５１に隣接して
設けられている。垂直転送部５２は、１つのフォトダイ
オード５１に対して４つの垂直転送電極５２ａ、５２
ｂ、５２ｃ、５２ｄを有している。したがって垂直転送
部５２では、４つのポテンシャルの井戸が形成可能であ
り、従来公知のように、これらの井戸の深さを制御する
ことによって、信号電荷をＣＣＤ２８から出力すること
ができる。なお、垂直転送電極の数は目的に応じて自由
に変更できる。

【００２６】基板５３の表面に形成されたｐ型井戸の中
にフォトダイオード５１が形成され、ｐ型井戸とｎ型基
板５３の間に印加される逆バイアス電圧によってｐ型井
戸が完全空乏化される。この状態において、入射光（被
計測物体からの反射光）の光量に応じた電荷がフォトダ
イオード５１において蓄積される。基板電圧Ｖsub を所
定値以上に大きくすると、フォトダイオード５１に蓄積
した電荷は、基板５３側に掃出される。これに対し、転
送ゲート部５４に電荷転送信号（電圧信号）が印加され
たとき、フォトダイオード５１に蓄積した電荷は垂直転
送部５２に転送される。すなわち電荷掃出し信号によっ
て電荷を基板５３側に掃出した後、フォトダイオード５
１に蓄積した信号電荷が、電荷転送信号によって垂直転
送部５２側に転送される。このような動作を繰り返すこ
とにより、垂直転送部５２において信号電荷が積分さ
れ、電子シャッタ動作が実現される。

【００２７】図７は、被計測物体の表面の各点までの距
離に関するデータを検出する距離情報検出動作のタイミ
ングチャートである。図１、図２、図５〜図７を参照し
て距離情報検出動作を説明する。

【００２８】垂直同期信号Ｓ１の出力に同期して発光装
置１４が起動され、一定のパルス幅を有するパルス状の
測距光Ｓ３が周期的に出力される。測距光Ｓ３は被計測
物体において反射し、ＣＣＤ２８に入射する。すなわち
ＣＣＤ２８によって被計測物体からの反射光Ｓ４が受光
される。測距光Ｓ３の発光が終了するタイミングに合わ
せて、電荷掃出し信号（パルス信号）Ｓ２が出力され
る。電荷掃出し信号Ｓ２の出力は、測距光Ｓ３の発光が
終了するのと同時に終了するように制御される。これに
よりフォトダイオード５１に蓄積していた不要電荷が基
板５３の方向に掃出される。測距光Ｓ３の出力から一定
時間が経過したとき、電荷転送信号（パルス信号）Ｓ５
が出力され、これによりフォトダイオード５１に蓄積さ
れた電荷が垂直転送部５２に転送される。なお、電荷転
送信号Ｓ５の出力は、反射光Ｓ４の出力の終了よりも後
に行なわれる。

【００２９】このように電荷掃出し信号Ｓ２の出力の終
了から電荷転送信号Ｓ５の出力までの期間Ｔ_U1の間、フ
ォトダイオード５１には、被計測物体までの距離に対応
した信号電荷が蓄積される。すなわち測距光Ｓ３が出力
される期間Ｔ_Sの終了と同時に電荷蓄積期間Ｔ_U1が開始
し、電荷蓄積期間Ｔ_U1の間に、反射光Ｓ４の一部のみが
ＣＣＤ２８によって検知され、検知された光によって生
じる信号電荷Ｓ６は被計測物体までの距離に対応してい
る。換言すれば、被計測物体からの反射光Ｓ４のうち、
電荷蓄積期間Ｔ_U1内にフォトダイオード５１に到達した
光に対応した信号電荷Ｓ６がフォトダイオード５１に蓄
積される。この信号電荷Ｓ６は、電荷転送信号Ｓ５によ
って垂直転送部５２に転送される。

【００３０】電荷転送信号Ｓ５の出力から一定時間が経
過した後、再び電荷掃出し信号Ｓ２が出力され、垂直転
送部５２への信号電荷の転送後にフォトダイオード５１
に蓄積された不要電荷が基板５３の方向へ掃出される。
すなわち、フォトダイオード５１において新たに信号電
荷の蓄積が開始する。そして、上述したのと同様に、電
荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部
５２へ転送される。

【００３１】このような信号電荷Ｓ６の垂直転送部５２
への転送動作は、次の垂直同期信号Ｓ１が出力されるま
で、繰り返し実行される。これにより垂直転送部５２に
おいて、信号電荷Ｓ６が積分され、１フィールドの期間
（２つの垂直同期信号Ｓ１によって挟まれる期間）に積
分された信号電荷Ｓ６は、その期間被計測物体が静止し
ていると見做せれば、被計測物体までの距離情報に対応
している。

【００３２】以上説明した信号電荷Ｓ６の検出動作は１
つのフォトダイオード５１に関するものであり、全ての
フォトダイオード５１においてこのような検出動作が行
なわれる。１フィールドの期間の検出動作の結果、各フ
ォトダイオード５１に隣接した垂直転送部５２の各部位
には、そのフォトダイオード５１によって検出された距
離情報が保持される。この距離情報は垂直転送部５２に
おける垂直転送動作におよび図示しない水平転送部にお
ける水平転送動作によってＣＣＤ２８から出力され、被
計測物体の３次元画像データとして、３次元画像入力装
置の外部に取り出される。

【００３３】上述のようにしてＣＣＤ２８により検出さ
れた反射光は、被計測物体の表面の反射率の影響を受け
ている。したがって、この反射光を介して得られた距離
情報は反射率に起因する誤差を含んでいる。また、ＣＣ
Ｄ２８により検出された反射光には、被計測物体からの
反射光以外に外光等の成分も含まれており、これに起因
する誤差も存在する。したがって距離情報検出動作で
は、被計測物体の反射率、外光等の影響を補正すること
が好ましい。次に、これらの補正を行なう距離情報検出
動作について説明する。

【００３４】図８〜図１０は、距離補正情報、反射率情
報および反射率補正情報の検出動作を示し、図１１と図
１２は距離情報検出動作のフローチャートである。図
１、図２、図７〜図１２を参照して、被計測物体の反射
率、外光等の影響を補正する距離情報検出動作を説明す
る。すなわち図７に関し、説明は重複する。

【００３５】ステップ１０１においてレリーズスイッチ
１５が全押しされていることが確認されるとステップ１
０２が実行され、ビデオ（Ｖ）モードと距離測定（Ｄ）
モードのいずれが選択されているかが判定される。これ
らのモード間における切替はＶ／Ｄモード切替スイッチ
１８を操作することによって行なわれる。

【００３６】Ｄモードが選択されているとき、ステップ
１０３において垂直同期信号Ｓ１が出力されるとともに
測距光制御が開始される。すなわち発光装置１４が駆動
され、パルス状の測距光Ｓ３が断続的に出力される。次
いでステップ１０４が実行され、ＣＣＤ２８による検知
制御が開始される。すなわち図７を参照して説明した距
離情報検出動作が開始され、電荷掃出し信号Ｓ２と電荷
転送信号Ｓ５が交互に出力されて、距離情報の信号電荷
Ｓ６が垂直転送部５２において積分される。

【００３７】ステップ１０５では、距離情報検出動作の
開始から１フィールド期間が終了したか否か、すなわち
新たに垂直同期信号Ｓ１が出力されたか否かが判定され
る。１フィールド期間が終了するとステップ１０６へ進
み、距離情報の信号電荷Ｓ６がＣＣＤ２８から出力され
る。この信号電荷Ｓ６はステップ１０７において画像メ
モリ３４に一時的に記憶される。ステップ１０８では測
距光制御がオフ状態に切換えられ、発光装置１４の発光
動作が停止する。

【００３８】ステップ１０９〜１１２では、距離補正情
報の検出動作が行なわれる。まずステップ１０９では、
図８に示すように、垂直同期信号Ｓ１１が出力されると
ともにＣＣＤ２８による検知制御が開始される。すなわ
ち発光装置１４の発光動作が行なわれることなく、光源
が消灯された状態で、電荷掃出し信号Ｓ１２と電荷転送
信号Ｓ１５が交互に出力される。電荷蓄積時間Ｔ_U1は図
７に示す距離情報検出動作と同じであるが、被計測物体
に測距光が照射されないため（符号Ｓ１３）、反射光は
存在せず（符号Ｓ１４）、したがって、距離情報の信号
電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分
が入射するため、この外乱成分に対応した信号電荷Ｓ１
６が発生する。この信号電荷Ｓ１６は、外乱成分が距離
情報に及ぼす影響を補正するための、電荷蓄積時間Ｔ_U1
に対する距離補正情報に対応している。

【００３９】ステップ１１０では、距離補正情報の検出
動作の開始から１フィールド期間が終了したか否か、す
なわち新たに垂直同期信号Ｓ１１が出力されたか否かが
判定される。１フィールド期間が終了するとステップ１
１１において、距離補正情報の信号電荷Ｓ１６がＣＣＤ
２８から出力される。距離補正情報の信号電荷Ｓ１６は
ステップ１１２において画像メモリ３４に一時的に記憶
される。

【００４０】ステップ１１３〜１１７では、反射率情報
の検出動作が行なわれる。ステップ１１３では、図９に
示すように、垂直同期信号Ｓ２１が出力されるとともに
測距光制御が開始され、パルス状の測距光Ｓ２３が断続
的に出力される。ステップ１１４では、ＣＣＤ２８によ
る検知制御が開始され、電荷掃出し信号Ｓ２２と電荷転
送信号Ｓ２５が交互に出力される。この反射率情報の検
出動作は、電荷掃出し信号Ｓ２２が出力されてから電荷
転送信号Ｓ２５が出力されるまでの電荷蓄積期間Ｔ_U2内
に、反射光Ｓ２４の全てが受光されるように制御され
る。すなわち、ＣＣＤ２８の各フォトダイオード５１に
蓄積される信号電荷Ｓ２６のパルス幅Ｔ_Sは測距光Ｓ２
３のパルス幅Ｔ_Sと同じである。

【００４１】したがって信号電荷Ｓ２６は、被計測物体
までの距離とは関係せず、被計測物体の表面の反射率に
依存する反射率情報に対応している。

【００４２】ステップ１１５では、反射率情報検出動作
の開始から１フィールド期間が終了したか否か、すなわ
ち新たに垂直同期信号Ｓ２１が出力されたか否かが判定
される。１フィールド期間が終了するとステップ１１６
へ進み、反射率情報の信号電荷Ｓ２６がＣＣＤ２８から
出力される。この信号電荷Ｓ２６はステップ１１７にお
いて画像メモリ３４に一時的に記憶される。ステップ１
１８では測距光制御がオフ状態に切換えられ、発光装置
１４の発光動作が停止する。

【００４３】ステップ１１９〜１２２では、反射率補正
情報の検出動作が行なわれる。ステップ１１９では、図
１０に示すように、垂直同期信号Ｓ３１が出力されると
ともにＣＣＤ２８による検知制御が開始される。すなわ
ち発光装置１４の発光動作が行なわれることなく、光源
が消灯された状態で、電荷掃出し信号Ｓ３２と電荷転送
信号Ｓ３５が交互に出力される。電荷蓄積時間Ｔ_U2は図
９に示す反射率情報検出動作と同じであるが、被計測物
体に測距光が照射されないため（符号Ｓ３３）、反射光
は存在せず（符号Ｓ３４）、したがって、反射率情報の
信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱
成分に対応した信号電荷Ｓ３６が発生する。この信号電
荷Ｓ３６は、外乱成分が電荷蓄積時間Ｔ_U2に対する反射
率情報に及ぼす影響を補正するための反射率補正情報に
対応している。

【００４４】ステップ１２０では、反射率補正情報の検
出動作の開始から１フィールド期間が終了したか否か、
すなわち新たに垂直同期信号Ｓ３１が出力されたか否か
が判定される。１フィールド期間が終了するとステップ
１２１において、反射率補正情報の信号電荷Ｓ３６がＣ
ＣＤ２８から出力され、ステップ１２２において画像メ
モリ３４に一時的に記憶される。

【００４５】ステップ１２３では、ステップ１０３〜１
２２において得られた距離情報、距離補正情報、反射率
情報および反射率補正情報を用いて距離測定（Ｄ）デー
タの演算処理が行なわれ、ステップ１２４においてＤデ
ータが出力されてこの検出動作は終了する。一方、ステ
ップ１０２においてＶモードが選択されていると判定さ
れたとき、ステップ１２５において測距光制御がオフ状
態に切換えられるとともに、ステップ１２６においてＣ
ＣＤ２８による通常の撮影動作（ＣＣＤビデオ制御）が
オン状態に定められ、この検出動作は終了する。

【００４６】ステップ１２３において実行される演算処
理の内容を図７〜図１０を参照して説明する。反射率Ｒ
の被計測物体が照明され、この被計測物体が輝度Ｉの２
次光源と見做されてＣＣＤに結像された場合を想定す
る。このとき、電荷蓄積時間ｔの間にフォトダイオード
に発生した電荷が積分されて得られる出力Ｓｎは、Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）で表される。ここでｋは比例定数で、撮影レンズのＦナ
ンバーや倍率等によって変化する。

【００４７】被計測物体がレーザ等の光源からの光で照
明される場合、輝度Ｉはその光源による輝度Ｉ_Sと背景
光による輝度Ｉ_Bとの合成されたものとなり、Ｉ＝Ｉ_S＋Ｉ_B ・・・（３）と表せる。

【００４８】図７に示されるようにパルス状の電荷蓄積
時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の
信号電荷Ｓ６のパルス幅をＴ_Dとし、１フィールド期間
中のその電荷蓄積時間がＮ回繰り返されるとすると、得
られる出力Ｓ₁₀は、Ｓ₁₀＝Σ（ｋ・Ｒ（Ｉ_S・Ｔ_D＋Ｉ_B・Ｔ_U1））＝ｋ・Ｎ・Ｒ（Ｉ_S・Ｔ_D＋Ｉ_B・Ｔ_U1）・・・（４）となる。なお、パルス幅Ｔ_DはＴ_D＝Ｔ_U1−δ・ｔ＝Ｔ_U1−２ｒ／Ｃ・・・（５）と表せる。

【００４９】図９に示されるようにパルス状の電荷蓄積
時間Ｔ_U2が、測距光Ｓ２３の期間（パルス幅）Ｔ_Sより
も十分大きく、反射光の単位受光時間を全部含むように
制御された場合に得られる出力Ｓ₂₀は、Ｓ₂₀＝Σ（ｋ・Ｒ（Ｉ_S・Ｔ_S＋Ｉ_B・Ｔ_U2））＝ｋ・Ｎ・Ｒ（Ｉ_S・Ｔ_S＋Ｉ_B・Ｔ_U2）・・・（６）となる。

【００５０】図８に示されるように発光を止めて、図７
と同じ時間幅でのパルス状の電荷蓄積を行なった場合に
得られる出力Ｓ₁₁は、Ｓ₁₁＝Σ（ｋ・Ｒ・Ｉ_B・Ｔ_U1）＝ｋ・Ｎ・Ｒ・Ｉ_B・Ｔ_U1 ・・・（７）となる。同様に、図１０に示されるような電荷蓄積を行
なった場合に得られる出力Ｓ₂₁は、Ｓ₂₁＝Σ（ｋ・Ｒ・Ｉ_B・Ｔ_U2）＝ｋ・Ｎ・Ｒ・Ｉ_B・Ｔ_U2 ・・・（８）となる。

【００５１】（４）、（６）、（７）、（８）式から、Ｓ_D＝（Ｓ₁₀−Ｓ₁₁）／（Ｓ₂₀−Ｓ₂₁）＝Ｔ_D／Ｔ_S ・・・（９）が得られる。

【００５２】上述したように測距光Ｓ３と反射光Ｓ４に
はそれぞれ外光等の外乱成分（背景光による輝度Ｉ_B）
が含まれている。（９）式のＴ_D／Ｔ_Sは、測距光Ｓ３
を照射したときの被計測物体からの反射光Ｓ４の光量
を、測距光Ｓ３の光量によって正規化したものであり、
これは、測距光Ｓ３の光量（図７の信号電荷Ｓ６に相
当）から外乱成分（図８の信号電荷Ｓ１６に相当）を除
去した値と、反射光Ｓ４の光量（図９の信号電荷Ｓ２６
に相当）から外乱成分（図１０の信号電荷Ｓ３６に相
当）を除去した値との比に等しい。

【００５３】（９）式の各出力値Ｓ₁₀、Ｓ₁₁、Ｓ₂₀、Ｓ
₂₁はステップ１０７、１１２、１１７、１２２におい
て、距離情報、距離補正情報、反射率情報、反射率補正
情報として格納されている。したがって、これらの情報
に基いて、Ｔ_D／Ｔ_Sが得られる。パルス幅Ｔ_Sは既知
であるから、（５）式とＴ_D／Ｔ_Sから距離ｒが得られ
る。

【００５４】このように（５）式と（９）式に基いてカ
メラ本体から被計測物体の表面の各点までの距離情報が
補正され、この距離情報の検出精度が向上する。

【００５５】図１３はＣＣＤ２８の受光面を示し、図１
４は受光面の各点における電荷蓄積期間のずれを示して
いる。

【００５６】例えば、受光面の中心部Ａ、右端中央部
Ｂ、下端中央部Ｃのように異なる点では、電荷掃出し信
号Ｓ２、Ｓ１２、Ｓ２２、Ｓ３２および電荷転送信号Ｓ
５、Ｓ１５、Ｓ２５、Ｓ３５の出力タイミングが一致し
ないことがある。すなわち図１４に示すように、Ａ点、
Ｂ点およびＣ点における電荷蓄積期間が相互にずれるこ
とがある。

【００５７】このようなずれは、不要電荷の掃出し動作
すなわち電荷掃出し信号の出力において、基板５３（図
６参照）の各点における基板電圧の大きさや印加方向に
誤差が存在していること等、種々の原因による。

【００５８】反射光はＣＣＤ２８の受光面の各点におい
て同時に受光され、各点における受光タイミングに実質
的なずれは生じない。したがって、電荷蓄積期間がＣＣ
Ｄ２８の受光面の各点においてずれていると、図１４か
ら理解されるように、各点における反射光の受光量Ａ
１、Ｂ１、Ｃ１に差が生じる。すなわち、平面である被
計測物体がカメラ（すなわち３次元画像入力装置）に対
して平行に対向している場合であっても、受光量Ａ１、
Ｂ１、Ｃ１に差が生じ、平面であることを検出できな
い。

【００５９】そこで、このような電荷蓄積期間のばらつ
きに依る誤差を検出して被計測物体の距離情報を補正す
るため、本実施形態では、被計測物体の距離情報を検出
する前に、カメラから表面上の各点までの距離が既知で
ある基準物体に対して測距を行ない、誤差すなわち補正
データを検出している。

【００６０】図１５は、補正データを検出し、被計測物
体の距離情報を補正データを用いて補正する、距離情報
検出処理の手順を示すフローチャートである。

【００６１】ステップ２０１では、基準物体に対して測
距が行なわれる。本実施形態において基準物体の表面は
平面であり、かつその表面はカメラの撮影光学系の光軸
に垂直である。すなわち基準物体とカメラの位置関係
は、図３に示される被計測物体Ｓと距離測定装置Ｂの位
置関係と同じである。測距は、図１１および図１２に示
される距離情報検出動作に従って行なわれ、距離補正情
報、反射率情報および反射率補正情報に基づいて、正規
化された距離情報が求められる。

【００６２】ステップ２０２では、ステップ２０１にお
いて求められた距離情報に基づいて、補正データが求め
られる。図１３に示されるＡ点、Ｂ点およびＣ点のフォ
トダイオードにおいて蓄積された電荷から得られた距離
情報をそれぞれγ_AO、γ_BO、γ_COとし、ＣＣＤ２８（図
２）から基準物体の表面までの距離をａとすると、Ａ
点、Ｂ点およびＣ点のフォトダイオードにおける誤差
（すなわち補正データ）は、それぞれ Δγ_AO＝γ_AO−ａ（１０） Δγ_BO＝γ_BO−ａ（１１） Δγ_CO＝γ_CO−ａ（１２）と表される。

【００６３】これらの補正データは全てのフォトダイオ
ードについて検出され、メモリ３５ａに格納される。

【００６４】ステップ２０３では、表面上の各点までの
距離が未知である被計測物体に対して測距が行なわれ
る。この測距はステップ２０１における測距と同様に、
図１１および図１２に示される距離情報検出動作に従っ
て行なわれ、距離補正情報、反射率情報および反射率補
正情報に基づいて、正規化された距離情報が求められ
る。

【００６５】ステップ２０４では、ステップ２０３にお
いて求められた距離情報が、ステップ２０２においてメ
モリ３５ａに格納された補正データを用いて補正され
る。例えば、Ａ点、Ｂ点およびＣ点のフォトダイオード
において蓄積された電荷から得られた距離情報をそれぞ
れγ_A、γ_B、γ_Cとすると、補正後の距離情報は、そ
れぞれ Γ_A＝γ_A−Δγ_AO （１３） Γ_B＝γ_B−Δγ_BO （１４） Γ_C＝γ_C−Δγ_CO （１５）となる。

【００６６】以上のように本実施形態によれば、ＣＣＤ
の各フォトダイオードにおける掃出し動作と転送動作の
タイミングが異なっていても、補正データを用いて補正
されるので、被計測物体の３次元形状の検出における誤
差を大幅に減少させることができる。

【００６７】なお基準物体の形状は任意に選定でき、例
えば球形あるいは斜面であってもよい。

【００６８】

【発明の効果】以上のように本発明によれば、被計測物
体の３次元形状を高精度に検出することが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態である３次元画像入力装置
を備えたカメラの斜視図である。

【図２】図１に示すカメラの回路構成を示すブロック図
である。

【図３】測距光による距離測定の原理を説明するための
図である。

【図４】測距光、反射光、ゲートパルス、およびＣＣＤ
が受光する光量分布を示す図である。

【図５】ＣＣＤに設けられるフォトダイオードと垂直転
送部の配置を示す図である。

【図６】ＣＣＤを基板に垂直な平面で切断して示す断面
図である。

【図７】距離情報の検出動作のタイミングチャートであ
る。

【図８】距離補正情報の検出動作のタイミングチャート
である。

【図９】反射率情報の検出動作のタイミングチャートで
ある。

【図１０】反射率補正情報の検出動作のタイミングチャ
ートである。

【図１１】距離情報検出動作において、距離情報と距離
補正情報と反射率情報を検出する動作を示すフローチャ
ートである。

【図１２】距離情報検出動作において、反射率補正情報
を検出し、距離補正情報と反射率情報と反射率補正情報
に基づいて距離情報を補正する処理を示すフローチャー
トである。

【図１３】ＣＣＤの受光面を示す図である。

【図１４】受光面の各点における電荷蓄積期間のずれを
示す図である。

【図１５】補正データを検出し、被計測物体の距離情報
を補正データを用いて補正する、距離情報検出処理の手
順を示すフローチャートである。

【符号の説明】

１４光源５１光電変換素子５２垂直転送部（信号電荷保持部）Ｓ被計測物体

───────────────────────────────────────────────────── フロントページの続き (72)発明者垣内伸一東京都板橋区前野町２丁目36番９号旭光学工業株式会社内Ｆターム(参考） 2F065 AA04 AA06 BB05 EE00 FF12 FF32 FF33 GG04 JJ01 JJ05 JJ18 JJ26 LL04 QQ14 QQ24 RR03 SS02 SS13 UU02 UU05 5C061 AA29 AB03 AB06 AB08 AB12 AB17 AB21 AB24

Claims

【特許請求の範囲】

【請求項１】表面上の各点までの距離が既知である基
準物体、または表面上の各点までの距離が未知である被
計測物体に、パルス状の測距光を照射する光源と、前記基準物体または被計測物体からの反射光を受け、受
光量に応じた電荷が蓄積する複数の光電変換素子と、前記光電変換素子に隣接して設けられた信号電荷保持部
と、前記光電変換素子に蓄積した不要電荷を前記光電変換素
子から掃出すことにより、前記光電変換素子における信
号電荷の蓄積動作を開始させる蓄積電荷掃出手段と、前記光電変換素子に蓄積した信号電荷を前記信号電荷保
持部に転送する信号電荷転送手段と、前記蓄積電荷掃出手段と前記信号電荷転送手段とを交互
に駆動し、前記信号電荷保持部において前記信号電荷を
積分することにより、前記基準物体または被計測物体の
表面上の各点までの距離情報を検出する信号電荷積分手
段と、前記基準物体を用いたときに前記信号電荷検出手段にお
いて積分される信号電荷に基づいて、前記被計測物体を
用いたときに検出される距離情報の誤差を検出する誤差
検出手段とを備えたことを特徴とする３次元画像入力装
置。
【請求項２】前記誤差を格納するメモリを備えたこと
を特徴とする請求項１に記載の３次元画像入力装置。
【請求項３】前記誤差が、前記複数の光電変換素子の
それぞれについて検出されることを特徴とする請求項１
に記載の３次元画像入力装置。
【請求項４】前記信号電荷積分手段によって検出され
た前記被計測物体の表面上の各点までの距離情報に対し
て、前記誤差の分だけ補正する距離情報補正手段を備え
たことを特徴とする請求項１に記載の３次元画像入力装
置。
【請求項５】前記信号電荷積分手段が、前記光源を消
灯させた状態で、前記距離情報を検出する動作と同じタ
イミングで前記蓄積電荷掃出手段と前記信号電荷転送手
段を駆動することにより、距離補正情報を検出し、前記
光電変換素子が前記反射光の全てを受光するように前記
蓄積電荷掃出手段と前記信号電荷転送手段を駆動するこ
とにより、反射率情報を検出し、前記光源を消灯させた
状態で、前記反射率情報を検出する動作と同じタイミン
グで前記蓄積電荷掃出手段と前記信号電荷転送手段を駆
動することにより、反射率補正情報を検出することを特
徴とする請求項１に記載の３次元画像入力装置。
【請求項６】前記距離情報をＳ₁₀、前記距離補正情報
をＳ₁₁、前記反射率情報をＳ₂₀、前記反射率補正情報を
Ｓ₂₁としたとき、正規化された距離情報Ｓ_Dが以下の式
によって得られることを特徴とする請求項５に記載の３
次元画像入力装置。Ｓ_D＝（Ｓ₁₀−Ｓ₁₁）／（Ｓ₂₀−Ｓ₂₁）
【請求項７】前記光電変換素子が電荷蓄積型であるこ
とを特徴とする請求項１に記載の３次元画像入力装置。
【請求項８】前記光電変換素子が基板に沿って形成さ
れ、前記蓄積電荷掃出手段が不要電荷を前記基板側に掃
出すことを特徴とする請求項１に記載の３次元画像入力
装置。
【請求項９】前記信号電荷保持部が前記信号電荷を３
次元画像入力装置の外部に出力するための垂直転送部で
あることを特徴とする請求項１に記載の３次元画像入力
装置。
【請求項１０】前記光電変換素子と信号電荷保持部
が、縦型オーバフロードレイン構造のインターライン型
ＣＣＤとして構成されることを特徴とする請求項１に記
載の３次元画像入力装置。