JP2001045379A

JP2001045379A - 画像処理装置および方法

Info

Publication number: JP2001045379A
Application number: JP11218349A
Authority: JP
Inventors: Shinichi Yoshimura; 真一吉村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-08-02
Filing date: 1999-08-02
Publication date: 2001-02-16
Anticipated expiration: 2019-08-02
Also published as: US20050178951A1; US20050097152A1; US7119318B2; US6881940B1; US6982404B2; JP4265038B2

Abstract

(57)【要約】【課題】リアルタイムで映像信号を演算処理できるよ
うにする。【解決手段】受光部５１に入射された赤外光は、タイ
ミングジェネレータから供給されるリセットパルスに同
期して光電変換され、タイミングジェネレータから供給
される受光部転送パルスに同期して増幅部５２に出力さ
れる。増幅部５２に入力された信号は、タイミングジェ
ネレータから供給される増幅部駆動パルスに同期して、
後段の装置での処理に必要なレベルにまで増幅され、演
算部５３に出力される。演算部５３に入力された信号
は、記憶部６１に一時記憶され、比較部６２より２値化
信号として、演算制御部からの演算選択信号により指定
された所定の演算が施され、出力部５４に出力される。
出力部５４に入力された信号は、水平走査回路からの選
択信号に同期して、共通信号線４２を介して画素信号と
して出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法に関し、特に、撮像する被写体からの光を受光す
る素子毎に、受光した光を光電変換して得られた信号を
所定の規則で演算し、リアルタイムで画像信号を演算処
理できるようにした画像処理装置および方法に関する。

【０００２】

【従来の技術】画像信号を演算する技術が普及しつつあ
る。この技術は、例えば、画像信号を演算することによ
って、被写体の立体画像を求める場合に利用される。

【０００３】このような画像信号の演算は、CCD(Charge
Coupled Device)のような撮像素子を用いるとき、演算
に必要な複数の信号を得るのに、繰り返し被写体を撮像
し、それらをフレームメモリのような記憶装置に蓄積し
た後、その蓄積された信号を読み出して実行されてい
た。

【０００４】また、リアルタイムの形状測定を実現する
方法および装置として、特公平6-25653号公報に示され
るような「非走査型撮像素子」も考えられている。

【０００５】

【発明が解決しようとする課題】しかしながら、繰り返
し被写体を撮像する時、１回の撮像に、例えば、33.3ms
ecまたは16.6msecの時間を要することになるので、この
撮像に要する時間が上限となり、それ以上高速で画像情
報の演算結果を得ることができないという課題があっ
た。

【０００６】また、画像情報を演算するために繰り返し
撮像をしなければ演算結果が得られないので、リアルタ
イムで演算結果が得られないという課題があった。

【０００７】特公平6-25653号公報に開示されている非
走査型撮像素子の場合、撮像素子上に並んだ各画素の出
力を独立して扱うため、各画素からの出力信号線を共通
化することができず、さらに各画素に対する記憶手段が
素子内に持たされていないので、各画素が独立に動作す
るという「非走査型」の特徴を失い、リアルタイムでの
処理ができないという課題があった。

【０００８】本発明はこのような状況に鑑みてなされた
ものであり、撮像する被写体からの光を受光する素子毎
に、受光した光を光電変換して得られた画像信号を所定
の規則に従ってリアルタイムで演算させるようにするも
のである。

【０００９】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、光学エリアの各素子毎に入射する光を受光
し、光電変換する受光手段と、各素子毎に受光手段で光
電変換された信号を所定の規則で演算する演算手段と、
各素子毎に演算手段の演算結果を出力する出力手段と、
複数の素子毎に出力手段より演算結果が出力されるタイ
ミングを調整するタイミング調整手段とを含むことを特
徴とする。

【００１０】前記演算手段には、光電変換された異なる
タイミングの複数の信号を、逐次記憶する記憶手段をさ
らに設けることができる。

【００１１】前記演算手段には、記憶手段により記憶さ
れた複数の信号を組み合わせて比較演算を実行させるこ
とができる。

【００１２】前記比較演算には、信号の最大値または最
小値を求める演算を含めさせることができる。

【００１３】前記出力手段には、タイミング調整手段に
より調整されたタイミングで演算結果を各素子の列また
は行毎に出力させることができる。

【００１４】請求項６に記載の画像処理方法は、光学エ
リアの各素子毎に入射する光を受光し、光電変換する受
光ステップと、各素子毎に受光ステップの処理で光電変
換された信号を所定の規則で演算する演算ステップと、
各素子毎に演算ステップの処理の演算結果を出力する出
力ステップと、複数の素子毎に出力ステップの処理で演
算結果が出力されるタイミングを調整するタイミング調
整ステップとを含むことを特徴とする。

【００１５】請求項１に記載の画像処理装置および請求
項６に記載の画像処理方法においては、光学エリアの各
素子毎に入射された光が、光電変換され、各素子毎に光
電変換された信号が所定の規則で演算され、各素子毎に
演算結果が出力される。

【００１６】

【発明の実施の形態】図１は、本発明を適用した画像処
理装置１の一実施の形態を示すブロック図である。画像
処理装置１のシステム制御部１１は、パタン投光部１
２、イメージャ１５、映像信号処理部１６、距離センサ
１７、および形状データ処理部１８の動作を制御する。

【００１７】パタン投光部１２は、システム制御部１１
からの指令に基づいて、距離計測に必要なパタンの赤外
光を被写体２に向けて照射する。このパタン光として
は、距離センサ１７の計測原理に基づいてスリット光や
グリッド光などが用いられる。

【００１８】レンズ１３は、被写体からの光を集光し、
プリズム１４に導入する。プリズム１４は、レンズ１３
から入射された光を可視光と赤外光に分光する。すなわ
ち、被写体からの光には、可視光の他に、上述のパタン
投光部１２から照射された赤外光の被写体からの反射光
があるため、これを可視光と赤外光に分光し、可視光を
イメージャ１５に、赤外光を距離センサ１７に、それぞ
れ出射する。

【００１９】イメージャ１５は、CCD(Charge Coupled D
evice)やCMOS(Complementary MetalOxide Semiconducto
r)などからなり、システム制御部１１からの同期信号や
制御信号に基づいて、プリズム１４から入射された可視
光から色の情報を抽出し、映像信号として映像信号処理
部１６に出力する。

【００２０】映像信号処理部１６は、システム制御部１
１からの同期信号や制御信号に基づいて、イメージャ１
５から入力される映像信号に、ゲイン調整やカラー調整
処理を施した後、必要に応じてアナログ信号またはデジ
タル信号に変換し、カラー映像信号として計算機１９に
出力する。

【００２１】距離センサ１７は、プリズム１４から入射
された赤外光を受光し、システム制御部１１からの同期
信号や制御信号に基づいて、この受光した赤外光を2値
化信号として処理し、形状データ処理部１８に出力す
る。尚、距離センサ１７については、詳細を後述する。

【００２２】形状データ処理部１８は、システム制御部
１１からの同期信号や制御信号に基づいて、距離センサ
１７から入力された2値化信号から赤外光の強度がピー
クとなるタイミングを求め、その強度から三角測量の原
理で被写体２までの距離を算出し、被写体２の3次元的
形状を演算する。そして、形状データ処理部１８は、演
算結果を形状データ信号として計算機１９に出力する。

【００２３】計算機１９は、映像信号処理部１６から供
給されたカラー映像信号と、形状データ処理部１８から
供給された形状データ信号にコンピュータグラフィクス
処理を施し、CRT(Cathode Ray Tube)やLCD(Liquid Crys
tal Display)などからなるモニタ３に出力したり、ま
た、外部記憶装置４に出力し、そのデータを蓄積させ
る。

【００２４】次に、図２と図３を参照して、距離センサ
１７の詳細について説明する。距離センサ１７は、大別
して２つのタイプがある。第1のタイプは、光学エリア
３１の水平方向に並んだ画素４１を順次走査して、各画
素４１からの出力信号を取り出して処理を実行するタイ
プであり、第2のタイプは、光学エリア３１の垂直方向
にならんだ画素４１を順次走査して、各画素からの出力
信号を取り出して処理するタイプである。図２は、前者
のタイプの距離センサ１７の構成を表しており、図３
は、後者のタイプの距離センサ１７の構成を表してい
る。

【００２５】最初に、図２を参照して、水平走査型タイ
プの距離センサ１７について説明する。

【００２６】光学エリア３１は、演算機能を備えた複数
の画素４１から構成されており、画素４１が、マトリク
ス状にn×m個（＝水平方向の数×垂直方向の数）並べら
れている。各画素４１は、受光した光量に応じた信号
を、タイミングジェネレータ３２から出力されるリセッ
トパルスおよび受光部転送パルスに基づいて演算し、そ
の演算結果を、水平走査回路３３ａから供給される選択
信号に基づいて、共通信号線４２を介して水平方向に出
力回路３４に出力する。尚、画素４１については、詳細
を後述する。

【００２７】タイミングジェネレータ３２は、システム
制御部１１からの制御信号に基づいて、制御パルスを水
平走査回路３３ａおよび出力回路３４に供給すると共
に、増幅部駆動パルス、リセットパルスおよび受光部転
送パルスを発生し、光学エリア３１の各画素４１に供給
する。

【００２８】水平走査回路３３ａは、タイミングジェネ
レータ３２から供給される制御パルスに基づいて、クリ
アパルス、記憶部転送パルス、比較部駆動パルス、およ
び選択信号を発生し、光学エリア３１の各画素４１に供
給する。

【００２９】出力回路３４は、タイミングジェネレータ
３２からの制御パルスに同期して、光学エリア３１の各
画素４１からの出力信号を共通信号線４２を介して受信
し、形状データ処理部１８に出力する。

【００３０】演算制御部３５は、システム制御部１１か
らの制御信号に対応して、各画素４１の演算部５３の記
憶部６１のマトリクス回路７２（図６）に、実行させる
演算処理を選択する（指定する）演算選択信号を供給す
る。尚、演算部５３の記憶部６１のマトリクス回路７２
については、詳細を後述する。

【００３１】図３に示す垂直走査型タイプの距離センサ
１７においては、図２に示す水平走査型タイプの距離セ
ンサ１７の水平走査回路３３ａに代えて、垂直走査回路
３３ｂが設けられており、それにより駆動された各画素
４１の出力は、共通信号線４２を介して垂直方向に出力
回路３４に供給されている。その他の構成は、図２にお
ける場合と同様である。

【００３２】次に図４を参照して、画素４１の詳細につ
いて説明する。図４には、図２に示されている共通信号
線４２に接続されるｎ個の画素４１ａ乃至４１ｎが示さ
れている。ここでは、１つの画素４１ａの構成だけが示
されているが、その他の画素４１ｂ乃至４１ｎも同様に
構成されている。このことは、図３の距離センサ１７の
場合についても同様である。

【００３３】画素４１ａの受光部５１は、例えば、フォ
トダイオードなどの受光素子からなり、プリズム１４か
ら入射される赤外光を受光し、タイミングジェネレータ
３２から供給されるリセットパルスに基づいて、その受
光した赤外光を光電変換し、タイミングジェネレータ３
２から供給される受光部転送パルスに基づいて、その信
号を増幅部５２に出力する。

【００３４】増幅部５２は、タイミングジェネレータ３
２から供給される増幅部駆動パルスに同期して、受光部
５１から入力される信号を後段の装置での処理に必要な
レベルにまで増幅し、演算部５３に出力する。

【００３５】演算部５３は、記憶部６１および比較部６
２を有しており、増幅部５２より入力された信号を、演
算制御部３５からの演算選択信号により指定された所定
の演算を施して、２値化信号として出力部５４に出力す
る。尚、記憶部６１および比較部６２については、詳細
を後述する。

【００３６】出力部５４は、水平走査回路３３ａからの
選択信号に同期して、共通信号線４２を介して演算部５
３から入力された信号を画素信号として、出力回路３４
に出力する。

【００３７】ここで、演算部５３の記憶部６１および比
較部６２の説明にあたり、演算部５３の2値化信号の演
算について先に説明する。

【００３８】受光部５１で、受光された光量に対応する
信号が増幅部５２で増幅され、演算部５３に入力される
が、その赤外光強度のサンプリング信号s(k)が、図５に
示すように、サンプリングの時刻kと共に変化するもの
とする。このとき、時刻kが変化する毎に、赤外光強度
のサンプリング信号は、以下の様に示される。

【００３９】s(k−3)，s(k−2)，s(k−1)，s(k)，s(k−
1)，s(k−2)，s(k−3)…… ただし、kよりもk−1の方が時間的に前の値を示してい
るものとする。

【００４０】この時、赤外光の強度がピークとなる時刻
を検出するための関数として以下の式（１）に示すよう
な変位差を示す関数g(k)を考える。

【００４１】ｇ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}……（１）この関数g(k)は、サンプリング信号s(k)をほぼ微分する
ことに対応しており、赤外光強度のサンプリング信号s
(k)が、大きいほど正の大きな値を取るものと仮定する
と、g(k)＞0の時、赤外光強度のサンプリング信号s(k)
は、時刻の変化に対して、増加していることを示し、逆
にｇ(k)＜0の時、赤外光強度のサンプリング信号s(k)の
強度は、時刻の変化に対して減少していることを示すこ
とになる。

【００４２】従って、このg(k)が、正の値から負の値に
変化した時刻kが、赤外光強度のサンプリング信号がピ
ークを呈する時刻となる。

【００４３】そこで、図５に示すように、赤外光強度の
サンプリング信号s(k)のノイズを考慮し、関数g(k)に所
定のレベルのバイアスを加算した以下の式（２）に示さ
れる関数f(k)により、上記と同様の手法で赤外光強度の
サンプリング信号のピークを検出した時刻を求めること
ができる。

【００４４】ｆ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}+BIAS……（２）図５に示されるように、f(k)は、赤外光強度s(k)の変化
に対応して変化し、図５中f(k)の値が、正の値から負の
値に変化するゼロレベルとの交点の時刻kが、赤外光強
度s(k)がピークを呈するタイミングを示めすことにな
る。尚、図５では、赤外光強度s(k)のピークは、サンプ
リング時刻(k−2)であり、時刻kに対してずれがある
が、これは、関数f(k)により一義的に定まる一定のずれ
となるので、算出した時刻に対して一定のオフセットを
掛けることにより正確な赤外光強度のサンプリング信号
s(k)のピーク値を取る時刻kを求めることができる。

【００４５】演算部５３は、上記の関数f(k)の値が正ま
たはゼロのとき0、負のとき1、となる2値化信号を出力
回路３４に出力する。出力回路３４は、この2値化信号
を出力信号として、後段の形状データ処理部１８に出力
する。後段の形状データ処理部１８は、この2値化信号
により求められる赤外光強度のピークとなるサンプリン
グの時刻から赤外光強度のピークを求め、この赤外光強
度から被写体までの距離を三角測量と同様の原理で算出
する。

【００４６】次に、図６を参照して、この演算部５３の
記憶部６１および比較部６２について説明する。

【００４７】記憶部６１の記憶セル７１ａ乃至７１ｄ
は、水平走査回路３３ａからサンプリング同期信号に同
期して送られるクリアパルスCLR1乃至CLR4に基づいて、
増幅部５２から入力される信号を赤外光強度のサンプリ
ング信号として順次記憶する。

【００４８】すなわち、例えば、ある時刻kにおいて、
記憶セル７１ａには、s(k)、記憶セル７１ｂには、s(k
−1)、記憶セル７１ｃには、s(k−2)、記憶セル７１ｄ
には、s(k−3)が、それぞれ記憶されていたとすると、
次の時刻k+1では、最も古い信号を記憶している記憶セ
ル７１ｄに対して、水平走査回路３３ａからクリアパル
スCLR4が送られ、これに同期して前のサンプリング信号
であるs(k−3)が消去される。そして、その直後に、水
平走査回路３３ａから送られる受光部転送パルスに同期
して、増幅部５２からの信号が入力されて、新しい赤外
光強度のサンプリング信号であるs(k+1)が、記憶セル７
１ｄに記憶される。以下サンプリングの時刻ｋが変化す
る毎に、同様に最も古い赤外光強度のサンプリング信号
を記憶している記憶セルに、新たな赤外光強度のサンプ
リング信号が、順次書き換えられて、記憶されていく。

【００４９】各記憶セル７１ａ乃至７１ｄに記憶された
赤外光強度のサンプリングの信号は、マトリクス回路７
２に並列に出力される。

【００５０】マトリクス回路７２は、演算制御部３５か
らの演算選択信号に基づいて、スイッチ８１ａ乃至８４
ａ，８１ｂ乃至８４ｂ，８１ｃ乃至８４ｃ，および８１
ｄ乃至８４ｄをオンオフさせる。すなわち、ここで、各
記憶セル７１ａ乃至７１ｄから出力される信号を信号V1
乃至V4とし、ある時刻kにおいて、例えば、記憶セル７
１ａには、s(k)、記憶セル７１ｂには、s(k−1)、記憶
セル７１ｃには、s(k−2)、記憶セル７１ｄには、s(k−
3)が、それぞれ記憶されているものとすると、演算すべ
き関数f(k)は、以下の式（３）で表される。

【００５１】ｆ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}+BIAS……（３）すなわち、ｆ(k)＝V1+V2−V3−V4＋BIAS……（４）となる。

【００５２】そして、次のサンプリング時刻k+1では、
記憶セル７１ｄに記憶されている最も古い時刻k−3の赤
外光強度のサンプリング信号s(k−3)が、s(k+1)に置き
換えられるので、演算すべき式は以下の様になる。

【００５３】ｆ(k+1)＝{s(k+1)+s(k)}−{s(k−1)+s(k−2)}+BIAS……（５）すなわちｆ(k+1)＝V4+V1−V2−V3+BIAS……（６）となる。

【００５４】そして、サンプリングの時刻が変化する毎
に以下の4種類の演算が繰り返されることになる。

【００５５】ｆ(k)＝V1+V2−V3−V4＋BIAS……（７）ｆ(k+1)＝V4+V1−V2−V3+BIAS……（８）ｆ(k+2)＝V3+V4−V1−V2+BIAS……（９）ｆ(k+3)＝V2+V3−V4−V1+BIAS……（１０）このように、サンプリング時刻毎に加減算の組み合わせ
を順次変更し、演算を実行することにより、記憶されて
いる信号そのものを記憶セル間で転送する必要が無いの
で、転送の際に生じる信号の劣化などを抑制することが
できる。

【００５６】ここで、上記式（７）乃至式（１０）の各
々の演算モードは、それぞれモードＡ乃至Ｄと定義され
る。

【００５７】ここで、図６の説明に戻る。マトリクス回
路７２は、演算制御部３５から送信されてくる演算選択
信号の演算モードに基づいて、スイッチ８１ａ乃至８４
ａ，８１ｂ乃至８４ｂ，８１ｃ乃至８４ｃ，および８１
ｄ乃至８４ｄのオンオフを制御する。例えば、サンプリ
ング時刻kのとき、演算制御部３５からモードAの演算選
択信号がマトリクス回路７２に送信されると、マトリク
ス回路７２は、スイッチ８１ａ乃至８４ａをオンにし、
記憶セル７１ａに記憶されている信号V1および記憶セル
７１ｂに記憶されている信号V2を比較部６２の差動増幅
回路９３の正入力に供給し、記憶セル７１ｃに記憶され
ている信号V3および記憶セル７１ｄに記憶されている信
号V4を比較部６２の差動増幅回路９３の負入力に供給す
る。

【００５８】比較部６２の負荷９１ａは、差動増幅回路
９３の正入力に、負荷９１ｂは、差動増幅回路９３の負
入力に、それぞれ接続されており、記憶セル７１ａ乃至
７１ｄから入力される電流を電圧に変換する。可変電流
源９２は、バイアス電流を発生し、差動増幅回路９３の
正入力に供給し、記憶セル７１ａ乃至７１ｄのうち、差
動増幅回路９３の正入力に入力される信号に、式（７）
乃至式（１０）におけるBIASとして加えられる。差動増
幅回路９３は、正入力と負入力の差を演算する。

【００５９】例えば、記憶部６１のマトリクス回路７２
に、演算制御部３５からモードＡの演算選択信号が、入
力された場合、スイッチ８１ａ乃至８４ａがオンにさ
れ、記憶セル７１ａに記憶されている信号V1および記憶
セル７１ｂに記憶されている信号V2が比較部６２の差動
増幅回路９３の正入力に入力される。また、記憶セル７
１ｃに記憶されている信号V3および記憶セル７１ｄに記
憶されている信号V4が比較部６２の差動増幅回路９３の
負入力に入力される。従って、差動増幅回路９３は、式
（７）の演算を実行することになる。

【００６０】尚、本説明の例においては、比較部６２に
差動増幅回路９３を使用しているが、チョッパ型比較回
路を用いることもできる。

【００６１】次に、図７のフローチャートを参照して、
画像処理装置１の動作について説明する。

【００６２】ステップＳ１において、システム制御部１
１からの制御信号に基づいて、パタン投光部１２により
パタン光（赤外光）が発生され、被写体２に向けて照射
される。そして、被写体２から反射された赤外光と可視
光が、レンズ１３により集光され、プリズム１４に入射
される。

【００６３】ステップＳ２において、入射された光は、
プリズム１４により可視光と赤外光に分光され、分光さ
れた可視光はイメージャ１５に、赤外光は距離センサ１
７に、それぞれ入射される。

【００６４】ステップＳ３において、イメージャ１５
は、可視光から色の情報を抽出し、映像信号処理部１６
に出力する。映像信号処理部１６に入力された色の情報
は、ゲイン調整およびカラー信号処理が施され、カラー
映像信号として計算機１９に出力される。一方、距離セ
ンサ１７は、その各画素４１により赤外光を受光し、そ
の強度のピークを検出可能な２値化信号を生成して形状
データ処理部１８に出力する。尚、距離センサ１７の画
素４１の処理については、後述する。形状データ処理部
１８は、距離センサ１７からの２値化信号から赤外光の
ピークとなるサンプリング時刻を求め、そのサンプリン
グ時刻に対応する赤外光強度から三角測量の原理によ
り、被写体２までの距離を演算し、形状データ信号とし
て計算機１９に出力する。

【００６５】ステップＳ４において、計算機１９は、入
力されたカラー映像信号と形状データ信号を合成し、コ
ンピュータグラフィクス処理を施した後、モニタ３に出
力したり、あるいは、外部記憶装置４に出力し、記憶さ
せ、処理が終了される。

【００６６】次に、図８のフローチャートおよび図９の
タイミングチャートを参照して、図９のタイミングチャ
ート中のサンプリング時刻ｋ−1において、図２の距離
センサ１７の画素４１の記憶セル７１ａ乃至７１ｄに、
赤外光強度のサンプリング信号としてV1＝s(k−4), V2
＝s(k−1), V3＝s(k−2), V4＝s(k−3)が、記憶されて
いる場合の動作について説明する。

【００６７】ステップS１１において、サンプリング時
刻k−1の直後にタイミングジェネレータ３２から送信さ
れたリセットパルスが、受光部５１に入力されると、受
光部５１は、受光レベルをリセットし、新たに赤外光の
受光を開始する（図９中、蓄積フェーズ）。

【００６８】ステップS１２において、受光部５１は、
タイミングジェネレータ３２からの受光部転送パルス
（図示せず）に同期して、新たに受光した赤外光を光電
変換し、増幅部５２に出力する。

【００６９】ステップS１３において、増幅部５２は、
タイミングジェネレータ３２からの増幅部駆動パルス
（図示せず）に同期して、受光部５１から入力された信
号を、増幅し、演算部５３に出力する。

【００７０】ステップS１４において、演算部５３は、
水平走査回路３３ａからのクリアパルスCLR1（図９）に
同期して、最も古い信号である記憶セル７１ａの信号s
(k−4)を消去し、続く水平走査回路３３ａからの記憶部
転送パルスTX1（図９）に同期して、増幅部５２からの
信号を記憶セル７１ａに記憶させる。

【００７１】ステップＳ１５において、記憶セル７１ａ
乃至７１ｄは、記憶している信号V1乃至V4をマトリクス
回路７２に出力する。

【００７２】ステップＳ１６において、マトリクス回路
７２は、演算制御部３５からの演算選択信号のモードＡ
の信号に基づいて、スイッチ８１ａ乃至８４ａをオン
し、記憶セル７１ａ乃至７１ｄから入力される信号V1乃
至V4のうち、信号V1およびV2を比較部６２の差動増幅回
路９３の正入力に、信号V3およびV4を負入力にそれぞれ
供給する。

【００７３】ステップS１７において、マトリクス回路
７２から正入力に入力された信号V1およびV2に、可変電
流源９２から供給されるBIASを加えた信号と、負入力に
入力された信号V3およびV4は、負荷９１ａ，９１ｂによ
り電流から電圧に変換される。比較部６２の差動増幅回
路９３は、水平走査回路３３ａからの比較部駆動パルス
（図示せず）に同期して、この信号V1乃至V4およびBIAS
から式（７）の演算を実行する（図９中、演算フェー
ズ）。そして、その演算結果は、出力部５４に出力され
る。図９の例では、1が出力されており、受光した赤外
光強度のピークが検出されたことを示している。

【００７４】ステップＳ１８において、出力部５４は、
水平走査回路３３ａからの選択信号と同期して（サンプ
リング同期信号のサンプリング時刻k+1に対応する）、
画素信号としての演算結果を共通信号線４２を介して、
出力回路３４に出力する（図９中、出力フェーズ）。

【００７５】ステップＳ１９において、出力回路３４
は、タイミングジェネレータ３２からの制御パルスに同
期して、画素信号を形状データ処理部１８に出力し、処
理を終了する。

【００７６】尚、この処理は、図９に示すように、サン
プリング時刻毎に繰り返される。すなわち、上記処理
が、サンプリング時刻k−1の直後のリセットパルスから
演算モードＡの蓄積フェーズに入り、クリアパルスCLR4
から演算フェーズに入るが、このとき、サンプリング時
刻ｋのリセットパルスにより、その次のモードＢの演算
の蓄積フェーズに入ることになり、以降これが繰り返さ
れる。

【００７７】以上の説明においては、画素４１に、受光
部５１、増幅部５２、演算部５３、および出力部５４を
設けるようにしたが、図１０に示すように、演算部５３
および出力部５４は、画素４１の外部に置くようにして
も良い。図１０の例は、図２に対応する距離センサ１７
の各画素４１の演算部５３と出力部５４を別置きにした
距離センサ１７を示している。

【００７８】図１０においては、図２の場合と対応する
部分には同一の符号を付してあり、その説明は、適宜省
略する。図１０の距離センサ１７においては、新たに画
素出力線１０１と記憶演算エリア１０２が設けられてい
る。光学エリア３１内の各画素４１からの画素信号は、
画素出力線１０１を介して、記憶演算エリア１０２の各
画素４１に対応する記憶部６１に出力される。図１０に
対応する各画素４１には、図４の受光部５１および増幅
部５２だけが設けられ、それ以降の演算部５３と出力部
５４からなる部分が、記憶演算エリア１０２の各画素４
１に対応する記憶部６１に設けられており、両者は画素
出力線１０１に接続されている。このように別置きにす
ることにより、画素４１を光学エリア３１に効率よく配
置することができる。

【００７９】図１１は、図１０の光学エリア３１と記憶
演算エリア１０２の複数の画素４１の処理を示すタイミ
ングチャートである。すなわち、例えば、画素ｉ−1に
ついて図９のサンプリング時刻k，k+1で、演算記憶エリ
ア１０２の記憶部６１は、クリアパルスに同期してデー
タが消去された記憶セル（７１ａ乃至７１ｄのいずれか
古い時刻のデータが記憶されているセル）に、受光部５
１から増幅部５２および画素出力線１０１を介して、転
送パルスに同期して入力された信号を記憶させる。そし
て、その記憶部６１に対応する受光部５１は、リセット
パルスによりリセットされ、新たに受光を開始する。一
方、記憶セル７１ａ乃至７１ｄに記憶された信号は、演
算制御部３５から入力される演算選択信号に基づいて演
算を実行し、出力部５４に出力する。そして、出力部５
４は、水平走査回路３３ａからの選択信号に同期して、
共通信号線４２を介して出力回路３４に出力する。その
後、次の画素ｉが、画素ｉ−1と同じサンプリング時刻
k，k＋１で、図９に示される処理を実行する。尚、図１
０においては、図２に対応した水平走査型タイプの場合
について説明したが、図３の垂直走査型タイプの場合に
ついても同様である。

【００８０】以上の説明においては、画像処理装置に３
次元画像処理を実行させるようにしたが、画像処理装置
は、演算内容を変化させることにより、画像と共に演算
処理が必要な他の処理も実行させることができる。例え
ば、画像情報と共に温度分布を測定するサーモグラフィ
などに応用させても良く、また、上記の３次元画像処理
とサーモグラフィを組み合わせることで、３次元サーモ
グラフィとしても良い。

【００８１】上述の様に、各画素４１に演算機能を持た
せることにより、リアルタイムでの画像処理が可能とな
る。

【００８２】

【発明の効果】請求項１に記載の画像処理装置および請
求項６に記載の画像処理方法によれば、光学エリアの各
素子毎に光電変換された信号を所定の規則で演算するよ
うにしたので、リアルタイムでの画像情報の演算処理が
可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の構成を示すブ
ロック図である。

【図２】図１の水平走査型の距離センサの構成を示すブ
ロック図である。

【図３】図１の垂直走査型の距離センサの構成を示すブ
ロック図である。

【図４】図２の画素の詳細な構成を示すブロック図であ
る。

【図５】受光される光のピークの演算方法を説明する図
である。

【図６】図４の演算部の詳細な構成を示す図である。

【図７】図１の画像処理装置の動作を説明するフローチ
ャートである。

【図８】図２の画素の動作を説明するフローチャートで
ある。

【図９】図２の画素の動作を説明するタイミングチャー
トである。

【図１０】図４の距離センサの他の構成を示すブロック
図である。

【図１１】図１０の距離センサの動作を説明するタイミ
ングチャートである。

【符号の説明】

１画像処理装置，２被写体，３モニタ，４
外部記憶装置，１１システム制御部，１２パ
タン投光部，１３レンズ，１４プリズム，１
５イメージャ，１６映像信号処理部，１７距
離センサ，１８形状データ処理部，１９計算
機，３１光学エリア，３２タイミングジェネレ
ータ，３３ａ水平走査回路，３３ｂ垂直走査回
路，３４出力回路，３５演算制御部，４１，４
１ａ乃至４１ｎ画素，４２共通信号線，５１受
光部，５２増幅部，５３演算部，５４出力
部，６１記憶部，６２比較部，７１ａ乃至７
１ｄ記憶セル，７２マトリクス回路，８１ａ乃至
８１ｄ，８２ａ乃至８２ｄ，８３ａ乃至８３ｄ，８４ａ
乃至８４ｄスイッチ，９１ａ，９１ｂ負荷，９
２可変電流源，９３差動増幅回路，１０１画
素出力線，１０２記憶演算エリア

Claims

【特許請求の範囲】

【請求項１】複数の素子をマトリクス状に配置した光
学エリアを有する画像処理装置において、前記光学エリアの各素子毎に入射する光を受光し、光電
変換する受光手段と、前記各素子毎に前記受光手段で光電変換された信号を所
定の規則で演算する演算手段と、前記各素子毎に前記演算手段の演算結果を出力する出力
手段と、前記複数の素子毎に前記出力手段より演算結果が出力さ
れるタイミングを調整するタイミング調整手段とを含む
ことを特徴とする画像処理装置。
【請求項２】前記演算手段は、前記光電変換された異
なるタイミングの複数の信号を、逐次記憶する記憶手段
をさらに含むことを特徴とする請求項１に記載の画像処
理装置。
【請求項３】前記演算手段は、前記記憶手段により記
憶された複数の信号を組み合わせて比較演算を実行する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】前記比較演算は、前記信号の最大値また
は最小値を求める演算を含むことを特徴とする請求項３
に記載の画像処理装置。
【請求項５】前記出力手段は、前記タイミング調整手
段により調整されたタイミングで前記演算結果を前記各
素子の列または行毎に出力することを特徴とする請求項
１に記載の画像処理装置。
【請求項６】複数の素子をマトリクス状に配置した光
学エリアを有する画像処理装置の画像処理方法におい
て、前記光学エリアの各素子毎に入射する光を受光し、光電
変換する受光ステップと、前記各素子毎に前記受光ステップの処理で光電変換され
た信号を所定の規則で演算する演算ステップと、前記各素子毎に前記演算ステップの処理の演算結果を出
力する出力ステップと、前記複数の素子毎に前記出力ステップの処理で演算結果
が出力されるタイミングを調整するタイミング調整ステ
ップとを含むことを特徴とする画像処理方法。