JP2006279897A

JP2006279897A - 画像センサ、追跡装置及び被写体追跡方法

Info

Publication number: JP2006279897A
Application number: JP2005100148A
Authority: JP
Inventors: Tetsuya Yoshida; 哲哉吉田
Original assignee: Seiko Precision Inc
Current assignee: Seiko Precision Inc
Priority date: 2005-03-30
Filing date: 2005-03-30
Publication date: 2006-10-12

Abstract

【課題】ＣＭＯＳセンサの撮像エリアとビジョンセンサの撮像エリアとを対応させる。
【解決手段】センサ部１０１の有効画素エリアArea_1内にＣＭＯＳセンサの画素回路11_pqと、ビジョンセンサの画素回路12_xyと、を配置する。追跡装置は、このセンサ部１０１を備えて物体Ｐを追跡する場合、物体の画像が有効画素エリアArea_1内となるような制御を行う。物体の画像が有効画素エリアArea_1から外れた場合は、画像が有効画素エリアArea_1内となるような駆動制御信号を姿勢制御部に供給する。センサ部１０１は、常に、有効画素エリアArea_1内に存在する物体の画像を出力する。
【選択図】図１

Description

本発明は、画像センサ、追跡装置及び被写体追跡方法に関するものである。

従来より、被写体の動きに追従してカメラの撮影方向を制御し、撮影する被写体を追跡するような追跡装置がある。このような画像追跡装置のカメラには、ＣＭＯＳによって構成されたイメージセンサが用いられる。このイメージセンサは被写体を画像化し、画像追跡装置は、画像処理を行って被写体画像を出力する。

一方、ビジョンセンサを用いてマークの重心位置を検出し、検出した重心位置に基づいて位置補正を行う位置補正装置がある（例えば、特許文献１参照）。ビジョンセンサは、画素毎に演算を行う画素回路を備えたものであり、重心の計算を、ＣＭＯＳによって構成されたイメージセンサよりも高速に行える。

このような画像追跡装置にビジョンセンサを用いれば、高速で、しかも正確に被写体を追跡することができる。
特開２００３−２１７５０１号公報（第３頁、図１、２）

しかし、このようなビジョンセンサを画像追跡装置に備えようとすると、ＣＭＯＳによって構成されたイメージセンサとビジョンセンサとの配置位置が異なってくる。

このため、画像追跡装置は、被写体に対するカメラの撮像エリアとビジョンセンサの撮像エリアとを合わせるようにしなければならず、位置合わせが容易ではない。

本発明は、このような従来の問題点に鑑みてなされたもので、イメージセンサの撮像エリアとビジョンセンサの撮像エリアとを対応させることが可能な画像センサを提供することを目的とする。また、本発明は、このような画像センサを用いて被写体の追跡が可能な追跡装置及び被写体追跡方法を提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る画像センサは、
被写体の画像を生成する画像センサにおいて、
前記被写体からの光を受光して像を結像させる画素領域に、
複数のイメージセンサ単位画素回路が、受光した光を、それぞれ、光強度に対応する信号レベルの光検出信号に変換して出力するように構成されたイメージセンサ画素回路部と、
行列配置された複数のビジョンセンサ単位画素回路が、それぞれ、受光した光を前記光検出信号に変換するとともに、変換した前記光検出信号を２値化して行方向に演算し、前記複数のビジョンセンサ単位画素回路が演算した行方向の演算データを出力するように構成されたビジョンセンサ画素回路部と、が配置されたことを特徴とする。

前記被写体からの光が入射する第１層に、
前記画素領域の前記イメージセンサ画素回路部と前記ビジョンセンサ画素回路部とが配置され、
前記第１層とは異なる層に、
前記複数のイメージセンサ単位画素回路が出力した光検出信号に基づいて生成された画像データを、順次、出力するように前記複数のイメージセンサ単位画素回路を制御するイメージセンサ制御回路と、
前記複数のビジョンセンサ単位画素回路に前記演算を行わせるための信号を供給するとともに、出力された前記演算データをさらに演算して、前記被写体の画像のモーメント量を示す信号を出力するビジョンセンサ周辺回路と、が配置されてもよい。

本発明の第２の観点に係る追跡装置は、
上述の画像センサと、
前記ビジョンセンサ周辺回路に制御信号を供給して、前記ビジョンセンサ周辺回路から出力された信号に基づいて、追跡対象の被写体の画像が前記画素領域に結像するように駆動制御するための駆動制御信号を生成し、前記イメージセンサ制御回路から、順次、出力された前記画像データを取得する制御部と、
前記制御部が生成した前記駆動制御信号に基づいて、前記被写体を追跡するように姿勢を制御する姿勢制御部と、を備えたことを特徴とする。

本発明の第３の観点に係る被写体追跡方法は、
被写体からの光を受光して像を結像させる画素領域に、
複数のイメージセンサ単位画素回路が、受光した光を、それぞれ、光強度に対応する信号レベルの光検出信号に変換して出力するように構成されたイメージセンサ画素回路部と、
行列配置された複数のビジョンセンサ単位画素回路が、それぞれ、受光した光を前記光検出信号に変換するとともに、変換した前記光検出信号を２値化して行方向に演算し、前記複数のビジョンセンサ単位画素回路が演算した行方向の演算データを出力するように構成されたビジョンセンサ画素回路部と、が配置され、
さらに、前記複数のイメージセンサ単位画素回路が出力した前記光検出信号に基づいて生成された画像データを、順次、出力するように前記複数のイメージセンサ単位画素回路を制御するイメージセンサ制御回路と、
前記複数のビジョンセンサ単位画素回路に前記演算を行わせるための信号を供給するとともに、出力された前記演算データをさらに演算して、前記被写体の画像のモーメント量を示す信号を出力するビジョンセンサ周辺回路と、を備えた画像センサを用いて前記被写体を追跡する被写体追跡方法であって、
前記ビジョンセンサ周辺回路から出力された前記信号に基づいて、前記被写体の動きに追従させるための駆動制御信号を生成するステップと、
前記生成した前記駆動制御信号に基づいて、前記被写体を追跡するように姿勢を制御するステップと、
前記イメージセンサ制御回路から出力された前記画像データを取得するステップと、を備えたことを特徴とする。

本発明によれば、イメージセンサの撮像エリアとビジョンセンサの撮像エリアとを対応させることができる。

以下、本発明の実施形態に係るイメージセンサ、追跡装置を図面を参照して説明する。
本実施形態に係るイメージセンサの構成を図１に示す。
本実施形態に係るセンサ部１０１の有効画素エリアArea_1は、被写体としての物体Ｐからの光を受光して像を結像させる画素領域であり、画素エリアArea_2内に形成される。有効画素エリアArea_1には、ＣＭＯＳセンサの画素回路11_pqと、ビジョンセンサの画素回路12_xyと、が配置される。

このセンサ部１０１は、半導体集積回路等の３次元集積技術を用いて、図２に示すように、第１層のLayer_1と、第２層のLayer_2と、第３層のLayer_3と、の３層構造になっている。第１層は、物体Ｐからの光が入射する層である。

ＣＭＯＳセンサは、複数のイメージセンサ単位画素回路が、物体Ｐからの反射光を受光して、物体Ｐの画像データを出力するように構成されたものである。ＣＭＯＳセンサは、図３に示すように、図１に示す画素回路11_pq（ｐ＝０〜（Ｎ−１），ｑ＝０〜（Ｎ−１））と、スイッチ12_qと、ＣＤＳ（Correlated Double Sampling；相関二重サンプリング）回路13_pと、スイッチ14_pと、水平走査部１５と、垂直走査部１６と、出力回路１７と、からなる。

画素回路11_pqは、画素座標(p,q)における単位画素回路であり、フォトダイオード１１ａとアンプ１１ｂとからなる。フォトダイオード１１ａは、受光した光を、その光強度に対応する信号レベルの光検出信号に光電変換して出力するものである。

アンプ１１ｂは、フォトダイオード１１ａが出力した光検出信号を増幅するものである。

スイッチ12_qは、トランジスタによって構成され、オン（閉）オフ（開）することにより、各画素回路11_pqの出力信号を出力したり、遮断したりするためのものである。

ＣＤＳ回路13_pは、信号に含まれる基準レベルと信号レベルとの差分をサンプリングする回路である。

スイッチ14_qは、トランジスタによって構成され、オンオフすることにより、ＣＤＳ回路13_pの出力信号を出力したり、遮断したりするものである。

水平走査部１５は、各スイッチ12_qのオンオフを制御するものである。
垂直走査部１６は、各スイッチ14_pの開閉を制御するものである。
出力回路１７は、各画素回路部11_pqから出力された光検出信号を増幅して、画素データとして出力するものである。尚、ＣＤＳ回路13_pとスイッチ14_pと水平走査部１５と垂直走査部１６と出力回路１７とが、例えば、イメージセンサ制御回路に対応する。

次に、ビジョンセンサの構成について説明する。
ビジョンセンサは、行列配置された複数のビジョンセンサ単位画素回路が、それぞれ、物体Ｐからの光を受光して、光検出信号を２値画像化して加算演算を行い、そのモーメント量を示す信号を出力するものである。

このモーメント量取得の原理について説明する。一般に、モーメント量ｍ_pqは、次の数１によって表される。

０次モーメント量ｍ₀₀は、画像データＩ(x,y)の総和を示す。また、１次モーメント量ｍ₁₀，ｍ₀₁を０次モーメント量ｍ₀₀で割れば、商として画像データＩ(x,y)の重心位置（xg,yg）が求められる。

ここで、整数ｘを２進数で表すと、整数ｘは、次の数２によって表される。

モーメント量ｍ_pqは、この数２を用いて、数３によって求められる。

ビジョンセンサは、この数３に従ってモーメント量を示す信号を出力するため、図４に示すように、画像処理部１２ａと、列加算部２１と、デコーダ２２と、デコーダ２３と、を備える。

画像処理部１２ａは、Ｎ×Ｎ個の画素回路12_xyからなるものである。この画素回路12_xyは図１に示すものであり、本実施形態では、Ｎ＝４とする（ｘ＝０〜３，ｙ＝０〜３）。また、この画素回路12_xyは、図２に示すLayer_1に形成される。

各画素回路12_xyは、被写体としての物体Ｐからの反射光を受光して光検出信号に変換し、光検出信号を２値化し、２値化した２値データを行方向に加算演算を行うものである。

各画素回路12_xyは、図５に示すように、フォトダイオード（図中、「ＰＤ」と記す。）３１と、トラッキング部３２と、マスク部３３と、行加算部３４と、を備える。

フォトダイオード３１は、受光した光を、その光強度に対応する信号レベルの光検出信号に変換するものである。

トラッキング部３２は、外部から輝度閾値が供給されてフォトダイオード３１からの光検出信号を２値画像に変換し、セルフウィンドウ法に基づいてターゲットトラッキングを行うものである。セルフウィンドウ法は、隣接する画素回路と自らの画素回路において、ターゲットとした前フレームのトラッキング画像からウィンドウ画像を生成し、生成したウィンドウ画像の領域内の２値画像を新たなトラッキング画像として生成する方法である。

トラッキング部３２は、このようなターゲットトラッキングを行うため、隣接する画素回路12_(x-1)y,12_(x+1)y,12_x(y-1),12_x(y+1)のトラッキング部３２から、それぞれ、トラッキング信号が供給される。

トラッキング部３２は、変換した自己の２値信号と隣接する画素回路12_(x-1)y,1_(x+1)y,1_x(y-1),1_x(y+1)のトラッキング部３２から供給されたトラッキング信号との論理積を演算することにより、トラッキング画像信号を生成する。

トラッキング部３２は、生成したトラッキング画像信号をマスク部３３に出力する。また、トラッキング部３２は、生成したトラッキング画像信号を新たなウィンドウ画像信号として、隣接する画素回路12_(x-1)y,12_(x+1)y,12_x(y-1),12_x(y+1)のトラッキング部３２に供給するとともに、自らのトラッキング部３２にも出力する。

マスク部３３は、トラッキング部３２と行加算部３４とを初期化するとともに、トラッキング部３２から出力されたトラッキング画像信号をビットマスクするためのものである。マスク部３３には、デコーダ２３から列選択信号ｘiが供給され、デコーダ２２から行選択信号ｙjが供給される。マスク部３３は、列選択信号ｘiと行選択信号ｙjとに基づいて、トラッキング画像信号をビットマスクする。

行加算部３４は、行方向のＳＵＭ信号を累積加算するためのものであり、トラッキング画像信号と、隣接する画素回路12_(x-1)yの行加算部３４から出力されたＳＵＭ信号と、を加算する。

列加算部２１は、処理要素12_30〜12_33からそれぞれ出力されたＳＵＭ信号を、順次、列方向に加算するものであり、加算した結果のデータを信号SOUTとして、外部に出力する。列加算部２１は、図２に示すLayer_2に形成される。

デコーダ２２は、外部から信号COL(x)が供給され、信号COL(x)に基づいて列選択信号ｘi（i＝０〜３）を生成して画素回路12_xyに供給するものであり、図２に示すLayer_2に形成される。列選択信号ｘiは、画素回路12_xyのいずれかの列を選択するための信号である。

デコーダ２３は、外部から信号ROW(y)が供給され、信号ROW(y)に基づいて行選択信号ｙj（ｊ＝０〜３）を生成して各画素回路12_xyに供給するものであり、図２に示すLayer_2に形成される。行選択信号ｘjは、画素回路12_xyのいずれかの行を選択するための信号である。尚、列加算部２１とデコーダ２２，２３と、がビジョンセンサ周辺回路に相当するものである。

ビジョンセンサは、このような構成を有するため、高速で演算を行うことが可能なものである。但し、各画素回路12_xyの回路サイズは、ＣＭＯＳセンサの各画素回路11_pqよりも大きくなる。このため、各画素回路12_xyは、図１に示すように、有効画素エリアArea_1内の各画素回路11_pqの間に不連続に配置される。

図６に示す追跡装置１００は、このようなセンサ部１０１を備えて構成される。追跡装置１００は、物体Ｐの動きに追従して物体Ｐの画像を取得するものであり、追跡装置１００は、センサ部１０１と、姿勢制御部１０２と、コントローラ１０３と、を備える。

センサ部１０１は、上記構成を有するものである。姿勢制御部１０２は、コントローラ１０３から駆動制御信号が供給され、供給された駆動制御信号に基づいて、物体Ｐを追跡するように追跡装置１００の姿勢を制御するものである。

コントローラ１０３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、センサ部１０１と姿勢制御部１０２とを制御するものである。

コントローラ１０３は、センサ部１０１に信号COL(x)、ROW(y)、輝度閾値、クロック信号を供給する。そして、コントローラ１０３は、センサ部１０１のＣＭＯＳセンサから出力された映像データと、ビジョンセンサの列加算部２１から出力された信号SOUTと、を取得する。

コントローラ１０３は、取得した信号SOUTに基づいて物体Ｐの重心位置（xg,yg）を取得し、取得した重心位置（xg,yg）に基づいて物体Ｐを追跡するように、姿勢制御部１０２に駆動制御信号を供給し、センサ部１０１から物体Ｐの映像データを取得する。

次に実施形態に係る追跡装置１００の動作を説明する。
センサ部１０１内において、ビジョンセンサの各画素回路12_xyは、物体Ｐからの反射光を受光して光検出信号に変換し、光検出信号を２値化する。

コントローラ１０３は、センサ部１０１に信号COL(x)＝０、ROW(y)＝０を出力してセンサ部１０１を初期化する。

初期化後、コントローラ１０３は、数３に従い、０次モーメント量ｍ₀₀を取得するような信号ROW(y)、信号COL(x)をセンサ部１０１に供給する。各画素回路12_xyは、行方向に加算演算を行い、列加算部２１は、処理要素12_30〜12_33からそれぞれ出力されたＳＵＭ信号を、順次、列方向に加算して、０次モーメント量ｍ₀₀を示す信号SOUTを出力する。コントローラ１０３は、この信号を取得して、数３に従い、０次モーメント量を演算する。

同様に、コントローラ１０３は、数３に従い、１次モーメント量ｍ₁₀，ｍ₀₁を取得するような信号ROW(y)、COL(x)をセンサ部１０１に供給して、１次モーメント量ｍ₁₀，ｍ₀₁を示す信号SOUTを取得する。

そして、コントローラ１０３は、１次モーメント量ｍ₁₀，ｍ₀₁を０次モーメント量ｍ₀₀で割り、商として物体Ｐの画像データＩ(x,y)の重心位置（xg,yg）を取得する。

図７に示すように、物体Ｐの画像をＰgとして、コントローラ１０３は、画像データＰgが有効画素エリアArea_1内に位置するように、駆動制御信号を姿勢制御部１０２に供給する。

コントローラ１０３は、演算によって得られた０次モーメント量に基づいて画像データＰgが有効画素エリアArea_1内に位置しているか否かを判定することができ、また、画像Ｐgが有効画素エリアArea_1内に位置するような重心位置（xg1,yg1）を判別することもできる。

図８に示すように、重心位置（xg1,yg1）に基づいて、画像Ｐgが有効画素エリアArea_1から外れたと判定した場合、コントローラ１０３は、画像Ｐgが有効画素エリアArea_1内に戻るような駆動制御信号を姿勢制御部１０２に供給する。

姿勢制御部１０２は、供給された駆動制御信号に基づいて、追跡装置１００の姿勢を制御し、図９に示すように、画像Ｐgが有効画素エリアArea_1内に戻る。そして、Ｐgの像は、センサ部１０１の有効画素エリアArea_1内の各画素回路11_pqの像面に結像する。

ＣＭＯＳセンサの各画素回路11_pqは、物体Ｐからの反射光を受光して、反射光によって結像した被写体画像の光検出信号を出力する。センサ部１０１は、各画素回路11_pqから出力された光検出信号を、物体Ｐの映像データとしてコントローラ１０３に出力する。

尚、ビジョンチップの各画素回路12_xyが各画素回路11_pqよりも大きくなることから、画像Ｐgのデータが欠落することになる。しかし、コントローラ１０３は、欠落したデータを補間により補い、画像Ｐgを生成し、映像情報の欠落を軽減する。

補間方法としては、以下のような方法がある。まず、第１の補間方法は、各画素回路12_xyの周辺の各画素回路11_pqのレベルを測定し、その平均値を欠落した画素データの部分に置き換える方法である。

第２の補間方法は、ビジョンセンサの画素回路12_xy周辺の上半分と下半分とのレベルの平均値を、欠落した画素データの部分に置き換える方法である。

第３の補間方法は、ビジョンセンサの画素回路12_xyの四隅に隣接するＣＭＯＳセンサ画素のレベルの平均値を求め、求めた平均値を欠落した画素データの四隅の画素データに置き換える方法である。コントローラ１０３は、これらの補間方法のいずれかを用いて、補間を行う。

以上説明したように、本実施形態によれば、ＣＭＯＳセンサの画素回路11_pqとビジョンセンサの画素回路12_xyとを、有効画素エリアArea_1に配置するようにした。

従って、ＣＭＯＳセンサの撮像エリアとビジョンセンサの撮像エリアとを対応させることができる。また、このようなセンサ部１０１を備えた追跡装置１００は、物体Ｐの画像を有効画素エリアArea_1内の各画素回路11_pqの像面に結像させることができ、物体Ｐを高速に、かつ正確に追跡することができる。

また、ＣＭＯＳセンサとビジョンセンサとを１つのデバイスで実現できるので、部品点数を低減することができ、実装スペースの縮小とコストダウンを可能とし、さらには、同一エリアを撮影するための撮像エリアの調整が不要となる。

また、半導体集積回路等の３次元集積技術を用いて、センサ部１０１を３層構造とすることにより、ＣＭＯＳセンサの画素回路11_pqとビジョンセンサの画素回路12_xyとを同一の画素有効エリアArea_1に形成してもチップサイズを小さくすることができる。

また、コントローラ１０３は、上記補間方法を用いて欠落したデータの補間を行うことにより、映像情報の欠落を軽減することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、ビジョンセンサの画素数を４×４として説明した。しかし、ビジョンセンサの画素数は、４×４以上であってもよい。

上記実施形態の追跡装置１００は、物体Ｐを追跡するため、自らの姿勢を制御するようにした。しかし、追跡装置１００の方向を変える必要がなければ、追跡装置１００は、自らの姿勢を制御する代わりにセンサ部１０１の姿勢だけを制御するようにしてもよい。

本発明の実施形態に係るイメージセンサの構成を示す図である。イメージセンサの３層構造を示す図である。ＣＭＯＳセンサの構成を示す図である。ビジョンセンサの構成を示す図である。図４に示すビジョンセンサの画素回路の構成を示す図である。追跡装置の構成を示すブロック図である。ビジョンセンサが取得した物体の画像と有効画素エリアとの関係を示す図である。ビジョンセンサが取得した物体の画像が有効画素エリアから外れた場合の例を示す図である。ＣＭＯＳセンサが出力する物体の映像データを示す図である。

符号の説明

11_pq 画素回路（ＣＭＯＳセンサ）
12_xy 画素回路（ビジョンセンサ）
１００追跡装置
１０１センサ部
１０２姿勢制御部
１０３コントローラ

Claims

被写体の画像を生成する画像センサにおいて、
前記被写体からの光を受光して像を結像させる画素領域に、
複数のイメージセンサ単位画素回路が、受光した光を、それぞれ、光強度に対応する信号レベルの光検出信号に変換して出力するように構成されたイメージセンサ画素回路部と、
行列配置された複数のビジョンセンサ単位画素回路が、それぞれ、受光した光を前記光検出信号に変換するとともに、変換した前記光検出信号を２値化して行方向に演算し、前記複数のビジョンセンサ単位画素回路が演算した行方向の演算データを出力するように構成されたビジョンセンサ画素回路部と、が配置された、
ことを特徴とする画像センサ。
前記被写体からの光が入射する第１層に、
前記画素領域の前記イメージセンサ画素回路部と前記ビジョンセンサ画素回路部とが配置され、
前記第１層とは異なる層に、
前記複数のイメージセンサ単位画素回路が出力した光検出信号に基づいて生成された画像データを、順次、出力するように前記複数のイメージセンサ単位画素回路を制御するイメージセンサ制御回路と、
前記複数のビジョンセンサ単位画素回路に前記演算を行わせるための信号を供給するとともに、出力された前記演算データをさらに演算して、前記被写体の画像のモーメント量を示す信号を出力するビジョンセンサ周辺回路と、が配置された、
ことを特徴とする請求項１に記載の画像センサ。
前記請求項２に記載の画像センサと、
前記ビジョンセンサ周辺回路に制御信号を供給して、前記ビジョンセンサ周辺回路から出力された信号に基づいて、追跡対象の被写体の画像が前記画素領域に結像するように駆動制御するための駆動制御信号を生成し、前記イメージセンサ制御回路から、順次、出力された前記画像データを取得する制御部と、
前記制御部が生成した前記駆動制御信号に基づいて、前記被写体を追跡するように姿勢を制御する姿勢制御部と、を備えた、
ことを特徴とする追跡装置。
被写体からの光を受光して像を結像させる画素領域に、
複数のイメージセンサ単位画素回路が、受光した光を、それぞれ、光強度に対応する信号レベルの光検出信号に変換して出力するように構成されたイメージセンサ画素回路部と、
行列配置された複数のビジョンセンサ単位画素回路が、それぞれ、受光した光を前記光検出信号に変換するとともに、変換した前記光検出信号を２値化して行方向に演算し、前記複数のビジョンセンサ単位画素回路が演算した行方向の演算データを出力するように構成されたビジョンセンサ画素回路部と、が配置され、
さらに、前記複数のイメージセンサ単位画素回路が出力した前記光検出信号に基づいて生成された画像データを、順次、出力するように前記複数のイメージセンサ単位画素回路を制御するイメージセンサ制御回路と、
前記複数のビジョンセンサ単位画素回路に前記演算を行わせるための信号を供給するとともに、出力された前記演算データをさらに演算して、前記被写体の画像のモーメント量を示す信号を出力するビジョンセンサ周辺回路と、を備えた画像センサを用いて前記被写体を追跡する被写体追跡方法であって、
前記ビジョンセンサ周辺回路から出力された前記信号に基づいて、前記被写体の動きに追従させるための駆動制御信号を生成するステップと、
前記生成した前記駆動制御信号に基づいて、前記被写体を追跡するように姿勢を制御するステップと、
前記イメージセンサ制御回路から出力された前記画像データを取得するステップと、を備えた、
ことを特徴とする被写体追跡方法。