JP2003274295A

JP2003274295A - 撮像センサ及び撮像装置

Info

Publication number: JP2003274295A
Application number: JP2002073730A
Authority: JP
Inventors: Kenya Uomori; 謙也魚森; Hiroto Kobuchi; 寛仁菰渕; Masaki Yamamoto; 正樹山本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-03-18
Filing date: 2002-03-18
Publication date: 2003-09-26
Anticipated expiration: 2022-03-18
Also published as: JP4242598B2

Abstract

(57)【要約】【課題】簡単な構成で距離により被写体を選択撮像し
たり、カメラの向きやズームを純電子的に制御したり、
撮像された画像に対してフィルタ処理を施したりする。【解決手段】複数のブロックに分割された撮像センサ
１５と、これに対して幾何学的な位置が制御可能なピン
ホール板とを用いる。演算処理部１０３０では、それぞ
れのブロックからの画像信号を遅延・ゲーティングして
加減算を行い、この計算で得られたフラグ信号を撮像セ
ンサ１５の各ブロックに再入力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、選択撮像・カメラ
光軸制御・画像処理の各機能を備えた撮像装置に関する
ものである。

【０００２】

【従来の技術】従来、３次元測定ができるレンジファイ
ンダ装置と通常のカメラとを併用することで、距離によ
り被写体を選択撮像する技術が知られている（例えば、
特開２０００−２４１１３１参照）。

【０００３】また、カメラの向きを変化させたり、ズー
ムを行ったりする場合、カメラを雲台に取り付け、この
雲台をモータで駆動できるようにしておき、遠隔操作に
よってカメラを取り付けている雲台の向きを変えたり、
カメラレンズ内に取り付けられたレンズ移動モータによ
ってレンズを移動することによってレンズの焦点距離を
変化させてズーミングを行ったりしていた。

【０００４】図２２は、従来のロボットビジョン、つま
りロボットの頭部に搭載する左右２つのカメラ（ロボッ
トの目）の実装図である。この図のように、左右アクチ
ュエータ、上下アクチュエータ、カメラを回転可能で固
定する雲台等、カメラ以外の機構部品が多く存在し、全
体として大きな装置になっている。

【０００５】また、撮像された画像情報にフィルタ処理
を行う場合、一旦画像信号をコンピュータに取り込み、
その上でディジタル信号処理によってフィルタ処理を行
っていた。

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の技術では、ある距離にある被写体のみを選
択撮像する場合は、被写体の距離情報とカラー画像情報
とを撮影と同時に得て、ある範囲の距離にある被写体部
分のみのカラー画像を切り出すという付加的な処理が必
要であった。また、カメラ単体で遠隔で向きを変えた
り、ズームを変えることはできないし、画像にフィルタ
処理を行う場合は、コンピュータを用いて画像処理を行
う必要があった。

【０００７】本発明の目的は、簡単な構成で、距離によ
り被写体を選択撮像したり、カメラの向きやズームを純
電子的に制御したり、撮像された画像に対してフィルタ
処理を施したりできるようにすることにある。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、複数の撮像ブロックそれぞれにピンホー
ルを有する構成にし、得られた画像信号をそれぞれ遅延
・ゲーティングし、その結果得られた画像信号を用いる
ことによって距離選択を行う。また、動きのある被写体
を選択的に撮像する。更に、撮像センサとの相対的な位
置関係を変化できるピンホール板によって、カメラの方
向やズームを変える。また、線状ピンホール板をレンズ
の位置に設置して、撮像する時点で画像のフィルタ処理
を行う。

【０００９】

【発明の実施の形態】以下、本発明の撮像装置につい
て、その実施形態を図面を参照しながら説明する。

【００１０】〔第１の実施形態〕図１は、被写体までの
距離を選択して撮像し、それ以外の距離の被写体は撮像
しない機能を有する撮像装置（カメラ）を示している。
図１に示すように、撮像センサ１５の４分割ブロック１
００２〜１００５に対応して４つのピンホールを一方向
に配置したピンホール板１０を前面に配置してある。ピ
ンホール板１０からＬの距離を中心として前後ｍ／２
の、距離方向でｍの範囲の被写体を選択して撮影する。
ピンホール板１０と撮像センサ１５との距離をｆとす
る。Ｌ＞＞ｆの場合、ｆはレンズの焦点距離に対応す
る。

【００１１】図２は、図１の位置関係を更に詳しく説明
したものである。図２において、ピンホール板１０から
Ｌの距離にある点αの、各ブロック１００２〜１００５
における撮像位置はそれぞれαＡ、αＢ、αＣ、αＤで
ある。被写体の中心位置αから前後ｍ／２の範囲は、各
ブロック１００２〜１００５においてｇＡ、ｇＢ、ｇ
Ｃ、ｇＤの範囲で撮像される。このとき、その中心位置
（正確に中心位置である必要はない）の各ブロック左端
からの距離をｄＡ、ｄＢ、ｄＣ、ｄＤとする。これらの
幾何学的長さは、距離Ｌ、ｍ、ｆによって決定される。
具体的に言うと、ｇＡ〜ｇＤはＬ、ｍ、ｆによって、ｄ
Ａ〜ｄＤはＬ、ｆによってそれぞれ決定される。

【００１２】なお、一般的にはカメラの中心線からの被
写体の左右方向のずれｘについても考慮する必要があ
る。すなわち、Ｌ＞＞ｘでない場合には、距離Ｌ、ｍ、
ｆ、ｘを指定してｇＡ〜ｇＤ、ｄＡ〜ｄＤを決めればよ
い。被写体の中心位置がαとβを結ぶ直線（同じ奥行き
距離）上にある場合に対応できる。

【００１３】図３は、図１の撮像装置のシステム構成図
である。４分割された撮像センサ１５の各ブロック１０
０２〜１００５をそれぞれブロックＡ、Ｂ、Ｃ、Ｄと呼
ぶこととする。１０１１〜１０１４は水平シフトレジス
タ（ＨＳＲ）、１０３０はフラグ信号ＦＬＧＡ〜ＦＬＧ
Ｄを生成するための演算処理部、１００６〜１００９は
フラグシフトレジスタ（ＦＳＲ）である。フラグ信号Ｆ
ＬＧＡ〜ＦＬＧＤは、対応画素の撮像の要否を指定する
ための信号である。

【００１４】図４は、１個の撮像ブロック（ブロック
Ｄ）１００５を示す。このブロック１００５は、２次元
アレイ化されたＭＯＳ型の単位画素（セル）１０１５を
備える。そして、垂直方向に画素間共通の出力信号線
（ｏｕｔ）１０２６及びフラグデータ線（ｆｌａｇ＿ｄ
ａｔａ）１０２５が配され、かつ水平方向に画素間共通
のフラグパルス線（ｆｌａｇ＿ｐｕｌｓｅ）１０２１、
転送線（ｔｒａｎｓｆｅｒ）１０２２、リセット線（ｒ
ｅｓｅｔ）１０２３及び電源供給線（ｒｅａｄ／Ｖｄ
ｄ）１０２４が配されている。フラグシフトレジスタ１
００９には、フラグ信号ＦＬＧＤをシフトさせるための
クロック信号（ｃｌｏｃｋ）１０１６が供給される。

【００１５】図５は、単位画素を構成するセル１０１５
の等価回路図を示す。１個のセル１０１５は、フォトダ
イオード（ＰＤ）１０３４と、第１のキャパシタ１０３
８と、フォトダイオード１０３４のｎ層側と第１のキャ
パシタ１０３８とを接続する第１の電界効果トランジス
タ（ＦＥＴ）１０３５と、第１のキャパシタ１０３８を
ゲートで受けた第２のＦＥＴ１０３９とを有する。第１
のＦＥＴ１０３５のゲートは転送線１０２２に接続さ
れ、第２のＦＥＴ１０３９はその一端を出力信号線１０
２６に接続され、他端は第３のＦＥＴ１０３３を介して
電源供給線１０２４に接続され、第３のＦＥＴ１０３３
のゲートと電源供給線１０２４との間に第２のキャパシ
タ１０３２が接続され、第３のＦＥＴ１０３３のゲート
とフラグデータ線１０２５との間には第４のＦＥＴ１０
３１が接続され、第４のＦＥＴ１０３１のゲートにはフ
ラグパルス線１０２１が接続され、フォトダイオード１
０３４のｎ層側とフラグパルス線１０２１との間には第
５のＦＥＴ１０３６が接続され、第５のＦＥＴ１０３６
のゲートはフラグパルス線１０２１に接続され、第１の
キャパシタ１０３８とリセット線１０２３との間には第
６のＦＥＴ１０３７が接続され、第６のＦＥＴ１０３７
のゲートもリセット線１０２３に接続されている。１０
３１、１０３５、１０３６及び１０３７はデプレッショ
ン型ＦＥＴであり、１０３３及び１０３９はエンハンス
メント型ＦＥＴである。

【００１６】図６は、図３のシステム中のある画素ライ
ン（ラインｎとする）における非破壊読み出し動作と、
フラグ挿入動作とを示すタイミングチャートである。図
６中のｔ１１〜ｔ１７、ｔ２１〜ｔ２７はタイミングを
表している。

【００１７】図６において、タイミングｔ１１では、垂
直同期信号ＶＤ及び水平同期信号ＨＤが“Ｈ”となる。
タイミングｔ１２で電源供給線１０２４が“Ｈ”とな
り、前のフレームでキャパシタ１０３８に蓄積されてい
た信号電荷Ｑ０が出力信号線１０２６にデータＱ０とし
て読み出される。タイミングｔ１３でリセット線１０２
３を“Ｈ”とし、キャパシタ１０３８に蓄積されていた
データＱ０をリセットする。タイミングｔ１４で転送線
１０２２を“Ｈ”とし、１フレーム期間中にフォトダイ
オード１０３４で光電変換され蓄積された信号電荷Ｑ１
を、ＦＥＴ１０３５を介してキャパシタ１０３８に読み
出す。次に、タイミングｔ１５で電源供給線１０２４が
“Ｈ”になると、キャパシタ１０３２に記憶されたフラ
グ（Ｆｌａｇ＿Ｑ０）が“０”の場合、Ｖｄｄ電圧がＦ
ＥＴ１０３９に印加される結果、キャパシタ１０３８の
信号電荷Ｑ１は出力信号線１０２６にデータＱ１として
読み出される。つまり、前フレームのデータＱ０に続い
て、現フレームのデータＱ１が出力信号線１０２６上に
得られる。これらのデータＱ０及びＱ１は、水平シフト
レジスタ１０１４を介して後段の演算処理部１０３０に
与えられる。なお、キャパシタ１０３８の信号電荷Ｑ１
は、タイミングｔ２３まで破壊されることなく保持され
る。

【００１８】キャパシタ１０３８の信号電荷は、電源供
給線１０２４を“Ｈ”として１ラインずつ水平シフトレ
ジスタ１０１４に一括して読み出される。ここで、キャ
パシタ１０３２にフラグ“１”が書き込まれていた場合
は、このフラグにより、ＦＥＴ１０３３の閾値が０Ｖか
ら＋５Ｖに変わるため、出力信号線１０２６はハイイン
ピーダンス状態となる。このとき、出力信号線１０２６
に接続した負荷抵抗（不図示）をＧＮＤに接続しておく
と、信号出力が無い場合は水平シフトレジスタ１０１４
には０が書き込まれる。ここでは、フラグ電荷量とし
て、例えば、Ｃ＝１０ｆＦ、Ｖ＝−５Ｖとなる程度の電
子数をキャパシタ１０３２に書き込む場合を想定してい
る。

【００１９】次のＨＤのタイミングｔ１６では、ライン
ｎのフラグ信号が演算処理部１０３０からフラグシフト
レジスタ１００９へ帰ってくる。このフラグ信号は、ク
ロック信号１０１６に応じてフラグシフトレジスタ１０
０９に順次読み込まれる。そして、フラグデータ線１０
２５の“１”はフラグパルス線１０２１の立ち上がりに
同期して（タイミングｔ１７）、ラインｎのキャパシタ
１０３２に書き込まれる。この結果、キャパシタ１０３
２のフラグがＦｌａｇ＿Ｑ１に更新される。これと同時
に、フォトダイオード１０３４の蓄積電荷がリセットさ
れる。

【００２０】以上の手順を通じて、４画面を並列に読み
出すことのできる撮像センサ１５より、並列に読み出さ
れた信号出力は後段の演算処理部１０３０にて処理さ
れ、その結果、同一距離とみなされるアドレスにはフラ
グ“１”を立てて、撮像センサ１５に返される。

【００２１】なお、単位画素の構成は図５に限定される
ものではなく、入射光を光電変換しかつ現フレームにお
いて光電変換された信号電荷を蓄積するための光電変換
蓄積部（１０３４）と、該光電変換蓄積部の後段に接続
され前フレームの信号電荷を蓄積保持するための電荷保
持部（１０３８）と、該電荷保持部の信号電荷を外部に
読み出すための読み出し部（１０３９）と、該読み出し
部から信号電荷を外部に読み出す機能をフラグ信号に基
づいてオンオフ制御するための読み出し制御部（１０３
１〜１０３３）とを各単位画素に備えておればよい。

【００２２】次に、演算処理部１０３０の動作について
説明する。演算処理部１０３０は、撮像センサ１５の４
つのブロック１００２〜１００５からの画像信号をもと
に、画像の特定の領域を選択するフラグ信号、すなわち
前述のフラグデータを生成するものである。

【００２３】図７は、信号処理部１０３０の構成図であ
る。図２のような幾何学的な関係を予め計算しておき、
図７のディレイ制御部１９と、ゲート時間制御部２０と
に記憶しておく。このカメラ使用者は、写したい被写体
までの距離Ｌと、写したい範囲ｍとを選択範囲指定部２
１で指定する。

【００２４】図７によれば、撮像センサ１５のブロック
Ａ〜Ｄからの画素信号は走査により順次出力され、それ
ぞれ信号ディレイ部１６ａ〜１６ｄに入力される。それ
ぞれのディレイ量（時間遅延）は図２のｄＡ、ｄＢ、ｄ
Ｃ、ｄＤを走査時間で換算したものである。ここで時間
換算は、撮像センサ１５から得られる画素信号が、通常
横方向に繰り返し時間掃引された信号であることを利用
して、例えば、ｄＡの距離であれば、それに対応した時
間換算値を予めディレイ制御部１９に記憶しておき、そ
れを信号ディレイ部１６ａに入力する。信号ディレイ部
１６ａ〜１６ｄの出力はそれぞれ、信号ゲーティング部
１７ａ〜１７ｄに入力される。各々のゲート時間（信号
選択期間）は、図２で示したｇＡ、ｇＢ、ｇＣ、ｇＤか
ら、画素信号の掃引速度を考慮して時間変化した値を定
義したものであり、ゲート時間制御部２０に予め記憶さ
れている。これによって、図２のαの位置から距離方向
で±ｍ／２の距離にある被写体の画像が、時間的なタイ
ミングを合わせて各信号ゲーティング部１７ａ〜１７ｄ
から選択的に切り出されて出力される。

【００２５】次に、これらの信号はフラグ生成部３０に
入力される。フラグ生成部３０では、信号ゲーティング
部１７ａ〜１７ｄの出力をそれぞれ＋，−，＋，−と符
号を変換して、加算器１８で加算する。この場合、想定
された距離Ｌの周辺ｍの範囲に被写体が写っていれば、
画素信号は殆ど同じ大きさとなり、加算器１８の出力は
ほぼ０になる。一方、想定された位置に被写体が無い場
合、信号ゲーティング部１７ａ〜１７ｄからの画素信号
は異なったものとなり、加算器１８の出力は０ではなく
なる。このことを利用して、フラグ判断部２９は、加算
器１８の出力の小さい部分のみを、被写体があるものと
して論理“１”のフラグ信号を生成し、それ以外では論
理“０”のフラグ信号を生成する。このとき、予め信号
ディレイ部１６ａ〜１６ｄで設定されたｄＡ〜ｄＤの値
をもとに、撮像センサ１５の４ブロックそれぞれでの信
号タイミングの位置に元に戻してフラグ信号ＦＬＧＡ〜
ＦＬＧＤを生成する。

【００２６】このようにして得られたフラグ信号ＦＬＧ
Ａ〜ＦＬＧＤは、フラグシフトレジスタ１００６〜１０
０９を通じて各ブロックＡ〜Ｄに入力され、対応する画
素のキャパシタ１０３２に、所定のタイミングで書き込
まれる。そして、図６を用いて説明したとおり、有効な
フラグ信号で指定された部分の画素の撮像された画像信
号のみが出力信号として出力される。この場合、図７の
出力信号は、その出力前に出力切換部を挿入しておき、
フラグ信号を有効にする場合のみ映像信号を出力し、そ
の他の場合は出力しないように制御することによって、
フラグ信号が無効である場合の不要な映像信号を出力し
ないようにすることもできる。図７では出力信号はブロ
ックＡの水平シフトレジスタ出力を使用しているが、い
ずれのブロックの水平シフトレジスタ出力を用いてもよ
い。

【００２７】なお、上記実施形態において、フラグ生成
部３０は、各信号ゲーティング部１７ａ〜１７ｄからの
出力信号が重なるように各ブロックＡ〜Ｄからの撮像信
号を加算して出力し、これを映像信号として利用するこ
ともできる。

【００２８】この構成は、図８に示すように、各信号ゲ
ーティング部１７ａ〜１７ｄの出力を平均値計算部３６
により加算平均して、出力信号として出力することによ
り実現できる。この場合は、指定された位置の被写体は
鮮明に写るが、その他の位置の被写体はぼやけた画像と
なる。また、図８の構成は、図７における演算処理部１
０３０中の信号ゲーティング部１７ａ〜１７ｄの出力を
用いているが、フラグ生成部３０が無くても動作する。
信号ゲーティング部１７ａ〜１７ｄからの出力のみを加
算するようにすれば、鮮明に写る部分以外の撮像信号は
出力されないようにすることもできる。

【００２９】以上のようにすることによって、カメラか
ら距離Ｌでｍの奥行き範囲にある被写体が写っている画
素信号のタイミングでフラグ信号ＦＬＧＡ〜ＦＬＧＤを
生成することができる。これらのフラグ信号を用いて、
撮像センサ１５は、画像出力として、フラグの立ってい
る画像の領域のみ選択して撮像したり、その部分のみ鮮
明に撮像して他の部分をぼかせる、という動作を実現で
きる。また、フラグ信号の極性を反転すれば、フラグ信
号が指定した画像領域以外の部分のみを選択撮像するこ
とも可能である。

【００３０】なお、以上の説明では撮像センサ１５のブ
ロック数を４としたが、２個以上のブロックであれば、
全く同様にして同じ機能を実現できる。

【００３１】また、図３中の演算処理部１０３０の部分
を図９の構成に置き換えると、撮像された画像中で、動
きがあった領域のみフラグ信号を“１”にし、動領域の
みの選択撮像、又は動領域のみ撮像しない（静止領域の
み撮像する）という機能を実現することもできる。

【００３２】図９は、演算処理部１０３０における、撮
像ブロックＡ（１００２）に対応する部分の構成図であ
る。他のブロックＢ、Ｃ、Ｄについても同じ構成を作る
ことができる。図９において、３１はシフトレジスタ、
３２はフラグ判定部、３３は減算器、３４は出力切換
部、３５はタイミング制御部である。

【００３３】撮像センサ１５の水平シフトレジスタ１０
１１から得られる画像信号のうち、まず、図６のデータ
Ｑ０（前フレームの画像）が選択されて、シフトレジス
タ３１に順次転送される。次に、図６のデータＱ１（現
フレームの画像）が転送されてくる。このとき、シフト
レジスタ３１も同期して、減算器３３にデータを各画素
ずつ転送する。すなわち、各画素毎に、前フレームの画
素と現フレームの画素との差を計算するわけである。計
算した結果はフラグ判定部３２に送られ、差の大きさ
（例えば絶対値）が、予め指定された値以下である場合
は、その画素のフラグを“０”とし、それ以外はフラグ
を“１”として、フラグ信号ＦＬＧＡとして出力する。
この計算をシリアルに順次行い、フラグ信号ＦＬＧＡ
は、図３のフラグシフトレジスタ１００６へ、撮像セン
サ１５の他の部分とタイミングを合わせて転送される。
このとき、計算対象の画素と同じ座標の画素にフラグ信
号を書き込む。以上の動作においては、出力切換部３４
は映像出力を出さずに一定値を出力する。

【００３４】そして、タイミング制御部３５により出力
切換部３４が入力信号を通過させるように設定され、フ
ラグ信号ＦＬＧＡで“１”と指定された座標の画素値の
みが選択され、それ以外の部分は一定値の信号が水平シ
フトレジスタ１０１１に転送され、これが出力切換部３
４を通して出力信号として出力される。

【００３５】以上のような動作により、画像中の動きが
あった部分のみを選択して撮像信号を出力する機能を実
現することができる。もちろん、フラグ信号の値を反転
すれば、動きが無かった部分のみを選択して撮像信号を
出力することもできる。

【００３６】〔第２の実施形態〕図１０（ａ）及び
（ｂ）は、本発明における第２の実施形態の構成図であ
る。図１０（ａ）において、１はピンホール板、２は水
平移動部、３は垂直移動部、４は撮像センサ、５はピン
ホール、６は映像信号処理部である。図１０（ｂ）は、
図１０（ａ）の垂直方向の配置を示したものである。

【００３７】図１０（ｂ）において、被写体からの光
は、ピンホール５を介して撮像センサ４に投影され、映
像信号処理部６により処理され、画像信号（映像信号）
となる。これは、従来のピンホールを用いたカメラと同
じ原理で被写体を撮像するものである。このとき、水平
移動部２の働きによって、図１１（ａ）に示すように、
ピンホールの位置をＡからＢやＣに移動することができ
る。Ａの位置での撮影の画角はαの範囲であり、Ｂでは
β、Ｃではγの範囲となる。このように、水平移動部２
の働きによりピンホール位置を水平に移動することによ
って、カメラをパンすることができる。また、図１１
（ｂ）に示したように、ピンホールの位置を撮像センサ
４に対して垂直方向に移動させることによって、例えば
ピンホール板が７の位置で、ピンホールＤが撮像センサ
４に近い場合、画角はδとなって広い範囲を撮像できる
のに対し、ピンホール板が１の位置にあるとすると、撮
影範囲はεとなり、狭い画角となる。すなわち、垂直移
動部３の働きによって、カメラのズームを変えることが
できる。

【００３８】上記の動作は図１２（ａ）〜（ｃ）のよう
な構造でも実現できる。８は縦方向の線状の孔を有する
縦線状孔板、９は横方向の線状の孔を有する横線状孔板
である。これを重ね、図１２（ｃ）のように垂直移動部
３、水平移動部２，２’と組み合わせ、縦線状孔板８と
横線状孔板９とを独立に２次元的に移動してカメラのパ
ンニングを実現し、また、垂直移動部３によって縦線状
孔板８と横線状孔板９とを同時に上下に移動させること
によってズーミングを実現できる。

【００３９】また、上記の動作はポリマを電極でサンド
イッチ構造としたゴム状のアクチュエータで実現するこ
ともできる（R. Pelrine et al. "Applications of Die
lectric Elastomer Actuators", Proc. SPIE, Smart St
ructures and Materials 2001: Electroactive Polymer
Actuators and Devices (EAPAD), Y. Bar-Cohen, ed.,
Vol.4329, pp.335-349, 2001）。このアクチュエータ
は、電極に電圧をかけると、ポリマ自体を電子的に変形
することができるものである。これを利用すると、板に
開けた孔の直径を自由に変化させることができる。つま
り、孔の直径を十分小さくしておき、殆ど光が入らない
状態にしておくことによって、電極に電圧を印加した時
にのみ実質的にピンホールとして機能するようにするこ
とができる。これを利用して、図１３（ａ）に示したよ
うに、このような孔をピンホール板１０に複数配置し、
それぞれのピンホールに配置された電極に独立して電圧
を印加できるようにしておけば、電子的にカメラのパン
ニングを行うことができる。また、このようなゴム状の
アクチュエータを用いなくても、図１３（ｂ）に示した
ように、各ピンホールについて、光シャッタ１１を装備
することによって、ピンホールを開閉することもでき
る。

【００４０】上記アクチュエータを利用すれば、ズーミ
ングも電子的に実現できる。その実現構造を図１４
（ａ）〜（ｄ）に示す。図１４（ａ）は、このようなポ
リマアクチュエータによるピンホールを有したピンホー
ル板１２，１３を撮像センサ４に対して垂直に２枚配置
したものである。図１４（ｂ）のように下側のピンホー
ルを大きくし、上側のピンホールを小さくすれば上側の
ピンホールのみが作用してズームアップを実現でき、図
１４（ｃ）のように下側のピンホールを小さくし、上側
のピンホールを大きくすれば、下側のピンホールのみが
機能してワイドの撮影をすることができる。また、図１
４（ｄ）に示すように、複数のピンホールＦ〜Ｊを重ね
て配置し、ピンホールＨのみ、ピンホール機能を実現す
る程度の大きさとし、他のピンホールは十分大きくする
ようにすることもできる。このとき、ピンホールとして
機能するものを、Ｆ〜Ｊのいずれかに設定し、その他の
ピンホールは直径を十分大きくすることにより、撮像セ
ンサ４とピンホールとの距離を複数の設定で切り換える
ことができる。

【００４１】以上のように、ゴム状のアクチュエータを
用いれば、カメラのパンニング、ズーミングを電子的に
行うことができる。

【００４２】以上説明してきたとおり、本実施形態にお
ける撮像装置においては、ピンホールの位置を切り換え
ることによりカメラの光軸を変化させたり、ズームを実
現することができる。このような構造は、図２２で説明
したロボットビジョンでも応用が可能である。本発明で
はレンズの中にパンニングやズーミングの機構を組み込
むことができるので、ロボットの視覚部分を非常にコン
パクトに実現することができる。

【００４３】〔第３の実施形態〕図１５は、本発明にお
ける第３の実施形態の基本ブロック図である。図１５に
おいて、２３ａ，２３ｂは線状孔を有するピンホール板
で、その裏側には撮像センサが配置されている。２４は
バッファ、２５ａ，２５ｂは反転バッファ、２６は加算
器である。

【００４４】図１５の線状孔を有するピンホール板２３
ａ，２３ｂの動作について説明する前に、まず通常のピ
ンホールの性質について説明する。図１６（ａ）は点状
孔を有するピンホール板１と撮像センサ４との位置関係
を示したものである。ピンホール板１の光透過特性は、
図１６（ｂ）のようにδ関数で記述される。すなわち、
点状のピンホールである。これによって、レンズ中心を
通過する光は直進するという、レンズの機能と同等な機
能を実現することができ、ピンホールを用いればカメラ
を実現できるのである。このとき、図１６（ｃ）に示し
たように、空間周波数領域では、フィルタのかからな
い、全域通過型の伝達関数となっている。

【００４５】これに対し、図１７（ａ）は、線状孔（矩
形の孔）を有するピンホール板２２を示す。これは、縦
方向には図１６（ａ）のようなピンホールとして機能す
るが、横方向は図１７（ｂ）のように光透過特性は窓関
数として機能する。すなわち、横方向のみ、ある範囲の
光を加算することができる。すなわち、横方向に画像の
ローパスフィルタ（ＬＰＦ）を施すことができるわけで
ある。このとき、空間周波数領域では図１７（ｃ）のよ
うなＬＰＦ特性となる。

【００４６】また、図１８（ａ）に示したように、ピン
ホール板２３の線状孔の太さｄを変化させてやると、横
方向の光透過特性は、図１８（ｂ）のような、なめらか
な形を作ることができる。この場合、空間周波数領域で
は、図１８（ｃ）のような、折り返しの無いＬＰＦ特性
が得られる。このように、線状ピンホールの孔の幅を制
御することによって、図１７（ｂ）のような単純な窓関
数ばかりでなく、複雑な窓関数を実現することができ
る。

【００４７】図１８（ａ）より長いピンホールを作成す
ると、図１８（ｄ）に示したような光透過特性となる。
この場合、空間周波数領域では、図１８（ｅ）のような
ＬＰＦ特性が得られる。図１８（ｃ）と図１８（ｅ）と
の違いは、その遮断周波数の大きさである。短い線状ピ
ンホールの場合は、図１８（ｃ）のように遮断周波数ｆ
１が高く、帯域の広いＬＰＦとなる。長い線状ピンホー
ルの場合は、図１８（ｅ）のように遮断周波数ｆ２が低
く、帯域の狭いＬＰＦとなる。また、線状ピンホールの
幅を大きくすれば、光が多く入り、光透過率が大きくな
る。

【００４８】以上の構造を有したピンホール板２２又は
２３を使い、図１６（ａ）のごとく撮像センサ４を配置
すれば、横方向（ピンホールの長手方向）に対して光学
的にＬＰＦをかけることができる。すなわち、撮像セン
サ４からは、それぞれのピンホール板２２，２３の光透
過特性を反映したＬＰＦをかけた画像信号を得ることが
できる。

【００４９】更に、図１５のように構成することによっ
て、図１９に示したようなフィルタ係数特性を有するバ
ンドパスフィルタ（ＢＰＦ）やハイパスフィルタ（ＨＰ
Ｆ）の特性を得ることもできる。図１５において、２３
ａ，２３ｂは図１８（ａ）の線状孔を有するピンホール
板である。これらピンホール板２３ａ，２３ｂの違い
は、光透過特性の幅が異なるということである。光透過
特性の幅が長い方のピンホール板２３ｂを用いた撮像セ
ンサの画像信号のみ極性を反転して加算器２６で足し合
わせれば、図１９のようなＢＰＦの特性を得ることがで
き、またＨＰＦの特性を得ることもできる。このとき、
それぞれの画像信号の大きさにそれぞれ重みを付けて加
算することもできる。例えば、図１５の一方のピンホー
ル板２３ａの光透過特性を図１８（ｂ）とし、他方のピ
ンホール板２３ｂの光透過特性を図１８（ｄ）としたと
き、撮像センサからの出力の重みをそれぞれｋ１、ｋ２
に調整して、図１８（ｂ）の斜線の面積×ｋ１＋図１８
（ｄ）の斜線の面積×ｋ２が０になるようにすれば、総
合的なフィルタの周波数特性（図１５の加算器２６の出
力の周波数特性）は、図１８（ｆ）のように、直流成分
の無い、ＨＰＦかＢＰＦのような特性を実現することが
できる。また、ピンホール板２３ａ，２３ｂの線状孔の
長さを調節することによって、図１９の特性（周波数ｆ
３，ｆ４の大きさ）を制御することができる。この調整
方法は、基本的には図１８（ｃ）の遮断周波数ｆ１、及
び図１８（ｅ）の遮断周波数ｆ２を調節することにな
る。また、それぞれの撮像センサの出力の重みｋ１，ｋ
２を変化させることによって、図１９の周波数特性を変
化させることもできる。

【００５０】なお、上記実施形態では２種類の信号を加
算したが、３つ以上の信号を加算することも可能であ
り、周波数特性の異なるフィルタを構成することができ
る。

【００５１】図２０は、４個のブロックＡ〜Ｄに分割さ
れた撮像センサ１５と、その各ブロックに対応したピン
ホール板２７又は２８を配置した構成である。被写体が
遠方にある場合（撮像センサとピンホール板の距離＜＜
被写体までの距離の場合）、それぞれのブロックには、
ほぼ同じ位置に被写体の像が投影されるため、各ブロッ
クＡ〜Ｄで撮像された信号を図１５のように処理する。
この場合、ブロックＡとＢを用いて図１５の構造を作
り、ブロックＣとＤを用いてもう１つの図１５の構造を
作って、それらの処理された画像信号を加算して最終出
力を得ることができる。また、ブロックＡとＤの画素信
号を加算し、またブロックＢとＤの画素信号を加算した
信号を用意し、これらの加算した信号に対して、図１５
のような構造にして差分を計算してＢＰＦ特性を得ても
よい。

【００５２】なお、図２０は被写体が遠い場合に使用で
きる構造であるが、被写体が近距離にある場合は、ピン
ホールの位置の違いによる撮像センサ１５上の像の位置
の違いが大きくなるため、図１５の加算では被写体の写
る場所が異なるため画像がぼやけてしまう場合がある。
これを防ぐためには、図２１に示したような、前述のポ
リマアクチュエータを用いてピンホールの形状を変化さ
せれば、ピンホールの中心位置はずれず、正確なＢＰＦ
処理を実現することができる。これは、図１５に示した
２種類のピンホール板２３ａ，２３ｂを、ゴム状のポリ
マアクチュエータによって時分割で切り換え、それに同
期して撮像センサで画像を撮像するものである。この場
合、図１５に示した２種類のピンホール板２３ａ，２３
ｂによる画像は、１つの同じ撮像センサから時分割で得
られる。これらを同時化し、ピンホールの幅が大きい場
合の画像の極性を反転して加算することによって、近距
離の被写体に対しても、精度良くＢＰＦ・ＬＰＦの特性
を得ることができる。

【００５３】以上のようにすることによって、被写体を
撮影する際に、フィルタ処理をかけた画像を簡単な構造
で、実時間で得ることができる。

【００５４】

【発明の効果】以上に示したように、本発明によれば、
予め指定した距離にある被写体あるいは動きのある被写
体を選択的に撮像することができる。また、純電子的に
ズーミング・パンニングを実現し、安定性の良い、構造
が簡単でコンパクトな撮像装置を実現することができ
る。また、光学的な手段を用いることによって、簡単な
構造で高速なフィルタ処理を施した画像を得ることがで
きる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における撮像装置の概
略構成図である。

【図２】図１の撮像装置の位置関係を説明した図であ
る。

【図３】図１の撮像装置のシステム構成図である。

【図４】図３中の撮像センサの１ブロックを拡大して示
した図である。

【図５】図４中の各セルの等価回路図である。

【図６】図３のシステムの動作を示すタイミングチャー
トである。

【図７】図３中の演算処理部の構成図である。

【図８】図３のシステムにおける映像出力信号の生成例
を示すブロック図である。

【図９】図３中の演算処理部の他の構成図である。

【図１０】本発明の第２の実施形態における撮像装置の
概略構成図である。

【図１１】図１０の撮像装置の動作説明図である。

【図１２】図１０の撮像装置の変形例を示す図である。

【図１３】図１０の撮像装置の他の変形例を示す図であ
る。

【図１４】図１０の撮像装置の更に他の変形例を示す図
である。

【図１５】本発明の第３の実施形態における撮像装置の
概略構成図である。

【図１６】通常の点状ピンホールの性質を説明するため
の図である。

【図１７】線状ピンホールの性質を説明するための図で
ある。

【図１８】線状ピンホールの性質を更に説明するための
図である。

【図１９】図１５の撮像装置のフィルタ特性を示す図で
ある。

【図２０】図１５の撮像装置の変形例を示す図である。

【図２１】図１５の撮像装置の他の変形例を示す図であ
る。

【図２２】従来のロボットビジョンの実装図である。

【符号の説明】

１ピンホール板２，２’ 水平移動部３垂直移動部４撮像センサ５ピンホール６映像信号処理部８縦線状孔板９横線状孔板１０ピンホール板１１光シャッタ１２，１３ピンホール板１５撮像センサ１６ａ〜１６ｄ信号ディレイ部１７ａ〜１７ｄ信号ゲーティング部１８加算器１９ディレイ制御部２０ゲート時間制御部２１選択範囲指定部２２線状孔を有するピンホール板２３ピンホール板２３ａ，２３ｂ線状孔を有するピンホール板２４バッファ２５ａ，２５ｂ反転バッファ２６加算器２７，２８ピンホール板２９フラグ判断部３０フラグ生成部３１シフトレジスタ３２フラグ判定部３３減算器３４出力切換部３５タイミング制御部３６平均値計算部１００２〜１００５撮像ブロック１００６〜１００９フラグシフトレジスタ（ＦＳＲ）１０１１〜１０１４水平シフトレジスタ（ＨＳＲ）１０１５セル１０２１フラグパルス線（ｆｌａｇ＿ｐｕｌｓｅ）１０２２転送線（ｔｒａｎｓｆｅｒ）１０２３リセット線（ｒｅｓｅｔ）１０２４電源供給線（ｒｅａｄ／Ｖｄｄ）１０２５フラグデータ線（ｆｌａｇ＿ｄａｔａ）１０２６出力信号線（ｏｕｔ）１０３０演算処理部１０３１，１０３５，１０３６，１０３７デプレッシ
ョン型ＦＥＴ１０３２，１０３８キャパシタ１０３３，１０３９エンハンスメント型ＦＥＴ１０３４フォトダイオード（ＰＤ）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/232 Ｈ０４Ｎ 5/232 Ａ (72)発明者山本正樹大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5C022 AB43 AB62 AB66 AC42 AC51 AC74 5C024 CY18 EX04 EX50 GY31

Claims

【特許請求の範囲】

【請求項１】入射光を光電変換し、かつ現フレームに
おいて光電変換された信号電荷を蓄積するための光電変
換蓄積部と、前記光電変換蓄積部の後段に接続され、前フレームの信
号電荷を蓄積保持するための電荷保持部と、前記電荷保持部の信号電荷を外部に読み出すための読み
出し部と、前記読み出し部から信号電荷を外部に読み出す機能をフ
ラグ信号に基づいてオンオフ制御するための読み出し制
御部とを各単位画素に備えたことを特徴とする撮像セン
サ。
【請求項２】請求項１記載の撮像センサにおいて、前記読み出し制御部は、前記フラグ信号を単位画素外部
から書き込む機能を有することを特徴とする撮像セン
サ。
【請求項３】２次元アレイ化されたＭＯＳ型の単位画
素を備えた撮像センサであって、垂直方向に画素間共通の出力信号線及びフラグデータ線
が配され、かつ水平方向に画素間共通のフラグパルス
線、転送線、リセット線及び電源供給線が配されてお
り、前記単位画素は、フォトダイオードと、第１のキャパシ
タと、前記フォトダイオードのｎ層側と前記第１のキャ
パシタとを接続する第１のＦＥＴと、前記第１のキャパ
シタをゲートで受けた第２のＦＥＴとを有し、前記第１のＦＥＴのゲートは転送線に接続され、前記第
２のＦＥＴはその一端を出力信号線に接続され、他端は
第３のＦＥＴを介して電源供給線に接続され、第３のＦ
ＥＴのゲートと前記電源供給線との間に第２のキャパシ
タが接続され、前記第３のＦＥＴのゲートとフラグデー
タ線との間には第４のＦＥＴが接続され、前記第４のＦ
ＥＴのゲートにはフラグパルス線が接続され、前記フォ
トダイオードのｎ層側と前記フラグパルス線との間には
第５のＦＥＴが接続され、前記第５のＦＥＴのゲートは
前記フラグパルス線に接続され、前記第１のキャパシタ
とリセット線との間には第６のＦＥＴが接続され、前記
第６のＦＥＴのゲートも前記リセット線に接続された構
成を有することを特徴とする撮像センサ。
【請求項４】請求項１〜３のいずれか１項に記載の撮
像センサを備えた撮像装置であって、前記撮像センサにおいて、前フレームの信号と現フレー
ムの信号との大きさを比較し、その差が大きい場合に被
写体の動きがあったと判断して前記フラグ信号をセット
することにより、被写体の動きがあった画像領域のみ、
又は被写体の動きが無い画像領域のみを選択撮像するこ
とを特徴とする撮像装置。
【請求項５】複数の撮像ブロックを並べてなる撮像部
と、前記複数の撮像ブロックの各々の撮像信号から、指定さ
れた時間遅延と信号選択期間とをもとに、その部分の撮
像信号のみを選択的に加減算するための加減算器と、前記加減算器の出力に応じてフラグ信号を生成するため
のフラグ判断部とを備え、前記フラグ判断部の出力を用いて、前記フラグ信号で指
定した部分のみの撮像画像を出力することを特徴とする
撮像装置。
【請求項６】請求項５記載の撮像装置において、被写体を前記複数の撮像ブロックの各々に結像させるよ
うに、複数のピンホールを有するピンホール板を更に備
えたことを特徴とする撮像装置。
【請求項７】請求項５記載の撮像装置において、被写体と前記撮像装置との間の指定された距離に応じて
前記時間遅延及び信号選択期間を指定するための手段を
更に備えたことを特徴とする撮像装置。
【請求項８】請求項５記載の撮像装置において、前記複数の撮像ブロックの各々の撮像信号から、指定さ
れた時間遅延と信号選択期間とをもとに、その部分の撮
像信号が重なるように各撮像ブロックからの撮像信号の
平均値を計算するための平均値計算部を更に備え、前記平均値計算部の出力を撮像出力信号とすることによ
って、前記撮像装置から所定の距離範囲内に存在する被
写体のみを鮮明に撮像することを特徴とする撮像装置。
【請求項９】ピンホールと撮像センサとを組み合わせ
た撮像装置であって、ピンホールの水平位置を移動させることによって撮像装
置の撮像方向を可変とすることを特徴とする撮像装置。
【請求項１０】請求項９記載の撮像装置において、前記ピンホールは、その水平位置を駆動装置によって２
次元的に移動することを特徴とする撮像装置。
【請求項１１】請求項９記載の撮像装置において、前記ピンホールは、複数の孔の開閉制御を可能としたも
のであり、これらのうち１つのピンホールを選択して開
状態とし、開状態のピンホールを切り換えることによっ
て撮像装置の撮像方向を可変とすることを特徴とする撮
像装置。
【請求項１２】請求項１１記載の撮像装置において、前記複数の孔の開閉制御は、ポリマを電極で挟んだ構造
の形状可変のアクチュエータを用いることを特徴とする
撮像装置。
【請求項１３】請求項９記載の撮像装置において、前記ピンホールは、線状孔を有する２枚の板を重ねるこ
とによって実現し、前記２枚の板の位置関係を制御する
ことによって、ピンホールの位置を制御することを特徴
とする撮像装置。
【請求項１４】ピンホールと撮像センサとを組み合わ
せた撮像装置であって、ピンホールと撮像センサとの間隔を可変とすることによ
って、ズーム撮像機能を有することを特徴とする撮像装
置。
【請求項１５】請求項１４記載の撮像装置において、駆動装置により前記ピンホール又は撮像センサを移動さ
せることによって、前記ピンホールと撮像センサとの間
隔を変化させることを特徴とする撮像装置。
【請求項１６】ピンホールと撮像センサとを組み合わ
せた撮像装置であって、複数のピンホールを重ねて配置し、これらのうち１つの
ピンホールの直径をピンホールカメラとして機能する程
度に制御し、それ以外のピンホールの直径を十分大きく
し、ピンホールカメラとして機能する程度の直径を有す
るピンホールを切り換えることにより、ピンホールと撮
像センサの実質的な距離を切り換え可能とすることによ
って、ズーム撮像機能を有することを特徴とする撮像装
置。
【請求項１７】ピンホールと撮像センサとを組み合わ
せた撮像装置であって、前記ピンホールの形状が線状孔になっており、これによ
り空間ローパスフィルタ機能を有することを特徴とする
撮像装置。
【請求項１８】請求項１７記載の撮像装置において、前記線状孔は、その形が中心部は幅が大きく周辺部は幅
が狭くなっており、これによって場所により光透過特性
がなめらかに変化することを特徴とする撮像装置。
【請求項１９】請求項１７記載の撮像装置において、前記線状孔を複数用意し、それぞれに対応した撮像セン
サを配置し、それらの信号を重み付け加減算することに
よって空間ローパスフィルタ、バンドパスフィルタ又は
ハイパスフィルタの機能を実現することを特徴とする撮
像装置。
【請求項２０】請求項１７記載の撮像装置において、前記複数の線状孔の代わりに、線状孔の形状を時分割で
切り換えることができる形状可変の線状孔を用いること
により、時分割で得られた画像信号を重み付け加算する
ことによって空間ローパスフィルタ、バンドパスフィル
タ又はハイパスフィルタの機能を実現することを特徴と
する撮像装置。