JP2001184498A - イメージセンサー - Google Patents

イメージセンサー

Info

Publication number
JP2001184498A
JP2001184498A JP36922099A JP36922099A JP2001184498A JP 2001184498 A JP2001184498 A JP 2001184498A JP 36922099 A JP36922099 A JP 36922099A JP 36922099 A JP36922099 A JP 36922099A JP 2001184498 A JP2001184498 A JP 2001184498A
Authority
JP
Japan
Prior art keywords
image
function
array operation
edge information
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP36922099A
Other languages
English (en)
Inventor
Yoshiaki Ajioka
義明 味岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ECCHANDESU KK
Ecchandes Inc
Original Assignee
ECCHANDESU KK
Ecchandes Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ECCHANDESU KK, Ecchandes Inc filed Critical ECCHANDESU KK
Priority to JP36922099A priority Critical patent/JP2001184498A/ja
Priority to CNB008147329A priority patent/CN100355284C/zh
Priority to AU15521/01A priority patent/AU1552101A/en
Priority to EP00977947A priority patent/EP1248465A4/en
Priority to PCT/JP2000/008334 priority patent/WO2001041448A1/ja
Publication of JP2001184498A publication Critical patent/JP2001184498A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Generation (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】 【目的】 受光素子、A/D変換回路、配列演算ユニッ
トを二次元格子状に配列したイメージセンサーを設計及
び製造する。 【構成】 図1に示すように、機能コラム1は電荷結合
素子2、駆動回路3、A/D変換回路4、及び配列演算
ユニット40を備えている。また図5に示すように、機
能コラム1は二次元格子状に配列され、4近傍の機能コ
ラム1同士の間で信号線が配線される。図2に示すよう
に、各々の機能コラム1が発振回路5を備えた場合、外
部から全ての機能コラム1に同一のクロック信号を供給
するための信号線が必要がなくなる。配列演算ユニット
40から、出力すべき画像の画素が並列に出力される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術の分野】本発明は、画像中の物体の
位置及び大きさを検出して物体をパターンマッチングす
るイメージセンサーに関し、詳しくは、ビデオカメラな
どで撮影された二値画像、濃淡画像、三原色波長、可視
光波長、赤外線波長、紫外線波長、その他全ての電磁波
のうち任意の帯域から構成される動画像中の物体のエッ
ジ情報から、物体の位置及び大きさを検出し、物体のパ
ターンマッチングを行い、物体のマッチング結果、位置
及び大きさを出力するものに関する。
【0002】
【従来の技術】近年、シリコンチップ上に電荷結合素子
(CCD)又はフォトダイオード、並びにプロセッサを
実装した高機能イメージセンサーが開発されるようにな
ってきた。例えば三菱電機の人工網膜チップ(特開平6
−139361、特開平11−177889参照)は既
に市販され、CCDを用いてエッジ検出、パターンマッ
チング及び移動物体の検出などを行うことができる。た
だし、この人工網膜チップは画像処理に対してアナログ
回路で構成される積分器及び微分器を、しかも受光素子
よりも少ない数しか用いないなど、画像処理アルゴリズ
ム及びパラメータの変更が難しいばかりか、計算結果に
大きなばらつきが出やすい。特に神経ネットワークと呼
ばれる部分のプログラミングは困難であるので、現実に
は画像処理のために別途プロセッサが必要となる。した
がってこの人工網膜チップは事前に用途が判明している
場合など、限られた用途にしか利用することができな
い。同様のことがフランス、Bureau Etude
s Vision StockplusのGeneri
c Visual Perception Proce
ssor(GVPP)にも言える(Vision Chip's Circu
itry Has Its Eye Out For You.TechWeb News, 1997-09
-13. [online]. CMP Media Inc., 1999.[retrieved on
1999-12-19].Retrieved from the Internet: <URL:htt
p://www.techweb.com/wire/news/1997/09/0913vision.h
tml>.)。ただしGVPPの場合には、神経細胞(ニュー
ロン)としてデジタル回路で構成される加算器、比較器
及び乗算器を用いている。この他に、日本電気株式会社
は相補性金属酸化膜半導体(CMOS)を用いたCMO
Sセンサーを試作した(平成11年11月12日、日経
産業新聞朝刊参照)。このCMOSセンサーの特徴は、
受光素子としてフォトダイオードを用い、移動物体を検
出する回路を画素の間に分散配置したことである。ただ
し現時点では、実写の静止画像にアニメーションの円盤
を合成した画像に対して円盤の画像だけを分離できるレ
ベルである。つまり画素の間に分散配置された回路は、
フォトダイオードが捉えた光の明暗の変化しか処理する
ことができない。なお画像の回転、拡大、縮小、及び平
行移動などアフィン変換を実行するための装置に対する
分散配置の実装例として、変形画像表示方式が考案され
ている(特開昭61−206079参照)。ただしこの
方式ではプロセッサが画像全体にアクセスできるよう
に、全ての画素をローカルメモリに記憶しておかなけれ
ばならず、結果として並列処理ではあるが、局所処理と
は言い難い。またSPE(Simple and S
mart Sensory ProcessingEl
ement)ビジョンチップ(小室孝、鈴木伸介、石井
抱、石川正俊、''汎用プロセッシングエレメントを用い
た超並列・超高速ビジョンチップの設計''、電子情報通
信学会論文誌、Vol.J81−D−I、No.2、p
p.70−76、1998参照)が提案されているが、
高速化、汎用化及び集積化に対応するために、プロセッ
シングエレメント間通信及びメモリ容量等のアーキテク
チャが簡略化されていたり、Single Instr
uction Stream、Multiple Da
ta Stream(SIMD)型制御を行うなど、実
際に局所並列画像処理を行うには幾つかの制約がある。
【0003】一方で、本発明者は既に、エッジ情報生成
装置(特願平11−145638参照)、エッジ情報形
成装置(特願平11−209738参照)、物体/背景
分離装置(特願平10−257327参照)、位置/大
きさ検出装置(特願平11−250990参照)、領域
正規化装置(特願平11−250986参照)、及び視
覚装置(特願平11−253634参照)を開発してい
る。これらの装置は統一的なアーキテクチャー上で画素
単位で並列に画像処理を行い、ノイズの多い実環境で移
動物体及び静止物体のエッジ情報を生成し、移動物体及
び静止物体の領域を背景から分離し、移動物体及び静止
物体の領域の位置及び大きさを検出し、移動物体及び静
止物体の領域を画像サイズに正規化してパターンマッチ
ングをすることができる。
【0004】これらのことを考慮すると、前述した大規
模集積回路(LSI)実装技術を用いてエッジ情報生成
装置、エッジ情報形成装置、物体/背景分離装置、位置
/大きさ検出装置、領域正規化装置、及び視覚装置の画
像処理をLSIに実装することができれば、実時間で移
動物体及び静止物体のマッチング結果、位置及び大きさ
を出力することができる高機能なイメージセンサーを製
造できると期待される。
【0005】
【発明が解決しようとする課題】そこで、請求項記載の
本発明は、二次元格子状に配列した受光素子、A/D変
換回路、及び配列演算ユニットをLSIに実装し、局所
並列画像処理を実行することにより、移動物体及び静止
物体を撮影してエッジ情報を生成し、移動物体及び静止
物体の領域を背景から分離し、移動物体及び静止物体の
領域の位置及び大きさを検出し、移動物体及び静止物体
の領域を画像サイズに正規化してパターンマッチングを
することを目的とする。
【0006】
【課題を解決するための手段】請求項1の発明は、1個
の画素に対して画像処理を行う機能コラムが二次元格子
状に配列されたイメージセンサーであって、前記機能コ
ラムが、1〜16個の電荷結合素子と、1個の駆動回路
と、1〜16個のA/D変換回路と、1〜32個の配列
演算ユニットと、を備え、前記配列演算ユニットが局所
並列画像処理を実行することを特徴とするイメージセン
サーである。本発明は、前記電荷結合素子を用いて、三
原色波長、可視光波長、赤外線波長、紫外線波長、及び
その他全ての電磁波のうち任意の帯域を受光し、前記駆
動回路によって前記電荷結合素子のゲートを制御するこ
とにより前記電荷結合素子からアナログ信号を取り出
し、前記A/D変換回路を用いて前記アナログ信号をデ
ジタル信号に変換し、前記デジタル信号を前記配列演算
ユニットに入力する。前記配列演算ユニットは、画像記
憶手段、画像振動手段、エッジ情報生成手段、エッジ情
報形成手段、物体/背景分離手段、位置/大きさ検出手
段、領域正規化手段、及びパターンマッチング手段を用
いて前記局所並列画像処理を実行し、前記デジタル信号
によって構成されるデジタル画像中に撮影された移動物
体及び静止物体の位置及び大きさを検出し、前記移動物
体及び前記静止物体のパターンマッチングを行う。前記
配列演算ユニットは、前記画像記憶手段、前記画像振動
手段、前記エッジ情報生成手段、前記エッジ情報形成手
段、前記物体/背景分離手段、前記位置/大きさ検出手
段、前記領域正規化手段、及び前記パターンマッチング
手段の処理結果の各々を、前記デジタル画像、振動画
像、粗エッジ情報画像、形成エッジ情報画像、物体領域
画像、重複情報画像、正規化画像、及びマッチング結果
画像の画素として、画像保持手段を用いて出力すること
ができる。したがって前記イメージセンサーの設計、製
造に関する諸問題が好適に解決される。
【0007】請求項2の発明は、請求項1記載の機能コ
ラムに対して、1個の発振回路を備えたことを特徴とす
るイメージセンサーである。本発明は、前記機能コラム
の全てが独立した前記発振回路を備えることにより、大
規模集積回路に対してクロックスキューなどの遅延時間
問題及び配線問題を回避することができる。したがって
前記イメージセンサーの設計、製造に関する諸問題が好
適に解決される。
【0008】請求項3の発明は、請求項1及び2記載の
イメージセンサーに対して、前記機能コラム内で前記駆
動回路が前記電荷結合素子にゲート信号を送信するよう
に信号線が配線されることと、前記機能コラム内で前記
電荷結合素子が前記A/D変換回路にアナログ信号を送
信するように前記信号線が配線されることと、前記機能
コラム内で前記A/D変換回路が前記配列演算ユニット
の1個にデジタル信号を送信するように前記信号線が配
線されることと、前記機能コラム内で前記発振回路が前
記配列演算ユニットの全てにクロック信号を送信するよ
うに前記信号線が配線されることと、前記配列演算ユニ
ットが2〜32個の場合、前記機能コラム内で前記配列
演算ユニットの各々が残りの前記配列演算ユニットのう
ち1〜31個と前記デジタル信号を通信するように前記
信号線が配線されることと、前記配列演算ユニットの各
々が、二次元格子上で4近傍に位置する前記機能コラム
の各々が備える1個の前記配列演算ユニットと前記デジ
タル信号を通信するように前記信号線が配線されること
と、を特徴とするイメージセンサーである。本発明は、
前記信号線が前記機能コラム内と、前記二次元格子上で
互いに前記4近傍に位置する前記機能コラム間で配線さ
れる。つまり前記機能コラムが互いに前記4近傍に位置
しない前記機能コラム間で前記信号線が配線されないの
で、大規模集積回路の配線パターンは単純化され、しか
も長距離配線による遅延時間を考慮する必要がなくな
る。したがって前記イメージセンサーの設計、製造に関
する諸問題が好適に解決される。
【0009】請求項4の発明は、請求項3記載の機能コ
ラムに対して、前記二次元格子状に配列された第一の機
能コラム配列と、格子数に換算して前記第一の機能コラ
ム配列の2〜128倍の間隔で前記二次元格子状に配列
された第二の機能コラム配列と、を備えたことを特徴と
するイメージセンサーである。本発明は、解像度が異な
る2つの前記機能コラム配列、つまり前記イメージセン
サーを組み合せることにより、面積が限られた1つの大
規模集積回路で広画角及び高解像度を実現することがで
きる。つまり前記第一の機能コラム配列と、前記第二の
機能コラム配列が同じ数の前記機能コラムを有する場
合、前記第一の機能コラム配列は前記機能コラムの前記
間隔が狭いために、狭画角であるけれども前記高解像度
を実現することができる。一方で前記第二の機能コラム
配列は前記機能コラムの前記間隔が広いために、低解像
度であるけれども前記高画角を実現することができる。
そこで前記第一の機能コラム配列を前記大規模集積回路
の中心に配置し、前記第二の機能コラム配列を前記大規
模集積回路の全面に配置した場合、本発明は広範囲を大
ざっぱに撮影することで移動物体及び静止物体の位置及
び大きさを検出し、前記イメージセンサーが向いている
方向を詳細に撮影することで前記移動物体及び前記静止
物体のパターンマッチングを正確にすることができる。
したがって前記イメージセンサーの設計、製造に関する
諸問題が好適に解決される。
【0010】請求項5の発明は、請求項4記載の第一の
機能コラム配列及び第二の機能コラム配列に対して、前
記第一の機能コラム配列の前記機能コラム及び前記第二
の機能コラム配列の前記機能コラムが重なるように配置
した場合、重なった前記第一の機能コラム配列の前記機
能コラム及び前記第二の機能コラム配列の前記機能コラ
ムが全ての前記電荷結合素子、前記駆動回路、全ての前
記A/D変換回路、及び1〜32個の前記配列演算ユニ
ットを共用することを特徴とするイメージセンサーであ
る。本発明は、前記第一の機能コラム配列の前記機能コ
ラム及び前記第二の機能コラム配列の前記機能コラムの
間で前記電荷結合素子、前記駆動回路、前記A/D変換
回路、及び前記配列演算ユニットを共有することで、請
求項4記載のイメージセンサーを低ハードウェア量で実
現することができる。したがって前記イメージセンサー
の設計、製造に関する諸問題が好適に解決される。
【0011】請求項6の発明は、請求項1、2、3、
4、及び5記載のイメージセンサーに対して、前記電荷
結合素子及び前記駆動回路の代りにフォトダイオードを
備えた前記機能コラムを特徴とするイメージセンサーで
ある。本発明は、相補性金属酸化膜半導体によって実装
される前記フォトダイオードを用いることで、前記電荷
結合素子及び前記駆動回路を用いる場合に比べて低電
圧、低ハードウェア量、及び簡単な方法で、しかも安価
に大規模集積回路を製造することができる。したがって
前記イメージセンサーの設計、製造に関する諸問題が好
適に解決される。
【0012】
【発明の実施の形態】以下、本発明のイメージセンサー
の実施形態を挙げ、図面を参照して説明する。
【0013】まず請求項1及び2記載の発明は各々図1
及び2に示すような機能コラム1を二次元格子状に配列
することによって実現される。なお図1及び2におい
て、電荷結合素子2をCCDと、配列演算ユニット40
をAOUと、略記する。電荷結合素子2及びA/D変換
回路4の対の数が2個以上の場合、この対は図1及び2
の電荷結合素子2及びA/D変換回路4の対に対して並
列に配置される。配列演算ユニット40の数が2個以上
の場合、図1及び2の配列演算ユニット40を根とする
木構造のように配置される。具体的には、微小物体計数
装置(特願平11−339245参照)用の機能コラム
1は図3に示すようになり、警戒装置(特願平11−3
39360参照)用の機能コラム1は図4に示すように
なる。なお、図1及び2に示された1個の配列演算ユニ
ット40でも、プログラムによって複数の手段を実現で
きる。
【0014】請求項3記載の発明では、図1、2、3、
及び4に示すような機能コラム1を二次元格子状に配列
した場合、図5に示すように信号線が配線される。なお
図5において、機能コラム1をFCと略記する。また電
源線、クロック信号は省略されている。図5に示された
信号線は実際には配列演算ユニット40に接続されてい
る。図5から明らかなように、機能コラム1間の信号線
は、他の機能コラム1間の信号線と交差しない。しかも
配列演算ユニット40は同じ画像処理手段を実現する配
列演算ユニット40とだけ通信をするので、たとえ機能
コラム1に複数の配列演算ユニット40が含まれるとし
ても、これらの信号線は機能コラム1間では交差しな
い。図6に示すように、機能コラム1中の全ての配列演
算ユニット40が三次元大規模集積回路(三次元VLS
I)によって垂直に並ぶように実装されれば、機能コラ
ム1間の信号線は配列演算ユニット40間ですら交差し
ない。なお図6では、同じ高さに位置する配列演算ユニ
ット40は同じ画像処理手段を実現するものとする。ま
た駆動回路3は省略されている。したがってイメージセ
ンサーの設計及び実装は極めて容易になる。
【0015】請求項4記載の発明では、図7に示すよう
に、図5に示した機能コラム配列(白色)に対して、機
能コラム1の間隔を、格子数に換算して2倍にした機能
コラム配列(灰色)を組み合せることにより、実時間性
を損なうことなく配列演算ユニット40の数を低減する
ことができる。例えば警戒装置の場合には、設計者はエ
ッジ情報生成手段14、位置/大きさ検出手段17、及
び重複情報画像132用の画像保持手段38、を実現す
る配列演算ユニット40の数を低減することができる
か、若しくは大規模集積回路に多数の電荷結合素子2、
駆動回路3、及びA/D変換回路4を実装できるので、
イメージセンサーは広画角及び高解像度のデジタル画像
111を撮影することができるようになる。ただし、図
7から明らかなように、機能コラム1間の信号線が増
え、及び交差する。
【0016】請求項5記載の発明では、図8に示すよう
に、図7で示された2組の機能コラム配列の機能コラム
1を重ねる。これにより、図7で示された2組の機能コ
ラム配列は、重複した電荷結合素子2、駆動回路3、及
びA/D変換回路4を共有することができ、ハードウェ
ア量をさらに低減することができる。しかも機能コラム
1間の信号線の配線が簡単になるので、イメージセンサ
ーの設計及び実装は極めて容易になる。
【0017】請求項6記載の発明は、請求項1、2、
3、4、及び5記載の機能コラム1において、複雑な設
計工程及び製造工程を必要とする電荷結合素子2及び駆
動回路3の代りに、相補性金属酸化膜半導体(CMO
S)によって実現されるフォトダイオードを用いたイメ
ージセンサーである。請求項6記載の発明は、イメージ
センサー全体をCMOS技術によって実現できるだけで
なく、1個のフォトダイオードを1組のCMOSダイオ
ードで実現できるので、イメージセンサーの設計及び実
装は極めて単純になる。
【0018】ここまでは、請求項1、2、3、4、5、
及び6記載のイメージセンサーに対して、二次元格子状
に配列された機能コラム1の構成と、配列演算ユニット
40間の信号線の配線について説明してきた。配列演算
ユニット40は、これらの信号線を介して4近傍の配列
演算ユニット40と画像データを通信することにより、
以下のような画像処理手段を実行することができる。
【0019】配列演算ユニット40が実行する画像記憶
手段12、画像振動手段13、エッジ情報生成手段1
4、エッジ情報形成手段15、物体/背景分離手段1
6、領域正規化手段27、位置/大きさ検出手段17、
パターンマッチング手段29、及び画像保持手段38、
は二次元格子状に配列された配列演算ユニット40(AR
RAY OPERATION UNIT)から構成されるデータ処理装置1
10を用いることにより実装することができる。そこで
以下では、配列演算ユニット40を利用したデータ処理
装置110の実施形態を挙げ、図面を参照して説明す
る。
【0020】まず配列演算ユニット40は、入力画像の
1つの画素とその近傍画素を用いることにより、出力画
像の1つの画素を生成する。そこで図9に示したよう
に、配列演算ユニット40を入力画像のサイズに合わせ
て二次元格子状に配列したデータ処理装置110を用い
ることにより、データ処理装置110は入力画像から出
力画像を生成することができる。なお図9において、配
列演算ユニット40をAOUと略記する。したがって配
列演算ユニット40のアルゴリズムを示すことにより、
データ処理装置110の画像処理を示すことができる。
そこで配列演算ユニット40のアルゴリズムを示すため
に、画像記憶手段12、画像振動手段13、エッジ情報
生成手段14、エッジ情報形成手段15、物体/背景分
離手段16、領域正規化手段27、位置/大きさ検出手
段17、パターンマッチング手段29、及び画像保持手
段38、で用いる数式について説明する。
【0021】幅w、高さh、帯域数bの任意の2階調
画像をとすると、は各々位置p
(i,j,k)の帯域画素値xijk、yijk、w
ijkを用いて数式1、2及び3のように表される。な
おアンダーラインが付された文字はベクトルを示す。ま
たnは非負の整数、w、h、b、i、j、kは自然数で
ある。
【0022】
【数1】
【0023】
【数2】
【0024】
【数3】
【0025】まず前記画像の各帯域画素値に対する点処
理に関する関数について以下で説明する。
【0026】画像を二値画像に変換する場合、数式4
に従って帯域画素値を二値化する。
【0027】
【数4】
【0028】画像を帯域最大値画像に変換する場合、
数式5に従ってi行j列の画素の各帯域の値のうち最大
値を選択する。なお前記帯域最大値画像は単帯域画像と
なるので、便宜上帯域数1の前記画像として取り扱うこ
とにする。したがって関数B ij1)の第3添字は
1となっている。
【0029】
【数5】
【0030】画像が二値画像であるとして、画像
反転させる場合、数式6に従って計算する。
【0031】
【数6】
【0032】画像の位置p(i,j,k)における対
数変換は数式7に従って行われる。ここでeはオフセッ
トであり、自然対数関数が出力する値が有効範囲に入る
ようにするために使われるので、一般にe=1で十分で
ある。この対数化により帯域画素値同士の除算を減算に
することができる。また画像が2階調のデジタル画
像111であるとすると、帯域数に関わらず2個の要
素を含むルックアップテーブルをメモリ42上に持つな
らば、毎回自然対数関数を計算する必要もなく、標準的
な対数表を持つ必要もなくなる。
【0033】
【数7】
【0034】さて、画像の位置p(i,j,k)におけ
るq近傍の位置の集合Pijk(q)は数式8によって
表される。ただしqは4、8、24、48、80、12
0、(2r+1)−1と続く数列であり、rは自然数
である。なお画像サイズをはみ出した位置が集合P
ijk(q)に含まれる場合には、特に指定がない限り
位置p(i,j,k)を代用するものとする。またこれ
以外のときは、指定に従い、画素値が0に相当し、しか
も画像に含まれない架空の位置を代用する。これにより
辺縁処理は自動的に行われる。したがって集合Pijk
(q)の要素の数N ijkは常にqとなる。
【0035】
【数8】
【0036】そこで次に画像の各帯域画素値に対する最
大8近傍の近傍処理に関する関数及びオペレータについ
て以下で説明する。
【0037】画像の位置p(i,j,k)における振
動は数式9に従って行われる。ここで位置p(i,j,
k)のq近傍の中から1つの位置だけを選択する方法に
よって画像単位で振動させるか画素単位で振動させるか
を決定することができる。もし画像の全ての位置にお
いて、全く同じ方法によりq近傍の中から1つを選択す
れば、画像は画像単位で振動する。一方で画像の各
々の位置において、疑似乱数などを用いてランダムにq
近傍の中から1つを選択すれば、画像は画素単位で振
動する。
【0038】
【数9】
【0039】画像の位置p(i,j,k)における平
滑化は数式10に従って行われる。ただしint(v)
は実数vの小数点以下切り捨てを意味するものとする。
もし画像の帯域画素値が整数値であるならば、ハード
ウェアの実装時にNijk=4のときxlmkの総和に
対して右シフト命令を2回、Nijk=8のときx
mkの総和に対して右シフト命令を3回実行するような
回路に変更することにより、除算を実行する回路を省く
ことができる。
【0040】
【数10】
【0041】ラプラシアンの計算であるが、これは数式
11に示すように単なる2階差分オペレータである。8
近傍の方がノイズの微妙な変化を捉えてゼロ点およびゼ
ロ交差が多くなり、本発明には向いている。ただしN
ijkが4か8であるので、もしハードウェアの実装時
にNijk=4のときxijkに対して左シフト命令を
2回、Nijk=8のときxijkに対して左シフト命
令を3回実行するような回路に変更することにより、実
数の乗算を実行する回路を省くことができる。
【0042】
【数11】
【0043】ラプラシアンによって求められた値からゼ
ロ点を見付ける方法として、従来は正から負に変化する
画素を見付けていたが、本発明では数式12に従い、負
から正にゼロ交差する画素の他に、負からゼロやゼロか
ら正などゼロ点が経由したり、ゼロが継続する画素を見
付けるようにする。本発明では、数式12が見付けたゼ
ロ点はエッジがある場所ではなく、ノイズがある場所、
つまりエッジがない場所になる。また数式12により実
数値の二値化も同時に行っている。
【0044】
【数12】
【0045】画像が任意の二値画像であるとして、画
のうち孔が空いている画素を埋める場合には、数式
13に従い計算する。ここでfは埋めるべき孔の大きさ
を表すパラメータであり、一般にはf=1で十分であ
る。なお4近傍の場合にはその性質上対角線を検知する
ことができないので、極力8近傍にした方がよい。
【0046】
【数13】
【0047】画像が任意の二値画像であるとして、画
のうち孤立点ないし孤立孔を削除する場合には、数
式14に従い計算する。なお4近傍の場合にはその性質
上対角線を検知することができないので、極力8近傍に
した方がよい。
【0048】
【数14】
【0049】画像が任意の二値画像であるとして、画
のうち線幅が1である画素を検知するために、4近
傍画素を用いて数式15に従い計算する。
【0050】
【数15】
【0051】2つの画像が任意の二値画像であ
り、画像が画像のうち線幅が1である画素を検知し
た画像であるとすると、画像のうち線幅が1である画
素の線幅を拡張するために、4近傍画素を用いて数式1
6に従い計算する。
【0052】
【数16】
【0053】そこで数式15の線幅検知と数式16の線
幅拡張を用いると、数式17に従い二値画像の線幅補完
を簡単に記述することができる。
【0054】
【数17】
【0055】次に画像の各帯域画素値に対する近傍処理
に関する関数及びオペレータについて以下で説明する。
【0056】2つの画像がある場合、これらの画
像の最大値画像は数式18に従って計算される。
【0057】
【数18】
【0058】2つの画像がある場合、これらの画
像の差分は数式19に従って計算される。
【0059】
【数19】
【0060】ここで数式11のラプラシアンと数式19
の差分を用いると、数式20に従い画像の鮮鋭化を簡単
に記述することができる。
【0061】
【数20】
【0062】2つの画像があり、画像が単帯域
二値画像である場合、数式21に従い、画像の帯域画
素値を用いて画像の各帯域画素値をマスクすることが
できる。
【0063】
【数21】
【0064】2つの画像があり、画像が二
値画像である場合、数式22に従い、画像を基に画像
を整形することができる。
【0065】
【数22】
【0066】2つの画像があり、画像が二値画
像である場合、数式23に従い、画像で指定されなか
った画像の帯域画素値を、画像の帯域画素値の近傍
のうち画像で指定された画像の帯域画素値の平均値
で補間する。ただしint(v)は実数vの小数点以下
切り捨てを意味するものとする。
【0067】
【数23】
【0068】さて本発明では、画素の位置や移動量など
も画像データのように扱うことで処理を単純にしてい
る。これを位置の画像化と呼ぶ。以下では画像化に関す
る幾つかの関数及びオペレータについて説明する。
【0069】まず位置p(l,m,o)のl、m、o各
々の値を画像データとして帯域画素値に変換するオペレ
ータを#とし、変換された帯域画素値を#p(l,m,
o)とする。次に帯域画素値が位置p(i,j,k)か
ら位置p(i+l,j+m,k+o)へ移動する場合を
考える。このとき帯域画素値の移動量は位置p(l,
m,o)として表されるものとする。つまり移動量はあ
る位置からのベクトルと見なすことができる。最後に帯
域画素値から位置を取り出すオペレータを#−1とす
る。したがって#−1#p(l,m,o)=p(l,
m,o)となる。
【0070】そこで数式24に従い、移動量p(i,
j,k)を幅方向と高さ方向で表される平面内で180
度反対方向に向けることができる。
【0071】
【数24】
【0072】画像があり、画像が単帯域二値画像で
ある場合、画像の位置p(i,j,1)における重心
位置への移動量は数式25に従い計算される。なお、本
来重心を計算する際には除算を行う必要があるが、8近
傍内への移動量を計算する際に除算は相殺されてしまう
ので、数式25では除算が省かれている。
【0073】
【数25】
【0074】移動量p(i,j,k)から、数式26及
び27に従い8近傍内への移動量を計算し、移動量画像
に画像化することができる。なお数式27は、画像の離
散化により数式26では対応しきれない場合にのみ利用
する。
【0075】
【数26】
【0076】
【数27】
【0077】したがって数式25、26及び27を用い
ると、数式28及び29に従い、単帯域二値画像の重
心方向への移動量画像の帯域画素値を簡単に記述するこ
とができる。なお移動量画像の帯域数は1となる。
【0078】
【数28】
【0079】
【数29】
【0080】一方で数式24を用いると重心位置の反対
位置を求めることができるので、数式30に従い、単帯
域二値画像の重心と反対方向への移動量画像の帯域画
素値を簡単に記述することができる。なお移動量画像の
帯域数は1となる。
【0081】
【数30】
【0082】2つの画像があり、画像が移動量
画像である場合、数式31に従い、画像で指し示され
た移動位置に画像の帯域画素値を移動した後、同じ帯
域画素に移動した帯域画素値の合計を濃淡画像にするこ
とができる。
【0083】
【数31】
【0084】そこで数式4、28、29及び31を用い
ることにより、数式32又は数式33に従い、単帯域濃
淡画像を近傍の重心方向に移動した後、同じ帯域画素
に移動した帯域画素値の合計を簡単に記述することがで
きる。
【0085】
【数32】
【0086】
【数33】
【0087】2つの画像があり、画像が二値画
像で、画像が移動量画像である場合、画像の各帯域
画素値の移動先の位置を求めることができるので、移動
先が重複する帯域画素値を見つけることができる。そこ
で画像の各帯域画素値の移動先が重複することなく、
しかも移動する各帯域画素値が存在することを表す移動
可能画像の帯域画素値は、数式34に従い生成される。
なお移動可能画像の帯域数は1となる。
【0088】
【数34】
【0089】3つの画像があり、画像が移
動可能画像であり、画像が移動量画像である場合、数
式35に従い画像の帯域画素値を移動することができ
る。
【0090】
【数35】
【0091】そこで数式30、数式34及び数式35を
用いると、数式36に従い、二値画像から計算される
重心位置と反対方向に画像の帯域画素を移動すること
で得られる画像の帯域画素値を簡単に記述することがで
きる。
【0092】
【数36】
【0093】そこで数式1から数式36までを用いるこ
とにより、画像記憶手段12、画像振動手段13、エッ
ジ情報生成手段14、エッジ情報形成手段15、領域正
規化手段27、位置/大きさ検出手段17、及び画像保
持手段38、を実装するデータ処理装置110の全ての
配列演算ユニット40のアルゴリズムを記述することが
できる。以下では、データ処理装置110中の任意の配
列演算ユニット40のアルゴリズムを用いて、画像記憶
手段12、画像振動手段13、エッジ情報生成手段1
4、エッジ情報形成手段15、領域正規化手段27位置
/大きさ検出手段17、及び画像保持手段38、を説明
する。
【0094】データ処理装置110によって実現される
画像記憶手段12がデジタル画像111を記憶するため
に、二次元格子状に配列された配列演算ユニット40は
同期して並列に動作する。格子上i行j列に配置された
配列演算ユニット40をAOUijとすると、AOU
ijのアルゴリズムは図10のようになる。
【0095】ステップ1201で、AOUijを格子上
のi行j列に配置する。これは論理的であれ物理的であ
れ、AOUijの近傍を決定するために必要である。
【0096】ステップ1202で、AOUijの近傍や
変数の初期値を設定する。
【0097】ステップ1203で、順次入力されるデジ
タル画像111が無くなったかどうか判断する。もしデ
ジタル画像111が無ければ(ステップ1203:YE
S)、アルゴリズムを終了する。もしデジタル画像11
1があれば(ステップ1203:NO)、ステップ12
04に移行する。ただし特定の画像サイズのみに対して
配列演算ユニット40を実装する場合には、無限ループ
にしても良い。
【0098】ステップ1204で、デジタル画像111
が準備されるまで入力待ちをする。
【0099】ステップ1205で、デジタル画像111
のi行j列の画素を帯域数分入力する。このためAOU
ijは少なくとも帯域数分の画像データを記憶するメモ
リ42を必要とする。
【0100】ステップ1206で、入力待ちの間出力で
きるように、デジタル画像111のi行j列の画素を記
憶する。
【0101】ステップ1207で、デジタル画像111
の帯域画素値を出力する。その後ステップ1203に戻
る。
【0102】これにより、配列演算ユニット40から構
成されるデータ処理装置110を用いて、画像記憶手段
12はデジタル画像111を記憶することができる。
【0103】データ処理装置110によって実現される
画像振動手段13がデジタル画像111を振動させるた
めに、二次元格子状に配列された配列演算ユニット40
は同期して並列に動作する。格子上i行j列に配置され
た配列演算ユニット40をAOUijとすると、AOU
ijのアルゴリズムは図11のようになる。
【0104】ステップ1301で、AOUijを格子上
のi行j列に配置する。これは論理的であれ物理的であ
れ、AOUijの近傍を決定するために必要である。
【0105】ステップ1302で、AOUijの近傍や
変数の初期値を設定する。
【0106】ステップ1303で、順次入力されるデジ
タル画像111が無くなったかどうか判断する。もしデ
ジタル画像111が無ければ(ステップ1303:YE
S)、アルゴリズムを終了する。もしデジタル画像11
1があれば(ステップ1303:NO)、ステップ13
04に移行する。ただし特定の画像サイズのみに対して
配列演算ユニット40を実装する場合には、無限ループ
にしても良い。
【0107】ステップ1304で、デジタル画像111
のi行j列の画素を帯域数分入力する。このためAOU
ijは少なくとも帯域数分の画像データを記憶するメモ
リ42を必要とする。
【0108】ステップ1305で、関数Ξijk
に従いデジタル画像111のi行j列の画素を近傍画素
の1つに移動させる。
【0109】ステップ1306で、デジタル画像111
の帯域画素値を出力する。その後ステップ1303に戻
る。
【0110】これにより、配列演算ユニット40から構
成されるデータ処理装置110を用いて、画像振動手段
13はデジタル画像111を振動させることができる。
【0111】データ処理装置110によって実現される
エッジ情報生成手段14がデジタル画像111から粗エ
ッジ情報画像113を生成するために、二次元格子状に
配列された配列演算ユニット40は同期して並列に動作
する。格子上i行j列に配置された配列演算ユニット4
0をAOUijとすると、エッジ情報生成手段14に対
するAOUijのアルゴリズムは図12のようになる。
【0112】ステップ1401で、AOUijを格子上
のi行j列に配置する。これは論理的であれ物理的であ
れ、AOUijの近傍を決定するために必要である。
【0113】ステップ1402で、AOUijの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズqを個別に4か8に決めても良
いし、全部を4か8に統一しても良い。本発明のエッジ
情報生成手段14が生成する粗エッジ情報112の正確
さを上げるためには近傍サイズqを全て8に設定するこ
とが望ましい。しかしながら粗エッジ情報112を生成
するための計算時間の制約や、デジタル画像111の帯
域数などにより、エッジ情報生成手段14は必要に応じ
て適宜近傍サイズを変えることで対処することができ
る。
【0114】ステップ1403で、デジタル画像111
が終了したかどうか判断する。もしデジタル画像111
が無ければ(ステップ1403:YES)、アルゴリズ
ムを終了する。もしデジタル画像111があれば(ステ
ップ1403:NO)、アルゴリズムを終了する。ただ
し特定の帯域数と画像サイズに対して配列演算ユニット
40を実装する場合には、無限ループにしても良い。
【0115】ステップ1404で、デジタル画像111
のi行j列の画素を帯域数分入力する。これは、AOU
ijがデジタル画像111のi行j列の画素を一括して
処理するためである。このためAOUijは少なくとも
帯域数分の画像データを記憶するメモリ42を必要とす
る。
【0116】ステップ1405で、AOUijが近傍の
配列演算ユニット40と通信することにより、入力した
デジタル画像111の各帯域画素値に対して関数S
ijk)に従い平滑化を行う。平滑化された帯域画
素値は平滑化画像の帯域画素値として扱われる。ここで
関数Sijk)は必要に応じて数回繰り返しても良
い。一般的なカラー画像の場合、この回数は2回で十分
である。
【0117】ステップ1406で、平滑化画像の各帯域
画素値に対して関数Lijk)に従い対数変換を行
う。対数変換された帯域画素値は対数変換画像の帯域画
素値として扱われる。
【0118】ステップ1407で、AOUijが近傍の
配列演算ユニット40と通信することにより、対数変換
画像の各帯域画素値に対して関数Eijk)に従い
鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭化画像の
帯域画素値として扱われる。
【0119】ステップ1408で、鮮鋭化画像の各帯域
画素値に対して関数Dijk)に従い1入力前
鮮鋭化画像の各帯域画素値を引く。差分を計算された帯
域画素値は時間差分画像の帯域画素値として扱われる。
【0120】ステップ1409で、1入力前鮮鋭化画像
の各帯域画素値を鮮鋭化画像の対応する各帯域画素値で
置き換える。
【0121】ステップ1410で、AOUijが近傍の
配列演算ユニット40と通信することにより、時間差分
画像の各帯域画素値に対してオペレータ∇ ijk
従いラプラシアンの計算を行う。ラプラシアンを計算さ
れた帯域画素値は時間差分ラプラシアン画像の帯域画素
値として扱われる。
【0122】ステップ1411で、AOUijが近傍の
配列演算ユニット40と通信することにより、時間差分
ラプラシアン画像の各帯域画素値に対して関数Zijk
)に従いゼロ点を抽出する。ゼロ点を抽出された帯
域画素値は時間差分ゼロ点画像の帯域画素値として扱わ
れる。
【0123】ステップ1412で、時間差分ラプラシア
ン画像の各帯域画素値に対して関数Bij1)に従
い各帯域画素値のうち最大値を検出する。検出された最
大値帯域画素値は最大値時間差分ゼロ点画像の帯域画素
値として扱われる。なお便宜上帯域数は1である。
【0124】ステップ1413で、AOUijが近傍の
配列演算ユニット40と通信することにより、鮮鋭化画
像の各帯域画素値に対してオペレータ∇ ijk に従
いラプラシアンの計算を行う。ラプラシアンを計算され
た帯域画素値はラプラシアン画像の帯域画素値として扱
われる。
【0125】ステップ1414で、AOUijが近傍の
配列演算ユニット40と通信することにより、ラプラシ
アン画像の各帯域画素値に対して関数Zijk)に
従いゼロ点を抽出する。ゼロ点を抽出された帯域画素値
はゼロ点画像の帯域画素値として扱われる。
【0126】ステップ1415で、ラプラシアン画像の
各帯域画素値に対して関数Bij1)に従い各帯域
画素値のうち最大値を検出する。検出された最大帯域画
素値は最大値ゼロ点画像の帯域画素値として扱われる。
なお便宜上帯域数は1である。
【0127】ステップ1416で、ラプラシアン画像の
各帯域画素値と時間差分ラプラシアン画像の各帯域画素
値に対して関数Mijk)に従い各々の画像の
同じ位置にある帯域画素値のうち最大値を検出する。検
出された最大帯域画素値は混成ゼロ点画像の帯域画素値
として扱われる。なお便宜上帯域数は1である。
【0128】ステップ1417で、AOUijが近傍の
配列演算ユニット40と通信することにより、混成ゼロ
点画像の帯域画素値に対して関数Fijk)に従い
孔を除去する。孔を除去された帯域画素値は孔除去混成
ゼロ点画像の帯域画素値として扱われる。なお便宜上帯
域数は1である。ここで関数Fijk)は必要に応
じて数回繰り返しても良い。一般的なカラー画像の場
合、この回数は1回で十分である。
【0129】ステップ1418で、AOUijが近傍の
配列演算ユニット40と通信することにより、孔除去混
成ゼロ点画像の帯域画素値に対して関数Aijk
に従い孤立点および孤立孔を除去する。孤立点および孤
立孔を除去された帯域画素値はノイズ除去混成ゼロ点画
像の帯域画素値として扱われる。なお便宜上帯域数は1
である。
【0130】ステップ1419で、ノイズ除去混成ゼロ
点画像の帯域画素値に対して関数I ijk)に従い
0と1を反転させる。反転された帯域画素値は粗エッジ
情報画像113の帯域画素値として扱われる。
【0131】ステップ1420で、粗エッジ情報画像1
13の帯域画素値を出力する。その後ステップ1403
に戻る。
【0132】これにより、配列演算ユニット40から構
成されるデータ処理装置110を用いて、エッジ情報生
成手段14はデジタル画像111から粗エッジ情報画像
113を生成することができる。
【0133】図13に示すように、データ処理装置11
0によって実現されるエッジ情報形成手段15が粗エッ
ジ情報112から構成される粗エッジ情報画像113、
及びデジタル画像111から、形成エッジ情報114か
ら構成される形成エッジ情報画像115を生成するため
に、二次元格子状に配列された配列演算ユニット40は
同期して並列に動作する。格子上i行j列に配置された
配列演算ユニット40をAOUijとすると、AOU
ijのアルゴリズムは図14のようになる。
【0134】ステップ1501で、AOUijを格子上
のi行j列に配置する。これは論理的であれ物理的であ
れ、AOUijの近傍を決定するために必要である。
【0135】ステップ1502で、AOUijの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズqを個別に4か8に決めても良
いし、全部を4か8に統一しても良い。本発明のエッジ
情報形成手段15が形成した形成エッジ情報114の正
確さを上げるためには近傍サイズqを全て8に設定する
ことが望ましい。しかしながら粗エッジ情報112を形
成するための計算時間の制約や、入力されるデジタル画
像111の帯域数などにより、エッジ情報形成手段15
は必要に応じて適宜近傍サイズを変えることで対処する
ことができる。
【0136】ステップ1503で、順次入力されるデジ
タル画像111又は粗エッジ情報画像113が無くなっ
たかどうか判断する。もしデジタル画像111若しくは
粗エッジ情報画像113のいずれかが無ければ(ステッ
プ1503:YES)、アルゴリズムを終了する。もし
デジタル画像111若しくは粗エッジ情報画像113の
いずれかがあれば(ステップ1503:NO)、ステッ
プ1504に移行する。ただし特定の帯域数と画像サイ
ズに対して配列演算ユニット40を実装する場合には、
無限ループにしても良い。
【0137】ステップ1504で、デジタル画像111
及び粗エッジ情報画像113のi行j列の画素を帯域数
分入力する。これは、AOUijがデジタル画像111
及び粗エッジ情報画像113のi行j列の画素を一括し
て処理するためである。このためAOUijは少なくと
も帯域数分の画像データを記憶するメモリ42を必要と
する。
【0138】ステップ1505で、デジタル画像111
のi行j列の画素と粗エッジ情報画像113のi行j列
の画素を分離する。これは、AOUijがデジタル画像
111のi行j列の画素と粗エッジ情報画像113のi
行j列の画素を各々独立した画像の画素として処理する
ためである。もしデジタル画像111のi行j列の画素
と粗エッジ情報画像113のi行j列の画素が初めから
分離されて入力されていれば、特に何もしない。
【0139】ステップ1506で、AOUijが近傍の
配列演算ユニット40と通信することにより、入力した
デジタル画像111の各帯域画素値に対して関数S
ijk)に従い平滑化を行う。平滑化された帯域画
素値は平滑化画像の帯域画素値として扱われる。ここで
関数Sijk)は必要に応じて数回繰り返しても良
い。一般的なカラー画像の場合、この回数は2回で十分
である。
【0140】ステップ1507で、平滑化画像の各帯域
画素に対して関数Lijk)に従い対数変換を行
う。対数変換された帯域画素値は対数変換画像の帯域画
素値として扱われる。
【0141】ステップ1508で、AOUijが近傍の
配列演算ユニット40と通信することにより、対数変換
画像の各帯域画素値に対して関数Eijk)に従い
鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭化画像の
帯域画素値として扱われる。
【0142】ステップ1509で、AOUijが近傍の
配列演算ユニット40と通信することにより、鮮鋭化画
像の各帯域画素値に対してオペレータ∇ ijk に従
いラプラシアンの計算を行う。ラプラシアンを計算され
た帯域画素値はラプラシアン画像の帯域画素値として扱
われる。
【0143】ステップ1510で、AOUijが近傍の
配列演算ユニット40と通信することにより、ラプラシ
アン画像の各帯域画素値に対して関数Zijk)に
従いゼロ点を抽出する。ゼロ点を抽出された帯域画素値
はゼロ点画像の帯域画素値として扱われる。
【0144】ステップ1511で、ゼロ点画像の各帯域
画素値に対して関数Bij1)に従い各帯域画素値
のうち最大値を検出する。検出された最大帯域画素値は
最大値ゼロ点画像の帯域画素値として扱われる。なお便
宜上帯域数は1である。
【0145】ステップ1512で、最大値ゼロ点画像の
帯域画素値に対して関数Iijk)に従い0と1を
反転させる。反転された帯域画素値は基礎エッジ情報画
像の帯域画素値として扱われる。
【0146】ステップ1513で、入力した粗エッジ情
報画像113の帯域画素値は初め整形粗エッジ情報画像
の帯域画素値として扱われ、AOUijが近傍の配列演
算ユニット40と通信することにより、基礎エッジ情報
画像の帯域画素値を用いて、整形粗エッジ情報画像の帯
域画素値に対して関数Qijk)に従い整形を
行う。整形された帯域画素値は再び整形粗エッジ情報画
像の帯域画素値として扱われる。ここで関数Q
ijk)は本来整形粗エッジ情報画像の帯域画
素値が変化しなくなるまで繰り返される。ただし計算時
間の制約、入力される粗エッジ情報画像113の品質、
形成される形成エッジ情報画像115に求められる品質
などにより、整形処理は適当な繰り返し回数で計算を打
ち切った方が良い。
【0147】ステップ1514で、AOUijが近傍の
配列演算ユニット40と通信することにより、整形粗エ
ッジ情報画像の帯域画素値に対して関数Cijk
に従い線幅補完を行う。補完された帯域画素値は形成エ
ッジ情報画像115の帯域画素値として扱われる。
【0148】ステップ1515で、形成エッジ情報画像
115の帯域画素値を出力する。その後ステップ150
3に戻る。
【0149】これにより、配列演算ユニット40から構
成されるデータ処理装置110を用いて、エッジ情報形
成手段15は粗エッジ情報画像113を形成エッジ情報
画像115に形成することができる。
【0150】ここで粗エッジ情報画像113から形成エ
ッジ情報画像115への形成とは、ある場面を撮影した
低解像度のデジタル画像111から生成されたエッジ情
報から、同じ場面を撮影した高解像度のデジタル画像1
11から生成されるべきエッジ情報を推定することであ
ると見なすことができる。そこで自然数nに対して、図
15に示すように、デジタル画像111の解像度を1/
nに低くした低解像度デジタル画像116から、エッジ
情報生成手段14を用いて低解像度粗エッジ情報画像1
17を生成した場合、低解像度粗エッジ情報画像117
をn倍拡大することにより粗エッジ情報画像113を生
成することができる。ただしデジタル画像111の解像
度を1/nにするためには、水平及び垂直方向に対して
単純にデジタル画像111の連続するn個のうち1個を
抽出すれば良い。また低解像度粗エッジ情報画像117
をn倍拡大するためには、水平及び垂直方向に対して単
純に低解像度粗エッジ情報画像117の連続する画素の
間に帯域画素値が0である画素をn−1個埋めれば良
い。このときnがあまり大きくなければ、エッジ情報形
成手段15を実現するデータ処理装置110が、低解像
度粗エッジ情報画像117を拡大した粗エッジ情報画像
113を形成した形成エッジ情報画像115と、エッジ
情報形成手段15を実現するデータ処理装置110が、
デジタル画像111から生成した粗エッジ情報画像11
3を形成した形成エッジ情報画像115とは、ほとんど
同じものになる。この理由は、エッジ情報形成手段15
がデジタル画像111を用いて内部で生成したエッジ情
報のうちどのエッジ情報を利用するのか参考にするため
に、エッジ情報形成手段15が粗エッジ情報画像113
を用いているだけだからである。したがって低解像度粗
エッジ情報画像117を拡大した粗エッジ情報画像11
3をエッジ情報形成手段15に入力した場合、低解像度
デジタル画像116から低解像度粗エッジ情報画像11
7を生成するエッジ情報生成手段14を実現するデータ
処理装置110は計算量又はハードウェア量を低減する
ことができる。
【0151】さらにこの方法を発展させると、図16に
示すように、デジタル画像111の解像度を低くした低
解像度デジタル画像116から生成した低解像度粗エッ
ジ情報画像117のうち、粗エッジ情報112の周辺を
切り出した低解像度切出粗エッジ情報画像118を生成
することができる。この低解像度切出粗エッジ情報画像
118を拡大した切出粗エッジ情報画像119と、デジ
タル画像111のうち同じ領域を切り出した切出デジタ
ル画像120をエッジ情報形成手段15を実現するデー
タ処理装置110に入力すると、切出形成エッジ情報画
像121を生成することができる。この場合、エッジ情
報形成手段15を実現するデータ処理装置110はハー
ドウェア量を低減することができる。
【0152】なお請求項4及び5記載の発明は、切出デ
ジタル画像120の位置をデジタル画像111の中央に
固定することなどにより、有効に実現できるようにな
る。
【0153】図17に示すように、データ処理装置11
0によって実現される領域正規化手段27が物体領域1
41を含む物体領域画像142、及び物体領域141と
重なる分離物体領域143を含むデジタル画像111か
ら正規化領域144を含む正規化画像145を生成する
ために、二次元格子状に配列された配列演算ユニット4
0は同期して並列に動作する。格子上i行j列に配置さ
れた配列演算ユニット40をAOUijとすると、AO
ijのアルゴリズムは図18のようになる。
【0154】ステップ2701で、AOUijを格子上
のi行j列に配置する。これは論理的であれ物理的であ
れ、AOUijの近傍を決定するために必要である。
【0155】ステップ2702で、AOUijの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズqを個別に決めても良いし、全
部を統一しても良い。本発明の領域正規化手段27が生
成した正規化画像145の正確さを上げるためには近傍
サイズqを全て大きな値に設定することが望ましい。し
かしながら分離物体領域143を正規化するための計算
時間の制約や、入力されるデジタル画像111のサイズ
などにより、領域正規化手段27は必要に応じて適宜近
傍サイズを変えることで対処することができる。
【0156】ステップ2703で、順次入力される物体
領域画像142又はデジタル画像111が無くなったか
どうか判断する。もし物体領域画像142又はデジタル
画像111が無ければ(ステップ2703:YES)、
アルゴリズムを終了する。もし物体領域画像142又は
デジタル画像111があれば(ステップ2703:N
O)、ステップ2704に移行する。ただし特定の帯域
数及び画像サイズのみに対して配列演算ユニット40を
実装する場合には、無限ループにしても良い。
【0157】ステップ2704で、物体領域画像142
のi行j列の画素を1帯域分と、デジタル画像111の
i行j列の画素を帯域数分を入力する。これは、AOU
ijが物体領域画像142のi行j列の画素とデジタル
画像111のi行j列の画素を一括して処理するためで
ある。このためAOUijは少なくとも総帯域数分の画
像データを記憶するメモリ42を必要とする。
【0158】ステップ2705で、物体領域画像142
のi行j列の画素とデジタル画像111のi行j列の画
素を分離する。これは、AOUijが物体領域画像14
2のi行j列の画素とデジタル画像111のi行j列の
画素を各々独立した画像の画素として処理するためであ
る。もし物体領域画像142のi行j列の画素とデジタ
ル画像111のi行j列の画素が初めから分離されて入
力されていれば、特に何もしない。物体領域画像142
及びデジタル画像111は各々更新物体領域画像及び更
新デジタル画像にコピーされる。
【0159】ステップ2706で、AOUijが近傍の
配列演算ユニット40と通信することにより、更新物体
領域画像の各帯域画素値に対して関数Rij1)に
従い移動量を計算する。移動量を画像化した帯域画素値
は移動量画像の帯域画素値として扱われる。
【0160】ステップ2707で、AOUijが近傍の
配列演算ユニット40と通信することにより、更新物体
領域画像の各帯域画素値に対して関数Hijk
)に従い移動可能な移動先帯域画素値を見つけること
ができる。移動可能な移動先であるかどうかを表す値は
移動可能画像の帯域画素値として扱われる。
【0161】ステップ2708で、AOUijが近傍の
配列演算ユニット40と通信することにより、更新物体
領域画像の各帯域画素値に対して関数Uijk
)に従い移動可能先に移動させる。移動した帯域画素
値は新たに更新物体領域画像の帯域画素値として扱われ
る。
【0162】ステップ2709で、AOUijが近傍の
配列演算ユニット40と通信することにより、更新デジ
タル画像の各帯域画素値に対して関数Uijk
)に従い移動可能先に移動させる。移動した帯域画素
値は新たに更新デジタル画像の帯域画素値として扱われ
る。
【0163】ステップ2710で、ステップ2706か
らステップ2709までの繰り返し回数を表す移動回数
が指定回数に達したかどうか判断する。もし移動回数が
指定回数に達していなければ(ステップ2710:N
O)、ステップ2706に戻る。もし移動回数が指定回
数に達していれば(ステップ2710:YES)、ステ
ップ2711に移行する。なおこの指定回数はデジタル
画像111のサイズやデジタル画像111の分離物体領
域143のサイズ、さらには近傍のサイズqにより決定
される。利用目的に応じて適切なパラメータを設定すれ
ば、指定回数を大目に決定しても問題はないが、あまり
指定回数を多くしすぎると、正規化に要する時間が長く
なる。
【0164】ステップ2711で、AOUijが近傍の
配列演算ユニット40と通信することにより、移動を完
了した更新物体領域画像の各帯域画素値に対して関数V
ij )に従い近傍の平均値で補間する。なお
は共に更新物体領域画像となる。平均値で埋めら
れた帯域画素値は正規化された更新物体領域画像の帯域
画素値として扱われる。
【0165】ステップ2712で、AOUijが近傍の
配列演算ユニット40と通信することにより、移動を完
了した更新デジタル画像の各帯域画素値に対して関数V
ij )に従い近傍の平均値で埋める。なお
は更新デジタル画像となり、は更新物体領域画像とな
る。平均値で埋められた帯域画素値は正規化された更新
デジタル画像の帯域画素値として扱われる。
【0166】ステップ2713で、ステップ2711か
らステップ2712までの繰り返し回数を表す補間回数
が指定回数に達したかどうか判断する。もし補間回数が
指定回数に達していなければ(ステップ2713:N
O)、ステップ2711に戻る。もし補間回数が指定回
数に達していれば(ステップ2713:YES)、ステ
ップ2714に移行する。一般的に補間回数は近傍サイ
ズqの半分程度の回数で十分である。
【0167】ステップ2714で、ステップ2706か
らステップ2713までの繰り返し回数を表す継続回数
が指定回数に達したかどうか判断する。もし継続回数が
指定回数に達していなければ(ステップ2714:N
O)、ステップ2706に戻る。もし継続回数が指定回
数に達していれば(ステップ2714:YES)、ステ
ップ2715に移行する。なおこの指定回数はデジタル
画像111のサイズやデジタル画像111の分離物体領
域143のサイズ、さらには近傍のサイズqにより決定
される。利用目的に応じて適切なパラメータを設定すれ
ば、指定回数を大目に決定しても問題はないが、あまり
指定回数を多くしすぎると、正規化に要する時間が長く
なる。
【0168】ステップ2715で、更新デジタル画像の
帯域画素値を正規化画像145の帯域画素値として出力
する。その後ステップ2703に戻る。
【0169】これにより、配列演算ユニット40から構
成されるデータ処理装置110を用いて、領域正規化手
段27が物体領域画像142及びデジタル画像111か
ら正規化画像145を生成することができる。
【0170】図19に示すように、データ処理装置11
0によって実現される位置/大きさ検出手段17が粗エ
ッジ情報112を画素とする粗エッジ情報画像113か
ら重複情報131を画素とする重複情報画像132を生
成するために、二次元格子状に配列された配列演算ユニ
ット40は同期して並列に動作する。格子上i行j列に
配置された配列演算ユニット40をAOUijとする
と、AOUijのアルゴリズムは図20のようになる。
【0171】ステップ1701で、AOUijを格子上
のi行j列に配置する。これは論理的であれ物理的であ
れ、AOUijの近傍を決定するために必要である。
【0172】ステップ1702で、AOUijの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズqを個別に決めても良いし、全
部を統一しても良い。本発明のデータ処理装置110が
生成した重複情報画像132の正確さを上げるためには
近傍サイズqを全て大きな値に設定することが望まし
い。しかしながら物体の粗エッジ情報112の重心を計
算するための計算時間の制約や、入力される粗エッジ情
報画像113のサイズなどにより、位置/大きさ検出手
段17は必要に応じて適宜近傍サイズを変えることで対
処することができる。
【0173】ステップ1703で、順次入力される粗エ
ッジ情報画像113が無くなったかどうか判断する。も
し粗エッジ情報画像113が無ければ(ステップ170
3:YES)、アルゴリズムを終了する。もし粗エッジ
情報画像113があれば(ステップ1703:NO)、
ステップ1704に移行する。ただし特定の画像サイズ
のみに対して配列演算ユニット40を実装する場合に
は、無限ループにしても良い。
【0174】ステップ1704で、粗エッジ情報画像1
13のi行j列の画素を1帯域分入力する。このためA
OUijは少なくとも1帯域分の画像データを記憶する
メモリ42を必要とする。
【0175】ステップ1705で、粗エッジ情報画像1
13の粗エッジ情報112を重複情報画像132の重複
情報131に変換する。重複情報131は1か0に相当
する帯域画素値となる。
【0176】ステップ1706で、AOUijが近傍の
配列演算ユニット40と通信することにより、重複情報
画像132の各帯域画素値に対して関数Δij1
に従い移動量を計算する。移動量を画像化した帯域画素
値は移動量画像の帯域画素値として扱われる。
【0177】ステップ1707で、AOUijが近傍の
配列演算ユニット40と通信することにより、重複情報
画像132の各帯域画素値に対して関数Λij1
に従い移動させる。移動した帯域画素値は新たに重複情
報画像132の帯域画素値として扱われる。
【0178】ステップ1708で、ステップ1705か
らステップ1707までの繰り返し回数を表す移動回数
が指定回数に達したかどうか判断する。もし移動回数が
指定回数に達していなければ(ステップ1708:N
O)、ステップ1705に戻る。もし移動回数が指定回
数に達していれば(ステップ1708:YES)、ステ
ップ1709に移行する。なおこの指定回数は形成エッ
ジ情報画像115のサイズや形成エッジ情報114が表
す物体のサイズ、さらには近傍のサイズqにより決定さ
れる。利用目的に応じて適切なパラメータを設定すれ
ば、指定回数を大目に決定しても問題はないが、あまり
指定回数を多くしすぎると、位置及び大きさの検出に要
する時間が長くなる。
【0179】ステップ1709で、AOUijが近傍の
配列演算ユニット40と通信することにより、重複情報
画像132の各帯域画素値に対して関数Δ’
ij1)に従い移動量を計算する。移動量を画像化
した帯域画素値は移動量画像の帯域画素値として扱われ
る。
【0180】ステップ1710で、AOUijが近傍の
配列演算ユニット40と通信することにより、重複情報
画像132の各帯域画素値に対して関数Λ’
ij1)に従い移動させる。移動した帯域画素値は
新たに重複情報画像132の帯域画素値として扱われ
る。
【0181】ステップ1711で、重複情報画像132
の帯域画素値を出力する。その後ステップ1703に戻
る。
【0182】なお重複情報画像132の各重複情報13
1はその位置を中心とした周辺にある粗エッジ情報11
2の総数を表すので、結果的にその位置を中心とした物
体の大きさを意味することになる。
【0183】これにより、配列演算ユニット40から構
成されるデータ処理装置110を用いて、位置/大きさ
検出手段17は粗エッジ情報画像113から重複情報画
像132を生成することができる。
【0184】ここで図20のアルゴリズムにおいて形成
エッジ情報114から構成される形成エッジ情報画像1
15の代りに物体領域141を表す物体領域画像142
を用いると、図21に示すように、データ処理装置11
0によって実現される位置/大きさ検出手段17は物体
領域141を表す物体領域画像142からも重複情報1
31を表す重複情報画像132を生成することができ
る。ただし物体領域画像142を用いた場合、重複情報
画像132の各重複情報131はその位置を中心とした
物体領域141の画素の総数を表すので、結果的にその
位置を中心とした物体の面積を意味することになる。し
たがって重複情報画像132から物体の大きさを求める
場合には重複情報131の平方根を取るなど注意を要す
る。
【0185】データ処理装置110によって実現される
画像保持手段38がデジタル画像111、粗エッジ情報
画像113、形成エッジ情報画像115、重複情報画像
132、物体領域画像142、正規化画像145、及び
マッチング結果画像147、を保持及び出力するため
に、二次元格子状に配列された配列演算ユニット40は
同期して並列に動作する。格子上i行j列に配置された
配列演算ユニット40をAOUijとすると、デジタル
画像111に対するAOUijのアルゴリズムは図22
のようになる。
【0186】ステップ3801で、AOUijを格子上
のi行j列に配置する。これは論理的であれ物理的であ
れ、AOUijの近傍を決定するために必要である。
【0187】ステップ3802で、AOUijの近傍や
変数の初期値を設定する。
【0188】ステップ3803で、順次入力されるデジ
タル画像111が無くなったかどうか判断する。もしデ
ジタル画像111が無ければ(ステップ3803:YE
S)、アルゴリズムを終了する。もしデジタル画像11
1があれば(ステップ3803:NO)、ステップ38
04に移行する。ただし特定の画像サイズのみに対して
配列演算ユニット40を実装する場合には、無限ループ
にしても良い。
【0189】ステップ3804で、デジタル画像111
のi行j列の画素を帯域数分入力する。このためAOU
ijは少なくとも帯域数分の画像データを記憶するメモ
リ42を必要とする。
【0190】ステップ3805で、出力先の装置が必要
とすればデジタル画像111のフォーマットを変換す
る。特にデジタル画像111の帯域数を1にしたり、前
入力データから構成される入力画像の帯域数が4以上の
場合にデジタル画像111の帯域数を3にして、アナロ
グ信号を生成しやすくする場合に便利である。さもなく
ば何もしない。
【0191】ステップ3806で、処理速度の異なる出
力先の装置に画像データを確実に送信できるように、デ
ジタル画像111のi行j列の画素を記憶する。
【0192】ステップ3807で、デジタル画像111
の帯域画素値を出力する。その後ステップ3803に戻
る。
【0193】これにより、配列演算ユニット40から構
成されるデータ処理装置110を用いて、画像保持手段
38がデジタル画像111を出力先の装置に出力するこ
とができる。
【0194】ここまではデータ処理装置110が1個又
は2個の画像を入力して近傍処理のみからなる画像処理
を行うような幾つかの手段について説明してきた。しか
しながらパターンマッチング手段29は非常に多数の画
像を用いなければならない。そこで以下ではパターンマ
ッチング手段29で用いる近傍処理を示しながら、デー
タ処理装置110によってパターンマッチング手段29
を実現する方法について説明する。
【0195】まず任意の画像をとし、n個のテンプレ
ート画像146を 、、、 、、、 とす
る。ただし、全てのテンプレート画像146の帯域数は
画像の帯域数と同じである。自然数gを用いると、マ
ッチング結果画像147のi行j列のマッチング結果δ
ij1は、数式37に従って画像及びテンプレート画
像146のi行j列の画素を比較し、画像の画素に最
も似ている画素を有するテンプレート画像146の番号
を指し示す。なおマッチング結果画像147は単帯域画
像となるので、便宜上帯域数1の画像として取り扱うこ
とにする。したがってマッチング結果δij1の第3添
字は1となっている。
【0196】
【数37】
【0197】ここで数式37に従って生成されたマッチ
ング結果δij1はマッチング結果画像147全体にお
いて必ずしも統一されていない。テンプレート画像14
6が多数ある場合、マッチング結果画像147はむしろ
モザイク状になる可能性が高い。そこでデータ処理装置
110がマッチング結果δij1とそのq近傍内のマッ
チング結果に対するヒストグラムを計算し、マッチング
結果δij1を収斂する方法を以下に示す。
【0198】任意の単帯域画像がマッチング結果画像
147である場合、自然数g、実数uとvを用いると、
マッチング結果画像147は数式38及び39に従って
更新される。なおマッチング結果画像147は単帯域画
像となるので、便宜上帯域数1の画像として取り扱うこ
とにする。したがって関数Ψij1)の第3添字は
1となっている。
【0199】
【数38】
【0200】
【数39】
【0201】マッチング結果画像147が変化しなくな
るまでデータ処理装置110が数式38及び39を繰り
返し計算することにより、マッチング結果画像147全
体のマッチング結果を収斂することができる。このとき
画像とテンプレート画像146の組み合わせにより、
マッチング結果は次のように収斂する。もし画像の約
半分の画素が特定のテンプレート画像146の画素に最
も類似していれば、マッチング結果画像147の殆んど
のマッチング結果はこの特定のテンプレート画像146
の番号に収斂する。しかしながら画像の幾つかの画素
の塊が幾つかの異なるテンプレート画像146の画素の
塊と類似していれば、マッチング結果画像147には0
で囲まれた幾つかのテンプレート画像146の番号の塊
ができる。さらに画像がテンプレート画像146の集
合と相関がなければ、マッチング結果画像147のマッ
チング結果は殆んど0となる。したがってデータ処理装
置110によって実現されるパターンマッチング手段2
9は、画像に最も似ているテンプレート画像146を
特定することは難しいが、テンプレート画像146の中
から幾つかの似ているテンプレート画像146を選択す
ることができると考えられる。
【0202】なおイメージセンサーにパターンマッチン
グ手段29を実装した場合、イメージセンサーに接続さ
れる後段の処理装置においてパターンマッチング手段2
9のマッチング結果画像147から移動物体及び静止物
体の種別を生成する過程では、パターンマッチング手段
29によって生成されたマッチング結果画像147が列
挙するテンプレート画像146の類似候補の中から多数
決などを行うことにより、最も有力な候補1つを選択す
るだけで良い。
【0203】図23に示すように、データ処理装置11
0によって実現されるパターンマッチングが、テンプレ
ート画像146のうち正規化画像145に最も似ている
画像の番号を示すマッチング結果から構成されるマッチ
ング結果画像147を生成するために、二次元格子状に
配列された配列演算ユニット40は同期して並列に動作
する。格子上i行j列に配置された配列演算ユニット4
0をAOUijとすると、AOUijのアルゴリズムは
図24のようになる。
【0204】ステップ2901で、AOUijを格子上
のi行j列に配置する。これは論理的であれ物理的であ
れ、AOUijの近傍を決定するために必要である。
【0205】ステップ2902で、AOUijの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズqを個別に決めても良いし、全
部を統一しても良い。本発明のデータ処理装置110が
生成したマッチング結果画像147の正確さを上げるた
めには近傍サイズqを全て大きな値に設定することが望
ましい。しかしながらマッチング結果を更新するための
計算時間の制約や、入力される正規化画像145のサイ
ズなどにより、パターンマッチングは必要に応じて適宜
近傍サイズを変えることで対処することができる。
【0206】ステップ2903で、順次入力されるテン
プレート画像146が無くなったかどうか判断する。も
しテンプレート画像146が無ければ(ステップ290
3:YES)、ステップ2905に移行する。もしテン
プレート画像146があれば(ステップ2903:N
O)、ステップ2904に移行する。
【0207】ステップ2904で、テンプレート画像1
46のi行j列の画素を帯域数分入力する。このためA
OUijは少なくとも帯域数とテンプレート画像146
の数を掛けた分の画像データを記憶するメモリ42を必
要とする。その後ステップ2903に戻る。
【0208】ステップ2905で、順次入力される正規
化画像145が無くなったかどうか判断する。もし正規
化画像145が無ければ(ステップ2905:YE
S)、アルゴリズムを終了する。もし正規化画像145
があれば(ステップ2905:NO)、ステップ290
6に移行する。ただし特定の画像サイズのみに対して配
列演算ユニット40を実装する場合には、無限ループに
しても良い。
【0209】ステップ2906で、正規化画像145の
i行j列の画素を帯域数分入力する。このためAOU
ijは少なくとも帯域数分の画像データを記憶するメモ
リ42を必要とする。
【0210】ステップ2907で、正規化画像145と
テンプレート画像146からマッチング結果画像147
のマッチング結果δij1を計算する。マッチング結果
は正規化画像145に最も近いテンプレート画像146
の番号を表す帯域画素値となる。
【0211】ステップ2908で、AOUijが近傍の
配列演算ユニット40と通信することにより、マッチン
グ結果画像147の各帯域画素値に対して関数Ψij1
)に従いマッチング結果を更新する。更新された帯
域画素値は再びマッチング結果画像147の帯域画素値
として扱われる。ここで関数Ψij1)は本来マッ
チング結果画像147の帯域画素値が変化しなくなるま
で繰り返される。ただし計算時間の制約、入力される正
規化画像145の品質、更新されたマッチング結果画像
147に求められる品質などにより、更新処理は適当な
繰り返し回数で計算を打ち切った方が良い。
【0212】ステップ2909で、マッチング結果画像
147の帯域画素値を出力する。その後ステップ290
5に戻る。
【0213】これにより、配列演算ユニット40から構
成されるデータ処理装置110を用いて、パターンマッ
チング手段29は正規化画像145からマッチング結果
画像147を生成することができる。
【0214】ここまでは配列演算ユニット40から構成
されるデータ処理装置110を用いて、近傍処理のみか
らなる画像処理を行う方法について説明してきた。以下
では配列演算ユニット40から構成されるデータ処理装
置110を用いて、近傍処理のみで物体/背景分離手段
16を行う方法について説明する。
【0215】まず非線形振動子は一般に引き込み現象を
起こす。この引き込み現象とは、リミットサイクルやア
トラクタなどのような周期的挙動において、異なる周期
を持つ非線形振動子が相互作用して簡単な定数比の周期
で振動するよう制約される現象である。このとき1つの
非線形振動子の振動を変化させると他の非線形振動子の
振動も合わせて変化するので、これらの非線形振動子は
同期している。しかも非線形振動子の相互作用を調整す
ることにより、お互いの振動の位相差を極力小さくさせ
たり大きくさせたりできる。そこでこの相互作用を操作
すると、非線形振動子の一群を、異なる位相を持つ複数
のグループに分割することができる。物体/背景分離手
段16はこのような非線形振動子の引き込み現象を利用
して、エッジ情報画像中のエッジ情報を境界とするよう
に物体と背景を分離して、物体領域141を表す物体領
域画像142を生成する。なお、ここでは非線形振動子
としてファン・デル・ポールを用いた場合を例に説明す
る。
【0216】まず、二次元格子状に配列した非線形振動
子から構成される非線形振動子ネットワークにおいて、
i行j列にある非線形振動子をωijとすると、非線形
振動子ωijのq近傍にある非線形振動子の集合Ωij
(q)は数式40によって表される。ただしqは4、
8、24、48、80、120、(2r+1)−1と
続く数列であり、rは自然数である。なおネットワーク
サイズをはみ出した非線形振動子が近傍集合Ω
ij(q)に含まれる場合には、非線形振動子ωij
代用するものとする。これにより辺縁処理は自動的に行
われる。したがって近傍集合Ωij(q)の要素の数は
常にqとなる。なおこのことから判る通り、非線形振動
子ネットワークは単帯域画像と同じ扱いになる。表現を
簡単にするため、非線形振動子ネットワークでは添字は
幅方向と高さ方向の2つのみを使う。
【0217】
【数40】
【0218】次に、非線形振動子はq近傍に含まれる
近傍集合Ωij(q)にある非線形振動子との間で数
式41に従い計算される結合値τijklによって結合
される。なお対数表を用いない場合には数式42による
近似も可能である。またμ、νは適当な正の定数であ
る。
【0219】
【数41】
【0220】
【数42】
【0221】非線形振動子ネットワークの全ての非線形
振動子が完全に同位相で同期した場合、プロセッサ41
で計算する限り、非線形振動子ωijは永久に同位相の
まま動作し続けてしまう。そこで外乱ρijを与えれば
このような状態を回避することができる。外乱としては
疑似乱数を用いることもできるが、数式43のような簡
単な式で求めても十分である。なおζijはエッジ情報
画像のi行j列のエッジ情報の有無を表す。エッジ情報
があれば1とし、なければ0とする。またκは適当な正
の定数である。
【0222】
【数43】
【0223】非線形振動子ωijが近傍集合Ωij(q
)の非線形振動子ωklと同期するために、数式44
に従い近傍入力合計σijを計算する。
【0224】
【数44】
【0225】ファン・デル・ポール非線形振動子ωij
を構成する2つのパラメータφijとψijは数式45
及び46に従って計算される。なおγ、εは適当な正の
定数である。
【0226】
【数45】
【0227】
【数46】
【0228】非線形振動子を物体領域141と背景領域
に分離するためには全ての非線形振動子の位相のずれを
計算する必要があるが、単純に物体領域141と背景領
域の2つに分離するだけであるので、パラメータψij
がしきい値θ以上か未満かで位相ずれを計算する。物体
領域141と背景領域を分離した結果を出力する出力λ
ijは数式47によって求められる。なおθは適当な正
の定数である。
【0229】
【数47】
【0230】エッジ情報が物体と背景を分離するのに不
十分であった場合にはエッジ情報を補間しなければなら
ない。そのために非線形振動子ωijのq近傍にある
非線形振動子の集合Ωij(q)中でいくつの非線形
振動子が位相ずれを起こしているか求める必要がある。
そこで数式48によって輪郭パラメータηijを計算す
る。
【0231】
【数48】
【0232】この結果を基にエッジ情報の補間割合を示
す境界パラメータξijを数式49によって計算する。
なおα、β、ηmin、ηmaxは適当な正の定数であ
る。
【0233】
【数49】
【0234】ここでは非線形振動子としてファン・デル
・ポールの場合を説明したが、この他にブラッセレータ
のようなリミットサイクルで安定する非線形振動子や、
ローレンツアトラクタやレスラー方程式のアトラクタを
発生するカオス振動子など、引き込み現象を起こす任意
の非線形振動子でも動作可能である。その場合はパラメ
ータφijとψijを各々の非線形振動子のパラメータ
で置き換えるなり追加すれば良い。その際に適当なパラ
メータに近傍入力合計σijと外乱ρijを加えるだけ
である。但し、カオス振動子の場合には特に外乱ρij
を必要としない。
【0235】数式40から数式49までを用いることに
より、物体/背景分離手段16を実装することができる
データ処理装置110の全ての配列演算ユニット40の
アルゴリズムを記述することができる。以下では、デー
タ処理装置110中の任意の配列演算ユニット40のア
ルゴリズムを用いて、物体/背景分離手段16について
説明する。
【0236】図25に示すように、データ処理装置11
0によって実現される物体/背景分離手段16が、三角
形のエッジ情報151を用いて三角形の内側領域152
と三角形の外側領域153に分離するために、二次元格
子状に配列された配列演算ユニット40は同期して並列
に動作する。格子上i行j列に配置された配列演算ユニ
ット40をAOUijとすると、AOUijのアルゴリ
ズムは図26のようになる。
【0237】ステップ1601で、AOUijを格子上
のi行j列に配置する。
【0238】ステップ1602で、数式41及び42に
基づいて近傍同士ωijとωklを結合値τijkl
接続する。
【0239】ステップ1603で、非線形振動子のパラ
メータφijとψijに適当な初期値を設定する。
【0240】ステップ1604で、順次入力される形成
エッジ情報画像115が無くなったかどうか判断する。
もし形成エッジ情報画像115が無ければ(ステップ1
604:YES)、アルゴリズムを終了する。もし形成
エッジ情報画像115があれば(ステップ1604:N
O)、ステップ1605に移行する。ただし特定の帯域
数及び画像サイズのみに対して配列演算ユニット40を
実装する場合には、無限ループにしても良い。
【0241】ステップ1605で、形成エッジ情報11
4のζijを入力する。
【0242】ステップ1606で、直前に入力した形成
エッジ情報114のζijから数式43に従って外乱ρ
ijを計算する。
【0243】ステップ1607で、近傍集合Ωij(q
)中の非線形振動子ωklがある配列演算ユニット4
0のAOUklからζkl、ξkl、ψklを入力し
て、合計値σijを数式44に従って計算する。
【0244】ステップ1608で、非線形振動子のパラ
メータφij、ψijを数式45及び46に従って計算
する。即ち、これらの数式に示す微分方程式をルンゲ・
クッタ法で解く。
【0245】ステップ1609で、非線形振動子の出力
λijを数式47に従って計算する。ここで、ψij
θであればλij=1とし、それ以外であればλij
0とする。
【0246】ステップ1610で、近傍集合Ωij(q
)中の非線形振動子ωklがある配列演算ユニット4
0のAOUklからλklを入力して、輪郭パラメータ
η を数式48に従って計算する。
【0247】ステップ1611で、境界パラメータξ
ijを数式49に従って計算する。即ち、この数式に示
す微分方程式を差分法若しくはルンゲ・クッタ法で解
く。
【0248】ステップ1612で、ステップ1606か
らステップ1611までの繰り返し回数を表す分離回数
が指定回数に達したかどうか判断する。もし分離回数が
指定回数に達していなければ(ステップ1612:N
O)、ステップ1606に戻る。もし分離回数が指定回
数に達していれば(ステップ1612:YES)、ステ
ップ1613に移行する。
【0249】ステップ1613で、物体領域画像142
の帯域画素値となる非線形振動子の出力λijを出力す
る。その後ステップ1604に戻る。
【0250】なおステップ1612での分離回数を求め
るには、次のような方法を用いることができる。物体/
背景分離手段16では、画像サイズが一定であれば非線
形振動子の初期状態に関わらずおおよそ全ての形成エッ
ジ情報114においてある一定時間で分離が終了するの
で、事前にこの時間を計っておいてステップ1606か
らステップ1611までの繰り返し回数を求めておけば
良い。これは非線形振動子の初期状態が一定の範囲内に
あれば、引き込み現象により非線形振動子が同期するま
での時間はあまり大差がないからである。
【0251】このように非線形振動子を計算するだけ
で、三角形のエッジ情報151を用いて三角形の内側領
域152と三角形の外側領域153を分離することがで
きるのは、非線形振動子の性質である引き込み現象を利
用しているからである。つまり、2つの非線形振動子を
正の結合値で結合した場合は同位相になろうとし、負の
結合値で結合した場合は位相差が極力大きくなろうとす
る。この性質を用いると、二次元格子状に並んだ非線形
振動子を近傍同士正の結合値で結合することで、直接結
合していない非線形振動子同士が同位相になる。さらに
形成エッジ情報114を挟む画素の場所にある非線形振
動子同士を負の結合値で結合すると、エッジ情報の両側
がお互いに位相を極力ずらし合う。このようにすること
で、全ての非線形振動子を結合することもなく三角形の
エッジ情報151の内側と外側とで各々異なる位相集合
ができる。したがって物体/背景分離手段16は図25
のような三角形の内側領域152と三角形の外側領域1
53に分離する。このとき三角形の内側領域152と三
角形の外側領域153の位相差は90度を越えて可能な
限り180度に近づき、三角形と背景領域が分離でき
る。
【0252】ここで重要なことは、本実施形態では、形
成エッジ情報114が得られる度に次に示すような方法
で結合値を擬似的に変更していることである。まず数式
41及び42で定めたように、非線形振動子ωklを非
線形振動子ωijに結合するための結合値をτijkl
とする(ステップ1602参照)。形成エッジ情報11
4のうちζijとζklは共に、エッジがある場合には
1、ない場合には0である。形成エッジ情報114のう
ちζijとζklを入力したら(ステップ1605参
照)、配列演算ユニット40のAOUklからAOU
ijに形成エッジ情報114ζklが転送され、AOU
ijでは結合値τijkl(1−ζkl)を計算して結
合値τijklの代用とする(ステップ1607参
照)。この代用された結合値τijkl(1−ζkl
に対して境界パラメータξijが0から1までの倍率と
して作用する(ステップ1607参照)。
【0253】図27に示す通り、形成エッジ情報114
が破線状態の三角形のエッジ情報154となった場合に
は破線の補間をする必要がある。まず初めに破線状態の
三角形のエッジ情報154を用いてシステムを動作させ
る(ステップ1605参照)と、破線状態の三角形のエ
ッジ情報154の内側と外側で位相差がおよそ90度を
越えるようになるが、三角形の内側と外側の境界部分は
不明確である。そこで各AOUijが非線形振動子の出
力λijを計算する(ステップ1609参照)。この出
力λijが1の場合、近傍の非線形振動子のうちλkl
が1である非線形振動子をωklとすると、パラメータ
ψijとψklが共にθ以上となる。つまりλijとλ
klはおよそ同位相であり、θが正値であれば最悪でも
位相差が90度を越えることはない。この位相差の最大
値はθの値によって決まり、λ とλklが共に1と
なる範囲でθを大きくしていくと、この位相差は0度に
近づいていく。したがってλijとλklと用いると、
近傍の非線形振動子うちおよそ同位相であるものの数を
表す輪郭パラメータηijは数式48に従って計算され
る(ステップ1610参照)。続いてこの輪郭パラメー
タηijが近傍全体のうち、およそ半分であれば結合値
の倍率である境界パラメータξijを数式49に従って
減少させ、それ以外であれば数式49に従って増加させ
る(ステップ1611参照)。例えば、8近傍の場合は
3から5の間であれば数式49に従って境界パラメータ
を減少させるとよい。この過程を繰り返し動作させ続け
ると、図27に示す破線状態の三角形のエッジ情報15
4が与えられた場合、破線三角形の内側領域155と破
線三角形の外側領域156に分離される。
【0254】図28に示す通り、2つの三角形が重なり
あっている場合は、前方の三角形のエッジ情報157と
後方の三角形のエッジ情報158が得られる。このとき
前方三角形の内側領域159と後方三角形の内側領域1
60と二重三角形の背景領域161の3つの領域の非線
形振動子の位相がお互いにずれることにより、3つの領
域に分離される。また図29に示す通り、2つの重なっ
た円形のエッジ情報162が破線であっても、前方円形
の内側領域163と後方円形の内側領域164と二重円
の背景領域165の3つに分離される。
【0255】これにより、配列演算ユニット40から構
成されるデータ処理装置110を用いて、物体/背景分
離手段16は形成エッジ情報画像115の形成エッジ情
報114を境界として物体領域141と背景を分離する
ことができる。
【0256】そこでデジタル技術を用いて画像記憶手段
12、画像振動手段13、エッジ情報生成手段14、エ
ッジ情報形成手段15、物体/背景分離手段16、領域
正規化手段27、位置/大きさ検出手段17、パターン
マッチング手段29、及び画像保持手段38、を実装す
るために、配列演算ユニット40はデータ処理装置11
0中で図9のように二次元格子状に配列され、さらに配
列演算ユニット40はデータ処理装置110中の隣接す
る配列演算ユニット40だけと相互に通信できるように
配線される。つまり4近傍同士が直接配線されることに
なる。これにより8近傍同士を配線する場合に比べて、
少ない電子部品と配線量で、同程度に高速に動作し、し
かも将来近傍サイズを拡張する場合にも簡単に拡張性を
有することができる。
【0257】配列演算ユニット40は図30に示す通
り、画像処理における数式を計算するためのプロセッサ
(PROCESSOR)41と、数式で使われる全てのパラメー
タ、定数、関数及びオペレータを記憶するためのメモリ
(MEMORY)42と、近傍の配列演算ユニット40と通信
するためのコントローラ(CONTROLER)43から構成さ
れ、プロセッサ41及びコントローラ43はクロック信
号(CLOCK)を入力し、プロセッサ41はメモリ42及
びコントローラ43に対して読み込み(READ)及び書き
込み(WRITE)を送信することにより通信を制御する。
プロセッサ41はアドレスバス51で指定したアドレス
(ADDRESS)によりメモリ42及びコントローラ43の
任意のメモリ素子及びレジスタを選択することができ
る。またプロセッサ41はデータバス52を介してメモ
リ42及びコントローラ43と双方向に通信可能に接続
され、アドレスバス51で指定された任意のメモリ素子
及びレジスタのデータ(DATA)にアクセスすることがで
きる。配列演算ユニット40が1つ以上の入力画素から
構成される前入力データ群(FRONT INPUT DATA SET)を
入力すると、コントローラ43は前入力データ群をメモ
リ42に記憶させる。またコントローラ43は、関数に
より作成されたメモリ42中の計算データを隣接する配
列演算ユニット40に送信すると共に、隣接する配列演
算ユニット40から受信した計算データをメモリ42に
記憶させ、さらに必要ならば、入力した以外の配列演算
ユニット40に転送する。最終的にコントローラ43
は、出力画像の画像データを結果データ(RESULT DAT
A)として出力する。
【0258】このように各配列演算ユニット40にコン
トローラ43を搭載する理由は、配列演算ユニット40
同士が通信している間にプロセッサ41が動作できるの
で、プロセッサ41は通信による待ち時間中にも計算す
ることができて高速処理が実現できるからと、近傍の配
列演算ユニット40の数を変化させてもハードウェアを
変更する必要がないからと、コントローラ43が画像の
辺縁処理、つまり画像中の縁の画素に対する例外処理を
自動的に行えるので、プロセッサ41のプログラムは辺
縁処理をする必要がなくなり極めて単純になるからと、
である。
【0259】プロセッサ41とメモリ42は汎用的なデ
ジタル回路を用いることができる。コントローラ43の
具体的な回路図は図31に示す通りである。アドレスバ
ッファ(ADDRESS BUFFER)53はアドレスバス(ADDRES
S BUS)51を介してプロセッサ41からアドレス(ADD
RESS)を受取り、アドレスデコーダ(ADDRESS DECODE
R)54によって各レジスタ及びその他の電子回路ブロ
ックを選択する。データバッファ(DATA BUFFER)55
はデータバス(DATA BUS)52を介してプロセッサ41
からデータ(DATA)を受取り、アドレスデコーダ54で
選択されたレジスタと内部データバス56を介して排他
的に通信する。通信方向は読み込み(READ)によって指
定される。コントローラ43からプロセッサ41に向け
てデータが送信される際、読み込みはアクティブにな
る。プロセッサ41からコントローラ43に向けてデー
タが送信される際、書き込み(WRITE)はアクティブに
なる。アドレスがフラグレジスタ(FLAG REGISTER)5
7を指定した場合、データはフラグレジスタ57に記憶
され、フラグデコーダ(FLAG DECODER)58によってデ
コードされ、クロック信号(CLOCK)を用いて、複数信
号(SIGNALS)として隣接する配列演算ユニット40に
送信される。複数信号はフラグエンコーダ(FLAG ENCOD
ER)59によって受信され、解析された後にステータス
レジスタ(STATUS REGISTER)60に記憶され、また受
領(RECEIVE)として送信元の配列演算ユニット40に
返送される。受領は複数信号の送信元のフラグエンコー
ダ59で受信され、結果として複数信号の送信完了が確
認される。アドレスによってステータスレジスタ60が
選択されると、ステータスレジスタ60の内容がデータ
バス52を介してデータとしてプロセッサ41に送信さ
れる。1つ以上の入力画像(INPUT IMAGE)に対応した
1つ以上の前入力送達(FRONT INPUT SEND)をフラグエ
ンコーダ59が受信すると1つ以上の入力画像からなる
前入力データ群(FRONT INPUT DATA SET)が必要な記憶
容量分用意された前入力データレジスタ(FRONT INPUT
DATA REGISTER)61に読み込まれる。アドレスによっ
て前入力データレジスタ61が選択されると、前入力デ
ータレジスタ61の内容がデータとしてプロセッサ41
に送信される。プロセッサ41が計算を完了したら、ア
ドレスによって結果データレジスタ(RESULT DATA REGI
STER)62が選択され、結果データレジスタ62が出力
画像の画像データを結果データ(RESULT DATA)として
読み込む。これと同時に、フラグエンコーダ59が結果
送達(RESULT SEND)を送信する。
【0260】近傍の配列演算ユニット40から計算に必
要なデータを求められたら、アドレスとして出力データ
レジスタ(OUTPUT DATA REGISTER)63を選択し、近傍
の配列演算ユニット40に送信すべきデータを計算デー
タ(CALCURATION DATA)として出力データレジスタ63
に読み込む。その後、隣接する全ての配列演算ユニット
40に計算データとして送信される。上側の配列演算ユ
ニット40から複数信号(SIGNALS)を受信したら計算
データを上入力データレジスタ(UPPER INPUT DATA REG
ISTER)64に読み込む。その後、アドレスにより上入
力データレジスタ64が選択されたら、上入力データレ
ジスタ64の内容が計算データとして送信される。下
側、左側、右側の配列演算ユニット40から複数信号を
受信した場合も同様であり、下入力データレジスタ6
5、左入力データレジスタ66、右入力データレジスタ
67が同様に動作する。
【0261】各種バッファ、各種レジスタ、アドレスデ
コーダ54の各ブロックは汎用的な電子回路である。フ
ラグデコーダ58とフラグエンコーダ59は具体的には
図32と図33に示すような入出力信号を有する。種別
(TYPE)は出力データレジスタ(OUTPUT DATA REGISTE
R)63に読み込まれた内容の種類を5ビットで表す。
このビット数は配列演算ユニット40が送受信すべき全
ての計算データを区別するのに十分な値である。カウン
ト−X(COUNT-X)及びカウント−Y(COUNT-Y)は各々
4ビットの符号なし整数を表し、配列演算ユニット40
の間の転送回数を示す。配列演算ユニット40が計算デ
ータを送信する場合には各々のカウントが0となり、左
右の配列演算ユニット40から送信された計算データを
再度送信する場合にはフラグエンコーダ59のカウント
−Xに1を足した値となり、上下の配列演算ユニット4
0から送信された計算データを再度送信する場合にはフ
ラグエンコーダ59のカウント−Yに1を足した値とな
る。プロセッサ41が上下左右のうちどの方向に出力デ
ータレジスタ63の内容を送信するかをフラグレジスタ
57の送達フラグ(SEND FLAG)に指定した後で、出力
データレジスタ63を指定するアドレスデコーダ54の
中央デコーディング(CENTRAL DECODING)をフラグデコ
ーダ58が受信すると、フラグデコーダ58が送達(SE
ND)を送達フラグの指定方向に合わせて出力する。送達
フラグは4ビットで表し、配列演算ユニット40の計算
データを四方の配列演算ユニット40に送信する場合に
はプロセッサ41が1111と設定し、右側の配列演算
ユニット40から送信された計算データを上下左側に転
送する場合はプロセッサ41が1110と設定し、左側
から上下右側に転送する場合は1101と設定し、下側
から上側に転送する場合は1000と設定し、上側から
下側に転送する場合は0100と設定する。これによ
り、転送に重複がなくなり効率的に転送できるだけでな
く、転送方向の決定規則が明確になっているので、種
別、カウント−X及びカウント−Yを組み合わせること
により、フラグエンコーダ59はどの配列演算ユニット
40からどの種別の計算データが送信されたかを判定す
ることができる。結果データレジスタ62に計算データ
が結果データとして読み込まれると同時にフラグデコー
ダ58は、結果デコーディング(RESULT DECODING)を
受信し、結果送達(RESULT SEND)を送信する。
【0262】フラグエンコーダ59は四方のうちいずれ
かでも送達を受信したら、受信方向の種別とカウント−
X、カウント−Yを受信し、その部分のステータスレジ
スタ60の内容を更新する。この更新と同時に受信方向
に受領を1にして送信する。送信元の配列演算ユニット
40のフラグエンコーダ59では受領が1になった瞬間
に受信し、ステータスレジスタ60の受領ステータス
(RECEIVE STATUS)を更新する。これにより各配列演算
ユニット40ではプロセッサ41がステータスレジスタ
60の受領ステータスを検査するだけで、どの入力デー
タレジスタに有効な計算データが記憶されているか判断
することができる。そこで例えば上入力データレジスタ
64に計算データが読み込まれていれば、プロセッサ4
1がアドレスを指定することにより上入力データレジス
タ64からデータを読み込むことができるが、同時にア
ドレスデコーダ54から上デコーディング(UPPER DECO
DING)がフラグエンコーダ59に送信され、受領ステー
タスのうち上部分が0に戻され、上側に向いた受領が0
として送信される。下左右側の場合も同様に動作する。
フラグエンコーダ59が1つでも入力画像用の前入力送
達を受信したら、ステータスレジスタ60のうち受信し
た前入力送達に対応する入力画像用の前入力送達ステー
タス(FRONT INPUT SEND STATUS)を1にする。またプ
ロセッサ41が入力画像用の前入力データレジスタ61
からデータを読み込むとき、アドレスデコーダ54がフ
ラグエンコーダ59に前デコーディング(FRONT DECODI
NG)を送信し、受信した前入力送達に対応する前入力送
達ステータスを0にする。プロセッサ41はステータス
レジスタ60の内容を読み込むことにより、前入力デー
タレジスタ61に最新の入力画像が記憶されているかど
うか判断することができる。
【0263】プロセッサ41がコントローラ43を介し
て四方の配列演算ユニット40に計算データを送信する
場合のアルゴリズムを図34に示す。図34は、プロセ
ッサ41によるプログラム制御と、フラグデコーダ58
及びフラグエンコーダ59によるハードウェアロジック
との混成による処理を示すものである。図34に対し
て、ステップ71では、プロセッサ41がステータスレ
ジスタ60の内容を読み込む。ステップ72では、読み
込んだ内容のうち受領ステータスが全て0であるか否か
を判断する。NOなら処理を終了する。YESならステ
ップ73に移行する。ステップ73では、プロセッサ4
1が隣接する配列演算ユニット40に送信するデータの
種別とカウンタと送信方向を決定し、その内容をフラグ
レジスタ57に書き込む。ステップ74では、プロセッ
サ41が隣接する配列演算ユニット40に送信するデー
タを出力データレジスタ63に書き込む。ステップ75
では、出力データレジスタ63の内容を計算データとし
て、隣接する配列演算ユニット40に送信する。ステッ
プ76では、フラグレジスタ57の送達フラグで指定さ
れた方向にのみ送達を1にして送信する。これによりプ
ロセッサ41の1回の送信アルゴリズムは終了する。プ
ロセッサ41は、送信すべきデータがメモリ42内で更
新される度にこの送信アルゴリズムを開始する。
【0264】コントローラ43が上側の配列演算ユニッ
ト40から計算データを受信する場合のアルゴリズムを
図35に示す。図35は、フラグデコーダ58及びフラ
グエンコーダ59によるハードウェアロジックによる処
理を示すものである。図35に対して、ステップ81で
は、フラグエンコーダ59が送達を入力する。ステップ
82では、送達が1であるか否かをフラグエンコーダ5
9が判断する。NOなら処理を終了する。YESならス
テップ83に移行する。ステップ83では、上入力デー
タレジスタ64が上側から送信された計算データを読み
込む。ステップ84では、フラグエンコーダ59がステ
ータスレジスタ60のうち上側用の受領ステータスを1
にすると同時に受領を1にして上側の配列演算ユニット
40に送信する。下左右側の場合も同様である。これに
よりコントローラ43の1回の受信アルゴリズムは終了
する。コントローラ43は常時上下左右の配列演算ユニ
ット40からの送達を監視し、この送達を受信する度に
この受信アルゴリズムを開始する。
【0265】プロセッサ41が上入力データレジスタ6
4からデータを受信する場合のアルゴリズムを図36に
示す。図36は、プロセッサ41によるプログラム制御
と、フラグデコーダ58及びフラグエンコーダ59によ
るハードウェアロジックとの混成による処理を示すもの
である。図36に対して、ステップ91では、プロセッ
サ41がステータスレジスタ60の内容を読み込む。ス
テップ92では、読み込んだ内容のうち上側用の受領ス
テータスが1であるか否かを判断する。NOなら処理を
終了する。YESならステップ93に移行する。ステッ
プ93では、プロセッサ41が上入力データレジスタ6
4からデータを読み込む。ステップ94では、フラグエ
ンコーダ59がステータスレジスタ60のうち上側用の
受領ステータスを0にすると同時に受領を0にして上側
の配列演算ユニット40に送信する。下左右側の場合も
同様である。これによりプロセッサ41の1回の受信ア
ルゴリズムは終了する。プロセッサ41は一定間隔でス
テータスレジスタ60の内容を監視し、上下左右いずれ
かの受領ステータスが1である度にこの受信アルゴリズ
ムを開始する。なおここではプロセッサ41が一定間隔
でステータスレジスタ60の内容を常時監視する場合を
示したが、コントローラ43に割り込み回路を付加する
ことにより、プロセッサ41は割り込みによりこの受信
アルゴリズムを開始することもできる。
【0266】なおこの配列演算ユニット40は、主に1
つ以上の入力画像から1つの出力画像を生成することを
前提に記述したが、用途に応じては計算途中の計算デー
タを出力できるように回路を変更する必要がある。その
際には、出力すべき計算データの数だけフラグデコーダ
58の結果送達を増やし、結果データレジスタ62に読
み込まれた計算データに対応する結果送達のみを1にす
るようにプログラムを変更するだけで良い。
【0267】以上、本実施形態を説明したが、本発明は
上述の実施形態には限定されることはなく、当業者であ
れば種々なる態様を実施可能であり、本発明の技術的思
想を逸脱しない範囲において本発明の構成を適宜改変で
きることは当然であり、このような改変も、本発明の技
術的範囲に属するものである。
【0268】
【発明の効果】請求項1及び2記載の発明によれば、大
規模集積回路(LSI)及び電荷結合素子(CCD)の
製造メーカーは、この製造メーカーが保有するLSI及
びCCD製造技術をそのまま用いて高機能イメージセン
サーを製造することができる。したがって製造メーカー
は短期間にしかも安価に高機能イメージセンサーを製造
できるので、本発明の利用者は、家屋、コンビニエンス
ストア、スーパー、事務所、工場、一般道路、駐車場、
駅、公益機関、車両、船舶、及び宇宙ステーションにお
いて、監視装置、保安装置、探索装置、警戒装置、追尾
装置、計数装置、ペットロボット、受付ロボット、作業
ロボット、及び福祉ロボットなど色々な用途に高機能イ
メージセンサーを利用できるようになる。
【0269】請求項3記載の発明によれば、LSI及び
CCDの設計者は、1個の機能コラム1を設計して二次
元格子状に配列するだけで、適当なサイズの画像を撮影
することができる高機能イメージセンサーを容易に設計
することができる。したがってLSI及びCCDの設計
者は、短期間でしかも安価に高機能イメージセンサーを
設計することができる。
【0270】請求項4記載の発明によれば、LSI及び
CCDの製造メーカーは、広画角で高解像度のイメージ
センサーを製造することができる。本発明の利用者は、
特に探索装置、警戒装置、追尾装置、計数装置、ペット
ロボット、作業ロボット、及び福祉ロボットなど認識能
力を必要とする用途において本発明を利用することがで
きる。
【0271】請求項5記載の発明によれば、LSI及び
CCDの設計者は、第一の機能コラム配列用と第二の機
能コラム配列用の各々に対して、1個の機能コラム1を
設計して二次元格子状に配列するだけで、適当なサイズ
の画像を撮影することができる高機能イメージセンサー
を容易に設計することができる。したがってLSI及び
CCDの設計者は、短期間でしかも安価に高機能イメー
ジセンサーを設計することができる。
【0272】請求項6記載の発明によれば、LSIの設
計者及び製造メーカーは、高度の実装技術を必要とする
CCDを用いなくても、CMOS技術を用いて高機能イ
メージセンサーを容易に設計及び製造することができ
る。したがって製造メーカーは短期間にしかも安価に高
機能イメージセンサーを製造できるので、本発明の利用
者は、家屋、コンビニエンスストア、スーパー、事務
所、工場、一般道路、駐車場、駅、公益機関、車両、船
舶、及び宇宙ステーションにおいて、監視装置、保安装
置、探索装置、警戒装置、追尾装置、計数装置、ペット
ロボット、受付ロボット、作業ロボット、及び福祉ロボ
ットなど色々な用途に高機能イメージセンサーを利用で
きるようになる。
【図面の簡単な説明】
【図1】1個の電荷結合素子、1個の駆動回路、1個の
A/D変換回路、及び1個の配列演算ユニットを備えた
機能コラムのブロック図である。
【図2】1個の電荷結合素子、1個の駆動回路、1個の
A/D変換回路、1個の配列演算ユニット、及び1個の
発振回路を備えた機能コラムのブロック図である。
【図3】微小物体計数装置用の機能コラムのブロック図
である。
【図4】発振回路を含む警戒装置用の機能コラムのブロ
ック図である。
【図5】二次元格子状に機能コラムを配列した場合のイ
メージセンサーのブロック図である。
【図6】機能コラムを大規模集積回路の実装面に対して
垂直に実装した場合のイメージセンサーのブロック図で
ある。
【図7】2つの機能コラム配列を1つの大規模集積回路
に組み込んだ場合のイメージセンサーのブロック図であ
る。
【図8】2つの機能コラム配列を1つの大規模集積回路
の中で重複させた場合のイメージセンサーのブロック図
である。
【図9】二次元格子状に配列された配列演算ユニットの
ブロック図である。
【図10】本実施形態の画像記憶手段のアルゴリズムを
示すフローチャートである。
【図11】本実施形態の画像振動手段のアルゴリズムを
示すフローチャートである。
【図12】本実施形態のエッジ情報生成手段のアルゴリ
ズムを示すフローチャートである。
【図13】デジタル画像を用いて粗エッジ情報を形成エ
ッジ情報に形成する場合の説明図である。
【図14】本実施形態のエッジ情報形成手段のアルゴリ
ズムを示すフローチャートである。
【図15】低解像度デジタル画像から生成された低解像
度粗エッジ情報を形成エッジ情報に形成する場合の説明
図である。
【図16】低解像度デジタル画像から生成された低解像
度粗エッジ情報の領域を切り出してから形成エッジ情報
に形成する場合の説明図である。
【図17】デジタル画像の切出領域を正規化する場合の
説明図である。
【図18】本実施形態の領域正規化手段のアルゴリズム
を示すフローチャートである。
【図19】エッジ情報画像中の物体の位置及び大きさを
検出する場合の説明図である。
【図20】本実施形態の位置/大きさ検出手段のアルゴ
リズムを示すフローチャートである。
【図21】物体領域画像中の物体の位置及び大きさを検
出する場合の説明図である。
【図22】本実施形態のデジタル画像用の画像保持手段
のアルゴリズムを示すフローチャートである。
【図23】正規化画像に対してテンプレート画像の中か
らパターンマッチングをする場合の説明図である。
【図24】本実施形態のパターンマッチング手段のアル
ゴリズムを示すフローチャートである。
【図25】三角形のエッジ情報が三角形の内側領域と外
側領域に分離する状態を示す説明図である。
【図26】本実施形態の物体/背景分離手段のアルゴリ
ズムを示すフローチャートである。
【図27】破線状態の三角形のエッジ情報が破線三角形
の内側領域と外側領域に分離する状態を示す説明図であ
る。
【図28】三角形を2つ重ねたエッジ情報が2つの三角
形領域と背景領域に分離する状態を示す説明図である。
【図29】2つの円形物体領域を重ねた時の破線状態の
エッジ情報が2つの円形領域と背景領域に分離した状態
を示す説明図である。
【図30】配列演算ユニットの内部構造のブロック図で
ある。
【図31】コントローラのブロック図である。
【図32】フラグデコーダの入出力信号を示す説明図で
ある。
【図33】フラグエンコーダの入出力信号を示す説明図
である。
【図34】プロセッサがコントローラを介して隣接する
配列演算ユニットにデータを送信するアルゴリズムを示
すフローチャートである。
【図35】コントローラが隣接する配列演算ユニットか
らデータを受信するアルゴリズムを示すフローチャート
である。
【図36】プロセッサが上入力レジスタからデータを受
信するアルゴリズムを示すフローチャートである。
【符号の説明】
1 機能コラム 2 電荷結合素子 3 駆動回路 4 A/D変換回路 5 発振回路 12 画像記憶手段 13 画像振動手段 14 エッジ情報生成手段 15 エッジ情報形成手段 16 物体/背景分離手段 17 位置/大きさ検出手段 27 領域正規化手段 29 パターンマッチング手段 38 画像保持手段 40 配列演算ユニット 41 プロセッサ 42 メモリ 43 コントローラ 51 アドレスバス 52 データバス 53 アドレスバッファ 54 アドレスデコーダ 55 データバッファ 56 内部データバス 57 フラグレジスタ 58 フラグデコーダ 59 フラグエンコーダ 60 ステータスレジスタ 61 前入力データレジスタ 62 結果データレジスタ 63 出力データレジスタ 64 上入力データレジスタ 65 下入力データレジスタ 66 左入力データレジスタ 67 右入力データレジスタ 110 データ処理装置 111 デジタル画像 112 粗エッジ情報 113 粗エッジ情報画像 114 形成エッジ情報 115 形成エッジ情報画像 116 低解像度デジタル画像 117 低解像度粗エッジ情報画像 118 低解像度切出粗エッジ情報画像 119 切出粗エッジ情報画像 120 切出デジタル画像 121 切出形成エッジ情報画像 131 重複情報 132 重複情報画像 141 物体領域 142 物体領域画像 143 分離物体領域 144 正規化領域 145 正規化画像 146 テンプレート画像 147 マッチング結果画像 151 三角形のエッジ情報 152 三角形の内側領域 153 三角形の外側領域 154 破線状態の三角形のエッジ情報 155 破線三角形の内側領域 156 破線三角形の外側領域 157 前方の三角形のエッジ情報 158 後方の三角形のエッジ情報 159 前方三角形の内側領域 160 後方三角形の内側領域 161 二重三角形の背景領域 162 2つの重なった円形のエッジ情報 163 前方円形の内側領域 164 後方円形の内側領域 165 二重円の背景領域
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B047 AA12 AA27 AB02 BB02 BC16 CA12 CA14 CB09 CB22 DB01 DC09 5B056 AA01 BB42 FF10 HH03 5B057 BA02 BA15 BA19 BA29 CA12 CA16 CB12 CB16 CD02 CH11 DA07 DA08 DB02 DB09 DC16 DC34 5C024 BX04 CY25 GX03 GX15 GY01 HX58

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 1個の画素に対して画像処理を行う機能
    コラムが二次元格子状に配列されたイメージセンサーで
    あって、前記機能コラムが、 1〜16個の電荷結合素子と、 1個の駆動回路と、 1〜16個のA/D変換回路と、 1〜32個の配列演算ユニットと、を備え、前記配列演
    算ユニットが局所並列画像処理を実行することを特徴と
    するイメージセンサー。
  2. 【請求項2】 請求項1記載の機能コラムに対して、1
    個の発振回路を備えたことを特徴とするイメージセンサ
    ー。
  3. 【請求項3】 請求項1及び2記載のイメージセンサー
    に対して、 前記機能コラム内で前記駆動回路が前記電荷結合素子に
    ゲート信号を送信するように信号線が配線されること
    と、 前記機能コラム内で前記電荷結合素子が前記A/D変換
    回路にアナログ信号を送信するように前記信号線が配線
    されることと、 前記機能コラム内で前記A/D変換回路が前記配列演算
    ユニットの1個にデジタル信号を送信するように前記信
    号線が配線されることと、 前記機能コラム内で前記発振回路が前記配列演算ユニッ
    トの全てにクロック信号を送信するように前記信号線が
    配線されることと、 前記配列演算ユニットが2〜32個の場合、前記機能コ
    ラム内で前記配列演算ユニットの各々が残りの前記配列
    演算ユニットのうち1〜31個と前記デジタル信号を通
    信するように前記信号線が配線されることと、 前記配列演算ユニットの各々が、二次元格子上で4近傍
    に位置する前記機能コラムの各々が備える1個の前記配
    列演算ユニットと前記デジタル信号を通信するように前
    記信号線が配線されることと、を特徴とするイメージセ
    ンサー。
  4. 【請求項4】 請求項3記載の機能コラムに対して、 前記二次元格子状に配列された第一の機能コラム配列
    と、 格子数に換算して前記第一の機能コラム配列の2〜12
    8倍の間隔で前記二次元格子状に配列された第二の機能
    コラム配列と、を備えたことを特徴とするイメージセン
    サー。
  5. 【請求項5】 請求項4記載の第一の機能コラム配列及
    び第二の機能コラム配列に対して、前記第一の機能コラ
    ム配列の前記機能コラム及び前記第二の機能コラム配列
    の前記機能コラムが重なるように配置した場合、重なっ
    た前記第一の機能コラム配列の前記機能コラム及び前記
    第二の機能コラム配列の前記機能コラムが全ての前記電
    荷結合素子、前記駆動回路、全ての前記A/D変換回
    路、及び1〜32個の前記配列演算ユニットを共用する
    ことを特徴とするイメージセンサー。
  6. 【請求項6】 請求項1、2、3、4、及び5記載のイ
    メージセンサーに対して、前記電荷結合素子及び前記駆
    動回路の代りにフォトダイオードを備えた前記機能コラ
    ムを特徴とするイメージセンサー。
JP36922099A 1999-11-30 1999-12-27 イメージセンサー Pending JP2001184498A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP36922099A JP2001184498A (ja) 1999-12-27 1999-12-27 イメージセンサー
CNB008147329A CN100355284C (zh) 1999-11-30 2000-11-24 视觉装置
AU15521/01A AU1552101A (en) 1999-11-30 2000-11-24 Data acquisition system, artificial eye, vision device, image sensor and associated device
EP00977947A EP1248465A4 (en) 1999-11-30 2000-11-24 DATA COLLECTION SYSTEM, ARTIFICIAL EYE, VISIBILITY, IMAGE SENSOR AND ASSOCIATED DEVICE
PCT/JP2000/008334 WO2001041448A1 (fr) 1999-11-30 2000-11-24 Systeme d'acquisition de donnees, oeil artificiel, dispositif de vision, capteur d'images, et appareil associe

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36922099A JP2001184498A (ja) 1999-12-27 1999-12-27 イメージセンサー

Publications (1)

Publication Number Publication Date
JP2001184498A true JP2001184498A (ja) 2001-07-06

Family

ID=18493886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36922099A Pending JP2001184498A (ja) 1999-11-30 1999-12-27 イメージセンサー

Country Status (1)

Country Link
JP (1) JP2001184498A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006022077A1 (ja) * 2004-08-23 2006-03-02 Sony Corporation 撮像装置、撮像結果の処理方法及び集積回路

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006022077A1 (ja) * 2004-08-23 2006-03-02 Sony Corporation 撮像装置、撮像結果の処理方法及び集積回路

Similar Documents

Publication Publication Date Title
JP4202146B2 (ja) 視覚装置
JP4324327B2 (ja) 視覚装置
CN108073857A (zh) 动态视觉传感器dvs事件处理的方法及装置
Ding et al. Real-time stereo vision system using adaptive weight cost aggregation approach
JP2021528732A (ja) 運動物体検出およびスマート運転制御方法、装置、媒体、並びに機器
EP4024343A1 (en) Viewpoint image processing method and related device
JP2001184498A (ja) イメージセンサー
Hu et al. 3D map reconstruction using a monocular camera for smart cities
JP2001204757A (ja) 人工眼球
JP3963424B2 (ja) 視覚装置
Morris et al. Breaking the ‘Ton’: achieving 1% depth accuracy from stereo in real time
JP2001242023A (ja) タッチセンサ
JP2001256477A (ja) 情報収集装置
Asama et al. A machine learning imaging core using separable FIR-IIR filters
WO2001041448A1 (fr) Systeme d&#39;acquisition de donnees, oeil artificiel, dispositif de vision, capteur d&#39;images, et appareil associe
JP2001256471A (ja) 視覚装置
CN116957908B (zh) 一种硬件处理架构、处理器以及电子设备
Hariyama et al. Architecture of a stereo matching VLSI processor based on hierarchically parallel memory access
CN112184833B (zh) 一种双目立体匹配算法的硬件实现系统和方法
JP2001359082A (ja) 人工眼球
JP2001222549A (ja) 動画像検索装置
JP2001148023A (ja) 視覚装置及び視覚方法
Bhuvana et al. JOURNAL OF APPLIE
Battiato et al. Bayer image enlargement using correlated color components
JP2001148022A (ja) 視覚装置