JP2001204757A - 人工眼球 - Google Patents

Abstract

(57)【要約】 【目的】 視覚装置によって制御された移動カメラが撮
影した物体の正規化画像、種別、位置、大きさ、及び位
置の変化を脳に直接伝える。 【構成】 図１に示すように、人工眼球は移動カメラ
１、視覚装置２、刺激発生器３、エレクトロード配列端
子４、コネクタ５、及びバッテリ６を有している。視覚
装置２が物体を探索して移動カメラ１の向きと倍率を制
御することにより、移動カメラ１は広範囲の物体を高倍
率で撮影することができるので、利用者は物体をより早
く、正確に認識することができる。またコネクタ５を切
り放すことにより、利用者は移動カメラ１、視覚装置
２、刺激発生器３及びバッテリ６を容易に取り外した
り、交換することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術の分野】本発明は、移動カメラが撮
影した動画像中の物体の正規化画像、種別、位置、大き
さ及び位置の変化を電気刺激として脳に伝える人工眼球
に関し、詳しくは、３自由度モータを備えた移動カメラ
が撮影した動画像から視覚装置が物体の正規化画像、種
別、位置、大きさ及び位置の変化を生成し、物体が動画
像の中央で大きく撮影されるように視覚装置が移動カメ
ラを制御し、かつ物体の正規化画像、種別、位置、大き
さ及び位置の変化を電気刺激に変換し、エレクトロード
配列端子を介して直接脳に伝えるものに関する。

【０００２】

【従来の技術】従来から、移動カメラを用いた撮影装置
は数多く研究されてきた（特開昭６３−５４６９９、特
開平３−１６４３４１、特開平５−２９７３２５参
照）。特に近年は高速移動物体を追尾する撮影装置とし
て、1msビジュアルフィードバックシステムが開発され
ている（中坊嘉宏、石井抱、石川正俊、“超並列・超高
速ビジョンを用いた１ｍｓターゲットトラッキングシス
テム”、日本ロボット学会誌、Ｖｏｌ．１５、Ｎｏ．
３、ｐｐ．４１７−４２１、１９９７参照）しかしなが
らこれらの移動カメラは従来のモータを用いた駆動系を
利用しているため、装置自体が大きくなってしまった
り、動作が限定される等の問題点がある。

【０００３】そこでこのような問題を解決する方法とし
て、球状の３自由度モータが有効である（例えば、日刊
工業新聞、平成１１年１２月１５日、６ページ参照）。
さらに３自由度モータにおいて、従来のモータの代りに
圧電素子を用いた超音波モータを用いることにより、３
自由度モータの機構及び制御が単純になる(遠山茂樹、
“球面超音波モータの開発”、トライポロジスト、第４
０巻、第８号、ｐｐ．６２７−６３１、１９９５、佐々
江啓介、大築康生、三木修武、黒崎泰充、“圧電素子を
用いた摩擦駆動型多自由度球面モータの開発”、[onlin
e]、平成１０年１月、川崎重工技報第１３６号抄録、
[平成１２年１月２０日検索]、インターネット<URL:htt
p://www.khi.co.jp/tech/nj136g07.htm>）。またこの超
音波モータを用いた移動カメラの開発も行われている。

【０００４】一方でカメラが撮影した画像を処理するビ
ジョンチップ若しくはイメージセンサの開発も進んでい
る。例えば、東京大学のＳ^３ＰＥ（Ｓｉｍｐｌｅ ａｎ
ｄＳｍａｒｔ Ｓｅｎｓｏｒｙ Ｐｒｏｃｅｓｓｉｎｇ
Ｅｌｅｍｅｎｔ）ビジョンチップ（小室孝、鈴木伸
介、石井抱、石川正俊、“汎用プロセッシングエレメン
トを用いた超並列・超高速ビジョンチップの設計”、電
子情報通信学会論文誌、Ｖｏｌ．Ｊ８１−Ｄ−Ｉ、Ｎ
ｏ．２、ｐｐ．７０−７６、１９９８参照）、三菱電機
の人工網膜チップ（特開平６−１３９３６１、特開平１
１−１７７８８９参照）、フランス、Ｂｕｒｅａｕ Ｅ
ｔｕｄｅｓ Ｖｉｓｉｏｎ ＳｔｏｃｋｐｌｕｓのＧｅ
ｎｅｒｉｃ Ｖｉｓｕａｌ Ｐｅｒｃｅｐｔｉｏｎ Ｐ
ｒｏｃｅｓｓｏｒ（ＧＶＰＰ）(Vision Chip's Circuit
ry Has Its Eye Out For You.TechWeb News, 1997-09-1
3. [online]. CMP Media Inc., 1999.[retrieved on 19
99-12-19].Retrieved from the Internet: <URL:http:/
/www.techweb.com/wire/news/1997/09/0913vision.html
>)、Johns Hopkins Universityのビジョンチップ('Eye'
Chip Tracks Movement.Wired News, 1999-04-10. [onl
ine].Wired VenturesInc. and affiliated companies,
1999.[retrieved on 1999-12-19].Retrievedfrom the I
nternet: <URL:http://www.wired.com/news/news/techn
ology/story/19046.html>)等である。これらはエッジ検
出及びオプティカルフロー検出のような簡単な処理を行
うことができるが、実装を優先した結果、アナログ回路
を用いたり、積和計算のみを行ったり、画像処理に制約
を設ける等、問題点が多い。またＳ^３ＰＥは移動カメラ
に接続されることにより、高速移動物体の追尾を行うこ
とができるが、Ｓ^３ＰＥは撮影環境及び移動物体の速度
に影響される上、静止物体及び複数物体に対する画像処
理を別の装置を用いて行わなければならない。

【０００５】そこで移動カメラを制御し、画像処理をす
る装置として、本発明者は視覚装置を開発した（特願平
１１−２５３６３４参照）。この視覚装置は移動カメラ
の向き及び倍率を制御することにより、物体を探索し、
物体の画像処理を行うものである。また本発明者は現在
利用可能な大規模集積回路技術、及び三次元大規模集積
回路（ＶＬＳＩ）技術を基に視覚装置とＣＣＤ撮像素子
及びフォトダイオードのような撮像素子を組み合せたイ
メージセンサも提案している（特願平１１−３６９２２
０参照）。この視覚装置は、高い並列性及び実時間性を
保ちながら移動カメラを制御し、なおかつ物体の正規化
画像、種別、位置、大きさ、及び位置の変化を出力する
ことができる。

【０００６】さらに最近、眼鏡に取り付けられた固定Ｃ
ＣＤカメラが撮影した画像からソーベルフィルタを用い
てエッジを検出した後に、エレクトロード配列端子を用
いて直接脳の右後頭葉視覚野にエッジ画像の電気信号を
送信することにより、人工視覚を実現した研究が発表さ
れた(Computer Helps Blind Man 'See'.Wired News,200
-01-17. [online].Wired Ventures Inc. and affiliate
d companies, 2000.[retrieved on 2000-01-20].Retrie
ved from the Internet: <URL:http://www.wired.com/n
ews/technology/0,1282,33691,00.html>)。患者の視野
が極端に狭いために患者は首を動かして物体を探索しな
ければならず、しかも１．５メートル程離れた位置から
５センチメートル程の大きさの文字しか読むことができ
ない。しかしながらこの研究の成功によって、今後盲人
及び視覚障害者を中心に広視野及び高解像度の人工視覚
を実現する埋め込み式人工眼球の要望が高まるものと思
われる。

【０００７】これらのことを考慮すると、視覚装置によ
って制御された３自由度モータ搭載の移動カメラが物体
を探索し、撮影された物体の正規化画像、種別、位置、
大きさ及び位置の変化が直接脳に伝えられるような人工
眼球を製造できると期待される。

【０００８】

【発明が解決しようとする課題】そこで、請求項記載の
本発明は、移動カメラが撮影した動画像を用いて視覚装
置が移動カメラの向き及び倍率を制御して物体を適切な
大きさで撮影し、さらに視覚装置が撮影された物体の動
画像を画像処理することにより、物体の正規化画像、種
別、位置、大きさ及び位置の変化を生成し、これらを直
接脳に伝えることにより人工視覚を実現することを目的
とする。

【０００９】

【課題を解決するための手段】請求項１の発明は、移動
カメラ、視覚装置、刺激発生器、エレクトロード配列端
子、コネクタ及びバッテリを備えた人工眼球であって、
前記移動カメラが撮影した動画像の中央に物体が位置す
るように前記視覚装置において前記移動カメラの向き及
び倍率を制御する手段と、前記視覚装置が前記動画像か
ら生成した前記物体の正規化画像、種別、位置、大きさ
及び位置の変化を前記刺激発生器において電気刺激に変
換する手段と、前記コネクタ及び前記エレクトロード配
列端子を介して前記電気刺激を脳に伝える手段と、を有
することを特徴とする人工眼球である。本発明は、全
盲、弱視及び視覚障害を有する利用者の視覚機能を補完
するために、前記移動カメラ及び前記視覚装置によって
探索された前記物体の前記正規化画像、前記種別、前記
位置、前記大きさ、及び前記位置の変化を電気信号とし
て直接前記利用者の前記脳に送る。これにより前記利用
者は周囲の環境に惑わされることなく、前記物体を容易
に発見して認識することができる。また前記コネクタを
切り放すことにより、前記利用者は前記移動カメラ、前
記視覚装置、前記刺激発生器及び前記バッテリを容易に
取り外したり、交換することができる。したがって本発
明は、前記利用者が単に一般的なビデオカメラが捉えた
前記動画像を直接認識する場合に比べて負担が軽く、し
かも短時間かつ高確率で前記物体を認識することができ
るようになり、人工視覚に関する諸問題が好適に解決さ
れる。

【００１０】請求項２の発明は、請求項１記載の人工眼
球において、前記移動カメラが３自由度モータを備えた
ことを特徴とする人工眼球である。本発明は、前記移動
カメラの大きさを小さくし、しかも前記移動カメラの向
きを自由にかつ細かく制御することができる。特に前記
３自由度モータとして超音波モータを用いると、一般的
なモータと比べて省スペース、低重量及び低消費電力を
実現することができる。したがって本発明は、前記移動
カメラの死角を少なくし、しかも利用者の負担を少なく
することができ、人工視覚に関する諸問題が好適に解決
される。

【００１１】請求項３の発明は、請求項１及び２記載の
人工眼球に対して、前記視覚装置と撮像素子を大規模集
積回路に実装して前記移動カメラに組み込んだことを特
徴とする人工眼球である。本発明は、前記人工眼球を小
型化することができる。利用者及び医師は前記人工眼球
を容易に取り扱うことができる。つまり前記医師は前記
人工眼球を容易に取り付け、取り外し及び交換すること
ができる。一方で前記利用者は前記移動カメラ、前記視
覚装置、及びこれらを接続する線材を別々に管理する必
要はない。したがって本発明は、前記利用者及び前記医
師の負担を少なくすることができ、人工視覚に関する諸
問題が好適に解決される。

【００１２】

【発明の実施の形態】以下、本発明の人工眼球の実施形
態を挙げ、図面を参照して説明する。

【００１３】まず請求項１記載の発明は図１に示すよう
な構成で表される。ここで本発明の製造者は刺激発生器
３、エレクトロード配列端子４、コネクタ５、及びバッ
テリ６に市販品又は特注品を用いることができるか、容
易に製造することができる。移動カメラ１は既に多数市
販され、掌サイズの移動カメラ１も市販されている。

【００１４】ここで、超音波モータを用いた移動カメラ
１は現在幾つかの研究機関及び企業で開発され、外枠を
含めて直径１０センチメートル未満の移動カメラ１が既
に開発されている。そこで請求項２記載の発明も、請求
項１記載の発明に対して移動カメラ１を超音波モータを
用いたものに変更することにより、容易に実現できる。

【００１５】最後に、一般的な用途に対する視覚装置２
のアルゴリズムは既に開発されているが、人工眼球に適
するように一部変更が必要である。したがって以下では
主に視覚装置２について説明する。

【００１６】図１に示すように、移動カメラ１が撮影し
た映像は、フレーム画像の画質を低下させることなくア
ナログ動画像又はデジタル動画像として視覚装置２に送
信される。また移動カメラ１は現在の移動カメラ１の状
態を表す信号を視覚装置２に送信し、一方で視覚装置２
は移動カメラ１の向き及び倍率を制御する信号を移動カ
メラ１に送信する。

【００１７】移動カメラ１は水平方向及び垂直方向に向
きを変更する機構を備え、外部から移動角度を制御する
命令を入力することにより、各々パン及びチルトをする
ことができるものとする。なお３自由度移動カメラ１は
ロールをすることができる。また移動カメラ１は撮影画
像の倍率を変更する機構を備え、外部から倍率を制御す
る命令を入力することにより、ズームをすることができ
るものとする。したがって移動カメラ１は外部からの命
令によりカメラ自体を細かく振動させることができる。
これにより移動カメラ１が撮影した動画像のフレーム画
像はブレを生じ、フレーム画像中の物体はあたかも振動
しているように撮影される。そのため静止物体はあたか
もフレーム画像中を移動しているかのように撮影され
る。

【００１８】次に、移動カメラ１はパン、チルト及びズ
ームの移動命令により移動した現在の向き及び倍率を必
要に応じて出力できるものとし、さらに現在移動中であ
るか若しくは停止しているかといった移動カメラ１の状
態も必要に応じて出力できるものとする。このとき視覚
装置２が移動カメラ１のパン、チルト及びズームを制御
することができれば、移動カメラ１が移動物体及び静止
物体を常時適切な大きさで撮影できるように、この視覚
装置２は移動カメラ１の向き及び倍率を変更することが
できるようになる。

【００１９】そこで移動カメラ１が移動物体及び静止物
体を常時適切な大きさで撮影するために、視覚装置２は
機能に応じて３つの座標系、つまりカメラ座標系、画像
座標系及び環境座標系を使い分ける。第一に、カメラ座
標系は、文字通り移動カメラ１がパン、チルト及びズー
ムを各々の最小制御単位で制御するために用いているカ
メラ内部の三次元球座標系である。一般にカメラ座標系
の原点はホームポジションと呼ばれる移動カメラ１固有
の位置である。カメラ座標系は移動物体及び静止物体の
物理的位置を表すことができる唯一の座標系である。そ
れにも関わらずカメラ座標系は移動カメラ１の機種毎に
異なるため、カメラ座標系には汎用性がない。そのため
視覚装置２は他の手段からカメラ座標系を秘匿する必要
がある。第二に、画像座標系は、移動カメラ１によって
撮影されたフレーム画像の中央を原点とする、画素を単
位とした二次元座標系である。これはフレーム画像中の
どの画素に移動物体及び静止物体が位置するか表すため
に用いられる。したがって画像座標系はフレーム画像中
にある移動物体及び静止複数の物体の細かな位置を区別
するのには適しているが、画像座標系だけではこれらの
移動物体及び静止物体の物理的位置を表すことができな
い。第三に、環境座標系は、視覚装置２が内部で移動物
体及び静止物体の位置を論理的に統一して表すために用
いている三次元球座標系である。環境座標系は水平方向
及び垂直方向にはラジアンを単位とした角度を用い、物
体の大きさと物体までの距離の積を表すために、距離方
向には１．０を単位とした実数を用いる。一般に物体の
大きさが短時間で極端に変ることはないので、物体まで
の距離と移動カメラ１の倍率は比例すると見なしてよ
い。環境座標系の原点は任意である。つまり環境座標系
は原則として環境座標系上の任意の２点の相対座標を表
すために用いられる。視覚装置２は移動カメラ１によっ
て撮影可能な環境中の移動物体及び静止物体を環境座標
系に投影することで、複数の移動物体及び静止物体を区
別することができる。

【００２０】そこでカメラ座標系及び画像座標系は各々
環境座標系と相互に座標変換をする必要がある。その役
割を果たしている手段がカメラ／環境座標変換手段２
０、画像／環境座標変換手段２１及び運動制御手段２３
である（図２参照）。これらの手段は移動カメラ１及び
画像取得手段１１（図２参照）の仕様からカメラ座標系
及び画像座標系の各単位を求め、環境座標系に変換する
ための行列を計算する。またカメラ座標系から環境座標
系への変換行列の逆行列を計算することにより、環境座
標系からカメラ座標系への変換行列も求めることができ
る。ただしカメラ座標系の原点が移動カメラ１のホーム
ポジションであるので、カメラ座標系から変換された環
境座標系の位置は環境座標系上の移動カメラ１のホーム
ポジションからの相対位置となる。一方、環境座標系か
ら変換されたカメラ座標系の位置はカメラ座標系上の移
動カメラ１の現在位置からの相対位置となる。加えて、
画像座標系は二次元座標系であるため、画像座標系のみ
では環境座標系に変換することはできない。そのため画
像／環境座標変換手段２１では環境座標系で表された移
動カメラ１の向き及び倍率と、フレーム画像中の移動物
体及び静止物体の領域の大きさを用いて、随時変換行列
を計算することにより、画像座標系から環境座標系に変
換できるようにする。なお画像座標系から変換された環
境座標系の位置は、画像の中心からの相対位置となる。

【００２１】前述したカメラ座標系、画像座標系及び環
境座標系を用いて、視覚装置２の実施形態を説明する。
図２に示すように、視覚装置２の実施形態は、移動カメ
ラ１の撮像信号（フレーム画像）を受信して適切なフォ
ーマットとサイズのデジタル画像１１１に変換する画像
取得手段１１と、デジタル画像１１１を一定期間記憶す
る画像記憶手段１２と、２つのデジタル画像１１１から
移動物体の粗エッジ情報１１２を生成するエッジ情報生
成手段１４と、粗エッジ情報１１２をより的確で明瞭な
形成エッジ情報１１４に形成するエッジ情報形成手段１
５と、形成エッジ情報１１４によって区分される領域を
分離する物体／背景分離手段１６と、分離された領域を
画像サイズに正規化する領域正規化手段２７と、形成エ
ッジ情報１１４を用いて移動物体の大ざっぱな形状を解
析する幾何解析手段３７と、正規化された移動物体の領
域及び幾何解析結果から移動物体の種別を認識する画像
認識手段２９と、粗エッジ情報１１２によって区分され
た各領域の位置及び大きさを検出する位置／大きさ検出
手段１７と、移動カメラ１の向き及び倍率を表すカメラ
座標系を視覚装置２の基本的な座標系である環境座標系
に変換するカメラ／環境座標変換手段２０と、環境座標
系で表された移動カメラ１の向き及び倍率を用いて、位
置／大きさ検出手段１７が検出した移動物体の位置を環
境座標系に変換する画像／環境座標変換手段２１と、位
置／大きさ検出手段１７が検出した複数の移動物体の位
置から１つを選択する位置選択手段２２と、１ミリ秒単
位で時刻を計る計時手段３２と、環境座標系で表された
移動カメラ１の向き及び倍率、環境座標系で表される複
数の移動物体の位置、移動物体の種別、幾何解析結果、
及び時刻から環境地図を作成する環境理解手段３１と、
出力先に出力するまで環境地図を保持する環境地図保持
手段３３と、環境地図を用いて次に認識すべき移動物体
の位置を推定する物体位置推定手段３４と、移動カメラ
１を振動させる命令を生成する振動命令生成手段２５
と、環境座標系で表された移動カメラ１の向き及び倍率
を用いて、位置選択手段２２、振動命令生成手段２５及
び物体位置推定手段３４から入力した３つの位置を参照
しながらカメラ座標系で表される移動カメラ１の位置を
決定する運動制御手段２３と、運動制御手段２３が決定
したカメラ座標系の位置に移動カメラ１を移動させるた
めの命令を生成するカメラ命令生成手段２６と、を利用
したものである。

【００２２】画像取得手段１１が移動カメラ１から動画
像のフレーム画像を入力する際に、動画像がアナログ信
号の場合は、Ａ／Ｄ変換によりフレーム画像をデジタル
信号に変換してデジタル画像１１１にする。なお特にＣ
ＣＤ撮像素子及びフォトダイオード撮像素子の電圧を直
接入力できるならば、Ａ／Ｄ変換により適当なビット数
のデジタル信号に変換するだけで良い。動画像がデジタ
ル信号の場合は、圧縮されていれば展開し、圧縮されて
いなければそのまま入力する。これらにより動画像中任
意のフレーム画像を切り出すことができるので、このフ
レーム画像を切り出してデジタル画像１１１にする。変
換されたデジタル画像１１１は適当なフォーマットに従
いながら任意の画像サイズを有しているので、画像取得
手段１１は画素単位で画像データを参照できるフォーマ
ットに変換し、視覚装置２で必要とする画像サイズ分を
切り出し、デジタル画像１１１として出力する。もし画
像取得手段１１がデジタル画像１１１の全ての画素を並
列に出力することができれば、画像取得手段１１から画
像記憶手段１２への通信は、画素毎に並列に行うことが
できる。

【００２３】画像記憶手段１２が画像取得手段１１から
デジタル画像１１１を入力すると、視覚装置２の時間分
解能若しくは各手段の計算能力に合わせて一定時間デジ
タル画像１１１を記憶する。つまりこの一定時間中にデ
ジタル画像１１１が入力されても画像記憶手段１２は記
憶画像を変更することがないので、後に続く各手段は異
なるタイミングで同じデジタル画像１１１を入力するこ
とができる。しかも画像記憶手段１２はデジタル画像１
１１に対して画像処理を施さないので、デジタル画像１
１１の全ての画素に対して二次元の位相関係を保ったま
ま記憶している。もし画像記憶手段１２がデジタル画像
１１１の全ての画素を並列に出力することができれば、
画像記憶手段１２からエッジ情報生成手段１４への通信
は、画素毎に並列に行うことができる。

【００２４】エッジ情報生成手段１４が画像記憶手段１
２からデジタル画像１１１を入力すると、直前に入力さ
れたデジタル画像１１１と比較することにより移動物体
の粗エッジ情報画像１１３を生成する。エッジ情報生成
手段１４は画素毎に近傍処理のみで粗エッジ情報画像１
１３を生成することができるので、並列化に向いてい
る。もしエッジ情報生成手段１４が粗エッジ情報画像１
１３の全ての画素を並列に出力することができれば、エ
ッジ情報生成手段１４からエッジ情報形成手段１５及び
位置／大きさ検出手段１７への通信は、画素毎に並列に
行うことができる。

【００２５】エッジ情報形成手段１５がエッジ情報生成
手段１４から粗エッジ情報画像１１３を入力すると、画
像記憶手段１２で記憶されていたデジタル画像１１１を
参照して、粗エッジ情報画像１１３より的確で明瞭な移
動物体の形成エッジ情報画像１１５を生成する。エッジ
情報形成手段１５は画素毎に近傍処理のみで形成エッジ
情報画像１１５を生成することができるので、並列化に
向いている。もしエッジ情報形成手段１５が形成エッジ
情報画像１１５の全ての画素を並列に出力することがで
きれば、エッジ情報形成手段１５から物体／背景分離手
段１６及び幾何解析手段３７への通信は、画素毎に並列
に行うことができる。

【００２６】物体／背景分離手段１６はエッジ情報形成
手段１５から形成エッジ情報画像１１５を入力すると、
移動物体の物体領域１４１に含まれる画素と背景に含ま
れる画素を異なるグループに分離して、分離結果をグル
ープ単位で順次出力する。なお物体領域１４１が隣接し
ているにも関わらず形成エッジ情報１１４により明確に
区別される場合、物体／背景分離手段１６はこれらの物
体領域１４１を異なるグループに分離することができ
る。したがってグループの数は３以上になることもあ
る。物体／背景分離手段１６は画素毎に近傍処理のみで
物体領域１４１と背景を分離することができるので、並
列化に向いている。もし物体／背景分離手段１６が物体
領域画像１４２の全ての画素を並列に出力することがで
きれば、物体／背景分離手段１６から領域正規化手段２
７への通信は、画素毎に並列に行うことができる。

【００２７】領域正規化手段２７は物体／背景分離手段
１６及び画像取得手段１１から物体領域画像１４２及び
デジタル画像１１１をそれぞれ入力すると、移動物体の
分離物体領域１４３をデジタル画像１１１から切り出
し、分離物体領域１４３を変形しながらデジタル画像１
１１の画像サイズに合わせて可能な限り補完及び拡大す
ることで正規化画像１４５を生成する。領域正規化手段
２７は画素毎に近傍処理のみで分離物体領域１４３を正
規化することができるので、並列化に向いている。もし
領域正規化手段２７が正規化画像１４５の全ての画素を
並列に出力することができれば、領域正規化手段２７か
ら画像認識手段２９への通信は、画素毎に並列に行うこ
とができる。

【００２８】正規化画像保持手段２８は領域正規化手段
２７から正規化画像１４５を入力すると、もし正規化画
像１４５の出力先が適当なフォーマットの正規化画像１
４５を要求するならば、正規化画像１４５の出力先が要
求するフォーマットに正規化画像１４５を変換する。そ
の後正規化画像保持手段２８は正規化画像１４５の出力
先に確実に正規化画像１４５を送信するまで一定期間正
規化画像１４５を記憶する。正規化画像保持手段２８は
変換するフォーマットを限定すれば画素毎に近傍処理の
みで正規化画像１４５を変換することができるので、並
列化に向いている。もし正規化画像保持手段２８が正規
化画像１４５の全ての画素を並列に出力することができ
れば、正規化画像保持手段２８から正規化画像１４５の
出力先への通信は、画素毎に並列に行うことができる。

【００２９】幾何解析手段３７はエッジ情報形成手段１
５から形成エッジ情報画像１１５を入力すると、ストロ
ーク抽出法、フーリエ変換、アフィン変換及びハフ変換
等の幾何解析を行うことにより、フレーム画像中の移動
物体の形を推定し、幾何解析結果を生成する。従来の画
像認識では画像自体から直接線分を抽出したり、移動物
体の位置及び大きさに左右されないような各種変換を用
いることにより、画像中の物体を認識することを行って
きた。このため処理の単純さにも関わらず組み合わせの
数が膨大となり、結果として膨大な計算量が必要とな
り、望みうる結果を得るまでに長時間掛ったり、若しく
は品質の低い認識結果しか得られなかった。しかしなが
らこの視覚装置２では、フレーム画像中の移動物体のパ
ターンに対する認識を物体／背景分離手段１６、領域正
規化手段２７及び画像認識手段２９が行う。そこで、幾
何解析手段３７は形成エッジ情報画像１１５を用いて、
物体／背景分離手段１６、領域正規化手段２７及び画像
認識手段２９が苦手としているような移動物体の輪郭等
が構成する幾何図形のみを、簡単な方法で大ざっぱに解
析することにより、画像認識手段２９が行う画像認識を
簡略化し、環境理解手段３１が環境地図を的確で高速に
作成することができると共に、幾何解析手段３７自体の
負荷も低減することができる。幾何解析結果は幾何解析
手段３７から画像認識手段２９及び環境理解手段３１へ
出力される。

【００３０】パターンマッチング手段３８は領域正規化
手段２７から正規化画像１４５を入力すると、テンプレ
ート画像１４６を用いて、正規化画像１４５中の移動物
体の正規化領域１４４と比較を行い、マッチング結果画
像１４７を出力する。パターンマッチングは、人物の
顔、車及び信号機等、図形の細かい幾何よりも図形の組
み合せ及び構成に特徴がある物体に対してパターン認識
をするのに適している。つまり人の顔の形が真円、楕
円、卵形、及び長方形であっても、顔は顔である。たと
え顔の輪郭が凸凹していても、瞳や唇が適切な位置関係
を保っていることの方が重要である。したがってパター
ンマッチング手段３８は人物の顔、車及び信号機等の物
体の種別を認識するために用いられる。ただし、正規化
画像１４５が複数のテンプレート画像１４６に類似する
場合は、類似のテンプレート画像１４６の内上位幾つか
を列挙することになる。正規化画像１４５に対するマッ
チング結果画像１４７はパターンマッチング手段３８か
ら画像認識手段２９へ出力される。

【００３１】画像認識手段２９はパターンマッチング手
段３８からマッチング結果画像１４７を入力すると、適
当なパターン認識方法を用いてマッチング結果画像１４
７を認識し、認識結果、つまり移動物体の種別を出力す
る。画像認識手段２９における認識方法には、誤差逆伝
播法（バックプロパゲーション）等により学習すること
ができるパーセプトロンのようなニューラルネットワー
クの他、単純に多数決アルゴリズムが用いられても良
い。マッチング結果画像１４７の認識結果、つまり移動
物体の種別は画像認識手段２９から環境理解手段３１へ
出力される。ただし、画像認識手段２９は幾何解析手段
３７から幾何解析結果を入力すると、まず画像認識手段
２９が認識の対象としている図形であるかどうか判断す
る。もし幾何解析結果が対象外の図形であれば、画像認
識手段２９は動作しない。幾何解析結果が対象図形であ
れば、画像認識手段２９はマッチング結果画像１４７と
幾何解析結果を用いて認識を行う。例えば誤差逆伝播法
によって学習するパーセプトロンの場合、対象図形毎に
パーセプトロンを学習させて学習データを作成し、その
後幾何解析結果によって学習データを選択することによ
り、対象図形に対して効率的に認識を行うようにする。
つまり幾何解析結果が円形であれば、人の顔やボールの
ような円形の物体の学習データだけを利用し、幾何解析
結果が三角形であれば、道路標識や山並みのような三角
形の物体の学習データだけを利用する。これにより、小
規模のパーセプトロンによって多数のマッチング結果画
像１４７を認識することができるばかりでなく、パーセ
プトロン自体も効率よく学習することができる。多数決
の場合も同様である。

【００３２】位置／大きさ検出手段１７がエッジ情報生
成手段１４から粗エッジ情報画像１１３を入力すると、
粗エッジ情報１１２によって指し示された移動物体の領
域の位置及び大きさを検出する。位置／大きさ検出手段
１７は画素毎に近傍処理のみで、移動物体の領域の位置
及び大きさの検出結果を表す重複情報画像１３２を生成
することができるので、並列化に向いている。もし位置
／大きさ検出手段１７が重複情報画像１３２の全ての画
素を並列に出力することができれば、位置／大きさ検出
手段１７から画像／環境座標変換手段２１への通信は、
画素毎に並列に行うことができる。

【００３３】カメラ／環境座標変換手段２０及び画像／
環境座標変換手段２１は、位置／大きさ検出手段１７が
生成した重複情報画像１３２で表される移動物体の領域
の位置を環境座標系の位置に変換する。このときフレー
ム画像中の移動物体の領域の位置の総数が２つ以上であ
れば、環境座標系上にも２つ以上の位置が存在すること
になる。そこで移動カメラ１のパン、チルト及びズーム
を制御していずれか１つの移動物体に移動カメラ１の向
き及び倍率を合わせるために、環境座標系上の複数の位
置の中から１つを選択する必要がある。位置選択手段２
２は一定の判断基準に従い、環境座標系上の１つの位置
を選択する。ここで用いられる判断基準は主に次のよう
なものである。第一に、環境座標系上での移動物体の位
置のうち移動カメラ１に最も近いもの（若しくは最も大
きいもの）を選択する。これは移動物体が遠かったり
（若しくは小さかったり）した場合、エッジ情報生成手
段１４がノイズを生成した可能性があるので、環境座標
系上の複数の位置の中から移動物体が存在する確率が少
しでも高いものを選択する。第二に、環境座標系上の一
定範囲内に複数の位置が集中している場合、このうちの
１つを選択する。この状況には２つの可能性が考えられ
る。１つはエッジ情報生成手段１４が１つの移動物体に
対して分散した粗エッジ情報１１２を生成した可能性で
あり、もう１つは実際に複数の移動物体が存在する可能
性である。第三に、環境座標系上に多数の位置がほぼ同
じ距離（若しくはほぼ同じ大きさ）である場合、原点に
最も近い位置、すなわち移動カメラ１の向きに最も近い
位置を選択する。これらを用途や状況に応じて適宜組み
合せることにより、位置選択手段２２は環境座標系上の
複数の位置の中から１つを選択することができる。

【００３４】計時手段３２はタイマー回路により現在時
刻を１ミリ秒単位で出力する。現在時刻は絶えず計時手
段３２から環境理解手段３１へ出力される。

【００３５】環境理解手段３１は画像認識手段２９から
移動物体の物体領域１４１の認識結果を入力すると、認
識結果、移動カメラ１の環境座標系上での位置、及び現
在時刻からなる環境データを作成する。また環境理解手
段３１は画像／環境座標変換手段２１からフレーム画像
中の全ての物体領域１４１の環境座標系上での位置を入
力すると、ヌルデータからなる認識結果、移動カメラ１
の環境座標系上での位置とフレーム画像中の１つの物体
領域１４１の環境座標系上での位置を加えた位置、及び
現在時刻からなる環境データを、物体領域１４１の数だ
け作成する。このとき環境地図は現在時刻より一定時間
前に作成された環境データの集合となり、環境データ中
の位置は移動カメラ１のホームポジションを原点とする
環境座標系によって表される。環境理解手段３１は環境
地図に対して時刻の経過と共に環境データを追加及び削
除する。また環境理解手段３１は、重複した内容の環境
データを位置の変化に置き換える等して削除すると共
に、認識結果がヌルデータである環境データ中の位置が
認識結果がヌルデータでない他の環境データ中の位置の
近傍である場合、認識結果がヌルデータである環境デー
タを削除する。加えて、認識結果がヌルデータでない環
境データ中の位置が、認識結果がヌルデータでない他の
環境データ中の位置の近傍である場合、もしこれらの環
境データ中の認識結果が一致すれば、前者の環境データ
を削除する。環境データの記録時間と環境データ中の位
置の近傍の範囲により、環境地図の精度が決定される。
環境座標系上での現在の移動カメラ１の位置が環境地図
に追加された後、環境地図は環境理解手段３１から環境
地図保持手段３３へ出力される。ただし、環境理解手段
３１は幾何解析手段３７から幾何解析結果を入力する
と、まず画像認識手段２９が認識の対象としている図形
であるかどうか判断する。もし幾何解析結果が対象外の
図形であれば、移動カメラ１の環境座標系上の位置の近
傍にあり、しかも認識結果がヌルデータである環境デー
タを、環境理解手段３１は直ちに環境地図から削除す
る。これにより環境地図から不必要な環境データが削除
され、物体位置推定手段３４が不必要な物体推定位置を
出力しなくても済む。幾何解析結果が対象図形の場合、
画像認識手段２９から認識結果が入力されるまで待つ。

【００３６】環境地図保持手段３３が環境理解手段３１
から環境地図を入力すると、もし環境地図の出力先が適
当なフォーマットの信号を要求するならば、環境地図の
出力先が要求するフォーマットに環境地図を変換する。
その後環境地図保持手段３３は環境地図の出力先に確実
に環境地図を送信するまで一定期間環境地図を記憶す
る。

【００３７】物体位置推定手段３４は環境理解手段３１
から環境地図を入力すると、認識結果がヌルデータであ
る環境データを１つ選択し、この環境データ中の位置を
抜き出す。この位置からカメラ／環境座標変換手段２０
によって計算された移動カメラ１の環境座標系上での現
在位置を引くことにより、物体位置推定手段３４は、移
動カメラ１の環境座標系上での現在位置を原点とした、
過去に粗エッジ情報１１２が生成されているにも関わら
ずまだ認識結果が出ていない移動物体の環境座標系上で
の相対位置を求めることができる。ただし現在この位置
に移動物体が存在するとは限らない。したがってこの位
置は移動物体が存在する可能性がある移動物体の推定位
置となる。一方で、もし環境地図の中に認識結果がヌル
データである環境データがなければ、移動カメラ１が移
動可能な範囲で適当な環境座標系上の位置を生成する。
このとき適当な位置を生成する基準として次のようなも
のが考えられる。第一に、疑似乱数により任意の位置を
生成する。第二に、環境地図中の環境データ中の位置の
密度が低い位置を計算する。第三に、移動カメラ１が移
動可能な範囲中の位置を適当な順番で順次生成する。例
えば、移動カメラ１が移動可能な範囲において左上端の
位置から右に向けて順番に位置を生成し、右端に到達し
たら一段下に降りた後左に向けて順番に位置を生成し、
左端に到達したら一段下に降りた後右に向けて順番に位
置を生成することを繰り返す。これらの基準を用途や状
況に応じて組み合せることにより、まだ移動カメラ１が
撮影していない移動物体の推定位置を効率的に推定する
ことができる。物体推定位置は物体位置推定手段３４か
ら運動制御手段２３へ出力される。

【００３８】さて、視覚装置２には、位置選択手段２２
で選択された位置の他に次のような位置に移動カメラ１
をパン、チルト及びズームすることが求められる。まず
静止物体が移動しているように移動カメラ１が撮影する
ために、この視覚装置２は移動カメラ１を振動させなけ
ればならない。そこで振動命令生成手段２５は移動カメ
ラ１が移動すべき位置を環境座標系上の位置として指定
する。振動命令生成手段２５が指定する位置は極端に移
動カメラ１が振動しない範囲で疑似乱数等によって決定
される。

【００３９】そこで移動カメラ１のパン、チルト及びズ
ームを制御するために、運動制御手段２３が前述した環
境座標系上の３つの位置から１つを選択する。その際に
運動制御手段２３は、物体位置推定手段３４、位置選択
手段２２、振動命令生成手段２５の順番で入力位置があ
る手段から選択する。選択された位置は運動制御手段２
３によって環境座標系からカメラ座標系に変換される。
その後カメラ命令生成手段２６によって移動カメラ１が
認識することができる命令に置き換えられて移動カメラ
１に送信される。これによりこの視覚装置２は移動カメ
ラ１のパン、チルト及びズームを制御することができ
る。

【００４０】なお移動カメラ１の機種によっては、移動
カメラ１に特定の命令を送信しないと移動カメラ１の状
態、すなわち移動カメラ１の向き及び倍率や、移動カメ
ラ１が移動中であるか若しくは停止中であるかといった
情報を得ることができないものがある。そこで運動制御
手段２３は、前述した３つの位置から１つを選んでカメ
ラ命令生成手段２６に出力した後に、移動カメラ１が移
動中であるかどうかといった情報を問い合わせる命令を
移動カメラ１に送信するように、運動制御手段２３はカ
メラ命令生成手段２６に指示し、移動カメラ１からカメ
ラ／環境座標変換手段２０を介してこの情報を受け取る
まで待つ。もし受け取った情報が移動中を示せば、移動
カメラ１が移動中であるかどうかといった情報を問い合
わせる命令を移動カメラ１に送信するように、運動制御
手段２３は再度カメラ命令生成手段２６に指示する。も
し受け取った情報が停止中を示せば、移動カメラ１が現
在の向き及び倍率を問い合わせる命令を移動カメラ１に
送信するように、運動制御手段２３はカメラ命令生成手
段２６に指示する。この期間中運動制御手段２３は３つ
の位置を選択しない。カメラ命令生成手段２６は運動制
御手段２３からの指示に従い、対応する命令を移動カメ
ラ１に送信する。カメラ／環境座標変換手段２０は移動
カメラ１が移動中であるかどうかといった情報をそのま
ま運動制御手段２３に送信し、また移動カメラ１の現在
の向き及び倍率をカメラ座標系から環境座標系の位置に
変換する。これによりこの視覚装置２は、移動カメラ１
の状態を逐次調査しながら、移動カメラ１のパン、チル
ト及びズームを制御することができる。

【００４１】最後に、視覚装置２では、画像記憶手段１
２、エッジ情報生成手段１４、及び位置／大きさ検出手
段１７と、エッジ情報形成手段１５、物体／背景分離手
段１６、領域正規化手段２７、正規化画像保持手段２
８、パターンマッチング手段３８、及び画像認識手段２
９との間で、各々の手段が入力する画像の解像度若しく
は画像サイズを必ずしも一致させる必要はない。例え
ば、この視覚装置２において、エッジ情報生成手段１４
にはデジタル画像１１１の解像度を低くした低解像度デ
ジタル画像１１６を入力させ、一方、エッジ情報形成手
段１５には、エッジ情報生成手段１４が生成した低解像
度粗エッジ情報画像１１７の画像サイズを適当な方法で
デジタル画像１１１の画像サイズに拡大した粗エッジ情
報画像１１３を入力させ、物体／背景分離手段１６及び
領域正規化手段２７にはデジタル画像１１１を入力させ
ることにより、エッジ情報生成手段１４の負荷を低減す
ることができる。つまりエッジ情報形成手段１５以降で
生成される正規化画像１４５の品質をほとんど変えるこ
となく、位置／大きさ検出手段１７以降の移動カメラ１
のパン、チルト及びズームの制御をより高速にすること
ができる。そこでこの方法をさらに進めると、エッジ情
報形成手段１５には、エッジ情報生成手段１４が生成し
た低解像度粗エッジ情報画像１１７のうち粗エッジ情報
１１２が存在する領域を切り出した切出粗エッジ情報画
像１１９を入力させ、物体／背景分離手段１６及び領域
正規化手段２７には、デジタル画像１１１から切出粗エ
ッジ情報画像１１９と同じ位置の領域を切り出した切出
デジタル画像１２０を入力させることにより、エッジ情
報形成手段１５以降の正規化画像１４５の生成の負荷を
低減することができる。ここでこの視覚装置２により、
移動カメラ１が移動物体をフレーム画像の中央に適切な
大きさで撮影することができれば、デジタル画像１１１
に対する切出粗エッジ情報画像１１９及び切出デジタル
画像１２０の切出領域を事前に決定することができる。
この方法により、この視覚装置２は１台の移動カメラ１
を用いることにより、広角カメラと高解像度カメラを用
いた物体探索装置と同様の性能を達成することができ
る。

【００４２】さて、請求項１記載の視覚装置２で用いら
れている画像記憶手段１２、エッジ情報生成手段１４、
エッジ情報形成手段１５、物体／背景分離手段１６、領
域正規化手段２７、位置／大きさ検出手段１７、正規化
画像保持手段２８、及びパターンマッチング手段３８
は、配列演算ユニット４０（ARRAY OPERATION UNIT）か
ら構成されるデータ処理装置１１０を用いることにより
実装することができる。そこで以下では、配列演算ユニ
ット４０を利用したデータ処理装置１１０の実施形態を
挙げ、この視覚装置２を図面を参照して説明する。

【００４３】まず配列演算ユニット４０は、入力画像の
１つの画素とその近傍画素を用いることにより、出力画
像の１つの画素を生成する。そこで図３に示したよう
に、配列演算ユニット４０を入力画像のサイズに合わせ
て格子状に配列したデータ処理装置１１０を用いること
により、データ処理装置１１０は入力画像から出力画像
を生成することができる。なお図３において、配列演算
ユニット４０をＡＯＵと略記する。次に配列演算ユニッ
ト４０は専用ハードウェアによって実装されても良い
し、汎用コンピュータ上でソフトウェアによって実装す
ることもできる。つまり入力画像から出力画像を生成す
ることができれば、実装手段は制限されない。したがっ
て配列演算ユニット４０のアルゴリズムを示すことによ
り、データ処理装置１１０の画像処理を示すことができ
る。そこで配列演算ユニット４０のアルゴリズムを示す
ために、図２で示された画像記憶手段１２、エッジ情報
生成手段１４、エッジ情報形成手段１５、領域正規化手
段２７、位置／大きさ検出手段１７、正規化画像保持手
段２８、及びパターンマッチング手段３８で用いる数式
について説明する。

【００４４】幅ｗ、高さｈ、帯域数ｂの任意の２^ｎ階調
画像をｘ、ｙ、ｗとすると、ｘ、ｙ、ｗは各々位置ｐ
（ｉ，ｊ，ｋ）の帯域画素値ｘ_ｉｊｋ、ｙ_ｉｊｋ、ｗ
_ｉｊｋを用いて数式１、２及び３のように表される。な
おアンダーラインが付された文字はベクトルを示す。ま
たｎは非負の整数、ｗ、ｈ、ｂ、ｉ、ｊ、ｋは自然数で
ある。

【００４５】

【数１】

【００４６】

【数２】

【００４７】

【数３】

【００４８】まず前記画像の各帯域画素値に対する点処
理に関する関数について以下で説明する。

【００４９】画像ｘを二値画像に変換する場合、数式４
に従って帯域画素値を二値化する。

【００５０】

【数４】

【００５１】画像ｘを帯域最大値画像に変換する場合、
数式５に従ってｉ行ｊ列の画素の各帯域の値のうち最大
値を選択する。なお前記帯域最大値画像は単帯域画像と
なるので、便宜上帯域数１の前記画像として取り扱うこ
とにする。したがって関数Ｂ _ｉｊ１（ｘ）の第３添字は
１となっている。

【００５２】

【数５】

【００５３】画像ｘが二値画像であるとして、画像ｘを
反転させる場合、数式６に従って計算する。

【００５４】

【数６】

【００５５】画像ｘの位置ｐ（ｉ，ｊ，ｋ）における対
数変換は数式７に従って行われる。ここでｅはオフセッ
トであり、自然対数関数が出力する値が有効範囲に入る
ようにするために使われるので、一般にｅ＝１で十分で
ある。この対数化により帯域画素値同士の除算を減算に
することができる。また画像ｘが２^ｎ階調のデジタル画
像１１１であるとすると、帯域数に関わらず２^ｎ個の要
素を含むルックアップテーブルをメモリ４２上に持つな
らば、毎回自然対数関数を計算する必要もなく、標準的
な対数表を持つ必要もなくなる。

【００５６】

【数７】

【００５７】さて、画像の位置ｐ（ｉ，ｊ，ｋ）におけ
るｑ近傍の位置の集合Ｐ_ｉｊｋ（ｑ）は数式８によって
表される。ただしｑは４、８、２４、４８、８０、１２
０、（２ｒ＋１）^２−１と続く数列であり、ｒは自然数
である。なお画像サイズをはみ出した位置が集合Ｐ
_ｉｊｋ（ｑ）に含まれる場合には、特に指定がない限り
位置ｐ（ｉ，ｊ，ｋ）を代用するものとする。またこれ
以外のときは、指定に従い、画素値が０に相当し、しか
も画像に含まれない架空の位置を代用する。これにより
辺縁処理は自動的に行われる。したがって集合Ｐ_ｉｊｋ
（ｑ）の要素の数Ｎ _ｉｊｋは常にｑとなる。

【００５８】

【数８】

【００５９】そこで次に画像の各帯域画素値に対する最
大８近傍の近傍処理に関する関数及びオペレータについ
て以下で説明する。

【００６０】画像ｘの位置ｐ（ｉ，ｊ，ｋ）における平
滑化は数式９に従って行われる。ただしｉｎｔ（ｖ）は
実数ｖの小数点以下切り捨てを意味するものとする。も
し画像ｘの帯域画素値が整数値であるならば、ハードウ
ェアの実装時にＮ_ｉｊｋ＝４のときｘ_ｌｍｋの総和に対
して右シフト命令を２回、Ｎ_ｉｊｋ＝８のときｘ_{ｌｍ ｋ}
の総和に対して右シフト命令を３回実行するような回路
に変更することにより、除算を実行する回路を省くこと
ができる。

【００６１】

【数９】

【００６２】ラプラシアンの計算であるが、これは数式
１０に示すように単なる２階差分オペレータである。８
近傍の方がノイズの微妙な変化を捉えてゼロ点およびゼ
ロ交差が多くなり、本発明には向いている。ただしＮ
_ｉｊｋが４か８であるので、もしハードウェアの実装時
にＮ_ｉｊｋ＝４のときｘ_ｉｊｋに対して左シフト命令を
２回、Ｎ_ｉｊｋ＝８のときｘ_ｉｊｋに対して左シフト命
令を３回実行するような回路に変更することにより、実
数の乗算を実行する回路を省くことができる。

【００６３】

【数１０】

【００６４】ラプラシアンによって求められた値からゼ
ロ点を見付ける方法として、従来は正から負に変化する
画素を見付けていたが、本発明では数式１１に従い、負
から正にゼロ交差する画素の他に、負からゼロやゼロか
ら正のようにゼロ点が経由したり、ゼロが継続する画素
を見付けるようにする。本発明では、数式１１が見付け
たゼロ点はエッジがある場所ではなく、ノイズがある場
所、つまりエッジがない場所になる。また数式１１によ
り実数値の二値化も同時に行っている。

【００６５】

【数１１】

【００６６】画像ｘが任意の二値画像であるとして、画
像ｘのうち孔が空いている画素を埋める場合には、数式
１２に従い計算する。ここでｆは埋めるべき孔の大きさ
を表すパラメータであり、一般にはｆ＝１で十分であ
る。なお４近傍の場合にはその性質上対角線を検知する
ことができないので、極力８近傍にした方がよい。

【００６７】

【数１２】

【００６８】画像ｘが任意の二値画像であるとして、画
像ｘのうち孤立点ないし孤立孔を削除する場合には、数
式１３に従い計算する。なお４近傍の場合にはその性質
上対角線を検知することができないので、極力８近傍に
した方がよい。

【００６９】

【数１３】

【００７０】画像ｘが任意の二値画像であるとして、画
像ｘのうち線幅が１である画素を検知するために、４近
傍画素を用いて数式１４に従い計算する。

【００７１】

【数１４】

【００７２】２つの画像ｘ、ｙが任意の二値画像であ
り、画像ｙが画像ｘのうち線幅が１である画素を検知し
た画像であるとすると、画像ｘのうち線幅が１である画
素の線幅を拡張するために、４近傍画素を用いて数式１
５に従い計算する。

【００７３】

【数１５】

【００７４】そこで数式１４の線幅検知と数式１５の線
幅拡張を用いると、数式１６に従い二値画像の線幅補完
を簡単に記述することができる。

【００７５】

【数１６】

【００７６】次に画像の各帯域画素値に対する近傍処理
に関する関数及びオペレータについて以下で説明する。

【００７７】２つの画像ｘ、ｙがある場合、これらの画
像の最大値画像は数式１７に従って計算される。

【００７８】

【数１７】

【００７９】２つの画像ｘ、ｙがある場合、これらの画
像の差分は数式１８に従って計算される。

【００８０】

【数１８】

【００８１】ここで数式１０のラプラシアンと数式１８
の差分を用いると、数式１９に従い画像の鮮鋭化を簡単
に記述することができる。

【００８２】

【数１９】

【００８３】２つの画像ｘ、ｙがあり、画像ｙが単帯域
二値画像である場合、数式２０に従い、画像ｙの帯域画
素値を用いて画像ｘの各帯域画素値をマスクすることが
できる。

【００８４】

【数２０】

【００８５】２つの画像ｘ、ｙがあり、画像ｘとｙが二
値画像である場合、数式２１に従い、画像ｘを基に画像
ｙを整形することができる。

【００８６】

【数２１】

【００８７】２つの画像ｘ、ｙがあり、画像ｙが二値画
像である場合、数式２２に従い、画像ｙで指定されなか
った画像ｘの帯域画素値を、画像ｘの帯域画素値の近傍
のうち画像ｙで指定された画像ｘの帯域画素値の平均値
で補間する。ただしｉｎｔ（ｖ）は実数ｖの小数点以下
切り捨てを意味するものとする。

【００８８】

【数２２】

【００８９】さて本発明では、画素の位置や移動量も画
像データのように扱うことで処理を単純にしている。こ
れを位置の画像化と呼ぶ。以下では画像化に関する幾つ
かの関数及びオペレータについて説明する。

【００９０】まず位置ｐ（ｌ，ｍ，ｏ）のｌ、ｍ、ｏ各
々の値を画像データとして帯域画素値に変換するオペレ
ータを＃とし、変換された帯域画素値を＃ｐ（ｌ，ｍ，
ｏ）とする。次に帯域画素値が位置ｐ（ｉ，ｊ，ｋ）か
ら位置ｐ（ｉ＋ｌ，ｊ＋ｍ，ｋ＋ｏ）へ移動する場合を
考える。このとき帯域画素値の移動量は位置ｐ（ｌ，
ｍ，ｏ）として表されるものとする。つまり移動量はあ
る位置からのベクトルと見なすことができる。最後に帯
域画素値から位置を取り出すオペレータを＃^−１とす
る。したがって＃^−１＃ｐ（ｌ，ｍ，ｏ）＝ｐ（ｌ，
ｍ，ｏ）となる。

【００９１】そこで数式２３に従い、移動量ｐ（ｉ，
ｊ，ｋ）を幅方向と高さ方向で表される平面内で１８０
度反対方向に向けることができる。

【００９２】

【数２３】

【００９３】画像ｘがあり、画像ｘが単帯域二値画像で
ある場合、画像ｘの位置ｐ（ｉ，ｊ，１）における重心
位置への移動量は数式２４に従い計算される。なお、本
来重心を計算する際には除算を行う必要があるが、８近
傍内への移動量を計算する際に除算は相殺されてしまう
ので、数式２４では除算が省かれている。

【００９４】

【数２４】

【００９５】移動量ｐ（ｉ，ｊ，ｋ）から、数式２５及
び２６に従い８近傍内への移動量を計算し、移動量画像
に画像化することができる。なお数式２６は、画像の離
散化により数式２５では対応しきれない場合にのみ利用
する。

【００９６】

【数２５】

【００９７】

【数２６】

【００９８】したがって数式２４、２５及び２６を用い
ると、数式２７及び２８に従い、単帯域二値画像ｘの重
心方向への移動量画像の帯域画素値を簡単に記述するこ
とができる。なお移動量画像の帯域数は１となる。

【００９９】

【数２７】

【０１００】

【数２８】

【０１０１】一方で数式２３を用いると重心位置の反対
位置を求めることができるので、数式２９に従い、単帯
域二値画像ｘの重心と反対方向への移動量画像の帯域画
素値を簡単に記述することができる。なお移動量画像の
帯域数は１となる。

【０１０２】

【数２９】

【０１０３】２つの画像ｘ、ｙがあり、画像ｙが移動量
画像である場合、数式３０に従い、画像ｙで指し示され
た移動位置に画像ｘの帯域画素値を移動した後、同じ帯
域画素に移動した帯域画素値の合計を濃淡画像にするこ
とができる。

【０１０４】

【数３０】

【０１０５】そこで数式４、２７、２８及び３０を用い
ることにより、数式３１又は数式３２に従い、単帯域濃
淡画像ｘを近傍の重心方向に移動した後、同じ帯域画素
に移動した帯域画素値の合計を簡単に記述することがで
きる。

【０１０６】

【数３１】

【０１０７】

【数３２】

【０１０８】２つの画像ｘ、ｙがあり、画像ｘが二値画
像で、画像ｙが移動量画像である場合、画像ｘの各帯域
画素値の移動先の位置を求めることができるので、移動
先が重複する帯域画素値を見つけることができる。そこ
で画像ｘの各帯域画素値の移動先が重複することなく、
しかも移動する各帯域画素値が存在することを表す移動
可能画像の帯域画素値は、数式３３に従い生成される。
なお移動可能画像の帯域数は１となる。

【０１０９】

【数３３】

【０１１０】３つの画像ｘ、ｙ、ｗがあり、画像ｙが移
動可能画像であり、画像ｗが移動量画像である場合、数
式３４に従い画像ｘの帯域画素値を移動することができ
る。

【０１１１】

【数３４】

【０１１２】そこで数式２９、数式３３及び数式３４を
用いると、数式３５に従い、二値画像ｙから計算される
重心位置と反対方向に画像ｘの帯域画素を移動すること
で得られる画像の帯域画素値を簡単に記述することがで
きる。

【０１１３】

【数３５】

【０１１４】そこで数式１から数式３５までを用いるこ
とにより、図２で示された画像記憶手段１２、エッジ情
報生成手段１４、エッジ情報形成手段１５、領域正規化
手段２７正規化画像保持手段２８、及び位置／大きさ検
出手段１７を実装するデータ処理装置１１０の全ての配
列演算ユニット４０のアルゴリズムを記述することがで
きる。以下では、データ処理装置１１０中の任意の配列
演算ユニット４０のアルゴリズムを用いて、画像記憶手
段１２、エッジ情報生成手段１４、エッジ情報形成手段
１５、領域正規化手段２７正規化画像保持手段２８、及
び位置／大きさ検出手段１７を説明する。

【０１１５】データ処理装置１１０によって実現される
画像記憶手段１２がデジタル画像１１１を記憶するため
に、格子状に配列された配列演算ユニット４０は同期し
て並列に動作する。格子上ｉ行ｊ列に配置された配列演
算ユニット４０をＡＯＵ_ｉｊとすると、ＡＯＵ_ｉｊのア
ルゴリズムは図４のようになる。

【０１１６】ステップ１２０１で、ＡＯＵ_ｉｊを格子上
のｉ行ｊ列に配置する。これは論理的であれ物理的であ
れ、ＡＯＵ_ｉｊの近傍を決定するために必要である。

【０１１７】ステップ１２０２で、ＡＯＵ_ｉｊの近傍や
変数の初期値を設定する。

【０１１８】ステップ１２０３で、順次入力されるデジ
タル画像１１１が無くなったかどうか判断する。もしデ
ジタル画像１１１が無ければ（ステップ１２０３：ＹＥ
Ｓ）、アルゴリズムを終了する。もしデジタル画像１１
１があれば（ステップ１２０３：ＮＯ）、ステップ１２
０４に移行する。ただし特定の画像サイズのみに対して
配列演算ユニット４０を実装する場合には、無限ループ
にしても良い。

【０１１９】ステップ１２０４で、デジタル画像１１１
が準備されるまで入力待ちをする。

【０１２０】ステップ１２０５で、デジタル画像１１１
のｉ行ｊ列の画素を帯域数分入力する。このためＡＯＵ
_ｉｊは少なくとも帯域数分の画像データを記憶するメモ
リ４２を必要とする。

【０１２１】ステップ１２０６で、入力待ちの間出力で
きるように、デジタル画像１１１のｉ行ｊ列の画素を記
憶する。

【０１２２】ステップ１２０７で、デジタル画像１１１
の帯域画素値を出力する。その後ステップ１２０３に戻
る。

【０１２３】これにより、配列演算ユニット４０から構
成されるデータ処理装置１１０を用いて、画像記憶手段
１２はデジタル画像１１１を記憶することができる。

【０１２４】データ処理装置１１０によって実現される
エッジ情報生成手段１４がデジタル画像１１１から粗エ
ッジ情報画像１１３を生成するために、格子状に配列さ
れた配列演算ユニット４０は同期して並列に動作する。
格子上ｉ行ｊ列に配置された配列演算ユニット４０をＡ
ＯＵ_ｉｊとすると、エッジ情報生成手段１４に対するＡ
ＯＵ_ｉｊのアルゴリズムは図５のようになる。

【０１２５】ステップ１４０１で、ＡＯＵ_ｉｊを格子上
のｉ行ｊ列に配置する。これは論理的であれ物理的であ
れ、ＡＯＵ_ｉｊの近傍を決定するために必要である。

【０１２６】ステップ１４０２で、ＡＯＵ_ｉｊの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズｑを個別に４か８に決めても良
いし、全部を４か８に統一しても良い。本発明のエッジ
情報生成手段１４が生成する粗エッジ情報１１２の正確
さを上げるためには近傍サイズｑを全て８に設定するこ
とが望ましい。しかしながら粗エッジ情報１１２を生成
するための計算時間の制約や、デジタル画像１１１の帯
域数等により、エッジ情報生成手段１４は必要に応じて
適宜近傍サイズを変えることで対処することができる。

【０１２７】ステップ１４０３で、デジタル画像１１１
が終了したかどうか判断する。もしデジタル画像１１１
が無ければ（ステップ１４０３：ＹＥＳ）、アルゴリズ
ムを終了する。もしデジタル画像１１１があれば（ステ
ップ１４０３：ＮＯ）、アルゴリズムを終了する。ただ
し特定の帯域数と画像サイズに対して配列演算ユニット
４０を実装する場合には、無限ループにしても良い。

【０１２８】ステップ１４０４で、デジタル画像１１１
のｉ行ｊ列の画素を帯域数分入力する。これは、ＡＯＵ
_ｉｊがデジタル画像１１１のｉ行ｊ列の画素を一括して
処理するためである。このためＡＯＵ_ｉｊは少なくとも
帯域数分の画像データを記憶するメモリ４２を必要とす
る。

【０１２９】ステップ１４０５で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、入力した
デジタル画像１１１の各帯域画素値に対して関数Ｓ
_ｉｊｋ（ｘ）に従い平滑化を行う。平滑化された帯域画
素値は平滑化画像の帯域画素値として扱われる。ここで
関数Ｓ_ｉｊｋ（ｘ）は必要に応じて数回繰り返しても良
い。一般的なカラー画像の場合、この回数は２回で十分
である。

【０１３０】ステップ１４０６で、平滑化画像の各帯域
画素値に対して関数Ｌ_ｉｊｋ（ｘ）に従い対数変換を行
う。対数変換された帯域画素値は対数変換画像の帯域画
素値として扱われる。

【０１３１】ステップ１４０７で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、対数変換
画像の各帯域画素値に対して関数Ｅ_ｉｊｋ（ｘ）に従い
鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭化画像の
帯域画素値として扱われる。

【０１３２】ステップ１４０８で、鮮鋭化画像の各帯域
画素値に対して関数Ｄ_ｉｊｋ（ｘ，ｙ）に従い１入力前
鮮鋭化画像の各帯域画素値を引く。差分を計算された帯
域画素値は時間差分画像の帯域画素値として扱われる。

【０１３３】ステップ１４０９で、１入力前鮮鋭化画像
の各帯域画素値を鮮鋭化画像の対応する各帯域画素値で
置き換える。

【０１３４】ステップ１４１０で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、時間差分
画像の各帯域画素値に対してオペレータ∇^２ _ｉｊｋ ｘに
従いラプラシアンの計算を行う。ラプラシアンを計算さ
れた帯域画素値は時間差分ラプラシアン画像の帯域画素
値として扱われる。

【０１３５】ステップ１４１１で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、時間差分
ラプラシアン画像の各帯域画素値に対して関数Ｚ_ｉｊｋ
（ｘ）に従いゼロ点を抽出する。ゼロ点を抽出された帯
域画素値は時間差分ゼロ点画像の帯域画素値として扱わ
れる。

【０１３６】ステップ１４１２で、時間差分ラプラシア
ン画像の各帯域画素値に対して関数Ｂ_ｉｊ1（ｘ）に従
い各帯域画素値のうち最大値を検出する。検出された最
大値帯域画素値は最大値時間差分ゼロ点画像の帯域画素
値として扱われる。なお便宜上帯域数は１である。

【０１３７】ステップ１４１３で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、鮮鋭化画
像の各帯域画素値に対してオペレータ∇^２ _ｉｊｋ ｘに従
いラプラシアンの計算を行う。ラプラシアンを計算され
た帯域画素値はラプラシアン画像の帯域画素値として扱
われる。

【０１３８】ステップ１４１４で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、ラプラシ
アン画像の各帯域画素値に対して関数Ｚ_ｉｊｋ（ｘ）に
従いゼロ点を抽出する。ゼロ点を抽出された帯域画素値
はゼロ点画像の帯域画素値として扱われる。

【０１３９】ステップ１４１５で、ラプラシアン画像の
各帯域画素値に対して関数Ｂ_ｉｊ1（ｘ）に従い各帯域
画素値のうち最大値を検出する。検出された最大帯域画
素値は最大値ゼロ点画像の帯域画素値として扱われる。
なお便宜上帯域数は１である。

【０１４０】ステップ１４１６で、ラプラシアン画像の
各帯域画素値と時間差分ラプラシアン画像の各帯域画素
値に対して関数Ｍ_ｉｊｋ（ｘ，ｙ）に従い各々の画像の
同じ位置にある帯域画素値のうち最大値を検出する。検
出された最大帯域画素値は混成ゼロ点画像の帯域画素値
として扱われる。なお便宜上帯域数は１である。

【０１４１】ステップ１４１７で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、混成ゼロ
点画像の帯域画素値に対して関数Ｆ_ｉｊｋ（ｘ）に従い
孔を除去する。孔を除去された帯域画素値は孔除去混成
ゼロ点画像の帯域画素値として扱われる。なお便宜上帯
域数は１である。ここで関数Ｆ_ｉｊｋ（ｘ）は必要に応
じて数回繰り返しても良い。一般的なカラー画像の場
合、この回数は１回で十分である。

【０１４２】ステップ１４１８で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、孔除去混
成ゼロ点画像の帯域画素値に対して関数Ａ_ｉｊｋ（ｘ）
に従い孤立点および孤立孔を除去する。孤立点および孤
立孔を除去された帯域画素値はノイズ除去混成ゼロ点画
像の帯域画素値として扱われる。なお便宜上帯域数は１
である。

【０１４３】ステップ１４１９で、ノイズ除去混成ゼロ
点画像の帯域画素値に対して関数Ｉ _ｉｊｋ（ｘ）に従い
０と１を反転させる。反転された帯域画素値は粗エッジ
情報画像１１３の帯域画素値として扱われる。

【０１４４】ステップ１４２０で、粗エッジ情報画像１
１３の帯域画素値を出力する。その後ステップ１４０３
に戻る。

【０１４５】これにより、配列演算ユニット４０から構
成されるデータ処理装置１１０を用いて、エッジ情報生
成手段１４はデジタル画像１１１から粗エッジ情報画像
１１３を生成することができる。

【０１４６】図６に示すように、データ処理装置１１０
によって実現されるエッジ情報形成手段１５が粗エッジ
情報１１２から構成される粗エッジ情報画像１１３、及
びデジタル画像１１１から、形成エッジ情報１１４から
構成される形成エッジ情報画像１１５を生成するため
に、格子状に配列された配列演算ユニット４０は同期し
て並列に動作する。格子上ｉ行ｊ列に配置された配列演
算ユニット４０をＡＯＵ _ｉｊとすると、ＡＯＵ_ｉｊのア
ルゴリズムは図７のようになる。

【０１４７】ステップ１５０１で、ＡＯＵ_ｉｊを格子上
のｉ行ｊ列に配置する。これは論理的であれ物理的であ
れ、ＡＯＵ_ｉｊの近傍を決定するために必要である。

【０１４８】ステップ１５０２で、ＡＯＵ_ｉｊの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズｑを個別に４か８に決めても良
いし、全部を４か８に統一しても良い。本発明のエッジ
情報形成手段１５が形成した形成エッジ情報１１４の正
確さを上げるためには近傍サイズｑを全て８に設定する
ことが望ましい。しかしながら粗エッジ情報１１２を形
成するための計算時間の制約や、入力されるデジタル画
像１１１の帯域数等により、エッジ情報形成手段１５は
必要に応じて適宜近傍サイズを変えることで対処するこ
とができる。

【０１４９】ステップ１５０３で、順次入力されるデジ
タル画像１１１又は粗エッジ情報画像１１３が無くなっ
たかどうか判断する。もしデジタル画像１１１若しくは
粗エッジ情報画像１１３のいずれかが無ければ（ステッ
プ１５０３：ＹＥＳ）、アルゴリズムを終了する。もし
デジタル画像１１１若しくは粗エッジ情報画像１１３の
いずれかがあれば（ステップ１５０３：ＮＯ）、ステッ
プ１５０４に移行する。ただし特定の帯域数と画像サイ
ズに対して配列演算ユニット４０を実装する場合には、
無限ループにしても良い。

【０１５０】ステップ１５０４で、デジタル画像１１１
及び粗エッジ情報画像１１３のｉ行ｊ列の画素を帯域数
分入力する。これは、ＡＯＵ_ｉｊがデジタル画像１１１
及び粗エッジ情報画像１１３のｉ行ｊ列の画素を一括し
て処理するためである。このためＡＯＵ_ｉｊは少なくと
も帯域数分の画像データを記憶するメモリ４２を必要と
する。

【０１５１】ステップ１５０５で、デジタル画像１１１
のｉ行ｊ列の画素と粗エッジ情報画像１１３のｉ行ｊ列
の画素を分離する。これは、ＡＯＵ_ｉｊがデジタル画像
１１１のｉ行ｊ列の画素と粗エッジ情報画像１１３のｉ
行ｊ列の画素を各々独立した画像の画素として処理する
ためである。もしデジタル画像１１１のｉ行ｊ列の画素
と粗エッジ情報画像１１３のｉ行ｊ列の画素が初めから
分離されて入力されていれば、特に何もしない。

【０１５２】ステップ１５０６で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、入力した
デジタル画像１１１の各帯域画素値に対して関数Ｓ
_ｉｊｋ（ｘ）に従い平滑化を行う。平滑化された帯域画
素値は平滑化画像の帯域画素値として扱われる。ここで
関数Ｓ_ｉｊｋ（ｘ）は必要に応じて数回繰り返しても良
い。一般的なカラー画像の場合、この回数は２回で十分
である。

【０１５３】ステップ１５０７で、平滑化画像の各帯域
画素に対して関数Ｌ_ｉｊｋ（ｘ）に従い対数変換を行
う。対数変換された帯域画素値は対数変換画像の帯域画
素値として扱われる。

【０１５４】ステップ１５０８で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、対数変換
画像の各帯域画素値に対して関数Ｅ_ｉｊｋ（ｘ）に従い
鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭化画像の
帯域画素値として扱われる。

【０１５５】ステップ１５０９で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、鮮鋭化画
像の各帯域画素値に対してオペレータ∇^２ _ｉｊｋ ｘに従
いラプラシアンの計算を行う。ラプラシアンを計算され
た帯域画素値はラプラシアン画像の帯域画素値として扱
われる。

【０１５６】ステップ１５１０で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、ラプラシ
アン画像の各帯域画素値に対して関数Ｚ_ｉｊｋ（ｘ）に
従いゼロ点を抽出する。ゼロ点を抽出された帯域画素値
はゼロ点画像の帯域画素値として扱われる。

【０１５７】ステップ１５１１で、ゼロ点画像の各帯域
画素値に対して関数Ｂ_ｉｊ1（ｘ）に従い各帯域画素値
のうち最大値を検出する。検出された最大帯域画素値は
最大値ゼロ点画像の帯域画素値として扱われる。なお便
宜上帯域数は１である。

【０１５８】ステップ１５１２で、最大値ゼロ点画像の
帯域画素値に対して関数Ｉ_ｉｊｋ（ｘ）に従い０と１を
反転させる。反転された帯域画素値は基礎エッジ情報画
像の帯域画素値として扱われる。

【０１５９】ステップ１５１３で、入力した粗エッジ情
報画像１１３の帯域画素値は初め整形粗エッジ情報画像
の帯域画素値として扱われ、ＡＯＵ_ｉｊが近傍の配列演
算ユニット４０と通信することにより、基礎エッジ情報
画像の帯域画素値を用いて、整形粗エッジ情報画像の帯
域画素値に対して関数Ｑ_ｉｊｋ（ｘ，ｙ）に従い整形を
行う。整形された帯域画素値は再び整形粗エッジ情報画
像の帯域画素値として扱われる。ここで関数Ｑ
_ｉｊｋ（ｘ，ｙ）は本来整形粗エッジ情報画像の帯域画
素値が変化しなくなるまで繰り返される。ただし計算時
間の制約、入力される粗エッジ情報画像１１３の品質、
形成される形成エッジ情報画像１１５に求められる品質
等により、整形処理は適当な繰り返し回数で計算を打ち
切っても良い。

【０１６０】ステップ１５１４で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、整形粗エ
ッジ情報画像の帯域画素値に対して関数Ｃ_ｉｊｋ（ｘ）
に従い線幅補完を行う。補完された帯域画素値は形成エ
ッジ情報画像１１５の帯域画素値として扱われる。

【０１６１】ステップ１５１５で、形成エッジ情報画像
１１５の帯域画素値を出力する。その後ステップ１５０
３に戻る。

【０１６２】これにより、配列演算ユニット４０から構
成されるデータ処理装置１１０を用いて、エッジ情報形
成手段１５は粗エッジ情報画像１１３を形成エッジ情報
画像１１５に形成することができる。

【０１６３】ここで粗エッジ情報画像１１３から形成エ
ッジ情報画像１１５への形成とは、ある場面を撮影した
低解像度のデジタル画像１１１から生成されたエッジ情
報から、同じ場面を撮影した高解像度のデジタル画像１
１１から生成されるべきエッジ情報を推定することであ
ると見なすことができる。そこで自然数ｎに対して、図
８に示すように、デジタル画像１１１の解像度を１／ｎ
に低くした低解像度デジタル画像１１６から、エッジ情
報生成手段１４を用いて低解像度粗エッジ情報画像１１
７を生成した場合、低解像度粗エッジ情報画像１１７を
ｎ倍拡大することにより粗エッジ情報画像１１３を生成
することができる。ただしデジタル画像１１１の解像度
を１／ｎにするためには、水平及び垂直方向に対して単
純にデジタル画像１１１の連続するｎ個のうち１個を抽
出すれば良い。また低解像度粗エッジ情報画像１１７を
ｎ倍拡大するためには、水平及び垂直方向に対して単純
に低解像度粗エッジ情報画像１１７の連続する画素の間
に帯域画素値が０である画素をｎ−１個埋めれば良い。
このときｎがあまり大きくなければ、エッジ情報形成手
段１５を実現するデータ処理装置１１０が、低解像度粗
エッジ情報画像１１７を拡大した粗エッジ情報画像１１
３を形成した形成エッジ情報画像１１５と、エッジ情報
形成手段１５を実現するデータ処理装置１１０が、デジ
タル画像１１１から生成した粗エッジ情報画像１１３を
形成した形成エッジ情報画像１１５とは、ほとんど同じ
ものになる。この理由は、エッジ情報形成手段１５がデ
ジタル画像１１１を用いて内部で生成したエッジ情報の
うちどのエッジ情報を利用するのか参照するために、エ
ッジ情報形成手段１５が粗エッジ情報画像１１３を用い
ているだけだからである。したがって低解像度粗エッジ
情報画像１１７を拡大した粗エッジ情報画像１１３をエ
ッジ情報形成手段１５に入力した場合、低解像度デジタ
ル画像１１６から低解像度粗エッジ情報画像１１７を生
成するエッジ情報生成手段１４を実現するデータ処理装
置１１０は計算量又はハードウェア量を低減することが
できる。

【０１６４】さらにこの方法を発展させると、図９に示
すように、デジタル画像１１１の解像度を低くした低解
像度デジタル画像１１６から生成した低解像度粗エッジ
情報画像１１７のうち、粗エッジ情報１１２の周辺を切
り出した低解像度切出粗エッジ情報画像１１８を生成す
ることができる。この低解像度切出粗エッジ情報画像１
１８を拡大した切出粗エッジ情報画像１１９と、デジタ
ル画像１１１のうち同じ領域を切り出した切出デジタル
画像１２０をエッジ情報形成手段１５を実現するデータ
処理装置１１０に入力すると、切出形成エッジ情報画像
１２１を生成することができる。この場合、エッジ情報
形成手段１５を実現するデータ処理装置１１０はハード
ウェア量を低減することができる。なお視覚装置２は、
切出デジタル画像１２０が常にデジタル画像１１１の中
央になるように移動カメラ１の向き及び倍率を変化させ
るためのものであると見なすこともできる。

【０１６５】図１０に示すように、データ処理装置１１
０によって実現される領域正規化手段２７が物体領域１
４１を含む物体領域画像１４２、及び物体領域１４１と
重なる分離物体領域１４３を含むデジタル画像１１１か
ら正規化領域１４４を含む正規化画像１４５を生成する
ために、格子状に配列された配列演算ユニット４０は同
期して並列に動作する。格子上ｉ行ｊ列に配置された配
列演算ユニット４０をＡＯＵ_ｉｊとすると、ＡＯＵ_ｉｊ
のアルゴリズムは図１１のようになる。

【０１６６】ステップ２７０１で、ＡＯＵ_ｉｊを格子上
のｉ行ｊ列に配置する。これは論理的であれ物理的であ
れ、ＡＯＵ_ｉｊの近傍を決定するために必要である。

【０１６７】ステップ２７０２で、ＡＯＵ_ｉｊの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズｑを個別に決めても良いし、全
部を統一しても良い。本発明の領域正規化手段２７が生
成した正規化画像１４５の正確さを上げるためには近傍
サイズｑを全て大きな値に設定することが望ましい。し
かしながら分離物体領域１４３を正規化するための計算
時間の制約や、入力されるデジタル画像１１１のサイズ
等により、領域正規化手段２７は必要に応じて適宜近傍
サイズを変えることで対処することができる。

【０１６８】ステップ２７０３で、順次入力される物体
領域画像１４２又はデジタル画像１１１が無くなったか
どうか判断する。もし物体領域画像１４２又はデジタル
画像１１１が無ければ（ステップ２７０３：ＹＥＳ）、
アルゴリズムを終了する。もし物体領域画像１４２又は
デジタル画像１１１があれば（ステップ２７０３：Ｎ
Ｏ）、ステップ２７０４に移行する。ただし特定の帯域
数及び画像サイズのみに対して配列演算ユニット４０を
実装する場合には、無限ループにしても良い。

【０１６９】ステップ２７０４で、物体領域画像１４２
のｉ行ｊ列の画素を１帯域分と、デジタル画像１１１の
ｉ行ｊ列の画素を帯域数分を入力する。これは、ＡＯＵ
_ｉｊが物体領域画像１４２のｉ行ｊ列の画素とデジタル
画像１１１のｉ行ｊ列の画素を一括して処理するためで
ある。このためＡＯＵ_ｉｊは少なくとも総帯域数分の画
像データを記憶するメモリ４２を必要とする。

【０１７０】ステップ２７０５で、物体領域画像１４２
のｉ行ｊ列の画素とデジタル画像１１１のｉ行ｊ列の画
素を分離する。これは、ＡＯＵ_ｉｊが物体領域画像１４
２のｉ行ｊ列の画素とデジタル画像１１１のｉ行ｊ列の
画素を各々独立した画像の画素として処理するためであ
る。もし物体領域画像１４２のｉ行ｊ列の画素とデジタ
ル画像１１１のｉ行ｊ列の画素が初めから分離されて入
力されていれば、特に何もしない。物体領域画像１４２
及びデジタル画像１１１は各々更新物体領域画像及び更
新デジタル画像にコピーされる。

【０１７１】ステップ２７０６で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、更新物体
領域画像の各帯域画素値に対して関数Ｒ_ｉｊ１（ｘ）に
従い移動量を計算する。移動量を画像化した帯域画素値
は移動量画像の帯域画素値として扱われる。

【０１７２】ステップ２７０７で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、更新物体
領域画像の各帯域画素値に対して関数Ｈ_ｉｊｋ（ｘ，
ｙ）に従い移動可能な移動先帯域画素値を見つけること
ができる。移動可能な移動先であるかどうかを表す値は
移動可能画像の帯域画素値として扱われる。

【０１７３】ステップ２７０８で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、更新物体
領域画像の各帯域画素値に対して関数Ｕ_ｉｊｋ（ｘ，
ｙ）に従い移動可能先に移動させる。移動した帯域画素
値は新たに更新物体領域画像の帯域画素値として扱われ
る。

【０１７４】ステップ２７０９で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、更新デジ
タル画像の各帯域画素値に対して関数Ｕ_ｉｊｋ（ｘ，
ｙ）に従い移動可能先に移動させる。移動した帯域画素
値は新たに更新デジタル画像の帯域画素値として扱われ
る。

【０１７５】ステップ２７１０で、ステップ２７０６か
らステップ２７０９までの繰り返し回数を表す移動回数
が指定回数に達したかどうか判断する。もし移動回数が
指定回数に達していなければ（ステップ２７１０：Ｎ
Ｏ）、ステップ２７０６に戻る。もし移動回数が指定回
数に達していれば（ステップ２７１０：ＹＥＳ）、ステ
ップ２７１１に移行する。なおこの指定回数はデジタル
画像１１１のサイズやデジタル画像１１１の分離物体領
域１４３のサイズ、さらには近傍のサイズｑにより決定
される。利用目的に応じて適切なパラメータを設定すれ
ば、指定回数を大目に決定しても問題はないが、あまり
指定回数を多くしすぎると、正規化に要する時間が長く
なる。

【０１７６】ステップ２７１１で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、移動を完
了した更新物体領域画像の各帯域画素値に対して関数Ｖ
_{ｉｊ ｋ}（ｘ，ｙ）に従い近傍の平均値で補間する。なお
ｘとｙは共に更新物体領域画像となる。平均値で埋めら
れた帯域画素値は正規化された更新物体領域画像の帯域
画素値として扱われる。

【０１７７】ステップ２７１２で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、移動を完
了した更新デジタル画像の各帯域画素値に対して関数Ｖ
_{ｉｊ ｋ}（ｘ，ｙ）に従い近傍の平均値で埋める。なおｘ
は更新デジタル画像となり、ｙは更新物体領域画像とな
る。平均値で埋められた帯域画素値は正規化された更新
デジタル画像の帯域画素値として扱われる。

【０１７８】ステップ２７１３で、ステップ２７１１か
らステップ２７１２までの繰り返し回数を表す補間回数
が指定回数に達したかどうか判断する。もし補間回数が
指定回数に達していなければ（ステップ２７１３：Ｎ
Ｏ）、ステップ２７１１に戻る。もし補間回数が指定回
数に達していれば（ステップ２７１３：ＹＥＳ）、ステ
ップ２７１４に移行する。一般的に補間回数は近傍サイ
ズｑの半分程度の回数で十分である。

【０１７９】ステップ２７１４で、ステップ２７０６か
らステップ２７１３までの繰り返し回数を表す継続回数
が指定回数に達したかどうか判断する。もし継続回数が
指定回数に達していなければ（ステップ２７１４：Ｎ
Ｏ）、ステップ２７０６に戻る。もし継続回数が指定回
数に達していれば（ステップ２７１４：ＹＥＳ）、ステ
ップ２７１５に移行する。なおこの指定回数はデジタル
画像１１１のサイズやデジタル画像１１１の分離物体領
域１４３のサイズ、さらには近傍のサイズｑにより決定
される。利用目的に応じて適切なパラメータを設定すれ
ば、指定回数を大目に決定しても問題はないが、あまり
指定回数を多くしすぎると、正規化に要する時間が長く
なる。

【０１８０】ステップ２７１５で、更新デジタル画像の
帯域画素値を正規化画像１４５の帯域画素値として出力
する。その後ステップ２７０３に戻る。

【０１８１】これにより、配列演算ユニット４０から構
成されるデータ処理装置１１０を用いて、領域正規化手
段２７が物体領域画像１４２及びデジタル画像１１１か
ら正規化画像１４５を生成することができる。

【０１８２】データ処理装置１１０によって実現される
正規化画像保持手段２８が正規化画像１４５を記憶する
ために、格子状に配列された配列演算ユニット４０は同
期して並列に動作する。格子上ｉ行ｊ列に配置された配
列演算ユニット４０をＡＯＵ _ｉｊとすると、ＡＯＵ_ｉｊ
のアルゴリズムは図１２のようになる。

【０１８３】ステップ２８０１で、ＡＯＵ_ｉｊを格子上
のｉ行ｊ列に配置する。これは論理的であれ物理的であ
れ、ＡＯＵ_ｉｊの近傍を決定するために必要である。

【０１８４】ステップ２８０２で、ＡＯＵ_ｉｊの近傍や
変数の初期値を設定する。

【０１８５】ステップ２８０３で、順次入力される正規
化画像１４５が無くなったかどうか判断する。もし正規
化画像１４５が無ければ（ステップ２８０３：ＹＥ
Ｓ）、アルゴリズムを終了する。もし正規化画像１４５
があれば（ステップ２８０３：ＮＯ）、ステップ２８０
４に移行する。ただし特定の画像サイズのみに対して配
列演算ユニット４０を実装する場合には、無限ループに
しても良い。

【０１８６】ステップ２８０４で、正規化画像１４５の
ｉ行ｊ列の画素を帯域数分入力する。このためＡＯＵ
_ｉｊは少なくとも帯域数分の画像データを記憶するメモ
リ４２を必要とする。

【０１８７】ステップ２８０５で、出力先の装置が必要
とすれば正規化画像１４５のフォーマットを変換する。
特に正規化画像１４５の帯域数を１にしたり、デジタル
画像１１１の帯域数が４以上の場合に正規化画像１４５
の帯域数を３にして、アナログ信号を生成しやすくする
場合に便利である。さもなくば何もしない。

【０１８８】ステップ２８０６で、処理速度の異なる出
力先の装置に画像データを確実に送信できるように、正
規化画像１４５のｉ行ｊ列の画素を記憶する。

【０１８９】ステップ２８０７で、正規化画像１４５の
帯域画素値を出力する。その後ステップ２８０３に戻
る。

【０１９０】これにより、配列演算ユニット４０から構
成されるデータ処理装置１１０を用いて、正規化画像保
持手段２８が正規化画像１４５を出力することができ
る。

【０１９１】図１３に示すように、データ処理装置１１
０によって実現される位置／大きさ検出手段１７が粗エ
ッジ情報１１２を画素とする粗エッジ情報画像１１３か
ら重複情報１３１を画素とする重複情報画像１３２を生
成するために、格子状に配列された配列演算ユニット４
０は同期して並列に動作する。格子上ｉ行ｊ列に配置さ
れた配列演算ユニット４０をＡＯＵ_ｉｊとすると、ＡＯ
Ｕ_ｉｊのアルゴリズムは図１４のようになる。

【０１９２】ステップ１７０１で、ＡＯＵ_ｉｊを格子上
のｉ行ｊ列に配置する。これは論理的であれ物理的であ
れ、ＡＯＵ_ｉｊの近傍を決定するために必要である。

【０１９３】ステップ１７０２で、ＡＯＵ_ｉｊの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズｑを個別に決めても良いし、全
部を統一しても良い。本発明のデータ処理装置１１０が
生成した重複情報画像１３２の正確さを上げるためには
近傍サイズｑを全て大きな値に設定することが望まし
い。しかしながら物体の粗エッジ情報１１２の重心を計
算するための計算時間の制約や、入力される粗エッジ情
報画像１１３のサイズ等により、位置／大きさ検出手段
１７は必要に応じて適宜近傍サイズを変えることで対処
することができる。

【０１９４】ステップ１７０３で、順次入力される粗エ
ッジ情報画像１１３が無くなったかどうか判断する。も
し粗エッジ情報画像１１３が無ければ（ステップ１７０
３：ＹＥＳ）、アルゴリズムを終了する。もし粗エッジ
情報画像１１３があれば（ステップ１７０３：ＮＯ）、
ステップ１７０４に移行する。ただし特定の画像サイズ
のみに対して配列演算ユニット４０を実装する場合に
は、無限ループにしても良い。

【０１９５】ステップ１７０４で、粗エッジ情報画像１
１３のｉ行ｊ列の画素を１帯域分入力する。このためＡ
ＯＵ_ｉｊは少なくとも１帯域分の画像データを記憶する
メモリ４２を必要とする。

【０１９６】ステップ１７０５で、粗エッジ情報画像１
１３の粗エッジ情報１１２を重複情報画像１３２の重複
情報１３１に変換する。重複情報１３１は１か０に相当
する帯域画素値となる。

【０１９７】ステップ１７０６で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、重複情報
画像１３２の各帯域画素値に対して関数Δ_ｉｊ１（ｘ）
に従い移動量を計算する。移動量を画像化した帯域画素
値は移動量画像の帯域画素値として扱われる。

【０１９８】ステップ１７０７で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、重複情報
画像１３２の各帯域画素値に対して関数Λ_ｉｊ１（ｘ）
に従い移動させる。移動した帯域画素値は新たに重複情
報画像１３２の帯域画素値として扱われる。

【０１９９】ステップ１７０８で、ステップ１７０５か
らステップ１７０７までの繰り返し回数を表す移動回数
が指定回数に達したかどうか判断する。もし移動回数が
指定回数に達していなければ（ステップ１７０８：Ｎ
Ｏ）、ステップ１７０５に戻る。もし移動回数が指定回
数に達していれば（ステップ１７０８：ＹＥＳ）、ステ
ップ１７０９に移行する。なおこの指定回数は形成エッ
ジ情報画像１１５のサイズや形成エッジ情報１１４が表
す物体のサイズ、さらには近傍のサイズｑにより決定さ
れる。利用目的に応じて適切なパラメータを設定すれ
ば、指定回数を大目に決定しても問題はないが、あまり
指定回数を多くしすぎると、位置及び大きさの検出に要
する時間が長くなる。

【０２００】ステップ１７０９で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、重複情報
画像１３２の各帯域画素値に対して関数Δ’
_ｉｊ１（ｘ）に従い移動量を計算する。移動量を画像化
した帯域画素値は移動量画像の帯域画素値として扱われ
る。

【０２０１】ステップ１７１０で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、重複情報
画像１３２の各帯域画素値に対して関数Λ’
_ｉｊ１（ｘ）に従い移動させる。移動した帯域画素値は
新たに重複情報画像１３２の帯域画素値として扱われ
る。

【０２０２】ステップ１７１１で、重複情報画像１３２
の帯域画素値を出力する。その後ステップ１７０３に戻
る。

【０２０３】なお重複情報画像１３２の各重複情報１３
１はその位置を中心とした周辺にある粗エッジ情報１１
２の総数を表すので、結果的にその位置を中心とした物
体の大きさを意味することになる。

【０２０４】これにより、配列演算ユニット４０から構
成されるデータ処理装置１１０を用いて、位置／大きさ
検出手段１７は粗エッジ情報画像１１３から重複情報画
像１３２を生成することができる。

【０２０５】さて、ここまでは画像記憶手段１２、エッ
ジ情報生成手段１４、エッジ情報形成手段１５、領域正
規化手段２７、正規化画像保持手段２８、及び位置／大
きさ検出手段１７のアルゴリズムを記述してきた。これ
らの手段は入力した画像に対して近傍処理をして、画像
を出力するものである。しかしながらパターンマッチン
グ手段３８は、多数のテンプレート画像１４６の中から
入力画像に類似したものを画素毎に選択しなければなら
ない。そこで幾つかの数式を加えることにより、以下で
は、データ処理装置１１０によって実現されるパターン
マッチング手段３８について説明する。

【０２０６】まず正規化画像１４５をｘとし、ｎ個のテ
ンプレート画像１４６をｙ ^１、ｙ ^２、、、ｙ ^ｈ、、、ｙ
^ｎとする。自然数ｇを用いると、マッチング結果画像１
４７のｉ行ｊ列のマッチング結果δ_ｉｊ１は、数式３６
に従って正規化画像１４５及びテンプレート画像１４６
のｉ行ｊ列の画素を比較し、正規化画像１４５の画素に
最も似ている画素を有するテンプレート画像１４６の番
号を指し示す。なおマッチング結果画像１４７は単帯域
画像となるので、便宜上帯域数１の画像として取り扱う
ことにする。したがってマッチング結果δ_ｉｊ１の第３
添字は１となっている。

【０２０７】

【数３６】

【０２０８】ここで数式３６に従って生成されたマッチ
ング結果δ_ｉｊ１はマッチング結果画像１４７全体にお
いて必ずしも統一されていない。テンプレート画像１４
６が多数ある場合、マッチング結果画像１４７はむしろ
モザイク状になる可能性が高い。そこでデータ処理装置
１１０がマッチング結果δ_ｉｊ１とそのｑ近傍内のマッ
チング結果に対するヒストグラムを計算し、マッチング
結果δ_ｉｊ１を収斂する方法を以下に示す。

【０２０９】任意の単帯域画像ｘがマッチング結果画像
１４７である場合、自然数ｇ、実数ｕとｖを用いると、
マッチング結果画像１４７は数式３７及び３８に従って
更新される。なおマッチング結果画像１４７は単帯域画
像となるので、便宜上帯域数１の画像として取り扱うこ
とにする。したがって関数Ψ_ｉｊ１（ｘ）の第３添字は
１となっている。

【０２１０】

【数３７】

【０２１１】

【数３８】

【０２１２】マッチング結果画像１４７が変化しなくな
るまでデータ処理装置１１０が数式３７及び３８を繰り
返し計算することにより、マッチング結果画像１４７全
体のマッチング結果を収斂することができる。このとき
正規化画像１４５とテンプレート画像１４６の組み合わ
せにより、マッチング結果は次のように収斂する。もし
正規化画像１４５の約半分の画素が特定のテンプレート
画像１４６の画素に最も類似していれば、マッチング結
果画像１４７の殆んどのマッチング結果はこの特定のテ
ンプレート画像１４６の番号に収斂する。しかしながら
正規化画像１４５の幾つかの画素の塊が幾つかの異なる
テンプレート画像１４６の画素の塊と類似していれば、
マッチング結果画像１４７には０で囲まれた幾つかのテ
ンプレート画像１４６の番号の塊ができる。さらに正規
化画像１４５がテンプレート画像１４６の集合と相関が
なければ、マッチング結果画像１４７のマッチング結果
は殆んど０となる。したがってデータ処理装置１１０に
よって実現されるパターンマッチング手段３８は、正規
化画像１４５に最も似ているテンプレート画像１４６を
特定することは難しいが、テンプレート画像１４６の中
から幾つかの似ているテンプレート画像１４６を選択す
ることができると考えられる。そこでマッチング結果画
像１４７から移動物体の認識結果を生成する過程では、
パターンマッチング手段３８によって生成されたマッチ
ング結果画像１４７が列挙するテンプレート画像１４６
の類似候補の中から、最も有力な候補１つを選択するだ
けで良い。

【０２１３】図１５に示すように、データ処理装置１１
０によって実現されるパターンマッチング手段３８が、
テンプレート画像１４６のうち正規化画像１４５に最も
似ている画像の番号を示すマッチング結果から構成され
るマッチング結果画像１４７を生成するために、格子状
に配列された配列演算ユニット４０は同期して並列に動
作する。格子上ｉ行ｊ列に配置された配列演算ユニット
４０をＡＯＵ_ｉｊとすると、ＡＯＵ_ｉｊのアルゴリズム
は図１６のようになる。

【０２１４】ステップ２９０１で、ＡＯＵ_ｉｊを格子上
のｉ行ｊ列に配置する。これは論理的であれ物理的であ
れ、ＡＯＵ_ｉｊの近傍を決定するために必要である。

【０２１５】ステップ２９０２で、ＡＯＵ_ｉｊの近傍や
変数の初期値を設定する。近傍の設定においては、前記
各関数で使う近傍サイズｑを個別に決めても良いし、全
部を統一しても良い。本発明のデータ処理装置１１０が
生成したマッチング結果画像１４７の正確さを上げるた
めには近傍サイズｑを全て大きな値に設定することが望
ましい。しかしながらマッチング結果を更新するための
計算時間の制約や、入力される正規化画像１４５のサイ
ズ等により、パターンマッチング手段３８は必要に応じ
て適宜近傍サイズを変えることで対処することができ
る。

【０２１６】ステップ２９０３で、順次入力されるテン
プレート画像１４６が無くなったかどうか判断する。も
しテンプレート画像１４６が無ければ（ステップ２９０
３：ＹＥＳ）、ステップ２９０５に移行する。もしテン
プレート画像１４６があれば（ステップ２９０３：Ｎ
Ｏ）、ステップ２９０４に移行する。

【０２１７】ステップ２９０４で、テンプレート画像１
４６のｉ行ｊ列の画素を帯域数分入力する。このためＡ
ＯＵ_ｉｊは少なくとも帯域数とテンプレート画像１４６
の数を掛けた分の画像データを記憶するメモリ４２を必
要とする。その後ステップ２９０３に戻る。

【０２１８】ステップ２９０５で、順次入力される正規
化画像１４５が無くなったかどうか判断する。もし正規
化画像１４５が無ければ（ステップ２９０５：ＹＥ
Ｓ）、アルゴリズムを終了する。もし正規化画像１４５
があれば（ステップ２９０５：ＮＯ）、ステップ２９０
６に移行する。ただし特定の画像サイズのみに対して配
列演算ユニット４０を実装する場合には、無限ループに
しても良い。

【０２１９】ステップ２９０６で、正規化画像１４５の
ｉ行ｊ列の画素を帯域数分入力する。このためＡＯＵ
_ｉｊは少なくとも帯域数分の画像データを記憶するメモ
リ４２を必要とする。

【０２２０】ステップ２９０７で、正規化画像１４５と
テンプレート画像１４６からマッチング結果画像１４７
のマッチング結果δ_ｉｊ１を計算する。マッチング結果
は正規化画像１４５に最も近いテンプレート画像１４６
の番号を表す帯域画素値となる。

【０２２１】ステップ２９０８で、ＡＯＵ_ｉｊが近傍の
配列演算ユニット４０と通信することにより、マッチン
グ結果画像１４７の各帯域画素値に対して関数Ψ_ｉｊ１
（ｘ）に従いマッチング結果を更新する。更新された帯
域画素値は再びマッチング結果画像１４７の帯域画素値
として扱われる。ここで関数Ψ_ｉｊ１（ｘ）は本来マッ
チング結果画像１４７の帯域画素値が変化しなくなるま
で繰り返される。ただし計算時間の制約、入力される正
規化画像１４５の品質、更新されたマッチング結果画像
１４７に求められる品質等により、更新処理は適当な繰
り返し回数で計算を打ち切った方が良い。

【０２２２】ステップ２９０９で、マッチング結果画像
１４７の帯域画素値を出力する。その後ステップ２９０
５に戻る。

【０２２３】これにより、配列演算ユニット４０から構
成されるデータ処理装置１１０を用いて、パターンマッ
チング手段３８は正規化画像１４５からマッチング結果
画像１４７を生成することができる。

【０２２４】ここまでは配列演算ユニット４０から構成
されるデータ処理装置１１０を用いて、近傍処理のみか
らなる画像処理を行う方法について説明してきた。以下
では配列演算ユニット４０から構成されるデータ処理装
置１１０を用いて、近傍処理のみで物体／背景分離手段
１６について説明する。

【０２２５】まず非線形振動子は一般に引き込み現象を
起こす。この引き込み現象とは、リミットサイクルやア
トラクタのような周期的挙動において、異なる周期を持
つ非線形振動子が相互作用して簡単な定数比の周期で振
動するよう制約される現象である。このとき１つの非線
形振動子の振動を変化させると他の非線形振動子の振動
も合わせて変化するので、これらの非線形振動子は同期
している。しかも非線形振動子の相互作用を調整するこ
とにより、お互いの振動の位相差を極力小さくさせたり
大きくさせたりできる。そこでこの相互作用を操作する
と、非線形振動子の一群を、異なる位相を持つ複数のグ
ループに分割することができる。物体／背景分離手段１
６はこのような非線形振動子の引き込み現象を利用し
て、エッジ情報画像中のエッジ情報を境界とするように
物体と背景を分離して、物体領域１４１を表す物体領域
画像１４２を生成する。なお、ここでは非線形振動子と
してファン・デル・ポールを用いた場合を例に説明す
る。

【０２２６】まず、格子状に配列した非線形振動子から
構成される非線形振動子ネットワークにおいて、ｉ行ｊ
列にある非線形振動子をω_ｉｊとすると、非線形振動子
ω_{ｉ ｊ}のｑ近傍にある非線形振動子の集合Ω_ｉｊ（ｑ）
は数式３９によって表される。ただしｑは４、８、２
４、４８、８０、１２０、（２ｒ＋１）^２−１と続く数
列であり、ｒは自然数である。なおネットワークサイズ
をはみ出した非線形振動子が近傍集合Ω_ｉｊ（ｑ）に含
まれる場合には、非線形振動子ω_ｉｊを代用するものと
する。これにより辺縁処理は自動的に行われる。したが
って近傍集合Ω_{ｉ ｊ}（ｑ）の要素の数は常にｑとなる。
なおこのことから判る通り、非線形振動子ネットワーク
は単帯域画像と同じ扱いになる。表現を簡単にするた
め、非線形振動子ネットワークでは添字は幅方向と高さ
方向の２つのみを使う。

【０２２７】

【数３９】

【０２２８】次に、非線形振動子はｑ_ａ近傍に含まれる
近傍集合Ω_ｉｊ（ｑ_ａ）にある非線形振動子との間で数
式４０に従い計算される結合値τ_ｉｊｋｌによって結合
される。なお対数表を用いない場合には数式４１による
近似も可能である。またμ、νは適当な正の定数であ
る。

【０２２９】

【数４０】

【０２３０】

【数４１】

【０２３１】非線形振動子ネットワークの全ての非線形
振動子が完全に同位相で同期した場合、プロセッサ４１
で計算する限り、非線形振動子ω_ｉｊは永久に同位相の
まま動作し続けてしまう。そこで外乱ρ_ｉｊを与えれば
このような状態を回避することができる。外乱としては
疑似乱数を用いることもできるが、数式４２のような簡
単な式で求めても十分である。なおζ_ｉｊはエッジ情報
画像のｉ行ｊ列のエッジ情報の有無を表す。エッジ情報
があれば１とし、なければ０とする。またκは適当な正
の定数である。

【０２３２】

【数４２】

【０２３３】非線形振動子ω_ｉｊが近傍集合Ω_ｉｊ（ｑ
_ａ）の非線形振動子ω_ｋｌと同期するために、数式４３
に従い近傍入力合計σ_ｉｊを計算する。

【０２３４】

【数４３】

【０２３５】ファン・デル・ポール非線形振動子ω_ｉｊ
を構成する２つのパラメータφ_ｉｊとψ_ｉｊは数式４４
及び４５に従って計算される。なおγ、εは適当な正の
定数である。

【０２３６】

【数４４】

【０２３７】

【数４５】

【０２３８】非線形振動子を物体領域１４１と背景領域
に分離するためには全ての非線形振動子の位相のずれを
計算する必要があるが、単純に物体領域１４１と背景領
域の２つに分離するだけであるので、パラメータψ_ｉｊ
がしきい値θ以上か未満かで位相ずれを計算する。物体
領域１４１と背景領域を分離した結果を出力する出力λ
_ｉｊは数式４６によって求められる。なおθは適当な正
の定数である。

【０２３９】

【数４６】

【０２４０】エッジ情報が物体と背景を分離するのに不
十分であった場合にはエッジ情報を補間しなければなら
ない。そのために非線形振動子ω_ｉｊのｑ_ｂ近傍にある
非線形振動子の集合Ω_ｉｊ（ｑ_ｂ）中でいくつの非線形
振動子が位相ずれを起こしているか求める必要がある。
そこで数式４７によって輪郭パラメータη_ｉｊを計算す
る。

【０２４１】

【数４７】

【０２４２】この結果を基にエッジ情報の補間割合を示
す境界パラメータξ_ｉｊを数式４８によって計算する。
なおα、β、η_ｍｉｎ、η_ｍａｘは適当な正の定数であ
る。

【０２４３】

【数４８】

【０２４４】ここでは非線形振動子としてファン・デル
・ポールの場合を説明したが、この他にブラッセレータ
のようなリミットサイクルで安定する非線形振動子や、
ローレンツアトラクタやレスラー方程式のアトラクタを
発生するカオス振動子等、引き込み現象を起こす任意の
非線形振動子でも動作可能である。その場合はパラメー
タφ_ｉｊとψ_ｉｊを各々の非線形振動子のパラメータで
置き換えるなり追加すれば良い。その際に適当なパラメ
ータに近傍入力合計σ_ｉｊと外乱ρ_ｉｊを加えるだけで
ある。但し、カオス振動子の場合には特に外乱ρ_ｉｊを
必要としない。

【０２４５】数式３９から数式４８までを用いることに
より、物体／背景分離手段１６を実装することができる
データ処理装置１１０の全ての配列演算ユニット４０の
アルゴリズムを記述することができる。以下では、デー
タ処理装置１１０中の任意の配列演算ユニット４０のア
ルゴリズムを用いて、物体／背景分離手段１６について
説明する。

【０２４６】図１７に示すように、データ処理装置１１
０によって実現される物体／背景分離手段１６が、三角
形のエッジ情報１５１を用いて三角形の内側領域１５２
と三角形の外側領域１５３に分離するために、格子状に
配列された配列演算ユニット４０は同期して並列に動作
する。格子上ｉ行ｊ列に配置された配列演算ユニット４
０をＡＯＵ_ｉｊとすると、ＡＯＵ_ｉｊのアルゴリズムは
図１８のようになる。

【０２４７】ステップ１６０１で、ＡＯＵ_ｉｊを格子上
のｉ行ｊ列に配置する。

【０２４８】ステップ１６０２で、数式４０及び４１に
基づいて近傍同士ω_ｉｊとω_ｋｌを結合値τ_ｉｊｋｌで
接続する。

【０２４９】ステップ１６０３で、非線形振動子のパラ
メータφ_ｉｊとψ_ｉｊに適当な初期値を設定する。

【０２５０】ステップ１６０４で、順次入力される形成
エッジ情報画像１１５が無くなったかどうか判断する。
もし形成エッジ情報画像１１５が無ければ（ステップ１
６０４：ＹＥＳ）、アルゴリズムを終了する。もし形成
エッジ情報画像１１５があれば（ステップ１６０４：Ｎ
Ｏ）、ステップ１６０５に移行する。ただし特定の帯域
数及び画像サイズのみに対して配列演算ユニット４０を
実装する場合には、無限ループにしても良い。

【０２５１】ステップ１６０５で、形成エッジ情報１１
４のζ_ｉｊを入力する。

【０２５２】ステップ１６０６で、直前に入力した形成
エッジ情報１１４のζ_ｉｊから数式４２に従って外乱ρ
_ｉｊを計算する。

【０２５３】ステップ１６０７で、近傍集合Ω_ｉｊ（ｑ
_ａ）中の非線形振動子ω_ｋｌがある配列演算ユニット４
０のＡＯＵ_ｋｌからζ_ｋｌ、ξ_ｋｌ、ψ_ｋｌを入力し
て、合計値σ_ｉｊを数式４３に従って計算する。

【０２５４】ステップ１６０８で、非線形振動子のパラ
メータφ_ｉｊ、ψ_ｉｊを数式４４及び４５に従って計算
する。即ち、これらの数式に示す微分方程式をルンゲ・
クッタ法で解く。

【０２５５】ステップ１６０９で、非線形振動子の出力
λ_ｉｊを数式４６に従って計算する。ここで、ψ_ｉｊ≧
θであればλ_ｉｊ＝１とし、それ以外であればλ_ｉｊ＝
０とする。

【０２５６】ステップ１６１０で、近傍集合Ω_ｉｊ（ｑ
_ｂ）中の非線形振動子ω_ｋｌがある配列演算ユニット４
０のＡＯＵ_ｋｌからλ_ｋｌを入力して、輪郭パラメータ
η_{ｉ ｊ}を数式４７に従って計算する。

【０２５７】ステップ１６１１で、境界パラメータξ
_ｉｊを数式４８に従って計算する。即ち、この数式に示
す微分方程式を差分法若しくはルンゲ・クッタ法で解
く。

【０２５８】ステップ１６１２で、ステップ１６０６か
らステップ１６１１までの繰り返し回数を表す分離回数
が指定回数に達したかどうか判断する。もし分離回数が
指定回数に達していなければ（ステップ１６１２：Ｎ
Ｏ）、ステップ１６０６に戻る。もし分離回数が指定回
数に達していれば（ステップ１６１２：ＹＥＳ）、ステ
ップ１６１３に移行する。

【０２５９】ステップ１６１３で、物体領域画像１４２
の帯域画素値となる非線形振動子の出力λ_ｉｊを出力す
る。その後ステップ１６０４に戻る。

【０２６０】なおステップ１６１２での分離回数を求め
るには、次のような方法を用いることができる。物体／
背景分離手段１６では、画像サイズが一定であれば非線
形振動子の初期状態に関わらずおおよそ全ての形成エッ
ジ情報１１４においてある一定時間で分離が終了するの
で、事前にこの時間を計っておいてステップ１６０６か
らステップ１６１１までの繰り返し回数を求めておけば
良い。これは非線形振動子の初期状態が一定の範囲内に
あれば、引き込み現象により非線形振動子が同期するま
での時間はあまり大差がないからである。

【０２６１】このように非線形振動子を計算するだけ
で、三角形のエッジ情報１５１を用いて三角形の内側領
域１５２と三角形の外側領域１５３を分離することがで
きるのは、非線形振動子の性質である引き込み現象を利
用しているからである。つまり、２つの非線形振動子を
正の結合値で結合した場合は同位相になろうとし、負の
結合値で結合した場合は位相差が極力大きくなろうとす
る。この性質を用いると、格子状に並んだ非線形振動子
を近傍同士正の結合値で結合することで、直接結合して
いない非線形振動子同士が同位相になる。さらに形成エ
ッジ情報１１４を挟む画素の場所にある非線形振動子同
士を負の結合値で結合すると、エッジ情報の両側がお互
いに位相を極力ずらし合う。このようにすることで、全
ての非線形振動子を結合することもなく三角形のエッジ
情報１５１の内側と外側とで各々異なる位相集合ができ
る。したがって物体／背景分離手段１６は図１７のよう
な三角形の内側領域１５２と三角形の外側領域１５３に
分離する。このとき三角形の内側領域１５２と三角形の
外側領域１５３の位相差は９０度を越えて可能な限り１
８０度に近づき、三角形と背景領域が分離できる。

【０２６２】ここで重要なことは、本実施形態では、形
成エッジ情報１１４が得られる度に次に示すような方法
で結合値を擬似的に変更していることである。まず数式
４０及び４１で定めたように、非線形振動子ω_ｋｌを非
線形振動子ω_ｉｊに結合するための結合値をτ_ｉｊｋｌ
とする（ステップ１６０２参照）。形成エッジ情報１１
４のうちζ_ｉｊとζ_ｋｌは共に、エッジがある場合には
１、ない場合には０である。形成エッジ情報１１４のう
ちζ_ｉｊとζ_ｋｌを入力したら（ステップ１６０５参
照）、配列演算ユニット４０のＡＯＵ_ｋｌからＡＯＵ
_ｉｊに形成エッジ情報１１４ζ_ｋｌが転送され、ＡＯＵ
_ｉｊでは結合値τ_ｉｊｋｌ（１−ζ_ｋｌ）を計算して結
合値τ_ｉｊｋｌの代用とする（ステップ１６０７参
照）。この代用された結合値τ_ｉｊｋｌ（１−ζ_ｋｌ）
に対して境界パラメータξ_ｉｊが０から１までの倍率と
して作用する（ステップ１６０７参照）。

【０２６３】図１９に示す通り、形成エッジ情報１１４
が破線状態の三角形のエッジ情報１５４となった場合に
は破線の補間をする必要がある。まず初めに破線状態の
三角形のエッジ情報１５４を用いてシステムを動作させ
る（ステップ１６０５参照）と、破線状態の三角形のエ
ッジ情報１５４の内側と外側で位相差がおよそ９０度を
越えるようになるが、三角形の内側と外側の境界部分は
不明確である。そこで各ＡＯＵ_ｉｊが非線形振動子の出
力λ_ｉｊを計算する（ステップ１６０９参照）。この出
力λ_ｉｊが１の場合、近傍の非線形振動子のうちλ_ｋｌ
が１である非線形振動子をω_ｋｌとすると、パラメータ
ψ_ｉｊとψ_ｋｌが共にθ以上となる。つまりλ_ｉｊとλ
_ｋｌはおよそ同位相であり、θが正値であれば最悪でも
位相差が９０度を越えることはない。この位相差の最大
値はθの値によって決まり、λ_{ｉ ｊ}とλ_ｋｌが共に１と
なる範囲でθを大きくしていくと、この位相差は０度に
近づいていく。したがってλ_ｉｊとλ_ｋｌと用いると、
近傍の非線形振動子うちおよそ同位相であるものの数を
表す輪郭パラメータη_ｉｊは数式４７に従って計算され
る（ステップ１６１０参照）。続いてこの輪郭パラメー
タη_ｉｊが近傍全体のうち、およそ半分であれば結合値
の倍率である境界パラメータξ_ｉｊを数式４８に従って
減少させ、それ以外であれば数式４８に従って増加させ
る（ステップ１６１１参照）。例えば、８近傍の場合は
３から５の間であれば数式４８に従って境界パラメータ
を減少させるとよい。この過程を繰り返し動作させ続け
ると、図１９に示す破線状態の三角形のエッジ情報１５
４が与えられた場合、破線三角形の内側領域１５５と破
線三角形の外側領域１５６に分離される。

【０２６４】図２０に示す通り、２つの三角形が重なり
あっている場合は、前方の三角形のエッジ情報１５７と
後方の三角形のエッジ情報１５８が得られる。このとき
前方三角形の内側領域１５９と後方三角形の内側領域１
６０と二重三角形の背景領域１６１の３つの領域の非線
形振動子の位相がお互いにずれることにより、３つの領
域に分離される。また図２１に示す通り、２つの重なっ
た円形のエッジ情報１６２が破線であっても、前方円形
の内側領域１６３と後方円形の内側領域１６４と二重円
の背景領域１６５の３つに分離される。

【０２６５】これにより、配列演算ユニット４０から構
成されるデータ処理装置１１０を用いて、物体／背景分
離手段１６は形成エッジ情報画像１１５の形成エッジ情
報１１４を境界として物体領域１４１と背景を分離する
ことができる。

【０２６６】ここまで視覚装置２について説明してき
た。当然のことながらこれらの視覚装置２は汎用のコン
ピュータによって実装することができるが、移動物体を
探索の対象とする場合、移動物体の移動速度によっては
前記手段の各々を高速に実行する必要がある。特にフレ
ーム画像の画像サイズ若しくは解像度を上げたとき、画
像自体を処理対象とする画像記憶手段１２、エッジ情報
生成手段１４、エッジ情報形成手段１５、物体／背景分
離手段１６、領域正規化手段２７、位置／大きさ検出手
段１７、正規化画像保持手段２８、及びパターンマッチ
ング手段３８は、幅方向及び高さ方向の各々に対して画
像サイズ若しくは解像度に比例して計算量が増大する。
したがって視覚装置２は用途によっては望みうる性能を
達成できない可能性がある。

【０２６７】そこでデジタル技術を用いて画像記憶手段
１２、エッジ情報生成手段１４、エッジ情報形成手段１
５、物体／背景分離手段１６、領域正規化手段２７、正
規化画像保持手段２８、位置／大きさ検出手段１７、及
びパターンマッチング手段３８を実装するために、配列
演算ユニット４０はデータ処理装置１１０中で図３のよ
うに格子状に配列され、さらに配列演算ユニット４０は
データ処理装置１１０中の隣接する配列演算ユニット４
０だけと相互に通信できるように配線される。つまり４
近傍同士が直接配線されることになる。これにより８近
傍同士を配線する場合に比べて、少ない電子部品と配線
量で、同程度に高速に動作し、しかも将来近傍サイズを
拡張する場合にも簡単に拡張性を有することができる。

【０２６８】配列演算ユニット４０は図２２に示す通
り、画像処理における数式を計算するためのプロセッサ
（PROCESSOR）４１と、数式で使われる全てのパラメー
タ、定数、関数及びオペレータを記憶するためのメモリ
（MEMORY）４２と、近傍の配列演算ユニット４０と通信
するためのコントローラ（CONTROLER）４３から構成さ
れ、プロセッサ４１はアドレスバス５１で指定したアド
レス（ADDRESS）によりメモリ４２及びコントローラ４
３の任意のメモリ素子及びレジスタを選択することがで
きる。またプロセッサ４１はデータバス５２を介してメ
モリ４２及びコントローラ４３と双方向に通信可能に接
続され、アドレスバス５１で指定された任意のメモリ素
子及びレジスタのデータ（DATA）にアクセスすることが
できる。配列演算ユニット４０が１つ以上の入力画素か
ら構成される前入力データ群（FRONT INPUT DATA SET）
を入力すると、コントローラ４３は前入力データ群をメ
モリ４２に記憶させる。またコントローラ４３は、関数
により作成されたメモリ４２中の計算データを隣接する
配列演算ユニット４０に送信すると共に、隣接する配列
演算ユニット４０から受信した計算データをメモリ４２
に記憶させ、さらに必要ならば、入力した以外の配列演
算ユニット４０に転送する。最終的にコントローラ４３
は、出力画像の画像データを結果データ（RESULT DAT
A）として出力する。

【０２６９】このように各配列演算ユニット４０にコン
トローラ４３を搭載する理由は、配列演算ユニット４０
同士が通信している間にプロセッサ４１が動作できるの
で、プロセッサ４１は通信による待ち時間中にも計算す
ることができて高速処理が実現できるからと、近傍の配
列演算ユニット４０の数を変化させてもハードウェアを
変更する必要もないからと、コントローラ４３が画像の
辺縁処理、つまり画像中の縁の画素に対する例外処理を
自動的に行えるので、プロセッサ４１のプログラムは辺
縁処理をする必要がなくなり極めて単純になるからであ
る。

【０２７０】プロセッサ４１とメモリ４２は汎用的なデ
ジタル回路を用いることができる。コントローラ４３の
具体的な回路図は図２３に示す通りである。アドレスバ
ッファ（ADDRESS BUFFER）５３はアドレスバス（ADDRES
S BUS）５１を介してプロセッサ４１からアドレス（ADD
RESS）を受取り、アドレスデコーダ（ADDRESS DECODE
R）５４によって各レジスタ及びその他の機能ブロック
を選択する。データバッファ（DATA BUFFER）５５はデ
ータバス（DATA BUS）５２を介してプロセッサ４１から
データ（DATA）を受取り、アドレスデコーダ５４で選択
されたレジスタと内部データバス５６を介して排他的に
通信する。通信方向は読み出し（READ）によって指定さ
れる。アドレスがフラグレジスタ（FLAG REGISTER）５
７を指定した場合、データはフラグレジスタ５７に記憶
され、フラグデコーダ（FLAG DECODER）５８によってデ
コードされ、複数信号（SIGNALS）として隣接する配列
演算ユニット４０に送信される。複数信号はフラグエン
コーダ（FLAG ENCODER）５９によって受信され、解析さ
れた後にステータスレジスタ（STATUS REGISTER）６０
に記憶され、また受領（RECEIVE）として送信元の配列
演算ユニット４０に返送される。受領は複数信号の送信
元のフラグエンコーダ５９で受信され、結果として複数
信号の送信完了が確認される。アドレスによってステー
タスレジスタ６０が選択されると、ステータスレジスタ
６０の内容がデータバス５２を介してデータとしてプロ
セッサ４１に送信される。１つ以上の入力画像（INPUT
IMAGE）に対応した１つ以上の前入力送達（FRONT INPUT
SEND）をフラグエンコーダ５９が受信すると１つ以上
の入力画像からなる前入力データ群（FRONT INPUT DATA
SET）が必要な記憶容量分用意された前入力データレジ
スタ（FRONT INPUT DATA REGISTER）６１に読み込まれ
る。アドレスによって前入力データレジスタ６１が選択
されると、前入力データレジスタ６１の内容がデータと
してプロセッサ４１に送信される。プロセッサ４１が計
算を完了したら、アドレスによって結果データレジスタ
（RESULT DATA REGISTER）６２が選択され、結果データ
レジスタ６２が出力画像の画像データを結果データ（RE
SULT DATA）として読み込む。これと同時に、フラグエ
ンコーダ５９が結果送達（RESULT SEND）を送信する。

【０２７１】近傍の配列演算ユニット４０から計算に必
要なデータを求められたら、アドレスとして出力データ
レジスタ（OUTPUT DATA REGISTER）６３を選択し、近傍
の配列演算ユニット４０に送信すべきデータを計算デー
タ（CALCURATION DATA）として出力データレジスタ６３
に読み込む。その後、隣接する全ての配列演算ユニット
４０に計算データとして送信される。上側の配列演算ユ
ニット４０から複数信号（SIGNALS）を受信したら計算
データを上入力データレジスタ（UPPER INPUT DATA REG
ISTER）６４に読み込む。その後、アドレスにより上入
力データレジスタ６４が選択されたら、上入力データレ
ジスタ６４の内容が計算データとして送信される。下
側、左側、右側の配列演算ユニット４０から複数信号を
受信した場合も同様であり、下入力データレジスタ６
５、左入力データレジスタ６６、右入力データレジスタ
６７が同様に動作する。

【０２７２】各種バッファ、各種レジスタ、アドレスデ
コーダ５４の各ブロックは汎用的な電子回路である。フ
ラグデコーダ５８とフラグエンコーダ５９は具体的には
図２４及び２５に示すような入出力信号を有する。種別
（TYPE）は出力データレジスタ（OUTPUT DATA REGISTE
R）６３に読み込まれた内容の種類を５ビットで表す。
このビット数は配列演算ユニット４０が送受信すべき全
ての計算データを区別するのに十分な値である。カウン
ト−Ｘ（COUNT-X）及びカウント−Ｙ（COUNT-Y）は各々
４ビットの符号なし整数を表し、配列演算ユニット４０
の間の転送回数を示す。配列演算ユニット４０が計算デ
ータを送信する場合には各々のカウントが０となり、左
右の配列演算ユニット４０から送信された計算データを
再度送信する場合にはフラグエンコーダ５９のカウント
−Ｘに１を足した値となり、上下の配列演算ユニット４
０から送信された計算データを再度送信する場合にはフ
ラグエンコーダ５９のカウント−Ｙに１を足した値とな
る。プロセッサ４１が上下左右のうちどの方向に出力デ
ータレジスタ６３の内容を送信するかをフラグレジスタ
５７の送達フラグ（SEND FLAG）に指定した後で、出力
データレジスタ６３を指定するアドレスデコーダ５４の
中央デコーディング（CENTRAL DECODING）をフラグデコ
ーダ５８が受信すると、フラグデコーダ５８が送達（SE
ND）を送達フラグの指定方向に合わせて出力する。送達
フラグは４ビットで表し、配列演算ユニット４０の計算
データを四方の配列演算ユニット４０に送信する場合に
はプロセッサ４１が１１１１と設定し、右側の配列演算
ユニット４０から送信された計算データを上下左側に転
送する場合はプロセッサ４１が１１１０と設定し、左側
から上下右側に転送する場合は１１０１と設定し、下側
から上側に転送する場合は１０００と設定し、上側から
下側に転送する場合は０１００と設定する。これによ
り、転送に重複がなくなり効率的に転送できるだけでな
く、転送方向の決定規則が明確になっているので、種
別、カウント−Ｘ及びカウント−Ｙを組み合わせること
により、フラグエンコーダ５９はどの配列演算ユニット
４０からどの種別の計算データが送信されたかを判定す
ることができる。結果データレジスタ６２に計算データ
が結果データとして読み込まれると同時にフラグデコー
ダ５８は、結果デコーディング（RESULT DECODING）を
受信し、結果送達（RESULT SEND）を送信する。

【０２７３】フラグエンコーダ５９は四方のうちいずれ
かでも送達を受信したら、受信方向の種別とカウント−
Ｘ、カウント−Ｙを受信し、その部分のステータスレジ
スタ６０の内容を更新する。この更新と同時に受信方向
に受領を１にして送信する。送信元の配列演算ユニット
４０のフラグエンコーダ５９では受領が１になった瞬間
に受信し、ステータスレジスタ６０の受領ステータス
（RECEIVE STATUS）を更新する。これにより各配列演算
ユニット４０ではプロセッサ４１がステータスレジスタ
６０の受領ステータスを検査するだけで、どの入力デー
タレジスタに有効な計算データが記憶されているか判断
することができる。そこで例えば上入力データレジスタ
６４に計算データが読み込まれていれば、プロセッサ４
１がアドレスを指定することにより上入力データレジス
タ６４からデータを読み込むことができるが、同時にア
ドレスデコーダ５４から上デコーディング（UPPER DECO
DING）がフラグエンコーダ５９に送信され、受領ステー
タスのうち上部分が０に戻され、上側に向いた受領が０
として送信される。下左右側の場合も同様に動作する。
フラグエンコーダ５９が１つでも入力画像用の前入力送
達を受信したら、ステータスレジスタ６０のうち受信し
た前入力送達に対応する入力画像用の前入力送達ステー
タス（FRONT INPUT SEND STATUS）を１にする。またプ
ロセッサ４１が入力画像用の前入力データレジスタ６１
からデータを読み込むとき、アドレスデコーダ５４がフ
ラグエンコーダ５９に前デコーディング（FRONT DECODI
NG）を送信し、受信した前入力送達に対応する前入力送
達ステータスを０にする。プロセッサ４１はステータス
レジスタ６０の内容を読み込むことにより、前入力デー
タレジスタ６１に最新の入力画像が記憶されているかど
うか判断することができる。

【０２７４】プロセッサ４１がコントローラ４３を介し
て四方の配列演算ユニット４０に計算データを送信する
場合のアルゴリズムを図２６に示す。図２６は、プロセ
ッサ４１によるプログラム制御と、フラグデコーダ５８
及びフラグエンコーダ５９によるハードウェアロジック
との混成による処理を示すものである。図２６に対し
て、ステップ７１では、プロセッサ４１がステータスレ
ジスタ６０の内容を読み込む。ステップ７２では、読み
込んだ内容のうち受領ステータスが全て０であるか否か
を判断する。ＮＯなら処理を終了する。ＹＥＳならステ
ップ７３に移行する。ステップ７３では、プロセッサ４
１が隣接する配列演算ユニット４０に送信するデータの
種別とカウンタと送信方向を決定し、その内容をフラグ
レジスタ５７に書き込む。ステップ７４では、プロセッ
サ４１が隣接する配列演算ユニット４０に送信するデー
タを出力データレジスタ６３に書き込む。ステップ７５
では、出力データレジスタ６３の内容を計算データとし
て、隣接する配列演算ユニット４０に送信する。ステッ
プ７６では、フラグレジスタ５７の送達フラグで指定さ
れた方向にのみ送達を１にして送信する。これによりプ
ロセッサ４１の１回の送信アルゴリズムは終了する。プ
ロセッサ４１は、送信すべきデータがメモリ４２内で更
新される度にこの送信アルゴリズムを開始する。

【０２７５】コントローラ４３が上側の配列演算ユニッ
ト４０から計算データを受信する場合のアルゴリズムを
図２７に示す。図２７は、フラグデコーダ５８及びフラ
グエンコーダ５９によるハードウェアロジックによる処
理を示すものである。図２７に対して、ステップ８１で
は、フラグエンコーダ５９が送達を入力する。ステップ
８２では、送達が１であるか否かをフラグエンコーダ５
９が判断する。ＮＯなら処理を終了する。ＹＥＳならス
テップ８３に移行する。ステップ８３では、上入力デー
タレジスタ６４が上側から送信された計算データを読み
込む。ステップ８４では、フラグエンコーダ５９がステ
ータスレジスタ６０のうち上側用の受領ステータスを１
にすると同時に受領を１にして上側の配列演算ユニット
４０に送信する。下左右側の場合も同様である。これに
よりコントローラ４３の１回の受信アルゴリズムは終了
する。コントローラ４３は常時上下左右の配列演算ユニ
ット４０からの送達を監視し、この送達を受信する度に
この受信アルゴリズムを開始する。

【０２７６】プロセッサ４１が上入力データレジスタ６
４からデータを受信する場合のアルゴリズムを図２８に
示す。図２８は、プロセッサ４１によるプログラム制御
と、フラグデコーダ５８及びフラグエンコーダ５９によ
るハードウェアロジックとの混成による処理を示すもの
である。図２８に対して、ステップ９１では、プロセッ
サ４１がステータスレジスタ６０の内容を読み込む。ス
テップ９２では、読み込んだ内容のうち上側用の受領ス
テータスが１であるか否かを判断する。ＮＯなら処理を
終了する。ＹＥＳならステップ９３に移行する。ステッ
プ９３では、プロセッサ４１が上入力データレジスタ６
４からデータを読み込む。ステップ９４では、フラグエ
ンコーダ５９がステータスレジスタ６０のうち上側用の
受領ステータスを０にすると同時に受領を０にして上側
の配列演算ユニット４０に送信する。下左右側の場合も
同様である。これによりプロセッサ４１の１回の受信ア
ルゴリズムは終了する。プロセッサ４１は一定間隔でス
テータスレジスタ６０の内容を監視し、上下左右いずれ
かの受領ステータスが１である度にこの受信アルゴリズ
ムを開始する。またプロセッサ４１が一定間隔でステー
タスレジスタ６０の内容を監視しなくても、割り込み処
理により実装することもできる。

【０２７７】なおこの配列演算ユニット４０は、主に１
つ以上の入力画像から１つの出力画像を生成することを
前提に記述したが、用途に応じては計算途中の計算デー
タを出力できるように回路を変更する必要がある。その
際には、出力すべき計算データの数だけフラグデコーダ
５８の結果送達を増やし、結果データレジスタ６２に読
み込まれた計算データに対応する結果送達のみを１にす
るようにプログラムを変更するだけで良い。

【０２７８】ここまでは視覚装置２について説明してき
た。デジタル画像１１１の画像サイズを制限し、計算時
間をある程度我慢すれば、市販のシングルチップコンピ
ュータでも視覚装置２は実現可能であるが、画像サイズ
を大きくしたり実時間性を達成するためには専用の大規
模集積回路を実装する必要がある。特に視覚装置２の内
幾つかの手段を大規模集積回路に実装することにより、
視覚装置２は省スペース、低消費電力及び実時間性を実
現することができる。以下では視覚装置２を用いたイメ
ージセンサについて説明する。

【０２７９】請求項３記載の発明で用いられるイメージ
センサは、例えば図２９に示すような機能コラム２０１
を図３０に示すように二次元格子状に配列して配線した
ものとなる。なお図２９において、電荷結合素子２０２
をＣＣＤと、配列演算ユニット４０をＡＯＵと、略記す
る。画像保持手段３９は正規化画像保持手段２８と同様
の動作をするものとする。１個の配列演算ユニット４０
でも、プログラムによって複数の手段を実現できる。ま
た図３０において、機能コラム２０１をＦＣと略記す
る。

【０２８０】図２９において、機能コラム２０１には配
列演算ユニット４０の他に、受光素子として電荷結合素
子２０２、駆動回路２０３、Ａ／Ｄ変換回路２０４、及
び発振回路２０５が組み込まれる。ただし機能コラム２
０１において発振回路２０５が用いられる代りに、機能
コラム２０１の外部からクロック信号が供給されても良
い。また機能コラム２０１において、複雑な設計工程及
び製造工程を必要とする電荷結合素子２０２及び駆動回
路２０３の代りに、相補性金属酸化膜半導体（ＣＭＯ
Ｓ）によって実現されるフォトダイオードを用いても良
い。この場合、イメージセンサ全体をＣＭＯＳ技術によ
って実現できるだけでなく、１個のフォトダイオードを
１組のＣＭＯＳダイオードで実現できるので、イメージ
センサの設計及び実装は極めて単純になる。

【０２８１】図３０に示すように、図２９の各々の配列
演算ユニット４０は、４近傍に位置し、同じ手段を実行
する配列演算ユニット４０と信号線を介して通信する。
これにより、各々の配列演算ユニット４０は処理に応じ
てデータ処理装置１１０を構成することができる。イメ
ージセンサが三次元大規模集積回路（三次元ＶＬＳＩ）
技術により実装される場合、機能コラム２０１中の全て
の配列演算ユニット４０が三次元ＶＬＳＩによって垂直
に並ぶように実装されれば、機能コラム２０１間の信号
線は配列演算ユニット４０間ですら交差しない。したが
ってイメージセンサの設計及び実装は極めて容易にな
る。

【０２８２】ここまでは視覚装置２を中心に説明してき
た。以下では刺激発生器３及びエレクトロード配列端子
４について説明する。

【０２８３】刺激発生器３は、視覚装置２が生成した移
動物体の正規化画像１４５、種別、位置、大きさ、及び
位置の変化を電気刺激に変換するものである。移動物体
の正規化画像１４５に対して、刺激発生器３は適当な解
像度でサンプリングした後、各画素の各帯域値をパルス
信号に変換する。このとき正規化画像保持手段２８が正
規化画像１４５のフォーマットを変換することにより、
刺激発生器３は全ての帯域を用いることもできるし、１
つの帯域だけを用いることもできる。勿論フォーマット
変換により、正規化画像保持手段２８は正規化画像１４
５のフォーマットを自由に変換することもできる。移動
物体の種別に対して、刺激発生器３は複数の出力信号線
の内１つを選択し、パルス信号を発生する。患者はパル
ス信号を発している信号線を感じ分けることにより、移
動物体の種別を認識することができる。移動物体の位置
及び位置の変化に対して、刺激発生器３は二次元に配列
された出力信号線の内対応するものを選択し、時間差を
おいてパルス信号を発生する。この際、患者が移動物体
の位置の変化を認識できるように、過去の位置を表すパ
ルス信号のパルス数を少なくし、現在の位置を表すパル
ス信号のパルス数を多くする。移動物体の大きさに対し
て、刺激発生器３は一次元に配列された出力信号線の内
対応するものを選択し、パルス信号を発生する。

【０２８４】エレクトロード配列端子４は、移動物体の
正規化画像１４５、種別、位置、大きさ、及び位置の変
化を電気刺激として直接脳に伝えるものである。１つの
エレクトロード配列端子４が全ての電気刺激を大脳後頭
葉の一ヶ所に伝えることもできるが、各々の電気刺激を
別々のエレクトロード配列端子４を用いて大脳に伝える
こともできる。特に正規化画像１４５用のエレクトロー
ド配列端子４が大脳後頭葉に埋め込まれ、種別用のエレ
クトロード配列端子４が大脳側頭葉に埋め込まれ、位
置、大きさ及び位置の変化用のエレクトロード配列端子
４が大脳後頭葉又は頭頂葉に埋め込まれると、患者はよ
り的確に移動物体を認識できるようになると思われる。
また正規化画像１４５に対しても、１つのエレクトロー
ド配列端子４が電気刺激をまとめて出力する代りに、正
規化画像１４５の帯域毎に別々のエレクトロード配列端
子４が電気刺激を出力するようにすることもできる。

【０２８５】以上、本実施形態を説明したが、本発明は
上述の実施形態には限定されることはなく、当業者であ
れば種々なる態様を実施可能であり、本発明の技術的思
想を逸脱しない範囲において本発明の構成を適宜改変で
きることは当然であり、このような改変も、本発明の技
術的範囲に属するものである。

【０２８６】

【発明の効果】請求項１記載の発明によれば、眼鏡に固
定された電荷結合素子２０２（ＣＣＤ）カメラを用いる
場合を比べて、移動カメラ１がパン、チルト及びズーム
をすることにより、人工眼球は同じ集積度の電荷結合素
子２０２を用いたとしても広視野及び高視力を実現する
ことができる。しかも視覚装置２が物体を自動的に探索
するので、歩行者、自転車及び自動車等、利用者に近づ
いてくる物体を事前に察知することができ、利用者は安
全に歩行することができる。利用者が物体を認識するの
に役立つ情報を視覚装置２が利用者に提供するので、本
発明は単純にＣＣＤカメラを用いた場合に比べて利用者
の負担を低減でき、本発明は利用者に快適な生活を提供
することができる。またエレクトロード配列端子４を用
いて利用者の脳から直接眼球を動かす筋肉を制御する電
気刺激を取り出すことができれば、視覚装置２はこの電
気刺激を用いて移動カメラ１を制御することができる。

【０２８７】請求項２記載の発明によれば、３自由度モ
ータは実際の眼球の形に近い球形をしているので、人工
眼球を眼窩に埋め込み易くなる。特に３自由度モータが
圧電素子を用いた超音波モータの場合、３自由度モータ
は省スペース、低重量及び低消費電力を実現することが
でき、利用者は紛失、不慮の事故及び重量から来る違和
感を軽減することができる。利用者が人工眼球を眼窩に
埋め込んだ場合、利用者はサングラスを掛けることによ
り人工眼球が対面している人から見難くなるため、双方
にとって心理的に負担が軽くなる。さらに眼窩を通して
エレクトロード配列端子４を視神経、外側膝状体、後頭
葉、側頭葉及び頭頂葉の中に埋め込むことにより、医師
は利用者の頭蓋骨に穴を開ける必要もないし、利用者は
頭蓋骨の外に出ている配線を気にする必要もない。した
がって本発明は利用者の負担を軽減することができる。
また超音波モータは特に機構を追加しなくてもパン及び
チルト以外にロールも実現することができる。

【０２８８】請求項３記載の発明によれば、視覚装置２
で行う画像処理の殆んどの部分が移動カメラ１の撮像部
分に実装される。つまり本発明は省スペース及び低消費
電力でありながら高速に画像処理を実現することができ
る。本発明は利用者の負担を軽減しながら、人工眼球の
保守を容易にすることができる。

【図面の簡単な説明】

【図１】人工眼球のブロック図である。

【図２】移動カメラを制御して環境地図を生成する視覚
装置のブロック図である。

【図３】格子状に配置された配列演算ユニットのブロッ
ク図である。

【図４】本実施形態の画像記憶手段のアルゴリズムを示
すフローチャートである。

【図５】本実施形態のエッジ情報生成手段のアルゴリズ
ムを示すフローチャートである。

【図６】デジタル画像を用いて粗エッジ情報を形成エッ
ジ情報に形成する場合の説明図である。

【図７】本実施形態のエッジ情報形成手段のアルゴリズ
ムを示すフローチャートである。

【図８】低解像度デジタル画像から生成された低解像度
粗エッジ情報を形成エッジ情報に形成する場合の説明図
である。

【図９】低解像度デジタル画像から生成された低解像度
粗エッジ情報の領域を切り出してから形成エッジ情報に
形成する場合の説明図である。

【図１０】デジタル画像の切出領域を正規化する場合の
説明図である。

【図１１】本実施形態の領域正規化手段のアルゴリズム
を示すフローチャートである。

【図１２】本実施形態の正規化画像保持手段のアルゴリ
ズムを示すフローチャートである。

【図１３】エッジ情報画像中の物体の位置及び大きさを
検出する場合の説明図である。

【図１４】本実施形態の位置／大きさ検出手段のアルゴ
リズムを示すフローチャートである。

【図１５】正規化画像に対してテンプレート画像の中か
らパターンマッチングをする場合の説明図である。

【図１６】本実施形態の画像認識手段のうちパターンマ
ッチングのアルゴリズムを示すフローチャートである。

【図１７】三角形のエッジ情報が三角形の内側領域と外
側領域に分離する状態を示す説明図である。

【図１８】本実施形態の物体／背景分離手段のアルゴリ
ズムを示すフローチャートである。

【図１９】破線状態の三角形のエッジ情報が破線三角形
の内側領域と外側領域に分離する状態を示す説明図であ
る。

【図２０】三角形を２つ重ねたエッジ情報が２つの三角
形領域と背景領域に分離する状態を示す説明図である。

【図２１】２つの円形物体領域を重ねた時の破線状態の
エッジ情報が２つの円形領域と背景領域に分離した状態
を示す説明図である。

【図２２】配列演算ユニットの内部構造のブロック図で
ある。

【図２３】コントローラのブロック図である。

【図２４】フラグデコーダの入出力信号を示す説明図で
ある。

【図２５】フラグエンコーダの入出力信号を示す説明図
である。

【図２６】プロセッサがコントローラを介して隣接する
配列演算ユニットにデータを送信するアルゴリズムを示
すフローチャートである。

【図２７】コントローラが隣接する配列演算ユニットか
らデータを受信するアルゴリズムを示すフローチャート
である。

【図２８】プロセッサが上入力レジスタからデータを受
信するアルゴリズムを示すフローチャートである。

【図２９】人工眼球用イメージセンサの機能コラムのブ
ロック図である。

【図３０】二次元格子状に機能コラムを配列した場合の
イメージセンサのブロック図である。

【符号の説明】

１ 移動カメラ ２ 視覚装置 ３ 刺激発生器 ４ エレクトロード配列端子 ５ コネクタ ６ バッテリ １１ 画像取得手段 １２ 画像記憶手段 １４ エッジ情報生成手段 １５ エッジ情報形成手段 １６ 物体／背景分離手段 １７ 位置／大きさ検出手段 ２０ カメラ／環境座標変換手段 ２１ 画像／環境座標変換手段 ２２ 位置選択手段 ２３ 運動制御手段 ２５ 振動命令生成手段 ２６ カメラ命令生成手段 ２７ 領域正規化手段 ２８ 正規化画像保持手段 ２９ 画像認識手段 ３１ 環境理解手段 ３２ 計時手段 ３３ 環境地図保持手段 ３４ 物体位置推定手段 ３７ 幾何解析手段 ３８ パターンマッチング手段 ３９ 画像保持手段 ４０ 配列演算ユニット ４１ プロセッサ ４２ メモリ ４３ コントローラ ５１ アドレスバス ５２ データバス ５３ アドレスバッファ ５４ アドレスデコーダ ５５ データバッファ ５６ 内部データバス ５７ フラグレジスタ ５８ フラグデコーダ ５９ フラグエンコーダ ６０ ステータスレジスタ ６１ 前入力データレジスタ ６２ 結果データレジスタ ６３ 出力データレジスタ ６４ 上入力データレジスタ ６５ 下入力データレジスタ ６６ 左入力データレジスタ ６７ 右入力データレジスタ １１０ データ処理装置 １１１ デジタル画像 １１２ 粗エッジ情報 １１３ 粗エッジ情報画像 １１４ 形成エッジ情報 １１５ 形成エッジ情報画像 １１６ 低解像度デジタル画像 １１７ 低解像度粗エッジ情報画像 １１８ 低解像度切出粗エッジ情報画像 １１９ 切出粗エッジ情報画像 １２０ 切出デジタル画像 １２１ 切出形成エッジ情報画像 １３１ 重複情報 １３２ 重複情報画像 １４１ 物体領域 １４２ 物体領域画像 １４３ 分離物体領域 １４４ 正規化領域 １４５ 正規化画像 １４６ テンプレート画像 １４７ マッチング結果画像 １５１ 三角形のエッジ情報 １５２ 三角形の内側領域 １５３ 三角形の外側領域 １５４ 破線状態の三角形のエッジ情報 １５５ 破線三角形の内側領域 １５６ 破線三角形の外側領域 １５７ 前方の三角形のエッジ情報 １５８ 後方の三角形のエッジ情報 １５９ 前方三角形の内側領域 １６０ 後方三角形の内側領域 １６１ 二重三角形の背景領域 １６２ ２つの重なった円形のエッジ情報 １６３ 前方円形の内側領域 １６４ 後方円形の内側領域 １６５ 二重円の背景領域 ２０１ 機能コラム ２０２ 電荷結合素子 ２０３ 駆動回路 ２０４ Ａ／Ｄ変換回路 ２０５ 発振回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ａ６１Ｆ 9/00 ５９０

Claims (3)

【特許請求の範囲】
1. 【請求項１】 移動カメラ、視覚装置、刺激発生器、エ
   レクトロード配列端子、コネクタ及びバッテリを備えた
   人工眼球であって、 前記移動カメラが撮影した動画像の中央に物体が位置す
   るように前記視覚装置において前記移動カメラの向き及
   び倍率を制御する手段と、 前記視覚装置が前記動画像から生成した前記物体の正規
   化画像、種別、位置、大きさ及び位置の変化を前記刺激
   発生器において電気刺激に変換する手段と、 前記コネクタ及び前記エレクトロード配列端子を介して
   前記電気刺激を脳に伝える手段と、を有することを特徴
   とする人工眼球。
2. 【請求項２】 請求項１記載の人工眼球において、前記
   移動カメラが３自由度モータを備えたことを特徴とする
   人工眼球。
3. 【請求項３】 請求項１及び２記載の人工眼球に対し
   て、前記視覚装置と撮像素子を大規模集積回路に実装し
   て前記移動カメラに組み込んだことを特徴とする人工眼
   球。