JP2003218338A - 半導体集積回路装置 - Google Patents

半導体集積回路装置

Info

Publication number
JP2003218338A
JP2003218338A JP2002017665A JP2002017665A JP2003218338A JP 2003218338 A JP2003218338 A JP 2003218338A JP 2002017665 A JP2002017665 A JP 2002017665A JP 2002017665 A JP2002017665 A JP 2002017665A JP 2003218338 A JP2003218338 A JP 2003218338A
Authority
JP
Japan
Prior art keywords
integrated circuit
semiconductor integrated
circuit device
processing
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002017665A
Other languages
English (en)
Other versions
JP3902741B2 (ja
Inventor
Masatoshi Ishikawa
正俊 石川
Idaku Ishii
抱 石井
Takashi Komuro
孝 小室
Shingo Kagami
慎吾 鏡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Technology Academic Research Center
Original Assignee
Semiconductor Technology Academic Research Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Technology Academic Research Center filed Critical Semiconductor Technology Academic Research Center
Priority to JP2002017665A priority Critical patent/JP3902741B2/ja
Priority to US10/200,332 priority patent/US7098437B2/en
Publication of JP2003218338A publication Critical patent/JP2003218338A/ja
Priority to US11/289,695 priority patent/US8244788B2/en
Priority to US11/289,696 priority patent/US7244919B2/en
Application granted granted Critical
Publication of JP3902741B2 publication Critical patent/JP3902741B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0204—Compact construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

(57)【要約】 【課題】 従来のビジョンチップや画像処理用ＳＩＭＤ
プロセッサ等においては、ＰＥの性能と画素数の間にト
レードオフの関係が存在し、より汎用性の高い半導体集
積回路装置の提供を困難にさせている。 【解決手段】 １つの半導体チップに設けられた複数の
プロセッシングエレメント２を有する半導体集積回路装
置であって、前記各プロセッシングエレメントの出力に
設けられたラッチ手段２３と、入力元を上下左右のいず
れかのプロセッシングエレメントまたは零信号から選択
して出力する選択手段２７とを備えるように構成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は半導体集積回路装置
に関し、特に、複数の光検出器（ＰＤ：Photo Detecto
r）およびプロセッシングエレメント（ＰＥ： Processi
ng Element（演算処理回路））を備えたビジョンチップ
に関する。
【０００２】画像処理を専門に行う画像処理プロセッサ
は、従来より研究、開発および提案がなされており、そ
の多くはなんらかの並列演算を行う機構を備えている。
例えば、並列度が数万にのぼる超並列プロセッサでは、
少数または１つの画素毎にＰＥ（プロセッシングエレメ
ント）を割り当て、それら複数のＰＥに対して同時に同
一の命令を実行させるというＳＩＭＤ（Single Instruc
tion Stream Multi Data Stream）型の制御を行うこと
で、ある種の画像処理を効率よく実行できる。
【０００３】このような画像処理プロセッサは、かつて
はスーパーコンピュータクラスの大規模なものがほとん
どであったが、近年、半導体集積化技術の進歩に伴っ
て、さらに、画像処理を手軽に扱いたいというニーズの
高まりから、これを１チップ化する動きが進んでいる。
さらに、プロセッサだけでなく、ＰＤ（光検出器；光検
出回路，光検出素子）までも１チップに収めたビジョン
チップと呼ばれるデバイスの研究も注目を集めている。
【０００４】このような従来のビジョンチップや画像処
理用ＳＩＭＤプロセッサ（半導体集積回路装置）におい
ては、ＰＥの性能と画素数の間にトレードオフの関係が
存在し、より汎用性の高い半導体集積回路装置の提供を
困難にさせている。また、グローバル演算に不向きな構
造であったため、２次元パターンからスカラー量を抽出
する処理を効率よく行うことができなかった。
【０００５】すなわち、従来、ビジョンチップのＰＥに
採用されていたＡＬＵは、単に各ＰＥ内のデータのみに
基づいて演算を行うものか、或いは、隣接ＰＥからの出
力が直接ＡＬＵの入力とするものであるため、実現でき
る演算機能が自身とその周囲のＰＥから演算を行うロー
カルな演算に限られている。ビジョンチップの均質な配
列構造を崩さずにグローバル演算を行うには、例えば、
新たに加算器等の付加回路が必要となって回路規模が大
きくなってしまう。これは、限られたチップ面積上にな
るべく多くの画素を配置するビジョンチップに対する回
路規模をできるだけ小さくするという要求に相反する。
【０００６】また、従来のビジョンチップでは、各ＰＥ
の演算能力や搭載されているメモリの量が有限であるこ
とが、実現できる処理の範囲を制限することになってい
る。そして、ビジョンチップの汎用性を増すために、演
算能力や搭載するメモリの容量を増やすと、今度は回路
面積が肥大化してしまうというジレンマがある。
【０００７】そこで、画素数（搭載可能なＰＥの数）の
低下を来すことなく、高い汎用性を有する半導体集積回
路装置の提供が要望されている。
【０００８】
【従来の技術】従来、画素毎にコンパクトなＰＥを備え
た半導体集積回路装置（ビジョンチップ）の設計におい
ては、ＰＥの性能と画素数のトレードオフポイントが固
定であったため、想定されるあらゆる用途に対応できる
ように設計を行うと、通常の用途に対しては冗長になっ
てしまった。また、従来の半導体集積回路装置はグロー
バル演算に不向きな構造であるため、画像処理のリアル
タイム応用に必須の２次元パターンからスカラー量を抽
出する処理を効率よく行うことができなかった。
【０００９】図１はビジョンチップを概念的に示す図で
あり、図２は従来のビジョンチップのアーキテクチャを
説明するための図である。
【００１０】図１に示されるように、ビジョンチップ１
は、光学系（例えば、レンズ）を介して与えられた画像
（入力画像）をマトリクス状に配置された複数のユニッ
ト（画素）１００で検出および処理して出力する。
【００１１】図２に示されるように、ビジョンチップ１
は、マトリクス状に配置された複数のユニット１００、
デコーダ１１、出力回路１２、および、通信手段１３を
備えた１つの半導体チップとして構成される。デコーダ
１１には、命令ＩＮＳＴおよびクロックＣＬＫ等が入力
され、通信手段１３を介してデコードされた信号を各ユ
ニット１００に供給し、また、出力回路１２は、通信手
段１３を介して供給される各ユニット１００で検出およ
び処理された信号を外部に出力する。
【００１２】各ユニット１００は、光検出器（ＰＤ：光
検出回路，光検出素子）１０１およびプロセッシングエ
レメント（ＰＥ）１０２を備える。図２に示すビジョン
チップ１（ＰＥ１０２）は、アーキテクチャＳ3ＰＥ（S
imple and Smart Sensory Processing Element）に従っ
たもので、センサ（ＰＤ１０１）とプロセッサ（ＰＥ１
０２）の一体化により、それらの間の通信ボトルネック
を解消し、１秒間に１０００枚を超える高フレームレー
トを実現するものである。このような高いフレームレー
トを有するビジョンチップは、視覚情報を用いたフィー
ドバック制御を容易に実現し、また、ロボットビジョン
等の分野で画像処理のリアルタイム応用を促進するもの
として期待されている。ここで、ビジョンチップのアー
キテクチャＳ3ＰＥを概説する。
【００１３】図２において、参照符号１２１はローカル
メモリ、１２２はＩ／Ｏポート、１２３〜１２５はデー
タラッチ（Ｄラッチ）、そして、１２６はＡＬＵ（Arit
hmetic and Logic Unit）を示している。
【００１４】図２に示されるように、ビジョンチップ１
は、ＰＥ（プロセッシングエレメント）１０２が画素数
分マトリクス状に配列され、各ＰＥ１０２にはＰＤ（光
検出器）１０１が取り付けられている。ＰＥ１０２は、
主としてＡＬＵ１２６およびローカルメモリ１２１を備
える。ＡＬＵ１２６は、全加算器、キャリー格納用レジ
スタ、および、いくつかのマルチプレクサを備える簡単
な構成とされ、論理演算と算術演算を共通の回路で実行
する。なお、演算はビット単位で行われ、多ビットデー
タの演算は繰り返し処理によりビットシリアルに実行す
る。
【００１５】ローカルメモリ１２１は、２４ビットのラ
ンダムアクセスメモリ（ＲＡＭ）に加え、８ビットのＩ
／Ｏポート（８ビットの Memory-mapped Input/Output
ポート）１２２が同一のアドレス空間に割り当てられて
いる。これらは、ビット単位でランダムにアクセスする
ことが可能となっている。Ｉ／Ｏポート１２２は、上下
左右の４近傍との通信、ＰＤ１０１からの入力、およ
び，零信号（”０”）と接続されている。このメモリマ
ップＩ／Ｏ方式（１２２）の採用により、演算だけでな
く入出力を含めた全ての処理をローカルメモリ１２１ヘ
のアクセスで行うようになっている。
【００１６】ＰＤ１０１からの光強度信号のＡ／Ｄ（An
alog to Digital）変換は、光電流による蓄積電荷の放
電をしきい値回路（インバータ）で検出し、そのしきい
値を切るまでの時間を計測して行っている。その際、Ｐ
Ｅ１０２をカウンタとして用いることにより、回路を増
やすことなくＡ／Ｄ変換を実現している。
【００１７】上記のＳ3ＰＥでは、ＳＩＭＤ型の制御方
式を用いており、全ての画素（ＰＥ１０２）に対し、同
時に同一の命令が実行されるため、画像の局所性を利用
したアルゴリズム、すなわち、画素自身とその周辺の画
素から値が決定されるようなアルゴリズムが極めて効率
的に実行できる。例えば、初期視覚処理と呼ばれるもの
のほとんどはこのようなアルゴリズムで実現できる。初
期視覚処理は、画像処理のリアルタイム応用において、
特徴抽出・認識を行う前の画像の前処理として用いられ
る。なお、この初期視覚処理アルゴリズムを実装したと
ころ、どれもμｓオーダーの演算時間に収めることがで
きた。このことから、ビジョンチップが実現する高いフ
レームレートに見合う演算能力を持っていることがわか
る。
【００１８】また、上記のＳ3ＰＥアーキテクチャに基
づき、０．３５μｍＣＭＯＳプロセスを用いたフルカス
タム設計を行った結果、各ＰＥあたりトランジスタ数で
約４００個、面積で１０５μｍ×１０５μｍというコン
パクトな回路に収まり、この設計を基に、６４×６４画
素を１チップ上に集積したビジョンチップを試作したと
ころ、チップ面積は８．７ｍｍ×８．７ｍｍとなった。
【００１９】なお、従来、上述したＳ3ＰＥのほかに
も、汎用のＰＥを利用したビジョンチップがいくつか作
られている。例えば、スウェーデンの Linkoping 大学
では光センサとＡ／ＤコンバータおよびＰＥアレイを１
チップ化したビジョンチップの研究が行なわれ、ＩＶＰ
社より製品化された。また、その MAPP2200 と呼ばれる
ビジョンチップは、２５６×２５６画素のＣＭＯＳイメ
ージセンサの列毎にＡ／Ｄコンバータと汎用のＰＥが取
り付けられている。さらに、同研究グループは、画素単
位で並列演算を行うビジョンチップ Near-Sensor Image
Processing（ＮＳＩＰ）の研究も行っており、３２×
３２画素のチップが開発されている。また、フランスの
Bernard らは Programmable Artificial Retina と呼
ばれる汎用のＰＥを採用したビジョンチップを設計して
おり、６５×７６画素（後に、１２８×１２８画素）の
チップが開発されている。
【００２０】なお、センサとの一体化はなされていない
が、１画素を１つのＰＥが処理する画素単位のＳＩＭＤ
プロセッサとして、Gealow らによる Pixel-Parallel I
mageProcessor があり、６４×６４＝４０９６個のＰＥ
が１チップに収められている。同種のアプローチとし
て、Gayles らによるＭＧＡＰ−２もあり、４９１５２
個のＰＥが３２チップ構成で実現されている。
【００２１】
【発明が解決しようとする課題】上述したように、従
来、様々なビジョンチップが研究、開発および提案され
ているが、従来のビジョンチップの設計においては、な
るべくＰＥ（１０２）の回路を小さくする必要から、Ｐ
Ｅの性能は用途に対して最低限のものでなくてはならな
かった。ここで、ＰＥの性能とは、主に演算機能とメモ
リ容量を指す。演算機能の充実はアルゴリズムの実行速
度の向上につながり、また、メモリ容量の増加は実行で
きるアルゴリズムの範囲を広げることにつながる。特
に、メモリ容量はビジョンチップを設計する上で重要な
項目であり、ビジョンチップの適用範囲を決めることに
もなる。
【００２２】ところで、ビジョンチップ（半導体集積回
路装置）は、実行させたいアルゴリズムの範囲を広げよ
うとすればするほど、すなわち、汎用性を高めようとす
ればするほど、例えば、大容量のメモリが必要となって
各ＰＥの回路面積が増加することになる。この各ＰＥの
回路面積の増加は、そのまま１チップに集積できる画素
数（ＰＥの数）の減少につながる。このように、ビジョ
ンチップにおいて、汎用性と画素数との間にトレードオ
フの関係が存在し、ビジョンチップを設計する上でジレ
ンマとなっている。
【００２３】他の問題として、多くのビジョンチップが
採用している２Ｄメッシュネットワーク構造（通信手段
１３：上下左右の四方向とのみ接続するもの）は、グロ
ーバル演算に不向きであるということである。この構造
は、例えば、エッジ検出のように、ある画素の値がその
画素自身とその周辺の画素からのみ決定されるような局
所的な演算に対しては非常に強力であるが、遠く離れた
画素の情報を利用するような演算には、その距離分の通
信時間がかかってしまう。
【００２４】これらの問題に対して、上述したＳ3ＰＥ
をはじめとする従来のビジョンチップおよびＳＩＭＤプ
ロセッサでは、効果的な解決策を提示できていなかっ
た。また、ＭＧＡＰ−２やいくつかのＳＩＭＤプロセッ
サでは、コンディションレジスタを利用したＰＥの結合
機能を持ち、前者の問題に対処しているが、結合がレジ
スタを介した擬似的なものであるため、結合ＰＥ数分の
段数のパイプライン処理が必要となる。これは、段数が
多くなった場合に効率が悪く、好ましくない。さらに、
後者の問題に対する解決とはなっていない。また、ＮＳ
ＩＰで採用されているＧＬＵや、高速対象追跡ビジョン
チップで使われているモーメント抽出回路は、後者の問
題を部分的に解決しているが、これらは画像全体に対す
る固定した処理であり、より高度なアルゴリズムを実装
したい場合には柔軟性が不足している。
【００２５】すなわち、従来の半導体集積回路装置は、
例えば、ロボットビジョンに必要不可欠な入力画像の特
徴抽出や画像認識といった処理を十分に実現することが
困難である。
【００２６】本発明の第１の形態は、上述した従来の半
導体集積回路装置が有する課題に鑑み、画素数の低下を
来すことなく（ＰＥの占有面積の増大を来すことな
く）、高い汎用性を有する半導体集積回路装置の提供を
目的とする。本発明の第２の形態は、光検出器の出力信
号のＡ／Ｄ変換を追加回路なしで行うと共に、柔軟なセ
ンシングを実現することのできる半導体集積回路装置の
提供を目的とする。
【００２７】
【課題を解決するための手段】本発明の第１の形態によ
れば、１つの半導体チップに設けられた複数のプロセッ
シングエレメントを有する半導体集積回路装置であっ
て、前記各プロセッシングエレメントの出力に設けられ
たラッチ手段と、入力元を上下左右のいずれかのプロセ
ッシングエレメントまたは零信号から選択して出力する
選択手段とを備えることを特徴とする半導体集積回路装
置が提供される。
【００２８】また、本発明の第１の形態によれば、複数
のプロセッシングエレメント、および、該プロセッシン
グエレメントをつなぐ通信手段を有する半導体集積回路
装置であって、第１のプロセッシングエレメントにおけ
る資源を、前記通信手段を介して任意の第２のプロセッ
シングエレメントの資源として使用することを特徴とす
る半導体集積回路装置も提供される。
【００２９】本発明の第２の形態によれば、複数の光検
出回路および複数のプロセッシングエレメントを有する
半導体集積回路装置であって、前記各光検出回路は、光
検出素子の出力と基準電圧とを比較する比較手段を備
え、該比較手段の出力が該基準電圧を切るまでの時間を
カウントしてＡ／Ｄ変換処理を行うことを特徴とする半
導体集積回路装置が提供される。
【００３０】本発明の第１の形態に係る半導体集積回路
装置は、これまでのアーキテクチャに若干の変更を加え
るだけで、複数のＰＥ（プロセッシングエレメント）を
結合して１つの大きなＰＥとして扱うことが可能であ
り、これにより、ＰＥの性能と画素数（搭載可能なＰＥ
の数）のトレードオフポイントが可変になり、効率よく
資源を利用することができる。さらに、本発明の第１の
形態に係る半導体集積回路装置によれば、結合されたＰ
Ｅの中で総和やブロードキャスト等のグローバル演算を
実行することができ、特徴量フィードバックを実現する
ことが可能になる。
【００３１】すなわち、ビジョンチップに用いられるビ
ットシリアルＡＬＵに、ＰＥ間通信の機能だけでなく、
ＰＥ間を回路的に連結する機能を付加することで、累積
演算や多ビット演算を実現する。これにより、画像全体
の総和を計算するようなグローバルな演算を、新たに加
算器等の回路を追加することなく実行することができる
ようになる。さらに、結合の組合せを変えることによ
り、複数のＰＥを用いて多ビット演算を実行することも
でき、個々のＰＥの能力を集めてひとつの強力なプロセ
ッサとして利用することも可能になる。
【００３２】また、近傍通信の入力元を上下左右のいず
れかのＰＥまたは零信号からＰＥ毎に選択できるように
することで、複数のＰＥを縦続接続してブロック化する
ことができる。ブロックの指定には、列バスおよび行バ
スを通じて行なわれるか、或いは、内部データから生成
される。このとき、ｎ個のＰＥが接続されたブロックに
おいては、ｎ個のＡＬＵが結合されｎビットＡＬＵとし
て振る舞わせることが可能であり、ｎ個のデータの総和
・ＡＮＤ・ＯＲ・ＸＯＲおよびｎビットデータ同士の加
減算等を一度に計算することができる。また、メモリ素
子も、例えば、１ビットメモリを２４個持つＰＥをｎ個
結合することで、ｎビットが１ワードのメモリが２４個
使用可能になる。従って、ブロックのサイズを大きくす
ることで、素子を無駄にすることなく、ブロックの演算
能力を高めることができる。
【００３３】本発明の第２の形態に係る半導体集積回路
装置は、光検出素子（光検出器ＰＤの画素値）の出力の
Ａ／Ｄ変換を、ソフトウェアを用いて行うことにより、
柔軟で能動的な画像センシングを実現することができ
る。ここで、Ａ／Ｄ変換を、ソフトウェアを用いて行う
とは、フォトダイオードに光が照射されて電荷が次第に
抜けるのを比較手段（コンパレータ）で観測し、電圧が
基準電圧（しきい値）を切るまでの時間をプロセッシン
グエレメント（ＰＥ）でカウントすることであり、カウ
ントの際の時間の刻み幅をプログラムで可変にすること
により、或いは、基準電圧を可変にすることにより、ア
ナログ量の量子化の区間割り当てを任意に実現する。ま
た、リセットのタイミングをローカルに可変にすること
で、広ダイナミックレンジと高フレームレートを両立し
た撮像が可能になる。
【００３４】上記の本発明の特徴的な構成は、ビジョン
チップのみならず、一般のイメージセンサ、或いは、広
く複数のプロセッシングエレメント（演算処理回路）を
有する半導体集積回路装置に対しても適用することがで
き、その性能を大幅に向上することが可能である。
【００３５】
【発明の実施の形態】以下、本発明に係る半導体集積回
路装置（ビジョンチップ）の実施例を、添付図面を参照
して詳述する。
【００３６】図３は本発明の第１の形態に係るビジョン
チップの一例のアーキテクチャを説明するための図であ
る。図３において、参照符号２はＰＥ（図２におけるプ
ロセッシングエレメント１０２に対応）、１２１はロー
カルメモリ、１２２はＩ／Ｏポート、１２３，１２４は
データラッチ（Ｄラッチ）、そして、１２６はＡＬＵを
示している。さらに、参照符号２０は３ビットのレジス
タ（状態レジスタ）、２１は列バス（ＣＯＬ）、２２は
行バス（ＲＯＷ）、そして、２３はＤラッチを示してい
る。
【００３７】図３に示すＰＥ２（１０２）は、前述した
図２に示されるように、画素数分マトリクス状に配列さ
れ、それぞれＰＤ（光検出器１０１）が取り付けられて
ビジョンチップ１を構成する。ＰＥ２は、主としてＡＬ
Ｕ１２６およびローカルメモリ１２１を備える。ＡＬＵ
１２６は、マルチプレクサ１２６１〜１２６５、全加算
器（ＦＡ：Full Adder）１２６６、および、Ｄ型フリッ
プフロップ（キャリー格納用レジスタ）１２６７を備え
る。ここで、各マルチプレクサ１２６１〜１２６５は、
命令（制御信号）Ｓ０〜Ｓ５で制御することにより指定
され、論理演算と算術演算を同一の回路で実行するよう
になっている。
【００３８】図３に示すＰＥ２は、前述した図２に示す
Ｓ3ＰＥ１０２に対して、座標依存値を送るための列バ
ス２１および行バス２２の共通バスが設けられている。
また、状態レジスタ２０の出力は、マルチプレクサ２７
に供給され、近傍通信の入力元が上下左右のいずれかの
ＰＥまたは零信号（上下左右零のいずれか）から選択さ
れてＡＬＵ１２６（マルチプレクサ１２６３）に供給さ
れるようになっている。すなわち、メモリ空間上に用意
された状態レジスタ２０（３ビットのレジスタ）の内容
によって、マルチプレクサ２７を制御して近傍通信の入
力先を上下左右零のいずれにするかを選択できるように
なっている。ここで、マルチプレクサ２７が零を選択す
るのは、マルチプレクサ２７の出力（ＡＬＵ１２６の入
力）を遮断して、例えば、始点となるＰＥの指定等を行
う。さらに、マルチプレクサ１２６５の出力は、ローカ
ルメモリ１２１に供給されると共に、Ｄラッチ２３に格
納されて他のＰＥに出力されるようになっている。すな
わち、近傍通信の出力先は、ラッチ（Ｄラッチ２３）に
なっている。
【００３９】ここで、ＡＬＵ１２６の出力信号は、フリ
ップフロップではなくラッチ（Ｄラッチ）２３を介して
出力されるように構成されているのは、フリップフロッ
プではクロックＣＬＫ（例えば、クロックＣＬＫの立ち
上がりタイミング）を待つ必要があるのに対して、ラッ
チ２３ではイネーブル信号Ｎｅｎの入力（高レベル
『Ｈ』）によりそのまま出力信号を他のＰＥ（ＡＬＵ）
に伝えることができるからである。すなわち、例えば、
ＰＥ２ａのＡＬＵ１２６ａの出力をＤラッチ２３ａ、お
よび、ＰＥ２ｂのマルチプレクサ２７ｂ（１２６３ｂ）
を介してＰＥ２ｂのＡＬＵ１２６ｂ（全加算器１２６６
ｂ）に接続することにより、１つのモジュール（機能ブ
ロック）として使用し、リアルタイムの処理を行うこと
ができる。
【００４０】単独のＰＥ２における演算の手順は、前述
した図２のＳ3ＰＥ１０２と同様であり、Ａ，Ｂの二つ
のデータをローカルメモリ１２１から読み出して演算を
実行した後、結果をローカルメモリ１２１に書き込む。
算術命令の場合は、結果書き込みの後にキャリー格納用
レジスタ１２６７を更新する。なお、Ａ，Ｂのデータが
前回と同じ場合は読み出し処理を省略することができ、
通常演算において実行できる演算の種類は、図２のＳ3
ＰＥ１０２で実行できる演算と同じである。
【００４１】具体的に、演算の手順としては、Ｄラッチ
１２４をイネーブル信号Ａｅｎにより一瞬イネーブルに
して、一方のオペランド（Ａ）をローカルメモリ１２１
から読み込む。次に、Ｄラッチ１２３をイネーブル信号
Ｂｅｎにより一瞬イネーブルにして、他方のオペランド
（Ｂ）をメモリ１２１から読み込む。命令の種類を指定
すると、演算結果が計算されるので、その演算結果をメ
モリ１２１へ格納する。
【００４２】キャリー格納用レジスタ１２６７は、その
出力が全加算器１２６６の入力につながっていること
で、多ビットの加減算を１ビット単位で行うビットシリ
アル演算を実現する。ここで、キャリー格納用レジスタ
１２６７は、クロックＣＬＫによりキャリー値を更新す
るようになっている。また、マルチプレクサ１２６３に
与える制御信号Ｓ５を高レベル『Ｈ』（”１”）にする
ことにより、演算のオペランドの一方を近傍入力（マル
チプレクサ２７の出力）に切り換えることができる。
【００４３】近傍入力の元になる近傍出力の値は、ＡＬ
Ｕ１２６の演算結果であり、Ｄラッチ２３をイネーブル
信号Ｎｅｎで一瞬イネーブルにすることにより更新され
る。このとき、制御信号Ｓ５が高レベル『Ｈ』になって
いると、全加算器１２６６の出力が隣接ＰＥの全加算器
の入力に直接（レジスタを介さずに）つながることにな
り、全加算器が縦続接続される。これを利用すること
で、累積演算や多ビット演算を実現する。
【００４４】これにより、より無駄の少ない構成で高度
な処理にも対応できるビジョンチップを実現することが
できる。
【００４５】図４は図３のアーキテクチャにおけるＰＥ
（プロセッシングエレメント）のブロック化処理を実行
するための構成を説明するための図であり、図３におけ
る主たる構成（列バス２１、行バス２２、ローカルメモ
リ１２１、Ｉ／Ｏポート１２２、状態レジスタ２０、お
よび、マルチプレクサ２７）を概略的に示すブロック図
である。
【００４６】ビジョンチップに設けられている（ローカ
ルメモリ１２１にマップされている）状態レジスタ２０
の内容によって、ＡＬＵ１２６に供給される近傍入力元
を上側のＰＥ，下側のＰＥ，左側のＰＥ，右側のＰＥ，
或いは，零信号のいずれかから各ＰＥ毎に（ローカル
に）選択できるようになっている。また、列バス２１お
よび行バス２２が設けられており、各ＰＥ（２）に座標
情報を送信する機構を備えている。
【００４７】本発明の第１の形態に係るビジョンチップ
の一例のアーキテクチャによれば、ＰＥ同士を結合し、
１つの大きなＰＥとみなすことにより、演算機能やメモ
リ容量等を高めることができる。また、近傍通信の入力
先をローカルに変えることで、さまざまな結合の形を作
ることができる。すなわち、後述するように、可変粒度
プロセッサや列並列プロセッサのエミュレーション等が
実現される。結合されたＰＥの中で実行できる演算とし
ては、例えば、累積演算および多ビット演算がある。
【００４８】図５は本発明の第１の形態に係るビジョン
チップの一例におけるＰＥの結合処理を説明するための
図であり、左右（行方向）に隣接するＰＥの結合を示す
ブロック図である。
【００４９】図５に示されるように、例えば、行方向に
隣接する２つのプロセッシングエレメント（ＰＥ）２ａ
および２ｂは、ＰＥ２ａのラッチ２３ａを介してＡＬＵ
１２６ａと１２６ｂが直接接続されて隣接するＰＥ同士
の結合が実現される。このようにして結合されたＰＥ群
は、累積演算（総和演算や全ＯＲ演算等）や多ビット演
算を実行するために使用される。
【００５０】図６は本発明の第１の形態に係るビジョン
チップの一例における累積演算処理を説明するための図
であり、図６は上述した図５に対応している。
【００５１】図５および図６に示されるように、まず、
データをメモリ（１２１）から読み出してラッチ（１２
４）に格納し、全加算器（１２６６）にデータＡ（A
(i), A(i+1), …）として供給する。次に、マルチプレ
クサ（１２６３）の制御信号Ｓ５を高レベル『Ｈ』（”
１”）としてマルチプレクサ（２７）の出力を選択し、
データＢとして全加算器（１２６６）に供給する。この
とき、マルチプレクサ（２７）はラッチ（２０）の出力
により、例えば、左側のＰＥの出力を選択して出力す
る。さらに、全加算器（１２６６）の出力（演算結果：
W(i), W(i+1), …）をメモリ（１２１）に格納する。な
お、必要に応じて、キャリー格納用レジスタ（１２６
７）を更新する。
【００５２】このように、累積演算処理は、例えば、マ
ルチプレクサ１２６３ａの制御信号Ｓ５を”１”にした
状態で、ラッチ２３ａのイネーブル信号Ｎｅｎを”１”
にする（イネーブルにする）ことで、全加算器１２６６
ａの和出力が次段の全加算器１２６６ｂの入力に直接接
続され、累積演算を実行することができる。すなわち、
同様に、近傍出力（例えば、左側のＰＥ（２ａ）のＡＬ
Ｕ（１２６ａ）の出力）を隣接ＰＥ（２ｂ）のＡＬＵ
（１２６ｂ）の入力に直接に入力することで、演算器を
多段となるように構成し、累積演算を実現する。
【００５３】図６は、例えば、制御信号［Ｓ０，Ｓ１，
Ｓ２，Ｓ３，Ｓ４，Ｓ５］をそれぞれ［１，ｘ，０，
０，１，ｘ］とした場合の例であり、累積加算器が構成
される。これにより、ひとまとまりのＰＥからのデータ
の総和を計算することができる。演算の種類を変えるこ
とで、全ＯＲ・全ＡＮＤ等も計算することができる。
【００５４】すなわち、演算の種類を論理和にすれば全
ＯＲになり、また、加算にすれば総和になる。総和の場
合は、最下位ビットから順にビットシリアルに計算する
ことになる。全ＯＲを用いることで、ブロック内のデー
タのブロードキャストを実現することができる。
【００５５】図７は本発明の第１の形態に係るビジョン
チップの一例における総和演算処理を説明するための図
であり、Ｎ＝４，ｍ＝２で、１１＋１０＋０１＋００の
総和（１１＋１０＋０１＋００＝０１１０）が計算され
る。ここで、前述したように、各ＰＥの出力は、ラッチ
（Ｄラッチ２３）を介して隣接する（右側の）ＰＥに供
給されるようになっているため、１つのモジュールとし
て１命令で総和演算を実行することができる。
【００５６】なお、例えば、列バス２１および行バス２
２からの座標値をマスクとして用いることにより、モー
メント量等のスカラー特徴量を計算することもできる。
【００５７】図８は本発明の第１の形態に係るビジョン
チップの一例における多ビット演算処理を説明するため
の図である。
【００５８】まず、図８（Ｉ）に示されるように、一
旦、キャリー格納用レジスタ（１２６７）に一方のオペ
ランドに相当する値を格納するような命令を実行してお
き、キャリー信号Ｃ（C(i), C(i+1), …）が次段に接続
されるような命令を与える（図８（Ｉ）の例では、制御
信号Ｓ［Ｓ０，Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５］にそれ
ぞれ［１，ｘ，０，１，１，ｘ］を与える）ことによ
り、図８（II）に示されるような複数のＰＥを用いた多
ビット演算が実現される。なお、図８に示されるよう
に、加算命令の場合、桁上げ加算器を構成することにな
る。
【００５９】具体的に、まず、一方のデータをローカル
メモリ（１２１）から読み出してキャリー格納用レジス
タ（１２６７）に格納する（”１”との加算を実行す
る）。また、他方のデータをメモリ（１２１）から読み
出してラッチ（１２４）に格納する。さらに、命令を選
択する（制御信号Ｓ５＝”１”，Ｓ２＝”１”）。
【００６０】次に、近傍出力ラッチをイネーブルにする
（図８（Ｉ）：マルチプレクサ（１２６３）の制御信号
Ｓ５を”１”としてマルチプレクサ（２７）の出力を選
択する。このとき、マルチプレクサ（２７）はラッチ
（２０）の出力により、例えば、左側のＰＥの出力を選
択して出力する。）さらに、近傍出力ラッチをディセー
ブルにする。
【００６１】そして、命令を選択し（制御信号Ｓ５＝”
１”，Ｓ２＝”０”：図８（II））、演算結果をメモリ
（１２１）に格納する。なお、上記のような累積演算や
多ビット演算を行うＰＥ群を指すものとして、ブロック
（ブロック化）という概念を用いている。
【００６２】なお、上記の多ビット演算処理において
も、ＡＬＵ（全加算器１２６７）の出力信号は、フリッ
プフロップではなくラッチ（Ｄラッチ２３）を介して接
続することで１つのモジュールとして機能し、リアルタ
イムの処理を行うことができる。
【００６３】図９〜図１１は本発明の第１の形態に係る
ビジョンチップの一例におけるＰＥのブロック化処理を
説明するための図である。図９および図１０において、
参照符号２００はブロック（ＰＥ群）を示し、ＰＥｓは
始点のプロセッシングエレメント、また、ＰＥｅは終点
のプロセッシングエレメントを示している。
【００６４】図９は１次元の例であり、図１０は２次元
の例であるが、ＰＥのブロック化（ＰＥ群化）は、列バ
ス２１および行バス２２を介して各ＰＥに座標に依存し
た値を送り、それに基づいて状態レジスタ（２０）の値
をローカルに設定することによって、ＰＥをブロック状
に連結してブロック２００を構成する。
【００６５】すなわち、図９および図１０に示されるよ
うに、始点になるプロセッシングエレメントＰＥｓの近
傍入力先を零に設定（例えば、図３に示すＰＥにおける
マルチプレクサ２７が零を選択して出力するように設
定）し、そこから一筆書きで終点のプロセッシングエレ
メントＰＥｅまで連結する。ここで、終点のプロセッシ
ングエレメントＰＥｅは、総和等のスカラー特徴量の格
納先になる。このひとかたまりのブロック２００が、先
に挙げた累積演算や多ビット演算を行う際の処理単位と
なる。
【００６６】このようなブロック化により、例えば、図
１０に示されるように、ｎ×ｍブロック内において、ｎ
ｍ個の１ビットＡＬＵ（１２６６）が縦続接続され、ｎ
ｍビットＡＬＵとして振る舞う。また、図１１に示され
るように、メモリ素子も１ビットメモリが２４個で構成
されるメモリ（１２１）を持つＰＥをｎｍ個結合するこ
とで、ｎｍビットが１ワードのメモリが２４個使用可能
になる。従って、ブロックのサイズを大きくすること
で、素子を無駄にすることなく、ブロックの演算能力を
高めることが可能になる。
【００６７】なお、ブロック（２００）の大きさを動的
に切り替えることで、可変粒度の画像処理が可能にな
る。さらに、ブロック内のブロードキャストが自由に行
えるため、ピラミッドアーキテクチャ等のメッシュ以外
のネットワーク構造のエミュレーションも可能である。
【００６８】図１２は本発明の第１の形態に係るビジョ
ンチップの一例におけるブロック内特徴量のフィードバ
ック処理を説明するための図である。
【００６９】上述したブロック（２００）内において、
まず、総和演算でモーメント等のスカラー特徴量を計算
し、その結果をブロードキャスト（全ＯＲで実現）でブ
ロック内の全ＰＥに送り、結合メモリに格納すること
で、ブロック内での特徴量フィードバックが実現され
る。これらの一連の処理は、ビットシリアルに実現可能
であるため、作業用のメモリを消費せずに済む。
【００７０】図１２に示されるように、複数のＰＥをあ
るときは空間（画像）を表すために使用し、また、ある
ときはビット列（最下位ビット（ＬＳＢ：Least Signif
icant Bit）、第２ビット、…：演算結果）を表すため
に用いることができ、メモリ（資源）を自由に無駄なく
使用することが可能である。このように、ブロック（Ｐ
Ｅ群）内に保持するデータを桁毎に異なるＰＥに分散し
て持たせることで、単一の場合におけるメモリ使用量を
削減することができる。
【００７１】次に、列並列プロセッサのエミュレーショ
ンに関して、従来のビジョンチップやＳＩＭＤプロセッ
サの中には、列に１つだけＰＥを設置した列並列のもの
（例えば、MAPP2200）が存在する。このタイプのプロセ
ッサは、列並列にすることにより、完全並列に比べて１
列分の繰り返し処理が必要となるのため速度の点で性能
が落ちるが、その分個々のＰＥの演算能力を高めること
を目指すことができる。これに関して、本発明の第１の
形態に係るビジョンチップのＰＥ結合機能を用いてＰＥ
を列方向に一列につなげることにより、演算器（ＡＬＵ
１２６）やメモリ（１２１）を無駄にすることなく、こ
れらの列並列プロセッサのエミュレーションが可能であ
る。
【００７２】また、列並列のプロセッサでは、列毎に任
意の画素にアクセスできるため、ある種の座標変換アル
ゴリズムにおいて威力を発揮する。従来の２Ｄメッシュ
ネットワークを用いたチップにおいては、ＰＥ間の通信
が近傍のみと限られているため、このようなアルゴリズ
ムを実装することは難しいが、本発明の第１の形態に係
るビジョンチップのブロードキャスト機能を用いること
で、列並列プロセッサと同等の機能を実現することがで
きる。具体例として、後に９０度回転アルゴリズムの実
装例を示す。
【００７３】図１３は本発明の第１の形態に係るビジョ
ンチップの一例におけるその他の処理を説明するための
図であり、ブロックの自己生成を説明するためのもので
ある。
【００７４】上述したブロック化において、ブロックを
指定するのは、外部から列バス２１および行バス２２を
介して行うため、ブロックの大きさや位置は格子等のあ
る程度規則的なものとなっている。しかしながら、図１
３に示されるように、ブロック２００ａ，２００ｂの大
きさや位置を、例えば、入力画像に基づいて内部生成
（ブロックの自己生成）することで、より一層柔軟なブ
ロックを生成することができる。なお、ブロックは、同
時に複数生成することが可能である。
【００７５】また、ＰＥを列方向に一列につなげて列並
列マシンのエミュレーションを行うことで、演算能力お
よびメモリ容量を向上し、列内の任意の画素同士の通信
を可能とすることもできる。これは、ある種の座標変換
系のアルゴリズムにおいて威力を発揮することになる。
【００７６】次に、図１４〜図１６を参照して、本発明
の第１の形態に係るビジョンチップの一例に対して視覚
処理アルゴリズムを実装した結果を説明する。なお、ア
ルゴリズムの検証は、専用シミュレータを使用して行っ
た。
【００７７】図１４は本発明の第１の形態に係るビジョ
ンチップの一例を適用した並列ブロックマッチング処理
を説明するための図であり、図１２を参照して説明した
ブロック内特徴量のフィードバック処理を用いたアルゴ
リズムの例としての並列ブロックマッチングを説明する
ためのものである。
【００７８】本並列ブロックマッチング処理は、二枚の
画像（画像Ａ，画像Ｂ）のうち、一方の画像（画像Ａ）
における区分けされた各部分（Ａ１，Ａ２，Ａ３，Ａ
４）が、他方の画像（画像Ｂ）においてどちらにずれて
いるかを探索するアルゴリズムである。すなわち、二枚
の画像を別々のカメラから入力することでステレオ処理
を実現したり、また、１フレーム前の入力とのマッチン
グを取ることでオプティカルフローを実現する等の応用
が考えられる。
【００７９】図１４（Ｉ）に示されるように、一方の画
像（画像Ａ）をうずまき状に移動させながら、ブロック
単位でＳＡＤ（Sum of Absolute Difference：差分の絶
対値の総和）を取る。ＳＡＤがこれまでの最大値よりも
大きい場合には、最大値およびインデックスを更新す
る。なお、図１４（II）は、並列ブロックマッチング処
理の一例のプログラムおよびブロックマッチングを行う
移動方向を示し、また、図１４（III）は、並列ブロッ
クマッチング処理の結果（インデックスｉｄｘ）を示し
ている。ここで、図１４（III）は、部分Ａ１では１８
回目でパターンが一致し、部分Ａ２では１４回目でパタ
ーンが一致し、部分Ａ３では２２回目でパターンが一致
し、そして、部分Ａ４では１０回目でパターンが一致し
た場合を示している。
【００８０】通常、ＳＡＤのような演算は、総和計算に
時間がかかり、何度も繰り返して演算を行うのは難しい
が、本発明の第１の形態に係るビジョンチップによれ
ば、ブロック内総和を高速に計算することができるた
め、ＳＡＤ演算を無理なく実行することが可能である。
また、例えば、入力画像を４ビット×２枚、ブロックサ
イズを８×８、そして、探索領域を４×４とした場合に
使用するメモリ量は、入力が８ビット、差分の絶対値の
格納が４ビット、ＳＡＤ結果の格納が１０ビット、最大
値の格納が１０ビット、そして、インデックスの格納４
ビットを合計した３６ビット＋作業用数ビットとなり、
１個のＰＥが持つローカルメモリ（例えば、２４ビッ
ト）には収まりきらない。
【００８１】しかしながら、本発明の第１の形態に係る
ビジョンチップによれば、ＳＡＤの結果、最大値、およ
び、インデックス等をブロック内の複数ＰＥのメモリに
分散して持たせることができるため、メモリ領域を圧迫
せずに済むことになる。
【００８２】具体的に、入力画像を４ビット、ブロック
サイズを８×８画素、そして、探索範囲をｎ画素とした
場合に必要な演算の回数は、通常演算が（２２４ｎ−１
２）回、ブロック内累積演算が（２２ｎ−２）回、座標
指定が（６６ｎ−６）回、そして、各ＰＥが使用するメ
モリ量は１９ビットであった。
【００８３】図１５は本発明の第１の形態に係るビジョ
ンチップの一例を適用した９０度回転処理を説明するた
めの図である。
【００８４】例えば、正立の画像『Ａ』を反時計回り方
向に９０度だけ回転する場合を考える。ここで、回転、
拡大およびフーリエ変換等の座標変換系のアルゴリズム
は、処理の局所性がないため、従来の２Ｄメッシュ結合
のＳＩＭＤプロセッサで実行するには向かないアルゴリ
ズムである。しかしながら、並列度を２次元から１次元
に落とし、繰り返し演算を行うことで、これらの演算が
可能になる場合がある。ここでは、特に、本発明の第１
の形態に係るビジョンチップを列並列プロセッサと見立
て、９０度回転のアルゴリズムを実装した。
【００８５】図１５に示されるように、アルゴリズムの
手順は、対角線を介して列毎に列を行に置き換えてい
く。同一列内および同一行内でのデータの移動は、累積
演算によるブロードキャストを用いて行う。
【００８６】本アルゴリズムを実装すると、入力画像が
１ビット、そして、画素数がＮ×Ｎ（２n＝Ｎ）の場合
に必要な演算の回数は、通常演算が（４Ｎ＋２ｎ＋２）
回、列（行）累積演算が４Ｎ回、座標指定が（６Ｎ＋２
ｎ）回、そして、各ＰＥが使用するメモリ量が４ビット
であった。
【００８７】図１６は本発明の第１の形態に係るビジョ
ンチップの一例を適用した複数物体の同時トラッキング
処理を説明するための図である。
【００８８】複数物体の同時トラッキングを行おうとし
た場合、１つの方法として、個々の物体に対して順番に
トラッキング処理を行うという方法が考えられる。しか
しながら、対象の数が多くなると、要求されるフレーム
レート内に処理が収まらない可能性も出てくる。そこ
で、図１６のトラッキング処理は、本発明の第１の形態
に係るビジョンチップのブロック化の機能を用いて、複
数の物体を同時にトラッキングすることを考える。この
場合、入力画像における対象の位置と形状に依存してブ
ロックを作らなければならず、前述したブロックの自己
生成が有効になる。
【００８９】すなわち、図１６に示されるように、ま
ず、初めに物体の初期位置（既知とする）に初期ブロッ
クを配置し、それを基に対象を囲むブロックを自己生成
する。次に、ブロック内でスカラー特徴量を計算して出
力する。特徴量から対象の位置情報を計算し、次のフレ
ームにおける初期ブロックの位置とする。
【００９０】ここで、初期ブロックの配置、特徴量の出
力および位置情報の計算は対象毎に行う必要があるが、
ブロックの自己生成および特徴量の計算は複数物体に対
して同時に実行することができるため、トラッキング処
理全体の処理時間を短縮することができる。
【００９１】本アルゴリズムを実装すると、入力画像を
１ビット（バイナリ）、対象の個数をｍ、対象の最大サ
イズをｎmax×ｎmax、そして、画素数Ｎ×Ｎとした場
合、初期ブロックの配置およびブロックの自己生成に
は、通常演算が（５１ｎmax＋１２ｍ＋４）回、ブロッ
ク内列（行）方向累積演算が４ｎmax回、そして、座標
指定が（５ｍ＋１６ｎmax）回だけかかる。特徴量の計
算および出力は、モーメントを利用した場合で、通常演
算が（６６log2ｎmax＋４０log2Ｎ）回、ブロック内累
積演算が（１２log2ｎmax＋８log2Ｎ）回、列（行）累
積演算が（６ｍlog2ｎmax＋４ｍlog2Ｎ）回、そして、
座標指定が（２ｍ＋２log2Ｎ）回だけかかる。なお、使
用メモリは、合計７である。
【００９２】上述したアルゴリズムの実行時間および使
用メモリの見積もりの例を次の表１に示す。ここで、画
素数を２５６×２５６、マッチングの探索範囲を９×９
画素、トラッキング対象の最大サイズを３２×３２、ト
ラッキング対象の個数を１０個、通常演算の実行速度を
４０ｎｓ、Ｎ段累積演算の実行速度を（２０＋１．０
Ｎ）ｎｓ、そして、座標指定の実行速度を２０ｎｓとす
る。
【００９３】
【表１】
【００９４】上述した本発明の第１の形態に係るアーキ
テクチャを基に試作チップの設計を行った。過去の設計
から回路の追加はほとんどないので、回路規模はそのま
まに機能だけ拡充することができた。さらに、回路およ
びレイアウトを改良することにより、さらに高集積化が
実現された。具体的には、制御信号のグローバル配線化
・ＳＲＡＭの非双対線化による効果が大きい。また、こ
れまでＰＤ回路には、インバータが反転するまでの時間
をカウントする方式がとられていたが、比較器で基準電
圧Ｖrefと比較する方式を採用することにより、消費電
流をかなり抑えることができ、Ａ／Ｄ変換のしきい値電
圧を変えられるという利点がある。
【００９５】具体的に、例えば、０．３５μｍ ＣＭＯ
Ｓ ＤＬＰ／ＴＬＭプロセス、エリアサイズが５．４ｍ
ｍ×５．４ｍｍの中に６４×６４個の画素（図１におけ
るユニット１００に相当）を搭載することができる。こ
こで、各ＰＥの面積は、例えば、６７．４μｍ×６７．
４μｍであり、２５６×２５６画素を約１．８ｃｍ角の
チップに搭載することが可能であり、画像処理デバイス
として標準的な画素数にまで到達させることができる。
【００９６】このように、本発明の第１の形態に係るＰ
Ｅ結合機能とグローバル演算機能を付加したビジョンチ
ップによれば、例えば、ステレオ視やオプティカルフロ
ーのためのブロックマッチングを１ｍｓ以内に実行でき
る等、画像処理のリアルタイム応用に対し有効であり、
従って、ビジョンチップで実行できるアプリケーション
の幅を拡大することが可能である。
【００９７】上述したように、本発明によれば、ＡＬＵ
に含まれるＦＡやＤＦＦ等の回路を通常演算のみなら
ず、累積演算・多ビット演算にも流用することにより、
小さい回路規模を維持しつつ多様な演算を実現すること
ができる。その結果、グローバルな演算を行うことがで
きるビジョンチップを、従来のものとほとんど同じ回路
規模で実現することができる。
【００９８】また、近傍通信の入力元をＰＥ毎に選択で
きるようにすることで、複数のＰＥをブロック化し、Ｐ
Ｅ単体では不足な性能を補うことが可能である。その結
果、予め想定させるアプリケーションの最大のスペック
に合わせてＰＥを設計せずに済み、結果としてハードウ
ェア量の大幅な削減、並びに、対応アプリケーションの
大幅な拡大につながる。
【００９９】以下、本発明の第２の形態としての光検出
回路ＰＤ（光検出素子：フォトダイオード）の出力をソ
フトウェアＡ／Ｄ変換する半導体集積回路装置を詳述す
る。
【０１００】従来技術の説明として、図２を参照して説
明したように、Ｓ3ＰＥにおいて、光検出器（ＰＤ）１
０１からの光強度信号のＡ／Ｄ変換は、光電流による蓄
積電荷の放電をしきい値回路（インバータ）で検出し、
そのしきい値を切るまでの時間を計測して行っており、
ＰＥ１０２をカウンタとして用いることで回路を増やす
ことなくＡ／Ｄ変換を実現している。
【０１０１】図１７は従来のビジョンチップの一例にお
けるフォトダイオード出力（光検出回路ＰＤ）のＡ／Ｄ
変換処理を実行するための構成を説明するための図であ
る。図１７において、参照符号３０１は光検出器（ＰＤ
１０１）を示し、３０２はプロセッシングエレメント
（ＰＥ１０２）を示している。
【０１０２】ＰＤ３０１は、光検出素子（フォトダイオ
ード）３１１およびしきい値回路（インバータ）３１２
を備え、しきい値回路３１２は、フォトダイオード３１
１の光電流による蓄積電荷の放電を検出する。ＰＥ３０
２は、ＰＤ３０１からの光強度信号のＡ／Ｄ変換をソフ
トウェアで行うもので、しきい値回路３１２で検出され
たしきい値を切るまでの時間を計測して行うようになっ
ている。すなわち、ＰＥ３０２をカウンタとして用いる
ことで、回路を増やすことなくＡ／Ｄ変換を実現してい
る。
【０１０３】図１８は図１７のＡ／Ｄ変換処理における
課題を説明するための図である。図１８において、参照
符号Ｌ１は光検出素子（フォトダイオード）３１１に入
力（照射）される光強度が大きい（明るい）とき、Ｌ２
は光検出素子３１１に入力される光強度が中くらいのと
き、そして、Ｌ３は光検出素子３１１に入力された光強
度が小さい（暗い）ときの時間に対する出力電圧の関係
を示している。
【０１０４】すなわち、光検出素子３１１に入力する光
強度が大きい場合には、光電流による電圧降下は大きく
（Ｌ１）、また、光検出素子３１１に入力する光強度が
小さい場合には、光電流による電圧降下が小さい（Ｌ
３）。ここで、図１７のＡ／Ｄ変換処理では、しきい値
回路３１２としてインバータを使用するため、しきい値
電圧（基準電圧Ｖref）は固定であり、また、ＰＥ３０
２におけるしきい値回路３１２の出力の変化検出処理
（カウンタによる時間測定処理）も一定の時間間隔（Ｐ
0）となっている。
【０１０５】このように、図１７に示す従来のビジョン
チップの一例における光検出回路ＰＤ（フォトダイオー
ド出力）のＡ／Ｄ変換処理は、しきい値が固定されたし
きい値回路（インバータ）３１２を使用し、しきい値回
路３１２の出力の変化も一定の時間間隔Ｐ0で実行され
ている。その結果、光の強度やノイズに対する適切な制
御を行うことが困難であり、また、必要な個所で検出精
度を向上させるといったこともできなかった。
【０１０６】図１９は本発明の第２の形態に係るビジョ
ンチップの一例におけるフォトダイオード出力（光検出
回路ＰＤ）のＡ／Ｄ変換処理を実行するための構成を説
明するための図であり、図２０は図１９の一構成例を示
す図である。図１９および図２０において、参照符号３
１は光検出器（ＰＤ１０１）、３３はリセット回路、３
４は光検出素子（フォトダイオード３１１）、そして、
３５はコンパレータ（比較手段）を示している。また、
参照符号３２はプロセッシングエレメント（ＰＥ１０
２）、３６はローカルメモリ（１２１）、３７はＩ／Ｏ
ポート（１２２）、そして、３８はＡＬＵ（１２６）を
示している。ここで、フォトダイオード３４の出力（ア
ノード）はコンパレータ３５の負入力に接続され、ま
た、コンパレータ３５の正入力には基準電圧Ｖrefが印
加れている。
【０１０７】図１９および図２０に示されるように、フ
ォトダイオード３４の寄生容量に蓄えられた電荷は、照
射された光の光強度に応じた量の光電流が流れることで
蓄積または解放（図１９および図２０では解放）され、
それに伴って、コンパレータ３５の入力電圧も変動し、
予め定められた基準電圧（しきい値）Ｖrefを切ったと
ころで出力が反転する。このコンパレータ３５の出力を
Ｉ／Ｏポート３７（図２０ではローカルメモリ３６にマ
ップされている）を通じて取り込み、ＰＥ３２のＡＬＵ
３８とメモリ３６を用いてカウントする。
【０１０８】また、図２０に示されるように、フォトダ
イオード３４の電荷をリセットするための信号は、Ｉ／
Ｏポート３７からリセット回路３３に送られ、各ＰＥ毎
に（ローカルに）リセットのタイミングを制御するよう
になっている。
【０１０９】上述した本発明に係るＡ／Ｄ変換（可変量
子化間隔Ａ／Ｄ変換）は、光電流による電圧降下をコン
パレータ３５で検知する方式であり、電圧が基準電圧Ｖ
refを切るまでの時間をカウンタで測定する。この際、
出力が光強度の逆数となってしまうが、これでは、画像
処理を行う上で都合が悪いので、出力が光強度に比例ま
たは対数比例するように、カウントのタイミングを時間
によって変えて量子化間隔を調整する。
【０１１０】この際、ビジョンチップを高い時間分解能
で制御する必要が生じるため、ビジョンチップに対して
命令を供給する装置（システム）として、パイプライン
化によって命令供給の時間分解能を高め、且つ、そのパ
イプラインの動的な停止を一切排除することにより、命
令サイクルの粒度での実時間性を保証できるコントロー
ラを用いる。さらに、カウントの最中に基準電圧Ｖref
を変化させることにより、さらに柔軟なセンシングが可
能となる。例えば、カウントしながら基準電圧Ｖrefを
徐々に上げていくことにより、暗いところでは感度を優
先し、明るいところでは精度を優先したセンシングを実
現することができる。また、この可変量子化間隔Ａ／Ｄ
変換の機構を積極的に利用し、過去のＡ／Ｄ変換結果を
用いて現時刻の区間割り当て制御を更新することによ
り、環境変化に対し適応的なＡ／Ｄ変換が可能になる。
詳細は、後述する。
【０１１１】図２０に示す回路では、ＰＤ３１（光検出
素子３４）のリセットを各画素毎に行うことができ、こ
れを利用して、電圧が基準電圧Ｖrefを切った画素（Ｐ
Ｄ）に対してのみリセット信号を与える。これにより、
明るいところは高いフレームレートで、また、暗いとこ
ろは低いフレームレートで撮像することになり、広ダイ
ナミックレンジと高フレームレートを両立した撮像が可
能になる。
【０１１２】さらに、ＰＤ３１（光検出素子３４）のＡ
／Ｄ変換を既にＰＥに設けられているＡＬＵ３８とメモ
リ３６を用いて行うことにより、回路の追加なしにＡ／
Ｄ変換を実現することがでる。また、この方式の利点と
して、光検出素子（フォトダイオード）３４の制御のタ
イミングをソフトウェアで変えることができ、従来のイ
メージセンサでは不可能であった柔軟なセンシングを実
現することができる。
【０１１３】図２１は図１９および図２０のＡ／Ｄ変換
処理の動作を説明するための図である。図２１におい
て、参照符号ＬＬ１〜ＬＬ６は光検出素子（フォトダイ
オード）３４に入力された光強度が高い（明るい：ＬＬ
１）方から低い（暗い：ＬＬ６）に向かっての時間に対
する出力電圧の関係を示している。
【０１１４】図２１に示されるように、図２０のＡ／Ｄ
変換処理は、基準電圧Ｖrefを様々な電圧レベルに設定
すると共に、プロセッシングエレメント（ＰＥ）３２に
おけるしきい値回路（コンパレータ）３５の出力の変化
検出処理（カウンタによる時間測定処理）も異なる時間
間隔（例えば、Ｐ1，Ｐ2）に変化させて制御するように
なっている。図２１に示されるように、ノイズの影響
は、ノイズの大きさが同じであっても、光強度が小さい
ときほど（例えば、ＬＬ１よりもＬＬ４やＬＬ５の方
が）その影響は大きくなり、また、検出精度は、基準電
圧Ｖrefが低いときほど高くなる。
【０１１５】ここで、フォトダイオード３４に入力する
光強度が大きい場合には、コンパレータ３５の基準電圧
Ｖrefを低く設定してノイズに強くし、また、検出精度
を向上させる方が好ましい。一方、フォトダイオード３
４に入力する光強度が小さい場合には、コンパレータ３
５の基準電圧Ｖrefを高く設定して感度を向上させる必
要がある。さらに、コンパレータ３５の出力の変化検出
処理（カウンタによる時間測定処理）は、例えば、フォ
トダイオード３４に入力する光強度が大きいことが予想
される場合（例えば、ＬＬ１）には、最初の時間間隔を
狭く設定（Ｐ1）すると共に後の時間間隔を広く設定
（Ｐ2）し、コンパレータ３５の変化タイミングを狭い
時間間隔の領域で検出して検出精度を向上させるように
構成することもできる。
【０１１６】このように、本発明の第２の形態に係る半
導体集積回路装置は、ビジョンチップが適用されるシス
テム（装置）に応じて、光の強度やノイズに対する適切
な制御を行い、さらに、必要な個所で検出精度を向上さ
せるといった制御を行うこともできる。
【０１１７】図２２は本発明の第２の形態に係るビジョ
ンチップが適用されるシステムの構成例を示す図であ
る。図２２において、参照符号１はビジョンチップ（半
導体集積回路装置）、１００はユニット（画素）、４１
はＰＤ読み出し時刻・供給電圧テーブル（光検出回路Ｐ
Ｄの出力を検出するタイミング（時間間隔）およびコン
パレータに与える基準電圧Ｖref用のテーブル）、４２
は命令テーブル、４３はビジョンチップ制御装置、そし
て、４４はＤ／Ａ変換器を示している。まず、可変量子
化間隔Ａ／Ｄ変換の動作について説明する。
【０１１８】図２２に示されるように、本発明の第２の
形態に係る半導体集積回路装置（ビジョンチップ）が適
用されるシステムは、ビジョンチップ制御装置４３が、
命令テーブル４２およびＰＤ読み出し時刻・供給電圧テ
ーブル４１に従い、ビジョンチップに対して制御命令お
よび基準電圧Ｖrefを供給する機能を有する。
【０１１９】ｎ階調の可変量子化間隔ＡＤ変換は、以下
の手順で行うことができる。
【０１２０】１）各画素１００の変換結果を格納するメ
モリ領域（各ＰＥのローカルメモリ３６）を零に初期化
するための制御命令を供給する。
【０１２１】２）全ての画素をリセット（リセット回路
３３をオンした後にオフ）する制御命令を供給する（こ
れを時刻０とする）。
【０１２２】３）基準電圧Ｖrefに電位Ｖ１を供給す
る。
【０１２３】４）ｋ＝１，２，…，ｎ−１に対して、以
下の処理を繰り返し実行する。
【０１２４】ｉ）時刻ｔkまで待った後、各画素におい
て、光検出器３１（フォトダイオード３４）の出力を読
み出す制御命令を供給する。
【０１２５】ii）基準電圧Ｖrefとして電位Ｖk+1を供給
する。
【０１２６】iii）各画素１００において、変換結果を
格納するメモリ領域に対して、上記ｉ）で読み出した１
ビット値を加算する制御命令を供給する。
【０１２７】５）以上の手順終了後、各画素の変換結果
格納メモリ領域にはＡ／Ｄ変換結果が格納される。
【０１２８】次に、｛ｔk｝および｛Ｖk｝の決定法につ
いて説明する。ここで、｛ｔk｝は、プロセッシングエ
レメント（ＰＥ）が光検出回路ＰＤの出力を検出する時
刻（カウントのタイミング）に相当し、また、｛Ｖk｝
はコンパレータ（３５）に供給する基準電圧（Ｖref）
に相当する。
【０１２９】本発明の第２の形態に係る半導体集積回路
装置によれば、テーブルに格納する｛ｔk｝および
｛Ｖk｝を変更することで、さまざまな量子化間隔を実
現することができる。具体的に、｛ｔk｝，｛Ｖk｝を決
定する方法の例として、仕様として与えられた｛ｉk｝
（光電流量の量子化間隔）から、それを実現するための
｛ｔk｝および｛Ｖk｝を算出するアルゴリズムを次に示
す。
【０１３０】図２３〜図２５は図２２のシステムにおけ
るフォトダイオード出力のＡ／Ｄ変換処理を説明するた
めの図である。
【０１３１】まず、アルゴリズムヘの入力に関し、｛ｉ
k｝（ｋ＝１，…，ｎ−１）は、光電流量の量子化間隔
を示す。量子化間隔｛ｉk｝は、図２３のように表現す
る。すなわち、光電流量ｉkからｉk-1までのアナログ量
に対して、符号（ディジタル値）ｎ−ｋを割り当てるも
のとする。
【０１３２】図２３において、光電流量ｉの添字は、大
きい方が暗い光量を表し、フォトダイオード（３４）を
流れる光電流量は少なく、逆に、小さい方が明るい光量
を表し、フォトダイオードを流れる光電流量は多い。こ
こで、光電流量ｉの添字を上記のように設定するのは、
時間順に添字を取るｔk，Ｖkとの対応を表すためであ
る。ただし、ｉn，ｉ0は、それぞれ０および∞に固定と
してある。
【０１３３】次に、アルゴリズムの出力に関し、
｛ｔk｝（ｋ＝１，…，ｎ−１）は、光検出回路（Ｐ
Ｄ）の出力の読み出し時刻列を示し、そして、｛Ｖk｝
（ｋ＝１，…，ｎ−１）は、各ｔkにおいてＶrefとして
与えるべき電位を示す。なお、ｔ0は０に固定する。
【０１３４】また、その他のパラメータに関し、ΔＶは
基準電圧Ｖrefとして入力できる値の粒度、ΔｔはＰＤ
読み出し時刻の粒度、ｔmaxはＡＤ変換に費やす時間
［Δｔの整数倍］、そして、｛Ｐk｝（ｋ＝１，…，ｎ
−１）は前述したｉ）〜iii）を実行するのに要する時
間［Δｔの整数倍］を示す。さらに、Ｖddはフォトダイ
オードのリセット電位（電源電圧）、Ｖmaxは基準電圧
Ｖrefに入力できる最大値（コンパレータの動作領域の
上限）［ΔＶの整数倍］、Ｖminは基準電圧Ｖrefに入力
できる最小値（コンパレータの動作領域の下限）［ΔＶ
の整数倍］、そして、Ｃはフォトダイオードの容量を示
す。
【０１３５】アルゴリズムに関し、まず、ｋ＝ｎ−１の
場合を決定する。その結果を用いて、ｋ＝ｎ−２の場合
を決定し、以下同様に、ｋ＝１まで決定していく。途中
でエラー終了になるのは、入力として与えられた
｛ｉk｝がハードウェア的な制約から実現不可能な場合
である。それぞれの値の対応を図２４に示す。なお、記
述の都合上、ｔn＝ｔmax，Ｖn＝Ｖmaxとして扱う。
【０１３６】図２４において、参照符号参照符号ＬＬ１
１〜ＬＬ１４はフォトダイオード（３４）に入力された
光強度が高い（明るい：ＬＬ１１）方から低い（暗い：
ＬＬ１４）に向かっての時間に対する出力電圧の関係を
示し、ＬＬ１１は傾きが−ｉ 1／Ｃ、ＬＬ１２は傾きが
−ｉ2／Ｃ、ＬＬ１３は傾きが−ｉk／Ｃ、そして、ＬＬ
１４は傾きが−ｉn-1／Ｃとなっている。
【０１３７】ｋ＝ｎ−１，ｎ−２…，１の順にそれぞれ
に対して、以下のいずれかの処理を行う。
【０１３８】Ｖk+1≠Ｖminのとき、処理（Ａ）を行う。
【０１３９】Ｖk+1＝Ｖminのとき、処理（Ｂ）を行う。
【０１４０】ここで、上記の処理（Ａ）および処理
（Ｂ）は次の通りである。
【０１４１】処理（Ａ）は、以下のように計算する。
【０１４２】
【数１】
【０１４３】ただし、Ｖk＞Ｖk+1となった場合はエラー
終了する。Ｖk＜Ｖminとなった場合は、処理（Ｂ）にて
再計算する。
【０１４４】処理（Ｂ）は、以下のように計算する。
【０１４５】
【数２】
【０１４６】ただし、ｔk+1−ｔk＜Ｐkとなった場合
は、エラー終了する。
【０１４７】このようにして、図２４の曲線ＲＬに示さ
れるように、所望の光電流量の量子化間隔｛ｉk｝を実
現するＰＤ読み出し時刻列｛ｔk｝および基準電圧Ｖref
として与えるべき電位｛Ｖk｝を用意し、Ａ／Ｄ変換を
行うことができる。また、ＰＤ読み出し時刻・供給電圧
テーブル４１の内容を動的に入れ替えることで、環境や
目的の変化に応じた適応的なセンシングを実現すること
ができる。
【０１４８】光電流量の量子化間隔｛ｉk｝の与え方の
例を図２５に示す。ただし、説明を簡略化するために、
８階調のＡ／Ｄ変換とする。
【０１４９】まず、図２５（ａ）は、暗い領域を狭い刻
み幅でＡ／Ｄ変換する例（フォトダイオード３４に入力
する光強度が小さい領域で検出精度を向上させるのに適
した例）であり、逆に、図２５（ｂ）は、明るい領域を
狭い刻み幅でＡ／Ｄ変換する例（フォトダイオード３４
に入力する光強度が大きい領域で検出精度を向上させる
のに適した例）である。
【０１５０】また、図２５（ｃ）は、刻み幅を大きく取
ることで暗い領域から明るい領域までをカバーする例で
ある。ただし、図２５（ｃ）の例は、図２５（ａ）と比
べて検出可能な上限が２倍になったのと同時に下限も２
倍になっているため、ダイナミックレンジは変わらな
い。
【０１５１】さらに、図２５（ｄ）は、刻み幅を暗い領
域から明るい領域になるに従って大きくして、広いダイ
ナミックレンジを実現する例である。ただし、図２５
（ｄ）の例では、その代償として、入力光の強度とＡ／
Ｄ変換後の値の関係は線形ではなくなる。
【０１５２】本発明の第２の形態に係る半導体集積回路
装置によれば、上記の図２５（ａ）〜図２５（ｄ）に示
されるように、ビジョンチップが適用されるシステム
（装置）に応じて、光の強度やノイズに対する適切な制
御を行うことができ、必要な個所で検出精度を向上させ
るといった制御が可能になる。
【０１５３】以上の説明においては、本発明の適用可能
な半導体集積回路装置としてビジョンチップを例として
説明したが、本発明はビジョンチップに限定されず、複
数のプロセッシングエレメント（ＰＥ）が１つの半導体
チップ上に形成された半導体集積回路装置に対して幅広
く適用することができる。
【０１５４】（付記１） １つの半導体チップに設けら
れた複数のプロセッシングエレメントを有する半導体集
積回路装置であって、前記各プロセッシングエレメント
の出力に設けられたラッチ手段と、入力元を上下左右の
いずれかのプロセッシングエレメントまたは零信号から
選択して出力する選択手段とを備えることを特徴とする
半導体集積回路装置。
【０１５５】（付記２） 付記１に記載の半導体集積回
路装置において、さらに、前記各プロセッシングエレメ
ントの座標位置情報に応じて前記選択手段が選択するプ
ロセッシングエレメントを制御する制御手段を備えるこ
とを特徴とする半導体集積回路装置。
【０１５６】（付記３） 付記１または２に記載の半導
体集積回路装置において、該半導体集積回路装置は、リ
アルタイムの多ビット演算処理または累積演算処理を実
行することを特徴とする半導体集積回路装置。
【０１５７】（付記４） 付記１〜３のいずれか１項に
記載の半導体集積回路装置において、さらに、複数の光
検出器を備え、前記各プロセッシングエレメントは対応
する前記光検出器の出力を処理することを特徴とする半
導体集積回路装置。
【０１５８】（付記５） 複数のプロセッシングエレメ
ント、および、該プロセッシングエレメントをつなぐ通
信手段を有する半導体集積回路装置であって、第１のプ
ロセッシングエレメントにおける資源を、前記通信手段
を介して任意の第２のプロセッシングエレメントの資源
として使用することを特徴とする半導体集積回路装置。
【０１５９】（付記６） 付記５に記載の半導体集積回
路装置において、前記プロセッシングエレメントを複数
結合し、プロセッシングエレメント群としてブロック化
することを特徴とする半導体集積回路装置。
【０１６０】（付記７） 付記６に記載の半導体集積回
路装置において、前記各プロセッシングエレメントはそ
れぞれＡＬＵおよびメモリを備え、前記ブロック化され
たプロセッシングエレメント群に含まれる複数のＡＬＵ
およびメモリにより所定の処理を行うことを特徴とする
半導体集積回路装置。
【０１６１】（付記８） 付記６に記載の半導体集積回
路装置において、前記複数のプロセッシングエレメント
を結合するブロック化の構成およびサイズを動的に可変
としたことを特徴とする半導体集積回路装置。
【０１６２】（付記９） 付記６に記載の半導体集積回
路装置において、前記各プロセッシングエレメントは、
それぞれ近傍のプロセッシングエレメントとの接続を制
御する接続制御手段を備えることを特徴とする半導体集
積回路装置。
【０１６３】（付記１０） 付記９に記載の半導体集積
回路装置において、前記接続制御手段は、近傍通信の入
力元を上下左右のいずれかのプロセッシングエレメント
または零信号から選択することを特徴とする半導体集積
回路装置。
【０１６４】（付記１１） 付記６に記載の半導体集積
回路装置において、前記ブロック化されたプロセッシン
グエレメント群は、リアルタイムの多ビット演算または
累積演算を実行することを特徴とする半導体集積回路装
置。
【０１６５】（付記１２） 付記５〜１１のいずれか１
項に記載の半導体集積回路装置において、前記複数のプ
ロセッシングエレメントはマトリクス状に配置され、前
記通信手段は行バスおよび列バスを備えて該各プロセッ
シングエレメントに対して所定の情報を送信することを
特徴とする半導体集積回路装置。
【０１６６】（付記１３） 付記１２に記載の半導体集
積回路装置において、前記所定の情報は、前記各プロセ
ッシングエレメントの座標情報であることを特徴とする
半導体集積回路装置。
【０１６７】（付記１４） 付記５〜１３のいずれか１
項に記載の半導体集積回路装置において、該半導体集積
回路装置は、ＳＩＭＤプロセッサであることを特徴とす
る半導体集積回路装置。
【０１６８】（付記１５） 付記１４に記載の半導体集
積回路装置において、該半導体集積回路装置は、前記各
プロセッシングエレメントがそれぞれ対応する光検出器
の出力を処理するビジョンチップであることを特徴とす
る半導体集積回路装置。
【０１６９】（付記１６） 付記５〜１５のいずれか１
項に記載の半導体集積回路装置において、該半導体集積
回路装置は、１つの半導体チップとして構成されている
ことを特徴とする半導体集積回路装置。
【０１７０】（付記１７） 複数の光検出回路および複
数のプロセッシングエレメントを有する半導体集積回路
装置であって、前記各光検出回路は、光検出素子の出力
と基準電圧とを比較する比較手段を備え、該比較手段の
出力が該基準電圧を切るまでの時間をカウントしてＡ／
Ｄ変換処理を行うことを特徴とする半導体集積回路装
置。
【０１７１】（付記１８） 付記１７に記載の半導体集
積回路装置において、前記比較手段に与える基準電圧レ
ベルを可変としたことを特徴とする半導体集積回路装
置。
【０１７２】（付記１９） 付記１８に記載の半導体集
積回路装置において、前記比較手段の基準電圧レベル
を、ソフトウェアにより可変制御するか、または、予め
与えられたテーブルに基づいて規定することを特徴とす
る半導体集積回路装置。
【０１７３】（付記２０） 付記１７に記載の半導体集
積回路装置において、前記比較手段の出力が前記基準電
圧を切るまでの時間をカウントするカウント間隔を可変
としたことを特徴とする半導体集積回路装置。
【０１７４】（付記２１） 付記２０に記載の半導体集
積回路装置において、前記カウント間隔を、ソフトウェ
アにより可変制御するか、または、予め与えられたテー
ブルに基づいて規定することを特徴とする半導体集積回
路装置。
【０１７５】（付記２２） 付記１７〜２１のいずれか
１項に記載の半導体集積回路装置において、前記光検出
素子のリセットを該各光検出回路毎に行うことを特徴と
する半導体集積回路装置。
【０１７６】（付記２３） 付記１７〜２２のいずれか
１項に記載の半導体集積回路装置において、前記Ａ／Ｄ
変換処理を、前記各プロセッシングエレメントのＡＬＵ
およびメモリを使用して実行することを特徴とする半導
体集積回路装置。
【０１７７】（付記２４） 付記１７〜２３のいずれか
１項に記載の半導体集積回路装置において、該半導体集
積回路装置はビジョンチップであり、前記各プロセッシ
ングエレメントは前記複数の光検出回路の対応する１つ
と結合されていることを特徴とする半導体集積回路装
置。
【０１７８】（付記２５） 付記１７〜２４のいずれか
１項に記載の半導体集積回路装置において、該半導体集
積回路装置は、１つの半導体チップとして構成されてい
ることを特徴とする半導体集積回路装置。
【０１７９】
【発明の効果】以上、詳述したように、本発明の第１の
形態によれば、画素数の低下を来すことなく（ＰＥの占
有面積の増大を来すことなく）、高い汎用性を有する半
導体集積回路装置を提供することができる。また、本発
明の第２の形態によれば、光検出素子の出力のＡ／Ｄ変
換を追加回路なしで行うと共に、柔軟なセンシングを実
現することのできる半導体集積回路装置を提供すること
ができる。
【図面の簡単な説明】
【図１】ビジョンチップを概念的に示す図である。
【図２】従来のビジョンチップのアーキテクチャを説明
するための図である。
【図３】本発明の第１の形態に係るビジョンチップの一
例のアーキテクチャを説明するための図である。
【図４】図３のアーキテクチャにおけるＰＥ（プロセッ
シングエレメント）のブロック化処理を実行するための
構成を説明するための図である。
【図５】本発明の第１の形態に係るビジョンチップの一
例におけるＰＥの結合処理を説明するための図である。
【図６】本発明の第１の形態に係るビジョンチップの一
例における累積演算処理を説明するための図である。
【図７】本発明の第１の形態に係るビジョンチップの一
例における総和演算処理を説明するための図である。
【図８】本発明の第１の形態に係るビジョンチップの一
例における多ビット演算処理を説明するための図であ
る。
【図９】本発明の第１の形態に係るビジョンチップの一
例におけるＰＥのブロック化処理を説明するための図
（その１）である。
【図１０】本発明の第１の形態に係るビジョンチップの
一例におけるＰＥのブロック化処理を説明するための図
（その２）である。
【図１１】本発明の第１の形態に係るビジョンチップの
一例におけるＰＥのブロック化処理を説明するための図
（その３）である。
【図１２】本発明の第１の形態に係るビジョンチップの
一例におけるブロック内特徴量のフィードバック処理を
説明するための図である。
【図１３】本発明の第１の形態に係るビジョンチップの
一例におけるその他の処理を説明するための図である。
【図１４】本発明の第１の形態に係るビジョンチップの
一例を適用した並列ブロックマッチング処理を説明する
ための図である。
【図１５】本発明の第１の形態に係るビジョンチップの
一例を適用した９０度回転処理を説明するための図であ
る。
【図１６】本発明の第１の形態に係るビジョンチップの
一例を適用した複数物体の同時トラッキング処理を説明
するための図である。
【図１７】従来のビジョンチップの一例におけるフォト
ダイオード出力のＡ／Ｄ変換処理を実行するための構成
を説明するための図である。
【図１８】図１７のＡ／Ｄ変換処理における課題を説明
するための図である。
【図１９】本発明の第２の形態に係るビジョンチップの
一例におけるフォトダイオード出力のＡ／Ｄ変換処理を
実行するための構成を説明するための図である。
【図２０】図１９の一構成例を示す図である。
【図２１】図１９および図２０のＡ／Ｄ変換処理の動作
を説明するための図である。
【図２２】本発明の第２の形態に係るビジョンチップが
適用されるシステムの構成例を示す図である。
【図２３】図２２のシステムにおけるフォトダイオード
出力のＡ／Ｄ変換処理を説明するための図（その１）で
ある。
【図２４】図２２のシステムにおけるフォトダイオード
出力のＡ／Ｄ変換処理を説明するための図（その２）で
ある。
【図２５】図２２のシステムにおけるフォトダイオード
出力のＡ／Ｄ変換処理を説明するための図（その３）で
ある。
【符号の説明】
１…半導体集積回路装置（ビジョンチップ） ２，３２，１０２，３０２…プロセッシングエレメント
（ＰＥ） １１…デコーダ １２…出力回路 １３…通信手段 ２０…状態レジスタ（３ビットのレジスタ） ２１…列バス（ＣＯＬ） ２２…行バス（ＲＯＷ） ２３，１２３〜１２５…データラッチ（Ｄラッチ） ２７，１２６１〜１２６５…マルチプレクサ（ＭＵＸ） ３１，１０１，３０１…光検出器（ＰＤ） ３３…リセット手段（リセット回路） ３４…光検出素子（フォトダイオード） ３５…コンパレータ ３６，１２１…メモリ（ローカルメモリ） ３７，１２２…Ｉ／Ｏポート ３８，１２６…ＡＬＵ １００…ユニット（画素） １２６６…全加算器（ＦＡ） １２６７…キャリー格納用レジスタ（Ｄ型フリップフロ
ップ：ＤＦＦ） Ｓ０〜Ｓ５…命令（制御信号） Ｖref…基準電圧
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鏡 慎吾 東京都荒川区町屋１−29−14 305 Ｆターム(参考） 4M118 AA10 AB01 CA03 5B045 AA01 GG12 GG14 5B057 AA20 BA02 BA29 CA02 CA08 CA12 CA16 CB02 CB08 CB12 CB16 CC01 CD03 CH03 DB02 DB05 DB09 DC32

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 １つの半導体チップに設けられた複数の
    プロセッシングエレメントを有する半導体集積回路装置
    であって、 前記各プロセッシングエレメントの出力に設けられたラ
    ッチ手段と、 入力元を上下左右のいずれかのプロセッシングエレメン
    トまたは零信号から選択して出力する選択手段とを備え
    ることを特徴とする半導体集積回路装置。
  2. 【請求項２】 請求項１に記載の半導体集積回路装置に
    おいて、さらに、 前記各プロセッシングエレメントの座標位置情報に応じ
    て前記選択手段が選択するプロセッシングエレメントを
    制御する制御手段を備えることを特徴とする半導体集積
    回路装置。
  3. 【請求項３】 請求項１または２に記載の半導体集積回
    路装置において、該半導体集積回路装置は、リアルタイ
    ムの多ビット演算処理または累積演算処理を実行するこ
    とを特徴とする半導体集積回路装置。
  4. 【請求項４】 複数のプロセッシングエレメント、およ
    び、該プロセッシングエレメントをつなぐ通信手段を有
    する半導体集積回路装置であって、 第１のプロセッシングエレメントにおける資源を、前記
    通信手段を介して任意の第２のプロセッシングエレメン
    トの資源として使用することを特徴とする半導体集積回
    路装置。
  5. 【請求項５】 請求項４に記載の半導体集積回路装置に
    おいて、前記プロセッシングエレメントを複数結合し、
    プロセッシングエレメント群としてブロック化すること
    を特徴とする半導体集積回路装置。
  6. 【請求項６】 請求項５に記載の半導体集積回路装置に
    おいて、前記複数のプロセッシングエレメントを結合す
    るブロック化の構成およびサイズを動的に可変としたこ
    とを特徴とする半導体集積回路装置。
  7. 【請求項７】 請求項５に記載の半導体集積回路装置に
    おいて、前記各プロセッシングエレメントは、それぞれ
    近傍のプロセッシングエレメントとの接続を制御する接
    続制御手段を備えることを特徴とする半導体集積回路装
    置。
  8. 【請求項８】 複数の光検出回路および複数のプロセッ
    シングエレメントを有する半導体集積回路装置であっ
    て、前記各光検出回路は、光検出素子の出力と基準電圧
    とを比較する比較手段を備え、該比較手段の出力が該基
    準電圧を切るまでの時間をカウントしてＡ／Ｄ変換処理
    を行うことを特徴とする半導体集積回路装置。
  9. 【請求項９】 請求項８に記載の半導体集積回路装置に
    おいて、前記比較手段に与える基準電圧レベルを可変と
    したことを特徴とする半導体集積回路装置。
  10. 【請求項１０】 請求項８に記載の半導体集積回路装置
    において、前記比較手段の出力が前記基準電圧を切るま
    での時間をカウントするカウント間隔を可変としたこと
    を特徴とする半導体集積回路装置。
  11. 【請求項１１】 請求項８〜１０のいずれか１項に記載
    の半導体集積回路装置において、該半導体集積回路装置
    は、１つの半導体チップとして構成されていることを特
    徴とする半導体集積回路装置。
JP2002017665A 2002-01-25 2002-01-25 半導体集積回路装置 Expired - Fee Related JP3902741B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002017665A JP3902741B2 (ja) 2002-01-25 2002-01-25 半導体集積回路装置
US10/200,332 US7098437B2 (en) 2002-01-25 2002-07-23 Semiconductor integrated circuit device having a plurality of photo detectors and processing elements
US11/289,695 US8244788B2 (en) 2002-01-25 2005-11-30 Semiconductor integrated circuit device having a plurality of photo detectors and processing elements
US11/289,696 US7244919B2 (en) 2002-01-25 2005-11-30 Semiconductor integrated circuit device having photo detector circuits, processing elements, and comparing circuits which compare the output of a photo detector element with a reference voltage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002017665A JP3902741B2 (ja) 2002-01-25 2002-01-25 半導体集積回路装置

Publications (2)

Publication Number Publication Date
JP2003218338A true JP2003218338A (ja) 2003-07-31
JP3902741B2 JP3902741B2 (ja) 2007-04-11

Family

ID=27606177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002017665A Expired - Fee Related JP3902741B2 (ja) 2002-01-25 2002-01-25 半導体集積回路装置

Country Status (2)

Country Link
US (3) US7098437B2 (ja)
JP (1) JP3902741B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293419A (ja) * 2005-04-05 2006-10-26 Univ Of Tokyo 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法
JP2006313543A (ja) * 2005-05-02 2006-11-16 Pixart Imaging Inc 全画像を記録しなくても複数のオブジェクトを認識できる画像認識方法
JP2011508293A (ja) * 2007-11-30 2011-03-10 コグネックス・コーポレイション ビジョンセンサ、システムおよび方法
JP2013531838A (ja) * 2010-05-17 2013-08-08 コグネックス・コーポレイション 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法
WO2017122395A1 (ja) * 2016-01-12 2017-07-20 ソニー株式会社 画像データ処理回路および撮像回路
JP2018504040A (ja) * 2015-03-27 2018-02-08 レイセオン カンパニー 電流−周波数変換器
US10891706B2 (en) 2016-09-08 2021-01-12 Sony Corporation Arithmetic device and sensor to track movement of object between frames
JP2021511699A (ja) * 2018-01-18 2021-05-06 バルブ コーポレーション センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7383421B2 (en) 2002-12-05 2008-06-03 Brightscale, Inc. Cellular engine for a data processing system
US9330060B1 (en) * 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) * 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
US7218350B2 (en) * 2003-06-30 2007-05-15 Texas Instruments Incorporated Image sensor with digital output and inherent pixel non-uniformity suppression
US8553113B2 (en) * 2003-08-20 2013-10-08 At&T Intellectual Property I, L.P. Digital image capturing system and method
US8423597B1 (en) 2003-08-29 2013-04-16 Nvidia Corporation Method and system for adaptive matrix trimming in an inverse discrete cosine transform (IDCT) operation
US7126512B2 (en) * 2004-03-19 2006-10-24 Charles Douglas Murphy Comparing circuits for time-to-threshold A/D conversion in digital imaging arrays
US20080001736A1 (en) * 2004-06-09 2008-01-03 Koninklijke Philips Electronics N.V. Electronic Circuit
KR100646996B1 (ko) * 2004-06-16 2006-11-23 삼성에스디아이 주식회사 유기 발광 표시 장치 및 그 제어 방법
US20060129374A1 (en) * 2004-12-15 2006-06-15 Larson Lee A Apparatus and method for apparatus mediating voltage levels between an emulation unit and a target processor
US7451293B2 (en) * 2005-10-21 2008-11-11 Brightscale Inc. Array of Boolean logic controlled processing elements with concurrent I/O processing and instruction sequencing
US7659497B2 (en) * 2005-12-06 2010-02-09 International Business Machines Corporation On demand circuit function execution employing optical sensing
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US7488926B2 (en) * 2006-01-06 2009-02-10 Microsoft Corporation Pixel array with shared pixel output lines
US7671460B2 (en) * 2006-01-25 2010-03-02 Teledyne Licensing, Llc Buried via technology for three dimensional integrated circuits
KR100748319B1 (ko) * 2006-03-29 2007-08-09 삼성에스디아이 주식회사 유기발광표시장치 및 그의 구동방법
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US8660380B2 (en) * 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
US20080059764A1 (en) * 2006-09-01 2008-03-06 Gheorghe Stefan Integral parallel machine
US20080244238A1 (en) * 2006-09-01 2008-10-02 Bogdan Mitu Stream processing accelerator
US7436342B2 (en) * 2007-01-30 2008-10-14 Teledyne Licensing, Llc Numerical full well capacity extension for photo sensors with an integration capacitor in the readout circuit using two and four phase charge subtraction
US7498650B2 (en) * 2007-03-08 2009-03-03 Teledyne Licensing, Llc Backside illuminated CMOS image sensor with pinned photodiode
US7923763B2 (en) * 2007-03-08 2011-04-12 Teledyne Licensing, Llc Two-dimensional time delay integration visible CMOS image sensor
US8756482B2 (en) * 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US20080291209A1 (en) * 2007-05-25 2008-11-27 Nvidia Corporation Encoding Multi-media Signals
US9118927B2 (en) * 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
US7982775B2 (en) * 2007-08-02 2011-07-19 Texas Instruments Incorporated Method and apparatus for motion stabilization
US7795650B2 (en) * 2008-12-09 2010-09-14 Teledyne Scientific & Imaging Llc Method and apparatus for backside illuminated image sensors using capacitively coupled readout integrated circuits
US8666181B2 (en) * 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
ITCO20110022A1 (it) * 2011-06-30 2012-12-31 Fond Bruno Kessler Fotorilevatore
FR2991083A1 (fr) * 2012-05-24 2013-11-29 St Microelectronics Grenoble 2 Procede et dispositif de protection d'un circuit integre contre des attaques par sa face arriere
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
JP6633330B2 (ja) * 2014-09-26 2020-01-22 株式会社半導体エネルギー研究所 半導体装置
CN105962922B (zh) 2016-04-19 2018-11-27 矽力杰半导体技术(杭州)有限公司 光电传感器、光电检测方法以及应用其的心率检测设备
CN105953823B (zh) 2016-04-21 2018-12-18 矽力杰半导体技术(杭州)有限公司 环境光滤除电路、光电传感器及应用其的光电检测设备
CN105910632B (zh) 2016-04-21 2018-10-26 矽力杰半导体技术(杭州)有限公司 光电检测设备和集成电路
KR101941892B1 (ko) * 2017-03-23 2019-01-28 고려대학교 산학협력단 대비 감도 향상을 위한 인공 망막 시스템
WO2021212045A1 (en) * 2020-04-17 2021-10-21 SiMa Technologies, Inc. Synchronization of processing elements and software managed memory hierarchy in a machine learning accelerator

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3855589A (en) * 1969-11-25 1974-12-17 Sylvania Electric Prod Analog to digital converter with variable quantization and dynamic range
US4215401A (en) * 1978-09-28 1980-07-29 Environmental Research Institute Of Michigan Cellular digital array processor
US4380046A (en) * 1979-05-21 1983-04-12 Nasa Massively parallel processor computer
US4593351A (en) * 1981-06-12 1986-06-03 International Business Machines Corporation High speed machine for the physical design of very large scale integrated circuits
US4524428A (en) * 1982-01-26 1985-06-18 Hughes Aircraft Company Modular input-programmable logic circuits for use in a modular array processor
JPS61208561A (ja) 1985-03-13 1986-09-16 Agency Of Ind Science & Technol 並列デ−タ処理装置
US6108763A (en) * 1986-09-18 2000-08-22 Grondalski; Robert S. Simultaneous parity generating/reading circuit for massively parallel processing systems
US4985832A (en) * 1986-09-18 1991-01-15 Digital Equipment Corporation SIMD array processing system with routing networks having plurality of switching stages to transfer messages among processors
US5027117A (en) * 1988-03-31 1991-06-25 Ricoh Company, Ltd. Conversion using a variable reference based on image density
JP2930341B2 (ja) * 1988-10-07 1999-08-03 マーチン・マリエッタ・コーポレーション データ並列処理装置
US5253308A (en) * 1989-06-21 1993-10-12 Amber Engineering, Inc. Massively parallel digital image data processor using pixel-mapped input/output and relative indexed addressing
EP0541534A1 (en) * 1990-08-03 1993-05-19 Du Pont Pixel Systems Limited Data-array processing systems
US5689719A (en) * 1991-06-28 1997-11-18 Sanyo Electric O., Ltd. Parallel computer system including processing elements
US5252308A (en) * 1991-12-31 1993-10-12 Union Oil Company Of California Transporting urea for quantitative conversion into ammonia
KR100186918B1 (ko) 1994-10-21 1999-05-01 모리시다 요이치 신호처리장치
JP3639014B2 (ja) 1994-10-21 2005-04-13 松下電器産業株式会社 信号処理装置
US6118901A (en) * 1997-10-31 2000-09-12 National Science Council Array architecture with data-rings for 3-step hierarchical search block matching algorithm
US6608296B1 (en) * 1998-10-07 2003-08-19 Hamamatsu Photonics K.K. High-speed vision sensor having a parallel processing system
EP1164544B1 (en) * 1999-03-16 2011-11-02 Hamamatsu Photonics K.K. High-speed vision sensor
FR2791155B1 (fr) * 1999-03-17 2001-05-11 St Microelectronics Sa Dispositif et procede de mise en oeuvre d'une operation modulaire elementaire selon la methode de montgomery
US7158183B1 (en) * 1999-09-03 2007-01-02 Nikon Corporation Digital camera
AU7555900A (en) * 1999-10-04 2001-05-10 Hamamatsu Photonics K.K. Camera system for high-speed image processing
US6525304B1 (en) * 2000-11-28 2003-02-25 Foveon, Inc. Circuitry for converting analog signals from pixel sensor to a digital and for storing the digital signal
US6642503B2 (en) * 2001-06-13 2003-11-04 Texas Instruments Incorporated Time domain sensing technique and system architecture for image sensor

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293419A (ja) * 2005-04-05 2006-10-26 Univ Of Tokyo 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法
JP4565122B2 (ja) * 2005-04-05 2010-10-20 国立大学法人 東京大学 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法
JP2006313543A (ja) * 2005-05-02 2006-11-16 Pixart Imaging Inc 全画像を記録しなくても複数のオブジェクトを認識できる画像認識方法
JP2011508293A (ja) * 2007-11-30 2011-03-10 コグネックス・コーポレイション ビジョンセンサ、システムおよび方法
JP2016192224A (ja) * 2010-05-17 2016-11-10 コグネックス・コーポレイション 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法
JP2015143990A (ja) * 2010-05-17 2015-08-06 コグネックス・コーポレイション 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法
JP2013531838A (ja) * 2010-05-17 2013-08-08 コグネックス・コーポレイション 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法
JP2018504040A (ja) * 2015-03-27 2018-02-08 レイセオン カンパニー 電流−周波数変換器
WO2017122395A1 (ja) * 2016-01-12 2017-07-20 ソニー株式会社 画像データ処理回路および撮像回路
US10572967B2 (en) 2016-01-12 2020-02-25 Sony Corporation Image data processing circuit and imaging circuit
US10891706B2 (en) 2016-09-08 2021-01-12 Sony Corporation Arithmetic device and sensor to track movement of object between frames
JP2021511699A (ja) * 2018-01-18 2021-05-06 バルブ コーポレーション センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム
JP7207809B2 (ja) 2018-01-18 2023-01-18 バルブ コーポレーション センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム

Also Published As

Publication number Publication date
US20060081765A1 (en) 2006-04-20
JP3902741B2 (ja) 2007-04-11
US7098437B2 (en) 2006-08-29
US7244919B2 (en) 2007-07-17
US20030141434A1 (en) 2003-07-31
US20060081767A1 (en) 2006-04-20
US8244788B2 (en) 2012-08-14

Similar Documents

Publication Publication Date Title
JP2003218338A (ja) 半導体集積回路装置
US20180046900A1 (en) Sparse convolutional neural network accelerator
Komuro et al. A dynamically reconfigurable SIMD processor for a vision chip
Kyrkou et al. A parallel hardware architecture for real-time object detection with support vector machines
Moussalli et al. Fast and flexible conversion of geohash codes to and from latitude/longitude coordinates
CN115461712A (zh) 用于存储器内计算的可缩放阵列架构
US11461651B2 (en) System on a chip with deep learning accelerator and random access memory
US10404930B2 (en) Pixel processing apparatus of processing bad pixel and removing noise, and image signal processing apparatus and image processing system each including the same
US20200082246A1 (en) Scalable multi-die deep learning system
Zhang et al. PIMCA: A programmable in-memory computing accelerator for energy-efficient DNN inference
CN108364298B (zh) 用于将像素识别为局部极值点的方法和布置
WO1999063751A1 (en) Low-power parallel processor and imager integrated circuit
WO2022015967A1 (en) High endurance memory circuitry
Yousefzadeh et al. Energy-efficient in-memory address calculation
US20220350863A1 (en) Technology to minimize the negative impact of cache conflicts caused by incompatible leading dimensions in matrix multiplication and convolution kernels without dimension padding
US20230105329A1 (en) Image signal processor and image sensor including the image signal processor
Kondo et al. Pseudo MIMD array processor—AAP2
Dudek A flexible global readout architecture for an analogue SIMD vision chip
Vink et al. Caffe barista: Brewing caffe with fpgas in the training loop
US11907118B2 (en) Interleaved data conversion to change data formats
Landis et al. Evaluation of computing in memory architectures for digital image processing applications
Kim et al. An augmented reality processor with a congestion-aware network-on-chip scheduler
US20230385624A1 (en) Computing in memory with artificial neurons
US11385873B2 (en) Control speculation in dataflow graphs
EP4318326A2 (en) Unified programming interface for regrained tile execution

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070104

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees