JP2004246683A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2004246683A
JP2004246683A JP2003036764A JP2003036764A JP2004246683A JP 2004246683 A JP2004246683 A JP 2004246683A JP 2003036764 A JP2003036764 A JP 2003036764A JP 2003036764 A JP2003036764 A JP 2003036764A JP 2004246683 A JP2004246683 A JP 2004246683A
Authority
JP
Japan
Prior art keywords
memory unit
image processing
memory
row
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003036764A
Other languages
English (en)
Other versions
JP3860548B2 (ja
Inventor
Makoto Ogawa
誠 小川
Sunao Shibata
直 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rohm Co Ltd
Original Assignee
Rohm Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rohm Co Ltd filed Critical Rohm Co Ltd
Priority to JP2003036764A priority Critical patent/JP3860548B2/ja
Priority to US10/777,662 priority patent/US20040172437A1/en
Publication of JP2004246683A publication Critical patent/JP2004246683A/ja
Application granted granted Critical
Publication of JP3860548B2 publication Critical patent/JP3860548B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)

Abstract

【課題】比較的簡素な装置構成で無駄なく、極めて短時間且つ低消費電力で画像処理を行うことを可能とする画像処理装置及び画像処理方法を提供する。
【解決手段】所定列のメモリユニット10の第1のメモリセル1に記憶された画素データに対して行演算部40で演算を行って、その演算結果を第2のメモリセル2に記憶し、続いて、所定行のメモリユニット10の第2のメモリセル2に記憶された処理データに対して列演算部50で演算を行って、その演算結果を第3のメモリセル3に記憶するようにして、当該演算結果に基づいてフィルタ処理を行うようにする。
【選択図】 図3

Description

【0001】
【発明の属する技術分野】
本発明は、二次元画像に所定の処理を施して画像変換や画像強調等を行うための画像処理装置及び方法に関する。
【0002】
【従来の技術】
従来、二次元画像を処理して画像変換や画像強調等を行うには、各画素毎に、その画素を囲む複数の画素の画素データを加工する処理を逐一実行していた。
具体的には、図7に示すように、二次元画像に対応して行列状に配置された多数の画素101毎に、例えばこの画素101を囲むカーネルブロック内における8個の近傍画素102の画素データX〜Xに係数A〜Aをそれぞれ対応させて乗算し、総和をとって得られたA+A+…+Aを画素101の処理データとする。カーネルを1画素毎に移動させてゆき、上記の一連の作業を、必要とする画素全てについて逐一実行する。
【0003】
【発明が解決しようとする課題】
しかしながら、上述の画像処理法は、必要とする画素全てについて1画素毎に逐一演算処理することを要するために膨大な演算量となり、極めて演算負荷及び消費電力の高い処理である。即ちこの場合、1回の演算処理を行う度に必要な画素データをメモリセルからプロセッサに転送し、カーネル内における複数の近傍画素のデータを全てダウンロードしなければならず、しかもカーネルが二次元画像全体を走査する間に何度も同じ画素に対してアクセスが発生するという深刻な問題がある。
【0004】
本発明は、このような問題を解決するために成されたものであり、比較的簡素な装置構成で無駄なく、極めて短時間且つ低消費電力で画像処理を行うことを可能とする画像処理装置及び画像処理方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明者は、鋭意検討の結果、以下に示す発明の諸態様に想到した。
【0006】
本発明の画像処理装置は、二次元の画素データに行列状の係数を乗算し、その乗算結果の総和に基づいて前記画素データにフィルタ処理を施す画像処理装置であって、少なくとも、前記画素データを記憶する第1のメモリセルと、第2のメモリセルと、第3のメモリセルとを有するメモリユニットが複数行列状に配置されたメモリユニットアレイと、前記メモリユニットアレイの行方向に列数個配設され、前記メモリユニットアレイの所定列の前記画素データに対して演算を行って前記第2のメモリセルに記憶するための第1の処理データを求める第1の演算手段と、前記メモリユニットアレイの列方向に行数個配設され、前記メモリユニットアレイの所定行の前記第1の処理データに対して演算を行って前記第3のメモリセルに記憶するための第2の処理データを求める第2の演算手段とを含み、前記第2の演算手段の演算結果に基づいて前記フィルタ処理を行うことを特徴とするものである。
【0007】
本発明の画像処理装置は、前記画素データを記憶する複数のメモリユニットが行列状に配置されたメモリユニットアレイと、前記メモリユニットアレイの行方向に列数個配設された第1の演算手段と、前記メモリユニットアレイの列方向に行数個配設された第2の演算手段とを有する画像処理装置における画像処理方法であって、前記メモリユニットアレイの所定列の画素データに対して演算を行って第1の処理データを求め、当該第1の処理データを前記メモリユニット内の前記画素データが記憶されている第1のメモリセルとは独立した第2のメモリセルに記憶する第1のステップと、前記メモリユニットアレイの所定行における前記第1の処理データに対して演算を行って第2の処理データを求め、当該第2の処理データを前記メモリユニット内の第3のメモリセルに記憶する第2のステップとを含むことを特徴とするものである。
【0008】
【発明の実施の形態】
図1は、本実施形態による画像処理装置の概略構成図である。
この画像処理装置は、複数個のメモリセルを有するメモリユニット10が行列状に配置されたメモリユニットアレイ100と、メモリユニットアレイ100に対してデータを読み出す行を選択する行選択部200と、メモリユニットアレイ100に対してデータを読み出す列を選択する列選択部300と、行選択部200で選択されたメモリユニット10のデータに対して演算を行う行演算ユニット400と、列選択部300で選択されたメモリユニット10のデータに対して演算を行う列演算ユニット500とを備えて構成されている。
【0009】
また、行演算ユニット400は、メモリユニットアレイ100の列にそれぞれ対応して設けられた列数個の行演算部40を備えて構成されており、各行におけるメモリユニット10からのデータに対して、それぞれ並列的に演算を行えるように構成されている。同様に、列演算ユニット500は、メモリユニットアレイ100の行にそれぞれ対応して設けられた行数個の列演算部50を備えて構成されており、各列におけるメモリユニット10からのデータに対して、それぞれ並列的に演算を行えるように構成されている。
【0010】
メモリユニット10には、少なくとも、画素データを記憶する第1のメモリセルの他に、行演算ユニット400で演算した結果求められた第1の処理データを記憶する第2のメモリセルと、列演算ユニット500で演算した結果求められた第2の処理データを記憶する第3のメモリセルとを有している。
【0011】
本実施形態における画像処理装置は、行列状のカーネルとの演算を行うときに、列方向のみの演算結果と、行方向のみの演算結果とを組み合せることにより行うことを特徴としている。そして、これらの演算結果をメモリユニット10の第2のメモリセル及び第3のメモリセルに記憶しておくことで、必要とする画素全てについて1画素毎に逐一演算処理を行う必要がない。
【0012】
図2は、本実施形態における画像処理方法を示す概略図である。フィルタ処理の具体的な例として、3×3のカーネルの係数が全て1である平滑化処理を行う場合について説明する。
【0013】
まず、図2(a)では、行選択部200で選択された行のメモリユニット10に記憶されている画素データを行演算ユニット400に順次読み出す。ここで、各行演算部40では、行選択部200で選択された行を中央にしてその上下の行を含む3行分の画素データに対して所定の演算を行う。
【0014】
図3は、行演算部40の演算処理の流れを示す概略図である。
各メモリユニット10は、列方向にはコラム・バス5を介して接続されており、また、行方向にはロウ・バス6を介して接続されている。
第1のメモリセル1に記憶されている画素データがコラム・バス5を介して電流値として足し合わされて、行演算部40に入力される。行演算部40では、第1のメモリセル1の3つの画素データの合計を3等分した演算結果を中央の行におけるメモリユニット10の第2のメモリセル2に記憶する。
【0015】
続いて、図2(b)に示すように、列選択部300で選択された列のメモリユニット10の第2のメモリセル2に記憶されている第1の処理データを列演算ユニット500に順次読み出す。ここで、各列演算部50では、列選択部300で選択された列を中央にしてその左右の列を含む3列分の画素データに対して所定の演算を行う。
【0016】
具体的には、図3に示す中央の行における3つのメモリユニット10の第2のメモリセル2に蓄積されている第1の処理データがロウ・バス6を介してそれぞれ電流値として足し合わされて、列演算部50に入力される。列演算部50では、第2のメモリセル2の3つの第1の処理データの合計を3等分した演算結果を中央の列におけるメモリユニット10の第3のメモリセル3に記憶する。
【0017】
上述した処理を行うことにより、図3に示す9つのメモリユニット10における画素データの平均値を第3のメモリセル3に記憶することができる。
メモリユニットアレイ100の全ての行に対して上述の行演算ユニット400の各行演算部40で演算を行って、それぞれ各メモリユニット10のメモリセル2に演算結果を記憶させ、さらに、メモリユニットアレイ100の全ての列に対して上述の列演算ユニット500の各列演算部50で演算を行うことで、全てのメモリユニット10の第3のメモリセル3に演算結果を記憶する。
【0018】
上述したように、メモリユニットアレイ100に対して各行演算部40及び各列演算部50での演算結果をメモリユニット10の各メモリセルに記憶させ、それらを組み合せることにより、図4に示すラプラシアンフィルタのような複雑なフィルタ処理も実現することができる。また、メモリユニットアレイ100の行列方向の演算を複数回行った場合には、その演算結果を第4のメモリセルに記憶することもできる。
【0019】
図5は、メモリユニット10内の各メモリセルの等価回路図である。
図5に示すように、各メモリセルは6つのトランジスタ(M1〜M6)で構成されている。各メモリセルには、読み書き用のポート(I/O port)と、読み出し用のポート(Output port)との2つのポートを備え、それぞれ、図3に示したコラム・バス5及びロウ・バス6のいずれかに接続されている。ここで、メモリユニット10の4つのメモリセルのうち、2つはコラム・バス5に読み書き用のポートが接続され、残りの2つはロウ・バス6に読み書き用のポートが接続される。
【0020】
書き込みを行う場合には、トランジスタM3、M4及びM5をオンにして、トランジスタM1及びM2を流れる電流の合計が画素データとなるようにする。また、トランジスタM2及びM4は、いわゆるクロックフィールドスルーを補償するために設けられたものである。
【0021】
図6は、行演算部40及び列演算部50の等価回路図である。
各演算部は、アキュームレート回路、減算回路、乗算/除算回路を有して構成されている。
乗算回路については、基本はカレントミラーであり、出力側トランジスタのサイズを1倍、2倍、4倍のゲート幅にすることで、1倍〜7倍の定数倍乗算を行うことができる。また、アキュームレート回路及び入出力端との間にスイッチを入れることで、1倍〜1/7倍まで可能な乗算も同時に可能な回路構成となっている。
【0022】
以上説明したように、本実施形態によれば、メモリユニットアレイ100の行方向及び列方向の一次元で演算を行うことにより、膨大な演算処理を行うことなく、また、何度も同じ画素に対してアクセスを行う必要がなくなるため、非常に効率のよい演算を行うことができる。
【0023】
【発明の効果】
本発明によれば、比較的簡素な装置構成で無駄なく、極めて短時間且つ低消費電力で画像処理を行うことを可能とする画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【図1】本実施形態における画像処理装置の概略図である。
【図2】本実施形態における画像処理方法を示す概略図である。
【図3】行演算部の演算処理の流れを示す概略図である。
【図4】ラプラシアンフィルタにおける処理方法を示した図である。
【図5】メモリユニット内の各メモリセルの等価回路図である。
【図6】行演算部及び列演算部の等価回路図である。
【図7】従来の画像処理法を説明するための概略図である。
【符号の説明】
1〜4 メモリセル
5 コラム・バス
6 ロウ・バス
10 メモリユニット
20 メモリユニット領域
40 行演算部
50 列演算部
100 メモリユニットアレイ
200 行選択部
300 列選択部
400 行演算ユニット
500 列演算ユニット

Claims (6)

  1. 二次元の画素データに行列状の係数を乗算し、その乗算結果の総和に基づいて前記画素データにフィルタ処理を施す画像処理装置であって、少なくとも、前記画素データを記憶する第1のメモリセルと、第2のメモリセルと、第3のメモリセルとを有するメモリユニットが複数行列状に配置されたメモリユニットアレイと、
    前記メモリユニットアレイの行方向に列数個配設され、前記メモリユニットアレイの所定列の前記画素データに対して演算を行って前記第2のメモリセルに記憶するための第1の処理データを求める第1の演算手段と、
    前記メモリユニットアレイの列方向に行数個配設され、前記メモリユニットアレイの所定行の前記第1の処理データに対して演算を行って前記第3のメモリセルに記憶するための第2の処理データを求める第2の演算手段とを含み、
    前記第2の演算手段の演算結果に基づいて前記フィルタ処理を行うことを特徴とする画像処理装置。
  2. 前記第1の処理データは、前記所定列のメモリユニットのうち、中央の行に位置するメモリユニットに記憶され、前記第2の処理データは、前記所定行のメモリユニットのうち、中央の列に位置するメモリユニットに記憶されることを特徴とする請求項1に記載の画像処理装置。
  3. 前記画素データを記憶する複数のメモリユニットが行列状に配置されたメモリユニットアレイと、
    前記メモリユニットアレイの行方向に列数個配設された第1の演算手段と、
    前記メモリユニットアレイの列方向に行数個配設された第2の演算手段とを有する画像処理装置における画像処理方法であって、
    前記メモリユニットアレイの所定列の画素データに対して演算を行って第1の処理データを求め、当該第1の処理データを前記メモリユニット内の前記画素データが記憶されている第1のメモリセルとは独立した第2のメモリセルに記憶する第1のステップと、
    前記メモリユニットアレイの所定行における前記第1の処理データに対して演算を行って第2の処理データを求め、当該第2の処理データを前記メモリユニット内の第3のメモリセルに記憶する第2のステップとを含むことを特徴とする画像処理方法。
  4. 前記第1の処理データを前記所定列のメモリユニットのうち、中央の行に位置するメモリユニットに記憶し、前記第2の処理データを前記所定行のメモリユニットのうち、中央の列に位置するメモリユニットに記憶することを特徴とする請求項3に記載の画像処理方法。
  5. 前記第1のステップを行をずらして演算を行い、続いて、前記第2のステップを列をずらして演算を行うことを特徴とする請求項3又は4に記載の画像処理方法。
  6. 前記第2のステップを列をずらして演算を行い、続いて、前記第1のステップを行をずらして演算を行うことを特徴とする請求項3又は4に記載の画像処理方法。
JP2003036764A 2003-02-14 2003-02-14 画像処理装置及び画像処理方法 Expired - Fee Related JP3860548B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003036764A JP3860548B2 (ja) 2003-02-14 2003-02-14 画像処理装置及び画像処理方法
US10/777,662 US20040172437A1 (en) 2003-02-14 2004-02-13 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003036764A JP3860548B2 (ja) 2003-02-14 2003-02-14 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2004246683A true JP2004246683A (ja) 2004-09-02
JP3860548B2 JP3860548B2 (ja) 2006-12-20

Family

ID=32905089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003036764A Expired - Fee Related JP3860548B2 (ja) 2003-02-14 2003-02-14 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US20040172437A1 (ja)
JP (1) JP3860548B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017509073A (ja) * 2014-03-27 2017-03-30 株式会社日立製作所 画像フィルタリング方法及びctシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440341B1 (en) 2018-06-07 2019-10-08 Micron Technology, Inc. Image processor formed in an array of memory cells

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6053349B2 (ja) * 1981-06-19 1985-11-25 株式会社日立製作所 画像処理プロセツサ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017509073A (ja) * 2014-03-27 2017-03-30 株式会社日立製作所 画像フィルタリング方法及びctシステム

Also Published As

Publication number Publication date
US20040172437A1 (en) 2004-09-02
JP3860548B2 (ja) 2006-12-20

Similar Documents

Publication Publication Date Title
JP3251421B2 (ja) 半導体集積回路
JP2930341B2 (ja) データ並列処理装置
Gealow et al. A pixel-parallel image processor using logic pitch-matched to dynamic memory
CN108073549B (zh) 卷积运算装置及方法
EP3093757B1 (en) Multi-dimensional sliding window operation for a vector processor
US10055383B1 (en) Matrix circuits
EP4156079A1 (en) Image data storage method, image data processing method and system, and related apparatus
US7596679B2 (en) Interconnections in SIMD processor architectures
US5949920A (en) Reconfigurable convolver circuit
KR100693654B1 (ko) 행렬과 벡터의 내적 벡터 산출 장치 및 방법
CN112765540A (zh) 数据处理方法、装置及相关产品
US11194490B1 (en) Data formatter for convolution
US11256503B2 (en) Computational memory
JP3860548B2 (ja) 画像処理装置及び画像処理方法
JPH09259115A (ja) ビット−シリアルマトリックス転置のための超大規模集積回路
KR20220108197A (ko) 메모리 유닛 및 정적 랜덤 액세스 메모리
Doan et al. Realisation of a digital cellular neural network for image processing
JP3860545B2 (ja) 画像処理装置及び画像処理方法
US11934482B2 (en) Computational memory
Tasnim et al. MAGIC-DHT: Fast in-memory computing for Discrete Hadamard Transform
US20190114147A1 (en) Memory systems including support for transposition operations and related methods and circuits
CN111832717B (zh) 芯片及用于卷积计算的处理装置
US20230069030A1 (en) Image processing device and image processing method
US20230022516A1 (en) Compute-in-memory systems and methods with configurable input and summing units
CN117931130A (zh) 针对多项式数据的处理方法和加速芯片

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060921

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees