JP2007286827A - オプティカルフロープロセッサ - Google Patents
オプティカルフロープロセッサ Download PDFInfo
- Publication number
- JP2007286827A JP2007286827A JP2006112395A JP2006112395A JP2007286827A JP 2007286827 A JP2007286827 A JP 2007286827A JP 2006112395 A JP2006112395 A JP 2006112395A JP 2006112395 A JP2006112395 A JP 2006112395A JP 2007286827 A JP2007286827 A JP 2007286827A
- Authority
- JP
- Japan
- Prior art keywords
- product
- block
- optical flow
- sum
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】入力される動画像について、更新式の演算を反復して画素ごとに動きベクトルを求めるオプティカルフロープロセッサは、演算に必要なデータを入力し、少なくとも上述の輝度勾配とオプティカルフローの反復演算を行う共通演算器を備える。共通演算器は、複数の処理演算器を並列に備え、各処理演算器は、複数種の積和ブロックを備え、輝度勾配算出とオプティカルフロー導出を含む逐次的に実行される演算の種類に応じて、処理演算器内の各種ブロックを選択的に用い、データパスを変更して当該演算を実行する。
【選択図】図6
Description
M.V. Correia and A.C. Campilho、 ICPR, vol. 4, pp. 247-250, 2002 J. Diaz, E. Ros, S. Mota, F. Pelay and E.M. Ortigosa, Early Cognitive Vision Workshop, Talk 21, 2004 B.K.P. Horn and B.G. Schunck, "Determining optical Flow", AI vol.17, pp.185-204, 1981
図1は、オプティカルフロープロセッサの性能を、単位時間当たりの処理画素数と平均角度誤差(MAE)で表すグラフである。MAEは精度の逆数に対応する。非特許文献1,2に記載されている従来のオプティカルフロープロセッサは、それぞれ、Diaz、Miguelと表示されている性能をもっている。本発明では、より高精度でより高速処理の実時間オプティカルフロープロセッサを実現する。図において、単位時間あたりの処理画素数3M、9M[pels/sec]は、それぞれ、30fr/sのCIF画像と30fr/sのVGA画像に対応する。本発明のオプティカルフロープロセッサは、後で説明するアーキテクチャを用いることにより、図示された高精度、高速処理が実現でき、高い演算負荷を実時間で処理できる。このVLSIアーキテクチャは、精度・解像度スケーラブルである。このスケーラビリティを利用して4つの共通演算器を並べることにより、30fr/sのVGA画像の実時間処理が可能である。また、従来のプロセッサの平均角度誤差(MAE)が10度以上であるのに対し、本発明のプロセッサではMAE10度未満を達成できる。
E0*lpf0+E1*lpf1+E2*lpf0
で求められる。ここに、E0, E1, E2は輝度値であり、lpf0, lpf1は多次元勾配フィルタに用いるLPFフィルタ係数である。x,y,z方向の輝度勾配は、3フレームの輝度値を入力として、多次元勾配の式から導出される。次に、最上位の3フレーム(前フレーム、現フレームおよび次フレーム)からおおまかなオプティカルフローν2の導出を行い(S3)、それを用いてオプティカルフローの内挿を行い、下位階層レベルのオプティカルフローν1に変換する(S5)。この内挿処理は、重みが均一な双一次内挿処理であり、ここでは、周囲の4画素のオプティカルフローを入力し、4画素の平均を算出し、出力する。次に、得られたオプティカルフローν1を用いて前フレームおよび次フレームからフレーム補間つまり動き補償を行う(S6)。補間画像は、次の式で求められる。
Emage[x+y*Xsize] = (1.0-s)*(1.0-t)*SrcImage[X+Y*Xsize]
+ (1.0-s)*t*SrcImage[X+(Y+inc_y)*Xsize]
+ s*(1.0-t)*SrcImage[X+inc_X+Y*Xsize]
+ s*t*SrcImage[X+inc_x+(Y+inc_y)*Xsize]
ここに、s, tはオプティカルフローの小数部、SrcImageは次フレームまたは前フレームの輝度値、incはオプティカルフローの整数部である。オプティカルフローとフレーム輝度値を入力して、次フレームまたは前フレームの補間画像輝度値を算出し、出力する。次に、さらに下の階層の処理に移り(S7)、上述の処理を繰り返して、オプティカルフローを導出する。最低階層でのオプティカルフローが得られると、次に、得られた結果を加算することにより最終的なオプティカルフローを得る(S8)。そして、最初のステップS1に戻り、次のフレームを処理する。
Claims (6)
- 入力される動画像について、次の式
演算に必要なデータを入力し、少なくとも上述の輝度勾配とオプティカルフローの反復演算を行う共通演算器を備え、
前記共通演算器は、入力データについて加算を行う加算器と、入力データおよび/または加算器からのデータを演算する第1,第2,第3および第4の処理演算器と、第1から第4の処理演算器の演算結果を加算する累算器からなり、
第1から第4の処理演算器の各々は、
入力データを平均する平均化ブロックと、
入力データの積和演算をする第1積和ブロックと、
入力データの積和演算をする第2積和ブロックと、
第1積和ブロックおよび/または第2積和ブロックからの入力データの除算、加算および減算を行う除算・加減算ブロックと、
除算・加減算ブロックからの入力データおよび内部メモリからの入力データに対して積和演算をする第3積和ブロックと、
第3積和ブロックからの入力データおよび内部メモリからの入力データに対して積和演算をする第4積和ブロックとからなり、
輝度勾配算出とオプティカルフロー導出を含む逐次的に実行される演算の種類に応じて、入力データを変更し、平均化ブロックと、第1積和ブロックと、第2積和ブロックと、除算・加減算ブロックと、第3積和ブロックと、第4積和ブロックを選択的に用い、データパスを変更して当該演算を実行する、
オプティカルフロープロセッサ。 - さらに、外部および出力用バッファからデータを受け取る入力用バッファ、演算結果の少なくとも一部を記憶する内部メモリ、および、共通演算器の演算結果を記憶し出力する出力用バッファを備え、
前記共通演算器は、入力バッファおよび内部メモリから演算に必要なデータを入力することを特徴とする、請求項1に記載されたオプティカルフロープロセッサ。 - 前記内部メモリは、輝度勾配を記憶する輝度勾配メモリと、オプティカルフローを記憶するオプティカルフローメモリを含むことを特徴とする、請求項2に記載されたオプティカルフロープロセッサ。
- 請求項1に記載されたオプティカルフロープロセッサにおいて、前記第1,第2,第3および第4の処理演算器の各々は、オプティカルフロー導出時に、並列の4画素の各々について、輝度勾配E_x,E_y,E_tと前フレームのオプティカルフローbefor_u,befor_vを入力し、
前記平均化ブロックは、平均オプティカルフローave_u、ave_vを演算し、
前記第1積和ブロックは、out_bel=E_x2+E_y2+α2を演算し、
前記第2積和ブロックは、out_ber=E_x*ave_u+E_y*ave_v+E_tを演算し、
前記除算・加減算ブロックは、div_add=out_ber/out_belを演算し、
前記第3積和ブロックは、u=ave_u-E_x*div_addとv=ave_u-E_y*div_addを演算し、
前記第4積和ブロックは、tmp=(befor_u-u)2+(befor_v-v)2を演算する
ことを特徴とするオプティカルフロープロセッサ。 - 請求項1に記載されたオプティカルフロープロセッサにおいて、前記第1,第2,第3および第4の処理演算器は、輝度勾配算出時に、前フレーム、現フレームおよび次フレームの輝度値E_mx、LPFフィルタ係数lpf_xおよびdiffフィルタ係数diff_x(ここにx=l, m, n)を入力し、
前記第1の処理演算器において、
前記第1積和ブロックは、out_bel=E_ml*lpf0+E_mm*lpf1+E_mn*lpf0を演算し、
前記第2積和ブロックは、out_ber=E_ml*diff0+E_mm*diff1+E_mn*diff0を演算し、
前記第3積和ブロックは、y方向にTmp_lpf=(E_l+E_n)*lpf0+E_m*lpf1を演算し、
前記第2の処理演算器において、
前記第1積和ブロックは、out_bel=E_ml*lpf0+E_mm*lpf1+E_mn*lpf0を演算し、
前記第2積和ブロックは、out_ber=E_ml*diff0+E_mm*diff1+E_mn*diff0を演算し、
前記除算・加減算ブロックは、out_belとout_berを出力し、
前記第3積和ブロックは、第1,第2および第3の処理演算器からout_belとout_berをを入力し、x方向にTmp_lpf=(E_l+E_n)*lpf0+E_m*lpf1を演算し、
前記第4積和ブロックは、diff_0=diff0*(E_i-E_k)とdiff_1=diff0*(E_j-E_g)を演算し、
前記第3の処理演算器において、
前記第1積和ブロックは、out_bel=E_ml*lpf0+E_mm*lpf1+E_mn*lpf0を演算し、
前記第2積和ブロックは、out_ber=E_ml*diff0+E_mm*diff1+E_mn*diff0を演算し、
前記除算・加減算ブロックは、out_belとout_berを出力し、
前記第3積和ブロックは、第1,第2および第3の処理演算器からout_belとout_berをを入力し、x方向にTmp_lpf=(E_l+E_n)*lpf0+E_m*lpf1を演算し、
前記第4積和ブロックは、LPF係数を入力してtmp=(E_i+E_k)*lpf0+(E_j+E_g)*Lpf1を演算し、
前記第4の処理演算器において、
前記第3積和ブロックは、y方向にTmp_lpf=(E_l+E_n)*lpf0+E_m*lpf1を演算する
ことを特徴とするオプティカルフロープロセッサ。 - 請求項1〜5のいずれかに記載されたオプティカルフロープロセッサであって、
複数の前記共通演算器を並列に配置し、
隣接する共通演算器の間の隣接する2つの前記処理演算器において入力データを共有するように配線し、
前記複数の共通演算器の中の1端側の共通演算器に、その他の共通演算器から、前のオプティカルフローデータを転送する
ことを特徴とするオプティカルフロープロセッサ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006112395A JP4409526B2 (ja) | 2006-04-14 | 2006-04-14 | オプティカルフロープロセッサ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006112395A JP4409526B2 (ja) | 2006-04-14 | 2006-04-14 | オプティカルフロープロセッサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007286827A true JP2007286827A (ja) | 2007-11-01 |
JP4409526B2 JP4409526B2 (ja) | 2010-02-03 |
Family
ID=38758546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006112395A Expired - Fee Related JP4409526B2 (ja) | 2006-04-14 | 2006-04-14 | オプティカルフロープロセッサ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4409526B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009116729A (ja) * | 2007-11-08 | 2009-05-28 | Handotai Rikougaku Kenkyu Center:Kk | 画像処理装置及び方法 |
JP2009206611A (ja) * | 2008-02-26 | 2009-09-10 | Mitsubishi Electric Corp | 動的再構成可能演算装置および半導体装置 |
-
2006
- 2006-04-14 JP JP2006112395A patent/JP4409526B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009116729A (ja) * | 2007-11-08 | 2009-05-28 | Handotai Rikougaku Kenkyu Center:Kk | 画像処理装置及び方法 |
JP4662968B2 (ja) * | 2007-11-08 | 2011-03-30 | 株式会社半導体理工学研究センター | 画像処理装置及び方法 |
JP2009206611A (ja) * | 2008-02-26 | 2009-09-10 | Mitsubishi Electric Corp | 動的再構成可能演算装置および半導体装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4409526B2 (ja) | 2010-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chang et al. | An energy-efficient FPGA-based deconvolutional neural networks accelerator for single image super-resolution | |
JP3546437B2 (ja) | 適応形ビデオ信号演算処理装置 | |
TWI625697B (zh) | 用於具二維執行道陣列及二維位移暫存器之影像處理器之區塊操作 | |
Zhang et al. | An efficient VLSI architecture for lifting-based discrete wavelet transform | |
JP3019787B2 (ja) | 動きベクトル検出装置 | |
JP4231620B2 (ja) | 画像処理方法および装置 | |
JP3228927B2 (ja) | プロセッサエレメント、プロセッシングユニット、プロセッサ、及びその演算処理方法 | |
Chen | VLSI implementation of an adaptive edge-enhanced image scalar for real-time multimedia applications | |
Jiang et al. | An FPGA implementation for real-time edge detection | |
US10402196B2 (en) | Multi-dimensional sliding window operation for a vector processor, including dividing a filter into a plurality of patterns for selecting data elements from a plurality of input registers and performing calculations in parallel using groups of the data elements and coefficients | |
CN108765282B (zh) | 基于fpga的实时超分辨方法及系统 | |
TW201921314A (zh) | 影像處理器、由其執行之方法、及非暫態機器可讀儲存媒體 | |
Zhang et al. | The hardware realization of the bicubic interpolation enlargement algorithm based on FPGA | |
JP4409526B2 (ja) | オプティカルフロープロセッサ | |
JP4662969B2 (ja) | 画像処理装置及び方法 | |
Dilip et al. | Bilinear interpolation image scaling processor for VLSI architecure | |
JPH06225287A (ja) | 演算回路 | |
JP4662968B2 (ja) | 画像処理装置及び方法 | |
JP2001084242A (ja) | 可変演算プロセッサ | |
KR100246033B1 (ko) | 고속 실시간 처리 움직임 추정을 위한 연산방법 및 이를 위한 연산장치 | |
WO2023165290A1 (zh) | 数据处理方法及装置、电子设备和存储介质 | |
Imamura et al. | Scalable Architecture for High-Resolution Real-time Optical Flow Processor | |
Park et al. | Real-time stereo matching architecture based on 2D MRF model: a memory-efficient systolic array | |
Suzuki et al. | Design and implementation of 176-MHz WXGA 30-fps real-time optical flow processor | |
Ma et al. | Booth-NeRF: An FPGA Accelerator for Instant-NGP Inference with Novel Booth-Multiplier |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090820 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091111 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |