JP2001128067A - Electronic device, parallel processing method and recording medium - Google Patents
Electronic device, parallel processing method and recording mediumInfo
- Publication number
- JP2001128067A JP2001128067A JP30459099A JP30459099A JP2001128067A JP 2001128067 A JP2001128067 A JP 2001128067A JP 30459099 A JP30459099 A JP 30459099A JP 30459099 A JP30459099 A JP 30459099A JP 2001128067 A JP2001128067 A JP 2001128067A
- Authority
- JP
- Japan
- Prior art keywords
- parallel processing
- image
- array
- information
- difference information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、電子デバイス、並
列処理方法、および記録媒体に関し、特に、ビジョンシ
ステムにおける空間フィルタリングを並列処理する画像
処理装置、画像処理方法、および記録媒体に関する。The present invention relates to an electronic device, a parallel processing method, and a recording medium, and more particularly, to an image processing apparatus, an image processing method, and a recording medium for performing spatial filtering in a vision system in parallel.
【０００２】[0002]
【従来の技術】従来の画像処理システムは、走査機能を
内臓したセンサ等の撮像デバイスからの情報をビデオ信
号により画像処理装置に伝送し、専用演算ブロックで処
理していた。従って、如何に高速な処理機構を用いたと
しても、ビデオ信号の通信速度の制限により高速処理が
実現できないという拘束条件を有する。この様な通信容
量に起因するボトルネックは、I/Oボトルネックと呼ば
れる。そこで、I/Oボトルネックを回避するために、撮
像デバイスから演算デバイスへの直接配線を実現する事
が必要となる。しかし、そのためには多数の配線が必要
となり、特にLSIデバイスの配線数は、チップから出せ
るピンの数で制限される事となり（これをピン・ボトル
ネックと呼んでいる）、この様なI/Oボトルネック、及
び、ピン・ボトルネックを解消するための技術が近年開
発されている。そのうちの１つとして、撮像デバイスと
処理デバイスとを１チップ上に一体化し、これらをアレ
イ状に集積したスマート光センサが開発されている。2. Description of the Related Art In a conventional image processing system, information from an image pickup device such as a sensor having a scanning function is transmitted to an image processing apparatus by a video signal and processed by a dedicated operation block. Therefore, no matter how fast the processing mechanism is used, there is a constraint that high-speed processing cannot be realized due to the limitation of the communication speed of the video signal. A bottleneck caused by such a communication capacity is called an I / O bottleneck. Therefore, in order to avoid an I / O bottleneck, it is necessary to realize a direct wiring from the imaging device to the arithmetic device. However, this requires a large number of wires, and in particular the number of wires in LSI devices is limited by the number of pins that can be output from the chip (this is called a pin bottleneck). Techniques for eliminating O bottlenecks and pin bottlenecks have been developed in recent years. As one of them, a smart optical sensor has been developed in which an imaging device and a processing device are integrated on one chip and these are integrated in an array.
【０００３】[0003]
【発明が解決しようとする課題】このような撮像デバイ
スと処理デバイスとを１チップ上に配置したスマート光
センサを用いて、画像処理を行う場合には、かかるハー
ドウェア資源を有効に利用した処理ロジックの構築が必
要となるが、従来の処理ロジックでは、かかるハードウ
ェア資源を有効活用し、効率的で高速な画像処理が困難
であるという問題点があった。In the case where image processing is performed using a smart optical sensor in which such an imaging device and a processing device are arranged on one chip, processing using such hardware resources effectively is performed. Although it is necessary to construct a logic, the conventional processing logic has a problem that it is difficult to efficiently use such hardware resources and perform efficient and high-speed image processing.
【０００４】本発明の課題は、上記問題点に鑑み、撮像
デバイスと処理デバイスとを１チップ上に配置した電子
デバイスであるスマート光センサを有効活用し、効率的
で高速に処理可能な演算アルゴリズムを適用した電子デ
バイス、並列処理方法、および記録媒体等を提供するこ
とにある。[0004] In view of the above problems, it is an object of the present invention to provide an arithmetic algorithm capable of performing efficient and high-speed processing by effectively utilizing a smart optical sensor which is an electronic device in which an imaging device and a processing device are arranged on one chip. It is an object of the present invention to provide an electronic device, a parallel processing method, a recording medium, and the like to which the invention is applied.
【０００５】[0005]
【課題を解決するための手段】請求項１に記載の発明
は、撮像部と並列処理部とを含む電子デバイスにおい
て、前記撮像部は、２次元に配列された複数の撮像素子
と、該撮像素子において画像情報を撮像する撮像手段と
を備え、前記並列処理部は、前記撮像素子の行または列
に対応する前記画像情報を同時に処理する並列処理手段
を備えたことを特徴とする。According to a first aspect of the present invention, there is provided an electronic device including an image pickup section and a parallel processing section, wherein the image pickup section includes a plurality of two-dimensionally arranged image pickup elements, An image pickup unit for picking up image information in the element; and the parallel processing unit includes a parallel processing unit for simultaneously processing the image information corresponding to a row or a column of the image pickup element.
【０００６】請求項２に記載の発明は、請求項１に記載
の電子デバイスにおいて、汎用レジスタと、前記汎用レ
ジスタを、前記撮像素子の行または列に対応する前記画
像情報と各画像情報の精度とを用いて、２次元配列状に
メモリマッピングを行うマッピング手段とを備えたこと
を特徴とする。According to a second aspect of the present invention, in the electronic device according to the first aspect, a general-purpose register and the general-purpose register are provided with the image information corresponding to a row or a column of the image sensor and the accuracy of each image information. And mapping means for performing memory mapping in a two-dimensional array using the above.
【０００７】請求項３に記載の発明は、請求項１または
請求項２に記載の電子デバイスにおいて、前記並列処理
手段は、各画像情報をそれぞれ要素とする配列を作成す
る手段と、それぞれのレベルでは、前記配列の隣り合う
異なる二つの要素を足し合わせる演算を行い、そのレベ
ルを段階的に深くすることによって、前記配列の少なく
とも一部を分割的に加算演算する手段とをさらに備え、
前記撮像素子の行または列に対応する前記画像情報の加
算を同時に演算することを特徴とする。According to a third aspect of the present invention, in the electronic device according to the first or second aspect, the parallel processing means comprises: means for creating an array having each image information as an element; Means for performing an operation of adding two different elements that are adjacent to each other in the array, and increasing the level in a stepwise manner, thereby performing a divisional addition operation on at least a part of the array,
The addition of the image information corresponding to a row or a column of the image sensor is simultaneously performed.
【０００８】請求項４に記載の発明は、撮像部と並列処
理部とを含む電子デバイスの並列処理方法において、前
記撮像部に存在する２次元に配列された複数の撮像素子
により、画像情報を撮像する撮像ステップと、前記並列
処理部により、前記撮像素子の行または列に対応する前
記画像情報を同時に処理する並列処理ステップとを備え
ることを特徴とする。According to a fourth aspect of the present invention, in the parallel processing method for an electronic device including an imaging unit and a parallel processing unit, the image information is provided by a plurality of two-dimensionally arranged imaging elements existing in the imaging unit. An image capturing step of capturing an image and a parallel processing step of simultaneously processing the image information corresponding to a row or a column of the image sensor by the parallel processing unit are provided.
【０００９】請求項５に記載の発明は、請求項４に記載
の並列処理方法において、前記電子デバイスの汎用レジ
スタを、前記撮像素子の行または列に対応する前記画像
情報と各画像情報の精度とを用いて、２次元配列状にメ
モリマッピングを行うマッピングステップを備えること
を特徴とする。According to a fifth aspect of the present invention, in the parallel processing method according to the fourth aspect, a general-purpose register of the electronic device stores the image information corresponding to a row or a column of the image sensor and the accuracy of each image information. And a mapping step of performing memory mapping in a two-dimensional array using
【００１０】請求項６に記載の発明は、請求項４または
請求項５に記載の並列処理方法において、前記並列処理
ステップは、各画像情報をそれぞれ要素とする配列を作
成するステップと、それぞれのレベルでは、前記配列の
隣り合う異なる二つの要素を足し合わせる演算を行い、
そのレベルを段階的に深くすることによって、前記配列
の少なくとも一部を分割的に加算演算するステップとを
さらに備え、前記撮像素子の行または列に対応する前記
画像情報の加算を同時に演算することを特徴とする。According to a sixth aspect of the present invention, in the parallel processing method according to the fourth or fifth aspect, the parallel processing step includes a step of creating an array having each image information as an element. At the level, perform an operation to add two different adjacent elements of the array,
Further increasing the level in a stepwise manner, thereby dividing and adding at least a part of the array, and simultaneously calculating the addition of the image information corresponding to the rows or columns of the image sensor. It is characterized by.
【００１１】請求項７に記載の発明は、撮像部と並列処
理部とを含む電子デバイスに並列処理方法を実行させる
ためのプログラムを記録した記録媒体において、前記撮
像部に存在する２次元に配列された複数の撮像素子によ
り、画像情報を撮像する撮像ステップと、前記並列処理
部により、前記撮像素子の行または列に対応する前記画
像情報を同時に処理する並列処理ステップとを備えるこ
とを特徴とする。According to a seventh aspect of the present invention, there is provided a recording medium in which a program for causing an electronic device including an imaging unit and a parallel processing unit to execute a parallel processing method is recorded. An imaging step of imaging image information by the plurality of imaging devices, and a parallel processing step of simultaneously processing the image information corresponding to a row or a column of the imaging device by the parallel processing unit. I do.
【００１２】請求項８に記載の発明は、請求項７に記載
の記録媒体において、前記電子デバイスの汎用レジスタ
を、前記撮像素子の行または列に対応する前記画像情報
と各画像情報の精度とを用いて、２次元配列状にメモリ
マッピングを行うマッピングステップを備えることを特
徴とする。According to an eighth aspect of the present invention, in the recording medium according to the seventh aspect, the general-purpose register of the electronic device stores the image information corresponding to a row or a column of the image sensor and the accuracy of each image information. And a mapping step of performing memory mapping in a two-dimensional array using
【００１３】請求項９に記載の発明は、請求項７または
請求項８に記載の記録媒体において、各画像情報をそれ
ぞれ要素とする配列を作成するステップと、それぞれの
レベルでは、前記配列の隣り合う異なる二つの要素を足
し合わせる演算を行い、そのレベルを段階的に深くする
ことによって、前記配列の少なくとも一部を分割的に加
算演算するステップとをさらに備え、前記撮像素子の行
または列に対応する前記画像情報の加算を同時に演算す
ることを特徴とする。According to a ninth aspect of the present invention, in the recording medium according to the seventh or eighth aspect, a step of creating an array having each image information as an element is provided. Performing an operation of adding two different elements that match each other, and increasing the level in a stepwise manner, thereby performing a divisional addition operation on at least a part of the array. The addition of the corresponding image information is calculated simultaneously.
【００１４】請求項１０に記載の発明は、請求項１乃至
請求項３のいずれかに記載の電子デバイスを含むことを
特徴とする。According to a tenth aspect of the present invention, there is provided the electronic device according to any one of the first to third aspects.
【００１５】請求項１１に記載の発明は、請求項１乃至
請求項３のいずれかに記載の電子デバイスの並列処理部
において、画素データに含まれる任意の基準点の画像情
報と、基準点以外の１つまたは２つ以上の点の画像情報
との差分を加算して差分情報Ｖijを演算する手段とを備
えたことを特徴とする。According to an eleventh aspect of the present invention, in the parallel processing unit of the electronic device according to any one of the first to third aspects, image information of an arbitrary reference point included in pixel data and information other than the reference point are included. Means for calculating the difference information V ij by adding the difference with the image information of one or more points.
【００１６】請求項１２に記載の発明は、請求項１１に
記載の並列処理部において、前記差分情報Ｖijを演算す
る手段は、複数の基準点について並列処理をすることを
特徴とする。According to a twelfth aspect of the present invention, in the parallel processing unit according to the eleventh aspect, the means for calculating the difference information V ij performs parallel processing on a plurality of reference points.
【００１７】請求項１３に記載の発明は、請求項１２に
記載の並列処理部において、前記差分情報Ｖijを演算す
る手段は、複数の基準点をそれぞれ要素とする配列を作
成する手段と、それぞれのレベルでは、前記配列の隣り
合う異なる二つの要素を足し合わせる演算を行い、その
レベルを段階的に深くすることによって、前記配列の少
なくとも一部を分割的に加算演算する手段とをさらに備
え、複数の基準点について並列処理をすることを特徴と
する。According to a thirteenth aspect of the present invention, in the parallel processing unit according to the twelfth aspect, the means for calculating the difference information V ij comprises means for creating an array having a plurality of reference points as elements. Means for performing an operation of adding two different elements adjacent to each other in the array at each level, and increasing the level in a stepwise manner, thereby performing a divisional addition operation on at least a part of the array. , Parallel processing is performed for a plurality of reference points.
【００１８】請求項１４に記載の発明は、請求項１１乃
至請求項１３のいずれかに記載の並列処理部において、
前記画像情報は、輝度情報、画像濃淡情報、周波数情報
および画像色彩情報のうち少なくともひとつを含むこと
を特徴とする。According to a fourteenth aspect of the present invention, in the parallel processing part according to any one of the eleventh to thirteenth aspects,
The image information includes at least one of luminance information, image density information, frequency information, and image color information.
【００１９】請求項１５に記載の発明は、請求項１１乃
至請求項１４のいずれかに記載の並列処理部において、
前記基準点以外の１つまたは２つ以上の点は、前記基準
点Ｐi,jよりＸ方向に第１距離ｍｃだけ離間した２点
（Ｐi+mc,j、Ｐi-mc,j）、および前記基準点Ｐi,jより
Ｙ方向に第２距離ｍｒだけ離間した２点（Ｐi,j+mr、Ｐ
i,j-mr）とすることを特徴とする。According to a fifteenth aspect of the present invention, in the parallel processing part according to any one of the eleventh to fourteenth aspects,
One or two or more points other than the reference point are two points (P i + mc, j , P i-mc, j ) separated from the reference point P i, j by a first distance mc in the X direction. , And two points (P i, j + mr , P 2) separated from the reference point P i, j by a second distance mr in the Y direction.
i, j-mr ).
【００２０】請求項１６に記載の発明は、請求項１１に
記載の並列処理部において、前記差分情報Ｖijを演算す
る手段より演算された前記差分情報Ｖijを加算すること
により所定領域内の前記差分情報Ｖijの総和を演算する
手段をさらに備え、前記差分情報Ｖijの総和を用いて前
記画素データを評価することを特徴とする。According to a sixteenth aspect of the present invention, in the parallel processing unit according to the eleventh aspect, the difference information V ij calculated by the means for calculating the difference information V ij is added to the data in a predetermined area. further comprising means for calculating the sum of the difference information V ij, and evaluating the pixel data using the sum of the difference information V ij.
【００２１】請求項１７に記載の発明は、請求項１６に
記載の並列処理部において、前記差分情報Ｖijの総和を
演算する手段は、複数の差分情報Ｖijについて並列処理
をすることを特徴とする。[0021] The invention according to claim 17, in the parallel processor according to claim 16, means for calculating the sum of the difference information V ij is characterized by parallel processing for a plurality of difference information V ij And
【００２２】請求項１８に記載の発明は、請求項１７に
記載の並列処理部において、前記差分情報Ｖijの総和を
演算する手段は、複数の差分情報Ｖijをそれぞれ要素と
する配列を作成する手段と、それぞれのレベルでは、前
記配列の隣り合う異なる二つの要素を足し合わせる演算
を行い、そのレベルを段階的に深くすることによって、
前記配列の少なくとも一部を分割的に加算演算する手段
とをさらに備え、複数の差分情報Ｖijについて並列処理
をすることを特徴とする。[0022] The invention according to claim 18, created in the parallel processor according to claim 17, means for calculating the sum of the difference information V ij is a sequence of a plurality of difference information V ij respectively elements Means, and at each level, perform an operation of adding two different elements adjacent to each other in the array, and gradually increase the level,
Means for dividing and adding at least a part of the array, and performing parallel processing on a plurality of pieces of difference information V ij .
【００２３】請求項１９に記載の発明は、画像処理装置
において、請求項１１乃至請求項１８のいずれかに記載
の並列処理部を備えたことを特徴とする。According to a nineteenth aspect of the present invention, an image processing apparatus includes the parallel processing unit according to any one of the eleventh to eighteenth aspects.
【００２４】請求項２０に記載の発明は、請求項１９に
記載の画像処理装置と、焦点を変更することができる可
変焦点レンズ装置とを含むビジョンシステムにおいて、
前記画像処理装置の前記並列プロセッサにおいて、前記
差分情報Ｖｉｊを用いて焦点が合っているか否かを判断
する合焦点判断手段と、該合焦点判断手段による判断毎
に、可変焦点レンズ装置の焦点を逐次変更する焦点可変
手段とを備えたことを特徴とする。According to a twentieth aspect of the present invention, in a vision system including the image processing device according to the nineteenth aspect, and a varifocal lens device capable of changing a focus,
In the parallel processor of the image processing apparatus, a focusing point determining unit that determines whether or not focusing is performed using the difference information Vij, and a focus of the variable focal length lens device is determined for each determination by the focusing point determining unit. And a focus changing means for changing sequentially.
【００２５】請求項２１に記載の発明は、請求項４に記
載の並列処理方法において、画素データに含まれる任意
の基準点の画像情報と、基準点以外の１つまたは２つ以
上の点の画像情報との差分を加算して差分情報Ｖijを演
算するステップとを備えることを特徴とする。According to a twenty-first aspect of the present invention, in the parallel processing method according to the fourth aspect, image information of an arbitrary reference point included in the pixel data and one or more points other than the reference point are included. Calculating difference information V ij by adding a difference with the image information.
【００２６】請求項２２に記載の発明は、請求項２１に
記載の並列処理方法において、前記差分情報Ｖijを演算
するステップは、複数の基準点について並列処理をする
ことを特徴とする。According to a twenty-second aspect of the present invention, in the parallel processing method according to the twenty-first aspect, the step of calculating the difference information V ij performs parallel processing on a plurality of reference points.
【００２７】請求項２３に記載の発明は、請求項２２に
記載の並列処理方法において、前記差分情報Ｖijを演算
するステップは、複数の基準点をそれぞれ要素とする配
列を作成するステップと、それぞれのレベルでは、前記
配列の隣り合う異なる二つの要素を足し合わせる演算を
行い、そのレベルを段階的に深くすることによって、前
記配列の少なくとも一部を分割的に加算演算するステッ
プとをさらに備え、複数の基準点について並列処理をす
ることを特徴とする。According to a twenty-third aspect of the present invention, in the parallel processing method according to the twenty-second aspect, the step of calculating the difference information V ij comprises the steps of creating an array having a plurality of reference points as elements. At each level, performing an operation of adding two different elements adjacent to each other in the array, and gradually increasing the level, thereby performing a divisional addition operation on at least a part of the array. , Parallel processing is performed for a plurality of reference points.
【００２８】請求項２４に記載の発明は、請求項２１乃
至請求項２３のいずれかに記載の並列処理方法におい
て、前記画像情報は、輝度情報、画像濃淡情報、周波数
情報および画像色彩情報のうち少なくともひとつを含む
ことを特徴とする。According to a twenty-fourth aspect of the present invention, in the parallel processing method according to any one of the twenty-first to twenty-third aspects, the image information is selected from luminance information, image density information, frequency information and image color information. It is characterized by including at least one.
【００２９】請求項２５に記載の発明は、請求項２１乃
至請求項２４のいずれかに記載の並列処理方法におい
て、前記基準点以外の１つまたは２つ以上の点は、前記
基準点Ｐi,jよりＸ方向に第１距離ｍｃだけ離間した２
点（Ｐi+mc,j、Ｐi-mc,j）、および前記基準点Ｐi,jよ
りＹ方向に第２距離ｍｒだけ離間した２点（Ｐi,j+mr、
Ｐi,j-mr）とすることを特徴とする。According to a twenty-fifth aspect of the present invention, in the parallel processing method according to any one of the twenty-first to twenty-fourth aspects, one or more points other than the reference point are the reference points P i. , j separated by the first distance mc in the X direction from j
A point (P i + mc, j , P i-mc, j ) and two points (P i, j + mr , 2) separated from the reference point P i, j by a second distance mr in the Y direction.
P i, j-mr ).
【００３０】請求項２６に記載の発明は、請求項２１に
記載の並列処理方法において、前記差分情報Ｖijを演算
するステップより演算された前記差分情報Ｖijを加算す
ることにより所定領域内の前記差分情報Ｖijの総和を演
算するステップをさらに備え、前記差分情報Ｖijの総和
を用いて前記画素データを評価することを特徴とする。According to a twenty-sixth aspect of the present invention, in the parallel processing method according to the twenty-first aspect, the difference information V ij calculated from the step of calculating the difference information V ij is added to the data in a predetermined area. further comprising the step of calculating the sum of the difference information V ij, and evaluating the pixel data using the sum of the difference information V ij.
【００３１】請求項２７に記載の発明は、請求項２６に
記載の並列処理方法において、前記差分情報Ｖijの総和
を演算するステップは、複数の差分情報Ｖijについて並
列処理をすることを特徴とする。[0031] The invention according to claim 27, in a parallel processing method according to claim 26, the step of calculating the sum of the difference information V ij is characterized by parallel processing for a plurality of difference information V ij And
【００３２】請求項２８に記載の発明は、請求項２７に
記載の並列処理方法において、前記差分情報Ｖijの総和
を演算するステップは、複数の差分情報Ｖijをそれぞれ
要素とする配列を作成するステップと、それぞれのレベ
ルでは、前記配列の隣り合う異なる二つの要素を足し合
わせる演算を行い、そのレベルを段階的に深くすること
によって、前記配列の少なくとも一部を分割的に加算演
算するステップとをさらに備え、複数の差分情報Ｖijに
ついて並列処理をすることを特徴とする。[0032] The invention according to claim 28, prepared in a parallel processing method according to claim 27, the step of calculating the sum of the difference information V ij is a sequence of a plurality of difference information V ij respectively elements And performing, at each level, an operation of adding two different elements that are adjacent to each other in the array, and increasing the level in a stepwise manner, thereby dividing and adding at least a part of the array. And performing parallel processing on a plurality of pieces of difference information V ij .
【００３３】請求項２９に記載の発明は、画像処理方法
において、請求項２１乃至請求項２８のいずれかに記載
の並列処理方法を備えることを特徴とする。According to a twenty-ninth aspect of the present invention, in the image processing method, the parallel processing method according to any one of the twenty-first to twenty-eighth aspects is provided.
【００３４】請求項３０に記載の発明は、請求項１９に
記載の画像処理装置と、焦点を変更することができる可
変焦点レンズ装置とを含むビジョンシステムの制御方法
において、前記画像処理装置の前記並列プロセッサにお
いて、前記差分情報Ｖijを用いて焦点が合っているか否
かを判断する合焦点判断ステップと、該合焦点判断ステ
ップによる判断毎に、可変焦点レンズ装置の焦点を逐次
変更する焦点可変ステップとを備えたことを特徴とす
る。According to a thirtieth aspect of the present invention, there is provided a vision system control method including the image processing device according to the nineteenth aspect and a varifocal lens device capable of changing a focal point. In the parallel processor, a focusing point determining step of determining whether or not the lens is in focus using the difference information V ij , and a variable focus for sequentially changing the focal point of the varifocal lens device for each determination in the focusing point determining step. And a step.
【００３５】請求項３１に記載の発明は、請求項２１乃
至３０のいずれかに記載の方法を実行するためのプログ
ラムを記録した記録媒体であることを特徴とする。According to a thirty-first aspect of the present invention, there is provided a recording medium recording a program for executing the method according to any one of the twenty-first to twenty-third aspects.
【００３６】請求項３２に記載の発明は、請求項２０に
記載のビジョンシステムを含むことを特徴とするマイク
ロマシンであることを特徴とする。According to a thirty-second aspect of the present invention, there is provided a micro machine including the vision system according to the twentieth aspect.
【００３７】請求項３３に記載の発明は、請求項３０に
記載のビジョンシステムの制御方法を含むことを特徴と
するマイクロマシンの制御方法であることを特徴とす
る。According to a thirty-third aspect of the present invention, there is provided a method of controlling a micromachine, including the method of controlling a vision system according to the thirty-third aspect.
【００３８】また本発明は、画像処理装置において、画
素データに含まれる任意の基準点の画像情報と、基準点
以外の１つまたは２つ以上の点の画像情報との差分を加
算して差分情報Ｖijを演算する手段と、前記差分情報Ｖ
ijを用いて前記画素データにピントが合っているか判断
する手段とを備え、前記差分情報Ｖijを演算する手段
は、複数の基準点について並列処理をすることを特徴と
する。また、前記差分情報Ｖijを演算する手段は、複数
の基準点をそれぞれ要素とする配列を作成する手段と、
前記配列について、それぞれの要素を分割統治法により
加算演算する手段とを備え、複数の基準点について同時
に並列処理することを特徴とする。また、前記分割統治
法により加算演算する手段は、前記配列の要素の配列順
序を交換するシャッフル手段と、前記配列と、シャッフ
ル手段後の配列とを加算する手段とを備えたことを特徴
とする。また、前記分割統治法により加算演算する手段
は、加算演算の対象となる配列の少なくとも一部を選択
する加算範囲選択手段をさらに備え、前記加算範囲選択
手段により選択された範囲の加算が終了するまで、前記
前記分割統治法により加算演算する手段を繰り返し実行
することを特徴とする。Further, according to the present invention, in an image processing apparatus, a difference between image information of an arbitrary reference point included in pixel data and image information of one or more points other than the reference point is added to obtain a difference. Means for calculating information V ij ,
means for determining whether the pixel data is in focus using ij, and means for calculating the difference information V ij performs parallel processing on a plurality of reference points. The means for calculating the difference information V ij includes means for creating an array having a plurality of reference points as elements,
Means for performing an addition operation on each element of the array by a divide-and-conquer method, wherein a plurality of reference points are simultaneously processed in parallel. The means for performing the addition operation by the divide-and-conquer method includes a shuffle means for exchanging the arrangement order of the elements of the array, and a means for adding the array and the array after the shuffle means. . The means for performing the addition operation by the divide-and-conquer method further includes an addition range selection means for selecting at least a part of an array to be subjected to the addition operation, and the addition of the range selected by the addition range selection means is completed. Up to this step, the means for performing the addition operation by the divide-and-conquer method is repeatedly executed.
【００３９】また、前記差分情報Ｖijを演算する手段よ
り演算された前記差分情報Ｖijを加算することにより所
定領域内の前記差分情報Ｖijの総和を演算する手段と、
をさらに備え、前記差分情報Ｖijの総和を用いて前記画
素データにピントが合っているか判断することを特徴と
する。また、前記差分情報Ｖijの総和を用いて前記差分
情報Ｖijを平滑化する手段とをさらに備え、平滑化され
た前記差分情報Ｖijを用いて前記画素データにピントが
合っているか判断することを特徴とする。Further, means for calculating the sum of the difference information V ij in a given region by adding the difference information V ij computed from means for calculating the difference information V ij,
And determining whether the pixel data is in focus using the sum of the difference information V ij . Moreover, further comprising a means for smoothing the difference information V ij, to determine whether is in focus on the pixel data using the difference information V ij smoothed using the sum of the difference information V ij It is characterized by the following.
【００４０】また本発明は、画像処理方法において、画
素データに含まれる任意の基準点の画像情報と、基準点
以外の１つまたは２つ以上の点の画像情報との差分を加
算して差分情報Ｖijを演算するステップと、前記差分情
報Ｖijを用いて前記画素データにピントが合っているか
判断するステップとを備え、前記差分情報Ｖijを演算す
るステップは、複数の基準点について並列処理をするこ
とを特徴とする。また、前記差分情報Ｖijを演算するス
テップは、複数の基準点をそれぞれ要素とする配列を作
成するステップと、前記配列について、それぞれの要素
を分割統治法により加算演算するステップとを備え、複
数の基準点について同時に並列処理することを特徴とす
る。また、前記分割統治法により加算演算するステップ
は、前記配列の要素の配列順序を交換するシャッフルス
テップと、前記配列と、シャッフルステップ後の配列と
を加算するステップとを備えることを特徴とする。ま
た、前記分割統治法により加算演算するステップは、加
算演算の対象となる配列の少なくとも一部を選択する加
算範囲選択ステップをさらに備え、前記加算範囲選択ス
テップにより選択された範囲の加算が終了するまで、前
記前記分割統治法により加算演算するステップを繰り返
し実行することを特徴とする。また、前記差分情報Ｖij
を演算するステップより演算された前記差分情報Ｖijを
加算することにより所定領域内の前記差分情報Ｖijの総
和を演算するステップとをさらに備え、前記差分情報Ｖ
ijの総和を用いて前記画素データにピントが合っている
か判断することを特徴とする。また、前記差分情報Ｖij
の総和を用いて前記差分情報Ｖijを平滑化するステップ
とをさらに備え、平滑化された前記差分情報Ｖijを用い
て前記画素データにピントが合っているか判断すること
を特徴とする。Further, according to the present invention, in the image processing method, a difference between image information of an arbitrary reference point included in pixel data and image information of one or more points other than the reference point is added. comprising a step of computing the information V ij, and determining whether is in focus on the pixel data using the difference information V ij, the step of calculating the difference information V ij is parallel for a plurality of reference points Processing is performed. Further, the step of calculating the difference information V ij includes a step of creating an array having a plurality of reference points as elements, and a step of adding and calculating each element of the array by a divide-and-conquer method. Are characterized by performing parallel processing on the reference points at the same time. Further, the step of performing the addition operation by the divide-and-conquer method includes a shuffle step of exchanging the arrangement order of the elements of the array, and a step of adding the array and the array after the shuffle step. Further, the step of performing the addition operation by the divide-and-conquer method further includes an addition range selection step of selecting at least a part of an array to be subjected to the addition operation, and the addition of the range selected by the addition range selection step ends. Up to this step, the step of performing an addition operation by the divide-and-conquer method is repeatedly executed. Further, the difference information V ij
Further comprising the step of calculating the sum of the difference information V ij in a given region by adding the difference information V ij computed from the step of calculating the said difference information V
It is characterized in that it is determined whether or not the pixel data is in focus using the sum of ij . Further, the difference information V ij
And smoothing the difference information V ij using the sum of the pixel data, and determining whether or not the pixel data is in focus using the smoothed difference information V ij .
【００４１】また本発明は、画像処理方法を実行するプ
ログラムを記録した記録媒体において、画素データに含
まれる任意の基準点の画像情報と、基準点以外の１つま
たは２つ以上の点の画像情報との差分を加算して差分情
報Ｖijを演算するステップと、前記差分情報Ｖijを用い
て前記画素データにピントが合っているか判断するステ
ップとを備え、前記差分情報Ｖijを演算するステップ
は、複数の基準点について並列処理をすることを特徴と
する。また、前記差分情報Ｖijを演算するステップは、
複数の基準点をそれぞれ要素とする配列を作成するステ
ップと、前記配列について、それぞれの要素を分割統治
法により加算演算するステップとを備え、複数の基準点
について同時に並列処理することを特徴とする。また、
前記分割統治法により加算演算するステップは、前記配
列の要素の配列順序を交換するシャッフルステップと、
前記配列と、シャッフルステップ後の配列とを加算する
ステップとを備えることを特徴とする。また、前記分割
統治法により加算演算するステップは、加算演算の対象
となる配列の少なくとも一部を選択する加算範囲選択ス
テップをさらに備え、前記加算範囲選択ステップにより
選択された範囲の加算が終了するまで、前記分割統治法
により加算演算するステップを繰り返し実行することを
特徴とする。また、前記差分情報Ｖijを演算するステッ
プより演算された前記差分情報Ｖijを加算することによ
り所定領域内の前記差分情報Ｖijの総和を演算するステ
ップとをさらに備え、前記差分情報Ｖijの総和を用いて
前記画素データにピントが合っているか判断することを
特徴とする。また、前記差分情報Ｖijの総和を用いて前
記差分情報Ｖijを平滑化するステップとをさらに備え、
平滑化された前記差分情報Ｖijを用いて前記画素データ
にピントが合っているか判断することを特徴とする。According to the present invention, there is provided a recording medium on which a program for executing an image processing method is recorded, wherein image information of an arbitrary reference point included in pixel data and image information of one or more points other than the reference point are stored. comprising the steps of adding the difference between the information and calculates the difference information V ij, and determining whether is in focus on the pixel data using the difference information V ij, calculates the difference information V ij The step is characterized by performing parallel processing on a plurality of reference points. Further, the step of calculating the difference information V ij comprises:
A step of creating an array having a plurality of reference points as elements, and a step of adding each element to the array by a divide-and-conquer method, wherein the plurality of reference points are simultaneously processed in parallel. . Also,
The step of performing an addition operation by the divide-and-conquer method includes a shuffle step of exchanging an array order of elements of the array,
A step of adding the array and the array after the shuffling step. Further, the step of performing the addition operation by the divide-and-conquer method further includes an addition range selection step of selecting at least a part of an array to be subjected to the addition operation, and the addition of the range selected by the addition range selection step ends. Up to this step, the step of performing an addition operation by the divide-and-conquer method is repeatedly executed. Moreover, further comprising a step of calculating the sum of the difference information V ij in a given region by adding the difference information V ij computed from the step of calculating the difference information V ij, the difference information V ij Is used to determine whether the pixel data is in focus. Moreover, further comprising a step of smoothing the difference information V ij using the sum of the difference information V ij,
It is characterized in that it is determined whether or not the pixel data is in focus by using the smoothed difference information V ij .
【００４２】[0042]
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施形態について詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００４３】図１は、本発明が適用されるスマート光セ
ンサの構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of a smart optical sensor to which the present invention is applied.
【００４４】図１は、スマート光センサを構成する電子
デバイスの構成のうち本発明に関係する部分のみを概念
的に示している。FIG. 1 conceptually shows only a portion related to the present invention in the configuration of the electronic device constituting the smart optical sensor.
【００４５】スマート光センサは、２次元に配置された
撮像素子でなるマトリックス・イメージ・センサ１、フ
ォトダイオードレジスタ２、Ａ／Ｄ変換器３、シフトレ
ジスタ４、ＲＡＭ５、演算ユニット６、および、アキュ
ームレータ／キャリーレジスタ７を含んで成る。The smart optical sensor includes a matrix image sensor 1 composed of two-dimensionally arranged image sensors, a photodiode register 2, an A / D converter 3, a shift register 4, a RAM 5, an arithmetic unit 6, and an accumulator. / Carry register 7.
【００４６】スマート光センサは、これらのユニットを
１セットとし、列方向に撮像素子分展開され、ＳＩＭＤ
型の並列処理アーキテクチャ（例えば、２５６並列、或
いは５１２並列）で構成される。マトリックス・イメー
ジ・センサ１は、例えば、３２×５１２ｐｉｘｅｌ、２
５６×２５６ｐｉｘｅｌ、５１２×５１２ｐｉｘｅｌ等
の２次元に、画像情報を撮像する撮像手段を備える撮像
素子が配置されている。なお、撮像素子は、ＣＭＯＳセ
ンサであることが好ましい。フォトダイオードレジスタ
２は、マトリックス・イメージ・センサ１が専用的に使
用するレジスタである。Ａ／Ｄ変換器３は、同撮像素子
群１行毎に配置されており、例えば、２値レベルと、２
５６階調までの多値化Ａ／Ｄ変換とを選択的に実行する
事ができる。シフト・レジスタ４は、画像データ、及
び、処理データが８ビット・シリアル情報として出力さ
れる場合に用いられる。ＲＡＭ５は、後述する深さ方向
の容量を持つ汎用レジスタ等を格納する。演算ユニット
６は、外部より通常１６ビットにてロードされた実行プ
ログラムに基づいて、各ユニットを起動および制御し、
例えば、ライン演算ユニットＧＬＵ（Ｇｌｏｂａｌ Ｌ
ｏｇｉｃａｌ Ｕｎｉｔ）と近傍演算ユニットＮＬＵ
（Ｎｅｉｇｈｂｏｒｈｏｏｄ ＬｏｇｉｃａｌＵｎｉ
ｔ）とビット演算ユニットＰＬＵ（Ｐｏｉｎｔ Ｌｏｇ
ｉｃａｌ Ｕｎｉｔ）とからなる。アキュームレータ／
キャリーレジスタ７は、演算ユニット６で実行される実
行プログラムの命令に従って加算演算および桁演算を行
う際に用いられる。The smart optical sensor is composed of these units as one set, and is developed in the column direction by the number of image pickup devices.
Type parallel processing architecture (for example, 256 parallel or 512 parallel). The matrix image sensor 1 includes, for example, 32 × 512 pixels,
An image sensor including an image pickup device for picking up image information is arranged in two dimensions such as 56 × 256 pixels, 512 × 512 pixels, and the like. Note that the image sensor is preferably a CMOS sensor. The photodiode register 2 is a register exclusively used by the matrix image sensor 1. The A / D converter 3 is arranged for each row of the image sensor group, and includes, for example, a binary level,
Multi-valued A / D conversion up to 56 gradations can be selectively executed. The shift register 4 is used when image data and processing data are output as 8-bit serial information. The RAM 5 stores a general-purpose register or the like having a capacity in the depth direction described later. The operation unit 6 activates and controls each unit based on an execution program loaded from the outside usually with 16 bits,
For example, a line operation unit GLU (Global L
optical Unit) and the neighborhood operation unit NLU
(Neighborhood LogicalUni
t) and the bit operation unit PLU (Point Log)
ical Unit). accumulator/
The carry register 7 is used when performing an addition operation and a digit operation according to an instruction of an execution program executed by the operation unit 6.
【００４７】スマート光センサは、図１に示すように、
撮像部であるマトリックス・イメージ・センサ１と演算
処理等を行う並列処理部である演算ユニット６が１チッ
プ上に構成されている。As shown in FIG. 1, the smart optical sensor is
An arithmetic unit 6, which is a parallel processing unit for performing arithmetic processing and the like, and a matrix image sensor 1, which is an imaging unit, are configured on one chip.
【００４８】つぎに、本スマート光センサに特徴的であ
って、前述したようにＲＡＭ５に格納されている汎用レ
ジスタについて、図２を参照して説明する。Next, general-purpose registers which are characteristic of the present smart optical sensor and are stored in the RAM 5 as described above will be described with reference to FIG.
【００４９】図２は、本発明によるスマート光センサの
汎用レジスタの概念を示す図である。FIG. 2 is a diagram showing the concept of a general-purpose register of the smart optical sensor according to the present invention.
【００５０】ここでは、一例として、深さ方向に９６ビ
ット、奥行き方向（並列処理方向）に２５６乃至５１２
ビットの容量を持つ汎用レジスタの場合で説明する。こ
こで、奥行き方向は、マトリックス・イメージ・センサ
１の撮像素子の列に対応する。Here, as an example, 96 bits in the depth direction and 256 to 512 in the depth direction (parallel processing direction).
The case of a general purpose register having a bit capacity will be described. Here, the depth direction corresponds to a row of the image sensor of the matrix image sensor 1.
【００５１】汎用レジスタは、各演算器の入出力領域と
して利用される。ここで特徴的なのは、各ピクセル情報
の解像度は、同レジスタの深さ方向に向かってスケーラ
ブルに定義・活用できる点にある。The general-purpose register is used as an input / output area of each arithmetic unit. What is characteristic here is that the resolution of each pixel information can be defined and utilized in a scalable manner in the depth direction of the register.
【００５２】図２において、Ｘhは、第ｈピクセルにお
けるピクセル出力用のレジスタ領域を示し、Ｘhは、第
ｈピクセルにおけるピクセル出力の重み係数用のレジス
タ領域を示し、Ｚhは、第ｈピクセルにおける重み演算
の演算結果の格納用のレジスタ領域を示す。In FIG. 2, X h indicates a register area for a pixel output at the h-th pixel, X h indicates a register area for a weight coefficient of the pixel output at the h-th pixel, and Z h indicates a h-th pixel. 4 shows a register area for storing a calculation result of a weight calculation in a pixel.
【００５３】ここで、例えば、第ｈピクセルに対して、Here, for example, for the h-th pixel,
【００５４】[0054]
【数１】 (Equation 1)
【００５５】の演算を実行する場合で説明すると、汎用
レジスタに対して、図２の様に割り付ける（すなわちメ
モリマッピングを行う）ことができる。この様に、汎用
レジスタは、奥行き方向１ビット毎に１ピクセルが対応
しており、その精度を深さ方向にユーザが任意に定義で
き、その定義に基づく演算を実行できる特徴を有する。
演算結果を格納するレジスタの精度を、深さ方向（ｋビ
ット）で定義することにより、オーバフローおよびビッ
ト落ちを回避できるように汎用レジスタを容易にマッピ
ングすることができる。To explain the case of executing the above operation, the general-purpose registers can be allocated as shown in FIG. 2 (that is, memory mapping is performed). As described above, the general-purpose register has such a feature that one pixel corresponds to one bit in the depth direction, and the accuracy thereof can be arbitrarily defined by the user in the depth direction, and an operation based on the definition can be executed.
By defining the precision of the register that stores the operation result in the depth direction (k bits), general-purpose registers can be easily mapped so as to avoid overflow and bit omission.
【００５６】次に、本発明によるスマート光センサの演
算ユニット６における演算方法を、図７乃至図９を参照
して以下に説明する。Next, an operation method in the operation unit 6 of the smart optical sensor according to the present invention will be described below with reference to FIGS.
【００５７】演算ユニット６は、「分割統治法」と呼ば
れる処理アルゴリズムを用いて、撮像素子の列に対応す
る複数の画像情報の加算演算を並列的に行う。The arithmetic unit 6 performs an addition operation of a plurality of pieces of image information corresponding to the columns of the image pickup elements in parallel by using a processing algorithm called a “divide and conquer method”.
【００５８】分割統治法を行う際には、「シャッフル演
算（要素のクロス処理）」を使用する。すなわち、それ
ぞれのレベルでは、隣り合う異なる二つの要素を足し合
わせる演算を行い、そのレベルを段階的に深くすること
によって、分割的に加算する。When performing the divide-and-conquer method, "shuffle operation (cross processing of elements)" is used. That is, at each level, an operation of adding two different elements adjacent to each other is performed, and the levels are gradually increased to thereby add in a divided manner.
【００５９】図７乃至図９においては、説明の簡略化の
ため、配列内に１２個の要素を用いる場合を一例に説明
する。In FIGS. 7 to 9, for simplicity of description, a case where 12 elements are used in an array will be described as an example.
【００６０】まず、図７に示すように、加算する配列の
要素数に応じたマスクレジスタＭＡＳＫ（１）、
（２）、（３）．．．をあらかじめ設定する。First, as shown in FIG. 7, a mask register MASK (1) corresponding to the number of elements of an array to be added,
(2), (3). . . Is set in advance.
【００６１】次に、図８に示すように、マスクレジスタ
を用いて、基準となる配列Ｒ１の各要素を交互に交換し
た配列ｃｒｏｓ（Ｒ１，１）を作成する。ここで、ｃｒ
ｏｓ（Ｒ１，１）は、配列Ｒ１をレベル１の段階でシャ
ッフル演算（要素のクロス処理）を行った配列を表す。Next, as shown in FIG. 8, an array cros (R1, 1) in which each element of the array R1 as a reference is alternately exchanged is created using a mask register. Where cr
os (R1,1) represents an array obtained by performing a shuffle operation (element cross processing) on the array R1 at the level 1 level.
【００６２】まず、Ｒ１の各要素を右に１つシフトさせ
てＣ２を求め（ステップＳ６０２）、Ｃ２とＭＡＳＫ
（１）との論理積であるＣ３を求める（ステップＳ６０
４）。First, C2 is obtained by shifting each element of R1 by one to the right (step S602), and C2 and MASK are calculated.
C3 which is a logical product with (1) is obtained (step S60).
4).
【００６３】また、Ｒ１の各要素を左に１つシフトさせ
てＣ４を求め（ステップＳ６０６）、Ｃ２とＭＡＳＫ
（１）の否定との論理積であるＣ５を求める（ステップ
Ｓ６０８）。Further, C4 is obtained by shifting each element of R1 by one to the left (step S606), and C2 and MASK are calculated.
C5 which is a logical product of the negation of (1) is obtained (step S608).
【００６４】そして、Ｃ３とＣ５の論理和であるｃｒｏ
ｓ（Ｒ１，１）を作成する（ステップＳ６１０）。Then, cro which is a logical sum of C3 and C5 is obtained.
s (R1,1) is created (step S610).
【００６５】次に、図９に示すように、加算演算を行
う。Next, an addition operation is performed as shown in FIG.
【００６６】まず、Ｒ１とＲ２を加算してＲ３を求める
（ステップＳ７０２）。First, R3 is obtained by adding R1 and R2 (step S702).
【００６７】次に、Ｒ３に対して、図７に示すＭＡＳＫ
（２）を用いて図８に示した手順により、ｃｒｏｓ（Ｒ
３，２）を求め（ステップＳ７０４）、Ｒ３とＲ４を加
算してＲ５を求める（ステップＳ７０６）。ここで、ｃ
ｒｏｓ（Ｒ３，２）は、配列Ｒ３をレベル２の段階でシ
ャッフル演算（要素のクロス処理）を行った配列を表
す。Next, MASK shown in FIG.
According to the procedure shown in FIG. 8 using (2), cros (R
(3, 2) is obtained (step S704), and R3 and R4 are added to obtain R5 (step S706). Where c
ros (R3,2) represents an array obtained by performing a shuffle operation (element cross processing) on the array R3 at the level 2 stage.
【００６８】このように、対象要素数を倍にすることに
より１段階づつレベルを上げて、かかる手順を繰り返し
行うことにより、単純な加算命令、減算命令およびシフ
ト命令等の組み合わせにより、所望の要素数の配列の分
割統治法による加算演算を行うことができる。As described above, by doubling the number of target elements and raising the level one step at a time, and repeating such a procedure, a desired element can be obtained by a combination of a simple addition instruction, a subtraction instruction and a shift instruction. An addition operation can be performed on the array of numbers by the divide and conquer method.
【００６９】かかる分割統治法を用いることにより、演
算回数を大幅に減少させることができる。例えば、２５
６個の要素の総和を演算するには、８回（ｌｏｇ2２５
６＝ｌｏｇ2２8＝８）の演算回数で足りることになる。By using such a divide-and-conquer method, the number of operations can be greatly reduced. For example, 25
To calculate the sum of the six elements, eight times (log 2 25
6 = log 2 2 8 = 8) is sufficient.
【００７０】（本発明の第１実施例）本スマート光セン
サのアーキテクチャに対し、特に高速な処理アルゴリズ
ムを提供するアプリケーションが存在する。即ち、各ピ
クセル・ライン毎に存在する各演算部が、ＳＩＭＤ（Ｓ
ｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌ
ｅ Ｄａｔａ ｓｔｒｅａｍ）による並列処理が可能で
ある事が前提となる。(First Embodiment of the Present Invention) For the architecture of the present smart optical sensor, there is an application that provides a particularly high-speed processing algorithm. That is, each operation unit existing for each pixel line is set to SIMD (S
ingle Instruction Multipl
It is assumed that parallel processing by e Data stream is possible.
【００７１】（１）ラプラシアンフィルタ処理 まず、ラプラシアンフィルタ処理の基本原理を図５を参
照して説明する。(1) Laplacian Filter Processing First, the basic principle of the Laplacian filter processing will be described with reference to FIG.
【００７２】図５は、任意の座標上に存在する画素デー
タＰi,jを基準にした場合を一例に説明する図である。FIG. 5 is a diagram for explaining an example in which pixel data P i, j existing on arbitrary coordinates is used as a reference.
【００７３】基準点Ｐi,jに対してｘ方向に距離mcだけ
離れた点であるＰi+mc,jおよびＰi-mc,j、ならびに基準
点Ｐi,jに対してｙ方向に距離mrだけ離れた点であるＰ
i,j+mrおよびＰi,j-mrの５点の画像情報（輝度情報、画
像濃淡情報および画像色彩情報のうち少なくともひとつ
からなる）を測定し、差分情報Ｖijについて、 Ｖij＝｜Ｐi+mc,j−Ｐi,j｜＋｜Ｐi-mc,j−Ｐi,j｜＋ ｜Ｐi,j+mr−Ｐi,j｜＋｜Ｐi,j-mr−Ｐi,j｜ ・・・（１） により計算する。In the y direction with respect to the reference point P i, j , P i + mc, j and P i-mc, j , which are points separated by a distance mc in the x direction, and the reference point P i, j . P which is a point separated by the distance mr
i, j + mr and P i, j-mr are measured at five points of image information (consisting of at least one of luminance information, image density information and image color information), and for difference information V ij , V ij = | Pi + mc, j- Pi , j | + | Pi-mc, j- Pi , j | + | Pi, j + mr- Pi , j | + | Pi, j-mr- P i, j | (1)
【００７４】次に、演算ユニットにおける、ラプラシア
ンフィルタ処理の演算方法を、図６を参照して以下に説
明する。Next, the operation method of the Laplacian filter processing in the operation unit will be described below with reference to FIG.
【００７５】まず、得られた画素毎の画像情報を、配列
の各要素としてレジスタＲ１〜Ｒ３にそれぞれ取り込む
（ステップＳ４０２）。各レジスタには対応する２５６
個の画素の画像情報それぞれ格納されている。First, the obtained image information for each pixel is taken into each of the registers R1 to R3 as each element of the array (step S402). 256 corresponding to each register
The image information of each pixel is stored.
【００７６】次に、減算処理を行いＲ４〜Ｒ６をそれぞ
れ求める（ステップＳ４０４）。Next, a subtraction process is performed to obtain R4 to R6, respectively (step S404).
【００７７】次に、Ｒ２を１要素だけ左右にスライドす
ることにより、Ｒ７およびＲ８をそれぞれ求める（ステ
ップＳ４０６）。Next, R7 and R8 are obtained by sliding R2 right and left by one element (step S406).
【００７８】次に、Ｒ７およびＲ８からおのおのＲ２を
減算処理して、Ｒ９およびＲ１０をそれぞれ求める（ス
テップＳ４０８）。Next, R2 is subtracted from R7 and R8 to obtain R9 and R10, respectively (step S408).
【００７９】次に、Ｒ９とＲ１０を加算演算して、Ｒ１
１を求める（ステップＳ４１０）。Next, R9 and R10 are added to calculate R1
1 is obtained (step S410).
【００８０】次に、Ｒ６とＲ１１を加算演算して、Ｒ１
２を求める（ステップＳ４１２）。ここで、Ｒ１２は、
数式（１）における差分情報Ｖijである。Next, R6 and R11 are added to calculate R1
2 is obtained (step S412). Here, R12 is
This is difference information V ij in Expression (1).
【００８１】このように、配列内のすべての要素におけ
る差分情報Ｖijの演算を、単純な加算命令、減算命令お
よびシフト命令の組み合わせにより同時に計算すること
ができる。As described above, the operation of the difference information V ij for all the elements in the array can be simultaneously calculated by a combination of a simple addition instruction, a subtraction instruction and a shift instruction.
【００８２】（２）パラレル加算演算 さらに、画素データの特徴を抽出するための平均値の演
算を行うため、近傍要素のパラレル加算演算を行う。(2) Parallel Addition Operation Further, in order to calculate an average value for extracting a feature of pixel data, a parallel addition operation of neighboring elements is performed.
【００８３】上述したラプラシアンフィルタ処理におい
ては、画像内の焦点の合った部分を検出するためには、
画像の領域周波数の高い部分を検出することにより行っ
ている。そのため、ラプラシアンフィルタ処理は、周波
数の高周波成分を検出する機能を有しているが、信号の
高周波成分を抽出すると同時に、信号に載っているノイ
ズ成分をも抽出してしまうという問題がある。従って、
このノイズ成分を除去するために、所定領域についてラ
プラシアンフィルタ処理により得られた差分情報Ｖijに
ついて、パラレル加算演算を用い総和を演算する必要が
ある。In the above-described Laplacian filter processing, in order to detect a focused portion in an image,
This is performed by detecting a portion having a high region frequency in the image. Therefore, the Laplacian filter processing has a function of detecting a high-frequency component of a frequency. However, there is a problem that a high-frequency component of a signal is extracted and a noise component included in the signal is also extracted. Therefore,
In order to remove this noise component, it is necessary to calculate the sum of the difference information V ij obtained by performing the Laplacian filter processing on the predetermined area using a parallel addition operation.
【００８４】図１０は、パラレル加算演算の対象となる
所定領域について概念的に示す図である。パラレル加算
演算は、所定領域（着目ウィンドウ）内の各差分情報Ｖ
ijをすべて加算する。このように所定領域に着目して評
価を行うことにより、フィルタリング処理の精度を高め
ることができる。FIG. 10 is a diagram conceptually showing a predetermined area to be subjected to the parallel addition operation. In the parallel addition operation, each difference information V in a predetermined area (window of interest) is calculated.
Add all ij . By performing the evaluation focusing on the predetermined region in this manner, the accuracy of the filtering process can be improved.
【００８５】演算ユニットにおける、パラレル加算演算
の演算アルゴリズムは、図７乃至図９を参照して上述し
たような「分割統治法」により行う。The operation algorithm of the parallel addition operation in the operation unit is performed by the "divide and conquer method" as described above with reference to FIGS.
【００８６】「全焦点画像システム」微細加工作業を行
うためのマイクロマシン環境における操作として、顕微
鏡画像を覗きながらアクチュエータ（操作器）を用いて
細胞やＤＮＡ等の物体を操作する事が求められる。しか
しながら、顕微鏡画像などの被写体深度が浅い光学系に
おいて物体を操作する際、物体に焦点を合わせるとアク
チュエータに焦点が合わず、逆に、アクチュエータに焦
点を合わせると物体に焦点が合わないという例が多く見
受けられる。このような劣悪な環境下においては、熟練
者が顕微鏡の焦点距離を手動で動かしながら、頭の中で
物体の三次元的形状を構築し、アクチュエータを用いて
物体を操作している。"All-focus image system" As an operation in a micromachine environment for performing a fine processing operation, it is required to operate an object such as a cell or DNA using an actuator (operator) while looking at a microscope image. However, when operating an object in an optical system with a shallow depth of field such as a microscope image, focusing on the object does not focus on the actuator, and conversely, focusing on the actuator does not focus on the object. Many are seen. In such a poor environment, a skilled worker manually moves the focal length of the microscope, constructs a three-dimensional shape of the object in the head, and operates the object using an actuator.
【００８７】このようなマイクロマシン環境における顕
微鏡画像の問題を解決するために、どの点においてもピ
ントの合った画像である全焦点画像を実時間で生成およ
び表示するマイクロマシン用のビジョンシステムの開発
の必要性が高まっており、たとえば、画面全体に焦点が
合い、しかも物体の奥行き情報が実時間で得られる三次
元環境計測カメラに関する技術が、特開平１１−１１３
０２７号公報に開示されている。このような三次元環境
計測カメラを用いたマイクロマシン用のビジョンシステ
ムが実現されれば、全焦点画像を実時間で得る事によ
り、対象物体を詳細に観測する事が可能となると同時
に、対象物体を希望の視点から観測する事を可能とな
る。In order to solve the problem of a microscope image in such a micromachine environment, it is necessary to develop a vision system for a micromachine that generates and displays an all-focus image which is an image focused at any point in real time. For example, Japanese Patent Application Laid-Open No. H11-113 discloses a technology related to a three-dimensional environment measurement camera capable of focusing on the entire screen and obtaining depth information of an object in real time.
No. 027. If a vision system for a micromachine using such a three-dimensional environment measurement camera is realized, it is possible to observe the target object in detail by obtaining an all-focus image in real time, and at the same time, the target object It becomes possible to observe from a desired viewpoint.
【００８８】しかしながら、従来のＤＳＰ等による画像
処理方法においては、かかる三次元環境計測カメラによ
り得られる膨大な量の画素データを実時間で処理する必
要があるため、全焦点画像を実時間で生成し、表示する
マイクロマシン用のビジョンシステムの開発は困難であ
った。However, in the conventional image processing method using a DSP or the like, it is necessary to process an enormous amount of pixel data obtained by such a three-dimensional environment measuring camera in real time. However, it was difficult to develop a vision system for displaying micromachines.
【００８９】そこで、本発明の目的は、全焦点画像を実
時間で生成するための効率的な空間フィルタリングの並
列処理を実現することにある。Therefore, an object of the present invention is to realize efficient parallel processing of spatial filtering for generating an all-focus image in real time.
【００９０】図３は、本発明の実施形態に係るマイクロ
マシン用のビジョンシステムの構成の一例を示すブロッ
ク図である。FIG. 3 is a block diagram showing an example of a configuration of a vision system for a micro machine according to the embodiment of the present invention.
【００９１】マイクロマシン用のビジョンシステム１０
０は、可変焦点レンズ装置１０を備える顕微鏡４０と、
可変焦点レンズ装置１０からの画素データを処理する画
像処理装置２００と、画像処理装置２００からの画素デ
ータを入力して処理および表示するＰＣ３０とから成
る。Vision system 10 for micromachine
0 is a microscope 40 including the variable focus lens device 10,
The image processing apparatus 200 includes an image processing apparatus 200 that processes pixel data from the varifocal lens apparatus 10 and a PC 30 that inputs, processes, and displays pixel data from the image processing apparatus 200.
【００９２】可変焦点レンズ装置１０は、画像処理装置
２００からの命令により、焦点を変更することができる
機能を有する。また、可変焦点レンズ装置１０は、特
に、特開平１１−１１３０２７号公報に開示されてい
る、画面全体に焦点が合い、しかも物体の奥行き情報が
実時間で得られる三次元環境計測カメラであることが好
ましい。The varifocal lens device 10 has a function of changing the focus in accordance with a command from the image processing device 200. In addition, the variable focus lens device 10 is a three-dimensional environment measurement camera disclosed in Japanese Patent Application Laid-Open No. H11-113027 that can focus on the entire screen and obtain depth information of an object in real time. Is preferred.
【００９３】ＰＣ３０は、画像処理装置２００からの画
素データを入力、処理および表示等する機能を有するも
のであれば、市販されているいかなるパーソナルコンピ
ュータ、ワークステーション等を適用することができ
る。ユーザは、ＰＣ３０のディスプレイに表示される顕
微鏡画像を見ながら、アクチュエータ（ここでは図示せ
ず）を用いて物体を操作する。As the PC 30, any commercially available personal computer, workstation, or the like can be applied as long as it has a function of inputting, processing, and displaying pixel data from the image processing apparatus 200. The user operates the object using an actuator (not shown here) while viewing the microscope image displayed on the display of the PC 30.
【００９４】本実施形態において、画像処理装置２００
は独立した形態で存在するが、可変焦点レンズ装置１０
またはＰＣ３０と一体として実現されてもよい。In this embodiment, the image processing apparatus 200
Exist in an independent form, but the varifocal lens device 10
Alternatively, it may be realized integrally with the PC 30.
【００９５】図４は、本発明の実施形態に係る画像処理
装置２００の構成の一例を示すブロック図である。FIG. 4 is a block diagram showing an example of the configuration of the image processing device 200 according to the embodiment of the present invention.
【００９６】画像処理装置２００は、入出力制御部２１
０、Ｎ個のセンサ２０２、Ｎ個のＡ／Ｄコンバータ２０
４、プロセッサ２０６、およびＮ個のレジスタ２０８か
ら成る。The image processing apparatus 200 includes an input / output control unit 21
0, N sensors 202, N A / D converters 20
4, consisting of a processor 206 and N registers 208.
【００９７】画像処理装置２００は、並列処理が可能な
いかなる画像処理チップ等を用いても実現できるが、本
実施形態においては、ＩＶＰ（会社名）製のＣ−ＭＯＳ
ビジョンチップＭＡＰＰ２２００（製品名）を採用した
場合を一例に説明する。ＭＡＰＰ２２００は、２５６×
２５６の解像度に対応し、センサ２０２、Ａ／Ｄコンバ
ータ２０４およびレジスタ２０８が２５６個並列に備え
られており、２５６画素データの並列取り込みが可能で
ある。すなわち、図４中におけるＮが、２５６である場
合を一例として説明する。The image processing apparatus 200 can be realized by using any image processing chip or the like capable of performing parallel processing. In this embodiment, a C-MOS made by IVP (company name) is used.
An example in which the vision chip MAPP2200 (product name) is adopted will be described. MAPP2200 is 256x
Corresponding to 256 resolutions, 256 sensors 202, A / D converters 204, and registers 208 are provided in parallel, and 256 pixel data can be captured in parallel. That is, a case where N in FIG. 4 is 256 will be described as an example.
【００９８】センサ２０２は、入出力制御部２１０を介
して可変焦点レンズ装置１０からの画素データを同時に
２５６個感知することができる。ついで、Ａ／Ｄコンバ
ータ２０４により、各画素データ毎にアナログデータか
らデジタルデータに変換を行う。ついで、デジタルデー
タに変換された画素データが、画像処理装置を統括的に
制御する、プログラムされたプロセッサ２０６により処
理される。プロセッサ２０６は、少なくともＳＩＭＤ
（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉ
ｐｌｅ Ｄａｔａ Ｓｔｒｅａｍ）処理が可能な、例え
ばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅ
ｓｓｏｒ）等の並列処理プロセッサである。The sensor 202 can simultaneously sense 256 pieces of pixel data from the varifocal lens device 10 via the input / output control unit 210. Next, the A / D converter 204 converts analog data to digital data for each pixel data. Next, the pixel data converted into the digital data is processed by the programmed processor 206 which controls the image processing apparatus as a whole. The processor 206 has at least a SIMD
(Single Instruction Multi
For example, a DSP (Digital Signal Process) that can perform a ple Data Stream process
ssor).
【００９９】プロセッサ２０６は、レジスタ２０８を用
いて、空間フィルタリング処理等の画像処理を行う。ま
た、プロセッサ２０６は、画像処理結果によりピントが
合っていないと判断される場合には、入出制御部２１０
を介して可変焦点レンズ装置１０に対し、焦点を変更す
るよう命令を送信し、可変焦点レンズ装置１０は該命令
により焦点を変更する。また一方で、プロセッサ２０６
は、画像処理を行った後に得られる画素データを入出力
制御部２１０を介して、ＰＣ３０に送信する。The processor 206 uses the register 208 to perform image processing such as spatial filtering. If the processor 206 determines that the image is out of focus based on the image processing result, the entry / exit control unit 210
A command is sent to the varifocal lens device 10 via the interface to change the focus, and the varifocal lens device 10 changes the focus according to the command. Meanwhile, the processor 206
Transmits the pixel data obtained after performing the image processing to the PC 30 via the input / output control unit 210.
【０１００】プロセッサ２０６は、空間フィルタリング
処理として、後述するラプラシアンフィルタ処理および
パラレル加算演算を行う。これらの空間フィルタリング
処理は上述のとおりである。The processor 206 performs a Laplacian filter process and a parallel addition operation described later as the spatial filtering process. These spatial filtering processes are as described above.
【０１０１】ここで、ラプラシンアンフィルタ処理にお
いて、差分情報Ｖijが０に近似するほど、基準点と他の
４点との画像情報に差が無い状態、すなわち画像のピン
トがボケている状態を示すことになる。プロセッサ２０
６は、数式（１）による演算の結果、差分情報Ｖijを用
いてピントが合っているか判断し（例えば、焦点距離を
動かしながら各焦点距離における差分情報Ｖijを評価
し、最も差分情報Ｖijが大きくなる焦点距離にピントが
合っていると判断したり、また、差分情報Ｖijがあらか
じめ定めた閾値を下回る場合にはピントが合っていない
と判断する等）、可変焦点レンズ装置１０に対して、焦
点を変更するように命令を送信する。Here, in the Laprasin unfiltering process, as the difference information V ij approaches 0, there is no difference in the image information between the reference point and the other four points, that is, the image is out of focus. Will be shown. Processor 20
6 determines whether the subject is in focus using the difference information V ij as a result of the operation according to Equation (1) (for example, evaluating the difference information V ij at each focal length while moving the focal length, and If the varifocal lens apparatus 10 determines that the focal length at which the ij becomes large is determined to be in focus, or if the difference information V ij falls below a predetermined threshold, the focus is determined to be out of focus, etc. In response, a command is sent to change the focus.
【０１０２】また、画像処理装置２００は、かかるパラ
レル加算演算により、ラプラシアンフィルタ処理により
演算された差分情報Ｖijの総和演算を行い、また更に平
滑化を行ってノイズを削除し、総和演算した差分情報Ｖ
ijまたは平滑化された差分情報Ｖijを用いてピントが合
っているか否かを判断する。ピントが合っていないと判
断した場合には、可変焦点レンズ装置１０に対して、焦
点を変更するように命令を送信する。The image processing apparatus 200 performs the summation of the difference information V ij calculated by the Laplacian filter processing by the parallel addition calculation, further performs smoothing to remove noise, and performs the difference calculation by the summation calculation. Information V
Using ij or the smoothed difference information V ij , it is determined whether or not focus is achieved. If it is determined that the image is out of focus, a command is sent to the variable focus lens device 10 to change the focus.
【０１０３】（本発明の第２実施例）本発明の第２の実
施例を以下に説明する。(Second Embodiment of the Present Invention) A second embodiment of the present invention will be described below.
【０１０４】本発明の第２の実施例によるビジョンシス
テムの制御方法の一例を詳細に説明する。An example of a method for controlling a vision system according to the second embodiment of the present invention will be described in detail.
【０１０５】まず、制御用ＣＰＵは、焦点位置を初期位
置に移動する（ステップＳ１２０２）。ついで、並列処
理プロセッサは前述のＶijを計算する（ステップＳ１２
０４）。ついで、並列処理プロセッサは焦点が合ってい
るか否かを各ウィンドウ毎に判断する（ステップＳ１２
０６）。ステップＳ１２０６において、焦点が合ってい
ると判断された場合には、並列処理プロセッサは焦点の
合っているウィンドウの画像情報を「全焦点画像フレー
ムメモリ」上の同対応ウィンドウ位置に書き込み（ステ
ップＳ１２０８）、ステップＳ１２１０に進む。また、
ステップＳ１２０６において、焦点が合っていないと判
断された場合には、制御用ＣＰＵは移動焦点位置が最後
まできたか判断する（ステップＳ１２１０）。ついで、
ステップＳ１２１０において移動焦点位置が最後である
と判断した場合は、制御用ＣＰＵはプログラムを終了す
る（ステップＳ１２１４）。また、ステップＳ１２１０
において移動焦点位置が最後ではないと判断した場合
は、制御用ＣＰＵは次の焦点位置に更新し（ステップＳ
１２１２）、ステップＳ１２０４に戻る。First, the control CPU moves the focal position to the initial position (step S1202). Next, the parallel processing processor calculates the aforementioned V ij (step S12).
04). Next, the parallel processing processor determines, for each window, whether or not the window is in focus (step S12).
06). If it is determined in step S1206 that the focus is in focus, the parallel processing processor writes the image information of the focused window in the corresponding window position on the “all-focus image frame memory” (step S1208). The process proceeds to step S1210. Also,
If it is determined in step S1206 that the focus is not in focus, the control CPU determines whether the moving focal position has reached the end (step S1210). Then
If it is determined in step S1210 that the moving focal position is the last, the control CPU ends the program (step S1214). Step S1210
If it is determined that the moving focal position is not the last position, the control CPU updates the focal position to the next focal position (step S5).
1212), and return to step S1204.
【０１０６】（他の実施の形態）本発明の他の実施の形
態において、上述したプログラムされたプロセッサ２０
６による並列フィルタリング処理は、記録媒体（例え
ば、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯ
Ｍ、ハードディスク等）または伝送媒体（例えば、デジ
タル・データ・ストリーム、搬送波等）にプログラムの
形態で記録させておき、記録媒体から演算処理部にダウ
ンロードすることにより、個々の装置ごとに必要な時い
つでも実行させることが可能である。(Other Embodiment) In another embodiment of the present invention, the above-described programmed processor 20 is used.
6 performs a parallel filtering process on a recording medium (eg, floppy disk, CD-ROM, DVD-RO
M, a hard disk, etc.) or a transmission medium (eg, digital data stream, carrier wave, etc.) is recorded in the form of a program, and is downloaded from the recording medium to the arithmetic processing unit so that it can be used for each individual device. It can be executed at any time.
【０１０７】[0107]
【発明の効果】以上説明したように、本発明によれば、
撮像部は、２次元に配列された複数の撮像素子と、該撮
像素子において画像情報を撮像する撮像手段とを備え、
並列処理部は、撮像素子の行または列に対応する画像情
報を同時に処理する並列処理手段を備えたので、撮像デ
バイスと処理デバイスとを１チップ上に配置した電子デ
バイスであるスマート光センサを有効活用し、効率的で
高速に処理可能な演算アルゴリズムを適用した処理を提
供することができる。また、単純な処理の組み合わせに
より、空間フィルタリングの並列処理を高速に行うこと
ができる。As described above, according to the present invention,
The imaging unit includes a plurality of imaging elements arranged two-dimensionally, and imaging means for capturing image information in the imaging elements,
Since the parallel processing unit includes parallel processing means for simultaneously processing image information corresponding to a row or a column of the image sensor, a smart optical sensor, which is an electronic device in which an image capturing device and a processing device are arranged on one chip, is effective. It is possible to provide a process that utilizes an arithmetic algorithm that can be efficiently used at a high speed. Further, parallel processing of spatial filtering can be performed at high speed by a combination of simple processing.
【図１】本発明が適用されるスマート光センサの構成の
一例を示す図である。FIG. 1 is a diagram showing an example of a configuration of a smart optical sensor to which the present invention is applied.
【図２】本発明によるスマート光センサの汎用レジスタ
の概念を示す図である。FIG. 2 is a diagram illustrating a concept of a general-purpose register of a smart optical sensor according to the present invention.
【図３】本発明の実施形態に係るマイクロマシン用のビ
ジョンシステムの構成の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of a configuration of a vision system for a micro machine according to an embodiment of the present invention.
【図４】本発明の実施形態に係る画像処理装置の構成の
一例を示すブロック図である。FIG. 4 is a block diagram illustrating an example of a configuration of an image processing apparatus according to an embodiment of the present invention.
【図５】ラプラシアンフィルタ処理の基本原理を説明す
る図である。FIG. 5 is a diagram illustrating the basic principle of Laplacian filter processing.
【図６】画像処理装置のプロセッサにおける、ラプラシ
アンフィルタ処理の演算方法を説明する図である。FIG. 6 is a diagram illustrating a calculation method of Laplacian filter processing in a processor of the image processing apparatus.
【図７】画像処理装置のプロセッサにおける、パラレル
加算演算の演算方法を説明する図である。FIG. 7 is a diagram illustrating a calculation method of a parallel addition calculation in a processor of the image processing apparatus.
【図８】画像処理装置のプロセッサにおける、パラレル
加算演算の演算方法を説明する図である。FIG. 8 is a diagram illustrating an operation method of a parallel addition operation in a processor of the image processing apparatus.
【図９】画像処理装置のプロセッサにおける、パラレル
加算演算の演算方法を説明する図である。FIG. 9 is a diagram illustrating an operation method of a parallel addition operation in a processor of the image processing apparatus.
【図１０】パラレル加算演算の対象となる所定領域につ
いて概念的に示す図である。FIG. 10 is a diagram conceptually showing a predetermined area to be subjected to a parallel addition operation.
１ マトリックス・イメージ・センサ ２ フォトダイオードレジスタ ３ Ａ／Ｄ変換器 ４ シフトレジスタ ５ ＲＡＭ ６ 演算ユニット ７ アキュームレータ／キャリーレジスタ １０ 可変焦点レンズ装置 ３０ ＰＣ ４０ 顕微鏡 １００ マイクロマシン用のビジョンシステム ２００ 画像処理装置 ２０２ センサ ２０４ Ａ／Ｄコンバータ ２０６ プロセッサ ２０８ レジスタ ２１０ 入出力制御部 DESCRIPTION OF SYMBOLS 1 Matrix image sensor 2 Photodiode register 3 A / D converter 4 Shift register 5 RAM 6 Arithmetic unit 7 Accumulator / carry register 10 Variable focus lens device 30 PC 40 Microscope 100 Vision system for micromachine 200 Image processing device 202 Sensor 204 A / D converter 206 Processor 208 Register 210 Input / output control unit
───────────────────────────────────────────────────── フロントページの続き (71)出願人 599151097 大場 光太郎 茨城県つくば市並木１丁目２番地 工業技 術院機械技術研究所内 (74)上記３名の代理人 100077481 弁理士 谷 義一 (72)発明者 大場 光太郎 茨城県つくば市並木１丁目２番地 工業技 術院機械技術研究所内 (72)発明者 段木 亮一 東京都千代田区内幸町２−２−３ 川鉄テ クノリサーチ株式会社内 (72)発明者 林 学明 神奈川県川崎市中原区丸子通１−636−４ デルフトハイテック株式会社内 Ｆターム(参考） 5B047 BB04 DC20 EA07 EB15 ──────────────────────────────────────────────────続 き Continuing from the front page (71) Applicant 599151097 Kotaro Oba 1-2-2 Namiki, Tsukuba, Ibaraki Pref. Machinery Research Laboratory, Industrial Technology Institute (74) The above three agents 100077481 Patent Attorney Yoshikazu Tani (72) Invention Kotaro Oba 1-2-2 Namiki, Tsukuba City, Ibaraki Pref. Inside the Technical Research Institute of Industrial Technology (72) Inventor Ryoichi Dangi 2-2-3 Uchisaiwaicho, Chiyoda-ku, Tokyo Kawatetsu Techno Research Co., Ltd. (72) Inventor 1-636-4 Maruko-dori, Nakahara-ku, Kawasaki-shi, Kanagawa Prefecture F-term (reference) 5B047 BB04 DC20 EA07 EB15
Claims (33)
スにおいて、 前記撮像部は、 ２次元に配列された複数の撮像素子と、 該撮像素子において画像情報を撮像する撮像手段とを備
え、 前記並列処理部は、 前記撮像素子の行または列に対応する前記画像情報を同
時に処理する並列処理手段を備えたことを特徴とする電
子デバイス。1. An electronic device including an imaging unit and a parallel processing unit, wherein the imaging unit includes: a plurality of two-dimensionally arranged imaging devices; and an imaging unit that captures image information using the imaging devices. The electronic device according to claim 1, wherein the parallel processing unit includes a parallel processing unit configured to simultaneously process the image information corresponding to a row or a column of the image sensor.
て、 汎用レジスタと、 前記汎用レジスタを、前記撮像素子の行または列に対応
する前記画像情報と各画像情報の精度とを用いて、２次
元配列状にメモリマッピングを行うマッピング手段とを
備えたことを特徴とする電子デバイス。2. The electronic device according to claim 1, wherein a general-purpose register and the general-purpose register are two-dimensionally arranged by using the image information corresponding to a row or a column of the image sensor and the accuracy of each image information. An electronic device comprising: mapping means for performing memory mapping in an array.
バイスにおいて、 前記並列処理手段は、 各画像情報をそれぞれ要素とする配列を作成する手段
と、 それぞれのレベルでは、前記配列の隣り合う異なる二つ
の要素を足し合わせる演算を行い、そのレベルを段階的
に深くすることによって、前記配列の少なくとも一部を
分割的に加算演算する手段とをさらに備え、 前記撮像素子の行または列に対応する前記画像情報の加
算を同時に演算することを特徴とする電子デバイス。3. The electronic device according to claim 1, wherein the parallel processing unit is configured to generate an array having each image information as an element, and at each level, the array is adjacent to the array. Means for performing an operation of adding two different elements, and increasing the level in a stepwise manner, thereby performing a divisional addition operation on at least a part of the array, corresponding to a row or a column of the image sensor. An electronic device for simultaneously calculating the addition of the image information.
スの並列処理方法において、 前記撮像部に存在する２次元に配列された複数の撮像素
子により、画像情報を撮像する撮像ステップと、 前記並列処理部により、前記撮像素子の行または列に対
応する前記画像情報を同時に処理する並列処理ステップ
とを備えることを特徴とする並列処理方法。4. A parallel processing method for an electronic device including an imaging unit and a parallel processing unit, wherein: an imaging step of imaging image information by a plurality of two-dimensionally arranged imaging elements present in the imaging unit; A parallel processing step of simultaneously processing the image information corresponding to a row or a column of the image sensor by a parallel processing unit.
て、 前記電子デバイスの汎用レジスタを、前記撮像素子の行
または列に対応する前記画像情報と各画像情報の精度と
を用いて、２次元配列状にメモリマッピングを行うマッ
ピングステップを備えることを特徴とする並列処理方
法。5. The parallel processing method according to claim 4, wherein a general-purpose register of the electronic device is two-dimensionally stored using the image information corresponding to a row or a column of the image sensor and the accuracy of each image information. A parallel processing method comprising a mapping step of performing memory mapping in an array.
理方法において、 前記並列処理ステップは、 各画像情報をそれぞれ要素とする配列を作成するステッ
プと、 それぞれのレベルでは、前記配列の隣り合う異なる二つ
の要素を足し合わせる演算を行い、そのレベルを段階的
に深くすることによって、前記配列の少なくとも一部を
分割的に加算演算するステップとをさらに備え、 前記撮像素子の行または列に対応する前記画像情報の加
算を同時に演算することを特徴とする並列処理方法。6. The parallel processing method according to claim 4, wherein the parallel processing step includes a step of creating an array having each piece of image information as an element, and a level adjacent to the array at each level. Performing an operation of adding two different elements that match each other, and increasing the level in a stepwise manner, thereby performing a divisional addition operation on at least a part of the array. A parallel processing method, wherein the addition of the corresponding image information is calculated simultaneously.
スに並列処理方法を実行させるためのプログラムを記録
した記録媒体において、 前記撮像部に存在する２次元に配列された複数の撮像素
子により、画像情報を撮像する撮像ステップと、 前記並列処理部により、前記撮像素子の行または列に対
応する前記画像情報を同時に処理する並列処理ステップ
とを備えることを特徴とするプログラムを記録した記録
媒体。7. A recording medium on which a program for causing an electronic device including an imaging unit and a parallel processing unit to execute a parallel processing method is recorded, wherein a plurality of two-dimensionally arranged imaging elements existing in the imaging unit are provided. A recording medium storing a program, comprising: an imaging step of imaging image information; and a parallel processing step of simultaneously processing the image information corresponding to a row or a column of the imaging element by the parallel processing unit. .
または列に対応する前記画像情報と各画像情報の精度と
を用いて、２次元配列状にメモリマッピングを行うマッ
ピングステップを備えることを特徴とするプログラムを
記録した記録媒体。8. The recording medium according to claim 7, wherein a general-purpose register of the electronic device is arranged in a two-dimensional array using the image information corresponding to a row or a column of the image sensor and the accuracy of each image information. A recording medium on which a program is recorded, comprising a mapping step of performing memory mapping in a shape.
体において、 各画像情報をそれぞれ要素とする配列を作成するステッ
プと、 それぞれのレベルでは、前記配列の隣り合う異なる二つ
の要素を足し合わせる演算を行い、そのレベルを段階的
に深くすることによって、前記配列の少なくとも一部を
分割的に加算演算するステップとをさらに備え、 前記撮像素子の行または列に対応する前記画像情報の加
算を同時に演算することを特徴とするプログラムを記録
した記録媒体。9. The recording medium according to claim 7, wherein an array having each image information as an element is formed, and at each level, two different adjacent elements of the array are added. Performing a combining operation and increasing the level in a stepwise manner, thereby dividing and adding at least a part of the array, and adding the image information corresponding to a row or a column of the image sensor. A recording medium on which a program is recorded which is operated simultaneously.
載の電子デバイスを含むことを特徴とする画像処理装
置。10. An image processing apparatus comprising the electronic device according to claim 1. Description:
載の電子デバイスの並列処理部において、 画素データに含まれる任意の基準点の画像情報と、基準
点以外の１つまたは２つ以上の点の画像情報との差分を
加算して差分情報Ｖijを演算する手段を備えたことを特
徴とする並列処理部。11. The parallel processing unit of an electronic device according to claim 1, wherein the image information of an arbitrary reference point included in the pixel data and one or more than two other than the reference point A parallel processing unit comprising means for calculating a difference information V ij by adding a difference between the point and the image information of the point.
て、 前記差分情報Ｖijを演算する手段は、複数の基準点につ
いて並列処理をすることを特徴とする並列処理部。12. The parallel processing unit according to claim 11, wherein the means for calculating the difference information V ij performs parallel processing on a plurality of reference points.
て、 前記差分情報Ｖijを演算する手段は、 複数の基準点をそれぞれ要素とする配列を作成する手段
と、 それぞれのレベルでは、前記配列の隣り合う異なる二つ
の要素を足し合わせる演算を行い、そのレベルを段階的
に深くすることによって、前記配列の少なくとも一部を
分割的に加算演算する手段とをさらに備え、 複数の基準点について並列処理をすることを特徴とする
並列処理部。13. The parallel processing unit according to claim 12, wherein the means for calculating the difference information V ij comprises: means for creating an array having a plurality of reference points as elements; and at each level, the array Means for performing an operation of adding two different elements adjacent to each other, and increasing the level in a stepwise manner, thereby performing a divisional addition operation on at least a part of the array. A parallel processing unit that performs processing.
に記載の並列処理部において、 前記画像情報は、輝度情報、画像濃淡情報、周波数情報
および画像色彩情報のうち少なくともひとつを含むこと
を特徴とする並列処理部。14. The parallel processing unit according to claim 11, wherein the image information includes at least one of luminance information, image density information, frequency information, and image color information. And a parallel processing unit.
に記載の並列処理部において、 前記基準点以外の１つまたは２つ以上の点は、前記基準
点Ｐi,jよりＸ方向に第１距離ｍｃだけ離間した２点
（Ｐi+mc,j、Ｐi-mc,j）、および前記基準点Ｐi,jより
Ｙ方向に第２距離ｍｒだけ離間した２点（Ｐi,j+mr、Ｐ
i,j-mr）とすることを特徴とする並列処理部。15. The parallel processing unit according to claim 11, wherein one or two or more points other than the reference point are arranged in the X direction from the reference point P i, j . only one distance mc spaced two points (P i + mc, j, P i-mc, j), and the reference point P i, second distance mr spaced apart two points from the Y direction j (P i, j + mr , P
i, j-mr ).
て、 前記差分情報Ｖijを演算する手段より演算された前記差
分情報Ｖijを加算することにより所定領域内の前記差分
情報Ｖijの総和を演算する手段をさらに備え、 前記差分情報Ｖijの総和を用いて前記画素データを評価
することを特徴とする並列処理部。16. A parallel processing unit of claim 11, the sum of the difference information V ij in a given region by adding the difference information V ij computed from means for calculating the difference information V ij And a means for calculating the pixel data using the sum of the difference information V ij .
て、 前記差分情報Ｖijの総和を演算する手段は、複数の差分
情報Ｖijについて並列処理をすることを特徴とする並列
処理部。In the parallel processor according to 17. Claim 16, means for calculating the sum of the difference information V ij is the parallel processing unit, characterized in that the parallel processing for a plurality of difference information V ij.
て、 前記差分情報Ｖijの総和を演算する手段は、複数の差分
情報Ｖijをそれぞれ要素とする配列を作成する手段と、 それぞれのレベルでは、前記配列の隣り合う異なる二つ
の要素を足し合わせる演算を行い、そのレベルを段階的
に深くすることによって、前記配列の少なくとも一部を
分割的に加算演算する手段とをさらに備え、 複数の差分情報Ｖijについて並列処理をすることを特徴
とする並列処理部。18. The parallel processing unit of claim 17, means for calculating the sum of the difference information V ij includes means for creating a sequence of a plurality of difference information V ij respectively elements, each level Means for performing an operation of adding two different elements adjacent to each other in the array, and increasing the level in a stepwise manner, thereby performing a divisional addition operation on at least a part of the array. A parallel processing unit for performing parallel processing on the difference information V ij .
に記載の並列処理部を備えたことを特徴とする画像処理
装置。19. An image processing apparatus comprising the parallel processing unit according to claim 11. Description:
焦点を変更することができる可変焦点レンズ装置とを含
むビジョンシステムにおいて、 前記画像処理装置の前記並列プロセッサにおいて、前記
差分情報Ｖijを用いて焦点が合っているか否かを判断す
る合焦点判断手段と、 該合焦点判断手段による判断毎に、可変焦点レンズ装置
の焦点を逐次変更する焦点可変手段とを備えたことを特
徴とするビジョンシステム。20. An image processing apparatus according to claim 19,
A variable focus lens device capable of changing a focus, wherein the parallel processor of the image processing device determines whether or not focus is achieved by using the difference information V ij. And a focus changing means for sequentially changing the focus of the variable focus lens device each time the in-focus judgment means judges.
て、 画素データに含まれる任意の基準点の画像情報と、基準
点以外の１つまたは２つ以上の点の画像情報との差分を
加算して差分情報Ｖijを演算するステップを備えること
を特徴とする並列処理方法。21. The parallel processing method according to claim 4, wherein a difference between image information of an arbitrary reference point included in the pixel data and image information of one or more points other than the reference point is added. Calculating the difference information V ij by using the parallel processing method.
いて、 前記差分情報Ｖijを演算するステップは、複数の基準点
について並列処理をすることを特徴とする並列処理方
法。22. The parallel processing method according to claim 21, wherein the step of calculating the difference information V ij performs parallel processing on a plurality of reference points.
いて、 前記差分情報Ｖijを演算するステップは、 複数の基準点をそれぞれ要素とする配列を作成するステ
ップと、 それぞれのレベルでは、前記配列の隣り合う異なる二つ
の要素を足し合わせる演算を行い、そのレベルを段階的
に深くすることによって、前記配列の少なくとも一部を
分割的に加算演算するステップとをさらに備え、 複数の基準点について並列処理をすることを特徴とする
並列処理方法。23. The parallel processing method according to claim 22, wherein the step of calculating the difference information V ij includes the steps of: creating an array having a plurality of reference points as elements; Performing an addition operation of adding two different elements that are adjacent to each other, and increasing the level in a stepwise manner, thereby performing a divisional addition operation on at least a part of the array. A parallel processing method characterized by performing processing.
に記載の並列処理方法において、 前記画像情報は、輝度情報、画像濃淡情報、周波数情報
および画像色彩情報のうち少なくともひとつを含むこと
を特徴とする並列処理方法。24. The parallel processing method according to claim 21, wherein the image information includes at least one of luminance information, image density information, frequency information, and image color information. Parallel processing method.
に記載の並列処理方法において、 前記基準点以外の１つまたは２つ以上の点は、前記基準
点Ｐi,jよりＸ方向に第１距離ｍｃだけ離間した２点
（Ｐi+mc,j、Ｐi-mc,j）、および前記基準点Ｐi,jより
Ｙ方向に第２距離ｍｒだけ離間した２点（Ｐi,j+mr、Ｐ
i,j-mr）とすることを特徴とする並列処理方法。25. The parallel processing method according to claim 21, wherein one or two or more points other than the reference point are in the X direction from the reference point P i, j . only one distance mc spaced two points (P i + mc, j, P i-mc, j), and the reference point P i, second distance mr spaced apart two points from the Y direction j (P i, j + mr , P
i, j-mr ).
いて、 前記差分情報Ｖijを演算するステップより演算された前
記差分情報Ｖijを加算することにより所定領域内の前記
差分情報Ｖijの総和を演算するステップをさらに備え、 前記差分情報Ｖijの総和を用いて前記画素データを評価
することを特徴とする並列処理方法。26. The parallel processing method according to claim 21, wherein the difference information V ij calculated in the step of calculating the difference information V ij is added to add the difference information V ij within a predetermined area. The parallel processing method further comprising: calculating the pixel data using the sum of the difference information V ij .
いて、 前記差分情報Ｖijの総和を演算するステップは、複数の
差分情報Ｖijについて並列処理をすることを特徴とする
並列処理方法。27. A parallel processing method of claim 26, the step of calculating the sum of the difference information V ij is a parallel processing method characterized by parallel processing for a plurality of difference information V ij.
いて、 前記差分情報Ｖijの総和を演算するステップは、 複数の差分情報Ｖijをそれぞれ要素とする配列を作成す
るステップと、 それぞれのレベルでは、前記配列の隣り合う異なる二つ
の要素を足し合わせる演算を行い、そのレベルを段階的
に深くすることによって、前記配列の少なくとも一部を
分割的に加算演算するステップとをさらに備え、 複数の差分情報Ｖijについて並列処理をすることを特徴
とする並列処理方法。28. A parallel processing method of claim 27, the step of calculating the sum of the difference information V ij includes the steps of creating a sequence of a plurality of difference information V ij respectively elements, each level A step of performing an operation of adding two different elements adjacent to each other in the array and increasing the level in a stepwise manner, thereby dividing and adding at least a part of the array. A parallel processing method comprising performing parallel processing on difference information V ij .
に記載の並列処理方法を備えることを特徴とする画像処
理方法。29. An image processing method comprising the parallel processing method according to claim 21.
焦点を変更することができる可変焦点レンズ装置とを含
むビジョンシステムの制御方法において、 前記画像処理装置の前記並列プロセッサにおいて、前記
差分情報Ｖijを用いて焦点が合っているか否かを判断す
る合焦点判断ステップと、 該合焦点判断ステップによる判断毎に、可変焦点レンズ
装置の焦点を逐次変更する焦点可変ステップとを備えた
ことを特徴とするビジョンシステムの制御方法。30. The image processing device according to claim 19,
In a control method for a vision system including a variable focus lens device capable of changing a focus, the parallel processor of the image processing device determines whether or not focus is achieved by using the difference information V ij. A control method for a vision system, comprising: a focus determination step; and a focus change step of sequentially changing a focus of a variable focus lens device for each determination in the focus determination step.
の方法を実行するためのプログラムを記録した記録媒
体。31. A recording medium on which a program for executing the method according to claim 21 is recorded.
を含むことを特徴とするマイクロマシン。32. A micromachine comprising the vision system according to claim 20.
の制御方法を含むことを特徴とするマイクロマシンの制
御方法。33. A method for controlling a micromachine, comprising the method for controlling a vision system according to claim 30.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30459099A JP2001128067A (en) | 1999-10-26 | 1999-10-26 | Electronic device, parallel processing method and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30459099A JP2001128067A (en) | 1999-10-26 | 1999-10-26 | Electronic device, parallel processing method and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001128067A true JP2001128067A (en) | 2001-05-11 |
Family
ID=17934841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30459099A Pending JP2001128067A (en) | 1999-10-26 | 1999-10-26 | Electronic device, parallel processing method and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001128067A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006022077A1 (en) * | 2004-08-23 | 2006-03-02 | Sony Corporation | Image pickup device, image pickup result processing method and integrated circuit |
| JP2009048498A (en) * | 2007-08-21 | 2009-03-05 | Ricoh Co Ltd | Sensor system |
| CN103109262A (en) * | 2010-09-24 | 2013-05-15 | 英特尔公司 | Vector logical reduction operation implemented on a semiconductor chip |
-
1999
- 1999-10-26 JP JP30459099A patent/JP2001128067A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006022077A1 (en) * | 2004-08-23 | 2006-03-02 | Sony Corporation | Image pickup device, image pickup result processing method and integrated circuit |
| JPWO2006022077A1 (en) * | 2004-08-23 | 2008-05-08 | ソニー株式会社 | Imaging apparatus, imaging result processing method, and integrated circuit |
| JP4640338B2 (en) * | 2004-08-23 | 2011-03-02 | ソニー株式会社 | Imaging apparatus, imaging result processing method, and integrated circuit |
| JP2009048498A (en) * | 2007-08-21 | 2009-03-05 | Ricoh Co Ltd | Sensor system |
| CN103109262A (en) * | 2010-09-24 | 2013-05-15 | 英特尔公司 | Vector logical reduction operation implemented on a semiconductor chip |
| JP2013541098A (en) * | 2010-09-24 | 2013-11-07 | インテル コーポレイション | Vector logical reduction operation implemented on a semiconductor chip. |
| US9141386B2 (en) | 2010-09-24 | 2015-09-22 | Intel Corporation | Vector logical reduction operation implemented using swizzling on a semiconductor chip |
| CN105740201A (en) * | 2010-09-24 | 2016-07-06 | 英特尔公司 | Vector logical reduction operation implemented on a semiconductor chip |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7257249B2 (en) | Discrete linear space sampling method and apparatus for generating digital 3D models | |
| JP4613994B2 (en) | Dynamic estimation device, dynamic estimation method, program | |
| JP4125786B2 (en) | Correlation of sparse array images | |
| Gerlich et al. | Quantitative motion analysis and visualization of cellular structures | |
| JP2001194114A (en) | Image processing apparatus and method and program providing medium | |
| JPH07505003A (en) | Method and apparatus for rapidly processing data sequences | |
| JP2002024807A (en) | Object movement tracking technique and recording medium | |
| US6859199B2 (en) | Method and apparatus for determining relative movement in an optical mouse using feature extraction | |
| JP2001128067A (en) | Electronic device, parallel processing method and recording medium | |
| JP2001338280A (en) | Three-dimensional space information input device | |
| JP6355206B2 (en) | Camera calibration method, camera calibration device, and camera calibration program | |
| KR100756300B1 (en) | Method for 3-d shape recovery using 3-d focus measure operator | |
| JP2007179354A (en) | Optical flow calculation device, optical flow calculation method, optical flow calculation program and recording medium | |
| Arifianto et al. | 3D Reconstruction using convolution smooth method | |
| JP2006185038A (en) | Four- or n-dimensional labeling apparatus, and four- or n-dimensional spatial filter apparatus | |
| Darabiha | Video-rate stereo vision on reconfigurable hardware | |
| Pan et al. | Self-Supervised Motion Magnification by Backpropagating Through Optical Flow | |
| JP4229325B2 (en) | Peak detection image processing method, program, and apparatus | |
| JP2511082B2 (en) | Three-dimensional position measuring device for moving objects | |
| US5953462A (en) | Method and apparatus for processing image | |
| JP2700898B2 (en) | Displacement measuring device | |
| CN112036271B (en) | Pedestrian re-identification method, system, medium and terminal based on Kalman filtering | |
| JP2504641B2 (en) | Three-dimensional shape measurement processing method | |
| CN115619936A (en) | Method, device and equipment for reconstructing three-dimensional scene and storage medium | |
| JPH0663905B2 (en) | Method of grid point interpolation of flow field data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050128 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050527 |