JPH05297325A - Artificial retina and artificial visual sensation device - Google Patents

Artificial retina and artificial visual sensation device

Info

Publication number
JPH05297325A
JPH05297325A JP4097757A JP9775792A JPH05297325A JP H05297325 A JPH05297325 A JP H05297325A JP 4097757 A JP4097757 A JP 4097757A JP 9775792 A JP9775792 A JP 9775792A JP H05297325 A JPH05297325 A JP H05297325A
Authority
JP
Japan
Prior art keywords
artificial
fourier transform
image
artificial retina
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4097757A
Other languages
Japanese (ja)
Other versions
JP3171647B2 (en
Inventor
Takeshi Hashimoto
武 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP09775792A priority Critical patent/JP3171647B2/en
Publication of JPH05297325A publication Critical patent/JPH05297325A/en
Priority to US08/440,875 priority patent/US5712729A/en
Application granted granted Critical
Publication of JP3171647B2 publication Critical patent/JP3171647B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PURPOSE:To obtain the artificial retina necessary for easily recognizing plural objects to be recognized at a high speed from images contg. these objects and the artificial visual sensation device constituted by using this artificial retina. CONSTITUTION:This device has an imaging means 2, an artificial eyeball 3 which has the artificial retina 1 consisting of first artificial retina cells for detecting a boundary between brightness and darkness by optical filtering disposed in a central visual field 1a and second artificial retina cells for detecting an object position by optical filtering disposed in a peripheral visual field 1b, a neural network 4 which recognizes the patterns of the object by receiving the information detected by the first artificial retina cells, a means which determines the object to be recognized next from the information detected by the second artificial retina cells of the artificial retina 1 and an artificial eyeball moving means 5 which moves the artificial eyeball 3 toward this object to be recognized. The specific object to be recognized is selected easily at a high speed from the images including the plural objects to be recognized, by which the specific object is easily recognized.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、複数の認識対象物体を
含む画像からそれらを認識すために有効な人工網膜及び
人工視覚装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an artificial retina and an artificial vision device effective for recognizing a plurality of objects to be recognized from an image.

【0002】[0002]

【従来の技術】我々が日々目にする光景、いわゆる自然
画像には、認識すべき対象物体が数多く含まれており、
我々は無意識の中にそれらを認識した上で思考したり、
判断したり、行動したりしている。そして、その認識処
理では、初期視覚機構により画像中のコントラストの急
変する位置、つまり、明暗の境界部分が検出され、この
情報が後段の脳へと送られ、物体の認識が行われている
と言われている。この初期視覚機構は、図10に示すよ
うに、視細胞111、水平細胞112及び双極細胞11
3より構成されている。その仕組みを簡単に説明する
と、まず始めに、視細胞111が画像から光を受け、光
を受けた部分の視細胞111だけが興奮する。この興奮
は、下層の水平細胞112に伝えられるが、水平細胞1
12は隣接する約6個の水平細胞112と平面的に結合
しており、この結合を通した伝達のため、周囲の水平細
胞112の興奮は、ネットワークを伝わるようになだら
かに変化する。さらに、双極細胞113は、視細胞11
1、水平細胞112の2つと結合しており、2つの細胞
111、112の興奮強度の差に対応して興奮する。こ
の興奮は更に下層に伝えられ、最終的には脳に到達し、
物体の認識や特徴量の抽出が行われる。
2. Description of the Related Art The scenes we see every day, so-called natural images, contain many target objects to be recognized,
We recognize them unconsciously and think,
Making decisions and acting. Then, in the recognition process, the position where the contrast suddenly changes in the image by the initial visual mechanism, that is, the boundary part of the light and dark is detected, this information is sent to the brain in the subsequent stage, and the object is recognized. It is said. This initial visual mechanism, as shown in FIG. 10, includes photoreceptor cells 111, horizontal cells 112, and bipolar cells 11
It is composed of 3. The mechanism will be briefly described. First, the photoreceptor cells 111 receive light from the image, and only the photoreceptor cells 111 in the portion receiving the light are excited. This excitement is transmitted to the horizontal cells 112 in the lower layer.
12 is planarly connected to about 6 adjacent horizontal cells 112, and due to the transmission through this connection, the excitation of the surrounding horizontal cells 112 is gently changed so as to be transmitted through the network. Furthermore, the bipolar cell 113 is the photoreceptor cell 11
1, and is connected to two horizontal cells 112, and excites corresponding to the difference in excitement intensity between the two cells 111 and 112. This excitement is further transmitted to the lower layers, and eventually reaches the brain,
Object recognition and feature extraction are performed.

【0003】実際、画像として物体の輪郭のような明暗
の境界部分を考えると、この初期視覚機構では、まず、
図11(a)に曲線Aで示すように、視細胞111の興
奮強度が急激に変化する。一方、水平細胞112の興奮
強度は、曲線Bに示すようになだらかに変化する。した
がって、双極細胞113では、この2つの細胞111、
112の興奮強度の差に対応して、同図(b)に曲線C
に示すように、丁度明暗境界の部分だけが興奮し、この
明暗境界の情報が脳へと伝わり、そこで認識処理が行わ
れる。
Actually, considering a boundary portion of light and darkness such as a contour of an object as an image, in this initial visual mechanism, first,
As shown by the curve A in FIG. 11A, the excitement intensity of the photoreceptor cell 111 changes rapidly. On the other hand, the excitation intensity of the horizontal cell 112 changes gently as shown by the curve B. Therefore, in the bipolar cell 113, these two cells 111,
Corresponding to the difference in the excitement intensity of 112, the curve C is shown in FIG.
As shown in, just the light-dark boundary is excited, and the information on the light-dark boundary is transmitted to the brain, where the recognition process is performed.

【0004】この明暗境界検出の機能を持つ初期視覚機
構を具体的に電気回路で構成し、チップとして試作した
のが、カルフォルニア工科大学のC.A.Mead氏ら
である(C.A.Mead and M.A.Maho
wald,“A Silicon Model of
Early Visual Processing”,
Neural Networks,vol.1,pp.
91−97(1988)参照)。彼らの素子は、図12
の一部を拡大した回路図に示すように、視細胞をフォト
ダイオード201で、水平細胞を六角形の中心と頂点を
結ぶ6本の抵抗ネットワーク202で、双極細胞をアン
フ203で構成した。画像の明暗部分では、フォトダイ
オード201の電圧がステップ状に変化する。一方、抵
抗ネットワーク202のノードの電圧はなだらかに変化
する。この電圧差をとることにより、明暗境界の部分だ
けでアンプ203の電圧が変化する。これらの素子の電
圧変化は、図11に示した各細胞の興奮強度の変化に類
似しており、人間の初期視覚と同様に、明暗境界つまり
物体の輪郭を検出することができる。
The initial visual mechanism having the function of detecting the bright and dark boundaries was concretely constructed by an electric circuit and was prototyped as a chip by C. of California Institute of Technology. A. Mead et al. (CA Mead and MA Maho)
wald, “A Silicon Model of of
Early Visual Processing ”,
Neural Networks, vol. 1, pp.
91-97 (1988)). Their element is shown in FIG.
As shown in a partially enlarged circuit diagram, photoreceptor cells are constituted by photodiodes 201, horizontal cells are constituted by six resistance networks 202 connecting the centers and apexes of hexagons, and bipolar cells are constituted by amps 203. In the bright and dark parts of the image, the voltage of the photodiode 201 changes stepwise. On the other hand, the voltage of the node of the resistance network 202 changes gently. By taking this voltage difference, the voltage of the amplifier 203 changes only at the bright / dark boundary portion. The change in voltage of these elements is similar to the change in the excitation intensity of each cell shown in FIG. 11, and it is possible to detect the light-dark boundary, that is, the contour of the object, as in the case of human initial vision.

【0005】また、直接初期視覚機構を意識したもので
はないが、光学的に明暗境界を検出する手法もK.G.
Birch氏によって提案されている(K.G.Bir
ch,“A Spatial Frequency F
ilter to Remove Zero Frea
quency”,OPTICA ACTA,vol.1
5,No.2,pp.113−127(1968)参
照)。
Further, although not directly conscious of the initial visual mechanism, a method of optically detecting a light-dark boundary is described in K. K. G.
Proposed by Mr. Birch (K. G. Bir
ch, “A Spatial Frequency F
ilter to Remove Zero Free
quency ”, OPTICA ACTA, vol.1
5, No. 2, pp. 113-127 (1968)).

【0006】この方法は、空間周波数領域で0次光部分
をカットすることにより、画像中の明暗境界を検出する
方法である。彼らの方法を初期視覚機構を意識して解釈
すると、以下のようになる。簡単のため、図13図にお
いて1次元方向だけを考える。画像中の明暗情報をφ
(x)とし(図13(a))、これをフーリエ変換し、
0次部分をカットするフィルター{1−rect(ξ/
b)}をかけると、 F{φ(x)}・{1−rect(ξ/b)} ・・・(1) のように表せる(図13(b))。ただし、F{ }は
フーリエ変換を表し、rect(x)は、 で定義され、rect(ξ/b)のbは、回折パターン
の0次ピークを{1−rect(ξ/b)}がほぼカッ
トするように決められる。さらに、式(1)を逆フーリ
エ変換し、これをf(x)とおくと、f(x)は、 f(x)=φ(x)−φ(x)*sinc(x/b) ・・・(2) と表せる。ただし、*はコンボリューションを表し、s
inc(x)は、 sinc(x)=sin(x/2)/(x/2) である。このf(x)は、図13(c)に示すように、
明暗情報φ(x)からコンボリューションによりなまっ
たφ(x)*sinc(x/b)を引くことにより求め
られ、これを図11と比較すれば、式(2)の第1項の
φ(x)は視細胞のレスポンスに、式(2)の第2項の
φ(x)*sinc(x/b)は水平細胞のレスボンス
にそれぞれ類似しており、さらに、f(x)が双極細胞
のレスポンスと類似していることが分かる。以上から、
彼らの方法は、人間の初期視覚機構の1つの表現方法で
あると言える。また、実際には、光学的処理は強度を扱
うものであるから、図13(d)に示すように、処理後
の画像は、|f(x)|2 と表され、明るい二重線に挟
まれた暗い線として明暗部分が得られる。
This method is a method of detecting a light-dark boundary in an image by cutting the 0th-order light portion in the spatial frequency domain. The interpretation of their method in consideration of the initial visual mechanism is as follows. For simplicity, consider only the one-dimensional direction in FIG. The brightness information in the image is φ
(X) (FIG. 13 (a)), Fourier transform this,
Filter that cuts 0th order part {1-rect (ξ /
b)}, it can be expressed as F {φ (x)} · {1-rect (ξ / b)} (1) (FIG. 13 (b)). However, F {} represents a Fourier transform, and rect (x) is And b of rect (ξ / b) is determined such that {1-rect (ξ / b)} almost cuts the 0th-order peak of the diffraction pattern. Furthermore, when the equation (1) is subjected to inverse Fourier transform and is set as f (x), f (x) is f (x) = φ (x) −φ (x) * sinc (x / b)・ ・ It can be expressed as (2). However, * represents convolution, s
inc (x) is sinc (x) = sin (x / 2) / (x / 2). This f (x) is as shown in FIG.
It is obtained by subtracting φ (x) * sinc (x / b) which is blunted by convolution from the light / dark information φ (x). By comparing this with FIG. 11, φ (x) of the first term of Expression (2) is obtained. x) is similar to the response of photoreceptor cells, φ (x) * sinc (x / b) of the second term of formula (2) is similar to the response of horizontal cells, and f (x) is the bipolar cell. It can be seen that it is similar to the response of. From the above,
It can be said that their method is one of the expression methods of the human early visual mechanism. In addition, since the optical processing actually deals with the intensity, the processed image is represented as | f (x) | 2 as shown in FIG. The bright and dark parts are obtained as the sandwiched dark lines.

【0007】したがって、上記Mead氏やBirch
氏によって提案された素子及び方法で物体の明暗境界の
情報を検出し、これを人間の脳の情報処理機能をまねた
いわゆるニューラルネットワークに入力し処理するよう
にすれば、物体の認識機構が構成できるであろうと考え
ることは当然であり、これは誰もが考え得ることであろ
う。
Therefore, the above-mentioned Mr. Mead and Birch
By detecting the information of the light and dark boundaries of the object with the element and method proposed by him and inputting this to a so-called neural network that mimics the information processing function of the human brain and processing it, the object recognition mechanism is constructed. It's natural to think we can, and this is something everyone can think of.

【0008】[0008]

【発明が解決しようとする課題】上記した従来例による
明暗境界検出のための素子及び方法、そして、それらを
用いた認識機構は、人間の初期視覚機構をうまく利用
し、確かに画像中の物体の認識を実現し得るものではあ
るが、認識対象物体が複数含まれている画像の認識は苦
手である。なぜなら、入力画像中に複数の物体の明暗境
界情報があった場合、そらを各々の物体毎の情報に分離
した上で認識しなければならないからである。認識対象
物体が1つに限定されている場合の認識は、ニューラル
ネットワーク上での簡単な連想記憶等で実現できるが、
この物体毎の情報の分離には、かなり高度で複雑な処理
を必要とし、その実現は、いくらニューラルネットワー
クと言え、容易ではない。そこで、何らかの新たな工夫
が必要となる。
The element and method for detecting the light-dark boundary according to the above-mentioned conventional example, and the recognition mechanism using them, make good use of the human initial visual mechanism, and certainly the object in the image. However, it is difficult to recognize an image including a plurality of recognition target objects. This is because, if there is light-dark boundary information of a plurality of objects in the input image, it must be recognized after separating them into information for each object. Recognition when the number of recognition target objects is limited to one can be realized by simple associative memory on a neural network,
This separation of information for each object requires fairly sophisticated and complicated processing, and its realization is not easy, no matter how much it can be called a neural network. Therefore, some new device is needed.

【0009】また、従来例に示した明暗境界検出のため
の素子及び方法にも、それぞれ以下のようなな欠点があ
る。前者のMead氏らの素子は、現在のLSI製造技
術を活かした集積化、小型化に適したものではあるが、
構成要素の電気的遅延は避けられず、処理速度は比較的
遅い。また、後者のBirch氏の方法は、光学的な構
成のため、光の生得の高速化、並列性を生かした優れた
方法ではあるが、実際には、構成要素間のアライメント
の困難さや、温度、振動等に対する信頼性の低さ等によ
り、簡単に実現できるとは言い難い。
The elements and methods for detecting the bright and dark boundaries shown in the conventional example also have the following drawbacks. The former Mead et al.'S device is suitable for integration and miniaturization by utilizing the current LSI manufacturing technology,
Electrical delay of the components is unavoidable and the processing speed is relatively slow. In addition, the latter method of Mr. Birch is an excellent method that takes advantage of the high speed of light generation and parallelism due to the optical configuration, but in reality, it is difficult to align the components and the temperature is high. However, it is hard to say that it can be easily realized due to low reliability against vibration and the like.

【0010】本発明はこのような実情に鑑みてなされた
ものであり、その目的は、複数の認識対象物体を含む画
像からそれらを簡単かつ高速に認識するために必要な人
工網膜及びそれを用いた人工視覚装置を提供することで
ある。
The present invention has been made in view of the above circumstances, and an object thereof is to use an artificial retina necessary for recognizing an object including a plurality of objects to be recognized easily and at high speed. To provide an artificial vision device that has been used.

【0011】[0011]

【課題を解決するための手段】前述のように、画像中に
含まれる物体の認識をする場合には、人間の初期視覚の
情報処理原理を応用し、その明暗境界情報を利用するこ
とが適当であることは明らかであるので、本発明の場合
も、この明暗境界情報を認識処理に利用することにして
いる。具体的には、まず、以下のような人工網膜細胞を
用いる。これは、図1に示すように、一方のレンズ端面
である入力面9に結像された情報を反対側の略平面な端
面にフーリエ変換するフーリエ変換レンズ10、フーリ
エ変換レンズ10の入力面9の端面とは反対側の略平面
な端面に密着形成されたフィルター11、さらに、略平
面な一方の端面をこのフィルター11に密着させ、この
フィルタリングされた情報を逆フーリエ変換し、他方の
端面である出力面12に実空間情報として再び結像する
逆フーリエ変換レンズ13より構成するものである。
As described above, when recognizing an object included in an image, it is appropriate to apply the information processing principle of human initial vision and use the light-dark boundary information. Since it is clear that, also in the case of the present invention, this light-dark boundary information is used for the recognition processing. Specifically, first, the following artificial retinal cells are used. This is, as shown in FIG. 1, a Fourier transform lens 10 for performing Fourier transform of information imaged on the input surface 9 which is one lens end surface to a substantially flat end surface on the opposite side, and the input surface 9 of the Fourier transform lens 10. Of the filter 11, which is formed in close contact with the substantially flat end surface on the side opposite to the end surface, and one of the substantially flat end surfaces is adhered to the filter 11, and the filtered information is subjected to inverse Fourier transform, and the other end surface is formed. It is composed of an inverse Fourier transform lens 13 which forms an image again on a certain output surface 12 as real space information.

【0012】このような人工網膜細胞の構成中、フィル
ター11としてフーリエ変換された回折光の0次光をカ
ットする空間周波数フィルターを用いれば、従来例のB
irch氏の方法と同一のフィルタリング手法となり、
画像中の物体の認識のために必要な明暗境界検出を並列
かつ高速に行うことができる。また、本発明の場合、フ
ーリエ変換レンズ10、逆フーリエ変換レンズ13とし
て、例えば屈折率分布型レンズのように略平面な端面を
持つレンズを用いているために、レンズ端面を基準とし
た各構成要素間のアライメントが可能となる上、アオリ
と光軸方向のアライメントも不要になる。また、さら
に、このフィルター11の0次光カット部分11aを、
フーリエ変換レンズ10の入力面9の端面と反対側の略
平面な端面にフォトレジスト、銀塩乳剤等の感光剤を塗
布し、入力面9に垂直に実際の光束を平行光束として照
射し、0次光部分のエネルギーが他の部分に比べて極端
に高いことを利用して、その部分のみを感光させること
により直接形成すれば、明暗部分の検出に直接影響し、
最もアライメント精度のきついこの部分11aの光軸に
鉛直な方向(図1中のξ軸、η軸方向)のアライメント
をする必要もなくなる。
If a spatial frequency filter that cuts the 0th order light of the Fourier-transformed diffracted light is used as the filter 11 in the construction of such artificial retinal cells, B of the conventional example is used.
The same filtering method as Mr. irch's method,
The bright and dark boundary detection necessary for recognition of objects in an image can be performed in parallel and at high speed. Further, in the case of the present invention, as the Fourier transform lens 10 and the inverse Fourier transform lens 13, lenses having a substantially flat end face, such as a gradient index lens, are used. Therefore, each configuration based on the lens end face is used. In addition to enabling alignment between elements, there is no need for alignment in the tilt and optical axis directions. Further, the 0th-order light cut portion 11a of the filter 11 is
A photosensitizer such as a photoresist or a silver salt emulsion is applied to a substantially flat end surface of the Fourier transform lens 10 opposite to the end surface of the input surface 9 to irradiate the input surface 9 with an actual light flux as a parallel light flux, and 0 Utilizing the fact that the energy of the next light portion is extremely high compared to other portions, if it is directly formed by exposing only that portion, it directly affects the detection of the bright and dark portions,
It is not necessary to perform alignment in the direction perpendicular to the optical axis of this portion 11a having the highest alignment accuracy (in the ξ axis and η axis directions in FIG. 1).

【0013】以上のように、上記の人工網膜細胞の構成
により、従来例のBirch氏の方法が抱えていたアラ
イメント精度や温度、振動等に対する信頼性の低さ等の
問題も解決され、物体の認識のための前処理機能として
十分な精度の明暗境界検出ができる人工網膜細胞を簡単
に得られることが分る。
As described above, the structure of the artificial retinal cells described above solves the problems of the alignment accuracy, the reliability of temperature and vibration, etc., which the conventional method of Mr. Birch had, and the reliability of the object. As a preprocessing function for recognition, it can be easily obtained artificial retinal cells that can detect bright and dark boundaries with sufficient accuracy.

【0014】さらに、本発明に係る人工網膜は、図2に
示すように、上記の人工網膜細胞を複数個並列して配列
し、人工網膜細胞の背後の出力面12(図1)に結像さ
れた情報を検出するための検出手段8を設けて構成する
が、先に述べたように、全ての人工網膜細胞のフィルタ
ーとして0次光カットの空間周波数フィルターを用いて
明暗境界情報を得ても、認識対象物体が複数含まれる画
像については、簡単にそれらを区別して認識することは
困難になるので、以下のような工夫を行う。
Further, in the artificial retina according to the present invention, as shown in FIG. 2, a plurality of the above artificial retinal cells are arranged in parallel, and an image is formed on the output surface 12 (FIG. 1) behind the artificial retinal cells. The detection means 8 for detecting the generated information is provided and configured, but as described above, the light and dark boundary information is obtained by using the 0th-order light cut spatial frequency filter as a filter of all artificial retinal cells. However, since it becomes difficult to easily distinguish and recognize an image including a plurality of recognition target objects, the following measures are taken.

【0015】すなわち、この人工網膜の中心付近を中心
視野1aとして、中心視野1aに配される人工網膜細胞
を中心視野細胞6として、そのフィルターを0次光カッ
トの空間周波数フィルターで構成し、入力された画像の
明暗境界を検出し、この情報を後段のニューラルネット
ワークに送り物体の認識をするようにする(図4、7参
照)。なお、この中心視野細胞6の範囲、つまり、中心
視野1aは、人工網膜上で比較的小さな領域に限定し、
それが対応する画像中の領域内では、ほぼ1つの物体の
認識をするようするので、前述のように、簡単なニュー
ラルネットワークによって認識機能を実現することがで
きる。
That is, the vicinity of the center of the artificial retina is defined as the central visual field 1a, the artificial retinal cells arranged in the central visual field 1a are defined as the central visual field cells 6, and the filter is constituted by a spatial frequency filter of 0th-order light cut, The bright and dark boundaries of the captured image are detected, and this information is sent to the neural network in the subsequent stage to recognize the object (see FIGS. 4 and 7). The range of the central visual field cells 6, that is, the central visual field 1a is limited to a relatively small area on the artificial retina,
In the area in the image to which it corresponds, almost one object is recognized, so that the recognition function can be realized by a simple neural network as described above.

【0016】しかし、このままでは、たまたま中心視野
1a内に入っていた物体情報の1つが認識できるだけで
あり、本発明の目的である認識対象物体が複数含まれる
画像中の複数物体の認識ができるわけではない。ここ
で、さらに考えられるのは、中心視野1aを何らかの方
法で他の認識対象の情報の位置まで移動させるようにす
ることである。そのためには、まず、中心視野1a外に
ある物体の位置を判断することが必要である。したがっ
て、本発明に係る人工網膜は、図2に示すように、上記
中心視野1aの外側を周辺視野1bとして、そこに含ま
れる人工網膜細胞を周辺視野細胞7とし、この周辺視野
細胞7を、図3に示すように、中心視野細胞6と同様、
一方のレンズ端面である入力面9に結像された情報を反
対側の略平面な端面にフーリエ変換するフーリエ変換レ
ンズ10、フーリエ変換レンズ10の入力面9の端面と
は反対側の略平面な端面に密着形成されたフィルター1
1、略平面な一方の端面をこのフィルター11に密着さ
せ、このフィルタリングされた情報を逆フーリエ変換
し、他方の端面である出力面12に実空間情報として再
び結像する逆フーリエ変換レンズ13より構成し、その
フィルター11を高次光カット部分11cからなる高次
光カット空間周波数フィルターで構成し、画像中の低周
波数成分のみ、つまり、物体の大まかな形状を検出し、
これを用いて周辺視野1b内の物体の位置を検出するよ
うにする。
However, as it is, only one piece of object information that happens to be in the central visual field 1a can be recognized, and the object of the present invention can recognize a plurality of objects in an image including a plurality of objects to be recognized. is not. Here, it is further conceivable that the central visual field 1a is moved to the position of other information to be recognized by some method. For that purpose, it is first necessary to determine the position of the object outside the central visual field 1a. Therefore, in the artificial retina according to the present invention, as shown in FIG. 2, the outside of the central visual field 1a is the peripheral visual field 1b, the artificial retinal cells contained therein are the peripheral visual field cells 7, and the peripheral visual field cells 7 are As shown in FIG. 3, like the central visual field cells 6,
A Fourier transform lens 10 that performs a Fourier transform on the information imaged on the input surface 9 which is one of the lens end surfaces to a substantially flat end surface on the opposite side, and a substantially flat surface on the opposite side of the end surface of the input surface 9 of the Fourier transform lens 10. Filter 1 closely formed on the end face
1. The one end face which is substantially flat is brought into close contact with the filter 11, the filtered information is subjected to the inverse Fourier transform, and the output face 12 which is the other end face is imaged again as real space information from the inverse Fourier transform lens 13. The filter 11 is composed of a high-order light cut spatial frequency filter including a high-order light cut portion 11c, and only low-frequency components in the image, that is, the rough shape of the object is detected,
By using this, the position of the object in the peripheral visual field 1b is detected.

【0017】次に、この周辺視野細胞7からの情報を用
いて、次の認識対象へ中心視野1aを移動させる必要が
ある。そこで、図4に示すように、図2に示したような
人工網膜1と、認識対象である画像中の物体を含む情報
をこの人工網膜1へ伝達させるための結像手段2とで人
工眼球3を構成し、周辺視野細胞7で検出された前述の
情報から次に認識する物体の位置を決定し、その認識対
象まで中心視野1aを移動させるための人工眼球移動手
段5により、上記人工眼球3を移動させるようにする。
Next, it is necessary to move the central visual field 1a to the next recognition target by using the information from the peripheral visual field cells 7. Therefore, as shown in FIG. 4, an artificial eyeball including an artificial retina 1 as shown in FIG. 2 and an image forming means 2 for transmitting information including an object in an image to be recognized to the artificial retina 1. 3, the artificial eyeball moving means 5 for deciding the position of the object to be recognized next based on the above-mentioned information detected by the peripheral visual field cells 7 and moving the central visual field 1a to the recognition target. Try to move 3.

【0018】以上を再び図4を参照にしてまとめると、
本発明の人工視覚装置は、複数の認識対象物体を含む画
像情報を結像手段2により人工網膜1上に伝達させ、そ
の中からほぼ1つの物体を人工網膜中の中心視野1a内
に取り込み、その明暗境界情報を検出し、この情報を後
段のニューラルネットワーク4に送り、そこで物体の認
識を行う(図中では、画像の中の三角形の部分の明暗境
界が検出されている。)。同時に、この人工網膜中の周
辺視野1b内では、現在認識されている物体以外の物体
の大まかな形状が検出されるが、さらに、人工眼球移動
手段5により次に認識すべき物体の位置が決定され、現
在認識されている物体の認識が終了すれば、その位置ま
で中心視野1aが移動され、そこで次の物体の認識をす
るものである。図4中では、例えば四角形の部分が次に
認識すべき対象として選ばれ、図5に示すように、中心
視野1aがこの画像に対して移動される。上記操作は繰
り返し行われるが、丁度人間が目玉をキョロキョロ動か
しながら物体を認識する動作と似た振る舞いをする。
Summarizing the above with reference again to FIG. 4,
The artificial vision device of the present invention transmits image information including a plurality of recognition target objects onto the artificial retina 1 by the image forming means 2 and takes in almost one object from the image into the central visual field 1a in the artificial retina, The light / dark boundary information is detected, and this information is sent to the neural network 4 in the subsequent stage, where the object is recognized (in the figure, the light / dark boundary of the triangular portion in the image is detected). At the same time, a rough shape of an object other than the currently recognized object is detected in the peripheral visual field 1b in the artificial retina, and the artificial eye moving means 5 further determines the position of the next object to be recognized. When the recognition of the currently recognized object is completed, the central visual field 1a is moved to that position, and the next object is recognized there. In FIG. 4, for example, a square portion is selected as a target to be recognized next, and the central visual field 1a is moved with respect to this image as shown in FIG. Although the above operation is repeated, it behaves just like a human recognizing an object while moving its eyes around.

【0019】以上の説明から明らかなように、本発明の
人工網膜は、入力された物体像のフーリエ変換像を所定
の面上に形成するフーリエ変換レンズと、前記所定の面
上に配置されフーリエ変換像の0次光成分を除去するフ
ィルターと、フィルタリングされたフーリエ変換像を逆
フーリエ変換して実空間情報に戻す逆フーリエ変換レン
ズとからなる第1種の人工網膜細胞と、入力された物体
像のフーリエ変換像を所定の面上に形成するフーリエ変
換レンズと、前記所定の面上に配置されフーリエ変換像
の高次光成分を除去するフィルターと、フィルタリング
されたフーリエ変換像を逆フーリエ変換して実空間情報
に戻す逆フーリエ変換レンズとからなる第2種の人工網
膜細胞と、前記第1種及び第2種の人工網膜細胞からの
出力光を検出する検出素子と、を備えたことを特徴とす
るものである。
As is clear from the above description, the artificial retina of the present invention has a Fourier transform lens for forming a Fourier transform image of an input object image on a predetermined surface, and a Fourier transform lens arranged on the predetermined surface. First-type artificial retinal cell consisting of a filter for removing the 0th-order light component of the transformed image and an inverse Fourier transform lens for performing an inverse Fourier transform on the filtered Fourier transform image to return it to real space information, and an input object A Fourier transform lens that forms a Fourier transform image of the image on a predetermined surface, a filter that is arranged on the predetermined surface to remove high-order light components of the Fourier transform image, and an inverse Fourier transform of the filtered Fourier transform image Detecting output light from the second type artificial retinal cells including an inverse Fourier transform lens for returning to real space information and the first and second type artificial retinal cells The element out, is characterized in that it comprises a.

【0020】この場合、第1種及び第2種の人工網膜細
胞のフーリエ変換レンズは入射面及び射出面が略平面で
あって、その射出面上にフーリエ変換像が形成され、各
フィルターはこの射出面に密着して配置されており、第
1種及び第2種の人工網膜細胞の逆フーリエ変換レンズ
は入射面及び射出面が略平面であって、その入射面は各
フィルターに密着して配置され、その射出面上に逆フー
リエ変換像が形成されるように配置されているのが望ま
しい。
In this case, the Fourier transform lens of the artificial retina cells of the first and second types has an entrance surface and an exit surface which are substantially flat, and a Fourier transform image is formed on the exit surface, and each filter has The inverse Fourier transform lenses of the first and second types of artificial retinal cells are arranged in close contact with the exit surface, and the entrance surface and the exit surface are substantially flat, and the entrance surface is in close contact with each filter. It is desirable that they are arranged so that an inverse Fourier transform image is formed on the exit surface thereof.

【0021】また、本発明の人工視覚装置は、物体像を
形成する結像手段、及び、上記の人工網膜を備えた人工
眼球と、この人工網膜の第1種の人工網膜細胞で検出さ
れた情報を受けて物体のパターン認識を行うためのニュ
ーラルネットワークと、人工網膜の前記第2種の人工網
膜細胞で検出された情報から次に認識する物体を決定す
る手段と、その認識対象に向けて上記人工眼球を移動さ
せるめの人工眼球移動手段と、を備えたことを特徴とす
るものである。
Further, the artificial vision device of the present invention is detected by the image forming means for forming the object image, the artificial eyeball provided with the above artificial retina, and the artificial retina cells of the first kind of this artificial retina. A neural network for receiving information to recognize a pattern of an object, a means for determining an object to be recognized next from information detected by the second type artificial retinal cells of the artificial retina, and a target for the recognition And an artificial eyeball moving means for moving the artificial eyeball.

【0022】[0022]

【作用】本発明においては、人工網膜を、1つの物体情
報を認識できる第1種の人工網膜細胞と、複数物体を分
離してその位置を検出できる第2種の人工網膜細胞から
構成したので、複数の認識対象物体を含む画像の中から
簡単かつ高速に特定のものを選んで容易に認識すること
ができる。
In the present invention, the artificial retina is composed of the first type artificial retinal cells capable of recognizing one object information and the second type artificial retinal cells capable of separating a plurality of objects and detecting their positions. , A specific object can be easily and quickly selected from an image including a plurality of recognition target objects and easily recognized.

【0023】[0023]

【実施例】以下、本発明の人工網膜及び人工視覚装置の
好適な実施例について説明する。 第1実施例 本実施例は、本発明の中の人工網膜に関するものであ
る。これは、図1に示すように、人工網膜を構成するた
めの中心視野細胞のフーリエ変換レンズ10及び逆フー
リエ変換レンズ13として、直径1mm、1ピッチ長1
2.8mm、開口数0.38、中心屈折率1.557の
屈折率分布型ロッドレンズを、0.25ピッチの長さで
それぞれ用いた。屈折率分布型ロッドレンズの1ピッチ
の長さとは、入射端面の像を中間に1回の倒立像として
結像し、射出端面に正立像として結像する長さである。
そして、フーリエ変換レンズ10の屈折率分布型ロッド
レンズの入力面9と反対側のほぼ平坦な面の直径約2μ
m以下の部分に、明暗境界検出のための0次光カット部
分(図1の11a)として、前述した実際の光線を通し
てフィルターを作成する方法により、アルミニウム膜を
形成し、さらに、直径約50μm以上の部分にノイズ等
の除去のための高次光カット部分(図1の11b。本実
施例の場合、約30次以上をカット)として、通常のマ
スクパターンニング工程により、アルミニウム膜を形成
し、フィルター11とした。次に、このフィルター11
が形成されているフーリエ変換レンズ10の屈折率分布
型ロッドレンズと逆フーリエ変換レンズ13の屈折率分
布型ロッドレンズを接着して、中心視野細胞6を構成し
た。さらに、周辺視野細胞7として、フィルター11以
外は中心視野細胞6と同一のものを用い、フィルター1
1としては、直径約17μm以上の部分に高次光カット
部分(図3の11c。本実施例の場合、約10次以上を
カット)として、通常のマスクパターンニング工程によ
り、アルミニウム膜を形成した。また、検出手段8(図
2)としては、2/3インチの38万画素のCCD(縦
約6.6mm、横約8.8mm)を用い、そのほぼ中心
に中心視野細胞6を1個、残りの部分に周辺視野細胞7
を縦7個横9個の割合で62個並べた。
The preferred embodiments of the artificial retina and the artificial vision device of the present invention will be described below. First Embodiment This embodiment relates to the artificial retina in the present invention. As shown in FIG. 1, this is used as the Fourier transform lens 10 and the inverse Fourier transform lens 13 of the central visual field cells for constructing the artificial retina, with a diameter of 1 mm and a pitch length of 1
A gradient index rod lens having a 2.8 mm, a numerical aperture of 0.38, and a central refractive index of 1.557 was used with a length of 0.25 pitch. The one pitch length of the gradient index rod lens is the length at which the image of the entrance end face is formed as an inverted image once at the middle and is formed as an erect image on the exit end face.
The diameter of the substantially flat surface of the Fourier transform lens 10 opposite to the input surface 9 of the gradient index rod lens is about 2 μm.
An aluminum film is formed at a portion of m or less by a method of forming a filter through the above-mentioned actual light ray as a 0th-order light cut portion (11a in FIG. 1) for detecting a light-dark boundary, and further, a diameter of about 50 μm or more. As a high-order light cut portion (11b in FIG. 1; in the case of the present embodiment, about 30th order or more is cut) for removing noise and the like, an aluminum film is formed by a normal mask patterning process, and the filter 11 And Next, this filter 11
The central visual field cell 6 was constructed by bonding the gradient index rod lens of the Fourier transform lens 10 in which is formed and the gradient index rod lens of the inverse Fourier transform lens 13 to each other. Further, as the peripheral visual field cells 7, the same as the central visual field cells 6 except for the filter 11 is used.
As the first example, an aluminum film was formed in a portion having a diameter of about 17 μm or more as a high-order light cut portion (11c in FIG. 3; in the case of this embodiment, cut about 10th order or more) by a normal mask patterning process. As the detecting means 8 (FIG. 2), a ⅔ inch 380,000-pixel CCD (vertical length of about 6.6 mm, horizontal length of about 8.8 mm) is used, and one central visual field cell 6 is provided at approximately the center of the CCD. Peripheral visual field cells 7 in the rest
62 were arranged at a ratio of 7 vertically and 9 horizontally.

【0024】この人工網膜に、1例として、図6(a)
に示すような画像(黒色で示した部分が明るく、白色で
示した部分が暗い。)を入力した場合、検出手段である
CCDからは、図6(b)に示すように、中央部分に二
重線の三角形が得られ(二重線の間が明暗境界部分)、
周辺部分に他の物体の大まかな情報を示す画像情報が得
られる。
In this artificial retina, as an example, FIG. 6 (a)
When an image such as that shown in Fig. 6 (the part shown in black is bright and the part shown in white is dark) is input, as shown in Fig. 6 (b), two pixels are displayed in the central part from the CCD which is the detecting means. The triangle of the double line is obtained (the light and dark boundary part between the double lines),
Image information indicating rough information of other objects is obtained in the peripheral portion.

【0025】なお、本実施例では、中心視野細胞6のフ
ィルター11として高次光カット部分11bも形成した
が、これは、画像中のノイズ等の除去のためであり、本
質的には0次光部分11aのカットのみでよい。また、
図1ないし図3では、使用されるレンズの両端面を平面
で示したが、これは装置のアライメントの簡素化のため
にそうしたのであって、フーリエ変換レンズ10及び逆
フーリエ変換レンズ13のフィルター11側の面は略平
面である必要はあるが、反対側の面はその必要は必ずし
もない。また、入力面9と出力面12も、同様の理由に
よりレンズ端面に設定したが、アライメントの簡易さを
若干犠牲にすれば、その必要もない。さらに、屈折率分
布型ロッドレンズの代わりに、屈折率分布型の平板マイ
クロレンズ等を用いても同一の効果を持つ人工網膜が得
られることは明らかである。
In this embodiment, the high-order light cut portion 11b is also formed as the filter 11 of the central visual field cell 6, but this is for the purpose of removing noise and the like in the image, and is essentially the 0th-order light portion. Only the cut of 11a is required. Also,
In FIG. 1 to FIG. 3, both end surfaces of the lens used are shown as planes, but this is done to simplify the alignment of the apparatus, that is, the filter 11 of the Fourier transform lens 10 and the inverse Fourier transform lens 13. The side surface needs to be substantially flat, but the opposite surface need not. Further, the input surface 9 and the output surface 12 are also set to the lens end surfaces for the same reason, but this is not necessary if the ease of alignment is sacrificed slightly. Furthermore, it is clear that an artificial retina having the same effect can be obtained by using a graded-index flat plate microlens or the like instead of the graded-index rod lens.

【0026】第2実施例 本実施例は、第1実施例の人工網膜を応用した人工視覚
装置に関するものである。図7にその構成を示すが、図
7でおいて、21はズームレンズ、22は人工網膜、2
3はCCDイメージセンサで、これらを1つのハウジン
グに収納して人工眼球24を構成する。人工眼球24
は、物体に対して視野を変更できるように移動可能に設
けられている。物体像はズームレンズ21により人工網
膜22の入射面に形成され、CCDイメージセンサ23
は、人工網膜22を介して物体像を受け、そのパターン
を電気信号に変換する。CCDイメージセンサ23は、
図8に示すように、ほぼ横770、縦490の画素を備
えており、画面全体が横を9分割、縦を7分割の63個
の領域に分割されており、中央の領域に相当する部分の
人工網膜細胞は図1に示した中心視野細胞6であり、そ
れ以外の人工網膜細胞は図3に示した周辺視野細胞7に
なっている。CCDイメージセンサ23からの出力信号
はA/D変換器25でデジタル信号に変換された後、コ
ンピュータ26に取り込まれる。取り込まれた画像情報
の中、中央部分の情報は、パターン認識のためにニュー
ラルネットワーク27に入力され、他の情報は周辺情報
検出のために使用される。
Second Embodiment This embodiment relates to an artificial vision device to which the artificial retina of the first embodiment is applied. The configuration is shown in FIG. 7. In FIG. 7, 21 is a zoom lens, 22 is an artificial retina,
Reference numeral 3 denotes a CCD image sensor, which is housed in one housing to form an artificial eyeball 24. Artificial eye 24
Is movably provided so that the field of view can be changed with respect to the object. The object image is formed on the entrance surface of the artificial retina 22 by the zoom lens 21, and the CCD image sensor 23
Receives an object image via the artificial retina 22 and converts the pattern into an electric signal. The CCD image sensor 23 is
As shown in FIG. 8, it has approximately 770 pixels in the horizontal direction and 490 pixels in the vertical direction, and the entire screen is divided into 63 areas of 9 areas horizontally and 7 areas vertically, and a portion corresponding to the central area. The artificial retinal cells are the central visual field cells 6 shown in FIG. 1, and the other artificial retinal cells are the peripheral visual field cells 7 shown in FIG. The output signal from the CCD image sensor 23 is converted into a digital signal by the A / D converter 25 and then taken into the computer 26. Of the captured image information, the information of the central portion is input to the neural network 27 for pattern recognition, and other information is used for peripheral information detection.

【0027】ニューラルネットワーク27は、図9に示
すように、入力層80、中間層90、及び、出力層10
0を備えている。前述の中心視野細胞6に対応するCC
Dイメージセンサ23の中央領域の85×70個の画像
情報は、各々ニューラルネットワーク27の入力ユニッ
ト81、82、…に供給される。これらの情報は、中間
ユニット91、92、…を介して、出力ユニット10
1、102、…に物体のパターンを表す信号を出力す
る。ニューラルネットワーク27は、認識すべき物体を
中心視野1aに提示し、予め逆伝搬学習(バックプロパ
ゲーション)則に従って学習させてあるので、ニューラ
ルネットワーク27からの出力信号により物体の形状を
判別できる。物体の形状を表す信号は次のステップ28
に供給され、さらに必要な情報処理が行われる。
As shown in FIG. 9, the neural network 27 includes an input layer 80, an intermediate layer 90, and an output layer 10.
It has 0. CC corresponding to the central visual field cell 6 described above
The 85 × 70 pieces of image information of the central area of the D image sensor 23 are supplied to the input units 81, 82, ... Of the neural network 27, respectively. These pieces of information are output to the output unit 10 via the intermediate units 91, 92, ....
A signal representing the pattern of the object is output to 1, 102, .... Since the neural network 27 presents the object to be recognized in the central visual field 1a and is trained in advance according to the back propagation learning (back propagation) rule, the shape of the object can be discriminated from the output signal from the neural network 27. The signal representing the shape of the object is obtained in the next step
And further necessary information processing is performed.

【0028】中央領域に物体像がない場合、あるいは、
中央領域の物体を認識した後、他の物体の判別に移る場
合には、周辺情報を利用する。周辺情報は、積算・判定
手段29で各領域ごとに明るさが積算され、積算値が所
定の閾値と比較されて、この閾値を越えた領域には物体
が存在するものと判定する。この判定情報は物体選択手
段30に供給される。物体選択手段30では、乱数発生
手段31で発生される乱数に基づいて、物体が存在する
と判定された領域の中からランダムに1つの領域を選
ぶ。選ばれた領域を表す信号は、人工眼球駆動手段32
に供給され、選ばれた物体が視野中央にくるように人工
眼球24の向きを変える。
If there is no object image in the central area, or
After recognizing the object in the central area, when it is necessary to determine another object, the peripheral information is used. Regarding the peripheral information, the integration / determination means 29 integrates the brightness for each area, compares the integrated value with a predetermined threshold value, and determines that an object exists in the area exceeding this threshold value. This determination information is supplied to the object selecting means 30. The object selecting means 30 randomly selects one area from the areas determined to have an object based on the random number generated by the random number generating means 31. The signal representing the selected region is the artificial eyeball driving means 32.
The artificial eyeball 24 is turned so that the selected object is in the center of the visual field.

【0029】以上のようにして、複数の認識対象物体を
含む画像から認識すべき物体を次々に選び出してそれぞ
れを区別し、認識をすることができる。
As described above, the objects to be recognized can be selected one after another from the image including the plurality of objects to be recognized, and the objects can be distinguished and recognized.

【0030】また、ニューラルネットワーク27で認識
できなかった場合は、ズームレンズ21の倍率を変化さ
せ、視野内に捕らえられる画像の大きさを変化させ、あ
らためて認識するようにすれば、中心視野内に物体が収
まらなかったり、小さすぎたり、他の物体が認識の邪魔
をしている場合等にも対応できる。
If the neural network 27 cannot recognize the image, the magnification of the zoom lens 21 is changed to change the size of the image captured in the visual field so that the image is recognized again. It can also handle cases where the object does not fit, is too small, or when other objects are obstructing the recognition.

【0031】また、このニューラルネットワーク27の
情報と周辺視野細胞による物体の位置情報とを合わせれ
ば、画像上の2次元マップを描くことができることは明
らかであり、さらに、この装置を2つ用いれば、立体画
像の認識にも応用できる。なお、もちろん、このニュー
ラルネットワーク27は、本実施例であげた層状のもの
で逆伝搬学習則を用いるタイプのものである必要はな
く、ホップフィールドモデル、アソシアトロン等連想記
憶的に用いることのできる全てのモデルのものを用いる
ことができるし、図中に示したが、このニューラルネッ
トワーク27の情報をさらに後段の処理に伝達すれば、
さらに高度な処理もできることは言うまでもない。
Further, it is clear that a two-dimensional map on an image can be drawn by combining the information of the neural network 27 and the position information of the object by the peripheral visual field cells. Furthermore, if this device is used two times. It can also be applied to the recognition of stereoscopic images. Of course, the neural network 27 does not have to be of the layered type described in this embodiment and of the type that uses the back propagation learning rule, but can be used for associative memory such as Hopfield model and associatron. All models can be used, and as shown in the figure, if the information of the neural network 27 is further transmitted to the subsequent processing,
It goes without saying that more advanced processing can be performed.

【0032】以上のように、本発明の人工網膜は、構成
要素である人工網膜細胞を光学要素で構成したので、並
列かつ高速で物体情報の認識及びその分離、位置検出処
理ができる。また、略平面な端面を持つレンズを用いる
ため、レンズ端面を基準とした各構成要素のアライメン
トが可能となり、それらのアオリと光軸方向のアライメ
ントが不要になる。さらに、明暗境界の検出機能に直接
影響し、最もアライメント精度がきつく、装置簡素化の
ためのネックとなっているフィルターの0次光カット部
分を、実際の光束を使用して作成する方法をとっている
ので、この精度も大幅に改善させることができ、装置を
簡単に実現できる。
As described above, in the artificial retina of the present invention, since the artificial retinal cells, which are the constituent elements, are composed of the optical elements, the object information can be recognized in parallel and at high speed, and the separation and position detection processing can be performed. Further, since a lens having a substantially flat end face is used, it is possible to align each component with the lens end face as a reference, and it is not necessary to align them in the optical axis direction. In addition, the method for creating the 0th-order light cut part of the filter, which directly affects the detection function of the light-dark boundary and has the most severe alignment accuracy and which is a bottleneck for simplifying the device, by using the actual light flux is taken. Therefore, this accuracy can be greatly improved, and the device can be easily realized.

【0033】また、さらに、本発明の人工視覚装置は、
上述のように、人工網膜を2つの機能の部分に分け、そ
の中心視野部分で認識すべき物体をほぼ1つにして認識
するうにしたから、認識処理をするニューラルネットワ
ークを非常に簡単に構成することができる。また、その
周辺視野部分の情報から次に認識する部分を判断して、
人工眼球移動機構により中心視野をその部分に合わせる
ようにしたから、上記ニューラルネットワークが簡単な
構成のまま、画像中の複数の物体を認識することができ
るようになる。
Furthermore, the artificial vision device of the present invention further comprises:
As described above, the artificial retina is divided into two functional parts, and the object to be recognized is made to be almost one in the central visual field part, so that the neural network for the recognition process is very easily constructed. be able to. Also, the next part to be recognized is judged from the information of the peripheral visual field part,
Since the central field of view is adjusted to that portion by the artificial eye movement mechanism, it becomes possible to recognize a plurality of objects in the image with the neural network having a simple configuration.

【0034】以上、本発明の人工網膜及び人工視覚装置
を実施例に基づいて説明してきたが、本発明はこれら実
施例に限定されず種々の変形が可能である。
Although the artificial retina and the artificial vision device of the present invention have been described above based on the embodiments, the present invention is not limited to these embodiments and various modifications can be made.

【0035】[0035]

【発明の効果】以上の説明から明らかなように、本発明
の人工網膜及び人工視覚装置によると、人工網膜を、1
つの物体情報を認識できる第1種の人工網膜細胞と、複
数物体を分離してその位置を検出できる第2種の人工網
膜細胞から構成したので、複数の認識対象物体を含む画
像の中から簡単かつ高速に特定のものを選んで容易に認
識することができる。
As is apparent from the above description, according to the artificial retina and the artificial vision device of the present invention, the artificial retina is
It consists of the first type artificial retinal cells that can recognize one object information and the second type artificial retinal cells that can separate multiple objects and detect their positions. Moreover, it is possible to select a specific item at high speed and easily recognize it.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の人工網膜を構成する中心網膜細胞の構
成を示す図である。
FIG. 1 is a diagram showing a structure of a central retinal cell constituting an artificial retina of the present invention.

【図2】本発明による人工網膜の概略の構成を示す図で
ある。
FIG. 2 is a diagram showing a schematic configuration of an artificial retina according to the present invention.

【図3】本発明の人工網膜を構成する周辺網膜細胞の構
成を示す図である。
FIG. 3 is a diagram showing the structure of peripheral retinal cells that form the artificial retina of the present invention.

【図4】本発明による人工視覚装置の概略の構成と作用
を説明するための図である。
FIG. 4 is a diagram for explaining the schematic configuration and operation of the artificial vision device according to the present invention.

【図5】人工視覚装置の視野の移動を説明するための図
である。
FIG. 5 is a diagram for explaining movement of the visual field of the artificial vision device.

【図6】人工網膜に対する入力画像とその出力画像の例
を示す図である。
FIG. 6 is a diagram showing an example of an input image and an output image of the artificial retina.

【図7】第2実施例の人工視覚装置の構成を示す図であ
る。
FIG. 7 is a diagram showing a configuration of an artificial vision device according to a second embodiment.

【図8】CCDイメージセンサの画素配列と画面分割例
を説明するための図である。
FIG. 8 is a diagram for explaining a pixel array of a CCD image sensor and an example of screen division.

【図9】ニューラルネットワークの構成と作用を説明す
るための図である。
FIG. 9 is a diagram for explaining the configuration and operation of the neural network.

【図10】人間の初期視覚機構を説明するための図であ
る。
FIG. 10 is a diagram for explaining a human initial visual mechanism.

【図11】人間の視覚の各細胞の興奮強度を示す図であ
る。
FIG. 11 is a diagram showing the excitation intensity of each human visual cell.

【図12】従来の初期視覚機構の1例の回路図である。FIG. 12 is a circuit diagram of an example of a conventional initial vision mechanism.

【図13】従来の光学的に明暗境界を検出する方法を説
明するための図である。
FIG. 13 is a diagram for explaining a conventional method of optically detecting a bright / dark boundary.

【符号の説明】[Explanation of symbols]

1…人工網膜 1a…中心視野 1b…周辺視野 2…結像手段 3…人工眼球 4…ニューラルネットワーク 5…人工眼球移動手段 6…中心視野細胞 7…周辺視野細胞 8…検出手段 9…入力面 10…フーリエ変換レンズ10 11…フィルター 11a…0次光カット部分 11b…高次光カット部分 11c…高次光カット部分 12…出力面 13…逆フーリエ変換レンズ 21…ズームレンズ 22…人工網膜 23…CCDイメージセンサ 24…人工眼球 25…A/D変換器 26…コンピュータ 27…ニューラルネットワーク 28…次のステップ 80…入力層 81、82、・・…入力ユニット 90…中間層 91、92、・・…中間ユニット 100…出力層 101、102、・・…出力ユニット 29…積算・判定手段 30…物体選択手段 31…乱数発生手段 32…人工眼球駆動手段 DESCRIPTION OF SYMBOLS 1 ... Artificial retina 1a ... Central visual field 1b ... Peripheral visual field 2 ... Imaging means 3 ... Artificial eyeball 4 ... Neural network 5 ... Artificial eyeball moving means 6 ... Central visual field cell 7 ... Peripheral visual field cell 8 ... Detection means 9 ... Input surface 10 ... Fourier transform lens 10 11 ... Filter 11a ... 0th-order light cut portion 11b ... Higher-order light cut portion 11c ... Higher-order light cut portion 12 ... Output surface 13 ... Inverse Fourier transform lens 21 ... Zoom lens 22 ... Artificial retina 23 ... CCD image sensor 24 ... Artificial eyeball 25 ... A / D converter 26 ... Computer 27 ... Neural network 28 ... Next step 80 ... Input layer 81, 82, ... Input unit 90 ... Intermediate layer 91, 92, ... Intermediate unit 100 ... Output Layers 101, 102, ... Output unit 29 ... Integration / determination means 30 ... Object selection means 3 1 ... Random number generating means 32 ... Artificial eyeball driving means

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 入力された物体像のフーリエ変換像を所
定の面上に形成するフーリエ変換レンズと、前記所定の
面上に配置されフーリエ変換像の0次光成分を除去する
フィルターと、フィルタリングされたフーリエ変換像を
逆フーリエ変換して実空間情報に戻す逆フーリエ変換レ
ンズとからなる第1種の人工網膜細胞と、入力された物
体像のフーリエ変換像を所定の面上に形成するフーリエ
変換レンズと、前記所定の面上に配置されフーリエ変換
像の高次光成分を除去するフィルターと、フィルタリン
グされたフーリエ変換像を逆フーリエ変換して実空間情
報に戻す逆フーリエ変換レンズとからなる第2種の人工
網膜細胞と、前記第1種及び第2種の人工網膜細胞から
の出力光を検出する検出素子と、を備えたことを特徴と
する人工網膜。
1. A Fourier transform lens for forming a Fourier transform image of an input object image on a predetermined surface, a filter arranged on the predetermined surface for removing a zero-order light component of the Fourier transform image, and filtering. Of the first kind of artificial retinal cell, which comprises an inverse Fourier transform lens for performing an inverse Fourier transform on the obtained Fourier transform image to return it to real space information, and a Fourier transform image for forming a Fourier transform image of the input object image on a predetermined surface. A second lens comprising a transform lens, a filter arranged on the predetermined surface for removing a higher-order light component of the Fourier transform image, and an inverse Fourier transform lens for performing an inverse Fourier transform on the filtered Fourier transform image to return it to real space information. An artificial retina comprising: a seed artificial retinal cell; and a detection element that detects output light from the first and second artificial retinal cells.
【請求項2】 前記第1種及び第2種の人工網膜細胞の
フーリエ変換レンズは入射面及び射出面が略平面であっ
て、その射出面上に前記フーリエ変換像が形成され、前
記各フィルターは前記射出面に密着して配置されてお
り、前記第1種及び第2種の人工網膜細胞の逆フーリエ
変換レンズは入射面及び射出面が略平面であって、その
入射面は前記フィルターに密着して配置され、その射出
面上に逆フーリエ変換像が形成されるように配置されて
いることを特徴とする請求項1記載の人工網膜。
2. The Fourier transform lens for artificial retina cells of the first and second types has an entrance surface and an exit surface that are substantially flat, and the Fourier transform image is formed on the exit surface, and each of the filters Is placed in close contact with the exit surface, and the inverse Fourier transform lens of the first and second types of artificial retinal cells has an entrance surface and an exit surface that are substantially flat, and the entrance surface is the filter. The artificial retina according to claim 1, wherein the artificial retina is arranged so as to be in close contact with each other and is arranged so that an inverse Fourier transform image is formed on its exit surface.
【請求項3】 物体像を形成する結像手段、及び、請求
項1記載の人工網膜を備えた人工眼球と、前記人工網膜
の前記第1種の人工網膜細胞で検出された情報を受けて
物体のパターン認識を行うためのニューラルネットワー
クと、前記人工網膜の前記第2種の人工網膜細胞で検出
された情報から次に認識する物体を決定する手段と、そ
の認識対象に向けて前記人工眼球を移動させるめの人工
眼球移動手段と、を備えたことを特徴とする人工視覚装
置。
3. An image forming means for forming an object image, an artificial eyeball comprising the artificial retina according to claim 1, and information received by the artificial retinal cells of the first type of the artificial retina. A neural network for pattern recognition of an object, a means for determining an object to be recognized next based on information detected by the second type artificial retinal cells of the artificial retina, and the artificial eyeball toward the recognition target. An artificial vision device comprising: an artificial eye movement device for moving the eye.
JP09775792A 1992-04-17 1992-04-17 Artificial retina and artificial vision device Expired - Fee Related JP3171647B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP09775792A JP3171647B2 (en) 1992-04-17 1992-04-17 Artificial retina and artificial vision device
US08/440,875 US5712729A (en) 1992-04-17 1995-05-15 Artificial retina cell, artificial retina and artificial visual apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09775792A JP3171647B2 (en) 1992-04-17 1992-04-17 Artificial retina and artificial vision device

Publications (2)

Publication Number Publication Date
JPH05297325A true JPH05297325A (en) 1993-11-12
JP3171647B2 JP3171647B2 (en) 2001-05-28

Family

ID=14200757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09775792A Expired - Fee Related JP3171647B2 (en) 1992-04-17 1992-04-17 Artificial retina and artificial vision device

Country Status (1)

Country Link
JP (1) JP3171647B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175653A (en) * 1997-12-08 1999-07-02 Mitsubishi Electric Corp Artificial retina chip-applied monitoring system
US6526160B1 (en) 1998-07-17 2003-02-25 Media Technology Corporation Iris information acquisition apparatus and iris identification apparatus
JP2007033263A (en) * 2005-07-27 2007-02-08 Nagasaki Univ On-board measuring method of shape error of micro recessed surface shape, and measuring device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69636151T2 (en) 1995-06-06 2006-09-14 Optobionics Corp., Naperville Arrangement for irritation of the retina by means of adaptive imaging

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175653A (en) * 1997-12-08 1999-07-02 Mitsubishi Electric Corp Artificial retina chip-applied monitoring system
US6526160B1 (en) 1998-07-17 2003-02-25 Media Technology Corporation Iris information acquisition apparatus and iris identification apparatus
JP2007033263A (en) * 2005-07-27 2007-02-08 Nagasaki Univ On-board measuring method of shape error of micro recessed surface shape, and measuring device

Also Published As

Publication number Publication date
JP3171647B2 (en) 2001-05-28

Similar Documents

Publication Publication Date Title
EP2328006B1 (en) Task-based imaging systems
JP7284502B2 (en) Image processing device and method
US8760516B2 (en) Task-based imaging systems
JP4249627B2 (en) Imaging to obtain an extended focal length using a multifocal aspheric lens
CN108700472B (en) Phase detection autofocus using opposing filter masks
TW201925860A (en) Light field image processing method for depth acquisition
WO2002057832A2 (en) Combined wavefront coding and amplitude contrast imaging systems
CN110806636B (en) Microscopic analysis method
JPH09258287A (en) Multiplexed optical system and feature vector transformer using the system, feature vector detection and transmission device, and recognition classifier using the above
JPH05297325A (en) Artificial retina and artificial visual sensation device
CN105278093B (en) It is a kind of to be used for the system of astronomical target imaging
Sri et al. Diabetic retinopathy classification using deep learning technique
CN113408545B (en) End-to-end photoelectric detection system and method based on micro-optical device
JP3964220B2 (en) Face image recognition system
JP2648198B2 (en) Gaze direction detection method
JPH05297972A (en) Artificial retina device and its manufacture
JP3232147B2 (en) Early visual devices
Vanhoutte et al. Analyzing the reflections from single ommatidia in the butterfly compound eye with Voronoi diagrams
JP2003529857A (en) Image processing
JP3272506B2 (en) Optical pattern recognition and classification device
Alonso Multi-focus computational optical Imaging in Fourier Domain
CN116471386A (en) Image focusing method and related device
Kamemaru et al. Fabrication of a biological visual perception system using a microlens array in a hybrid pattern recognition system
CN114612362A (en) Large-depth-of-field imaging method and system for generating countermeasure network based on multipoint spread function
JPH04259086A (en) Neural network

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010306

LAPS Cancellation because of no payment of annual fees