JP2014116853A - Optical flow sensor, optical sensor and photoelectric conversion element - Google Patents
Optical flow sensor, optical sensor and photoelectric conversion element Download PDFInfo
- Publication number
- JP2014116853A JP2014116853A JP2012270679A JP2012270679A JP2014116853A JP 2014116853 A JP2014116853 A JP 2014116853A JP 2012270679 A JP2012270679 A JP 2012270679A JP 2012270679 A JP2012270679 A JP 2012270679A JP 2014116853 A JP2014116853 A JP 2014116853A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- conversion layer
- optical flow
- layer
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
- Y02E10/549—Organic PV cells
Abstract
Description
本発明は、オプティカルフローセンサ、光センサ並びに前記オプティカルフローセンサ及び前記光センサに用いられる光電変換素子に関するものである。 The present invention relates to an optical flow sensor, an optical sensor, and a photoelectric conversion element used in the optical flow sensor and the optical sensor.
従来、例えば自律移動型ロボットでは、その運動を制御するために、特許文献１に示すように、ロボットに搭載された撮像手段により連続する複数の画像データを取得し、互いに異なる時間に取得した複数の画像データからオプティカルフローを抽出し、得られたオプティカルフローから例えば周囲の障害物を検出するように構成されている。 2. Description of the Related Art Conventionally, for example, in an autonomous mobile robot, in order to control its movement, as shown in Patent Document 1, a plurality of continuous image data is acquired by imaging means mounted on the robot, and a plurality of images acquired at different times are acquired. The optical flow is extracted from the image data and, for example, surrounding obstacles are detected from the obtained optical flow.
しかしながら、複数の画像データからオプティカルフローを抽出するためには、デジタル演算回路を用いた画像処理機能を如何に高めるかが問題となっており、デジタル技術のみでは限界があり、自律移動型ロボットにおける消費電力、占有空間、コスト等の制約を克服することは困難である。 However, in order to extract an optical flow from a plurality of image data, there is a problem of how to improve an image processing function using a digital arithmetic circuit, and there is a limit only in digital technology, and in an autonomous mobile robot It is difficult to overcome constraints such as power consumption, occupied space, and cost.
ところで、特許文献２に示すように、バイオ由来の光受容性タンパク質であるバクテリオロドプシン（ｂＲ）の光化学反応サイクル（プロトンポンプ）を利用した移動体検出素子が考えられている。この移動体検出素子は、表面に複数の画素電極が２次元配列状に形成された第１基板と、表面に対向電極が形成された第２基板と、両電極間に配された誘電体とを備え、前記対向電極の表面にバクテリオロドプシンを含む紫膜の配向膜が形成されている。 By the way, as shown in Patent Document 2, a moving body detection element utilizing a photochemical reaction cycle (proton pump) of bacteriorhodopsin (bR), which is a biophotoreceptive protein, has been considered. The moving body detection element includes a first substrate having a plurality of pixel electrodes formed in a two-dimensional array on the surface, a second substrate having a counter electrode formed on the surface, and a dielectric disposed between the electrodes. And a purple alignment film containing bacteriorhodopsin is formed on the surface of the counter electrode.
しかしながら、この移動検出素子では、光情報（画像）に含まれる移動体の輪郭情報が取得できるものの、その他の移動方向や移動速度は、互いに異なる時間に取得した複数の輪郭情報を用いて演算する必要がある。そうすると、従来の画像データからオプティカルフローを演算するのと同様に、デジタル演算回路を用いた画像処理機能を如何に高めるかが問題となってしまう。 However, although this movement detection element can acquire the contour information of the moving body included in the optical information (image), other movement directions and movement speeds are calculated using a plurality of contour information acquired at different times. There is a need. Then, as in the case of calculating the optical flow from the conventional image data, it becomes a problem how to enhance the image processing function using the digital arithmetic circuit.
一方、本願発明者は、前記バクテリオロドプシンを用いた双極型光検出器についての研究を行っている。具体的にこの双極型光検出器は、網膜神経節細胞の受容野の機能をシミュレートして、図８に示すように、興奮領域に対応する部分にバクテリオロドプシン薄膜を形成するとともに、抑制領域に対応する部分にバクテリオロドプシン薄膜を形成して構成されている。この双極型光検出器において輪郭情報（エッジ）を移動させると、当該移動に伴って光応答電流が図８に示すように変化する。 On the other hand, the inventor of the present application has been studying a bipolar photodetector using the bacteriorhodopsin. Specifically, this bipolar photodetector simulates the function of the receptive field of retinal ganglion cells, and forms a bacteriorhodopsin thin film in a portion corresponding to the excitable region as shown in FIG. Is formed by forming a bacteriorhodopsin thin film in a portion corresponding to the above. When the contour information (edge) is moved in this bipolar photodetector, the photoresponse current changes as shown in FIG.
そして、本願発明者は、図８に示す特性を生かしてオプティカルフロー検出機能を作り出すことができるのではないかと考え、例えば光受容性タンパク質等の光電変換材料が種類によって光応答時定数が異なることに着目し、これによって本発明がなされたものである。つまり、本発明は、単一の時間に取得した出力電流からオプティカルフローを算出することができるようにすることをその主たる課題とするものである。 Then, the inventor of the present application thinks that the optical flow detection function can be created by making use of the characteristics shown in FIG. 8, and the photoresponse time constant varies depending on the type of photoelectric conversion material such as a photoreceptive protein. Thus, the present invention has been made. That is, the main object of the present invention is to be able to calculate the optical flow from the output current acquired at a single time.
すなわち本発明に係るオプティカルフローセンサは、光応答時定数が互いに異なる第１光電変換層及び第２光電変換層を有する複数の光電変換素子を平面状に配列して構成されており、前記各光電変換素子から出力される出力電流をパラメータとしてオプティカルフローを算出することを特徴とする。ここで光応答時定数とは、光電変換層が光を受光して光応答電流が発生するまでの応答の速さを示す特性値である。 That is, the optical flow sensor according to the present invention is configured by arranging a plurality of photoelectric conversion elements having a first photoelectric conversion layer and a second photoelectric conversion layer having different optical response time constants in a planar shape, The optical flow is calculated using the output current output from the conversion element as a parameter. Here, the photoresponse time constant is a characteristic value indicating the speed of response until the photoelectric conversion layer receives light and generates a photoresponse current.
このようなものであれば、光応答時定数が互いに異なる第１光電変換層及び第２光電変換層を用いているので、それら光電変換層の光応答時定数の違いから移動体における輪郭の移動方向によって光電変換素子から出力される電流が異なることになる。これにより、移動体における輪郭の移動方向を算出することができる。また、それら光電変換層の光応答時定数の違いから移動体における輪郭の移動速度によって光電変換素子から出力される電流が異なることになる。これにより、移動体における輪郭の移動速度を算出することができる。したがって、各光電変換素子からの出力電流をパラメータとしてオプティカルフローを容易に算出することができる。本発明は、互いに異なる時間に取得した複数の出力電流を用いることなく、単一の時間に取得した出力電流によってオプティカルフローを算出することができる。また、このように構成したオプティカルフローセンサの光電変換素子は、外部からの電力供給無しに出力電流を出力するため、省電力化が可能となる。さらに、ロボットに適用した場合には、その姿勢制御や周囲の障害物を検出するためのジャイロセンサ、超音波センサ又はレーダ等のセンシングデバイスを不要とすることが可能となり、ロボットの構造の簡素化や小型化が可能となる。 If it is such, since the 1st photoelectric conversion layer and the 2nd photoelectric conversion layer from which a photoresponse time constant differs mutually are used, the movement of the outline in a mobile body from the difference in the photoresponse time constant of these photoelectric conversion layers The current output from the photoelectric conversion element varies depending on the direction. Thereby, the moving direction of the contour in the moving body can be calculated. Further, the current output from the photoelectric conversion element varies depending on the moving speed of the contour of the moving body due to the difference in the photoresponse time constants of the photoelectric conversion layers. Thereby, the moving speed of the contour in the moving body can be calculated. Therefore, the optical flow can be easily calculated using the output current from each photoelectric conversion element as a parameter. The present invention can calculate an optical flow from output currents acquired at a single time without using a plurality of output currents acquired at different times. Further, the photoelectric conversion element of the optical flow sensor configured as described above outputs an output current without supplying power from the outside, so that power saving can be achieved. Furthermore, when applied to a robot, it becomes possible to eliminate the need for sensing devices such as gyro sensors, ultrasonic sensors, or radars for posture control and detection of surrounding obstacles, thereby simplifying the structure of the robot. And miniaturization becomes possible.
特に、移動体の輪郭の移動方向を的確に算出するためには、前記各光電変換素子における前記第１光電変換層の受光面及び前記第２光電変換層の受光面が、平面方向において互いにずれて配置されていることが望ましい。 In particular, in order to accurately calculate the moving direction of the contour of the moving body, the light receiving surface of the first photoelectric conversion layer and the light receiving surface of the second photoelectric conversion layer in each photoelectric conversion element are shifted from each other in the planar direction. It is desirable to be arranged.
前記複数の光電変換素子からの出力電流値それぞれを、前記複数の光電変換素子に対応して配列して形成される電流分布に基づいてオプティカルフローを算出することが望ましい。例えば、当該電流分布におけるエッジ部分に対応する光電変換素子とゼロクロス部分に対応する光電変換素子とに基づいてオプティカルフローを算出することが考えられる。 It is desirable to calculate an optical flow based on a current distribution formed by arranging output current values from the plurality of photoelectric conversion elements in correspondence with the plurality of photoelectric conversion elements. For example, it is conceivable to calculate the optical flow based on the photoelectric conversion element corresponding to the edge portion in the current distribution and the photoelectric conversion element corresponding to the zero-cross portion.
前記第１光電変換層及び前記第２光電変換層の組み合わせが、野生型のバイオ材料由来の光受容性タンパク質及び遺伝子組み換え型のバイオ材料由来の光受容性タンパク質、又は、互いに異なる野生型のバイオ材料由来の光受容性タンパク質、又は、互いに異なる遺伝子組み換え型のバイオ材料由来の光受容性タンパク質であることが望ましい。これならば、低コストでセンサを構成することができるとともに、大面積化も可能であり、センサに柔軟性を持たせることも容易となる。また、バイオ材料であるため、環境に負担が少ないものとすることができる。 The combination of the first photoelectric conversion layer and the second photoelectric conversion layer is a wild-type biomaterial-derived photoreceptive protein and a genetically modified biomaterial-derived photoreceptive protein, or different wild-type biomaterials. It is desirable that the protein is a photoreceptive protein derived from a material or a photoreceptive protein derived from different genetically modified biomaterials. If this is the case, the sensor can be configured at low cost, the area can be increased, and the sensor can be easily flexible. In addition, since it is a biomaterial, it can reduce the burden on the environment.
前記第１光電変換層及び前記第２光電変換層が、バイオ材料由来の光受容性タンパク質からなり、前記光電変換素子が、透光性を有する第１導電性層上に前記第１光電変換層が被膜されてなる第１電極と、第２導電性層上に前記第２光電変換層が被膜されてなる第２電極と、前記第１電極及び前記第２電極の両方に接触する電解液とを有するものであることが望ましい。 The first photoelectric conversion layer and the second photoelectric conversion layer are made of a biomaterial-derived photoreceptive protein, and the photoelectric conversion element is formed on the first conductive layer having translucency. A first electrode formed by coating a second electrode obtained by coating the second photoelectric conversion layer on a second conductive layer, and an electrolyte solution that contacts both the first electrode and the second electrode. It is desirable to have.
また本発明に係る光センサは、光応答時定数が互いに異なる第１光電変換層及び第２光電変換層を有し、前記第１光電変換層及び前記第２光電変換層の間に電流出力回路が形成され、前記電流出力回路からの出力電流により光情報を生成することを特徴とする。 An optical sensor according to the present invention includes a first photoelectric conversion layer and a second photoelectric conversion layer having different optical response time constants, and a current output circuit between the first photoelectric conversion layer and the second photoelectric conversion layer. And optical information is generated by an output current from the current output circuit.
さらに本発明に係る光電変換素子は、光応答時定数が互いに異なる第１光電変換層及び第２光電変換層を有し、前記第１光電変換層及び前記第２光電変換層の間に電流出力回路が形成されていることを特徴とする。 The photoelectric conversion element according to the present invention further includes a first photoelectric conversion layer and a second photoelectric conversion layer having different optical response time constants, and a current output is provided between the first photoelectric conversion layer and the second photoelectric conversion layer. A circuit is formed.
このように構成した本発明によれば、光応答時定数の互いに異なる第１光電変換層及び第２光電変換層を用いているので、双極型光検出器の出力電流からオプティカルフローを算出することができる。 According to the present invention configured as described above, since the first photoelectric conversion layer and the second photoelectric conversion layer having different optical response time constants are used, the optical flow is calculated from the output current of the bipolar photodetector. Can do.
以下に本発明に係るオプティカルフローセンサについて図面を参照して説明する。 An optical flow sensor according to the present invention will be described below with reference to the drawings.
本実施形態のオプティカルフローセンサ１００は、図１及び２に示すように、光応答時定数が互いに異なる第１光電変換層２２及び第２光電変換層３２を有する複数の光電変換素子１０を平面状に配列して構成されている。この複数の光電変換素子１０からの出力電流は、オプティカルフロー算出部１１に出力される。なお、平面状に配列された複数の光電変換素子１０は、図１に示すように、縦横マトリックス状に配置されるものの他、所定の中心から放射状に配置されるものであっても良く、種々の配置態様とすることができる。 As shown in FIGS. 1 and 2, the optical flow sensor 100 according to this embodiment includes a plurality of photoelectric conversion elements 10 having a first photoelectric conversion layer 22 and a second photoelectric conversion layer 32 having different optical response time constants in a planar shape. It is arranged and arranged. Output currents from the plurality of photoelectric conversion elements 10 are output to the optical flow calculation unit 11. As shown in FIG. 1, the plurality of photoelectric conversion elements 10 arranged in a plane may be arranged radially from a predetermined center in addition to those arranged in a vertical and horizontal matrix. It can be set as this arrangement | positioning aspect.
各光電変換素子１０は、双極型光検出器であり、図２に示すように、透光性を有する第１導電性層２１上に第１光電変換層２２が被膜されてなる第１電極２と、透光性を有する第２導電性層３１上に第２光電変換層３２が被膜されてなる第２電極３と、第１電極２及び第２電極３の両方に接触する電解液４と、第１光電変換層２２及び第２光電変換層３２の間に形成された電流出力回路５とを有するものである。ここで、第１電極２による電流と第２電極３による電流とは逆向きとなるように構成されている。また、電解液４は、例えば塩化カリウム（ＫＣｌ）溶液である。 Each photoelectric conversion element 10 is a bipolar photodetector, and as shown in FIG. 2, a first electrode 2 in which a first photoelectric conversion layer 22 is coated on a first conductive layer 21 having translucency. A second electrode 3 in which a second photoelectric conversion layer 32 is coated on a light-transmitting second conductive layer 31, and an electrolyte solution 4 in contact with both the first electrode 2 and the second electrode 3. And a current output circuit 5 formed between the first photoelectric conversion layer 22 and the second photoelectric conversion layer 32. Here, the current from the first electrode 2 and the current from the second electrode 3 are configured in opposite directions. The electrolytic solution 4 is, for example, a potassium chloride (KCl) solution.
第１導電性層２１は、例えばＩＴＯ薄膜等の薄膜状電極であり、透明ガラス基板２３上に形成されている。また、第２導電性層３１も、前記第１導電性層２１と同様に、例えばＩＴＯ薄膜等の薄膜状電極であり、透明ガラス基板３３上に形成されている。なお、透明ガラス基板２３は、複数の光電変換素子１０において共通の単一基板であり、透明ガラス基板３３も同様に、複数の光電変換素子１０において共通の単一基板である。 The first conductive layer 21 is a thin film electrode such as an ITO thin film, and is formed on the transparent glass substrate 23. Similarly to the first conductive layer 21, the second conductive layer 31 is a thin film electrode such as an ITO thin film, and is formed on the transparent glass substrate 33. The transparent glass substrate 23 is a single substrate common to the plurality of photoelectric conversion elements 10, and the transparent glass substrate 33 is also a single substrate common to the plurality of photoelectric conversion elements 10.
前記第１導電性層２１の表面に形成された第１光電変換層２２及び前記第２導電性層３１の表面に形成された第２光電変換層３２は、例えばバイオ材料由来の光受容性タンパク質であるバクテリオロドプシン（ｂＲ）から形成された光受容性タンパク質薄膜である。これらの第１光電変換層２２及び第２光電変換層３２は、ディップコート法を用いて形成されたものであり、引き上げ速度及びバクテリオロドプシン溶液の濃度を制御することによって、例えば膜厚が４ｎｍ〜２００ｎｍとなるように制御されている。なお、その他、膜厚制御が困難であるが、キャスト法を用いて形成しても良いし、スピンコート法を用いても良い。 The first photoelectric conversion layer 22 formed on the surface of the first conductive layer 21 and the second photoelectric conversion layer 32 formed on the surface of the second conductive layer 31 are, for example, biomaterial-derived photoreceptor proteins. It is a photoreceptive protein thin film formed from bacteriorhodopsin (bR). The first photoelectric conversion layer 22 and the second photoelectric conversion layer 32 are formed by using a dip coating method. By controlling the pulling rate and the concentration of the bacteriorhodopsin solution, for example, the film thickness is 4 nm to 4 nm. It is controlled to be 200 nm. In addition, although it is difficult to control the film thickness, it may be formed using a casting method or a spin coating method.
そして、本実施形態の第１光電変換層２２及び第２光電変換層３２は、光応答時定数が互いに異なるものである。具体的に第１光電変換層２２は、野生型のバイオ材料由来の光受容性タンパク質、つまり野生型のバクテリオロドプシンにより形成されており、第２光電変換層３２は、遺伝子組み換えされたバイオ材料由来の光受容性タンパク質、つまり遺伝子組み換えされたバクテリオロドプシン（例えばＤ９６Ｎ変異型バクテリオロドプシン）により形成されている。ここで図３に示すように、野生型のバクテリオロドプシンの光応答時定数は、Ｄ９６Ｎ変異型バクテリオロドプシンの光応答時定数よりも小さい。なお、図３のグラフにおける横軸は、変異型バクテリオロドプシンの立ち上がり時定数で規格化した時間であり、具体的には実験結果から得た時定数を用いて算出される。また、同グラフの縦軸は、光応答電流値であり、任意単位（ａｒｂｉｔｒａｒｙ ｕｎｉｔ）で表される。 In addition, the first photoelectric conversion layer 22 and the second photoelectric conversion layer 32 of the present embodiment have different photoresponse time constants. Specifically, the first photoelectric conversion layer 22 is formed of a wild-type biomaterial-derived photoreceptive protein, that is, wild-type bacteriorhodopsin, and the second photoelectric conversion layer 32 is derived from a genetically modified biomaterial. A photoreceptive protein, that is, a genetically modified bacteriorhodopsin (for example, D96N mutant bacteriorhodopsin). Here, as shown in FIG. 3, the photoresponse time constant of wild-type bacteriorhodopsin is smaller than the photoresponse time constant of D96N mutant bacteriorhodopsin. The horizontal axis in the graph of FIG. 3 is the time normalized by the rise time constant of the mutant bacteriorhodopsin, and is specifically calculated using the time constant obtained from the experimental results. In addition, the vertical axis of the graph is the photoresponse current value, which is expressed in arbitrary units.
また、本実施形態の光電変換素子１０では、第１光電変換層２２の受光面２２ａ及び第２光電変換層３２の受光面３２ａが、平面方向においてが互いにずれて配置されている。具体的に第１光電変換層２２の受光面２２ａ及び第２光電変換層３２の受光面３２ａが互いに重ならないように配置されている。また、この光電変換素子１０は、網膜神経節細胞の受容野の機能をシミュレートして、興奮領域に対応する部分に第１光電変換層２２が設けられ、その両側である抑制領域に対応する部分に第２光電変換層３２が設けられている。 Further, in the photoelectric conversion element 10 of the present embodiment, the light receiving surface 22a of the first photoelectric conversion layer 22 and the light receiving surface 32a of the second photoelectric conversion layer 32 are arranged so as to be shifted from each other in the planar direction. Specifically, the light receiving surface 22a of the first photoelectric conversion layer 22 and the light receiving surface 32a of the second photoelectric conversion layer 32 are disposed so as not to overlap each other. Further, this photoelectric conversion element 10 simulates the function of the receptive field of the retinal ganglion cell, and the first photoelectric conversion layer 22 is provided in a portion corresponding to the excitable region, and corresponds to the suppression regions on both sides thereof. The second photoelectric conversion layer 32 is provided in the portion.
この光電変換素子１０に照射領域のエッジ（輪郭）が一定速度で移動するように光を照射した場合、照射領域のエッジの移動速度に応じて光電変換素子１０から出力される光応答電流値の変化態様（波形）が異なる。これにより、照射領域の移動速度を算出することができる。 When the photoelectric conversion element 10 is irradiated with light so that the edge (contour) of the irradiation region moves at a constant speed, the photoresponse current value output from the photoelectric conversion element 10 according to the moving speed of the edge of the irradiation region The change mode (waveform) is different. Thereby, the moving speed of the irradiation region can be calculated.
そして本実施形態のオプティカルフローセンサ１００は、複数の光電変換素子１０から出力される出力電流をパラメータとしてオプティカルフローを算出するオプティカルフロー算出部１１を有している。このオプティカルフロー算出部１１は、複数の光電変換素子１０からの出力電流値それぞれを、複数の光電変換素子１０に対応して配列して形成される電流分布に基づいてオプティカルフローを算出するものである。 The optical flow sensor 100 of this embodiment includes an optical flow calculation unit 11 that calculates an optical flow using output currents output from the plurality of photoelectric conversion elements 10 as parameters. The optical flow calculation unit 11 calculates an optical flow based on a current distribution formed by arranging output current values from the plurality of photoelectric conversion elements 10 in correspondence with the plurality of photoelectric conversion elements 10. is there.
具体的に算出部１１は、前記電流分布におけるエッジ部分に対応する光電変換素子１０（Ａ）とゼロクロス部分に対応する光電変換素子１０（Ｂ）とに基づいてオプティカルフローを算出する。簡単のため、複数の光電変換素子１０を直線状に配列した場合について図４に示す。なお、図４は、１００個の光電変換素子１０を直線状に配列した場合である。また、規格化速度ｖは、隣接する光電変換素子１０間の距離を変異型バクテリオロドプシンの立ち上がり時定数で割ったものである。規格化速度をｖ＝１，５，１０，５０，１００と変化させた場合の電流分布の変化をそれぞれ図４の（ａ）〜（ｅ）に示している。図４の（ａ）〜（ｅ）から分かるように、移動体（光照射領域）の移動速度に伴って、エッジ部分に対応する光電変換素子１０（Ａ）とゼロクロス部分に対応する光電変換素子１０（Ｂ）の距離が大きくなっており、電流分布から、エッジ部分に対応する光電変換素子１０（Ａ）及びゼロクロス部分に対応する光電変換素子１０（Ｂ）を特定することによって、オプティカルフローを算出することができる。その他、電流分布におけるピーク電流値又は当該ピーク電流値を示す光電変換素子１０に基づいてオプティカルフローを算出するようにしても良いし、電流分布における波形形状に基づいてオプティカルフローを算出するようにしても良い。 Specifically, the calculation unit 11 calculates an optical flow based on the photoelectric conversion element 10 (A) corresponding to the edge portion in the current distribution and the photoelectric conversion element 10 (B) corresponding to the zero-cross portion. For simplicity, FIG. 4 shows a case where a plurality of photoelectric conversion elements 10 are arranged in a straight line. FIG. 4 shows a case where 100 photoelectric conversion elements 10 are arranged linearly. The normalized speed v is obtained by dividing the distance between adjacent photoelectric conversion elements 10 by the rise time constant of the mutant bacteriorhodopsin. Changes in the current distribution when the normalization speed is changed to v = 1, 5, 10, 50, 100 are shown in FIGS. As can be seen from FIGS. 4A to 4E, the photoelectric conversion element 10 (A) corresponding to the edge portion and the photoelectric conversion element corresponding to the zero-cross portion according to the moving speed of the moving body (light irradiation region). The distance of 10 (B) is increased, and the optical flow is determined by specifying the photoelectric conversion element 10 (A) corresponding to the edge portion and the photoelectric conversion element 10 (B) corresponding to the zero-cross portion from the current distribution. Can be calculated. In addition, the optical flow may be calculated based on the peak current value in the current distribution or the photoelectric conversion element 10 indicating the peak current value, or the optical flow may be calculated based on the waveform shape in the current distribution. Also good.
このように構成した本実施形態に係るオプティカルフローセンサ１００によれば、光応答時定数が互いに異なる第１光電変換層２２及び第２光電変換層３２を用いているので、それら光電変換層２２、３２の光応答時定数の違いから移動体における輪郭の移動方向によって光電変換素子１０から出力される電流が異なることになる。これにより、移動体における輪郭の移動方向を算出することができる。また、それら光電変換層２２、３２の光応答時定数の違いから移動体における輪郭の移動速度によって光電変換素子１０から出力される電流が異なることになる。これにより、配列された複数の光電変換素子からの電流分布を用いて移動体における輪郭の移動速度を算出することができる。したがって、各光電変換素子１０からの出力電流をパラメータとしてオプティカルフローを算出することができる。 According to the optical flow sensor 100 according to the present embodiment configured as described above, since the first photoelectric conversion layer 22 and the second photoelectric conversion layer 32 having different optical response time constants are used, the photoelectric conversion layer 22, The current output from the photoelectric conversion element 10 differs depending on the moving direction of the contour of the moving body from the difference in the optical response time constant of 32. Thereby, the moving direction of the contour in the moving body can be calculated. Further, the current output from the photoelectric conversion element 10 varies depending on the moving speed of the contour of the moving body due to the difference in the optical response time constants of the photoelectric conversion layers 22 and 32. Thereby, the moving speed of the contour in the moving body can be calculated using the current distribution from the plurality of arranged photoelectric conversion elements. Therefore, the optical flow can be calculated using the output current from each photoelectric conversion element 10 as a parameter.
また、本実施形態のオプティカルフローセンサ１００によれば、互いに異なる時間に取得した複数の出力電流を用いることなく、単一の時間に取得した出力電流によってオプティカルフローを算出することができる。また、このように構成したオプティカルフローセンサ１００の光電変換素子１０は、外部からの電力供給無しに、出力電流を出力するため、省電力化が可能である。さらに、ロボットに適用した場合には、その姿勢制御や周囲の障害物を検出するためのジャイロセンサ、超音波センサ又はレーダ等のセンシングデバイスを不要とすることが可能となり、ロボットの構造の簡素化や小型化が可能となる。 Further, according to the optical flow sensor 100 of the present embodiment, the optical flow can be calculated from the output current acquired at a single time without using a plurality of output currents acquired at different times. Further, since the photoelectric conversion element 10 of the optical flow sensor 100 configured in this way outputs an output current without supplying power from the outside, power saving can be achieved. Furthermore, when applied to a robot, it becomes possible to eliminate the need for sensing devices such as gyro sensors, ultrasonic sensors, or radars for posture control and detection of surrounding obstacles, thereby simplifying the structure of the robot. And miniaturization becomes possible.
なお、本発明は前記実施形態に限られるものではない。
例えば、前記実施形態の第１光電変換層２２及び第２光電変換層３２の組み合わせが、野生型のバクテリオロドプシン及び遺伝子組み換えされたバクテリオロドプシンであったが、その他の組み合わせとしては、互いに異なる野生型のバイオ材料由来の光受容性タンパク質であっても良いし、互いに異なる遺伝子組み換え型のバイオ材料由来の光受容性タンパク質であっても良い。また、第１光電変換層２２及び第２光電変換層３２の光応答時定数が異なるものであれば、第１光電変換層２２及び第２光電変換層３２が互いに異なる有機化合物であっても良いし、互いに異なる半導体材料であっても良い。
The present invention is not limited to the above embodiment.
For example, the combination of the first photoelectric conversion layer 22 and the second photoelectric conversion layer 32 of the embodiment is a wild-type bacteriorhodopsin and a genetically modified bacteriorhodopsin, but other combinations include wild-types different from each other. Photoreceptive proteins derived from these biomaterials may be used, or photoreceptive proteins derived from different genetically modified biomaterials may be used. Further, the first photoelectric conversion layer 22 and the second photoelectric conversion layer 32 may be different organic compounds as long as the first photoelectric conversion layer 22 and the second photoelectric conversion layer 32 have different optical response time constants. However, different semiconductor materials may be used.
また、光電変換素子１０における第１光電変換層２２及び第２光電変換層３２としては、図５に示すように、第１光電変換層２２及び第２光電変換層３２を１つずつ有するものであっても良いし、第１光電変換層２２及び第２光電変換層３２の一部が平面方向において一部重なるように配置されたものであっても良い。なお、図６に示すように、透明な材料を光電変換層に用いる場合においては、第１光電変換層２２及び第２光電変換層３２の全体が平面方向に重なるように配置してもよい。また、第１光電変換層２２及び第２光電変換層３２の一部が平面方向に重なるように配置してもよい。 Moreover, as the 1st photoelectric converting layer 22 and the 2nd photoelectric converting layer 32 in the photoelectric conversion element 10, as shown in FIG. 5, it has the 1st photoelectric converting layer 22 and the 2nd photoelectric converting layer 32 one each. Alternatively, the first photoelectric conversion layer 22 and the second photoelectric conversion layer 32 may be partly overlapped in the planar direction. In addition, as shown in FIG. 6, when using a transparent material for a photoelectric converting layer, you may arrange | position so that the whole 1st photoelectric converting layer 22 and the 2nd photoelectric converting layer 32 may overlap in a plane direction. Moreover, you may arrange | position so that a part of 1st photoelectric converting layer 22 and the 2nd photoelectric converting layer 32 may overlap in a plane direction.
さらに、外部に差分回路を設置する場合または応答極性の異なる光電変換層を用いる場合においては、図７に示すように、光電変換素子１０における第１電極２及び第２電極３を同一の基板に配置したものであっても良い。 Furthermore, when a differential circuit is installed outside or when a photoelectric conversion layer having a different response polarity is used, the first electrode 2 and the second electrode 3 in the photoelectric conversion element 10 are placed on the same substrate as shown in FIG. It may be arranged.
加えて、本発明のオプティカルフローセンサは、ロボット・移動体におけるモーション検出、移動車両の相対速度の検出、死角に入った車両や並列・追い越し車両の検出、歩行者・障害物の検出、車両等の衝突危険回避、インターネット等の通信手段を介したロボット、移動体等のリモート制御用センサ等に利用することができる。 In addition, the optical flow sensor of the present invention can detect motion in a robot / moving body, detect the relative speed of a moving vehicle, detect a vehicle in a blind spot, a parallel / passing vehicle, detect a pedestrian / obstacle, a vehicle, etc. It can be used for a remote control sensor for a robot, a moving body, etc. via communication means such as the Internet.
その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。 In addition, it goes without saying that the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
１００・・・オプティカルフローセンサ
１０ ・・・光電変換素子
２ ・・・第１電極
２１ ・・・第１導電性層
２２ ・・・第１光電変換層
３ ・・・第２電極
３１ ・・・第２導電性層
３２ ・・・第２光電変換層
４ ・・・電解液
５ ・・・電流出力回路
DESCRIPTION OF SYMBOLS 100 ... Optical flow sensor 10 ... Photoelectric conversion element 2 ... 1st electrode 21 ... 1st electroconductive layer 22 ... 1st photoelectric conversion layer 3 ... 2nd electrode 31 ... 2nd electroconductive layer 32 ... 2nd photoelectric converting layer 4 ... Electrolyte solution 5 ... Current output circuit
Claims (6)
前記光電変換素子が、透光性を有する第１導電性層上に前記第１光電変換層が被膜されてなる第１電極と、第２導電性層上に前記第２光電変換層が被膜されてなる第２電極と、前記第１電極及び前記第２電極の両方に接触する電解液とを有するものである請求項１乃至３の何れかに記載のオプティカルフローセンサ。 The first photoelectric conversion layer and the second photoelectric conversion layer are made of a biomaterial-derived photoreceptive protein,
The photoelectric conversion element has a first electrode in which the first photoelectric conversion layer is coated on a light-transmitting first conductive layer, and the second photoelectric conversion layer is coated on a second conductive layer. The optical flow sensor according to any one of claims 1 to 3, wherein the second electrode and an electrolytic solution in contact with both the first electrode and the second electrode are provided.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012270679A JP6085775B2 (en) | 2012-12-11 | 2012-12-11 | Optical flow sensor, optical sensor, and photoelectric conversion element |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012270679A JP6085775B2 (en) | 2012-12-11 | 2012-12-11 | Optical flow sensor, optical sensor, and photoelectric conversion element |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014116853A true JP2014116853A (en) | 2014-06-26 |
| JP6085775B2 JP6085775B2 (en) | 2017-03-01 |
Family
ID=51172421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012270679A Expired - Fee Related JP6085775B2 (en) | 2012-12-11 | 2012-12-11 | Optical flow sensor, optical sensor, and photoelectric conversion element |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6085775B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107667638A (en) * | 2017-11-22 | 2018-02-09 | 河南科技大学 | A kind of transplanter and its adjusting method for automatically adjusting spacing in the rows |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5885296B2 (en) * | 2012-02-15 | 2016-03-15 | 日本電波工業株式会社 | Ultrasonic probe |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04312081A (en) * | 1991-04-11 | 1992-11-04 | Fuji Photo Film Co Ltd | Image information detecting method by photoelectric conversion element |
| JPH04311954A (en) * | 1991-04-11 | 1992-11-04 | Fuji Photo Film Co Ltd | Method for detecting optical information by means of photoelectric transfer element |
| JP2000267223A (en) * | 1999-03-17 | 2000-09-29 | Sanyo Electric Co Ltd | Optical information processing device |
| JP2002176191A (en) * | 2000-09-27 | 2002-06-21 | Fuji Photo Film Co Ltd | Sensitive light receiving element and image sensor |
| JP2002310793A (en) * | 2001-04-09 | 2002-10-23 | Fuji Photo Film Co Ltd | High sensitivity light receiving element and image sensor |
-
2012
- 2012-12-11 JP JP2012270679A patent/JP6085775B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04312081A (en) * | 1991-04-11 | 1992-11-04 | Fuji Photo Film Co Ltd | Image information detecting method by photoelectric conversion element |
| JPH04311954A (en) * | 1991-04-11 | 1992-11-04 | Fuji Photo Film Co Ltd | Method for detecting optical information by means of photoelectric transfer element |
| JP2000267223A (en) * | 1999-03-17 | 2000-09-29 | Sanyo Electric Co Ltd | Optical information processing device |
| JP2002176191A (en) * | 2000-09-27 | 2002-06-21 | Fuji Photo Film Co Ltd | Sensitive light receiving element and image sensor |
| JP2002310793A (en) * | 2001-04-09 | 2002-10-23 | Fuji Photo Film Co Ltd | High sensitivity light receiving element and image sensor |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107667638A (en) * | 2017-11-22 | 2018-02-09 | 河南科技大学 | A kind of transplanter and its adjusting method for automatically adjusting spacing in the rows |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6085775B2 (en) | 2017-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | A multi-layered interdigitative-electrodes-based triboelectric nanogenerator for harvesting hydropower | |
| US10094927B2 (en) | Detector for optically determining a position of at least one object | |
| JP6231025B2 (en) | Method for measuring capacitance with irregular electrodes and apparatus implementing such a method | |
| Jin et al. | Artificial vision adaption mimicked by an optoelectrical In2O3 transistor array | |
| US20170123593A1 (en) | Detector for determining a position of at least one object | |
| KR101200741B1 (en) | Touch-sensitive display device and method | |
| Raharijaona et al. | Local positioning system using flickering infrared leds | |
| CN105723305A (en) | Conductive film and touch panel | |
| JP5473460B2 (en) | Input device and display device including the input device | |
| US9189081B2 (en) | Optical sensing apparatus and method for detecting object near optical sensing apparatus | |
| Chen et al. | Investigation of position sensing and energy harvesting of a flexible triboelectric touch pad | |
| JP2010197066A (en) | Pressure sensor and method of pressure measurement of pressure sensor | |
| JP6085775B2 (en) | Optical flow sensor, optical sensor, and photoelectric conversion element | |
| KR20150046238A (en) | Sensor system for detecting a movement of an infrared light source | |
| KR102057567B1 (en) | Touch pressure sensitivity compensation method of touch input device and computer readable recording medium | |
| Xu et al. | Deep learning assisted ternary electrification layered triboelectric membrane sensor for self-powered home security | |
| Izquierdo et al. | Feasibility of using a MEMS microphone array for pedestrian detection in an autonomous emergency braking system | |
| US9952692B2 (en) | Sensor device and method of fabricating the same | |
| Okada-Shudo et al. | Directionally selective motion detection with bacteriorhodopsin patterned sensor | |
| Guo et al. | An ROS architecture for autonomous mobile robots with UCAR platforms in smart restaurants | |
| US20220035222A1 (en) | Light modulator, light modulator method and smart glazing | |
| TW201007520A (en) | 3-dimensional interactive display and method for detecting 3-dimensional coordinates thereof | |
| JP2016018289A (en) | Position fixing method and structure for rotation compensation type multi-touch on capacitive touch panel | |
| You et al. | Emerging Memtransistors for Neuromorphic System Applications: A Review | |
| Khan et al. | Design and implementation of a robot for maze-solving with turning indicators using PID controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151022 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6085775 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |