JP2010025906A - Distance image sensor - Google Patents

Distance image sensor Download PDF

Info

Publication number
JP2010025906A
JP2010025906A JP2008191290A JP2008191290A JP2010025906A JP 2010025906 A JP2010025906 A JP 2010025906A JP 2008191290 A JP2008191290 A JP 2008191290A JP 2008191290 A JP2008191290 A JP 2008191290A JP 2010025906 A JP2010025906 A JP 2010025906A
Authority
JP
Japan
Prior art keywords
light
distance
unit
light amount
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008191290A
Other languages
Japanese (ja)
Other versions
JP5308088B2 (en
Inventor
Kazuyasu Yamane
一泰 山根
Yuji Takada
裕司 高田
Takashi Kishida
貴司 岸田
Yusuke Hashimoto
裕介 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Electric Works Co Ltd filed Critical Panasonic Electric Works Co Ltd
Priority to JP2008191290A priority Critical patent/JP5308088B2/en
Publication of JP2010025906A publication Critical patent/JP2010025906A/en
Application granted granted Critical
Publication of JP5308088B2 publication Critical patent/JP5308088B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a distance image sensor achieving a suitable detecting distance range for a wide variety of applications. <P>SOLUTION: A light adjusting part 7 controls a light quantity which is received at a light receiving part 3, by adjusting the light quantity which is projecting into an object space from a light projecting part 2. A manual set part 8 is mounted in the distance image sensor 1, the light quantity which is adjusted in the light adjusting part 7 is set according to the operation of the manual set part 8. Here, when the detecting distance range is to be shifted into a near distance side, the light quantity from the light projecting part 2 is to be decreased so as to avoid a saturation of the light receiving part 3, and when the detecting distance range is to be shifted into a remote distance range, the light quantity from the light projecting part 2 is to be increased so as to avoid lack of sensitivity of the light receiving part 3, by doing these procedures, the detecting distance range of the distance image sensor 1 can be varied. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、対象空間に存在する対象物での光の反射を利用して前記対象物までの距離値を画素値とした距離画像を生成する距離画像センサに関するものである。   The present invention relates to a distance image sensor that generates a distance image using a distance value to the object as a pixel value using reflection of light from the object existing in the object space.

従来からこの種の距離画像センサとして、対象空間に向けて光を投光してから当該光が対象空間内の対象物で反射されて戻ってくるまでの時間差(以下、飛行時間という)に基づいて前記対象物までの距離を算出するTOF(Time Of Flight)法を用いて、三次元情報(距離画像)を取得するものが知られている(たとえば特許文献1参照)。   Conventionally, as this type of distance image sensor, based on the time difference (hereinafter referred to as flight time) from when light is projected toward the target space until the light is reflected by the target object in the target space and returned. It is known to obtain three-dimensional information (distance image) using a TOF (Time Of Flight) method for calculating the distance to the object (for example, see Patent Document 1).

この距離画像センサ1は、たとえば図19に示すように、LED(発光ダイオード)等の発光素子を具備する投光部2と、CCD(Charge Coupled Device)等の撮像素子を具備する受光部3と、投光部2および受光部3の駆動タイミングを制御する制御部4と、飛行時間より対象空間内に存在する対象物までの距離値を求めて前記距離画像を生成する信号処理部5とを備えている。ここで、距離画像センサ1と対象物との間の空間を光が往復するのに要した時間をΔtとし、光速をcとすれば、距離画像センサ1と対象物との間の距離Lは、L=c・Δt/2で求めることができる。なお、検出結果(距離画像)は検出結果出力部6から外部に出力される。   For example, as shown in FIG. 19, the distance image sensor 1 includes a light projecting unit 2 including a light emitting element such as an LED (light emitting diode), and a light receiving unit 3 including an imaging element such as a CCD (Charge Coupled Device). A control unit 4 that controls the drive timing of the light projecting unit 2 and the light receiving unit 3, and a signal processing unit 5 that determines a distance value to an object existing in the target space from the flight time and generates the distance image. I have. Here, if the time required for the light to reciprocate in the space between the distance image sensor 1 and the object is Δt and the speed of light is c, the distance L between the distance image sensor 1 and the object is , L = c · Δt / 2. The detection result (distance image) is output from the detection result output unit 6 to the outside.

このようにTOF法を用いた距離画像センサ1は、2台のカメラで対象物を観測して三角測量の原理によって測距を行うステレオ視法や、スリット状の光を対象物に照射したときに生じる対象物の形状に対応した反射光の変化を観測して三角測量の原理で対象物の形状を捉え測距を行う光切断法などを採用する場合に比べて、構成が簡単であって小型化が容易という利点がある。   Thus, the distance image sensor 1 using the TOF method observes an object with two cameras and performs distance measurement according to the principle of triangulation, or when the object is irradiated with slit-like light. Compared with the case of adopting the light cutting method that measures the distance by capturing the object shape based on the principle of triangulation by observing the change of reflected light corresponding to the shape of the object There is an advantage that downsizing is easy.

ところで、TOF法を用いた距離画像センサ1では、たとえ投光部2から投光される光量が一定であっても、受光部3での受光光量は距離画像センサ1から対象物までの距離によって変化する(対象物までの距離が近くなるほど受光光量は大きくなる)。ここにおいて、受光部3は、受光光量が大きすぎると撮像素子が飽和し、逆に受光光量が小さすぎると感度不足で光を検知できなくなるから、距離画像センサ1にて検出可能な距離範囲(以下、検出距離範囲という)は、受光部(撮像素子)3の性能に大きく左右され、特定の範囲(飽和あるいは感度不足が生じない範囲)に限定されることとなる。
特開2006−153773号公報
By the way, in the distance image sensor 1 using the TOF method, even if the amount of light projected from the light projecting unit 2 is constant, the amount of light received by the light receiving unit 3 depends on the distance from the distance image sensor 1 to the object. Change (the amount of received light increases as the distance to the object decreases). Here, the light receiving unit 3 saturates the image sensor if the received light amount is too large, and conversely, if the received light amount is too small, the light cannot be detected due to insufficient sensitivity. Hereinafter, the detection distance range) is greatly affected by the performance of the light receiving unit (imaging device) 3 and is limited to a specific range (a range in which saturation or insufficient sensitivity does not occur).
JP 2006-153773 A

しかし、距離画像センサ1の出力を用いるアプリケーションによっては検出対象となる対象物までの距離が異なる場合があるので、限られた検出距離範囲では多種多様なアプリケーションに対応できないという問題がある。なお、撮像素子の蓄積電荷容量を大きくするなどして、撮像素子が飽和するときの受光光量を大きくすることも考えられるが、この方法で広げられる検出距離範囲には限界があるため、依然として多種多様なアプリケーションには対応できない。   However, depending on the application using the output of the distance image sensor 1, the distance to the target object to be detected may be different, so that there is a problem that a wide variety of applications cannot be handled within a limited detection distance range. Although it is conceivable to increase the amount of received light when the image sensor is saturated, for example, by increasing the accumulated charge capacity of the image sensor, the detection distance range that can be expanded by this method is limited. Cannot handle various applications.

本発明は上記事由に鑑みて為されたものであって、多種多様なアプリケーションに対して、それぞれ適切な検出距離範囲を実現することができる距離画像センサを提供することを目的とする。   The present invention has been made in view of the above reasons, and an object thereof is to provide a distance image sensor capable of realizing an appropriate detection distance range for various applications.

請求項1の発明は、対象空間を撮像することにより対象空間に存在する対象物までの距離値を画素値とした距離画像を生成する距離画像センサであって、対象空間に光を投光する投光部と、各々が距離画像の各画素に対応する複数の感光要素を有し各感光要素で対象空間からの光をそれぞれ受光する受光部と、投光部および受光部の駆動タイミングを制御する制御部と、投光部が光を投光してから当該光が対象空間内の対象物で反射されて受光部で受光されるまでの時間差を画素ごとに距離値に換算して前記距離画像を生成する信号処理部と、投光部から投光されて受光部で受光される光の光量を調節する光量調節部とを備えることを特徴とする。   The invention according to claim 1 is a distance image sensor that generates a distance image having a pixel value as a distance value to an object existing in the target space by imaging the target space, and projects light into the target space. A light projecting unit, a light receiving unit each having a plurality of photosensitive elements corresponding to each pixel of the distance image, each receiving light from the target space by each photosensitive element, and controlling the drive timing of the light projecting unit and the light receiving unit The distance between the control unit and the light projecting unit after projecting light is converted into a distance value for each pixel after the light is reflected by the object in the target space and received by the light receiving unit. A signal processing unit that generates an image, and a light amount adjusting unit that adjusts the amount of light projected from the light projecting unit and received by the light receiving unit are provided.

この構成によれば、投光部から投光されて受光部で受光される光の光量を調節する光量調節部を設けたので、受光部において飽和あるいは感度不足が生じないように前記光量を調節することにより、検出可能な距離範囲を変化させることができる。すなわち、検出距離範囲を近距離側にシフトする場合には、受光部の飽和を回避するように前記光量を減少させればよく、また、検出距離範囲を遠距離側にシフトする場合には、受光部の感度不足を回避するように前記光量を増加させればよい。その結果、多種多様なアプリケーションに対してそれぞれ適切な検出距離範囲を容易に実現することができる。   According to this configuration, since the light amount adjusting unit that adjusts the amount of light emitted from the light projecting unit and received by the light receiving unit is provided, the light amount is adjusted so that saturation or insufficient sensitivity does not occur in the light receiving unit. By doing so, the detectable distance range can be changed. That is, when shifting the detection distance range to the short distance side, the light amount may be reduced so as to avoid saturation of the light receiving unit, and when the detection distance range is shifted to the long distance side, What is necessary is just to increase the said light quantity so that the lack of sensitivity of a light-receiving part may be avoided. As a result, it is possible to easily realize an appropriate detection distance range for various applications.

請求項2の発明は、請求項1の発明において、前記光量調節部が、前記投光部から前記対象空間に投光される光の光量を調節することを特徴とする。   According to a second aspect of the present invention, in the first aspect of the invention, the light amount adjusting unit adjusts a light amount of light projected from the light projecting unit to the target space.

この構成によれば、投光部から投光される光の光量を調節することで、受光部での受光光量を調節するようにしたので、前記受光光量の調節に伴い、受光部で受光される光における投光部から投光された信号成分と外乱光などの雑音成分との比(SN比)を変化させることができる。したがって、検出距離範囲を遠距離側にシフトする場合でも、前記光量を増加させることによりSN比を向上させ、測距性能を確保したまま検出距離範囲を変化させることができるという利点がある。   According to this configuration, the amount of light received by the light receiving unit is adjusted by adjusting the amount of light projected from the light projecting unit. It is possible to change the ratio (SN ratio) between the signal component projected from the light projecting unit and the noise component such as disturbance light. Therefore, even when the detection distance range is shifted to the far distance side, there is an advantage that the detection distance range can be changed while securing the distance measurement performance by improving the SN ratio by increasing the light amount.

請求項3の発明は、請求項2の発明において、前記投光部が複数個の発光素子を有し、前記光量調節部が、点灯させる発光素子の個数を切り替えることにより光量を調節することを特徴とする。   According to a third aspect of the present invention, in the second aspect of the invention, the light projecting unit includes a plurality of light emitting elements, and the light amount adjusting unit adjusts the light amount by switching the number of light emitting elements to be lit. Features.

この構成によれば、点灯させる発光素子の個数を切り替えるだけの比較的簡単な構成で、投光部からの投光光量を調節することができる。   According to this configuration, it is possible to adjust the amount of light emitted from the light projecting unit with a relatively simple configuration that only switches the number of light emitting elements to be lit.

請求項4の発明は、請求項2の発明において、前記光量調節部が、前記投光部に供給される電流を制限している抵抗素子の抵抗値を変化させることで光量を調節することを特徴とする。   According to a fourth aspect of the present invention, in the second aspect of the invention, the light amount adjusting unit adjusts the light amount by changing a resistance value of a resistance element that limits a current supplied to the light projecting unit. Features.

この構成によれば、抵抗素子の抵抗値を変化させるだけの比較的簡単な構成で、投光部からの投光光量を調節することができる。   According to this configuration, the amount of light emitted from the light projecting unit can be adjusted with a relatively simple configuration that only changes the resistance value of the resistance element.

請求項5の発明は、請求項2の発明において、前記投光部が光を投光する点灯期間と投光を停止する消灯期間とを周期的に繰り返しており、前記光量調節部が、点灯期間と消灯期間との比率を調節することにより光量を調節することを特徴とする。   According to a fifth aspect of the present invention, in the second aspect of the invention, the lighting section in which the light projecting section projects light and the light-out period in which the light is stopped are periodically repeated, and the light quantity adjusting section is turned on. The amount of light is adjusted by adjusting the ratio between the period and the extinguishing period.

この構成によれば、光量調節部は点灯期間と消灯期間との比率を調節することにより光量を調節するものであるから、光量調節部のない従来構成に対して、構成部品を追加することなく制御内容を変更するだけで光量調節部の機能を付加することができ、部品点数の増加を抑えることができる。   According to this configuration, the light amount adjusting unit adjusts the light amount by adjusting the ratio between the lighting period and the extinguishing period, and thus, without adding a component to the conventional configuration without the light amount adjusting unit. The function of the light amount adjusting unit can be added by simply changing the control content, and the increase in the number of parts can be suppressed.

請求項6の発明は、請求項2の発明において、前記投光部が光を投光する点灯期間と投光を停止する消灯期間とを周期的に繰り返しており、前記光量調節部が、点灯期間内において投光部に電流を間欠的に供給するとともに当該電流のデューティ比を調節することにより光量を調節することを特徴とする。   According to a sixth aspect of the present invention, in the second aspect of the present invention, the lighting section in which the light projecting section projects light and the extinguishing period in which the projection is stopped are periodically repeated, and the light quantity adjusting section is turned on. In the period, the current is intermittently supplied to the light projecting unit, and the light amount is adjusted by adjusting the duty ratio of the current.

この構成によれば、光量調節部は電流のデューティ比を調節することにより光量を調節するものであるから、光量調節部のない従来構成に対して、構成部品を追加することなく制御内容を変更するだけで光量調節部の機能を付加することができ、部品点数の増加を抑えることができる。   According to this configuration, since the light amount adjustment unit adjusts the light amount by adjusting the duty ratio of the current, the control content can be changed without adding any components to the conventional configuration without the light amount adjustment unit. It is possible to add the function of the light quantity adjustment unit simply by doing so, and to suppress the increase in the number of parts.

請求項7の発明は、請求項1の発明において、前記光量調節部が、前記対象空間から前記受光部に入射する光の光量を調節することを特徴とする。   A seventh aspect of the invention is characterized in that, in the first aspect of the invention, the light amount adjusting unit adjusts the amount of light incident on the light receiving unit from the target space.

この構成によれば、受光部に入射する光の光量を調節することで、受光部での受光光量を調節するようにしたので、前記受光光量を調節しても、受光部で受光される光における投光部から投光された信号成分と外乱光などの雑音成分との比(SN比)が変化することはない。したがって、検出距離範囲を近距離側にシフトする場合でも、前記光量が減少することによりSN比が低下することはなく、測距性能を確保したまま検出距離範囲を変化させることができるという利点がある。   According to this configuration, since the amount of light received by the light receiving unit is adjusted by adjusting the amount of light incident on the light receiving unit, the light received by the light receiving unit even if the amount of received light is adjusted. The ratio (SN ratio) between the signal component projected from the light projecting unit and the noise component such as disturbance light does not change. Therefore, even when the detection distance range is shifted to the short distance side, the SN ratio does not decrease due to the decrease in the light amount, and the detection distance range can be changed while ensuring the distance measurement performance. is there.

請求項8の発明は、請求項7の発明において、前記光量調節部が、前記受光部と前記対象空間との間に設けられているレンズの絞りを変化させることで光量を調節することを特徴とする。   The invention of claim 8 is the invention of claim 7, wherein the light amount adjusting unit adjusts the light amount by changing a diaphragm of a lens provided between the light receiving unit and the target space. And

この構成によれば、レンズの絞りを変化させるだけの比較的簡単な構成で、受光部への入射光量を調節することができる。   According to this configuration, the amount of light incident on the light receiving unit can be adjusted with a relatively simple configuration in which the lens aperture is changed.

請求項9の発明は、請求項7の発明において、前記光量調節部が、前記受光部の露光時間を変化させることで光量を調節することを特徴とする。   A ninth aspect of the invention is characterized in that, in the seventh aspect of the invention, the light amount adjusting unit adjusts the light amount by changing an exposure time of the light receiving unit.

この構成によれば、光量調節部は受光部の露光時間を変化させることにより光量を調節するものであるから、光量調節部のない従来構成に対して、構成部品を追加することなく制御内容を変更するだけで光量調節部の機能を付加することができ、部品点数の増加を抑えることができる。   According to this configuration, since the light amount adjusting unit adjusts the light amount by changing the exposure time of the light receiving unit, the control content can be changed without adding any components to the conventional configuration without the light amount adjusting unit. It is possible to add the function of the light amount adjusting unit simply by changing, and to suppress an increase in the number of parts.

請求項10の発明は、請求項1の発明において、前記光量調節部が、前記投光部から前記対象空間に投光される光と対象空間から前記受光部に入射する光との両方の光量を調節することを特徴とする。   In a tenth aspect of the present invention, in the first aspect of the present invention, the light amount adjusting unit is configured to emit light of both light projected from the light projecting unit to the target space and light incident from the target space to the light receiving unit. It is characterized by adjusting.

この構成によれば、投光部から投光される光と受光部に入射する光とのいずれか一方のみの光量を調節する構成に比べて、受光部での受光光量の調節幅を大きくとることができ、検出距離範囲の調節幅を広げることができる。   According to this configuration, the adjustment range of the received light amount at the light receiving unit is larger than the configuration in which the light amount of only one of the light projected from the light projecting unit and the light incident on the light receiving unit is adjusted. It is possible to widen the adjustment range of the detection distance range.

請求項11の発明は、請求項1ないし請求項10のいずれかの発明において、前記光量調節部で調節される光量を設定するように操作される手動設定部を備えることを特徴とする。   The invention of claim 11 is characterized in that in any one of the inventions of claims 1 to 10, a manual setting unit operated to set a light amount adjusted by the light amount adjusting unit is provided.

この構成によれば、光量調節部で調節される光量が手動設定部の操作により設定されるので、比較的簡単な構成で、受光部での受光光量を任意に調節して検出距離範囲を調節することができる。   According to this configuration, the amount of light adjusted by the light amount adjustment unit is set by the operation of the manual setting unit, so the detection distance range is adjusted by arbitrarily adjusting the amount of light received by the light receiving unit with a relatively simple configuration. can do.

請求項12の発明は、請求項1ないし請求項10のいずれかの発明において、前記光量調節部で調節される光量を前記信号処理部の出力に応じて自動的に設定する自動設定部を備えることを特徴とする。   According to a twelfth aspect of the present invention, there is provided an automatic setting unit according to any one of the first to tenth aspects, wherein the light amount adjusted by the light amount adjusting unit is automatically set according to the output of the signal processing unit. It is characterized by that.

この構成によれば、光量調節部で調節される光量が信号処理部の出力に応じて自動的に設定されるので、ユーザにおいては前記光量を調節する手間が省け、また、最適な光量に自動的に設定されることで多様なアプリケーションに柔軟に対応することができる。   According to this configuration, the amount of light adjusted by the light amount adjusting unit is automatically set according to the output of the signal processing unit, so that the user can save the trouble of adjusting the amount of light and automatically set the optimum amount of light. Can be flexibly adapted to various applications.

請求項13の発明は、請求項12の発明において、前記自動設定部が、前記対象物までの距離が近くなるほど光量を減少させるように、前記信号処理部で求まる前記距離値から導出される特徴量に応じて光量を設定することを特徴とする。   According to a thirteenth aspect of the present invention, in the twelfth aspect of the present invention, the automatic setting unit is derived from the distance value obtained by the signal processing unit so that the light amount is decreased as the distance to the object is closer. The amount of light is set according to the amount.

この構成によれば、距離値から導出される特徴量に応じて適切な光量が設定されるので、検出距離範囲を近距離側にシフトする場合には、前記光量が減少して受光部の飽和が回避され、また、検出距離範囲を遠距離側にシフトする場合には、前記光量が増加して受光部の感度不足を回避することができる。   According to this configuration, an appropriate light amount is set according to the feature amount derived from the distance value. Therefore, when the detection distance range is shifted to the short distance side, the light amount decreases and the light receiving unit is saturated. In addition, when the detection distance range is shifted to the far distance side, the light quantity is increased, and insufficient sensitivity of the light receiving unit can be avoided.

請求項14の発明は、請求項13の発明において、前記自動設定部が、前記距離画像の少なくとも一部の画素についての前記距離値の平均値に応じて光量を設定することを特徴とする。   According to a fourteenth aspect of the invention, in the thirteenth aspect of the invention, the automatic setting unit sets the amount of light according to an average value of the distance values for at least some of the pixels of the distance image.

この構成によれば、距離画像の少なくとも一部の画素についての距離値の平均値に応じて光量が設定されるので、たとえば運用中に頻繁に検出対象となる対象物までの距離が変更されるアプリケーションであっても、距離値の平均値を求めるという簡単な処理を基に、検出対象となる対象物までの距離が変更される都度、適切な検出距離範囲に設定することができる。   According to this configuration, the amount of light is set according to the average value of the distance values for at least some of the pixels of the distance image, so the distance to the target object that is frequently detected during operation, for example, is changed. Even in an application, an appropriate detection distance range can be set every time the distance to an object to be detected is changed based on a simple process of obtaining an average value of distance values.

請求項15の発明は、請求項13の発明において、前記自動設定部が、前記距離画像の少なくとも一部の画素についての前記距離値の最小値に応じて光量を設定することを特徴とする。   According to a fifteenth aspect of the invention, in the thirteenth aspect of the invention, the automatic setting unit sets the amount of light according to the minimum value of the distance value for at least some of the pixels of the distance image.

この構成によれば、距離画像の少なくとも一部の画素についての距離値の最小値に応じて光量が設定されるので、たとえば運用中に頻繁に検出対象となる対象物までの距離が変更されるアプリケーションであっても、距離値の最小値を求めるという簡単な処理を基に、検出対象となる対象物までの距離が変更される都度、適切な検出距離範囲に設定することができる。   According to this configuration, the amount of light is set according to the minimum value of the distance value for at least some of the pixels of the distance image, so the distance to the target object that is frequently detected during operation, for example, is changed. Even if it is an application, it can set to the suitable detection distance range whenever the distance to the target object used as a detection target is changed based on the simple process of calculating | requiring the minimum value of a distance value.

請求項16の発明は、請求項12の発明において、前記信号処理部が、前記距離画像の画素ごとの前記受光部での受光光量を濃淡値として求め、前記自動設定部が、濃淡値が大きくなるほど光量を減少させるように、信号処理部で求まる濃淡値から導出される特徴量に応じて光量を設定することを特徴とする。   According to a sixteenth aspect of the invention, in the twelfth aspect of the invention, the signal processing unit obtains a received light amount at the light receiving unit for each pixel of the distance image as a gray value, and the automatic setting unit has a large gray value. The amount of light is set according to the feature amount derived from the gray value obtained by the signal processing unit so as to reduce the amount of light.

この構成によれば、濃淡値から導出される特徴量に応じて適切な光量が設定されるので、検出距離範囲を近距離側にシフトする場合には、前記光量が減少して受光部の飽和が回避され、また、検出距離範囲を遠距離側にシフトする場合には、前記光量が増加して受光部の感度不足を回避することができる。また、距離値の変動が大きい場合でも、安定している濃淡値を用いて光量を設定できるという利点もある。   According to this configuration, an appropriate light amount is set according to the feature amount derived from the gray value, and therefore, when the detection distance range is shifted to the short distance side, the light amount is decreased and the light receiving unit is saturated. In addition, when the detection distance range is shifted to the far distance side, the light quantity is increased, and insufficient sensitivity of the light receiving unit can be avoided. In addition, even when the distance value fluctuates greatly, there is an advantage that the light amount can be set using a stable gray value.

請求項17の発明は、請求項16の発明において、前記自動設定部が、前記距離画像の少なくとも一部の画素についての前記濃淡値の平均値に応じて光量を設定することを特徴とする。   According to a seventeenth aspect of the present invention, in the sixteenth aspect, the automatic setting unit sets the light amount according to an average value of the gray values for at least some of the pixels of the distance image.

この構成によれば、距離画像の少なくとも一部の画素についての濃淡値の平均値に応じて光量が設定されるので、たとえば運用中に頻繁に検出対象となる対象物までの距離が変更されるアプリケーションであっても、濃淡値の最小値を求めるという簡単な処理を基に、検出対象となる対象物までの距離が変更される都度、適切な検出距離範囲に設定することができる。   According to this configuration, the amount of light is set according to the average value of the gray values for at least some of the pixels of the distance image, so the distance to the target object that is frequently detected during operation, for example, is changed. Even in an application, an appropriate detection distance range can be set every time the distance to an object to be detected is changed based on a simple process of obtaining the minimum value of the gray value.

請求項18の発明は、請求項16の発明において、前記自動設定部が、前記距離画像の少なくとも一部の画素についての前記濃淡値の最大値に応じて光量を設定することを特徴とする。   According to an eighteenth aspect of the invention, in the invention of the sixteenth aspect, the automatic setting unit sets the light amount according to the maximum value of the gray value for at least some of the pixels of the distance image.

この構成によれば、距離画像の少なくとも一部の画素についての濃淡値の最大値に応じて光量が設定されるので、たとえば運用中に頻繁に検出対象となる対象物までの距離が変更されるアプリケーションであっても、濃淡値の最大値を求めるという簡単な処理を基に、検出対象となる対象物までの距離が変更される都度、適切な検出距離範囲に設定することができる。   According to this configuration, since the light amount is set according to the maximum value of the gray value for at least some of the pixels of the distance image, for example, the distance to the target object that is frequently detected during operation is changed. Even in an application, an appropriate detection distance range can be set every time the distance to an object to be detected is changed based on a simple process of obtaining the maximum value of the gray value.

請求項19の発明は、請求項12の発明において、前記信号処理部が、前記距離画像の画素ごとの前記受光部での受光光量を濃淡値として求め、前記自動設定部が、前記対象物までの距離が近くなるほど光量を減少させるとともに、濃淡値が高くなるほど光量を減少させるように、信号処理部で求まる前記距離値および濃淡値の両方から導出される特徴量に応じて光量を設定することを特徴とする。   According to a nineteenth aspect of the present invention, in the twelfth aspect of the invention, the signal processing unit obtains a received light amount at the light receiving unit for each pixel of the distance image as a gray value, and the automatic setting unit determines whether or not to the object. The light amount is set according to the feature amount derived from both the distance value and the gray value obtained by the signal processing unit so that the light amount is decreased as the distance becomes shorter and the light amount is decreased as the gray value becomes higher. It is characterized by.

この構成によれば、距離値および濃淡値の両方から導出される特徴量に応じて光量が設定されるので、距離値と濃淡値とのいずれか一方のみから導出される特徴量に応じて光量が設定される場合に比べて、より適切な光量を設定することができる。   According to this configuration, since the light amount is set according to the feature amount derived from both the distance value and the gray value, the light amount is determined according to the feature amount derived from only one of the distance value and the gray value. As compared with the case where is set, more appropriate light quantity can be set.

請求項20の発明は、請求項12ないし請求項19のいずれかの発明において、前記自動設定部が、前記特徴量を一定時間に亘り平均化した値を用いて光量を設定することを特徴とする。   A twentieth aspect of the invention is characterized in that, in any of the twelfth to nineteenth aspects of the invention, the automatic setting unit sets a light amount using a value obtained by averaging the feature amount over a predetermined time. To do.

この構成によれば、特徴量を一定時間に亘り平均化した値を用いて光量が設定されるので、検出対象が動きの激しい対象物である場合や、ノイズ等で距離値や濃淡値の変動が大きい場合でも、安定して適切な光量を設定できるという利点がある。   According to this configuration, the amount of light is set using a value obtained by averaging feature quantities over a certain period of time, so that when the detection target is an object that moves rapidly, or the distance value or the gradation value varies due to noise or the like. Even when is large, there is an advantage that an appropriate light amount can be set stably.

本発明は、投光部から投光されて受光部で受光される光の光量を調節する光量調節部を備えるので、受光部において飽和あるいは感度不足が生じないように前記光量を調節することにより、検出可能な距離範囲を変化させることができ、多種多様なアプリケーションに対して、それぞれ適切な検出距離範囲を実現することができるという利点がある。   Since the present invention includes a light amount adjustment unit that adjusts the amount of light projected from the light projecting unit and received by the light receiving unit, the light amount is adjusted so that saturation or insufficient sensitivity does not occur in the light receiving unit. The detectable distance range can be changed, and there is an advantage that an appropriate detection distance range can be realized for various applications.

(実施形態1)
本実施形態の距離画像センサ1は、図1に示すようにLED(発光ダイオード)からなる発光素子L(図2参照)を具備した投光部2と、CCD(Charge Coupled Device)からなる撮像素子を具備した受光部3と、投光部2および受光部3の駆動タイミングを制御する制御部4と、対象空間内の対象物(図示せず)までの距離値を画素値とする距離画像を生成する信号処理部5と、USB等の汎用インタフェースを用いて外部に距離画像を出力する検出結果出力部6と、後述する光量調節部7および手動設定部8とを備えている。
(Embodiment 1)
As shown in FIG. 1, the distance image sensor 1 according to the present embodiment includes a light projecting unit 2 including a light emitting element L (see FIG. 2) including an LED (light emitting diode), and an imaging element including a CCD (Charge Coupled Device). A distance image having a pixel value as a distance value to a target object (not shown) in the target space, and a control unit 4 that controls drive timing of the light projecting unit 2 and the light receiving unit 3. A signal processing unit 5 to be generated, a detection result output unit 6 that outputs a distance image to the outside using a general-purpose interface such as a USB, a light amount adjustment unit 7 and a manual setting unit 8 to be described later are provided.

この距離画像センサ1の基本構成および基本的な動作は、図19に示した従来構成と同様である。すなわち、信号処理部5では、投光部2から対象空間に向けて光を投光してから当該光が対象空間内の対象物で反射されて受光部3で受光されるまでの時間差(以下、飛行時間という)に基づいて前記対象物までの距離を算出するTOF(Time Of Flight)法を用いて、三次元情報(距離画像)を取得する。   The basic configuration and basic operation of the distance image sensor 1 are the same as those of the conventional configuration shown in FIG. That is, in the signal processing unit 5, a time difference from the time when light is projected from the light projecting unit 2 toward the target space until the light is reflected by the object in the target space and received by the light receiving unit 3 (hereinafter referred to as “light receiving unit 3”) 3D information (distance image) is acquired using a TOF (Time Of Flight) method for calculating the distance to the object based on the flight time).

さらに詳しく説明すると、受光部3は、各々が距離画像の各画素に対応する複数の感光要素(図示せず)を半導体基板(図示せず)上に2次元配列(たとえばマトリクス状に配列)した撮像素子(CCD)を具備し、レンズ9(図11参照)を通して対象空間からの光を各感光要素で受光する。ここで、レンズ9は受光部3から対象空間を見るときの視線方向と各感光要素とを一対一に対応付けるものであって、これにより、レンズ9を通して各感光要素に光が入射する範囲を、レンズ9の中心を頂点とし各感光要素ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、投光部2から投光され対象空間に存在する対象物で反射された反射光が感光要素に入射すれば、当該反射光を受光した感光要素の位置により、レンズ9の光軸を基準として前記対象物の存在する方向を特定できる。   More specifically, in the light receiving unit 3, a plurality of photosensitive elements (not shown) each corresponding to each pixel of the distance image are two-dimensionally arranged (for example, arranged in a matrix) on a semiconductor substrate (not shown). An image sensor (CCD) is provided, and light from the target space is received by each photosensitive element through a lens 9 (see FIG. 11). Here, the lens 9 has a one-to-one correspondence between the line-of-sight direction when viewing the target space from the light receiving unit 3 and each photosensitive element, and thereby, the range in which light is incident on each photosensitive element through the lens 9 is as follows. The center of the lens 9 can be regarded as a conical field of view having a small apex angle set for each photosensitive element. Therefore, if the reflected light projected from the light projecting unit 2 and reflected by the object existing in the target space enters the photosensitive element, the optical axis of the lens 9 is determined based on the position of the photosensitive element that has received the reflected light. The direction in which the object exists can be specified.

しかして、信号処理部5においては、対象空間に存在する対象物までの距離を画素ごとに求めて距離画像を生成することが可能となる。さらに、信号処理部5は、画素ごとに受光部3での受光光量を濃淡値として求め、当該濃淡値を画素値とする濃淡画像を生成する機能も有している。このように生成される濃淡画像もまた、距離画像と同様に検出結果出力部6から外部に出力される。   Thus, the signal processing unit 5 can generate a distance image by obtaining the distance to the target existing in the target space for each pixel. Further, the signal processing unit 5 has a function of obtaining the received light amount at the light receiving unit 3 for each pixel as a gray value and generating a gray image having the gray value as the pixel value. The grayscale image generated in this way is also output to the outside from the detection result output unit 6 in the same manner as the distance image.

なお、発光素子Lとして赤外線を出力する赤外線LEDを用い、受光部3へは赤外線透過フィルタを通して対象空間からの光を入射させる構成としてもよい。この構成では、受光部3に可視光領域の光が入射するのを抑制し、投光部2からの光を可視光領域の外乱光と区別しやすくなる。   Note that an infrared LED that outputs infrared light may be used as the light emitting element L, and light from the target space may be incident on the light receiving unit 3 through an infrared transmission filter. In this configuration, the light in the visible light region is prevented from entering the light receiving unit 3, and the light from the light projecting unit 2 can be easily distinguished from the disturbance light in the visible light region.

ここにおいて、上述した飛行時間は非常に短いので、本実施形態では、対象空間に投光する光に強度が一定周期で周期的に変化するように変調した強度変調光を用い、投光部2から出力される光と受光部3で受光される光との間の位相差により飛行時間を求めている。そのため、投光部2は、一定強度の出力光を連続的に出力するのではなく、発光素子Lを点灯させる点灯期間と消灯させる消灯期間とを周期的に繰り返している(図4参照)。発光素子Lの点灯・消灯の切替は、後述するマイコン(マイクロコンピュータ)10の制御用ポート出力によって制御される。   Here, since the above-described flight time is very short, in the present embodiment, the light projecting unit 2 uses the intensity-modulated light that is modulated so that the intensity periodically changes at a constant period. The time of flight is obtained from the phase difference between the light output from the light and the light received by the light receiving unit 3. Therefore, the light projecting unit 2 does not continuously output the output light with a constant intensity, but periodically repeats a lighting period in which the light emitting element L is turned on and a light-out period in which the light emitting element L is turned off (see FIG. 4). Switching on / off of the light emitting element L is controlled by a control port output of a microcomputer 10 to be described later.

すなわち、所定の変調周波数(たとえば10MHz)の矩形波で投光部2から出力させる光強度(投光強度)を変調したとき、投光強度と受光部3で受光される光強度(受光強度)との間の位相差φは、投光部2を駆動する変調信号と受光部3(の各感光要素)への入射光との位相差とみなすことができる。そこで、受光部3への入射光の受光強度を変調信号の複数の異なる位相について求め、求めた位相の関係および受光強度から入射光と変調信号との位相差φを求めることが考えられている。具体的には、受光部3において所定の位相幅(時間幅)を有する位相区間ごとの受光光量を検出し、この受光光量を位相差φの演算に用いる。   That is, when the light intensity (light projection intensity) output from the light projecting unit 2 is modulated by a rectangular wave having a predetermined modulation frequency (for example, 10 MHz), the light projection intensity and the light intensity received by the light receiving unit 3 (light reception intensity) are modulated. Can be regarded as a phase difference between a modulation signal for driving the light projecting unit 2 and light incident on the light receiving unit 3 (each photosensitive element thereof). Therefore, it is considered that the light reception intensity of the incident light to the light receiving unit 3 is obtained for a plurality of different phases of the modulation signal, and the phase difference φ between the incident light and the modulation signal is obtained from the relationship between the obtained phases and the light reception intensity. . Specifically, the light receiving unit 3 detects the amount of received light for each phase section having a predetermined phase width (time width), and uses this received light amount for calculating the phase difference φ.

たとえば、投光部2からの強度変調光の位相の0〜180度(0〜π)、90〜270度(π/2〜3π/2)、180〜360度(π〜2π)、270〜90度(3π/2〜π/2)の各区間での受光光量をそれぞれA0,A1,A2,A3とし(図8参照)、受光光量A0,A1,A2,A3を求める間に位相差φが変化せず(つまり、対象物までの距離が変化せず)且つ対象物の反射率にも変化がないものとすれば、位相差φは、φ=tan−1{(A3−A1)/(A0−A2)}と表すことができる。なお、各位相区間の位相幅は180度に限らず、適宜に設定することができる。 For example, the phase of the intensity modulated light from the light projecting unit 2 is 0 to 180 degrees (0 to π), 90 to 270 degrees (π / 2 to 3π / 2), 180 to 360 degrees (π to 2π), 270 to 270 degrees. The received light amount in each section of 90 degrees (3π / 2 to π / 2) is A0, A1, A2, A3 (see FIG. 8), and the phase difference φ is obtained while the received light amounts A0, A1, A2, A3 are obtained. Is not changed (that is, the distance to the object is not changed) and the reflectance of the object is not changed, the phase difference φ is φ = tan −1 {(A3−A1) / (A0-A2)}. The phase width of each phase section is not limited to 180 degrees and can be set as appropriate.

このように求まる位相差φ〔deg〕と強度変調光の変調周波数f〔Hz〕とを用いれば、飛行時間Δt〔s〕は、Δt=φ/(360・f)〔s〕と表すことができる。そして、この飛行時間Δt〔s〕と光速c〔m/s〕とを用いることで、距離画像センサ1から対象物までの距離値LはL=c・Δt/2〔m〕と表すことができる。   Using the phase difference φ [deg] thus obtained and the modulation frequency f [Hz] of the intensity-modulated light, the flight time Δt [s] can be expressed as Δt = φ / (360 · f) [s]. it can. By using the flight time Δt [s] and the speed of light c [m / s], the distance value L from the distance image sensor 1 to the object can be expressed as L = c · Δt / 2 [m]. it can.

ところで、本実施形態の距離画像センサ1は、光量調節部7を備えることにより、投光部2から投光され対象空間内の対象物で反射されて受光部3で受光される光の光量を調節可能としてある。本実施形態では、以下に説明するように、投光部2から対象空間に投光される光の光量を調節する構成の光量調節部7を採用する。   By the way, the distance image sensor 1 of the present embodiment includes the light amount adjusting unit 7 so that the light amount of the light projected from the light projecting unit 2 and reflected by the object in the target space and received by the light receiving unit 3 is obtained. As adjustable. In the present embodiment, as described below, a light amount adjusting unit 7 configured to adjust the light amount of light projected from the light projecting unit 2 to the target space is employed.

すなわち、投光部2は、図2に示すようにLEDからなる発光素子Lをそれぞれ複数個(ここでは4個)ずつ直列接続した第1および第2の発光素子群を有し、各発光素子群からの光を対象空間に向けて照射するように構成されている。ここで、第1および第2の各発光素子群は、それぞれ電流制限用の抵抗R1,R2および駆動用トランジスタTR1,TR2と共に直列回路を形成し、各直列回路にはそれぞれ定電圧Vccが印加される。   That is, the light projecting unit 2 includes first and second light emitting element groups in which a plurality (four in this case) of light emitting elements L made of LEDs are connected in series, as shown in FIG. It is comprised so that the light from a group may be irradiated toward object space. Here, each of the first and second light emitting element groups forms a series circuit together with current limiting resistors R1 and R2 and driving transistors TR1 and TR2, and a constant voltage Vcc is applied to each series circuit. The

光量調節部7は、各駆動用トランジスタTR1,TR2をオンオフ制御する機能を有するものであって、ここでは第1および第2の制御用ポートがそれぞれ駆動用トランジスタTR1,TR2の制御端子(ベース)に接続されたマイコン10からなる。したがって、光量調節部7は、両方の制御用ポートからHレベルの電圧信号を出力して両方の駆動用トランジスタTR1,TR2をオンすることで、第1および第2の両発光素子群を全点灯させて投光部2から投光される光の強度を高めた状態(以下、高出力モードという)と、一方の制御用ポートの出力をLレベルとして一方の駆動用トランジスタTR1(あるいはTR2)をオフすることで、いずれか一方の発光素子群のみを全点灯させ投光部2から投光される光の強度を低く抑えた状態(以下、低出力モードという)とを切り替えることができる。要するに光量調節部7は、駆動用トランジスタTR1,TR2のオンオフ制御によって、投光部2を構成する複数個の発光素子Lのうちで実際に点灯させる発光素子Lの個数を切り替え、投光部2から投光される光量を調節する。   The light amount adjusting unit 7 has a function of controlling on / off of the driving transistors TR1 and TR2. Here, the first and second control ports are control terminals (bases) of the driving transistors TR1 and TR2, respectively. It consists of the microcomputer 10 connected to. Therefore, the light amount adjusting unit 7 outputs both H-level voltage signals from both control ports and turns on both drive transistors TR1 and TR2, thereby turning on both the first and second light emitting element groups. In this state, the intensity of light projected from the light projecting unit 2 is increased (hereinafter referred to as a high output mode), and the output of one control port is set to L level, and one driving transistor TR1 (or TR2) is turned on. By turning off, it is possible to switch between a state in which only one of the light emitting element groups is fully lit and the intensity of light projected from the light projecting unit 2 is kept low (hereinafter referred to as a low output mode). In short, the light quantity adjusting unit 7 switches the number of the light emitting elements L that are actually lit among the plurality of light emitting elements L constituting the light projecting unit 2 by on / off control of the driving transistors TR1 and TR2, and the light projecting unit 2 Adjust the amount of light emitted from.

さらに、本実施形態の距離画像センサ1はディップスイッチからなる手動設定部8を備えており、上述した光量調節部7で調節される光量はこの手動設定部8の操作に応じて設定される。すなわち、ユーザは、高出力モードと低出力モードとのいずれかを選択するように手動設定部8を操作することにより、光量調節部7の制御用ポートの出力を切り替えて投光部2から投光される光量を調節することができる。   Further, the distance image sensor 1 according to the present embodiment includes a manual setting unit 8 including a dip switch, and the light amount adjusted by the light amount adjusting unit 7 described above is set according to the operation of the manual setting unit 8. That is, the user operates the manual setting unit 8 so as to select either the high output mode or the low output mode, thereby switching the output of the control port of the light amount adjusting unit 7 and projecting from the light projecting unit 2. The amount of light emitted can be adjusted.

以上説明した本実施形態の距離画像センサ1では、光量調節部7を設けたことにより、投光部2から投光される光量を調節し、結果的に受光部3で受光される光量を調節することができる。したがって、受光部3において撮像素子の飽和や感度不足が生じないように、手動設定部8にて投光部2から投光される光量を設定することにより、距離画像センサ1で検出可能な距離範囲(以下、検出距離範囲という)を変化させることができる。すなわち、検出距離範囲を近距離側にシフトする場合には、受光部3の飽和を回避するように投光部2からの光量を減少(つまり第1および第2の一方の発光素子群のみを全点灯)させればよく、また、検出距離範囲を遠距離側にシフトする場合には、受光部3の感度不足を回避するように投光部2からの光量を増加(つまり第1および第2の両発光素子群を全点灯)させればよい。結果的に、それぞれ検出対象となる対象物までの距離が異なる多種多様なアプリケーションに対応させる場合、各アプリケーションに対してそれぞれ適切な検出距離範囲を実現することができる。   In the distance image sensor 1 of the present embodiment described above, the light amount adjusting unit 7 is provided, thereby adjusting the light amount projected from the light projecting unit 2 and consequently adjusting the light amount received by the light receiving unit 3. can do. Therefore, the distance that can be detected by the distance image sensor 1 is set by setting the amount of light projected from the light projecting unit 2 in the manual setting unit 8 so that the light receiving unit 3 does not saturate the image sensor or lack sensitivity. A range (hereinafter referred to as a detection distance range) can be changed. That is, when the detection distance range is shifted to the short distance side, the amount of light from the light projecting unit 2 is reduced so that saturation of the light receiving unit 3 is avoided (that is, only one of the first and second light emitting element groups is reduced). When the detection distance range is shifted to the far side, the amount of light from the light projecting unit 2 is increased so as to avoid insufficient sensitivity of the light receiving unit 3 (that is, the first and first light sources). The two light emitting element groups 2 may be turned on. As a result, when dealing with various applications having different distances to the object to be detected, it is possible to realize an appropriate detection distance range for each application.

ここにおいて、受光部3で受光する光には、投光部2から照射され対象物で反射された所望の信号成分に加えて、太陽光や照明光等の外乱光による雑音成分も含まれているが、上記距離画像センサ1は、投光部2から照射される光の強度を制御するものであるから、投光部2から照射される光量を増加させることにより、受光部3で受光される光において信号成分の占める比率(SN比)を向上させることができる。すなわち、投光部2から照射される光の強度が一定である場合、検出する対象物までの距離が遠くなると光の拡散などにより受光部3で受光される信号成分は低下するが、雑音成分は対象物までの距離に依存しないので、結果的に、検出する対象物までの距離が遠くなるほどSN比が低下する。これに対し、本実施形態では、投光部2から照射される光量を増加させることでSN比を向上させることができるから、検出する対象物までの距離が遠くなってもSN比の低下を抑制することができる。したがって、検出距離範囲を遠距離側にシフトする場合でも、十分な測距性能(SN比)を確保することができるという利点がある。   Here, the light received by the light receiving unit 3 includes not only a desired signal component irradiated from the light projecting unit 2 and reflected by an object, but also a noise component due to disturbance light such as sunlight or illumination light. However, since the distance image sensor 1 controls the intensity of light emitted from the light projecting unit 2, it is received by the light receiving unit 3 by increasing the amount of light emitted from the light projecting unit 2. It is possible to improve the ratio (SN ratio) of signal components in the light. That is, when the intensity of light emitted from the light projecting unit 2 is constant, the signal component received by the light receiving unit 3 decreases due to light diffusion or the like when the distance to the object to be detected increases, but the noise component Does not depend on the distance to the object, and as a result, the SN ratio decreases as the distance to the object to be detected increases. On the other hand, in this embodiment, since the SN ratio can be improved by increasing the amount of light emitted from the light projecting unit 2, the SN ratio is reduced even if the distance to the object to be detected is long. Can be suppressed. Therefore, even when the detection distance range is shifted to the far distance side, there is an advantage that sufficient distance measurement performance (SN ratio) can be ensured.

また、本実施形態では、投光部2から投光される光量を調節するために、点灯させる発光素子Lの個数を切り替えるという比較的単純な構成を採用し、さらに、光量を設定するためにディップスイッチからなる手動設定部8を採用しているから、比較手簡単な構成で上述した発明を実現することができる。なお、この構成では、投光部2から光を投光して実際に距離を計測する前に予め手動設定部8を操作して検出距離範囲を設定しておく必要があるので、上記構成の距離画像センサ1は、運用中に頻繁に検出対象となる対象物までの距離を変更する必要のないアプリケーション等に対して特に有用である。   Moreover, in this embodiment, in order to adjust the light quantity projected from the light projection part 2, the comparatively simple structure of switching the number of the light emitting elements L to light is employ | adopted, and also in order to set a light quantity Since the manual setting unit 8 including a dip switch is employed, the above-described invention can be realized with a comparatively simple configuration. In this configuration, it is necessary to set the detection distance range by operating the manual setting unit 8 in advance before projecting light from the light projecting unit 2 and actually measuring the distance. The distance image sensor 1 is particularly useful for an application or the like that does not need to change the distance to an object that is frequently detected during operation.

上記実施形態では、光量調節部7は、投光部2からの光量を2段階(高出力モード、低出力モード)で切り替えるようにしているが、制御用ポートで制御可能な発光素子群の組数を増やすことで、光量の切替段数を増やしてもよい。この場合、光量の切替段数に応じて手動設定部8の操作により選択可能なモード数も増やすことになる。   In the above embodiment, the light amount adjusting unit 7 switches the light amount from the light projecting unit 2 in two steps (high output mode and low output mode), but a set of light emitting element groups that can be controlled by the control port. The number of light quantity switching steps may be increased by increasing the number. In this case, the number of modes that can be selected by the operation of the manual setting unit 8 is increased according to the number of light quantity switching steps.

(実施形態2)
本実施形態の距離画像センサ1は、図3に示すように第1および第2の各発光素子群と直列に接続された電流制限用の抵抗をそれぞれ可変抵抗(抵抗素子)VR1,VR2とし、当該可変抵抗VR1,VR2を光量調節部7として用いる点が実施形態1の距離画像センサ1と相違する。また、本実施形態では、両駆動用トランジスタTR1,TR2の制御端子がマイコン10の1つの制御用ポートに接続されている。
(Embodiment 2)
In the distance image sensor 1 of the present embodiment, as shown in FIG. 3, the current limiting resistors connected in series with the first and second light emitting element groups are variable resistors (resistance elements) VR1 and VR2, respectively. The difference from the distance image sensor 1 of the first embodiment is that the variable resistors VR1 and VR2 are used as the light amount adjusting unit 7. In the present embodiment, the control terminals of both the driving transistors TR 1 and TR 2 are connected to one control port of the microcomputer 10.

この構成により、図4(a)に示す状態を基準として、可変抵抗VR1,VR2の抵抗値を大きくすることで図4(b)に示すように発光素子Lに流れる電流を小さくすれば、投光部2から投光される光の強度が低下して光量が減少する。逆に、可変抵抗VR1,VR2の抵抗値を小さくすることで発光素子Lに流れる電流を大きくすれば、投光部2から投光される光の強度が上昇して光量が増加する。なお、図4は、横軸を時間軸として投光部2への供給電流を表している。   With this configuration, if the current flowing through the light emitting element L is reduced as shown in FIG. 4B by increasing the resistance values of the variable resistors VR1 and VR2 with the state shown in FIG. The intensity of light projected from the light unit 2 is reduced, and the amount of light is reduced. On the contrary, if the current flowing through the light emitting element L is increased by reducing the resistance values of the variable resistors VR1 and VR2, the intensity of the light projected from the light projecting unit 2 increases and the amount of light increases. FIG. 4 shows the supply current to the light projecting unit 2 with the horizontal axis as the time axis.

また、実施形態1の構成では、光量調節部7は点灯させる発光素子Lの個数を変化することで光量を離散的に調節するのに対し、本実施形態の構成では、可変抵抗VR1,VR2の抵抗値を連続的に変化させることで光量を連続的に調節することができる。したがって、可変抵抗VR1,VR2を採用するというだけの比較的単純な構成で、各アプリケーションに対してそれぞれ適切な検出距離範囲をより細かく設定することができる。   In the configuration of the first embodiment, the light amount adjusting unit 7 discretely adjusts the light amount by changing the number of light emitting elements L to be lit. In the configuration of the present embodiment, the variable resistors VR1 and VR2 are provided. The light quantity can be continuously adjusted by continuously changing the resistance value. Therefore, it is possible to set a more appropriate detection distance range for each application with a relatively simple configuration in which the variable resistors VR1 and VR2 are employed.

なお、本実施形態では、光量調節部7としての可変抵抗VR1,VR2が手動設定部8としての機能も兼ねるので、実施形態1のように別途ディップスイッチ等を設ける必要がない。   In the present embodiment, since the variable resistors VR1 and VR2 as the light amount adjusting unit 7 also function as the manual setting unit 8, it is not necessary to provide a dip switch or the like separately as in the first embodiment.

その他の構成および機能は実施形態1と同様である。   Other configurations and functions are the same as those of the first embodiment.

(実施形態3)
本実施形態の距離画像センサ1は、図5に示すように両駆動用トランジスタTR1,TR2の制御端子を光量調節部7としてのマイコン10の1つの制御用ポートに接続されている点が実施形態1の距離画像センサ1と相違する。ここに、図5に示す構成自体は従来構成と同様であって、マイコン10の制御用ポートの出力によって第1および第2の一方の発光素子群のみを点灯させることはできないので、実施形態1のように点灯させる発光素子Lの個数を切り替えることはできない。
(Embodiment 3)
The distance image sensor 1 of the present embodiment is that the control terminals of both driving transistors TR1 and TR2 are connected to one control port of the microcomputer 10 as the light amount adjusting unit 7 as shown in FIG. 1 and the distance image sensor 1. Here, the configuration itself shown in FIG. 5 is the same as the conventional configuration, and only the first and second light emitting element groups cannot be lit by the output of the control port of the microcomputer 10, so that the first embodiment Thus, the number of light emitting elements L to be lit cannot be switched.

本実施形態では、光量調節部7は、図6に示すように投光部2の点灯期間と消灯期間との比率を調節することによって投光部2から投光される光の光量を調節する。なお、図6は、横軸を時間軸として投光部2への供給電流を表している。   In the present embodiment, the light amount adjusting unit 7 adjusts the amount of light projected from the light projecting unit 2 by adjusting the ratio between the lighting period and the extinguishing period of the light projecting unit 2 as shown in FIG. . FIG. 6 shows the supply current to the light projecting unit 2 with the horizontal axis as the time axis.

具体的に説明すると、マイコン10の制御用ポートからHレベルの電圧信号が出力されている期間には、駆動用トランジスタTR1,TR2がオンして点灯期間となり、制御用ポートからLレベルの電圧信号が出力されている期間には、駆動用トランジスタTR1,TR2がオフして消灯期間となるので、光量調節部7は、制御用ポートから出力される矩形波状の電圧信号のデューティ比を変化させることにより、点灯期間と消灯期間との比率を調節する。   More specifically, during a period in which an H level voltage signal is output from the control port of the microcomputer 10, the driving transistors TR1 and TR2 are turned on to enter a lighting period, and an L level voltage signal is output from the control port. Since the driving transistors TR1 and TR2 are turned off during the period when the signal is output, the light quantity adjusting unit 7 changes the duty ratio of the rectangular wave voltage signal output from the control port. Thus, the ratio between the lighting period and the extinguishing period is adjusted.

この構成により、図6(a)に示す状態(点灯期間:消灯期間=1:1)を基準として、図6(b)に示すように点灯期間の比率を下げれば、投光部2から投光される光の光量が減少する。逆に、点灯期間の比率を高くすれば、投光部2から投光される光の光量が増加する。   With this configuration, if the ratio of the lighting period is reduced as shown in FIG. 6B with reference to the state shown in FIG. 6A (lighting period: extinguishing period = 1: 1), the light projecting unit 2 projects light. The amount of light emitted is reduced. Conversely, if the ratio of the lighting period is increased, the amount of light projected from the light projecting unit 2 increases.

要するに、本実施形態の構成は、図5のように従来構成に対してハードウェア面での変更を加えることなく、ソフトウェア面での変更(マイコン10の制御内容の変更)を行うだけで、各アプリケーションに対してそれぞれ適切な検出距離範囲を実現することができる。なお、投光部2から投光される光の光量は、点灯期間の比率を下げることで限りなく小さくすることができるので、この構成は、検出距離範囲を近距離側にシフトする場合に特に有用である。   In short, the configuration of the present embodiment can be achieved by making a software change (change of control content of the microcomputer 10) without adding hardware changes to the conventional configuration as shown in FIG. An appropriate detection distance range can be realized for each application. In addition, since the light quantity of the light projected from the light projecting unit 2 can be reduced as much as possible by reducing the ratio of the lighting period, this configuration is particularly suitable when the detection distance range is shifted to the short distance side. Useful.

ところで、本実施形態の他の構成例として、図7に示すように前記点灯期間において投光部2に間欠的に電流を流すとともに当該間欠電流のデューティ比を調節することによって光量を調節することも考えられる。なお、図7は、横軸を時間軸として投光部2への供給電流を表している。すなわち、この構成例では、点灯期間と消灯期間との比率は変えることなく(点灯期間:消灯期間=1:1)、点灯期間・消灯期間の繰返し周期に比べて十分短い周期でマイコン10の制御用ポートから出力される矩形波状の電圧信号のデューティ比を変化させることで、投光部2から投光される光量を調節する。この場合、信号処理部5においては受光部3の出力に積分処理を施すようにする。   By the way, as another configuration example of the present embodiment, as shown in FIG. 7, the amount of light is adjusted by causing the current to flow intermittently through the light projecting unit 2 during the lighting period and adjusting the duty ratio of the intermittent current. Is also possible. FIG. 7 shows the current supplied to the light projecting unit 2 with the horizontal axis as the time axis. That is, in this configuration example, the ratio between the lighting period and the extinguishing period is not changed (lighting period: extinguishing period = 1: 1), and the microcomputer 10 is controlled with a period sufficiently shorter than the repeating period of the lighting period and the extinguishing period. The amount of light projected from the light projecting unit 2 is adjusted by changing the duty ratio of the rectangular wave voltage signal output from the general port. In this case, the signal processing unit 5 performs integration processing on the output of the light receiving unit 3.

具体的には、図7(a)に示すように前記デューティ比が50%の状態を基準として、図7(b)に示すように前記デューティ比を小さくすれば、投光部2から投光される光の光量が減少し、逆に、図7(c)に示すように前記デューティ比を大きくすれば、投光部2から投光される光の光量が増加する。   Specifically, if the duty ratio is reduced as shown in FIG. 7B with reference to the state where the duty ratio is 50% as shown in FIG. On the contrary, if the duty ratio is increased as shown in FIG. 7C, the amount of light projected from the light projecting unit 2 is increased.

この構成によれば、あたかも高周波の搬送波に低周波の信号で振幅変調を施すが如く短い周期で発光素子Lを点滅させながらも、受光後に積分処理を施すことにより発光素子Lを点滅させない場合と同様の受光波形を得ることが可能である。つまり、積分処理にて復元される波形の歪みは小さく、測距性能の劣化を抑制できるという利点がある。   According to this configuration, the light emitting element L is blinked in a short period as if amplitude modulation was performed on a high frequency carrier wave with a low frequency signal, but the light emitting element L is not blinked by performing integration processing after light reception. It is possible to obtain a similar received light waveform. That is, the distortion of the waveform restored by the integration process is small, and there is an advantage that the degradation of the ranging performance can be suppressed.

ところで、本実施形態の構成では、投光部2からの強度変調光の波形が変化するため、受光部3への入射光と変調信号との位相差φが一定であるとしても、図8に示すようにφ=tan−1{(A3−A1)/(A0−A2)}の演算式で求まる位相差φがばらつくことがある。すなわち、たとえば位相差φ=45度とした場合に、上記演算式より、図8(a)のように点灯期間:消灯期間=1:1とした場合(実施形態1と同様)には位相差φは「45度」と求まるのに対し、図8(b)のように点灯期間を消灯期間に比べて短くした(ここでは、図8(a)に比べて点灯期間を1/8波長分だけ短くしている)場合、位相差φは「18度」と求まり、図8(c)のように前記間欠電流のデューティ比を50%とした場合、位相差φは「0度」と求まる。なお、図8は、横軸を時間軸として投光強度および受光強度を表している。 By the way, in the configuration of the present embodiment, since the waveform of the intensity modulated light from the light projecting unit 2 changes, even if the phase difference φ between the incident light to the light receiving unit 3 and the modulated signal is constant, FIG. As shown, there may be variations in the phase difference φ determined by the equation of φ = tan −1 {(A3−A1) / (A0−A2)}. That is, for example, when the phase difference φ = 45 degrees, from the above calculation formula, when the lighting period: extinguishing period = 1: 1 as in FIG. 8A, the phase difference is the same as in the first embodiment. Whereas φ is obtained as “45 degrees”, the lighting period is shorter than the extinguishing period as shown in FIG. 8B (here, the lighting period is reduced to 1/8 wavelength compared with FIG. 8A). When the duty ratio of the intermittent current is 50% as shown in FIG. 8C, the phase difference φ is obtained as “0 degree”. . FIG. 8 shows the light projecting intensity and the light receiving intensity with the horizontal axis as the time axis.

そこで、本実施形態では、信号処理部5は、上記演算式で求まった位相差φ(以下、演算値という)を所定の方法で換算したものを位相差φの真値として、当該真値から距離値を算出するものとする。ここに、位相差φの演算値と真値との対応関係を示す換算式あるいはデータテーブルが予め設定されており、演算値を真値に換算するに当たっては前記換算式あるいは前記データテーブルを用いる。位相差φの演算値と真値との対応関係は、図9に示すグラフのようになる。図9では、横軸を真値、縦軸を演算値とし、図8(a)に対応するものを「イ」で表し、図8(b)に対応するものを「ロ」で表し、図8(c)に対応するものを「ハ」で表している。   Therefore, in the present embodiment, the signal processing unit 5 uses the true value of the phase difference φ as a true value of the phase difference φ obtained by converting the phase difference φ (hereinafter referred to as a “calculated value”) obtained by the above calculation formula from the true value. The distance value shall be calculated. Here, a conversion formula or data table showing the correspondence between the calculated value of the phase difference φ and the true value is set in advance, and the conversion formula or the data table is used to convert the calculated value into the true value. The correspondence between the calculated value of the phase difference φ and the true value is as shown in the graph of FIG. In FIG. 9, the horizontal axis represents the true value, the vertical axis represents the calculated value, the one corresponding to FIG. 8A is represented by “A”, the one corresponding to FIG. 8B is represented by “B”, Items corresponding to 8 (c) are represented by “c”.

なお、その他の構成および機能は実施形態1と同様である。   Other configurations and functions are the same as those in the first embodiment.

(実施形態4)
本実施形態の距離画像センサ1は、図10に示すように光量調節部7が受光部3に入射する光量を調節するように構成されている点が実施形態1の距離画像センサ1と相違する。
(Embodiment 4)
The distance image sensor 1 of the present embodiment is different from the distance image sensor 1 of the first embodiment in that the light amount adjusting unit 7 is configured to adjust the amount of light incident on the light receiving unit 3 as shown in FIG. .

具体的に説明すると、図11に示すように受光部3と対象空間との間に配設されたレンズ9に絞り部11を設け、この絞り部11の操作によって受光部3への入射光量を調節できるようにしてある。絞り部11は、レンズ9の受光部3側に付設され、レンズ9から受光部3に入射する光の一部を遮ることにより光量を絞る装置であって、中央に設けた開口部の大きさを変えることにより絞り量を調節するものである。ここに、絞り部11は光量調節部7並びに手動設定部8として機能する。   More specifically, as shown in FIG. 11, a diaphragm unit 11 is provided in a lens 9 disposed between the light receiving unit 3 and the target space, and the amount of light incident on the light receiving unit 3 is reduced by operating the diaphragm unit 11. It can be adjusted. The diaphragm unit 11 is a device attached to the light receiving unit 3 side of the lens 9 to reduce the amount of light by blocking part of the light incident on the light receiving unit 3 from the lens 9, and the size of the opening provided in the center. The aperture value is adjusted by changing. Here, the diaphragm unit 11 functions as the light amount adjusting unit 7 and the manual setting unit 8.

この構成によれば、図11(a)に示す状態を基準として、図11(b)に示すように絞り部11により受光部3への入射光量を絞ることによって、受光部3での受光光量が減少し、撮像素子の飽和を防止することができる。逆に、絞り部11を開ければ、受光部3での受光光量が増加し、撮像素子の感度不足を解消することができる。   According to this configuration, with the state shown in FIG. 11A as a reference, the amount of light received by the light receiving unit 3 is reduced by reducing the amount of light incident on the light receiving unit 3 by the stop 11 as shown in FIG. Can be reduced and saturation of the image sensor can be prevented. On the other hand, if the aperture 11 is opened, the amount of light received by the light receiving unit 3 increases, and the lack of sensitivity of the image sensor can be resolved.

以上説明した構成では、光量調節部7が検出空間から受光部3に入射する光量を調節するので、前記光量を変化させても、受光部3で受光される光においては信号成分と雑音成分とが同じ割合で増減することとなり、SN比(信号成分と雑音成分との比)を一定に保つことができる。すなわち、撮像素子の飽和を回避するために光量調節部7で光量を減少させると、受光部3で受光される光においては信号成分だけでなく雑音成分も減少する。したがって、検出距離範囲を近距離側にシフトする場合でも、十分な測距性能(SN比)を確保したまま、撮像素子の飽和を回避することができるという利点がある。   In the configuration described above, the light amount adjusting unit 7 adjusts the amount of light incident on the light receiving unit 3 from the detection space. Therefore, even if the light amount is changed, the light component received by the light receiving unit 3 has a signal component and a noise component. Are increased or decreased at the same rate, and the SN ratio (ratio of signal component to noise component) can be kept constant. That is, when the light amount is reduced by the light amount adjusting unit 7 in order to avoid saturation of the image sensor, not only the signal component but also the noise component is reduced in the light received by the light receiving unit 3. Therefore, even when the detection distance range is shifted to the short distance side, there is an advantage that saturation of the image sensor can be avoided while ensuring sufficient distance measurement performance (SN ratio).

また、本実施形態では、受光部3へ入射する光量を調節するために絞り部11を設けるという比較的単純な構成を採用しているから、比較的簡単な構成で上記発明を実現することができる。   Further, in the present embodiment, a relatively simple configuration in which the diaphragm portion 11 is provided in order to adjust the amount of light incident on the light receiving portion 3 is employed, so that the above invention can be realized with a relatively simple configuration. it can.

なお、その他の構成および機能は実施形態1と同様である。   Other configurations and functions are the same as those in the first embodiment.

(実施形態5)
本実施形態の距離画像センサ1は、光量調節部7が、図12に示すように受光部3の露光時間の長さを調節することによって受光部3に入射する光量を調節する点が実施形態4の距離画像センサ1と相違する。ここで、受光部3の露光時間は制御部4により制御可能に構成されている。なお、図12では、横軸を時間軸として、(a)に投光部2の制御タイミングを示し、(b)、(c)に受光部3の制御タイミングを示す。
(Embodiment 5)
The distance image sensor 1 of the present embodiment is that the light amount adjusting unit 7 adjusts the amount of light incident on the light receiving unit 3 by adjusting the length of the exposure time of the light receiving unit 3 as shown in FIG. 4 is different from the distance image sensor 1. Here, the exposure time of the light receiving unit 3 is configured to be controllable by the control unit 4. In FIG. 12, the horizontal axis is the time axis, (a) shows the control timing of the light projecting unit 2, and (b), (c) shows the control timing of the light receiving unit 3.

すなわち、本実施形態では、図12(b)に示すように投光部2の点灯期間に亘り受光部3を駆動することで、撮像素子の受光量を増やして感度不足を解消したり、図12(c)に示すように投光部2の点灯期間に比べて受光部3を駆動する時間(露光時間)を短くすることで、撮像素子の受光量を少なくして撮像素子の飽和を防止したりすることができる。   That is, in the present embodiment, as shown in FIG. 12B, the light receiving unit 3 is driven over the lighting period of the light projecting unit 2, thereby increasing the amount of light received by the image sensor and eliminating the lack of sensitivity. As shown in FIG. 12 (c), by shortening the time (exposure time) for driving the light receiving unit 3 compared to the lighting period of the light projecting unit 2, the amount of light received by the image sensor is reduced and saturation of the image sensor is prevented. You can do it.

要するに、本実施形態の構成は、従来構成に対してハードウェア面での変更を加えることなく、ソフトウェア面での変更(マイコンの制御内容の変更)を行うだけで、各アプリケーションに対してそれぞれ適切な検出距離範囲を実現することができる。   In short, the configuration of the present embodiment is appropriate for each application by making a software change (a change in the control content of the microcomputer) without making a hardware change to the conventional configuration. A simple detection distance range can be realized.

なお、その他の構成および機能は実施形態4と同様である。   Other configurations and functions are the same as those in the fourth embodiment.

(実施形態6)
本実施形態の距離画像センサ1は、光量調節部7が投光部2から対象空間に投光される光と、対象空間から受光部3に入射する光との両方について光量を調節するように構成されている点が上記各実施形態の距離画像センサ1と相違する。
(Embodiment 6)
In the distance image sensor 1 of the present embodiment, the light amount adjusting unit 7 adjusts the light amount for both the light projected from the light projecting unit 2 to the target space and the light incident on the light receiving unit 3 from the target space. The point which is comprised differs from the distance image sensor 1 of said each embodiment.

すなわち、本実施形態では、光量調節部7は、図13に示すように投光部2から投光される光量を調節する投光側調節部7aと、受光部3へ入射する光量を調節する受光側調節部7bとを有している。ここで、投光側調節部7aの具体構成は、実施形態1ないし実施形態3のいずれかに示した光量調節部7と同様の構成とし、受光側調節部7bの具体構成は、実施形態4または実施形態5に示した光量調節部7と同様の構成とする。   That is, in the present embodiment, the light amount adjusting unit 7 adjusts the light incident side adjusting unit 7a that adjusts the amount of light projected from the light projecting unit 2 and the light amount incident on the light receiving unit 3, as shown in FIG. And a light receiving side adjusting portion 7b. Here, the specific configuration of the light emitting side adjustment unit 7a is the same as that of the light amount adjustment unit 7 shown in any of the first to third embodiments, and the specific configuration of the light receiving side adjustment unit 7b is the fourth embodiment. Or it is set as the structure similar to the light quantity adjustment part 7 shown in Embodiment 5. FIG.

この構成によれば、投光部2から投光される光量と受光部3へ入射する光量との両方を調節できるので、投光部2から投光される光量と受光部3へ入射する光量とのいずれか一方のみを調節する場合に比べて、受光部3での受光光量の調節範囲が広くなり、受光部3において撮像素子の飽和や感度不足を防ぐことができる検出距離範囲を幅広く調節することができるという利点がある。   According to this configuration, both the amount of light projected from the light projecting unit 2 and the amount of light incident on the light receiving unit 3 can be adjusted, so the amount of light projected from the light projecting unit 2 and the amount of light incident on the light receiving unit 3 Compared with the case where only one of the above is adjusted, the adjustment range of the amount of light received by the light receiving unit 3 is widened, and the detection range in the light receiving unit 3 that can prevent saturation of the image sensor and insufficient sensitivity is adjusted widely. There is an advantage that you can.

なお、その他の構成および機能は実施形態1と同様である。   Other configurations and functions are the same as those in the first embodiment.

(実施形態7)
本実施形態の距離画像センサ1は、図14に示すように手動設定部8に代えて、光量調節部7で調節される光量を自動的に設定する自動設定部12を採用した点が実施形態6の距離画像センサ1と相違する。
(Embodiment 7)
The distance image sensor 1 of the present embodiment employs an automatic setting unit 12 that automatically sets the light amount adjusted by the light amount adjusting unit 7 instead of the manual setting unit 8 as shown in FIG. 6 is different from the distance image sensor 1 of FIG.

自動設定部12は、信号処理部5の出力に応じて前記光量を設定するものであって、本実施形態では、信号処理部5で求まる対象物までの距離値から導出される特徴量に応じて光量を設定するものとする。   The automatic setting unit 12 sets the light amount according to the output of the signal processing unit 5. In the present embodiment, the automatic setting unit 12 responds to the feature amount derived from the distance value to the target obtained by the signal processing unit 5. Set the amount of light.

以下、本実施形態の信号処理部5および自動設定部12の動作について、図15に示すフローチャートを参照して説明する。   Hereinafter, operations of the signal processing unit 5 and the automatic setting unit 12 of the present embodiment will be described with reference to a flowchart shown in FIG.

信号処理部5は、飛行時間を入力として対象物までの距離値を演算し(S10,S11)、その演算結果を検出結果出力部6より出力する(S12)。自動設定部12では、ステップS12の処理に並行して、距離値の演算結果を基にした特徴量を導出し(S13)、当該特徴量を用いて対象物までの距離が近距離と遠距離とのいずれの傾向にあるかを判定する(S14,S15)。ここで、近距離の傾向にあると判定されれば(S14:Yes)、検出距離範囲が近距離側にシフトするように光量調節部7で調節される光量を設定し(S16)、逆に、遠距離の傾向にあると判定されれば(S15:Yes)、検出距離範囲が遠距離側にシフトするように光量調節部7で調節される光量を設定する(S17)。要するに、実際に検出した対象物までの距離が近ければ光量を減少させて検出距離範囲を近距離側にシフトさせ、対象物までの距離が遠ければ光量を増加させて検出距離範囲を遠距離側にシフトさせるので、前記対象物の距離値が検出距離範囲から外れることを防止することができる。   The signal processing unit 5 calculates the distance value to the object using the flight time as an input (S10, S11), and outputs the calculation result from the detection result output unit 6 (S12). The automatic setting unit 12 derives a feature amount based on the calculation result of the distance value in parallel with the process of step S12 (S13), and the distance to the target is calculated using the feature amount as a short distance and a long distance. (S14, S15). If it is determined that the distance tends to be short (S14: Yes), the light amount adjusted by the light amount adjusting unit 7 is set so that the detection distance range is shifted to the short distance side (S16), and conversely. If it is determined that the distance tends to be long (S15: Yes), the light amount adjusted by the light amount adjusting unit 7 is set so that the detection distance range is shifted to the long distance side (S17). In short, if the distance to the actually detected object is short, the light amount is decreased and the detection distance range is shifted to the near distance side, and if the distance to the object is far, the light amount is increased to increase the detection distance range to the long distance side. Therefore, the distance value of the object can be prevented from deviating from the detection distance range.

ここでは、距離値から導出される特徴量として、距離画像のフレーム全体(全画素)あるいは一部の画素についての距離値(画素値)の平均値を用いるものとする。この場合、対象物までの距離は、特徴量(平均値)が所定の閾値以上であれば遠距離、閾値未満であれば近距離の傾向にあると判定される。すなわち、距離画像の少なくとも一部の画素についての距離値の平均値に応じて光量が設定されるので、たとえば運用中に頻繁に検出対象となる対象物までの距離が変更されるアプリケーションであっても、距離値の平均値を求めるという簡単な処理を基に、対象物までの距離が変更される都度、適切な検出距離範囲に設定することができる。また、たとえば距離画像の1画素でのみ異常値が生じたとしても、この異常値に合わせて光量が設定されてしまうことを回避できるという利点もある。   Here, an average value of distance values (pixel values) for the entire frame (all pixels) or a part of pixels of the distance image is used as the feature amount derived from the distance value. In this case, it is determined that the distance to the object tends to be a long distance if the feature amount (average value) is equal to or greater than a predetermined threshold, and a short distance if the feature amount is less than the threshold. That is, since the light amount is set according to the average value of the distance values for at least some of the pixels in the distance image, for example, an application in which the distance to the target object that is frequently detected during operation is changed. However, based on a simple process of obtaining an average value of distance values, an appropriate detection distance range can be set every time the distance to the object is changed. In addition, for example, even if an abnormal value occurs in only one pixel of the distance image, there is an advantage that it is possible to avoid setting the light amount according to the abnormal value.

以上説明した構成によれば、光量調節部7で調節される光量が、信号処理部5で求まる距離値の特徴量に応じて自動的に設定されるから、ユーザにおいては検出対象となる対象物までの距離に合わせて光量を調節する手間が省ける。また、対象物までの距離に応じた最適な光量が自動的に設定されるから、たとえば運用中に頻繁に検出対象となる対象物までの距離を変更する必要があるアプリケーション等であっても、対象物までの距離が変更される都度、検出距離範囲を調節することにより、受光部3において撮像素子の飽和や感度不足が生じることを回避することができる。   According to the configuration described above, the amount of light adjusted by the light amount adjusting unit 7 is automatically set according to the feature value of the distance value obtained by the signal processing unit 5, so that the object to be detected by the user This saves you the trouble of adjusting the light intensity according to the distance. In addition, since the optimal amount of light according to the distance to the target is automatically set, for example, in applications that need to change the distance to the target that is frequently detected during operation, By adjusting the detection distance range each time the distance to the object is changed, it is possible to prevent the image sensor from being saturated or insufficiently sensitive in the light receiving unit 3.

また、距離値から導出される特徴量は、上述した平均値に限るものではなく、たとえば距離画像のフレーム全体(全画素)あるいは一部の画素についての距離値の最小値(最近値)であってもよい。この場合、特徴量(平均値)が所定の閾値以上であれば遠距離、閾値未満であれば近距離の傾向にあると判定される。この例では、距離値のソート処理を行うだけで前記特徴量を導出することができるので、運用中に頻繁に検出対象となる対象物までの距離が変更されるアプリケーションであっても、簡単なソート処理を基に、対象物までの距離が変更される都度、適切な検出距離範囲に設定することができる。さらにまた、前記特徴量は、たとえば距離値の最大値(最遠値)や、距離値がある閾値を超えた画素数、距離値が閾値を下回った画素数などであってもよい。   The feature amount derived from the distance value is not limited to the above-described average value, and is, for example, the minimum value (recent value) of the distance value for the entire frame (all pixels) or a part of the distance image. May be. In this case, if the feature amount (average value) is greater than or equal to a predetermined threshold value, it is determined that the distance tends to be long, and if the feature value (average value) is less than the threshold, it is determined to be close. In this example, since the feature amount can be derived only by performing a sorting process of distance values, even an application in which the distance to the target object that is frequently detected during operation is changed easily. Based on the sorting process, an appropriate detection distance range can be set every time the distance to the object is changed. Furthermore, the feature amount may be, for example, the maximum distance value (farthest value), the number of pixels where the distance value exceeds a certain threshold, the number of pixels whose distance value falls below the threshold, and the like.

なお、その他の構成および機能は実施形態6と同様である。   Other configurations and functions are the same as those in the sixth embodiment.

(実施形態8)
本実施形態の距離画像センサ1は、自動設定部12が、信号処理部5で求まる濃淡値(つまり、画素ごとの受光部3での受光光量)から導出される特徴量に応じて光量を設定する点が、実施形態7の距離画像センサ1と相違する。
(Embodiment 8)
In the distance image sensor 1 of the present embodiment, the automatic setting unit 12 sets the light amount according to the feature amount derived from the gray value obtained by the signal processing unit 5 (that is, the received light amount at the light receiving unit 3 for each pixel). This is different from the distance image sensor 1 of the seventh embodiment.

以下、本実施形態の信号処理部5および自動設定部12の動作について、図16に示すフローチャートを参照して説明する。   Hereinafter, operations of the signal processing unit 5 and the automatic setting unit 12 of the present embodiment will be described with reference to a flowchart shown in FIG.

信号処理部5は、飛行時間を入力として対象物までの距離値を演算し(S20,S21)、その演算結果を検出結果出力部6より出力する(S22)。自動設定部12では、ステップS20〜S22の処理と並行して、受光部3より得られる濃淡値(濃淡情報)を入力として(S23)、当該濃淡値をもとにした特徴量を導出し(S24)、当該特徴量を用いて対象物までの距離が近距離と遠距離とのいずれの傾向にあるかを判定する(S25,S26)。ここで、近距離の傾向にあると判定されれば(S25:Yes)、検出距離範囲が近距離側にシフトするように光量調節部7で調節される光量を設定し(S27)、逆に、遠距離の傾向にあると判定されれば(S26:Yes)、検出距離範囲が遠距離側にシフトするように光量調節部7で調節される光量を設定する(S28)。要するに、受光部3での受光光量が飽和傾向にあれば対象物までの距離が近いものと判断し、光量を減少させて検出距離範囲を近距離側にシフトさせ、逆に、受光部3での受光光量が感度不足の傾向にあれば対象物までの距離が遠いものと判断し、光量を増加させて検出距離範囲を遠距離側にシフトさせるので、前記対象物の距離値が検出距離範囲から外れることを防止することができる。   The signal processing unit 5 calculates the distance value to the object using the flight time as an input (S20, S21), and outputs the calculation result from the detection result output unit 6 (S22). In the automatic setting unit 12, in parallel with the processing of steps S20 to S22, the grayscale value (shading information) obtained from the light receiving unit 3 is input (S23), and a feature amount based on the grayscale value is derived ( S24) Using the feature amount, it is determined whether the distance to the object tends to be a short distance or a long distance (S25, S26). If it is determined that there is a tendency toward short distance (S25: Yes), the light amount adjusted by the light amount adjusting unit 7 is set so that the detection distance range is shifted to the short distance side (S27), and conversely. If it is determined that the distance tends to be long (S26: Yes), the light quantity adjusted by the light quantity adjusting unit 7 is set so that the detection distance range is shifted to the long distance side (S28). In short, if the amount of light received by the light receiving unit 3 tends to be saturated, it is determined that the distance to the object is short, the amount of light is decreased, the detection distance range is shifted to the near side, and conversely, If the received light amount tends to be insensitive, it is determined that the distance to the object is far, and the detection distance range is shifted to the far side by increasing the light amount, so the distance value of the object is the detection distance range. Can be prevented from coming off.

ここでは、濃淡値から導出される特徴量として、濃淡画像のフレーム全体(全画素)あるいは一部の画素についての濃淡値の平均値を用いるものとする。この場合、特徴量(平均値)が所定の閾値以上であれば飽和、閾値未満であれば感度不足の傾向にあると判定される。すなわち、濃淡画像の少なくとも一部の画素についての濃淡値の平均値に応じて光量が設定されるので、たとえば運用中に頻繁に検出対象となる対象物までの距離が変更されるアプリケーションであっても、濃淡値の平均値を求めるという簡単な処理を基に、対象物までの距離が変更される都度、適切な検出距離範囲に設定することができる。また、たとえば濃淡画像の1画素でのみ異常値が生じたとしても、この異常値に合わせて光量が設定されてしまうことを回避できるという利点もある。   Here, the average value of the gray values for the entire frame (all pixels) or a part of the gray image is used as the feature amount derived from the gray values. In this case, if the feature amount (average value) is equal to or greater than a predetermined threshold value, it is determined that there is a tendency to be saturated, and if it is less than the threshold value, it is determined that the sensitivity is insufficient. That is, since the light amount is set according to the average value of the gray value for at least some of the pixels of the gray image, for example, an application in which the distance to the target object that is frequently detected during operation is changed. However, based on a simple process of obtaining the average value of the gray values, it is possible to set an appropriate detection distance range each time the distance to the object is changed. Further, for example, even if an abnormal value occurs only in one pixel of a grayscale image, there is an advantage that it is possible to avoid setting the light amount according to the abnormal value.

以上説明した構成によれば、光量調節部7で調節される光量が、信号処理部5で求まる濃淡値の特徴量に応じて自動的に設定されるから、ユーザにおいては検出対象となる対象物までの距離に合わせて光量を調節する手間が省ける。また、受光部3での受光光量に応じた最適な光量が自動的に設定されるから、たとえば運用中に頻繁に検出対象となる対象物までの距離を変更する必要があるアプリケーション等であっても、対象物までの距離が変更される都度、検出距離範囲を調節することにより、受光部3において撮像素子の飽和や感度不足が生じることを回避することができる。   According to the configuration described above, the amount of light adjusted by the light amount adjustment unit 7 is automatically set according to the feature value of the gray value obtained by the signal processing unit 5, so that the object to be detected by the user This saves you the trouble of adjusting the light intensity according to the distance. In addition, since an optimum light amount corresponding to the amount of light received by the light receiving unit 3 is automatically set, for example, an application that needs to change the distance to an object to be detected frequently during operation. However, every time the distance to the object is changed, it is possible to avoid the saturation of the image sensor and the lack of sensitivity in the light receiving unit 3 by adjusting the detection distance range.

また、濃淡値から導出される特徴量は、上述した平均値に限るものではなく、たとえば濃淡画像のフレーム全体(全画素)あるいは一部の画素についての濃淡値の最大値であってもよい。この場合、特徴量(最大値)が所定の閾値以上であれば飽和、閾値未満であれば感度不足の傾向にあると判定される。この例では、濃淡値のソート処理を行うだけで前記特徴量を導出することができるので、運用中に頻繁に検出対象となる対象物までの距離が変更されるアプリケーションであっても、簡単なソート処理を基に、対象物までの距離が変更される都度、適切な検出距離範囲に設定することができる。さらにまた、前記特徴量は、たとえば濃淡値の最小値や、濃淡値がある閾値を超えた画素数、距離値が閾値を下回った画素数などであってもよい。   In addition, the feature amount derived from the gray value is not limited to the above-described average value, and may be the maximum gray value of the entire frame (all pixels) or a part of the gray image, for example. In this case, if the feature amount (maximum value) is equal to or greater than a predetermined threshold value, it is determined that there is a tendency to be saturated, and if the feature amount (maximum value) is less than the threshold value, it is determined that the sensitivity is insufficient. In this example, since the feature amount can be derived only by performing grayscale value sorting processing, even an application that frequently changes the distance to the target object to be detected during operation can be easily applied. Based on the sorting process, an appropriate detection distance range can be set each time the distance to the object is changed. Furthermore, the feature amount may be, for example, a minimum gray value, the number of pixels where the gray value exceeds a certain threshold, or the number of pixels whose distance value falls below the threshold.

ところで、本実施形態の他の例として、自動設定部12が、信号処理部5で求まる距離値と濃淡値(つまり、画素ごとの受光部3での受光光量)との両方から導出される特徴量に応じて光量を設定する構成としてもよい。この場合の信号処理部5および自動設定部12の動作について、図17に示すフローチャートを参照して以下に説明する。   As another example of the present embodiment, the automatic setting unit 12 is derived from both the distance value obtained by the signal processing unit 5 and the gray value (that is, the received light amount at the light receiving unit 3 for each pixel). It is good also as a structure which sets light quantity according to quantity. The operations of the signal processing unit 5 and the automatic setting unit 12 in this case will be described below with reference to the flowchart shown in FIG.

信号処理部5は、飛行時間を入力として対象物までの距離値を演算し(S30,S31)、その演算結果を検出結果出力部6より出力する(S32)。自動設定部12では、ステップS30〜S31の処理に並行して、受光部より得られる濃淡値(濃淡情報)を入力し(S33)、当該濃淡値と前記距離値とをもとにした特徴量を導出し(S34)、当該特徴量を用いて対象物までの距離が近距離と遠距離とのいずれの傾向にあるかを判定する(S35,S36)。ここで、近距離の傾向にあると判定されれば(S35:Yes)、検出距離範囲が近距離側にシフトするように光量調節部7で調節される光量を設定し(S37)、逆に、遠距離の傾向にあると判定されれば(S36:Yes)、検出距離範囲が遠距離側にシフトするように光量調節部7で調節される光量を設定する(S38)。要するに、対象物までの距離が近いものと判断されれば、光量を減少させて検出距離範囲を近距離側にシフトさせ、逆に、対象物までの距離が遠いものと判断されれば、光量を増加させて検出距離範囲を遠距離側にシフトさせるので、前記対象物の距離値が検出距離範囲から外れることを防止することができる。   The signal processing unit 5 calculates the distance value to the object using the flight time as an input (S30, S31), and outputs the calculation result from the detection result output unit 6 (S32). In the automatic setting unit 12, in parallel with the processing of steps S30 to S31, the gray value (light / dark information) obtained from the light receiving unit is input (S33), and the feature amount based on the gray value and the distance value. (S34), and using the feature amount, it is determined whether the distance to the object tends to be a short distance or a long distance (S35, S36). If it is determined that there is a tendency toward short distance (S35: Yes), the light amount adjusted by the light amount adjusting unit 7 is set so that the detection distance range is shifted to the short distance side (S37), and conversely. If it is determined that the distance tends to be long (S36: Yes), the light quantity adjusted by the light quantity adjusting unit 7 is set so that the detection distance range is shifted to the long distance side (S38). In short, if it is determined that the distance to the object is close, the amount of light is decreased and the detection distance range is shifted to the near side, and conversely, if it is determined that the distance to the object is far, the light amount Is increased to shift the detection distance range to the far side, so that the distance value of the object can be prevented from deviating from the detection distance range.

この構成によれば、距離値と濃淡値との一方が欠落している場合でも、他方から導出される特徴量に応じて光量が設定されるから、距離値と濃淡値とのいずれか一方を用いる場合に比べて、より確実に、適切な検出距離範囲を設定することができるという利点がある。   According to this configuration, even when one of the distance value and the gray value is missing, the light amount is set according to the feature amount derived from the other, so either one of the distance value or the gray value is set. There is an advantage that an appropriate detection distance range can be set more reliably as compared with the case of using.

なお、その他の構成および機能は実施形態7と同様である。   Other configurations and functions are the same as those in the seventh embodiment.

(実施形態9)
本実施形態の距離画像センサ1は、自動設定部12が、距離値から導出される特徴量を一定時間に亘って平均化し、当該平均化後の値を用いて光量を設定する点が実施形態7の距離画像センサ1と相違する。
(Embodiment 9)
The distance image sensor 1 according to the present embodiment is that the automatic setting unit 12 averages the feature amount derived from the distance value over a certain period of time and sets the light amount using the averaged value. 7 is different from the distance image sensor 1 of FIG.

以下、本実施形態における信号処理部5および自動設定部12の動作について、図18に示すフローチャートを参照して説明する。   Hereinafter, operations of the signal processing unit 5 and the automatic setting unit 12 in the present embodiment will be described with reference to a flowchart shown in FIG.

信号処理部5は、飛行時間を入力として対象物までの距離値を演算し(S40,S41)、その演算結果を検出結果出力部6より出力する(S42)。自動設定部12では、ステップS42の処理と並行して、距離値の演算結果をもとにした特徴量を導出する(S43)。その後、ステップS40〜S43と同様の処理(S44〜S47、S48〜S51)を複数回(ここでは2回)繰り返し、自動設定部12は、ステップS43,S47,S51でそれぞれ導出された特徴量の平均値をとり(S52)、当該平均値を用いて対象物までの距離が近距離と遠距離とのいずれの傾向にあるかを判定する(S53,S54)。ここで、近距離の傾向にあると判定されれば(S53:Yes)、検出距離範囲が近距離側にシフトするように光量調節部7で調節される光量を設定し(S55)、逆に、遠距離の傾向にあると判定されれば(S54:Yes)、検出距離範囲が遠距離側にシフトするように光量調節部7で調節される光量を設定する(S56)。要するに、対象物までの距離が近いものと判断されれば、光量を減少させて検出距離範囲を近距離側にシフトさせ、逆に、対象物までの距離が遠いものと判断されれば、光量を増加させて検出距離範囲を遠距離側にシフトさせるので、前記対象物の距離値が検出距離範囲から外れることを防止することができる。   The signal processing unit 5 calculates the distance value to the object using the flight time as an input (S40, S41), and outputs the calculation result from the detection result output unit 6 (S42). The automatic setting unit 12 derives a feature amount based on the calculation result of the distance value in parallel with the process of step S42 (S43). Thereafter, the same processing (S44 to S47, S48 to S51) as in steps S40 to S43 is repeated a plurality of times (here, twice), and the automatic setting unit 12 determines the feature values derived in steps S43, S47, and S51, respectively. An average value is taken (S52), and the average value is used to determine whether the distance to the object tends to be a short distance or a long distance (S53, S54). Here, if it is determined that there is a tendency toward short distance (S53: Yes), the light amount adjusted by the light amount adjusting unit 7 is set so that the detection distance range shifts to the short distance side (S55). If it is determined that the distance tends to be long (S54: Yes), the light amount adjusted by the light amount adjusting unit 7 is set so that the detection distance range is shifted to the long distance side (S56). In short, if it is determined that the distance to the object is close, the amount of light is decreased and the detection distance range is shifted to the near side, and conversely, if it is determined that the distance to the object is far, the light amount Is increased to shift the detection distance range to the far side, so that the distance value of the object can be prevented from deviating from the detection distance range.

この構成によれば、特徴量を一定時間に亘り平均化した値を用いて光量が設定されるので、対象物が激しく移動して距離値が変動する場合や、ノイズ等の影響で距離値が激しく変動するような場合であっても、光量の設定値が著しく変動することを防止でき、結果的に、安定した検出距離範囲の切り替えが可能となる。   According to this configuration, the amount of light is set using a value obtained by averaging feature amounts over a certain period of time, so that the distance value may change due to the influence of noise or the like when the object moves violently and the distance value fluctuates. Even if it fluctuates violently, it is possible to prevent the light amount setting value from fluctuating significantly, and as a result, it is possible to switch the detection distance range stably.

なお、本実施形態では、光量を設定するために、実施形態7と同様に距離値から導出される特徴量を用いる例を示したが、実施形態8で説明したように濃淡値あるいは濃淡値と距離値との両方から導出される特徴量を用いるようにしてもよい。   In the present embodiment, in order to set the amount of light, an example in which the feature amount derived from the distance value is used in the same manner as in the seventh embodiment has been described. However, as described in the eighth embodiment, A feature amount derived from both the distance value and the distance value may be used.

その他の構成および機能は実施形態7と同様である。   Other configurations and functions are the same as those of the seventh embodiment.

本発明の実施形態1を示す概略ブロック図である。It is a schematic block diagram which shows Embodiment 1 of this invention. 同上の要部を示す概略回路図である。It is a schematic circuit diagram which shows the principal part same as the above. 本発明の実施形態2の要部を示す概略回路図である。It is a schematic circuit diagram which shows the principal part of Embodiment 2 of this invention. 同上の動作を示すタイムチャートである。It is a time chart which shows operation | movement same as the above. 本発明の実施形態3の要部を示す概略回路図である。It is a schematic circuit diagram which shows the principal part of Embodiment 3 of this invention. 同上の動作を示すタイムチャートである。It is a time chart which shows operation | movement same as the above. 同上の他の動作例を示すタイムチャートである。It is a time chart which shows the other operation example same as the above. 同上の動作例を示すタイムチャートである。It is a time chart which shows the operation example same as the above. 同上の位相差の真値と演算値との対応関係を示すグラフである。It is a graph which shows the correspondence of the true value of a phase difference same as the above, and a calculation value. 本発明の実施形態4を示す概略ブロック図である。It is a schematic block diagram which shows Embodiment 4 of this invention. 同上の要部を示す概略平面図である。It is a schematic plan view which shows the principal part same as the above. 本発明の実施形態5の動作を示すタイムチャートである。It is a time chart which shows operation | movement of Embodiment 5 of this invention. 本発明の実施形態6を示す概略ブロック図である。It is a schematic block diagram which shows Embodiment 6 of this invention. 本発明の実施形態7を示す概略ブロック図である。It is a schematic block diagram which shows Embodiment 7 of this invention. 同上の動作を示すフローチャートである。It is a flowchart which shows operation | movement same as the above. 本発明の実施形態8の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of Embodiment 8 of this invention. 同上の他の動作例を示すフローチャートである。It is a flowchart which shows the other operation example same as the above. 本発明の実施形態9の動作を示すフローチャートである。It is a flowchart which shows operation | movement of Embodiment 9 of this invention. 従来例を示す概略ブロック図である。It is a schematic block diagram which shows a prior art example.

符号の説明Explanation of symbols

1 距離画像センサ
2 投光部
3 受光部
4 制御部
5 信号処理部
7 光量調節部
8 手動設定部
9 レンズ
11 絞り部
12 自動設定部
L 発光素子
VR1,VR2 可変抵抗(抵抗素子)
DESCRIPTION OF SYMBOLS 1 Distance image sensor 2 Light projection part 3 Light reception part 4 Control part 5 Signal processing part 7 Light quantity adjustment part 8 Manual setting part 9 Lens 11 Aperture part 12 Automatic setting part L Light emitting element VR1, VR2 Variable resistance (resistance element)

Claims (20)

対象空間を撮像することにより対象空間に存在する対象物までの距離値を画素値とした距離画像を生成する距離画像センサであって、対象空間に光を投光する投光部と、各々が距離画像の各画素に対応する複数の感光要素を有し各感光要素で対象空間からの光をそれぞれ受光する受光部と、投光部および受光部の駆動タイミングを制御する制御部と、投光部が光を投光してから当該光が対象空間内の対象物で反射されて受光部で受光されるまでの時間差を画素ごとに距離値に換算して前記距離画像を生成する信号処理部と、投光部から投光されて受光部で受光される光の光量を調節する光量調節部とを備えることを特徴とする距離画像センサ。   A distance image sensor that generates a distance image with a pixel value as a distance value to an object existing in the target space by imaging the target space, and a light projecting unit that projects light into the target space, A light receiving unit that has a plurality of photosensitive elements corresponding to each pixel of the distance image and receives light from the target space by each photosensitive element, a light projecting unit, a control unit that controls drive timing of the light receiving unit, and light projection A signal processing unit that generates a distance image by converting a time difference from when the unit projects light to when the light is reflected by an object in the target space and received by the light receiving unit into a distance value for each pixel And a light amount adjusting unit that adjusts the amount of light projected from the light projecting unit and received by the light receiving unit. 前記光量調節部は、前記投光部から前記対象空間に投光される光の光量を調節することを特徴とする請求項1記載の距離画像センサ。   The distance image sensor according to claim 1, wherein the light amount adjusting unit adjusts a light amount of light projected from the light projecting unit to the target space. 前記投光部は複数個の発光素子を有し、前記光量調節部は、点灯させる発光素子の個数を切り替えることにより光量を調節することを特徴とする請求項2記載の距離画像センサ。   3. The distance image sensor according to claim 2, wherein the light projecting unit includes a plurality of light emitting elements, and the light amount adjusting unit adjusts the light amount by switching the number of light emitting elements to be lit. 前記光量調節部は、前記投光部に供給される電流を制限している抵抗素子の抵抗値を変化させることで光量を調節することを特徴とする請求項2記載の距離画像センサ。   The distance image sensor according to claim 2, wherein the light amount adjusting unit adjusts the light amount by changing a resistance value of a resistance element that limits a current supplied to the light projecting unit. 前記投光部は光を投光する点灯期間と投光を停止する消灯期間とを周期的に繰り返しており、前記光量調節部は、点灯期間と消灯期間との比率を調節することにより光量を調節することを特徴とする請求項2記載の距離画像センサ。   The light projecting unit periodically repeats a lighting period for projecting light and a light extinguishing period for stopping light projection, and the light amount adjusting unit adjusts the ratio of the lighting period to the light extinguishing period to adjust the light amount. The distance image sensor according to claim 2, wherein the distance image sensor is adjusted. 前記投光部は光を投光する点灯期間と投光を停止する消灯期間とを周期的に繰り返しており、前記光量調節部は、点灯期間内において投光部に電流を間欠的に供給するとともに当該電流のデューティ比を調節することにより光量を調節することを特徴とする請求項2記載の距離画像センサ。   The light projecting unit periodically repeats a lighting period for projecting light and a light extinguishing period for stopping the light projecting, and the light amount adjusting unit intermittently supplies current to the light projecting unit within the lighting period. The distance image sensor according to claim 2, wherein the light quantity is adjusted by adjusting the duty ratio of the current. 前記光量調節部は、前記対象空間から前記受光部に入射する光の光量を調節することを特徴とする請求項1記載の距離画像センサ。   The distance image sensor according to claim 1, wherein the light amount adjusting unit adjusts a light amount of light incident on the light receiving unit from the target space. 前記光量調節部は、前記受光部と前記対象空間との間に設けられているレンズの絞りを変化させることで光量を調節することを特徴とする請求項7記載の距離画像センサ。   The distance image sensor according to claim 7, wherein the light amount adjusting unit adjusts the light amount by changing a diaphragm of a lens provided between the light receiving unit and the target space. 前記光量調節部は、前記受光部の露光時間を変化させることで光量を調節することを特徴とする請求項7記載の距離画像センサ。   The distance image sensor according to claim 7, wherein the light amount adjusting unit adjusts the light amount by changing an exposure time of the light receiving unit. 前記光量調節部は、前記投光部から前記対象空間に投光される光と対象空間から前記受光部に入射する光との両方の光量を調節することを特徴とする請求項1記載の距離画像センサ。   2. The distance according to claim 1, wherein the light amount adjusting unit adjusts both the light amount projected from the light projecting unit to the target space and the light incident from the target space to the light receiving unit. Image sensor. 前記光量調節部で調節される光量を設定するように操作される手動設定部を備えることを特徴とする請求項1ないし請求項10のいずれか1項に記載の距離画像センサ。   11. The distance image sensor according to claim 1, further comprising a manual setting unit operated to set a light amount adjusted by the light amount adjusting unit. 前記光量調節部で調節される光量を前記信号処理部の出力に応じて自動的に設定する自動設定部を備えることを特徴とする請求項1ないし請求項10のいずれか1項に記載の距離画像センサ。   11. The distance according to claim 1, further comprising an automatic setting unit that automatically sets a light amount adjusted by the light amount adjusting unit according to an output of the signal processing unit. Image sensor. 前記自動設定部は、前記対象物までの距離が近くなるほど光量を減少させるように、前記信号処理部で求まる前記距離値から導出される特徴量に応じて光量を設定することを特徴とする請求項12記載の距離画像センサ。   The automatic setting unit sets the light amount according to a feature amount derived from the distance value obtained by the signal processing unit so as to decrease the light amount as the distance to the object is closer. Item 13. A distance image sensor according to item 12. 前記自動設定部は、前記距離画像の少なくとも一部の画素についての前記距離値の平均値に応じて光量を設定することを特徴とする請求項13記載の距離画像センサ。   The distance image sensor according to claim 13, wherein the automatic setting unit sets a light amount according to an average value of the distance values for at least some of the pixels of the distance image. 前記自動設定部は、前記距離画像の少なくとも一部の画素についての前記距離値の最小値に応じて光量を設定することを特徴とする請求項13記載の距離画像センサ。   The distance image sensor according to claim 13, wherein the automatic setting unit sets a light amount according to a minimum value of the distance value for at least some of the pixels of the distance image. 前記信号処理部は、前記距離画像の画素ごとの前記受光部での受光光量を濃淡値として求め、前記自動設定部は、濃淡値が大きくなるほど光量を減少させるように、信号処理部で求まる濃淡値から導出される特徴量に応じて光量を設定することを特徴とする請求項12記載の距離画像センサ。   The signal processing unit obtains the received light amount at the light receiving unit for each pixel of the distance image as a gray value, and the automatic setting unit obtains the gray level determined by the signal processing unit so as to decrease the light amount as the gray value increases. The distance image sensor according to claim 12, wherein the light amount is set according to a feature amount derived from the value. 前記自動設定部は、前記距離画像の少なくとも一部の画素についての前記濃淡値の平均値に応じて光量を設定することを特徴とする請求項16記載の距離画像センサ。   The distance image sensor according to claim 16, wherein the automatic setting unit sets a light amount according to an average value of the grayscale values for at least some of the pixels of the distance image. 前記自動設定部は、前記距離画像の少なくとも一部の画素についての前記濃淡値の最大値に応じて光量を設定することを特徴とする請求項16記載の距離画像センサ。   The distance image sensor according to claim 16, wherein the automatic setting unit sets a light amount according to a maximum value of the gray value for at least some of the pixels of the distance image. 前記信号処理部は、前記距離画像の画素ごとの前記受光部での受光光量を濃淡値として求め、前記自動設定部は、前記対象物までの距離が近くなるほど光量を減少させるとともに、濃淡値が高くなるほど光量を減少させるように、信号処理部で求まる前記距離値および濃淡値の両方から導出される特徴量に応じて光量を設定することを特徴とする請求項12記載の距離画像センサ。   The signal processing unit obtains the received light amount at the light receiving unit for each pixel of the distance image as a gray value, and the automatic setting unit decreases the light amount as the distance to the object is closer, and the gray value is 13. The distance image sensor according to claim 12, wherein the light amount is set according to a feature amount derived from both the distance value and the gray value obtained by the signal processing unit so that the light amount is decreased as the value increases. 前記自動設定部は、前記特徴量を一定時間に亘り平均化した値を用いて光量を設定することを特徴とする請求項12ないし請求項19のいずれか1項に記載の距離画像センサ。
The distance image sensor according to any one of claims 12 to 19, wherein the automatic setting unit sets a light amount using a value obtained by averaging the feature amount over a predetermined time.
JP2008191290A 2008-07-24 2008-07-24 Distance image sensor Expired - Fee Related JP5308088B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008191290A JP5308088B2 (en) 2008-07-24 2008-07-24 Distance image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008191290A JP5308088B2 (en) 2008-07-24 2008-07-24 Distance image sensor

Publications (2)

Publication Number Publication Date
JP2010025906A true JP2010025906A (en) 2010-02-04
JP5308088B2 JP5308088B2 (en) 2013-10-09

Family

ID=41731870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008191290A Expired - Fee Related JP5308088B2 (en) 2008-07-24 2008-07-24 Distance image sensor

Country Status (1)

Country Link
JP (1) JP5308088B2 (en)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2473316A (en) * 2009-07-06 2011-03-09 Furuno Electric Co Dual mode radar
JP2012057962A (en) * 2010-09-06 2012-03-22 Sharp Corp Distance measurement device, non-contact pulse measurement device and electronic apparatus
JP2012168049A (en) * 2011-02-15 2012-09-06 Stanley Electric Co Ltd Distance image generation device and method
JP2012202776A (en) * 2011-03-24 2012-10-22 Toyota Central R&D Labs Inc Distance measuring device
JP2013050310A (en) * 2011-08-30 2013-03-14 Stanley Electric Co Ltd Distance image generation device
JP2013185983A (en) * 2012-03-08 2013-09-19 Topcon Corp Light-wave range finder
JP2014085338A (en) * 2012-10-19 2014-05-12 Sick Ag Photoelectric sensor and change method of sensor setting
JP2014153288A (en) * 2013-02-13 2014-08-25 Omron Corp Imaging device
JP2015092152A (en) * 2013-10-01 2015-05-14 株式会社トプコン Measuring method and measuring device
WO2015107869A1 (en) * 2014-01-14 2015-07-23 パナソニックIpマネジメント株式会社 Distance image generation device and distance image generation method
JP2015212673A (en) * 2014-05-07 2015-11-26 株式会社ミツトヨ Three-dimensional measuring system, three-dimensional measuring method, and measured body
WO2016075945A1 (en) * 2014-11-14 2016-05-19 株式会社デンソー Optical time-of-flight range-finding device
JP2016090436A (en) * 2014-11-06 2016-05-23 株式会社デンソー Time-of-flight optical ranging device
JP2016095234A (en) * 2014-11-14 2016-05-26 株式会社デンソー Light flight distance measuring device
JP2016099233A (en) * 2014-11-21 2016-05-30 株式会社デンソー Light flight distance measuring device
JP2016205884A (en) * 2015-04-17 2016-12-08 三菱電機株式会社 Laser radar device
JP2016212021A (en) * 2015-05-12 2016-12-15 スタンレー電気株式会社 Distance image creation device
JP2017523560A (en) * 2014-05-23 2017-08-17 フィリップス ライティング ホールディング ビー ヴィ Object detection system and method
WO2017138033A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
WO2017138032A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
WO2017183114A1 (en) * 2016-04-19 2017-10-26 株式会社日立エルジーデータストレージ Distance image generation device and distance image generation method
US9829983B2 (en) 2012-10-23 2017-11-28 Samsung Electronic Co., Ltd. Mobile systems including image sensors, methods of operating image sensors, and methods of operating mobile systems
US10324033B2 (en) 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
CN110446943A (en) * 2017-03-30 2019-11-12 松下知识产权经营株式会社 Pattern recognition device and range image generation method
WO2020075506A1 (en) * 2018-10-10 2020-04-16 ソニーセミコンダクタソリューションズ株式会社 Distance measurement system, calibration method, program, and electronic device
CN111033315A (en) * 2017-08-08 2020-04-17 国立大学法人静冈大学 Distance image measuring device and distance image measuring method
US10656271B2 (en) 2014-11-06 2020-05-19 Denso Corporation Time-of-flight distance measurement device and method for same
US10705215B2 (en) 2016-11-16 2020-07-07 Ricoh Company, Ltd. Distance measurement apparatus, and method of measuring distance
WO2020170969A1 (en) * 2019-02-22 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 Ranging device and ranging device controlling method, and electronic device
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
JPWO2019123830A1 (en) * 2017-12-22 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 Signal generator
JP2020181186A (en) * 2019-04-25 2020-11-05 キヤノン株式会社 Imaging device and control method thereof
CN112601979A (en) * 2018-09-03 2021-04-02 松下知识产权经营株式会社 Distance measuring device
WO2021096219A1 (en) * 2019-11-14 2021-05-20 삼성전자 주식회사 Electronic device comprising camera and method thereof
CN113126111A (en) * 2019-12-30 2021-07-16 Oppo广东移动通信有限公司 Time-of-flight module and electronic equipment
WO2022201570A1 (en) * 2021-03-25 2022-09-29 富士フイルムビジネスイノベーション株式会社 Detection device, detection program, storage medium, detection method, and light emission device
WO2022264557A1 (en) * 2021-06-17 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 Control device and control method
WO2023033170A1 (en) * 2021-09-06 2023-03-09 凸版印刷株式会社 Distance image capturing device and distance image capturing method
WO2024004639A1 (en) * 2022-06-29 2024-01-04 ソニーセミコンダクタソリューションズ株式会社 Light reception device, information processing device, ranging device, and information processing method
US11921209B2 (en) 2017-12-22 2024-03-05 Sony Semiconductor Solutions Corporation Signal generation apparatus

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57141572A (en) * 1981-02-25 1982-09-01 Mitsubishi Electric Corp Laser distance measuring device
JPS637376U (en) * 1986-07-01 1988-01-19
JPH0562882U (en) * 1992-01-30 1993-08-20 株式会社ニコン Distance measuring device
JPH07174851A (en) * 1993-12-21 1995-07-14 Mitsubishi Electric Corp Distance measuring device for vehicle
JPH10210576A (en) * 1997-01-24 1998-08-07 Matsushita Electric Ind Co Ltd Remote transmission capability variable device
JP2000241131A (en) * 1998-12-22 2000-09-08 Matsushita Electric Ind Co Ltd Range finder device and image sensing device
JP2003130953A (en) * 2001-10-24 2003-05-08 Nikon Corp Range finder
JP2005164482A (en) * 2003-12-04 2005-06-23 Nissan Motor Co Ltd Led lamp device with distance measurement function
JP2006067503A (en) * 2004-08-30 2006-03-09 Matsushita Electric Works Ltd Camera and video interphone handset employing the same
JP2007017503A (en) * 2005-07-05 2007-01-25 Fujifilm Holdings Corp Imaging apparatus

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57141572A (en) * 1981-02-25 1982-09-01 Mitsubishi Electric Corp Laser distance measuring device
JPS637376U (en) * 1986-07-01 1988-01-19
JPH0562882U (en) * 1992-01-30 1993-08-20 株式会社ニコン Distance measuring device
JPH07174851A (en) * 1993-12-21 1995-07-14 Mitsubishi Electric Corp Distance measuring device for vehicle
JPH10210576A (en) * 1997-01-24 1998-08-07 Matsushita Electric Ind Co Ltd Remote transmission capability variable device
JP2000241131A (en) * 1998-12-22 2000-09-08 Matsushita Electric Ind Co Ltd Range finder device and image sensing device
JP2003130953A (en) * 2001-10-24 2003-05-08 Nikon Corp Range finder
JP2005164482A (en) * 2003-12-04 2005-06-23 Nissan Motor Co Ltd Led lamp device with distance measurement function
JP2006067503A (en) * 2004-08-30 2006-03-09 Matsushita Electric Works Ltd Camera and video interphone handset employing the same
JP2007017503A (en) * 2005-07-05 2007-01-25 Fujifilm Holdings Corp Imaging apparatus

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2473316A (en) * 2009-07-06 2011-03-09 Furuno Electric Co Dual mode radar
US8115674B2 (en) 2009-07-06 2012-02-14 Furuno Electric Company Limited Method of detecting target object and target object detection device
GB2473316B (en) * 2009-07-06 2013-03-20 Furuno Electric Co Method of detecting target object and target object detection device
JP2012057962A (en) * 2010-09-06 2012-03-22 Sharp Corp Distance measurement device, non-contact pulse measurement device and electronic apparatus
JP2012168049A (en) * 2011-02-15 2012-09-06 Stanley Electric Co Ltd Distance image generation device and method
JP2012202776A (en) * 2011-03-24 2012-10-22 Toyota Central R&D Labs Inc Distance measuring device
JP2013050310A (en) * 2011-08-30 2013-03-14 Stanley Electric Co Ltd Distance image generation device
JP2013185983A (en) * 2012-03-08 2013-09-19 Topcon Corp Light-wave range finder
US10324033B2 (en) 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
JP2014085338A (en) * 2012-10-19 2014-05-12 Sick Ag Photoelectric sensor and change method of sensor setting
US9829983B2 (en) 2012-10-23 2017-11-28 Samsung Electronic Co., Ltd. Mobile systems including image sensors, methods of operating image sensors, and methods of operating mobile systems
JP2014153288A (en) * 2013-02-13 2014-08-25 Omron Corp Imaging device
JP2015092152A (en) * 2013-10-01 2015-05-14 株式会社トプコン Measuring method and measuring device
CN105899966A (en) * 2014-01-14 2016-08-24 松下知识产权经营株式会社 Distance image generation device and distance image generation method
WO2015107869A1 (en) * 2014-01-14 2015-07-23 パナソニックIpマネジメント株式会社 Distance image generation device and distance image generation method
JPWO2015107869A1 (en) * 2014-01-14 2017-03-23 パナソニックIpマネジメント株式会社 Distance image generating apparatus and distance image generating method
JP2015212673A (en) * 2014-05-07 2015-11-26 株式会社ミツトヨ Three-dimensional measuring system, three-dimensional measuring method, and measured body
US11143749B2 (en) 2014-05-23 2021-10-12 Signify Holding B.V. Object detection system and method
JP2017523560A (en) * 2014-05-23 2017-08-17 フィリップス ライティング ホールディング ビー ヴィ Object detection system and method
DE112015005053B4 (en) 2014-11-06 2022-01-20 Denso Corporation RUNTIME DISTANCE MEASUREMENT DEVICE AND METHOD FOR SUCH
JP2016090436A (en) * 2014-11-06 2016-05-23 株式会社デンソー Time-of-flight optical ranging device
US10656271B2 (en) 2014-11-06 2020-05-19 Denso Corporation Time-of-flight distance measurement device and method for same
US10422879B2 (en) 2014-11-14 2019-09-24 Denso Corporation Time-of-flight distance measuring device
JP2016095234A (en) * 2014-11-14 2016-05-26 株式会社デンソー Light flight distance measuring device
WO2016075945A1 (en) * 2014-11-14 2016-05-19 株式会社デンソー Optical time-of-flight range-finding device
JP2016099233A (en) * 2014-11-21 2016-05-30 株式会社デンソー Light flight distance measuring device
JP2016205884A (en) * 2015-04-17 2016-12-08 三菱電機株式会社 Laser radar device
JP2016212021A (en) * 2015-05-12 2016-12-15 スタンレー電気株式会社 Distance image creation device
KR20180113525A (en) 2016-02-08 2018-10-16 에스프로스 포토닉스 아게 Time-of-flight distance measurement device and method for detecting multipath errors
WO2017138032A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
WO2017138033A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US11307296B2 (en) 2016-02-08 2022-04-19 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US10928518B2 (en) 2016-04-19 2021-02-23 Hitachi-Lg Data Storage, Inc. Range image generation apparatus and range image generation method
JPWO2017183114A1 (en) * 2016-04-19 2019-02-28 株式会社日立エルジーデータストレージ Distance image generating apparatus and distance image generating method
WO2017183114A1 (en) * 2016-04-19 2017-10-26 株式会社日立エルジーデータストレージ Distance image generation device and distance image generation method
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
US10705215B2 (en) 2016-11-16 2020-07-07 Ricoh Company, Ltd. Distance measurement apparatus, and method of measuring distance
CN110446943A (en) * 2017-03-30 2019-11-12 松下知识产权经营株式会社 Pattern recognition device and range image generation method
CN111033315A (en) * 2017-08-08 2020-04-17 国立大学法人静冈大学 Distance image measuring device and distance image measuring method
JP7436207B2 (en) 2017-12-22 2024-02-21 ソニーセミコンダクタソリューションズ株式会社 signal generator
US11894851B2 (en) 2017-12-22 2024-02-06 Sony Semiconductor Solutions Corporation Signal generation apparatus for time-of-flight camera with suppressed cyclic error
JPWO2019123830A1 (en) * 2017-12-22 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 Signal generator
US11921209B2 (en) 2017-12-22 2024-03-05 Sony Semiconductor Solutions Corporation Signal generation apparatus
CN112601979A (en) * 2018-09-03 2021-04-02 松下知识产权经营株式会社 Distance measuring device
WO2020075506A1 (en) * 2018-10-10 2020-04-16 ソニーセミコンダクタソリューションズ株式会社 Distance measurement system, calibration method, program, and electronic device
CN112789515A (en) * 2018-10-10 2021-05-11 索尼半导体解决方案公司 Distance measurement system, calibration method, program, and electronic device
WO2020170969A1 (en) * 2019-02-22 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 Ranging device and ranging device controlling method, and electronic device
JP7234171B2 (en) 2019-04-25 2023-03-07 キヤノン株式会社 Imaging device and its control method
JP2020181186A (en) * 2019-04-25 2020-11-05 キヤノン株式会社 Imaging device and control method thereof
WO2021096219A1 (en) * 2019-11-14 2021-05-20 삼성전자 주식회사 Electronic device comprising camera and method thereof
CN113126111A (en) * 2019-12-30 2021-07-16 Oppo广东移动通信有限公司 Time-of-flight module and electronic equipment
CN113126111B (en) * 2019-12-30 2024-02-09 Oppo广东移动通信有限公司 Time-of-flight module and electronic device
WO2022201570A1 (en) * 2021-03-25 2022-09-29 富士フイルムビジネスイノベーション株式会社 Detection device, detection program, storage medium, detection method, and light emission device
WO2022264557A1 (en) * 2021-06-17 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 Control device and control method
WO2023033170A1 (en) * 2021-09-06 2023-03-09 凸版印刷株式会社 Distance image capturing device and distance image capturing method
WO2024004639A1 (en) * 2022-06-29 2024-01-04 ソニーセミコンダクタソリューションズ株式会社 Light reception device, information processing device, ranging device, and information processing method

Also Published As

Publication number Publication date
JP5308088B2 (en) 2013-10-09

Similar Documents

Publication Publication Date Title
JP5308088B2 (en) Distance image sensor
CN101267495B (en) Phase adjustment device, phase adjustment method and digital camera
JP4971744B2 (en) Spatial information detector using intensity-modulated light
CN111258157B (en) Projector and brightness adjusting method
US20130314691A1 (en) Distance measurement system
JP2007201470A (en) Led drive unit having temperature compensation function
US20140285536A1 (en) Image display device
US10627518B2 (en) Tracking device with improved work surface adaptability
JP2010008088A (en) Spatial information detection device
US20150222800A1 (en) Imaging Apparatus
US20210141069A1 (en) Photodetector and portable electronic equipment
JP2008311985A (en) Phase adjustment apparatus and digital camera
US9349348B2 (en) System and methods for laser beam display
JP2015126250A (en) Imaging controller
JP5625370B2 (en) Lighting control device and lighting device including the same
JP6155943B2 (en) Image display device
TWI373724B (en) Optical sensing device and method thereof
US20100289745A1 (en) System and method for automatically adjusting light source drive current during optical navigation operation
JP2018101886A5 (en) Quantum interference device
US20110181511A1 (en) Method for adjusting exposure condition of optical sensor module and optical sensor module thereof
JP2013150158A (en) Photoelectric switch and sensitivity adjustment method
US11523042B2 (en) Image detection device
JP6380797B2 (en) Head-up display device
JP2013125760A (en) Photodetector control circuit
JP4854890B2 (en) Photodetector with tuned emission

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110621

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130628

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees