JP2020085486A - Object detector - Google Patents
Object detector Download PDFInfo
- Publication number
- JP2020085486A JP2020085486A JP2018215454A JP2018215454A JP2020085486A JP 2020085486 A JP2020085486 A JP 2020085486A JP 2018215454 A JP2018215454 A JP 2018215454A JP 2018215454 A JP2018215454 A JP 2018215454A JP 2020085486 A JP2020085486 A JP 2020085486A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- unit
- distance
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、物体検知装置に関する。 The present invention relates to an object detection device.
光の往復時間により物体までの距離を計測する距離センサを用いて、距離を画素値とする距離画像を生成する技術がある。そのような技術はＬｉｄａｒ（Light Detection and Ranging、Laser Imaging Detection and Ranging）と呼ばれる。 There is a technique of generating a distance image having a distance as a pixel value by using a distance sensor that measures the distance to an object by the round-trip time of light. Such a technique is called Lidar (Light Detection and Ranging, Laser Imaging Detection and Ranging).
例えば、特許文献１には、Ｌｉｄａｒにより背景画像を生成しておき、運用時にＬｉｄａｒにより生成した距離画像と背景画像との差分画像により人物や物などの対象物を検知する技術が記載されている。 For example, Patent Literature 1 describes a technique of generating a background image by Lidar and detecting an object such as a person or an object by a difference image between a distance image and a background image generated by Lidar during operation. ..
或る環境下においては、Ｌｉｄａｒにより検知すべき対象物（障害物、人物等）を表す距離画像が生成されない場合がある。例えば、霧、煙、微細な粉体（砂埃等）等の空中浮遊物が存在している環境下においてＬｉｄａｒにより距離画像を生成した場合、距離センサが近くの空中浮遊物までの距離を計測してしまい、空中浮遊物の向こう側に存在する検知すべき対象物を表す画像が得られない場合がある。そのような環境下においては、Ｌｉｄａｒにより生成される距離画像から、検知すべき対象物を検知できない。 Under a certain environment, a distance image representing an object (obstacle, person, etc.) to be detected by Lidar may not be generated. For example, when a distance image is generated by Lidar in an environment where airborne objects such as fog, smoke, and fine powder (sand dust, etc.) exist, the distance sensor measures the distance to nearby airborne objects. In some cases, an image representing the target object existing on the other side of the airborne floating object cannot be obtained. Under such an environment, the object to be detected cannot be detected from the distance image generated by Lidar.
上記の背景に鑑み、本発明は、距離画像による物体の検知が困難な環境下においても、当該物体の検知を可能とする技術を提供する。 In view of the above background, the present invention provides a technique that enables detection of an object even in an environment where it is difficult to detect the object using a distance image.
上述した課題を解決するために、本発明は、光の往復時間により測距する距離センサにより計測した距離を画素値とする距離画像を生成し、前記距離センサにより受光する光の光量を画素値とする光量画像を生成し、前記距離画像と前記光量画像とから物体を検知することを特徴とする物体検知装置を第１の態様として提供する。 In order to solve the above-mentioned problem, the present invention generates a distance image having a pixel value that is a distance measured by a distance sensor that measures the round-trip time of light, and determines the amount of light received by the distance sensor as a pixel value. An object detecting device is provided as a first aspect, which is characterized by generating a light amount image and detecting an object from the distance image and the light amount image.
第１の態様の物体検知装置によれば、距離画像による物体の検知が困難な環境下においても、光量画像により物体を検知できる。 According to the object detection device of the first aspect, the object can be detected by the light amount image even in an environment where it is difficult to detect the object by the distance image.
第１の態様の物体検知装置おいて、前記距離画像から対象物の検知を阻害する物体を検知した場合、前記光量画像から対象物を検知する、という構成が第２の態様として採用されてもよい。 In the object detection device of the first aspect, when the object that inhibits the detection of the object is detected from the distance image, the configuration of detecting the object from the light amount image is adopted as the second aspect. Good.
第２の態様の物体検知装置によれば、何らかの物体に阻害されて対象物の画像が距離画像に含まれない場合であっても、光量画像により対象物を検知できる。 According to the object detection device of the second aspect, the object can be detected by the light amount image even when the image of the object is not included in the range image due to some obstacle.
第２の態様の物体検知装置において、前記検知を阻害する物体は、空中浮遊物である、という構成が第３の態様として採用されてもよい。 In the object detection device of the second aspect, a configuration in which the object that obstructs the detection is an airborne matter may be adopted as the third aspect.
第３の態様の物体検知装置によれば、空中浮遊物が存在する環境下でも、対象物を検知できる。 According to the object detection device of the third aspect, it is possible to detect an object even in an environment in which airborne suspended matter exists.
第１乃至第３のいずれかの態様の物体検知装置において、前記光量画像と前記距離画像の各々から検知した物体の同定を行う、という構成が第４の態様として採用されてもよい。 In the object detection device of any one of the first to third aspects, a configuration of identifying an object detected from each of the light amount image and the distance image may be adopted as the fourth aspect.
第４の態様の物体検知装置によれば、光量画像と距離画像の両方から同じ物体が検知されたか否かが判る。 According to the object detection device of the fourth aspect, it is possible to determine whether the same object is detected from both the light amount image and the distance image.
第４の態様の物体検知装置において、前記光量画像から検知した物体であって、前記距離画像から検知した物体と同定した物体までの距離を、前記距離画像から推定する、という構成が第５の態様として採用されてもよい。 In the object detection device of the fourth aspect, a fifth configuration has a configuration in which the distance to the object detected from the light amount image and identified as the detected object from the distance image is estimated from the distance image. It may be adopted as an aspect.
第５の態様の物体検知装置によれば、距離画像から物体が検知できなくなった場合でも、光量画像から検知される物体までの距離が推定できる。 According to the object detection device of the fifth aspect, the distance to the detected object can be estimated from the light amount image even when the object cannot be detected from the distance image.
［実施形態］
以下に、本発明の一実施形態に係る物体検知装置１を説明する。図１は、物体検知装置１の構成を示したブロック図である。
[Embodiment]
Hereinafter, the object detection device 1 according to the embodiment of the present invention will be described. FIG. 1 is a block diagram showing the configuration of the object detection device 1.
投光部１１は、レーザ光を発光する発光素子と、発光素子の駆動回路と、発光したレーザ光を走査部１３へと導く光学系等を備えている。発光素子が発光するタイミングは、タイミング制御部１４で制御される。 The light projecting unit 11 includes a light emitting element that emits laser light, a drive circuit for the light emitting element, an optical system that guides the emitted laser light to the scanning unit 13, and the like. The timing at which the light emitting element emits light is controlled by the timing controller 14.
走査部１３は、投光部１１から投光されるレーザ光の方向を、検知領域Ｄ内の複数方向の各々に順次変更してゆく走査処理を行う。以下、それらの複数方向を方向ｄ（１）〜ｄ（ｎ）（ただし、ｎは所定の自然数）とする。走査部１３の構成としては、種々のものが採用可能であるが、本実施形態では、走査部１３は、可動部１３１と、可動部１３１に取り付けられたミラー１３２と、不図示の永久磁石とを備えている。ミラー１３２には、投光部１１から投光されたレーザ光が入射する。 The scanning unit 13 performs a scanning process in which the direction of the laser light projected from the light projecting unit 11 is sequentially changed to each of a plurality of directions within the detection area D. Hereinafter, these plural directions will be referred to as directions d(1) to d(n) (where n is a predetermined natural number). Although various configurations can be adopted as the configuration of the scanning unit 13, in the present embodiment, the scanning unit 13 includes a movable unit 131, a mirror 132 attached to the movable unit 131, and a permanent magnet (not shown). Is equipped with. The laser light projected from the light projecting unit 11 is incident on the mirror 132.
可動部１３１に電流が流れると、永久磁石との間に発生する力により可動部１３１が傾く。走査部１３は、タイミング制御部１４から入力される駆動信号に従い可動部１３１に流す電流を制御することにより、可動部１３１の傾きの方向と大きさを変更し、可動部１３１に取り付けられているミラー１３２の方向を変更する。以下、「ミラー１３２の方向」とは、投光部１１からミラー１３２に向けて投光されたレーザ光がミラー１３２で反射した後に進む方向を意味するものとする。 When a current flows through the movable portion 131, the movable portion 131 tilts due to the force generated between the movable portion 131 and the permanent magnet. The scanning unit 13 is attached to the movable unit 131 by changing the direction and size of the inclination of the movable unit 131 by controlling the current flowing through the movable unit 131 according to the drive signal input from the timing control unit 14. The direction of the mirror 132 is changed. Hereinafter, the “direction of the mirror 132” means the direction in which the laser light projected from the light projecting unit 11 toward the mirror 132 advances after being reflected by the mirror 132.
走査部１３から検知領域Ｄ内のいずれかの方向に照射されたレーザ光が物体に当たると、反射光が発生する。反射光のうちミラー１３２に向かった反射光は、ミラー１３２で反射して受光部１２へ向かう。 When the laser light emitted from the scanning unit 13 in any direction within the detection area D hits the object, reflected light is generated. Of the reflected light, the reflected light that is directed to the mirror 132 is reflected by the mirror 132 and goes to the light receiving unit 12.
受光部１２は、受光した光の光量の瞬時値を示す光量信号を継続的に出力する。受光部１２は、光学系と、受光素子と、増幅回路等を備えている。ミラー１３２からの反射光は、光学系により受光素子へと導かれる。受光素子は光学系により導かれた反射光の光量の瞬時値を示す光量信号を増幅回路に出力し、増幅回路はその光量信号を増幅して出力する。 The light receiving unit 12 continuously outputs a light amount signal indicating the instantaneous value of the light amount of the received light. The light receiving section 12 includes an optical system, a light receiving element, an amplifier circuit, and the like. The reflected light from the mirror 132 is guided to the light receiving element by the optical system. The light receiving element outputs a light amount signal indicating the instantaneous value of the light amount of the reflected light guided by the optical system to the amplifier circuit, and the amplifier circuit amplifies and outputs the light amount signal.
タイミング制御部１４は、走査部１３に対しミラー１３２の方向の変更のタイミングを通知するとともに、投光部１１に対し投光のタイミングを通知する。走査部１３はタイミング制御部１４からの通知に応じてミラー１３２の方向を変更し、投光部１１はタイミング制御部１４からの通知に応じてレーザ光の投光を行う。これにより、方向ｄ（１）〜ｄ（ｎ）の各々に順次、レーザ光の照射が行われることになる。以下に、タイミング制御部１４、走査部１３及び投光部１１の動作を説明する。 The timing control unit 14 notifies the scanning unit 13 of the timing of changing the direction of the mirror 132, and also notifies the light projecting unit 11 of the timing of light projection. The scanning unit 13 changes the direction of the mirror 132 according to the notification from the timing control unit 14, and the light projecting unit 11 projects the laser light according to the notification from the timing control unit 14. As a result, laser light irradiation is sequentially performed in each of the directions d(1) to d(n). The operations of the timing control unit 14, the scanning unit 13, and the light projecting unit 11 will be described below.
タイミング制御部１４は、まず、方向ｄ（１）をその時点においてレーザ光の照射を行いたい方向として選択する。以下、タイミング制御部１４が選択している方向を「選択方向」という。 The timing control unit 14 first selects the direction d(1) as the direction in which laser light irradiation is desired at that time. Hereinafter, the direction selected by the timing control unit 14 is referred to as a “selection direction”.
タイミング制御部１４は、走査部１３に対しミラー１３２の方向を選択方向に向かわせる駆動信号を生成し、生成した駆動信号を走査部１３に出力する。この駆動信号が、走査部１３に対しミラー１３２の方向の変更のタイミングを通知する信号の役割を果たす。走査部１３は、タイミング制御部１４から入力される駆動信号に応じた電流を可動部１３１に流すことによってミラー１３２の方向を変更するとともに、現在のミラー１３２の方向を示す方向信号を継続的にタイミング制御部１４に出力する。 The timing control unit 14 generates a drive signal for directing the mirror 132 to the selection direction with respect to the scanning unit 13, and outputs the generated drive signal to the scanning unit 13. This drive signal serves as a signal for notifying the scanning unit 13 of the timing of changing the direction of the mirror 132. The scanning unit 13 changes the direction of the mirror 132 by passing a current according to the drive signal input from the timing control unit 14 to the movable unit 131, and continuously outputs a direction signal indicating the current direction of the mirror 132. It is output to the timing control unit 14.
タイミング制御部１４は、走査部１３から継続的に入力される方向信号が示すミラー１３２の方向が選択方向と一致したタイミングで、投光部１１に投光を指示する投光信号を出力する。投光信号は、投光部１１に対し投光のタイミングを通知する信号の役割を果たす。また、投光信号は、計測部１５にも出力される。 The timing control unit 14 outputs a light projecting signal to the light projecting unit 11 at a timing when the direction of the mirror 132 indicated by the direction signal continuously input from the scanning unit 13 matches the selected direction. The light projection signal serves as a signal for notifying the light projecting unit 11 of the timing of light projection. The light projection signal is also output to the measuring unit 15.
投光部１１は、タイミング制御部１４から入力される投光信号に応じて、ごく短い所定時間、レーザ光を投光する。その結果、方向ｄ（１）にパルス状のレーザ光が照射され、受光部１２によりそのレーザ光の反射光が受光される。 The light projecting unit 11 projects the laser light for a very short predetermined time according to the light projecting signal input from the timing control unit 14. As a result, the pulsed laser light is emitted in the direction d(1), and the light receiving unit 12 receives the reflected light of the laser light.
タイミング制御部１４は、方向ｄ（１）を選択したタイミングから所定時間が経過すると、その時点の選択方向である方向ｄ（１）に隣接する方向ｄ（２）を新たな選択方向として選択する。その後、新たに選択した方向ｄ（２）に関し、上述した走査部１３に対する駆動信号の出力等の処理を行う。その結果、方向ｄ（２）にパルス状のレーザ光が照射され、受光部１２によりそのレーザ光の反射光が受光される。 When a predetermined time elapses from the timing of selecting the direction d(1), the timing control unit 14 selects the direction d(2) adjacent to the direction d(1), which is the selection direction at that time, as a new selection direction. .. Thereafter, with respect to the newly selected direction d(2), processing such as output of a drive signal to the scanning unit 13 described above is performed. As a result, pulsed laser light is emitted in the direction d(2), and the light receiving unit 12 receives the reflected light of the laser light.
タイミング制御部１４が、方向ｄ（１）、ｄ（２）、・・・、ｄ（ｎ）の順に選択方向を変更しながら、選択方向に関し上述した走査部１３に対する駆動信号の出力等の処理を行うと、方向ｄ（１）〜ｄ（ｎ）の各々に関し、レーザ光の照射と反射光の受光が行われる。これにより、物体検知装置１による、検知領域Ｄの全域に渡るレーザ光の照射と反射光の受光の処理（以下、「スキャン処理」という）が完了する。 The timing control unit 14 changes the selection direction in the order of the directions d(1), d(2),..., D(n), and outputs the drive signal to the scanning unit 13 described above with respect to the selection direction. Then, irradiation of laser light and reception of reflected light are performed in each of the directions d(1) to d(n). As a result, the processing of irradiating the laser light and receiving the reflected light over the entire detection area D by the object detection device 1 (hereinafter referred to as “scan processing”) is completed.
タイミング制御部１４は、１回目のスキャン処理が完了した後、引き続き、２回目のスキャン処理のために、方向ｄ（１）、ｄ（２）、・・・、ｄ（ｎ）の順に選択方向を変更しながら、選択方向に関し上述した走査部１３に対する駆動信号の出力等の処理を行う。その結果、方向ｄ（１）〜ｄ（ｎ）の各々に関し、レーザ光の照射と反射光の受光が繰り返され、２回目のスキャン処理が完了する。このように、物体検知装置１は動作中、検知領域Ｄに関するスキャン処理を繰り返す。 After the first scan process is completed, the timing control unit 14 continues to select the direction d(1), d(2),..., D(n) for the second scan process. While changing the, the processing such as the output of the drive signal to the scanning unit 13 described above with respect to the selection direction is performed. As a result, laser light irradiation and reflected light reception are repeated for each of the directions d(1) to d(n), and the second scanning process is completed. In this way, the object detection device 1 repeats the scanning process for the detection area D during operation.
なお、タイミング制御部１４が選択方向を選択する順序は、常に方向ｄ（１）、ｄ（２）、・・・、ｄ（ｎ）の順でなくてもよい。例えば、タイミング制御部１４は、或るスキャン処理において方向ｄ（１）、ｄ（２）、・・・、ｄ（ｎ）の順に選択方向を選択した後、次のスキャン処理においてはｄ（ｎ）、ｄ（ｎ−１）、・・・、ｄ（１）のように逆の順序で選択方向を選択してもよい。 Note that the order in which the timing control unit 14 selects the selection direction may not always be the order of the directions d(1), d(2),..., D(n). For example, the timing control unit 14 selects the selected direction in the order of the directions d(1), d(2),..., D(n) in a certain scan process, and then d(n) in the next scan process. ), d(n-1),..., D(1) may be selected in the reverse order.
計測部１５は、距離計測部１５１と光量計測部１５２を備える。距離計測部１５１と光量計測部１５２の各々には、受光部１２から継続的に光量信号が入力され、タイミング制御部１４から所定時間の経過毎に投光信号が入力される。 The measuring unit 15 includes a distance measuring unit 151 and a light amount measuring unit 152. A light amount signal is continuously input from the light receiving unit 12 to each of the distance measuring unit 151 and the light amount measuring unit 152, and a light emitting signal is input from the timing control unit 14 each time a predetermined time elapses.
距離計測部１５１は、タイミング制御部１４から投光信号を受信した後、次の投稿信号を受信するまでの期間において、受光部１２から入力される光量信号の波形から、受光部１２により最初の反射光が受光された時刻を特定する。そして、距離計測部１５１は、投光信号を受信した時刻、すなわち、投光部１１によるレーザ光の照射時刻から、最初の反射光が受光された時刻、すなわち、受光部１２による反射光の受光時刻までの時間差を計測する。この時間差は、物体検知装置１から照射され、物体で反射して物体検知装置１に戻ってくる光の往復時間である。 The distance measuring unit 151 receives the first light-receiving unit 12 from the waveform of the light amount signal input from the light-receiving unit 12 in the period after receiving the light projecting signal from the timing control unit 14 and before receiving the next post signal. The time when the reflected light is received is specified. Then, the distance measuring unit 151 receives the first reflected light from the time when the light projecting signal is received, that is, the irradiation time of the laser light by the light projecting unit 11, that is, the light receiving unit 12 receives the reflected light. Measure the time difference to the time. This time difference is the round-trip time of the light emitted from the object detection device 1, reflected by the object, and returned to the object detection device 1.
例えば、距離計測部１５１は、タイミング制御部１４から、方向ｄ（１）に関する投光信号を時刻Ｔ０において受信した後、方向ｄ（２）に関する投光信号を時刻Ｔ１において受信した場合、時刻Ｔ０から時刻Ｔ１までの期間において、受光部１２から入力される光量信号が所定の閾値を上回った最初の時刻Ｔ２を最初の反射光が受光された時刻として特定する。そして、距離計測部１５１は、時刻Ｔ０と時刻Ｔ２の時間差を、方向ｄ（１）に関する時間差として計測する。 For example, when the distance measuring unit 151 receives a light projecting signal for the direction d(1) from the timing control unit 14 at time T0 and then receives a light projecting signal for the direction d(2) at time T1, the distance measuring unit 151 receives time T0. In the period from to T1, the first time T2 when the light amount signal input from the light receiving unit 12 exceeds the predetermined threshold is specified as the time when the first reflected light is received. Then, the distance measuring unit 151 measures the time difference between time T0 and time T2 as the time difference regarding the direction d(1).
距離計測部１５１は、光の速度と、上記のように計測した時間差により、その選択方向に存在する最も近い物体までの距離を算出し、算出した距離を示す距離データを画像生成部１６が備える距離画像生成部１６１に引き渡す。 The distance measuring unit 151 calculates the distance to the closest object existing in the selected direction based on the speed of light and the time difference measured as described above, and the image generating unit 16 includes distance data indicating the calculated distance. It is delivered to the distance image generation unit 161.
投光部１１、受光部１２、走査部１３、タイミング制御部１４、及び、距離計測部１５１は、光の往復時間により測距する距離センサを構成する。 The light projecting unit 11, the light receiving unit 12, the scanning unit 13, the timing control unit 14, and the distance measuring unit 151 constitute a distance sensor that measures a distance based on the round-trip time of light.
光量計測部１５２は、タイミング制御部１４から投光信号を受信した後、次の投稿信号を受信するまでの期間において、受光部１２から入力される光量信号が示す値の時間軸方向の積分値を計測する。この積分値は、投光部１１から検知領域Ｄ内へ照射された１回のパルス状のレーザ光のうち、その照射方向において何らかの物体に反射して受光部１２まで戻ってきた反射光の光量の総量を示す。以下、光量画像の生成に関し単に「光量」という場合、この積分値を意味するものとする。 The light amount measurement unit 152 receives the light projection signal from the timing control unit 14 and then receives the next post signal until the integrated value in the time axis direction of the value indicated by the light amount signal input from the light receiving unit 12. To measure. This integrated value is the light amount of the reflected light that has been reflected from an object in the irradiation direction and returned to the light receiving unit 12 in the one pulsed laser light emitted from the light projecting unit 11 into the detection area D. The total amount of Hereinafter, when simply referring to the “light amount” with respect to the generation of the light amount image, this integrated value is meant.
光量計測部１５２は、上記のように計測した光量を示す光量データを画像生成部１６が備える光量画像生成部１６２に引き渡す。 The light amount measurement unit 152 delivers the light amount data indicating the light amount measured as described above to the light amount image generation unit 162 included in the image generation unit 16.
画像生成部１６は、距離画像生成部１６１と光量画像生成部１６２を備える。 The image generation unit 16 includes a distance image generation unit 161 and a light amount image generation unit 162.
距離画像生成部１６１は、１回のスキャン処理に応じて距離計測部１５１から順次引き渡される方向ｄ（１）〜ｄ（ｎ）の各々に関する距離データを全て受け取ると、それらの距離データが示す距離を、方向ｄ（１）〜ｄ（ｎ）の各々に応じた画素値とする距離画像を生成する。距離画像は、検知領域Ｄ内における投光部１１（又は受光部１２）から最も近い物体までの距離の分布を表す。距離画像生成部１６１は、スキャン処理の完了毎に１フレームの距離画像を生成する。距離画像生成部１６１は、生成した距離画像を表す距離画像データを物体検知部１７に引き渡す。 When the distance image generation unit 161 receives all the distance data regarding each of the directions d(1) to d(n) sequentially delivered from the distance measurement unit 151 in response to one scan process, the distances indicated by the distance data are displayed. Is generated as a pixel value corresponding to each of the directions d(1) to d(n). The distance image represents a distribution of distances from the light projecting unit 11 (or the light receiving unit 12) to the closest object in the detection area D. The distance image generation unit 161 generates one frame of distance image every time the scanning process is completed. The distance image generation unit 161 delivers the distance image data representing the generated distance image to the object detection unit 17.
光量画像生成部１６２は、１回のスキャン処理に応じて光量計測部１５２から順次引き渡される方向ｄ（１）〜ｄ（ｎ）の各々に関する光量データを全て受け取ると、それらの光量データが示す光量を、方向ｄ（１）〜ｄ（ｎ）の各々に応じた画素値とする光量画像を生成する。光量画像は、検知領域Ｄ内へ照射したレーザ光の反射光の光量の、検知領域Ｄ内における分布を表す。光量画像生成部１６２は、スキャン処理の完了毎に１フレームの光量画像を生成する。光量画像生成部１６２は、生成した光量画像を表す光量画像データを物体検知部１７に引き渡す。 When the light amount image generation unit 162 receives all the light amount data regarding each of the directions d(1) to d(n) sequentially delivered from the light amount measurement unit 152 in response to one scan process, the light amount indicated by the light amount data is shown. Is generated as a pixel value corresponding to each of the directions d(1) to d(n). The light amount image represents the distribution of the light amount of the reflected light of the laser light applied to the detection area D in the detection area D. The light intensity image generation unit 162 generates a light intensity image of one frame each time the scanning process is completed. The light amount image generation unit 162 delivers the light amount image data representing the generated light amount image to the object detection unit 17.
物体検知部１７は、距離画像生成部１６１から引き渡される距離画像データが表す距離画像と、光量画像生成部１６２から引き渡される光量画像データが表す光量画像から、物体を検知する。物体検知部１７は、例えば不図示の移動体の制御部等に、物体の検知の結果を通知する通知データを引き渡す。移動体の制御部等は、物体検知部１７から受け取った通知データが示す物体の検知の結果に応じた所定の制御（例えば、動作の停止等）を行う。 The object detection unit 17 detects an object from the distance image represented by the distance image data delivered from the distance image generation unit 161, and the light amount image represented by the light amount image data delivered from the light amount image generation unit 162. The object detection unit 17 delivers notification data for notifying the result of object detection to, for example, a control unit of a moving body (not shown). The control unit or the like of the moving body performs predetermined control (for example, stop of operation) according to the detection result of the object indicated by the notification data received from the object detection unit 17.
図２は、距離計測部１５１が行う時間差の計測と、光量計測部１５２が行う光量の計測の方法を説明するための図である。図２は、或る選択方向にレーザ光が照射された場合に、タイミング制御部１４から計測部１５に入力される投光信号、受光部１２から計測部１５に入力される光量信号、及び、光量計測部１５２が計測する積分値（光量）の時間的変化を示したグラフである。 FIG. 2 is a diagram for explaining a method of measuring the time difference performed by the distance measuring unit 151 and a method of measuring the light amount performed by the light amount measuring unit 152. FIG. 2 shows a light projecting signal input from the timing control unit 14 to the measuring unit 15, a light amount signal input from the light receiving unit 12 to the measuring unit 15 when laser light is irradiated in a certain selection direction, and 6 is a graph showing a temporal change of an integrated value (light quantity) measured by a light quantity measuring unit 152.
図２（Ａ）は、選択方向に空中浮遊物が存在せず、選択方向に検知すべき対象物（障害物、人物等）が存在する場合のグラフを示している。図２（Ｂ）は、選択方向に空中浮遊物が存在し、選択方向に検知すべき対象物が存在する場合のグラフを示している。図２（Ｃ）は、選択方向に空中浮遊物が存在し、選択方向に検知すべき対象物が存在しない場合のグラフを示している。 FIG. 2A shows a graph in the case where there are no airborne objects in the selected direction and there are objects to be detected (obstacles, people, etc.) in the selected direction. FIG. 2B shows a graph in the case where an airborne floating object exists in the selected direction and an object to be detected exists in the selected direction. FIG. 2C shows a graph in the case where there are airborne suspended matter in the selection direction and no target object to be detected in the selection direction.
図２（Ａ）の光量信号が立ち上がる時刻ｔ１は、投光信号が立ち上がる時刻ｔ０に照射され、検知すべき対象物で反射したレーザ光の反射光が受光部１２により受光された時刻を示す。この場合、距離計測部１５１は時刻ｔ０から時刻ｔ１までの時間差Ｔ１を計測し、時間差Ｔ１を用いて算出した距離を示す距離データを距離画像生成部１６１に引き渡す。また、この場合、光量計測部１５２が計測する積分値は、時刻ｔ１から増加し、Ｖ１に達した後、変化しない。光量計測部１５２は、積分値Ｖ１を光量として示す光量データを光量画像生成部１６２に引き渡す。 The time t1 at which the light amount signal rises in FIG. 2A indicates the time at which the reflected light of the laser light that is emitted at the time t0 at which the light projection signal rises and reflected by the object to be detected is received by the light receiving unit 12. In this case, the distance measuring unit 151 measures the time difference T1 from time t0 to time t1, and delivers the distance data indicating the distance calculated using the time difference T1 to the distance image generating unit 161. Further, in this case, the integrated value measured by the light amount measuring unit 152 increases from time t1 and does not change after reaching V1. The light amount measurement unit 152 delivers the light amount data indicating the integrated value V1 as the light amount to the light amount image generation unit 162.
図２（Ｂ）の光量信号が最初に立ち上がる時刻ｔ２は、投光信号が立ち上がる時刻ｔ０に照射され、空中浮遊物のうち投光部１１に最も近いもので反射したレーザ光の反射光が受光部１２により受光された時刻を示す。また、図２（Ｂ）の光量信号が２番目に立ち上がる時刻ｔ３は、投光信号が立ち上がる時刻ｔ０に照射され、検知すべき対象物で反射したレーザ光の反射光が受光部１２により受光された時刻を示す。この場合、距離計測部１５１は時刻ｔ０から時刻ｔ２までの時間差Ｔ２を計測し、時間差Ｔ２を用いて算出した距離を示す距離データを距離画像生成部１６１に引き渡す。また、この場合、光量計測部１５２が計測する積分値は、時刻ｔ２から増加した後、変化しない期間を経て、時刻ｔ３から再び増加し、Ｖ２に達した後、変化しない。光量計測部１５２は、積分値Ｖ２を光量として示す光量データを光量画像生成部１６２に引き渡す。 At time t2 when the light amount signal of FIG. 2B first rises, the reflected light of the laser light reflected by the light floating portion 11 which is the closest to the light projecting unit 11 is irradiated at the time t0 when the light projecting signal rises. The time when the light is received by the unit 12 is shown. In addition, at the time t3 when the light amount signal of FIG. 2B rises second, at the time t0 when the light projection signal rises, the light receiving unit 12 receives the reflected light of the laser light reflected by the object to be detected. Indicates the time of day. In this case, the distance measuring unit 151 measures the time difference T2 from time t0 to time t2, and delivers the distance data indicating the distance calculated using the time difference T2 to the distance image generating unit 161. Further, in this case, the integrated value measured by the light amount measuring unit 152 increases after the time t2, and after a period of no change, increases again from the time t3 and does not change after reaching V2. The light amount measuring unit 152 delivers the light amount data indicating the integrated value V2 as the light amount to the light amount image generating unit 162.
図２（Ｃ）の光量信号が立ち上がる時刻ｔ４は、投光信号が立ち上がる時刻ｔ０に照射され、空中浮遊物のうち投光部１１に最も近いもので反射したレーザ光の反射光が受光部１２により受光された時刻を示す。この場合、距離計測部１５１は時刻ｔ０から時刻ｔ４までの時間差Ｔ４を計測し、時間差Ｔ４を用いて算出した距離を示す距離データを距離画像生成部１６１に引き渡す。また、この場合、光量計測部１５２が計測する積分値は、時刻ｔ４から増加し、Ｖ３に達した後、変化しない。光量計測部１５２は、積分値Ｖ３を光量として示す光量データを光量画像生成部１６２に引き渡す。 At time t4 when the light intensity signal rises in FIG. 2C, the reflected light of the laser light reflected at the time t0 when the light projection signal rises and reflected by the one in the air that is closest to the light projecting unit 11 is the light receiving unit 12. Indicates the time when the light was received by. In this case, the distance measuring unit 151 measures the time difference T4 from time t0 to time t4, and delivers the distance data indicating the distance calculated using the time difference T4 to the distance image generating unit 161. Further, in this case, the integrated value measured by the light quantity measuring unit 152 increases from time t4 and does not change after reaching V3. The light amount measurement unit 152 delivers the light amount data indicating the integrated value V3 as the light amount to the light amount image generation unit 162.
図３は、距離画像生成部１６１が生成した距離画像と、光量画像生成部１６２が生成した光量画像の例を示した図である。図３（Ａ）と図３（Ｂ）は、空中浮遊物が存在していない環境下で同時に生成された距離画像と光量画像を各々示している。図３（Ｃ）と図３（Ｄ）は、空中浮遊物が存在している環境下で同時に生成された距離画像と光量画像を各々示している。なお、距離画像は、例えば、画素値に応じた色により距離の分布を表す。ただし、距離画像が、画素値に応じた濃淡により距離の分布を表してもよい。また、光量画像は、例えば、画素値に応じた濃淡により光量の分布を表す。ただし、光量画像が、画素値に応じた色により光量の分布を表してもよい。 FIG. 3 is a diagram showing an example of the distance image generated by the distance image generation unit 161 and the light amount image generated by the light amount image generation unit 162. FIG. 3A and FIG. 3B respectively show a distance image and a light amount image which are simultaneously generated in an environment in which no airborne matter is present. FIG. 3C and FIG. 3D respectively show a distance image and a light amount image which are simultaneously generated in an environment in which airborne suspended matters are present. Note that the distance image represents the distribution of distance with a color corresponding to the pixel value, for example. However, the distance image may represent the distribution of distances by shading according to the pixel value. In addition, the light amount image represents the distribution of the light amount by, for example, shading according to the pixel value. However, the light amount image may represent the distribution of the light amount by the color according to the pixel value.
図３（Ａ）及び図３（Ｂ）に示されるように、空中浮遊物が存在していない環境下においては、距離画像と光量画像のいずれにも、検知すべき対象物の画像が含まれている。従って、距離画像と光量画像のいずれからも、検知すべき対象物の検知が可能である。 As shown in FIGS. 3(A) and 3(B), in an environment in which no airborne matter is present, both the range image and the light amount image include the image of the object to be detected. ing. Therefore, the object to be detected can be detected from both the range image and the light amount image.
一方、図３（Ｃ）に示されるように、空中浮遊物が存在している環境下においては、距離画像に検知すべき対象物の画像は含まれない。これは、距離画像が、検知すべき対象物より手前にある空中浮遊物までの距離の分布を表してしまうためである。従って、距離画像から、空中浮遊物の向こう側に存在する検知すべき対象物の検知を行うことは不可能である。 On the other hand, as shown in FIG. 3C, the image of the object to be detected is not included in the distance image under the environment in which the airborne floating material is present. This is because the range image represents the distribution of the distance to the airborne object in front of the object to be detected. Therefore, it is impossible to detect an object to be detected which exists on the other side of the airborne floating object from the range image.
しかしながら、図３（Ｄ）に示されるように、空中浮遊物が存在している環境下においても、光量画像には検知すべき対象物の画像が含まれている。これは、投光部１１から照射されたレーザ光の光束のうち、空中浮遊物に当たらず検知すべき対象物に達し、その対象物で反射した後、空中浮遊物に当たらず受光部１２に達するものが、光量計測部１５２により計測される積分値（光量）を増加させるためである。従って、光量画像からは、検知すべき対象物の検知が可能である。 However, as shown in FIG. 3D, the light amount image includes the image of the object to be detected even in the environment in which the airborne suspended matter is present. This is because, in the light flux of the laser light emitted from the light projecting unit 11, it reaches the object to be detected without hitting the airborne object, is reflected by the object, and then hits the light receiving unit 12 without hitting the airborne object. What is reached is to increase the integrated value (light quantity) measured by the light quantity measuring unit 152. Therefore, the object to be detected can be detected from the light amount image.
図４は、物体検知部１７が行う、距離画像と光量画像とから物体を検知する処理のフローを例示した図である。図４のフローは画像生成部１６により１フレームの距離画像及び光量画像が生成され、物体検知部１７に距離画像データ及び光量画像データが引き渡される毎に実行される。 FIG. 4 is a diagram exemplifying a flow of processing performed by the object detection unit 17 to detect an object from a distance image and a light amount image. The flow of FIG. 4 is executed every time the image generation unit 16 generates a distance image and a light amount image of one frame, and the distance image data and the light amount image data are delivered to the object detection unit 17.
物体検知部１７は、光量画像生成部１６２から距離画像データ及び光量画像データを取得すると（ステップＳ１０１）、まず、距離画像データが表す距離画像に対し、物体を表す画像を抽出するための既知の画像処理を行う（ステップＳ１０２）。ステップＳ１０２において物体検知部１７が行う画像処理には、例えば、エッジ検出、２値化、領域の膨張・収縮等が含まれる。 When the object detection unit 17 acquires the distance image data and the light amount image data from the light amount image generation unit 162 (step S101), first, a known image extraction object image is extracted from the distance image represented by the distance image data. Image processing is performed (step S102). The image processing performed by the object detection unit 17 in step S102 includes, for example, edge detection, binarization, and area expansion/contraction.
続いて、物体検知部１７は、ステップＳ１０２において画像処理を行った距離画像に基づき、物体の有無の判定と、物体が有る場合にその物体が検知すべき対象物の検知を阻害する物体（空中浮遊物等）であるか否かの判定とを行う（ステップＳ１０３）。ステップＳ１０２において画像処理を行った距離画像に所定の大きさ以上の塊が含まれていない場合、物体検知部１７は検知領域Ｄに検知すべき対象物が無いと判定する（ステップＳ１０３；１）。ステップＳ１０２において画像処理を行った距離画像に所定の大きさ以上の塊が含まれ、その塊が距離画像に占める比率が閾値（例えば９０％）以上であり、その塊を構成する距離画像の画素値が示す距離が閾値（例えば０．５ｍ）以下である場合、物体検知部１７は検知領域Ｄに検知すべき対象物の検知を阻害する物体が有ると判定する（ステップＳ１０３；２）。その他の場合、すなわち、ステップＳ１０２において画像処理を行った距離画像に所定の大きさ以上の塊が含まれ、その塊が距離画像に占める比率が閾値（例えば９０％）未満であり、その塊を構成する距離画像の画素値が示す距離が閾値（例えば０．５ｍ）より大きい場合、物体検知部１７は検知領域Ｄに検知すべき対象物が有ると判定する（ステップＳ１０３；３）。 Subsequently, the object detection unit 17 determines whether or not there is an object based on the distance image subjected to the image processing in step S102, and an object that obstructs the detection of the target object that should be detected by the object (in the air). It is determined whether or not it is a floating substance (step S103). When the distance image subjected to the image processing in step S102 does not include a lump having a size equal to or larger than a predetermined size, the object detection unit 17 determines that there is no object to be detected in the detection area D (step S103; 1). .. The range image subjected to the image processing in step S102 includes a block having a predetermined size or more, and the ratio of the block to the range image is equal to or more than a threshold value (for example, 90%), and the pixels of the range image forming the block are included. When the distance indicated by the value is equal to or less than the threshold value (for example, 0.5 m), the object detection unit 17 determines that there is an object in the detection area D that obstructs the detection of the object to be detected (step S103; 2). In other cases, that is, when the distance image subjected to the image processing in step S102 includes a lump of a predetermined size or more, and the occupancy of the lump in the distance image is less than a threshold value (for example, 90%), When the distance indicated by the pixel value of the constituent distance image is larger than the threshold value (for example, 0.5 m), the object detection unit 17 determines that there is an object to be detected in the detection area D (step S103; 3).
検知領域Ｄに検知すべき対象物が無いと判定した場合（ステップＳ１０３；１）、物体検知部１７は対象物が無いことを通知する通知データを移動体の制御部等に出力し（ステップＳ１０４）、処理を終了する。検知領域Ｄに検知すべき対象物が有ると判定した場合（ステップＳ１０３；３）、物体検知部１７は対象物が有ることを通知する通知データを移動体の制御部等に出力し（ステップＳ１０５）、処理を終了する。 When it is determined that there is no target object to be detected in the detection area D (step S103; 1), the object detection unit 17 outputs notification data notifying that there is no target object to the control unit of the moving body (step S104). ), the processing ends. When it is determined that there is an object to be detected in the detection area D (step S103; 3), the object detection unit 17 outputs notification data notifying that there is an object to the control unit of the mobile body (step S105). ), the processing ends.
一方、検知領域Ｄに検知すべき対象物の検知を阻害する物体が有ると判定した場合（ステップＳ１０３；２）、物体検知部１７はステップＳ１０１において取得した光量画像データが表す光量画像に対し、物体を表す画像を抽出するための既知の画像処理を行う（ステップＳ１０６）。ステップＳ１０６において物体検知部１７が行う画像処理には、例えば、エッジ検出、２値化、領域の膨張・収縮等が含まれる。 On the other hand, when it is determined that there is an object that interferes with the detection of the target object to be detected in the detection area D (step S103; 2), the object detection unit 17 determines that the light amount image represented by the light amount image data acquired in step S101 Known image processing is performed to extract an image representing an object (step S106). The image processing performed by the object detection unit 17 in step S106 includes, for example, edge detection, binarization, and area expansion/contraction.
続いて、物体検知部１７は、ステップＳ１０６において画像処理を行った距離画像に基づき、物体の有無の判定を行う（ステップＳ１０７）。ステップＳ１０６において画像処理を行った距離画像に所定の大きさ以上の塊が含まれている場合、物体検知部１７は検知領域Ｄに検知すべき対象物が有ると判定し（ステップＳ１０７；Ｙｅｓ）、対象物が有ることを通知する通知データを移動体の制御部等に出力し（ステップＳ１０５）、処理を終了する。一方、ステップＳ１０６において画像処理を行った距離画像に所定の大きさ以上の塊が含まれていない場合、物体検知部１７は検知領域Ｄに検知すべき対象物が有るか否かは不明と判定し（ステップＳ１０７；Ｎｏ）、対象物が有るか否かが不明であることを通知する通知データを移動体の制御部等に出力し（ステップＳ１０８）、処理を終了する。 Then, the object detection unit 17 determines the presence/absence of an object based on the distance image subjected to the image processing in step S106 (step S107). When the distance image subjected to the image processing in step S106 includes a lump having a predetermined size or more, the object detection unit 17 determines that the detection area D has an object to be detected (step S107; Yes). Then, the notification data for notifying that there is an object is output to the control unit of the moving body or the like (step S105), and the processing is ended. On the other hand, when the range image subjected to the image processing in step S106 does not include a lump having a size equal to or larger than a predetermined size, the object detection unit 17 determines whether or not there is an object to be detected in the detection area D. Then, (step S107; No), the notification data for notifying whether or not there is an object is output to the control unit of the moving body or the like (step S108), and the process ends.
上述した物体検知装置１によれば、空中浮遊物が存在する環境下においても、検知すべき対象物を検知することができる。 According to the object detection device 1 described above, it is possible to detect an object to be detected even in an environment in which airborne matter exists.
［変形例］
上述した実施形態は様々に変形することができる。以下にそれらの変形の例を示す。なお、上述した実施形態及び以下に示す変形例は適宜組み合わされてもよい。
[Modification]
The embodiment described above can be variously modified. The examples of those modifications are shown below. Note that the above-described embodiment and the modifications described below may be combined as appropriate.
（１）上述した実施形態において、物体検知部１７はフレーム毎に距離画像及び光量画像から物体を検知するが、異なるフレームの画像から検知した物体の同定は行わない。また、上述した実施形態において、物体検知部１７は距離画像と光量画像の各々から検知した物体の同定は行わない。物体検知部１７がこれらの同定の少なくとも１つを行ってもよい。 (1) In the above-described embodiment, the object detection unit 17 detects an object from the range image and the light amount image for each frame, but does not identify the object detected from the images of different frames. Further, in the above-described embodiment, the object detection unit 17 does not identify the object detected from each of the distance image and the light amount image. The object detection unit 17 may perform at least one of these identifications.
図５Ａ及び図５Ｂ（以下、これらの図を図５という）は、この変形例において物体検知部１７が行う、距離画像と光量画像とから物体を検知する処理のフローを例示した図である。図５のフローは画像生成部１６により１フレームの距離画像及び光量画像が生成され、物体検知部１７に距離画像データ及び光量画像データが引き渡される毎に実行される。 5A and 5B (hereinafter, these figures are referred to as FIG. 5) are diagrams exemplifying a flow of processing performed by the object detection unit 17 in this modified example to detect an object from a distance image and a light amount image. The flow of FIG. 5 is executed each time the image generation unit 16 generates a distance image and a light amount image of one frame, and the distance image data and the light amount image data are delivered to the object detection unit 17.
物体検知部１７は、距離画像データを取得すると（ステップＳ２０１）、距離画像データが表す距離画像に対し、物体を表す塊を抽出するための既知の画像処理を行い、それらの画像処理を行った距離画像から塊の検知を行う（ステップＳ２０２）。 When the object detection unit 17 acquires the distance image data (step S201), the object detection unit 17 performs known image processing for extracting a lump representing an object on the distance image represented by the distance image data, and performs the image processing. A lump is detected from the distance image (step S202).
なお、この変形例においては、ステップＳ２０２において、検知した塊が検知すべき対象物を示すものであるか、もしくは、対象物の検知を阻害する物体を示すものであるかの判定は行わない。 In this modification, it is not determined in step S202 whether the detected lump represents an object to be detected or an object that hinders the detection of the object.
以下、説明の簡易化のため、ステップＳ２０２において１つの塊が検知されるものとする。また、ステップＳ２０２において検知される塊を以下、塊Ｘ（ｉ）と呼ぶ。ここで「ｉ」はフレームの番号を意味する。 Hereinafter, for simplification of description, it is assumed that one block is detected in step S202. In addition, the mass detected in step S202 is hereinafter referred to as mass X(i). Here, "i" means the frame number.
続いて、物体検知部１７は塊Ｘ（ｉ）に、その塊が表す物体を識別するためのラベルを付与する（ステップＳ２０３）。 Subsequently, the object detection unit 17 gives the block X(i) a label for identifying the object represented by the block (step S203).
ステップＳ２０１〜Ｓ２０３と並行して、物体検知部１７はステップＳ２０１〜Ｓ２０３と同様の処理を光量画像データに関して行う（ステップＳ３０１〜Ｓ３０３）。ステップＳ３０２においても、説明の簡易化のため、１つの塊が検知されるものとする。また、ステップＳ３０２において検知される塊を以下、塊Ｙ（ｉ）と呼ぶ。 In parallel with steps S201 to S203, the object detection unit 17 performs the same processing as steps S201 to S203 on the light amount image data (steps S301 to S303). Also in step S302, for simplification of description, it is assumed that one lump is detected. In addition, the lump detected in step S302 is hereinafter referred to as lump Y(i).
なお、この段階では、ステップＳ２０２において距離画像から検知された塊Ｘ（ｉ）が表す物体と、ステップＳ３０２において光量画像から検知された塊Ｙ（ｉ）が表す物体が同一であるか否かは不明であるため、ステップＳ２０３において塊Ｘ（ｉ）に付与されるラベルと、ステップＳ３０３において塊Ｙ（ｉ）に付与されるラベルは異なる。 At this stage, it is determined whether the object represented by the cluster X(i) detected from the distance image in step S202 and the object represented by the cluster Y(i) detected from the light amount image in step S302 are the same. Since it is unknown, the label given to the block X(i) in step S203 and the label given to the block Y(i) in step S303 are different.
続いて、物体検知部１７は、塊Ｘ（ｉ）が表す物体と、１つ前のフレームの距離画像から検知された塊Ｘ（ｉ−１）が表す物体の同定のための処理として、以下のステップＳ４０１〜Ｓ４０４を行う。 Subsequently, the object detection unit 17 performs the following process as a process for identifying the object represented by the cluster X(i) and the object represented by the cluster X(i-1) detected from the distance image of the immediately preceding frame. Steps S401 to S404 are performed.
まず、物体検知部１７は、塊Ｘ（ｉ）が表す物体と塊Ｘ（ｉ−１）が表す物体が同一であるか否かを示すフラグである距離画像フレーム間ペアリングフラグ（ｉ）に初期値「０」を設定する（ステップＳ４０１）。なお、この変形例において、フラグが「０」の場合、２つの物体は異なることを示し、フラグが「１」の場合、２つの物体が同じであることを示す。 First, the object detection unit 17 sets the distance image frame pairing flag (i), which is a flag indicating whether or not the object represented by the lump X(i) and the object represented by the lump X(i-1) are the same. The initial value "0" is set (step S401). In this modification, when the flag is "0", the two objects are different, and when the flag is "1", the two objects are the same.
続いて、物体検知部１７は、塊Ｘ（ｉ）が表す物体と塊Ｘ（ｉ−１）が表す物体が同一であるか否かを判定する（ステップＳ４０２）。ステップＳ４０２の判定において、物体検知部１７は、例えば、２つの塊の位置、形状、大きさ、距離（距離画像の画素値）等に関し所定の基準に従い類似度を算出し、その類似度が所定の閾値以上であれば２つの塊が表す物体が同一であり、類似度が所定の閾値未満であれば２つの塊が表す物体が異なる、と判定する。 Subsequently, the object detection unit 17 determines whether the object represented by the lump X(i) and the object represented by the lump X(i-1) are the same (step S402). In the determination of step S402, the object detection unit 17 calculates the degree of similarity according to a predetermined criterion regarding the position, shape, size, distance (pixel value of the distance image) of the two blocks, and the degree of similarity is predetermined. It is determined that the objects represented by the two chunks are the same if the threshold is greater than or equal to the threshold of, and the objects represented by the two chunks are different if the similarity is less than the predetermined threshold.
２つの塊が表す物体が同一であると判定した場合（ステップＳ４０２；Ｙｅｓ）、物体検知部１７は塊Ｘ（ｉ）に付与されているラベルを、塊Ｘ（ｉ−１）に付与されているラベルで上書きし（ステップＳ４０３）、距離画像フレーム間ペアリングフラグ（ｉ）に「１」を設定する（ステップＳ４０４）。 When it is determined that the objects represented by the two chunks are the same (step S402; Yes), the object detection unit 17 assigns the label assigned to the chunk X(i) to the chunk X(i-1). The existing label is overwritten (step S403), and "1" is set to the pairing flag (i) between the distance image frames (step S404).
ステップＳ４０１〜Ｓ４０４と並行して、物体検知部１７はステップＳ４０１〜Ｓ４０４と同様の処理を光量画像から検知した塊Ｙ（ｉ）と塊Ｙ（ｉ−１）に関して行う（ステップＳ５０１〜Ｓ５０４）。ただし、ステップＳ５０１及びＳ５０４で用いられるフラグは、光量画像フレーム間ペアリングフラグ（ｉ）である。また、ステップＳ５０２においては、塊Ｙ（ｉ）が表す物体と塊Ｙ（ｉ−１）が表す物体が同一であるか否かが判定される。 In parallel with steps S401 to S404, the object detection unit 17 performs the same processing as steps S401 to S404 on the cluster Y(i) and the cluster Y(i-1) detected from the light intensity image (steps S501 to S504). However, the flag used in steps S501 and S504 is the light amount image interframe pairing flag (i). In step S502, it is determined whether the object represented by the lump Y(i) and the object represented by the lump Y(i-1) are the same.
ステップＳ４０１〜Ｓ４０４と、ステップＳ５０１〜Ｓ５０４の処理が完了すると、物体検知部１７はステップＳ４０１〜Ｓ４０４（又はステップＳ５０１〜Ｓ５０４）と同様の処理を距離画像から検知した塊Ｘ（ｉ）と光量画像から検知した塊Ｙ（ｉ）に関して行う（ステップＳ６０１〜Ｓ６０４）。ただし、ステップＳ６０１及びＳ６０４で用いられるフラグは、異種画像間ペアリングフラグ（ｉ）である。また、ステップＳ６０２においては、塊Ｘ（ｉ）が表す物体と塊Ｙ（ｉ）が表す物体が同一であるか否かが判定される。 When the processes of steps S401 to S404 and steps S501 to S504 are completed, the object detection unit 17 performs the same process as steps S401 to S404 (or steps S501 to S504) from the distance image and the lump X(i) and the light amount image. This is performed for the lump Y(i) detected from (steps S601 to S604). However, the flag used in steps S601 and S604 is the heterogeneous image pairing flag (i). Further, in step S602, it is determined whether the object represented by the mass X(i) and the object represented by the mass Y(i) are the same.
続いて、物体検知部１７は、以下の条件１〜３が全て満たされるか否かを判定する（ステップＳ７０１）。
（条件１）異種画像間ペアリングフラグ（ｉ−１）＝１
（条件２）距離画像フレーム間ペアリングフラグ（ｉ）＝０
（条件３）光量画像フレーム間ペアリングフラグ（ｉ）＝１
Subsequently, the object detection unit 17 determines whether or not all of the following conditions 1 to 3 are satisfied (step S701).
(Condition 1) Pairing flag between different images (i-1)=1
(Condition 2) Pairing flag between distance image frames (i)=0
(Condition 3) Light intensity image inter-frame pairing flag (i)=1
条件１は、１つ前のフレームにおいて、距離画像から検知された塊Ｘ（ｉ−１）が表す物体と光量画像から検知された塊Ｙ（ｉ−１）が表す物体が同一であり、それらの塊に同じラベルが付されていることを意味する。 Condition 1 is that the object represented by the mass X(i-1) detected from the distance image and the object represented by the mass Y(i-1) detected from the light intensity image are the same in the frame one before. Means that the blocks are labeled with the same label.
条件２は、距離画像から検知された塊Ｘ（ｉ）が表す物体が、１つ前のフレームの距離画像から検知された塊Ｘ（ｉ−１）が表す物体と異なり、それらの塊に異なるラベルが付されていることを意味する。 The condition 2 is that the object represented by the cluster X(i) detected from the distance image is different from the object represented by the cluster X(i-1) detected from the distance image of the immediately preceding frame, and is different from those clusters. It means that it is labeled.
条件３は、光量画像から検知された塊Ｙ（ｉ）が表す物体が、１つ前のフレームの光量画像から検知された塊Ｙ（ｉ−１）が表す物体と同一であり、それらの塊に同じラベルが付されていることを意味する。 Condition 3 is that the object represented by the cluster Y(i) detected from the light intensity image is the same as the object represented by the cluster Y(i-1) detected from the light intensity image of the immediately preceding frame, and these clusters are Means that the same label is attached to.
例えば、突然、砂埃が舞い上がり、距離画像から検知すべき対象物を表す塊が消失した場合、条件１〜３の全てが満たされる。 For example, when the dust suddenly rises and the lump representing the object to be detected disappears from the distance image, all of the conditions 1 to 3 are satisfied.
条件１〜３の全てが満たされると判定した場合（ステップＳ７０１；Ｙｅｓ）、物体検知部１７は、光量画像から検知された塊Ｙ（ｉ）と同じ位置に、塊Ｙ（ｉ）が表す物体と同一の物体を表す仮想的な塊Ｘ’（ｉ）を生成する（ステップＳ７０２）。この塊Ｘ’（ｉ）には、塊Ｙ（ｉ）に付与されているラベルが付与される。また、この塊Ｘ’（ｉ）を構成する画素値は、１つ前の距離画像から検知された塊Ｘ（ｉ−１）を構成する画素値と同じとみなされる。 When it is determined that all the conditions 1 to 3 are satisfied (step S701; Yes), the object detection unit 17 places the object represented by the mass Y(i) at the same position as the mass Y(i) detected from the light amount image. A virtual mass X′(i) representing the same object as is generated (step S702). The label given to the block Y(i) is added to this block X'(i). Further, the pixel value forming the block X′(i) is regarded as the same as the pixel value forming the block X(i−1) detected from the immediately preceding distance image.
ステップＳ７０２において生成される仮想的な塊Ｘ’（ｉ）は、後続のフレームに関し図５のフローに従う処理が行われる際、１つ前のフレームの距離画像から検知された塊として扱われる。従って、砂埃等により対象物の画像を含まない距離画像が生成される間、距離画像から検知される塊に代えて、光量画像から検知される塊とペアリングされた仮想的な塊が順次生成されることになる。 The virtual block X′(i) generated in step S<b>702 is treated as a block detected from the distance image of the immediately preceding frame when the process according to the flow of FIG. 5 is performed on the subsequent frame. Therefore, while a range image that does not include the image of the object is generated due to dust or the like, instead of the block detected from the range image, a virtual block paired with the block detected from the light intensity image is sequentially generated. Will be done.
ステップ２０１〜Ｓ７０２の処理が完了すると、物体検知部１７は判定結果を移動体の制御部等に通知し（ステップＳ７０３）、一連の処理を終了する。ステップＳ７０３において物体検知部１７が通知する判定結果には、例えば、塊Ｘ（ｉ）（又は塊Ｘ’（ｉ））及び塊Ｙ（ｉ）が表す物体までの距離、検知領域Ｄ内におけるその物体の位置、その物体の形状等が含まれる。 When the processing of steps 201 to S702 is completed, the object detection unit 17 notifies the control unit of the moving body of the determination result (step S703), and the series of processing is ended. The determination result notified by the object detection unit 17 in step S703 includes, for example, the distance to the object represented by the lump X(i) (or the lump X′(i)) and the lump Y(i), and the distance in the detection area D. The position of the object and the shape of the object are included.
図６は、この変形例において、物体検知部１７が行う処理を説明するための図である。図６の左列の画像は距離画像であり、右列の画像は光量画像である。また、図６の１段目〜４段目の画像は、それぞれ、ｉ番目〜（ｉ＋３）番目のフレームの画像である。 FIG. 6 is a diagram for explaining the processing performed by the object detection unit 17 in this modification. The image in the left column of FIG. 6 is a range image, and the image in the right column is a light amount image. In addition, the first to fourth images in FIG. 6 are images of the i-th to (i+3)th frames, respectively.
図６の例においては、説明のため、（ｉ＋１）番目のフレームの画像が生成されるまでの期間は空中浮遊物がなかったが、（ｉ＋２）番目のフレームの画像が生成される期間中に空中浮遊物が発生し、（ｉ＋３）番目のフレームの画像が生成される前に空中浮遊物がなくなった、という状況が想定されている。ただし、１フレームの画像が生成される期間は短いため、実際には空中浮遊物が図６の例のように速やかに消失することはなく、距離画像から検知されたとみなされる仮想的な塊が複数フレームに渡り継続して生成されることになる。 In the example of FIG. 6, for the sake of explanation, there is no airborne suspended matter until the image of the (i+1)th frame is generated, but during the period when the image of the (i+2)th frame is generated, It is assumed that the airborne floating material is generated, and the airborne floating material disappears before the image of the (i+3)th frame is generated. However, since the period in which the image of one frame is generated is short, the airborne floating matter does not actually disappear promptly as in the example of FIG. 6, and a virtual mass that is considered to be detected from the range image is generated. It will be continuously generated over multiple frames.
図６の例では、ｉ番目のフレームに関し、距離画像から検知された塊Ｘ（ｉ）と光量画像から検知された塊Ｙ（ｉ）のペアリングが行われ、それらに同じラベルが付与されている。 In the example of FIG. 6, the cluster X(i) detected from the distance image and the cluster Y(i) detected from the light intensity image are paired with respect to the i-th frame, and the same label is given to them. There is.
続いて、（ｉ＋１）番目のフレームに関し、距離画像から検知された塊Ｘ（ｉ＋１）は１つ前のフレームの距離画像から検知された塊Ｘ（ｉ）とペアリングが行われている。また、光量画像から検知された塊Ｙ（ｉ＋１）は１つ前のフレームの光量画像から検知された塊Ｙ（ｉ）とペアリングが行われている。さらに、距離画像から検知された塊Ｘ（ｉ＋１）と光量画像から検知された塊Ｙ（ｉ＋１）のペアリングが行われている。従って、塊Ｘ（ｉ）、塊Ｘ（ｉ＋１）、塊Ｙ（ｉ）、塊Ｙ（ｉ＋１）の全てに同じラベルが付与されている。 Subsequently, regarding the (i+1)th frame, the cluster X(i+1) detected from the distance image is paired with the cluster X(i) detected from the distance image of the immediately preceding frame. In addition, the cluster Y(i+1) detected from the light intensity image is paired with the cluster Y(i) detected from the light intensity image of the immediately preceding frame. Further, the cluster X(i+1) detected from the distance image and the cluster Y(i+1) detected from the light amount image are paired. Therefore, the same label is given to all of the cluster X(i), cluster X(i+1), cluster Y(i), and cluster Y(i+1).
続いて、（ｉ＋２）番目のフレームに関し、距離画像から検知された塊Ｘ（ｉ＋２）はいずれの塊ともペアリングされていない。なお、塊Ｘ（ｉ＋２）は砂埃等の空中浮遊物を表す塊である。（ｉ＋２）番目のフレームに関しては、光量画像から検知された塊Ｙ（ｉ＋２）に基づき仮想的な塊Ｘ’（ｉ＋２）が生成されており、塊Ｘ’（ｉ＋２）は１つ前のフレームの距離画像から検知された塊Ｘ（ｉ＋１）とペアリングが行われている。また、光量画像から検知された塊Ｙ（ｉ＋２）は１つ前のフレームの光量画像から検知された塊Ｙ（ｉ＋１）とペアリングが行われている。さらに、仮想的な塊Ｘ’（ｉ＋２）と光量画像から検知された塊Ｙ（ｉ＋２）のペアリングが行われている。従って、塊Ｘ（ｉ＋１）、塊Ｘ’（ｉ＋２）、塊Ｙ（ｉ＋１）、塊Ｙ（ｉ＋２）の全てに同じラベルが付与されている。 Subsequently, regarding the (i+2)th frame, the cluster X(i+2) detected from the range image is not paired with any cluster. It should be noted that the lump X(i+2) is a lump representing airborne matter such as dust. Regarding the (i+2)th frame, a virtual mass X′(i+2) is generated based on the mass Y(i+2) detected from the light amount image, and the mass X′(i+2) is the previous frame. The lump X(i+1) detected from the range image is paired. In addition, the cluster Y(i+2) detected from the light intensity image is paired with the cluster Y(i+1) detected from the light intensity image of the immediately preceding frame. Further, the virtual cluster X'(i+2) and the cluster Y(i+2) detected from the light amount image are paired. Therefore, the same label is given to all of the block X(i+1), block X'(i+2), block Y(i+1), and block Y(i+2).
続いて、（ｉ＋２）番目のフレームに関し、距離画像から検知された塊Ｘ（ｉ＋３）は１つ前のフレームにおいて生成された仮想的な塊Ｘ’（ｉ＋２）とペアリングが行われている。また、光量画像から検知された塊Ｙ（ｉ＋３）は１つ前のフレームの光量画像から検知された塊Ｙ（ｉ＋２）とペアリングが行われている。さらに、距離画像から検知された塊Ｘ（ｉ＋３）と光量画像から検知された塊Ｙ（ｉ＋３）のペアリングが行われている。従って、塊Ｘ’（ｉ＋２）、塊Ｘ（ｉ＋３）、塊Ｙ（ｉ＋２）、塊Ｙ（ｉ＋３）の全てに同じラベルが付与されている。 Subsequently, regarding the (i+2)th frame, the cluster X(i+3) detected from the distance image is paired with the virtual cluster X′(i+2) generated in the immediately preceding frame. The cluster Y(i+3) detected from the light intensity image is paired with the cluster Y(i+2) detected from the light intensity image of the immediately preceding frame. Further, the cluster X(i+3) detected from the distance image and the cluster Y(i+3) detected from the light amount image are paired. Therefore, the same label is given to all of the mass X′(i+2), the mass X(i+3), the mass Y(i+2), and the mass Y(i+3).
この変形例によれば、図６の（ｉ＋２）番目のフレームのように、空中浮遊物等の影響を受けて、距離画像から検知すべき対象物を表す塊が検知できなくても、光量画像から検知された塊に基づき仮想的な塊が生成される。そのため、距離画像において同じ物体を表す塊が不連続となっても、仮想的な塊により欠落した部分が補完され、物体の追尾が途切れない。また、仮想的な塊の画素値は同じラベルの付与された、前のフレームの距離画像から検知された塊の画素値（または、前のフレームにおける仮想的な塊の画素値）と同じとみなされる。そのため、物体検知部１７は、空中浮遊物等が発生して、距離画像から対象物を表す塊を検知できない場合であっても、光量画像から検知した塊が表す物体までの距離を、その塊にペアリングした仮想的な塊の画素値から推定することができる。 According to this modified example, as in the (i+2)th frame in FIG. 6, even if a lump representing an object to be detected cannot be detected from the distance image due to the influence of a floating object in the air, the light amount image A virtual mass is generated based on the mass detected from. Therefore, even if the masses representing the same object are discontinuous in the distance image, the missing parts are complemented by the virtual mass, and the tracking of the object is not interrupted. Also, the pixel value of the virtual block is regarded as the same as the pixel value of the block having the same label and detected from the distance image of the previous frame (or the pixel value of the virtual block in the previous frame). Be done. Therefore, the object detection unit 17 determines the distance to the object represented by the detected lump from the light amount image, even when the lump representing the object cannot be detected from the distance image due to the occurrence of a floating object in the air. It can be estimated from the pixel value of the virtual block paired with.
（２）上述した実施形態において、物体検知部１７は検知領域Ｄ内に検知すべき物体が有るか否かの判定は行うが、検知領域Ｄ内に検知すべき物体が有ると判定した場合にその物体の種別を推定はしない。これに代えて、物体検知部１７が、検知領域Ｄ内において検知した物体の種別を推定してもよい。この変形例において、物体検知部１７は、既知の画像認識手法により、光量画像又は距離画像から検知した物体の種別の推定を行う。既知の画像認識手法としては、例えば、既知の物体の画像の特徴量と、認識対象の画像の特徴量との比較結果により、認識対象の画像が既知の物体と同種の物体であるか否かの判定を行う手法が挙げられる。 (2) In the embodiment described above, the object detection unit 17 determines whether or not there is an object to be detected in the detection area D, but when it is determined that there is an object to be detected in the detection area D. The type of the object is not estimated. Instead of this, the object detection unit 17 may estimate the type of the object detected in the detection area D. In this modification, the object detection unit 17 estimates the type of the object detected from the light amount image or the distance image by a known image recognition method. As a known image recognition method, for example, whether the image of the recognition target is the same type of object as the known object is determined based on the comparison result of the feature amount of the image of the known object and the feature amount of the image of the recognition target. There is a method of determining
この変形例において、物体検知部１７は、光量画像又は距離画像から推定した物体の種別に応じて、移動体の制御部等に対し通知データを出力するか否かを決定したり、異なる通知データを出力したりしてもよい。例えば、物体検知部１７は、光量画像又は距離画像から検知した物体が人物や障害物等であると推定した場合、移動体の制御部等に対し通知データを引き渡し、光量画像又は距離画像から検知した物体が鳥、昆虫等の小動物であると推定した場合、移動体の制御部等に対し通知データを引き渡さないように構成されてもよい。 In this modification, the object detection unit 17 determines whether or not to output notification data to the control unit of the moving body or different notification data according to the type of the object estimated from the light amount image or the distance image. May be output. For example, when the object detection unit 17 estimates that the object detected from the light amount image or the distance image is a person or an obstacle, the object detection unit 17 hands over the notification data to the control unit of the moving body and detects the light amount image or the distance image. When it is estimated that the object is a small animal such as a bird or an insect, the notification data may not be delivered to the control unit of the moving body.
（３）上述した実施形態において、光量計測部１５２は、光量信号が示す光量の瞬時値の時間軸方向の積分値を、光量画像の生成に用いる光量として計測する。これに代えて、光量計測部１５２が、光量信号が示す光量のピーク値の合計値を、光量画像の生成に用いる光量として計測してもよい。 (3) In the above-described embodiment, the light amount measuring unit 152 measures the integrated value in the time axis direction of the instantaneous value of the light amount indicated by the light amount signal as the light amount used for generating the light amount image. Instead of this, the light amount measuring unit 152 may measure the total value of the peak values of the light amount indicated by the light amount signal as the light amount used for generating the light amount image.
また、光量計測部１５２が、光量信号をデジタル化（すなわち、標本化及び量子化）した値の合計値を、光量画像の生成に用いる光量として計測してもよい。 In addition, the light quantity measuring unit 152 may measure the total value of the digitized (ie, sampled and quantized) light quantity signals as the light quantity used for generating the light quantity image.
図７は、この変形例において光量計測部１５２が光量を計測する方法を説明するための図である。図７（Ａ）に例示の光量信号の波形には２つのピークが含まれる。光量計測部１５２は、１番目のピーク値Ｖ１１と、２番目のピーク値Ｖ１２の合計値を光量として算出してもよい。 FIG. 7 is a diagram for explaining a method in which the light quantity measuring unit 152 measures the light quantity in this modification. The waveform of the light amount signal illustrated in FIG. 7A includes two peaks. The light quantity measuring unit 152 may calculate the total value of the first peak value V11 and the second peak value V12 as the light quantity.
また、図７（Ｂ）の下側のグラフは、図７（Ａ）の上側に示されるアナログ信号である光量信号をデジタル化して得られる信号を構成する複数のサンプル値を示している。光量計測部１５２は、デジタル化された光量信号を構成する複数のサンプル値の合計値を光量として算出してもよい。 Further, the lower graph of FIG. 7B shows a plurality of sample values forming a signal obtained by digitizing the light amount signal which is the analog signal shown in the upper part of FIG. 7A. The light quantity measuring unit 152 may calculate the total value of a plurality of sample values forming the digitized light quantity signal as the light quantity.
（４）上述した実施形態の説明において、検知すべき対象物の検知を阻害する物体は空中浮遊物であるものとした、対象物の検知を阻害する物体は空中浮遊物に限られない。例えば、投光部１１、走査部１３、受光部１２のいずれかに付着する水滴や汚れ等も、検知すべき対象物の検知を阻害する物体に含まれる。 (4) In the above description of the embodiments, the object that obstructs the detection of the object to be detected is an airborne object, but the object that obstructs the detection of the object is not limited to the airborne object. For example, water droplets, stains, and the like attached to any of the light projecting unit 11, the scanning unit 13, and the light receiving unit 12 are also included in the object that hinders the detection of the target object to be detected.
１…物体検知装置、１１…投光部、１２…受光部、１３…走査部、１４…タイミング制御部、１５…計測部、１６…画像生成部、１７…物体検知部、１３１…可動部、１３２…ミラー、１５１…距離計測部、１５２…光量計測部、１６１…距離画像生成部、１６２…光量画像生成部。 DESCRIPTION OF SYMBOLS 1... Object detection device, 11... Light projecting part, 12... Light receiving part, 13... Scanning part, 14... Timing control part, 15... Measuring part, 16... Image generating part, 17... Object detecting part, 131... Movable part, 132... Mirror, 151... Distance measuring unit, 152... Light amount measuring unit, 161... Distance image generating unit, 162... Light amount image generating unit.
Claims (5)
前記距離センサにより受光する光の光量を画素値とする光量画像を生成し、
前記距離画像と前記光量画像とから物体を検知する
ことを特徴とする物体検知装置。 Generates a distance image with the pixel value of the distance measured by the distance sensor that measures the distance based on the round-trip time of light,
Generates a light amount image having a pixel value of the amount of light received by the distance sensor,
An object detection device, which detects an object from the distance image and the light amount image.
ことを特徴とする請求項１に記載の物体検知装置。 The object detection device according to claim 1, wherein when an object that inhibits detection of the object is detected from the distance image, the object is detected from the light amount image.
ことを特徴とする請求項２に記載の物体検知装置。 The object detecting apparatus according to claim 2, wherein the object that interferes with the detection is a floating substance in the air.
ことを特徴とする請求項１乃至３のいずれか１項に記載の物体検知装置。 The object detection device according to any one of claims 1 to 3, wherein an object detected from each of the light amount image and the distance image is identified.
ことを特徴とする請求項４に記載の物体検知装置。 The object detection device according to claim 4, wherein a distance to an object identified as an object detected from the distance image, which is an object detected from the light amount image, is estimated from the distance image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018215454A JP7223559B2 (en) | 2018-11-16 | 2018-11-16 | Object detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018215454A JP7223559B2 (en) | 2018-11-16 | 2018-11-16 | Object detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020085486A true JP2020085486A (en) | 2020-06-04 |
| JP7223559B2 JP7223559B2 (en) | 2023-02-16 |
Family
ID=70909877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018215454A Active JP7223559B2 (en) | 2018-11-16 | 2018-11-16 | Object detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7223559B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021250972A1 (en) * | 2020-06-08 | 2021-12-16 | 株式会社神戸製鋼所 | Aluminum alloy brazing sheet and aluminum alloy brazed body |
| JP7046144B1 (en) | 2020-11-05 | 2022-04-01 | 日本信号株式会社 | Optical equipment |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5852492A (en) * | 1996-06-07 | 1998-12-22 | Lockheed Martin Vought Systems Corp. | Fused lasar range/intensity image display for a human interpretation of lasar data |
| JP2003028959A (en) * | 2001-07-17 | 2003-01-29 | Kawasaki Heavy Ind Ltd | Target extraction method |
| JP2006046960A (en) * | 2004-07-30 | 2006-02-16 | Matsushita Electric Works Ltd | Image processing device |
| JP2014056494A (en) * | 2012-09-13 | 2014-03-27 | Omron Corp | Image processor, object detection method, and object detection program |
| JP2014109537A (en) * | 2012-12-04 | 2014-06-12 | Mitsubishi Electric Corp | Laser radar apparatus |
| JP2014170368A (en) * | 2013-03-04 | 2014-09-18 | Univ Of Tokyo | Image processing device, method and program and movable body |
| WO2014181871A1 (en) * | 2013-05-10 | 2014-11-13 | 三菱電機株式会社 | Communication device |
-
2018
- 2018-11-16 JP JP2018215454A patent/JP7223559B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5852492A (en) * | 1996-06-07 | 1998-12-22 | Lockheed Martin Vought Systems Corp. | Fused lasar range/intensity image display for a human interpretation of lasar data |
| JP2003028959A (en) * | 2001-07-17 | 2003-01-29 | Kawasaki Heavy Ind Ltd | Target extraction method |
| JP2006046960A (en) * | 2004-07-30 | 2006-02-16 | Matsushita Electric Works Ltd | Image processing device |
| JP2014056494A (en) * | 2012-09-13 | 2014-03-27 | Omron Corp | Image processor, object detection method, and object detection program |
| JP2014109537A (en) * | 2012-12-04 | 2014-06-12 | Mitsubishi Electric Corp | Laser radar apparatus |
| JP2014170368A (en) * | 2013-03-04 | 2014-09-18 | Univ Of Tokyo | Image processing device, method and program and movable body |
| WO2014181871A1 (en) * | 2013-05-10 | 2014-11-13 | 三菱電機株式会社 | Communication device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021250972A1 (en) * | 2020-06-08 | 2021-12-16 | 株式会社神戸製鋼所 | Aluminum alloy brazing sheet and aluminum alloy brazed body |
| JP7046144B1 (en) | 2020-11-05 | 2022-04-01 | 日本信号株式会社 | Optical equipment |
| JP2022074953A (en) * | 2020-11-05 | 2022-05-18 | 日本信号株式会社 | Optical device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7223559B2 (en) | 2023-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7465312B2 (en) | High resolution lidar using high frequency pulse emission. | |
| JP6477083B2 (en) | Optical distance measuring device | |
| EP3516415A1 (en) | Adaptive transmission power control for a lidar | |
| RU2016138535A (en) | Method and device for tracking the state of a moving object and a system for quick vehicle inspection | |
| EP3176611A1 (en) | Method and system for fast inspecting vehicle | |
| JP6465772B2 (en) | Laser radar equipment | |
| JP5904069B2 (en) | Image processing apparatus, object detection method, and object detection program | |
| JP5029436B2 (en) | Crossing object detection apparatus, crossing object detection method, and program | |
| JP2020085486A (en) | Object detector | |
| US10955555B2 (en) | Depth sensor combining line triangulation and time of flight | |
| JP2019211358A (en) | Optical distance measuring device and method therefor | |
| JP2015213251A (en) | Behavior analyzer, monitoring system and amusement system | |
| JP2014109537A (en) | Laser radar apparatus | |
| JP4069456B2 (en) | Number detection device and method | |
| JP2005216160A (en) | Image generating apparatus, intruder monitoring apparatus and image generating method | |
| JP2009168751A (en) | Obstacle detection system and obstacle detection method | |
| JP6070306B2 (en) | Image processing apparatus, object detection method, and object detection program | |
| JPWO2020021914A1 (en) | Distance measuring device and reliability judgment method | |
| KR20090049322A (en) | Depth image generating method and apparatus | |
| JP5472571B2 (en) | Laser distance measuring apparatus and shielding object detection method thereof | |
| JP2006214903A (en) | Construction gauge obstructing object sensitive device | |
| EP2942643A1 (en) | Information processing apparatus, measuring method and program | |
| JP4887842B2 (en) | Radar equipment | |
| JP2019128221A (en) | Time measurement device, distance measurement device, moving body device, time measurement method, and distance measurement method | |
| JP2007017081A (en) | Infrared guide device and infrared guide method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211014 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230206 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7223559 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |