JP2022012811A - 障害物検出装置及び障害物検出方法 - Google Patents

障害物検出装置及び障害物検出方法 Download PDF

Info

Publication number
JP2022012811A
JP2022012811A JP2020114903A JP2020114903A JP2022012811A JP 2022012811 A JP2022012811 A JP 2022012811A JP 2020114903 A JP2020114903 A JP 2020114903A JP 2020114903 A JP2020114903 A JP 2020114903A JP 2022012811 A JP2022012811 A JP 2022012811A
Authority
JP
Japan
Prior art keywords
obstacle
detection
region
coordinate
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020114903A
Other languages
English (en)
Other versions
JP7409240B2 (ja
Inventor
将崇 石▲崎▼
Masataka Ishizaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2020114903A priority Critical patent/JP7409240B2/ja
Priority to TW110121405A priority patent/TWI808434B/zh
Priority to CN202180045638.5A priority patent/CN115720569A/zh
Priority to EP21831582.8A priority patent/EP4177694A4/en
Priority to CA3184206A priority patent/CA3184206A1/en
Priority to AU2021301647A priority patent/AU2021301647A1/en
Priority to US18/013,194 priority patent/US20230264938A1/en
Priority to PCT/JP2021/023647 priority patent/WO2022004495A1/ja
Priority to KR1020227045118A priority patent/KR20230015429A/ko
Publication of JP2022012811A publication Critical patent/JP2022012811A/ja
Application granted granted Critical
Publication of JP7409240B2 publication Critical patent/JP7409240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/0755Position control; Position detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/20Means for actuating or controlling masts, platforms, or forks
    • B66F9/24Electrical devices or systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

【課題】移動体の一部が障害物として検出されることを抑制すること。【解決手段】障害物検出装置は、フォークリフトに搭載されている。障害物検出装置は、障害物を検出するためのステレオカメラと、ステレオカメラの検出結果から障害物の位置を検出する位置検出装置、を備える。検出可能領域には、非検出領域が予め設定されている。非検出領域は、フォークリフトのカウンタウェイトが存在する位置に設定されている。位置検出装置は、非検出領域には障害物が存在しないと判断する。位置検出装置は、検出可能領域のうち非検出領域とは異なる領域である検出領域に存在する障害物の位置を検出する。【選択図】図5

Description

本開示は、障害物検出装置及び障害物検出方法に関する。
車両などの移動体には障害物を検出するための障害物検出装置が搭載されている。特許文献1に開示の障害物検出装置は、障害物を検出するためのセンサと、センサの検出結果から障害物の位置を検出する位置検出部と、を備える。位置検出部は、センサの検出可能領域に存在する障害物の位置を検出する。センサとしては、ステレオカメラが用いられている。位置検出部は、ステレオカメラによって撮像された画像から視差画像を導出し、視差画像に基づき、障害物の位置を検出している。
特開2016-206801号公報
センサの設置位置によっては、センサの検出可能領域に移動体の一部が入り込む。すると、障害物検出装置は、移動体の一部を障害物として検出するおそれがある。
本開示の目的は、移動体の一部が障害物として検出されることを抑制できる障害物検出装置及び障害物検出方法を提供することにある。
上記課題を解決する障害物検出装置は、移動体に搭載される障害物検出装置であって、障害物を検出するためのセンサと、前記センサの検出結果から前記障害物の位置を検出する位置検出部と、を備え、前記位置検出部は、前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断する非検出部と、前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出する検出部と、を備える。
検出可能領域には、予め非検出領域が設定されている。非検出部は、非検出領域に障害物が存在している場合であっても、非検出領域には障害物が存在していないと判断する。非検出領域には移動体の一部が存在しているため、非検出領域に障害物が存在していないと判断することで、障害物検出装置により移動体の一部が障害物として検出されることを抑制できる。
上記障害物検出装置について、前記移動体はフォークリフトであり、前記非検出領域は、前記フォークリフトのカウンタウェイトが存在する位置に設定されていてもよい。
上記障害物検出装置について、前記位置検出部は、水平方向のうち一方向をX軸、水平方向のうち前記X軸に直交する方向の軸をY軸、前記X軸及び前記Y軸に直交する方向の軸をZ軸とする実空間上の座標系での前記障害物の座標を導出する座標導出部を備えていてもよい。
上記障害物検出装置について、前記非検出領域は、前記実空間上の座標系で前記一部が存在する領域を示す3次元座標で規定されていてもよい。
上記課題を解決する障害物検出方法は、移動体に搭載されており、かつ、センサと位置検出部とを備える障害物検出装置によって障害物の位置を検出する障害物検出方法であって、前記位置検出部が、前記センサの検出結果を取得するステップと、前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記位置検出部が、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断するステップと、前記位置検出部が、前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出するステップと、を含んでいてもよい。
非検出領域には移動体の一部が存在しているため、非検出領域に障害物が存在していないと判断することで、移動体の一部が障害物として検出されることを抑制できる。
本発明によれば、移動体の一部が障害物として検出されることを抑制できる。
第1実施形態におけるフォークリフトの側面図。 第1実施形態におけるフォークリフトの平面図。 第1実施形態におけるフォークリフト及び障害物検出装置の概略構成図。 ステレオカメラによって撮像された第1画像の一例を示す図。 位置検出装置が行う障害物検出処理を示すフローチャート。 検出可能領域、非検出領域及び検出領域を説明するための図。 ワールド座標系のXY平面における障害物の位置を示す模式図。 第2実施形態におけるフォークリフトの側面図。 ステレオカメラによって撮像された第1画像の一例を示す図。
(第1実施形態)
以下、障害物検出装置及び障害物検出方法の第1実施形態について説明する。
図1及び図2に示すように、移動体としてのフォークリフト10は、車体11と、車体11の前下部に配置された駆動輪12と、車体11の後下部に配置された操舵輪13と、荷役装置17と、を備える。車体11は、運転席の上部に設けられたヘッドガード14と、荷役装置17に積載される荷と釣り合いを取るためのカウンタウェイト15と、を備える。カウンタウェイト15は、車体11の後部に設けられている。フォークリフト10は、搭乗者による操作によって動作するものであってもよいし、自動で動作するものであってもよいし、手動での動作と自動での動作を切り替えられるものであってもよい。以下の説明において、左右とは、フォークリフト10の前進方向を基準とした場合の左右である。
図3に示すように、フォークリフト10は、主制御装置20と、走行用モータM1と、走行用モータM1を制御する走行制御装置23と、回転数センサ24と、を備える。主制御装置20は、走行動作及び荷役動作に関する制御を行う。主制御装置20は、プロセッサ21と、記憶部22と、を備える。プロセッサ21としては、例えば、CPU:Central Processing Unit、GPU:Graphics Processing Unit、DSP:Digital Signal Processorが用いられる。記憶部22は、RAM:Random access memory及びROM:Read Only Memoryを含む。記憶部22には、フォークリフト10を動作させるためのプログラムが記憶されている。記憶部22は、処理をプロセッサ21に実行させるように構成されたプログラムコードまたは指令を格納しているといえる。記憶部22、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。主制御装置20は、ASIC:Application Specific Integrated CircuitやFPGA:Field Programmable Gate Array等のハードウェア回路によって構成されていてもよい。処理回路である主制御装置20は、コンピュータプログラムに従って動作する1つ以上のプロセッサ、ASICやFPGA等の1つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
主制御装置20は、フォークリフト10の車速が目標車速となるように走行制御装置23に走行用モータM1の回転数の指令を与える。本実施形態の走行制御装置23は、モータドライバである。回転数センサ24は、走行用モータM1の回転数を走行制御装置23に出力する。走行制御装置23は、主制御装置20からの指令に基づき、走行用モータM1の回転数が指令と一致するように走行用モータM1を制御する。
フォークリフト10には、障害物検出装置30が搭載されている。障害物検出装置30は、センサとしてのステレオカメラ31と、ステレオカメラ31によって撮像された画像から障害物の位置を検出する位置検出装置41と、を備える。ステレオカメラ31は、フォークリフト10の上方からフォークリフト10の走行する路面を鳥瞰できるように設置されている。本実施形態のステレオカメラ31は、フォークリフト10の後方を撮像する。従って、位置検出装置41で検出される障害物は、フォークリフト10の後方の障害物となる。
図1に示すように、ステレオカメラ31は、例えば、ヘッドガード14に設置されている。図2に示すように、ステレオカメラ31は、フォークリフト10の車幅方向の中心位置CPからずれて設置されている。本実施形態において、ステレオカメラ31は、フォークリフト10の車幅方向の中心位置CPから左方にずれて設置されている。
ステレオカメラ31は、水平画角及び垂直画角によって定まる撮像範囲を撮像する。垂直画角の範囲内には、カウンタウェイト15が含まれている。従って、ステレオカメラ31に撮像される画像には、フォークリフト10の一部であるカウンタウェイト15の一部が常に入り込むことになる。
図3に示すように、ステレオカメラ31は、第1カメラ32と、第2カメラ33と、を備える。第1カメラ32及び第2カメラ33としては、例えば、CCDイメージセンサや、CMOSイメージセンサを用いたものが挙げられる。第1カメラ32及び第2カメラ33は、互いの光軸が平行となるように配置されている。本実施形態において、第1カメラ32及び第2カメラ33は、互いに水平方向に並んで配置されている。第1カメラ32によって撮像された画像を第1画像、第2カメラ33によって撮像された画像を第2画像とすると、第1画像と第2画像では同一障害物が横方向にずれて写ることになる。詳細にいえば、同一障害物を撮像した場合、第1画像に写る障害物と、第2画像に写る障害物では、横方向の画素[px]に第1カメラ32と第2カメラ33との間の距離に応じたずれが生じることになる。第1画像及び第2画像は、画素数が同じであり、例えば、640×480[px]=VGAの画像が用いられる。第1画像及び第2画像は、例えば、RGB信号で表される画像である。
位置検出装置41は、プロセッサ42と、記憶部43と、を備える。プロセッサ42としては、例えば、CPU、GPU、DSPが用いられる。記憶部43は、RAM及びROMを含む。記憶部43には、ステレオカメラ31によって撮像された画像から障害物を検出するための種々のプログラムが記憶されている。記憶部43は、処理をプロセッサ42に実行させるように構成されたプログラムコードまたは指令を格納しているといえる。記憶部43、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。位置検出装置41は、ASICやFPGA等のハードウェア回路によって構成されていてもよい。処理回路である位置検出装置41は、コンピュータプログラムに従って動作する1つ以上のプロセッサ、ASICやFPGA等の1つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
以下、位置検出装置41により行われる障害物検出処理について障害物検出方法とともに説明する。記憶部43に記憶されたプログラムをプロセッサ42が実行することで障害物検出処理は行われる。障害物検出処理は、所定の制御周期で繰り返し行われる。
以下の説明では、一例として、図4に示す環境をステレオカメラ31によって撮像した場合の障害物検出処理について説明する。図4は、フォークリフト10の後方を撮像することで得られた第1画像I1である。第1画像I1から把握できるように、フォークリフト10の後方には、人や、人以外の障害物が存在している。第1画像I1には、カウンタウェイト15の一部が写り込んでいる。なお、説明の便宜上、障害物が存在する第1画像I1上の座標を枠A1,A2,A3,A4で示しているが、実際の第1画像I1には枠A1,A2,A3,A4は存在しない。
図5に示すように、ステップS1において、位置検出装置41は、ステレオカメラ31によって撮像されている映像から同一フレームの第1画像I1及び第2画像を取得する。第1画像I1及び第2画像は、ステレオカメラ31の検出結果である。
次に、ステップS2において、位置検出装置41は、ステレオ処理を行うことで、視差画像を取得する。視差画像は、画素に対して視差[px]を対応付けた画像である。視差は、第1画像I1と、第2画像とを比較し、各画像に写る同一特徴点について第1画像I1と第2画像の画素数の差を算出することで得られる。なお、特徴点とは、障害物のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検出することができる。
位置検出装置41は、各画像を一時的に格納するRAMを用いて、RGBからYCrCbへの変換を行う。なお、位置検出装置41は、歪み補正、エッジ強調処理などを行ってもよい。位置検出装置41は、第1画像I1の各画素と第2画像の各画素との類似度を比較して視差を算出するステレオ処理を行う。なお、ステレオ処理としては、画素毎に視差を算出する手法を用いてもよいし、各画像を複数の画素を含むブロックに分割してブロック毎の視差を算出するブロックマッチング法を用いてもよい。位置検出装置41は、第1画像I1を基準画像、第2画像を比較画像として視差画像を取得する。位置検出装置41は、第1画像I1の画素毎に、最も類似する第2画像の画素を抽出し、第1画像I1の画素と、当該画素に最も類似する画素の横方向の画素数の差を視差として算出する。これにより、基準画像である第1画像I1の各画素に視差が対応付けられた視差画像を取得することができる。視差画像とは、必ずしも表示を要するものではなく、視差画像における各画素に視差が対応付けられたデータのことを示す。なお、位置検出装置41は、視差画像から路面の視差を除去する処理を行ってもよい。
次に、ステップS3において、位置検出装置41は、ワールド座標系における特徴点の座標を導出する。まず、位置検出装置41は、カメラ座標系における特徴点の座標を導出する。カメラ座標系は、ステレオカメラ31を原点とする座標系である。カメラ座標系は、光軸をZ軸とし、光軸に直交する2つの軸のそれぞれをX軸、Y軸とする3軸直交座標系である。カメラ座標系における特徴点の座標は、カメラ座標系におけるZ座標Zc、X座標Xc及びY座標Ycで表わすことができる。Z座標Zc、X座標Xc及びY座標Ycは、それぞれ、以下の(1)式~(3)式を用いて導出することができる。
Figure 2022012811000002
Figure 2022012811000003
Figure 2022012811000004
(1)式~(3)式におけるBは基線長[mm]、fは焦点距離[mm]、dは視差[px]である。xpは視差画像中の任意のX座標であり、x’は視差画像の中心座標のX座標である。ypは視差画像中の任意のY座標であり、y’は視差画像の中心座標のY座標である。
xpを視差画像中の特徴点のX座標とし、ypを視差画像中の特徴点のY座標とし、dを特徴点の座標に対応付けられた視差とすることで、カメラ座標系における特徴点の座標が導出される。
ここで、フォークリフト10が水平面に位置している状態で、水平方向のうちフォークリフト10の車幅方向に延びる軸をX軸、水平方向のうちX軸に直交する方向に延びる軸をY軸、X軸及びY軸に直交する軸をZ軸とする3軸直交座標系を実空間上での座標系であるワールド座標系とする。ワールド座標系のY軸は、フォークリフト10の進行方向であるフォークリフト10の前後方向に延びる軸ともいえる。ワールド座標系のZ軸は、鉛直方向に延びる軸ともいえる。ワールド座標系での特徴点の座標は、ワールド座標系におけるX座標Xw、Y座標Yw及びZ座標Zwで表わすことができる。
位置検出装置41は、以下の(4)式を用いてカメラ座標をワールド座標に変換するワールド座標変換を行う。ワールド座標とは、ワールド座標系における座標である。
Figure 2022012811000005
ここで、(4)式におけるHはワールド座標系におけるステレオカメラ31の設置高さ[mm]であり、θは第1カメラ32及び第2カメラ33の光軸と、水平面とがなす角+90°の角度である。
本実施形態において、ワールド座標系の原点は、X座標Xw及びY座標Ywをステレオカメラ31の位置とし、Z座標Zwを路面とする座標である。ステレオカメラ31の位置とは、例えば、第1カメラ32のレンズと、第2カメラ33のレンズとの中間位置である。
ワールド座標変換で得られたワールド座標のうちX座標Xwは、フォークリフト10の車幅方向に対する原点から特徴点までの距離を示す。Y座標Ywは、フォークリフト10の進行方向に対する原点から特徴点までの距離を示す。Z座標Zwは、路面から特徴点までの高さを示す。特徴点は、障害物の一部を表す点である。なお、図中の矢印Xはワールド座標系のX軸、矢印Yはワールド座標系のY軸、矢印Zはワールド座標系のZ軸を示す。
図6に示すように、ワールド座標系において、ワールド座標を取得できる領域が、障害物を検出可能な領域である検出可能領域CAである。検出可能領域CAは、例えば、ステレオカメラ31の撮像範囲によって定まる。ステップS3の処理を行うことで、位置検出装置41は座標導出部として機能する。
ここで、ステレオカメラ31の検出可能領域CAには、予め非検出領域NA1が設定されている。非検出領域NA1は、ステレオカメラ31によって障害物が撮像されたか否かに関わらず障害物が存在していないと判断される領域である。検出可能領域CAのうち非検出領域NA1とは異なる領域を検出領域DAとする。検出領域DAは、障害物の検出が行われる領域である。従って、ステレオカメラ31によって障害物が撮像されており、かつ、この障害物が検出領域DAに存在している場合に位置検出装置41は障害物を検出するといえる。
図5に示すように、ステップS4において、位置検出装置41は、非検出領域NA1の特徴点を不要な特徴点として削除する。非検出領域NA1は、検出可能領域CAのうちフォークリフト10の一部が存在する位置に設定されている。本実施形態では、カウンタウェイト15が存在する位置が非検出領域NA1である。不要な特徴点とは、カウンタウェイト15が撮像されることで生じた特徴点ともいえる。
不要な特徴点は、車両諸元から導出することができる。不要な特徴点を導出するための車両諸元は、例えば、位置検出装置41の記憶部43に記憶されている。
図1及び図2に示すように、カウンタウェイト15の幅W1、カウンタウェイト15の高さH1、ステレオカメラ31からカウンタウェイト15の後端までの前後方向の距離L1、及びフォークリフト10の中心位置CPとステレオカメラ31との車幅方向の距離W2のそれぞれを示す情報が車両諸元として記憶されている。
カウンタウェイト15の幅W1とは、車幅方向におけるカウンタウェイト15の寸法である。カウンタウェイト15の幅W1とは、ワールド座標系におけるX軸方向のカウンタウェイト15の寸法ともいえる。本実施形態では、ステレオカメラ31によって撮像されるカウンタウェイト15は一定幅である。このため、カウンタウェイト15の幅W1を一定値とすることができる。カウンタウェイト15の幅W1が一定ではない場合、カウンタウェイト15の前後方向の位置に応じてカウンタウェイト15の幅を記憶してもよい。即ち、カウンタウェイト15のY座標Ywに対応付けてカウンタウェイト15の幅を記憶することで、カウンタウェイト15の幅が一定ではない場合であってもカウンタウェイト15の幅を把握可能にしてもよい。あるいは、カウンタウェイト15の幅が一定ではない場合であっても、カウンタウェイト15の幅を一定とみなしてもよい。この場合、カウンタウェイト15の最大幅をカウンタウェイト15の幅とみなせばよい。
カウンタウェイト15の高さH1とは、路面からカウンタウェイト15の上端までの寸法である。ワールド座標系におけるZ軸の原点が路面であるため、カウンタウェイト15の高さH1とは、ワールド座標系におけるカウンタウェイト15の上端のZ座標Zwともいえる。なお、カウンタウェイト15の前後方向の位置や車幅方向の位置によってカウンタウェイト15の高さが異なる場合、最も高い位置をカウンタウェイト15の上端とすればよい。
ステレオカメラ31からカウンタウェイト15の後端までの前後方向の距離L1とは、ワールド座標系におけるステレオカメラ31からカウンタウェイト15の後端までのY軸方向の寸法である。ワールド座標系におけるY軸の原点がステレオカメラ31であるため、ステレオカメラ31からカウンタウェイト15の後端までの前後方向の距離L1とはワールド座標系におけるカウンタウェイト15の後端のY座標Ywともいえる。なお、カウンタウェイト15の前後方向の位置や車幅方向の位置によってカウンタウェイト15の後端の位置が異なる場合、最も後方をカウンタウェイト15の後端とすればよい。
フォークリフト10の中心位置CPとステレオカメラ31との車幅方向の距離W2とは、ワールド座標系におけるフォークリフト10の中心位置CPからステレオカメラ31までのX軸方向の寸法である。ワールド座標系におけるX軸の原点がステレオカメラ31であるため、フォークリフト10の中心位置CPとステレオカメラ31との車幅方向の距離W2とはワールド座標系におけるフォークリフト10の中心位置CPのX座標Xwともいえる。
位置検出装置41は、上記した車両諸元から以下の第1条件、第2条件及び第3条件の全てに合致する特徴点を不要な特徴点として削除する。
第1条件…-(W1/2+W2)≦Xw≦(W1/2-W2)
第2条件…0≦Yw≦L1
第3条件…0≦Zw≦H1
第1条件は、フォークリフト10の車幅方向の中心位置CPから、ワールド座標系のX軸方向の両側のそれぞれに対して、カウンタウェイト15の幅W1の半分の範囲の特徴点を抽出しているといえる。本実施形態では、フォークリフト10の中心位置CPとワールド座標系におけるX軸の原点とが距離W2ずれているため、距離W2だけX座標Xwを右方にずらすことで、X座標Xwの範囲をフォークリフト10の中心位置CPを基準とした範囲にオフセットしているともいえる。
第2条件は、ステレオカメラ31からカウンタウェイト15の後端までの範囲に存在している特徴点を抽出しているといえる。
第3条件は、路面からカウンタウェイト15の上端までの特徴点を抽出しているといえる。
各条件は、ワールド座標系における3次元座標の範囲を示しているといえる。X座標Xwの範囲が-(W1/2+W2)~(W1/2-W2)、Y座標Ywの範囲が0~L1、Z座標Zwの範囲が0~H1となる直方体状の領域は、特徴点が削除される非検出領域NA1といえる。第1条件、第2条件及び第3条件の全てに合致する特徴点を削除することで、非検出領域NA1の特徴点が削除される。
図6に示すように、非検出領域NA1は、ワールド座標系において座標P1~P8に囲まれた領域といえる。ワールド座標系における3次元座標を座標(Xw,Yw,Zw)で表すと、座標P1は(-(W1/2+W2),0,H1)、座標P2は(W1/2-W2,0,H1)、座標P3は(-(W1/2+W2),L1,H1)、座標P4は(W1/2-W2,L1,H1)で表すことができる。同様に、座標P5は(-(W1/2+W2),0,0)、座標P6は(W1/2-W2,0,0)、座標P7は(-(W1/2+W2),L1,0)、座標P8は(W1/2-W2,L1,0)で表すことができる。非検出領域NA1は、ワールド座標系でカウンタウェイト15が存在する領域を示す3次元座標で規定されている。
なお、ワールド座標における+座標か-座標かは、ワールド座標系の原点に対して座標がいずれの方向に位置しているかを表すものであり、座標軸毎に任意に設定することができる。X座標Xwは、原点よりも左方を+座標、原点よりも右方を-座標としている。Y座標Ywは、原点よりも後方を+座標、原点よりも前方を-座標としている。Z座標Zwは、原点よりも上方を+座標、原点よりも下方を-座標としている。
図5に示すように、ステップS5において、位置検出装置41は、ワールド座標系に存在する障害物を抽出する。位置検出装置41は、障害物の一部を表す複数の特徴点のうち同一障害物を表していると想定される特徴点の集合を1つの点群とし、当該点群を障害物として抽出する。例えば、位置検出装置41は、ステップS3で導出された特徴点のワールド座標から、所定範囲内に位置する特徴点を1つの点群とみなすクラスタ化を行う。位置検出装置41は、クラスタ化された点群を1つの障害物とみなす。ステップS4で、非検出領域NA1の特徴点は削除されているため、ステップS5で抽出される障害物は、非検出領域NA1とは異なる領域である検出領域DAに存在する障害物といえる。非検出領域NA1は、ステレオカメラ31の検出結果に関わらず、言い換えれば、障害物の有無に関わらず障害物が存在していないと判断されることになる。なお、ステップS5で行われる特徴点のクラスタ化は種々の手法で行うことができる。即ち、クラスタ化は、複数の特徴点を1つの点群とすることで障害物とみなすことができれば、どのような手法で行われてもよい。
次に、ステップS6において、位置検出装置41は、ステップS5で抽出された障害物の位置を導出する。本実施形態において、障害物の位置とは、ワールド座標系のXY平面における障害物の座標である。位置検出装置41は、クラスタ化された点群を構成する特徴点のワールド座標から障害物のワールド座標を認識できる。例えば、クラスタ化された点群のうち端に位置する複数の特徴点のX座標Xw、Y座標Yw及びZ座標Zwを障害物のX座標Xw、Y座標Yw及びZ座標Zwとしてもよいし、点群の中心となる特徴点のX座標Xw、Y座標Yw及びZ座標Zwを障害物のX座標Xw、Y座標Yw及びZ座標Zwとしてもよい。即ち、ワールド座標系の障害物の座標は、障害物全体を表すものであってもよいし、障害物の一点を表すものであってもよい。
図7に示すように、位置検出装置41は、障害物のX座標Xw、Y座標Yw及びZ座標Zwをワールド座標系のXY平面に投影することで、ワールド座標系におけるXY平面での障害物のX座標Xw及びY座標Ywを導出する。即ち、位置検出装置41は、障害物のX座標Xw、Y座標Yw及びZ座標ZwからZ座標Zwを除去することで、水平方向における障害物のX座標Xw及びY座標Ywを導出する。
図7に示す障害物O1~O4は、ステップS1~ステップS6の処理を行うことで、第1画像I1及び第2画像から検出された障害物である。障害物O1は、枠A1に存在していた障害物である。障害物O2は、枠A2に存在していた障害物である。障害物O3は、枠A3に存在していた障害物である。障害物O4は、枠A4に存在していた障害物である。
仮に、非検出領域NA1の特徴点を削除していなかった場合、位置検出装置41は、カウンタウェイト15に対応する障害物O5を抽出する。本実施形態では、非検出領域NA1の特徴点を削除し、非検出領域NA1には障害物が存在していないと判断することで、障害物O5が抽出されることを抑制している。ステップS4の処理を行うことで、位置検出装置41は、非検出部として機能している。ステップS5及びステップS6の処理を行うことで、位置検出装置41は、検出部として機能している。位置検出装置41は、位置検出部として機能している。
なお、ステップS4における「特徴点の削除」とは、ステップS5による障害物の抽出に、非検出領域NA1の特徴点を用いないことを意味する。即ち、「特徴点の削除」とは、位置検出装置41のRAMから非検出領域NA1における特徴点のワールド座標を削除する態様だけでなく、位置検出装置41のRAMから非検出領域NA1における特徴点のワールド座標を削除せずに、非検出領域NA1の特徴点を障害物の抽出に用いない態様を含む。
位置検出装置41による障害物検出処理によって、フォークリフト10と障害物との水平方向における位置関係を把握することができる。主制御装置20は、位置検出装置41による検出結果を取得することで、フォークリフト10と障害物との水平方向における位置関係を把握する。主制御装置20は、フォークリフト10と障害物との位置関係に応じた制御を行う。例えば、主制御装置20は、フォークリフト10と障害物との距離が閾値を下回った場合には車速制限や警報を行う。
第1実施形態の作用について説明する。
検出可能領域CAには、予め非検出領域NA1が設定されている。位置検出装置41は、非検出領域NA1に存在する特徴点を削除している。これにより、位置検出装置41は、非検出領域NA1に障害物が存在している場合であっても、非検出領域NA1には障害物が存在していないと判断する。非検出領域NA1は、カウンタウェイト15が存在している領域である。ステレオカメラ31とカウンタウェイト15の位置関係は一定であるため、ステレオカメラ31の撮像範囲には必ずカウンタウェイト15が入り込む。
主制御装置20が障害物との距離に応じて車速制限や警報を行う場合、カウンタウェイト15が障害物として検出されることで、車速制限や警報が行われるおそれがある。カウンタウェイト15は、常に検出可能領域CAに入り込むため、常に車速制限や警報が行われるおそれがある。この場合、フォークリフト10による作業効率の悪化を招くおそれがある。また、常に警報がされることで、フォークリフト10と障害物が近いか否かを判定することができなくなるおそれがある。
これに対し、第1実施形態では、カウンタウェイト15が障害物として検出されないため、カウンタウェイト15がステレオカメラ31によって撮像されることで、車速制限や警報が行われることが抑制されている。
第1実施形態の効果について説明する。
(1-1)ステレオカメラ31の検出可能領域CAには、予め非検出領域NA1が設定されている。位置検出装置41は、非検出領域NA1の特徴点を削除することで、非検出領域NA1には障害物が存在していないと判断する。非検出領域NA1に存在するカウンタウェイト15が障害物として検出されることを抑制することができる。
(1-2)フォークリフト10では、荷役装置17に積載される荷との釣り合いをとるため、車体11の後方にカウンタウェイト15が配置される。このため、後方を撮像するステレオカメラ31の検出可能領域CAに、カウンタウェイト15が入り込みやすい。また、配置上の制約により、カウンタウェイト15が検出可能領域CAに入り込まないようにステレオカメラ31を配置することが困難な場合がある。カウンタウェイト15の存在する領域を非検出領域NA1として設定することで、ステレオカメラ31の検出可能領域CAにカウンタウェイト15が入り込む場合であっても、カウンタウェイト15が障害物として検出されることを抑制しつつ、検出領域DAの障害物を検出できる。
(1-3)非検出領域NA1は、ワールド座標系の3次元座標で規定されている。ワールド座標系のX座標Xw及びY座標Ywで非検出領域NA1を規定し、Z座標Zwに関わらず特徴点を削除することも可能である。この場合には、カウンタウェイト15の上に障害物が置かれている場合であっても、この障害物も非検出領域NA1に含まれることになる。従って、カウンタウェイト15の上に障害物が存在している場合であっても、この障害物が存在しないとみなされる。非検出領域NA1を3次元座標で規定することで、カウンタウェイト15の上に存在している障害物を検出することができる。
(1-4)非検出領域NA1は、予め設定された領域である。移動体の可動部材が動くことで検出可能領域CAに移動体の一部が入り込む場合であり、この移動体の一部が障害物として検出されることを抑制する場合、位置検出装置41は、可動部材の存在する領域を非検出領域として設定する必要がある。可動部材は、動くため、非検出領域を予め設定することはできず、位置検出装置41は、可動部材の位置を検出し、この位置を非検出領域として設定する必要がある。これに対し、実施形態では、ステレオカメラ31との位置関係が一定であるカウンタウェイト15に対応して非検出領域NA1を設定している。カウンタウェイト15の検出可能領域CAでの位置は一定であるため、予め非検出領域NA1を設定することができる。可動部材の位置を検出して、この位置に合わせて非検出領域を設定する場合に比べて、位置検出装置41の負荷を軽減することができる。
(1-5)障害物検出装置30が障害物検出方法を行うことで、非検出領域NA1には障害物が存在していないとみなされる。非検出領域NA1に存在するカウンタウェイト15が障害物として検出されることを抑制することができる。
(第2実施形態)
以下、第2実施形態の障害物検出装置及び障害物検出方法について説明する。以下の説明において、第1実施形態と同様な部分については説明を省略する。
図8に示すように、フォークリフト10は、ミラー18と、ミラー18を支持する支持部19と、を備える。支持部19は、車体11の後方に向けて延びている。ミラー18及び支持部19は、ステレオカメラ31の垂直画角の範囲内に位置している。ミラー18及び支持部19は、フォークリフト10の一部である。
図9に示すように、ステレオカメラ31によって撮像される第1画像I1には、ミラー18及び支持部19が入り込む。第2実施形態では、カウンタウェイト15に加えて、ミラー18及び支持部19が障害物として検出されないように障害物検出処理が行われる。
図8に示すように、位置検出装置41の記憶部43には、車両諸元として、ミラー18の高さH2が記憶されている。ミラー18の高さH2とは、路面からミラー18の下端までの寸法である。ワールド座標系におけるZ軸の原点が路面であるため、ミラー18の高さH2とは、ワールド座標系におけるミラー18の下端のZ座標Zwともいえる。なお、支持部19は、全体に亘ってミラー18の下端よりも上方に位置している。
第1実施形態の第3条件を以下のように変更することで、位置検出装置41は、カウンタウェイト15に加えて、ミラー18及び支持部19によって生じた特徴点を不要な特徴点として削除可能である。位置検出装置41は、第1条件、第2条件及び第3条件の全てに合致する特徴点を不要な特徴点として削除する。
第3条件…0≦Zw≦H1 or Zw≧h2
第1実施形態の第3条件に加えて、Zw≧h2がor条件として加えられている。従って、第1条件、第2条件、及び第3条件のうち0≦Zw≦H1に合致する特徴点と、第1条件、第2条件及び第3条件のうちZw≧h2に合致する特徴点の両方が不要な特徴点として削除される。第1条件、第2条件及び第3条件のうちZw≧h2によって規定される非検出領域NA2は、X座標Xwの範囲が-(W1/2+W2)~(W1/2-W2)、Y座標Ywの範囲が0~L1、Z座標ZwがH2以上となる領域といえる。
第3条件を上記した条件に変更することで、ミラー18及び支持部19は障害物と判断されなくなる。なお、第1条件及び第2条件を第1実施形態と同一にしているため、X座標Xw及びY座標Ywについてはカウンタウェイト15と同様の範囲の特徴点が削除される。ミラー18及び支持部19の大きさによっては、非検出領域NA2のX座標Xwの範囲及びY座標Ywの範囲がミラー18及び支持部19に対して過剰になったり、不足する場合がある。この場合には、カウンタウェイト15用の非検出領域NA1と、ミラー18及び支持部19用の非検出領域NA2とで、各条件を個別に設定してもよい。
第2実施形態の効果について説明する。
(2-1)カウンタウェイト15に加えて、ミラー18及び支持部19が障害物として検出されることを抑制している。複数の部材が検出可能領域CAに入り込んでいる場合であっても、複数の部材に対して非検出領域NA1,NA2を設定することで、複数の部材のそれぞれを障害物とみなすことなく、検出領域DAの障害物を検出できる。
各実施形態は、以下のように変更して実施することができる。各実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○各実施形態において、非検出領域NA1は、ワールド座標系のXY平面上での座標を示す2次元座標で規定されていてもよい。即ち、各実施形態における第3条件を削除し、第1条件及び第2条件に合致する特徴点を削除するようにしてもよい。この場合、Z座標Zwに関わらず、X座標Xw及びY座標Ywで規定される非検出領域に存在する特徴点が不要な特徴点として削除される。
○各実施形態において、ステップS6で導出される障害物の位置は、ワールド座標系における3次元座標であってもよい。位置検出装置41は、障害物をワールド座標系のXY平面に投影しなくてもよいといえる。
○各実施形態において、障害物検出装置30は、センサとして、ワールド座標系における3次元座標を取得できるセンサであってステレオカメラ31以外のもの用いてもよい。この種のセンサとしては、例えば、LIDAR:Laser Imaging Detection and Ranging、ミリ波レーダー、ToF:Time of Flightカメラを挙げることができる。LIDARは、照射角度を変更しながらレーザーを照射し、レーザーが当たった部分から反射された反射光を受光することで周辺環境を認識可能な距離計である。ミリ波レーダーとは、所定の周波数帯域の電波を周囲に照射することで周辺環境を認識可能なものである。TOFカメラは、カメラと、光を照射する光源と、を備え、光源から照射された光の反射光を受光するまでの時間からカメラによって撮像された画像の画素毎に奥行き方向の距離を導出するものである。センサとしては、上記したセンサの組み合わせであってもよい。
○各実施形態において、障害物検出装置30は、センサとして、水平方向への照射角度を変更しながらレーザーを照射する二次元のLIDARを備えていてもよい。LIDARは、照射可能角度の範囲内で、照射角度を変更しながらレーザーを照射する。照射可能角度は、例えば、水平方向に対して270度である。2次元のLIDARの検出可能領域CAとは、照射可能角度と測定可能距離によって規定される範囲である。レーザーが当たった部分を照射点とすると、2次元のLIDARは照射点までの距離を照射角度に対応付けて測定可能である。2次元のLIDARは、2次元のLIDARを原点とした場合の照射点の2次元座標を測定可能であるといえる。2次元のLIDARにより測定される2次元座標は、水平方向のうち一方向をX軸、水平方向のうちX軸に直交する方向をY軸とするワールド座標系の座標である。この場合、非検出領域は、2次元座標で規定される。
○各実施形態において、ステレオカメラ31の設置位置は適宜変更してもよい。ステレオカメラ31は、例えば、中心位置CPに設置されていてもよい。この場合、ワールド座標系のX軸の原点と中心位置CPとが一致するため、第1条件は、以下のように変更することができる。
第1条件…-W1/2≦Xw≦W1/2
このように、ステレオカメラ31の設置位置の変更などによりワールド座標系の座標軸が実施形態から変更された場合、各条件はこれに合わせて変更される。
○各実施形態において、非検出領域は、ステレオカメラ31によって撮像される画像に設定されていてもよい。第1画像I1を例に挙げて説明すると、ステレオカメラ31の設置位置、設置角度から、第1画像I1のうちカウンタウェイト15が写る座標は予め把握することができる。第1画像I1のうちカウンタウェイト15が写る座標を非検出領域として設定し、非検出領域については視差が算出されないようにする。非検出領域は、第1画像I1及び第2画像のうち少なくとも一方に設定されていればよい。カウンタウェイト15が写る位置については、特徴点が得られなくなるため、各実施形態と同様の効果を得ることができる。同様に、ミラー18及び支持部19についても画像に写る座標を非検出領域として設定することができる。画像に非検出領域を設定する場合、検出可能領域CAは、ステレオカメラ31によって撮像される画像に入り込む範囲となる。詳細にいえば、ステレオカメラ31によって撮像される画像のうち視差画像を取得できる範囲である。
○各実施形態において、非検出領域NA1,NA2は、フォークリフト10の一部が存在している領域を含んでいればよく、フォークリフト10の一部が存在している領域よりも大きな領域であってもよい。即ち、非検出領域NA1,NA2はマージンを含んだ領域であってもよい。
○各実施形態において、位置検出装置41は、ステップS5で特徴点をクラスタ化して障害物を抽出した後に、各障害物が非検出領域NA1に存在しているか否かを判定してもよい。位置検出装置41は、非検出領域NA1に存在している障害物は存在していないとみなす。位置検出装置41は、非検出領域NA1の内外に跨がっている障害物については、非検出領域NA1に存在しているとみなすようにしてもよいし、非検出領域NA1外に存在しているとみなすようにしてもよい。位置検出装置41は、非検出領域NA1の内外に跨がって障害物が存在している場合、非検出領域NA1外に存在している部分のみを障害物とみなしてもよい。
○各実施形態において、検出可能領域CAのうち非検出領域NA1,NA2以外の全体を検出領域DAとしてもよいし、検出可能領域CAのうち非検出領域NA1,NA2以外の一部を検出領域DAとしてもよい。
○各実施形態において、位置検出装置41は、ステップS6の処理を行った後に、検出した障害物が人か人以外の物体かを判定する処理を行ってもよい。障害物が人か否かの判定は、種々の方法で行うことができる。例えば、位置検出装置41は、ステレオカメラ31の2つのカメラ32,33のうちいずれかで撮像された画像に対して、人検出処理を行うことで、障害物が人か否かの判定を行う。位置検出装置41は、ステップS6で得られたワールド座標系における障害物の座標をカメラ座標に変換し、当該カメラ座標をカメラ32,33によって撮像された画像の座標に変換する。例えば、位置検出装置41は、ワールド座標系における障害物の座標を第1画像I1の座標に変換する。位置検出装置41は、第1画像I1における障害物の座標に対して、人検出処理を行う。人検出処理は、例えば、特徴量抽出と、事前に機械学習を行った人判定器と、を用いて行われる。特徴量抽出としては、例えば、HOG:Histogram of Oriented Gradients特徴量、Haar-Like特徴量などの画像における局所領域の特徴量を抽出する手法が挙げられる。人判定器としては、例えば、教師有り学習モデルによる機械学習を行ったものが用いられる。教師有り学習モデルとしては、例えば、サポートベクタマシン、ニューラルネットワーク、ナイーブベイズ、ディープラーニング、決定木等を採用することが可能である。機械学習に用いる教師データとしては、画像から抽出された人の形状要素や、外観要素などの画像固有成分が用いられる。形状要素として、例えば、人の大きさや輪郭などが挙げられる。外観要素としては、例えば、光源情報、テクスチャ情報、カメラ情報などが挙げられる。光源情報には、反射率や、陰影等に関する情報が含まれる。テクスチャ情報には、カラー情報等が含まれる。カメラ情報には、画質、解像度、画角等に関する情報が含まれる。
人検出処理に要する時間は長いため、画像から人を検出する場合、障害物が存在する座標を特定し、その座標に対して人検出処理を行う。座標を指定して人検出処理を行うことで、画像の全域に対して人検出処理を行う場合に比べて、人検出処理に要する時間を短くできる。カウンタウェイト15等のフォークリフト10の一部が障害物と判断されないことで、画像のうちフォークリフト10の一部が写る座標には、人検出処理が行われない。従って、フォークリフト10の一部が障害物として検出され、この障害物が写る座標に対して人検出処理が行われる場合に比べて、処理時間の短縮を図ることができる。
○各実施形態では、ステレオカメラ31よりも後方に位置するカウンタウェイト15の全体を非検出領域NA1としたが、ステレオカメラ31によって撮像される範囲を考慮して非検出領域NA1を設定してもよい。図1及び図2から把握できるように、ステレオカメラ31の設置位置やステレオカメラ31の垂直画角によっては、ステレオカメラ31よりも後方に位置するカウンタウェイト15であっても、ステレオカメラ31の撮像範囲に入り込まない部分が存在する。従って、ステレオカメラ31の撮像範囲に入り込まない部分については非検出領域NA1に含めなくてもよい。例えば、実施形態のように第2条件が設定されている場合、第2条件のY座標Ywの下限を0よりも大きな値としてもよい。
○各実施形態において、車両諸元を記憶するのに代えて、非検出領域を規定する座標を位置検出装置41の記憶部43に記憶してもよい。非検出領域NA1であれば、座標P1~P8を記憶しておけばよい。
○各実施形態において、障害物検出装置30は、フォークリフト10の前方に位置する障害物を検出するものであってもよい。この場合、ステレオカメラ31は、フォークリフト10の前方を撮像するように設置される。ステレオカメラ31がフォークリフト10の前方を撮像する場合であっても、ステレオカメラ31の設置位置によっては、フォークリフト10の一部がステレオカメラ31の検出可能領域CAに入り込む。非検出領域は、検出可能領域CAに入り込むフォークリフト10の一部に合わせて設定される。また、障害物検出装置30は、フォークリフト10の前方及び後方の両側の障害物を検出するものであってもよい。この場合、ステレオカメラ31は、フォークリフト10の前方を撮像するものと、フォークリフト10の後方を撮像するものの両方が設けられる。
○各実施形態において、ワールド座標系は、直交座標系に限られず、極座標系としてもよい。
○各実施形態において、位置検出部は、複数の装置によって構成されていてもよい。例えば、位置検出部は、非検出部として機能する装置と、検出部として機能する装置と、座標導出部として機能する装置と、を個別に備えていてもよい。
○各実施形態において、カメラ座標からワールド座標への変換はテーブルデータによって行われてもよい。テーブルデータは、Y座標YcとZ座標Zcの組み合わせにY座標Ywを対応させたテーブルデータと、Y座標YcとZ座標Zcとの組み合わせにZ座標Zwを対応させたテーブルデータである。これらのテーブルデータを位置検出装置41の記憶部43などに記憶しておくことで、カメラ座標系におけるY座標YcとZ座標Zcから、ワールド座標系におけるY座標Yw及びZ座標Zwを求めることができる。なお、実施形態では、カメラ座標系におけるX座標Xcと、ワールド座標系におけるX座標Xwとは一致するため、X座標Xwを求めるためのテーブルデータは記憶されない。
○各実施形態において、第1カメラ32と第2カメラ33は、鉛直方向に並んで配置されていてもよい。
○各実施形態において、障害物検出装置30は、位置検出装置41の記憶部43に記憶されている情報など、種々の情報を記憶するように構成された補助記憶装置を備えていてもよい。補助記憶装置としては、例えば、ハードディスクドライブ、ソリッドステートドライブ、EEPROM:Electrically Erasable Programmable Read Only Memory等の、データを書き換え可能な不揮発性記憶装置が用いられる。
○各実施形態において、ステレオカメラ31は、3つ以上のカメラを備えていてもよい。
○各実施形態において、ステレオカメラ31は、荷役装置17等、どのような位置に取り付けられていてもよい。
○各実施形態において、フォークリフト10は、エンジンの駆動によって走行するものでもよい。この場合、走行制御装置は、エンジンへの燃料噴射量などを制御する装置となる。
○各実施形態において、フォークリフト10の一部は、カウンタウェイト15、ミラー18及び支持部19以外であってもよく、フォークリフト10の一部であって検出可能領域CAに入り込むものであれば、どのようなものであってもよい。
○各実施形態において、障害物検出装置30は、建設機械、自動搬送車、トラックなどのフォークリフト10以外の産業車両、乗用車、及び飛行体など、種々の移動体に搭載することができる。
CA…検出可能領域、DA…検出領域、NA1,NA2…非検出領域、10…移動体としてのフォークリフト、15…フォークリフトの一部であるカウンタウェイト、18…フォークリフトの一部であるミラー、19…フォークリフトの一部である支持部、30…障害物検出装置、31…センサとしてのステレオカメラ、41…位置検出部、非検出部、検出部及び座標導出部としての位置検出装置。

Claims (5)

  1. 移動体に搭載される障害物検出装置であって、
    障害物を検出するためのセンサと、
    前記センサの検出結果から前記障害物の位置を検出する位置検出部と、を備え、
    前記位置検出部は、
    前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断する非検出部と、
    前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出する検出部と、を備える障害物検出装置。
  2. 前記移動体はフォークリフトであり、
    前記非検出領域は、前記フォークリフトのカウンタウェイトが存在する位置に設定されている請求項1に記載の障害物検出装置。
  3. 前記位置検出部は、水平方向のうち一方向をX軸、水平方向のうち前記X軸に直交する方向の軸をY軸、前記X軸及び前記Y軸に直交する方向の軸をZ軸とする実空間上の座標系での前記障害物の座標を導出する座標導出部を備える請求項1又は請求項2に記載の障害物検出装置。
  4. 前記非検出領域は、前記実空間上の座標系で前記一部が存在する領域を示す3次元座標で規定されている請求項3に記載の障害物検出装置。
  5. 移動体に搭載されており、かつ、センサと位置検出部とを備える障害物検出装置によって障害物の位置を検出する障害物検出方法であって、
    前記位置検出部が、前記センサの検出結果を取得するステップと、
    前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記位置検出部が、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断するステップと、
    前記位置検出部が、前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出するステップと、を含む障害物検出方法。
JP2020114903A 2020-07-02 2020-07-02 障害物検出装置及び障害物検出方法 Active JP7409240B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2020114903A JP7409240B2 (ja) 2020-07-02 2020-07-02 障害物検出装置及び障害物検出方法
TW110121405A TWI808434B (zh) 2020-07-02 2021-06-11 障礙物檢測裝置及障礙物檢測方法
EP21831582.8A EP4177694A4 (en) 2020-07-02 2021-06-22 OBSTACLE DETECTION DEVICE AND OBSTACLE DETECTION METHOD
CA3184206A CA3184206A1 (en) 2020-07-02 2021-06-22 Obstacle detector device and obstacle detection method
CN202180045638.5A CN115720569A (zh) 2020-07-02 2021-06-22 障碍物检测装置和障碍物检测方法
AU2021301647A AU2021301647A1 (en) 2020-07-02 2021-06-22 Obstacle detection device and obstacle detection method
US18/013,194 US20230264938A1 (en) 2020-07-02 2021-06-22 Obstacle detector and obstacle detection method
PCT/JP2021/023647 WO2022004495A1 (ja) 2020-07-02 2021-06-22 障害物検出装置及び障害物検出方法
KR1020227045118A KR20230015429A (ko) 2020-07-02 2021-06-22 장해물 검출 장치 및 장해물 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020114903A JP7409240B2 (ja) 2020-07-02 2020-07-02 障害物検出装置及び障害物検出方法

Publications (2)

Publication Number Publication Date
JP2022012811A true JP2022012811A (ja) 2022-01-17
JP7409240B2 JP7409240B2 (ja) 2024-01-09

Family

ID=79316197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020114903A Active JP7409240B2 (ja) 2020-07-02 2020-07-02 障害物検出装置及び障害物検出方法

Country Status (9)

Country Link
US (1) US20230264938A1 (ja)
EP (1) EP4177694A4 (ja)
JP (1) JP7409240B2 (ja)
KR (1) KR20230015429A (ja)
CN (1) CN115720569A (ja)
AU (1) AU2021301647A1 (ja)
CA (1) CA3184206A1 (ja)
TW (1) TWI808434B (ja)
WO (1) WO2022004495A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159083B2 (ja) * 2019-03-06 2022-10-24 株式会社クボタ 作業車両

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5908826B2 (ja) 2012-11-14 2016-04-26 住友重機械搬送システム株式会社 ジブクレーン
JP2016206801A (ja) 2015-04-17 2016-12-08 株式会社リコー 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JPWO2016174754A1 (ja) 2015-04-28 2018-02-15 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6844508B2 (ja) * 2017-11-15 2021-03-17 株式会社豊田自動織機 安全装置
JP6923480B2 (ja) * 2018-03-29 2021-08-18 ヤンマーパワーテクノロジー株式会社 障害物検知システム
JP6926020B2 (ja) 2018-03-29 2021-08-25 ヤンマーパワーテクノロジー株式会社 障害物検知システム
CN111886518A (zh) * 2018-03-29 2020-11-03 洋马动力科技有限公司 障碍物检测系统以及作业车辆

Also Published As

Publication number Publication date
TWI808434B (zh) 2023-07-11
CA3184206A1 (en) 2022-01-06
AU2021301647A1 (en) 2023-02-02
WO2022004495A1 (ja) 2022-01-06
EP4177694A4 (en) 2023-12-20
JP7409240B2 (ja) 2024-01-09
CN115720569A (zh) 2023-02-28
KR20230015429A (ko) 2023-01-31
US20230264938A1 (en) 2023-08-24
TW202203155A (zh) 2022-01-16
EP4177694A1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
KR20190095592A (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
EP3633619B1 (en) Position detection apparatus and position detection method
WO2021096629A1 (en) Geometry-aware instance segmentation in stereo image capture processes
JP7180445B2 (ja) 物体検出装置
EP3029602A1 (en) Method and apparatus for detecting a free driving space
WO2022004495A1 (ja) 障害物検出装置及び障害物検出方法
JP5411671B2 (ja) 物体検出装置および運転支援システム
US20230237809A1 (en) Image processing device of person detection system
CN112611360B (zh) 物体检测装置、车辆及物体检测处理方法
JP2015001966A (ja) 物体検出装置
JP6114572B2 (ja) 対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両。
EP4216177A1 (en) Image processing device of person detection system
JP7081526B2 (ja) 物体検出装置
JP7014122B2 (ja) 物体検出装置及び物体検出方法
JP2022094178A (ja) 産業車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R151 Written notification of patent or utility model registration

Ref document number: 7409240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151