JP2020160914A - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP2020160914A
JP2020160914A JP2019060978A JP2019060978A JP2020160914A JP 2020160914 A JP2020160914 A JP 2020160914A JP 2019060978 A JP2019060978 A JP 2019060978A JP 2019060978 A JP2019060978 A JP 2019060978A JP 2020160914 A JP2020160914 A JP 2020160914A
Authority
JP
Japan
Prior art keywords
detection device
forklift
object detection
priority
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019060978A
Other languages
English (en)
Inventor
将崇 石▲崎▼
Masataka Ishizaki
将崇 石▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2019060978A priority Critical patent/JP2020160914A/ja
Priority to CN202010206769.4A priority patent/CN111751810A/zh
Priority to EP20165183.3A priority patent/EP3716145A1/en
Priority to US16/828,365 priority patent/US20200311964A1/en
Publication of JP2020160914A publication Critical patent/JP2020160914A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

【課題】処理負荷を軽減すること。【解決手段】フォークリフトには、物体検出装置が搭載されている。物体検出装置は、ステレオカメラによる撮像が行われた画像から視差画像を取得し、視差画像からワールド座標系での物体の座標を導出する。物体検出装置は、操舵角情報及びフォークリフトの寸法情報からワールド座標系での進行予定領域を導出する。物体検出装置は、ワールド座標系で進行予定領域上に位置する物体を優先物体として抽出する。物体検出装置は、優先物体とは異なる物体よりも優先物体を優先して人か否かの判定を行う。【選択図】図4

Description

本発明は、物体検出装置に関する。
車両などの移動体には、人や障害物などの物体を検出するための物体検出装置が搭載されている。特許文献1に記載の物体検出装置は、撮像装置の画像を複数の領域に分割し、各領域を対象として識別処理対象画像を抽出している。物体検出装置は、識別処理対象画像に対して人検出処理を行う。識別処理対象画像の抽出は、輝度勾配や、ハフ変換などに基づき行われる。また、領域の設定は、旋回方向、旋回速度、走行方向及び走行速度の少なくとも1つに応じて設定される。
特開2017−151815号公報
特許文献1では、人検出処理を行う領域が大きく物体検出装置の処理負荷が大きい。
本発明の目的は、処理負荷を軽減することができる物体検出装置を提供することにある。
上記課題を解決する物体検出装置は、車両に搭載される物体検出装置であって、ステレオカメラによる撮像が行われた画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、前記視差画像から実空間上での座標系であるワールド座標系での物体の座標を導出する座標導出部と、前記車両の操舵角情報を取得する操舵角取得部と、前記操舵角情報及び前記車両の寸法情報から前記ワールド座標系での前記車両の進行予定領域を導出する進行予定領域導出部と、前記ワールド座標系で前記進行予定領域上に位置する物体である優先物体を抽出する抽出部と、前記優先物体とは異なる前記物体よりも前記優先物体を優先して、前記画像上での前記物体の座標に対して人検出処理を行う人判定部と、を備える。
進行予定領域導出部は、操舵角情報及び車両の寸法情報からワールド座標系での車両の進行予定領域を導出することができる。車両の進行の妨げとなるのは、進行予定領域に位置している人である。従って、進行予定領域上に位置する物体である優先物体が人か否かを優先物体とは異なる物体よりも優先して判定することで、進行の妨げとなる人を逸早く検出することができる。ステレオカメラを用いることで、画像上での物体の座標を導出し、その座標に対して人検出処理を行うことができる。従って、人検出処理を行う領域が少なく、物体検出装置の処理負荷を軽減することができる。
上記物体検出装置について、前記人判定部は、前記車両に最も近い前記優先物体を最も優先して前記画像上での前記物体の座標に対して前記人検出処理を行ってもよい。
車両に最も近い優先物体が人か否かを判定することができる。
上記物体検出装置について、前記進行予定経路導出部は、前記車両の速度が速いほど前記進行予定領域を前記車両の進行方向に対して長くしてもよい。
車両の速度が速いほど、車両と人との離間距離は短時間で短くなる。車両の速度が速い
ほど進行予定領域を長くすることで、車両と人との離間距離が過剰に短くなる前に人を検出することができる。
上記物体検出装置について、前記進行予定経路導出部は、前記車両の速度が遅いほど前記進行予定領域を前記車両の車幅方向に対して広くしてもよい。
車両の速度が遅いほど、車両は旋回しやすく、進行予定領域から離れやすい。車両の速度が遅いほど進行予定領域を車幅方向に広げることで、車両の速度に合わせて人の検出を行うことができる。
本発明によれば、処理負荷を軽減することができる。
物体検出装置が搭載されるフォークリフトの斜視図。 フォークリフト及び監視装置の概略構成図。 第1画像を示す図。 物体検出装置が行う処理を示すフローチャート。 ワールド座標系におけるXY平面での物体の座標を示す図。 進行予定領域の導出方法を説明するための図。 ワールド座標系におけるXY平面での物体と進行予定領域との位置関係を示す図。
以下、物体検出装置の一実施形態について説明する。
図1に示すように、車両としてのフォークリフト10は、車体11と、車体11の前下部に配置された2つの駆動輪12,13と、車体11の後下部に配置された2つの操舵輪14と、荷役装置16と、を備える。駆動輪12,13は、車幅方向に離間して配置されている。2つの操舵輪14は、車幅方向に隣接して配置されている。2つの操舵輪14は、車幅方向において、駆動輪12,13同士の間の中央位置に配置されている。隣接して配置された2つの操舵輪14を1つの操舵輪14とみなすと、フォークリフト10は三輪式のフォークリフトとみなすことができる。車体11は、運転席の上部に設けられたヘッドガード15を備える。本実施形態のフォークリフト10は、搭乗者による操作によって走行動作及び荷役動作が行われるものである。
図2に示すように、フォークリフト10は、メインコントローラ20と、走行用モータM1と、走行用モータM1を制御する走行制御装置23と、車速センサ24と、ディレクションセンサ25と、操舵角センサ26と、を備える。メインコントローラ20は、走行動作及び荷役動作に関する制御を行う。メインコントローラ20は、CPU21と、種々の制御を行うためのプログラムなどが記憶されたメモリ22と、を備える。
ディレクションセンサ25は、進行方向を指示するディレクションレバーの操作方向を検出する。ディレクションセンサ25は、中立位置を基準として、前進を指示する方向にディレクションレバーが操作されているか、後進を指示する方向にディレクションレバーが操作されているかを検出する。ディレクションセンサ25は、検出結果をメインコントローラ20に出力する。操舵角センサ26は、操舵輪14の操舵角θ1を検出する。操舵角センサ26は、検出結果をメインコントローラ20に出力する。
メインコントローラ20のCPU21は、フォークリフト10の車速が目標速度となるように走行制御装置23に走行用モータM1の回転数の指令を与える。本実施形態の走行制御装置23は、モータドライバである。本実施形態の車速センサ24は、走行用モータ
M1の回転数を検出する回転数センサである。車速センサ24は、走行用モータM1の回転数を走行制御装置23に出力する。走行制御装置23は、メインコントローラ20からの指令に基づき、走行用モータM1の回転数が指令と一致するように走行用モータM1を制御する。メインコントローラ20は、走行制御装置23から車速センサ24の検出結果を取得することができる。
フォークリフト10には、監視装置30が搭載されている。監視装置30は、ステレオカメラ31と、ステレオカメラ31によって撮像された画像から物体の検出を行う物体検出装置41と、を備える。図1に示すように、ステレオカメラ31は、ヘッドガード15に配置されている。ステレオカメラ31は、フォークリフト10の上方からフォークリフト10の走行する路面を鳥瞰できるように配置されている。本実施形態のステレオカメラ31は、フォークリフト10の後方を撮像する。従って、物体検出装置41で検出される物体は、フォークリフト10の後方の物体となる。
図2に示すように、ステレオカメラ31は、2つのカメラ32,33を備える。カメラ32,33としては、例えば、CCDイメージセンサや、CMOSイメージセンサが用いられる。各カメラ32,33は、互いの光軸が平行となるように配置されている。本実施形態において、2つのカメラ32,33は、水平方向に並んで配置されている。2つのカメラ32,33のうち、一方を第1カメラ32、他方を第2カメラ33とする。第1カメラ32によって撮像された画像を第1画像、第2カメラ33によって撮像された画像を第2画像とすると、第1画像と第2画像では同一物体が横方向にずれて写ることになる。詳細にいえば、同一物体を撮像した場合、第1画像に写る物体と、第2画像に写る物体では、横方向の画素[px]にカメラ32,33間の距離に応じたずれが生じることになる。第1画像及び第2画像は、画素数が同じであり、例えば、640×480[px]=VGAの画像が用いられる。第1画像及び第2画像は、RGB信号で表される画像である。
物体検出装置41は、CPU42と、RAM及びROM等からなる記憶部43と、を備える。記憶部43には、ステレオカメラ31によって撮像された画像から物体を検出するための種々のプログラムが記憶されている。物体検出装置41は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路:ASICを備えていてもよい。物体検出装置41は、コンピュータプログラムに従って動作する1つ以上のプロセッサ、ASIC等の1つ以上の専用のハードウェア回路、あるいは、それらの組み合わせを含む回路として構成し得る。プロセッサは、CPU、並びに、RAM及びROM等のメモリを含む。メモリは、処理をCPUに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。
物体検出装置41は、CAN:Controller Area NetworkやLIN:Local Interconnect Networkなどの車両用の通信プロトコルに従った通信を行うことで、メインコントロー
ラ20とデータの送受信を行うことが可能である。
以下、物体検出装置41により行われる物体検出処理について説明する。物体検出処理は、フォークリフト10が起動状態のときであり、かつ、フォークリフト10が後進するときに所定の制御周期で繰り返し行われる。起動状態とは、フォークリフト10に走行動作及び荷役動作を行わせることが可能な状態である。フォークリフト10が後進しているか否かは、ディレクションセンサ25の検出結果から把握することができる。メインコントローラ20は、フォークリフト10の後進時に物体検出装置41に指令を与えることで、物体検出装置41に物体検出処理を行わせてもよい。物体検出装置41は、メインコントローラ20からディレクションセンサ25の検出結果を取得することで、物体検出処理を行うか否かを自身で判定してもよい。
以下の説明では、一例として、図3に示す環境をステレオカメラ31によって撮像した場合の物体検出処理について説明する。図3は、フォークリフト10の後方を撮像することで得られた第1画像I1である。第1画像I1から把握できるように、フォークリフト10の後方には、人や、人以外の物体A,B,C,D,Eが存在している。なお、説明の便宜上、物体A,B,C,D,Eが存在する第1画像I1上の座標を枠で示しているが、実際の第1画像I1には枠は存在しない。
図4に示すように、ステップS1において、物体検出装置41は、視差画像を取得する。視差画像は、画素に対して視差[px]を対応付けた画像である。視差は、第1画像I1と、第2画像とを比較し、各画像に写る同一特徴点について第1画像I1と第2画像の画素数の差を算出することで得られる。なお、特徴点とは、物体のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検出することができる。
物体検出装置41は、ステレオカメラ31によって撮像されている映像から同一フレームの第1画像I1及び第2画像を取得する。物体検出装置41は、各画像を一時的に格納するRAMを用いて、RGBからYCrCbへの変換を行う。なお、物体検出装置41は、歪み補正、エッジ強調処理などを行ってもよい。物体検出装置41は、第1画像I1の各画素と第2画像の各画素との類似度を比較して視差を算出するステレオ処理を行う。なお、ステレオ処理としては、画素毎に視差を算出する手法を用いてもよいし、各画像を複数の画素を含むブロックに分割してブロック毎の視差を算出するブロックマッチング法を用いてもよい。物体検出装置41は、第1画像I1を基準画像、第2画像を比較画像として視差画像を取得する。物体検出装置41は、第1画像I1の画素毎に、最も類似する第2画像の画素を抽出し、第1画像I1の画素と、当該画素に最も類似する画素の横方向の画素数の差を視差として算出する。これにより、基準画像である第1画像I1の各画素に視差が対応付けられた視差画像を取得することができる。視差画像とは、必ずしも表示を要するものではなく、視差画像における各画素に視差が対応付けられたデータのことを示す。なお、物体検出装置41は、視差画像から路面の視差を除去する処理を行ってもよい。ステップS1の処理を行うことで、物体検出装置41は、視差画像取得部として機能する。
次に、ステップS2において、物体検出装置41は、ワールド座標系における特徴点の座標を導出する。まず、物体検出装置41は、カメラ座標系における特徴点の座標を導出する。カメラ座標系は、光軸をZ軸とし、光軸に直交する2つの軸のそれぞれをX軸、Y軸とする3軸直交座標系である。カメラ座標系における特徴点の座標は、カメラ座標系におけるZ座標Zc、X座標Xc及びY座標Ycで表わすことができる。Z座標Zc、X座標Xc及びY座標Ycは、それぞれ、以下の(1)式〜(3)式を用いて導出することができる。
(1)式〜(3)式におけるBは基線長[mm]、fは焦点距離[mm]、dは視差[px]である。xpは視差画像中の任意のX座標であり、x’は視差画像の中心座標のX座標である。ypは視差画像中の任意のY座標であり、y’は視差画像の中心座標のY座標である。
xpを視差画像中の特徴点のX座標とし、ypを視差画像中の特徴点のY座標とし、dを特徴点の座標に対応付けられた視差とすることで、カメラ座標系における特徴点の座標が導出される。
ここで、フォークリフト10の進行方向に延びる軸をY軸、鉛直方向に延びる軸をZ軸、Y軸及びZ軸に直交する軸をX軸とする3軸直交座標系を実空間上での三次元座標系であるワールド座標系とする。ワールド座標系での特徴点の座標は、ワールド座標系におけるX座標Xw、Y座標Yw及びZ座標Zwで表わすことができる。
物体検出装置41は、以下の(4)式を用いてカメラ座標をワールド座標に変換するワールド座標変換を行う。
ここで、(4)式におけるHはワールド座標系におけるステレオカメラ31の設置高さ[mm]であり、θはカメラ32,33の光軸と、水平面とがなす角+90°の角度である。
ワールド座標変換で得られたワールド座標のうちX座標Xwは、フォークリフト10の左右方向に対するフォークリフト10から特徴点までの距離を示す。Y座標Ywは、フォークリフト10の進行方向に対するフォークリフト10から特徴点までの距離を示す。Z座標Zwは、路面から特徴点までの高さを示す。
次に、ステップS3において、物体検出装置41は、ワールド座標系における水平面を表す座表面であるXY平面での物体A,B,C,D,EのX座標Xw及びY座標Ywを導出する。XY平面での物体A,B,C,D,EのX座標Xw及びY座標Ywは、種々の手法で導出することができる。例えば、物体検出装置41は、ステップS2で導出された特徴点のワールド座標から、所定範囲内に位置する特徴点を1つの点群とみなすクラスタ化を行う。物体検出装置41は、クラスタ化された点群を1つの物体A,B,C,D,Eとみなす。物体検出装置41は、クラスタ化された点群を構成する特徴点のX座標Xw、Y座標Yw及びZ座標Zwから物体A,B,C,D,EのX座標Xw、Y座標Yw及びZ座標Zwを把握する。例えば、クラスタ化された点群のうち端に位置する複数の特徴点のX座標Xw、Y座標Yw及びZ座標Zwを物体A,B,C,D,EのX座標Xw、Y座標Yw及びZ座標Zwとしてもよいし、点群の中心となる特徴点のX座標Xw、Y座標Yw及びZ座標Zwを物体A,B,C,D,EのX座標Xw、Y座標Yw及びZ座標Zwとしてもよい。図5に示すように、物体検出装置41は、物体A,B,C,D,EのX座標Xw、Y座標Yw及びZ座標Zwをワールド座標系のXY平面に投影することで、ワールド座標系におけるXY平面での物体A,B,C,D,EのX座標Xw及びY座標Ywを導出す
る。即ち、物体検出装置41は、物体A,B,C,D,EのX座標Xw、Y座標Yw及びZ座標ZwからZ座標Zwを除去することで、水平方向における物体A,B,C,D,EのX座標Xw及びY座標Ywを導出する。ステップS3の処理を行うことで、物体検出装置41は、座標導出部として機能する。
次に、図4、図6及び図7に示すように、ステップS4において、物体検出装置41は、フォークリフト10の進行予定領域APを導出する。進行予定領域APとは、ステップS4の処理を行う時点での操舵角θ1でフォークリフト10が走行を続けた場合に、フォークリフト10が通過すると予測される領域を示すものである。物体検出装置41は、メインコントローラ20から操舵角センサ26の検出結果を取得する。物体検出装置41は、メインコントローラ20から車速センサ24の検出結果を取得する。操舵角センサ26の検出結果は操舵角情報である。車速センサ24の検出結果は速度情報である。従って、物体検出装置41は、操舵角取得部及び速度取得部として機能する。
フォークリフト10の進行予定領域APは、操舵角θ1及びフォークリフト10の寸法情報から導出される。まず、物体検出装置41は、操舵角θ1及びフォークリフト10の寸法情報から進行予定経路Rrr,Rrlを導出する。フォークリフト10の寸法情報には、駆動輪12,13の中心軸線から車体11の後端までの寸法L1[mm]、ホイールベースL2[mm]、及び車幅W[mm]が含まれる。フォークリフト10の寸法情報は、メインコントローラ20のメモリ22、あるいは、物体検出装置41の記憶部43に記憶されている。メモリ22にフォークリフト10の寸法情報が記憶されている場合、物体検出装置41は、メインコントローラ20からフォークリフト10の寸法情報を取得する。
図6から把握できるように、進行予定経路Rrr,Rrlは、旋回中心Prからの旋回半径として導出される。進行予定経路Rrr,Rrlは、車体11の左端の進行予定経路Rrlと、車体11の右端の進行予定経路Rrrとで個別に導出される。旋回中心Prは、駆動輪12,13の中心軸線を延長した仮想的な線分L3と、操舵輪14の中心軸線を延長した仮想的な線分L4との交点である。物体検出装置41は、以下の(5)式及び(6)式から進行予定経路Rrr,Rrlを導出する。
(5)式及び(6)式により導出される進行予定経路Rrr,Rrlと、線分L3からの旋回角度Φと、に基づき進行予定経路Rrr,Rrlのワールド座標系でのX座標Xw及びY座標Ywを導出することができる。なお、XY平面の原点Oは、駆動輪12,13同士の間の中心位置である。旋回角度Φは、操舵角θ1を維持したままフォークリフト10が現在位置から移動した場合の現在位置での線分L3と、移動先の位置での線分L3とのなす角である。旋回角度Φにより、現在位置からどの程度先までの進行予定経路Rrr,Rrlを導出するかが定められる。即ち、旋回角度Φによってフォークリフト10の進行方向に対する進行予定経路Rrr,Rrlの長さが定まる。
図7に示すように、物体検出装置41は、進行予定経路Rrr,Rrl同士の間の第1領域A1に進行予定経路Rrr,Rrlよりもフォークリフト10の車幅方向の外側の第2領域A2を加えた領域を進行予定領域APの幅とする。進行予定経路Rrr,Rrlよりも車幅方向の外側の第2領域A2は、マージンである。なお、進行予定領域APにおけるフォークリフト10の車幅方向の外側とは、フォークリフト10の現在位置を基準とした車幅方向ではなく、フォークリフト10が進行予定経路Rrr,Rrlに位置しているときの当該位置を基準とした車幅方向の外側である。フォークリフト10の進行方向に対する進行予定経路Rrr,Rrlの長さと、フォークリフト10の進行方向に対する進行予定領域APの長さとは同一である。従って、フォークリフト10の進行方向に対する進行予定領域APの長さは、旋回角度Φにより定まる。
本実施形態では、フォークリフト10の速度に応じて旋回角度Φ及び進行予定領域APの幅を変更している。物体検出装置41は、フォークリフト10の速度が速いほど、旋回角度Φを大きくする。物体検出装置41の記憶部43には、フォークリフト10の速度と旋回角度Φとの関係を対応付けたマップや関係式が記憶されており、物体検出装置41はフォークリフト10の速度から旋回角度Φを導出する。マップや関係式は、例えば、ステップS4の処理を行う時点での速度で制御周期に亘ってフォークリフト10が走行した場合の旋回角度の予測値よりも大きな値が導出されるように設定されている。旋回角度Φが大きくなると、進行予定領域APは、フォークリフト10の進行方向に対して長くなる。
物体検出装置41は、フォークリフト10の速度が遅いほど、第2領域A2を広くする。物体検出装置41の記憶部43には、フォークリフト10の速度と第2領域A2との関係を対応付けたマップや関係式が記憶されており、物体検出装置41はフォークリフト10の速度から第2領域A2の広さを導出する。第2領域A2が広くなると、進行予定領域APはフォークリフト10の車幅方向に対して広くなる。ステップS4の処理を行うことで、物体検出装置41は、進行予定領域導出部として機能する。
次に、図4に示すように、ステップS5において、物体検出装置41は、進行予定領域AP上に位置する物体A,B,Cである優先物体A,B,Cを抽出する。ステップS3でワールド座標系での物体A,B,C,D,EのX座標Xw及びY座標Ywを導出しており、ステップS4でワールド座標系での進行予定領域APのX座標Xw及びY座標Ywを導出している。従って、物体検出装置41は、両者の位置関係を把握することができる。
図7には、ワールド座標系のXY平面上での物体A,B,C,D,Eの座標と、進行予定領域APの座標との関係を示す。図7から把握できるように、優先物体A,B,Cが進行予定領域AP上に位置していることを把握できる。なお、「物体が進行予定領域AP上に位置している」とは、ワールド座標系におけるXY平面で物体の少なくとも一部が進行予定領域APと同一座標に位置することを意味する。ステップS5の処理を行うことで、物体検出装置41は、抽出部として機能する。
次に、図4に示すように、ステップS6において、物体検出装置41は、物体A,B,C,D,Eに優先度を設定する。物体検出装置41は、フォークリフト10から物体A,B,C,D,Eまでの距離を導出する。フォークリフト10から物体A,B,C,D,Eまでの距離とは、原点Oから物体A,B,C,D,Eの座標までのユークリッド距離である。物体検出装置41は、優先物体A,B,Cのうちフォークリフト10からの距離が近い順に優先度を高くする。物体検出装置41は、優先物体Bの優先度を最も高くし、優先物体Cを2番目、優先物体Aを3番目の優先度とする。また、優先物体A,B,Cとは異なる物体D,Eについては、優先度を設定してもよいし、優先度を設定しなくてもよい。優先度を設定する場合、フォークリフト10から距離が近い順に優先度を高くしてもよい
し、進行予定領域APに近い順に優先度を高くしてもよい。即ち、優先物体A,B,C以外の物体の取り扱いについては、任意である。
次に、ステップS7において、物体検出装置41は、物体A,B,C,D,Eが人か否かの判定を行う人検出処理を行う。物体検出装置41は、フォークリフト10に最も近い優先物体Bを最も優先して人か否かの判定を行う。その後、物体検出装置41は、制御周期内で、その他の物体A,C,D,Eに対して人検出処理を行う。物体検出装置41は、優先順位に従って、優先物体B→優先物体C→優先物体Aの順に人検出処理を行うことになる。なお、制御周期内であれば、優先物体A,B,C以外の物体D,Eについても人検出処理を行ってもよい。物体検出装置41は、制御周期が経過すると、物体検出処理を終了する。物体検出装置41は、フォークリフト10に最も近い優先物体B以外の物体A,C,D,Eについては、人検出処理が行われていない場合であっても制御周期の経過を契機として物体検出処理を終了する。
上記したように、優先物体A,B,Cは、優先物体A,B,Cとは異なる物体D,Eよりも優先して人か否かの判定が行われる。「優先」とは、上記したように、優先物体A,B,Cとは異なる物体D,Eよりも先に優先物体A,B,Cが人か否かを判定する態様を含む。
物体A,B,C,D,Eが人か否かの判定は、以下の処理によって行うことができる。まず、物体検出装置41は、物体A,B,C,D,Eのワールド座標をカメラ座標に変換する。ワールド座標からカメラ座標への変換は、以下の(7)式を用いて行うことができる。
(7)式のX座標Xw、Y座標Yw及びZ座標Zwを物体A,B,C,D,Eのワールド座標とすることで、物体A,B,C,D,Eのカメラ座標を導出することができる。なお、本実施形態では、物体A,B,C,D,Eのワールド座標をXY平面での座標としているため、Z座標Zwは0となる。
次に、物体検出装置41は、以下の(8)式及び(9)式を用いて、カメラ座標から第1画像I1上の物体A,B,C,D,Eの座標を導出する。
(8)式及び(9)式のX座標Xc、Y座標Yc及びZ座標Zcを物体A,B,C,D,Eのカメラ座標とすることで、物体A,B,C,D,Eの第1画像I1上の座標を導出することができる。
物体検出装置41は、第1画像I1上での物体A,B,C,D,Eの座標に対して人検出処理を行うことで、物体A,B,C,D,Eが人か否かを判定する。なお、第1画像I1上での物体A,B,C,D,Eの座標とは、(8)式及び(9)式で導出された座標に加えて、当該座標の周辺の座標を含んでいてもよい。人検出処理は、第1画像I1から特徴量を抽出する特徴量抽出法により行われ、例えば、HOG:Histograms of Oriented Gradientsや、SIFT:Scale Invariant Feature Transformを用いて行われる。これにより、物体検出装置41は、物体A,B,C,D,Eが人か人以外の物体かを判定することができる。なお、フォークリフト10と物体A,B,C,D,Eとの位置関係は、ステップS3で導出しているため、物体検出装置41は、フォークリフト10と物体A,B,C,D,Eとの位置関係を把握することができる。ステップS7の処理を行うことで、物体検出装置41は、人判定部として機能する。
上記したように、物体検出装置41は、機能要素として、視差画像取得部、座標導出部、操舵角取得部、進行予定領域導出部、抽出部、人判定部及び速度取得部を備えているといえる。
本実施形態の作用について説明する。
物体検出装置41は、操舵角情報及びフォークリフト10の寸法情報からワールド座標系でのフォークリフト10の進行予定領域APを導出する。物体A,B,C,D,Eのうちフォークリフト10の進行の妨げとなる物体は、進行予定領域AP上に位置する優先物体A,B,Cである。ワールド座標系で、進行予定領域AP上に位置する優先物体A,B,Cを抽出し、第1画像I1上での優先物体A,B,Cの座標に対して物体D,Eの座標よりも優先して人検出処理を行うことで、進行の妨げとなる人を逸早く検出することができる。
フォークリフト10では、検出した物体A,B,C,D,Eが人の場合、物体A,B,C,D,Eが人以外の場合とは異なる処理が行われる場合がある。例えば、監視装置30によって人が検出されると、メインコントローラ20は搭乗者に対して近くに人がいる旨の報知を行う。報知は、表示によって報知を行う表示器や、音によって報知を行うブザー等を用いて行われる。また、メインコントローラ20は、フォークリフト10の周辺の人に対して、フォークリフト10が近くにいることを認識させるための報知を行ってもよい。
ここで、物体検出処理は、所定の制御周期毎に繰り返し行われる。物体検出処理のうち物体A,B,C,D,Eが人か否かを判定する人検出処理は、処理負荷が大きい。第1画像I1の全ての領域に対して人検出処理を行うと処理負荷が大きくなる。フォークリフト10は、乗用車に比べて急旋回が行われる頻度が多く、乗用車に搭載されるステレオカメラよりも画角の広いステレオカメラ31が用いられることが多い。従って、フォークリフト10に搭載される物体検出装置41は人検出処理を行う領域が特に多くなりやすく、処理負荷が大きくなりやすい。
処理負荷が大きいと、制御周期内に全ての物体A,B,C,D,Eに対して人検出処理を行えない場合がある。仮に、進行予定領域APを考慮せずに、フォークリフト10に近い物体から順に人検出処理を行う場合、進行の妨げとなる物体よりも先に進行の妨げとならない物体に対して人検出処理が行われることが生じ得る。すると、制御周期内に進行の妨げとなる物体に対して人検出処理を行うことができず、進行の妨げとなる人を検出できなかったり、進行の妨げとなる人の検出が遅くなる場合がある。制御周期を維持したまま第1画像I1上の全ての物体に対して人検出処理を行おうとすると、処理能力の高い物体検出装置41を用いる必要があり、製造コストの増加を招く。また、物体検出装置41の処理能力を維持したまま制御周期内に全ての物体に対して人検出処理を行おうとすると、
制御周期を長くする必要があり、進行の妨げとなる人の検出が遅くなる。
本実施形態では、優先物体A,B,Cが人か否かを優先的に判定している。また、優先物体A,B,Cのうちフォークリフト10に最も近い優先物体Bは最優先で人か否かの判定が行われる。最もフォークリフト10に近い優先物体Bが人か否かは制御周期内で必ず判定されることになる。フォークリフト10に最も近い優先物体Bは、進行予定領域AP上に位置する優先物体A,B,Cのうち、直近で進行の妨げとなるおそれがある物体である。これに対し、優先物体A,B,Cのうちフォークリフト10に最も近い優先物体Bとは異なる優先物体A,Cは、最も近い優先物体Bよりもフォークリフト10から離れていることに加えて、フォークリフト10の走行によって優先物体Bを通過した後には、フォークリフト10に最も近い優先物体になり得る。従って、優先物体A,Cについては、フォークリフト10の進行の妨げとなる場合、次回以降の制御周期で人検出処理が行われることになり、最も近い優先物体Bに比べれば人検出処理を行う優先度は低い。また、進行予定領域AP上に位置しない物体D,Eについては、優先物体A,Cよりも進行の妨げとなる可能性が低い。仮に、フォークリフト10の操舵角θ1の変更、フォークリフト10や物体D,Eの移動等により物体D,Eが進行の妨げとなる位置になれば、次回以降の制御周期で当該物体D,Eは優先物体となる。従って、進行予定領域APに位置しない物体D,Eについて人検出処理を行う優先度は低い。このように、制御周期毎に繰り返し行われる物体検出処理では、少なくとも、フォークリフト10に最も近い優先物体Bが人か否かを判定することができれば、実用上の支障は来さないと考えられる。また、制御周期内であれば、フォークリフト10に最も近い優先物体Bとは異なる優先物体A,Cが人か否かを判定することで、更に適切にフォークリフト10を運用することができる。
物体検出装置41では、フォークリフト10に最も近い優先物体Bが人か否かを判定すればよいため、全ての物体A,B,C,D,Eに対して人検出処理を行う場合に比べて処理負荷が小さくなる。また、制御周期は、フォークリフト10に最も近い優先物体Bが人か否かを判定できるように設定すればよいため、全ての物体A,B,C,D,Eに対して人検出処理を行う場合に比べて制御周期が長くなることを抑制することができる。
本実施形態の効果について説明する。
(1)物体検出装置41は、優先物体A,B,Cとは異なる物体D,Eよりも優先物体A,B,Cを優先して人か否かの判定を行っている。従って、進行の妨げとなる人を逸早く検出することができる。また、ステレオカメラ31で撮像された画像を用いて人検出処理を行っている。仮に、単眼カメラで撮像された画像から人検出処理を行う場合、画像のうち進行予定領域APと重なる全領域に対して人検出処理を行った後に、人が検出された領域の実空間上での座標を導出する。人検出処理を行う領域が大きく、物体検出装置41の処理負荷が大きくなる。これに対し、ステレオカメラ31で撮像された画像を用いる場合、人検出処理を行う前に物体A,B,C,D,Eの第1画像I1上での座標を導出することができる。人検出処理を行う領域は、単眼カメラで撮像された画像を用いる場合に比べて小さくなる。ステレオカメラ31を用いることで、単眼カメラを用いる場合に比べて、物体検出装置41の処理負荷を軽減することができる。また、単眼カメラを用いる場合、単眼カメラの取付位置や、レンズに応じて人物が写る位置を事前に把握する必要がある。ステレオカメラ31を用いることで、人物が写る位置を事前に把握する必要がなくなる。
(2)優先物体A,B,Cのうちフォークリフト10に最も近い優先物体Bを最も優先して、人か否かの判定を行っている。第1画像I1に写る人のうちフォークリフト10に近い人ほど逸早く検出することが好ましい。優先物体A,B,Cのうちフォークリフト10に最も近い優先物体Bを最も優先することで、進行の妨げとなる人であり、かつ、フォークリフト10に最も近い人を逸早く検出することができる。
(3)物体検出装置41は、フォークリフト10の速度が速いほど、進行予定領域APを長くしている。フォークリフト10の速度が速いほどフォークリフト10と人との離間距離は短時間で短くなり、1回の制御周期の間にフォークリフト10と人とが近付く。フォークリフト10の速度が速いほど進行予定領域APを長くすることで、フォークリフト10と人との離間距離が過剰に短くなる前に人を検出することができる。
(4)物体検出装置41は、フォークリフト10の速度が遅いほど、進行予定領域APを車幅方向に対して広くしている。フォークリフト10の速度が遅いほど、フォークリフト10は旋回しやすく、進行方向の変更により、次回以降の制御周期で進行予定経路Rrr,Rrlより離れた位置に移動しやすい。フォークリフト10の速度が遅いほど進行予定領域APを車幅方向に広げることで、フォークリフト10の速度に合わせて人の検出を行うことができる。詳細にいえば、操舵角θ1の変更によりフォークリフト10の進行方向が変わりやすい場合に、進行予定領域APを車幅方向に広げることで、フォークリフト10が進行する可能性のある位置にいる人を逸早く検出することができる。
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○旋回角度Φは、フォークリフト10の速度によって変更しなくてもよい。即ち、旋回角度Φは、固定値であってもよい。この場合、旋回角度Φとしては、例えば、フォークリフト10の到達し得る最高速度や、制御周期に応じて設定され、制御周期に亘ってフォークリフト10が最高速度で走行した場合の旋回角度よりも大きい値が旋回角度Φとして設定される。
○進行予定領域APの車幅方向に対する広さは、フォークリフト10の速度によって変更しなくてもよい。即ち、進行予定領域APの車幅方向に対する広さは、固定値であってもよい。この場合、進行予定領域APの車幅方向に対する広さは、例えば、制御周期に応じて設定される。制御周期が長いほど進行予定領域APの車幅方向に対する広さを広く、制御周期が短いほど進行予定領域APの車幅方向に対する広さを狭くしてもよい。制御周期が長いほど、物体検出処理を行っている間に、フォークリフト10と物体A,B,C,D,Eとの相対位置は変化するため、広い範囲に亘って進行の妨げとなる物体を検出するようにしてもよい。
○進行予定領域APは、少なくとも第1領域A1を含む範囲であればよく、マージンである第2領域A2は省いてもよい。
○物体検出装置41は、操舵角情報として、ハンドル角センサの検出結果を用いてもよい。ハンドル角センサは、ハンドルの角度を検出して、検出結果をメインコントローラ20に出力する。操舵角は、ハンドル角センサの検出結果に応じて制御されるため、ハンドル角センサの検出結果から操舵角を検出することができる。
○物体検出装置41は、優先物体A,B,Cの全てについて人か否かの判定を行う一方で、優先物体A,B,Cとは異なる物体については人か否かの判定を行わなくてもよい。即ち、「優先」とは、優先物体A,B,Cのみに対して人か否かを判定する態様を含む。
○物体検出装置41は、フォークリフト10に最も近い優先物体Bが人か否かの判定を行えればよく、フォークリフト10に最も近い優先物体Bが人か否かの判定を行った後は、制御周期内であっても、その他の物体A,C,D,Eが人か否かの判定を行わなくてもよい。即ち、複数の優先物体A,B,Cのうちフォークリフト10に最も近い優先物体Bのみが優先されるようにしてもよい。
○物体検出装置41は、複数の物体A,B,C,D,Eに対して同時に人か否かの判定を行ってもよい。この場合、最初に判定を行う複数の物体A,B,C,D,Eには、フォークリフト10に最も近い優先物体Bが含まれるようにする。
○物体検出装置41は、フォークリフト10に最も近い優先物体Bを最も優先して人か否かの判定を行わなくてもよい。例えば、複数の優先物体A,B,Cのうちフォークリフト10に最も近い優先物体Bを2番目に優先して人か否かの判定を行ってもよい。
○監視装置30は、フォークリフト10の前方の人を検出するものであってもよい。この場合、ステレオカメラ31は、フォークリフト10の前方を撮像するように配置される。物体検出装置41は、フォークリフト10が前進するときに物体検出処理を行う。また、監視装置30は、フォークリフト10の前方及び後方の両側の物体を検出するものであってもよい。この場合、ステレオカメラ31は、フォークリフト10の前方を撮像するものと、フォークリフト10の後方を撮像するものの両方が設けられる。物体検出装置41は、フォークリフト10の進行方向に応じた方向の物体を検出する。
○物体A,B,C,D,Eが人か否かの判定は、教師有り学習モデルによる機械学習を行った人判定部を用いて行ってもよい。人判定部としては、例えば、サポートベクタマシン、ニューラルネットワーク、ナイーブベイズ、ディープラーニング、決定木等の教師有り学習器を採用することが可能である。機械学習に用いる教師データとしては、画像から抽出された人の形状要素や、外観要素などの画像固有成分が用いられる。形状要素として、例えば、人の大きさや輪郭などが挙げられる。外観要素としては、例えば、光源情報、テクスチャ情報、カメラ情報などが挙げられる。光源情報には、反射率や、陰影等に関する情報が含まれる。テクスチャ情報には、カラー情報等が含まれる。カメラ情報には、画質、解像度、画角等に関する情報が含まれる。
○実施形態では、ワールド座標系のXY平面の物体A,B,C,D,Eの座標から物体A,B,C,D,Eが優先物体A,B,Cか否かを判定したが、3軸直交座標系の座標から物体A,B,C,D,Eが優先物体A,B,Cか否かを判定してもよい。3軸直交座標系での物体A,B,C,D,Eの座標は、Z座標Zwを含む。進行予定領域APの座標はX座標XwとY座標Ywとして導出される。この場合、物体検出装置41は、進行予定領域APのX座標Xw及びY座標Ywと、物体のX座標Xw及びY座標Ywから物体A,B,C,D,Eが進行予定領域AP上に位置しているかを判定する。即ち、3軸直交座標系の物体A,B,C,D,Eの座標から物体A,B,C,D,Eが優先物体A,B,Cか否かを判定する場合、物体A,B,C,D,EのZ座標Zwを考慮せずに、物体A,B,C,D,Eが優先物体A,B,Cか否かを判定すればよい。
○視差画像を取得する領域は、フォークリフト10の操舵角θ1に応じて変更してもよい。例えば、フォークリフト10の操舵角θ1から、フォークリフト10が左方に旋回していると把握できる場合、第1画像I1及び第2画像を横方向に3等分した範囲のうち、左方2つの範囲について視差を取得してもよい。即ち、ステレオカメラ31によって撮像された画像において優先物体が存在しない領域については、視差を算出しなくてもよい。これにより物体検出装置41の処理負荷を更に軽減することができる。
○フォークリフト10としては、自動で走行動作及び荷役動作が行われるものであってもよい。この場合、フォークリフト10が前進しているか後進しているかの情報は、メインコントローラ20から取得することができる。また、自動で走行動作及び荷役動作が行われるフォークリフト10の場合、物体A,B,C,D,Eが人か否かで、走行経路や車速を変更してもよい。例えば、メインコントローラ20は、物体A,B,C,D,Eの回避を行う場合、人以外の場合に比べて、人の場合のほうが回避距離を大きくしたり、物体
A,B,C,D,Eが人の場合の方が近くを走行するときの車速を低くしてもよい。また、フォークリフト10は、自動での操作と手動での操作とを切り替えられるものでもよい。
○フォークリフト10が前進しているか後進しているかは、車速センサ24の検出結果から判定してもよい。
○ワールド座標系は、直交座標系に限られず、極座標系としてもよい。
○ステレオカメラ31によって撮像された画像のうち第2画像から人を検出するようにしてもよい。物体検出装置41は、第2画像上での物体A,B,C,D,Eの座標を導出するが、第2画像は比較画像であるため、物体A,B,C,D,Eのワールド座標から画像上での物体A,B,C,D,Eの座標を導出すると、基線長に応じたずれが生じる。このため、物体検出装置41は、基線長に応じて第2画像上での物体の座標を補正し、補正した座標に対して人検出処理を行う。
○物体A,B,C,D,Eから人候補を抽出し、人候補にのみ人検出処理を行ってもよい。物体A,B,C,D,Eが人候補か否かは、例えば、物体A,B,C,D,EのXY平面での寸法から判定することができる。
○視差画像取得部、座標導出部、進行予定領域導出部、抽出部及び人判定部は、それぞれ、個別の制御装置によって構成されていてもよい。
○カメラ座標からワールド座標への変換はテーブルデータによって行われてもよい。テーブルデータは、Y座標YcとZ座標Zcの組み合わせにY座標Ywを対応させたテーブルデータと、Y座標YcとZ座標Zcとの組み合わせにZ座標Zwを対応させたテーブルデータである。これらのテーブルデータを物体検出装置41のROMなどに記憶しておくことで、カメラ座標系におけるY座標YcとZ座標Zcから、ワールド座標系におけるY座標Yw及びZ座標Zwを求めることができる。同様に、ワールド座標からカメラ座標への変換についてもテーブルデータによって行われてもよい。
○第1カメラ32と第2カメラ33は、鉛直方向に並んで配置されていてもよい。
○第1画像I1の画素数と第2画像の画素数とは異なっていてもよい。例えば、比較画像である第2画像の画素数を視差画像の画素数と同一とし、基準画像である第1画像I1の画素数を第2画像の画素数よりも多くしてもよい。
○ステレオカメラ31は、3つ以上のカメラを備えていてもよい。
○フォークリフト10は、エンジンの駆動によって走行するものでもよい。この場合、走行制御装置は、エンジンへの燃料噴射量などを制御する装置となる。
○フォークリフト10は、四輪式のフォークリフトであってもよい。この場合、物体検出装置41は、四輪式のフォークリフトの進行予定経路Rrr,Rrlを導出する式から進行予定経路Rrr,Rrlを導出する。即ち、進行予定経路Rrr,Rrlを導出する式は、車両の種類によって変更される。
○フォークリフト10は、横移動モードや平行移動モードなど複数の走行モードから任意の走行モードを選択できるフォークリフトであってもよい。この場合、監視装置30は、各走行モードでの進行方向を向くステレオカメラを備える。物体検出装置41は、走行モード毎に、進行予定経路を導出する式を記憶部43に記憶しておき、走行モードに対応する式から進行予定経路を導出する。この場合、物体検出装置41は、走行モードの変更情報をメインコントローラ20から取得し、走行モードに合わせて進行予定領域APを導出する。
○物体検出装置41は、建設機械、自動搬送車、トラックなどフォークリフト10以外の産業車両や乗用車などの車両に搭載されていてもよい。
10…車両としてのフォークリフト、31…ステレオカメラ、41…視差画像取得部、座標導出部、操舵角取得部、進行予定領域導出部、抽出部、及び人判定部として機能する物体検出装置。

Claims (4)

  1. 車両に搭載される物体検出装置であって、
    ステレオカメラによる撮像が行われた画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、
    前記視差画像から実空間上での座標系であるワールド座標系での物体の座標を導出する座標導出部と、
    前記車両の操舵角情報を取得する操舵角取得部と、
    前記操舵角情報及び前記車両の寸法情報から前記ワールド座標系での前記車両の進行予定領域を導出する進行予定領域導出部と、
    前記ワールド座標系で前記進行予定領域上に位置する物体である優先物体を抽出する抽出部と、
    前記優先物体とは異なる前記物体よりも前記優先物体を優先して、前記画像上での前記物体の座標に対して人検出処理を行う人判定部と、を備える物体検出装置。
  2. 前記人判定部は、前記車両に最も近い前記優先物体を最も優先して前記画像上での前記物体の座標に対して前記人検出処理を行う請求項1に記載の物体検出装置。
  3. 前記進行予定領域導出部は、前記車両の速度が速いほど前記進行予定領域を前記車両の進行方向に対して長くする請求項1又は請求項2に記載の物体検出装置。
  4. 前記進行予定領域導出部は、前記車両の速度が遅いほど前記進行予定領域を前記車両の車幅方向に対して広くする請求項1〜請求項3のうちいずれか一項に記載の物体検出装置。
JP2019060978A 2019-03-27 2019-03-27 物体検出装置 Pending JP2020160914A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019060978A JP2020160914A (ja) 2019-03-27 2019-03-27 物体検出装置
CN202010206769.4A CN111751810A (zh) 2019-03-27 2020-03-23 物体检测装置及方法
EP20165183.3A EP3716145A1 (en) 2019-03-27 2020-03-24 Object detection device and method
US16/828,365 US20200311964A1 (en) 2019-03-27 2020-03-24 Object detection device and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019060978A JP2020160914A (ja) 2019-03-27 2019-03-27 物体検出装置

Publications (1)

Publication Number Publication Date
JP2020160914A true JP2020160914A (ja) 2020-10-01

Family

ID=69960385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019060978A Pending JP2020160914A (ja) 2019-03-27 2019-03-27 物体検出装置

Country Status (4)

Country Link
US (1) US20200311964A1 (ja)
EP (1) EP3716145A1 (ja)
JP (1) JP2020160914A (ja)
CN (1) CN111751810A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023135917A1 (ja) * 2022-01-13 2023-07-20 株式会社小松製作所 作業機械、作業機械を制御するための方法、及びシステム
WO2023135916A1 (ja) * 2022-01-12 2023-07-20 株式会社小松製作所 作業機械、作業機械を制御するための方法、及びシステム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7298426B2 (ja) * 2019-10-04 2023-06-27 株式会社豊田自動織機 物体検出装置
JP2022130788A (ja) * 2021-02-26 2022-09-07 株式会社豊田自動織機 産業車両
CN113375560B (zh) * 2021-07-13 2023-02-28 北京好运达智创科技有限公司 梁体预埋件进场检验系统及方法
US11661060B1 (en) * 2022-07-06 2023-05-30 Hyster-Yale Group, Inc. Direction-of-travel-based inhibition of speed control based on truck-to-truck proximity detection

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005254835A (ja) * 2004-03-09 2005-09-22 Hitachi Ltd 車両の走行制御装置及び車両制御ユニット
JP2007272487A (ja) * 2006-03-31 2007-10-18 Tcm Corp 作業エリアにおける相対位置認識システム
JP2008304344A (ja) * 2007-06-08 2008-12-18 Kumamoto Univ 物標検出装置
JP2010250501A (ja) * 2009-04-14 2010-11-04 Hitachi Automotive Systems Ltd 車両用外界認識装置及びそれを用いた車両システム
JP2011034297A (ja) * 2009-07-31 2011-02-17 Clarion Co Ltd 駐車空間認識装置
JP2016143399A (ja) * 2015-02-05 2016-08-08 ユニキャリア株式会社 車両進路表示装置
JP2017016584A (ja) * 2015-07-06 2017-01-19 株式会社リコー 物体検出装置、物体検出方法及びプログラム
JP2017117344A (ja) * 2015-12-25 2017-06-29 株式会社デンソー 走行支援装置
JP2018092604A (ja) * 2016-11-25 2018-06-14 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19613386A1 (de) * 1996-04-03 1997-10-09 Fiat Om Carrelli Elevatori Flurförderzeug, das wahlweise manuell oder automatisch betreibbar ausgebildet ist
DE10323641A1 (de) * 2003-05-26 2005-01-05 Daimlerchrysler Ag Bewegliche Sensoreinrichtung am Lastmittel eines Gabelstaplers
JP4345832B2 (ja) * 2007-03-12 2009-10-14 トヨタ自動車株式会社 道路状況検出システム
US8411245B2 (en) * 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
WO2016031036A1 (ja) * 2014-08-29 2016-03-03 日産自動車株式会社 走行制御装置および走行制御方法
CA2884808C (en) * 2014-09-01 2019-05-07 Komatsu Ltd. Transporter vehicle and transporter vehicle control method
US9681046B2 (en) * 2015-06-30 2017-06-13 Gopro, Inc. Image stitching in a multi-camera array
BR112018007120B1 (pt) * 2015-10-09 2023-05-02 Nissan Motor Co., Ltd Dispositivo de display veicular e método de display veicular
JP6705496B2 (ja) * 2016-02-23 2020-06-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
JP6755672B2 (ja) 2016-02-25 2020-09-16 住友重機械工業株式会社 作業機械用周辺監視システム
JP6711395B2 (ja) * 2016-03-17 2020-06-17 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
JP2017191382A (ja) * 2016-04-11 2017-10-19 株式会社デンソー 車両制御装置、及び車両制御方法
EP3509051A4 (en) * 2016-09-05 2019-09-25 Nissan Motor Co., Ltd. VEHICLE MANAGEMENT PROCESS AND VEHICLE CONTROL APPARATUS
JP6916609B2 (ja) * 2016-11-21 2021-08-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 交差点情報配信装置及び交差点情報配信方法
JP2018092596A (ja) * 2016-11-30 2018-06-14 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム
US20190371005A1 (en) * 2016-12-07 2019-12-05 Sumitomo Electric Industries, Ltd. Recording medium, color label, detection device, image processing device, image processing method and image processing system
US20200134873A1 (en) * 2017-07-03 2020-04-30 Sumitomo Electric Industries, Ltd. Image processing device, computer program, and image processing system
JP6938270B2 (ja) * 2017-08-09 2021-09-22 キヤノン株式会社 情報処理装置および情報処理方法
JP7101616B2 (ja) * 2017-08-25 2022-07-15 クリス・シンライ・リウ 標的要素の位置を特定するためのマシンビジョンシステムおよび方法
JP6981197B2 (ja) * 2017-11-17 2021-12-15 トヨタ自動車株式会社 車両制御装置
JPWO2019098216A1 (ja) * 2017-11-17 2020-08-20 アイシン・エィ・ダブリュ株式会社 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP7025912B2 (ja) * 2017-12-13 2022-02-25 日立Astemo株式会社 車載環境認識装置
JP6967464B2 (ja) * 2018-01-26 2021-11-17 日立Astemo株式会社 画像処理装置
US10467903B1 (en) * 2018-05-11 2019-11-05 Arnold Chase Passive infra-red pedestrian detection and avoidance system
US11318961B2 (en) * 2018-07-20 2022-05-03 Lg Electronics Inc. Robot for vehicle and control method thereof
US10780861B2 (en) * 2019-01-08 2020-09-22 Ford Global Technologies, Llc Liquid droplet path prediction
US10823562B1 (en) * 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
WO2022043512A1 (en) * 2020-08-28 2022-03-03 UMNAI Limited Behavior modeling, verification, and autonomous actions and triggers of ml and ai systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005254835A (ja) * 2004-03-09 2005-09-22 Hitachi Ltd 車両の走行制御装置及び車両制御ユニット
JP2007272487A (ja) * 2006-03-31 2007-10-18 Tcm Corp 作業エリアにおける相対位置認識システム
JP2008304344A (ja) * 2007-06-08 2008-12-18 Kumamoto Univ 物標検出装置
JP2010250501A (ja) * 2009-04-14 2010-11-04 Hitachi Automotive Systems Ltd 車両用外界認識装置及びそれを用いた車両システム
JP2011034297A (ja) * 2009-07-31 2011-02-17 Clarion Co Ltd 駐車空間認識装置
JP2016143399A (ja) * 2015-02-05 2016-08-08 ユニキャリア株式会社 車両進路表示装置
JP2017016584A (ja) * 2015-07-06 2017-01-19 株式会社リコー 物体検出装置、物体検出方法及びプログラム
JP2017117344A (ja) * 2015-12-25 2017-06-29 株式会社デンソー 走行支援装置
JP2018092604A (ja) * 2016-11-25 2018-06-14 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENJIE SONG: "Real-Time Obstacles Detection and Status Classification for Collision Warning in a Vehicle Active Sa", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTMES, vol. Vol.19 No.3 March 2018, JPN6022025028, March 2018 (2018-03-01), pages 758 - 773, ISSN: 0004803432 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023135916A1 (ja) * 2022-01-12 2023-07-20 株式会社小松製作所 作業機械、作業機械を制御するための方法、及びシステム
WO2023135917A1 (ja) * 2022-01-13 2023-07-20 株式会社小松製作所 作業機械、作業機械を制御するための方法、及びシステム

Also Published As

Publication number Publication date
CN111751810A (zh) 2020-10-09
US20200311964A1 (en) 2020-10-01
EP3716145A1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
JP2020160914A (ja) 物体検出装置
JP7127597B2 (ja) 監視装置
JP6139465B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP7056496B2 (ja) 位置検出装置
US12030551B2 (en) Image processing device and image processing method
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
CN112611360B (zh) 物体检测装置、车辆及物体检测处理方法
JP7180445B2 (ja) 物体検出装置
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
US20230237809A1 (en) Image processing device of person detection system
WO2022004495A1 (ja) 障害物検出装置及び障害物検出方法
JP6171608B2 (ja) 物体検出装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP2019091295A (ja) 画像処理装置
JP7081526B2 (ja) 物体検出装置
AU2022291527B2 (en) Image processing device of person detection system
JP6359866B2 (ja) 対象者存在範囲推定装置及び対象者存在範囲推定方法
JP7020359B2 (ja) 警告装置
JP2015156120A (ja) 歩行者認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220815

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220830