JP2022069671A - 作業車両用の障害物検知システム - Google Patents
作業車両用の障害物検知システム Download PDFInfo
- Publication number
- JP2022069671A JP2022069671A JP2022042632A JP2022042632A JP2022069671A JP 2022069671 A JP2022069671 A JP 2022069671A JP 2022042632 A JP2022042632 A JP 2022042632A JP 2022042632 A JP2022042632 A JP 2022042632A JP 2022069671 A JP2022069671 A JP 2022069671A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- distance
- image
- tractor
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 170
- 238000001514 detection method Methods 0.000 claims description 163
- 238000005259 measurement Methods 0.000 claims description 109
- 239000000284 extract Substances 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 34
- 238000000034 method Methods 0.000 description 54
- 230000008569 process Effects 0.000 description 44
- 230000005540 biological transmission Effects 0.000 description 39
- 230000008859 change Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 15
- 238000010295 mobile communication Methods 0.000 description 9
- 239000000428 dust Substances 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 244000025254 Cannabis sativa Species 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 102100039642 Rho-related GTP-binding protein RhoN Human genes 0.000 description 6
- 108050007497 Rho-related GTP-binding protein RhoN Proteins 0.000 description 6
- 230000003028 elevating effect Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002706 hydrostatic effect Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000003971 tillage Methods 0.000 description 3
- 102100039643 Rho-related GTP-binding protein Rho6 Human genes 0.000 description 2
- 101710199571 Rho-related GTP-binding protein Rho6 Proteins 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
なお、本発明に係る作業車両用の障害物検知システムは、トラクタ以外の、例えば乗用草刈機、乗用田植機、コンバイン、運搬車、除雪車、ホイールローダ、などの乗用作業車両、及び、無人草刈機などの無人作業車両に適用することができる。
なお、トラクタ1の後部には、ロータリ耕耘装置3に代えて、プラウ、ディスクハロー、カルチベータ、サブソイラ、播種装置、散布装置、草刈装置、などの各種の作業装置を連結することができる。
なお、携帯通信端末5には、タブレット型のパーソナルコンピュータやスマートフォンなどを採用することができる。又、無線通信には、Wi-Fi(登録商標)などの無線LAN(Local Area Network)やBluetooth(登録商標)などの近距離無線通信などを採用することができる。
なお、エンジン14には、電子ガバナを有する電子制御式のガソリンエンジンなどを採用してもよい。又、パワーステアリングユニット17には、操舵用の電動モータを有する電動式を採用してもよい。
なお、無段変速装置には、I-HMTの代わりに、油圧機械式無段変速装置の一例であるHMT(Hydraulic Mechanical Transmission)、静油圧式無段変速装置、又は、ベルト式無段変速装置、などを採用してもよい。又、変速ユニット16には、無段変速装置の代わりに、複数の変速用の油圧クラッチとそれらに対するオイルの流れを制御する複数の電磁バルブとを有する電子油圧制御式の有段変速装置が含まれていてもよい。
なお、各制御部23A~23Fの相互通信には、CAN以外の通信規格や次世代通信規格である、例えば、車載EthernetやCAN-FD(CAN with FLexible Data rate)などを採用してもよい。
例えば、図5に示すように、矩形状の圃場Aにおいて、自動走行の開始地点p1と終了地点p2とが設定され、トラクタ1の作業走行方向が圃場Aの短辺に沿う方向に設定されている場合は、目標経路生成部51Bは、先ず、圃場Aを、前述した4つの角部地点Ap1~Ap4と矩形状の形状特定線ALとに基づいて、圃場Aの外周縁に隣接するマージン領域A1と、マージン領域A1の内側に位置する走行領域A2とに区分けする。
次に、目標経路生成部51Bは、トラクタ1の旋回半径や作業幅などに基づいて、走行領域A2に、圃場Aの長辺に沿う方向に作業幅に応じた一定間隔をあけて並列に配置される複数の並列経路P1を生成するとともに、走行領域A2における各長辺側の外縁部に配置されて複数の並列経路P1を走行順に接続する複数の旋回経路P2を生成する。
そして、走行領域A2を、走行領域A2における各長辺側の外縁部に設定される一対の非作業領域A2aと、一対の非作業領域A2aの間に設定される作業領域A2bとに区分けするとともに、各並列経路P1を、一対の非作業領域A2aに含まれる非作業経路P1aと、作業領域A2bに含まれる作業経路P1bとに区分けする。
これにより、目標経路生成部51Bは、図5に示す圃場Aにおいてトラクタ1を自動走行させるのに適した目標経路Pを生成することができる。
具体的には、各ライダー制御部85Ab,85Bbは、各ライダーセンサ85A,85Bからの至近距離に存在するという各ライダーセンサ85A,85Bにおけるセンサ表面の汚れの特徴を利用して、その特徴を有する測距点の距離値を無効値とする。これにより、センサ表面の汚れに関する測距点の距離値が、障害物検知装置87において障害物に関する情報として使用されることを防止している。
各ライダー制御部85Ab,85Bbは、各ライダーセンサ85A,85Bの近距離に存在しながら反射強度が非常に弱いという埃や霧などの浮遊物の特徴を利用して、その特徴を有する測距点の距離値を無効値とする。これにより、浮遊物に関する測距点の距離値が、障害物検知装置87において障害物に関する情報として使用されることを防止している。
なお、図8に示す第2非検知範囲Rnd2は、左右の前輪10やボンネット15が存在する車体の前部側に適した非検知範囲の一例である。図9に示す第2非検知範囲Rnd2は、車体の後部側においてロータリ耕耘装置3を作業高さまで下降させた作業状態に適した非検知範囲の一例である。図10に示す第2非検知範囲Rnd2は、車体の後部側においてロータリ耕耘装置3を退避高さまで上昇させた非作業状態に適した非検知範囲の一例である。車体後部側の第2非検知範囲Rnd2は、ロータリ耕耘装置3の昇降に連動して適正に切り換わる。
なお、画像処理装置86には、圃場Aにて作業する作業者などの人物や他の作業車両、及び、圃場Aに既存の電柱や樹木などを障害物として認識するための学習処理が施されている。
画像処理装置86は、各カメラ81~84から順次送信される画像に対して、先ず、全カメラ81~84からの画像を合成してトラクタ1の全周囲画像(例えばサラウンドビュー)を生成する全周囲画像生成処理を行い(ステップ#1)、生成した全周囲画像や各カメラ81~84からの画像を、トラクタ側の表示制御部23Eや携帯通信端末側の表示制御部51Aに送信する画像送信処理を行う(ステップ#2)。
これにより、全周囲画像生成部86Aが生成した全周囲画像やトラクタ1の走行方向の画像などを、トラクタ1の液晶モニタ27や携帯通信端末5の表示デバイス50などにおいて表示することができる。そして、この表示により、トラクタ1の周囲の状況や走行方向の状況をユーザに視認させることができる。
次に、画像処理装置86は、各カメラ81~84から順次送信される画像に基づいて、各カメラ81~84のいずれかの撮像範囲Ri1~Ri4においてトラクタ1の走行に支障を来たす障害物が存在するか否かを判別する障害物判別処理を行う(ステップ#3)。障害物が存在する場合は、障害物が存在する画像上での障害物の座標を求める座標算出処理を行い(ステップ#4)、求めた障害物の座標を、各カメラ81~84の取り付け位置や取り付け角度などに基づいて、車体座標原点を基準にした座標に変換する座標変換処理を行う(ステップ#5)。そして、その変換後の座標と予め設定した距離算出基準点とにわたる直線距離を、距離算出基準点から障害物までの距離として求める距離算出処理を行い(ステップ#6)、変換後の座標と求めた障害物までの距離とを障害物に関する検知情報として障害物検知装置87に送信する検知情報送信処理を行う(ステップ#7)。その後、ステップ#1に戻る。一方、障害物が存在しない場合は、障害物が未検知であることを障害物検知装置87に送信する未検知送信処理を行い(ステップ#8)、その後、ステップ#1に戻る。
このように、各カメラ81~84の撮像範囲Ri1~Ri4のいずれかに障害物が存在する場合は、画像処理装置86が、障害物の検知情報を障害物検知装置87に送信することから、障害物検知装置87は、その障害物の検知情報を受け取ることにより、各カメラ81~84のいずれかの撮像範囲Ri1~Ri4に障害物が存在することを検知することができるとともに、その障害物の位置及び障害物までの距離を検知することができる。又、各カメラ81~84の撮像範囲Ri1~Ri4のいずれにも障害物が存在しない場合は、画像処理装置86が、障害物の未検知を障害物検知装置87に送信することから、障害物検知装置87は、各カメラ81~84の撮像範囲Ri1~Ri4のいずれにも障害物が存在しないことを検知することができる。
これにより、画像処理装置86は、例えば、前カメラ81の第1撮像範囲Ri1において障害物が存在する場合は、障害物が存在する前カメラ81の画像上での障害物の座標を求め(座標算出処理)、求めた障害物の座標を、前カメラ81の取り付け位置や取り付け角度などに基づいて、図12に示す車体座標原点O1を基準にした座標(x、y)に変換し(座標変換処理)、変換後の座標(x、y)と距離算出基準点Rp1とにわたる直線距離を、距離算出基準点Rp1から障害物Oまでの距離Laとして求める(距離算出処理)。
なお、前述した車体座標原点O1~O4と距離算出基準点Rp1~Rp4と各カメラ81~84の搭載位置との関係は種々の設定変更が可能である。
具体的には、画像処理装置86は、トラクタ1の走行方向が前方直進方向で車速が標準速度(例えば10km/h)であれば、単位時間あたりの処理対象周期を、例えば、図14の(a)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を4コマ分連続して行った後に、右カメラ83からの右方画像又は左カメラ84からの左方画像を処理対象とする画像処理を1コマ分行うように設定された標準前方直進用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が後方直進方向で車速が標準速度であれば、単位時間あたりの処理対象周期を、例えば、図14の(b)に示すように、後カメラ82からの後方画像を処理対象とする画像処理を4コマ分連続して行った後に、右カメラ83からの右方画像又は左カメラ84からの左方画像を処理対象とする画像処理を1コマ分行うように設定された標準後方直進用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が前進右旋回方向で車速が標準速度であれば、単位時間あたりの処理対象周期を、例えば、図14の(c)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を3コマ分連続して行った後に、右カメラ83からの右方画像を処理対象とする画像処理を2コマ分連続して行う、又は、右カメラ83からの右方画像を処理対象とする画像処理と左カメラ84からの左方画像を処理対象とする画像処理とを1コマ分ずつ行うように設定された標準前進右旋回用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が前進左旋回方向で車速が標準速度であれば、単位時間あたりの処理対象周期を、例えば、図14の(d)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を3コマ分連続して行った後に、左カメラ84からの左方画像を処理対象とする画像処理を2コマ分連続して行う、又は、右カメラ83からの右方画像を処理対象とする画像処理と左カメラ84からの左方画像を処理対象とする画像処理とを1コマ分ずつ行うように設定された標準前進左旋回用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が前方直進方向で車速が標準速度から減速されていれば、単位時間あたりの処理対象周期を、例えば、図14の(e)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を3コマ分連続して行った後に、右カメラ83からの右方画像又は左カメラ84からの左方画像を処理対象とする画像処理を1コマ分行うように設定された低速前方直進用の処理対象周期に変更する。
画像処理装置86は、トラクタ1の走行方向が前方直進方向で車速が標準速度から増速されていれば、単位時間あたりの処理対象周期を、例えば、図14の(f)に示すように、前カメラ81からの前方画像を処理対象とする画像処理を5コマ分連続して行った後に、右カメラ83からの右方画像又は左カメラ84からの左方画像を処理対象とする画像処理を1コマ分行うように設定された高速前方直進用の処理対象周期に変更する。
又、画像処理装置86が、トラクタ1の前後進の切り換えに応じて前方画像と後方画像とのいずれか一方を処理対象とする状態と処理対象としない状態とに切り換えることにより、不要な画像処理を行うことによる処理速度の低下を回避している。
そして、画像処理装置86が、トラクタ1の走行方向に応じて、トラクタ1の走行方向を撮像範囲とする各カメラ81~84に対する単位時間あたりの処理対象周期を早くし、トラクタ1の走行方向を撮像範囲としない各カメラ81~84に対する単位時間あたりの処理対象周期を遅くすることにより、各カメラ81~84からの画像に対する障害物判別処理を、単一の画像処理装置86によって順次滞りなく速やかに行いながら、トラクタ1の走行方向における障害物の存否判別を重点的に行うことができ、障害物に対する衝突回避が行い易くなる。
更に、画像処理装置86が、トラクタ1の車速が速くなるほど、トラクタ1の走行方向を撮像範囲とする各カメラ81~84に対する単位時間あたりの処理対象周期を早くし、かつ、トラクタ1の走行方向を撮像範囲としない各カメラ81~84に対する単位時間あたりの処理対象周期を遅くすることにより、各カメラ81~84からの画像に対する障害物判別処理を、単一の画像処理装置86によって順次滞りなく速やかに行いながら、トラクタ1の車速が速くなるほど、トラクタ1の走行方向における障害物の存否判別を重点的に行うことができ、障害物に対する衝突回避が行い易くなる。
又、図7に示すように、画像処理装置86は、車速制御部23Bを介して、車速センサ22Aが検出するトラクタ1の車速を取得する。画像処理装置86は、車速制御部23Bを経由して得られるリバーサレバーの操作位置と、ステアリング制御部23Cを経由して得られる前輪10の操舵角とに基づいて、トラクタ1の走行方向を判別する。
障害物検知装置87は、画像処理装置86からの障害物に関する検知情報に含まれた障害物の座標と障害物までの距離とに基づいて、障害物が前ライダーセンサ85Aの第1検知範囲Rd1に位置しているか否かを判定する第1位置判定処理を行う(ステップ#11)。障害物が第1検知範囲Rd1に位置している場合は、障害物が第1検知範囲Rd1の報知制御範囲Rncに位置しているか否かを判定する第2位置判定処理を行う(ステップ#12)。障害物が報知制御範囲Rncに位置している場合は、画像処理装置86から得た障害物までの距離を車載制御ユニット23に送信する第1距離送信処理を行い(ステップ#13)、その後、ステップ#11に戻る。障害物が報知制御範囲Rncに位置していない場合は、障害物が第1検知範囲Rd1の減速制御範囲Rdc又は停止制御範囲Rscに位置していることから、画像処理装置86からの障害物に関する検知情報に含まれた図12に示す障害物Oの座標(x,y)と障害物Oまでの距離La、及び、前ライダーセンサ85Aからの障害物候補(測距点群)に関する測定情報に含まれた図12に示す障害物候補Ocの座標(走査角)と障害物候補Ocまでの距離Lb、などに基づいて、障害物Oの位置と障害物候補Ocの位置とが整合するか否かを判定する整合判定処理を行う(ステップ#14)。整合している場合は、測距精度の高い前ライダーセンサ85Aから得た障害物候補までの距離を、障害物までの距離として車載制御ユニット23に送信する第2距離送信処理を行い(ステップ#15)、その後、ステップ#11に戻る。整合していない場合は、前ライダーセンサ85Aからの障害物候補に関する測定情報が障害物に関する測定情報ではないと判断して、画像処理装置86から得た障害物までの距離を車載制御ユニット23に送信する第3距離送信処理を行い(ステップ#16)、その後、ステップ#11に戻る。ステップ#11の第1位置判定処理において障害物が第1検知範囲Rd1に位置していない場合は、前カメラ81の第1撮像範囲Ri1において障害物の存在が検知されているか否か判定する障害物検知判定処理を行う(ステップ#17)。障害物の存在が検知されている場合は、ステップ#11に戻って第1特定制御を継続する。障害物の存在が検知されていない場合は、第1特定制御を終了する。
なお、第2特定制御においては、上記の第1特定制御における前ライダーセンサ85Aの第1検知範囲Rd1が後ライダーセンサ85Bの第2検知範囲Rd2に変わるだけで、制御内容は同じであることから、第2特定制御に関する説明は省略する。
障害物検知装置87は、画像処理装置86からの障害物に関する検知情報に含まれた障害物の座標と障害物までの距離とに基づいて、障害物がソナー85Cの第3測定範囲Rm3に位置しているか否かを判定する第3位置判定処理を行う(ステップ#21)。障害物が第3測定範囲Rm3に位置している場合は、画像処理装置86からの障害物に関する検知情報に含まれた障害物の座標と障害物までの距離、及び、ソナー85Cからの障害物候補に関する測定情報に含まれた障害物候補までの距離と障害物候補の方向、などに基づいて、障害物の位置と障害物候補の位置とが整合するか否かを判定する整合判定処理を行う(ステップ#22)。整合している場合は、測距精度の高いソナー85Cから得た障害物候補までの距離を、障害物までの距離として車載制御ユニット23に送信する第4距離送信処理を行い(ステップ#23)、その後、ステップ#21に戻る。整合していない場合は、前ライダーセンサ85Aからの障害物候補に関する測定情報が障害物に関する測定情報ではないと判断して、画像処理装置86から得た障害物までの距離を車載制御ユニット23に送信する第5距離送信処理を行い(ステップ#24)、その後、ステップ#21に戻る。ステップ#21の第3位置判定処理にて障害物が第3測定範囲Rm3に位置していない場合は、右カメラ83の第3撮像範囲Ri3において障害物の存在が検知されているか否か判定する障害物検知判定処理を行う(ステップ#25)。障害物の存在が検知されている場合は、ステップ#21に戻って第3特定制御を継続する。障害物の存在が検知されていない場合は、第3特定制御を終了する。
なお、第4特定制御においては、上記の第3特定制御におけるソナー85Cの第3測定範囲Rm3が第4測定範囲Rm4に変わるだけで、制御内容は同じであることから、第4特定制御に関する説明は省略する。
又、障害物検知装置87は、精度が高いカメラ画像に基づく障害物判別処理を行う画像処理装置86からの障害物に関する検知情報を取得することから、アクティブセンサユニット85の各測定範囲Rm1~Rm4において、例えば、背の高い草などが存在している場合に、その背の高い草などをトラクタ1の走行に支障を来たす障害物として誤検知する虞を回避することができる。又、各ライダーセンサ85A,85Bの検知範囲Rd1,Rd2において、埃や粉塵などが浮遊物として舞い上がることなどで、アクティブセンサユニット85が測定した各検知範囲Rd1,Rd2の全測距点までの距離値が無効値になった場合や、アクティブセンサユニット85においてセンサ表面の汚れなどの異常が生じた場合には、画像処理装置86からの障害物に関する検知情報に基づいて、障害物の存在や障害物までの距離を検知することができる。
衝突回避制御部23Hは、障害物検知装置87からの第1距離送信処理によって障害物までの距離を取得した場合は、図4に示す第1検知範囲Rd1又は第2検知範囲Rd2の報知制御範囲Rncに障害物が位置していることから、報知制御範囲Rncでの障害物の存在を報知する第1報知制御の実行を車載制御ユニット23の表示制御部23Eと端末制御ユニット51の表示制御部51Aとに指令する。これにより、各表示制御部23E,51Aにおいて第1報知制御が実行されて、トラクタ1に対する第1検知範囲Rd1又は第2検知範囲Rd2の報知制御範囲Rncに障害物が存在することを、運転部12の搭乗者や車外の管理者などのユーザに知らせることができる。
衝突回避制御部23Hは、障害物検知装置87からの第2距離送信処理又は第3距離送信処理によって障害物までの距離を取得した場合は、図4に示す第1検知範囲Rd1又は第2検知範囲Rd2の減速制御範囲Rdc又は停止制御範囲Rscに障害物が位置していることから、取得した障害物までの距離に基づいて、障害物の位置が減速制御範囲Rdcか停止制御範囲Rscかを判定する。
衝突回避制御部23Hは、減速制御範囲Rdcに障害物が位置していると判定した場合は、減速制御範囲Rdcでの障害物の存在を報知する第2報知制御の実行を各表示制御部23E,51Aに指令するとともに、自動減速制御の実行を車速制御部23Bに指令する。これにより、各表示制御部23E,51Aにおいて第2報知制御を実行されて、トラクタ1に対する第1検知範囲Rd1又は第2検知範囲Rd2の減速制御範囲Rdcに障害物が存在することをユーザに知らせることができる。又、車速制御部23Bにおいて自動減速制御が実行されて、障害物との相対距離が短くなるに連れてトラクタ1の車速が低下す。
衝突回避制御部81bは、第1検知範囲Rd1又は第2検知範囲Rd2の停止制御範囲Rscに障害物が位置していると判定した場合は、停止制御範囲Rscでの障害物の存在を報知する第3報知制御の実行を各表示制御部23E,51Aに指令する第3報知開始指令処理を行うとともに、自動停止制御の実行を車速制御部23Bに指令する。これにより、各表示制御部23E,51Aにおいて第3報知制御が実行されて、トラクタ1に対する第1検知範囲Rd1又は第2検知範囲Rd2の停止制御範囲Rscに障害物が存在することをユーザに知らせることができる。又、車速制御部23Bにおいて自動停止制御が実行されて、停止制御範囲Rscに障害物が存在する段階においてトラクタ1が停止する。その結果、障害物に対するトラクタ1の衝突を回避することができる。
衝突回避制御部23Hは、障害物検知装置87からの第4距離送信処理又は第5距離送信処理によって障害物までの距離を取得した場合は、図4に示す第3測定範囲Rm3又は第4測定範囲Rm4に障害物が位置していることから、第3測定範囲Rm3又は第4測定範囲Rm4での障害物の存在を報知する第4報知制御の実行を各表示制御部23E,51Aに指令するとともに、自動停止制御の実行を車速制御部23Bに指令する。これにより、各表示制御部23E,51Aにおいて第4報知制御が実行されて、トラクタ1に対する第3測定範囲Rm3又は第4測定範囲Rm4に障害物が存在することをユーザに知らせることができる。又、車速制御部23Bにおいては自動停止制御が実行されて、第3測定範囲Rm3又は第4測定範囲Rm4に障害物が存在する段階においてトラクタ1が停止する。その結果、障害物に対するトラクタ1の衝突を回避することができる。
又、障害物が各ライダーセンサ85A,85Bの検知範囲Rd1,Rd2のうちの報知制御範囲Rncに位置する場合は、衝突回避制御部23Hの衝突回避制御に基づく車速制御部23Bの自動減速制御や自動停止制御による障害物との衝突回避が行われないことから、障害物検知装置87は、前述した整合判定処理を行わずに、画像処理装置86からの障害物に関する検知情報に含まれている障害物までの距離を衝突回避制御部23Hに送信している。これにより、整合判定処理を行うことによる処理負荷の増大を回避している。
本発明の別実施形態について説明する。
なお、以下に説明する各別実施形態の構成は、それぞれ単独で適用することに限らず、他の別実施形態の構成と組み合わせて適用することも可能である。
例えば、作業車両は、左右の後輪11に代えて左右のクローラを備えるセミクローラ仕様に構成されていてもよい。
例えば、作業車両は、左右の前輪10及び左右の後輪11に代えて左右のクローラを備えるフルクローラ仕様に構成されていてもよい。
例えば、作業車両は、左右の後輪11が操舵輪として機能する後輪ステアリング仕様に構成されていてもよい。
例えば、作業車両は、エンジン14の代わりに電動モータを備える電動仕様に構成されていてもよい。
例えば、作業車両は、エンジン14と走行用の電動モータとを備えるハイブリッド仕様に構成されていてもよい。
この構成によると、アクティブセンサ85A~85Cは、それらの測定範囲Rm1~Rm4での測定を常時行う必要がなく、それらの測定範囲Rm1~Rm4において画像処理装置86にて障害物が検知された場合にのみ、障害物までの距離を測定することから、測距に要する負荷の軽減を図りながら、障害物に対する測距の精度を高くすることができる。
この構成によると、障害物検知装置87は、アクティブセンサ85A~85Cからの測定値を常に受け取ることができ、これにより、いずれかの撮像装置81~84にて障害物が検知された場合には、アクティブセンサ85A~85Cからの測定値に基づく障害物の位置及び障害物までの距離の特定を、障害物の検知からタイムラグの少ない段階で行うことができる。
又、撮像装置81~84として、前述した前カメラ81、後カメラ82、右カメラ83、左カメラ84に加えて、前カメラ81と画角の異なる前カメラを備えるようにしてもよい。
この場合、例えば、図17に示すように、液晶モニタ27や表示デバイス50などの全周囲画像表示領域90に、前カメラ81の画像が配置される前方画像表示領域90A、後カメラ82の画像が配置される後方画像表示領域90B、右カメラ83の画像が配置される右方画像表示領域90C、及び、左カメラ84の画像が配置される左方画像表示領域90Dに加えて、画角の異なる前カメラの画像が配置される第2前方画像表示領域90Eを備えるようにしてもよい。
本発明の第1特徴構成は、作業車両用の障害物検知システムにおいて、
作業車両の周囲を撮像する複数の撮像装置と、複数の前記撮像装置からの画像に基づいて障害物を判別する障害物判別処理を時分割方式で行う画像処理装置とを有し、
前記画像処理装置は、前記作業車両の走行方向と車速に応じて、時分割方式における複数の前記撮像装置に対する単位時間あたりの処理対象周期を変更する点にある。
そして、画像処理装置が障害物判別処理を時分割方式で行うことにより、処理負荷の大きい各撮像装置からの画像に対する障害物判別処理を、単一の画像処理装置によって順次滞りなく速やかに行える。
又、例えば、画像処理装置が、作業車両の走行方向に応じて、作業車両の走行方向を撮像範囲とする各撮像装置に対する単位時間あたりの処理対象周期を早くし、作業車両の走行方向を撮像範囲としない各撮像装置に対する単位時間あたりの処理対象周期を遅くすれば、各撮像装置からの画像に対する障害物判別処理を、単一の画像処理装置によって順次滞りなく速やかに行いながら、作業車両の走行方向に存在する物体が障害物か否かの判別を重点的に行うことができる。
更に、例えば、画像処理装置が、作業車両の車速が速くなるほど、作業車両の走行方向を撮像範囲とする各撮像装置に対する単位時間あたりの処理対象周期を早くし、かつ、作業車両の走行方向を撮像範囲としない各撮像装置に対する単位時間あたりの処理対象周期を遅くすれば、各撮像装置からの画像に対する障害物判別処理を、単一の画像処理装置によって順次滞りなく速やかに行いながら、作業車両の車速が速くなるほど、作業車両の走行方向に存在する物体が障害物か否かの判別を迅速かつ重点的に行うことができる。
その結果、構成の簡素化を図りながら、作業車両の周囲に存在する障害物を精度良く検知することができる作業車両用の障害物検知システムを構築することができた。
前記作業車両の周囲に存在する測定対象物までの距離を測定する複数のアクティブセンサと、
前記画像処理装置からの判別情報と前記アクティブセンサからの測定情報とに基づいて、前記障害物の位置及び前記障害物までの距離を検知する障害物検知装置とを有している点にある。
前記画像処理装置は、前記撮像装置からの画像に基づいて、画像上での前記障害物の座標及び前記障害物までの距離を求め、
前記アクティブセンサは、前記作業車両の周囲に前記測定対象物として存在する複数の測距点の座標ごとの距離を順次測定して障害物候補の測距点群を抽出するライダーセンサであり、
前記障害物検知装置は、前記画像処理装置からの前記障害物の座標及び前記障害物までの距離と、前記ライダーセンサからの前記測距点群の座標ごとの距離とが整合した場合に、整合した前記測距点群の距離を前記障害物までの距離として採用し、整合しない場合は前記画像処理装置からの前記障害物までの距離を採用する点にある。
その結果、障害物検知装置は、物体の判別精度及び測距精度の高い障害物に関する検知情報を取得することができる。
又、障害物検知装置は、ライダーセンサの周囲において、埃や粉塵などが浮遊物として舞い上がることなどで、ライダーセンサの測定精度が低下した場合や、ライダーセンサにおいてセンサ表面の汚れなどの異常が生じた場合には、画像処理装置から障害物までの距離を取得することができる。
前記アクティブセンサは、前記画像処理装置にて前記障害物が検知された場合に当該障害物に対する測距を行う点にある。
81 撮像装置(前カメラ)
82 撮像装置(前カメラ)
83 撮像装置(右カメラ)
84 撮像装置(左カメラ)
86 画像処理装置
85A アクティブセンサ(前ライダーセンサ)
85B アクティブセンサ(後ライダーセンサ)
85C アクティブセンサ(ソナー)
87 障害物検知装置
Claims (4)
- 作業車両の周囲を撮像する撮像装置からの画像に基づいて障害物を判別する障害物判別処理を行う画像処理装置を有し、
前記画像処理装置は、前記作業車両の走行方向と車速との少なくとも一方に応じて、前記撮像装置に対する単位時間あたりの処理対象周期を変更する作業車両用の障害物検知システム。 - 前記作業車両の周囲に存在する測定対象物までの距離を測定する複数のアクティブセンサからの測定情報と前記画像処理装置からの判別情報とに基づいて、前記障害物の位置及び前記障害物までの距離を検知する障害物検知装置を有している請求項1に記載の作業車両用の障害物検知システム。
- 前記画像処理装置は、前記撮像装置からの画像に基づいて、画像上での前記障害物の座標及び前記障害物までの距離を求め、
前記アクティブセンサは、前記作業車両の周囲に前記測定対象物として存在する複数の測距点の座標ごとの距離を順次測定して障害物候補の測距点群を抽出するライダーセンサであり、
前記障害物検知装置は、前記画像処理装置からの前記障害物の座標及び前記障害物までの距離と、前記ライダーセンサからの前記測距点群の座標ごとの距離とが整合した場合に、整合した前記測距点群の距離を前記障害物までの距離として採用し、整合しない場合は前記画像処理装置からの前記障害物までの距離を採用する請求項2に記載の作業車両用の障害物検知システム。 - 前記アクティブセンサは、前記画像処理装置にて前記障害物が検知された場合に当該障害物に対する測距を行う請求項2又は3に記載の作業車両用の障害物検知システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022042632A JP7317165B2 (ja) | 2018-12-27 | 2022-03-17 | 作業車両用の障害物検知システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018244266A JP7044694B2 (ja) | 2018-12-27 | 2018-12-27 | 作業車両用の障害物検知システム |
JP2022042632A JP7317165B2 (ja) | 2018-12-27 | 2022-03-17 | 作業車両用の障害物検知システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018244266A Division JP7044694B2 (ja) | 2018-12-27 | 2018-12-27 | 作業車両用の障害物検知システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022069671A true JP2022069671A (ja) | 2022-05-11 |
JP7317165B2 JP7317165B2 (ja) | 2023-07-28 |
Family
ID=87378542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022042632A Active JP7317165B2 (ja) | 2018-12-27 | 2022-03-17 | 作業車両用の障害物検知システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7317165B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282929A (ja) * | 2008-05-26 | 2009-12-03 | Fujitsu Ten Ltd | 車両周辺監視装置および車両周辺監視方法 |
JP2015115760A (ja) * | 2013-12-11 | 2015-06-22 | 三菱電機株式会社 | 映像処理装置、映像処理システムおよび映像処理方法 |
JP2017216557A (ja) * | 2016-05-31 | 2017-12-07 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示システム、車両表示制御方法及びプログラム |
-
2022
- 2022-03-17 JP JP2022042632A patent/JP7317165B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282929A (ja) * | 2008-05-26 | 2009-12-03 | Fujitsu Ten Ltd | 車両周辺監視装置および車両周辺監視方法 |
JP2015115760A (ja) * | 2013-12-11 | 2015-06-22 | 三菱電機株式会社 | 映像処理装置、映像処理システムおよび映像処理方法 |
JP2017216557A (ja) * | 2016-05-31 | 2017-12-07 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示システム、車両表示制御方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7317165B2 (ja) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7044694B2 (ja) | 作業車両用の障害物検知システム | |
WO2021006322A1 (ja) | 作業車両用の自動走行システム | |
JP7402608B2 (ja) | 作業車両用の衝突回避システム | |
US20220264784A1 (en) | Automatic Travel System | |
US11805720B2 (en) | Automatic travel system for work vehicle | |
WO2021025108A1 (ja) | 作業車両用の自動走行システム | |
WO2020039782A1 (ja) | 作業車両用の自動走行システム | |
JP2022034045A (ja) | 作業車両用の自動走行システム | |
US20220381920A1 (en) | Obstacle Detection System | |
JP2019170312A (ja) | 作業車両用の自動走行システム | |
US20210018617A1 (en) | Obstacle Detection System for Work Vehicle | |
JP2023090789A (ja) | 自動走行システム及び自動走行方法 | |
JP2022188155A (ja) | 作業車両用の自動走行システム | |
JP7317165B2 (ja) | 作業車両用の障害物検知システム | |
WO2021085053A1 (ja) | 作業支援システム | |
JP2023063476A (ja) | 作業車両用の自動走行システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7317165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |