JP2020172396A - 制御装置、制御方法及びプログラム - Google Patents
制御装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP2020172396A JP2020172396A JP2020037260A JP2020037260A JP2020172396A JP 2020172396 A JP2020172396 A JP 2020172396A JP 2020037260 A JP2020037260 A JP 2020037260A JP 2020037260 A JP2020037260 A JP 2020037260A JP 2020172396 A JP2020172396 A JP 2020172396A
- Authority
- JP
- Japan
- Prior art keywords
- detected
- camera
- image
- industrial vehicle
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000001514 detection method Methods 0.000 claims abstract description 265
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 12
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 12
- 238000010191 image analysis Methods 0.000 description 50
- 238000012545 processing Methods 0.000 description 16
- 238000012806 monitoring device Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0755—Position control; Position detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
- B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0759—Details of operating station, e.g. seats, levers, operator platforms, cabin suspension
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Transportation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Civil Engineering (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Traffic Control Systems (AREA)
- Component Parts Of Construction Machinery (AREA)
Abstract
Description
特許文献1には、関連する技術として、フォークリフトの後進時に運転者に注意を喚起する技術が記載されている。
以下、本発明の第1の実施形態による産業車両1について説明する。
産業車両1は、例えば、図1に示すようなフォークリフトである。ただし、ホイルローダーなどの建設機械、荷役装置や後輪操舵などの同様の機構を持つ車両、もしくは同様の課題を持つ車両でもよい。
産業車両1は、図1に示すように、操作装置10、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20d、第1スピーカ30a、第2スピーカ30b、第3スピーカ30c、第4スピーカ30d、表示部40、制御装置50を備える。
なお、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dを総称して撮影装置20と呼ぶ。また、第1スピーカ30a、第2スピーカ30b、第3スピーカ30c、第4スピーカ30dを総称して通知装置30と呼ぶ。
例えば、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dは、図1に示すように、それぞれ産業車両1の上部前方、上部右側、上部後方、上部左側に設けられる。そして、例えば、第1カメラ20aは、図2に示す第1撮影領域A1を撮影する。同様に、第2カメラ20b、第3カメラ20c、第4カメラ20dは、それぞれ図2に示す第2撮影領域A2、第3撮影領域A3、第4撮影領域A4を撮影する。
なお、本開示の第1実施形態では、産業車両1の上部前方、上部右側、上部後方、上部左側のそれぞれにカメラを設けたが、他の実施形態においては、カメラが異なる向きに設けてもよい。また、他の実施形態においては、複数のカメラが魚眼レンズなどを備えることで産業車両1の全周囲を撮影しつつカメラの台数を減らすことができる。また、他の実施形態に係る撮影装置20は、カメラが回転を繰り返すことで産業車両1の全周囲を撮影するものであってもよい。また、4つのカメラで死角ができる場合は、5台以上のカメラを設けることもできる。これらのカメラが検出する検出対象には人物が含まれる。なお、ここで死角とは、産業車両1が接触する可能性のある検出対象が撮影されない領域のことである。
通知装置30は、制御装置50による制御の下、音を出力する。
例えば、第1スピーカ30a、第2スピーカ30b、第3スピーカ30c、第4スピーカ30dは、図1に示すように、それぞれ運転席の右前方、右後方、左後方、左前方に設けられる。そして、情報処理装置40によって、撮影装置20が撮影した画像において検出対象が検出された場合に、その検出対象の位置に対応する方向に設けられているスピーカは、音を出力する。
こうすることで、運転者は、検出対象がどの方向に存在するかを知ることができる。
表示部40は、制御装置50による制御の下、撮影装置20が撮影した画像に係る情報を表示する。図3は、第1の実施形態における表示部40の表示例を示す図である。本実施形態において表示部40の表示エリアは、領域表示エリアRa、大画像表示エリアRb、小画像表示エリアRcに分けられる。
例えば、表示部40の小画像表示エリアRcには、図3に示すように、第1カメラ20aが撮影した第1撮影領域A1の画像、第2カメラ20bが撮影した第2撮影領域A2の画像、第3カメラ20cが撮影した第3撮影領域A3の画像、第4カメラ20dが撮影した第4撮影領域A4の画像が小さく表示される。
また、表示部40の領域表示エリアRaには、検出対象が検出された領域がわかる画像が表示される。領域表示エリアRaは、右前方の領域である第1領域R1、左前方の領域である第2領域R2、左後方の領域である第3領域R3、および右後方の領域である第4領域R4に分けられる。また領域表示エリアRaの中心には、産業車両1の外形を示す画像が表示され、当該画像のうちカメラが設けられる位置にカメラアイコンが表示される。具体的には、第1領域R1、第2領域R2、第3領域R3、第4領域R4のうち、第2領域R2で検出対象が検出された場合、表示部40は、領域表示エリアRaにおいて、第2領域R2を、検出対象が検出されていない第1領域R1、第3領域R3、及び、第4領域R4と異なる態様で表示する。例えば、産業車両1の左前方に検出対象が検出された場合、表示部40の表示領域のうち第2領域R2を点灯させる(第2領域R2の明度を他の領域より高くする)。また、表示部40は、領域表示エリアRaに表示されたカメラアイコンのうち、検出対象を撮影したカメラに対応するアイコンを他のカメラに対応するアイコンと異なる態様で表示する。
また、検出対象が複数の領域で検出された場合、表示部40は、領域表示エリアRaにおいて、複数の領域のうち最も注意すべき領域を、検出対象が検出された他の領域と異なる態様で表示する。具体的には、第1領域R1、第2領域R2、第3領域R3、第4領域R4のうち、第2領域R2及び第4領域R4で検出対象が検出され、第2領域R2が最も注意すべき領域である場合、表示部40は、図3に示すように、領域表示エリアRaにおいて、第2領域R2を第4領域R4と異なる態様で表示する。例えば、表示部40は、第2領域R2を点滅させ、第4領域R4を点灯させる。また、表示部40は、図3に示すように、最も注意すべき検出対象を撮影したカメラ20aが撮影した検出対象を含む画像を大画像表示エリアRbに拡大して表示する。
こうすることで、運転者は、検出対象がどの方向に存在するかを知ることができる。また、運転者は、検出対象が複数の領域において存在する場合、最も注意すべき検出対象がどの検出対象であるかを、直感的に知ることができる。
なお、最も注意すべき検出対象は、制御装置50によって特定される。最も注目すべき検出対象が制御装置50によってどのように特定されるかについては、後述する。
制御装置50は、産業車両1の状態に基づいて、通知装置30及び表示部40を制御する装置である。制御装置50は、図4に示すように、画像解析部501、操作判定部502、重要検出物特定部503(特定部の一例)、通知制御部504(制御部の一例)、表示制御部505(制御部の一例)、記憶部506を備える。
例えば、画像解析部501は、人物を含む検出対象についての特徴を予め記憶する。そして、画像解析部501は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dの順に、撮影された画像を繰り返し取得する。画像解析部501は、画像を取得する度に、パターン認識の技術を用いて、取得した画像において予め記憶している人物を含む検出対象が含まれていると判定した場合、取得した画像において検出対象を検出したと判断する。
例えば、画像解析部501は、画像においてパターン認識技術を用いて検出対象を検出する際に、予め記憶した検出対象についての特徴との一致度が最も高い部分が、画像の左右のどちらに含まれているかによって、画像の左右どちら側で検出対象を検出したかを特定する。
例えば、画像解析部501は、検出対象の寸法に対応する画像サイズ(画素数)を記憶しておき、記憶した画像サイズと画像内で検出した検出対象のサイズ(画素数)との比から産業車両1から検出対象までの距離を推定する。
また、例えば、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dそれぞれの撮影性能、産業車両1における設置位置、及び撮影方向は、予めわかっている。そのため、画像解析部501は、奥行き方向の距離及び横方向の距離によって示される撮影範囲が予めわかっており、撮影された画像が産業車両1からどの程度の距離の範囲を示す画像であるかを推定することができる。つまり、画像解析部501は、撮影装置20が撮影した画像において、例えば、画像の上下左右のうちの最下部から上方向への1ピクセルが示す距離(すなわち、奥行き方向の距離)と、画像の最下部中央から左右への1ピクセルが示す距離と、を推定することができる。そのため、画像解析部501は、検出対象が画像内のどこで検出されたか(例えば、画像の最下部の中央を基準として、上方向に何ピクセルずれ、左右方向に何ピクセルずれた位置で検出対象が検出されたか)を特定することで、産業車両1から検出対象までの距離を推定することができる。
また、例えば、撮影装置20はステレオカメラである場合、画像解析部501は、ステレオカメラが撮影した各撮影タイミングの一対の撮影画像に対して三角測量技術を用いることで、産業車両1から検出対象までの距離を推定することができる。その他、距離センサを設けることで検出対象との距離を測定してもよい。
例えば、操作判定部502は、産業車両1に設けられた図示していないセンサから現在の産業車両1の車速を取得する。また、操作判定部502は、操作装置10の変化によって出力される信号を取得する、もしくは定期的に操作装置10の状態を示す信号を取得する。ここで、操作判定部502が産業車両1に設けられた図示していないセンサ及び操作装置10から取得する産業車両1の車両状態は、車速のほかにも運転者がステアリングを回転させたときの産業車両1の操舵角、運転者がシフトレバーを前進や後退に切り替えたときの産業車両1の進行方向、運転者がアクセルやブレーキを踏み込んだ状態が含まれる。
重要検出物特定部503は、産業車両1の状態を特定した場合、特定した時刻と産業車両1の状態とを関連付けた産業車両状態情報、及び、検出結果の画像、検出位置情報、第1カメラ情報を、例えば記憶部506に保存する。
例えば、重要検出物特定部503は、産業車両1の進行方向に存在する検出対象のうち産業車両1に最も近い位置に存在する検出対象を、最も注意すべき検出対象と特定する。
重要検出物特定部503は、最も注意すべき検出対象を特定した場合、その検出対象を撮影したカメラがどのカメラであるかを示す第2検出カメラ情報とその検出位置情報を、通知制御部504及び表示制御部505に出力する。
また、第2検出カメラ情報が第2カメラ20bを示し、検出位置情報が画像の右側で検出対象を検出したことを示す場合、または、第2検出カメラ情報が第3カメラ20cを示し、検出位置情報が画像の左側で検出対象を検出したことを示す場合、通知制御部504は、第2スピーカ30bから音が出力されるように、通知装置30を制御する。
同様に、第2検出カメラ情報と検出位置情報に基づき、第3スピーカ30c、第4スピーカ30dから音が出力されるように、通知装置30を制御する。
ただし、出力制御部504は、第2検出カメラ情報と検出位置情報に基づいて、最も注意すべき検出対象に対応するスピーカから出力される音を、他のスピーカから出力される音と異なる態様で出力させるように、通知装置30を制御する。
また、同様に、第2検出カメラ情報と検出位置情報に基づき、第2スピーカ30b、第3スピーカ30c、第4スピーカ30dを他のスピーカから出力される音と異なる態様で出力させるように、通知装置30を制御する。
例えば、表示制御部505は、画像解析部501が第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dの順に撮影された画像を繰り返し取得するタイミングに同期して、画像解析部501が取得する画像と同一の画像を、撮影装置20から取得する。そして、表示制御部505は、取得した第1カメラ20aが撮影した第1撮影領域A1の画像、第2カメラ20bが撮影した第2撮影領域A2の画像、第3カメラ20cが撮影した第3撮影領域A3の画像、第4カメラ20dが撮影した第4撮影領域A4の画像を、図3に示すように、小画像表示エリアRcに小さく表示する。
例えば、第1領域R1、第2領域R2、第3領域R3、第4領域R4のうち、第2領域R2で検出対象が検出された場合、表示制御部505は、第2領域R2を点灯させる等、検出対象が検出されていない第1領域R1、第3領域R3、及び、第4領域R4と異なる態様で表示部40の領域表示エリアRaに表示させる。
また、表示制御部505は、そのカメラが撮影した検出対象を含む画像を拡大して表示部40の大画像表示エリアRbに表示させる。
具体的には、第1領域R1、第2領域R2、第3領域R3、第4領域R4のうち、第2領域R2及び第4領域R4で検出対象が検出され、第2領域R2が最も注意すべき領域である場合、表示制御部505は、領域表示エリアRaにおいて第2領域R2を点滅させ、第4領域R4を点灯させる。また、表示制御部505は、最も注意すべき検出対象を撮影したカメラ20aが撮影した検出対象を含む画像を拡大して表示部40の大画像表示エリアRbに表示させる。
例えば、記憶部506は、時刻と産業車両1の状態とを関連付けた産業車両状態情報、及び、検出結果の画像、検出位置情報、第1カメラ情報を記憶する。
次に、産業車両1が行う処理について説明する。
ここでは、図5に示す制御装置50の処理フローについて説明する。
制御装置50は、所定の画像取得周期ごとに図5に示す処理を実行する。なお、撮影装置20は、産業車両1の全周囲を撮影しているものとする。制御装置50の画像解析部501は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dの順に撮影する1つのカメラを特定する(ステップS1)。画像解析部501は、特定したカメラから画像を取得する(ステップS2)。また、表示制御部505は、取得した画像を撮影したカメラに応じて表示部40の小画像表示エリアRbの所定の位置に表示する(ステップS3)。
例えば、画像解析部501は、画像においてパターン認識技術を用いて検出対象を検出する際に、予め記憶した検出対象についての特徴に一致する部分が、画像の左右のどちらに含まれているかによって、画像の左右どちら側で検出対象を検出したかを特定する。
例えば、画像解析部501は、検出対象の寸法に対応する画像サイズ(画素数)を記憶しておき、記憶した画像サイズと画像内で検出した検出対象のサイズ(画素数)との比から産業車両1から検出対象までの距離を推定することができる。
以上、本発明の一実施形態による産業車両1について説明した。
本発明の一実施形態による産業車両1の制御装置50において、重要検出物特定部503は、産業車両1の周囲で複数の検出対象が検出された場合に、産業車両1の状態に基づいて、複数の検出対象の中から1つを特定する。通知制御部504および表示制御部505は、特定された1つの検出対象について、検出された他の検出対象と異なる態様で報知させる。
こうすることで、運転者が音を聞くことによって検出対象が検出されたことを知り、その後、モニタの表示を見て検出対象の存在する位置を知る場合に比べて、特定の検出対象の存在する位置を直感的に知ることができる。
具体的には、検出対象が複数検出された場合に、音出力制御部504が最も注意すべき検出対象を、他の検出対象と異なる態様で音波出力装置30を用いて報知することによって、運転者は、音を聞くだけで、検出対象の存在する方向を直感的に知ることができる。また、検出対象が複数検出された場合に、表示制御部505が最も注意すべき検出対象を、他の検出対象と異なる態様で表示部40を用いて報知することによって、運転者は、表示を見るだけで、検出対象の存在する方向を直感的に知ることができる。
また、この場合、運転者は、最も注意すべき検出対象を直感的に知ることもできる。
第1の実施形態に係る産業車両1は、撮影画像の表示と、検出対象が検出された領域の通知とを1つのコンポーネントによって行う。これに対し、第2の実施形態に係る産業車両は、撮影画像の表示を行うコンポーネントである周囲モニタ装置と、検出対象が検出された領域の通知を行うコンポーネントである検出物通知装置とを別個に備える。これは、ユーザによっては、周囲モニタ装置のみの装着を希望する場合があることに加えて、俯瞰画像を作成するための画像領域が検出を行うための画像領域より狭い場合は、検出した検出対象を必ずしも俯瞰画像内に表示することができないためである。また、俯瞰画像内に表示が可能な場合でも、俯瞰画像を作成する際に検出対象の形状が大きく変化してしまうなど、適切に検出ができない、もしくは適切な表示ができないことがあるためである。
検出物通知システム200は、周囲モニタ装置210と検出物通知装置220とを備える。
周囲モニタ装置210は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dが撮影した画像を俯瞰画像に変換して表示する。俯瞰画像の中心には、産業車両1を表す画像が表示される。
検出物通知装置220は、周囲モニタ装置210を上から覆う筐体として構成される。検出物通知装置220は、産業車両1の近傍に存在する検出対象の存在を通知する。
周囲モニタ装置210と検出物通知装置220は、それぞれ別個に動作する。つまり、周囲モニタ装置210は検出物通知装置220を制御せず、検出物通知装置220は周囲モニタ装置210を制御しない。
図7は、第2実施形態に係る周囲モニタ装置210に表示される画像の例である。周囲モニタ装置210は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dが撮影した画像を加工することで生成された俯瞰画像P1と、第1カメラ20a、第2カメラ20b、第3カメラ20c、または第4カメラ20dのいずれかが撮影した原画像P2とを表示する。原画像P2は、撮影されたカメラに応じて、回転または反転して表示されてよい。例えば、周囲モニタ装置210は、後方を撮影する第3カメラ20aが撮影した原画像P2を、上下反転させて表示することで、利用者は、当該原画像P2が後方を写していることを容易に理解することができる。
なお、本実施形態において、各カメラが撮影した画像において、検出に用いる部分と、表示に用いる部分とは異なっていてもよい。例えば、検出物通知装置220が画像の全領域を用いて検知するのに対し、周囲モニタ装置210は、画像の一部をトリミングして俯瞰画像P1を生成してもよい。
検出物通知装置220は、筐体部221、第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222d、状態通知ランプ223、ブザー224、制御装置225を備える。第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222d、および状態通知ランプ223は、表示部の一例である。
第1領域ランプ222aは、L字型のランプである。第1領域ランプ222aは、筐体部221の開口の右上部分を囲うように設けられる。
第2領域ランプ222bは、L字型のランプである。第2領域ランプ222bは、筐体部221の開口の左上部分を囲うように設けられる。
第3領域ランプ222cは、L字型のランプである。第3領域ランプ222cは、筐体部221の開口の左下部分を囲うように設けられる。
第4領域ランプ222dは、L字型のランプである。第4領域ランプ222dは、筐体部221の開口の右下部分を囲うように設けられる。
状態通知ランプ223は、第1領域ランプ222aと第2領域ランプ222bとの間に設けられる。状態通知ランプ223は、検出物通知装置220の状態を示す。例えば、検出物通知装置220が正常に動作している場合、状態通知ランプ223は緑色に点灯する。また、検出物通知装置220の検出対象の検出機能が正常に動作していない場合、状態通知ランプ223は赤色に点灯する。また、検出物通知装置220が動作していない場合、状態通知ランプ223は消灯する。
ブザー224は、制御装置225によって検出対象が検出されたときに、警告音を発する。
第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222d、および状態通知ランプ223は、例えばLEDなどによって構成される。
第2の実施形態に係る制御装置225は、第1の実施形態に係る制御装置50と同様の構成を有する。すなわち、制御装置225は、画像解析部501、操作判定部502、重要検出物特定部503、通知制御部504、表示制御部505、記憶部506を備える。他方、第2の実施形態に係る制御装置225は、第1の実施形態の制御装置50と挙動が異なる。
制御装置225が起動すると、表示制御部505は、状態通知ランプ223を緑色に点灯させる。そして、制御装置225は、判定時間ごとに、図8に示す処理を実行する。
まず、制御装置225の画像解析部501は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dを画像取得周期ごとに1つずつ選択し(ステップS101)、選択したカメラについて以下のステップS102からステップS105の処理を行う。
第1領域R1、第2領域R2、第3領域R3、および第4領域R4のいずれにも検出対象が検出されなかった場合(ステップS108においてNO)、表示制御部505は、第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222dのすべてを消灯させる。また、通知制御部504は、ブザー224の発音を停止させ(ステップS109)、処理を終了する。
他方、ブザー224が既に警告音を発している場合(ステップS113においてYES)、通知制御部504は、ブザー鳴動時間をリセットし、再度計測を開始し(ステップS115)、処理を終了する。
他方、ブザー224が既に警告音を発している場合(ステップS116においてYES)、通知制御部504は、ブザー鳴動時間が所定のブザー時間以上であるか否かを判定する(ステップS117)。ブザー鳴動時間が所定のブザー時間未満である場合(ステップS117においてNO)、通知制御部504は、ブザー224による警告音の発音を継続させ(ステップS118)、処理を終了する。
他方、ブザー鳴動時間が所定のブザー時間以上である場合(ステップS117においてYES)、通知制御部504は、ブザー224を停止させ(ステップS119)、処理を終了する。これにより、通知制御部504は、一の領域に検出対象が検出され続けている間、ブザーが鳴りっぱなしになることを防ぎつつ、新たな検出対象が検出された場合に、再度ブザーを鳴らすことができる。
このように、第2の実施形態に係る検出物通知システム200において、検出物通知装置220のランプ222が周囲モニタ装置210の外周に沿って設けられている。これにより、検出物通知装置220は、周囲モニタ装置210を制御することができない場合にも、適切に検出対象の方向を表示することができる。
第1の実施形態に係る産業車両1は、4つのカメラを備える。これに対し、第3の実施形態に係る産業車両1は、8つのカメラを備える。図9は、第3の実施形態に係る産業車両のカメラ配置を示す図である。
第3の実施形態に係る産業車両1は、左斜め前方を撮影するカメラ20e、右斜め前方を撮影するカメラ20f、車体前部から左方向を撮影するカメラ20g、車体前部から右方向を撮影するカメラ20h、車体後部から左方向を撮影するカメラ20i、車体後部から右方向を撮影するカメラ20j、左斜め後方を撮影するカメラ20k、右斜め後方を撮影するカメラ20lを備える。
なお、本発明の一実施形態では、撮影装置20は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dを備えるものとして説明した。しかしながら、本発明の別の実施形態では、撮影装置20は、産業車両1の全周囲を大きな死角を作ることなく撮影することができればよく、撮影装置20に含まれるカメラの台数及びカメラが設けられる位置は限定されない。
また、産業車両1の大きさやカメラの撮影可能な範囲によっては、本発明の一実施形態で例示した4台のカメラでは死角が大きすぎる可能性がある。このような場合には、例えば、撮影装置20は、5台以上のカメラを備え、死角をより小さくするものであってもよい。
図10は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ5は、図10に示すように、CPU6、メインメモリ7、ストレージ8、インターフェース9を備える。
例えば、上述の制御装置50、その他の制御装置のそれぞれは、コンピュータ5に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ8に記憶されている。CPU6は、プログラムをストレージ8から読み出してメインメモリ7に展開し、当該プログラムに従って上記処理を実行する。また、CPU6は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ7に確保する。
なお、他の実施形態においては、制御装置127は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)、及びこれらに類する処理装置を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
5・・・コンピュータ
6・・・CPU
7・・・メインメモリ
8・・・ストレージ
9・・・インターフェース
10・・・操作装置
20・・・撮影装置
20a・・・第1カメラ
20b・・・第2カメラ
20c・・・第3カメラ
20d・・・第4カメラ
30・・・音波出力装置
30a・・・第1スピーカ
30b・・・第2スピーカ
30c・・・第3スピーカ
30d・・・第4スピーカ
40・・・表示部
50・・・制御装置
200・・・検出物通知システム
210・・・周囲モニタ装置
220・・・検出物通知装置
221・・・筐体部
222a・・・第1領域ランプ
222b・・・第2領域ランプ
222c・・・第3領域ランプ
222d・・・第4領域ランプ
223・・・状態通知ランプ
224・・・ブザー
225・・・制御装置
501・・・画像解析部
502・・・操作判定部
503・・・重要検出物特定部
504・・・通知制御部
505・・・表示制御部
506・・・記憶部
Claims (9)
- 複数のカメラを含む撮影装置の撮影画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定する特定部と、
前記特定部で特定した1つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像に基づいて、前記特定部が特定した1つの検出物について、検出された他の検出物と異なる態様で報知させる制御部と、
を備える制御装置。 - 前記状態は、
前記産業車両と前記検出物との距離、前記産業車両の車輪の操舵角、及び、前記産業車両の進行方向のうちの少なくとも1つを含む、
請求項1に記載の制御装置。 - 前記制御部は、
前記特定部が特定した1つの検出物を、検出された他の検出物と異なる態様で表示部に表示させる、
請求項1または請求項2に記載の制御装置。 - 前記制御部は、
前記1つの検出物の特定に用いた撮影画像を、前記特定部で特定した1つの検出物を撮影したカメラの情報に基づいて表示部に表示させる、
請求項1から請求項3の何れか一項に記載の制御装置。 - 前記制御部は、
前記撮影画像における当該検出物の位置と前記カメラの情報に基づいて、前記表示部に表示する前記検出物の位置を特定する、
請求項4に記載の制御装置。 - 前記撮影装置の撮影画像から産業車両の周囲の俯瞰画像を作成する周囲表示部をさらに有し、
前記制御部は、前記周囲表示部の外縁にそって、前記特定部が特定した1つの検出物について、検出された他の検出物と異なる態様で表示部に表示させる、
請求項1から請求項5の何れか一項に記載の制御装置。 - 前記制御部は、
前記特定部が特定した1つの検出物の位置に対応するスピーカから、前記他の検出物と異なる音を出力させる、
請求項1から請求項5の何れか一項に記載の制御装置。 - 複数のカメラを含む撮影装置の撮像画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定することと、
特定した前記1つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、特定した前記1つの検出物について、検出された他の検出物と異なる態様で報知させることと、
を含む制御方法。 - コンピュータに、
複数のカメラを含む撮影装置の撮像画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定することと、
特定した前記1つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、特定した前記1つの検出物について、検出された他の検出物と異なる態様で報知させることと、
を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010251651.3A CN111807272B (zh) | 2019-04-11 | 2020-04-01 | 控制装置、控制方法以及记录介质 |
EP20168787.8A EP3722522B1 (en) | 2019-04-11 | 2020-04-08 | Control device, control method, and program |
US16/843,935 US11544937B2 (en) | 2019-04-11 | 2020-04-09 | Control device, control method, and computer readable medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075677 | 2019-04-11 | ||
JP2019075677 | 2019-04-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020172396A true JP2020172396A (ja) | 2020-10-22 |
JP7016900B2 JP7016900B2 (ja) | 2022-02-07 |
Family
ID=72829978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037260A Active JP7016900B2 (ja) | 2019-04-11 | 2020-03-04 | 制御装置、制御方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7016900B2 (ja) |
CN (1) | CN111807272B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7456368B2 (ja) | 2020-12-21 | 2024-03-27 | 株式会社豊田自動織機 | フォークリフト用作業支援装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005134971A (ja) * | 2003-10-28 | 2005-05-26 | Fujitsu Ten Ltd | 運転支援装置 |
JP2006011516A (ja) * | 2004-06-22 | 2006-01-12 | Equos Research Co Ltd | 障害物検知支援装置 |
JP2010198519A (ja) * | 2009-02-27 | 2010-09-09 | Hitachi Constr Mach Co Ltd | 周囲監視装置 |
JP2015009646A (ja) * | 2013-06-28 | 2015-01-19 | アルパイン株式会社 | 運転支援装置 |
JP2017101420A (ja) * | 2015-11-30 | 2017-06-08 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
JP2018014554A (ja) * | 2016-07-19 | 2018-01-25 | 株式会社クボタ | 作業車 |
US20180057049A1 (en) * | 2016-08-26 | 2018-03-01 | Crown Equipment Corporation | Materials handling vehicle obstacle scanning tools |
JP2018157449A (ja) * | 2017-03-21 | 2018-10-04 | 株式会社フジタ | 建設機械用俯瞰画像表示装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07206396A (ja) * | 1994-01-25 | 1995-08-08 | Toyota Autom Loom Works Ltd | フォークリフトのヘッドガード |
WO2012169352A1 (ja) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
EP3389026A1 (en) * | 2017-04-12 | 2018-10-17 | Volvo Car Corporation | Apparatus and method for road vehicle driver assistance |
-
2020
- 2020-03-04 JP JP2020037260A patent/JP7016900B2/ja active Active
- 2020-04-01 CN CN202010251651.3A patent/CN111807272B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005134971A (ja) * | 2003-10-28 | 2005-05-26 | Fujitsu Ten Ltd | 運転支援装置 |
JP2006011516A (ja) * | 2004-06-22 | 2006-01-12 | Equos Research Co Ltd | 障害物検知支援装置 |
JP2010198519A (ja) * | 2009-02-27 | 2010-09-09 | Hitachi Constr Mach Co Ltd | 周囲監視装置 |
JP2015009646A (ja) * | 2013-06-28 | 2015-01-19 | アルパイン株式会社 | 運転支援装置 |
JP2017101420A (ja) * | 2015-11-30 | 2017-06-08 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
JP2018014554A (ja) * | 2016-07-19 | 2018-01-25 | 株式会社クボタ | 作業車 |
US20180057049A1 (en) * | 2016-08-26 | 2018-03-01 | Crown Equipment Corporation | Materials handling vehicle obstacle scanning tools |
JP2018157449A (ja) * | 2017-03-21 | 2018-10-04 | 株式会社フジタ | 建設機械用俯瞰画像表示装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7456368B2 (ja) | 2020-12-21 | 2024-03-27 | 株式会社豊田自動織機 | フォークリフト用作業支援装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7016900B2 (ja) | 2022-02-07 |
CN111807272A (zh) | 2020-10-23 |
CN111807272B (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3722522B1 (en) | Control device, control method, and program | |
JP6394281B2 (ja) | 車載注意喚起システム、報知制御装置 | |
JP6370358B2 (ja) | 透明な電子ディスプレイ上の表示適合 | |
WO2016147584A1 (ja) | 車両監視装置、車両監視方法、及び、車両監視プログラム | |
JP2020067979A (ja) | 車両用障害物報知装置 | |
TW201623067A (zh) | 燈號警示裝置及其方法、電腦可讀取紀錄媒體、及電腦程式產品 | |
JP7016900B2 (ja) | 制御装置、制御方法及びプログラム | |
JP2018026757A (ja) | 周辺監査装置 | |
JP2017165218A (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP2019153932A (ja) | 汚れ報知装置 | |
JP2021125021A (ja) | 死角情報取得装置、死角情報取得方法、車両及びプログラム | |
JP5226641B2 (ja) | 車両用障害物検出装置 | |
JP2015232846A (ja) | 前方状況判定装置 | |
JP6690312B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP2004274538A (ja) | 車両周辺視認装置 | |
JP5828492B1 (ja) | 荷役車両 | |
JP7267222B2 (ja) | 処理装置、処理方法、報知システム及びプログラム | |
JP4151571B2 (ja) | 車載用障害物検出装置 | |
JP4598011B2 (ja) | 車両用表示装置 | |
JP2021051348A (ja) | 物体距離推定装置及び物体距離推定方法 | |
JP2019177718A (ja) | 表示制御装置及びヘッドアップディスプレイ装置 | |
JP7253000B2 (ja) | アプリケーションプログラム、情報提供方法、および情報提供装置 | |
CN115398506B (zh) | 安全驾驶判定装置 | |
JP7247252B2 (ja) | アプリケーションプログラム、情報提供方法、および端末装置 | |
US10897572B2 (en) | Imaging and display device for vehicle and recording medium thereof for switching an angle of view of a captured image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220126 |