JP2020172396A - 制御装置、制御方法及びプログラム - Google Patents

制御装置、制御方法及びプログラム Download PDF

Info

Publication number
JP2020172396A
JP2020172396A JP2020037260A JP2020037260A JP2020172396A JP 2020172396 A JP2020172396 A JP 2020172396A JP 2020037260 A JP2020037260 A JP 2020037260A JP 2020037260 A JP2020037260 A JP 2020037260A JP 2020172396 A JP2020172396 A JP 2020172396A
Authority
JP
Japan
Prior art keywords
detected
camera
image
industrial vehicle
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020037260A
Other languages
English (en)
Other versions
JP7016900B2 (ja
Inventor
昭伍 南
Shogo Minami
昭伍 南
弘司 椎崎
Koji Shiizaki
弘司 椎崎
彰 安藤
Akira Ando
彰 安藤
肇 小平
Hajime Kodaira
肇 小平
杉本 喜一
Kiichi Sugimoto
喜一 杉本
健太 中尾
Kenta Nakao
健太 中尾
飯尾 聡
Satoshi Iio
聡 飯尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Logisnext Co Ltd
Original Assignee
Mitsubishi Logisnext Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Logisnext Co Ltd filed Critical Mitsubishi Logisnext Co Ltd
Priority to CN202010251651.3A priority Critical patent/CN111807272B/zh
Priority to EP20168787.8A priority patent/EP3722522B1/en
Priority to US16/843,935 priority patent/US11544937B2/en
Publication of JP2020172396A publication Critical patent/JP2020172396A/ja
Application granted granted Critical
Publication of JP7016900B2 publication Critical patent/JP7016900B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/0755Position control; Position detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/0759Details of operating station, e.g. seats, levers, operator platforms, cabin suspension
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Traffic Control Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

【課題】運転者が産業車両の周囲に存在する検出物の方向を直感的に知ることのできる制御装置を提供する。【解決手段】制御装置は、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定する特定部と、前記特定部が特定した1つの検出物について、検出された他の検出物と異なる態様で報知させる制御部と、を備える。【選択図】図4

Description

本発明は、制御装置、制御方法及びプログラムに関する。
フォークリフトやホイルローダーなどなどの産業車両は、車両本体が備える車輪の切れ角や車両の構造など、一般的な乗用車とは異なる特徴を有している。そのため、特に産業車両の運転経験の少ない運転者にとっては、産業車両の運転や荷役などの作業をしているときに実際に車両が移動する領域が予想と異なる可能性があったり、運転者が死角となる領域を認識できていなかったりする可能性がある。
特許文献1には、関連する技術として、フォークリフトの後進時に運転者に注意を喚起する技術が記載されている。
特開2016−222428号公報
ところで、産業車両の周囲に存在する障害物の方向を運転者に報知する場合、運転者は、その音を聞くだけでは、障害物の存在する方向を知ることができない。
本発明は、上記の課題を解決することのできる制御装置、制御方法及びプログラムを提供することを目的としている。
第1の態様によれば、制御装置は、複数のカメラを含む撮影装置と、前記撮影装置の撮影画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定する特定部と、前記特定部で特定した1つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像に基づいて、前記特定部が特定した1つの検出物について、検出された他の検出物と異なる態様で報知させる制御部と、を備える。
第2の態様によれば、第1の態様に係る制御装置において、前記状態は、前記産業車両と前記検出物との距離、前記産業車両の車輪の操舵角、及び、前記産業車両の進行方向のうちの少なくとも1つを含む。
第3の態様によれば、第1または第2の態様に係る制御装置において、前記制御部は、前記特定部が特定した1つの検出物を、検出された他の検出物と異なる態様で表示部に表示させる。
第4の態様によれば、第3の態様に係る制御装置において、前記制御部は、前記1つの検出物の特定に用いた撮影画像を、前記特定部で特定した1つの検出物を撮影したカメラの情報に基づいて前記表示部に表示させる、請求項1から請求項3の何れか一項に記載の制御装置。
第5の態様によれば、第4の態様に係る制御装置において、前記制御部は、前記撮影画像における当該検出物の位置と前記カメラの情報に基づいて、前記表示部に表示する前記検出物の位置を特定する。
第6の態様によれば、第1から第5の何れかの態様に係る制御装置において、前記撮影装置の撮影画像から産業車両の周囲の俯瞰画像を作成する周囲表示部をさらに有し、前記制御部は、前記周囲表示部の外縁にそって、前記特定部が特定した1つの検出物について、検出された他の検出物と異なる態様で前記表示部に表示させる。
第7の態様によれば、第1から第5の何れかの態様に係る制御装置において、前記制御部は、前記特定部が特定した1つの検出物の位置に対応するスピーカから、前記他の検出物と異なる音を出力させる。
第8の態様によれば、制御方法は、複数のカメラを含む撮影装置の撮像画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定することと、特定した前記1つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、特定した前記1つの検出物について、検出された他の検出物と異なる態様で報知させることと、を含む。
第9の態様によれば、プログラムは、コンピュータに、複数のカメラを含む撮影装置の撮像画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定することと、特定した前記1つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、特定した前記1つの検出物について、検出された他の検出物と異なる態様で報知させることと、を実行させる。
上記少なくとも1つの態様によれば、運転者は、産業車両の周囲に存在する障害物の方向を直感的に知ることができる。
本発明の少なくとも一実施形態による産業車両の構成を示す図である。 本発明の少なくとも一実施形態による産業車両を真上から俯瞰した場合の概略図である。 本発明の少なくとも一実施形態による表示部の表示例を示す図である。 本発明の少なくとも一実施形態による制御装置の構成を示す図である。 本発明の少なくとも一実施形態による産業車両の処理フローを示す図である。 本発明の少なくとも一実施形態による検出物通知システムの外観図である。 本発明の少なくとも一実施形態による周囲モニタ装置に表示される画像の例である。 本発明の少なくとも一実施形態による産業車両の処理フローを示す図である。 本発明の少なくとも一実施形態による産業車両のカメラ配置を示す図である。 少なくとも一実施形態に係るコンピュータの構成を示す概略ブロック図である。
<第1の実施形態>
以下、本発明の第1の実施形態による産業車両1について説明する。
産業車両1は、例えば、図1に示すようなフォークリフトである。ただし、ホイルローダーなどの建設機械、荷役装置や後輪操舵などの同様の機構を持つ車両、もしくは同様の課題を持つ車両でもよい。
産業車両1は、図1に示すように、操作装置10、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20d、第1スピーカ30a、第2スピーカ30b、第3スピーカ30c、第4スピーカ30d、表示部40、制御装置50を備える。
なお、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dを総称して撮影装置20と呼ぶ。また、第1スピーカ30a、第2スピーカ30b、第3スピーカ30c、第4スピーカ30dを総称して通知装置30と呼ぶ。
操作装置10は、運転者が移動または荷役作業を産業車両1に対して行うときに操作を受け付ける装置である。例えば、操作装置10は、産業車両1の前進・後退を決定するシフトレバー、産業車両1の操舵角を決定するステアリング、産業車両1の速度や加速度を調整するためのアクセル及びブレーキなどである。
撮影装置20は、複数のカメラが各々産業車両1の外周方向を撮影するように設けられており、産業車両1の全周囲を撮影する。
例えば、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dは、図1に示すように、それぞれ産業車両1の上部前方、上部右側、上部後方、上部左側に設けられる。そして、例えば、第1カメラ20aは、図2に示す第1撮影領域A1を撮影する。同様に、第2カメラ20b、第3カメラ20c、第4カメラ20dは、それぞれ図2に示す第2撮影領域A2、第3撮影領域A3、第4撮影領域A4を撮影する。
なお、本開示の第1実施形態では、産業車両1の上部前方、上部右側、上部後方、上部左側のそれぞれにカメラを設けたが、他の実施形態においては、カメラが異なる向きに設けてもよい。また、他の実施形態においては、複数のカメラが魚眼レンズなどを備えることで産業車両1の全周囲を撮影しつつカメラの台数を減らすことができる。また、他の実施形態に係る撮影装置20は、カメラが回転を繰り返すことで産業車両1の全周囲を撮影するものであってもよい。また、4つのカメラで死角ができる場合は、5台以上のカメラを設けることもできる。これらのカメラが検出する検出対象には人物が含まれる。なお、ここで死角とは、産業車両1が接触する可能性のある検出対象が撮影されない領域のことである。
(通知装置30)
通知装置30は、制御装置50による制御の下、音を出力する。
例えば、第1スピーカ30a、第2スピーカ30b、第3スピーカ30c、第4スピーカ30dは、図1に示すように、それぞれ運転席の右前方、右後方、左後方、左前方に設けられる。そして、情報処理装置40によって、撮影装置20が撮影した画像において検出対象が検出された場合に、その検出対象の位置に対応する方向に設けられているスピーカは、音を出力する。
こうすることで、運転者は、検出対象がどの方向に存在するかを知ることができる。
また、制御装置50によって、複数の検出対象が検出された場合には、複数のスピーカのうち、産業車両1の状態に基づいて決定された1つの検出対象の位置に対応する方向に設けられているスピーカは、他のスピーカから出力される音と異なる音(音色が異なる音、音量が異なる音など)を出力する。なお、産業車両1の状態とは、産業車両1と検出対象との距離、産業車両1の操舵角、及び、産業車両1の進行方向のうちの少なくとも1つを含む状態である。また、産業車両1の状態に基づいて決定された1つの検出対象とは、産業車両1と検出対象との距離、産業車両1の操舵角から推定される産業車両1の移動範囲、及び、進行方向から推定される産業車両1の移動範囲のうちの少なくとも1つに応じて決定された最も注意すべき検出対象のことである。こうすることで、運転者は、複数の検出対象のうち、より注意すべき検出対象がどの方向に存在するかを知ることができる。
(表示部40)
表示部40は、制御装置50による制御の下、撮影装置20が撮影した画像に係る情報を表示する。図3は、第1の実施形態における表示部40の表示例を示す図である。本実施形態において表示部40の表示エリアは、領域表示エリアRa、大画像表示エリアRb、小画像表示エリアRcに分けられる。
例えば、表示部40の小画像表示エリアRcには、図3に示すように、第1カメラ20aが撮影した第1撮影領域A1の画像、第2カメラ20bが撮影した第2撮影領域A2の画像、第3カメラ20cが撮影した第3撮影領域A3の画像、第4カメラ20dが撮影した第4撮影領域A4の画像が小さく表示される。
また、表示部40の領域表示エリアRaには、検出対象が検出された領域がわかる画像が表示される。領域表示エリアRaは、右前方の領域である第1領域R1、左前方の領域である第2領域R2、左後方の領域である第3領域R3、および右後方の領域である第4領域R4に分けられる。また領域表示エリアRaの中心には、産業車両1の外形を示す画像が表示され、当該画像のうちカメラが設けられる位置にカメラアイコンが表示される。具体的には、第1領域R1、第2領域R2、第3領域R3、第4領域R4のうち、第2領域R2で検出対象が検出された場合、表示部40は、領域表示エリアRaにおいて、第2領域R2を、検出対象が検出されていない第1領域R1、第3領域R3、及び、第4領域R4と異なる態様で表示する。例えば、産業車両1の左前方に検出対象が検出された場合、表示部40の表示領域のうち第2領域R2を点灯させる(第2領域R2の明度を他の領域より高くする)。また、表示部40は、領域表示エリアRaに表示されたカメラアイコンのうち、検出対象を撮影したカメラに対応するアイコンを他のカメラに対応するアイコンと異なる態様で表示する。
また、検出対象が複数の領域で検出された場合、表示部40は、領域表示エリアRaにおいて、複数の領域のうち最も注意すべき領域を、検出対象が検出された他の領域と異なる態様で表示する。具体的には、第1領域R1、第2領域R2、第3領域R3、第4領域R4のうち、第2領域R2及び第4領域R4で検出対象が検出され、第2領域R2が最も注意すべき領域である場合、表示部40は、図3に示すように、領域表示エリアRaにおいて、第2領域R2を第4領域R4と異なる態様で表示する。例えば、表示部40は、第2領域R2を点滅させ、第4領域R4を点灯させる。また、表示部40は、図3に示すように、最も注意すべき検出対象を撮影したカメラ20aが撮影した検出対象を含む画像を大画像表示エリアRbに拡大して表示する。
こうすることで、運転者は、検出対象がどの方向に存在するかを知ることができる。また、運転者は、検出対象が複数の領域において存在する場合、最も注意すべき検出対象がどの検出対象であるかを、直感的に知ることができる。
なお、最も注意すべき検出対象は、制御装置50によって特定される。最も注目すべき検出対象が制御装置50によってどのように特定されるかについては、後述する。
また、例えば、表示部40は、図3に示すように、検出されたその検出対象の画像を拡大して表示する場合、大画像表示エリアRbに当該画像を撮影したカメラの情報を表示してもよい。例えば、表示部40は、拡大表示されている画像内に、第1カメラ20aが撮影したことを示す「前方カメラ」、第2カメラ20bが撮影したことを示す「右側カメラ」、第3カメラ20cが撮影したことを示す「後方カメラ」、第4カメラ20dが撮影したことを示す「左側カメラ」など、どのカメラが撮影した画像であるかがわかる情報を表示するものであってもよい。こうすることで、運転者は、複数の検出対象のうちより注意すべき検出対象がどの方向に存在するかをより明確に知ることができる。
(制御装置50)
制御装置50は、産業車両1の状態に基づいて、通知装置30及び表示部40を制御する装置である。制御装置50は、図4に示すように、画像解析部501、操作判定部502、重要検出物特定部503(特定部の一例)、通知制御部504(制御部の一例)、表示制御部505(制御部の一例)、記憶部506を備える。
画像解析部501は、撮影装置20が撮影した画像において検出対象を検出したか否かを判定する。
例えば、画像解析部501は、人物を含む検出対象についての特徴を予め記憶する。そして、画像解析部501は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dの順に、撮影された画像を繰り返し取得する。画像解析部501は、画像を取得する度に、パターン認識の技術を用いて、取得した画像において予め記憶している人物を含む検出対象が含まれていると判定した場合、取得した画像において検出対象を検出したと判断する。
画像解析部501は、取得した画像において検出対象を検出した場合、その画像の左右どちら側で検出対象を検出したかを特定する。
例えば、画像解析部501は、画像においてパターン認識技術を用いて検出対象を検出する際に、予め記憶した検出対象についての特徴との一致度が最も高い部分が、画像の左右のどちらに含まれているかによって、画像の左右どちら側で検出対象を検出したかを特定する。
また、画像解析部501は、取得した画像において検出対象を検出した場合、検出した画像を第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dのうちのどのカメラから取得したかを特定する。
また、画像解析部501は、取得した画像において検出対象を検出した場合、検出した検出対象と産業車両1との間の距離を推定する。
例えば、画像解析部501は、検出対象の寸法に対応する画像サイズ(画素数)を記憶しておき、記憶した画像サイズと画像内で検出した検出対象のサイズ(画素数)との比から産業車両1から検出対象までの距離を推定する。
また、例えば、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dそれぞれの撮影性能、産業車両1における設置位置、及び撮影方向は、予めわかっている。そのため、画像解析部501は、奥行き方向の距離及び横方向の距離によって示される撮影範囲が予めわかっており、撮影された画像が産業車両1からどの程度の距離の範囲を示す画像であるかを推定することができる。つまり、画像解析部501は、撮影装置20が撮影した画像において、例えば、画像の上下左右のうちの最下部から上方向への1ピクセルが示す距離(すなわち、奥行き方向の距離)と、画像の最下部中央から左右への1ピクセルが示す距離と、を推定することができる。そのため、画像解析部501は、検出対象が画像内のどこで検出されたか(例えば、画像の最下部の中央を基準として、上方向に何ピクセルずれ、左右方向に何ピクセルずれた位置で検出対象が検出されたか)を特定することで、産業車両1から検出対象までの距離を推定することができる。
また、例えば、撮影装置20はステレオカメラである場合、画像解析部501は、ステレオカメラが撮影した各撮影タイミングの一対の撮影画像に対して三角測量技術を用いることで、産業車両1から検出対象までの距離を推定することができる。その他、距離センサを設けることで検出対象との距離を測定してもよい。
そして、画像解析部501は、取得した画像において検出対象を検出する度に、検出結果の画像、画像の左右どちら側で検出対象を検出したかを示す検出位置情報、検出対象が含まれる画像を撮影したカメラを示す第1検出カメラ情報、及び、産業車両1から検出対象までの距離を示す距離情報を、重要検出物特定部503に出力する。
操作判定部502は、運転者によって産業車両1に対して行われている操作の内容を産業車両1に設けられた図示していないセンサ、及び、操作装置10の状態から特定する。
例えば、操作判定部502は、産業車両1に設けられた図示していないセンサから現在の産業車両1の車速を取得する。また、操作判定部502は、操作装置10の変化によって出力される信号を取得する、もしくは定期的に操作装置10の状態を示す信号を取得する。ここで、操作判定部502が産業車両1に設けられた図示していないセンサ及び操作装置10から取得する産業車両1の車両状態は、車速のほかにも運転者がステアリングを回転させたときの産業車両1の操舵角、運転者がシフトレバーを前進や後退に切り替えたときの産業車両1の進行方向、運転者がアクセルやブレーキを踏み込んだ状態が含まれる。
重要検出物特定部503は、操作判定部502から操作情報を取得する。重要検出物特定部503は、検出結果の画像、検出位置情報、第1検出カメラ情報、及び、距離情報を画像解析部501から受けた場合、操作情報及び距離情報に基づいて、産業車両1の状態を特定する。
重要検出物特定部503は、産業車両1の状態を特定した場合、特定した時刻と産業車両1の状態とを関連付けた産業車両状態情報、及び、検出結果の画像、検出位置情報、第1カメラ情報を、例えば記憶部506に保存する。
重要検出物特定部503は、現在から撮影装置20が産業車両1の全周囲を撮影するのに必要な時間を遡った時間内(以下、「判定時間内」と記載)に、産業車両状態情報を記憶部506に保存しているかを判定する。すなわち、第1の実施形態に係る産業車両1はカメラを4つ備える。そのため、所定の画像取得周期ごとに1つずつカメラを選択して撮影処理を行う場合、判定時間は画像取得周期の4倍の時間となる。
例えば、重要検出物特定部503は、記憶部506において判定時間内の産業車両状態情報がない場合、判定時間内に検出対象を検出しなかったと判定する。一方、重要検出物特定部503は、記憶部506において判定時間内に他の産業車両状態情報がある場合、検出対象を検出したと判定する。つまり、産業車両1の全周囲を撮影した間に検出対象を1度検出したことを意味する。さらに、重要検出物特定部503は、記憶部506において判定時間内に他の産業車両状態情報がある場合、検出対象を複数検出したと判定する。
重要検出物特定部503は、判定時間内に検出対象を複数検出したと判定した場合、産業車両状態情報が示す産業車両1の状態に基づいて、全周囲における検出対象のうち最も注意すべき検出対象を特定する。
例えば、重要検出物特定部503は、産業車両1の進行方向に存在する検出対象のうち産業車両1に最も近い位置に存在する検出対象を、最も注意すべき検出対象と特定する。
重要検出物特定部503は、最も注意すべき検出対象を特定した場合、その検出対象を撮影したカメラがどのカメラであるかを示す第2検出カメラ情報とその検出位置情報を、通知制御部504及び表示制御部505に出力する。
重要検出物特定部503は、判定時間内に検出対象を1度しか検出しなかったと判定した場合、検出したカメラ情報を第2検出カメラ情報として、その検出位置情報とともに通知制御部504及び表示制御部505に出力する。
通知制御部504は、重要検出物特定部503から、第2検出カメラ情報及び検出位置情報を受けたと判定した場合、第2検出カメラ情報及び検出位置情報に基づいて、検出対象の存在する方向に設けられたスピーカから音を出力させる。
具体的には、第2検出カメラ情報が第1カメラ20aを示し、検出位置情報が画像の右側で検出対象を検出したことを示す場合、または、第2検出カメラ情報が第2カメラ20bを示し、検出位置情報が画像の左側で検出対象を検出したことを示す場合、通知制御部504は、第1スピーカ30aから音が出力されるように、通知装置30を制御する。
また、第2検出カメラ情報が第2カメラ20bを示し、検出位置情報が画像の右側で検出対象を検出したことを示す場合、または、第2検出カメラ情報が第3カメラ20cを示し、検出位置情報が画像の左側で検出対象を検出したことを示す場合、通知制御部504は、第2スピーカ30bから音が出力されるように、通知装置30を制御する。
同様に、第2検出カメラ情報と検出位置情報に基づき、第3スピーカ30c、第4スピーカ30dから音が出力されるように、通知装置30を制御する。
通知制御部504は、重要検出物特定部503から、第2検出カメラ情報及び検出位置情報を受けたと判定し、かつ、記憶部506に記録された産業車両状態情報に基づき、判定時間内に複数の検出対象が検出されていた場合は、検出対象の存在する方向に設けられた複数のスピーカから音を出力させる。
ただし、出力制御部504は、第2検出カメラ情報と検出位置情報に基づいて、最も注意すべき検出対象に対応するスピーカから出力される音を、他のスピーカから出力される音と異なる態様で出力させるように、通知装置30を制御する。
具体的には、第2検出カメラ情報が第1カメラ20aを示し、検出位置情報が画像の右側で検出対象を検出したことを示す場合、または、第2検出カメラ情報が第2カメラ20bを示し、検出位置情報が画像の左側で検出対象を検出したことを示す場合、通知制御部504は、第1スピーカ30aから出力される音を、他のスピーカから出力される音と異なる態様で出力させるように、通知装置30を制御する。
また、同様に、第2検出カメラ情報と検出位置情報に基づき、第2スピーカ30b、第3スピーカ30c、第4スピーカ30dを他のスピーカから出力される音と異なる態様で出力させるように、通知装置30を制御する。
表示制御部505は、撮影装置20が撮影した画像を取得し、取得した画像を表示部40の小画像表示エリアRcに表示させる。
例えば、表示制御部505は、画像解析部501が第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dの順に撮影された画像を繰り返し取得するタイミングに同期して、画像解析部501が取得する画像と同一の画像を、撮影装置20から取得する。そして、表示制御部505は、取得した第1カメラ20aが撮影した第1撮影領域A1の画像、第2カメラ20bが撮影した第2撮影領域A2の画像、第3カメラ20cが撮影した第3撮影領域A3の画像、第4カメラ20dが撮影した第4撮影領域A4の画像を、図3に示すように、小画像表示エリアRcに小さく表示する。
また、表示制御部505は、重要検出物特定部503から第2検出カメラ情報及び検出位置情報を取得した場合、第2検出カメラ情報及び検出位置情報に基づいて、検出対象が検出された領域を、検出対象の検出されていない領域と異なる態様で表示部40の領域表示エリアRaに表示させる。
例えば、第1領域R1、第2領域R2、第3領域R3、第4領域R4のうち、第2領域R2で検出対象が検出された場合、表示制御部505は、第2領域R2を点灯させる等、検出対象が検出されていない第1領域R1、第3領域R3、及び、第4領域R4と異なる態様で表示部40の領域表示エリアRaに表示させる。
また、表示制御部505は、そのカメラが撮影した検出対象を含む画像を拡大して表示部40の大画像表示エリアRbに表示させる。
表示制御部505は、重要検出物特定部503から第2検出カメラ情報及び検出位置情報を受けたと判定し、かつ、記憶部506に記録された産業車両状態情報に基づき、判定時間内に複数の検出対象が検出されていた場合は、複数の領域のうち最も注意すべき領域を、検出対象が検出された他の領域と異なる態様で表示部40の領域表示エリアRaに表示させる。
具体的には、第1領域R1、第2領域R2、第3領域R3、第4領域R4のうち、第2領域R2及び第4領域R4で検出対象が検出され、第2領域R2が最も注意すべき領域である場合、表示制御部505は、領域表示エリアRaにおいて第2領域R2を点滅させ、第4領域R4を点灯させる。また、表示制御部505は、最も注意すべき検出対象を撮影したカメラ20aが撮影した検出対象を含む画像を拡大して表示部40の大画像表示エリアRbに表示させる。
なお、第1スピーカ30aの位置は、第1領域R1と対応している。第2スピーカ30bの位置は、第2領域R2と対応している。第3スピーカ30cの位置は、第3領域R3と対応している。第4スピーカ30dの位置は、第4領域R4と対応している。そのため、表示制御部505は、通知制御部504が検出対象の位置に対応するスピーカを特定する方法と同様の方法を用いることにより、検出対象の位置に対応する第1領域R1、第2領域R2、第3領域R3、第4領域R4と特定することができる。
また、例えば、表示制御部505は、図3に示すように、検出されたその検出対象の画像を拡大して表示部40の大画像表示エリアRbに表示させる場合、大画像表示エリアRb内に、第1カメラ20aが撮影したことを示す「前方カメラ」、第2カメラ20bが撮影したことを示す「右側カメラ」、第3カメラ20cが撮影したことを示す「後方カメラ」、第4カメラ20dが撮影したことを示す「左側カメラ」など、どのカメラが撮影した画像であるかがわかる情報を表示部40に表示させるものであってもよい。
記憶部506は、制御装置50が行う処理に必要な種々の情報を記憶する。
例えば、記憶部506は、時刻と産業車両1の状態とを関連付けた産業車両状態情報、及び、検出結果の画像、検出位置情報、第1カメラ情報を記憶する。
(産業車両1の動作)
次に、産業車両1が行う処理について説明する。
ここでは、図5に示す制御装置50の処理フローについて説明する。
制御装置50は、所定の画像取得周期ごとに図5に示す処理を実行する。なお、撮影装置20は、産業車両1の全周囲を撮影しているものとする。制御装置50の画像解析部501は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dの順に撮影する1つのカメラを特定する(ステップS1)。画像解析部501は、特定したカメラから画像を取得する(ステップS2)。また、表示制御部505は、取得した画像を撮影したカメラに応じて表示部40の小画像表示エリアRbの所定の位置に表示する(ステップS3)。
画像解析部501は、予め記憶している検出対象の特徴と撮影装置20が撮影した画像とを比較し、当該画像において検出対象を検出したか否かを判定する(ステップS4)。
画像解析部501は、取得した画像において検出対象を検出しない場合(ステップS1においてNO)、ステップS11へジャンプする。
また、画像解析部501は、取得した画像において検出対象を検出した場合(ステップS1においてYES)、その画像の左右どちら側で検出対象を検出したかを特定する(ステップS5)。
例えば、画像解析部501は、画像においてパターン認識技術を用いて検出対象を検出する際に、予め記憶した検出対象についての特徴に一致する部分が、画像の左右のどちらに含まれているかによって、画像の左右どちら側で検出対象を検出したかを特定する。
次に、画像解析部501は、ステップS1で特定したカメラの情報(撮影性能、産業車両1における設置位置、及び撮影方向)を取得する(ステップS6)。
また、画像解析部501は、取得した画像において検出対象を検出した場合、ステップS2で取得した画像に基づいて、検出した検出対象と産業車両1との間の距離を推定する(ステップS7)。
例えば、画像解析部501は、検出対象の寸法に対応する画像サイズ(画素数)を記憶しておき、記憶した画像サイズと画像内で検出した検出対象のサイズ(画素数)との比から産業車両1から検出対象までの距離を推定することができる。
そして、画像解析部501は、取得した画像において検出対象を検出する度に、検出結果の画像、画像の左右どちら側で検出対象を検出したかを示す検出位置情報、検出対象が含まれる画像を撮影したカメラを示す第1検出カメラ情報、及び、産業車両1から検出対象までの距離を示す距離情報を、重要検出物特定部503に出力する。
重要検出物特定部503は、操作判定部502から操作情報を取得する(ステップS8)。操作判定部502は、例えば、運転者によって産業車両1に対して行われている操作の内容を産業車両1に設けられた図示していないセンサ、及び、操作装置10の状態から特定する。
重要検出物特定部503は、操作情報及び距離情報に基づいて、産業車両1の状態を特定し(ステップS9)、特定した時刻と産業車両状態情報、及び、検出結果の画像、検出位置情報、第1カメラ情報を記憶部506に保存する(ステップS10)。次に、重要検出物特定部503は、記憶部506の情報を基に、判定時間内に検出対象を検出したか否かを判断する(ステップS11)。判定時間は、画像取得周期の4倍の時間である。つまり、重要検出物特定部503は、ステップS2で取得した画像、およびそれ以前に取得された他の3つのカメラが撮影した画像において、検出対象を検出したか否かを判断する。
重要検出物特定部503は、判定時間内に検出対象を複数検出した場合(ステップS11において複数)、最も注意すべき検出対象を撮影したカメラを示す第2検出カメラ情報を生成する(ステップS12)。重要検出物特定部503は、判定時間内に検出対象を1度しか検出しなかった場合(ステップS11において1つ)、検出した検出対象を撮影したカメラを第2検出カメラ情報とする(ステップS13)。判定時間内に検出対象を1度も検出しなかった場合(ステップS11においてなし)、通知制御部504による通知や表示制御部505による表示などの報知を停止させる(ステップS14)。
重要検出物特定部503は、第2検出カメラ情報と検出位置情報を、通知制御部504及び表示制御部505に出力する。
通知制御部504は、判定時間内に検出対象を複数検出した場合(ステップS11において複数)、検出対象の存在する方向に設けられた複数のスピーカから音を出力する。このとき、通知制御部504は、最も注意すべき検出対象に対応するスピーカから出力する音の態様を、他のスピーカから出力される音と異なる態様とする(ステップS15)。通知制御部504は、判定時間内に検出対象を1度しか検出しなかった場合(ステップS11において1つ)、検出対象の存在する方向に設けられたスピーカから音を出力する(ステップS16)。
表示制御部505は、判定時間内に検出対象を複数検出した場合(ステップS11において複数)、検出対象が検出された複数の領域を、検出対象の検出されていない領域と異なる態様で表示する。このとき、表示制御部505は、最も注意すべき検出対象に対応する領域を、検出対象が検出された他の領域と異なる態様で表示する(ステップS17)。表示制御部505は、判定時間内に検出対象を1度しか検出しなかった場合(ステップS11において1つ)、検出対象が検出された領域を、検出対象の検出されていない領域と異なる態様で表示する出力する(ステップS18)。
表示制御部505は、ステップS12またはステップS13で生成した第2検出カメラ情報が示すカメラが撮影した画像を、表示部40の大画像表示エリアRbに拡大表示させる。このとき表示制御部505は、拡大表示されている画像内に、どのカメラが撮影した画像であるかがわかる情報を表示する(ステップS19)。
(作用・効果)
以上、本発明の一実施形態による産業車両1について説明した。
本発明の一実施形態による産業車両1の制御装置50において、重要検出物特定部503は、産業車両1の周囲で複数の検出対象が検出された場合に、産業車両1の状態に基づいて、複数の検出対象の中から1つを特定する。通知制御部504および表示制御部505は、特定された1つの検出対象について、検出された他の検出対象と異なる態様で報知させる。
こうすることで、運転者が音を聞くことによって検出対象が検出されたことを知り、その後、モニタの表示を見て検出対象の存在する位置を知る場合に比べて、特定の検出対象の存在する位置を直感的に知ることができる。
具体的には、検出対象が複数検出された場合に、音出力制御部504が最も注意すべき検出対象を、他の検出対象と異なる態様で音波出力装置30を用いて報知することによって、運転者は、音を聞くだけで、検出対象の存在する方向を直感的に知ることができる。また、検出対象が複数検出された場合に、表示制御部505が最も注意すべき検出対象を、他の検出対象と異なる態様で表示部40を用いて報知することによって、運転者は、表示を見るだけで、検出対象の存在する方向を直感的に知ることができる。
また、この場合、運転者は、最も注意すべき検出対象を直感的に知ることもできる。
<第2の実施形態>
第1の実施形態に係る産業車両1は、撮影画像の表示と、検出対象が検出された領域の通知とを1つのコンポーネントによって行う。これに対し、第2の実施形態に係る産業車両は、撮影画像の表示を行うコンポーネントである周囲モニタ装置と、検出対象が検出された領域の通知を行うコンポーネントである検出物通知装置とを別個に備える。これは、ユーザによっては、周囲モニタ装置のみの装着を希望する場合があることに加えて、俯瞰画像を作成するための画像領域が検出を行うための画像領域より狭い場合は、検出した検出対象を必ずしも俯瞰画像内に表示することができないためである。また、俯瞰画像内に表示が可能な場合でも、俯瞰画像を作成する際に検出対象の形状が大きく変化してしまうなど、適切に検出ができない、もしくは適切な表示ができないことがあるためである。
図6は、第2の実施形態に係る検出物通知システム200の外観図である。第2の実施形態に係る産業車両1は、第1の実施形態に係る第1スピーカ30a、第2スピーカ30b、第3スピーカ30c、第4スピーカ30d、表示部40及び制御装置50に代えて、図6に示す検出物通知システム200を備える。
検出物通知システム200は、周囲モニタ装置210と検出物通知装置220とを備える。
周囲モニタ装置210は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dが撮影した画像を俯瞰画像に変換して表示する。俯瞰画像の中心には、産業車両1を表す画像が表示される。
検出物通知装置220は、周囲モニタ装置210を上から覆う筐体として構成される。検出物通知装置220は、産業車両1の近傍に存在する検出対象の存在を通知する。
周囲モニタ装置210と検出物通知装置220は、それぞれ別個に動作する。つまり、周囲モニタ装置210は検出物通知装置220を制御せず、検出物通知装置220は周囲モニタ装置210を制御しない。
(周囲モニタ装置210)
図7は、第2実施形態に係る周囲モニタ装置210に表示される画像の例である。周囲モニタ装置210は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dが撮影した画像を加工することで生成された俯瞰画像P1と、第1カメラ20a、第2カメラ20b、第3カメラ20c、または第4カメラ20dのいずれかが撮影した原画像P2とを表示する。原画像P2は、撮影されたカメラに応じて、回転または反転して表示されてよい。例えば、周囲モニタ装置210は、後方を撮影する第3カメラ20aが撮影した原画像P2を、上下反転させて表示することで、利用者は、当該原画像P2が後方を写していることを容易に理解することができる。
なお、本実施形態において、各カメラが撮影した画像において、検出に用いる部分と、表示に用いる部分とは異なっていてもよい。例えば、検出物通知装置220が画像の全領域を用いて検知するのに対し、周囲モニタ装置210は、画像の一部をトリミングして俯瞰画像P1を生成してもよい。
(検出物通知装置220)
検出物通知装置220は、筐体部221、第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222d、状態通知ランプ223、ブザー224、制御装置225を備える。第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222d、および状態通知ランプ223は、表示部の一例である。
筐体部221は、直方体の筐体であって、周囲モニタ装置210を上から覆うように設けられる。筐体部221の前面のうち周囲モニタ装置210のディスプレイに対応する部分には、矩形の開口が設けられる。
第1領域ランプ222aは、L字型のランプである。第1領域ランプ222aは、筐体部221の開口の右上部分を囲うように設けられる。
第2領域ランプ222bは、L字型のランプである。第2領域ランプ222bは、筐体部221の開口の左上部分を囲うように設けられる。
第3領域ランプ222cは、L字型のランプである。第3領域ランプ222cは、筐体部221の開口の左下部分を囲うように設けられる。
第4領域ランプ222dは、L字型のランプである。第4領域ランプ222dは、筐体部221の開口の右下部分を囲うように設けられる。
状態通知ランプ223は、第1領域ランプ222aと第2領域ランプ222bとの間に設けられる。状態通知ランプ223は、検出物通知装置220の状態を示す。例えば、検出物通知装置220が正常に動作している場合、状態通知ランプ223は緑色に点灯する。また、検出物通知装置220の検出対象の検出機能が正常に動作していない場合、状態通知ランプ223は赤色に点灯する。また、検出物通知装置220が動作していない場合、状態通知ランプ223は消灯する。
ブザー224は、制御装置225によって検出対象が検出されたときに、警告音を発する。
第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222d、および状態通知ランプ223は、例えばLEDなどによって構成される。
制御装置225は、筐体部221の内部に設けられる。制御装置225は、第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222d、状態通知ランプ223、およびブザー224を制御する。
第2の実施形態に係る制御装置225は、第1の実施形態に係る制御装置50と同様の構成を有する。すなわち、制御装置225は、画像解析部501、操作判定部502、重要検出物特定部503、通知制御部504、表示制御部505、記憶部506を備える。他方、第2の実施形態に係る制御装置225は、第1の実施形態の制御装置50と挙動が異なる。
(検出物通知装置220の動作)
制御装置225が起動すると、表示制御部505は、状態通知ランプ223を緑色に点灯させる。そして、制御装置225は、判定時間ごとに、図8に示す処理を実行する。
まず、制御装置225の画像解析部501は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dを画像取得周期ごとに1つずつ選択し(ステップS101)、選択したカメラについて以下のステップS102からステップS105の処理を行う。
画像解析部501は、ステップS101で選択したカメラが撮影した画像を取得する(ステップS102)。画像解析部501は、取得した画像を解析し、当該画像に検出対象が写っているか否かを判定する(ステップS103)。すなわち画像解析部501は、取得した画像から検出対象が検出されたか否かを判定する。画像から検出対象が検出された場合(ステップS103:YES)、画像解析部501は、画像における検出対象が写っている位置に基づいて、検出対象が検出された領域を特定する(ステップS104)。また画像解析部501は、取得した画像とステップS101で選択したカメラの情報とに基づいて、産業車両1と検出対象との距離を推定する(ステップS105)。
画像解析部501は、各カメラの撮影画像について検出対象の検出処理を行うと、すべての撮影画像について画像解析が正常に完了したか否かを判定する(ステップS106)。少なくとも1つの撮影画像について画像解析が異常終了した場合(ステップS106においてNO)、表示制御部505は、表示制御部505は、状態通知ランプ223を赤色に点灯させ(ステップS107)、処理を終了する。これにより、利用者は、第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222dのいずれもが点灯していない状態であっても、これが検出対象が存在しないためではなく、検出機能が正常に働いていないためであると認識することができる。
すべての撮影画像について画像解析が正常に完了した場合(ステップS106においてYES)、画像解析部501は、第1領域R1、第2領域R2、第3領域R3、および第4領域R4の少なくとも1つにおいて検出対象が検出されたか否かを判定する(ステップS108)。
第1領域R1、第2領域R2、第3領域R3、および第4領域R4のいずれにも検出対象が検出されなかった場合(ステップS108においてNO)、表示制御部505は、第1領域ランプ222a、第2領域ランプ222b、第3領域ランプ222c、第4領域ランプ222dのすべてを消灯させる。また、通知制御部504は、ブザー224の発音を停止させ(ステップS109)、処理を終了する。
第1領域R1、第2領域R2、第3領域R3、および第4領域R4の少なくとも1つにおいて検出対象が検出された場合(ステップS108においてYES)、重要検出物特定部503は、検出対象が検出された領域のうち、ステップS105で特定された距離が最も短いものを、最も注意すべき検出対象が検出された領域に特定する(ステップS110)。
表示制御部505は、ステップS110で特定した領域を第1の態様で点灯させ、検出対象が検出された他の領域を第2の態様で点灯させる(ステップS111)。例えば、表示制御部505は、ステップS110で特定した領域を相対的に高い明度で点灯させ、検出対象が検出された他の領域を相対的に低い明度で点灯させてよい。また例えば、表示制御部505は、ステップS110で特定した領域を赤色に点灯させ、検出対象が検出された他の領域を黄色に点灯させてよい。また例えば、表示制御部505は、ステップS110で特定した領域を点灯させ、検出対象が検出された他の領域を点滅させてもよい。
画像解析部501は、第1領域R1、第2領域R2、第3領域R3、および第4領域R4のうち、検出対象が検出されない状態から検出された状態に変化したものが存在するか否かを判定する(ステップS112)。検出対象が検出されない状態から検出された状態に変化した領域が少なくとも1つ存在する場合(ステップS112においてYES)、通知制御部504は、ブザー224が既に警告音を発しているか否かを判定する(ステップS113)。
ブザー224が警告音を発していない場合(ステップS113においてNO)、通知制御部504は、ブザー224に警告音を発音させ、ブザー鳴動時間の計測を開始し(ステップS114)、処理を終了する。
他方、ブザー224が既に警告音を発している場合(ステップS113においてYES)、通知制御部504は、ブザー鳴動時間をリセットし、再度計測を開始し(ステップS115)、処理を終了する。
検出対象が検出されない状態から検出された状態に変化した領域が存在しない場合(ステップS112においてNO)、通知制御部504は、ブザー224が既に警告音を発しているか否かを判定する(ステップS116)。
ブザー224が警告音を発していない場合(ステップS116においてNO)、通知制御部504は、ブザー224が停止している状態を継続し、処理を終了する。
他方、ブザー224が既に警告音を発している場合(ステップS116においてYES)、通知制御部504は、ブザー鳴動時間が所定のブザー時間以上であるか否かを判定する(ステップS117)。ブザー鳴動時間が所定のブザー時間未満である場合(ステップS117においてNO)、通知制御部504は、ブザー224による警告音の発音を継続させ(ステップS118)、処理を終了する。
他方、ブザー鳴動時間が所定のブザー時間以上である場合(ステップS117においてYES)、通知制御部504は、ブザー224を停止させ(ステップS119)、処理を終了する。これにより、通知制御部504は、一の領域に検出対象が検出され続けている間、ブザーが鳴りっぱなしになることを防ぎつつ、新たな検出対象が検出された場合に、再度ブザーを鳴らすことができる。
(作用・効果)
このように、第2の実施形態に係る検出物通知システム200において、検出物通知装置220のランプ222が周囲モニタ装置210の外周に沿って設けられている。これにより、検出物通知装置220は、周囲モニタ装置210を制御することができない場合にも、適切に検出対象の方向を表示することができる。
<第3の実施形態>
第1の実施形態に係る産業車両1は、4つのカメラを備える。これに対し、第3の実施形態に係る産業車両1は、8つのカメラを備える。図9は、第3の実施形態に係る産業車両のカメラ配置を示す図である。
第3の実施形態に係る産業車両1は、左斜め前方を撮影するカメラ20e、右斜め前方を撮影するカメラ20f、車体前部から左方向を撮影するカメラ20g、車体前部から右方向を撮影するカメラ20h、車体後部から左方向を撮影するカメラ20i、車体後部から右方向を撮影するカメラ20j、左斜め後方を撮影するカメラ20k、右斜め後方を撮影するカメラ20lを備える。
第3の実施形態に係る各カメラの撮影範囲は、複数の領域にまたがる。一方で、画像における2つの領域の境界線は、必ずしも画像の中心線ではない。そのため、第3の実施形態に係る制御装置50は、カメラごとに領域を区切る境界線を記憶しておき、検出対象が当該境界線の左側に写っているか右側に写っているかを判定することで、検出対象が存在する領域を特定する。なお、境界線は画像のY軸に平行に設定されてもよいし、傾きをもって設定されてもよい。また境界線は直線で合ってもよいし曲線であってもよい。
<他の実施形態>
なお、本発明の一実施形態では、撮影装置20は、第1カメラ20a、第2カメラ20b、第3カメラ20c、第4カメラ20dを備えるものとして説明した。しかしながら、本発明の別の実施形態では、撮影装置20は、産業車両1の全周囲を大きな死角を作ることなく撮影することができればよく、撮影装置20に含まれるカメラの台数及びカメラが設けられる位置は限定されない。
また、産業車両1の大きさやカメラの撮影可能な範囲によっては、本発明の一実施形態で例示した4台のカメラでは死角が大きすぎる可能性がある。このような場合には、例えば、撮影装置20は、5台以上のカメラを備え、死角をより小さくするものであってもよい。
なお、本発明の一実施形態では、音波出力装置30は、第1スピーカ30a、第2スピーカ30b、第3スピーカ30c、第4スピーカ30dを備えるものとして説明した。しかしながら、本発明の別の実施形態では、音波出力装置30は、検出対象が検出された場合に、産業車両1を基準としたその検出対象が存在する位置に対応する方向または領域から音が出力されるスピーカであれば、スピーカの台数及びスピーカが設けられる位置は限定されない。
なお、本発明の一実施形態では、表示制御部505は、撮影装置20のそれぞれが撮影した画像を小さく表示するものとして説明した。しかしながら、本発明の別の実施形態では、表示制御部505は、検出対象を検出した場合に、その検出対象を含む画像のみを拡大して表示させるものであってもよい。
なお、本発明の一実施形態では、表示制御部505は、産業車両1の後方を撮影した画像をそのまま表示部40に表示するものとして説明した。しかしながら、本発明の別の実施形態では、表示制御部505は、産業車両1の後方を撮影した画像を左右反転させて表示部40に表示させる(すなわち、バックモニタと同様に表示部に表示させる)ものであってもよい。また、本発明の別の実施形態では、表示制御部505は、産業車両1の周囲を撮影した画像を加工して(車両の)俯瞰映像を生成し、生成した俯瞰映像を表示部40に表示させるものであってもよい。
なお、本発明の一実施形態では、画像解析部501は、取得した画像全体について検出対象を検出するものとして説明した。しかしながら、本発明の別の実施形態では、画像解析部501は、取得した画像の一部(例えば、画像の下半分、つまり、撮影領域のうち産業車両1に近い半分の領域)についてのみ検出対象を検出するものであってもよい。つまり、本発明の別の実施形態では、画像解析部501は、取得した画像の一部以外の領域に検出対象が写っていても検出対象と判断しないものであってもよい。そして、この場合、通知制御部504は、画像において検出対象が写っていて検出対象と判断されないため、スピーカから音を出力させる制御を行うことになる。
なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。
本発明の実施形態における記憶部506、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部506、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。
本発明の実施形態について説明したが、上述の制御装置50、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図10は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ5は、図10に示すように、CPU6、メインメモリ7、ストレージ8、インターフェース9を備える。
例えば、上述の制御装置50、その他の制御装置のそれぞれは、コンピュータ5に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ8に記憶されている。CPU6は、プログラムをストレージ8から読み出してメインメモリ7に展開し、当該プログラムに従って上記処理を実行する。また、CPU6は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ7に確保する。
ストレージ8の例としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気ディスク、光磁気ディスク、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)、半導体メモリ等が挙げられる。ストレージ8は、コンピュータ5のバスに直接接続された内部メディアであってもよいし、インターフェース9または通信回線を介してコンピュータ5に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ5に配信される場合、配信を受けたコンピュータ5が当該プログラムをメインメモリ7に展開し、上記処理を実行してもよい。少なくとも1つの実施形態において、ストレージ8は、一時的でない有形の記憶媒体である。
また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル(差分プログラム)であってもよい。
なお、他の実施形態においては、制御装置127は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)、及びこれらに類する処理装置を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。
1・・・産業車両
5・・・コンピュータ
6・・・CPU
7・・・メインメモリ
8・・・ストレージ
9・・・インターフェース
10・・・操作装置
20・・・撮影装置
20a・・・第1カメラ
20b・・・第2カメラ
20c・・・第3カメラ
20d・・・第4カメラ
30・・・音波出力装置
30a・・・第1スピーカ
30b・・・第2スピーカ
30c・・・第3スピーカ
30d・・・第4スピーカ
40・・・表示部
50・・・制御装置
200・・・検出物通知システム
210・・・周囲モニタ装置
220・・・検出物通知装置
221・・・筐体部
222a・・・第1領域ランプ
222b・・・第2領域ランプ
222c・・・第3領域ランプ
222d・・・第4領域ランプ
223・・・状態通知ランプ
224・・・ブザー
225・・・制御装置
501・・・画像解析部
502・・・操作判定部
503・・・重要検出物特定部
504・・・通知制御部
505・・・表示制御部
506・・・記憶部

Claims (9)

  1. 複数のカメラを含む撮影装置の撮影画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定する特定部と、
    前記特定部で特定した1つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像に基づいて、前記特定部が特定した1つの検出物について、検出された他の検出物と異なる態様で報知させる制御部と、
    を備える制御装置。
  2. 前記状態は、
    前記産業車両と前記検出物との距離、前記産業車両の車輪の操舵角、及び、前記産業車両の進行方向のうちの少なくとも1つを含む、
    請求項1に記載の制御装置。
  3. 前記制御部は、
    前記特定部が特定した1つの検出物を、検出された他の検出物と異なる態様で表示部に表示させる、
    請求項1または請求項2に記載の制御装置。
  4. 前記制御部は、
    前記1つの検出物の特定に用いた撮影画像を、前記特定部で特定した1つの検出物を撮影したカメラの情報に基づいて表示部に表示させる、
    請求項1から請求項3の何れか一項に記載の制御装置。
  5. 前記制御部は、
    前記撮影画像における当該検出物の位置と前記カメラの情報に基づいて、前記表示部に表示する前記検出物の位置を特定する、
    請求項4に記載の制御装置。
  6. 前記撮影装置の撮影画像から産業車両の周囲の俯瞰画像を作成する周囲表示部をさらに有し、
    前記制御部は、前記周囲表示部の外縁にそって、前記特定部が特定した1つの検出物について、検出された他の検出物と異なる態様で表示部に表示させる、
    請求項1から請求項5の何れか一項に記載の制御装置。
  7. 前記制御部は、
    前記特定部が特定した1つの検出物の位置に対応するスピーカから、前記他の検出物と異なる音を出力させる、
    請求項1から請求項5の何れか一項に記載の制御装置。
  8. 複数のカメラを含む撮影装置の撮像画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定することと、
    特定した前記1つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、特定した前記1つの検出物について、検出された他の検出物と異なる態様で報知させることと、
    を含む制御方法。
  9. コンピュータに、
    複数のカメラを含む撮影装置の撮像画像に基づいて、産業車両の周囲で複数の検出物が検出された場合に、前記産業車両の状態に基づいて、複数の前記検出物の中から1つを特定することと、
    特定した前記1つの検出物を撮影したカメラの情報と、当該検出物の特定に用いた撮影画像とに基づいて、特定した前記1つの検出物について、検出された他の検出物と異なる態様で報知させることと、
    を実行させるプログラム。
JP2020037260A 2019-04-11 2020-03-04 制御装置、制御方法及びプログラム Active JP7016900B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010251651.3A CN111807272B (zh) 2019-04-11 2020-04-01 控制装置、控制方法以及记录介质
EP20168787.8A EP3722522B1 (en) 2019-04-11 2020-04-08 Control device, control method, and program
US16/843,935 US11544937B2 (en) 2019-04-11 2020-04-09 Control device, control method, and computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019075677 2019-04-11
JP2019075677 2019-04-11

Publications (2)

Publication Number Publication Date
JP2020172396A true JP2020172396A (ja) 2020-10-22
JP7016900B2 JP7016900B2 (ja) 2022-02-07

Family

ID=72829978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020037260A Active JP7016900B2 (ja) 2019-04-11 2020-03-04 制御装置、制御方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7016900B2 (ja)
CN (1) CN111807272B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7456368B2 (ja) 2020-12-21 2024-03-27 株式会社豊田自動織機 フォークリフト用作業支援装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005134971A (ja) * 2003-10-28 2005-05-26 Fujitsu Ten Ltd 運転支援装置
JP2006011516A (ja) * 2004-06-22 2006-01-12 Equos Research Co Ltd 障害物検知支援装置
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2015009646A (ja) * 2013-06-28 2015-01-19 アルパイン株式会社 運転支援装置
JP2017101420A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018014554A (ja) * 2016-07-19 2018-01-25 株式会社クボタ 作業車
US20180057049A1 (en) * 2016-08-26 2018-03-01 Crown Equipment Corporation Materials handling vehicle obstacle scanning tools
JP2018157449A (ja) * 2017-03-21 2018-10-04 株式会社フジタ 建設機械用俯瞰画像表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07206396A (ja) * 1994-01-25 1995-08-08 Toyota Autom Loom Works Ltd フォークリフトのヘッドガード
WO2012169352A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
EP3389026A1 (en) * 2017-04-12 2018-10-17 Volvo Car Corporation Apparatus and method for road vehicle driver assistance

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005134971A (ja) * 2003-10-28 2005-05-26 Fujitsu Ten Ltd 運転支援装置
JP2006011516A (ja) * 2004-06-22 2006-01-12 Equos Research Co Ltd 障害物検知支援装置
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2015009646A (ja) * 2013-06-28 2015-01-19 アルパイン株式会社 運転支援装置
JP2017101420A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018014554A (ja) * 2016-07-19 2018-01-25 株式会社クボタ 作業車
US20180057049A1 (en) * 2016-08-26 2018-03-01 Crown Equipment Corporation Materials handling vehicle obstacle scanning tools
JP2018157449A (ja) * 2017-03-21 2018-10-04 株式会社フジタ 建設機械用俯瞰画像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7456368B2 (ja) 2020-12-21 2024-03-27 株式会社豊田自動織機 フォークリフト用作業支援装置

Also Published As

Publication number Publication date
JP7016900B2 (ja) 2022-02-07
CN111807272A (zh) 2020-10-23
CN111807272B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
EP3722522B1 (en) Control device, control method, and program
JP6394281B2 (ja) 車載注意喚起システム、報知制御装置
JP6370358B2 (ja) 透明な電子ディスプレイ上の表示適合
WO2016147584A1 (ja) 車両監視装置、車両監視方法、及び、車両監視プログラム
JP2020067979A (ja) 車両用障害物報知装置
TW201623067A (zh) 燈號警示裝置及其方法、電腦可讀取紀錄媒體、及電腦程式產品
JP7016900B2 (ja) 制御装置、制御方法及びプログラム
JP2018026757A (ja) 周辺監査装置
JP2017165218A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2019153932A (ja) 汚れ報知装置
JP2021125021A (ja) 死角情報取得装置、死角情報取得方法、車両及びプログラム
JP5226641B2 (ja) 車両用障害物検出装置
JP2015232846A (ja) 前方状況判定装置
JP6690312B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2004274538A (ja) 車両周辺視認装置
JP5828492B1 (ja) 荷役車両
JP7267222B2 (ja) 処理装置、処理方法、報知システム及びプログラム
JP4151571B2 (ja) 車載用障害物検出装置
JP4598011B2 (ja) 車両用表示装置
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
JP2019177718A (ja) 表示制御装置及びヘッドアップディスプレイ装置
JP7253000B2 (ja) アプリケーションプログラム、情報提供方法、および情報提供装置
CN115398506B (zh) 安全驾驶判定装置
JP7247252B2 (ja) アプリケーションプログラム、情報提供方法、および端末装置
US10897572B2 (en) Imaging and display device for vehicle and recording medium thereof for switching an angle of view of a captured image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220126