JP2021068974A - 監視システムおよび監視方法 - Google Patents

監視システムおよび監視方法 Download PDF

Info

Publication number
JP2021068974A
JP2021068974A JP2019192054A JP2019192054A JP2021068974A JP 2021068974 A JP2021068974 A JP 2021068974A JP 2019192054 A JP2019192054 A JP 2019192054A JP 2019192054 A JP2019192054 A JP 2019192054A JP 2021068974 A JP2021068974 A JP 2021068974A
Authority
JP
Japan
Prior art keywords
unit
mobile robot
image
camera
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019192054A
Other languages
English (en)
Inventor
康孝 江藤
Yasutaka Eto
康孝 江藤
智仁 松岡
Tomohito Matsuoka
智仁 松岡
伸之 戸松
Nobuyuki Tomatsu
伸之 戸松
大見 正宣
Masanori Omi
正宣 大見
山本 学
Manabu Yamamoto
学 山本
英 渡邊
Suguru Watanabe
英 渡邊
洋平 谷川
Yohei Tanigawa
洋平 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019192054A priority Critical patent/JP2021068974A/ja
Priority to US16/983,305 priority patent/US20210120185A1/en
Priority to CN202010806123.XA priority patent/CN112770084A/zh
Publication of JP2021068974A publication Critical patent/JP2021068974A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】複数の移動ロボットと監視装置とを備えた監視システムを提供する。【解決手段】監視装置200は、監視カメラで撮影された画像を取得する第1画像取得部212と、監視カメラの設置位置を記憶する監視カメラ位置保持部220と、第1画像取得部212で取得された画像を解析する画像解析部222と、画像解析部222による解析結果から情報を必要とする領域を特定する領域特定部224と、移動ロボットに対して領域特定部224が特定した領域への出動指示を送信する指示部226とを備える。移動ロボットは、カメラで撮影した画像を、撮影した位置を示す撮影位置情報とともに、監視装置200に送信する。第2画像取得部214は、移動ロボットのカメラで撮影した画像と撮影位置情報とを取得する。【選択図】図8

Description

本発明は、カメラを備えた移動ロボットを利用する監視システムおよび監視方法に関する。
特許文献1は、監視対象施設を自律的にまたは半自律的に巡回する移動ロボットと、監視対象施設に設けられた移動ロボットの制御装置と、遠隔の監視センタとを含み、制御装置が移動ロボットおよび監視センタと通信可能な監視システムを開示する。
特開2007−148793号公報
近年、記録的な大雨による河川や用水路の氾濫が頻発していることから、河川や用水路を撮影する定点カメラを設置して、撮影画像を監視センタにリアルタイムで送信するシステムが構築されている。現在のところ、監視員が河川や用水路の様子を目視で監視しているが、将来的には、人工知能等を利用した画像解析によって、河川や用水路の氾濫発生を判断し、さらには氾濫発生を予測できるようになることが期待されている。このような判断や予測の精度を高めるためには、監視対象である領域で取得される情報が正確である必要がある。
そこで本発明の目的は、監視対象である領域の正確な情報を取得するための仕組みを実現することにある。
上記課題を解決するために、本発明のある態様は、複数の移動ロボットと監視装置とを備えた監視システムに関する。移動ロボットは、カメラと、監視装置から送信される出動指示にしたがって走行機構を制御して当該移動ロボットを走行させる走行制御部と、カメラで撮影した画像を、撮影した位置を示す撮影位置情報とともに監視装置に送信する撮影画像送信部とを有する。監視装置は、監視カメラで撮影された画像を取得する第1画像取得部と、監視カメラの設置位置を記憶するカメラ位置保持部と、第1画像取得部で取得された画像を解析する解析部と、解析部による解析結果から、情報を必要とする領域を特定する特定部と、移動ロボットに対して、特定部が特定した領域への出動指示を送信する指示部と、移動ロボットのカメラで撮影した画像と撮影位置情報とを取得する第2画像取得部とを備える。
本発明の別の態様は、監視方法であって、監視カメラが撮影した画像を取得するステップと、監視カメラが撮影した画像を解析するステップと、解析した結果から情報を必要とする領域を特定するステップと、移動ロボットに対して特定した領域への出動指示を送信するステップと、移動ロボットのカメラが撮影した画像を取得するステップと、移動ロボットのカメラが撮影した画像を解析するステップと、を備える。
本発明によれば、監視対象である領域の正確な情報を取得する仕組みを実現する。
実施例の移動ロボットの斜視図である。 起立した姿勢にある移動ロボットの斜視図である。 荷物を積んだ移動ロボットの斜視図である。 走行機構に対する本体部の相対運動を説明するための図である。 移動ロボットの構造について説明するための図である。 移動ロボットの機能ブロックを示す図である。 実施例の監視システムの概要を示す図である。 監視装置の機能ブロックを示す図である。
図1(a)および図1(b)は、実施例の移動ロボット10の斜視図を示す。移動ロボット10の高さは、例えば1〜1.5メートル程度であってよい。移動ロボット10は、自律走行機能を有する走行機構12と、走行機構12に支持されて、荷物等の物体を載せるための本体部14とを備える。走行機構12は、第1車輪体22および第2車輪体24を備え、第1車輪体22は、一対の前輪20aおよび一対の中輪20bを有し、第2車輪体24は、一対の後輪20cを備える。図1(a)および図1(b)には、前輪20a、中輪20b、後輪20cが、直線状に並んでいる状態を示す。
本体部14は、矩形に形成された枠体40を有し、枠体40の内側は、荷物等の物体を載せる収容空間を構成する。枠体40は、一対の右側壁18a、左側壁18bと、一対の側壁を下側で繋ぐ底板18c、および一対の側壁を上側で繋ぐ上板18dを有して構成される。右側壁18aおよび左側壁18bの内面には、対向する一対の突条部(リブ)56a、56b、56c(以下、特に区別しない場合には「突条部56」と呼ぶ)が設けられる。本体部14は走行機構12に相対運動可能に連結される。実施例の移動ロボット10は、荷物を積んで、設定された目的地まで自律走行し、目的地に待機しているユーザに荷物を届ける宅配機能を有する。以下、本体部14の向きに関し、本体部14が走行機構12に対して直立した状態で枠体40の開口に垂直な方向を「前後方向」、一対の側壁を垂直に貫く方向を「左右方向」と呼ぶ。
図2(a)および図2(b)は、起立した姿勢の移動ロボット10の斜視図を示す。走行機構12における前輪20aおよび後輪20cが互いに接近し、第1車輪体22および第2車輪体24が接地面に対して互いに傾斜することで、移動ロボット10は起立姿勢をとる。たとえば移動ロボット10が目的地に到達し、目的地にいるユーザの前で起立姿勢をとることで、ユーザは本体部14に載せられた自分宛の荷物を取りやすくなる。
図3は、荷物を積んで起立姿勢にある移動ロボット10の斜視図を示す。図3には、本体部14に、第1荷物16a、第2荷物16bおよび第3荷物16cが積まれている様子が示される。第1荷物16a、第2荷物16bおよび第3荷物16cは、右側壁18aおよび左側壁18bの内面に形成された突条部56に載置または係合することで、本体部14に載せられる。
図3に示す第1荷物16a、第2荷物16bおよび第3荷物16cは箱形状であるが、本体部14に載せられる物体は箱形状に限らない。たとえば一対の突条部56に、物体を収納するための容器が載置されて、物体は容器に入れられるようにしてもよい。また枠体40の上板18dの内面にフックが設けられ、物体を取っ手付きの袋に入れた上で、袋の取っ手がフックに掛けられて、袋が吊されてもよい。
なお枠体40の内側の収容空間には、荷物以外に、様々な物が収容可能である。たとえば枠体40に冷蔵庫を収容することで、移動ロボット10は、動く冷蔵庫として機能できる。また枠体40に商品を搭載した商品棚を収容することで、移動ロボット10は、動く店舗として機能できる。
実施例の移動ロボット10はカメラを備え、災害が発生しそうな領域など、正確な情報を必要とする領域に急行し、カメラで撮影した画像を監視装置に送信する撮影ロボットとして機能する。監視装置は、定点カメラである監視カメラの撮影映像を解析して、道路や河川の状況を常時監視している。監視装置は、監視カメラの監視対象である領域や、その周辺の領域における正確な情報が必要であることを判断すると、当該領域に移動ロボット10を向かわせて、当該領域の画像を撮影させるようにする。移動ロボット10による撮影ロボットとしての動作については、図7〜図8を用いて説明する。
図4(a)および図4(b)は、走行機構12に対する本体部14の相対運動を説明するための図である。
図4(a)は、枠体40の側壁を鉛直方向に対して傾斜させた状態を示す。枠体40は走行機構12に対して、左右方向に延在する連結軸により相対回転可能に支持され、前後方向のいずれにも傾斜できる。
図4(b)は、枠体40が鉛直方向の軸回りに略90度回転した状態を示す。枠体40は走行機構12に対して、垂直方向に延在する連結軸により相対回転可能に支持され、その連結軸回りに枠体40と走行機構12とが相対回転することで、図4(b)に示すように枠体40が回転する。枠体40は、360度回転可能であってよい。
図5(a)および図5(b)は、移動ロボット10の構造について説明するための図である。図5(a)は、走行機構12の構造を示し、図5(b)は、主に本体部14の構造を示す。実際には走行機構12および本体部14に、電源部および制御部が設けられるが、図5(a)および図5(b)では省略している。
図5(a)に示すように、走行機構12は、前輪20a、中輪20b、後輪20c、第1車輪体22、第2車輪体24、軸体26、連結ギヤ28、起立アクチュエータ30、軸体支持部32、オブジェクト検出センサ34、前輪モータ36および後輪モータ38を有する。
第1車輪体22は、一対のサイドメンバ22aと、一対のサイドメンバ22aを連結して車幅方向に延在するクロスメンバ22bとを有する。一対のサイドメンバ22aは、クロスメンバ22bの両端から垂直な方向に延びるように設けられる。一対の前輪20aは、一対のサイドメンバ22aの前端の位置にそれぞれ設けられ、一対の中輪20bは、クロスメンバ22bの両端側の位置にそれぞれ設けられる。一対の前輪20aには、車輪軸を回転させる前輪モータ36がそれぞれ設けられる。
第2車輪体24は、車幅方向に延在するクロスメンバ24aと、クロスメンバ24aの中央位置から垂直方向に延在する連結メンバ24bとを有する。連結メンバ24bは、第1車輪体22のクロスメンバ22bに挿入され、第1車輪体22に相対回転可能に連結する。クロスメンバ24aの両端側に後輪20cがそれぞれ設けられる。
一対の後輪20cには、車輪軸を回転させる後輪モータ38がそれぞれ設けられる。一対の前輪20aおよび一対の後輪20cは各モータにより独立して回転することができ、走行機構12は左右輪の回転量の差によって左右に曲がることが可能である。
クロスメンバ22bの内部には車幅方向に延在する軸体26と、軸体26の両端部を支持する軸体支持部32とが設けられる。第2車輪体24の連結メンバ24bは、連結ギヤ28によって軸体26に対して回転可能に連結する。起立アクチュエータ30は、連結メンバ24bを軸体26の軸回りに回転させることができる。第1車輪体22および第2車輪体24は、起立アクチュエータ30の駆動によって相対回転して、図2(a)および図2(b)に示す起立姿勢をとることができ、起立姿勢から図1(a)および図1(b)に示す水平姿勢に戻ることができる。
走行機構12は、道路の段差などを走行可能なロッカーボギー構造で構成される。第1車輪体22および第2車輪体24を連結する軸体26は、中輪20bの車輪軸からずれて位置し、車幅に垂直な方向において前輪20aの車輪軸および中輪20bの車輪軸の間に位置する。これにより第1車輪体22と第2車輪体24は軸体26を支点として、走行中の路面形状に合わせて折れ曲がることができる。
オブジェクト検出センサ34は、第1車輪体22に設けられ、進行方向の物体を検出する。オブジェクト検出センサ34は、ミリ波レーダ、赤外線レーザ、音波センサなどであってよく、またはそれらの組合せであってよい。オブジェクト検出センサ34は、後方または横方向の物体を検出するため、第1車輪体22の前部のみならず、第1車輪体22および第2車輪体24の様々な位置に設けられてよい。
図5(b)に示すように、移動ロボット10は、枠体40、連結軸42、外周歯部43、回転アクチュエータ44、連結軸45、傾斜アクチュエータ46、第1カメラ50a、第2カメラ50b、通信部52を備える。枠体40には、右側面ディスプレイ48a、左側面ディスプレイ48b、上面ディスプレイ48c(以下、特に区別しない場合は「ディスプレイ48」と呼ぶ)、フック54、一対の第1突条部56a、一対の第2突条部56b、一対の第3突条部56cが設けられる。なお説明の便宜上、図5(b)には、連結軸42、外周歯部43、回転アクチュエータ44、連結軸45、傾斜アクチュエータ46を簡略化して一体に示しているが、連結軸42、外周歯部43および回転アクチュエータ44と、連結軸45および傾斜アクチュエータ46とは別体として設けられてよい。
突条部56は、荷物等を載置するために、右側壁18a、左側壁18bの内面から突出して設けられる。枠体40の上板18dの内面には、荷物を吊すためのフック54が形成される。フック54は、枠体40の上板内面から常時表出してよいが、上板内面内に収容可能に設けられて、必要なときに取り出せるようにしてよい。
右側面ディスプレイ48aは右側壁18aの外面に設けられ、左側面ディスプレイ48bは左側壁18bの外面に設けられ、上面ディスプレイ48cは上板18dの外面に設けられる。底板18cおよび上板18dには、第1カメラ50aおよび第2カメラ50b(これらを区別しない場合「カメラ50」という)がそれぞれ設けられる。なお実施例の移動ロボット10は、第1カメラ50a、第2カメラ50b以外にもカメラを搭載して、枠体40の周囲360度にわたって撮影できることが好ましい。上板18dには、さらに通信部52が設けられ、通信部52は無線通信ネットワークを介して、外部のサーバ装置と通信可能である。
底板18cは、連結軸42の外周歯部43に、回転アクチュエータ44側のギヤ(図示せず)を介して回転可能に取り付けられ、連結軸42により第1車輪体22に連結される。回転アクチュエータ44は、外周歯部43とギヤとを相対回転させることで、枠体40を連結軸42に対して軸回りに回転させる。回転アクチュエータ44により、図4(b)に示すように、枠体40を回転させることが可能となる。
傾斜アクチュエータ46は、連結軸45を回転して、連結軸42を鉛直方向に対して傾斜させる。左右方向に延在する連結軸45は、連結軸42の下端部に一体として設けられ、傾斜アクチュエータ46が連結軸45を回転することで、連結軸42の傾斜運動を実現する。傾斜アクチュエータ46は、連結軸42を傾斜することで、図4(a)に示すように、枠体40を前後方向に傾斜させることが可能となる。
図6は、移動ロボット10の機能ブロックを示す。移動ロボット10は、制御部100、受付部102、通信部52、GPS(Global Positioning System)受信機104、センサデータ処理部106、マップ保持部108、アクチュエータ機構110、ディスプレイ48、カメラ50、前輪モータ36および後輪モータ38を備える。制御部100は、走行制御部120、運動制御部122、表示制御部124、情報処理部126および撮影画像送信部128を有し、アクチュエータ機構110は、起立アクチュエータ30、回転アクチュエータ44、傾斜アクチュエータ46を含む。通信部52は無線通信機能を有して、他の移動ロボット10の通信部と車車間通信でき、また監視システムにおける監視装置から送信される情報を受信できる。GPS受信機104は衛星からの信号にもとづいて現在位置を検出する。
図6において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
マップ保持部108は、道路位置を示すマップ情報を保持する。マップ保持部108は、道路位置に限らず、たとえば商業施設などの複数階の建物における各階の通路位置を示すマップ情報を保持してもよい。
移動ロボット10は、複数の行動モードを有し、設定された行動モードで行動する。複数の行動モードのうち、基本的な行動モードは、目的地まで自律走行して、目的地に待機しているユーザに荷物を届ける行動モードである。以下、移動ロボット10の基本行動モードについて説明する。
<基本行動モード>
移動ロボット10は集荷場に待機しており、集荷場のスタッフにより配達先を入力されると、入力された配達先まで自律走行する。走行ルートは、移動ロボット10が決定してもよいが、外部のサーバ装置によって設定されてもよい。配達先の入力は、所定の無線入力ツールによって行われ、スタッフが無線入力ツールから配達先を入力すると、通信部52が配達先を受信して、走行制御部120に通知する。無線入力ツールは、専用のリモートコントローラであってよいが、専用のアプリケーションをインストールしたスマートフォンであってもよい。
移動ロボット10は、配達先を入力するためのインタフェースを備え、スタッフは、当該インタフェースから配達先を入力してもよい。たとえばディスプレイ48がタッチパネルとして構成されている場合、表示制御部124は、ディスプレイ48に配達先入力画面を表示し、スタッフが配達先入力画面から配達先を入力してもよい。受付部102がタッチパネルのタッチ操作を受け付けると、情報処理部126が、タッチ位置から配達先を特定して、走行制御部120に通知する。集荷場のスタッフが、荷物を枠体40に載せて配達先を入力した後、配達開始を移動ロボット10に指示すると、走行制御部120は、設定された配達先までの走行を開始する。スタッフは複数の配達先を設定して、枠体40の収容空間に配達先ごとの荷物を載せてよい。
枠体40には載せられた荷物を枠体40にロック(固定)するための機構が備えられる。移動ロボット10の走行中は、荷物がロック機構により枠体40に固定されることで、走行中に落下せず、また受取人でない第三者に抜き取られないようにされる。
走行制御部120は、マップ保持部108に保持されたマップ情報と、GPS受信機104から供給される現在位置情報とを用いて、設定された走行ルートを走行するように走行機構12を制御する。具体的に走行制御部120は、前輪モータ36および後輪モータ38を駆動して、移動ロボット10を目的地まで走行させる。
センサデータ処理部106は、オブジェクト検出センサ34による検出データおよびカメラ50による撮影画像をもとに、移動ロボット10の周囲に存在するオブジェクトに関する情報を取得し、走行制御部120に提供する。対象となるオブジェクトは、構造物や側溝などの走行に障害となる静的なオブジェクトと、人や他の移動ロボット10などの移動可能なオブジェクト(移動オブジェクト)を含む。走行制御部120は、他のオブジェクトとの衝突を回避するように進行方向および走行速度を決定し、前輪モータ36および後輪モータ38を駆動制御する。
移動ロボット10が、受取人であるユーザのいる目的地に到達すると、走行制御部120はモータ駆動を停止する。ユーザは、自分宛の荷物のロックを解除するためのパスコードを外部のサーバ装置から事前に取得している。ユーザは、スマートフォンなどの携帯端末装置を用いてパスコードを移動ロボット10に送信すると、通信部52がロック解除用のパスコードを受信し、情報処理部126が荷物のロックを解除する。このとき運動制御部122は起立アクチュエータ30を駆動して、移動ロボット10に起立姿勢をとらせる。これによりユーザは、荷物を受け取り可能であることを認識し、また本体部14に載せられた自分宛の荷物を取りやすくなる。荷物がユーザにより受け取られると、走行制御部120は、次の目的地まで自律走行する。
以上、移動ロボット10の基本行動モードを示したが、移動ロボット10は、他の行動モードによる行動も可能とする。移動ロボット10の行動モードは様々存在してよく、各行動モードを実現するためのプログラムがプリインストールされていてよい。移動ロボット10は行動モードを設定されると、設定された行動モードで行動する。以下、移動ロボット10が、災害が発生しそうな領域に急行し、当該領域にて撮影した画像を監視装置に送信する撮影ロボットとして行動する監視支援行動モードについて説明する。
<監視支援行動モード>
図7は、実施例の監視システム1の概要を示す。監視システム1は、自律走行機能を有する複数の移動ロボット10a、10b、10c、10dと、河川や道路などを撮影する監視カメラ150a、150b、150c(以下、特に区別しない場合には「監視カメラ150」と呼ぶ)と、監視装置200とを備える。
監視装置200は、インターネットなどのネットワーク2を介して、移動ロボット10および監視カメラ150と通信可能に接続する。移動ロボット10は、基地局である無線局3経由で監視装置200に接続してよい。監視カメラ150は、河川や道路の様子を撮影して、撮影画像を監視装置200にリアルタイムで配信する。実施例の監視カメラ150は定点カメラであり、それぞれが固定された撮影方向で河川を撮影している。図7では、各監視カメラ150が撮影可能な領域をハッチングして示しているが、ハッチングのない領域は、監視カメラ150が撮影できない領域を示す。
図8は、監視装置200の機能ブロックを示す。監視装置200は、制御部202および通信部204を備える。制御部202は、画像取得部210、ロボット管理部216、ロボット情報保持部218、監視カメラ位置保持部220、画像解析部222、領域特定部224および指示部226を備え、画像取得部210は、第1画像取得部212および第2画像取得部214を有する。通信部204は、ネットワーク2を介して、移動ロボット10および監視カメラ150と通信する。
図8において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
ロボット管理部216は、監視システム1における複数の移動ロボット10の位置(緯度、経度)を管理する。移動ロボット10は、定期的に、自身が存在する位置情報を監視装置200に送信してよい。これによりロボット管理部216は、各移動ロボット10の現在位置を把握し、各移動ロボット10の位置情報をロボット情報保持部218に記憶させる。ロボット管理部216が、定期的にロボット情報保持部218の位置情報を更新することで、ロボット情報保持部218は、移動ロボット10の最新の位置情報を保持する。
第1画像取得部212は、複数の監視カメラ150で撮影された画像をリアルタイムで取得する。監視カメラ位置保持部220は、監視カメラ150の接地位置および撮影方向を記憶する。画像解析部222は、監視カメラ150により撮影された画像を解析して、監視対象の現在状況を把握し、または将来の状況を予測する。領域特定部224は、画像解析部222による解析結果から、さらなる情報を必要とする領域を特定する。
図7に示すように監視カメラ150の監視対象が河川である場合、画像解析部222は、第1画像取得部212で取得された画像を解析して、複数の監視カメラ150が撮影している複数のポイントにおける増水量を測定する。このとき特定の監視カメラ150、たとえば監視カメラ150bの画像が不鮮明であって、画像解析部222が高精度な画像解析を実施できない場合には、領域特定部224が、当該監視カメラ150bが撮影を担当している領域の情報が不十分であり、当該領域の正確な情報が必要であることを判断する。なお通信障害により、第1画像取得部212が監視カメラ150bからの画像を取得できない場合も同様であり、領域特定部224は、監視カメラ150bが撮影を担当している領域の正確な情報が必要であることを判断する。
領域特定部224は、監視カメラ位置保持部220から監視カメラ150bの接地位置および撮影方向を取得して、正確な情報を必要とする領域、すなわち監視カメラ150bが撮影を担当している領域を特定してよい。領域特定部224が、情報を必要とする領域を特定すると、指示部226は、通信部204から移動ロボット10に対して、領域特定部224が特定した領域(以下「監視領域」と呼ぶ)への出動指示を送信する。出動指示には、監視領域の位置情報に加えて、監視対象が河川であることを示す情報が含まれてよい。
指示部226は、監視領域の近くに存在する移動ロボット10を特定してよい。ロボット情報保持部218には、移動ロボット10の最新の位置情報が保持されており、したがって指示部226は、ロボット情報保持部218に保持された移動ロボット10の位置情報を参照して、監視領域から所定の距離内に存在する移動ロボット10を特定する。指示部226は、監視領域から所定の距離Lの範囲内に存在する移動ロボット10の中から、近い順にN台の移動ロボット10を特定して、特定したN台の移動ロボット10に、監視領域への出動指示を送信してよい。
ロボット管理部216は、指示部226が出動指示を送信した移動ロボット10に対して、出動中であることを示す情報をロボット情報保持部218に記憶させる。これにより、その後、領域特定部224が、情報を必要とする別の監視領域を特定した場合に、指示部226は、出動中であることを示す情報が保持されている移動ロボット10を出動候補から除外し、出動中でない移動ロボット10の中から、出動指示を出す移動ロボット10を特定してよい。
移動ロボット10において通信部52が出動指示を受信すると、走行制御部120が、出動指示にしたがって、走行機構12を制御して移動ロボット10を走行させる。具体的に走行制御部120は、出動指示を受け取ると、目的地を監視領域に設定し、走行機構12を制御して目的地に向けて移動ロボット10を走行させる。監視領域に到着すると、走行制御部120は監視領域を巡回するように走行する。出動指示に、監視対象が河川であることを示す情報が含まれていることで、走行制御部120は、監視領域における河川沿いを走行し、情報処理部126は、近い位置からカメラ50で河川を撮影できる。撮影画像送信部128は、カメラ50が撮影した画像を、撮影した位置を示す撮影位置情報とともに、監視装置200に送信する。
第2画像取得部214は、移動ロボット10のカメラ50で撮影された画像および撮影位置情報を取得する。画像解析部222は、移動ロボット10のカメラ50により撮影された画像を解析して、監視対象の現在状況を把握し、または将来の状況を予測する。領域特定部224は、画像解析部222による解析結果および撮影位置情報から、情報を必要とする領域を特定してよい。
図7を参照して、複数の監視カメラ150が河川を撮影しているが、監視カメラ150では撮影できない領域も存在する。領域特定部224は、監視カメラ150では撮影できない領域を特定し、指示部226は、領域特定部224が特定した領域を巡回する出動指示を送信してよい。これにより画像取得部210は、監視カメラ150では不足していた領域の撮影画像を取得できるようになり、画像解析部222が、河川全体の状況(たとえば増水量)を画像解析により認識できるようになる。
なお領域特定部224は、より詳細な情報を取得したい領域を特定してもよい。通常、監視カメラ150は広範囲を撮影するために、河川から離れた位置に設置されており、したがって撮影されている河川の画像の解像度は低いことが多い。そこで、より正確な増水量を測定するために、移動ロボット10を河川の近くまで行かせて、カメラ50による撮影画像を監視装置200に送信させてもよい。増水量を正確に測定できることができることで、画像解析部222は、たとえば氾濫の可能性等を高精度に予測することが可能となる。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施例では監視カメラ位置保持部220が、各監視カメラ150の接地位置および撮影方向を記憶しているが、各監視カメラ150が撮影を担当している領域に関する情報を記憶してもよい。実施例で領域特定部224は、監視カメラ位置保持部220から監視カメラ150bの接地位置および撮影方向を取得して、正確な情報を必要とする領域を特定したが、監視カメラ位置保持部220が監視カメラ150bの担当領域に関する情報を保持していれば、領域特定部224は、当該担当領域に関する情報から、正確な情報を必要とする領域を特定してよい。
実施例の監視システム1では、監視装置200が河川の状況を監視しているが、たとえば道路や海、山の状況など、災害が発生する可能性のあるエリアを監視してよい。また災害に限らず、監視装置200は、高齢者や子供の見守り監視に利用されてもよい。
1・・・監視システム、10,10a,10b,10c,10d・・・移動ロボット、12・・・走行機構、14・・・本体部、50・・・カメラ、52・・・通信部、100・・・制御部、102・・・受付部、104・・・GPS受信機、106・・・センサデータ処理部、108・・・マップ保持部、120・・・走行制御部、122・・・運動制御部、124・・・表示制御部、126・・・情報処理部、128・・・撮影画像送信部、150a,150b,150c・・・監視カメラ、200・・・監視装置、202・・・制御部、204・・・通信部、210・・・画像取得部、212・・・第1画像取得部、214・・・第2画像取得部、216・・・ロボット管理部、218・・・ロボット情報保持部、220・・・監視カメラ位置保持部、222・・・画像解析部、224・・・領域特定部、226・・・指示部。

Claims (4)

  1. 複数の移動ロボットと監視装置とを備えた監視システムであって、
    前記移動ロボットは、
    カメラと、
    前記監視装置から送信される出動指示にしたがって、走行機構を制御して当該移動ロボットを走行させる走行制御部と、
    前記カメラで撮影した画像を、撮影した位置を示す撮影位置情報とともに、前記監視装置に送信する撮影画像送信部とを有し、
    前記監視装置は、
    監視カメラで撮影された画像を取得する第1画像取得部と、
    前記監視カメラの設置位置を記憶するカメラ位置保持部と、
    前記第1画像取得部で取得された画像を解析する解析部と、
    前記解析部による解析結果から、情報を必要とする領域を特定する特定部と、
    前記移動ロボットに対して、前記特定部が特定した領域への出動指示を送信する指示部と、
    前記移動ロボットのカメラで撮影した画像と撮影位置情報とを取得する第2画像取得部と、
    を備えることを特徴とする監視システム。
  2. 前記解析部は、前記第2画像取得部で取得された画像を解析し、
    前記特定部は、前記解析部による解析結果および撮影位置情報から、情報を必要とする領域を特定する、
    ことを特徴とする請求項1に記載の監視システム。
  3. 前記特定部は、前記監視カメラでは撮影できない領域を特定し、
    前記指示部は、前記特定部が特定した領域を巡回する出動指示を送信する、
    ことを特徴とする請求項1または2に記載の監視システム。
  4. 監視カメラが撮影した画像を取得するステップと、
    前記監視カメラが撮影した画像を解析するステップと、
    解析した結果から、情報を必要とする領域を特定するステップと、
    移動ロボットに対して、特定した領域への出動指示を送信するステップと、
    前記移動ロボットのカメラが撮影した画像を取得するステップと、
    前記移動ロボットのカメラが撮影した画像を解析するステップと、
    を備える監視方法。
JP2019192054A 2019-10-21 2019-10-21 監視システムおよび監視方法 Pending JP2021068974A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019192054A JP2021068974A (ja) 2019-10-21 2019-10-21 監視システムおよび監視方法
US16/983,305 US20210120185A1 (en) 2019-10-21 2020-08-03 Monitoring system, monitoring method, and storage medium
CN202010806123.XA CN112770084A (zh) 2019-10-21 2020-08-12 监视系统、监视方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019192054A JP2021068974A (ja) 2019-10-21 2019-10-21 監視システムおよび監視方法

Publications (1)

Publication Number Publication Date
JP2021068974A true JP2021068974A (ja) 2021-04-30

Family

ID=75491727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019192054A Pending JP2021068974A (ja) 2019-10-21 2019-10-21 監視システムおよび監視方法

Country Status (3)

Country Link
US (1) US20210120185A1 (ja)
JP (1) JP2021068974A (ja)
CN (1) CN112770084A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013131A1 (ja) * 2021-08-04 2023-02-09 コニカミノルタ株式会社 情報処理システムおよび情報処理プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021158468A (ja) * 2020-03-26 2021-10-07 東芝テック株式会社 撮影装置及び撮影方法
US20230100244A1 (en) * 2021-09-29 2023-03-30 Johnson Controls Tyco IP Holdings LLP Systems and methods for use of autonomous robots for blind spot coverage

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101979961A (zh) * 2010-05-18 2011-02-23 中国地震局地球物理研究所 一种灾情获取系统
JP6635529B2 (ja) * 2016-11-07 2020-01-29 株式会社ラムロック 監視システム及び移動ロボット装置
CN207218924U (zh) * 2017-09-18 2018-04-10 中山大学南方学院 一种基于无人机的目标监控及快速寻找系统
CN109246355B (zh) * 2018-09-19 2020-12-18 北京云迹科技有限公司 利用机器人生成全景图像的方法、装置及机器人
CN110084992A (zh) * 2019-05-16 2019-08-02 武汉科技大学 基于无人机的古建筑群火灾报警方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013131A1 (ja) * 2021-08-04 2023-02-09 コニカミノルタ株式会社 情報処理システムおよび情報処理プログラム

Also Published As

Publication number Publication date
CN112770084A (zh) 2021-05-07
US20210120185A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
US20210120185A1 (en) Monitoring system, monitoring method, and storage medium
US10613533B1 (en) Autonomous delivery and retrieval of inventory holders at transfer locations
US10233021B1 (en) Autonomous vehicles for delivery and safety
US11703867B2 (en) Vehicle
US20220031105A1 (en) Secure package delivery and pick-up system
US20210209543A1 (en) Directing secondary delivery vehicles using primary delivery vehicles
CN107873098A (zh) 检测与服务有关的车辆内的物体
US20210114810A1 (en) Robot system, robot control method, and storage medium
US11794344B2 (en) Robot utilization system and transport robot
CN112013857A (zh) 一种激光、视觉的agv导航方法及系统
CN109792694A (zh) 用于无线通信系统的传输功率控制
JP7167897B2 (ja) 配達システムおよび受取管理装置
JP7228443B2 (ja) 監視システム
JP2018018419A (ja) 自律走行装置
JP2019205066A (ja) カメラ調整装置
JP5896931B2 (ja) 親子機能搭載ロボット
JP2020013242A (ja) ロボット制御システム、ロボット装置およびプログラム
JP2016118995A (ja) 監視システム
JP2020017129A (ja) 移動体
KR20180038871A (ko) 공항용 로봇 및 그의 동작 방법
WO2014085987A1 (zh) 远程监控系统的控制方法和控制装置
JP7251441B2 (ja) 救助支援サーバ装置
JP2021067526A (ja) 搬送ロボット
KR101305954B1 (ko) 곤돌라 로봇의 영상 정합을 통한 위치 파악 및 지도 구축 장치 및 방법
CN112037525A (zh) 一种基于摄像装置的无需停车厅的智能停车方法