CN112770084A - 监视系统、监视方法以及存储介质 - Google Patents

监视系统、监视方法以及存储介质 Download PDF

Info

Publication number
CN112770084A
CN112770084A CN202010806123.XA CN202010806123A CN112770084A CN 112770084 A CN112770084 A CN 112770084A CN 202010806123 A CN202010806123 A CN 202010806123A CN 112770084 A CN112770084 A CN 112770084A
Authority
CN
China
Prior art keywords
monitoring
camera
image
mobile robot
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010806123.XA
Other languages
English (en)
Inventor
江藤康孝
松冈智仁
户松伸之
大见正宣
山本学
渡边英
谷川洋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN112770084A publication Critical patent/CN112770084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本公开提供了一种监视系统、监视方法以及存储介质。监视装置包括：第一图像获取单元，其获取由监视相机拍摄的图像；相机位置保持单元，其存储所述监视相机的安装位置；分析单元，其分析由所述第一图像获取单元获取的所述图像；指定单元，其根据所述分析单元的分析结果来指定需要信息的区域；以及指令单元，其向移动机器人发送向所述指定单元指定的所述区域的调度指令。移动机器人将由所述相机拍摄的所述图像与表示拍摄位置的拍摄位置信息一起发送到所述监视装置。第二图像获取单元获取由所述移动机器人的相机拍摄的图像和所述拍摄位置信息。

Description

监视系统、监视方法以及存储介质
技术领域
本发明涉及一种使用设置有相机的移动机器人的监视系统、监视方法以及存储介质。
背景技术
日本未审查专利申请公开第2007-148793号(JP 2007-148793 A)公开了一种监视系统，包括：在要监视的设施周围自动或半自动移动的移动机器人，用于安装在要监视的设施上的移动机器人的控制设备，以及远程监视中心，其中，控制装置可以与移动机器人和监视中心进行通信。
发明内容
近年来，由于纪录的暴雨，经常发生河流和灌溉渠道的泛滥，因此，已经构造了系统，其中安装了用于拍摄河流和灌溉渠道的图像的定点相机，并将拍摄的图像实时发送到监视中心。当前，观察者以视觉方式监视河流和灌溉渠道，但是在将来，期望可以判定河流和灌溉渠道的泛滥的发生，甚至可以通过使用人工智能的图像分析来预测等。为了提高判定或预测的准确性，在要监视的区域中获取的信息必须是准确的。
因此，本发明的目的是实现一种用于获取关于要监视的区域的准确信息的机制。
本发明的第一方面涉及一种监视系统，包括多个移动机器人和监视装置。所述移动机器人包括：相机；行驶控制器，被配置为根据从所述监视装置发送的调度指令来控制行驶机构，以使所述移动机器人行驶；以及拍摄图像发送器，被配置为向所述监视装置发送由所述相机拍摄的图像以及表示拍摄了所述图像的位置的拍摄位置信息。所述监视装置包括：第一图像获取单元，被配置为获取由监视相机拍摄的图像；相机位置保持单元，被配置为存储所述监视相机的安装位置；分析单元，被配置为分析由所述第一图像获取单元获取的所述图像；指定单元，被配置为根据所述分析单元的分析结果指定需要信息的区域；指令单元，被配置为向所述移动机器人发送向所述指定单元指定的所述区域的调度指令；以及第二图像获取单元，被配置为获取由所述移动机器人的所述相机拍摄的图像和拍摄位置信息。
本发明的第二方面涉及一种监视方法。所述监视方法包括：获取由监视相机拍摄的图像；分析由所述监视相机拍摄的所述图像；根据分析的结果指定需要信息的区域；向移动机器人发送向所述指定区域的调度指令；获取由所述移动机器人的相机拍摄的图像；以及分析由所述移动机器人的所述相机拍摄的所述图像。
本发明的第三方面涉及一种非暂时性计算机可读存储介质。所述非暂时性计算机可读存储介质存储可由处理器执行以实现所述监视方法的计算机程序。
根据本发明的方案，实现了一种用于获取关于要监视的区域的准确信息的机制。
附图说明
下面将参照附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，在附图中，相同的标号表示相同的元件，并且其中：
图1A是根据本公开的实施例的移动机器人的立体图；
图1B是根据本公开的实施例的移动机器人的另一立体图；
图2A是处于直立位的移动机器人的立体图；
图2B是处于直立位的移动机器人的立体图；
图3是装载有包裹的移动机器人的立体图；
图4A是示出主体相对于行驶机构的相对移动的图；
图4B是示出主体相对于行驶机构的另一相对移动的图；
图5A是示出移动机器人的结构的图；
图5B是示出移动机器人的所述结构的图；
图6是示出移动机器人的功能块的图；
图7是示出根据本公开的实施例的监视系统的概要的示意图；以及
图8是示出监视装置的功能块的图。
具体实施方式
图1A和1B是实施例的移动机器人10的立体图。移动机器人10的高度可以是例如大约1至1.5米。移动机器人10包括具有自动行驶功能的行驶机构12以及主体14，主体14由行驶机构12支撑并且在其上装载诸如包裹的物体。行驶机构12包括第一轮体22和第二轮体24。第一轮体22具有一对前轮20a和一对中轮20b，第二轮体24具有一对后轮20c。图1A和图1B示出了前轮20a、中轮20b和后轮20c布置成直线的状态。
主体14具有形成为矩形形状的框架体40，并且在框架体40的内部形成用于装载诸如包裹的物体的容纳空间。框架体40包括一对左右侧壁18a和18b，连接到上述一对侧壁的下侧的底板18c和连接到上述一对侧壁的上侧的上板18d。在右侧壁18a和左侧壁18b的内表面上设置有彼此相对的一对突条部(肋)56a、56b、56c(没有特别区分的情况下，以下称为“突条部56”)。主体14连接至行驶机构12以能够相对移动。根据实施例的移动机器人10具有如下的家用递送功能：装载包裹，向设定的目的地自动行驶，以及将包裹递送给在目的地等待的用户。在下文中，关于主体14的方向，在主体14相对于行驶机构12直立的状态下将垂直于框架体40的开口的方向称为“前后方向”，以及将与一对侧壁垂直的方向称为“左右方向”。
图2A和2B是处于直立位的实施例的移动机器人10的立体图。行驶机构12中的前轮20a和后轮20c彼此靠近，并且第一轮体22和第二轮体24相对于地面接触表面倾斜，由此移动机器人10处于直立位。例如，当移动机器人10到达目的地并且在该目的地处采取用户前面的直立位时，用户可以容易地拿起装载在主体14上的包裹，该包裹发往用户本人。
图3是处于直立位并且装载了包裹的移动机器人10的立体图。图3示出了第一包裹16a、第二包裹16b和第三包裹16c被装载在主体14上的状态。第一包裹16a、第二包裹16b和第三包裹16c被装载在形成于右侧壁18a和左侧壁18b的内表面上的突条部56上或与突条部56接合，从而被装载在主体14上。
尽管在图3中示出了第一包裹16a、第二包裹16b、第三包裹16c具有盒形，但是装载在主体14上的物体不限于盒形。例如，可以将用于容纳物体的容器装载在突条部56上，并且可以将物体放入容器中。此外，可以在框架体40的上板18d的内表面上设置钩子，可将物体放置在带有手柄的袋子中，并且可以将袋子的手柄悬挂在钩子上以悬挂袋子。
另外，可以在框架体40的容纳空间中容纳包裹以外的各种物品。例如，通过在框架体40中容纳冰箱，移动机器人10可以用作可移动冰箱。此外，通过将在其上装载有产品的产品架容纳在框架体40中，移动机器人10可以用作移动商店。
根据实施例的移动机器人10包括相机，并且用作图像拍摄机器人，该图像拍摄机器人急性到需要准确信息的区域(诸如，可能发生灾难的区域)，并且将由所述相机拍摄的图像发送到监视装置。该监视装置分析由监视相机(其是定点相机)拍摄的视频，并持续地监视道路或河流的状态。当判定在要由监视相机监视的区域和周围区域中需要准确的信息时，监视装置将移动机器人10引导向该区域，并使移动机器人10拍摄该区域的图像。将参照图7和图8描述作为图像拍摄机器人的移动机器人10的操作。
图4A和图4B是示出主体14相对于行驶机构12的相对运动的图。图4A示出了框架体40的侧壁相对于竖直方向倾斜的状态。框架体40由在左右方向上延伸的连接轴支撑以便能够相对于行驶机构12进行相对旋转，并且能够在前后方向上的任意方向上倾斜。
图4B示出了框架体40绕竖直轴旋转大约90度的状态。框架体40由在垂直于行驶机构12的方向上延伸的连接轴支撑，以便相对于行驶机构12可相对旋转，并且由于框架体40和行驶机构12绕连接轴相对于彼此旋转，因此如图4B所示框架体40旋转。框架体40可以是能旋转360度的。
图5A和图5B是示出移动机器人10的结构的图。图5A示出了行驶机构12的结构，而图5B主要示出了主体14的结构。实际上，在行驶机构12和主体14中设置有电源和控制器，但是在图5A和图5B中被省略。
如图5A所示，行驶机构12包括前轮20a、中轮20b、后轮20c、第一轮体22、第二轮体24、轴26、耦合齿轮28、站立致动器30、轴支撑件32、物体检测传感器34、前轮电动机36和后轮电动机38。
第一轮体22具有一对侧构件22a和连接该一对侧构件22a并沿车辆宽度方向延伸的横向构件22b。侧构件22a设置成从横向构件22b的两端在垂直于横向构件22b的方向上延伸。前轮20a分别设置在侧构件22a的前端的位置处，而中轮20b设置在横向构件22b的两端的位置处。在各个前轮20a上设有使轮轴旋转的前轮电动机36。
第二轮体24具有在车辆宽度方向上延伸的横向构件24a和从横向构件24a的中心位置沿垂直于该横向构件24a的方向延伸的连接构件24b。连接构件24b插入到第一轮体22的横向构件22b中，并且以相对可旋转的方式连接到第一轮体22。后轮20c分别设置在横向构件24a的两端。
在后轮20c上分别设置有用于旋转轮轴的后轮电动机38。前轮20a和后轮20c可以通过各自的电动机独立地旋转，并且行驶机构12可以根据左右轮之间的旋转量的差而向右或向左转弯。
在横向构件22b的内部设有沿车辆宽度方向延伸的轴26和用于支撑轴26的两端的轴支撑件32。第二轮体24的连接构件24b通过耦合齿轮28可旋转地连接到轴26。站立致动器30可使连接构件24b绕轴26旋转。第一轮体22和第二轮体24可以通过起立致动器30的驱动而相对旋转，以采取图2A和图2B所示的直立位，并从直立位返回到图1A和图1B所示的水平位。
行驶机构12具有能够在道路的台阶等上行驶的摇臂转向架结构。连接第一轮体22和第二轮体24的轴26从中轮20b的轮轴偏移，并且在垂直于车辆宽度的方向上位于前轮20a的轮轴和中轮20b的轮轴之间。因此，能够以轴26为支点，在行驶期间将第一轮体22和第二轮体24弯曲以符合路面形状。
物体检测传感器34设置在第一轮体22上，并检测在行驶方向上的物体。物体检测传感器34可以是毫米波雷达、红外激光器、声波传感器等或者可以是它们的组合。除了第一轮体22的前部之外，物体检测传感器34可以设置在第一轮体22和第二轮体24上的各个位置处，以便检测后方或横向的物体。
如图5B所示，移动机器人10包括框架体40、连接轴42、外周齿43、旋转致动器44、连接轴45、倾斜致动器46、第一相机50a、第二相机50b和通信单元52。在框架体40中，设置有右侧显示器48a、左侧显示器48b和上侧显示器48c(没有特别区分的情况下，以下称为“显示器48”)、钩子54、第一突条部56a、第二突条部56b和第三突条部56c。为描述方便，在图5B中，简化并整体地示出了连接轴42、外周齿43、旋转致动器44、连接轴45和倾斜致动器46。然而，连接轴42、外周齿43和旋转致动器44可以与连接轴45和倾斜致动器46分开设置。
突条部56被设置成从右侧壁18a和左侧壁18b的内表面突出以装载包裹等。用于悬挂包裹的钩子54形成在框架体40的上板18d的内表面上。钩子54可以总是从框架体40的上板的内表面露出，但是可以设置为容纳在上板的内表面中，使得钩子54可以根据需要被取出。
右侧显示器48a设置在右侧壁18a的外表面上，左侧显示器48b设置在左侧壁18b的外表面上，并且上侧显示器48c设置在上板18d的外表面上。底板18c和上板18d设置有第一相机50a和第二相机50b(除非另外区分，否则称为“相机50”)。理想的是，本实施例的移动机器人10除了第一相机50a和第二相机50b之外还安装有相机以在框架体40周围360度拍摄图像。通信单元52进一步设置在上板18d上，并且通信单元52可以通过无线通信网络与外部服务器设备进行通信。
底板18c通过旋转致动器44上的齿轮(未示出)可旋转地附接到连接轴42的外周齿43，并且通过连接轴42连接至第一轮体22。旋转致动器44通过使外周齿43和齿轮相对旋转而使框架体40相对于连接轴42旋转。如图4B所示，旋转致动器44允许框架体40旋转。
倾斜致动器46使连接轴45旋转，使得连接轴42相对于垂直方向倾斜。沿左右方向延伸的连接轴45与连接轴42的下端一体地设置，并且倾斜致动器46使连接轴45旋转以实现连接轴42的倾斜运动。通过倾斜连接轴42，倾斜致动器46可使框架体40在前后方向上倾斜，如图4A所示。
图6示出了移动机器人10的功能块。移动机器人10包括控制器100、接受单元102、通信单元52、全球定位系统(GPS)接收器104、传感器数据处理器106、地图保持单元108、致动器机构110、显示器48、相机50、前轮电动机36和后轮电动机38。控制器100包括行驶控制器120、移动控制器122、显示控制器124、信息处理器126以及拍摄图像发送器128，并且致动器机构110包括站立致动器30、旋转致动器44和倾斜致动器46。通信单元52具有无线通信功能，可以与其他移动机器人10的通信单元在车辆之间进行通信，并且可以接收从监视系统中的监视装置发送的信息。GPS接收器104基于来自卫星的信号来检测当前位置。
在图6中，被描述为执行各种处理的功能块的各个元件就硬件而言可以被配置为包括电路块、存储器或另一大规模集成电路(LSI)，并且在软件方面可以由加载到存储器中的程序等实现。因此，本领域技术人员将理解，这些功能块可以通过硬件、软件或其组合以各种形式实现，并且本发明不限于此。
地图保持单元108保持指示道路位置的地图信息。地图保持单元108不仅可以保持道路位置，而且可以保持指示诸如商业设施的多层建筑物中的每个楼层上的通道位置的地图信息。
移动机器人10具有多个行动模式，并且以设定的行动模式来行动。在行动模式中，基本行动模式是机器人向目的地自动行驶并将包裹递送给在目的地等待的用户的行动模式。在下文中，将描述移动机器人10的基本行动模式。
基本行动模式
移动机器人10在取件场所等待，当取件场所的工作人员输入递送目的地时，移动机器人10自动地行驶到输入的递送目的地。行驶路线可以由移动机器人10确定，或者可以由外部服务器设备设置。递送目的地的输入由预定的无线输入工具执行，并且当工作人员从无线输入工具输入递送目的地时，通信单元52接收递送目的地并且将该递送目的地通知行驶控制器120。无线输入工具可以是专用遥控器，或者可以是安装有专用应用程序的智能手机。
移动机器人10包括用于输入递送目的地的界面，并且工作人员可以从该界面输入递送目的地。例如，当显示器48是具有触摸面板的显示器时，显示控制器124可以在显示器48上显示递送目的地输入屏幕，并且工作人员可以从递送目的地输入屏幕输入递送目的地。当接受单元102接受触摸面板上的触摸操作时，信息处理器126依据触摸位置指定递送目的地并通知行驶控制器120。当工作人员在取件场所将包裹装载在框架体40上并且输入递送目的地，然后指示移动机器人10开始递送时，行驶控制器120开始向所设定的递送目的地自动行驶。工作人员可以设置多个递送目的地，并且将各个递送目的地的包裹装载到框架体40的容纳空间中。
框架体40设置有用于将装载的包裹锁定(固定)到框架体40的机构。当移动机器人10行驶时，通过锁定机构将包裹固定到框架体40。这样包裹在行驶过程中不会掉落，也不会被非收件人的第三方取走。
行驶控制器120通过使用在地图保持单元108中保持的地图信息和从GPS接收器104提供的当前位置信息来控制行驶机构12在设定的行驶路线上行驶。具体而言，行驶控制器120驱动前轮电动机36和后轮电动机38使移动机器人10向目的地行驶。
传感器数据处理器106基于物体检测传感器34的检测数据和相机50拍摄的图像，获取关于移动机器人10周围存在的物体的信息，并将该信息提供给行驶控制器120。目标物体包括阻碍行驶的静态物体，诸如结构或排水沟，以及可以移动的物体(可移动物体)，诸如人或其他移动机器人10。行驶控制器120确定行驶方向和行驶速度以避免与另一个物体碰撞，并控制前轮电动机36和后轮电动机38的驱动。
当移动机器人10到达作为收件人的用户所在的目的地时，行驶控制器120停止驱动电动机。用户先前已从外部服务器设备获取了用于解锁发给用户的包裹的密码。当用户使用诸如智能电话之类的便携式终端设备将密码发送到移动机器人10时，通信单元52接收用于解锁的密码，并且信息处理器126解锁包裹。此时，移动控制器122驱动站立致动器30，以使移动机器人10处于直立位。以此方式，用户识别出可以接收包裹，并且可以容易地拾取装载到主体14上的包裹，该包裹发给用户本人。当用户接收到包裹时，行驶控制器120自动地行驶至下一个目的地。
上面已经描述了移动机器人10的基本行动模式，然而移动机器人10还可以以其他行动模式执行行动。移动机器人10具有各种行动模式，并且可以预先安装用于实现各种行动模式的程序。当设置了行动模式时，移动机器人10以设置的行动模式来行动。在下文中，将描述监视支持行动模式，在该监视支持行动模式中，移动机器人10急行到可能发生灾难的区域，并且用作将该区域的图像发送到监视装置的图像拍摄机器人。
监视支持行动模式
图7示出了该实施例的监视系统1的概要。监视系统1包括具有自动行驶功能的多个移动机器人10a、10b、10c、10d以及用于拍摄河流、道路等的图像的监视相机150a、150b、150c(除非另有说明，否则以下为“监视相机150”)和监视装置200。
监视装置200通过诸如因特网之类的网络2可通信地连接到移动机器人10和监视相机150。移动机器人10可以通过作为基站的无线站3连接到监视装置200。监视相机150拍摄河流或道路的图像，并且将拍摄的图像实时地分配给监视装置200。实施例的监视相机150是定点相机，并且每个相机在固定成像方向上拍摄河流的图像。在图7中，每个监视相机150可以拍摄图像的区域由阴影表示，而没有阴影的区域表示监视相机150不能拍摄图像的区域。
图8示出了监视装置200的功能块。监视装置200包括控制器202和通信单元204。控制器202包括图像获取单元210、机器人管理单元216、机器人信息保持单元218、监视相机位置保持单元220、图像分析单元222、区域指定单元224和指令单元226，并且图像获取单元210具有第一图像获取单元212和第二图像获取单元214。通信单元204通过网络2与移动机器人10和监视相机150通信。
在图8中，被描述为执行各种处理的功能块的各个元件就硬件而言可以被配置为包括电路块、存储器(存储介质)或另一LSI，并且就软件而言可以通过加载到存储器中的程序等实现。因此，本领域技术人员将理解，可以通过硬件、软件或其组合以各种形式来实现这些功能块，并且本发明不限于此。
机器人管理单元216管理移动机器人10在监视系统1中的位置(纬度和经度)。移动机器人10可以周期性地向监视装置200发送表示它们位于何处的位置信息。这样，机器人管理单元216掌握各个移动机器人10的当前位置，并且将各个移动机器人10的位置信息存储在机器人信息保持单元218中。机器人管理单元216周期性地更新机器人信息保持单元218的位置信息，因此机器人信息保持单元218保持关于移动机器人10的最新位置信息。
第一图像获取单元212实时获取由多个监视相机150拍摄的图像。监视相机位置保持单元220存储监视相机150的地面位置和成像方向。图像分析单元222分析由监视相机150拍摄的图像，以掌握监视目标的当前状态或预测未来状态。区域指定单元224根据图像分析单元222的分析结果来指定需要进一步信息的区域。
如图7所示，当监视相机150的监视目标是河流时，图像分析单元222分析由第一图像获取单元212获取的图像，并且测量由监视相机150拍摄的多个点处的水的增加量。在这种情况下，当特定监视相机150(例如监视相机150b)的图像不清楚并且图像分析单元222不能执行高精度图像分析时，区域指定单元224确定关于监视相机150b负责图像拍摄的区域的信息不足，并且需要该区域的准确信息。另外，当第一图像获取单元212由于通信故障而无法获取来自监视相机150b的图像时，同样适用，并且区域指定单元224确定需要关于监视相机150b负责图像拍摄的区域的准确信息。
区域指定单元224从监视相机位置保持单元220获取监视相机150b的地面位置和成像方向，并且指定需要准确信息的区域，即监视相机150b负责图像拍摄的区域。当区域指定单元224指定了需要信息的区域时，指令单元226使通信单元204向移动机器人10发送去往由区域指定单元224指定的区域(以下称为“监视区域”)的调度指令。该调度指令可以包括表示监视目标是河流的信息以及监视区域的位置信息。
指令单元226可以指定存在于监视区域附近的移动机器人10。机器人信息保持单元218保持移动机器人10的最新位置信息，因此，指令单元226参考由机器人信息保持单元218保持的关于移动机器人10的位置信息，并且指定存在于距监视区域预定距离之内的移动机器人10。指令单元226可以从存在于距监视区域的预定距离L之内的移动机器人10中以接近的顺序指定N个移动机器人10，并且向指定的N个移动机器人10发送向监视区域的调度指令。
机器人管理单元216使机器人信息保持单元218存储表示正在调度指示单元226向其发送了调度指令的移动机器人10的信息。因此，当区域指定单元224随后指定需要信息的另一个监视区域时，指示单元226可以从调度候选中排除保存有表示正在调度移动机器人10的信息的该移动机器人10，并且可以从没有被调度的移动机器人10中指定要向其发出调度指令的移动机器人10。
当移动机器人10的通信单元52接收到调度指令时，行驶控制器120控制行驶机构12以使移动机器人10根据调度指令行驶。具体而言，行驶控制器120在接收到调度指示后，将目的地设定为监视区域，并控制行驶机构12以使移动机器人10向目的地行驶。当移动机器人10到达监视区域时，行驶控制器120行驶以在监视区域周围移动。由于调度指令包括表示监视目标是河流的信息，所以行驶控制器120在监视区域中沿着河流行驶，并且信息处理器126使相机50从附近位置拍摄河流的图像。拍摄图像发送器128将由相机50拍摄的图像以及表示拍摄位置的拍摄位置信息发送到监视装置200。
第二图像获取单元214获取由移动机器人10的相机50拍摄的图像和拍摄位置信息。图像分析单元222分析由移动机器人10的相机50拍摄的图像，以掌握监视目标的当前状态或预测监视目标的未来状态。区域指定单元224可以根据图像分析单元222的分析结果和拍摄位置信息来指定需要信息的区域。
参照图7，监视相机150拍摄河流的图像，但是存在监视相机150无法拍摄图像的区域。区域指定单元224指定监视相机150不能拍摄的区域，并且指令单元226可以发送调度指令以在由区域指定单元224指定的区域周围移动。这允许图像获取单元210获取未被监视相机150充分拍摄的区域的拍摄图像，因此图像分析单元222可以通过图像分析来识别整个河流的状态(例如，水的增加量)。
区域指定单元224可以指定要对其获取更多详细信息的区域。通常，监视相机150被安装在远离河流的位置以拍摄大范围的图像，因此被拍摄的河流的图像的分辨率大多较低。因此，为了更准确地测量水的增加量，可以将移动机器人10调度到河附近，并且可以将由相机50拍摄的图像发送到监视装置200。在可以准确地测量水的增加量的情况下，图像分析单元222可以例如高精度地预测泛滥的可能性。
已经基于实施例描述了本发明。应当注意，实施例仅是示例，并且本领域技术人员可以理解，可以对其组件和处理的组合进行各种修改，并且这种修改也在本发明的范围内。
在实施例中，监视相机位置保持单元220存储每个监视相机150的地面位置和成像方向，但是可以存储关于各个监视相机150负责图像拍摄的区域的信息。在实施例中，区域指定单元224从监视相机位置保持单元220获取监视相机150b的地面位置和成像方向，并指定需要准确信息的区域，但是当监视相机位置保持单元220保持关于监视相机150b的负责区域的信息时，区域指定单元224可以根据关于负责区域的信息来指定需要准确信息的区域。
在实施例的监视系统1中，监视装置200监视河流的状态，但是可以监视可能发生灾害的区域，例如道路、海洋或山脉。除了灾难以外，监视装置200还可以用于查看和监视老年人和儿童。

Claims (5)

1.一种监视系统，其特征在于包括：
多个移动机器人；以及
监视装置，其中：
所述移动机器人包括；
相机；
行驶控制器，被配置为根据从所述监视装置发送的调度指令来控制行驶机构，以使所述移动机器人行驶；以及
拍摄图像发送器，被配置为向所述监视装置发送由所述相机拍摄的图像以及表示拍摄了所述图像的位置的拍摄位置信息；并且
所述监视装置包括；
第一图像获取单元，被配置为获取由监视相机拍摄的图像；
相机位置保持单元，被配置为存储所述监视相机的安装位置；
分析单元，被配置为分析由所述第一图像获取单元获取的所述图像；
指定单元，被配置为根据所述分析单元的分析结果指定需要信息的区域；
指令单元，被配置为向所述移动机器人发送向所述指定单元指定的所述区域的调度指令；以及
第二图像获取单元，被配置为获取由所述移动机器人的所述相机拍摄的图像和所述拍摄位置信息。
2.根据权利要求1所述的监视系统，其特征在于：
所述分析单元被配置为分析由所述第二图像获取单元获取的所述图像；以及
所述指定单元被配置为根据所述分析单元的所述分析结果和所述拍摄位置信息指定需要信息的区域。
3.根据权利要求1或2所述的监视系统，其特征在于：
所述指定单元被配置为指定不能通过所述监视相机进行图像拍摄的区域；以及
所述指令单元被配置为发送在所述指定单元指定的所述区域周围移动的调度指令。
4.一种监视方法，其特征在于包括：
获取由监视相机拍摄的图像；
分析由所述监视相机拍摄的所述图像；
根据分析的结果指定需要信息的区域；
向移动机器人发送向指定的所述区域的调度指令；
获取由所述移动机器人的相机拍摄的图像；以及
分析由所述移动机器人的所述相机拍摄的所述图像。
5.一种非暂时性计算机可读存储介质，其存储可由处理器执行以实现根据权利要求4所述的监视方法的计算机程序。
CN202010806123.XA 2019-10-21 2020-08-12 监视系统、监视方法以及存储介质 Pending CN112770084A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019192054A JP2021068974A (ja) 2019-10-21 2019-10-21 監視システムおよび監視方法
JP2019-192054 2019-10-21

Publications (1)

Publication Number Publication Date
CN112770084A true CN112770084A (zh) 2021-05-07

Family

ID=75491727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010806123.XA Pending CN112770084A (zh) 2019-10-21 2020-08-12 监视系统、监视方法以及存储介质

Country Status (3)

Country Link
US (1) US20210120185A1 (zh)
JP (1) JP2021068974A (zh)
CN (1) CN112770084A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021158468A (ja) * 2020-03-26 2021-10-07 東芝テック株式会社 撮影装置及び撮影方法
WO2023013131A1 (ja) * 2021-08-04 2023-02-09 コニカミノルタ株式会社 情報処理システムおよび情報処理プログラム
US20230100244A1 (en) * 2021-09-29 2023-03-30 Johnson Controls Tyco IP Holdings LLP Systems and methods for use of autonomous robots for blind spot coverage

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101979961A (zh) * 2010-05-18 2011-02-23 中国地震局地球物理研究所 一种灾情获取系统
CN207218924U (zh) * 2017-09-18 2018-04-10 中山大学南方学院 一种基于无人机的目标监控及快速寻找系统
CN109246355A (zh) * 2018-09-19 2019-01-18 北京云迹科技有限公司 利用机器人生成全景图像的方法、装置及机器人
CN109906614A (zh) * 2016-11-07 2019-06-18 株式会社雷姆洛克 监视系统以及移动机器人装置
CN110084992A (zh) * 2019-05-16 2019-08-02 武汉科技大学 基于无人机的古建筑群火灾报警方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101979961A (zh) * 2010-05-18 2011-02-23 中国地震局地球物理研究所 一种灾情获取系统
CN109906614A (zh) * 2016-11-07 2019-06-18 株式会社雷姆洛克 监视系统以及移动机器人装置
CN207218924U (zh) * 2017-09-18 2018-04-10 中山大学南方学院 一种基于无人机的目标监控及快速寻找系统
CN109246355A (zh) * 2018-09-19 2019-01-18 北京云迹科技有限公司 利用机器人生成全景图像的方法、装置及机器人
CN110084992A (zh) * 2019-05-16 2019-08-02 武汉科技大学 基于无人机的古建筑群火灾报警方法、装置及存储介质

Also Published As

Publication number Publication date
JP2021068974A (ja) 2021-04-30
US20210120185A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN112770084A (zh) 监视系统、监视方法以及存储介质
CN107873098A (zh) 检测与服务有关的车辆内的物体
JP6450481B2 (ja) 撮像装置及び撮像方法
US11703867B2 (en) Vehicle
KR101650525B1 (ko) 지아이에스 기반 신규데이터에 따른 영상 업데이트 도화시스템
US20210114810A1 (en) Robot system, robot control method, and storage medium
US20210107159A1 (en) Robot utilization system and transport robot
US20220041411A1 (en) Crane inspection system and crane
JP7167897B2 (ja) 配達システムおよび受取管理装置
US20210185587A1 (en) Mobile mesh network provisioning systems and methods
EP2732238B1 (fr) Procede de representation des mouvements eventuels d'une structure pour un appareil de type ordiphone
JP2018018419A (ja) 自律走行装置
JP2020017129A (ja) 移動体
JP2020167477A (ja) 監視システム
JP2019161444A (ja) 撮像装置およびそれを備えた自律走行装置、撮像方法
CN207991589U (zh) 扫描装置以及其电路
US20230251089A1 (en) Mobile scanning arrangement and method for controlling a mobile scanning arrangement
KR101944817B1 (ko) 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템
CN112037525A (zh) 一种基于摄像装置的无需停车厅的智能停车方法
KR101305954B1 (ko) 곤돌라 로봇의 영상 정합을 통한 위치 파악 및 지도 구축 장치 및 방법
US20210387743A1 (en) Flight vehicle
JP2019218059A (ja) 建設機械
JP7251441B2 (ja) 救助支援サーバ装置
CN116913041A (zh) 基于北斗的视觉监测预警方法及系统
CN114731388A (zh) 作业支援服务器、作业支援方法以及作业支援系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210507