CN110998273A - 车辆检查系统和方法 - Google Patents

车辆检查系统和方法 Download PDF

Info

Publication number
CN110998273A
CN110998273A CN201780093749.7A CN201780093749A CN110998273A CN 110998273 A CN110998273 A CN 110998273A CN 201780093749 A CN201780093749 A CN 201780093749A CN 110998273 A CN110998273 A CN 110998273A
Authority
CN
China
Prior art keywords
vehicle
image
unmanned aerial
flight path
vehicle interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780093749.7A
Other languages
English (en)
Inventor
奥列格·尤里耶维奇·古西欣
布鲁诺·西利·贾尔斯科斯塔
马德琳·J·戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110998273A publication Critical patent/CN110998273A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/80UAVs characterised by their small size, e.g. micro air vehicles [MAV]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/25UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

描述了示例性车辆检查系统和方法。在一个实施方式中,一种方法激活在车辆内部的无人飞行器以捕获所述车辆内部的图像。所述方法访问所述无人飞行器的飞行路径并接收与所述车辆的当前移动相关联的数据。所述方法调整所述无人飞行器的所述飞行路径以补偿所述车辆的所述当前移动。

Description

车辆检查系统和方法
技术领域
本公开涉及车辆系统,并且更具体地,涉及检查车辆内部的系统和方法。
背景技术
对于商业、政府和私人实体,汽车和其他车辆提供很大一部分运输。当将乘客或物体从一个位置运输到另一个位置时,诸如自主车辆等的车辆在道路、停车场和其他区域行驶。自主车辆的示例性应用充当出租车或班车服务,所述出租车或班车服务响应于运输请求而接载一个或多个乘客。当充当出租车或班车服务时,自主汽车会驶向接载位置,使得请求服务的乘客可以进入车辆。然后,车辆驶向目的地,并允许乘客离开车辆。在接载另一名乘客之前,优选地为下一位乘客清洁车辆内部。
附图说明
参考以下附图描述本公开的非限制性和非详尽性实施例,其中除非另有指定,否则相同的附图标记在各个附图中指代相同的部分。
图1是示出包括车辆检查系统的车辆控制系统的实施例的框图。
图2是示出车辆检查系统的实施例的框图。
图3示出了车辆的实施例,所述车辆具有多个内部相机和在车辆内部的无人飞行器。
图4示出了用于使用无人飞行器检查车辆内部的方法的实施例。
图5示出了用于调整无人飞行器的飞行路径的方法的实施例。
图6示出了用于检测车辆中的污渍或垃圾的方法的实施例。
图7示出了车辆内部的实施例,所述车辆内部具有在车辆内部的无人飞行器。
图8是示出无人飞行器的实施例的框图。
具体实施方式
在以下公开内容中,参考附图,所述附图形成本公开的一部分并且其中通过说明示出可实践本公开的具体实施方式。应当理解,在不脱离本公开的范围的情况下,可以利用其他实施方式并且可做出结构改变。说明书中对于“一个实施例”、“实施例”、“示例实施例”等的引用指示所述的实施例可以包括特定特征、结构或特性,但每一个实施例都可不必包括所述特定特征、结构或特性。此外,此类短语不一定是指同一实施例。此外,当结合实施例描述特定特征、结构或特性时,无论是否明确描述,结合其他实施例实现这样的特征、结构或特性都在所属领域技术人员的知识范围内。
本文公开的系统、装置和方法的实现方式可以包括或利用包括计算机硬件(诸如,例如本文所讨论的一个或多个处理器和系统存储器)的专用或通用计算机。本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可以为可以由通用或专用计算机系统存取的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此,作为示例而非限制,本公开的实施方式可以包括至少两种截然不同的计算机可读介质:计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如,基于RAM)、快闪存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码装置并且可以由通用或专用计算机存取的任何其他介质。
本文公开的装置、系统以及方法的实现方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬接线、无线或硬接线或无线的组合)向计算机传递或提供信息时,计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路,所述网络和/或数据链路可以用于以计算机可执行指令或数据结构的形式携带所需的程序代码手段并且可以由通用或专用计算机访问。上述的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如在处理器中执行时使通用计算机、专用计算机或专用处理装置执行某个功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)或者甚至源代码。尽管用特定于结构特征和/或方法动作的语言描述了本主题,但是应当理解,在所附权利要求中限定的主题不必限于上面描述的所述特征或动作。更确切地,所述特征和动作被公开作为实施权利要求的示例性形式。
所属领域技术人员将理解,本公开可在网络计算环境中利用许多类型的计算机系统配置进行实践,所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、传呼机、路由器、交换机、各种存储装置等等。本公开还可在分布式系统环境中实践,其中通过网络链接(通过硬接线数据链路、无线数据链路或通过硬接线与无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中,程序模块可位于本地和远程存储器存储装置两者中。
此外,在适当的情况下,本文所述的功能可以在以下一个或多个中执行:硬件、软件、固件、数字部件或模拟部件。例如,一个或多个专用集成电路(ASIC)可以被编程为执行本文所述的系统和过程中的一个或多个。某些术语在整个描述和权利要求中用于指代特定的系统部件。所属领域技术人员应当理解,可通过不同名称来指代部件。本文件并不意图区分名称不同但功能相同的部件。
应当注意,本文所讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行其功能的至少一部分。例如,传感器可以包括被配置为在一个或多个处理器中执行的计算机代码,并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文出于说明目的而提供,而不意图进行限制。如相关领域技术人员所知晓,本公开的实施例可以在另外类型的装置中实施。
本公开的至少一些实施例涉及计算机程序产品,其包括存储在任何计算机可用介质上的这种逻辑(例如,以软件形式)。此类软件在一种或多种数据处理装置中执行时使装置如本文所描述的进行操作。
图1是示出车辆内的包括车辆检查系统104的车辆控制系统100的实施例的框图。自动驾驶/辅助系统102可以用于自动化或控制车辆的操作或者向人类驾驶员提供辅助。例如,自动驾驶/辅助系统102可以控制车辆的制动、转向、座椅安全带张紧、加速、灯、警报、驾驶员通知、无线电、车辆锁或任何其他辅助系统中的一者或多者。在另一个示例中,自动驾驶/辅助系统102可能无法提供对驾驶(例如,转向、加速或制动)的任何控制,但是可以提供通知和警报以辅助人类驾驶员安全驾驶。车辆控制系统100包括车辆检查系统104,所述车辆检查系统与车辆中的各个部件交互以检查车辆内部是否有污渍、污垢、垃圾和在车辆内部的其他物品。尽管车辆检查系统104在图1中被示出为单独部件,但是在可选实施例中,车辆检查系统104可以并入自动驾驶/辅助系统102或任何其他车辆部件中。
车辆控制系统100还包括一个或多个传感器系统/装置,所述一个或多个传感器系统/装置用于检测附近物体(或障碍物)的存在或确定主车辆(例如,包括车辆控制系统100的车辆)的位置。例如,车辆控制系统100可以包括一个或多个雷达(无线电探测和测距)系统106、一个或多个激光雷达(光探测和测距)系统108、一个或多个相机系统110、全球定位系统(GPS)112和/或超声系统114。一个或多个相机系统110可以包括安装在车辆(例如,车辆的后部)上的后置相机、前置相机和侧置相机。相机系统110还可以包括一个或多个内部相机,所述一个或多个内部相机捕获车辆内部(诸如污垢、垃圾、污渍和在车辆内部的其他物体)的图像。激光雷达系统108可以包括一个或多个内部激光雷达传感器,所述一个或多个内部激光雷达传感器捕获与在车辆内部的区域相关联的数据。车辆控制系统100可以包括数据存储区116,所述数据存储区用于存储有关导航和安全性的相关或有用数据,诸如地图数据、驾驶历史或其他数据。车辆控制系统100还可以包括收发器118,所述收发器用于与移动或无线网络、其他车辆、基础设施或任何其他通信系统进行无线通信。
车辆控制系统100可以包括车辆控制致动器120以控制车辆驾驶的各个方面(诸如电动马达、开关或其他致动器),使得控制制动、加速、转向、座椅安全带张紧、门锁等。车辆控制系统100还可以包括一个或多个显示器122、扬声器124或其他装置,使得可以向人类驾驶员或乘客提供通知。显示器122可以包括抬头显示器、仪表盘显示器或指示器、显示屏或可以由车辆的驾驶员或乘客看见的任何其他可视指示器。扬声器124可以包括车辆的音响系统的一个或多个扬声器,或者可以包括专用于驾驶员或乘客通知的扬声器。
应当明白,图1的实施例仅以举例的方式给出。在不脱离本公开的范围的情况下,其他实施例可以包括更少或另外的部件。另外,所示部件可以组合或包括在其他部件内而没有限制。
在一个实施例中,自动驾驶/辅助系统102被配置为控制主车辆的驾驶或导航。例如,自动驾驶/辅助系统102可以控制车辆控制致动器120以在道路、停车场、行车道或其他位置行驶按一定路径行驶。例如,自动驾驶/辅助系统102可以基于由部件106至118中的任一者提供的信息或感知数据来确定路径。还可以基于操纵车辆以避免或减轻与另一车辆或物体的潜在碰撞的路线来确定路径。传感器系统/装置106至110和114可以用于获得实时传感器数据,使得自动驾驶/辅助系统102可以实时地辅助驾驶员或驾驶车辆。
图2是示出车辆检查系统104的实施例的框图。如图2中所示,车辆检查系统104包括通信管理器202、处理器204和存储器206。通信管理器202允许车辆检查系统104与其他系统(诸如自动驾驶/辅助系统102)进行通信。处理器204执行各种指令以实施由车辆检查系统104提供的功能性,如本文所讨论的。存储器206存储这些指令以及由处理器204和由包含在车辆检查系统104中的其他模块和部件使用的其他数据。
另外,车辆检查系统104包括图像处理模块208,所述图像处理模块从一个或多个相机系统110接收图像数据。车辆检查系统104还可以从在车辆内部的无人飞行器接收图像。无人飞行器包括一个或多个相机以捕获车辆内部的图像。在特定实施方式中,无人飞行器包括至少一个RGB(红、绿和蓝)相机和至少一个IR(红外)相机。在一些实施例中,由无人飞行器的相机捕获的图像被无线地传送到车辆检查系统104。无人飞行器包括能够飞行且飞机上无需人类飞行员的任何类型的飞行器或装置。例如,无人飞行器可以是自驾驶的(例如,自主的)或由另一个系统或操作员进行远程控制。在一些实施方式中,无人飞行器是小型无人机,诸如纳米无人机、小型无人机、微型无人机等。如下文更详细讨论的,无人飞行器足够小以至于围绕车辆内部飞行。在一些实施例中,无人飞行器可以在不使用时存储在车辆隔室(例如,杂物箱)内。如本文所使用的,无人飞行器也可以被称为无人驾驶飞行器(UAV)、无人驾驶系统或无人驾驶装置。
在一些实施例中,图像处理模块208包括图像管理算法或过程,所述图像管理算法或过程管理一个或多个干净图像,所述干净图像表示车辆内部干净(例如,车辆中没有污渍、污垢、垃圾或其他物品)时车辆内部的图像。另外,图像处理模块208可以管理在乘客离开车辆之后捕获的一个或多个附加图像。如本文所讨论的,将这些附加图像(也被称为“当前图像”)与干净图像进行比较,以确定由于乘客在车辆中行驶而导致车辆内部是否有污渍、垃圾、污垢或其他物品。
车辆检查系统104还包括图像相减模块210,所述图像相减模块从干净图像中减去附加图像(例如,当前图像)以识别图像之间的差异。这些差异可能表示前一名乘客留下的污渍、污垢、垃圾或其他物品。异常检测模块212基于对当前图像与干净图像之间的差异的分析来识别一个或多个异常。这些异常可以包括例如前一名乘客留下的污渍、污垢、垃圾或其他物品。
飞行路径管理器214控制无人飞行器在车辆内部的移动和飞行路径。在一些实施例中,无人飞行器可以遵循预定义飞行路径,所述预定义飞行路径允许无人飞行器的相机捕获车辆内部图像以检查所有区域是否有污渍、污垢、垃圾或其他物品。飞行路径管理器214可以与无人飞行器进行无线通信以控制飞行器在车辆内部的路径。在一些实施例中,飞行路径管理器214还指示无人飞行器何时捕获车辆内部的图像。
自适应飞行控制器216在无人飞行器在车辆内部飞行时识别车辆的移动,并在必要时调整飞行器的飞行路径以补偿车辆的移动。本文提供了关于基于车辆移动来调整飞行路径的附加细节。垃圾/污渍分类模块218基于捕获的图像来检测污渍、污垢、垃圾和其他物品在车辆中的位置和类型。例如,垃圾/污渍分类模块218分析当前图像与干净图像之间的所识别的差异以对垃圾或污渍的类型进行分类。例如,特定异常可以被分类为液体污渍、垃圾或地板或就座表面上的污垢。
车辆维护管理器220管理车辆的清洁和维护。例如,如果在乘客离开车辆之后在车辆中检测到污渍、污垢、垃圾或其他物品,则车辆维护管理器220可以确定在接纳下一位乘客之前是否需要将车辆停止服务。如果需要清洁,则车辆维护管理器220可以指示自动驾驶/辅助系统102将车辆驾驶到最近的清洁或服务设施。当确定是否需要清洁时,车辆维护管理器220可以考虑检测到的污渍、污垢、垃圾或其他物品的大小或分类。另外,如果需要清洁,则车辆维护管理器220可以确定需要何种清洁。
图3示出了车辆300的实施例,所述车辆具有多个内部相机和在车辆内部的无人飞行器。如图3中所示,车辆300具有四个内部相机302、304、306和308。在一些实施例中,相机302至308在车辆300中被定位和定向成使得所有就座表面(例如,座椅底部和座椅靠背)都在至少一个相机302至308的视野内。车辆300内部的其他区域(诸如车辆地板)也可以在一个或多个相机302至308的视野内。
另外,无人飞行器310在图3中被示为在车辆300内飞行。如本文所讨论的,无人飞行器310包括一个或多个相机(诸如RGB相机和IR相机),所述一个或多个相机在无人飞行器310在整个车辆内部飞行时捕获车辆300的内部的图像。无人飞行器310可以在车辆内部的任何可接近区域飞行以捕获图像,所述图像被分析以识别车辆300中的污垢、污渍、垃圾和其他物体。在一些实施例中,在一个或多个乘客离开车辆300之后,无人飞行器310被激活以在整个车辆300的内部飞行。车辆隔室312在不使用时为无人飞行器310提供存储位置。例如,车辆隔室312可以是车辆300中的杂物箱或其他隔室。在一些实施例中,无人飞行器310位于车辆隔室312中时进行再充电。
尽管图3中示出了四个内部相机302至308,但是在可选实施例中,车辆300可以具有位于整个车辆的各个位置并且指向不同角度的任何数量的内部相机。另外,尽管在图3中示出了一个无人飞行器310,但是在可选实施例中,车辆300可以包括在车辆内部飞行的任何数量的无人飞行器310。
图4示出了用于使用无人飞行器检查车辆内部的方法400的实施例。首先,车辆检查系统激活402在车辆内部的无人飞行器。例如,当一个或多个乘客离开车辆300时,无人飞行器310可以从车辆隔室312中释放以检查车辆内部是否有前一名乘客留下的污渍、污垢、垃圾或其他物体。无人飞行器遵循飞行路径围绕车辆内部进行操纵404以捕获车辆内部的图像。在一些实施例中,飞行路径允许无人飞行器上的相机捕获车辆内部的所有相关部分(例如,可能有前一名乘客留下的污渍、污垢、垃圾或其他物体的所有区域)的图像。
在一些实施方式中,无人飞行器在车辆驾驶到另一位置时围绕车辆内部进行操纵。随着无人飞行器围绕车辆内部进行操纵,车辆检查系统接收406与车辆的当前移动相关联的数据。与车辆的当前移动相关联的数据包括例如关于车辆的加速度、车辆的减速度或车辆的转弯(包括转弯方向)的数据。然后,车辆检查系统基于车辆的当前移动来确定408是否需要调整无人飞行器的飞行路径。车辆的移动可能会改变无人飞行器的飞行路径,因为车辆移动会导致车辆中的空气移动,从而沿不同方向“推动”无人飞行器。例如,如果车辆减速,则在车辆内部的空气向前移动(例如,朝向车厢前部)。空气的这种向前移动可能会向前“推动”无人飞行器,因为无人飞行器处于气流中,所述气流朝向车辆的前部移动。其他车辆移动可能会沿不同方向“推动”无人飞行器。例如,车辆加速可以朝向车厢的后部“推动”无人飞行器,并且向右或向左转弯可以分别向车厢的右侧或左侧“推动”无人飞行器。本文并且特别是关于图5讨论关于系统如何确定408是否调整飞行路径的附加细节。
如果需要410调整飞行路径,则车辆检查系统调整412无人飞行器的飞行路径以补偿车辆的当前移动。飞行路径调整对于防止无人飞行器飞入座椅、车窗或其他车辆表面很重要。另外,为了确保无人飞行器正在捕获来自预定义位置的图像,无人飞行器需要遵循预定义飞行计划。在一些实施例中,车辆检查系统经由无线通信链路将调整后的飞行路径传送至无人飞行器。如果不需要410调整飞行路径,则所述方法确定飞行路径是否完整414。如果飞行路径不完整,则所述方法返回到404,其中无人飞行器通过遵循飞行路径来继续围绕车辆内部进行操纵。
如果在414处飞行路径是完整的,则无人飞行器将捕获的图像传送416到车辆检查系统。在一些实施例中,随着无人飞行器围绕车辆内部进行操纵,无人飞行器将图像传送到车辆检查系统。例如,当图像被安装在无人飞行器上的相机捕获时,无人飞行器可以将图像传送到车辆检查系统。另外,无人飞行器返回到车辆隔室以进行存储,并且在一些实施例中,对无人飞行器中的电池或其他电源进行充电。最后,车辆检查系统分析418所捕获的图像以识别车辆中的污渍、污垢、垃圾或其他物体。本文中并且特别是关于图6讨论了关于系统如何识别车辆中的污渍、污垢、垃圾或其他物体的附加细节。
在一些实施例中,无人飞行器的飞行路径可以被修改以避开车辆的车厢中的障碍物并且获得关于车辆内部的特定部分的附加细节。例如,如果对所捕获的图像的初始分析指示有污渍、污垢、垃圾或其他物体,则无人飞行器可能会返回到车辆中的该位置以拍摄捕获附加图像,诸如特写图像或从不同角度拍摄的图像,以对污渍、污垢、垃圾或其他物体进行更好的分析或分类。在一些实施例中,车辆检查系统将所捕获的图像中的一者或多者传送到具有更强大的计算资源的远程位置和/或可以进一步分析识别污渍、污垢、垃圾或其他物体的人类用户,并且确定在接载新乘客之前需要进行何种清洁或车辆服务。
图5示出了用于调整无人飞行器的飞行路径的方法500的实施例。首先,车辆检查系统接收502与车辆当前移动相关联的数据。如上文所提及的,车辆移动可以包括车辆的加速度、车辆的减速度或车辆的转弯(包括转弯方向)。在一些实施例中,本文讨论的系统和方法还可以考虑当车辆向上或向下行驶在山坡上或车辆的海拔变化的其他道路情况时车辆移动的变化。车辆检查系统基于例如来自车辆控制输入(加速踏板、制动踏板)、加速度计、陀螺仪等的数据来确定504车辆当前是否正在加速、减速或转弯。在一些实施例中,车辆检查系统基于来自自动驾驶/辅助系统102的数据来确定504车辆当前是否正在加速、减速或转弯。在以自主模式驾驶时,自动驾驶/辅助系统102可以提供关于被提供给车辆控制致动器和其他车辆系统的输入的数据,所述输入指示车辆正在(或将要)加速、减速或转弯。
如果在506处车辆没有加速、减速或转弯,则所述方法返回到504,其中车辆检查系统继续确定车辆是否正在加速、减速或转弯。在这种情况下,可以认为车辆处于稳定状态(即,没有加速、减速或转弯)。在506,如果车辆正在执行一个或多个移动(例如,加速、减速和/或转弯),则车辆检查系统确定508加速度、减速度和/或转弯的大小。然后,车辆检查系统会识别510适当的无人机飞行路径调整,以补偿车辆的加速、减速和/或转弯。所需的调整量可以根据加速度、减速度和/或转弯的大小而改变。
当车辆检查系统基于以上确定的适当调整来调整512无人飞行器的飞行路径时,方法500继续进行。车辆检查系统经由例如无线通信链路将调整后的飞行路径传送514至无人飞行器。无人飞行器基于调整后的飞行路径来调整其操作,所述调整后的飞行路径应允许无人飞行器更准确地遵循其预定义飞行路径,所述预定义飞行路径允许无人飞行器的相机捕获车辆内部图像以检查所有区域是否有污渍、污垢、垃圾或其他物品。在将调整后的飞行路径传达514到无人飞行器之后,方法500返回到504以继续确定车辆是否正在加速、减速或转弯。
在一些实施例中,无人飞行器能够独立地确定其在车辆内部的位置。尽管无人飞行器可以从车辆检查系统(或其他系统)接收飞行控制(或飞行路径)指令,但是无人飞行器可以基于例如来自由无人飞行器的相机捕获的图像的视觉提示来确定其在车辆中的位置。在一些实施例中,视觉提示与车辆内的预定义点或预定义位置相关联。当无人飞行器识别出这些预定义点中的一者时,无人飞行器可以基于预定义点在所捕获的图像内的位置以及无人飞行器捕获该图像的已知角度或视角来确定(或至少大概确定)其在车辆内部的位置。示例性预定义点包括通常具有固定位置的物体或物品,诸如方向盘、方向盘中间的公司徽标、座椅安全带接收器、门把手、通风口、头枕等。在一些实施方式中,预定义点是车辆内的特定标记或代码,诸如条形码、ArUco标记等。因为无人飞行器在车辆内部移动,所以可以使用诸如“运动恢复结构”(SfM)的技术来估计无人飞行器在车辆内部的位置。在一些实施方式中,无人飞行器使用一个或多个其他传感器来帮助确定无人飞行器在车辆内部的位置。在一些实施例中,无人飞行器将其当前位置传送给车辆检查系统,由此允许车辆检查系统确认无人飞行器在飞行路径上的位置。如果无人飞行器不在正确的飞行路径上,则可以将适当调整从车辆检查系统传送给无人飞行器。
图6示出了用于检测车辆中的污渍或垃圾的方法600的实施例。首先,车辆检查系统访问602与干净的车辆内部相关联的一个或多个干净图像。当车辆上没有污渍、污垢、垃圾或其他物品时,捕获这些干净图像。在一些实施例中,从车辆内的特定位置和角度捕获干净图像。例如,可以通过安装在车辆内部的特定位置处的一个或多个相机来捕获干净图像。另外,可以由无人飞行器在沿着车辆内的飞行路径的特定位置处捕获一些(或全部)干净图像。车辆检查系统还接收604当前车辆内部的一个或多个图像(被称为“当前图像”)。可以由安装到在车辆中的相机和/或安装到在车辆内部操纵的无人飞行器的相机捕获当前图像。
当车辆检查系统从干净图像中减去606当前图像时,方法600继续进行。这种相减过程识别608当前图像与干净图像之间的差异。这些差异可能表示前一名乘客留下的污渍、污垢、垃圾或其他物体。车辆检查系统分析610当前图像与干净图像之间的差异,并且确定车辆中是否存在污渍、污垢、垃圾或其他物品。在一些实施例中,对当前图像与干净图像之间的差异的分析识别出所识别差异中的一个或多个轮廓。轮廓包括例如污渍、污垢、垃圾或其他物品的轮廓。基于轮廓的形状和轮廓边缘的平滑度,车辆检查系统确定图像中污渍、污垢、垃圾或其他物品的类型。例如,如果轮廓是带有平滑边缘的大致圆形,则可能是污渍。然而,如果轮廓具有不规则形状和/或锐利的/锯齿形边缘,则它很可能是前一名乘客留在车内的垃圾或其他物品。基于对污渍、污垢、垃圾或其他物体的分析和确定,所述方法确定612车辆是否应停止服务以进行清洁。具体地,所述方法确定在允许另一个乘客进入车辆之前是否需要清洁车辆。关于车辆是否需要清洁的这种确定可以包括确定污渍、污垢、垃圾或其他物品的大小。例如,地板上的一小堆垃圾可能不需要车辆清洁,但是座椅上的明显污渍可能需要清洁车辆。
如果需要使车辆停止服务以便于清洁612,则在接受下一位乘客之前,对车辆执行614适当的清洁。这种清洁可以通过移动式清洁服务执行,或者在车辆清洁和/或维修设施中执行,这取决于所需的清洁量以及车辆与移动式清洁服务和/或清洁/维修设施的接近度。在清洁车辆之后(或者如果车辆不需要清洁),使车辆可用来接载新乘客并等待指令616来接载下一位乘客。
图7示出了车辆内部700的实施例,所述车辆内部具有在车辆内部进行操纵的无人飞行器704。车辆内部700包括就座表面702,并且示出了表面中的一者上的污渍706。如图7中所示,安装在无人飞行器704上的相机捕获污渍706的图像,并将所捕获的图像传送至与车辆相关联的车辆检查系统。
图8是示出无人飞行器704的实施例的框图。如图8中所示,无人飞行器704包括通信管理器802、处理器804和存储器806。通信管理器802允许无人飞行器704与其他系统(诸如自动驾驶/辅助系统102和车辆检查系统104)进行通信。处理器804执行各种指令以实施由无人飞行器704提供的功能性,如本文所讨论的。存储器806存储这些指令以及由处理器804和包含在无人飞行器704中的其他模块和部件使用的其他数据。另外,无人飞行器704包括RGB相机808和IR相机810。
无人飞行器704还包括图像捕获模块812,所述图像捕获模块从RGB相机808和/或IR相机810捕获图像。如本文所讨论的,这些所捕获的图像可以被传送到车辆检查系统104或其他部件或系统。飞行路径模块814维护与无人飞行器704试图遵循的预定义飞行路径相关的信息。在一些实施例中,从车辆检查系统104接收飞行路径信息。位置确定模块816确定无人飞行器704在车辆内部的位置。例如,位置确定模块816可以分析包含在由RGB相机808和/或IR相机810捕获的图像中的视觉提示。
旋翼控制模块818控制与无人飞行器704相关联的多个旋翼820的操作。在一些实施例中,无人飞行器704具有三个或四个旋翼820,所述旋翼辅助无人飞行器704在整个车辆中飞行。例如,旋翼控制模块818可以控制每个旋翼820的转速以对无人飞行器704在车辆的整个车厢中进行转向和操纵。因此,旋翼控制模块818可以辅助沿着特定飞行路径操纵无人飞行器704,从而避开车辆中的障碍物等。在特定实施例中,由旋翼控制模块818执行的一个或多个功能反而由车辆检查系统104执行,所述车辆检查系统将适当的旋翼控制指令发送到旋翼控制模块818以用于实施。
在一些实施例中,本文讨论的自适应飞行控制过程确定由于车辆移动(加速、减速、转弯等)和所施加的车辆控制(加速器、制动器、转向等)而施加到无人飞行器704的力。基于施加到无人飞行器704的力,旋翼控制模块818可以估计每个旋翼补偿所施加的力所必需的旋翼速度。然后,旋翼控制模块818调整多个旋翼中的每一者的速度以将无人飞行器704保持在特定的飞行路径上。
在一些实施例中,本文所讨论的系统和方法也用于检测内部车辆损坏,诸如就座表面撕裂、装饰件破损、装饰件悬垂、扶手损坏、座椅安全带损坏等。
尽管已经在本文描述了本公开的各个实施例,但是应当理解,这些实施例仅通过示例而非限制的方式呈现。相关领域技术人员应当明白,可以在不脱离本公开的精神和范围的情况下作出形式和细节方面的各种改变。因此,本公开的广度和范围不应受所述示例性实施例中的任一个限制,而是应仅根据所附权利要求及其等效物来限定。出于说明和描述目的而呈现了本描述。它意图不是穷举的或将本公开限制为所公开的精确形式。鉴于所公开的教导,许多修改和变化是可能的。此外,应当注意,任何或所有本文讨论的可选实施方式可以所需的任何组合使用以形成本公开的附加混合实施方式。

Claims (20)

1.一种方法,其包括:
激活在车辆内部的无人飞行器,其中所述无人飞行器包括被配置为捕获所述车辆内部的图像的相机;
使用一个或多个处理器访问所述无人飞行器的飞行路径,所述无人飞行器捕获所述车辆内部的特定部分的图像;
接收与所述车辆的当前移动相关联的数据;以及
使用所述一个或多个处理器调整所述飞行路径以补偿所述车辆的所述当前移动。
2.如权利要求1所述的方法,其中与所述车辆的所述当前移动相关联的数据包括车辆加速度、车辆减速度和车辆转弯中的至少一者。
3.如权利要求1所述的方法,其还包括:
访问与干净的车辆内部相关联的干净图像;
从所述无人飞行器接收与所述车辆内部相关联的第二图像;
识别在所述干净图像与所述第二图像之间的差异;以及
基于在所述干净图像与所述第二图像之间的所述差异来确定所述车辆内部的清洁度。
4.如权利要求3所述的方法,其中确定所述车辆内部的清洁度包括确定所述车辆内部是否包括污渍、污垢或垃圾中的至少一者。
5.如权利要求3所述的方法,其中基于在所述干净图像与所述第二图像之间的所述差异来确定所述车辆内部的清洁度包括从所述干净图像中减去所述第二图像。
6.如权利要求1所述的方法,其中调整所述飞行路径以补偿所述车辆的所述当前移动包括接收包括车辆速度、车辆加速度或车辆转向信号中的至少一者的车辆数据。
7.如权利要求1所述的方法,其中响应于乘客离开所述车辆而激活所述无人飞行器。
8.如权利要求1所述的方法,其中所述无人飞行器相机包括RGB(红、绿和蓝)传感器和IR(红外)传感器,并且其中所述RGB传感器和所述IR传感器都被配置为捕获所述车辆内部的图像。
9.如权利要求1所述的方法,其中所述无人飞行器是无人机、纳米无人机、小型无人机或微型无人机中的一者。
10.如权利要求1所述的方法,其还包括基于确定所述车辆内部是否包括污渍、污垢或垃圾中的至少一者来确定所述车辆内部是否需要清洁。
11.如权利要求1所述的方法,其中调整所述飞行路径包括调整所述无人飞行器的至少一个旋翼的速度。
12.如权利要求1所述的方法,其中接收与所述车辆的所述当前移动相关联的数据包括接收与车辆制动器、加速器或转向系统中的至少一者的激活相关联的数据。
13.如权利要求1所述的方法,其中所述车辆是自主车辆。
14.一种方法,其包括:
激活在车辆内部的无人飞行器,其中所述无人飞行器包括被配置为捕获所述车辆内部的图像的相机;
使用一个或多个处理器确定所述无人飞行器的飞行路径,所述无人飞行器捕获所述车辆内部的特定部分的图像;
接收与所述车辆的当前移动相关联的数据;
确定与所述无人飞行器的多个旋翼中的每一者相关联的必要速度以补偿所述车辆的所述当前移动;以及
基于所确定的必要速度来调整所述多个旋翼中的至少一者的速度。
15.如权利要求14所述的方法,其中接收与所述车辆的所述当前移动相关联的数据包括接收与车辆制动器、加速器或转向系统中的至少一者的激活相关联的数据。
16.如权利要求14所述的方法,其还包括基于确定所述车辆内部是否包括污渍、污垢或垃圾中的至少一者来确定所述车辆内部是否需要清洁。
17.一种设备,其包括:
通信管理器,所述通信管理器被配置为与车辆中的无人飞行器进行通信;
飞行路径管理器,所述飞行路径管理器被配置为访问所述无人飞行器的飞行路径;以及
自适应飞行控制器,所述自适应飞行控制器耦合到所述通信管理器和所述飞行路径模块,其中所述自适应飞行控制器被配置为接收与所述车辆的当前移动相关联的数据,并且其中所述自适应飞行控制器还被配置为调整所述飞行路径以补偿所述车辆的所述当前移动。
18.如权利要求17所述的设备,其中所述自适应飞行控制器还被配置为将所述调整后的飞行路径传送给所述无人飞行器。
19.如权利要求17所述的设备,其还包括图像处理模块,所述图像处理模块被配置为:
访问与干净的车辆内部相关联的干净图像;
接收与当前车辆内部相关联的第二图像;
识别在所述干净图像与所述第二图像之间的差异;以及
基于在所述干净图像与所述第二图像之间的差异来确定所述车辆内部的清洁度。
20.如权利要求17所述的设备,其中与所述车辆的所述当前移动相关联的所述数据包括车辆速度、车辆加速度或车辆转向信号中的至少一者。
CN201780093749.7A 2017-08-08 2017-08-08 车辆检查系统和方法 Pending CN110998273A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/045924 WO2019032097A1 (en) 2017-08-08 2017-08-08 VEHICLE INSPECTION SYSTEMS AND METHODS

Publications (1)

Publication Number Publication Date
CN110998273A true CN110998273A (zh) 2020-04-10

Family

ID=65272620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093749.7A Pending CN110998273A (zh) 2017-08-08 2017-08-08 车辆检查系统和方法

Country Status (4)

Country Link
US (1) US11347243B2 (zh)
CN (1) CN110998273A (zh)
DE (1) DE112017007735T5 (zh)
WO (1) WO2019032097A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430148B2 (en) * 2016-12-28 2022-08-30 Datalogic Ip Tech S.R.L. Apparatus and method for pallet volume dimensioning through 3D vision capable unmanned aerial vehicles (UAV)
GB2560593B (en) * 2017-07-31 2019-02-20 Matthew Russell Iain Unmanned Aerial Vehicles
WO2019222810A1 (en) * 2018-05-25 2019-11-28 Emesent IP Pty Ltd Mapping and control system for an aerial vehicle
JP7413278B2 (ja) * 2018-12-07 2024-01-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び、プログラム
CN110110704A (zh) * 2019-05-21 2019-08-09 北京首汽智行科技有限公司 一种车辆卫生监控方法及系统
US11580628B2 (en) * 2019-06-19 2023-02-14 Deere & Company Apparatus and methods for augmented reality vehicle condition inspection
US20210354854A1 (en) * 2019-11-01 2021-11-18 B/E Aerospace, Inc. Aircraft Interior UAS Inspection and Sanitation
KR20210149476A (ko) * 2020-06-02 2021-12-09 현대자동차주식회사 자동차 및 그를 위한 실내 청결 관리 방법
DE102021208671B3 (de) 2021-08-10 2022-11-24 Volkswagen Aktiengesellschaft Verfahren zum Enteisen von Fahrzeugen mittels Drohnen
EP4322118A1 (en) * 2022-08-09 2024-02-14 B/E Aerospace, Inc. Intelligent cabin management system for automated check of basic safety norms and inflight safety procedures

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123166B1 (en) * 2000-11-17 2006-10-17 Haynes Michael N Method for managing a parking lot
WO2014179482A1 (en) * 2013-04-30 2014-11-06 The Regents Of The University Of California Fire urgency estimator in geosynchronous orbit (fuego)
EP2937756A1 (en) * 2014-04-22 2015-10-28 Airbus Operations GmbH Method for inspecting an airborne vehicle
CN105517664B (zh) * 2014-05-30 2018-11-20 深圳市大疆创新科技有限公司 无人飞行器对接系统及方法
EP3155758A4 (en) * 2014-06-10 2018-04-11 Sightline Innovation Inc. System and method for network based application development and implementation
WO2017031365A1 (en) 2015-08-18 2017-02-23 Nilfisk, Inc. Mobile robotic cleaner
DE102015216272A1 (de) 2015-08-26 2017-03-02 Airbus Operations Gmbh Modularer Roboter-Bausatz, Schwarm modularisierter Roboter und Verfahren zum Erledigen von Aufgaben durch einen Schwarm modularisierter Roboter
US20170121019A1 (en) * 2015-10-29 2017-05-04 Industrial Bank Of Korea Drone-type smart carwash robot
US10599926B2 (en) * 2015-12-16 2020-03-24 Regents Of The University Of Minnesota Automated detection of nitrogen deficiency in crop
US20170202185A1 (en) 2016-01-18 2017-07-20 Dinklage Feed Yards, Inc. Unmanned livestock monitoring system and methods of use
WO2017204998A2 (en) * 2016-04-29 2017-11-30 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
CA3030349A1 (en) * 2016-09-28 2018-05-05 Federal Express Corporation Systems and methods for monitoring the internal storage contents of a shipment storage using one or more internal monitor drones
WO2018080425A1 (en) * 2016-10-24 2018-05-03 Ford Global Technologies, Llc Using unmanned aerial vehicles to inspect autonomous vehicles
US10384692B2 (en) * 2017-03-16 2019-08-20 Amazon Technologies, Inc. Demand-based distribution of items using intermodal carriers and unmanned aerial vehicles
US10509974B2 (en) * 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) * 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
US10379545B2 (en) * 2017-07-03 2019-08-13 Skydio, Inc. Detecting optical discrepancies in captured images
GB2560593B (en) * 2017-07-31 2019-02-20 Matthew Russell Iain Unmanned Aerial Vehicles
JP2019087045A (ja) * 2017-11-07 2019-06-06 トヨタ自動車株式会社 ドライバレス輸送システム
US20190380547A1 (en) * 2018-06-13 2019-12-19 Qualcomm Incorporated Stair debris accumulation for automatic cleaning devices
CN111684487B (zh) * 2019-04-29 2024-03-19 深圳市大疆创新科技有限公司 清洗方法、清洗控制系统、计算机可读存储介质、清洗系统、光学传感器及可移动平台
US11704947B2 (en) * 2019-12-23 2023-07-18 Robert Bosch Gmbh In-vehicle sensing module for monitoring a vehicle
JP7169965B2 (ja) * 2019-12-24 2022-11-11 本田技研工業株式会社 車両管理システム、及び車両管理方法

Also Published As

Publication number Publication date
US11347243B2 (en) 2022-05-31
DE112017007735T5 (de) 2020-04-23
US20200209891A1 (en) 2020-07-02
WO2019032097A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
US11347243B2 (en) Vehicle inspection systems and methods
US10906532B2 (en) Autonomous vehicle and method for controlling the same
US20190071179A1 (en) Motor vehicle with captive aircraft
US10304165B2 (en) Vehicle stain and trash detection systems and methods
US9862364B2 (en) Collision mitigated braking for autonomous vehicles
WO2019163121A1 (ja) 車両制御システム、車両制御方法、およびプログラム
US11667236B2 (en) Notification device
WO2018159315A1 (ja) 遠隔操縦装置、遠隔操縦方法、及び遠隔操縦プログラム
US11846940B2 (en) Methods and apparatus for vehicle control
US20200019158A1 (en) Apparatus and method for controlling multi-purpose autonomous vehicle
JP2019156133A (ja) 車両制御装置、車両制御方法、及びプログラム
US11698634B2 (en) Remote assistance system for autonomous vehicle
US20220207887A1 (en) Vehicle recognition device, vehicle control system, vehicle recognition method, and storage medium
US20220203866A1 (en) Vehicle control device, vehicle control method, and storage medium
JP6936380B1 (ja) 車両制御システム、および車両制御方法
US11377098B2 (en) Vehicle control device, vehicle control method, and storage medium
WO2020129689A1 (ja) 移動体制御装置、移動体制御方法、移動体、情報処理装置、情報処理方法、及び、プログラム
JP2022150979A (ja) 車両制御装置、車両制御方法、およびプログラム
EP3813307A1 (en) Ecu for communication
US20230311935A1 (en) Vehicle control system and vehicle control method
US20240059304A1 (en) Vehicle control device, vehicle control system, vehicle control method, and program
BE1027996B1 (nl) Onbemand luchtvaartuig toepassing zoals achteruitrijcamera
WO2023287906A1 (en) System and method in the prediction of target vehicle behavior based on image frame and normalization
JP2022129695A (ja) 車両制御装置、車両制御方法、およびプログラム
JP2022154605A (ja) 検知装置、検知方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination