CN113682227B - 车辆周边监视系统 - Google Patents

车辆周边监视系统 Download PDF

Info

Publication number
CN113682227B
CN113682227B CN202110260997.4A CN202110260997A CN113682227B CN 113682227 B CN113682227 B CN 113682227B CN 202110260997 A CN202110260997 A CN 202110260997A CN 113682227 B CN113682227 B CN 113682227B
Authority
CN
China
Prior art keywords
vehicle
unit
flying
flying body
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110260997.4A
Other languages
English (en)
Other versions
CN113682227A (zh
Inventor
桥口拓允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Publication of CN113682227A publication Critical patent/CN113682227A/zh
Application granted granted Critical
Publication of CN113682227B publication Critical patent/CN113682227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P3/00—Vehicles adapted to transport, to carry or to comprise special loads or objects
    • B60P3/06—Vehicles adapted to transport, to carry or to comprise special loads or objects for carrying vehicles
    • B60P3/11—Vehicles adapted to transport, to carry or to comprise special loads or objects for carrying vehicles for carrying aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U80/00—Transport or storage specially adapted for UAVs
    • B64U80/80—Transport or storage specially adapted for UAVs by vehicles
    • B64U80/86—Land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/022—Tethered aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/60—Tethered aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H75/00—Storing webs, tapes, or filamentary material, e.g. on reels
    • B65H75/02—Cores, formers, supports, or holders for coiled, wound, or folded material, e.g. reels, spindles, bobbins, cop tubes, cans, mandrels or chucks
    • B65H75/34—Cores, formers, supports, or holders for coiled, wound, or folded material, e.g. reels, spindles, bobbins, cop tubes, cans, mandrels or chucks specially adapted or mounted for storing and repeatedly paying-out and re-storing lengths of material provided for particular purposes, e.g. anchored hoses, power cables
    • B65H75/38—Cores, formers, supports, or holders for coiled, wound, or folded material, e.g. reels, spindles, bobbins, cop tubes, cans, mandrels or chucks specially adapted or mounted for storing and repeatedly paying-out and re-storing lengths of material provided for particular purposes, e.g. anchored hoses, power cables involving the use of a core or former internal to, and supporting, a stored package of material
    • B65H75/40—Cores, formers, supports, or holders for coiled, wound, or folded material, e.g. reels, spindles, bobbins, cop tubes, cans, mandrels or chucks specially adapted or mounted for storing and repeatedly paying-out and re-storing lengths of material provided for particular purposes, e.g. anchored hoses, power cables involving the use of a core or former internal to, and supporting, a stored package of material mobile or transportable
    • B65H75/42—Cores, formers, supports, or holders for coiled, wound, or folded material, e.g. reels, spindles, bobbins, cop tubes, cans, mandrels or chucks specially adapted or mounted for storing and repeatedly paying-out and re-storing lengths of material provided for particular purposes, e.g. anchored hoses, power cables involving the use of a core or former internal to, and supporting, a stored package of material mobile or transportable attached to, or forming part of, mobile tools, machines or vehicles
    • B65H75/425—Cores, formers, supports, or holders for coiled, wound, or folded material, e.g. reels, spindles, bobbins, cop tubes, cans, mandrels or chucks specially adapted or mounted for storing and repeatedly paying-out and re-storing lengths of material provided for particular purposes, e.g. anchored hoses, power cables involving the use of a core or former internal to, and supporting, a stored package of material mobile or transportable attached to, or forming part of, mobile tools, machines or vehicles attached to, or forming part of a vehicle, e.g. truck, trailer, vessel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H75/00—Storing webs, tapes, or filamentary material, e.g. on reels
    • B65H75/02—Cores, formers, supports, or holders for coiled, wound, or folded material, e.g. reels, spindles, bobbins, cop tubes, cans, mandrels or chucks
    • B65H75/34—Cores, formers, supports, or holders for coiled, wound, or folded material, e.g. reels, spindles, bobbins, cop tubes, cans, mandrels or chucks specially adapted or mounted for storing and repeatedly paying-out and re-storing lengths of material provided for particular purposes, e.g. anchored hoses, power cables
    • B65H75/38—Cores, formers, supports, or holders for coiled, wound, or folded material, e.g. reels, spindles, bobbins, cop tubes, cans, mandrels or chucks specially adapted or mounted for storing and repeatedly paying-out and re-storing lengths of material provided for particular purposes, e.g. anchored hoses, power cables involving the use of a core or former internal to, and supporting, a stored package of material
    • B65H75/44—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B64U2201/202—Remote controls using tethers for connecting to ground station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/90—Launching from or landing on platforms
    • B64U70/92—Portable platforms
    • B64U70/93—Portable platforms for use on a land or nautical vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Vehicle Body Suspensions (AREA)

Abstract

本发明的车辆周边监视系统包括控制部，该控制部在车辆信息检测部检测到乘员在车辆的车室内的搭乘的情况下，以如下的方式控制飞行体：使飞行体从车辆起飞，并且使拍摄部拍摄车辆的周边，且使拍摄部所拍摄的映像发送到通信部。由此，能够将飞行体的拍摄部所拍摄的拍摄映像应用于在乘员为了开始驾驶而搭乘到停车中的车辆的车室内之后的安全确认。

Description

车辆周边监视系统
技术领域
本发明涉及车辆周边监视系统。
背景技术
日本专利公开公报特开2016-138853号(专利文献1)中公开了一种导航系统，该导航系统包括具备摄像机且被搭载在车辆上的飞行体，通过使飞行体基于车内的导航装置的控制而在车辆上空飞行来获取拍摄图像，并且根据该拍摄图像的分析结果来进行车辆的行驶辅助等。
在乘员开始驾驶车辆时，通常，乘员在进行了安全确认例如停车中的车辆周边是否存在障碍物等之后才搭乘到车辆的车室内。然而，在乘员搭乘到车室内之后，当小孩或动物等移动到车辆的死角区域时，乘员有可能未注意到小孩或动物等的存在而开始驾驶车辆。因此，希望实现一种如下的装置：即使在乘员搭乘到车室内之后的状况下，乘员也能够可靠地确认到车辆周边的安全。
然而，专利文献1所公开的导航系统丝毫没有考虑到将飞行体的摄像机所拍摄的拍摄图像应用于在乘员为了开始驾驶而搭乘到停车中的车辆的车室内之后的安全确认。
发明内容
本发明鉴于上述的情况而作，其目的在于提供一种如下的车辆周边监视系统：能够将飞行体的拍摄部所拍摄的拍摄图像应用于在乘员为了开始驾驶而搭乘到停车中的车辆的车室内之后的安全确认。
本发明的一个方面所涉及的车辆周边监视系统包括：飞行体，搭载在车辆上并且具有拍摄部，且能够在所述车辆的车外飞行；通信部，设于所述车辆，能够接收所述拍摄部拍摄的图像；显示部，将所述通信部接收的图像显示在所述车辆的车室内；控制部，控制所述飞行体；以及搭乘检测部，检测乘员在停车中的所述车辆的所述车室内的搭乘；其中，在所述搭乘检测部检测到所述乘员在所述车室内的搭乘的情况下，所述控制部以如下的方式进行控制：使所述飞行体从所述车辆起飞，并且使所述拍摄部拍摄所述车辆的周边，且使所述拍摄部所拍摄的图像发送到所述通信部。
根据本发明，能够将飞行体的拍摄部所拍摄的拍摄图像应用于在乘员为了开始驾驶而搭乘到停车中的车辆的车室内之后的安全确认。
附图说明
图1是表示本发明的实施方式所涉及的车辆周边监视系统的应用例的图。
图2是示意性地表示飞行体的外观的图。
图3是表示飞行体的功能结构的方块图。
图4是表示车辆的功能结构的方块图。
图5是表示飞行体控制部的功能结构的方块图。
图6是表示飞行体的规定飞行路径的一个例子的图。
图7是表示飞行体的规定飞行路径的另一个例子的图。
图8是表示车辆信息检测部的功能结构的图。
图9是表示车辆的控制部进行的飞行体控制流程的流程图。
具体实施方式
以下，利用附图来详细说明本发明的实施方式。在不同的附图中被附上相同符号的要素假定为相同或相应的要素。
图1是表示本发明的实施方式所涉及的车辆周边监视系统的应用例的图。车辆1上搭载有能够在车辆1的车外飞行的飞行体2。在车辆1的指定部位(本例是在后窗上)上配置有飞行体2的起降台3。起降台3具有用于让飞行体2进行起降的水平的起降面。在起降面的下方配置有卷取式卷绕器19(未在图1中示出)。卷取式卷绕器19具有卷装有作为馈电用索体的系件4的转轴(省略图示)。在起降面的大致中央部上设有通孔，卷装在卷取式卷绕器19的转轴上的系件4穿过该通孔内并被拉出到起降面的上方而连接于飞行体2。
图2是示意性地表示飞行体2的外观的图。飞行体2作为所谓的四旋翼型无人机而被构成。飞行体2具备主体部111、配置在主体部111前侧面的摄像机112、配置在主体部111的四个角上的螺旋桨113、从主体部111的左右两侧面垂直延伸的轴114、内包主体部111的网眼球体状的缓冲构件115。主体部111和缓冲构件115通过轴114而被相互固定。系件4被连接于主体部111的底面。
图3是表示飞行体2的功能结构的方块图。如图3所示，飞行体2具有通信部21、拍摄部22、驱动部23、位置检测部24、以及姿势检测部25。此外，飞行体2具有通过控制上述的各处理部的动作来掌管飞行体2的整体控制的控制部20。而且，飞行体2具有对上述的各处理部及控制部20供应驱动电力的电力供应部29。电力供应部29连接于系件4。通过从车辆1侧经由系件4供应飞行体2的驱动电力，能够省略蓄电池在飞行体2上的搭载，其结果，能够实现飞行体2的轻型化。飞行体2的总重量小于成为基于重量的飞行限制对象的限制重量(例如200克)。
通信部21利用Bluetooth(蓝牙(注册商标))等近距离无线通讯方式来在与后述的车辆1侧的通信部122之间双向地进行数据通信。但是，也可以通过在系件4内追加数据通信线而构成为通信部21与通信部122经由该数据通信线来进行有线通信的结构。
拍摄部22包含图2所示的摄像机112。拍摄部22所拍摄的图像包含静止图像(照片)和动态图像(映像)双方。在以下的说明中，以拍摄部22所拍摄的映像的情形作为例子。拍摄部22实时地输出摄像机112所拍摄的映像的映像数据。
驱动部23包含用于驱动图2所示的螺旋桨113的传动轴转动的马达。驱动部23对四个螺旋桨113的转动方向及转速个别地进行控制。由此，飞行体2能够进行前进、后退、上升、下降、回转以及悬停等任意的飞行动作。
位置检测部24包含GPS接收器及高度传感器等，通过实时地检测飞行体2的位置而输出表示所检测的位置的位置数据。
姿势检测部25包含加速度传感器、陀螺传感器以及方位传感器等，通过实时地检测飞行体2的姿势而输出表示所检测的姿势的姿势数据。
控制部20将从拍摄部22输出的映像数据、从位置检测部24输出的位置数据、以及从姿势检测部25输出的姿势数据实时地从通信部21发送到车辆1。
图4是表示车辆1的功能结构的方块图。如图4所示，车辆1具有蓄电池控制部11、飞行体控制部12、车辆信息检测部14、通信部15、显示部16、以及操作输入部17。此外，车辆1具有通过控制上述的各处理部的动作来掌管车辆1的整体控制的控制部10。此外，车辆1具有对上述的各处理部及控制部10供应驱动电力的蓄电池18。系件4连接于蓄电池18。此外，车辆1具有卷取式卷绕器19。卷取式卷绕器19的驱动电力从蓄电池18供应而来。卷取式卷绕器19具有卷装有系件4的转轴(省略图示)和用于驱动该转轴转动的马达(省略图示)。卷取式卷绕器19基于马达对转轴进行的驱动来控制系件4的送出及回收，以便使与飞行体2的飞行状况对应的恰当量的系件4从转轴被放出。
蓄电池控制部11控制蓄电池18的充放电动作。此外，蓄电池控制部11控制从蓄电池18往系件4的电力供应的开始及停止。
飞行体控制部12控制飞行体2的飞行。飞行体控制部12的详细情况后述。
车辆信息检测部14检测车辆1的各种信息。车辆信息检测部14的详细情况后述。
通信部15在与预先注册的用户的移动终端之间利用Bluetooth(注册商标)或无线LAN等任意的无线通讯方式双向地进行数据通信。移动终端是具有显示部的智能手机、平板电脑、以及笔记本电脑等。
显示部16包含利用了LCD或有机EL等任意的显示装置的车载显示器。显示部16也可以是汽车导航装置所具备的显示器。
操作输入部17包含能够由车辆1的驾驶员或同乘者通过手动进行操作输入的开关。操作输入部17包括例如转向机开关、车载显示器的触摸屏、以及用户的移动终端的触摸屏。
图5是表示飞行体控制部12的功能结构的方块图。如图5所示，飞行体控制部12具有通信部122、飞行路径存储部123、操纵信号生成部124、拍摄信号生成部125、以及卷绕控制部126。此外，飞行体控制部12具有控制上述的各处理部的动作的控制部121。
通信部122利用Bluetooth(注册商标)等近距离无线通讯方式来在与上述的飞行体2侧的通信部21之间双向地进行数据通信。通信部122接收从飞行体2侧的通信部21发送来的映像数据、位置数据、以及姿势数据。
飞行路径存储部123采用快闪存储器等可重写的非易失性存储器来构成。预先决定有以起降台3的位置为基准的飞行体2的规定飞行路径，表示该规定飞行路径的飞行路径数据被预先存储于飞行路径存储部123。例如，如下路径的其中之一作为规定飞行路径而被存储于飞行路径存储部123，即：
·在车辆1周边(在预先设定的指定范围例如以车辆1为中心的半径5至10米左右的范围)的上空进行指定环行次数的回转的回转路径(图6)；
·从车辆1的前方往后方直线地纵贯车辆1的上空的直线纵贯路径；
·从车辆1的前方往后方蜿蜒地纵贯车辆1的上空的蜿蜒纵贯路径；
·从车辆1的右后方往左前方斜向(可以伴随高度变化)地横断车辆1的上空的斜向横断路径(图7)；
·以使因车辆1的车身形状而产生的驾驶员从车室内的视野的死角包含在拍摄范围内的方式在车辆周边进行移动飞行的死角拍摄路径。
但是，也可以采用如下的构成：将上述路径中的多个飞行路径存储于飞行路径存储部123，通过用户的操作输入而将其中所希望的飞行路径选择为规定飞行路径。
操纵信号生成部124根据通信部122所接收的映像数据、位置数据、以及姿势数据，生成用于使飞行体2沿从飞行路径存储部123中读出的规定飞行路径飞行的操纵信号。
拍摄信号生成部125根据飞行体2的飞行状况，生成用于使飞行体2的拍摄部22开始拍摄的拍摄开始信号、以及用于使拍摄停止的拍摄停止信号。
卷绕控制部126控制卷取式卷绕器19。具体而言，卷绕控制部126通过由马达对转轴进行的驱动来控制系件4的送出及回收，以便使与飞行体2的飞行状况对应的恰当量的系件4从卷取式卷绕器19的转轴被放出。
控制部121将操纵信号生成部124所生成的操纵信号、以及拍摄信号生成部125所生成的拍摄开始信号及拍摄停止信号实时地从通信部122发送到飞行体2。
图8是表示车辆信息检测部14的功能结构的图。如图8所示，车辆信息检测部14包含车门锁传感器141、车门开闭传感器142、座椅传感器143、启动检测传感器144、车速传感器145、以及车内入侵检测传感器146。
车门锁传感器141检测车辆1的车门的上锁状态或解锁状态。车门开闭传感器142检测车辆1的车门的开状态或闭状态。座椅传感器143检测乘员在车辆1的座椅上的就座状态。启动检测传感器144通过点火开关传感器或通过检测连接蓄电池与行驶马达的继电器开关的接通状态或断路状态，来检测车辆1的驱动力发生装置(发动机或行驶马达等)的启动状态或停止状态。车速传感器145检测车辆1的车速。车内入侵检测传感器146将停车中的车辆1的车内作为监视区域来检测在该监视区域内有无入侵者。
图9是表示车辆1的控制部10进行的飞行体2的控制流程的流程图。首先，在步骤SP11中，控制部10通过车辆信息检测部14来检测乘员在停车中的车辆1的搭乘。具体而言，通过由启动检测传感器144来测出车辆1的驱动力发生装置处于停止状态，由车内入侵检测传感器146测出车辆1的车内处于无人状态，且由车门锁传感器141测出车辆1的所有车门处于上锁状态，由此，车辆信息检测部14测出车辆1为停车中。车辆信息检测部14在车辆1为停车中的状态下，根据如下的(A)至(D)的至少一个现象的发生来测出乘员在车辆1的搭乘。
(A)车门锁传感器141检测到车辆1的驾驶席车门被解除了上锁。
(B)车门开闭传感器142检测到车辆1的驾驶席车门进行了开闭动作。
(C)座椅传感器143检测到乘员就座于车辆1的驾驶席。
(D)启动检测传感器144检测到车辆1的驱动力发生装置已被启动。
在车辆信息检测部14未检测到搭乘的情况下(步骤SP11∶否)，控制部10反复执行步骤SP11的处理。
在车辆信息检测部14检测到搭乘的情况下(步骤SP11∶是)，其次，在步骤SP12中，控制部10使飞行体控制部12执行飞行体2的起飞控制。具体而言，参照图3至5，首先，蓄电池控制部11使从蓄电池18经由系件4而往飞行体2的电力供应开始。其次，控制部121从飞行路径存储部123读出规定飞行路径数据。其次，操纵信号生成部124生成用于使飞行体2沿所述规定飞行路径飞行的操纵信号。此外，拍摄信号生成部125生成用于使飞行体2的拍摄部22开始拍摄的拍摄开始信号。其次，通信部122将所述操纵信号及拍摄开始信号发送到飞行体2。其次，飞行体2侧的通信部21接收从车辆1侧的通信部122发送来的操纵信号及拍摄开始信号。其次，驱动部23根据所述操纵信号来驱动螺旋桨113，从而开始用于使飞行体2沿规定飞行路径飞行的控制。由此，飞行体2从起降台3起飞。此外，拍摄部22通过摄像机112开始拍摄，位置检测部24开始飞行体2的位置检测，姿势检测部25开始飞行体2的姿势检测。控制部20将从拍摄部22输出的映像数据、从位置检测部24输出的位置数据、以及从姿势检测部25输出的姿势数据实时地从通信部21发送到车辆1。
其次，在步骤SP13中，控制部10使飞行体控制部12继续进行飞行体2的飞行控制及拍摄控制。操纵信号生成部124根据由通信部122从通信部21接收的映像数据、位置数据、及姿势数据，生成用于使飞行体2沿规定飞行路径飞行的操纵信号。与上述同样地，基于该操纵信号被发送到飞行体2来控制飞行体2的飞行。
其次，在步骤SP14中，控制部10通过将由通信部122从通信部21接收的映像数据转发到显示部16来将摄像机112拍摄的拍摄映像显示于车载显示器。或者，控制部10也可以通过将该映像数据从通信部15发送到用户的移动终端来使拍摄映像显示于该移动终端的显示部。
其次，在步骤SP15中，控制部10通过使飞行体控制部12根据通信部122接收的位置数据来分析飞行体2的飞行轨迹，从而判定沿规定飞行路径的飞行及拍摄是否结束。
在沿规定飞行路径的飞行及拍摄还未结束的情况下(步骤SP15∶否)，控制部10反复执行步骤SP13至SP15的处理。
在沿规定飞行路径的飞行及拍摄已结束的情况下(步骤SP15∶是)，其次，在步骤SP16中，控制部10使飞行体控制部12执行飞行体2的返回控制。具体而言，操纵信号生成部124根据通信部122所接收的映像数据、位置数据、以及姿势数据，生成用于使飞行体2往起降台3飞行的操纵信号。与上述同样地，基于该操纵信号被发送到飞行体2来控制飞行体2的飞行，飞行体2返回起降台3。其次，拍摄信号生成部125生成用于使飞行体2的拍摄部22停止拍摄的拍摄停止信号。拍摄停止信号被发送到飞行体2，拍摄部22停止摄像机112进行的拍摄。此后，蓄电池控制部11停止从蓄电池18往飞行体2的电力供应。
在以上的说明中，拍摄部22在从飞行体2起飞至返回的期间进行拍摄，但是，也可以构成为仅在飞行体2沿预先决定的规定飞行路径飞行的期间中进行拍摄。
根据本实施方式所涉及的车辆周边监视系统，在由车辆信息检测部14(搭乘检测部)检测到有在车辆1的乘员搭乘的情况下，车辆1的控制部10(控制部)使飞行体2从车辆1飞行，使拍摄部22拍摄车辆1的周边，并且使所拍摄的映像显示于显示部16。因此，无需在乘员搭乘到车辆1的车室内之后进行手动的操作输入便能够使车辆1的周边(预先设定的指定范围例如以车辆1为中心的半径5至10米左右的范围)的映像自动地显示于显示部16。其结果，能够将飞行体2的拍摄部22所拍摄的拍摄映像应用于在乘员为了开始驾驶而搭乘到停车中的车辆1的车室内之后的安全确认。
此外，控制部10通过使飞行体2沿着规定飞行路径进行移动飞行来由拍摄部22从多个方向拍摄车辆1的周边，并且使所拍摄的多个方向的映像显示于显示部16。因此，车辆1的驾驶员通过确认显示于显示部16的图像(从多个角度拍摄的图像)，能够正确地把握到车辆1周边的状况，从而能够提高利用由飞行体2拍摄的拍摄映像来进行安全确认的效果。
此外，在上述死角拍摄路径作为飞行体2的规定飞行路径而被设定的情况下，通过拍摄部22来拍摄因车辆1的车身形状而产生的驾驶员从车室内的视野的死角，该所拍摄的映像被显示于显示部16。因此，驾驶员通过确认显示于显示部16的映像能够正确地把握到死角区域的状况，从而能够进一步提高利用由飞行体2拍摄的拍摄映像来进行的安全确认的效果。
此外，在根据所发生的上述(A)至(C)的现象来检测在车辆1上的搭乘的情况下，能够在车辆1的驱动力发生装置的启动之前的较早期的阶段将拍摄映像显示于显示部16。其结果，能够进一步提高利用由飞行体2拍摄的拍摄映像来进行安全确认的效果。
＜第一变形例＞
上述实施方式中，根据车辆1的车身形状而决定的死角拍摄路径被预先存储于飞行路径存储部123，但是，驾驶员的视野死角有可能基于停车中的车辆1的周边状况而变动。例如，当停车中的车辆1的旁侧停有大型车辆时或者存在水泥砖墙等障碍物等时，会因上述的大型车辆或障碍物等的存在而产生新的死角。
为此，也可以作为飞行体控制部12的功能而追加设置飞行路径生成部，该飞行路径生成部生成将基于停车中的车辆1的周边状况而产生的新的死角包含在拍摄部22的拍摄范围内那样的飞行路径。飞行路径生成部通过对从飞行体2接收的拍摄映像进行模式匹配等映像分析来判定会成为新的死角发生原因的物体是否存在于车辆1的周边。在存在着这样的物体的情况下，飞行路径生成部根据该物体的形状及该物体与车辆1之间的位置关系，确定新的死角区域。飞行路径生成部以使该新的死角区域包含在拍摄部22的拍摄范围的方式来生成飞行体2的飞行路径。操纵信号生成部124生成用于使飞行体2沿着该飞行路径飞行的操纵信号。
根据该变形例，拍摄部22拍摄因停车中的车辆1的周边状况而产生的新的死角，所拍摄的拍摄映像被显示于显示部16。因此，驾驶员通过确认显示于显示部16的映像能够正确地把握到死角区域的状况，能够进一步提高利用由飞行体2拍摄的拍摄映像来进行安全确认的效果。
＜第二变形例＞
上述实施方式中，在沿着规定飞行路径进行的拍摄结束后使飞行体2返回车辆1，但是，即使是在该拍摄结束之前，在飞行体2的返回命令通过用户而从操作输入部17被操作输入的情况下，控制部10也可以使飞行体2立刻返回车辆1。具体而言，在从操作输入部17被输入返回命令后，控制部10使操纵信号生成部124根据通信部122接收的映像数据、位置数据、以及姿势数据来生成用于使飞行体2从现在位置往起降台3飞行的操纵信号。基于该操纵信号被发送到飞行体2来控制飞行体2的飞行，飞行体2返回到起降台3。
此外，即使是在沿着规定飞行路径进行的拍摄结束之前，在车辆1开始了行驶的情况下，控制部10也可以使飞行体2立刻返回车辆1。具体而言，在从车速传感器145输入非“0”的车速数据后，控制部10使操纵信号生成部124根据通信部122接收的映像数据、位置数据、以及姿势数据来生成用于使飞行体2从现在位置往起降台3飞行的操纵信号。基于该操纵信号被发送到飞行体2来控制飞行体2的飞行，飞行体2返回到起降台3。
此外，在拍摄结束之前使飞行体2返回的情况下，控制部10也可以通过由卷绕控制部126高速驱动卷取式卷绕器19的转轴转动来强制性地回收飞行体2，以取代使操纵信号生成部124生成用于使飞行体2返回的操纵信号的方案。由此，能够迅速回收飞行体2。
根据该变形例，能够事先避免在车辆1开始行驶之后飞行体2接触到周边的障碍物等事态的发生。
<总结>
本发明的一个方面所涉及的车辆周边监视系统包括：飞行体，搭载在车辆上并且具有拍摄部，且能够在所述车辆的车外飞行；通信部，设于所述车辆，能够接收所述拍摄部拍摄的图像；显示部，将所述通信部接收的图像显示在所述车辆的车室内；控制部，控制所述飞行体；以及搭乘检测部，检测乘员在停车中的所述车辆的所述车室内的搭乘；其中，在所述搭乘检测部检测到所述乘员在所述车室内的搭乘的情况下，所述控制部以如下的方式进行控制：使所述飞行体从所述车辆起飞，并且使所述拍摄部拍摄所述车辆的周边，且使所述拍摄部所拍摄的图像发送到所述通信部。
根据该技术方案，在搭乘检测部检测到有在车室内的乘员搭乘的情况下，控制部控制飞行体，以便使飞行体从车辆起飞，使拍摄部拍摄车辆的周边，并且使拍摄部所拍摄的图像发送到通信部。因此，无需在乘员搭乘到车辆的车室内之后进行手动的操作输入便能够使车辆的周边(预先设定的指定范围例如以车辆为中心的半径5至10米左右的范围)的图像自动地显示于显示部。其结果，能够将飞行体的拍摄部所拍摄的拍摄图像应用于在乘员开始驾驶而搭乘到停车中的车辆的车室内之后的安全确认。
上述技术方案中，较为理想的是在所述搭乘检测部检测到所述乘员在所述车室内的搭乘的情况下，所述控制部以如下的方式进行控制：使所述飞行体在所述车辆周边进行移动飞行，从而使所述拍摄部从多个方向拍摄所述车辆的周边，并且使所述拍摄部所拍摄的图像发送到所述通信部。
根据该技术方案，控制部以使拍摄部从多个方向拍摄车辆的周边并且使拍摄部所拍摄的图像发送到通信部的方式来进行控制。因此，车辆的驾驶员通过确认显示于显示部的图像(从多个角度拍摄的图像)，能够正确地把握到车辆周边的状况，从而能够提高利用由飞行体拍摄的拍摄图像来进行安全确认的效果。
上述技术方案中，较为理想的是还包括：飞行路径存储部，存储飞行路径，该飞行路径以使因所述车辆的车身形状而产生的驾驶员从所述车室内的视野的死角包含在所述拍摄部的拍摄范围内的方式而被预先决定；其中，所述控制部以使所述飞行体在从所述飞行路径存储部读出的所述飞行路径上进行移动飞行的方式来进行控制。
根据该技术方案，通过拍摄部来拍摄因车辆的车身形状而产生的驾驶员从车室内的视野的死角，该所拍摄的图像被显示于显示部。因此，驾驶员通过确认显示于显示部的图像能够正确地把握到死角区域的状况，从而能够进一步提高利用由飞行体拍摄的拍摄图像来进行安全确认的效果。
上述技术方案中，较为理想的是还包括：飞行路径生成部，以使因停车中的所述车辆的周边状况而产生的驾驶员从所述车室内的视野的死角包含在所述拍摄部的拍摄范围内的方式来生成飞行路径；其中，所述控制部以使所述飞行体在所述飞行路径生成部所生成的所述飞行路径上进行移动飞行的方式来进行控制。
根据该技术方案，通过拍摄部来拍摄因停车中的车辆周边状况(周边的停车车辆或水泥砖墙等障碍物的状况)而产生的驾驶员从车室内的视野的死角，该所拍摄的图像被显示于显示部。因此，驾驶员通过确认显示于显示部的图像能够正确地把握到死角区域的状况，能够进一步提高利用由飞行体拍摄的拍摄图像来进行安全确认的效果。
上述技术方案中，较为理想的是在所述车辆开始行驶时，所述控制部使所述飞行体返回到所述车辆。
根据该技术方案，控制部在车辆开始了行驶的情况下使飞行体返回车辆。因此，能够事先避免在车辆开始行驶之后飞行体接触到周边的障碍物等事态的发生。
上述技术方案中，较为理想的是还包括：卷取装置，卷取索体；其中，所述飞行体连接于所述索体，在使所述飞行体返回到所述车辆时，所述控制部使所述卷取装置卷取所述索体。
根据该技术方案，控制部在使飞行体返回车辆时使卷取装置卷取索体。由此，能够迅速回收飞行体。

Claims (6)

1.一种车辆周边监视系统，其特征在于包括：
飞行体，搭载在车辆上并且具有拍摄部，且能够在所述车辆的车外飞行；
通信部，设于所述车辆，能够接收所述拍摄部拍摄的图像；
显示部，将所述通信部接收的图像显示在所述车辆的车室内；
控制部，控制所述飞行体；以及
搭乘检测部，检测乘员在处于停止状态的所述车辆的所述车室内的搭乘；其中，
在所述搭乘检测部检测到所述乘员在所述车室内的搭乘的情况下，所述控制部以如下的方式进行控制：使所述飞行体从所述车辆起飞，并且使所述拍摄部拍摄所述车辆的周边，且使所述拍摄部所拍摄的图像发送到所述通信部。
2.根据权利要求1所述的车辆周边监视系统，其特征在于：
在所述搭乘检测部检测到所述乘员在所述车室内的搭乘的情况下，所述控制部以如下的方式进行控制：使所述飞行体在所述车辆周边进行移动飞行，从而使所述拍摄部从多个方向拍摄所述车辆的周边，并且使所述拍摄部所拍摄的图像发送到所述通信部。
3.根据权利要求2所述的车辆周边监视系统，其特征在于还包括：
飞行路径存储部，存储飞行路径，该飞行路径以使因所述车辆的车身形状而产生的驾驶员从所述车室内的视野的死角包含在所述拍摄部的拍摄范围内的方式而被预先决定；其中，
所述控制部以使所述飞行体在从所述飞行路径存储部读出的所述飞行路径上进行移动飞行的方式来进行控制。
4.根据权利要求2所述的车辆周边监视系统，其特征在于还包括：
飞行路径生成部，以使因处于停止状态的所述车辆的周边状况而产生的驾驶员从所述车室内的视野的死角包含在所述拍摄部的拍摄范围内的方式来生成飞行路径；其中，
所述控制部以使所述飞行体在所述飞行路径生成部所生成的所述飞行路径上进行移动飞行的方式来进行控制。
5.根据权利要求1至4中任一项所述的车辆周边监视系统，其特征在于：在所述车辆开始行驶时，所述控制部使所述飞行体返回到所述车辆。
6.根据权利要求5所述的车辆周边监视系统，其特征在于还包括：
卷取装置，卷取索体；其中，
所述飞行体连接于所述索体，
在使所述飞行体返回到所述车辆时，所述控制部使所述卷取装置卷取所述索体。
CN202110260997.4A 2020-05-19 2021-03-10 车辆周边监视系统 Active CN113682227B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-087614 2020-05-19
JP2020087614A JP2021182278A (ja) 2020-05-19 2020-05-19 車両の周辺監視システム

Publications (2)

Publication Number Publication Date
CN113682227A CN113682227A (zh) 2021-11-23
CN113682227B true CN113682227B (zh) 2023-12-01

Family

ID=78576270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110260997.4A Active CN113682227B (zh) 2020-05-19 2021-03-10 车辆周边监视系统

Country Status (4)

Country Link
US (1) US11495027B2 (zh)
JP (1) JP2021182278A (zh)
CN (1) CN113682227B (zh)
TW (1) TWI768745B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12006063B2 (en) * 2022-06-27 2024-06-11 GM Global Technology Operations LLC Aerial-based event notification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006176050A (ja) * 2004-12-24 2006-07-06 Equos Research Co Ltd 車両用状況監視システム
WO2014203593A1 (ja) * 2013-06-21 2014-12-24 株式会社エルム 遠隔操縦無人飛行体の制御システム
JP2016138853A (ja) * 2015-01-29 2016-08-04 株式会社ゼンリンデータコム ナビゲーションシステム、車載ナビゲーション装置、飛行体、ナビゲーション方法、車載ナビゲーション装置用連携プログラム及び飛行体用連携プログラム
JP2017010445A (ja) * 2015-06-25 2017-01-12 三菱自動車工業株式会社 運転支援制御装置
JP2017021757A (ja) * 2015-07-15 2017-01-26 三菱自動車工業株式会社 車両の運転支援装置
JP2017021755A (ja) * 2015-07-15 2017-01-26 三菱自動車工業株式会社 車両の運転支援装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354231B1 (ko) * 2011-11-14 2014-01-22 현대자동차주식회사 경관 조명을 이용한 탑승자 보호 장치 및 그 방법
CN105083120B (zh) * 2014-04-30 2018-12-21 比亚迪股份有限公司 汽车周围环境的检测系统和飞行装置
JP6631776B2 (ja) * 2015-07-23 2020-01-15 三菱自動車工業株式会社 車両の運転支援装置
US10562624B2 (en) * 2016-11-18 2020-02-18 Magna Mirrors Of America, Inc. Vehicle vision system using aerial camera
CN106985765A (zh) * 2017-04-25 2017-07-28 苏州科伊嘉航空科技有限公司 一种具有翼形飞行器车载摄像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006176050A (ja) * 2004-12-24 2006-07-06 Equos Research Co Ltd 車両用状況監視システム
WO2014203593A1 (ja) * 2013-06-21 2014-12-24 株式会社エルム 遠隔操縦無人飛行体の制御システム
JP2016138853A (ja) * 2015-01-29 2016-08-04 株式会社ゼンリンデータコム ナビゲーションシステム、車載ナビゲーション装置、飛行体、ナビゲーション方法、車載ナビゲーション装置用連携プログラム及び飛行体用連携プログラム
JP2017010445A (ja) * 2015-06-25 2017-01-12 三菱自動車工業株式会社 運転支援制御装置
JP2017021757A (ja) * 2015-07-15 2017-01-26 三菱自動車工業株式会社 車両の運転支援装置
JP2017021755A (ja) * 2015-07-15 2017-01-26 三菱自動車工業株式会社 車両の運転支援装置

Also Published As

Publication number Publication date
JP2021182278A (ja) 2021-11-25
CN113682227A (zh) 2021-11-23
US11495027B2 (en) 2022-11-08
TW202144214A (zh) 2021-12-01
TWI768745B (zh) 2022-06-21
US20210365692A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
JP2016138853A (ja) ナビゲーションシステム、車載ナビゲーション装置、飛行体、ナビゲーション方法、車載ナビゲーション装置用連携プログラム及び飛行体用連携プログラム
JP2020510577A (ja) 無人航空機、無人航空機によって傘を保持する方法およびそのシステム
CN106292684B (zh) 搭载飞行器的车辆
US20200231279A1 (en) Vehicle-based deployment of a tethered surveillance drone
CN113682220B (zh) 车载用飞行体的控制系统
US20200033846A1 (en) Vehicle-based deployment of a tethered surveillance drone
KR101901053B1 (ko) 자동차에 설치되며 자동 이착륙이 되는 드론의 제어방법
JP2017011614A (ja) 運転支援制御装置
CN113682227B (zh) 车辆周边监视系统
CN113682474B (zh) 车辆停车位置通知系统
JP7006449B2 (ja) 作業車両の管理システム
KR20190052849A (ko) 차량의 드론 이착륙 제어 장치 및 그 방법
JP2017010445A (ja) 運転支援制御装置
JP7003798B2 (ja) 圃場作業車両の管理システム
US20210304606A1 (en) Accommodation area management device
JP7476661B2 (ja) 車両の周辺監視システム
WO2021039387A1 (ja) 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム
JP2021182280A (ja) 車両の周辺監視システム
JP2021182703A (ja) 車両の周辺監視システム
CN113495579B (zh) 一种车载无人机的飞行控制系统及方法
JP2021181938A (ja) 車両先導システム
US20210300395A1 (en) Accommodation area management device
CN205899627U (zh) 一种行车记录仪
CN117681793A (zh) 车载显示屏的控制方法及交通工具
JP2023028975A (ja) 自動駐車場管理システム、自動駐車場管理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant