CN109997355A - 信息提供系统、车辆用装置、信息提供程序 - Google Patents
信息提供系统、车辆用装置、信息提供程序 Download PDFInfo
- Publication number
- CN109997355A CN109997355A CN201780072305.5A CN201780072305A CN109997355A CN 109997355 A CN109997355 A CN 109997355A CN 201780072305 A CN201780072305 A CN 201780072305A CN 109997355 A CN109997355 A CN 109997355A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- flight
- image
- flight instruments
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000004891 communication Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 25
- 230000003068 static effect Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 35
- 239000000203 mixture Substances 0.000 description 35
- 230000008569 process Effects 0.000 description 22
- 230000008859 change Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 8
- 238000002360 preparation method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000222712 Kinetoplastida Species 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000004092 self-diagnosis Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 206010022998 Irritability Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U80/00—Transport or storage specially adapted for UAVs
- B64U80/80—Transport or storage specially adapted for UAVs by vehicles
- B64U80/86—Land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
实施例的信息提供系统1具备:飞行装置(2),具有从上空拍摄车辆(5)的周边的拍摄部(4)、与车辆(5)之间进行通信的飞行侧通信部(28)、以及控制基于远程控制的飞行以及基于自主控制的飞行并且进行对上述车辆(5)发送由拍摄部(4)拍摄到的图像的控制的飞行侧控制部(20);以及车辆用装置(3),具有与飞行装置(2)之间进行通信的车辆侧通信部(50)、以及进行在车辆侧显示部(54)实时地显示由飞行装置(2)拍摄并由车辆侧通信部(50)接收到的图像的控制的车辆侧控制部(48)。
Description
相关申请的交叉引用
本申请基于2016年11月24日提出的日本申请编号2016-227814号,并在此引用其记载内容。
技术领域
本发明涉及对驾驶员提供车辆的周边的信息的信息提供系统、信息提供程序、车辆用侧装置。
背景技术
以往,已知有例如向驾驶员提供车辆的前方、侧方或者后方等的信息。此时,考虑若能够提供驾驶员看不见的位置的信息,则能够提高安全性。因此,例如在专利文献1中,提出了在多个车辆纵列行驶时,根据设置于各车辆的显示灯的颜色、闪烁方式的差异,来传递给后续车辆的驾驶员的技术。
专利文献1:日本特开2013-84147号公报
在上述的专利文献1的情况下,后续车辆的驾驶员能够获取与看不见的场所有关的信息,但获取到的信息成为与实际看到的信息不同的方式。例如在专利文献1的情况下,与前方的车辆之间的车间时间作为显示灯的颜色的差异这样的、与驾驶员实际看到的情况下不同的方式的信息来传递。以下,为了方便,将与驾驶员实际看到的情况下不同的方式的信息称为示意化信息。
然而,驾驶员在获取到示意化信息的情况下,要考虑该信息表示什么意思。此时,由于要考虑获取到的信息的意思,从而有驾驶员的注意偏离驾驶的危险。另外,在考虑信息的意思的期间,车辆也正在行驶,因而有在能够把握意思的时刻,车辆例如过于接近障碍物等的危险。
另外,考虑示意化信息不具有驾驶员实际看到的情况下的那样的现实感的情况较多。因此,存在难以立刻进行是否是应该注意的信息的判断这样的问题。
发明内容
本公开的目的在于提供一种信息,该信息能够容易地把握所提供的信息具有的意思,并且有现实感、能够预先预测潜在的危险性并能够对驾驶员强烈地进行注意唤起。
本公开所涉及的信息提供系统具备:飞行装置,具有从上空拍摄车辆的周边的拍摄部、与车辆之间进行通信的飞行侧通信部、以及控制基于远程控制的飞行及基于自主控制的飞行并且进行对车辆发送由拍摄部拍摄到的图像的控制的飞行侧控制部;以及车辆用装置,具有与飞行装置之间进行通信的车辆侧通信部、以及进行在车辆侧显示部实时地显示由飞行装置拍摄并由车辆侧通信部接收到的图像的控制。
另外,本公开所涉及的车辆用装置具备:车辆侧通信部,与具有拍摄部且从上空拍摄车辆的周边的飞行装置之间进行通信;以及车辆侧控制部,进行在车辆侧显示部实时地显示由飞行装置拍摄并由车辆侧通信部接收到的图像的控制。
另外,本公开所涉及的信息提供程序使与具有拍摄部并从上空拍摄车辆的周边的飞行装置能够通信地连接的车辆用装置的车辆侧控制部执行:接收由飞行装置拍摄到的图像的处理、和在车辆侧显示部实时地显示接收到的图像的处理。
附图说明
通过参照附图的下述的详细描述,本公开的上述目的以及其他的目的、特征、优点变得更加明确。附图为:
图1是示意性地表示实施例所涉及的信息提供系统的概略构成的图。
图2是示意性地表示飞行装置的储存方式的图。
图3是示意性地表示由相机拍摄到的图像的一个例子的图。
图4是示意性地表示飞行装置的构成的图。
图5是示意性地表示车辆用装置的构成的图。
图6是示意性地表示图像显示部的显示例的图。
图7是示意性地表示操作显示部的显示例的图。
图8是示意性地表示状况显示部的显示例的图。
图9是表示飞行装置的起飞处理的流程的图。
图10是表示车辆用装置的起飞准备处理的流程的图。
图11是表示飞行装置的信息收集处理的流程的图。
图12是表示飞行装置的位置控制处理的流程的图。
图13是表示车辆用装置的信息提供处理的流程的图。
图14是表示车辆用装置的识别处理的流程的图。
图15是示意性地表示与移动体的接触的可能性的判断过程的图。
图16是示意性地表示与静止体的接触的可能性的判断过程的图。
图17是表示车辆用装置报告处理的流程的图。
图18是示意性地表示各拍摄模式中的拍摄范围的图。
图19是表示飞行装置归航处理的流程的图。
图20是表示车辆用装置归航准备处理的流程的图。
具体实施方式
以下,参照附图对实施例进行说明。
首先,主要参照图1以及图2对本实施例的信息提供系统1的概略进行说明。如图1所示,信息提供系统1具备飞行装置2和车辆用装置3。
飞行装置2具有作为拍摄部的相机4,从上空拍摄车辆5的周边。这里,车辆5的周边是指包括车辆5的前方、侧方以及后方中的至少任意一个的范围。该情况下,飞行装置2能够拍摄包括车辆5的范围,也能够拍摄不包括车辆5的范围。
该飞行装置2能够变更相机4进行拍摄的范围(以下,称为拍摄范围)。具体而言,飞行装置2能够通过移动自身的位置、变更相机4的朝向、切换相机4的变焦等,来变更拍摄范围。但是,在本实施例中,飞行装置2在拍摄到的图像中的上侧与车辆5的移动方向大体一致的状态下进行拍摄。
另外,飞行装置2能够进行基于自主控制的飞行,换句话说,能够根据预先设置的程序,在不需要由车辆5的驾驶员等进行的操作的状态下飞行。以下,将基于自主控制的飞行称为自主飞行。另外,飞行装置2也能够进行基于远程控制的飞行,换句话说,能够在由车辆5的乘员远程操作的状态下飞行。
该飞行装置2能够以动态图像以及静止图像双方来拍摄图像,并且,能够以彩色以及黑白双方来拍摄图像。
另外,如图2所示,飞行装置2储存于车辆5的例如后备箱内的储存室6。对于该储存室6而言,例如通过沿车宽方向滑动的滑动门7而上方开闭。飞行装置2的储存方式并不局限于此。
如后述那样,若从驾驶员等车辆5的乘员发送出起飞指示或者规定的起飞条件成立,则飞行装置2通过自主飞行从车辆5起飞。另外,若从车辆5的乘员发送出归航指示或者规定的归航条件成立,则飞行装置2通过自主飞行向车辆5归航。
而且,若飞行装置2从车辆5起飞,则在通常的利用方式中,如图1所示,通过自主飞行移动到从车辆5向前方规定的距离(L)并且向上空规定的高度(H)的位置。该距离(L)以及高度(H)被初始设定为后述的“标准”的拍摄模式(参照图18等)中的飞行位置。以下,为了方便,将从车辆5向前方规定的距离(L)且向上空规定的高度(H)的位置称为标准位置。
飞行装置2若到达标准位置,则在通过自主飞行维持相对于车辆5的规定的位置关系的状态下,换句话说,在跟随由车辆5行驶引起的位置的变化的状态下,拍摄车辆5的移动方向。此时,飞行装置2例如如作为一个例子在图3中示出的那样,在图像内包含有车辆5的状态下如所谓的鸟瞰图那样拍摄规定的拍摄范围(S)。
在图3的情况下,在拍摄范围(S)中,拍摄在车辆5的前方存在的交叉点、向与交叉点接近的方向移动的其他车辆8A以及其他车辆8B、向与交叉点远离的方向移动的其他车辆8C、位于交叉点的附近的人9等移动体、以及位于道路外的房屋、楼房或者电线杆等静止体等、车辆5的周边的状况。
此外,图3所示的各箭头是为了进行说明而标注的,并不是实际拍摄到的。另外,虽然未进入相机4的拍摄范围(S),但在车辆5的后方也存在向相同的方向行驶的摩托车10。
在飞行装置2侧拍摄到的图像通过无线通信对车辆用装置3持续发送。而且,车辆用装置3在车辆侧显示部54(参照图6)显示从飞行装置2持续发送来的图像。即,车辆用装置3实时地显示能够把握车辆5的周边的信息的图像。此外,车辆用装置3既可以是固定地设置于车辆5的装置,也可以是能够向车外拿出等可装卸地设置于车辆5的装置。
接下来,主要参照图4至图20对上述的飞行装置2以及车辆用装置3的详细进行说明。
如图4所示,飞行装置2具有飞行侧控制部20。该飞行侧控制部20具有未图示的微型计算机、由存储器等构成的存储部等。飞行侧控制部20通过执行存储于存储部的程序来控制飞行装置2。
飞行侧控制部20与获取表示自身的位置的飞行位置的飞行位置获取部21连接。在本实施例中,飞行位置获取部21由GPS(Global Positioning System:全球定位系统)装置构成,如公知那样,通过利用天线21A接收来自GPS卫星的电波来获取飞行位置。此外,在本说明书中,并不局限于飞行状态,即使在飞行装置2储存于车辆5的状态下,也将飞行装置2的当前位置称为飞行位置。
另外,飞行侧控制部20与具有螺旋桨等的驱动系统22、计测速度的速度计23、计测高度的高度计24、检测异常的异常检测部25、计测电池26的余量的电池余量计27等连接。而且,虽然省略关于具体的飞行控制的说明,但飞行侧控制部20基于由飞行位置获取部21获取到的飞行位置、由各部计测或者检测出的各种数据对驱动系统22进行驱动。
在进行自主飞行的情况下,飞行侧控制部20判断飞行位置是否是通常位置等来进行飞行。另一方面,在从飞行侧通信部28接收到指示的情况下,飞行侧控制部20基于接收到的指示通过远程控制飞行。因此,虽然省略图示,但飞行装置2也具备例如陀螺仪传感器、毫米波雷达等用于检测以及避开自身的周围的物体的检测部。
飞行侧通信部28在本实施例中具有图像发送部29A和飞行侧发送接收部29B这2个功能模块。在本实施例中,图像发送部29A以及飞行侧发送接收部29B分别由分别独立的通信IC构成,对于各个通信IC设置有天线28A以及天线28B。
飞行侧发送接收部29B接收后述的起飞指示、归航指示、飞行位置或者相机4的朝向的调整指示等从车辆用装置3发送的数据。另外,飞行侧发送接收部29B例如发送飞行位置、异常的产生等数据。但是,在本实施例中,飞行侧发送接收部29B不进行由相机4拍摄到的图像的发送。
图像发送部29A将由相机4拍摄到的图像向车辆5发送。换句话说,图像发送部29A被设置成图像的发送专用。这是因为图像的数据量比较多,另外,使得能够持续发送图像。更具体而言,图像发送部29A发送通过图像调制部30对由相机4拍摄到的图像进行调制后的数据。此外,为了简化说明,即使在发送调制后的数据的情况下,也称为发送图像来进行说明。
图像调制部30为了减少发送图像时的通信负荷而对图像进行调制。这里,图像的调制主要是指图像的数据压缩。在本实施例中,基本上假定动态图像的发送,所以图像调制部30例如采用MPEG等公知的动态图像压缩标准的方法来压缩数据。此外,在发送静止图像的情况下,相同地采用公知的静止图像压缩标准的方法即可。
该相机4安装于能够调整角度的自由架台31。该自由架台31能够通过基于来自飞行侧控制部20的指示变更角度,来调整相机4的朝向。因此,飞行装置2也能够通过调节自由架台31的角度,例如不使自身的飞行姿势变化而仅调整相机4的朝向。
如图5所示,车辆用装置3在本实施例中由导航装置40和操作装置41构成。这些导航装置40以及操作装置41能够相互通信地连接。另外,车辆用装置3为了获取车辆5的速度、方向指示灯的动作等能够确定车辆5的举动的车辆信息,也与设置于车辆5的ECU42(Electronic Control Unit:电子控制单元)能够通信地连接。
导航装置40具备控制部43、显示部44、扬声器45、麦克风46以及车辆位置获取部47等。车辆位置获取部47由GPS装置构成,具有接收来自卫星的电波的天线47A。导航装置40通过车辆位置获取部47获取表示车辆5的当前位置的车辆位置,使用存储于DB43A(DataBase:数据库)的地图数据,将车辆5引导到由驾驶员等设定的目的地。换句话说,导航装置40相当于将车辆5引导到规定的目的地的路径引导部。
该导航装置40构成为能够对操作装置41输出车辆位置、地图数据、以及能够确定到目的地为止的路径的路径信息。此时,对操作装置41输出的地图数据考虑有车辆5正在行驶的道路的形状、是否有交叉或者合流的道路、在有交叉或者合流的道路的情况下其连接位置、车辆位置附近的建筑物、停车场等的位置等。
操作装置41具有飞行装置2的操作功能、控制功能,一般是与飞行装置2成对使用的装置。该操作装置41具备车辆侧控制部48。车辆侧控制部48具有未图示的微型计算机、由存储器等构成的存储部等,通过执行存储于存储部的程序,从而在本实施例的情况下控制图像的接收、对飞行装置2的指示等。另外,车辆侧控制部48也控制与导航装置40、ECU42之间的通信。
另外,操作装置41具备具有图像接收部49A以及车辆侧发送接收部49B这2个功能模块的车辆侧通信部50。在本实施例中,图像接收部49A以及车辆侧发送接收部49B分别由分别独立的通信IC构成,对各个通信IC设置有天线50A、天线50B。
图像接收部49A接收从飞行装置2发送的图像。在本实施例中,图像接收部49A被设置成图像的接收专用。
车辆侧发送接收部49B对飞行装置2发送后述的起飞指示、归航指示、飞行位置或者相机4的朝向的调整指示等。另外,车辆侧发送接收部49B将从导航装置40获取到的车辆位置对飞行装置2发送。另外,车辆侧发送接收部49B从飞行装置2例如接收飞行位置、异常的产生等数据。但是,车辆侧发送接收部49B不进行图像的接收。
另外,操作装置41具备具有图像显示部51、操作显示部52以及状况显示部53这3个功能模块的车辆侧显示部54、以及扬声器55。在本实施例中,图像显示部51、操作显示部52以及状况显示部53分别具有分别独立的显示器。另外,在各显示器与各个画面对应地设置有未图示的触摸面板。
因此,驾驶员等能够通过对各显示器的画面进行触摸操作,来输入所希望的操作。换句话说,车辆侧显示部54也作为操作部发挥作用。此外,操作部也能够为与操作部(52)分开设置的构成。
如图6所示,图像显示部51实时地显示由图像接收部49A接收到之后被图像解调部56解调而得到的图像。此外,稍后描述显示内容的详细。该图像显示部51与解析图像的图像解析部57连接。该图像显示部设置于例如仪表面板上的方向盘的周围等即使驾驶员面向正面也进入视野的位置。换言之,即使驾驶员面向正面,也能够视觉确认后述的标记M1~M4等。
图像解析部57相当于检测图像中的物体的物体检测部、在物体是移动体的情况下判定该移动体是否接近车辆5或者该车辆5的行进道路的接近判定部、在物体是移动体的情况下判定该移动体的移动方向是否与车辆5的移动方向交叉的交叉判定部、以及在物体是静止体的情况下判定该静止体是否位于车辆5的行进道路上的静止体判定部。
另外,图像解析部57相当于生成以能够识别的方式表示物体的图像、在判定为正在接近车辆5的移动体和判定为不接近的移动体之间不同的方式的识别图像、在判定为移动方向与车辆5的移动方向交叉的移动体和判定为不交叉的移动体之间不同的方式的识别图像、以及以能够识别的方式表示判定为位于行进道路上的静止体的识别图像的图像生成部。
另外,图像解析部57相当于判定被判定为与方向交叉的移动体、位于行进道路上的静止体等检测到的物体与车辆5的接触的可能性的接触判定部。此时,图像解析部57生成能够分阶段地识别地表示车辆5与移动体或静止体的接触的可能性的识别图像。
而且,车辆用装置3将通过图像解析部57得到的移动体等的检测结果以及由图像解析部57生成的以能够识别的方式表示移动体等的图像以与飞行装置2拍摄到的图像重叠的方式显示在图像显示部51。
此时,车辆用装置3在图像中的物体的位置根据车辆5、飞行装置2的移动而变化的情况下,追随该物体的显示位置的变化来使识别图像的显示位置一边变化一边显示。此外,关于是否显示识别图像,能够通过操作识别显示开启按钮B1或者识别显示关闭按钮B2来切换。
如图7所示,操作显示部52显示用于输入针对飞行装置2的各种操作的各种操作按钮。该操作显示部52相当于输入对相对于车辆5的飞行装置2的位置以及相机4的朝向中的至少一方进行调整的调整指示的操作部。
在本实施例的情况下,在操作显示部52显示有指示飞行装置2的起飞的起飞按钮B3、指示归航的归航按钮B4。另外,虽然稍后描述详细,但作为调整用的按钮,在操作显示部52显示有用于选择拍摄模式(参照图18)的标准按钮B5、前方监视按钮B6以及后方监视按钮B7、调整飞行装置2的高度的上升按钮B8以及下降按钮B9、调整与车辆5之间的距离的远方按钮B10以及接近按钮B11、和调整相机4的角度的靠前按钮B12以及靠下按钮B13。
状况显示部53显示飞行装置2的各种状况。在本实施例中,如图8所示,在状况显示部53设置有显示飞行装置2的高度的高度显示区域R1、显示距车辆5的距离的距离显示区域R2、显示能够续航时间的时间显示区域R3、显示异常的有无等的异常显示区域R4。而且,状况显示部53显示与各个区域对应的信息。
如后述那样,扬声器55通过声音输出检测到移动体等针对驾驶员的消息。该扬声器55以及图像显示部51作为对驾驶员进行包括车辆5的周边的信息的各种报告的报告部发挥作用。
接下来,对上述的构成的作用进行说明。
如上述那样,认为在对驾驶员等提供车辆5的周边的信息的情况下,即使对驾驶员提供示意化信息,也难以立刻进行信息的要否的判断,另外,不具有驾驶员实际看到的情况下的那样的现实感的情况较多。换言之,认为若是能够容易把握意思且具有现实感的信息,则能够对驾驶员强烈地进行注意唤起。
此时,认为若能够提供车辆5的驾驶员看不见的位置的信息,则有助于危险等的早期发现,能够使应对处理具有富余。以下,为了方便,将驾驶员看不见的位置的信息称为视野外信息。
并且,认为若能够提供视野外信息,则能够消除驾驶员的急躁感等,能够改善驾驶员的心理状态。换言之,认为视野外信息的提供不仅是例如从避免接触等这样的物理面,也能够从心理面辅助驾驶。
若例如卷入交通阻塞等车辆5的行驶被妨碍,则驾驶员呈感到急躁而心理上不稳定的趋势。此时,认为在由驾驶员看不见的位置的状况引起交通阻塞的情况下,因为不知道交通阻塞的原因,所以感到急躁的趋势更强。其另一方面,认为若能够把握交通阻塞的原因,则接受或者放弃从而心理上稳定。
作为这样的妨碍车辆5的行驶的重要因素,考虑有例如道路上的落下物、故障车、事故、违法停车、施工、交通限制、横穿道路的横穿者等。若这些情况在驾驶员看不见的位置处发生,则通常的情况下,驾驶员不能把握其原因。另外,认为在等待停车场的空位的情况下不知道要等多久这样的情况也是心理不稳定的重要因素。
而且,这些原因并不一定在驾驶员能看见的位置发生。另外,也有例如在较大的交叉点等设置有监视装置的情况,但在这样的监视装置中,不一定能够得到驾驶员所希望的位置的信息。
因此,信息提供系统1能够如以下那样对驾驶员提供能够容易地把握所提供的信息具有的意思并且有现实感的信息。
以下,对飞行装置2的起飞过程、向驾驶员的信息提供过程、对飞行装置2指示调整的过程、飞行装置2的归航过程按顺序进行说明。以下说明的图9所示的起飞处理、图11所示的信息收集处理、图12所示的位置控制处理以及图19所示的归航处理主要表示由飞行侧控制部20执行的程序的处理。
另外,以下说明的图10所示的起飞准备处理、图13所示的信息提供处理、图14所示的识别处理、图17所示的报告处理以及图20所示的归航准备处理主要表示由车辆侧控制部48执行的程序的处理。
《飞行装置2的起飞过程》
主要参照图9以及图10对飞行装置2的起飞过程进行说明。
如上所述,飞行装置2储存于储存室6。而且,若飞行装置2的电源被接通,则执行图9所示的起飞处理。在该起飞处理中,飞行装置2根据需要与车辆用装置3通信(S1)。在该步骤S1中,例如飞行装置2的电池26的余量、自身诊断的结果等被交换。
接着,飞行装置2判定是否接收到起飞指示(S2)。飞行装置2在判定为未接收到起飞指示的情况下(S2:否),移至步骤S1,等待起飞指示的接收。
另一方面,对车辆用装置3而言,若电源被接通,则为了准备飞行装置2的起飞,而执行图10所示的起飞准备处理。在该起飞准备处理中,车辆用装置3与飞行装置2进行通信(T1)。此时,车辆用装置3交换电池26的余量、自身诊断结果、标准位置的数据等。此外,要交换的数据并不局限于这些。
接着,车辆用装置3判定是否被输入起飞操作(T2)。在本实施例中,若起飞按钮B3被操作,则车辆用装置3判定为被输入起飞操作。另一方面,车辆用装置3在判定为未被输入起飞操作的情况下(T2:否),判定规定的自动起飞条件是否成立(T3)。
自动发信条件是用于即使驾驶员不进行起飞操作也使飞行装置2起飞的条件。作为自动发信条件,例如设定有在决定了目的地的路径时、在引导路径中接近较多地发生事故的场所的附近时、在接近初次通过的道路时等。此外,是根据法律法规等允许飞行装置2的飞行的场所这一情况也被设定为条件。
车辆用装置3在判定为未被输入起飞操作(T2:否)且自动起飞条件也不成立的情况下(T3:否),移至步骤T1。
与此相对,车辆用装置3在判定为被输入起飞操作的情况下(T2:是)、或者在判定为自动起飞条件成立的情况下(T3:是),打开滑动门7(T4),对飞行装置2发送起飞指示(T5)。此时,车辆用装置3将完成滑动门7的打开这一情况通知给飞行装置2。
若飞行装置2接收起飞指示(S2:是),则判定是否能够发信(S3)。此时,飞行装置2在确认没有产生异常、电池26的余量充足或者车辆5的速度不过快等,而判断为能够飞行的情况下,判定为能够发信。此外,滑动门7位于被打开的状态也是是否能够发信的基准。
飞行装置2在判定为不能起飞的情况下(S3:否),与车辆用装置3通信(S1),通知不能起飞。
与此相对,飞行装置2在判定为能够起飞的情况下(S3:是),通过自主飞行起飞(S4)。此时,若起飞完成,则飞行装置2将起飞完成的情况通知给车辆用装置3。然后,飞行装置2自主飞行到标准位置。
另一方面,车辆用装置3若从飞行装置2被通知了起飞完成,则关闭滑动门7(T6)。此外,车辆用装置3在从飞行装置2被通知了不能起飞的情况下,也关闭滑动门7而放弃起飞。
飞行装置2以这样的过程从车辆5起飞。
《向驾驶员的信息提供过程》
以下,主要参照图11至图17对向驾驶员的信息提供过程进行说明。已从车辆5起飞的飞行装置2在图11所示的信息收集处理中,执行控制飞行位置的位置控制处理(S10)。
飞行装置2在图示的位置控制处理中获取飞行位置(S100),从车辆用装置3获取车辆位置(S101),计算相对于车辆5的相对位置(S102)。
接着,飞行装置2根据飞行位置与相对位置之差判定飞行位置是否偏离标准位置(S103)。然后,飞行装置2在判定为飞行位置偏离的情况下(S103:是),修正飞行位置(S104),之后返回至信息收集处理。
换句话说,飞行装置2修正飞行位置,以使相对于车辆5的相对位置成为标准位置。另一方面,飞行装置2在判定为飞行位置不偏离的情况下(S103:否),直接返回至信息收集处理。
这样,飞行装置2移动并飞行直至飞行位置与标准位置一致为止,并且在飞行位置到达标准位置的情况下,以维持标准位置的状态飞行。
到达标准位置的飞行装置2拍摄车辆5的周边(S11),并将拍摄到的图像对车辆用装置3发送(S12)。此外,相机4的朝向在到达标准位置之前的期间被调整。
接着,飞行装置2判定是否接收到调整指示(S13)、是否接收到归航指示(S14)以及自动归航条件是否成立(S16),在均为否的情况下(S13:否,S15:否,S16:否),移至步骤S10。然后,在调整飞行位置的同时反复进行拍摄以及发送。
由此,从飞行装置2对车辆用装置3实时地发送车辆5的周边的图像。换言之,通过飞行装置2,实时地收集表示车辆5的周边的状况的信息。此外,稍后描述飞行装置2的归航。
另一方面,车辆用装置3在飞行装置2的起飞完成之后,执行图13所示的信息提供处理。在该信息提供处理中,若车辆用装置3从飞行装置2接收图像(T10),则显示接收到的图像(T11)。此外,图像在被图像解调部56解调之后,显示于图像显示部51。由此,车辆5的周边的状况被以图像换句话说有现实感的信息提供给驾驶员。
车辆用装置3执行进行移动体等的检测、识别图像的生成的识别处理(T12)。车辆用装置3在图14所示的识别处理中,解析接收到的图像(T120),进行物体的检测(T121)。此时,房屋、电线杆或者信号灯、树木这样的固定的物体预先作为不是检测对象的背景物,登记它们的形状、色彩等模式。
因此,车辆用装置3在通过模式识别等除去了背景物的状态下检测物体。此时,车辆用装置3将背景以外的物体且位置按时间序列变化的物体检测为移动体。另一方面,车辆用装置3将与背景物不同的物体且位于车辆5的行进道路上的不伴随有移动的物体检测为静止体。因此,例如其他车辆8在停车的情况下被检测为静止体,在行驶的情况下被检测为移动体。以下,为了方便,将位于车辆5的行进道路上的静止体称为接触静止体。
接着,车辆用装置3判定检测到的物体中是否包含有移动体,换句话说,在图像中是否存在移动体(T122)。这里,移动体是指在现实中正在移动的物体。因此,例如以与飞行装置2相同的速度行驶且拍摄到的图像中的位置没有变化的物体并不检测为静止体而检测为移动体。
车辆用装置3在判定为包含有移动体的情况下(T122:是),生成针对该移动体的识别图像(T123)。换句话说,车辆用装置3生成用于以能够识别的方式表示图像所包含的移动体的图像。
在本实施例的情况下,如图6所例示那样,车辆用装置3以大体包围物体的移动体整体的形状,生成例如椭圆形的标记M1~M3、让人意识到接触的外形尖锐的成为凹凸的标记M4等作为针对移动体、接触静止体的识别图像。另外,车辆用装置3对车辆5生成本车辆标记M0并显示。
这些标记M1~M4也可以是填充移动体的方式。在本实施例的情况下,飞行装置2在标准的利用方式中以画面下端的中央为车辆位置的方式进行拍摄。因此,这是因为即使例如通过标记M4填充了其他车辆8B的图像,若在比画面中央靠右侧显示标记M4,则驾驶员也能够立即把握在前方右侧存在接近的其他车辆8B。此外,图6所示的识别图像的形状是一个例子,当然能够采用其他的形状。
接着,车辆用装置3判定是否存在接近移动体(T124)。这里,接近移动体是指检测到的移动体中的向接近车辆5或者该车辆5的行进道路的方向移动的移动体。此时,车辆用装置3基于车辆5的位置和移动体的一次的时间变化,检测接近移动体。
具体而言,例如如图15中时间序列所示那样,在时刻(t1)检测到移动体(Q)。此时,车辆用装置3确定出车辆5与移动体(Q)之间的水平距离以及垂直距离。在该时刻(t1)的时间点,水平距离是X1,垂直距离是Y1。此外,水平距离以及垂直距离既可以换算成实际的距离,也可以使用图像的坐标系。
接着,车辆用装置3在时刻(t1)以后的时刻(t2),确定出车辆5与移动体(Q)之间的水平距离以及垂直距离。该时刻(t2)是经过了能够确定移动体的移动方向以及移动速度的时间之后的时刻即可,但为了在更早的阶段对驾驶员通知,而优选距离时刻(t1)极短的间隔。在该时刻(t2),车辆5与移动体(Q)之间的水平距离为X2,垂直距离为Y2。
该情况下,时刻(t2)的移动体(Q)的矢量能够由以下的公式表示。以下,为了方便,将移动体(Q)的矢量称为移动体矢量(V10)。
((X2-X1),(Y2-Y1))/(t2-t1)
然后,车辆用装置3使用移动对矢量(V10),换句话说,基于车辆5与移动体(Q)之间的相对位置的变化,将向接近车辆5的方向移动的移动体或者向接近车辆5的行进道路的方向移动的移动体判定为接近移动体。
例如在图6的情况下,向与交叉点远离的方向移动的其他车辆8C向与车辆5远离的方向移动,所以判定为不接近车辆5的移动体。换句话说,虽然其他车辆8C是移动体,但判定为不是接近移动体。
另一方面,正在对向车道行驶的其他车辆8A向与车辆5之间的距离接近的方向移动,所以判定为接近移动体。另外,朝向交叉点行驶的其他车辆8B以及走向交叉点的人9因为向接近车辆5的行进道路的方向移动,所以判定为接近移动体。
若车辆用装置3判定为存在接近移动体,则生成针对接近移动体的识别图像(T125)。此时,车辆用装置3以不同的显示方式生成在步骤T123中生成的识别图像和在步骤T125中生成的识别图像。在本实施例中,作为识别图像的不同的方式,使颜色不同。
例如在图6的情况下,对其他车辆8C生成的标记M2是表示是移动体的标记,但是颜色与作为接近移动体的其他车辆8B的标记M1不同。例如,标记M1以黄色生成,标记M2以绿色生成。该情况下,一般认为能够直观地把握以黄色显示的标记M1与以绿色显示的标记M2相比危险度较高。此外,在图6中,通过阴影的差异,来示意性地表示标记M1与标记M2的显示方式不同。
接着,车辆用装置3在图14所示的识别处理中判定是否存在交叉移动体(T126)。这里,交叉移动体是指检测到的移动体中的、其移动方向与车辆5的移动方向交叉的移动体。另外,交叉移动体是指不管有无接触的可能性,最终移动方向与移动方向交叉的移动体。
车辆用装置3判定在图15所示的时刻(t2)将移动体矢量(V10)虚拟地延伸得到的虚拟线(VL10)是否与车辆5的移动方向亦即本实施例中基本上向图像中的上方向延伸的虚拟线(VL1)交叉。在图15的情况下,虚拟线(VL10)和虚拟线(VL1)在点P交叉。因此,车辆用装置3将移动体(Q)判定为交叉移动体。
然后,车辆用装置3针对移动体(Q)生成以能够识别方式表示是交叉移动体的识别图像。此时,车辆用装置3针对交叉移动体生成与接近移动体不同的显示方式的识别图像。在本实施例中,在交叉移动体和接近移动体之间生成颜色不同的识别图像。
具体而言,例如在图6的情况下,其他车辆8B和人9正在向与车辆5的行进道路交叉的方向移动,所以判定为是交叉移动体。因此,针对其他车辆8B生成的标记M4和针对人9生成的标记M3例如以红色生成。换句话说,针对交叉移动体的识别图像被生成为能够与针对接近移动体的识别图像相识别。
在该情况下,一般认为能够直观地把握以红色显示的标记M3、标记M4与以黄色显示的标记M1相比危险度较高。此外,在图6中,通过阴影的差异,来示意性地示出标记M3、标记M4的显示方式不同。另外,如后述那样,为了以能够识别的方式表示接触的可能性,针对其他车辆8B的标记M4与针对人9的标记M3也以不同的显示方式生成。
由此,红色是一般为了表示危险而经常使用的颜色,所以能够得到驾驶员的注意,并且,能够对驾驶员强烈地进行注意唤起。另外,因为驾驶员即使不注视画面,红色的标记也进入视野内,所以能够立刻把握存在应该注意的移动体等。
这样,车辆用装置3在检测到交叉移动体的时间点,换句话说,在进行接触的有无的判定之前的时间点,对驾驶员提供存在交叉移动体这样的信息。由此,驾驶员能够在更早的阶段知道交叉移动体的存在,能够进行一边注意该交叉移动体一边驾驶的所谓的预测驾驶。
即,车辆用装置3不在花费一定程度的时间可靠地判定是否接触这样的考虑下,而在将潜在有接触的可能性的情况尽量迅速地通知给驾驶员这样的考虑下,在检测到交叉移动体的时间点生成识别图像。
另外,在检测到交叉移动体的情况下,即使在检测时交叉移动体不与车辆5接触,移动方向也交叉,所以认为潜在有将来两者接触的危险性。因此,车辆用装置3在进行交叉移动体的检测的步骤T127中检测到交叉移动体的情况下,进一步判定与车辆5的接触的可能性。
具体而言,如图15所示,车辆用装置3使用在时刻(t2)确定出的移动体矢量(V10),预测使时刻虚拟地前进后的时刻(t3)的车辆5与移动体(Q)之间的相对位置。此时,预测为在时刻(t3),水平距离为X3,垂直距离为Y3。该情况下,在时刻(t3),车辆5与移动体(Q)不接触。
然后,车辆用装置3进一步虚拟地使时刻前进,判定是否存在水平距离和垂直距离相互为0的时刻(n)。若例如在时刻(n),水平距离为Xn=0,垂直距离为Yn=0,则车辆用装置3判定为在车辆5按原样行驶的情况下存在车辆5与移动体(Q)接触的可能性、或者接触的可能性高。此时,车辆用装置3为了提高判定精度,关于车辆5的速度,使用从ECU42获取到的车辆信息。
该情况下,车辆用装置3在图14所示的识别处理中,生成针对交叉移动体的识别图像和针对有接触的可能性的交叉移动体的识别图像(T127)。具体而言,在判定为存在与图6所示的其他车辆8B接触的可能性、或者接触的可能性高的情况下,针对其他车辆8B,生成与作为交叉移动体的人9不同的显示方式的标记M4。
在本实施例中,标记M4以红色闪烁,为了让意识到接触而其形状也与表示交叉移动体的标记M3不同。由此,认为通过一般表示危险的红色并且闪烁能够获得驾驶员的注意,并且是让意识到接触的形状,所以也能够对驾驶员强烈地进行注意唤起。另外,驾驶员即使在为了驾驶而看前方的情况下,在图像显示部中,换句话说,在驾驶员的视野内产生红色的闪烁状态,所以即使不注视画面,也能够立即把握存在应该注意的移动体等。
那么,至此对移动体进行了说明,但也考虑车辆5与静止体接触的可能性。因此,车辆用装置3在图14所示的识别处理中判定是否存在接触静止体(T128)。具体而言,例如如图16所示,在时刻(t10),检测到虽然是静止体但是是与背景不同的物体(K)。
该情况下,车辆用装置3判定物体(K)是否位于虚拟线(VL1)上。另外,即使在当前时刻中不与虚拟线(VL1)重叠,车辆用装置3也判定物体(K)是否位于行驶中的道路上。换句话说,车辆用装置3判定物体(K)是否位于车辆5的行进道路上。这里,所谓行进道路上包括车辆5的行进方向、或者车辆5会实际行驶的行驶预定位置。
在图16的情况下,物体(K)位于虚拟线(Vl1)上,所以车辆用装置3将物体(K)判定为接触静止体。换句话说,判定为若车辆5按原样行驶,则存在例如在时刻(tn)车辆5与物体(K)接触的可能性、或者接触的可能性高。该情况下,车辆用装置3针对物体(K)生成以能够识别的方式表示是接触静止体的识别图像(T129)。此外,省略针对物体(K)的识别图像的图示,但能够为与移动体不同的形状、颜色。
通过像这样检测接触静止体,在道路上的落下物、停止在高速道路的路侧带的车辆5等一般驾驶员难以假定的状况下,车辆用装置3也能够早期地将物体的存在、接触的可能性报告给驾驶员。
车辆用装置3在检测移动体或接触静止体,执行针对检测到的移动体、接触静止体生成识别图像的识别处理后,返回至图13所示的信息提供处理。然后,车辆用装置3执行报告处理(T13)。
车辆用装置3在图17所示的报告处理中,显示识别图像(T130)。由此,如图6所示,对驾驶员提供是否存在移动体、移动体是否是接近移动体或者交叉移动体、是否有接触的可能性、以及是否存在接触静止体这样的信息。
然后,车辆用装置3在存在交叉移动体的情况下(T131:是)、或者存在接触静止体的情况下(T132:是),也从扬声器进行利用声音的报告。由此,能够对于集中于驾驶而不看图像显示部51的驾驶员,促使其确认图像,换句话说,促使其早期地把握潜在的危险性。
《对飞行装置2指示调整的过程》
若进行报告处理,则车辆用装置3在图13所示的信息提供处理中,判定是否被输入调整操作(T14)。该情况下,若显示于图7所示的操作显示部52的任意一个调整用的按钮被操作,则车辆用装置3判定为被输入调整操作。
然后,若车辆用装置3判定为被输入调整操作(T14:是),则对飞行装置2发送用于指示被输入的调整的调整指示(T15)。具体而言,若上升按钮B8被操作,则对飞行装置2发送使高度上升的调整指示,若下降按钮B9被操作,则对飞行装置2发送使高度下降的调整指示。
另外,若远方按钮B10被操作,则车辆用装置3对飞行装置2发送向远离车辆5的方向移动的调整指示,若接近按钮B11被操作,则车辆用装置3对飞行装置2发送向接近车辆5的方向移动的调整指示。
另外,若靠前按钮B12被操作,则车辆用装置3对飞行装置2发送使相机4比当前更向前方的调整指示,若靠下按钮B13被操作,则车辆用装置3对飞行装置2发送使相机4比当前更向下的调整指示。
另外,若标准按钮B5、前方监视按钮B6或者后方监视按钮B7的任意一个被操作,则车辆用装置3对飞行装置2发送指示向“标准”、“前方监视”或者“后方监视”的任意一个拍摄模式的切换的调整指示。
如图18所示,对于“标准”而言,在上述的标准位置从车辆5的前方并且信息的位置拍摄包括车辆5的范围的图像。该“标准”的拍摄模式被设定为飞行装置2的初始状态。
对于“前方监视”而言,在标准位置拍摄比“标准”靠前方的范围。该情况下,车辆5既可以包含于图像,也可以不包含于图像。“前方监视”在驾驶员想确认更远方的状况的情况下等选择。由此,能够收集例如在前方中其他车辆8F、8G接触等、被其他车辆8E、8D等遮挡而车辆5的驾驶员看不见的位置的信息。
对于“后方监视”而言,在标准位置拍摄比“标准”靠后方的范围。该情况下,车辆5既可以包含于图像,也可以不包含于图像。“前方监视”在例如左转时、右转时或者合流时想确认后方的情况下等选择。由此,能够把握在驾驶员的后方的死角行驶的例如摩托车10(参照图3)等。
另一方面,若在图11所示的信息收集处理中,接收调整指示(S13:是),则飞行装置2调整接收到的调整指示所指示的飞行位置、相机4的角度(S14)。由此,能够进行与驾驶员的指示对应的调整。
《飞行装置2的归航过程》
飞行装置2在任意的时间点向车辆5归航。在本实施例的情况下,若在图11所示的信息收集处理中,从车辆用装置3发送出归航指示的情况(S15:是)或者自动归航条件成立的情况下(S16:是),则飞行装置2向车辆5归航。作为自动归航条件,预先设定例如电池26的余量小于规定的基准值的情况、自发地判断为产生某种异常需要归航的情况等。
飞行装置2在要归航的情况下,对车辆用装置3发送通知要归航的归航请求(S17),然后执行归航处理(S18)。飞行装置2在图19所示的归航处理中,根据需要与车辆用装置3通信(S180),在能够归航的情况下(S182),通过自主飞行归航(S183)。
此外,飞行装置2在车辆5的速度过快或者丢失了车辆位置的情况等而不能归航的情况下(S182:否),移至步骤S1,对车辆用装置3发送不能归航等。另外,在例如产生异常而需要紧急着落的情况等的紧急时,也进行紧急着落位置的通知等。
另一方面,车辆用装置3在图13所示的信息提供处理中,被输入归航操作的情况下(T16:是),发送归航指示(T17),然后,执行准备飞行装置2的归航的归航准备处理(T19)。另外,车辆用装置3在接收到归航请求的情况下(T17:是),也执行归航准备处理(T19)。换句话说,车辆用装置3进行用于受理要归航的飞行装置2的准备。
车辆用装置3在图20所示的归航准备处理中,根据需要与飞行装置2通信(T190),打开滑动门7(T191),等待飞行装置2的归航(T192:否)。然后,若归航完成(T192:是),车辆用装置3关闭滑动门7(T193)。此时,归航完成通过与飞行装置2的通信而确认。
这样,在信息提供系统1中,通过从车辆5起飞的飞行装置2实时地向驾驶员等提供车辆5的周边的图像,并且使结束了拍摄的飞行装置2归航。
根据以上说明的信息提供系统1,能够得到如下的效果。
信息提供系统1具备具有相机4并从上空拍摄车辆5的周边的飞行装置2、以及具有进行在车辆侧显示部54实时地显示由飞行装置2拍摄到的图像的控制的车辆侧控制部48的车辆用装置3。
由此,车辆5的周边的状况作为图像提供给驾驶员。该情况下,因为是图像,所以车辆5的周边的状况以伴随有现实感的形式被提供。另外,驾驶员通过得到图像、换句话说不被示意化的信息,从而能够容易地把握车辆5的周边的状况。
而且,因为能够容易地把握状况,所以能够预测例如从驾驶员看不见的位置接近的其他车辆8等、稍前的碰撞等。换言之,驾驶员能够预先预测潜在的危险性。由此,能够进行所谓的预测驾驶,能够使安全性提高。
另外,因为飞行装置2从上空拍摄车辆5的周边,所以能够把握驾驶员看不见的位置的状况。由此,认为在例如被卷入交通阻塞而急躁的情况下,通过把握交通阻塞的原因而心理稳定。换句话说,能够不仅在接触等物理面,还在驾驶员的心理面也辅助驾驶。
因此,信息提供系统1能够提供图像这样的伴随有现实感、容易把握意思、并且能对驾驶员强烈地进行注意唤起的信息。
飞行装置2在相对于车辆5维持了规定的位置关系的状态下通过自主控制飞行。由此,能够不需要驾驶员操作,换言之,不从驾驶转移注意,且对驾驶员提供车辆5的周边的状况。因此,能够减少行驶中的安全性降低的危险。
此时,飞行装置2基于从车辆用装置3接收到的车辆位置,确定相对于车辆5的规定的位置关系。因此,在通常的利用方式中,驾驶员不需要进行飞行装置2的位置的调整等。因此,能够减少行驶中的安全性降低的危险。
信息提供系统1对飞行装置2发送被驾驶员等输入的调整指示,飞行装置2基于接收到的调整指示进行相对于车辆5的位置以及拍摄部的朝向中的调整指示所指示的调整。由此,在由于障碍物等而拍摄不到驾驶员所希望的图像的情况下等,能够以驾驶员所希望的位置或者相机4的角度拍摄车辆5的周边。
信息提供系统1使针对检测到的物体生成的识别图像跟随显示于车辆侧显示部54的物体的显示位置的变化而显示。由此,在车辆5行驶而与物体之间的位置关系变化的情况下,也能够使驾驶员持续把握应该注意的物体。
信息提供系统1生成在判定为有与车辆5接触的可能性的物体和判定为没有与车辆5接触的可能性的物体之间不同的方式的识别图像。由此,能够区别应该注意的物体和不需要那么加以注意的物体。该情况下,驾驶员以区别的状态接受信息,所以容易判断针对潜在的危险度的优先顺序。因此,能够迅速并且适当地、并且以对危险性具有足够富余的状态来应对。
信息提供系统1检测接近车辆5或者该车辆5的行进道路的移动体作为接近移动体,生成在接近移动体和不是接近移动体的移动体之间不同的方式的识别图像。由此,能够区别因为接近车辆5所以应该注意的移动体和不需要那么加以注意的移动体。因此,如上述那样,能够迅速并且适当地、并且以对危险性具有足够富余的状态来应对。
信息提供系统1检测移动方向与车辆5的移动方向交叉的移动体作为交叉移动体,生成在交叉移动体和不是交叉移动体的移动体之间不同的方式的识别图像。由此,能够区别因为移动方向交叉而有接触的可能性的移动体和接触的可能性低的移动体。因此,如上所述,能够迅速并且适当地、并且以对危险性具有足够富余的状态来应对。
信息提供系统1检测位于车辆5的行进道路上的静止体作为接触静止体,生成以能够识别的方式表示接触静止体的识别图像。由此,能够将例如存在于道路上的落下物等、驾驶员通常不意识到其存在的可能性高的物体报告给驾驶员。因此,能够以对潜在的危险性具有足够富余的状态来应对。
在信息提供系统1中,飞行装置2在接收到起飞指示的情况以及规定的起飞条件成立的情况下通过自主控制从车辆5起飞,在接收到归航指示的情况以及规定的归航条件成立的情况下通过自主控制向车辆5归航。由此,用于使飞行装置2出发和归航的操作能够简化。因此,能够减少行驶中的安全性降低的危险。
另外,通过接收由飞行装置2拍摄到的图像并在车辆侧显示部54实时地显示的车辆用装置3,也能够与上述的信息提供系统1相同地,能够提供能够容易地把握意思,并且有现实感且能够预先预测潜在的危险性并能对驾驶员强烈地进行注意唤起的信息。
另外,通过使与飞行装置2能够通信地连接的车辆用装置3的车辆侧控制部48执行接收由飞行装置2拍摄到的图像的处理、在车辆侧显示部54实时地显示接收到的图像的处理的信息提供程序,也与上述的信息提供系统1相同地,能够提供能够容易地把握意思,并且有现实感且能够预先预测潜在的危险性并能对驾驶员强烈地进行注意唤起的信息。
(其他的实施例)
本公开并不局限于上述的实施例所示的构成,能够在不脱离其主旨的范围中任意地变形或者组合。
例如,信息提供系统1能够构成为从车辆侧通信部50对飞行装置2发送能够确定例如被图5所示的导航装置40等路径引导部引导的路径的路径信息,飞行装置2通过自主控制基于接收到的路径信息沿着车辆5被引导的路径飞行。由此,在车辆5正在行驶且位置变化的情况下,也不需要对飞行装置2的位置的调整等。因此,能够使行驶中的安全性提高。另外,能够早期地把握路径上的危险性。
另外,信息提供系统1能够构成为具备具有获取能够确定车辆5的举动的车辆信息的车辆信息获取部并对飞行装置2发送获取到的车辆信息的车辆用装置3、和基于接收到的车辆信息调整飞行位置以及相机4的角度中的至少一方的飞行装置2。该情况下,能够获取方向指示灯的点亮作为车辆信息。由此,能够自动地调整为能够拍摄例如在左转时容易成为驾驶员的死角的左后方的位置或者能够拍摄的相机4的角度。
另外,信息提供系统1能够构成为具备在存在与车辆5正在行驶的道路连接的道路的情况下,通过自主控制移动到能够拍摄道路连接的连接位置和车辆5的位置、或者将拍摄部调整为能够拍摄连接位置和车辆5的方向的飞行装置2。
或者,信息提供系统1也能够构成为具备在车辆5的移动方向变化的情况下,移动到能够拍摄车辆5的后方的位置、或者将拍摄部调整为能够拍摄车辆5的后方的方向的飞行装置2。
通过这些,认为例如在图3中车辆5左转这样的状况下,能够将在车辆5的后方存在摩托车10、在左侧存在人9等报告给驾驶员,能够提高安全性。
另外,在例如连接的道路是立体合流的道路,或是被住宅的墙壁遮挡的T字路的情况等、驾驶员看不见合流来的其他车辆8、人9等的情况下,也能够将危险性报告给驾驶员。因此,即使是例如自身正在优选道路行驶等、而疏忽对连接位置的注意的状况,也能够通过报告其他车辆8等的存在,而对于驾驶员唤起注意。
例示出具有操作装置41和导航装置40的车辆用装置3的构成,但车辆用装置3至少具备与飞行装置2之间进行通信的车辆侧通信部50、以及进行在车辆侧显示部54实时地显示由飞行装置2拍摄到的图像的控制的车辆侧控制部48即可。换句话说,车辆侧显示部54也可以设置于车辆用装置3的外部。例如,能够考虑在车辆用装置3设置图像输出部,向导航装置40的显示部44、所谓的智能手机、平板型个人计算机等显示器输出图像的构成等。
例示出在车辆用装置3设置车辆位置获取部47的构成,但也可以为将车辆位置获取部47设置在外部装置的构成。例如,在车辆用装置3设置与外部装置进行通信的通信部,从具有车辆位置获取部47的外部装置获取车辆位置。该情况下,若例如智能手机、平板型个人计算机等外部装置具备位置获取部,则能够为从外部装置获取车辆位置、路径信息的构成。另外,若外部装置具备路径引导部,则也能够为从外部装置获取路径信息的构成。
例示出连接车辆用装置3和ECU42而获取车辆信息的构成,但作为信息提供系统1,并不一定获取车辆信息,也能够为不与ECU42连接的构成。
例示出能够用彩色以及黑白拍摄动态图像以及静止图像的相机4,但也能够采用仅能够拍摄动态图像的相机、仅能够用彩色或者黑白的一方拍摄的相机。
飞行装置2具备的相机4、图像调制部30以及图像发送部29A也能够采用被单元化为一体的部件,但为了例如使用者能够变更相机4的种类等,既能够为在飞行装置2侧设置用于与相机4连接的接口的构成,也能够采用能够输出调制后的图像的相机4。
例示出了分别独立地调整飞行位置和相机4的朝向的例子,但也能够为跟随飞行位置的变化来调整相机4的朝向的构成。在例如维持了图像的中心位置的状态下,能够调整与车辆5的距离、高度。由此,能够减少在飞行位置变化时图像的中心位置偏离而难以把握状况的危险。
例示出使图像发送部29A和飞行侧发送接收部29B为分别独立的通信IC的构成,但也能够用共用的通信IC和共用的天线构成。另外,飞行侧发送接收部29B也能够用分别独立的通信IC和分别独立的天线构成发送部和接收部。
相同地,车辆侧通信部50也既能够用共用的通信IC和共用的天线构成图像接收部49A和车辆侧发送接收部49B,也能够用分别独立的通信IC和分别独立的天线构成发送部和接收部。另外,也能够为将车辆位置从导航装置40侧对飞行装置2发送的构成。
例示出图像显示部51、操作显示部52以及状况显示部53分别具有分别独立的显示器的构成,但也能够为对图像显示部51、操作显示部52以及状况显示部53中任意的组合设置共用的显示器并切换显示内容的构成。例如,能够通过一个显示器构成图像显示部51、操作显示部52以及状况显示部53。
例示出从车辆5侧获取车辆位置的构成,但也能够通过图像识别确定出车辆位置。例如,能够通过使飞行装置2存储车辆5的形状、颜色等,预先将车辆5和飞行装置2建立关联,确定出飞行装置2拍摄到的图像中的车辆5,并基于飞行位置和画角等相机4的规格确定出相对于飞行位置的相对位置,来确定出车辆位置。
虽然为检测移动体和静止体的构成,但能够为仅检测移动体的构成。由此,能够有助于防止作为一般的事故方式的车彼此、车与人的接触等、移动体彼此的事故。
在实施方式中,示出了对接触静止体生成识别图像的例子,但能够为能够设定生成识别图像的条件的构成。作为条件,考虑有例如是车辆5的前方50m以上等。这是为了减少在接着例如因等待信号而停车的其他车辆8停车时,正在停车的其他车辆8,换句话说,驾驶员能够视觉确认的其他车辆8被作为接触静止体报告的情况。此外,从追尾防止的观点来看,认为报告驾驶员能够视觉确认的其他车辆8等也有效。
例示出对所有被检测到的物体显示识别图像的构成,但能够为驾驶员能够设定对被检测到的物体中的哪种物体显示识别图像的构成。例如,能够为仅对交叉移动体显示识别图像的构成、仅对交叉移动体和接近移动体显示识别图像的构成、仅对交叉移动体和接触静止体显示识别图像的构成等。由此,能够减少识别图像被过度地显示而难以判断的危险。
示出了通过图像解析部57构成物体检测部、图像生成部、接触判定部、接近判定部、交叉判定部以及静止体判定部的例子,但各部既能够分别独立地构成,也能够以任意的组合采用共用的构成。例如,能够使各判定部和图像生成部为分立的构成。另外,也能够为将任意的功能分配到车辆侧控制部48等的构成。
也可以根据例如车辆5的速度变更标准位置。该情况下,考虑作为初始值,设定例如以市区中的平均速度为基准的距离,若实际的车辆5的速度比该平均速度快,则延长规定的距离(L),若实际的车辆5的速度较慢则缩短规定的距离(L)等。由此,认为例如在速度快的情况下能够把握更远方的状况等,进一步有助于安全性的提高。该情况下,既能够为通过在起飞时获取车速来调整标准位置的构成,也能够为即使是飞行中也根据车速的变化变更距离的构成。
应该理解本公开根据实施例进行了描述,但本公开并不局限于该实施例、结构。本公开也包含各种变形例、均等范围内的变形。另外,也将各种组合、方式、甚至其中仅包含一个要素、更多或者更少的要素的组合、方式纳入本公开的范畴、思想范围。
Claims (13)
1.一种信息提供系统,具备:
飞行装置(2),具有从上空拍摄车辆(5)的周边的拍摄部(4)、与所述车辆(5)之间进行通信的飞行侧通信部(28)、以及控制基于远程控制的飞行以及基于自主控制的飞行并且进行对所述车辆(5)发送由所述拍摄部(4)拍摄到的图像的控制的飞行侧控制部(20);以及
车辆用装置(3),具有与所述飞行装置(2)之间进行通信的车辆侧通信部(50)、以及进行在车辆侧显示部(54)实时地显示由所述飞行装置(2)拍摄并由所述车辆侧通信部(50)接收到的图像的控制的车辆侧控制部(48)。
2.根据权利要求1所述的信息提供系统,其中,
所述飞行装置(2)具有获取表示自身的位置的飞行位置的飞行位置获取部(21),并且在相对于所述车辆(5)维持了规定的位置关系的状态下通过自主控制来飞行。
3.根据权利要求2所述的信息提供系统,其中,
所述车辆用装置(3)具有获取表示自身的位置的车辆位置的车辆位置获取部(47),并且对所述飞行装置(2)发送获取到的车辆位置,
所述飞行装置(2)基于接收到的所述车辆位置确定相对于所述车辆(5)的规定的位置关系,并且相对于所述车辆(5)维持规定的位置关系。
4.根据权利要求1~3中的任意一项所述的信息提供系统,其中,
所述车辆用装置(3)具有将所述车辆(5)引导到规定的目的地的路径引导部(40),并且从所述车辆侧通信部(50)对所述飞行装置(2)发送能够确定由该路径引导部(40)引导的路径的路径信息,
所述飞行装置(2)基于接收到的所述路径信息,沿着所述车辆(5)被引导的路径通过自主控制来飞行。
5.根据权利要求1~4中的任意一项所述的信息提供系统,其中,
所述车辆用装置(3)具有操作部(54),所述操作部(54)输入调整相对于所述车辆(5)的所述飞行装置(2)的位置以及所述拍摄部(4)的朝向中的至少一方的调整指示,所述车辆用装置(3)从所述车辆侧通信部(50)对所述飞行装置(2)发送所输入的所述调整指示,
所述飞行装置(2)基于接收到的所述调整指示,进行相对于所述车辆(5)的位置以及所述拍摄部(4)的朝向中的所述调整指示所指示的调整。
6.根据权利要求1~5中的任意一项所述的信息提供系统,其中,具备:
物体检测部(57),对由所述拍摄部(4)拍摄到的图像进行解析来检测该图像中的物体;以及
图像生成部(57),生成以能够识别的方式表示由所述物体检测部(57)检测到的物体的识别图像,
所述车辆用装置(3)使针对该物体生成的识别图像跟随所述车辆侧显示部(54)所显示的物体的显示位置的变化来显示。
7.根据权利要求6所述的信息提供系统,其中,
所述信息提供系统具备接触判定部(57),所述接触判定部(57)判定由所述物体检测部(57)检测到的物体与所述车辆(5)接触的可能性,
所述图像生成部(57)生成在判定为有与所述车辆(5)接触的可能性的物体和判定为没有与所述车辆(5)接触的可能性的物体之间不同的方式的识别图像。
8.根据权利要求6或者7所述的信息提供系统,其中,
所述物体检测部(57)判定检测到的物体是否是移动体,
所述信息提供系统具备接近判定部(57),所述接近判定部(57)对判定为是移动体的物体是否正向所述车辆(5)或者该车辆(5)的行进道路接近进行判定,
所述图像生成部(57)生成在判定为正向所述车辆(5)接近的移动体和判定为不向所述车辆(5)接近的移动体之间不同的方式的识别图像。
9.根据权利要求6~8中的任意一项所述的信息提供系统,其中,
所述物体检测部(57)判定检测到的物体是否是移动体,
所述信息提供系统具备交叉判定部(57),所述交叉判定部(57)对判定为是移动体的物体的移动方向是否与所述车辆(5)的移动方向交叉进行判定,
所述图像生成部(57)生成在判定为移动方向与移动方向交叉的移动体和判定为移动方向与移动方向不交叉的移动体之间不同的方式的识别图像。
10.根据权利要求6~9中的任意一项所述的信息提供系统,其中,
所述物体检测部(57)检测不伴随有移动体的静止体,
所述信息提供系统具备静止体判定部(57),所述静止体判定部(57)判定检测到的静止体是否位于所述车辆(5)的行进道路上,
所述图像生成部(57)生成以能够识别的方式表示判定为位于行进道路上的静止体的识别图像。
11.根据权利要求1~10中的任意一项所述的信息提供系统,其中,
所述车辆用装置(3)从所述车辆侧通信部(50)对所述飞行装置(2)发送指示所述飞行装置(2)的起飞的起飞指示以及指示所述飞行装置(2)的归航的归航指示,
所述飞行装置(2)从所述车辆(5)起飞并且向该车辆(5)归航,在接收到所述起飞指示的情况下以及规定的起飞条件成立的情况下通过自主控制来从所述车辆(5)起飞,在接收到所述归航指示的情况下以及规定的归航条件成立的情况下通过自主控制来向所述车辆(5)归航。
12.一种车辆用装置,具备:
车辆侧通信部(50),与具有拍摄部(4)并从上空拍摄车辆(5)的周边的飞行装置(2)之间进行通信;以及
车辆侧控制部(48),进行在车辆侧显示部(54)实时地显示由所述飞行装置(2)拍摄并由所述车辆侧通信部(50)接收到的图像的控制。
13.一种信息提供程序,使与具有拍摄部(4)并从上空拍摄车辆(5)的周边的飞行装置(2)能够通信地连接的车辆用装置(3)的车辆侧控制部(48)执行:
接收由所述飞行装置(2)拍摄到的图像的处理;以及
在车辆侧显示部(54)实时地显示接收到的图像的处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-227814 | 2016-11-24 | ||
JP2016227814A JP6624022B2 (ja) | 2016-11-24 | 2016-11-24 | 情報提供システム、車両用装置、情報提供プログラム |
PCT/JP2017/032098 WO2018096760A1 (ja) | 2016-11-24 | 2017-09-06 | 情報提供システム、車両用装置、情報提供プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109997355A true CN109997355A (zh) | 2019-07-09 |
Family
ID=62195783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780072305.5A Pending CN109997355A (zh) | 2016-11-24 | 2017-09-06 | 信息提供系统、车辆用装置、信息提供程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190265736A1 (zh) |
JP (1) | JP6624022B2 (zh) |
CN (1) | CN109997355A (zh) |
WO (1) | WO2018096760A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113682474A (zh) * | 2020-05-19 | 2021-11-23 | 马自达汽车株式会社 | 车辆停车位置通知系统 |
CN113778125A (zh) * | 2021-09-10 | 2021-12-10 | 广州小鹏汽车科技有限公司 | 基于语音的飞行设备控制方法、装置、车辆及存储介质 |
CN113835440A (zh) * | 2021-09-10 | 2021-12-24 | 广州小鹏汽车科技有限公司 | 飞行设备的控制方法及装置、车辆、飞行设备及存储介质 |
CN114207691A (zh) * | 2019-07-30 | 2022-03-18 | 三菱电机株式会社 | 车辆驾驶辅助系统、站点侧驾驶辅助装置和车载驾驶辅助装置 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7164149B2 (ja) * | 2018-06-12 | 2022-11-01 | 国立大学法人 筑波大学 | シミュレータ、サーバ、評価システム、評価プログラム、及び評価方法 |
US20190384276A1 (en) * | 2018-06-13 | 2019-12-19 | Delphi Technologies, Llc | Drone assisted navigation system for a vehicle |
JP6532096B1 (ja) * | 2018-07-30 | 2019-06-19 | 三菱ロジスネクスト株式会社 | 無人飛行体を用いた無人搬送システム |
JP6707600B2 (ja) * | 2018-09-26 | 2020-06-10 | 三菱ロジスネクスト株式会社 | 搬送システム |
US11835948B2 (en) * | 2018-12-03 | 2023-12-05 | Motional Ad Llc | Systems and methods for improving vehicle operations using movable sensors |
JP7240239B2 (ja) | 2019-04-23 | 2023-03-15 | カワサキモータース株式会社 | 移動支援プログラム、移動支援システムおよび移動支援方法 |
DE102019206901A1 (de) * | 2019-05-13 | 2020-11-19 | Zf Friedrichshafen Ag | Landwirtschaftliche Umfelderkennung zur Kollisionsvermeidung mit Hilfe einer Drohne |
EP3965415A4 (en) * | 2019-06-04 | 2022-06-08 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, METHOD AND PROGRAM |
WO2021212343A1 (zh) * | 2020-04-21 | 2021-10-28 | 深圳市大疆创新科技有限公司 | 无人机的飞行方法、飞行系统、无人机及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006180326A (ja) * | 2004-12-24 | 2006-07-06 | Equos Research Co Ltd | 車両用状況監視システム |
JP2010250478A (ja) * | 2009-04-14 | 2010-11-04 | Toyota Motor Corp | 運転支援装置 |
CN105512628A (zh) * | 2015-12-07 | 2016-04-20 | 北京航空航天大学 | 基于无人机的车辆环境感知系统及方法 |
CN105825713A (zh) * | 2016-04-08 | 2016-08-03 | 重庆大学 | 车载无人机辅助驾驶系统及运行方式 |
JP2016138853A (ja) * | 2015-01-29 | 2016-08-04 | 株式会社ゼンリンデータコム | ナビゲーションシステム、車載ナビゲーション装置、飛行体、ナビゲーション方法、車載ナビゲーション装置用連携プログラム及び飛行体用連携プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008074275A (ja) * | 2006-09-21 | 2008-04-03 | Aisin Aw Co Ltd | 運転支援装置、運転支援システム、および運転支援方法 |
JP6062079B2 (ja) * | 2014-05-30 | 2017-01-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人型航空輸送機(uav)の動作を制御するための制御器および方法ならびに乗り物 |
-
2016
- 2016-11-24 JP JP2016227814A patent/JP6624022B2/ja active Active
-
2017
- 2017-09-06 WO PCT/JP2017/032098 patent/WO2018096760A1/ja active Application Filing
- 2017-09-06 CN CN201780072305.5A patent/CN109997355A/zh active Pending
-
2019
- 2019-05-10 US US16/408,798 patent/US20190265736A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006180326A (ja) * | 2004-12-24 | 2006-07-06 | Equos Research Co Ltd | 車両用状況監視システム |
JP2010250478A (ja) * | 2009-04-14 | 2010-11-04 | Toyota Motor Corp | 運転支援装置 |
JP2016138853A (ja) * | 2015-01-29 | 2016-08-04 | 株式会社ゼンリンデータコム | ナビゲーションシステム、車載ナビゲーション装置、飛行体、ナビゲーション方法、車載ナビゲーション装置用連携プログラム及び飛行体用連携プログラム |
CN105512628A (zh) * | 2015-12-07 | 2016-04-20 | 北京航空航天大学 | 基于无人机的车辆环境感知系统及方法 |
CN105825713A (zh) * | 2016-04-08 | 2016-08-03 | 重庆大学 | 车载无人机辅助驾驶系统及运行方式 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114207691A (zh) * | 2019-07-30 | 2022-03-18 | 三菱电机株式会社 | 车辆驾驶辅助系统、站点侧驾驶辅助装置和车载驾驶辅助装置 |
CN114207691B (zh) * | 2019-07-30 | 2024-04-26 | 三菱电机株式会社 | 车辆驾驶辅助系统、站点侧驾驶辅助装置和车载驾驶辅助装置 |
CN113682474A (zh) * | 2020-05-19 | 2021-11-23 | 马自达汽车株式会社 | 车辆停车位置通知系统 |
CN113682474B (zh) * | 2020-05-19 | 2024-02-06 | 马自达汽车株式会社 | 车辆停车位置通知系统 |
CN113778125A (zh) * | 2021-09-10 | 2021-12-10 | 广州小鹏汽车科技有限公司 | 基于语音的飞行设备控制方法、装置、车辆及存储介质 |
CN113835440A (zh) * | 2021-09-10 | 2021-12-24 | 广州小鹏汽车科技有限公司 | 飞行设备的控制方法及装置、车辆、飞行设备及存储介质 |
CN113778125B (zh) * | 2021-09-10 | 2024-05-03 | 广州小鹏汽车科技有限公司 | 基于语音的飞行设备控制方法、装置、车辆及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2018085630A (ja) | 2018-05-31 |
JP6624022B2 (ja) | 2019-12-25 |
WO2018096760A1 (ja) | 2018-05-31 |
US20190265736A1 (en) | 2019-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109997355A (zh) | 信息提供系统、车辆用装置、信息提供程序 | |
KR102219595B1 (ko) | 자율 차량들의 승객 픽업 배치 | |
US11364930B2 (en) | Vehicle control system, vehicle control method and program | |
US8878693B2 (en) | Driver assistance device and method of controlling the same | |
CN106415693B (zh) | 车辆用认知通知装置、车辆用认知通知系统 | |
CN109421742A (zh) | 用于监测自主车辆的方法和设备 | |
US11203360B2 (en) | Vehicle control system, vehicle control method and program | |
US10493622B2 (en) | Systems and methods for communicating future vehicle actions to be performed by an autonomous vehicle | |
US11378980B2 (en) | Cellular device location discovery systems and methods for autonomous vehicles | |
JP6591087B2 (ja) | 表示制御装置、表示装置および表示制御方法 | |
US20190039616A1 (en) | Apparatus and method for an autonomous vehicle to follow an object | |
WO2018100619A1 (ja) | 車両制御システム、車両制御方法、および車両制御プログラム | |
KR20120127830A (ko) | 차량용 단말을 위한 사용자 인터페이스 방법 및 장치 | |
US11565713B2 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
CN111051170A (zh) | 识别自主车辆的未分配的乘客 | |
CN110422177A (zh) | 一种车辆控制方法、装置及系统 | |
CN109421741A (zh) | 用于监测车辆的方法和设备 | |
CN113479195A (zh) | 用于自动代客泊车的方法和用于执行所述方法的系统 | |
US10614715B2 (en) | Systems and methods for communicating autonomous vehicle confidence levels | |
JP2019014300A (ja) | 車両制御システム、車両制御方法、およびプログラム | |
CN110954126A (zh) | 显示系统、显示方法及存储介质 | |
US20200250980A1 (en) | Reuse of Surroundings Models of Automated Vehicles | |
WO2021070768A1 (ja) | 情報処理装置、および情報処理システム、並びに情報処理方法 | |
CN107599965A (zh) | 用于车辆的电子控制装置及方法 | |
JP2017220030A (ja) | 走行情報提供システムおよび走行情報提供プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190709 |
|
WD01 | Invention patent application deemed withdrawn after publication |