CN111746789B - 拍摄系统、服务器、控制方法以及存储程序的存储介质 - Google Patents
拍摄系统、服务器、控制方法以及存储程序的存储介质 Download PDFInfo
- Publication number
- CN111746789B CN111746789B CN202010197870.8A CN202010197870A CN111746789B CN 111746789 B CN111746789 B CN 111746789B CN 202010197870 A CN202010197870 A CN 202010197870A CN 111746789 B CN111746789 B CN 111746789B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- photographing
- information
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000010295 mobile communication Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 35
- 230000007613 environmental effect Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 14
- 238000013459 approach Methods 0.000 claims 5
- 238000003384 imaging method Methods 0.000 description 58
- 230000008569 process Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000010391 action planning Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本发明提供一种容易地执行本车辆的行驶场景的拍摄的拍摄系统。在包括服务器、拍摄器、车辆或者能够与车辆一起移动的移动通信设备的拍摄系统中,在从车辆或者移动通信设备接受了车辆的拍摄请求的情况下,基于车辆的行驶路径,生成拍摄器的追踪路径。对拍摄器进行控制以使拍摄器在该生成的追踪路径上追踪车辆。在对拍摄器进行控制的期间,对拍摄器进行控制以使拍摄器对车辆进行拍摄。
Description
技术领域
本发明涉及对车辆的行驶场景进行拍摄的拍摄系统、服务器、控制方法以及存储程序的存储介质。
背景技术
近年来,不仅通过车辆间的协作,而且通过使车辆与无人机协作来对车辆的驾驶员提供有用的功能。在日本特开2018-77652号公报中记载了使无人机在远程位置移动来拍摄拥堵状况、拥挤状况等,由车辆获取该拍摄到的影像数据。
然而,驾驶员难以容易地执行本车辆正在行驶的动态图像、自远距离的拍摄。在日本特开2018-77652号公报中,没有涉及关于容易地执行本车辆的行驶场景的拍摄的内容。
发明内容
发明要解决的问题
本发明提供一种容易地执行本车辆的行驶场景的拍摄的拍摄系统、服务器、控制方法以及存储程序的存储介质。
本发明所涉及的拍摄系统是包含服务器、能够与所述服务器通信的拍摄器、以及车辆或与所述车辆一起移动的移动通信设备的拍摄系统,所述服务器具备:生成单元,其在从所述车辆或所述移动通信设备接受了所述车辆的拍摄请求的情况下,基于所述车辆的行驶路径,生成所述拍摄器的追踪路径;移动控制单元,其对所述拍摄器进行控制,以使所述拍摄器在通过所述生成单元生成的所述追踪路径上追踪所述车辆;以及拍摄控制单元,其对所述拍摄器进行控制,以使所述拍摄器在所述移动控制单元对所述拍摄器进行控制的期间对所述车辆进行拍摄。
本发明所涉及的服务器具备:生成单元,其在接受了车辆的拍摄请求的情况下,基于成为能够与服务器进行通信的拍摄器的拍摄对象的车辆的行驶路径,生成所述拍摄器的追踪路径;移动控制单元,其对所述拍摄器进行控制,以使所述拍摄器在通过所述生成单元生成的所述追踪路径上追踪所述车辆;以及拍摄控制单元,其对所述拍摄器进行控制,以使所述拍摄器在所述移动控制单元对所述拍摄器进行控制的期间,对所述车辆进行拍摄。
本发明所涉及的控制方法是在包括服务器、能够与所述服务器通信的拍摄器、以及车辆或能够与所述车辆一起移动的移动通信设备的拍摄系统中执行的控制方法,在所述服务器中,在从所述车辆或所述移动通信设备接受了所述车辆的拍摄请求的情况下,基于所述车辆的行驶路径,生成所述拍摄器的追踪路径,控制所述拍摄器,以使所述拍摄器在生成的所述追踪路径上追踪所述车辆,控制所述拍摄器,以使所述拍摄器在所述拍摄器被控制的期间对所述车辆进行拍摄。
本发明所涉及的控制方法是在服务器中执行的控制方法,在接受了车辆的拍摄请求的情况下,基于成为能够与所述服务器通信的拍摄器的拍摄对象的车辆的行驶路径,生成所述拍摄器的追踪路径,控制所述拍摄器,以使所述拍摄器在生成的所述追踪路径上追踪所述车辆,控制所述拍摄器,以使所述拍摄器在所述拍摄器被控制的期间,对所述车辆进行拍摄。
本发明所涉及的存储程序的存储介质,存储以下述方式发挥功能的程序,在接受了车辆的拍摄请求的情况下,基于成为能够与服务器进行通信的拍摄器的拍摄对象的车辆的行驶路径,生成所述拍摄器的追踪路径,控制所述拍摄器,以使所述拍摄器在生成的所述追踪路径上追踪所述车辆,控制所述拍摄器,以使所述拍摄器在所述拍摄器被控制的期间,对所述车辆进行拍摄。
发明效果
根据本发明,能够容易地执行本车辆的行驶场景的拍摄。
附图说明
图1是表示拍摄系统的构成的图。
图2是表示车辆用控制装置的构成的图。
图3是表示控制单元的功能模块的图。
图4是表示服务器的构成的图。
图5是表示拍摄器的构成的图。
图6中的(a)、(b)、(c)是用于说明本实施方式的动作的图。
图7中的(a)、(b)、(c)是用于说明拍摄器的动作的图。
图8是表示拍摄系统的整体顺序的图。
图9中的(a)、(b)是表示用户接口画面的图。
图10是表示开始追踪/拍摄控制为止的处理的流程图。
图11是表示追踪/拍摄控制的处理的流程图。
图12是表示追踪/拍摄控制的处理的流程图。
图13是表示回避控制的处理的流程图。
图14是表示迂回控制的处理的流程图。
附图标记说明
100:拍摄系统;101:服务器;102:车辆;103:拍摄器;301:控制部。
具体实施方式
以下,参照附图对实施方式进行详细说明。此外,以下的实施方式并非对权利要求书所涉及的发明进行限定,另外,在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外,对相同或者同样的构成标注相同的附图标记,并省略重复的说明。
图1是表示本实施方式中的拍摄系统100的构成的图。拍摄系统100是实现针对车辆102的驾驶员来拍摄车辆102的行驶场景并提供该拍摄数据的拍摄服务的系统。如图1所示,拍摄系统100包括服务器101、车辆102和拍摄器群104。服务器101是用于提供上述服务的服务器。车辆102是成为基于拍摄服务的拍摄对象的车辆。另外,车辆102并不限定于该方式,只要能够与服务器101进行通信,则既可以是四轮车辆,也可以是跨骑型的二轮车辆。在本实施方式中,作为四轮车辆进行说明。另外,在本实施方式中,存在处于车辆102的车内110的、或者如果是跨骑型的二轮车辆,则为该二轮车辆的搭乘者112(包括驾驶员)持有智能手机等移动通信设备111的情况。在该情况下,移动通信设备111与车辆102的移动一起移动。拍摄器群104包括多个拍摄器103,各拍摄器103例如通过与车辆102并行,能够拍摄车辆102的行驶场景。在本实施方式中,例如,拍摄器103是搭载有拍摄用的摄像机的无人机。此外,若能够一边无人且追踪车辆102一边拍摄,则拍摄器103不限于无人机这样的飞行物,例如也可以是追踪车辆102的无人行驶车辆。
基站106例如是设置在服务器101能够提供拍摄服务的区域内的基站,能够与车辆102或移动通信设备111相互通信。另外,服务器101构成为能够经由网络107与基站106相互通信。通过这样的构成,例如,车辆102能够向服务器101发送位置信息等车辆信息,服务器101能够对车辆102发送用于对车内设备(例如,摄像机)进行控制的指示。另外,服务器101以及车辆102也能够与图1所示的网络107以外的网络连接,例如能够与因特网连接。在本实施方式中,对车辆102向服务器101发送位置信息等车辆信息的构成进行说明,但也可以是移动通信设备111向服务器101发送位置信息等车辆信息的构成。在该情况下,车辆102也可以不一定构成为能够与基站106以及服务器101进行通信。
通信机105例如是沿着道路设置的路侧机,例如能够通过DSRC(专用短距离通讯,Dedicated Short Range Communication)与车辆102进行路车间通信。存在为了将车辆102的车辆信息发送给服务器101而使用通信机的情况、为了将路面的状态信息(冻结情况等)发送给服务器101而使用通信机的情况。另外,在该情况下,车辆101也可以不一定构成为能够与基站106以及服务器101进行通信。
控制站108构成为能够与服务器101相互通信,作为控制拍摄器103的发送机发挥功能。另外,多个拍摄器103分别被分配了识别信息,服务器101能够分别控制多个拍摄器103。
在图1中,示出了多个拍摄器103,存在在车辆102的行驶路径中有一个拍摄器103拍摄车辆102的情况、在行驶路径内的每隔一定区间有一个拍摄器103拍摄车辆102而作为行驶路径整体有多个拍摄器103拍摄车辆102的情况。另外,在图1中,仅示出了一台车辆102,但也可以包含多台车辆102,例如,存在对多个车辆102分别分配不同的拍摄器103的情况。
在图1中,区域109表示服务器101能够提供拍摄服务的区域。在本实施方式中,由拍摄器103进行的车辆的行驶场景的拍摄在允许这样的拍摄的规定区域(服务提供区域)中进行。如图1所示,服务器101也可以设置在服务提供区域外。另外,在图1中仅示出一个服务提供区域,但是服务器101可以管理多个服务提供区域。
图2是本发明的一个实施方式所涉及的车辆用控制装置(行驶控制装置)的框图,对车辆1进行控制。图2的车辆1与图1的车辆102对应。在图2中,车辆1的概要由俯视图和侧视图表示。作为一个例子,车辆1是轿车型的四轮的乘用车。
图2的行驶控制装置包括控制单元2。控制单元2包括包括通过车内网络连接为能够通信的方式连接的多个ECU20~29。各ECU包括以CPU为代表的处理器、半导体存储器等存储设备、以及与外部设备连接的接口等。在存储设备中保存有处理器所执行的程序、处理器在处理中使用的数据等。各ECU也可以具备多个处理器、存储设备以及接口等。
以下针对各ECU20~29所负责的功能等进行说明。此外,关于ECU的数量、所负责的功能,可以进行适当设计,也可以比本实施方式更加细化或者进行整合。
ECU20执行与车辆1的自动驾驶有关的控制。在自动驾驶中,对车辆1的转向以及加速减速中的至少任意一项进行自动控制。
ECU21对电动动力转向装置3进行控制。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)而使前轮转向的机构。另外,电动动力转向装置3包括发挥用于辅助转向操作或者使前轮自动转向的驱动力的马达、对转向角进行检测的传感器等。在车辆1的驾驶状态为自动驾驶的情况下,ECU21与来自ECU20的指示相对应地对电动动力转向装置3进行自动控制,并控制车辆1的行进方向。
ECU22以及ECU23进行检测车辆的周围状况的检测单元41~43的控制以及检测结果的信息处理。检测单元41为对车辆1的前方进行拍摄的摄像机(以下有时表述为摄像机41。),在本实施方式的情况下,安装于在车辆1的车顶前部前窗的车厢内侧。通过对摄像机41所拍摄到的图像进行分析,能够对例如目标的轮廓、道路上的车道的区划线(白线等)进行提取。
检测单元42为光学雷达(Light Detection and Ranging,LIDAR),对车辆1的周围的目标进行检测或者对与目标的距离进行测距。在本实施方式的情况下,设置有五个检测单元42,在车辆1的前部的各角部各设置有一个,在后部中央设置有一个,并且在后部各侧方各设置有一个。检测单元43为毫米波雷达(以下有时表述为雷达43),对车辆1的周围的目标进行检测或者对与目标的距离进行测距。在本实施方式的情况下,设置有五个雷达43,在车辆1的前部中央设置有一个,在前部各角部各设置有一个,并且在后部各角部各设置有一个。
ECU22进行一方的摄像机41、各检测单元42的控制以及检测结果的信息处理。ECU23进行另一方的摄像机41、各雷达43的控制以及检测结果的信息处理。通过具备两组对车辆的周围状况进行检测的装置,能够提高检测结果的可靠性,另外,通过具备摄像机、雷达等不同种类的检测单元,能够多方面地对车辆的周边环境进行分析。
ECU24进行陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。能够根据陀螺仪传感器5的检测结果、车轮速度等判定车辆1的前进道路。GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息、气象信息的服务器进行无线通信,获取这些信息。ECU24能够访问在存储设备中构建的地图信息的数据库24a,ECU24进行从当前地到目的地的路径探索等。另外,也可以在数据库24a构建上述交通信息、气象信息等的数据库。
ECU25具备车与车之间的通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信,并进行车辆间的信息交换。通信装置25a具有各种通信功能,例如,专用短程通信(DSRC:专用短程通信(Dedicated Short Range Communication))功能或万维网通信功能。通信装置25a也可以构成为包括发送接收天线的TCU(远程通信单元,TelematicsCommunication Unit)。
ECU26对动力装置6进行控制。动力装置6是输出使得车辆1的驱动轮旋转的驱动力的机构,例如包括发动机与变速器。ECU26例如与由设置在油门踏板7A上的操作检测传感器7a检测到的驾驶员的驾驶操作(油门操作或者加速操作)相对应地对发动机的输出进行控制,或者基于车速传感器7c所检测到的车速等信息而切换变速器的变速挡。在车辆1的驾驶状态为自动驾驶的情况下,ECU26与来自ECU20的指示相对应地对动力装置6进行自动控制,并控制车辆1的加速减速。
ECU27对包含方向指示器8(闪光灯,winker)的照明器件(头灯、尾灯等)进行控制。在图2的例子的情况下,方向指示器8设置于车辆1的前部、车门后视镜以及后部。
ECU28进行输入输出装置9的控制。输入输出装置9进行相对于驾驶员的信息的输出和来自驾驶员的信息的输入的接受。语音输出装置91通过语音对驾驶员报告信息。显示装置92通过图像的显示对驾驶员报告信息。显示装置92例如配置在驾驶座的正面并构成仪表盘等。此外,在此举例示出了语音和显示,但是也可以通过振动、光来报告信息。另外,可以组合语音、显示、振动或者光中的多个来报告信息。进一步地,可以根据应报告的信息的等级(例如紧急度)改变组合、或者改变报告方式。另外,显示装置92也可以包括导航装置。
输入装置93是配置在驾驶员能够操作的位置而对车辆1进行指示的开关组,但也可以包括麦克风等语音输入装置。
ECU29对制动装置10、驻车制动器(未图示)进行控制。制动装置10例如为盘式制动装置,设置于车辆1的各车轮,通过对车轮的旋转施加阻力而使车辆1减速或者停止。ECU29例如与由设置在制动踏板7B上的操作检测传感器7b检测到的驾驶员的驾驶操作(制动操作)相对应地对制动装置10的工作进行控制。在车辆1的驾驶状态为自动驾驶的情况下,ECU29与来自ECU20的指示相对应地对制动装置10进行自动控制,并控制车辆1的减速以及停止。制动装置10、驻车制动器还能够为了维持车辆1的停止状态而进行工作。另外,在动力装置6的变速器具备驻车锁止机构的情况下,还能够为了维持车辆1的停止状态而使其工作。
对ECU20所执行的与车辆1的自动驾驶有关的控制进行说明。当由驾驶员指示了目的地和自动驾驶时,ECU20按照由ECU24探索到的引导路线,向目的地自动控制车辆1的行驶。在自动控制时,ECU20从ECU22以及ECU23获取与车辆1的周围状况相关的信息(外界信息)并进行识别,并基于所获取的信息以及识别结果而对ECU21、ECU26以及ECU29进行指示,从而对车辆1的转向、加速减速进行控制。
图3是表示控制单元2的功能模块的图。控制部200与图2的控制单元2对应,包括外界识别部201、自身位置识别部202、车内识别部203、行动计划部204、驱动控制部205以及设备控制部206。各模块通过图2所示的一个ECU或者多个ECU实现。
外界识别部201基于来自外界识别用摄像机207以及外界识别用传感器208的信号,识别车辆1的外界信息。在此,外界识别用摄像机207例如是图2的摄像机41,外界识别用传感器208例如是图2的检测单元42、43。外界识别部201基于来自外界识别用摄像机207以及外界识别用传感器208的信号,识别例如交叉路口、道口、隧道等的场景、路肩等的自由空间、其他车辆的行动(速度、行进方向等)。自身位置识别部202基于来自GPS传感器211的信号来识别车辆1的当前位置。在此,GPS传感器211例如对应于图2的GPS传感器24b。
车内识别部203基于来自车内识别用摄像机209及车内识别用传感器210的信号,识别车辆1的搭乘者,另外,识别搭乘者的状态。车内识别用摄像机209例如是设置在车辆1的车内的显示装置92上的近红外摄像机,例如检测搭乘者的视线的方向。另外,车内识别用传感器210例如是检测搭乘者的生物体信号的传感器。车内识别部203基于这些信号,识别搭乘者的瞌睡状态、驾驶以外的作业中的状态等。
行动计划部204基于外界识别部201、自身位置识别部202的识别结果来计划最佳路径、回避风险路径等、车辆1的行动。行动计划部204例如进行基于交叉路口、道口等的开始点、终点的进入判定、基于其他车辆的行动的预测结果的行动计划。驱动控制部205基于行动计划部204的行动计划,对驱动力输出装置212、转向装置213、制动装置214进行控制。在此,驱动力输出装置212例如与图2的动力装置6对应,转向装置213与图2的电动动力转向装置3对应,制动装置214与制动装置10对应。
设备控制部206对与控制部200连接的设备进行控制。例如,设备控制部206控制扬声器215,使其输出警告、用于导航的消息等规定的语音消息。另外,例如,设备控制部206控制显示装置216,使其显示规定的接口画面。显示装置216例如对应于显示装置92。另外,例如,设备控制部206控制导航装置217,获取导航装置217中的设定信息。
控制部200也可以适当包括图3所示以外的功能模块,例如,也可以包括最佳路径计算部,该最佳路径计算部基于经由通信装置24c获取到的地图信息来计算到目的地为止的最佳路径。另外,控制部200也可以从图3所示的摄像机、传感器以外获取信息,例如,也可以经由通信装置25a获取其他车辆的信息。另外,控制部200不仅接收来自GPS传感器211的检测信号,还接收来自设置于车辆1的各种传感器的检测信号。例如,控制部200经由构成于车门部的ECU接收设置于车辆1的门部的门的开闭传感器、门锁的机构传感器的检测信号。由此,控制部200能够检测门的锁定解除、门的开闭动作。
图4是表示服务器101的模块构成的图。控制部301是包括诸如CPU、GPU,ROM、RAM等的存储器的控制器,并且综合地控制服务器101。服务器101可以是执行本发明的计算机。CPU例如通过将存储于ROM的控制程序加载到RAM上执行,来实现本实施方式的动作。显示部302例如是显示器,显示各种用户接口画面。操作部303例如是键盘或指示设备,并且接受用户操作。通信接口(I/F)304是用于实现与网络107的通信的接口。此外,通信I/F304包括用于实现与控制站108的通信的接口。
控制部301包括车辆信息分析部306、拍摄器控制部307、拍摄器信息分析部308和拍摄数据分析部309。车辆信息分析部306从车辆102获取车辆信息、例如GPS位置信息、速度信息并分析其行动。拍摄器控制部307控制多个拍摄器103各自的行动。即,在本实施方式中,服务器101作为拍摄器103的发送机发挥功能。关于拍摄器103的行动将在后面叙述。另外,拍摄器控制部307不仅进行拍摄器103的行动,还进行搭载于拍摄器103的摄像机的远程操作。摄像机的远程操作例如是摄像机的角度、变焦的变更操作。拍摄器信息分析部308获取与拍摄器103有关的信息,并且分析其行动。拍摄器信息分析部308,例如从搭载在拍摄器103上的传感器获取信息作为拍摄器信息。拍摄数据分析部309获取拍摄器103的摄像机拍摄到的拍摄数据并进行图像分析。图像分析例如是静态图像或动态图像的分析,通过GPU进行物体的识别。追踪路径生成部310基于地图信息311、属性信息312、环境信息313,生成用于追踪车辆102而拍摄车辆102的追踪路径。
存储部305存储本实施方式中使用的各种程序、数据。地图信息311是与道路网、道路相关的设施等的信息,例如也可以使用在导航功能等中使用的地图数据库。属性信息312是与道路相关的属性信息,例如是路面状态(沥青铺砌、未铺砌等)、道路宽度、弯道曲率、坡度的信息。属性信息312例如也可以包含来自设置于通信机105的传感器的检测信息。环境信息313是与环境有关的信息,例如,设施信息(建筑物高度、隧道长度等)、植树信息、气象信息(基于气温、湿度、天气、风速、浓雾、降雨、降雪等的视野信息等)。用户信息314与车辆102的驾驶员关联,包含由拍摄系统100拍摄到的拍摄数据315、在该拍摄时获取的车辆信息316。地图信息311、属性信息312、环境信息313例如可以通过外部的数据库服务器获取,也可以通过无人机的测量来定期地更新。此外,控制部301可以将存储在存储部305中的用户信息314用于学习。例如,也可以学习车辆信息316的各参数的倾向。
图5是表示拍摄器103的模块构成的图。控制部401包括CPU,ROM、RAM等存储器,是综合地控制拍摄器103的飞行控制器。
通信部402是能够进行无人机控制用的无线通信的接口。摄像机405是用于拍摄外界的摄像机,在本实施方式中,主要用于拍摄车辆102的行驶场景。机构控制部403通过控制伺服马达404,能够调整摄像机405的角度、变焦。此外,控制单元401获取由摄像机405拍摄的拍摄数据,并且经由通信单元402发送至服务器101。此外,在图5中,仅示出了一个摄像机405,但也可以设置多个摄像机405。
存储部406存储用于控制拍摄器103的各种程序、数据。传感器组407包括设置在拍摄器103的各个部中的传感器,并且包括例如用于姿势控制的陀螺仪传感器、加速度传感器;用于检测拍摄器103的高度的气压传感器、超声波传感器;用于检测方位的磁方位传感器;用于检测位置信息的GPS传感器。另外,例如,设置有用于避开拍摄器103周边的障碍物的超声波传感器。
螺旋桨410是用于使拍摄器103产生升力的螺旋桨,由马达409驱动。当从电池411向驱动控制部408供给电力时,驱动控制部408控制马达409使螺旋桨410动作,使拍摄器103产生升力。
图6中的(a)是用于说明本实施方式的动作的图。在图6中的(a)中,位置502、503、504、505与图1的车辆102的各位置对应,表示以上述位置的顺序在车道501上移动。图6中的(a)所示的车道501例如是平缓的斜坡连续的丘陵地带,这一带是允许车辆的行驶场景的追踪拍摄的服务提供区域。车辆102的驾驶员能够在该服务提供区域内享受从服务器101提供的拍摄服务。图6中的(a)示出了车辆102进入服务提供区域内的拍摄开始地点508附近,从拍摄结束地点512附近出来。
待机场所506是拍摄器103的待机场所,当通过来自服务器101的追踪/拍摄控制的开始而启动拍摄器103时,在阶段507中,拍摄器103移动到拍摄开始地点508。然后,在阶段509中,拍摄器103一边与从位置502行驶到位置503的车辆102并行,一边移动至定点拍摄地点510。
定点拍摄地点510是用于通过拍摄器103为静止状态下的摄像机405的操作来拍摄车辆102的行驶场景的地点。定点拍摄例如在图6中的(a)所示那样的弯道的内侧地点进行,通过在扇形的箭头的范围内变更摄像机405的朝向来进行车辆102的行驶场景的拍摄。
随着车辆102通过位置503,进入位置504、505,在阶段511中,拍摄器103一边与在位置503~504~505中行驶的车辆102并行,一边移动到拍摄结束地点512。拍摄器103基本上沿着车道501移动,但由于拍摄位置的变更等,相对于车辆102在上下、左右、前后方向上改变位置,或者由于地形状况而有迂回的情况,因此,拍摄器103的追踪路径与车辆102的行驶路径不一定一致。
当到达拍摄结束地点512时,在阶段513中,拍摄器103移动到待机场所514。并且,拍摄器103通过来自服务器101的追踪/拍摄控制的结束而停止。
在图6中的(a)所示的服务提供区域中,在车道501的附近设置有退避场所516,在由于拍摄器103的摄像机405的故障等而难以继续进行追踪/拍摄控制且向待机场所506、514的返回因天气等而较为困难的情况下,能够通过阶段515进行紧急的退避。
图6中的(b)、(c)是表示拍摄器103的作为基础的追踪位置的图。在本实施方式中,拍摄器103位于从车辆102的后方离开距离521(例如5m)的位置,且将从车辆102的相邻车道向侧方离开了距离520(例如5m)的位置作为水平方向的基准位置。另外,将距地面的距离522(例如10m)的高度作为垂直方向的基准位置。基本上,拍摄器103以维持相对于车辆102的该位置的方式进行追踪,但为了进行拍摄条件的变更(拍摄位置的变更等)、回避物的回避、迂回,能够进行如图7中的(a)~(c)那样的针对车辆102的行动(回转动作)。在本实施方式中,如图6中的(b)所示,以拍摄器103在比车道靠外侧的区域进行追踪为基准进行说明,但也可以以其在车道内的区域进行追踪为基准进行说明。
图7中的(a)~(c)是用于说明拍摄器103的行动的图。如图7中的(a)所示,拍摄器103能够相对于车辆102在上下方向上移动。另外,如图7中的(b)所示,拍摄器103能够相对于车辆102在水平方向上移动。另外,如图7中的(c)所示,能够在车辆102的车宽方向上移动。另外,也能够组合图7中的(a)~(c)所示的各动作进行动作。
图8是表示本实施方式中的车辆102、服务器101、拍摄器103间的整体顺序的图。首先,车辆102的驾驶员启动从服务器101预先提供(下载)的应用,设定想要行驶的路径。然后,在S101中,从车辆102向服务器101发送该路径信息。
在S102中,服务器101在从车辆102接收到路径信息时,基于该路径信息,计划基于拍摄器103的追踪路径。从车辆102发送的路径信息成为车辆102的拍摄请求的一个例子。在此,追踪路径例如是用于以维持图6中的(b)以及(c)的基准位置的方式追踪车辆102的飞行路径。另外,在本实施方式中,作为车辆102的拍摄请求的一个例子,对从车辆102接收在后述的图9中的(a)的设定画面600中设定的设定内容的构成进行说明,但不限于这样的构成。例如,构成为在用户信息314中存储与以前进行的请求对应的设定画面600的设定内容。然后,控制部301基于用户信息314(例如拍摄开始希望地点以及拍摄结束希望地点),预先学习能够判断为车辆102的驾驶员要求拍摄的准确度高的区域(用户需求)。并且,也可以将车辆102接近该学习到的区域的附近作为车辆102的拍摄请求。
此外,在S101以及S102的时间点,车辆102存在于服务器101的服务提供区域外。在S103中,服务器101获取车辆102的位置信息等车辆信息,当识别到接近了服务提供区域时,在S104中,服务器101开始追踪/拍摄控制。于是,在S106中,拍摄器103从待机场所506启动(起飞)。另外,服务器101开始追踪/拍摄控制,同时在S105中,向车辆102通知开始追踪/拍摄控制的意思。
在启动后,在S107中,拍摄器103一边并行一边拍摄车辆102的行驶场景,并将该拍摄数据发送到服务器101。之后,当摄像机103到达拍摄结束地点512时,在S108中,服务器101结束追踪/拍摄控制。于是,在S110中,拍摄器103被引导至待机场所514,在降落之后停止。另外,服务器101结束追踪/拍摄控制,同时在S109中,向车辆102通知结束追踪/拍摄控制的意思。
在以上的拍摄器103的拍摄结束后,在S111中,服务器101将拍摄数据编辑成规定的形式,将编辑后的拍摄数据发送给车辆102。或者,其发送目的地也可以不是车辆102,而是车辆102的驾驶员所指定的发送目的地(PC等)。或者,也可以在服务器101中保持编辑后的拍摄数据,以车辆102的驾驶员能够适当下载的方式发送URL等信息。
图9中的(a)以及(b)是表示在S101中车辆102的驾驶员通过从服务器101提供的应用进行路径设定的设定画面的一个例子的图。设定画面600例如显示在车辆102的显示装置216上、车辆102的驾驶员的便携终端的画面上或者移动通信设备111的画面上。车辆102的驾驶员通过项目601来设定希望进行服务器101的拍摄服务的日期。另外,车辆102的驾驶员通过项目602输入拍摄开始希望地点,通过项目603输入拍摄结束希望地点。例如,也可以向项目602输入住所的一部分。
项目604是用于实现设定拍摄位置的变更频度的滑动条。越向右滑动,拍摄位置的变更越多,越向左滑动,拍摄位置的变更越少。此外,在使其向最左滑动的情况下,基本上成为图6中的(b)以及(c)所示那样的基于基准的追踪路径的拍摄位置。当按下确定(OK)按钮605时,确定设定画面600的内容,并将该设定内容发送到服务器101。当按下取消(CANCEL)按钮606时,设置内容被清除。
图10是表示由服务器101执行的追踪路径计划的处理的流程图。例如,通过控制部301的CPU将存储在ROM中的程序加载到RAM中并执行该程序来实现图10的处理。
在S201中,控制部301获取路径信息。在此,路径信息是在图9中的(a)的设定画面600中设定的设定内容。在S202中,控制部301判定该设定内容中包含的从拍摄开始希望地点到拍摄结束希望地点的路径是否包含服务器101的服务提供可能区域(可追踪区域)。在此,在判定为包含可追踪区域的情况下,进入S203,在判定为不包含可追踪区域的情况下,进入S209。在S209中,控制部301向车辆102通知不能拍摄的意思,之后,结束图10的处理。当进行S209的通知时,例如,在车辆102的显示装置216上显示不能拍摄的意思的消息。
在S203中,控制部301基于在S201中获取的路径信息,分配拍摄器103。例如,如果从拍摄开始希望地点到拍摄结束希望地点的路径连续地包含在服务提供区域中,则一个拍摄器103能够追踪车辆102进行拍摄,因此分配一个拍摄器103。另外,也存在在从拍摄开始希望地点到拍摄结束希望地点的路径内存在不是服务提供区域的部分的情况。例如,存在长距离的隧道、担心拍摄器103的落下而禁止飞行的区域(堤坝附近等)。在这样的情况下,将从拍摄开始希望地点到拍摄结束希望地点的路径分为禁止区域以外的多个区块,分配多个拍摄器103。
在S204中,控制部301获取环境信息、车道501的属性信息。例如,控制部301基于日期信息,从记录部305获取环境信息313,基于从拍摄开始希望地点到拍摄结束希望地点的路径,从存储部305获取属性信息312。在此获取的环境信息例如是设施信息(建筑物高度、隧道长度等)、植树信息、气象信息(基于温度、湿度、天气、风速、浓雾、降雨、降雪等的视野信息等)。另外,所获取的属性信息例如是路面状态(沥青铺砌、未铺砌等)、道路宽度、弯道曲率、坡度的信息。
在S205中,控制部301基于在S201中获取的路径信息来判定是否能够进行追踪拍摄。在此,控制部301也可以基于在S204中获取的环境信息进行判定。例如,若风速、降雨量、降雪量、浓雾等的视野信息、每个季节的规定的时间段满足条件(例如风速5m/s以下),则判定为能够拍摄。另外,也可以基于施工等事件信息进行判定。在S205中判定为能够拍摄的情况下,进入S206,在判定为不能拍摄的情况下,进入S209。
在S206中,控制部301基于在S204中获取的环境信息、属性信息来计划拍摄器103的追踪路线。首先,控制部301基于在S201中获取的路径信息以及存储部305的地图信息311,设定基准的追踪路径。基准的追踪路径是如图6中的(b)以及(c)所示那样的维持相对于车辆102的相对位置那样的飞行路径。然后,控制部301基于在S204中获取的环境信息以及属性信息来校正基准追踪路径。例如,在被植入基准的追踪路径上的情况下,变更为图6中的(c)中规定的基准高度以上的高度。用于避开基准的追踪路径上的障碍物的校正基本上以提高高度的方式进行。
进一步的,控制部301基于在S201中获取的路径信息中包含的项目604的设定内容“拍摄位置的变化”,对基准的追踪路径进行校正。例如,在项目604中滑动到最左的情况下,将在基准的追踪路径上进行上述校正后的追踪路径决定为实际进行的追踪路径。另一方面,在项目604中向右滑动,以与该滑动位置对应的变更次数变更拍摄位置,由此进一步进行追踪路径的校正。
例如,在与滑动位置对应的变更次数为三次的情况下,进行三次拍摄器103的摄像机405的角度的变更,从而进行追踪路径的校正。追踪路径的校正以使拍摄器103的位置适当进行图7中的(a)、(b)、(c)所示那样的回转动作的方式进行。例如,也可以使拍摄器103在基准的追踪路径上随机的位置夹着车辆102向相反车道方向水平移动,也可以从车辆102的前方进行拍摄。另外,也可以使拍摄器103的高度上升到最大限度。通过以随机的顺序进行这些校正方法来进行追踪路径的校正,从而能够对车辆102的驾驶员提供变化丰富的拍摄图像。另外,也可以使用控制部301作为用户信息314而存储的拍摄数据315的学习结果。例如,也可以在本拍摄服务结束后,获取与来自车辆102的驾驶员的拍摄数据相关的问卷调查等的信息,关于拍摄数据,例如针对拍摄角度等学习判断为优良的点、判断为应该改善的点。
在S207中,控制部301向车辆102通知能够拍摄的意思。在S207中,控制部301生成用于显示图9中的(b)的设定画面610的画面数据并发送到车辆102。画面数据610的拍摄开始地点611对应于图6中的(a)的位置502,拍摄结束地点612对应于图6中的(a)的位置505。另外,虚线所示的路径613与图6中的(a)的车道501的位置502~505的移动路径对应。在允许设定画面610的内容的情况下,车辆102的驾驶员按下确定按钮614,在不执行设定画面610的内容的拍摄服务的情况下,按下取消按钮615。当按下取消按钮615时,例如,可以返回到设置画面600。当按下确定按钮614和取消按钮615中的任一个时,该信息被发送到服务器101。在S208中,控制部301接收确定按钮614和取消按钮615中的任一个按钮的按下信息。在S208之后,结束图10的处理,但在S208中接收到确定按钮614的按下信息的情况下,进行图11的处理。
图11是表示在图10的处理之后由服务器101执行的追踪/拍摄控制的处理的流程图。例如,通过控制部301的CPU将存储在ROM中的程序加载到RAM中并执行该程序来实现图10的处理。
在S301中,控制部301从车辆102获取GPS位置信息、速度信息等车辆信息,监视车辆102的位置。在S302中,控制部301判定车辆102是否正在接近拍摄开始地点508。在此的判定例如在判定为车辆102的位置位于距拍摄开始地点508规定时间份的距离的情况下,判定为正在接近。在此,规定时间份例如基于将拍摄器103从待机场所506引导至拍摄开始地点508为止的时间来决定。在S302中判定为未接近的情况下,反复进行从S301起的处理,在判定为正在接近的情况下,进入S303。
在S303中,控制部301启动位于待机场所506的拍摄器103,并且在S304中将拍摄器103移动到拍摄开始地点508。当拍摄器103到达拍摄开始地点508时,驱动摄像机405,使摄像机405在拍摄了车道501的位置502附近的状态下待机。此时,由摄像机405拍摄的拍摄数据实时地发送到服务器101。
在S305中,控制部301判定车辆102是否到达了拍摄开始地点508。此处的判定例如基于车辆102的GPS位置信息进行判定。在判定为车辆102到达了拍摄开始地点508的情况下,进入S306,在判定为车辆102未到达拍摄开始地点508的情况下,重复S305的处理。
在S306中,控制部301在从拍摄器103发送的拍摄数据中识别出车辆102时,在S307中,开始基于拍摄器103的追踪/拍摄控制。当开始追踪/拍摄控制时,控制部301控制拍摄器103,使其沿着在图10的S206中计划的追踪路径移动。
图12是表示由服务器101执行的追踪/拍摄控制的处理的流程图。此外,由摄像机405拍摄到的拍摄数据和拍摄器信息从拍摄器103实时地发送到服务器101。
在S401中,控制部301分析从拍摄器103发送的拍摄数据,并且在S402中分析从拍摄器103发送的拍摄器信息。在此,拍摄器信息是来自搭载于拍摄器103的各种传感器的信息,例如能够检测姿势控制信息、高度信息、位置信息、障碍物检测信息。
在S401和S402之后,在S403中,控制部301判定是否能够继续追踪拍摄。例如,在拍摄数据所表示的拍摄图像基于空间亮度分布不满足规定的画质的情况下,控制部301判定为不能够继续追踪拍摄。通常认为,在拍摄开始地点508,摄像机405不会成为视野不良,但在进行追踪拍摄时,由于天气恶化等,拍摄数据的画质可能会降低。在这种情况下,在S403中判定为不能继续追踪拍摄。另外,例如,在基于拍摄器信息的分析结果检测出拍摄器103的故障的情况下,控制部301在S403中判定为不能继续追踪拍摄。另外,例如,在基于拍摄数据的分析结果,车辆102从车道501脱离的情况下,控制部301在S403中判定为不能继续追踪拍摄。在S403中判定为不能继续追踪拍摄的情况下,进入S411,控制部301将拍摄器103引导至退避区域516。控制部301在向退避区域516的引导后,停止拍摄器103,之后,结束图11和图12的处理。此时,控制部301也可以向车辆102通知中止追踪拍摄的意思。
在S403中判定为拍摄数据所表示的拍摄图像满足条件的情况下,进入S404,控制部301基于拍摄数据的分析结果以及障碍物检测信息,判定是否检测到回避对象物。回避对象物是仅通过图10的S204中获取的环境信息无法识别的追踪路径上的障碍物。在S404中判定为检测到回避对象物的情况下,进入S412,进行图13的回避处理。另一方面,在S404中判定为未检测到回避对象物的情况下,进入S405。
图13是表示S412的回避控制的处理的流程图。在S501中,控制部301基于拍摄数据的分析结果以及障碍物检测信息,确定检测出的回避对象物的位置。
在S502中,控制部301基于在S501中确定的回避对象物的位置,决定拍摄器103的回避方向。例如,在S501中所确定的回避对象物的位置为追踪路径上的前方、换言之为车辆102的前方侧方的情况下,控制部301以使拍摄器103的高度上升的方式决定回避方向。另外,在S501中所确定的回避对象物的位置为追踪路径上的上方的情况下,控制部301以使拍摄器103移动到车辆102的后方且车宽内的空间内的方式决定回避方向。在S503中,控制部301向在S502中决定的回避方向引导拍摄器103,对回避对象物进行回避。此时,拍摄器103是为了回避动作而从追踪路径脱离的状态。
在S504中,控制部301基于拍摄数据的分析结果以及障碍物检测信息,判定是否检测到回避对象物。S504的处理与S404的处理相同。在此,在判定为检测到回避对象物的情况下,反复进行从S501起的处理。在判定为未检测到回避对象物的情况下,在S505中,控制部301使拍摄器103回归到追踪路径。在S505之后,进入图12的S405。
再次,参照图12。在S405中,控制部301判定拍摄器103是否正在接近不可拍摄区域。在此,不可拍摄区域是指不能进行追踪拍摄的区域,例如堤坝等担心拍摄器103落下的区域、隧道。在判定为正在接近不可拍摄区域的情况下,进入S406,进行图14的迂回控制。另一方面,在判定为未接近不可拍摄区域的情况下,进入S407,控制部301判定拍摄器103是否到达拍摄结束地点512。在判定为拍摄器103已到达拍摄结束地点512的情况下,进入S408,服务器101结束追踪/拍摄控制。然后,控制部301将拍摄器103引导至退避场所514,引导后,停止拍摄器103,结束图12和图11的处理。
在S407中判定为未到达拍摄结束地点512的情况下,在S409中,控制部301判定是否变更拍摄模式。在此的判定是基于拍摄器103是否到达进行定点拍摄的地点而进行判定,例如在判定为拍摄器103到达定点拍摄地点510的情况下,进入S410。此外,定点拍摄地点510处的定点拍摄也在S206中作为追踪路径被计划。在S410中,控制部301使拍摄器103的位置静止,通过控制摄像机405的朝向来进行车辆102的行驶场景的拍摄。然后,重复S401及S402的处理。在S409中判定为不变更拍摄模式的情况下,重复S401及S402的处理。
此外,在为进行定点拍摄而在S410中变更了拍摄模式后的S409中,在车辆102的位置行驶到了规定的位置的情况下、即车辆102的位置处于定点拍摄的范围外的情况下,判定为变更拍摄模式。在这种情况下,在S410中,控制部301在使拍摄器103与车辆102并行的同时进行追踪拍摄。
图14是表示S406的迂回控制的处理的流程图。在S601中,控制部301中断追踪/拍摄控制,并且在S602中向车辆102指示拍摄动作。在S602中,控制部301例如指示使用车内识别用摄像机209对车内进行拍摄。即,通过S602的处理,例如在车辆102进入隧道、无法进行基于拍摄器103的追随拍摄的情况下,暂时中断追踪拍摄,指示在车辆102中进行车内拍摄。通过这样的构成,能够防止拍摄数据的间断。另外,这样的对车辆102的拍摄动作指示的可否也可以在图9中的(a)的设定画面600上进行设定。在该情况下,根据图10的S201中获取的设定内容,在拍摄动作指示设定为可的情况下,执行S602的处理。另一方面,在拍摄动作指示设定为否的情况下,跳过S602的处理。
在S603中,控制部301判定是否存在拍摄器103的交接。在此的判定例如也可以基于图10的S203中的拍摄器103的分配结果来进行判定。即,在现在正在进行追踪拍摄的拍摄器103到达不可拍摄区域的开始点,而从不可拍摄区域的终点被分配了另外的拍摄器103的情况下,判定为存在向该其他拍摄器103的交接。在这种情况下,进入S605,控制部301使到现在为止进行了追踪拍摄的拍摄器103退避到退避场所516。然后,控制部301启动其他拍摄器103,引导至不可拍摄区域的终点位置并使其待机。之后,进入S606。另一方面,在S603中判定为不存在拍摄器103的交接的情况下,在S604中,控制部301使拍摄器103沿着迂回路径移动到不可拍摄区域的终点而待机。之后,进入S606。
在S606中,控制部301在基于来自车辆102的GPS位置信息判定为车辆102到达了不可拍摄区域的终点位置的情况下,再次开始追踪/拍摄控制。在S607中,控制部301对车辆102指示停止拍摄动作,并且向服务器101发送拍摄数据。在S608中,控制部301从车辆102获取拍摄数据。在S608之后,结束图14的处理,进入图12的S409。
再次,参照图11。在图11的S308中,控制部301判定拍摄器103是否到达拍摄结束地点512。在此,在判定为拍摄器103未到达拍摄结束地点512的情况下,重复S307的处理。另一方面,在判定为拍摄器103已到达拍摄结束点512的情况下,进入S309。
在S309中,控制部301结束追踪/拍摄控制,在S310中,将拍摄器103引导至待机场所514。然后,在S311中,控制部301停止拍摄器103。之后,结束图11的处理。
如上所述,根据本实施方式,能够容易地执行本车辆的行驶场景的拍摄。
<实施方式的总结>
本实施方式中的拍摄系统是包括服务器(101)、能够与所述服务器通信的拍摄器(103)、以及车辆(102)或能够与所述车辆一起移动的移动通信设备的拍摄系统,所述服务器具备:生成单元(301),其在从所述车辆或所述移动通信设备接受了所述车辆的拍摄请求的情况下,基于所述车辆的行驶路径,生成所述拍摄器的追踪路径;移动控制单元(307),其对所述拍摄器进行控制,以使所述拍摄器在通过所述生成单元生成的所述追踪路径上追踪所述车辆;以及拍摄控制单元(307),其对所述拍摄器进行控制,以使所述拍摄器在所述移动控制单元对所述拍摄器进行控制的期间对所述车辆进行拍摄。
通过这样的构成,能够容易地执行本车辆的行驶场景的拍摄。
另外,拍摄系统还具备获取所述行驶路径的路径信息(310)和所述行驶路径的属性信息(311)的第一获取单元,所述生成单元基于由第一获取单元获取的所述路径信息和所述属性信息,生成所述追踪路径,所述属性信息包括关于所述行驶路径的路面状态、道路宽度、弯道曲率、坡度的信息。另外,所述路径信息包括开始所述拍摄器的拍摄的地点和结束所述拍摄器的拍摄的地点。
通过这样的构成,例如能够基于拍摄开始地点、拍摄结束地点、道路的信息,生成拍摄器的追踪路径。
另外,拍摄系统还具备获取环境信息(312)的第二获取单元,所述生成单元进一步基于由所述第二获取单元获取的所述环境信息,生成所述追踪路径,所述环境信息包含关于设施信息、气象信息的信息。
通过这样的构成,例如能够基于沿道路的设施的高度,生成拍摄器的追踪路径。
另外,所述生成单元以至少一部分位于所述行驶路径上的路上的外侧的方式生成所述追踪路径。
通过这样的构成,能够生成行驶路径的外侧、内侧作为追踪路径。
另外,在由所述生成单元生成的所述追踪路径中,所述拍摄器能够一边与所述车辆并行一边拍摄所述车辆(509、511)。另外,在由所述生成单元生成的所述追踪路径中,所述拍摄器能够在静止的状态下拍摄所述车辆(510)。另外,在由所述生成单元生成的所述追踪路径中,所述拍摄器能够在所述车辆的周边变更相对于所述车辆的相对位置(图7)。
通过这样的构成,能够使拍摄器在与车辆并行或静止的状态下或者在车辆的周边改变位置的同时进行拍摄。
另外,所述移动控制单元对多个拍摄器进行控制(S203),以使所述多个拍摄器在由所述生成单元生成的所述追踪路径上追踪所述车辆,并对所述多个拍摄器进行控制,以使多个拍摄器依次拍摄所述车辆。
通过这样的构成,能够通过多个拍摄器进行拍摄。
另外,拍摄系统还具备第一检测单元,所述第一检测单元在通过所述控制单元控制所述拍摄器时,检测所述拍摄器的周围的障碍物(S401、S402),所述移动控制单元对所述拍摄器进行控制,以使所述拍摄器避开所述障碍物(图13)。另外,所述移动控制单元根据所述障碍物的位置使所述拍摄器在规定方向上移动,由此避开所述障碍物,所述规定方向包括提高高度的方向、向所述车辆的后方的空间移动的方向。另外,所述车辆的后方的空间是所述车辆的后方且所述车辆的车宽内的空间。
通过这样的构成,在拍摄器的周边检测出障碍物时,能够进行控制以避开该障碍物。
另外,所述移动控制单元进行控制,以使在所述拍摄器避开所述障碍物之后,所述拍摄器返回所述追踪路径。
通过这样的构成,在避开障碍物后,能够使拍摄器返回到追踪路径。
另外,拍摄系统还具备:第三获取单元,其获取所述车辆的位置;以及第二检测单元,其基于由所述第三获取单元获取的所述车辆的位置,对所述车辆进入不允许所述拍摄器进行拍摄的区域的情况、和从该区域出来的情况中的至少任一方进行检测(S405、S606)。另外,在通过所述第二检测单元检测到所述车辆进入不允许所述拍摄的区域的情况下,所述移动控制单元进行控制以使所述拍摄器进行迂回(S604)。
通过这样的构成,在车辆进入不可拍摄区域的情况下,能够使拍摄器迂回。
另外,拍摄系统还具备指示单元,在通过所述第二检测单元检测到所述车辆进入不允许所述拍摄的区域的情况下,所述指示单元对所述拍摄器指示结束拍摄,在通过所述第二检测单元检测到所述车辆从不允许所述拍摄的区域出来的情况下,所述指示单元对所述拍摄器指示进行拍摄(S601、S606)。
通过这样的构成,在车辆进入不可拍摄区域的期间,能够中断拍摄。
本发明不限于上述的实施方式,能够在发明的主旨的范围内进行各种变形、变更。
Claims (19)
1.一种拍摄系统,包括服务器、能够与所述服务器通信的拍摄器、以及车辆或能够与所述车辆一起移动的移动通信设备,其中,
所述服务器具备:
接受单元,其从所述车辆或所述移动通信设备接受所述车辆的拍摄的请求以及作为该拍摄的开始地点以及结束地点而设定的路径信息;
生成单元,其基于由所述接受单元接受的所述路径信息以及包含道路网的地图信息,生成用于追踪所述车辆而拍摄所述车辆的追踪路径;
校正单元,其基于与道路相关的属性信息和成为拍摄对象的区域的环境信息,校正由所述生成单元生成的追踪路径;
移动控制单元,其对所述拍摄器进行控制,以使所述拍摄器在所述车辆或所述移动通信设备接近所述开始地点的情况下,沿着由所述校正单元校正的追踪路径,相对于所述车辆以规定的条件定位并追踪所述车辆;以及
拍摄控制单元,其对所述拍摄器进行控制,以使所述拍摄器在所述移动控制单元对所述拍摄器进行控制的期间,对所述车辆进行拍摄。
2.根据权利要求1所述的拍摄系统,其中,
所述属性信息包括关于道路的路面状态、道路宽度、弯道曲率、坡度中的任一个的信息。
3.根据权利要求1或2所述的拍摄系统,其中,所述拍摄系统还具备获取所述环境信息的第一获取单元,
所述校正单元基于由所述第一获取单元获取的所述环境信息,校正由所述生成单元生成的追踪路径,
所述环境信息包括关于设施信息、气象信息中的任一个的信息。
4.根据权利要求1或2所述的拍摄系统,其中,所述生成单元以至少一部分位于道路上的外侧的方式生成所述追踪路径。
5.根据权利要求1或2所述的拍摄系统,其中,在由所述校正单元校正的追踪路径中,所述拍摄器能够一边与所述车辆并行一边拍摄所述车辆。
6.根据权利要求1或2所述的拍摄系统,其中,在由所述校正单元校正的所述追踪路径中,所述拍摄器能够在静止的状态下拍摄所述车辆。
7.根据权利要求1或2所述的拍摄系统,其中,在由所述校正单元校正的所述追踪路径中,所述拍摄器能够在所述车辆的周边变更相对于所述车辆的相对位置。
8.根据权利要求1或2所述的拍摄系统,其中,所述移动控制单元对多个拍摄器进行控制,以使所述多个拍摄器在由所述校正单元校正的所述追踪路径上追踪所述车辆,并对所述多个拍摄器进行控制,以使多个拍摄器依次拍摄所述车辆。
9.根据权利要求1或2所述的拍摄系统,其中,所述拍摄系统还具备第一检测单元,所述第一检测单元在通过所述移动控制单元控制所述拍摄器时,检测所述拍摄器的周围的障碍物,
所述移动控制单元对所述拍摄器进行控制,以使所述拍摄器避开所述障碍物。
10.根据权利要求9所述的拍摄系统,其中,所述移动控制单元根据所述障碍物的位置使所述拍摄器在规定方向上移动,由此避开所述障碍物,
所述规定方向包括提高高度的方向、向所述车辆的后方的空间移动的方向中的任一个。
11.根据权利要求10所述的拍摄系统,其中,所述车辆的后方的空间是所述车辆的后方且所述车辆的车宽内的空间。
12.根据权利要求9所述的拍摄系统,其中,所述移动控制单元进行控制,以使在所述拍摄器避开所述障碍物之后,所述拍摄器返回所述追踪路径。
13.根据权利要求1或2所述的拍摄系统,其中,所述拍摄系统还具备:
第二获取单元,其获取所述车辆的位置;以及
第二检测单元,其基于由所述第二获取单元获取的所述车辆的位置,对所述车辆进入不允许所述拍摄器进行拍摄的区域的情况、和从该区域出来的情况中的至少任一方进行检测。
14.根据权利要求13所述的拍摄系统,其中,在通过所述第二检测单元检测到所述车辆进入不允许所述拍摄的区域的情况下,所述移动控制单元进行控制,以使所述拍摄器绕过不允许所述拍摄的区域。
15.根据权利要求13所述的拍摄系统,其中,所述拍摄系统还具备指示单元,在通过所述第二检测单元检测到所述车辆进入不允许所述拍摄的区域的情况下,所述指示单元对所述拍摄器指示结束拍摄,在通过所述第二检测单元检测到所述车辆从不允许所述拍摄的区域出来的情况下,所述指示单元对所述拍摄器指示进行拍摄。
16.一种服务器,其中,
所述服务器具备:
接受单元,其从车辆或能够与所述车辆一起移动的移动通信设备接受所述车辆的拍摄的请求以及作为该拍摄的开始地点以及结束地点而设定的路径信息;
生成单元,其基于由所述接受单元接受的所述路径信息以及包含道路网的地图信息,生成用于追踪所述车辆而拍摄所述车辆的追踪路径;
校正单元,其基于与道路相关的属性信息和成为拍摄对象的区域的环境信息,校正由所述生成单元生成的追踪路径;
移动控制单元,其对拍摄器进行控制,以使所述拍摄器在所述车辆或所述移动通信设备接近所述开始地点的情况下,沿着由所述校正单元校正的追踪路径,相对于所述车辆以规定的条件定位并追踪所述车辆;以及
拍摄控制单元,其对所述拍摄器进行控制,以使所述拍摄器在所述移动控制单元对所述拍摄器进行控制的期间,对所述车辆进行拍摄。
17.一种控制方法,是在包括服务器、能够与所述服务器通信的拍摄器、以及车辆或能够与所述车辆一起移动的移动通信设备的拍摄系统中执行的控制方法,其中,
在所述服务器中,
从所述车辆或所述移动通信设备接受所述车辆的拍摄的请求以及作为该拍摄的开始地点以及结束地点而设定的路径信息;
基于所接受的所述路径信息以及包含道路网的地图信息,生成用于追踪所述车辆而拍摄所述车辆的追踪路径;
基于与道路相关的属性信息和成为拍摄对象的区域的环境信息,校正所生成的追踪路径;
对所述拍摄器进行控制,以使所述拍摄器在所述车辆或所述移动通信设备接近所述开始地点的情况下,沿着所校正的追踪路径,相对于所述车辆以规定的条件定位并追踪所述车辆;以及
对所述拍摄器进行控制,以使所述拍摄器在所述拍摄器被控制的期间,对所述车辆进行拍摄。
18.一种控制方法,是在服务器中执行的控制方法,其中,
从车辆或能够与所述车辆一起移动的移动通信设备接受所述车辆的拍摄的请求以及作为该拍摄的开始地点以及结束地点而设定的路径信息;
基于所接受的所述路径信息以及包含道路网的地图信息,生成用于追踪所述车辆而拍摄所述车辆的追踪路径;
基于与道路相关的属性信息和成为拍摄对象的区域的环境信息,校正所生成的追踪路径;
对拍摄器进行控制,以使所述拍摄器在所述车辆或所述移动通信设备接近所述开始地点的情况下,沿着所校正的追踪路径,相对于所述车辆以规定的条件定位并追踪所述车辆;以及
对所述拍摄器进行控制,以使所述拍摄器在所述拍摄器被控制的期间,对所述车辆进行拍摄。
19.一种计算机可读取的存储介质,其中,所述存储介质存储用于使计算机以下述方式发挥功能的程序,
从车辆或能够与所述车辆一起移动的移动通信设备接受所述车辆的拍摄的请求以及作为该拍摄的开始地点以及结束地点而设定的路径信息;
基于所接受的所述路径信息以及包含道路网的地图信息,生成用于追踪所述车辆而拍摄所述车辆的追踪路径;
基于与道路相关的属性信息和成为拍摄对象的区域的环境信息,校正所生成的追踪路径;
对拍摄器进行控制,以使所述拍摄器在所述车辆或所述移动通信设备接近所述开始地点的情况下,沿着所校正的追踪路径,相对于所述车辆以规定的条件定位并追踪所述车辆;以及
对所述拍摄器进行控制,以使所述拍摄器在所述拍摄器被控制的期间,对所述车辆进行拍摄。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-068002 | 2019-03-29 | ||
JP2019068002A JP6956132B2 (ja) | 2019-03-29 | 2019-03-29 | 撮影システム、サーバ、制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111746789A CN111746789A (zh) | 2020-10-09 |
CN111746789B true CN111746789B (zh) | 2024-04-30 |
Family
ID=72673060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010197870.8A Active CN111746789B (zh) | 2019-03-29 | 2020-03-19 | 拍摄系统、服务器、控制方法以及存储程序的存储介质 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6956132B2 (zh) |
CN (1) | CN111746789B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113347351A (zh) * | 2021-05-19 | 2021-09-03 | 重庆长安汽车股份有限公司 | 风景区沿途摄像方法 |
CN114363575B (zh) * | 2022-01-11 | 2023-04-11 | 河北德冠隆电子科技有限公司 | 一种重点车辆自动追踪快速定位持续监视的系统及方法 |
CN114268728B (zh) * | 2022-02-28 | 2022-07-08 | 杭州速玛科技有限公司 | 一种无人作业车辆协同记录被破坏现场的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105318888A (zh) * | 2015-12-07 | 2016-02-10 | 北京航空航天大学 | 基于无人机感知的无人驾驶车辆路径规划方法 |
KR20160137442A (ko) * | 2015-05-20 | 2016-11-30 | 주식회사 윌러스표준기술연구소 | 드론 및 그 제어 방법 |
CN107343153A (zh) * | 2017-08-31 | 2017-11-10 | 王修晖 | 一种无人设备的拍摄方法、装置及无人机 |
KR20180042601A (ko) * | 2016-10-18 | 2018-04-26 | 한국항공대학교산학협력단 | 항공통합시뮬레이션을 이용한 드론영상촬영 지원시스템 및 방법 |
CN108183770A (zh) * | 2017-12-29 | 2018-06-19 | 南京奇蛙智能科技有限公司 | 一种无人机自动飞行许可管理方法 |
CN109269812A (zh) * | 2017-07-18 | 2019-01-25 | 福特全球技术公司 | 用于车辆的主动格栅百叶窗的基于无人机的诊断系统 |
-
2019
- 2019-03-29 JP JP2019068002A patent/JP6956132B2/ja active Active
-
2020
- 2020-03-19 CN CN202010197870.8A patent/CN111746789B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160137442A (ko) * | 2015-05-20 | 2016-11-30 | 주식회사 윌러스표준기술연구소 | 드론 및 그 제어 방법 |
CN105318888A (zh) * | 2015-12-07 | 2016-02-10 | 北京航空航天大学 | 基于无人机感知的无人驾驶车辆路径规划方法 |
KR20180042601A (ko) * | 2016-10-18 | 2018-04-26 | 한국항공대학교산학협력단 | 항공통합시뮬레이션을 이용한 드론영상촬영 지원시스템 및 방법 |
CN109269812A (zh) * | 2017-07-18 | 2019-01-25 | 福特全球技术公司 | 用于车辆的主动格栅百叶窗的基于无人机的诊断系统 |
CN107343153A (zh) * | 2017-08-31 | 2017-11-10 | 王修晖 | 一种无人设备的拍摄方法、装置及无人机 |
CN108183770A (zh) * | 2017-12-29 | 2018-06-19 | 南京奇蛙智能科技有限公司 | 一种无人机自动飞行许可管理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020166691A (ja) | 2020-10-08 |
JP6956132B2 (ja) | 2021-10-27 |
CN111746789A (zh) | 2020-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111762113B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US11029703B2 (en) | Systems and methods for controlling autonomous vehicles that provide a vehicle service to users | |
CN109760676B (zh) | 显示系统、显示方法及存储介质 | |
CN111762166B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US20190227555A1 (en) | Methods and systems for assisting operation of a road vehicle with an aerial drone | |
CN110371114B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN110239547B (zh) | 车辆控制装置、车辆控制方法以及存储介质 | |
CN109383404B (zh) | 显示系统、显示方法及存储程序的介质 | |
US9747800B2 (en) | Vehicle recognition notification apparatus and vehicle recognition notification system | |
CN108885828B (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
CN111746789B (zh) | 拍摄系统、服务器、控制方法以及存储程序的存储介质 | |
CN111986505B (zh) | 控制装置、上下车设施、控制方法及存储介质 | |
JP7315101B2 (ja) | 障害物情報管理装置、障害物情報管理方法、車両用装置 | |
US11475690B2 (en) | Vehicle control system and vehicle control method | |
CN112550292B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN115917615A (zh) | 停驻车地点管理装置、停驻车地点管理方法、车辆用装置 | |
CN110954126A (zh) | 显示系统、显示方法及存储介质 | |
JP6663343B2 (ja) | 車両制御システム、車両制御方法、および車両制御プログラム | |
JP7110153B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
US20220364874A1 (en) | Method of providing image by vehicle navigation device | |
CN115164910B (zh) | 行驶路径生成方法、装置、车辆、存储介质及芯片 | |
CN112567427B (zh) | 图像处理装置、图像处理方法和程序 | |
WO2023127216A1 (ja) | 車両走行制御装置、車両位置情報取得方法、コンピュータ読み取り可能な記録媒体、及び、車両位置情報取得処理プログラム | |
CN114187761A (zh) | 道路养护作业提示设备、系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |