CN115903763A - 无人移动体操作系统及无人移动体操作方法 - Google Patents

无人移动体操作系统及无人移动体操作方法 Download PDF

Info

Publication number
CN115903763A
CN115903763A CN202111166495.1A CN202111166495A CN115903763A CN 115903763 A CN115903763 A CN 115903763A CN 202111166495 A CN202111166495 A CN 202111166495A CN 115903763 A CN115903763 A CN 115903763A
Authority
CN
China
Prior art keywords
mobile body
unmanned mobile
vehicle
image
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111166495.1A
Other languages
English (en)
Inventor
新谷秀和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to CN202111166495.1A priority Critical patent/CN115903763A/zh
Publication of CN115903763A publication Critical patent/CN115903763A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种无人移动体操作系统及无人移动体操作方法,能够直观地对无人移动体和其所搭载的摄像装置的移动进行操控。无人移动体操作系统包括:通信部,使无人移动体与车辆之间进行无线通信;输入部,由搭载于车辆且供使用者对车辆操作的多个操作件构成,通过使用者对操作件输入的输入信号,对无人移动体进行远程操控;以及车室内拍摄部,将拍摄到的图像向通信部输出;通信部根据所述输入部的所述输入信号,将对应输入信号的机身远程操控信号发送至无人移动体,以对无人移动体进行远程操控,且通信部根据所述车室内拍摄部的所述图像,将对应图像的摄像机远程操控信号发送至无人移动体,以对无人移动体所搭载的摄像装置进行远程操控。

Description

无人移动体操作系统及无人移动体操作方法
技术领域
本发明涉及一种无人移动体操作系统及无人移动体操作方法。
背景技术
近年来,随着科技的进步,机动车行业的发展迅速,越来越迈向智慧城市(smartcity)而发展越来越多智慧城市规划(smart city planning)相关的开发和研究。在现有技术中,无人移动体,例如无人机,已广泛地应用在商业、军事、或个人娱乐等领域,例如,使用无人机从上空拍摄影像或搬运物资,由此能够提供各种服务和娱乐。无人机的一个例子是能够受控、持续和动力运动的无人驾驶设备。因此,无人机的设计可能包括各种尺寸、能力和重量的车辆、飞机、船只、潜艇或航天器。一个典型的无人机包括推进设备,比如发动机、导航系统、一个或多个传感器和可能存在的货物。对于飞机或空中无人机(无人飞行器(unmanned aerial vehicle(UAV)),传感器可提供关于无人机飞越的领域的信息给地面观测器,比如在援救应用中关于迷路的徒步旅行者的视频信息,在科研或安全应用中来自激光和/或生物传感器的关于环境情况的信息,或者在军事应用中关于战场情况的视频、激光、生物和其它传感器的结合,或者在娱乐应用中来自摄像装置所空拍的环境的影像。近年来,对于将无人飞行器应用在个人娱乐等领域的发展的期待不断提高。
举例来说,作为车辆中的娱乐设施,已存在利用搭载在车辆内的车辆用投影系统(例如,平视显示器(Head Up Display,HUD)或者内建在操作区域的触控显示屏幕或者使用专用的UAV遥控器等对无人移动体进行操作的系统。现有技术中,经由本车辆与无人移动体之间的无线通信,本车辆上的操作者(例如驾驶者、乘客)可对无人移动体进行控制,例如控制无人移动体往所推测的移动位置进行移动(例如,飞行),公开于如下专利文献1中。
[现有技术文献]
[专利文献]
[专利文献1]:日本特开2017-21755号公报
发明内容
[发明所要解决的问题]
然而,现有技术中,针对作为车辆中的娱乐设施的无人移动体的操控,例如针对无人飞行器的实际飞行操控时使用需使用者以双手握持的UAV遥控器,现有技术中的UAV遥控器中,将按钮、操控杆、控制杆、滚球、触摸屏、开关、拨盘或旋钮等操作件都设置在遥控器本体的表面,以供使用者用手操作。虽然UAV遥控器能精确的操控无人飞行器,但是无人飞行器的机身的飞行/移动的操控和搭载于无人飞行器上的摄像装置的操控都集中在对UAV遥控器的手指操作上。由于人体的特性,当一个手指移动时,其他手指也通常会轻微地拖动和移动,例如当使小指弯曲时无名指也会轻微地弯曲,因此为了要良好的操作UAV遥控器,需要训练手指的移动,才能使用手指精确地同时执行多个操作动作。
据此,针对无人飞行器的机身的操控和搭载于无人飞行器上的摄像装置的操控,需要一种不将所有操作动作都集中在手指的操作方式,能够充分利用车辆既有的操作系统来操作,并且能够直观地对无人移动体和其所搭载的摄像装置的移动进行操控。
鉴于以上方面,本发明的目的在于提供使用者对无人飞行器进行实际飞行的操控有不同的操控体验,提供一种充分利用车辆既有的操作系统来操作以直观地对无人移动体和其所搭载的摄像装置的移动进行操控。
[解决问题的技术手段]
[1]为了达成所述目的,本发明是一种无人移动体操作系统,用于对无人移动体进行远程操控,所述无人移动体操作系统,包括:通信部,使所述无人移动体与车辆之间进行无线通信;输入部,由搭载于车辆且供使用者对车辆操作的多个操作件构成,通过使用者对所述操作件输入的输入信号,对所述无人移动体进行远程操控;以及车室内拍摄部,将拍摄到的图像向所述通信部输出;所述通信部根据所述输入部的所述输入信号,将对应所述输入信号的机身远程操控信号发送至所述无人移动体,以对所述无人移动体进行远程操控,且所述通信部根据所述车室内拍摄部的所述图像,将对应所述图像的摄像机远程操控信号发送至所述无人移动体,以对所述无人移动体所搭载的摄像装置进行远程操控。
根据本发明,使用者可在座位上作头部和/或身体的倾斜移动,直观地操控摄像装置。从而,带给使用者非常有趣的操控感受。此外,由于使用者能够远程操控无人移动体所搭载的摄像装置,故使用者可以自行操控摄像装置从所期望的位置进行拍摄。
[2]并且,在本发明中,所述摄像装置的远程操控包括所述摄像装置的位置变更操作和所述摄像装置的所拍摄的画面放大或缩小操作,根据所述车室内拍摄部所拍摄的所述图像的即时影像产生所述摄像机远程操控信号,并根据所述摄像机远程操控信号对所述摄像装置进行所述位置变更操作和所述所拍摄的画面放大或缩小操作中的至少一个。
[3]并且,在本发明中,所述摄像机远程操控信号包括上下移动相关信息和左右移动相关信息,所述上下移动相关信息为所述即时影像中拍摄到使用者的中心位置在上下方向上相对于基准位置有产生位移时所产生的信息,所述左右移动相关信息为所述即时影像中拍摄到使用者的所述中心位置在左右方向上相对于所述基准位置有产生位移时所产生的信息,根据所述上下移动相关信息对所述摄像装置进行所述位置变更操作,以使所述摄像装置在上下方向上移动,根据所述左右移动相关信息对所述摄像装置进行所述位置变更操作,以使所述摄像装置在左右方向上移动。
[4]并且,在本发明中,所述摄像机远程操控信号包括前后移动相关信息,所述前后移动相关信息为所述即时影像中拍摄到使用者的所述中心位置在前后方向上相对于所述基准位置有产生位移时所产生的信息,根据所述前后移动相关信息对所述摄像装置进行所述所拍摄的画面放大或缩小操作。
[5]并且,在本发明中,仅在刹车踏板被踩下时才启用将对应所述图像的摄像机远程操控信号发送至所述无人移动体而对所述摄像装置进行远程操控的操作,且所述刹车踏板未被踩下时所述操作无效。
[6]并且,本发明还提出一种无人移动体操作方法,用于对无人移动体进行远程操控,所述无人移动体操作方法,包括:通信步骤,通过通信部使所述无人移动体与车辆之间进行无线通信;操控步骤,通过对搭载于车辆且供使用者对车辆操作的多个操作件输入输入信号,所述输入信号对所述无人移动体进行远程操控;以及拍摄输出步骤,通过车室内拍摄部将拍摄到的图像向所述通信部输出;所述通信部根据所述输入部的所述输入信号,将对应所述输入信号的机身远程操控信号发送至所述无人移动体,以对所述无人移动体进行远程操控,且所述通信部根据所述车室内拍摄部的所述图像,将对应所述图像的摄像机远程操控信号发送至所述无人移动体,以对所述无人移动体所搭载的摄像装置进行远程操控。
根据所述方法,使用者可在座位上作头部和/或身体的倾斜移动,直观地操控摄像装置。从而,带给使用者非常有趣的操控感受。
[发明的效果]
基于上述,本发明的无人移动体操作系统和无人移动体操作方法,与现有技术中对UAV遥控器的仅使用手指的操作型态不同,所有操作动作并非都集中在手指的操作,能够充分利用车辆既有的大量存在的操作系统来操作,并且能够直观地对无人移动体和其所搭载的摄像装置的移动进行操控。此外,通过利用车辆既有的车室内拍摄部对使用者的移动,例如使用者的头部和/或身体的朝向左右方向倾斜、朝向前后方向倾斜、朝向上下方向的位移,进行检测使用者的中心位置的移动量,并且无人移动体操作系统将该移动量作为对摄像装置的操作量,对搭载于无人移动体的摄像装置进行操控。因此,使用者可在座位上作头部和/或身体的倾斜移动,直观地操控摄像装置。从而,带给使用者非常有趣的操控感受。此外,由于使用者能够远程操控无人移动体所搭载的摄像装置,故使用者可以自行操控摄像装置从所期望的位置进行拍摄。
为让本发明的上述特征和优点能更明显易懂,下文特举实施方式,并配合附图作详细说明如下。
附图说明
图1是用来说明车辆系统和本发明的一种实施方式的无人移动体操作系统的结构的示意图。
图2是表示本发明的一种实施方式的无人移动体操作系统的一例的示意图。
图3是用来说明通过图1的无人移动体操作系统中利用车室内拍摄部对无人移动体所搭载的摄像装置进行操控的一例的示意图。
[符号的说明]
1:车辆系统
10:相机
12:雷达装置
14:探测器
16:物体识别装置
20:通信装置
30:HMI
40:车辆传感器
42:车室内相机
50:导航装置
51:GNSS接收机
52:导航HMI
53:路径决定部
54:第一地图信息
60:MPU
61:推荐车道决定部
62:第二地图信息
80:行驶操作件
82:油门踏板
83:油门开度传感器
84:刹车踏板
85:制动传感器
86:方向盘
87:转向传感器
88:把持传感器
90:车载操作件
92:信息娱乐屏幕
100:自动驾驶控制单元
100A:无人移动体操作系统
110:输入部
120:模式切换部
130:操控设定部
200:行驶驱动力输出装置
210:制动装置
220:转向装置
310:控制单元
320:摄像装置
UAV:无人移动体
具体实施方式
以下,基于附图来说明本发明的实施方式。需要说明的是,在以下说明的各实施方式中,对于共同部分标注同一附图标记,省略重复的说明。以下,参照附图,对本发明的实施方式进行说明。在以下说明的实施方式中,当提及个数、量等时,除了有特殊的记载以外,本发明的范围不一定限于该个数、量等。另外,在以下的实施方式中,各构成要素除了有特殊的记载以外,对本发明来说不一定是必须的。另外,以下当存在多个实施方式时,除了有特殊的记载以外,能够适当地组合各实施方式的特征部分从最初就是预先确定的。
图1是用来说明车辆系统和本发明的一种实施方式的无人移动体操作系统的结构的示意图。如图1所示,以下,参照随附附图对本发明的实施方式进行说明。使用此图对车辆系统1的结构进行说明。搭载所述车辆系统1的车辆例如为二轮或三轮、四轮等的汽车,包括将内燃机作为动力源的汽车、或将电动机作为动力源的电动汽车、兼具内燃机及电动机的混合动力汽车等。另外,所述电动汽车例如使用由二次电池、氢燃料电池、金属燃料电池、乙醇燃料电池等电池放电的电力来驱动。在具备电动机的情况下,电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。以下,以四轮汽车作为举例说明车辆系统1的本发明的无人移动体操作系统和方法。
如图1所示,车辆系统1例如具备相机10、雷达装置12、探测器14、物体识别装置16、通信装置20、人机界面(HMI(Human Machine Interface))(亦即HMI 30)、车辆传感器40、车室内相机42、导航装置50、地图定位单元(MPU(Map Positioning Unit))(亦即MPU 60)、行驶操作件80、自动驾驶控制单元100、行驶驱动力输出装置200、制动装置210及转向装置220。这些装置、设备通过控制器区域网路(CAN(Controller Area Network))通信线等多路通信线、串行通信线、无线通信网等而互相连接。需要说明的是,图1所示的结构只是一例,既可以省略结构的一部分,但可以还追加别的结构。
相机10例如是利用了电荷耦合器件(CCD(Charge Coupled Device))、互补金属氧化物半导体器件(CMOS(Complementary Metal Oxide Semiconductor))等固体摄像元件的数码相机。相机10在搭载车辆系统1的车辆(以下称作本车辆)的任意部位安装一个或多个。在对前方进行拍摄的情况下,相机10安装于前风窗玻璃上部、车室内后视镜背面等。相机10例如周期性地反复对本车辆的周边进行拍摄。相机10也可以是立体相机。
雷达装置12向本车辆的周边放射毫米波等电波,并且检测由物体反射的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12在本车辆的任意部位安装有一个或多个。雷达装置12也可以通过调频连续波(FM-CW(Frequency Modulated ContinuousWave))方式来检测物体的位置及速度。
探测器14是激光雷达(LIDAR(Light Detection and Ranging))。探测器14向本车辆的周边照射光,并测定散射光。探测器14基于从发光到受光的时间,来检测到对象为止的距离。照射的光例如是脉冲状的激光。探测器14在本车辆的任意部位安装有一个或多个。
物体识别装置16对由相机10、雷达装置12及探测器14中的一部分或全部检测的检测结果进行传感器融合处理,来识别物体的位置、种类、速度等。物体识别装置16将识别结果向自动驾驶控制单元100输出。另外,物体识别装置16可以根据需要,来将相机10、雷达装置12及探测器14的检测结果直接向自动驾驶控制单元100输出。
本实施方式中,通信装置20例如用于使无人移动体UAV与车辆之间进行无线通信,例如也可用于经由无线基站来与各种服务器装置通信。
HMI 30对本车辆的乘员(例如驾驶者)提示各种信息,并且接受由乘员进行的输入操作。HMI 30包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关、按键等。
车辆传感器40包括检测本车辆的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、以及检测本车辆的朝向的方位传感器等。
车室内相机42例如是利用了CCD、CMOS等固体摄像元件的数码相机。车室内相机42安装于能够拍摄本车辆的乘员的位置。车室内相机42例如以规定的周期拍摄拍摄对象的区域,并将拍摄到的图像向自动驾驶控制单元100输出。车室内相机42也可以是红外线相机、立体相机。
导航装置50例如具备全球导航卫星系统(GNSS(Global Navigation SatelliteSystem))接收机(亦即GNSS接收机51)、导航HMI 52及路径决定部53,在硬盘驱动器(HDD(Hard Disk Drive))、闪存器等存储装置中保持有第一地图信息54。GNSS接收机51基于从GNSS卫星接收到的信号,来确定本车辆的位置。本车辆的位置也可以通过利用了车辆传感器40的输出的惯性导航系统(INS(Inertial Navigation System))来确定或补充。导航HMI52包括显示装置、扬声器、触摸面板、按键等。导航HMI 52也可以一部分或全部与前述的HMI30共用化。路径决定部53例如参照第一地图信息54,来决定从由GNSS接收机51确定的本车辆的位置(或者输入的任意的位置)到由乘员使用导航HMI 52输入的目的地为止的路径(以下称作地图上路径)。第一地图信息54例如是通过表示道路的线路和由线路连接的节点来表现道路形状的信息。第一地图信息54也可以包括道路的曲率、关注点(POI(Point OfInterest))信息等。由路径决定部53决定的地图上路径向MPU 60输出。另外,导航装置50也可以基于由路径决定部53决定的地图上路径,来进行使用了导航HMI 52的路径引导。需要说明的是,导航装置50例如也可以由乘员持有的智能手机、平板终端等终端装置的功能来实现。另外,导航装置50也可以经由通信装置20向导航服务器发送当前位置和目的地,并取得从导航服务器回复的地图上路径。
MPU 60例如作为推荐车道决定部61发挥功能,在HDD、闪存器等存储装置中保持有第二地图信息62。推荐车道决定部61将从导航装置50提供的路径分割为多个区块(例如,在车辆行进方向上按每100米(meter)进行分割),并参照第二地图信息62按每个区块来决定推荐车道。推荐车道决定部61进行在从左数第几车道上行驶这样的决定。推荐车道决定部61在路径上存在分支部位、汇合部位等的情况下,决定推荐车道以使本车辆能够在用于向分支目的地行进的合理的路径上行驶。
第二地图信息62是比第一地图信息54高精度的地图信息。第二地图信息62例如包括车道的中央的信息或者车道的边界的信息等。另外,在第二地图信息62中,可以包括道路信息、交通限制信息、住所信息(住所·邮政编码)、设施信息、电话号码信息等。第二地图信息62可以通过使用通信装置20访问其他装置,来随时被更新。
行驶操作件80例如包括油门踏板82、刹车踏板84、方向盘86、换挡杆、异形方向盘、操纵杆及其他操作件。另外,行驶操作件80包括操作件传感器。操作件传感器例如包括油门开度传感器83、制动传感器85、转向传感器87及把持传感器88。油门开度传感器83、制动传感器85、转向传感器87或把持传感器88将其检测结果向自动驾驶控制单元100、或者行驶驱动力输出装置200、制动装置210及转向装置220中的一方或双方输出。
油门开度传感器83检测油门踏板82的开度。制动传感器85检测刹车踏板84的操作度(或操作量)。制动传感器85例如基于刹车踏板的变化量或制动装置210的主液压缸的液压,来检测刹车踏板的踩踏量。转向传感器87检测方向盘86的操作度(或操作量)。转向传感器87例如设置于转向轴,并基于转向轴的旋转角来检测方向盘86的操作度。另外,转向传感器87也可以检测转向转矩,并基于检测出的转向转矩,来检测方向盘86的操作度。
把持传感器88检测方向盘86是否为被本车辆的乘员把持着的状态。把持传感器88例如是沿着方向盘86的周向设置的静电容量传感器。把持传感器88将乘员的手触到检测对象的区域这一情况检测为静电容量的变化。
此外,本发明如图1所示的自动驾驶控制单元100例如通过中央处理器(centralprocessing unit(CPU))或微型计算机(microcomputer)等硬件处理器执行程序(program)(软件(software))来实现。程序(软件)能够存储在存储介质。存储介质存储用于使单一或多个计算机作为执行上述的实施方式中的驾驶者状态信息通知方法的程序。存储介质例如是随机存取存储器(RAM(random access memory))、只读存储器(ROM(read-onlymemory))、闪存器、硬盘驱动器(HDD(hard disk drive))等二次存储装置。
图2是表示图1的无人移动体操作系统的示意图。在本实施方式中,如图1和图2所示,车辆系统1还具备用于对车辆所搭载的无人移动体UAV进行操控的无人移动体操作系统100A,自动驾驶控制单元100例如具备也适用于无人移动体操作系统100A的通信部(亦即通信装置20)、输入部110、模式切换部120和操控设定部130。通信部使无人移动体UAV与车辆之间进行无线通信。输入部110由可对车辆操作的多个操作件构成。亦即本文中的操作件指的是车辆既有的车载操作件90和行驶操作件80,例如转向装置220、方向盘86、油门踏板82、刹车踏板84、信息娱乐屏幕(infotainment screen)92和未图示的车辆既有的开关、按钮、旋钮等操作件。通过使用者对操作件输入的输入信号,对无人移动体进行远程操控。通信部根据输入信号将对应输入信号的远程操控信号发送至无人移动体UAV,例如发送到移动体UAV的控制单元310,远程操控信号对无人移动体UAV和无人移动体UAV所搭载的摄像装置320中的至少一个进行远程操控。
如此,通过将车辆既有的操作件作为用来对无人移动体UAV及其所搭载的摄像装置320进行远程操控的输入部110,与现有技术中对UAV遥控器的仅使用手指的操作型态不同,能够使用手臂和腿操作输入部以对无人移动体进行远程操控。因此,所有操作动作并非都集中在手指的操作,能够充分利用车辆既有的大量存在的操作系统来操作,并且能够直观地对无人移动体UAV和其所搭载的摄像装置320的移动进行操控。此外,由于使用者能够远程操控无人移动体UAV所搭载的摄像装置320的焦距的调整,亦即使摄像装置320所拍摄的画面放大或缩小,故使用者可以自行操控摄像装置320从所期望的位置进行拍摄。
如图1和图2所示,在本实施方式中,可通过模式切换部120进行车辆操作模式和无人移动体操作模式之间的切换,其中在车辆操作模式中输入部对车辆进行操控,亦即车辆既有的操作件的操作是实际反映在对车辆本身的操作。在无人移动体操作模式中输入部110对无人移动体UAV进行操控,亦即车辆既有的操作件的操作是实际反映在对无人移动体UAV和/或其所搭载的摄像装置320的操作。如此,能够避免在非预期的时间无人移动体在车辆操作模式中操作或者车辆在无人移动体操作模式中操作,导致车辆和无人移动体的错误操作。
模式切换部120可整合在车辆既有的显示应用屏幕(DA屏幕(Display APP))(未图示),可通过DA屏幕的画面通过模式切换部120执行车辆操作模式和无人移动体操作模式之间的切换。此时,为了实际反映车辆操作模式和无人移动体操作模式之间的切换的操作,可以由使用者对车辆点火开关(ignition switch(IG switch))重按或重置的方式,实际反映已切换到车辆操作模式或者已切换到无人移动体操作模式。
此外,为了安全上的考量,当从无人移动体操作模式切换到车辆操作模式时,如果车辆的挡位不是在停车挡位(parking range position),则车辆操作模式不会自动更改而会发出更改提示(announce),由使用者先确定使车辆的挡位位在停车挡位,以确保切换到车辆操作模式时车辆的挡位确实在停车挡位。
除此之外,为了安全上的考量,在模式切换的期间,将制动装置(例如驻车制动器)210设置为自动打开制动器(brake)的功能,如此使用者在切换模式的期间,若忘记使车辆在停车挡位时,刹车功能将自动开启。除此之外,为了安全上的考量,在无人移动体操作模式中,将制动装置210设置为无法使制动器的功能解除,如此使用者在操作无人移动体UAV的期间,车辆是处在有踩住刹车的情况并且无法解除刹车模式,使用者需要先切换到车辆操作模式。
除此之外,在无人移动体操作模式中并且无人移动体还在飞行时,刻意的或者误触的操作车辆点火开关(例如将车辆点火开关关闭导致车辆的操作系统的电源被切断)时,则会发出警告以让使用者知道无人移动体UAV在飞行中或无人移动体UAV的操控即将失去作用(fail)的信息。若没有理会警告而将车辆点火开关操作(例如将车辆点火开关关闭导致车辆的操作系统的电源被切断)而关闭电源,则无人移动体操作系统100A会向无人移动体UAV发送返航(return to home(RTH))信号以使其返回原来位置。
从无人移动体操作模式切换到车辆操作模式时,方向盘86的位置因为使用者对无人移动体UAV的操控而发生偏移,亦即方向盘86的位置(例如方向盘86与驾驶座之间的相对距离)被变更,针对这样的问题,可以有如下方式来使方向盘86的位置恢复。例如,进入无人移动体操作模式之前,将驾驶者所适应的自行设定好的方向盘86的位置信息进行存储(例如存储在车辆的存储装置中),当从无人移动体操作模式切换到车辆操作模式之后,若车辆是有内置的电动调节机构的话根据所存储的位置信息可使方向盘自动返回以使方向盘的位置恢复,若车辆是不具备电动调节机构的话,可将所存储的方向盘的位置信息和当前的方向盘的位置信息显示在DA屏幕,并协助使用者手动操作转向装置以使方向盘86的位置恢复。
以下说明本发明的无人移动体操作系统100A的实施方式。图3是用来说明通过图1的无人移动体操作系统中利用车室内拍摄部对无人移动体所搭载的摄像装置进行操控的一例的示意图。
在一种实施方式中,输入部110包括用于对无人移动体UAV进行远程操控的移动体操作部和用于对搭载于无人移动体UAV的摄像装置320进行远程操控的摄像机操作部。移动体操作部由多个操作件中的行驶操作件80构成,摄像机操作部由多个操作件中的车载操作件90构成。移动体操作部设置为对行驶操作件80的转向装置220进行操作来对无人移动体UAV进行操作,摄像机操作部设置为对车载操作件90的车室内拍摄部(亦即图1的车室内相机42)进行操作来对摄像装置320进行操作。转向装置220的方向盘86的转动操作对应无人移动体UAV的转动操作,方向盘86的上下移动操作对应无人移动体UAV的上升下降操作,方向盘86的前后移动操作对应无人移动体UAV的前进后退操作,转向装置220的换挡按钮(设置在方向盘86的轮毂部86H)的挡位变更操作对应无人移动体UAV的左右平移和移动速度的变更。
如图3所示,在本实施方式中,车室内相机42将拍摄到的图像向通信部输出。通信部根据输入部110的输入信号,将对应输入信号的机身远程操控信号发送至无人移动体UAV,以对无人移动体UAV进行远程操控。通信部根据车室内拍摄部的图像,将对应图像的摄像机远程操控信号发送至无人移动体UAV,以对无人移动体UAV所搭载的摄像装置320进行远程操控。
如此,通过将车辆既有的各操作件用来对无人移动体UAV进行远程操控且将车辆既有的车室内相机42来对摄像装置320进行远程操控,与现有技术中对UAV遥控器的仅使用手指的操作型态不同,能够使用手臂和腿操作输入部以对无人移动体和摄像装置320进行远程操控。此外,通过利用车辆既有的车室内相机42对使用者的移动(例如使用者的头部和/或身体的朝向左右方向倾斜、朝向前后方向倾斜、朝向上下方向的位移)进行检测使用者的中心位置的移动量,并且无人移动体操作系统100A将该移动量作为对摄像装置320的操作量,对搭载于无人移动体UAV的摄像装置320进行操控。
因此,使用者可在座位上作头部和/或身体的倾斜移动,例如使用者如图3所示的箭头的方向作摆动姿势,直观地操控摄像装置320。从而,带给使用者非常有趣的操控感受。此外,由于使用者能够远程操控无人移动体UAV所搭载的摄像装置320,故使用者可以自行操控摄像装置从所期望的位置进行拍摄。
在本实施方式中,详细来说,摄像装置320的远程操控包括摄像装置320的位置变更操作和摄像装置320的变焦操作(zooming operation),亦即使摄像装置320所拍摄的画面放大或缩小。根据车室内相机42所拍摄的图像的即时影像产生摄像机远程操控信号,并根据摄像机远程操控信号对摄像装置320进行位置变更操作和变焦操作中的至少一个。本实施方式中,变焦操作可包括对摄像装置320所进行的光学变焦(optical zooming)和/或数字变焦(digital zooming)的操作。
摄像机远程操控信号包括上下移动相关信息、左右移动相关信息和前后移动相关信息。上下移动相关信息为即时影像中拍摄到使用者的中心位置在上下方向上相对于基准位置有产生位移时所产生的信息。左右移动相关信息为即时影像中拍摄到使用者的中心位置在左右方向上相对于基准位置有产生位移时所产生的信息。前后移动相关信息为即时影像中拍摄到使用者的中心位置在前后方向上相对于基准位置有产生位移时所产生的信息。此处的使用者的中心位置,例如,可以是使用者的脸部的中心,并且以将使用者在座位上操作方向盘86时面对车室内相机42的最佳位置(或者最适当位置)作为基准位置的前提下所定义的。
根据上下移动相关信息对摄像装置320进行位置变更操作,以使摄像装置320在上下方向上移动。根据左右移动相关信息对摄像装置320进行位置变更操作,以使摄像装置320在左右方向上移动。根据前后移动相关信息对摄像装置320进行变焦操作,以使摄像装置320调整焦距,亦即使摄像装置320所拍摄的画面放大/缩小(zoom in/zoom out)。
换言之,使用者在驾驶座上,利用手部操作方向盘86和/或利用足部操作其他操作件的方式,对无人移动体UAV进行操控,并且头部和/或身体躯杆摇摆或倾斜或前后移动或上下移动的方式,以使中心位置相对于基准位置产生位移的方式,对搭载于无人移动体UAV的摄像装置320进行操控。如此,使用者可直观地用身体的动作操控摄像装置320,带给使用者非常有趣的操控感受,从而带给使用者很多乐趣。
除此之外,在本实施方式中,无人移动体操作系统100A中,可设定为仅在刹车踏板84被踩下时才启用利用车室内相机42的拍摄来对摄像装置320操控的功能。亦即仅在刹车踏板84被踩下时才启用将对应图像的摄像机远程操控信号发送至无人移动体UAV而对摄像装置320进行远程操控的操作。并且系统可设定为刹车踏板84没有被踩下时上述的操作被禁止使用,亦即刹车踏板84未被踩下时这个操作被设定为无效。
除此之外,除了刹车踏板84以外,也可以设定其他没有分配到操控无人移动体UAV或摄像装置320的车辆的操作件作为用来启用利用车室内相机42的拍摄来对搭载于无人移动体UAV的摄像装置320操控的功能。利用刹车踏板84作为启用/禁用对摄像装置320的操控功能仅为一种举例,本发明并不限于此。
此外,可以设定成当不同的使用者在驾驶座和非驾驶座对不同的无人移动体进行操控时,各无人移动体的摄像装置可以由各自的使用者的头部和身体进行操控。
此外,也可以设定成驾驶座上的使用者操控无人移动体而非驾驶座上的使用者则利用头部和身体来操控摄像装置。
如此,当使用者感受到疲累或不想再使用上述的车室内相机42的检测对摄像装置320的操控的功能时,可以放开刹车踏板84使这个功能无效,而使用者可以休息或者改用其他操作方式对摄像装置320进行操控。例如对信息娱乐屏幕92的画面所进行的手势操作(gesture)(例如滚动(scroll)、扩张(expand)、捏合(pinch)、轻弹(flick)、轻叩(tap)等手势操作)对应摄像装置320的移动操作。也可以使用车门上设置的操作钮对摄像装置320进行操控。例如通过驾驶座侧的车门上设置的对车窗进行开关的车窗按钮,由于是设置在驾驶座侧的车门上,故车窗按钮有四个,通常以十字的排列。因此,也可以将该四个车窗按钮充分活用,作为用于操控搭载于无人移动体UAV的摄像装置320的上下左右的角度的调整的操作件。从而,充分利用车辆内大量的既有的操作件,且使用者能够依照自己的喜好客制化的设定各操作件。
除上述的实施方式以外,本发明的无人移动体操作系统还可以设定成以如下的方式操控摄像装置320开始/结束录制视频和拍摄照片,例如对车辆的开关装置等的车载设备的接口(interface)进行操作,利用声控设备进行语音操作或者声音操控(语音辨识、发出弹舌声音等),通过使用者的眨眼来进行操控,或者通过检测使用者的微笑来进行操控(例如检测到使用者微笑时判定为进行拍摄的时机)等。
综合上述,本发明的无人移动体操作系统和无人移动体操作方法,与现有技术中对UAV遥控器的仅使用手指的操作型态不同,能够直观地对无人移动体和其所搭载的摄像装置的移动进行操控。此外,通过利用车辆既有的车室内拍摄部对使用者的移动,例如使用者的头部和/或身体的朝向左右方向倾斜、朝向前后方向倾斜、朝向上下方向的位移,进行检测使用者的中心位置的移动量,并且无人移动体操作系统将该移动量作为对摄像装置的操作量,对搭载于无人移动体的摄像装置进行操控。因此,使用者可在座位上作头部和/或身体的倾斜移动,直观地操控摄像装置。从而,带给使用者非常有趣的操控感受。此外,由于使用者能够远程操控无人移动体所搭载的摄像装置,故使用者可以自行操控摄像装置从所期望的位置进行拍摄。
最后应说明的是:以上实施方式仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施方式对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施方式所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明的实施方式的技术方案的范围。

Claims (10)

1.一种无人移动体操作系统,用于对无人移动体进行远程操控,所述无人移动体操作系统的特征在于,包括:
通信部,使所述无人移动体与车辆之间进行无线通信;
输入部,由搭载于车辆且供使用者对车辆操作的多个操作件构成,通过使用者对所述操作件输入的输入信号,对所述无人移动体进行远程操控;以及
车室内拍摄部,将拍摄到的图像向所述通信部输出;
所述通信部根据所述输入部的所述输入信号,将对应所述输入信号的机身远程操控信号发送至所述无人移动体,以对所述无人移动体进行远程操控,且
所述通信部根据所述车室内拍摄部的所述图像,将对应所述图像的摄像机远程操控信号发送至所述无人移动体,以对所述无人移动体所搭载的摄像装置进行远程操控。
2.根据权利要求1所述的无人移动体操作系统,其特征在于
所述摄像装置的远程操控包括所述摄像装置的位置变更操作和所述摄像装置的所拍摄的画面放大或缩小操作,
根据所述车室内拍摄部所拍摄的所述图像的即时影像产生所述摄像机远程操控信号,并根据所述摄像机远程操控信号对所述摄像装置进行所述位置变更操作和所述所拍摄的画面放大或缩小操作中的至少一个。
3.根据权利要求2所述的无人移动体操作系统,其特征在于,
所述摄像机远程操控信号包括上下移动相关信息和左右移动相关信息,
所述上下移动相关信息为所述即时影像中拍摄到使用者的中心位置在上下方向上相对于基准位置有产生位移时所产生的信息,
所述左右移动相关信息为所述即时影像中拍摄到使用者的所述中心位置在左右方向上相对于所述基准位置有产生位移时所产生的信息,
根据所述上下移动相关信息对所述摄像装置进行所述位置变更操作,以使所述摄像装置在上下方向上移动,
根据所述左右移动相关信息对所述摄像装置进行所述位置变更操作,以使所述摄像装置在左右方向上移动。
4.根据权利要求3所述的无人移动体操作系统,其特征在于,
所述摄像机远程操控信号还包括前后移动相关信息,
所述前后移动相关信息为所述即时影像中拍摄到使用者的所述中心位置在前后方向上相对于所述基准位置有产生位移时所产生的信息,
根据所述前后移动相关信息对所述摄像装置进行所述所拍摄的画面放大或缩小操作。
5.根据权利要求1至4中任一项所述的无人移动体操作系统,其特征在于,
仅在刹车踏板被踩下时才启用将对应所述图像的摄像机远程操控信号发送至所述无人移动体而对所述摄像装置进行远程操控的操作,且所述刹车踏板未被踩下时所述操作无效。
6.一种无人移动体操作方法,用于对无人移动体进行远程操控,所述无人移动体操作方法的特征在于,包括:
通信步骤,通过通信部使所述无人移动体与车辆之间进行无线通信;
操控步骤,通过对搭载于车辆且供使用者对车辆操作的多个操作件输入输入信号,所述输入信号对所述无人移动体进行远程操控;以及
拍摄输出步骤,通过车室内拍摄部将拍摄到的图像向所述通信部输出;
所述通信部根据所述输入部的所述输入信号,将对应所述输入信号的机身远程操控信号发送至所述无人移动体,以对所述无人移动体进行远程操控,且
所述通信部根据所述车室内拍摄部的所述图像,将对应所述图像的摄像机远程操控信号发送至所述无人移动体,以对所述无人移动体所搭载的摄像装置进行远程操控。
7.根据权利要求6所述的无人移动体操作方法,其特征在于,
所述摄像装置的远程操控包括所述摄像装置的位置变更操作和所述摄像装置的所拍摄的画面放大或缩小操作,
根据所述车室内拍摄部所拍摄的所述图像的即时影像产生所述摄像机远程操控信号,并根据所述摄像机远程操控信号对所述摄像装置进行所述位置变更操作和所述所拍摄的画面放大或缩小操作中的至少一个。
8.根据权利要求7所述的无人移动体操作方法,其特征在于,还包括:
所述摄像机远程操控信号包括上下移动相关信息和左右移动相关信息,
所述上下移动相关信息为所述即时影像中拍摄到使用者的中心位置在上下方向上相对于基准位置有产生位移时所产生的信息,
所述左右移动相关信息为所述即时影像中拍摄到使用者的所述中心位置在左右方向上相对于所述基准位置有产生位移时所产生的信息,
根据所述上下移动相关信息对所述摄像装置进行所述位置变更操作,以使所述摄像装置在上下方向上移动,
根据所述左右移动相关信息对所述摄像装置进行所述位置变更操作,以使所述摄像装置在左右方向上移动。
9.根据权利要求8所述的无人移动体操作方法,其特征在于,还包括:
所述摄像机远程操控信号包括前后移动相关信息,
所述前后移动相关信息为所述即时影像中拍摄到使用者的所述中心位置在前后方向上相对于所述基准位置有产生位移时所产生的信息,
根据所述前后移动相关信息对所述摄像装置进行所述所拍摄的画面放大或缩小操作。
10.根据权利要求6至9中任一项所述的无人移动体操作方法,其特征在于,
仅在刹车踏板被踩下时才启用将对应所述图像的摄像机远程操控信号发送至所述无人移动体而对所述摄像装置进行远程操控的操作,且所述刹车踏板未被踩下时所述操作无效。
CN202111166495.1A 2021-09-30 2021-09-30 无人移动体操作系统及无人移动体操作方法 Pending CN115903763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111166495.1A CN115903763A (zh) 2021-09-30 2021-09-30 无人移动体操作系统及无人移动体操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111166495.1A CN115903763A (zh) 2021-09-30 2021-09-30 无人移动体操作系统及无人移动体操作方法

Publications (1)

Publication Number Publication Date
CN115903763A true CN115903763A (zh) 2023-04-04

Family

ID=86469833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111166495.1A Pending CN115903763A (zh) 2021-09-30 2021-09-30 无人移动体操作系统及无人移动体操作方法

Country Status (1)

Country Link
CN (1) CN115903763A (zh)

Similar Documents

Publication Publication Date Title
CN108973993B (zh) 车辆控制系统、车辆控制方法及存储介质
CN110709271B (zh) 车辆控制系统、车辆控制方法及存储介质
CN108688681B (zh) 车辆控制系统、车辆控制方法及存储车辆控制程序的介质
EP3644295B1 (en) Parking control methods and parking control devices
CN106484275B (zh) 提供停驶车辆移动模式的方法、驾驶员辅助设备及包括其的车辆
JP6496944B2 (ja) 車両用シート装置
JP6555599B2 (ja) 表示システム、表示方法、およびプログラム
CN110709272B (zh) 车辆控制系统、车辆控制方法及存储介质
CN108973988B (zh) 车辆控制系统、车辆控制方法及存储介质
CN109890662B (zh) 车辆控制系统、车辆控制方法及存储介质
WO2019092846A1 (ja) 表示システム、表示方法、およびプログラム
CN110603166A (zh) 车辆控制系统、车辆控制方法及车辆控制程序
CN108973989B (zh) 车辆控制系统、车辆控制方法及存储介质
JP2019014300A (ja) 車両制御システム、車両制御方法、およびプログラム
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
JP2020192877A (ja) 制御装置、制御方法、およびプログラム
JP2018203014A (ja) 撮像表示ユニット
US11584364B2 (en) Vehicle control device, vehicle, operation method for vehicle control device and storage medium
JP2019145951A (ja) 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP2019161549A (ja) 車両遠隔操作装置及び車両遠隔操作方法
CN115903763A (zh) 无人移动体操作系统及无人移动体操作方法
KR101816570B1 (ko) 차량용 디스플레이 장치
WO2021256483A1 (ja) 制御装置、投影システム、制御方法及びプログラム
CN115933622A (zh) 无人移动体操作系统及无人移动体操作方法
WO2020137398A1 (ja) 操作制御装置、撮像装置、操作制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination