CN109564428B - 移动物体操作系统、操作信号发送系统、移动物体操作方法、程序和记录介质 - Google Patents

移动物体操作系统、操作信号发送系统、移动物体操作方法、程序和记录介质 Download PDF

Info

Publication number
CN109564428B
CN109564428B CN201780046911.XA CN201780046911A CN109564428B CN 109564428 B CN109564428 B CN 109564428B CN 201780046911 A CN201780046911 A CN 201780046911A CN 109564428 B CN109564428 B CN 109564428B
Authority
CN
China
Prior art keywords
information
moving object
operation signal
unit
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780046911.XA
Other languages
English (en)
Other versions
CN109564428A (zh
Inventor
森下幸司
柳泽寻辉
野田尚志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of CN109564428A publication Critical patent/CN109564428A/zh
Application granted granted Critical
Publication of CN109564428B publication Critical patent/CN109564428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Abstract

本发明的目的在于提供一种可以更容易地控制移动物体的新颖的系统。该移动物体控制系统(1)包括移动物体(20)和与移动物体(20)相关联的控制信号发送设备(10)。移动物体(20)还包括从控制信号发送设备(10)接收控制信号的信号接收单元(201)。控制信号发送设备(10)还包括：包含转换信息的存储单元(101)；获取控制者的动作信息的动作信息获取单元(102)；基于转换信息将获取到的动作信息转换为要发送给移动物体(20)的控制信号的转换单元(103)；以及将控制信号发送给移动物体(20)的信号发送单元(104)。转换信息包括人的动作信息和向移动物体(20)指示移动物体(20)的移动的控制信号信息，这两种类型的信息彼此相关联。人的动作信息是基于对移动物体(20)的移动的形象化描绘的动作信息。

Description

移动物体操作系统、操作信号发送系统、移动物体操作方法、 程序和记录介质
技术领域
本发明涉及移动物体操作系统、操作信号发送系统、移动物体操作方法、程序和记录介质。
背景技术
在通过遥控操作的无人飞行器中，近年来已经尝试将无人机用于各种服务。此外，无人机很容易作为家用玩具来获得。无人机的操作使用所谓的比例型控制器，通过移动安装在该控制器上的两根杆来控制无人机的电机，从而控制无人机的移动(非专利文献1)。然而，无人机的操作非常困难。事实上，必须进行充分的练习才能安全地操作无人机。
[引用列表]
非专利文献
非专利文献1：“Scalable Autonomy Concept for Reconnaissance UAVs on theBasis of an HTN Agent Architecture”，2016International Conference on UnmannedAircraft Systems(ICUAS)，2016年6月7日至10日。
发明内容
技术问题
因此，本发明的目的是提供一种允许更容易地操作无人机等通过遥控操作的无人飞行器的新系统。
问题的解决方案
为了实现上述目的，本发明提供了一种移动物体操作系统，包括：移动物体；以及针对移动物体的操作信号发送器。移动物体包括从操作信号发送器接收操作信号的信号接收单元。操作信号发送器包括：存储单元，包含转换信息；动作信息获取单元，获取操作者的动作信息；转换单元，基于所述转换信息将获取到的动作信息转换为对所述移动物体的操作信号；以及信号发送单元，将操作信号发送给移动物体。所述转换信息包括人的动作信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息和所述操作信号信息彼此相关联。所述人的动作信息是形象化描绘所述移动物体的移动的动作信息。
本发明还提供了一种针对移动物体的操作信号发送系统，包括：存储单元，包含转换信息；动作信息获取单元，获取操作者的动作信息；转换单元，基于所述转换信息将获取到的动作信息转换为对移动物体的操作信号；以及信号发送单元，将操作信号发送给移动物体。所述转换信息包括人的动作信息、移动物体的移动信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息、移动物体的移动信息和操作信号信息彼此相关联。所述人的动作信息是形象化描绘所述移动物体的移动的动作信息。
本发明还提供了一种移动物体操作方法，其使用移动物体和根据本发明的操作信号发送系统，该方法包括以下步骤：通过所述系统获取操作者的动作信息；通过所述系统基于转换信息将获取到的动作信息转换为对所述移动物体的操作信号；通过所述系统将操作信号发送给所述移动物体；以及通过所述移动物体接收所发送的所述操作信号。所述转换信息包括人的动作信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息和所述操作信号信息彼此相关联。所述人的动作信息是形象化描绘所述移动物体的移动的动作信息。
本发明还提供了一种程序，该程序能够在计算机上执行本发明的移动物体操作方法。
本发明还提供了一种记录有本发明的程序的计算机可读记录介质。
发明的有益效果
根据本发明，可以实现对移动物体的更容易的操作。
附图说明
图1是示出了根据本发明第一示例实施例的移动物体操作系统的示例的框图。
图2是示出了根据本发明第一示例实施例的操作信号发送系统的示例的框图。
图3是示出了本发明第一示例实施例中的人的动作信息的示例的示意图。
图4是示出了根据本发明第一示例实施例的移动物体操作方法的示例的流程图。
图5是示出了根据本发明第二示例实施例的移动物体操作系统的示例的框图。
图6是示出了根据本发明第二示例实施例的操作信号发送系统的示例的框图。
图7是示出了根据本发明第二示例实施例的移动物体操作方法的示例的流程图。
图8是示出了根据本发明第三示例实施例的移动物体操作系统的示例的框图。
图9是示出了本发明第三示例实施例中的人的动作信息的示例的示意图。
图10是示出了根据本发明第三示例实施例的移动物体操作方法的示例的流程图。
图11是示出了根据本发明第四示例实施例的移动物体操作系统的示例的框图。
图12是示出了根据本发明第四示例实施例中的显示屏幕的示例的示意图。
图13是示出了根据本发明第四示例实施例的移动物体操作方法的示例的流程图。
具体实施方式
在本发明的移动物体操作系统中，例如，人的动作信息是利用人体模仿移动物体的移动的动作信息。
在本发明的移动物体操作系统中，例如，移动物体是飞行器。
在本发明的移动物体操作系统中，例如，飞行器是无人机或无线电控制车辆。
在本发明的移动物体操作系统中，例如，人的动作信息包括动作类型和动作程度，移动物体的移动信息包括移动类型和移动程度，并且操作信号信息包括要指示的移动类型和要指示的移动程度。
在本发明的移动物体操作系统中，例如，操作信号发送器还包括：获取人的声音(语音)信息的声音信息获取单元。转换单元基于转换信息将获取到的声音信息转换为对移动物体的操作信号。转换信息还包括人的声音信息，并且声音信息和操作信号信息彼此相关联。
在本发明的移动物体操作系统中，例如，移动物体还包括：图像信息获取单元，获取图像信息；以及图像信息发送单元，将获取到的图像信息发送给操作信号发送器，并且操作信号发送器还包括：图像信息接收单元，接收从移动物体发送的图像信息；以及显示单元，显示图像信息。
在本发明的移动物体操作系统中，例如，移动物体的图像信息获取单元是相机。
在本发明的移动物体操作系统中，例如，操作信号发送器的显示单元是人可穿戴显示器。
在本发明的移动物体操作系统中，例如，操作信号发送器还包括：位置预测单元，基于图像信息接收单元接收的图像信息来预测预定时间段之后移动物体的位置，并且显示单元显示图像信息接收单元接收的图像信息和位置预测单元获得的预测位置信息。
在本发明的操作信号发送系统中，例如，人的动作信息是利用人体模仿移动物体的移动的动作信息。
在本发明的操作信号发送系统中，例如，移动物体是飞行器。
在本发明的操作信号发送系统中，例如，飞行器是无人机。
在本发明的操作信号发送系统中，例如，人的动作信息包括动作类型和动作程度，移动物体的移动信息包括移动类型和移动程度，并且操作信号信息包括要指示的移动类型和要指示的移动程度。
例如，本发明的操作信号发送系统还包括获取人的声音信息的声音信息获取单元。转换单元基于转换信息将获取到的声音信息转换为对移动物体的操作信号。转换信息还包括人的声音信息，并且声音信息和操作信号信息彼此相关联。
本发明的操作信号发送系统例如还包括：图像信息接收单元，接收从移动物体发送的图像信息；以及显示单元，显示图像信息。
在本发明的操作信号发送系统中，例如，显示单元是人可穿戴显示器。
本发明的操作信号发送系统例如包括：信息获取终端；以及服务器。终端和服务器能够经由通信网络连接。终端包括：所述动作信息获取单元。服务器包括：所述存储单元；所述转换单元；以及所述信号发送单元。
在本发明的操作信号发送系统中，例如，信息获取终端还包括声音信息获取单元。
本发明的操作信号发送系统还包括位置预测单元，其基于图像信号接收单元接收的图像信息来预测预定时间段之后移动物体的位置。显示单元显示图像信息接收单元接收的图像信息和位置预测单元获得的预测位置信息。
操作信号发送系统还例如包括显示终端。显示终端包括：所述图像信息接收单元；以及所述显示单元。
在本发明的移动物体操作方法中，例如，人的动作信息是利用人体模仿移动物体的移动的动作信息。
在本发明的移动物体操作方法中，例如，移动物体是飞行器。
在本发明的移动物体操作方法中，例如，飞行器是无人机。
在本发明的移动物体操作方法中，例如，人的动作信息包括动作类型和动作程度，移动物体的移动信息包括移动类型和移动程度，并且操作信号信息包括要指示的移动类型和要指示的移动程度。
本发明的移动物体操作方法还包括以下步骤：例如，通过系统获取人的声音信息。在转换步骤中基于转换信息将获取到的声音信息转换为对移动物体的操作信号。转换信息还包括人的声音信息，并且声音信息和操作信号信息彼此相关联。
本发明的移动物体操作方法还包括以下步骤：通过移动物体获取图像信息；通过所述移动物体将获取到的所述图像信息发送给所述系统；通过系统接收从移动物体发送的图像信息；以及通过所述系统显示所述图像信息。
在本发明的移动物体操作方法中，例如，在图像信息获取步骤中通过相机获取图像信息。
在本发明的移动物体操作方法中，例如，在显示步骤中将图像信息显示在人可穿戴显示器上。
本发明的移动物体操作方法还包括以下步骤：例如，通过系统，基于在图像信息接收步骤中接收到的图像信息，预测预定时间段之后移动物体的位置。在显示步骤中显示图像信息接收步骤中接收到的图像信息和位置预测步骤中获得的预测位置信息。
下面参考附图来描述本发明的示例实施例。然而，应当注意，本发明决不受以下示例实施例的限制或约束。在以下附图中，相同的部件用相同的附图标记表示。关于示例实施例的描述，除非另有说明，否则可以相互参考。此外，除非另有说明，否则可以组合示例实施例的结构。
[第一示例实施例]
第一示例实施例涉及本发明的移动物体操作系统、操作信号发送系统和移动物体操作方法。
图1是示出了根据本示例实施例的移动物体操作系统的框图。如图1所示，本示例实施例的移动物体操作系统1包括操作信号发送器10和移动物体20。操作信号发送器10和移动物体20可以经由通信网络相连。
移动物体20是例如通过遥控操作的无人飞行器，并且可以是飞行器。例如，该飞行器可以是具有旋翼的无人飞行器，例如直升机。该直升机可以是例如多旋翼飞行器，如四旋翼飞行器。具体地，诸如四旋翼飞行器等的多旋翼飞行器可以是例如所谓的无人机(drone)。除此之外，该飞行器的示例包括无线电操作的飞行器，例如气球、飞艇、可变翼飞机(VTOL)、固定翼飞机和多翼飞机(例如，亚马逊航空)。移动物体可以是例如遥控车辆，例如油门汽车。
操作信号发送器10包括存储单元101、动作信息获取单元102、转换单元103和信号发送单元104。转换单元103和信号发送单元104可以例如安装在作为硬件的数据处理单元(数据处理设备)中，或者可以是软件或安装有软件的硬件。数据处理单元可以包括中央处理单元(CPU)等。移动物体20包括信号接收单元201。在本示例实施例的移动物体操作系统1中，存储单元101和动作信息获取单元102电连接到转换单元103，且转换单元103电连接到信号发送单元104。在本示例实施例的移动物体操作系统1中，例如，任何一个或多个单元可以被分离。
在移动物体操作系统1中，操作信号发送器10可以是例如将存储单元101、动作信息获取单元102、转换单元103和信号发送单元104作为一体包括在内的装置，或者可以是一个系统。图2中示出了后一种情况的示例。
图2是系统的框图，该系统示出了操作信号发送器10是操作信号发送系统的一个示例。如图2所示，操作信号发送系统10包括主体11和终端12。主体11和终端12能够经由有线或无线通信网络连接。主体11包括存储单元101、转换单元103和信号发送单元104。在主体11中，存储单元101电连接到转换单元103，且转换单元103电连接到信号发送单元104。终端12是信息获取终端并且包括动作信息获取单元102。
存储单元101包含转换信息。存储单元101的示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘(HD)、光盘和
Figure BDA0001960518820000071
(FD)。存储单元101可以是内置类型或外部类型(例如，外部存储设备)。
动作信息获取单元102获取操作者的动作信息。动作信息获取单元102是例如如上所述的终端12，并且其具体示例包括动作捕获传感器，例如微软公司生产的
Figure BDA0001960518820000081
和Noitom有限公司生产的感知神经元(Perception Neuron)。由动作信息获取单元102获得的动作信息的类型不受特别限制，并且其示例包括诸如二维或三维图像之类的动作图像、由传感器等获取的二维或三维动作传感器数据、以及通过动作分析表分析得到的动作分析数据等。
所述转换信息包括人的动作信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息和所述操作信号信息彼此相关联。人的动作信息是形象化描绘移动物体的移动的动作信息，并且是例如利用人体模仿移动物体的移动的动作信息。人的动作信息包括例如动作类型，且移动物体的移动信息包括例如移动类型。
下面参考移动物体是作为具体例的飞行器(例如，无人机等)的情况来描述转换信息。如上所述，通过控制器的两根杆控制每个螺旋桨的电机来操作无人机。通过电机的移动(油门、俯仰、横滚、方向舵等)控制无人机的移动，例如前后左右行进、旋转、停止等。也就是说，操作者在传统无人机操作中的动作是操作控制器的手指的动作。另一方面，尽管人类不能使用他或她的身体飞行，但是人们具有关于使用身体飞行的动作(例如，身体姿态、姿势等)的共同的可能的形象化描绘，该共同的可能的形象化描绘例如基于电影、绘本、漫画、动画等。因此，例如，人可能形象化描绘的每种飞行动作可以与无人机的每种移动相关联。因此，在本发明中，将形象化描绘的人的动作信息和用于向无人机指示对应移动的操作信号彼此相关联，从而获得转换信息。与使用控制器的操作相比，这允许操作者更容易地操作无人机，因为通过做出操作者形象化描绘的动作，来将该动作转换为相关联的操作信号信息。特别是，在传统控制器的情况下，例如，必须记住两根杆的精细移动和移动组合，这使得操作非常困难。相反，操作者容易记住人可能形象化描绘的动作，并且即使在需要快速做出判断时身体也会自然地做出反应，从而实现更容易的操作。
关于转换信息，人的动作信息和与其相关联的移动物体的移动的组合不受特别限制，并且可以例如根据操作者的属性适当地进行设置。属性的示例包括儿童、成人、女性、男性、初学者和经验丰富者。例如，可以通过将移动物体的移动和预定属性中共同的动作的形象化描绘进行系统化，来获得转换信息。作为具体示例，例如，当属性是儿童时，可以通过收集多个儿童可能的动作的形象化描绘，选择共同的动作的形象化描绘，并且将移动物体的每种移动和与其相对应的动作的形象化描绘进行系统化，来设置针对移动物体的每种移动的转换信息。
图3示出了人的动作信息和与其相关联的移动物体的移动之间的关系。图3仅是为了说明的目的，并不限制本发明。如图3所示，身体姿势(A)是面向前方(在垂直于绘图平面的方向上)的直立姿势，身体姿势(A)与移动物体原地不动的状态相对应；身体姿势(B)是向前倾斜上身的姿势，与移动物体向前直线移动的状态相对应(在飞行器的情况下与飞行相对应)；身体姿势(C1)是将身体向右扭转的姿势，与移动物体向右转的状态相对应；身体姿势(C2)是将身体向左扭转的姿势，与移动物体向左转的状态相对应；将身体稍微向右扭转的身体姿势与移动物体稍微向右转的状态相对应，将身体稍微向左扭转的身体姿势与移动物体稍微向左转的状态相对应，弯曲右臂的身体姿势与移动物体向右平移的状态相对应，并且弯曲左臂的身体姿势与移动物体向左平移的状态相对应。例如，在推进器或副翼位于手掌中的形象化描绘下，身体姿势(D1)是弯曲一只手的姿势，与移动物体向右平移的状态相对应；身体姿势(D2)是弯曲另一只手的姿势，与移动物体向左平移的状态相对应。此外，尽管未示出，但是手掌向下面朝上的直立姿势可以与移动物体起飞的状态相对应。
优选地，除了动作类型之外，人的动作信息例如还包括动作程度；除了移动类型之外，移动物体的移动信息例如还包括移动程度；且操作信号信息包括要指示的移动类型和要指示的移动程度。也就是说，优选地通过对人的动作程度进行加权来将人的动作程度的权值与移动物体的移动程度的权值相关联。这不仅允许控制移动的类型，还允许控制例如移动的大小、速度等。作为具体示例，如图3所示，在向右转动移动物体的情况下，可以通过将动作(C1)设置为较小的动作(C1’)来降低移动物体的向右转动程度；且在向左转动移动物体的情况下，可以通过将动作(C2)设置为较小的动作(C2’)来降低移动物体的向左转动程度。
转换单元103基于转换信息将获取到的动作信息转换为对移动物体的操作信号。转换单元103可以是例如CPU等。
信号发送单元104向移动物体发送操作信号。信号发送单元104可以例如是CPU等。
移动物体20包括信号接收单元201，且信号接收单元201接收来自操作信号发送器10的操作信号。信号接收单元201可以是例如CPU。
移动物体20不受特别限制，并且与以上描述相同，移动物体20可以是例如飞行器，如无人机。
图4示出了根据本示例实施例的移动物体操作方法的流程图。例如，使用图1的移动物体操作系统，如下执行本示例实施例的移动物体操作方法。如图4所示，本示例实施例的移动物体操作方法包括步骤A1(动作信息获取)、步骤A2(信号转换)、步骤A3(信号发送)和步骤A4(信号接收)。
首先，在步骤A1之前准备转换信息。作为转换信息，例如，可以如上所述地选择与操作者的属性相对应的转换信息。
(A1)动作信息获取
在步骤A1中，通过检测操作者的动作来获取操作者的动作信息。
(A2)信号转换
在步骤A2中，基于转换信息将动作信息转换为对移动物体的操作信号。
(A3)信号发送
在步骤A3中，将经转换的操作信号从操作信号发送器10发送给移动物体20。
(A4)信号接收
在步骤A4中，移动物体20从操作信号发送器10接收操作信号。然后，根据操作信号控制移动物体20的移动。
在根据本示例实施例的移动物体操作系统、操作信号发送系统和移动物体操作方法中，将形象化描绘移动物体的移动的人的动作信息转换为对移动物体的操作信号以操作该移动物体。这允许更容易的操作。在下面描述的示例实施例中也可以获得相同的效果。
[第二示例实施例]
第二示例实施例涉及一种方案，其中本发明的移动物体操作系统还包括声音信息获取单元和声音信息获取步骤。关于本示例实施例，可以参考第一示例实施例的描述。
图5是示出了根据本示例实施例的移动物体操作系统的框图。如图5所示，在本示例实施例的移动物体操作系统1中，操作信号发送器10还包括声音信息获取单元105。
操作信号发送器10可以是如上所述的操作信号发送系统。图6示出了该系统的框图。如图6所示，操作信号发送系统10包括主体11和终端12，且主体11和终端12能够经由有线或无线通信网络连接。主体11包括存储单元101、转换单元103和信号发送单元104。在主体11中，存储单元101电连接到转换单元103，且转换单元103电连接到信号发送单元104。终端12是信息获取终端，并且包括动作信息获取单元102和声音信息获取单元105。操作信号发送系统10可以包括例如两个终端。一个终端包括动作信息获取单元102，另一个终端包括声音信息获取单元105，并且每个终端都能够经由所述通信网络连接到主体11。
声音信息获取单元105获取操作者的声音信息。声音信息获取单元105是例如如上所述的终端12。作为具体示例，声音信息获取单元105可以是诸如麦克风等的声音识别设备。由声音信息获取单元105获得的声音信息的类型不受特别限制，并且其示例包括声音数据和通过声音分析表分析得到的声音分析数据等。
存储单元101的转换信息还包括人的声音信息，且该声音信息和操作信号信息彼此相关联。该声音信息的示例包括表示动作类型的声音信息和表示动作程度的声音信息。表示动作类型的前一种声音信息包括例如“当心”、“停止”等，其指示移动物体停止。指示动作程度的后一种声音信息包括例如：“较少”、“较多”等，其向移动物体指示移动程度；和“较快”、“较慢”等，其向移动物体指示移动的速度。
接下来，图7示出了根据本示例实施例的移动物体操作方法的流程图。使用例如图5的移动物体操作系统，如下执行本示例实施例的移动物体操作方法。如图7所示，本示例实施例的移动物体操作方法包括步骤A1(动作信息获取)、步骤A1’(声音信息获取)、步骤A2(信号转换)、步骤A3(信号发送)和步骤A4(信号接收)。
首先，在步骤A1之前准备转换信息。作为转换信息，例如，可以如上所述地选择与操作者的属性相对应的转换信息。
(A1)动作信息获取
在步骤A1中，通过检测操作者的动作来获取操作者的动作信息。
(A1')声音信息获取
在步骤A1'中，通过与步骤A1并行地检测操作者的声音(语音)来获取操作者的声音信息。
(A2)信号转换
在步骤A2中，基于转换信息将动作信息和声音信息转换为对移动物体的操作信号。
(A3)信号发送
在步骤A3中，将经转换的操作信号从操作信号发送器10发送给移动物体20。
(A4)信号接收
在步骤A4中，移动物体20从操作信号发送器10接收操作信号。然后，根据操作信号控制移动物体20的移动。
在根据本示例实施例的移动物体操作系统、操作信号发送系统和移动物体操作方法中，操作者的声音信息被转换为对移动物体的操作信号以操作该移动物体。这允许更精细的移动指示、快速的移动指示等。在下面描述的示例实施例中也可以获得相同的效果。
[第三示例实施例]
第三示例实施例涉及一种方案，其中本发明的移动物体操作系统还包括图像信号接收单元和显示单元、以及图像信息接收步骤和显示步骤。关于本示例实施例，可以参考第一和第二示例实施例的描述。
图8是示出了根据本示例实施例的移动物体操作系统的框图。如图8所示，在本示例实施例的移动物体操作系统1中，操作信号发送器10还包括图像信息接收单元106和显示单元107，且移动物体20还包括图像信息获取单元202和图像信息发送单元203。
图像信息获取单元202获取图像信息。图像信息是例如动作图像(视频)。图像信息获取单元202可以是例如相机，并且安装在移动物体20的主体上。相机可以是例如用于拍摄一个方向的相机。相机可以是例如用于拍摄一个方向的相机，其可以360°旋转。例如，相机以拍摄正面方向的状态安装在移动物体20上。备选地，相机可以是例如用于一次拍摄全方位图像的360°相机。在360°相机的情况下，例如，可以在不旋转相机的情况下获取全方位图像。
图像信息发送单元203将图像信息获取单元202获取的图像信息发送给操作信号发送器10。图像信息发送单元203可以是CPU等。
如上所述，操作信号发送器10可以是操作信号发送系统。操作信号发送系统10包括主体11以及两个终端12和13，且主体11和一个终端12能够经由有线或无线通信网络连接。主体11包括存储单元101、转换单元103和信号发送单元104。一个终端12是信息获取终端，包括动作信息获取单元102，另一个终端13是显示终端，包括图像信息接收单元106和显示单元107。在操作信号发送系统10中，终端12能够经由所述通信网络连接到主体11。
图像信息接收单元106接收从移动物体20发送的图像信息。图像信息接收单元106可以是例如CPU等。
显示单元107显示接收到的图像信息。显示单元107可以是例如用于输出图像的监视器，且其具体示例包括各种图像显示装置，例如液晶显示器(LCD)、阴极射线管(CRT)显示器等。包括显示单元107的终端13可以是例如人可穿戴显示器。具体地，包括显示单元107的终端13可以是例如头戴式显示器等。当显示单元107是可穿戴显示器时，例如，显示单元107还可以用作动作信息获取单元102。
当显示单元107是可穿戴显示器并且图像信息获取单元202是用于拍摄一个方向的相机时，优选的是，例如，移动物体的移动方向与显示在显示单元107上的图像的方向相同。当显示单元107还用作动作信息获取单元102时，例如，操作者对显示单元107的移动和移动物体20中相机的方向可以彼此联动。图9示出了人的动作信息和与其相关联的移动物体20的相机的移动之间的关系。图9仅是为了说明的目的，并不限制本发明。如图9所示，当佩戴终端13(终端13包括显示单元107)的操作者面向前方时(A)，移动物体20的相机的拍摄方向是向前方向；当操作者面向右方时(B)，移动物体20的相机的拍摄方向是向右方向；当操作者面向左方时(C)，移动物体20的相机的拍摄方向是向左方向；且当操作者面朝下时(D)，移动物体20的相机的拍摄方向是向下方向。
图10示出了根据本示例实施例的移动物体操作方法的流程图。使用例如图8的移动物体操作系统，如下执行本示例实施例的移动物体操作方法。如图10所示，本示例实施例的移动物体操作方法包括步骤A1(动作信息获取)、步骤A2(信号转换)、步骤A3(信号发送)、A4(信号接收)、步骤B1(图像信息获取)、步骤B2(图像信息发送)、步骤B3(图像信息接收)和步骤B4(图像信息显示)。
在该流程图中，步骤A1至A4与上述示例实施例中的相同，且步骤B1至B4与步骤A1至A4并行执行。
(B1)图像信息获取
在步骤B1中，由移动物体20获取图像信息。
(B2)图像信息发送
在步骤B2中，将移动物体20获取到的图像信息发送给操作信号发送器10。
(B3)图像信息接收
在步骤B3中，操作信号发送器10接收从移动物体20发送的图像信息。
(B4)图像信息显示
在步骤B4中，显示操作信号发送器10接收的图像信息。
[第四示例实施例]
第四示例实施例涉及一种方案，其中还在显示单元上显示移动物体的预测未来位置。更具体地，第四示例实施例涉及一种方案，其中本发明的移动物体操作系统还包括位置预测单元和位置预测步骤。除非另有说明，否则本示例实施例与第三示例实施例相同，并且可以参考第一、第二和第三示例实施例的描述。
图11是示出了根据本示例实施例的移动物体操作系统的框图。如图11所示，在本示例实施例的移动物体操作系统1中，操作信号发送器10还包括位置预测单元108。
如上所述，操作信号发送器10可以是操作信号发送系统。如上所述，操作信号发送系统10包括主体11以及两个终端12和13。例如，包括图像信息接收单元106和显示单元107的终端13还可以包括位置预测单元108。
位置预测单元108基于从移动物体20发送的图像信息预测移动物体20的未来位置，该图像信息是通过图像信息接收单元106接收到的。通过预测获得的预测位置信息可以是例如预定时间段之后的位置信息或者随时间变化的位置信息。位置预测单元108可以是例如CPU等。
显示单元107显示接收到的图像信息，并且还显示由位置预测单元108预测的移动物体20的未来位置。显示单元107可以是例如用于输出图像的监视器，且其具体示例包括各种图像显示装置，例如液晶显示器(LCD)、阴极射线管(CRT)显示器等。包括显示单元107的终端13可以是例如人可穿戴显示器。具体地，包括显示单元107的终端13可以是例如头戴式显示器等。当显示单元107是可穿戴显示器时，例如，显示单元107还可以用作动作信息获取单元102。
图12示出了显示单元107的显示屏幕的示例。图12仅是为了说明的目的，并不限制本发明。如图12所示，显示单元107在显示屏30上显示建筑物41、树42等作为从移动物体20接收到的图像信息。显示单元107还显示由位置预测单元108预测的移动物体20的预测位置信息。具体地，如图12中的箭头43所示，随时间变化的位置信息被显示为预测位置信息。箭头43表示例如预定时间段之后移动物体20的位置和移动方向。例如，如图12所示，预测位置信息可以以预定时间段(例如，每1秒)为单位指示直到预定时间段(例如，5秒之后)的位置。
图13示出了根据本示例实施例的移动物体操作方法的流程图。使用例如图11的移动物体操作系统，如下执行本示例实施例的移动物体操作方法。如图13所示，本示例实施例的移动物体操作方法包括步骤A1(动作信息获取)、步骤A2(信号转换)、步骤A3(信号发送)、步骤A4(信号接收)、步骤B1(图像信息获取)、步骤B2(图像信息发送)、步骤B3(图像信息接收)、步骤B3'(位置预测)和步骤B4(图像信息显示)。
在该流程图中，步骤A1至A4与上述示例实施例中的相同，并且步骤B1至B4与步骤A1至A4并行执行。
(B1)图像信息获取
在步骤B1中，由移动物体20获取图像信息。
(B2)图像信息发送
在步骤B2中，将移动物体20获取到的图像信息发送给操作信号发送器10。
(B3)图像信息接收
在步骤B3中，操作信号发送器10接收从移动物体20发送的图像信息。
(B3')位置预测
在步骤B3’中，基于操作信号发送器10接收的图像信息来预测移动物体20的未来位置。
(B4)图像信息显示
在步骤B4中，显示由操作信号发送器10接收的图像信息和预测位置信息。
[第五示例实施例]
根据本示例实施例的程序是可以在计算机上执行上述移动物体操作方法的程序。本示例实施例的程序可以记录在例如计算机可读记录介质上。该记录介质不受特别限制，并且其示例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘(HD)、光盘和
Figure BDA0001960518820000161
(FD)。
尽管已经参照说明性的示例实施例描述了本发明，但本发明决不限于此。在不脱离本发明的范围的情况下，可以对本发明的结构和细节做出本领域技术人员显而易见的各种改变和修改。
上述示例实施例的部分或全部可被描述为以下补充注释。然而，本发明不限于此。
(补充注释1)
一种移动物体操作系统，包括：
移动物体；以及
针对所述移动物体的操作信号发送器，其中，
所述移动物体包括：
信号接收单元，从所述操作信号发送器接收操作信号，
所述操作信号发送器包括：
存储单元，包含转换信息；
动作信息获取单元，获取操作者的动作信息；
转换单元，基于所述转换信息将获取到的动作信息转换为对所述移动物体的操作信号；以及
信号发送单元，将所述操作信号发送给所述移动物体，
所述转换信息包括人的动作信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息和所述操作信号信息彼此相关联，以及
所述人的动作信息是形象化描绘所述移动物体的移动的动作信息。
(补充注释2)
根据补充注释1所述的移动物体操作系统，其中，所述人的动作信息是利用人体模仿所述移动物体的移动的动作信息。
(补充注释3)
根据补充注释1或2所述的移动物体操作系统，其中，所述移动物体是飞行器。
(补充注释4)
根据补充注释3所述的移动物体操作系统，其中，所述飞行器是无人机。
(补充注释5)
根据补充注释1至4中任一项所述的移动物体操作系统，其中，
所述人的动作信息包括动作类型和动作程度，
所述移动物体的移动信息包括移动类型和移动程度，以及
所述操作信号信息包括要指示的移动类型和要指示的移动程度。
(补充注释6)
根据补充注释1至5中任一项所述的移动物体操作系统，其中，
所述操作信号发送器还包括：
声音信息获取单元，获取人的声音信息，
所述转换单元基于所述转换信息将获取到的声音信息转换为对所述移动物体的操作信号，以及
所述转换信息还包括人的声音信息，并且所述声音信息和所述操作信号信息彼此相关联。
(补充注释7)
根据补充注释1至6中任一项所述的移动物体操作系统，其中，
所述移动物体还包括：
图像信息获取单元，获取图像信息；以及
图像信息发送单元，将获取到的图像信息发送给所述操作信号发送器，以及
操作信号发送器还包括：
图像信息接收单元，接收从移动物体发送的图像信息；以及
显示单元，显示所述图像信息。
(补充注释8)
根据补充注释7所述的移动物体操作系统，其中，所述移动物体的图像信息获取单元是相机。
(补充注释9)
根据补充注释7或8所述的移动物体操作系统，其中，所述操作信号发送器的显示单元是人可穿戴显示器。
(补充注释10)
根据补充注释7至9中任一项所述的移动物体操作系统，其中，
所述操作信号发送器还包括：
位置预测单元，基于所述图像信息接收单元接收的图像信息来预测预定时间段之后所述移动物体的位置，
所述显示单元显示所述图像信息接收单元接收的图像信息和所述位置预测单元获得的预测位置信息。
(补充注释11)
一种针对移动物体的操作信号发送系统，包括：
存储单元，包含转换信息；
动作信息获取单元，获取操作者的动作信息；
转换单元，基于所述转换信息将获取到的动作信息转换为对移动物体的操作信号；以及
信号发送单元，将所述操作信号发送给所述移动物体，其中，
所述转换信息包括人的动作信息、移动物体的移动信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息、所述移动物体的移动信息和所述操作信号信息彼此相关联，以及
所述人的动作信息是形象化描绘所述移动物体的移动的动作信息。
(补充注释12)
根据补充注释11所述的操作信号发送系统，其中，所述人的动作信息是利用人体模仿所述移动物体的移动的动作信息。
(补充注释13)
根据补充注释11或12所述的操作信号发送系统，其中，所述移动物体是飞行器。
(补充注释14)
根据补充注释13所述的操作信号发送系统，其中，所述飞行器是无人机。
(补充注释15)
根据补充注释11至14中任一项所述的操作信号发送系统，其中，
所述人的动作信息包括动作类型和动作程度，
所述移动物体的移动信息包括移动类型和移动程度，以及
所述操作信号信息包括要指示的移动类型和要指示的移动程度。
(补充注释16)
根据补充注释11至15中任一项所述的操作信号发送系统，还包括：
声音信息获取单元，获取人的声音信息，其中，
所述转换单元基于所述转换信息将获取到的声音信息转换为对所述移动物体的操作信号，以及
所述转换信息还包括人的声音信息，并且所述声音信息和所述操作信号信息彼此相关联。
(补充注释17)
根据补充注释11至16中任一项所述的操作信号发送系统，还包括：
图像信息接收单元，接收从所述移动物体发送的图像信息；以及
显示单元，显示所述图像信息。
(补充注释18)
根据补充注释17所述的操作信号发送系统，其中，所述显示单元是人可穿戴显示器。
(补充注释19)
根据补充注释17或18所述的操作信号发送系统，包括：
信息获取终端；以及
服务器，其中
所述终端和所述服务器能够经由通信网络连接，
所述终端包括：
所述动作信息获取单元，以及
所述服务器包括：
所述存储单元；
所述转换单元；以及
所述信号发送单元。
(补充注释20)
根据补充注释19所述的操作信号发送系统，其中，所述信息获取终端还包括声音信息获取单元。
(补充注释21)
根据补充注释19或20所述的操作信号发送系统，还包括：
显示终端，其中，
所述显示终端包括：
所述图像信息接收单元；以及
所述显示单元。
(补充注释22)
根据补充注释17至21中任一项所述的移动物体操作系统，还包括：
位置预测单元，基于所述图像信息接收单元接收的图像信息来预测预定时间段之后所述移动物体的位置，其中，
所述显示单元显示所述图像信息接收单元接收的图像信息和所述位置预测单元获得的预测位置信息。
(补充注释23)
一种移动物体操作方法，所述方法使用移动物体和根据补充注释11至22中任一项所述的操作信号发送系统，所述方法包括以下步骤：
通过所述系统获取操作者的动作信息；
通过所述系统基于转换信息将获取到的动作信息转换为对所述移动物体的操作信号；
通过所述系统将所述操作信号发送给所述移动物体；以及
通过所述移动物体接收所发送的所述操作信号，其中，
所述转换信息包括人的动作信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息和所述操作信号信息彼此相关联，以及
所述人的动作信息是形象化描绘所述移动物体的移动的动作信息。
(补充注释24)
根据补充注释23所述的方法，其中，所述人的动作信息是利用人体模仿所述移动物体的移动的动作信息。
(补充注释25)
根据补充注释23或24所述的方法，其中，所述移动物体是飞行器。
(补充注释26)
根据补充注释25所述的方法，其中，所述飞行器是无人机。
(补充注释27)
根据补充注释23至26中任一项所述的方法，其中，
所述人的动作信息包括动作类型和动作程度，
所述移动物体的移动信息包括移动类型和移动程度，以及
所述操作信号信息包括要指示的移动类型和要指示的移动程度。
(补充注释28)
根据补充注释23至27中任一项所述的方法，还包括以下步骤：
通过所述系统获取人的声音信息，其中，
在转换步骤中基于所述转换信息将获取到的声音信息转换为对所述移动物体的操作信号，以及
所述转换信息还包括人的声音信息，并且所述声音信息和所述操作信号信息彼此相关联。
(补充注释29)
根据补充注释23至28中任一项所述的方法，还包括以下步骤：
通过所述移动物体获取图像信息；
通过所述移动物体将获取到的所述图像信息发送给所述系统；
通过所述系统接收从所述移动物体发送的所述图像信息；以及
通过所述系统显示所述图像信息。
(补充注释30)
根据补充注释29所述的方法，其中，
在图像信息获取步骤中通过相机获取图像信息。
(补充注释31)
根据补充注释29或30所述的方法，其中，
在显示步骤中，将所述图像信息显示在人可穿戴显示器上。
(补充注释32)
根据补充注释29至31中任一项所述的方法，还包括以下步骤：
通过所述系统，基于在图像信息接收步骤中接收到的图像信息，预测预定时间段之后所述移动物体的位置，其中，
在显示步骤中显示图像信息接收步骤中接收到的图像信息和位置预测步骤中获得的预测位置信息。
(补充注释33)
一种程序，能够在计算机上执行根据补充注释23至32中任一项所述的移动物体操作方法。
(补充注释34)
一种计算机可读记录介质，记录有根据补充注释33所述的程序。
本申请要求2016年7月29日提交的日本专利申请No.2016-150569的优先权。该日本专利申请的全部内容通过引用并入本文。
工业实用性
根据本发明，可以实现对移动物体的更容易的操作。
附图标记列表
1 移动物体操作系统，
10 操作信号发送器，
20 移动物体，
11 主体，
12、13 终端，
101 存储单元
102 动作信息获取单元，
103 转换单元，
104 信号发送单元，
105 声音信息获取单元，
106 图像信息接收单元，
107 显示单元，
108 位置预测单元，
201 信号接收单元，
202 图像信息获取单元，
203 图像信息发送单元，
30 显示屏幕，
41 建筑物，
42 树。

Claims (8)

1.一种移动物体操作系统，包括：
移动物体；以及
针对所述移动物体的操作信号发送器，其中，
所述移动物体包括：
信号接收单元，从所述操作信号发送器接收操作信号，所述操作信号发送器包括：
存储单元，包含转换信息；
动作信息获取单元，获取操作者的动作信息；
转换单元，基于所述转换信息将获取到的动作信息转换为对所述移动物体的操作信号；以及
信号发送单元，将所述操作信号发送给所述移动物体，
所述转换信息包括人的动作信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息和所述操作信号信息彼此相关联，
所述人的动作信息是形象化描绘所述移动物体的移动的动作信息，
所述人的动作信息包括动作类型和动作程度，
所述移动物体的移动信息包括移动类型和移动程度，
所述操作信号信息包括要指示的移动类型和要指示的移动程度，
所述移动物体还包括：
图像信息获取单元，获取图像信息；以及
图像信息发送单元，将获取到的图像信息发送给所述操作信号发送器，
所述操作信号发送器还包括：
图像信息接收单元，接收从所述移动物体发送的图像信息；
显示单元，显示所述图像信息；以及
位置预测单元，基于所述图像信息接收单元接收的图像信息来预测预定时间段之后所述移动物体的位置，以及
所述显示单元显示所述图像信息接收单元接收的图像信息和所述位置预测单元获得的预测位置信息。
2.根据权利要求1所述的移动物体操作系统，其中，所述人的动作信息是利用人体模仿所述移动物体的移动的动作信息。
3.根据权利要求1或2所述的移动物体操作系统，其中，所述移动物体是飞行器。
4.根据权利要求3所述的移动物体操作系统，其中，所述飞行器是无人机。
5.根据权利要求1或2所述的移动物体操作系统，其中，
所述操作信号发送器还包括：
声音信息获取单元，获取人的声音信息，
所述转换单元基于所述转换信息将获取到的声音信息转换为对所述移动物体的操作信号，以及
所述转换信息还包括人的声音信息，并且所述声音信息和所述操作信号信息彼此相关联。
6.一种针对移动物体的操作信号发送系统，包括：
存储单元，包含转换信息；
动作信息获取单元，获取操作者的动作信息；
转换单元，基于所述转换信息将获取到的动作信息转换为对移动物体的操作信号；以及
信号发送单元，将所述操作信号发送给所述移动物体，其中，
所述转换信息包括人的动作信息、移动物体的移动信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息、所述移动物体的移动信息和所述操作信号信息彼此相关联，
所述人的动作信息是形象化描绘所述移动物体的移动的动作信息，
所述人的动作信息包括动作类型和动作程度，
所述移动物体的移动信息包括移动类型和移动程度，
所述操作信号信息包括要指示的移动类型和要指示的移动程度，
所述操作信号发送系统还包括：
图像信息接收单元，接收从所述移动物体发送的、由所述移动物体获取的图像信息；
显示单元，显示所述图像信息；以及
位置预测单元，基于所述图像信息接收单元接收的图像信息来预测预定时间段之后所述移动物体的位置，以及
所述显示单元显示所述图像信息接收单元接收的图像信息和所述位置预测单元获得的预测位置信息。
7.一种移动物体操作方法，所述方法使用移动物体和根据权利要求6所述的操作信号发送系统，所述方法包括以下步骤：
通过所述系统获取操作者的动作信息；
通过所述系统基于转换信息将获取到的动作信息转换为对所述移动物体的操作信号；
通过所述系统将所述操作信号发送给所述移动物体；以及
通过所述移动物体接收所发送的所述操作信号，其中，
所述转换信息包括人的动作信息和用于指示所述移动物体如何移动的操作信号信息，并且所述人的动作信息和所述操作信号信息彼此相关联，
所述人的动作信息是形象化描绘所述移动物体的移动的动作信息，
所述人的动作信息包括动作类型和动作程度，
所述移动物体的移动信息包括移动类型和移动程度，
所述操作信号信息包括要指示的移动类型和要指示的移动程度，
其中，所述方法还包括以下步骤：
通过所述移动物体获取图像信息；
通过所述移动物体将获取到的图像信息发送给所述系统；
通过所述系统接收从所述移动物体发送的图像信息；
通过所述系统显示所述图像信息；
通过所述系统基于接收的图像信息来预测预定时间段之后所述移动物体的位置；以及
通过所述系统显示接收的图像信息和预测位置信息。
8.一种记录有程序的非暂时性计算机可读记录介质，所述程序能够执行根据权利要求7所述的移动物体操作方法。
CN201780046911.XA 2016-07-29 2017-06-08 移动物体操作系统、操作信号发送系统、移动物体操作方法、程序和记录介质 Active CN109564428B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-150569 2016-07-29
JP2016150569 2016-07-29
PCT/JP2017/021356 WO2018020853A1 (ja) 2016-07-29 2017-06-08 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
CN109564428A CN109564428A (zh) 2019-04-02
CN109564428B true CN109564428B (zh) 2022-05-31

Family

ID=61015920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780046911.XA Active CN109564428B (zh) 2016-07-29 2017-06-08 移动物体操作系统、操作信号发送系统、移动物体操作方法、程序和记录介质

Country Status (5)

Country Link
US (1) US11415980B2 (zh)
EP (1) EP3493011B1 (zh)
JP (2) JP6820066B2 (zh)
CN (1) CN109564428B (zh)
WO (1) WO2018020853A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7396639B2 (ja) * 2019-10-29 2023-12-12 Ｎｅｃソリューションイノベータ株式会社 移動体制御装置、移動体制御方法、及びプログラム
JP7384513B2 (ja) 2019-10-29 2023-11-21 Ｎｅｃソリューションイノベータ株式会社 移動体制御装置、移動体制御方法、及びプログラム
WO2023119986A1 (ja) * 2021-12-21 2023-06-29 株式会社クボタ 農業機械、および、農業機械に用いるジェスチャ認識システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262477A (ja) * 2009-05-07 2010-11-18 Ihi Corp 遠隔操縦システム
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN103620527A (zh) * 2011-05-10 2014-03-05 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
CN104748730A (zh) * 2015-04-15 2015-07-01 中测新图(北京)遥感技术有限责任公司 测定无人机中航测相机曝光时刻的装置及方法
CN105222761A (zh) * 2015-10-29 2016-01-06 哈尔滨工业大学 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999185A (en) * 1992-03-30 1999-12-07 Kabushiki Kaisha Toshiba Virtual reality control using image, model and control data to manipulate interactions
JPH06152440A (ja) 1992-11-13 1994-05-31 Japan Aviation Electron Ind Ltd 遠隔操縦用送信機
JPH089224A (ja) 1994-06-14 1996-01-12 I C Denshi Kogyo Kk ラジコン機用バーチャル映像システム
JP3734045B2 (ja) * 1995-08-10 2006-01-11 株式会社セガ 仮想画像生成方法及びその装置
JP3138423B2 (ja) * 1996-02-20 2001-02-26 株式会社ナムコ シミュレーション装置
JP3126944B2 (ja) * 1997-10-24 2001-01-22 コナミ株式会社 ビデオゲームシステムおよびそのゲームを実行するためのプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP3648526B2 (ja) * 2000-01-18 2005-05-18 株式会社テムザック ロボット遠隔制御装置およびロボット装置
US7071914B1 (en) * 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
KR100776215B1 (ko) * 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
JP2007188309A (ja) 2006-01-13 2007-07-26 Nippon Telegr & Teleph Corp <Ntt> 移動物体操縦装置および方法
US8214098B2 (en) 2008-02-28 2012-07-03 The Boeing Company System and method for controlling swarm of remote unmanned vehicles through human gestures
JP5264335B2 (ja) * 2008-07-10 2013-08-14 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム装置の制御方法、及びプログラム
FR2935214B1 (fr) * 2008-08-20 2010-10-08 Eads Europ Aeronautic Defence Procede et un dispositif de commande, a distance, d'une camera embarquee dans une station mobile
FR2938774A1 (fr) 2008-11-27 2010-05-28 Parrot Dispositif de pilotage d'un drone
JP2010158350A (ja) 2009-01-07 2010-07-22 Sega Toys:Kk ヘリコプター玩具
US7983450B2 (en) * 2009-03-16 2011-07-19 The Boeing Company Method, apparatus and computer program product for recognizing a gesture
US9052710B1 (en) * 2009-03-20 2015-06-09 Exelis Inc. Manipulation control based upon mimic of human gestures
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8676498B2 (en) * 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
WO2013049248A2 (en) 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
KR101888491B1 (ko) * 2012-01-11 2018-08-16 삼성전자주식회사 가상 공간 이동 장치 및 방법
CN104040463B (zh) * 2012-01-13 2017-02-22 索尼公司 信息处理设备和信息处理方法、以及计算机程序
US20130293362A1 (en) 2012-05-03 2013-11-07 The Methodist Hospital Research Institute Multi-degrees-of-freedom hand controller
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US9870716B1 (en) * 2013-01-26 2018-01-16 Ip Holdings, Inc. Smart glasses and smart watches for real time connectivity and health
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
US20140379178A1 (en) 2013-06-24 2014-12-25 Honeywell International Inc. System and method for fine positioning of vtol stare point
WO2015040893A1 (ja) 2013-09-19 2015-03-26 Ｎｅｃソリューションイノベータ株式会社 移動状況提示装置及び移動状況提示方法
US9211644B1 (en) * 2013-10-25 2015-12-15 Vecna Technologies, Inc. System and method for instructing a device
GR20130100619A (el) * 2013-10-25 2015-05-18 Ιωαννης Γεωργιου Μικρος Μικρη πτηνομορφη πτητικη συσκευη και εφαρμογες
US9581443B2 (en) * 2014-03-17 2017-02-28 Ronald D. Shaw Surveying system
CN103884335A (zh) * 2014-04-09 2014-06-25 北京数联空间科技股份有限公司 基于二维码地理信息标志的遥感与摄影测量定位方法
US10768708B1 (en) * 2014-08-21 2020-09-08 Ultrahaptics IP Two Limited Systems and methods of interacting with a robotic tool using free-form gestures
JP6329469B2 (ja) 2014-09-17 2018-05-23 株式会社東芝 認識装置、認識方法及び認識プログラム
JP6310093B2 (ja) * 2014-11-12 2018-04-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標物体の検出方法、検出装置及びロボット
US10514687B2 (en) * 2015-01-08 2019-12-24 Rethink Robotics Gmbh Hybrid training with collaborative and conventional robots
JP2016150569A (ja) 2015-02-19 2016-08-22 ユニチカ株式会社 加飾樹脂成型体
CA2882968C (en) * 2015-02-23 2023-04-25 Sulfur Heron Cognitive Systems Inc. Facilitating generation of autonomous control information
EP3283843B1 (en) * 2015-04-01 2024-01-10 Vayavision Sensing Ltd. Generating 3-dimensional maps of a scene using passive and active measurements
US9836117B2 (en) * 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
KR101645245B1 (ko) * 2015-07-20 2016-08-04 한국원자력연구원 원자력 시설의 해체 작업 시뮬레이션 장치 및 그 방법
CN105223959B (zh) * 2015-09-28 2018-07-13 佛山市南海区广工大数控装备协同创新研究院 一种无人机手套控制系统及控制方法
US20180072226A1 (en) * 2016-03-16 2018-03-15 Jesse Clement Bunch Extended perception system
CN106020492A (zh) * 2016-06-07 2016-10-12 赵武刚 通过手的动作与手势产生遥控无人机及附件的信号的方法
US10745132B1 (en) * 2016-06-28 2020-08-18 Amazon Technologies, Inc. Tow control handle for unmanned aerial vehicle
US11404056B1 (en) 2016-06-30 2022-08-02 Snap Inc. Remoteless control of drone behavior
WO2018020744A1 (ja) * 2016-07-29 2018-02-01 Ｎｅｃソリューションイノベータ株式会社 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
TWI611129B (zh) 2017-03-07 2018-01-11 峻億貿易股份有限公司 單表單圈旋鈕式調壓閥

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262477A (ja) * 2009-05-07 2010-11-18 Ihi Corp 遠隔操縦システム
CN103620527A (zh) * 2011-05-10 2014-03-05 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN104748730A (zh) * 2015-04-15 2015-07-01 中测新图(北京)遥感技术有限责任公司 测定无人机中航测相机曝光时刻的装置及方法
CN105222761A (zh) * 2015-10-29 2016-01-06 哈尔滨工业大学 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统

Also Published As

Publication number Publication date
EP3493011A1 (en) 2019-06-05
JP2020126666A (ja) 2020-08-20
WO2018020853A1 (ja) 2018-02-01
JP6820066B2 (ja) 2021-01-27
US11415980B2 (en) 2022-08-16
EP3493011A4 (en) 2020-01-22
EP3493011B1 (en) 2022-09-14
JPWO2018020853A1 (ja) 2019-07-04
US20210318679A1 (en) 2021-10-14
CN109564428A (zh) 2019-04-02
JP6844898B2 (ja) 2021-03-17

Similar Documents

Publication Publication Date Title
US20220091607A1 (en) Systems and methods for target tracking
US10168700B2 (en) Control of an aerial drone using recognized gestures
CN106716272B (zh) 用于飞行模拟的系统和方法
CN109445464B (zh) 一种飞行控制方法及飞行控制系统
JP6844898B2 (ja) 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
CN110114125B (zh) 无人机操纵系统、操纵信号发射器组和无人机操纵方法
JP2017503226A5 (zh)
CN106020234B (zh) 一种无人机飞行控制的方法、装置及设备
WO2021259252A1 (zh) 飞行模拟方法、装置、电子设备及无人机
US11467572B2 (en) Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium
EP3399380A1 (en) Somatosensory remote controller, somatosensory remote control flight system and method, and remote control method
CN111194433A (zh) 用于构图和捕捉图像的方法和系统
JP2018129063A (ja) 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
US20210181769A1 (en) Movable platform control method, movable platform, terminal device, and system
CN110637340A (zh) 无人机的扬声器控制方法和设备
US10882617B2 (en) Aircraft based augmented and virtual reality passenger social media interaction system and related method
Srivatsa et al. V 3-A Gesture Controlled Drone
EP4309999A1 (en) Flight control system
CN113160371A (zh) 飞行模拟方法、装置、智能终端及计算机可读存储介质
CN113212777A (zh) 载人飞行器体感控制方法、系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant