CN112703748B - 信息处理装置、信息处理方法以及程序记录介质 - Google Patents

Abstract

控制器(200)具备处理器(202)和存储器(203)，存储器(203)，存储由无人飞行体(100)的摄像头(103)输出的摄像图像以及由无人飞行体(100)的指向性麦克风(105)输出的声音，并且存储摄像头的位置和姿势、以及指向性麦克风的位置和姿势，处理器，从存储器获得摄像图像、声音、摄像头的位置和姿势、以及指向性麦克风的位置和姿势，利用摄像头的位置和姿势以及指向性麦克风的位置和姿势，算出指向性麦克风的拾音方向，在摄像图像上的与被算出的拾音方向对应的位置上，重叠示出拾音方向的标记，使显示装置显示重叠了标记的摄像图像。

Description

信息处理装置、信息处理方法以及程序记录介质

技术领域

本公开涉及信息处理装置、信息处理方法以及程序。

背景技术

在专利文献1中公开了一种远程操作系统，使地上装置显示如下图像，在地上的人操作的无人驾驶直升机上搭载的摄像装置拍摄的影像上，重叠了示出摄像装置的光学系统的朝向的角度信息的图像。

(现有技术文献)

(专利文献)

专利文献1∶日本特开2001-309233号公报

然而，在专利文献1的技术中，没有设想在无人飞行体搭载获得声音的麦克风的情况。声音不能通过视觉来识别，所以即使提供了影像，但是以能够获得品质高的目标声音的方式来操作无人飞行体存在困难。

发明内容

于是本公开提供一种能够提高利用由用户操作的无人飞行体拾音的质量的信息处理装置，信息处理方法以及程序。

本公开涉及的信息处理装置，具备处理器和存储器，所述存储器，存储摄像图像以及声音，所述摄像图像由无人飞行体具备的摄像头输出，所述声音由所述无人飞行体具备的指向性麦克风输出，存储所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，所述处理器，从所述存储器获得所述摄像图像、所述声音、所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，利用所述摄像头的位置和姿势以及所述指向性麦克风的位置和姿势，算出所述指向性麦克风的拾音方向，在所述摄像图像上的与被算出的所述拾音方向对应的位置上，重叠示出所述拾音方向的标记，使显示装置显示重叠了所述标记的摄像图像。

另外，这些概括或者具体的方案，可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现，也可以任意组合系统、方法、集成电路、计算机程序以及记录介质来实现。

本公开涉及的信息处理装置，信息处理方法以及程序，能够提高利用由用户操作的无人飞行体拾音的质量。

附图说明

图1是示出实施方式涉及的无人飞行体以及控制器的外形的图。

图2是实施方式涉及的无人飞行体的俯视图。

图3是示出无人飞行体的摄像头的摄像范围、以及指向性麦克风的拾音方向的图。

图4是示出实施方式涉及的无人飞行体以及控制器的构成的方框图。

图5是用于说明在执行拾音处理的情况下的由方向转换部转换的操作的图。

图6是用于说明将拾音方向的速度指示分解为上下移动成分以及前后移动成分的处理的图。

图7是示出作为声源的人映出的摄像图像的一例的图。

图8是示出重叠了标记的摄像图像的一例的图。

图9是示出在第1场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。

图10是示出在第2场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。

图11是示出在第3场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。

图12是示出在第4场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。

图13是示出在第5场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。

图14是示出在第6场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。

图15是示出在第7场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。

图16是示出在第8场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。

图17是示出实施方式涉及的拾音处理中的无人飞行体以及控制器的动作例的序列图。

图18是表示实施方式涉及的控制器中的图像处理的细节的流程图。

图19是示出实施方式涉及的无人飞行体的操作的转换处理中的无人飞行体以及控制器的动作例的序列图。

具体实施方式

(成为本公开的基础的见解)

近几年讨论使具有螺旋桨的无人飞行体拾音，从而将无人飞行体作为能够移动的交流工具来利用的方式，该螺旋桨是能够获得飞行的推进力的螺旋桨。这样在无人飞行体搭载的麦克风来拾音的情况下，不仅是目标声音，无人飞行体的螺旋桨旋转而发出的声音为主的无人飞行体自身发出的噪音也会收集。因此，为了降低收集噪音，可以想到使用指向性麦克风来拾音。

在无人飞行体搭载指向性麦克风的情况下，因为无人飞行体在上空飞行，为了将指向性麦克风的拾音范围朝向目标声音的声源，指向性麦克风优选的是以从无人飞行体的机体朝向斜下方的状态被固定在机体。此外，从无人飞行体轻量化的观点上，可以考虑配置少量的指向性麦克风。因此，搭载在无人飞行体的指向性麦克风的拾音范围被限定为特定的范围。因而，需要使机体移动到声源进入指向性麦克风的拾音范围内的位置。

在专利文献1的技术中，使地上装置显示由摄像装置拍摄的影像上重叠了示出摄像装置的光学系统的朝向的角度信息的图像。这样显示重叠了角度信息的图像，从而能够实现提高摄影装置的操作性和移动体的操纵性。

然而，在专利文献1的技术中，没有设想在无人飞行体搭载获得声音的麦克风的情况。因此，难以判断声源是否进入到指向性麦克风的拾音范围内，难以将无人飞行体移动从而声源进入到指向性麦克风的拾音范围内。

为了解决上述问题，本公开的一个方案涉及的无人飞行体，具备处理器和存储器，所述存储器，存储摄像图像以及声音，所述摄像图像由无人飞行体具备的摄像头输出，所述声音由所述无人飞行体具备的指向性麦克风输出，存储所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，所述处理器，从所述存储器获得所述摄像图像、所述声音、所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，利用所述摄像头的位置和姿势以及所述指向性麦克风的位置和姿势，算出所述指向性麦克风的拾音方向，在所述摄像图像上的与被算出的所述拾音方向对应的位置上，重叠示出所述拾音方向的标记，使显示装置显示重叠了所述标记的摄像图像。

通过上述，能够使显示装置显示如下摄像图像，即在无人飞行体的摄像头输出的摄像图像上的与被算出的拾音方向对应的位置上，重叠了示出指向性麦克风的拾音方向的标记的摄像图像，从而能够向用户传达在摄像图像上的指向性麦克风的拾音方向的位置。就是说能够将指向性麦克风的拾音方向可视化。因此，用户一边看显示在显示装置的图像，一边以标记符合目标声音的声源的方式操作无人飞行体，从而容易使指向性麦克风的拾音方向朝向声源。从而，能够提高利用由用户操作的无人飞行体拾音的质量。

此外可以是，所述处理器，将所述指向性麦克风拾音时成为基准的方向，作为所述拾音方向来算出。

因此，用户一边看显示在显示装置的图像，一边以标记符合声源的方式操作无人飞行体，从而容易使指向性麦克风拾音时成为基准的方向朝向声源。从而，能够提高利用由用户操作的无人飞行体拾音的质量。

此外可以是，所述处理器，进一步，获得到所述摄像图像中映出的物体为止的测量距离，利用被算出的拾音方向以及获得的所述测量距离，进一步算出在所述物体的位置上的所述指向性麦克风的拾音范围，将示出被算出的所述拾音范围的标记，作为示出所述拾音方向的所述标记来重叠到所述摄像图像。

因此，用户一边看显示在显示装置的图像，一边以标记符合声源的方式操作无人飞行体，从而容易使声源在指向性麦克风的拾音范围内。从而，能够提高利用由用户操作的无人飞行体拾音的质量。

此外可以是，所述处理器，对所述无人飞行体的移动方向与所述拾音方向建立对应，根据建立对应的结果，对所述无人飞行体的移动进行控制。

因此，无人飞行体的移动被控制为向着以拾音方向为基准的方向，所以能够以指向性麦克风的拾音方向对准声源的状态下移动。

此外可以是，所述处理器，接受与所述无人飞行体的移动有关的操作输入，根据所述建立对应的结果对所述操作输入进行转换，从而对所述无人飞行体的移动进行控制。

通过上述，用户能够容易将无人飞行体移动到以拾音方向为基准的方向，所以能够以指向性麦克风的拾音方向对准声源的状态下使无人飞行体移动。

此外可以是，所述处理器，在被算出的所述拾音方向在所述摄像头的摄像范围外的情况下，将示出从所述摄像范围看时的所述拾音方向的朝向的标记，重叠到所述摄像图像。

因此，用户一边看显示在显示装置的图像，一边操作无人飞行体使其向着标记示出的方向，从而能够容易将指向性麦克风的拾音方向向着声源。从而，能够提高拾音的质量。

此外例如是，所述处理器，进一步获得与所述指向性麦克风的拾音质量对应的设定距离，根据获得的到所述摄像图像中映出的物体为止的测量距离、与获得的所述设定距离之间的差分，对示出所述拾音方向的所述标记的显示形态进行控制。

因此，例如在根据从物体到指向性麦克风的距离被预测为拾音质量是高质量的情况和预测为低质量的情况下，在显示装置显示不同显示形态的标记。因而，用户一边看显示在显示装置的图像一边操作无人飞行体使标记成为高质量的显示形态，从而能够提高从指向性麦克风获得的目标声音的拾音的质量。

此外可以是，所述处理器，在所述差分为阈值以上的情况下、或者在所述测量距离的可测量范围内不存在物体的情况下，对示出所述拾音方向的所述标记的显示形态进行固定。

通过上述，在拾音质量为规定的质量以下的情况下，固定标记的显示形态，所以能够减少用于变更显示形态的处理负载。

另外，这些概括或者具体的方案，可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现，也可以任意组合系统、方法、集成电路、计算机程序或者记录介质来实现。

以下，本发明的一个方案涉及的无人飞行体，参考附图进行具体说明。

另外，以下说明的实施方式都是示出本公开的一个具体例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等均为一个例子，其主旨并非是对本发明进行限定。此外，以下的实施方式中的构成要素中，示出最上位概念的技术方案没有记载的构成要素，作为任意的构成要素而被说明。

(实施方式)

以下说明实施方式。

[1.构成]

图1是示出实施方式涉及的无人飞行体以及控制器的外形的图。图2是实施方式涉及的无人飞行体的俯视图。

如图1以及图2示出，无人飞行体100，从控制器200接收与用户针对控制器200进行的操作输入(以下称为“操作”。)对应的操作信号，按照接收的操作信号进行飞行。此外，无人飞行体100也可以在飞行的状态下，按照接收的操作信号利用无人飞行体100具备的摄像头103进行拍摄。摄像头103拍摄的摄像图像，可以发送到控制器200，也可以发送到智能手机等的便携式终端。

控制器200，接受来自用户的操作，将与接受的操作对应的操作信号发送给无人飞行体100。控制器200，具备显示器204。显示器204，例如显示从无人飞行体100接收的摄像图像。另外，控制器200，通过与智能手机等便携式终端连接，从而可以将便携式终端的显示器作为显示器204来使用。

从而，用户能够由控制器200的显示器204实时地确认无人飞行体100的摄像头103拍摄的摄像图像，并且操作控制器200，从而能够变更作为无人飞行体100的飞行中的位置以及姿势的至少一方的飞行状态。因此，用户能够自由地变更由无人飞行体100的摄像头103拍摄的摄像范围。

无人飞行体100具备4个产生器110、机体120、4个臂部121。

4个产生器110的每一个产生使无人飞行体100飞行的力。4个产生器110的每一个具体而言使气流产生，从而产生使无人飞行体100飞行的力。4个产生器110分别具有通过旋转产生气流的旋转翼111以及使旋转翼111旋转的执行器112。旋转翼111以及执行器112具有与铅直方向大致平行的旋转轴，产生从旋转翼111的上方流向下方的气流。从而4个产生器110，产生使无人飞行体100向上方浮出的推力，产生使无人飞行体100飞行的力。执行器112，例如是以旋转翼111的旋转轴旋转的电动机。

4个产生器110，从上方看的情况下，以机体120的重心为中心，以90度的角度为间隔被分别配置。换言之，4个产生器110，以包围机体120的环状的方式排列配置。

另外，关于4个产生器110的各自具有的旋转翼111，图中示出由1个螺旋桨构成的例子，但是不限于此，也可以由2个螺旋桨在同一旋转轴上彼此反转的反转螺旋桨构成。此外，产生器110只要能够飞行，数量可以是小于4个，也可以是5个以上。

机体120，例如是圆柱形状的盒状的部件，换言之是框体，在内部配置有处理器、存储器、蓄电池、各种传感器等电子设备。另外，机体120的形状，不仅限于圆柱形状，也可以是四角柱等其他形状的盒状的形状。

此外，在机体120的外部，配置有摄像头103以及指向性麦克风105。例如，指向性麦克风105的配置位置如下，从上方看无人飞行体100的情况下，朝向环状排列的4个产生器110中彼此相邻的2个产生器110之间的方向，而被固定在机体120。换言之，指向性麦克风105以机体120为中心，被配置在以朝向一个产生器110的方向为基准时偏离45°的方向上。指向性麦克风105，例如向着无人飞行体100的前方，而被固定在机体120。此外，在从水平方向看无人飞行体100时，指向性麦克风105以朝向斜下方的方式固定在机体120。

此外，4个臂部121是从机体120分别朝向4个产生器110延伸，在前端固定有4个产生器110的部件。换言之，4个臂部121的一端，被固定在机体120，在4个臂部的另一端，分别固定有4个产生器110。

图3是示出无人飞行体的摄像头的摄像范围、以及指向性麦克风的拾音方向的图。

如图3示出，摄像头103，以相对于水平方向拍摄斜下方的摄像范围130的方式，固定在机体120。摄像范围130，例如是以摄像头103的位置为顶点的大致四角锥形状的范围。摄像范围130，在从水平方向看的平面视时，被规定为从范围上限131到范围下限132的角度范围。此外，指向性麦克风105，以朝向拾音方向153的方式，固定在机体120，拾音方向153是从水平方向向斜下方倾斜了角度θ的方向。指向性麦克风105的拾音范围150是以拾音方向153为中心轴，以指向性麦克风105的位置为顶点的大致圆锥形状的范围。拾音范围150，在从水平方向看的平面视时，被规定为从范围上限151到范围下限152的角度范围。在水平方向看的平面视时，拾音范围150的角度范围，可以是比规定摄像头103的摄像范围的视角小的角度范围。

图4是示出实施方式涉及的无人飞行体以及控制器的构成的方框图。具体而言，图4是用于说明无人飞行体100以及控制器200的各自具备的硬件构成以及处理器101、202的功能的方框图。

首先，对无人飞行体100进行说明。无人飞行体100具备处理器101、传感器102、摄像头103、测距传感器104、指向性麦克风105、存储器106、通信IF(Interface)107、以及4个产生器110。

处理器101，获得由包括传感器102、具有摄像头103的图像传感器、测距传感器104、指向性麦克风105等的各种传感器检测出的检测结果、以及由通信IF107的接收结果等，针对获得的检测结果或者接收结果，执行在存储器106或未图示的存储器中存储的规定的程序从而执行各种处理。从而，处理器101能够控制4个产生器110、摄像头103以及通信IF107中的至少1个。

传感器102，例如是包括加速度传感器、陀螺传感器、气压传感器、地磁传感器、GPS(Global Positioning System)接收机等的传感器。

加速度传感器是检测无人飞行体100的向不同的3个方向分别施加的加速度的传感器。加速度传感器是检测无人飞行体100的姿势的姿势传感器的一例。

陀螺传感器是检测围绕以无人飞行体100的不同的3个方向为轴的3个轴的每一个的旋转的角速度的传感器。陀螺传感器是检测无人飞行体100的姿势的姿势传感器的一例。

气压传感器是检测无人飞行体100的周围的环境的气压的传感器。

地磁传感器是检测无人飞行体100的成为基准的方向的方位的传感器。成为基准的方向，例如可以是无人飞行体100的前方。地磁传感器是检测无人飞行体100的姿势的姿势传感器的一例。

GPS接收机，从包括GPS卫星的人造卫星，接收示出该GPS接收机的位置的信息。也就是说，GPS接收机检测无人飞行体100的当前位置。另外，发出GPS接收机接收的信息的人造卫星，只要是对应GNSS(Global Navigation Satellite System)的卫星就可以，不限于GPS卫星。

摄像头103是具有透镜等光学系统以及图像传感器的设备。摄像头103，针对机体120可以固定相对的朝向，也可以针对机体120自由地变更相对的朝向。在后者的情况下，摄像头103可以由平衡架(未图示)来支承，该平衡架用于将摄像头103的围绕三轴方向的姿势保持为一定。平衡架是用于即使无人飞行体100的姿势发生变化，也将摄像头103的姿势维持为例如相对于地球坐标系所希望的姿势的设备。在此所希望的姿势可以是根据从控制器200接收的操作信号包括的摄像头103的拍摄方向而决定的姿势。

测距传感器104是检测从测距传感器104到周围的物体为止的距离的传感器。测距传感器104，例如可以设置在摄像头103的图像传感器的各个像素。在这个情况下，摄像头103例如是深度摄像头。此外，测距传感器104可以是超声波传感器、TOF(Time Of Flight)摄像头、LIDAR(Light Detection and Ranging)等。

指向性麦克风105是具有指向性的麦克风，其特性是在以特定的方向(以下称为“拾音方向”)为基准的规定的角度范围即拾音范围，比在拾音范围以外的角度范围，能够收集高质量的声音。规定的角度范围例如是90°以下的角度范围，并且是以指向性麦克风105的位置为基准的具有扩展的三维的角度范围。三维的角度范围，例如以拾音方向为轴，从指向性麦克风105的位置越远离则越扩展的大致圆锥形状。指向性麦克风105，可以由具有多个麦克风元件的麦克风阵列来构成。指向性麦克风105通过拾音生成声音数据，并输出生成的声音数据。

存储器106存储示出摄像头103相对于无人飞行体100的机体120的位置以及姿势的信息、示出指向性麦克风105相对于机体120的位置以及姿势的信息、示出指向性麦克风105的拾音方向、拾音范围以及拾音推荐距离的信息、示出测距传感器104相对于机体120的位置以及姿势的信息等。存储器106，可以存储由处理器101执行的程序。存储器106，例如由非易失性存储器来实现。

通信IF107是与控制器200或通信终端之间进行通信的通信接口。通信IF107包括，例如用于接收控制器200发出的发送信号的通信接口。并且，通信IF107可以是，例如符合IEEE802.11a、b、g、n、ac、ax标准的无线LAN(Local Area Network)接口，以及符合Bluetooth(注册商标)标准的接口。

关于4个产生器110，已经在上述说明所以省略详细说明。

处理器101，作为功能构成，具有飞行控制部101a、图像获得部101b、拾音部101c。换言之，飞行控制部101a、图像获得部101b以及拾音部101c的各个功能，通过处理器101执行存储在存储器106的程序来实现。

飞行控制部101a，按照传感器102检测出的无人飞行体100的当前位置、飞行速度以及飞行姿势、以及通信IF107接收的来自控制器200的操作信号，对产生器110的执行器112的转速进行控制。从而飞行控制部101a对无人飞行体100的飞行状态进行控制。也就是说，飞行控制部101a，根据按照用户对控制器200的操作从控制器200输出的操作信号，来控制无人飞行体100的飞行状态。换言之，飞行控制部101a，例如作为飞行控制器来发挥作用。

图像获得部101b，获得由摄像头103拍摄的摄像图像。图像获得部101b，以第1采样周期从摄像头103依次获得摄像图像。此时，图像获得部101b，可以对图像与该摄像图像由摄像头103拍摄的定时建立对应。此外，图像获得部101b获得由测距传感器104测定的从无人飞行体100到无人飞行体100的周围的物体为止的测量距离。图像获得部101b，以第2采样周期，从测距传感器104依次获得所述测量距离。此时，图像获得部101b，可以将测量距离与由测距传感器104测量该测量距离的定时建立对应。图像获得部101b，利用彼此对应的定时获得的摄像图像以及测量距离，将摄像图像与测量距离建立对应。具体而言，图像获得部101b，针对摄像图像上的多个区域的各自，对该区域与到该区域中映出的物体为止的测量距离建立对应。在摄像图像上的多个区域，可以是例如构成摄像图像的多个像素，也可以是构成摄像图像的多个块。

在由摄像头103以及测距传感器104一体化的深度摄像头构成的情况下，第1采样周期与第2采样周期是相同的采样周期，彼此采样的定时一致。并且在这个情况下，能够获得与摄像图像的各个像素建立了对应的测量距离，所以利用摄像图像与测量距离，容易对摄像图像与测量距离建立对应。

另一方面，在摄像头103和测距传感器104不是一体的情况下，第1采样周期与第2采样周期是不同的采样周期，采样的定时不一致的情况多。因此，图像获得部101b，例如对摄像头103拍摄的摄像图像、与同拍摄该摄像图像的定时最近的定时由测距传感器104测量的测量距离建立对应。另外，在第1采样周期与第2采样周期同步的情况下，不限于上述，以同步的定时，对由摄像头103拍摄的摄像图像，与由测距传感器104测量的测量距离建立对应。

图像获得部101b，利用摄像头103拍摄的摄像图像、测距传感器104测量的到物体为止的测量距离、存储在存储器106中的示出摄像头103的位置和姿势的信息、以及示出测距传感器104的位置和姿势的信息，来对摄像图像与测量距离建立对应。

图像获得部101b，将作为对摄像图像与测量距离建立对应的结果的距离图像，经由通信IF107输出到控制器200。图像获得部101b，可以利用依次获得的摄像图像以及测量距离，依次生成距离图像，将依次生成的距离图像依次输出到控制器200。从而，无人飞行体100，能够将距离图像实时地输出到控制器200。

另外，图像获得部101b，可以进一步对距离图像、与将成为该距离图像的基础的摄像图像由摄像头103拍摄的定时建立对应。此外，由图像获得部101b从摄像头103获得的摄像图像，可以存储在存储器106。此外，由图像获得部101b获得的测量距离可以存储在存储器106。此外，由图像获得部101b建立了对应的结果的距离图像，可以存储在存储器106。

拾音部101c，按照由通信IF107从控制器200接收的拾音指示，执行利用指向性麦克风105的拾音处理，获得由指向性麦克风105依次生成的声音数据。拾音部101c，可以对声音数据与该声音数据由指向性麦克风105生成的定时建立对应。由拾音部101c获得的声音数据，可以存储在存储器106，也可以经由通信IF107输出到控制器200。

接着，说明控制器200。控制器200具备输入IF(Interface)201、处理器202、存储器203、显示器204、通信IF(Interface)205。控制器200是信息处理装置的一例。

输入IF201，接受用户进行的操作，将与接受的操作对应的操作信号输出到处理器202。输入IF201，从用户接受与无人飞行体100的移动有关的操作。与无人飞行体100的移动有关的操作，例如是指示无人飞行体100移动的方向、和向该方向的移动速度的操作，该操作是用于使无人飞行体100以指定的方向并且指定的移动速度移动的操作。另外，与无人飞行体100的移动有关的操作，可以是例如指示无人飞行体100移动的方向、和向该方向的移动距离的操作。输入IF201，例如是具有方向键或杆以及按钮等的控制盘，该方向键或杆接受示出无人飞行体100移动的方向的操作和示出旋转的操作等，该按钮接受执行各种功能的操作。

处理器202，获得与由输入IF201接受的操作对应的操作信号，获得通过通信IF205接收的结果等，针对获得的操作信号或接收结果，通过执行存储器203或未图示的存储器中存储的规定的程序从而执行各种处理。从而，处理器202对显示器204以及通信IF205中的至少1个进行控制。

存储器203，存储由处理器202执行的程序。此外，存储器203，存储由无人飞行体100输出并经由通信IF205获得的距离图像以及声音数据。此外，存储器203可以存储示出相对于无人飞行体100的机体120的摄像头103的位置和姿势的信息、示出相对于机体120的指向性麦克风105的位置和姿势的信息、示出指向性麦克风105的拾音方向、拾音范围以及拾音推荐距离的信息、示出相对于机体120的测距传感器104的位置和姿势的信息等，也可以从无人飞行体100经由通信IF205获得这些信息，并将获得的这些信息进行存储。存储器203，例如由非易失性存储器来实现。

显示器204，显示从处理器202输出的摄像图像。显示器204是显示装置的一例。显示器204，例如由液晶显示器、有机电致发光(Electro Luminescence)显示器等来实现。

通信IF205是在与无人飞行体100之间进行通信的通信接口。通信IF205例如包括用于向无人飞行体100发送发送信号的通信接口、以及用于接收无人飞行体100发出的发送信号的通信接口。此外，通信IF205可以是例如符合IEEE802.11a、b、g、n、ac、ax标准的无线LAN(Local Area Network)接口，也可以是符合Bluetooth(注册商标)标准的接口。

处理器202作为功能构成，具有方向转换部202a、图像处理部202b。换言之，方向转换部202a以及图像处理部202b的各个功能，通过由处理器202执行存储在存储器203的程序来实现。

图5是用于说明在执行拾音处理的情况下的由方向转换部进行转换的操作的图。图6是用于说明将拾音方向的速度指示，分解为上下移动成分以及前后移动成分的处理的图。

方向转换部202a，在被执行拾音处理的情况下，从输入IF201获得操作信号，将用户通过操作信号示出的操作中的前后方向的移动速度的速度指示，置换为向指向性麦克风105的拾音方向153的移动速度的速度指示。而且，方向转换部202a，根据无人飞行体100的移动方向与指向性麦克风105的拾音方向153建立对应的结果，对无人飞行体100的移动进行控制。方向转换部202a，例如利用相对于无人飞行体100的前后方向(换言之水平方向)的指向性麦克风105的拾音方向的角度的差，对无人飞行体100的移动方向与拾音方向153建立对应。

例如，方向转换部202a针对被置换的向拾音方向的移动速度的速度指示，利用拾音方向从水平方向以角度θ朝向下方的对应关系，如图6示出，分解为朝向水平方向的移动速度的成分与朝向上下方向的移动速度的成分。方向转换部202a，如图5示出，将分解后的朝向水平方向的移动速度的成分，作为朝向无人飞行体100的前后方向的移动速度的速度指示来生成，将分解后的朝向上下方向的移动速度的成分与由操作信号示出的操作中的上下方向的移动速度相加，将相加后的移动速度，作为上下方向的移动速度的速度指示来生成。另外，方向转换部202a，将上下方向的往上方向的移动速度设为正，往下方向的移动速度设为负，对移动速度进行加算。此外，方向转换部202a，针对左右方向的移动速度的速度指示、以及旋转的移动速度的速度指示，不进行转换而原样输出。

这样，方向转换部202a，对输入的操作根据建立对应的结果进行转换，从而操作无人飞行体100的移动。从而，在执行拾音处理的情况下，容易将拾音方向作为前后方向使无人飞行体100移动，用户容易进行使无人飞行体100接近声源或者远离声源的操作。

另外，在上述中，在从上方看无人飞行体100的情况下，因为指向性麦克风105朝向无人飞行体100的前方的方式被固定，所以方向转换部202a，将前后方向的移动速度的速度指示，置换为向拾音方向153的移动速度的速度指示，但是可以不受此限。

例如，方向转换部202a，在指向性麦克风105相对于无人飞行体100的前方，以倾斜于无人飞行体100的右下方的方式而被固定的情况下，可以将从输入IF201获得的用户操作中的前后方向的移动速度的速度指示，置换为朝向拾音方向的移动速度的速度指示，并且将左右方向的移动速度的速度指示，置换为与拾音方向在水平面上正交的方向的移动速度的速度指示。在这个情况下，前后方向的移动速度的速度指示分解为无人飞行体100的前后方向、上下方向、左右方向的移动速度成分，左右方向的移动速度的速度指示分解为无人飞行体100的前后方向、左右方向的成分。而且被分解的上下方向的移动速度的成分作为上下方向的速度指示而被合并，被分解的前后方向的移动速度的成分作为前后方向的速度指示而被合并，被分解的左右方向的移动速度的成分作为左右方向的速度指示而被合并。

此外，被置换为向拾音方向153的移动速度的速度指示的、速度指示的方向，可以按照摄像头103的摄像方向而被决定。例如，摄像头103的摄像方向为前方的情况下，可以将前后方向的速度指示置换为拾音方向153的速度指示，摄像头103的摄像方向为右方的情况下可以将左右方向的速度指示置换为拾音方向153的速度指示。

此外，在无人飞行体100具备多个指向性麦克风的情况下，对前后方向的移动速度的速度指示进行置换的拾音方向，可以按照摄像头103的摄像方向而被决定。例如，摄像头103的摄像方向为前方的情况下，前后方向的速度指示可以置换为朝向前方而配置的指向性麦克风的拾音方向的速度指示，在摄像头103的摄像方向为右方的情况下，可以置换为朝向右方配置的指向性麦克风的拾音方向的速度指示。

此外，在拾音处理没有被执行的情况下，从输入IF201输出的操作信号，不进行转换而经由通信IF205，输出到无人飞行体100。从而，在拾音处理没有被执行的情况下，无人飞行体100，以按照操作信号的方向以及移动速度，被进行移动的控制。

图像处理部202b，从存储器203获得距离图像、声音数据、摄像头103的位置和姿势、以及指向性麦克风105的位置以及姿势。并且图像处理部202b利用摄像头103的位置和姿势、以及指向性麦克风105的位置和姿势，算出指向性麦克风105的拾音方向153。

此外，图像处理部202b利用获得的距离图像，还从存储器203获得到摄像图像中映出的物体为止的测量距离。图像处理部202b，利用算出的拾音方向153、以及获得的测量距离，进一步算出在摄像图像中映出的物体的位置上的指向性麦克风105的拾音范围150。

而且，图像处理部202b，如图7以及图8示出，在距离图像中的摄像图像310上的与被算出的拾音方向153对应的位置上，重叠包括示出拾音方向153的标记312以及示出拾音范围150的标记313的标记311。另外，标记312示出指向性麦克风105的成为拾音的基准的方向。例如，图像处理部202b，按照拾音范围150和到在摄像图像310中映出的被摄体为止的距离，算出标记312以及标记313。图像处理部202b，从存储器203读出指向性麦克风105的拾音范围，通过以被算出的拾音方向153为轴的位置上，适用被读出的拾音范围，从而确定摄像图像310上的指向性麦克风105的拾音范围150。图像处理部202b，利用获得的距离图像，算出被确定的拾音范围150内的与无人飞行体最近的物体为止的距离，算出与被算出的距离对应的标记312以及标记313。在这个情况下，图像处理部202b，将距离图像分割为多个区域，按照被分割的每个区域算出距离。而且，在拾音范围150中，将在多个区域的每一个区域算出的多个距离中满足规定的条件的距离所对应的标记，作为标记312以及标记313来算出。标记313，例如具有椭圆形状。

多个距离中满足规定的条件的距离，可以是例如最短的距离、最多的距离、以及由多个距离的分布最多的距离范围来算出的距离。此外，在拾音范围150中，与特定的距离对应的标记，可以根据例如与无人飞行体100隔开特定的距离的位置上的摄像范围130以及拾音范围150的尺寸以及位置关系来算出。具体而言，标记313，可以通过针对大致四角锥形状的摄像范围130和大致圆锥形状的拾音范围150，在与无人飞行体100隔开特定的距离的位置上，以与摄像方向或拾音方向153大致垂直的平面进行切断的情况下的摄像范围130以及拾音范围150的尺寸以及位置关系来算出。

每个区域的距离，可以是例如以对象区域内的多个像素分别测量的多个距离的平均值，中值等代表值，也可以是以多个像素分别测量的多个距离本身。此外，在测距传感器104不是由深度摄像头构成，而是由其他传感器构成的情况下，测距传感器104，将摄像头103的摄像范围130以与摄像头103的光轴交叉的平面来分割为多个区域，按照被分割的多个区域的每个区域测量到物体为止的距离。在这个情况下，无人飞行体100，可以将由摄像头103拍摄的摄像图像，和在摄像图像中的所述多个区域的每个区域测量的多个距离，发送给控制器200。

另外，图像处理部202b，不限于以所述方法算出标记312、313。可以是例如图像处理部202b，先决定标记312的在图像上的位置，利用被决定的位置上映出的物体为止的距离，将与该距离对应的标记作为标记313来生成。在这个情况下，测距传感器104，可以测量在拾音方向153的到物体为止的距离。标记313，例如是椭圆形状。另外在这个情况下，如后述的图14示出，即使声源400在拾音范围150内，而拾音方向153与声源400偏离的情况下，测量从无人飞行体100比声源400更远侧的物体为止的距离。

此外，图像处理部202b，例如利用与摄像图像310建立对应的拾音范围150和在距离图像中的每个像素的距离信息，对各个像素是否在拾音范围150内分别进行判断，在拾音范围150内(或者分界线上)的像素的区域作为标记313来算出。同样，图像处理部202b，对各个像素是否在与拾音方向153对应的位置分别进行判断，以在拾音方向153上的像素上显示标记312的方式算出标记312。在这个情况下，每个像素的距离不同，所以算出的标记313的形状难以成为平滑的曲线。取而代之，拾音范围能够更正确地显示。此外，在拾音范围150横跨多个物体的情况下，按照到各个物体的距离，标记313的显示形态不同。

另外，在图7以及图8，摄像图像310中映出的物体例如是人，人是声源的一例。在此图7是示出作为声源的人映出的摄像图像的一例的图。图8是示出重叠了标记的摄像图像的一例的图。

另外，在本实施方式中可以设想为，关于在摄像图像310中映出的物体是否为声源由操作无人飞行体的用户进行判断，用户将拾音方向对准被认为是拾音对象的声源。所以，有时对不是声源的物体，当然也进行本实施方式的显示形态的控制。进而，无人飞行体，对摄像图像310中映出的物体是否为声源进行判断，在判断为物体是声源的情况下，可以由本实施方式的图像处理部202b对显示形态进行控制以及由方向转换部202a进行方向转换处理。例如，图像处理部202b，通过对摄像图像310进行图像分析从而识别在摄像图像310中映出的物体，判断被识别的物体是否为声源。被识别的物体被判断为声源的情况下，由图像处理部202b进行显示形态的控制以及由方向转换部202a进行操作的方向转换处理。

此外，在控制器200的显示器204被启动的情况下，或者由用户指示标记的重叠的情况下，可以由本实施方式中的图像处理部202b进行显示形态的控制以及方向转换部202a进行方向转换处理。此外，无人飞行体100，判断作为声源的物体与无人飞行体100的距离是否在规定距离内，在判断为该距离在规定距离内的情况下，可以由本实施方式中的图像处理部202b进行显示形态的控制以及方向转换部202a进行方向转换处理。

图像处理部202b，将重叠了标记311的摄像图像(以下称为“重叠后图像”)314输出到显示器204，使显示器204显示重叠后图像314。

接着，关于在各个场面由图像处理部202b生成的重叠后图像的一例，利用图9～图16来说明。

图9是示出在第1场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。图10是示出在第2场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。图11是示出在第3场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。图12是示出在第4场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。图13是示出在第5场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。图14是示出在第6场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。图15是示出在第7场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。图16是示出在第8场面中的无人飞行体与声源的位置关系、以及重叠后图像的图。另外，图9～图11以及图14～图16是无人飞行体的侧面图。此外，图12以及图13是无人飞行体的俯视图。

第1场面，与图3以及图8相同，所以省略说明。

第2场面是无人飞行体100从第1场面的位置上升之后的场面。在第2场面中，如图10示出，随着无人飞行体100的上升，摄像范围130以及拾音范围150移动到声源400的上方。因此，重叠后图像324中映出的声源400，与第1场面的重叠后图像314比较时，移动到重叠后图像324的下方。无人飞行体100，没有在水平方向以及前后方向移动，所以重叠到重叠后图像324的标记311，与第1场面没有变化。

第3场面是无人飞行体100从第1场面的位置在水平方向上接近声源400的方向，换言之，向前方移动之后的场面。在第3场面中，如图11示出，随着无人飞行体100向前方移动，相对于声源400的摄像范围130以及拾音范围150发生变化。因此，在重叠后图像334中映出的声源400，比第1场面的重叠后图像314中映出的声源更大。此外，在标记331中的示出拾音范围150的标记333，以随着无人飞行体接近声源400而变大的方式进行计算，另一方面随着到声源400为止的距离接近，在声源400上的拾音范围150的区域越小。因此，作为结果，在重叠后图像314上的标记313，与重叠后图像334上的标记333的大小没有很大的不同。另外，示出拾音方向153的标记332，没有改变对摄像头103的相对的姿势，所以指向与标记312相同的位置。

第4场面是摄像头103以自由旋转的方式与机体120连接的情况下的例子，摄像头103拍摄无人飞行体100的前方的靠左侧的角度范围的场面。第4场面，如图12示出，是在摄像范围130内包括拾音范围150的情况，是声源400在拾音范围150之外的情况。因此，以不与重叠后图像344中映出的声源400重叠的位置上，重叠包括示出拾音方向153的标记342和示出拾音范围150的标记343的标记341。因而，用户以固定摄像头103的摄像范围的方式，对控制器200进行操作以使无人飞行体100向左旋转方向或左方向移动，从而容易将指向性麦克风105的拾音范围150朝向声源400。

第5场面，与第4场面同样是摄像头103以自由旋转的方式与机体120连接的情况的例子，拍摄比第4场面更靠左侧的角度范围的场面。第5场面，如图13示出，拾音范围150位于相对于摄像范围130向右侧偏离的位置。因此，图像处理部202b，生成重叠了示出从摄像范围130看时的拾音方向153的朝向的标记351的重叠后图像354。标记351，例如是指向右方的三角形状。换言之，标记351，示出指向性麦克风105的拾音范围150在右方。另外，标记351，可以是指向右方的箭头记号形状。此外，标记351，在摄像图像中的离拾音方向近的一侧的边的附近区域进行重叠。从而，用户与第4场面同样，以固定摄像头103的摄像范围的方式，对控制器200进行使无人飞行体100向左旋转方向或左方向移动的操作，从而容易将指向性麦克风105的拾音范围150朝向声源400。另外，标记351示出与指向性麦克风105的拾音方向153近的一方的朝向。

第6～第8场面是，声源400位于指向性麦克风105的拾音范围150内的情况下，按照从无人飞行体100到声源400为止的距离，控制标记的显示形态的情况的例子。

如图14示出，第6场面是声源400位于指向性麦克风105的拾音范围150内，并且位于指向性麦克风105的拾音质量成为最好的第1质量的第1距离d1的位置之间的第1范围内的场面。另外，第1范围是指，例如指向性麦克风105的位置为起点时的第1距离d1的位置之间的范围。因此，图像处理部202b，根据第1距离d1与从无人飞行体100到声源400为止的测量距离的差分，生成标记361的显示形态为示出第1品质的显示形态的重叠后图像364。例如，图像处理部202b，将标记361包括的示出拾音范围的标记363的线设为粗线。

如图15示出，第7场面是声源400位于指向性麦克风105的拾音范围150内，并且位于指向性麦克风105的拾音质量成为第2位的第2质量的第2距离d2的位置之间的第2范围内的场面。另外，第2范围是指，例如指向性麦克风105的位置为起点时的从第1距离d1的位置到第2距离d2的位置之间的范围。因此，图像处理部202b，根据第2距离d2与从无人飞行体100到声源400为止的测量距离的差分，生成标记371的显示形态为示出第2质量的显示形态的重叠后图像374。例如，图像处理部202b，将标记371包括的示出拾音范围的标记373的线设为双重线。

如图16示出，第8场面是声源400位于指向性麦克风105的拾音范围150内，并且位于指向性麦克风105的拾音质量低的第3质量的比第2距离d2的位置更远的第3范围内的场面。另外，第3范围是指，例如以指向性麦克风105的位置为起点时的与第2距离d2的位置相比更远的范围。因此，图像处理部202b，根据第2距离d2与从无人飞行体100到声源400为止的测量距离的差分，生成标记381的显示形态为示出第3质量的显示形态的重叠后的图像384。例如，图像处理部202b，将标记381包括的示出拾音范围的标记383的线设为虚线。

另外，图像处理部202b，在差分为阈值以上的情况下，可以不变更标记的显示形态而维持原样。此外，代替拾音质量，可以根据测量距离的可测量范围中是否存在物体，来固定标记的显示形态。例如，在假设指向性麦克风105与摄像头103的位置非常近的情况下，到标记382的对象物为止的距离即使有变化，图像上的标记382以及标记383的位置和大小也不会有太多变化。因此，对象物在测距传感器范围外的情况下，图像处理部202b，显示根据对象物位于测距传感器的最大距离来算出的标记382以及标记383的位置和尺寸。

另外，在第4场面中，图像处理部202b，可以如上述第6～第8场面一样，按照从无人飞行体100到声源400为止的距离，来控制标记的显示形态。在第4场面中，不是声源400的物体500存在于拾音范围150内。另外，物体500例如是招牌。

在这个情况下，图像处理部202b，即使根据测距传感器104的测量距离检测出指向性麦克风105的拾音范围150内存在物体500，也不使标记343的显示形态发生变化。换言之，图像处理部202b，在拾音范围150外的物体500进入拾音范围150内的情况下，仍然以物体500进入拾音范围150内之前的显示形态的标记343重叠到摄像图像。因此，图像处理部202b，即使从无人飞行体100到拾音范围150内的物体500为止的距离进入到第3范围，也不变更为声源400位于第3范围时的显示形态，该第3范围是比第2距离d2的位置远的范围。另外，关于物体是不是声源，如上所述，例如对摄像图像进行图像分析来判断。

另外，图像处理部202b，在声源400没有进入拾音范围150内的情况下，标记343的显示形态可以维持初始状态的显示形态。换言之在这个情况下，在第4场面中，图像处理部202b，以初始状态的显示形态将标记343重叠到摄像图像。

另外，图像处理部202b，在第6场面～第8场面中，针对线的种类进行变更，从而变更与拾音质量对应的显示形态，但是不限于变更示出拾音范围的标记的线的种类，可以变更该标记的颜色从而变更显示形态，也可以通过变更标记的颜色的浓度，从而变更显示形态。此外，图像处理部202b，不限于变更示出拾音范围的标记的显示形态，也可以变更示出拾音方向的标记的显示形态。图像处理部202b，例如可以变更示出拾音方向的标记的大小，也可以使该标记亮灭，变更亮灭的速度。

此外，图像处理部202b，在声源400位于比预先规定的距离近或者比安全范围近的位置的情况下，可以将重叠了警告显示的图像作为重叠后图像来生成，并将生成的重叠后图像显示在显示器204。

另外，在以上的实施方式中将示出拾音范围的标记用线来表现，但是不限于此，可以在图像上使拾音范围内外的颜色不同来进行识别。

[2.动作]

接着说明实施方式涉及的无人飞行体100以及控制器200的动作。首先说明拾音处理中的动作例。

图17是示出实施方式涉及的拾音处理中的无人飞行体以及控制器的动作例的序列图。

无人飞行体100的图像获得部101b，从摄像头103获得摄像图像，从测距传感器104获得测量距离(S11)。

接着，图像获得部101b，利用获得的摄像图像以及测量距离，生成距离图像(S12)。关于步骤S11以及S12的处理的详细，已经记载在图像获得部101b的功能的说明中，所以在此省略说明。

拾音部101c，获得由指向性麦克风105依次生成的声音数据(S13)。关于步骤S13的处理的详细，已经记载在拾音部101c的功能的说明中，所以在此省略说明。

处理器101，将生成的距离图像以及声音数据，利用通信IF107，发送到控制器200(S14)。在这里，处理器101将存储在存储器106中的摄像头103的位置和姿势、以及指向性麦克风105的位置、姿势以及示出拾音方向的信息，利用通信IF107，发送到控制器200。

接着，控制器200，在接收距离图像以及声音数据时，执行图像处理(S15)。关于图像处理的详细，利用图18来说明。

图18是表示实施方式涉及的控制器中的图像处理的细节的流程图。

控制器200的图像处理部202b，获得摄像头103的位置和姿势、以及指向性麦克风105的位置、姿势和示出拾音方向的信息(S21)。图像处理部202b，可以经由通信IF107从无人飞行体100获得所述信息，在所述信息预先存储在存储器203的情况下，可以从存储器203获得所述信息。

图像处理部202b，利用获得的摄像头103的位置和姿势、以及指向性麦克风105的位置和姿势，算出获得的距离图像中的摄像图像的与拾音方向对应的位置(S22)。

图像处理部202b，在摄像图像上的与被算出的拾音方向对应的位置上，重叠示出拾音方向的标记(S23)。关于步骤S21～S23的处理的详细，已经记载在图像处理部202b的功能的说明中，所以在此省略说明。

回到图17的说明，处理器202，将通过图像处理来生成的重叠后图像，显示在显示器204(S16)。

接着说明在拾音处理时的操作的转换处理。

图19是示出实施方式涉及的无人飞行体的操作的转换处理中的无人飞行体以及控制器的动作例的序列图。

控制器200的方向转换部202a，获得无人飞行体100的指向性麦克风105的拾音方向(S31)。方向转换部202a，可以经由通信IF107从无人飞行体100获得所述拾音方向，在所述拾音方向预先存储在存储器203的情况下，可以从存储器203获得所述拾音方向。

方向转换部202a，将从输入IF201接受的前后方向的操作，作为获得的拾音方向的操作来接受(S32)。

方向转换部202a，将操作转换为示出无人飞行体的向各方向的移动指示的操作信号(S33)，将转换后的操作信号，经由通信IF206输出到无人飞行体100(S34)。关于步骤S31～S33的处理的详细，已经记载在方向转换部202a的功能的说明中，所以在此省略说明。

无人飞行体100，按照接收的操作信号进行飞行控制(S35)。

[3.效果等]

通过本实施方式涉及的控制器200，使显示器204显示在无人飞行体100的摄像头103输出的摄像图像上的与被算出的拾音方向153对应的位置上，重叠了示出指向性麦克风105的拾音方向153的标记311的重叠后图像314。因此，能够向用户传达指向性麦克风105的拾音方向153在重叠后图像314上的的位置。即能够将指向性麦克风105的拾音方向153可视化。因此，用户能够一边看被显示的重叠后图像314，一边以标记311符合目标声音的声源的方式操作无人飞行体100，从而容易使指向性麦克风105的拾音方向153朝向声源400。从而，能够提高利用由用户操作的无人飞行体100拾音的质量。

此外，在本实施方式涉及的控制器200，图像处理部202b进一步获得到摄像图像中映出的物体为止的测量距离，利用被算出的拾音方向以及获得的测量距离，进一步算出在物体的位置上的指向性麦克风105的拾音范围150，将示出被算出的拾音范围150的标记313，重叠到摄像图像。因此，用户一边看被显示的重叠后图像314，一边以标记313符合声源400的方式操作无人飞行体100，从而容易使声源400在指向性麦克风105的拾音范围150内。从而，能够提高利用由用户操作的无人飞行体100拾音的质量。

此外，在本实施方式涉及的控制器200，方向转换部202a，对无人飞行体100的移动方向与拾音方向153建立对应，根据建立对应的结果，对无人飞行体100的移动进行控制。因此，无人飞行体100被控制为向以拾音方向153为基准的方向移动，所以能够使指向性麦克风105的拾音方向153对准声源400的状态下移动。

此外，在本实施方式涉及的控制器200，方向转换部202a，接受与无人飞行体100的移动有关的操作输入，根据建立对应的结果对操作输入进行转换，从而对无人飞行体100的移动进行控制。通过上述，用户能够容易将无人飞行体100移动到以拾音方向153为基准的方向，所以能够以指向性麦克风105的拾音方向153对准声源400的状态下使无人飞行体100移动。

此外，在本实施方式涉及的控制器200，图像处理部202b，在被算出的拾音方向153在摄像头103的摄像范围130外的情况下，将示出从摄像范围130看时的拾音方向153的朝向的标记351，重叠到摄像图像。因此，用户一边看被显示的重叠后图像314，一边操作无人飞行体100使其朝向标记351示出的方向，从而能够容易将指向性麦克风105的拾音方向153朝向声源400。从而，能够提高拾音的质量。

此外，在本实施方式涉及的控制器200，图像处理部202b，进一步获得与指向性麦克风105的拾音质量对应的设定距离，根据获得的到摄像图像中映出的物体为止的测量距离、与获得的设定距离之间的差分，对标记的显示形态进行控制。因此，例如在按照从声源400的物体到指向性麦克风105的距离预测为拾音质量为高质量的情况和与预测为低质量的情况下，显示不同显示形态的标记。因而，用户一边看被显示的重叠后图像，一边使标记成为高质量的显示形态的方式操作无人飞行体100，从而能够提高从指向性麦克风105获得的目标声音的拾音的质量。

此外，在本实施方式涉及的控制器200，图像处理部202b，在差分为阈值以上的情况下，对标记的显示形态进行固定。通过上述，在拾音质量为规定的质量以下的情况下，固定标记的显示形态，所以能够减少用于变更显示形态的处理负载。

[4.变形例]

在所述实施方式涉及的控制器200，针对示出指向性麦克风105的拾音方向或拾音范围的标记进行显示以及不显示，能够由用户的操作可选择地进行切换。

在所述实施方式涉及的控制器200中，在执行拾音处理的情况下，以移动到指向性麦克风105的拾音方向的方式，对输入的操作根据建立对应的结果进行转换，从而操作无人飞行体100的移动，但是不限于此。在控制器200中，即使在执行拾音处理的情况下进行操作，也能够切换为进行通常的无人飞行体100的移动控制，即不进行所述转换。

在所述实施方式中示出了作为标记重叠了椭圆形的框的例子，但是标记不限于椭圆形的框，也可以是中间被全部涂布的椭圆形的标记，也可以是椭圆形的外侧全部涂布的标记。

所述实施方式涉及的控制器200，在指向性麦克风105由具有多个麦克风元件的麦克风阵列来构成的情况下，图像处理部202b，将利用由麦克风阵列输出的结果来确定的、在摄像图像上的声源的位置上进行重叠的图像，作为重叠后图像来生成。而且可以将被生成的重叠后图像显示在显示器204。

在所述实施方式涉及的控制器200中，也可以通过对摄像图像进行图像识别，从而识别摄像图像上的人的形状，确定识别出的人的形状中的人的口，将在确定的人的口的位置上重叠示出声源的标记的图像，作为重叠后图像来生成。而且，可以将生成的重叠后图像显示在显示器204。

关于所述实施方式涉及的无人飞行体100，构成为具备4个产生器110，但是无人飞行体100具备的产生器的数量，不限于4个，可以是1～3个，也可以是5个以上。

所述实施方式涉及的无人飞行体100是机体120与4个产生器110通过4个臂部121连接的构成，但是不限于此，只要是4个产生器110与机体120连接的构成，也可以是不具备4个臂部121的构成。换言之，无人飞行体，可以是机体120直接与4个产生器110连接的构成。

所述实施方式涉及的无人飞行体100，被构成为具备1个指向性麦克风105，但是无人飞行体100具备的指向性麦克风的数量，不限于1个，可以是2个以上。在无人飞行体具备2个以上的指向性麦克风的情况下，关于2个以上的指向性麦克风的各自，可以执行与算出1个指向性麦克风的拾音方向的处理同样的处理。这样，无人飞行体具备2个以上的指向性麦克风的情况下，控制器200，可以显示分别示出指向性麦克风的拾音方向的标记。在显示的标记中，可以将示出2个以上的指向性麦克风中的哪一个麦克风的拾音方向的标识符与标记一同显示。

在所述实施方式中，说明了控制器200具有图像处理部202b，但是不限于此，无人飞行体100可以具有与图像处理部202b同样的功能。换言之，可以由无人飞行体100生成重叠后图像，将生成的重叠后图像发送到控制器200。在这个情况下，控制器200，将从无人飞行体100接收的重叠后图像显示在显示器204。

而且，在所述各个实施方式中，各个构成要素，也可以由专用的硬件构成，或者，也可以通过执行适于各个构成要素的软件程序来实现。也可以由CPU或处理器等的程序执行部，读出并执行硬盘或半导体存储器等的记录介质中记录的软件程序，来实现各个构成要素。在此，实现所述各个实施方式的控制器200以及信息处理方法等的软件是如下的程序。

即该程序是用于使至少由一个具备处理器以及存储器的所述信息处理装置执行信息处理方法的程序，在所述信息处理方法中，在所述存储器存储摄像图像以及声音，所述摄像图像由无人飞行体具备的摄像头输出，所述声音由所述无人飞行体具备的指向性麦克风输出，在所述存储器存储所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，从所述存储器获得所述摄像图像、所述声音、所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，利用所述摄像头的位置和姿势以及所述指向性麦克风的位置和姿势，算出所述指向性麦克风的拾音方向，在所述摄像图像上的与被算出的所述拾音方向对应的位置上，重叠示出所述拾音方向的标记，使显示装置显示重叠了所述标记的摄像图像。

以上对于本公开的一个或多个形态涉及的信息处理装置、信息处理方法以及程序，根据实施方式进行了说明，但是本公开不仅限于该实施方式。只要不脱离本公开的宗旨，对本实施方式实施本领域技术人员想到的各种变形而得到的形态，以及组合不同实施方式的构成要素来构筑的形态，也可以包含在本公开的一个或多个形态的范围内。

例如，指向性麦克风的拾音范围可以是可变化的。例如，在麦克风的指向性被变更的情况下，根据变更后的指向性来获得拾音范围。在这个情况下，利用获得的拾音范围，标记被重叠。

另外，处理器101或处理器202进行的处理，可以利用机器学习。对于机器学习，可以举出如下，例如，利用对输入信息赋予了标签(输出信息)的监督数据学习输入和输出的关系的监督学习，仅由没有标签的输入构筑数据的结构的无监督学习，处理有标签和没有标签的双方的半监督学习，根据状态的观测结果获得针对选择的行动的反馈(报酬)、来学习能够获得最多的报酬的连续的行动的强化学习等。并且，对于机器学习的具体方法，存在神经网络(包括使用多层的神经网络的深层学习)、遗传程序设计、决策树、贝叶斯网络、支持向量机(SVM)等。在本公开中，利用以上举出的具体例的任一个即可。

本公开作为利用由用户操作的无人飞行体而提高拾音质量的信息处理装置、信息处理方法以及程序而有用。

符号说明

100 无人飞行体

101 处理器

102 传感器

103 摄像头

104 测距传感器

105 指向性麦克风

106 存储器

107 通信IF

110 产生器

111 旋转翼

112 执行器

120 机体

121 臂部

130 摄像范围

131 上限

132 下限

150 拾音范围

151 上限

152 下限

153 拾音方向

200 控制器

201 输入IF

202 处理器

202a 方向转换部

202b 图像处理部

203 存储器

204 显示器

205 通信IF

310 摄像图像

311～313，331～333，341～343，351，361～363，371～373，381～383 标记

314，324，334，344，354，364，374，384 重叠后图像

400 声源

Claims (9)

1.一种信息处理装置，具备处理器和存储器，

所述存储器，

存储摄像图像以及声音，所述摄像图像由无人飞行体具备的摄像头输出，所述声音由所述无人飞行体具备的指向性麦克风输出，

存储所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，

所述处理器，

从所述存储器获得所述摄像图像、所述声音、所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，

利用所述摄像头的位置和姿势以及所述指向性麦克风的位置和姿势，算出所述指向性麦克风的拾音方向，

在所述摄像图像上的与被算出的所述拾音方向对应的位置上，重叠示出所述拾音方向的标记，

使显示装置显示重叠了所述标记的摄像图像，

所述处理器，

进一步获得与所述指向性麦克风的拾音质量对应的设定距离，

根据获得的到所述摄像图像中映出的物体为止的测量距离、与获得的所述设定距离之间的差分，对示出所述拾音方向的所述标记的显示形态进行控制。

2.如权利要求1所述的信息处理装置，

所述处理器，将所述指向性麦克风拾音时成为基准的方向，作为所述拾音方向来算出。

3.如权利要求1或2所述的信息处理装置，

所述处理器，

进一步获得所述测量距离，

利用被算出的拾音方向以及获得的所述测量距离，进一步算出在所述物体的位置上的所述指向性麦克风的拾音范围，

将示出被算出的所述拾音范围的标记，作为示出所述拾音方向的所述标记来重叠到所述摄像图像。

4.如权利要求1或2所述的信息处理装置，

所述处理器，

对所述无人飞行体的移动方向与所述拾音方向建立对应，

根据建立对应的结果，对所述无人飞行体的移动进行控制。

5.如权利要求4所述的信息处理装置，

所述处理器，

接受与所述无人飞行体的移动有关的操作输入，

根据所述建立对应的结果对所述操作输入进行转换，从而对所述无人飞行体的移动进行控制。

6.如权利要求1或2所述的信息处理装置，

所述处理器，在被算出的所述拾音方向在所述摄像头的摄像范围外的情况下，将示出从所述摄像范围看时的所述拾音方向的朝向的标记，重叠到所述摄像图像。

7.如权利要求1所述的信息处理装置，

所述处理器，在所述差分为阈值以上的情况下、或者在所述测量距离的可测量范围内不存在物体的情况下，对示出所述拾音方向的所述标记的显示形态进行固定。

8.一种信息处理方法，至少由一个具备处理器以及存储器的信息处理装置执行的信息处理方法，在该信息处理方法中，

在所述存储器存储摄像图像以及声音，所述摄像图像由无人飞行体具备的摄像头输出，所述声音由所述无人飞行体具备的指向性麦克风输出，

在所述存储器存储所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，

从所述存储器获得所述摄像图像、所述声音、所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，

利用所述摄像头的位置和姿势以及所述指向性麦克风的位置和姿势，算出所述指向性麦克风的拾音方向，

在所述摄像图像上的与被算出的所述拾音方向对应的位置上，重叠示出所述拾音方向的标记，

使显示装置显示重叠了所述标记的摄像图像，

在该信息处理方法中，

进一步获得与所述指向性麦克风的拾音质量对应的设定距离，

根据获得的到所述摄像图像中映出的物体为止的测量距离、与获得的所述设定距离之间的差分，对示出所述拾音方向的所述标记的显示形态进行控制。

9.一种程序记录介质，该程序记录介质存储有程序，该程序用于使具备处理器以及存储器的信息处理装置中的所述处理器执行：

在所述存储器存储摄像图像以及声音，所述摄像图像由无人飞行体具备的摄像头输出，所述声音由所述无人飞行体具备的指向性麦克风输出，

在所述存储器存储所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，

从所述存储器获得所述摄像图像、所述声音、所述摄像头的位置和姿势、以及所述指向性麦克风的位置和姿势，

利用所述摄像头的位置和姿势以及所述指向性麦克风的位置和姿势，算出所述指向性麦克风的拾音方向，

在所述摄像图像上的与被算出的所述拾音方向对应的位置上，重叠示出所述拾音方向的标记，

使显示装置显示重叠了所述标记的摄像图像，

所述程序进一步使所述处理器执行：

进一步获得与所述指向性麦克风的拾音质量对应的设定距离，

根据获得的到所述摄像图像中映出的物体为止的测量距离、与获得的所述设定距离之间的差分，对示出所述拾音方向的所述标记的显示形态进行控制。