CN114342348A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN114342348A
CN114342348A CN202080059283.0A CN202080059283A CN114342348A CN 114342348 A CN114342348 A CN 114342348A CN 202080059283 A CN202080059283 A CN 202080059283A CN 114342348 A CN114342348 A CN 114342348A
Authority
CN
China
Prior art keywords
imaging
imaging target
camera
image processing
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080059283.0A
Other languages
English (en)
Inventor
渕上竜司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN114342348A publication Critical patent/CN114342348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置具备：接收部，其接收摄像对象的位置信息和由至少一个摄像机拍摄到的映现出摄像对象的摄像图像；预测部，其基于摄像对象的位置信息，来预测摄像对象在摄像机的摄像范围内的位置；检测部，其基于预测出的摄像对象的预测位置，从摄像范围的摄像图像中读出作为摄像范围的一部分的限定范围的摄像图像，来检测摄像对象；测量部，其测量所检测出的摄像对象的位置；以及输出部，其输出摄像对象的测量位置与预测位置之差。

Description

图像处理装置和图像处理方法
技术领域
本公开涉及一种图像处理装置和图像处理方法。
背景技术
在专利文献1中公开了一种部件搭载坐标校正方法，该方法在将电子部件搭载于印刷基板时，由操作者测定作为定位时的基准的标记的坐标，并将该坐标输入至印刷电路基板，在该方法中，求出离标记的图案位置近的电子部件搭载位置图案的两点的坐标，借助摄像单元以搭载位置图案的真正的坐标位置与包含基于标记的坐标的误差的坐标位置之间的偏差量为基准来确定真正的标记位置，基于该真正的标记位置来对部件搭载坐标进行校正。
现有技术文献
专利文献
专利文献1：日本特开2001-284899号公报
发明内容
发明要解决的问题
然而，在专利文献1的结构中，对于由于在对坐标进行校正之后从标记位置向部件搭载坐标移动时的移动误差等外在原因产生的误差无法进行修正，因此位置信息的校正的精度有限。另外，在专利文献1的结构中，例如，执行由摄像机拍摄到的摄像图像的图像处理，以计算设计上的坐标与实际的坐标之间的偏差量来校正坐标误差。但是，在利用摄像图像的坐标误差的校正方法中，由于摄像速度、摄像图像的读出以及对所读出的图像的处理等，使得在计算出坐标误差之前需要花费规定的时间，可能成为限制其它装置的动作速度(例如电子部件的安装速度等)提高的原因。
本公开是鉴于上述的以往情况而提出的，其目的在于提供一种对由摄像机拍摄到的对象物的图像执行高效的图像处理并计算更高精度的对象物的位置误差的图像处理装置和图像处理方法。
用于解决问题的方案
本公开提供一种图像处理装置，具备：接收部，其接收摄像对象的位置信息以及由至少一个摄像机拍摄到的映现出所述摄像对象的摄像图像；预测部，其基于所述摄像对象的位置信息来预测所述摄像对象在所述摄像机的摄像范围内的位置；检测部，其基于预测出的所述摄像对象的预测位置，从所述摄像范围的摄像图像中读出作为所述摄像范围的一部分的限定范围的摄像图像，来检测所述摄像对象；测量部，其测量所检测出的所述摄像对象的位置；以及输出部，其输出所述摄像对象的测量位置与所述预测位置之差。
另外，本公开提供一种图像处理装置，具备：接收部，其接收摄像机的位置信息以及由至少一个所述摄像机拍摄到的摄像图像；检测部，其读出至少一张所述摄像图像中的、作为所述摄像机的摄像范围的一部分的限定范围的摄像图像，来检测作为所述摄像机的位置的基准的摄像对象；测量部，其测量所检测出的所述摄像对象的位置；预测部，其基于所述摄像对象的测量位置，来预测在检测所述摄像对象时使用的摄像图像之后所拍摄到的摄像图像中映现的所述摄像对象的位置；以及输出部，其输出所预测出的所述摄像对象的预测位置与所述摄像对象的测量位置之差。
另外，本公开提供一种由与至少一个摄像机连接的图像处理装置执行的图像处理方法，在所述图像处理方法中，接收摄像对象的位置信息以及由所述摄像机拍摄到的包含所述摄像对象的摄像图像，基于所述摄像对象的位置信息来预测所述摄像对象在所述摄像机的摄像范围内的位置，基于预测出的所述摄像对象的预测位置读出所述摄像机的摄像范围中的包含所述预测位置的规定的限定范围，来检测所述摄像对象，测量所检测出的所述摄像对象的位置，输出所述摄像对象的测量位置与所述预测位置之差。
另外，本公开提供一种由与至少一个摄像机连接的图像处理装置执行的图像处理方法，在所述图像处理方法中，接收由所述摄像机拍摄到的包含所述摄像对象的摄像图像，读出至少一张所述摄像图像中的、作为所述摄像机的摄像范围的一部分的限定范围的摄像图像，来检测作为所述摄像机的位置的基准的摄像对象，测量所检测出的所述摄像对象的位置，基于所述摄像对象的测量位置，来预测在检测所述摄像对象时使用的摄像图像之后所拍摄到的摄像图像中映现的所述摄像对象的位置，输出所预测出的所述摄像对象的预测位置与所述摄像对象的测量位置之差。
发明的效果
根据本公开，能够对由摄像机拍摄到的对象物的图像执行高效的图像处理，并且能够计算更高精度的对象物的位置误差。
附图说明
图1是实施方式1所涉及的图像处理系统的使用情况例的说明图。
图2是示出比较例的图像读出和图像处理例的时间图。
图3是示出实施方式1所涉及的图像处理装置中的图像读出和图像处理例的时间图。
图4是示出摄像范围和限定范围的各范围的一例的图。
图5是示出多个限定范围的各限定范围中映现出的摄像对象随时间的变化例的情形的图。
图6是说明实施方式1所涉及的图像处理系统的动作过程例的序列图。
图7是说明实施方式1所涉及的图像处理装置的基本动作过程例的流程图。
图8是实施方式2所涉及的具备多个摄像机的各摄像机的图像处理系统的使用情况例的说明图。
图9是说明实施方式2所涉及的具备多个摄像机的各摄像机的图像处理装置的动作过程例的流程图。
图10是示出特征点的检测例的图。
图11是说明检测特征点的实施方式2所涉及的图像处理装置的动作过程例的流程图。
图12是实施方式2所涉及的具备无人驾驶飞机的图像处理系统的使用情况例的说明图。
图13是说明实施方式2所涉及的图像处理装置的追踪和检测动作过程例的流程图。
图14是说明追踪用限定范围和检测用限定范围的切换例的图。
图15是说明针对摄像对象进行的追踪和检测的一例的图。
具体实施方式
(实现实施方式1的内容的过程)
例如，有一种在将电子部件搭载于印刷基板时对部件搭载坐标进行校正的部件搭载坐标校正方法。在这样的部件搭载坐标校正方法中，由操作者测定作为定位时的基准的标记的坐标并输入至印刷电路基板，借助摄像单元以与包含误差的坐标位置之间的偏差量为基准来确定真正的标记位置，并基于该真正的标记位置来对部件搭载坐标进行校正。但是，对于由于在对坐标进行校正之后从标记位置向部件搭载坐标移动时的移动误差等外在原因产生的误差无法进行修正，因此位置信息的校正的精度有限。另外，借助摄像单元进行的部件搭载坐标校正由于摄像速度、摄像图像的读出和对所读出的图像的处理等，使得在计算出坐标误差之前需要花费规定的时间，因此其它装置的动作速度例如电子部件的安装速度等的提高受限。也就是说，在这样的使用摄像图像的部件搭载坐标校正方法中，当考虑对其它装置的动作速度的影响时，被进行图像处理的摄像图像的张数有限，难以增加用于实现更高精度的误差校正的采样数。在上述的专利文献1中，在借助了摄像单元的坐标校正方法中未考虑缩短图像处理所需的时间。
对如以上那样在图像处理装置中对由摄像机拍摄到的对象物的图像执行高效的图像处理并计算更高精度的对象物的位置误差的图像处理装置和图像处理方法的例子进行说明。
下面，适当参照附图来详细说明具体地公开了本公开所涉及的图像处理装置和图像处理方法的结构及作用的实施方式1。但是有时省略非必要的详细的说明。例如，有时省略已经被熟知的事项的详细说明、对于实质上相同的结构的重复说明。这是为了避免以下的说明变得过于冗长，使本领域技术人员容易理解。此外，附图和以下的说明是为了使本领域技术人员能够充分地理解本公开而提供的，并不意图通过这些附图和说明来对权利要求书所记载的主题进行限定。
(实施方式1)
图1是实施方式1所涉及的图像处理系统的使用情况例的说明图。图像处理系统构成为包括控制装置1、致动器2、摄像机3以及图像处理装置4。控制装置1是用于控制致动器2、摄像机3以及图像处理装置4的装置。
首先，对控制装置1进行说明。控制装置1构成为包括控制部10、存储器11以及区域数据12。控制装置1与致动器2之间以可通信的方式进行连接。
控制部10例如使用CPU(Central Processing Unit：中央处理单元)或FPGA(FieldProgrammable Gate Array：现场可编程门阵列)构成，与存储器11协作来进行各种处理和控制。具体地说，控制部10参照存储器11中保持的程序和数据，通过执行该程序来实现后述的区域数据12的功能。控制部10与致动器2的控制部20之间以可通信的方式进行连接。控制部10基于通过用户操作输入的区域数据12来控制致动器2。
存储器11具有例如在执行控制部10的各处理时使用的作为工作存储器的RAM(Random Access Memory：随机存取存储器)、以及保存规定了控制部10的动作的程序及数据的ROM(Read Only Memory：只读存储器)。在RAM中临时地保存通过控制部10生成或获取到的数据或者信息。在ROM中被写入有用于规定控制部10的动作(例如读出区域数据12中写入的数据和程序并基于这些数据和程序来控制致动器2的方法等)的程序。
区域数据12例如是使用CAD(Computer Aided Design：计算机辅助设计)等设计辅助工具制作出的数据等。区域数据12是具有设计信息或位置信息(例如被存储于区域数据12中且与摄像机3拍摄的摄像对象Tg1有关的位置信息、用于作业部5执行部件的载置、焊接或熔接等的位置信息等)的数据，并写入有用于使致动器2等驱动装置动作的程序等。
接着，说明致动器2。致动器2例如为能够进行电动控制或飞行控制的驱动装置。致动器2与控制装置1及图像处理装置4之间以可通信的方式进行连接。致动器2构成为包括控制部20、存储器21、驱动部22以及臂部24。此外，作业部5不是必须的结构，可以被省略。
控制部20例如使用CPU或FPGA构成，与存储器21协作来进行各种处理和控制。具体地说，控制部20参照存储器21中保持的程序和数据，通过执行该程序来实现误差校正部23的功能。控制部20与控制部10、控制部40及接收部42之间以可通信的方式进行连接。控制部20基于从控制装置1接收到的控制信号来使驱动部22驱动，从而使作业部5执行规定的控制。
控制部20在致动器2启动时，执行通过驱动部22而被驱动的摄像机3和作业部5的基于基准标记Pt0的初始位置对准。此外，可以根据由用户指定的任意的时机、例如摄像对象的变更、由作业部5进行的作业的结束等来执行初始位置对准。
控制部20将从控制装置1接收到的区域数据12所具有的摄像对象Tg1的位置信息和摄像机3的位置信息等各种信息发送至图像处理装置4。此外，各种信息中包含摄像机3的帧频、摄像范围IA1、变焦倍率等信息。另外，控制部20在基于区域数据12中所写入的程序使摄像机3的摄像位置移动的情况下，将能够估计出摄像机3的位置的信息(例如摄像机3的位置信息或摄像机3的移动速度信息等)发送至图像处理装置4。此外，例如在摄像机3固定的情况下、或者在摄像机3的摄像范围IA1包含摄像对象Tg1可能位于的全部位置的情况下，可以省略能够估计出摄像机3的位置的信息。
另外，控制部20从图像处理装置4接收与基于由摄像机3拍摄到的摄像图像的摄像对象Tg1的位置有关的差信息(换言之是位置的误差信息)。控制部20使误差校正部23执行基于所接收到的差信息的误差校正。
存储器21具有例如在执行控制部20的各处理时使用的作为工作存储器的RAM、以及保存规定了控制部20的动作的程序及数据的ROM。在RAM中临时地保存通过控制部20生成或获取到的数据或者信息。在ROM中写入有用于规定控制部20的动作(例如基于控制装置1的控制信号使摄像机3和作业部5移动至规定的位置的方法等)的程序。
驱动部22基于以基准标记Pt0为基点的摄像对象Tg1的位置信息来使摄像机3和作业部5移动。驱动部22经由控制部20将摄像机3和作业部5的移动速度发送至图像处理装置4。
误差校正部23基于从图像处理装置4接收到的差信息来对通过驱动部22而移动的摄像机3和作业部5的位置进行校正。另外，在摄像机3和作业部5被固定地设置的情况下，误差校正部23基于接收到的差信息来对区域数据12(也就是CAD数据等)中存储的摄像对象Tg1的位置信息进行校正。
臂部24与将摄像机3和作业部5一体地支承的支承台26连接。臂部24通过驱动部22而被驱动，经由支承台26使摄像机3和作业部5一体地移动。
摄像机3具有CCD(Charge Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)作为摄像元件。摄像机3具有能够调节焦距的调焦透镜(未图示)、能够变更变焦倍率的变焦透镜(未图示)以及能够调整摄像元件的感光度的增益调整部(未图示)。
另外，摄像机3例如使用CPU(Central Processing Unit：中央处理单元)、MPU(Micro Processing Unit：微处理单元)、DSP(Digital Signal Processor：数字信号处理器)或FPGA(Field Programmable Gate Array：现场可编程门阵列)构成。摄像机3使用摄像图像的电信号来进行规定的信号处理，由此生成通过人能够识别的RGB(Red Green Blue)或YUV(亮度/色差)等规定的摄像图像的数据(帧)。摄像机3将拍摄到的摄像图像的数据(下面称作摄像图像)发送至图像处理装置4。此外，由摄像机3拍摄到的摄像图像被存储于存储器41。
另外，摄像机3具有摄像范围IA1。摄像机3是以规定的帧频(例如120fps(frameper second：每秒传输帧数))生成摄像对象Tg1的摄像图像的数据(帧)的高速摄像机。此外，规定的帧频可以根据摄像范围IA1和后述的限定范围的大小来由用户任意地设定。具体地说，规定的帧频例如也可以为60fps、240fps等。
此外，图1所示的摄像机3被设置为能够通过臂部24使摄像位置可变，既可以根据用途固定地设置于致动器2的底面或侧面，也可以固定地设置于能够拍摄到摄像对象Tg1的其它支承台(未图示)等。另外，图1所示的摄像机3所具有的摄像范围IA1示出包含基准标记Pt0和摄像对象Tg1的范围，但在设置为摄像机3的摄像位置可变的情况下，可以是能够在各不相同的规定的摄像位置拍摄基准标记Pt0和摄像对象Tg1。也就是说，实施方式1所涉及的摄像机3被设置为能够拍摄基准标记Pt0和摄像对象Tg1或者具有能够进行拍摄的摄像范围IA1即可。
并且，在摄像机3的摄像位置固定、并且摄像机3的摄像范围IA1能够拍摄摄像对象Tg1能够配置的全部位置的情况下，也可以省略基准标记Pt0。也就是说，这样的情况下的实施方式1所涉及的摄像机3能够拍摄摄像对象Tg1即可。
接着，说明图像处理装置4。图像处理装置4与致动器2及摄像机3之间以可通信的方式进行连接。图像处理装置4构成为包括控制部40、存储器41以及接收部42。
控制部40例如使用CPU或FPGA构成，与存储器41协作来进行各种处理和控制。具体地说，控制部40参照存储器41中保持的程序和数据，通过执行该程序来实现各部的功能。各部包括预测部43、检测部44、测量部45以及输出部46。
存储器41具有例如在执行控制部40的各处理时使用的作为工作存储器的RAM、以及保存规定了控制部40的动作的程序及数据的ROM。在RAM中临时地保存通过控制部40生成或获取到的数据或者信息。在ROM中写入有用于规定控制部40的动作(例如预测所接收到的摄像对象Tg1的位置的方法、从所读出的限定范围中检测摄像对象Tg1的方法以及测量所检测出的摄像对象Tg1的位置的方法等)的程序。另外，存储器41存储所接收到的摄像图像、摄像对象Tg1的位置信息以及后述的限定范围等。
接收部42与致动器2的控制部20及摄像机3之间以可通信的方式进行连接。接收部42从控制部20接收摄像对象Tg1的位置信息和能够估计出摄像机3的位置的信息(例如摄像机3的位置信息或摄像机3的移动速度信息等)，将所接收到的摄像对象Tg1的位置信息、能够估计出摄像机3的位置的信息输出至预测部43，并将所接收到的摄像对象Tg1的位置信息输出至输出部46。接收部42接收由摄像机3拍摄到的摄像图像的数据，并将所接收到的摄像图像的数据输出至检测部44。
另外，接收部42将所接收到的摄像机3的各种信息输出至控制部40。由接收部42输出的各种信息进一步通过控制部40被输出至各部。
预测部43基于从接收部42输出的区域数据12中存储的摄像对象Tg1的位置信息和能够估计出通过致动器2而移动后的摄像机3的位置的信息，来预测所接收到的摄像图像中映现出的摄像对象Tg1的位置。具体地说，预测部43预测摄像对象Tg1在摄像机3的图像传感器中的位置。预测部43将预测出的摄像对象Tg1的预测位置输出至检测部44和输出部46。此外，预测部43预测的摄像对象Tg1的位置不仅是下一帧(具体地说是在检测摄像对象时使用的摄像图像之后拍摄到的摄像图像)拍摄的摄像对象Tg1的位置，也可以是在数帧之后拍摄的摄像对象Tg1的位置。
检测部44限定性地读出由摄像机3拍摄并被接收到的摄像图像中的、包含由预测部43预测出的预测位置(也就是摄像对象Tg1在图像传感器中的预测位置)的作为摄像范围IA1的一部分的图像传感器中的限定范围，来检测摄像图像的限定范围中映现的摄像对象Tg1。检测部44将检测结果输出至测量部45。此外，限定范围可以是在存储器41中预先设定的规定的范围，也可以是以预测位置为中心的规定范围。在后文叙述限定范围。
像这样，检测部44限定性地读出摄像范围IA1中的限定范围，由此，相比于比较例的以摄像图像的全部区域为对象的读出处理，能够缩短读出处理所需的时间。另外，检测部44通过减小读出范围，能够降低读出处理所需的负荷。因而，实施方式1所涉及的图像处理装置4能够对由摄像机3拍摄到的摄像对象Tg1的图像执行高效的图像处理，并且能够计算更高精度的摄像对象Tg1的位置误差。
并且，在比较例的使用摄像图像的坐标误差的校正方法中，读出处理需要时间，由此考虑到对其它装置的动作速度的影响，被进行图像处理的摄像图像的张数有限制。但是，实施方式1所涉及的图像处理装置4通过限定性地读出摄像范围IA1中的限定范围，能够缩短读出时间，因此能够抑制对其它装置的动作速度的影响。另外，实施方式1所涉及的图像处理装置4通过缩短读出时间，能够增加采样数，因此能够实现更高精度的位置误差校正。
测量部45测量由检测部44检测出的摄像图像上的限定范围中映现的摄像对象Tg1的位置。测量部45将所测量出的摄像对象Tg1的测量位置输出至输出部46。
输出部46输出摄像对象Tg1在图像传感器中的预测位置与摄像对象Tg1在实际拍摄到的摄像图像中的测量位置之差。由此，输出部46能够输出从致动器2接收到的摄像对象Tg1的位置与实际检测出的位置之间的误差。
输出部46将计算出的差信息(换言之是误差信息)发送至致动器2的误差校正部23。误差校正部23基于接收到的差信息来校正与通过驱动部22而被驱动的臂部24的位置(换言之是摄像机3的摄像位置和作业部5的作业位置)有关的误差。
作业部5例如为能够搭载电子部件的部件搭载头、能够进行焊接的焊烙铁或能够进行熔接的熔接棒等。作业部5通过驱动部22而被驱动为能够改变位置。此外，作业部5可以设置为能够更换能够执行上述那样的用户要求的作业的作业单元。
摄像对象Tg1是基于区域数据12设定的。此外，在图1的说明中，设为摄像对象Tg1停留于规定的位置进行了说明，但并不限于此。摄像对象Tg1例如为部件，其位置可以根据搬送轨道等的固定速度而变化。在该情况下，图像处理装置4接收摄像机3的移动速度信息和摄像对象Tg1的移动速度信息，并执行考虑了相对速度的图像处理。
接着，参照图2和图3来将比较例的摄像机的图像处理所需的时间与实施方式1所涉及的摄像机3的图像处理所需的时间进行比较。图2是示出比较例的图像读出和图像处理例的时间图。图3是示出实施方式1所涉及的图像处理装置中的图像读出和图像处理例的时间图。图2和图3所示的图像处理装置4执行的处理中的传送表示读出摄像图像的处理。计算表示直至从所读出的摄像图像中检测出摄像对象Tg1并且测量所检测出的摄像对象Tg1的位置来计算并输出与设计上的摄像对象Tg1的位置之差为止的处理。此外，图2所示的比较例的摄像机和图3所示的实施方式1所涉及的摄像机3的摄像范围设为摄像范围IA1。
图2所示的比较例的摄像机在时间0(零)至时间s2的期间处于非曝光状态，在时间s2至时间s3的期间变为曝光状态。比较例的图像处理装置当比较例的摄像机的曝光状态结束时，在时间s3至时间s6的期间读出摄像范围IA1的全部区域，在时间s6至时间s7的期间执行图像处理。也就是说，使用比较例的摄像机和图像处理装置的图像处理系统输出一次误差需要时间s7。
另一方面，图3所示的实施方式1所涉及的摄像机3在时间0(零)至时间s1的期间结束曝光状态。图像处理装置4从摄像机3结束了曝光状态的时间s1起开始进行读出处理。图像处理装置4通过限定性地仅读出所拍摄到的摄像范围IA1中的限定区域，在时间s1至时间s2的期间结束读出处理，在时间s2至时间s3的期间完成图像处理。也就是说，实施方式1所涉及的图像处理系统输出一次误差需要时间s3。因而，实施方式1所涉及的图像处理系统能够缩短进行读出传输所需的时间，因此如图3所示的那样，摄像机3能够迅速地重复曝光状态，从而能够迅速地输出更多的误差。
如上述的那样，实施方式1所涉及的图像处理系统通过将图像处理装置4中的图像的读出限定于限定范围，能够缩短进行读出处理所需的时间，从而能够将摄像机3的帧频设定得更快。另外，由此，实施方式1所涉及的图像处理系统能够以相同的时间得到更多的采样数(换言之是被输出的误差信息的数量)，因此能够使位置误差校正的精度为更高的精度。
此外，摄像机3可以不是如图3所示的那样连续地重复曝光状态，可以具有为非曝光状态的时间。
图4是示出摄像范围IA1和限定范围Ar1、Ar2、…、Ar(n-2)、Ar(n-1)、Arn的各限定范围的一例的图。多个限定范围Ar1、…、Arn的各限定范围是摄像范围IA1的一部分。可以预先在存储器41中设定并存储多个限定范围Ar1、…、Arn的各限定范围。此外，关于图4所示的多个限定范围Ar1、…、Arn的各限定范围，示出将摄像范围IA1分割为长方形形状的例子，但例如也可以为正方形形状。
并且，限定范围也可以不是图4所示的预先设定的范围，也可以是以预测位置为中心的规定范围。限定范围例如可以为以由预测部43预测出的摄像对象Tg1的预测位置为中心具有规定半径的圆形形状、以摄像对象Tg1的预测位置为两条对角线的交点位置的四边形形状等。
图5是示出多个限定范围Ar1、…、Arn的各限定范围中映现出的摄像对象Tg1随时间的变化例的情形的图。图5所示的横轴表示时间T。此外，图5中的摄像对象Tg1在摄像范围IA1中相对于规定位置不动。向量RT0表示摄像对象Tg1在下一帧中的位置。
摄像机3一边通过驱动部22向与向量RT0相反的方向以规定的速度移动一边拍摄摄像对象Tg1。时间t1时的摄像对象Tg1位于限定范围Ar1。时间t2时的摄像对象Tg1位于限定范围Ar2。时间t(n-2)时的摄像对象Tg1位于限定范围Ar(n-2)。时间t(n-1)时的摄像对象Tg1位于限定范围Ar(n-1)。时间tn时的摄像对象Tg1位于限定范围Arn。
如以上那样，图像处理装置4中的预测部43能够基于从致动器2接收到的能够估计出摄像机3的位置的信息和摄像对象Tg1的位置信息来预测摄像对象Tg1在摄像范围IA1中的位置。另外，检测部44基于预测位置来限定性地读出上述的多个限定范围Ar1、…、Arn的各限定范围中的包含摄像对象Tg1的预测位置的限定范围。由此，图像处理装置4能够限定性地且高效地对针对摄像范围IA1的限定范围进行图像处理，因此能够减少图像处理所需的时间和负荷。
图6是说明实施方式1所涉及的图像处理系统的动作过程例的序列图。
控制装置1生成基于由用户输入的区域数据12的控制信号，并发送至致动器2。具体地说，控制装置1基于区域数据12将摄像对象Tg1的位置信息发送至致动器2(T1)。
控制装置1生成用于控制摄像机3的驱动的控制信号和用于指示基于摄像对象Tg1的位置信息的移动的控制信号，并发送至致动器2(T2)。
致动器2执行基于基准标记Pt0的初始位置对准(T3)。具体地说，致动器2使摄像机3移动至基准标记Pt0的摄像位置。致动器2使移动后的摄像机3拍摄基准标记Pt0，并将基准标记Pt0的位置信息发送至图像处理装置4。摄像机3将拍摄到的基准标记Pt0的摄像图像发送至图像处理装置4。图像处理装置4基于接收到的摄像图像来检测基准标记Pt0，并测量基准标记Pt0的位置。图像处理装置4计算所测量出的测量位置与从致动器2接收到的基准标记Pt0的位置之差，并发送至致动器2。致动器2基于接收到的差来对摄像机3的位置进行校正。
致动器2将从控制装置1接收到的摄像对象Tg1的位置信息发送至图像处理装置4(T4)。
致动器2基于摄像对象Tg1的位置信息使摄像机3移动至能够拍摄到摄像对象Tg1的位置(T5)。
图像处理装置4基于接收到的摄像对象Tg1的位置信息和能够估计出摄像机3的位置的信息(例如摄像机3的位置信息、摄像机3的移动速度信息等)，来预测具有摄像范围IA1的摄像图像中映现的摄像对象Tg1的位置(T6)。
摄像机3将拍摄到摄像对象Tg1的具有摄像范围IA1的摄像图像发送至图像处理装置4(T7)。
图像处理装置4基于预测出的摄像对象Tg1的预测位置，来限定性地读出作为摄像范围IA1的一部分的多个限定范围Ar1、…、Arn的各限定范围中的包含预测位置的限定范围(T8)。
图像处理装置4从所读出的限定范围中检测摄像对象Tg1，并测量所检测出的摄像对象Tg1的位置(T9)。
图像处理装置4输出所测量出的摄像对象Tg1的测量位置与预测位置之差(T10)。
图像处理装置4将输出结果(差信息)发送至致动器2(T11)。
致动器2基于输出结果(差信息)来对当前的摄像机3的位置进行校正(T12)。
致动器2基于校正后的摄像机3的位置信息和摄像对象Tg1的位置信息来使摄像机3移动至下一个位置(T13)。
致动器2在执行步骤T13的动作处理之后，返回到步骤T5的动作处理，重复进行步骤T5～步骤T13的重复处理TRp的动作处理，直至摄像对象Tg1被变更为止。此外，关于图4所示的动作过程，在摄像对象Tg1被变更为其它摄像对象的情况下，可以省略步骤T3的处理。
另外，序列图所示的步骤的过程不限于上述的顺序。例如，在步骤T6和步骤T7中执行的动作过程可以顺序相反。
通过以上，实施方式1所涉及的图像处理系统通过将图像处理装置4中的图像的读出限定于限定范围，能够缩短进行读出处理所需的时间，从而能够将摄像机3的帧频设定得更快。另外，由此，实施方式1所涉及的图像处理系统能够以相同的时间得到更多的采样数(换言之是被输出的误差信息的数量)，因此能够使位置误差校正的精度为更高的精度。
图7是说明实施方式1所涉及的图像处理装置4的基本动作过程例的流程图。
接收部42从致动器2接收摄像对象Tg1的位置信息和能够估计出摄像机3的位置的信息(例如摄像机3的位置信息、摄像机3的移动速度信息等)(St11)。
预测部43基于接收到的摄像对象Tg1的位置信息和能够估计出摄像机3的位置的信息，来预测具有摄像范围IA1的摄像机3的摄像图像中映现的摄像对象Tg1的位置(St12)。
检测部44基于预测出的摄像对象Tg1的预测位置，来高速地读出作为摄像范围IA1的一部分的多个限定范围Ar1、…、Arn的各限定范围中的包含预测位置的限定范围(St13)。
检测部44从所读出的限定范围中检测摄像对象Tg1，并测量所检测出的摄像对象Tg1的位置。检测部44输出所测量出的摄像对象Tg1的测量位置与预测位置之差(St14)。
图像处理装置4在执行步骤St14的处理之后返回到步骤St12的处理。此外，重复地执行图7所示的图像处理装置4的动作，直至具有用户的指示(例如直至摄像对象Tg1被变更为其它摄像对象为止，直至输出规定次数的差分为止)或者结束区域数据12中存储的程序的动作为止。
如上述的那样，实施方式1所涉及的图像处理装置4通过将图像的读出限定于限定范围，能够缩短进行读出处理所需的时间，从而能够将摄像机3的帧频设定得更快。另外，由此，实施方式1所涉及的图像处理装置4能够以相同的时间得到更多的采样数(换言之是被输出的误差信息的数量)，因此能够使位置误差校正的精度为更高的精度。
(实施方式2)
在实施方式2中，对在实施方式1的基础上还具备具有不同的摄像范围的多个摄像机的各摄像机的图像处理系统进行说明。实施方式2所涉及的图像处理装置4能够基于从摄像范围中的规定的限定范围提取出的特征点来输出摄像机的移动速度的误差或摄像机的移动位置的误差。此外，实施方式2所涉及的图像处理系统的结构与实施方式1所涉及的图像处理系统大致相同，因此对相同的结构标注相同的标记并简化或省略说明，对不同的内容进行说明。
图8是实施方式2所涉及的具备多个摄像机3a、3b、3c的各摄像机的图像处理系统的使用情况例的说明图。图8所示的实施方式2所涉及的控制装置1的内部结构与图1所示的结构相同，因此示出简化图。此外，关于实施方式2所涉及的致动器2和图像处理装置4，简化或省略与在实施方式1中说明的内容相同的内容，对不同的内容进行说明。
控制部20基于区域数据12中存储的数据和程序来向多个摄像机3a、3b、3c的各摄像机输出控制信号。另外，控制部20将用于基于区域数据12中存储的数据和程序使多个摄像机3a、3b、3c的各摄像机移动的控制信号输出至驱动部22。此外，图8所示的摄像机为三台，但摄像机的台数不限于三台，这是不言而喻的。
另外，控制部20将进行拍摄的摄像机的信息和能够估计出该摄像机的位置的信息(例如摄像机的位置信息、摄像机的移动速度信息等)发送至图像处理装置4的接收部42。
存储器21存储多个摄像机3a、3b、3c各自的配置和摄像范围IB1、IB2、IB3的各摄像范围。
多个臂部24a、24b、24c的各臂部具备多个摄像机3a、3b、3c的各摄像机，并且通过驱动部22而被进行控制。此外，例如也可以在一个臂部24a设置有多个摄像机3a、3b、3c的各摄像机。
多个摄像机3a、3b、3c的各摄像机与基于驱动部22的控制的多个臂部24a、24b、24c各自的驱动连动地进行移动。多个摄像机3a、3b、3c的各摄像机设置为能够拍摄不同的摄像范围。摄像机3a具有摄像范围IB1。摄像机3b具有摄像范围IB2。摄像机3c具有摄像范围IB3。
此外，多个摄像机3a、3b、3c各自的动作与实施方式1所涉及的摄像机3的动作相同，因此省略说明。
多个摄像范围IB1、IB2、IB3的各摄像范围是不同的摄像范围。此外，图8所示的多个摄像范围IB1、IB2、IB3的各摄像范围表示为邻接的摄像范围，但各摄像范围根据多个摄像机3a、3b、3c的各摄像机的位置而移动。
图像处理装置4相对于实施方式1所涉及的图像处理装置4还具备摄像机切换部47。
接收部42将从致动器2接收到的摄像机的各种信息输出至预测部43、检测部44、输出部46以及摄像机切换部47。此外，各种信息中包含多个摄像机3a、3b、3c各自的帧频、与多个摄像范围IB1、IB2、IB3的各摄像范围有关的信息以及多个摄像机3a、3b、3c各自的变焦倍率信息等。
实施方式2的检测部44在初始状态下未设定摄像对象的情况下提取以下说明的特征点。
检测部44读出在连续地拍摄到的至少两帧中的第一帧中设定的规定的限定范围，来提取具有规定的特征量的多个特征点的各特征点。检测部44在所提取出的多个特征点的各特征点中提取作为特征量多的一个特征点的摄像对象Tg2。此外，检测部44在无法在第一帧中提取出特征点的情况下，在其它限定范围中进行特征点(摄像对象)的提取，或者对限定范围进行校正后再次执行读出来进行特征点(摄像对象)的提取。限定范围的校正是由检测部44基于提取出的多个特征点的各特征点的分布执行的。限定范围的校正例如是通过将限定范围向限定范围内的多个特征点的各特征点的分布中的特征点的密度(密集度)高的方向扩大或位移来执行的。
检测部44在提取出摄像对象Tg2之后在第二帧中读出同一限定范围，来检测摄像对象Tg2。此外，检测部44如果在第二帧中没能检测到摄像对象Tg2，则在其它限定范围中执行读出，或者对限定范围进行校正后再次执行读出。另外，检测部44可以也将摄像对象Tg2设定为摄像对象。
上述的规定的特征量是由用户预先设定的，并被存储于控制装置1的存储器11。图像处理装置4经由致动器2从控制装置1接收与规定的特征量有关的信息。
测量部45测量在第一帧(也就是第一张摄像图像)中映现的摄像对象Tg2的位置Pt1和在第二帧(也就是第二张摄像图像)中映现的摄像对象Tg2的位置Pt1。
输出部46根据基于两帧的各帧所测量出的摄像对象Tg2的运动量和由接收部42接收到的多个摄像机3a、3b、3c各自的帧频，来计算摄像对象Tg2的运动速度。输出部46输出所计算出的摄像对象Tg2的运动速度与拍摄到摄像对象Tg2的摄像机或致动器2的移动速度之间的速度差。输出部46将输出结果发送至致动器2的误差校正部23。
误差校正部23基于接收到的速度差，来对驱动部22输出用于校正拍摄到摄像对象Tg2的摄像机的速度误差的控制信号。
摄像机切换部47具有与多个摄像机3a、3b、3c的各摄像机连接的多个开关SW1、SW2、SW3的各开关中的某一开关和用于向接收部42输出摄像图像的开关SW。摄像机切换部47基于由预测部43预测出的摄像对象Tg2的预测位置或从控制部20输入的控制信号，来进行与开关SW连接的多个开关SW1、SW2、SW3的各开关(也就是多个摄像机3a、3b、3c的各摄像机)之间的切换。
图9是说明实施方式2所涉及的具备多个摄像机3a、3b、3c的各摄像机的图像处理装置4的动作过程例的流程图。在图9所示的流程图中，图像处理装置4被设定摄像对象。
接收部42从致动器2接收摄像对象(未图示)的位置信息、拍摄摄像对象的多个摄像机3a、3b、3c的各摄像机中的某一摄像机的信息以及能够估计出多个摄像机3a、3b、3c各自的位置的信息(例如多个摄像机3a、3b、3c各自的位置信息、多个摄像机3a、3b、3c各自的移动速度信息等)(St21)。
预测部43基于接收到的摄像对象的位置信息、拍摄摄像对象的摄像机的信息以及能够估计出该摄像机的位置的信息，来预测摄像对象在拍摄摄像对象的摄像机的图像传感器上映现的位置(St22)。
摄像机切换部47基于接收到的拍摄摄像对象的摄像机的信息来切换与开关SW进行连接的开关(St23)。
检测部44基于预测出的摄像对象在图像传感器上的预测位置，来高速地读出作为摄像范围的一部分的规定的限定范围中的包含预测位置的限定范围(St24)。
检测部44从所读出的限定范围的摄像图像中检测具有规定的特征量的摄像对象。测量部45测量所检测出的摄像对象的位置(St25)。
输出部46输出所测量出的摄像对象在摄像图像上的测量位置与摄像对象在图像传感器上的预测位置之差(St26)。
图像处理装置4在执行步骤St26的处理之后返回到步骤St22的处理。此外，重复地执行图7所示的图像处理装置4的动作，直至摄像对象被变更为其它摄像对象为止，或者直至结束区域数据12中存储的程序的动作为止。
在之后的说明中，参照图10和图11来说明在未预先设定摄像对象的情况下通过图像处理来提取特征点的情况下的图像处理系统。
如以上那样，实施方式2所涉及的图像处理装置4通过将图像的读出限定于限定范围，能够缩短进行读出处理所需的时间，从而能够将摄像机的帧频设定得更快。另外，由此，实施方式2所涉及的图像处理装置4能够以相同的时间得到更多的采样数(换言之是被输出的误差信息的数量)，因此能够使位置误差校正的精度为更高的精度。
图10是示出特征点(摄像对象Tg2)的检测例的图。图11是说明检测特征点(摄像对象Tg2)的实施方式2所涉及的图像处理装置4的动作过程例的流程图。
图10所示的图像是提取出连续地拍摄到的在同一限定范围Ar中读出的两帧之间的摄像图像中映现的多个特征点的各特征点的运动的图像，并且示出在多个特征点的各特征点中提取出作为特征点的摄像对象Tg2的情形。图10所示的图像是通过在后述的图11的步骤St34中执行的处理生成的。
关于摄像对象Tg2，例如通过作为高速摄像机的多个摄像机3a、3b、3c的各摄像机，在第一帧中位于摄像图像中的由坐标(X1，Y1)所表示的位置Pt1，在第二帧中位于摄像图像中的由坐标(X2，Y2)所表示的位置Pt2。摄像对象Tg2的运动量Δα通过位置Pt1与位置Pt2之间的坐标的变化或者从位置Pt1向位置Pt2的向量的大小来表示。
接着，使用图11所示的流程图来说明摄像对象Tg2的检测过程。
接收部42从致动器2接收摄像机的摄像范围、移动速度、帧频以及变焦倍率等与摄像机有关的信息，并输出至检测部44、测量部45以及输出部46。检测部44基于所输入的与摄像机有关的信息来设定摄像机的摄像范围(St31)。
检测部44高速地读出最近连续地拍摄到的两帧中的第一帧所拍摄到的摄像范围中的规定的限定范围(St32)。
检测部44高速地读出最近连续地拍摄到的两帧中的第二帧所拍摄到的摄像范围中的规定的限定范围(St33)。
此外，执行读出的限定范围可以如通过图4所说明的那样是从致动器2预先设定的多个限定范围Ar1、…、Arn的各限定范围中的某一限定范围，也可以是由用户设定的限定范围。
检测部44基于最近连续地拍摄到的两帧的各帧中的读出结果，来检测所读出的限定范围的摄像图像中映现的多个特征点的各特征点(St34)。
检测部44对在步骤St34中检测出的多个特征点的各特征点执行加权(特征量的提取)，来从这些多个特征点的各特征点中提取具有规定的特征量的规定的摄像对象Tg2。测量部45针对所提取出的规定的摄像对象Tg2测量运动量Δα(例如，基于图10所示的摄像对象Tg2在所读出的摄像图像上的位置Pt1、Pt2的各位置的位置之差)。输出部46基于从致动器2接收到的摄像机的帧频和测量出的运动量Δα来计算规定的摄像对象Tg2的运动速度(St35)。
输出部46输出所计算出的规定的摄像对象Tg2的运动速度与摄像机的移动速度之差，并将所输出的速度之差发送至致动器2(St36)。
图像处理装置4在执行步骤St36中的处理之后返回到步骤St32的处理，从同一限定范围中提取具有规定的特征量的多个特征点的各特征点。
此外，在执行步骤St35中的处理的结果是从限定范围中未得到具有规定的特征量的特征点的情况下，可以将进行读出的限定范围变更为其它限定范围，来再次执行步骤St32之后所示的处理。
根据以上所述，实施方式2所涉及的图像处理装置4通过将图像的读出限定于限定范围，能够缩短进行读出处理所需的时间，从而能够将摄像机的帧频设定得更快。另外，由此，实施方式2所涉及的图像处理装置4能够以相同的时间得到更多的采样数(换言之是被输出的误差信息的数量)，因此能够使速度误差校正的精度为更高的精度。
(其它变形例)
在其它变形例中，作为实施方式2的应用例，示出将致动器设为能够进行飞行控制的无人驾驶飞机的情况下的图像处理系统。另外，其它变形例中的图像处理系统一边追踪从规定的限定范围中检测出的特征点一边在其它限定范围中检测其它特征点。此外，其它变形例所涉及的图像处理系统的结构与实施方式2所涉及的图像处理系统大致相同，因此对相同的结构标注相同的标记并简化或省略说明，对不同的内容进行说明。
图12是具备无人驾驶飞机2A的图像处理系统的使用情况例的说明图。图12所示的其它变形例中的控制装置1的内部结构与图1所示的结构相同，因此示出简化图。此外，在其它变形例的控制装置1中，简化或省略与在实施方式1中说明的内容相同的内容，对不同的内容进行说明。
其它变形例中的控制装置1例如为由无人驾驶飞机2A的操作者(用户)使用的比例控制器(日文：プロポ)(所谓的遥控器)，基于区域数据12来远程控制无人驾驶飞机2A的飞行。控制装置1通过无线N/W而与无人驾驶飞机2A连接，基于区域数据12来生成用于控制无人驾驶飞机2A的飞行的控制信号，并发送该控制信号。
其它变形例中的区域数据12例如构成为包含与无人驾驶飞机2A飞行的飞行路径有关的信息。
另外，控制装置1也可以由用户来进行操作。在这样的情况下，控制装置1基于用户的操作来远程控制无人驾驶飞机2A的飞行。控制装置1通过无线N/W而与无人驾驶飞机2A连接，生成并发送与无人驾驶飞机2A的飞行控制有关的控制信号。
无人驾驶飞机2A例如为无人飞行体，基于根据用户的输入操作而从控制装置1发送的控制信号来进行飞行。无人驾驶飞机2A具备多个摄像机3a、3b的各摄像机。无人驾驶飞机2A构成为包括控制部20、存储器21、驱动部22、误差校正部23以及通信部25。
通信部25具有天线Ant1，与控制装置1及图像处理装置4之间经由无线N/W(例如使用了Wifi(注册商标)的无线通信网等)连接，来进行信息、数据的收发。
通信部25通过与控制装置1之间的通信来接收例如无人驾驶飞机2A的移动方向、飞行高度等与控制有关的信号。通信部25将通过天线Ant1接收到的表示无人驾驶飞机2A的位置信息的卫星定位信号发送至控制装置1。在后文叙述天线Ant1。
另外，通信部25通过与图像处理装置4之间的通信来发送例如与特征点的提取所需的特征量有关的设定信息、多个摄像机3a、3b各自的设定信息(例如与摄像范围、帧频、变焦倍率、限定范围有关的信息等)、无人驾驶飞机2A的速度信息等。通信部25通过与图像处理装置4之间的通信来接收无人驾驶飞机2A的速度信息与由多个摄像机3a、3b的各摄像机拍摄到的摄像图像中映现的摄像对象Tg2的运动速度之间的与速度有关的差(误差)信息。通信部25将接收到的差(误差)信息输出至误差校正部23。
天线Ant1例如为能够接收从人工卫星(未图示)发送的卫星定位信号的天线。天线Ant1能够接收的信号不限于是美国的GPS(Global Positioning System：全球定位系统)的信号，例如也可以是从俄罗斯的GLONASS(Global Navigation Satellite System：全球导航卫星系统)或欧州的Galileo等能够提供卫星定位服务的人工卫星发送的信号。另外，天线Ant1还可以能够接收准天顶卫星的信号，该准天顶卫星用于发送能够将上述的提供卫星定位服务的人工卫星所发送的卫星定位信号进行增强或校正的卫星定位信号。
驱动部22基于从控制装置1经由通信部25接收到的控制信号来驱动无人驾驶飞机2A使其飞行。驱动部22是至少一个旋翼，控制通过旋转产生的升力来进行飞行。此外，在图12中，将驱动部22图示在无人驾驶飞机2A的顶面，但设置场所不限于顶面，只要是能够对无人驾驶飞机2A进行飞行控制的场所即可，例如设置在无人驾驶飞机2A的下部或侧面等。
误差校正部23基于从图像处理装置4中的输出部46接收到的无人驾驶飞机2A的飞行速度与摄像对象Tg3的运动速度之间的速度差(误差)信息来对驱动部22的飞行速度进行校正。
多个摄像机3a、3b的各摄像机是拍摄不同的摄像范围IB1、IB2的各摄像范围的摄像机。多个摄像机3a、3b的各摄像机既可以被固定设置于无人驾驶飞机2A，也可以设置为能够拍摄各种角度。另外，多个摄像机3a、3b的各摄像机也可以配备于无人驾驶飞机2A的侧面、底面以及顶面中的任一场所。例如，多个摄像机3a、3b的各摄像机可以设置于无人驾驶飞机2A的顶面和底面、或者不同的侧面等不同的面上。
此外，图12所示的摄像范围IB1、IB2的各摄像范围为连续的摄像范围，但各摄像范围可以基于多个摄像机3a、3b的各摄像机的设置场所而变更，摄像范围可以不是连续的。
多个摄像机3a、3b的各摄像机经由通信部25向图像处理装置4中的摄像机切换部47发送摄像图像。
接收部42通过与无人驾驶飞机2A之间的通信，来接收多个摄像机3a、3b各自的帧频、摄像范围及设定于图像传感器上的多个限定范围的各限定范围等与多个摄像机3a、3b的各摄像机有关的设定信息、由多个摄像机3a、3b的各摄像机拍摄到的摄像图像、以及与特征点有关的设定信息(例如在摄像图像中的所读出的限定范围中检测特征点所需的特征量等)。
检测部44基于由接收部42接收到的多个摄像机3a、3b各自的设定信息来设定图像传感器中的用于追踪摄像对象Tg3的追踪用限定范围和用于检测其它摄像对象的检测用限定范围(在图13中表述为检测用限定范围)。此外，检测部44设定用于追踪摄像对象Tg3的追踪用摄像机和用于检测其它摄像对象Tg4的检测用摄像机，对追踪用摄像机设定用于追踪摄像对象Tg3的追踪用限定范围(在图13中表述为追踪用限定范围)，对检测用摄像机设定用于检测其它摄像对象Tg4的检测用限定范围。
其它变形例中的检测部44在初始状态下未设定摄像对象Tg3。因而，在下面说明摄像对象Tg3的设定。
检测部44读出在图像传感器上设定的追踪用限定范围的摄像图像，并提取具有规定的特征量的多个特征点的各特征点。检测部44将提取出的多个特征点的各特征点中的、包含较多特征量的一个特征点设定为摄像对象Tg3。
检测部44读出在图像传感器上设定的检测用限定范围的摄像图像，并提取具有规定的特征量的多个特征点的各特征点。检测部44判定检测用限定范围中包含的多个特征点的各特征点是否比追踪用限定范围中包含的多个特征点的各特征点多。此外，检测部44也可以进行基于检测用限定范围中包含的多个特征点的各特征点中的特征量最多的特征点和摄像对象Tg3的特征量的判定。检测部44将判定的结果为多个特征点的各特征点的数量较多一方的限定范围或者包含含有较多特征量的特征点的限定范围设定为追踪用限定范围。并且，检测部44将其它限定范围设定为检测用限定范围。此外，图像处理装置4在通过检测部44设定追踪用摄像机和检测用摄像机的情况下也执行同样的处理。
另外，检测部44也可以基于追踪用限定范围中包含的多个特征点的各特征点的分布来对追踪用限定范围进行校正。由此，在摄像对象Tg3在追踪用摄像范围的边界附近存在特征量更多的特征点的情况下，检测部44能够设定为其它摄像对象Tg4。
预测部43基于检测出的摄像对象Tg3的运动量和无人驾驶飞机2A的飞行方向来预测在接下来的两帧中拍摄到的摄像对象Tg3在图像传感器上的位置。预测部43将预测出的摄像对象Tg3的预测位置输出至检测部44。
此外，预测部43在预测位置转移至其它摄像机的摄像范围或其它摄像机的限定范围的情况下，也可以将与作为转移目标的摄像机或作为转移目标的摄像机的图像传感器上设定的限定范围有关的信息输出至检测部44和摄像机切换部47。并且，在摄像对象Tg3的预测位置位于摄像范围外的情况下，预测部43也可以将摄像对象Tg3的预测位置移动至摄像范围外这一情况输出至检测部44和摄像机切换部47。
输出部46基于由测量部45测量出的摄像对象Tg3在摄像图像中的位置来计算摄像对象Tg3的运动速度。此外，结合图13所示的流程图的说明来进行与运动速度的计算有关的详细的说明。输出部46将由接收部42接收到的无人驾驶飞机2A的飞行速度与摄像对象Tg3的运动速度之间的速度差经由通信部25发送至误差校正部23。
摄像机切换部47逐帧地切换拍摄所设定的追踪用限定范围和检测用限定范围的摄像机，在所设定的追踪用限定范围和检测用限定范围处于同一摄像机的摄像范围内的情况下，不切换摄像机。此外，在多个摄像机3a、3b的各摄像机被设定为追踪用摄像机和检测用摄像机的情况下，摄像机切换部47也同样地逐帧地执行摄像机的切换。
图13是说明实施方式2所涉及的图像处理装置4的追踪和检测动作过程例的流程图。此外，在图13所示的流程图的说明中，对从图12所示的无人驾驶飞机2A所具备的多个摄像机3a、3b的各摄像机进行接收的情况下的图像处理装置4的动作过程例进行说明，但摄像机的台数不限于两台，也可以为三台以上，在摄像机的视角不固定的情况下也可以为一台。
接收部42通过与无人驾驶飞机2A之间的无线通信，来接收多个摄像机3a、3b各自的帧频、摄像范围及限定范围等多个摄像机3a、3b各自的设定信息以及与特征点有关的设定信息(例如检测特征点所需的特征量等)。摄像机切换部47基于由接收部42接收到的多个摄像机3a、3b各自的设定信息来设定追踪用限定范围(St41)。此外，在多个摄像机3a、3b的各摄像机中的一方被设定为追踪用摄像机的情况下，将追踪用摄像机所具有的摄像范围中的限定范围设定为追踪用限定范围。
摄像机切换部47基于由接收部42接收到的多个摄像机3a、3b各自的设定信息来设定检测用限定范围(St42)。此外，在用户将多个摄像机3a、3b的各摄像机中的一方设定为检测用摄像机的情况下，将检测用摄像机所具有的摄像范围中的限定范围设定为检测用限定范围。此外，检测用限定范围和检测用摄像机可以不是一个而是多个。
摄像机切换部47将开关SW的连接切换至所设定的追踪用限定范围(换言之是在摄像范围中包含追踪用检测范围的摄像机)。接收部42从通过摄像机切换部47进行切换而被连接的摄像机接收摄像图像，并输出至检测部44。检测部44限定性地高速地读出所输入的摄像范围中的所设定的追踪用限定范围(St43)。
摄像机切换部47将开关SW的连接切换至所设定的检测用限定范围(换言之是在摄像范围中包含检测用检测范围的摄像机)。接收部42从通过摄像机切换部47进行切换而被连接的摄像机接收摄像图像，并输出至检测部44。检测部44限定性地高速地读出所输入的摄像范围中的所设定的检测用限定范围(St44)。
检测部44从所读出的检测用限定范围的摄像图像中提取具有规定的特征量的多个特征点(摄像对象)的各特征点(St45)。
检测部44将通过步骤St44中的处理所提取出的追踪用限定范围的多个特征点的各特征点与通过步骤St45中的处理所提取出的检测用限定范围的多个特征点的各特征点进行比较，来判定检测用限定范围中包含的多个特征点的各特征点是否比追踪用限定范围中包含的多个特征点的各特征点多(St46)。此外，关于判定方法，既可以是特征点的数量，也可以是各个限定范围内的特征点所具有的最大特征量的大小。
检测部44在步骤St46中的判定结果为检测用限定范围中包含的多个特征点的各特征点比追踪用限定范围中包含的多个特征点的各特征点多的情况下(St46，“是”)，使摄像机切换部47将当前的追踪用限定范围变更为检测用限定范围，并将当前的检测用限定范围变更为追踪用限定范围(St47)。
摄像机切换部47在步骤St46中的判定结果为检测用限定范围中包含的多个特征点的各特征点比追踪用限定范围中包含的多个特征点的各特征点少的情况下(St46，“否”)，或者在执行步骤St47中的处理之后，将当前的检测用限定范围变更为其它限定范围(具体地说，是未被设定为追踪用限定范围的、包含摄像对象的预测位置的限定范围以外的限定范围)(St48)。
摄像机切换部47将开关SW的连接切换至所设定的追踪用限定范围。接收部42将通过摄像机切换部47切换到的摄像机的帧输出至检测部44。检测部44限定性地高速地读出所输入的摄像范围中的所设定的追踪用限定范围(St49)。
检测部44从执行步骤St43中的处理所读出的追踪用限定范围的摄像图像中提取多个特征点的各特征点。检测部44将提取出的多个特征点中的一个特征点设定为摄像对象Tg3，并从执行步骤St49中的处理所读出的追踪用限定范围的摄像图像中检测摄像对象Tg3。测量部45基于由接收部42接收到的多个摄像机3a、3b各自的设定信息，来测量在步骤St43中检测出的摄像对象Tg3的位置和在步骤St49中检测出的摄像对象Tg3的位置。输出部46基于所测量出的在步骤St43中检测出的摄像对象Tg3的位置与在步骤St49中检测出的摄像对象Tg2的位置之差，来计算摄像对象Tg3的运动速度(St50)。
在此，对在步骤St50中计算的摄像对象的运动速度进行说明。
在步骤St46中检测用限定范围中包含的多个特征点的各特征点比追踪用限定范围中包含的多个特征点的各特征点多的情况下(St46，“是”)，检测部44通过步骤St47中的处理来将当前的检测用限定范围变更为追踪用限定范围，通过步骤St49中的处理来读出与步骤St44相同的限定范围。因而，输出部46连续地读出同一限定范围，因此基于在两帧之间变化的摄像对象的位置来计算摄像对象的运动速度。
另一方面，在步骤St46中检测用限定范围中包含的多个特征点的各特征点不比追踪用限定范围中包含的多个特征点的各特征点多的情况下(St46，“否”)，检测部44通过步骤St49中的处理来读出与步骤St43相同的追踪用限定范围。在这样的情况下，检测部44通过步骤St44进行一次其它限定范围的读出。因而，通过步骤St49检测出的摄像对象(特征点)的位置是从通过步骤St44检测出的摄像对象起两帧后的摄像对象的位置。因而，输出部46进行一次其它限定范围的读出，因此基于在三帧之间变化的摄像对象的位置来计算摄像对象的运动速度。
另外，输出部46输出从接收部42输入的无人驾驶飞机2A的速度信息与摄像对象Tg3的运动速度之间的速度差，并发送至无人驾驶飞机2A(St51)。
图像处理装置4在执行步骤St51中的处理之后返回到步骤St44的处理。第二次循环之后的步骤St46的处理中的检测部44检测相比于当前的摄像对象Tg3而言包含更多的特征量的其它摄像对象Tg4。另外，在摄像对象Tg3位于多个摄像机3a、3b的各摄像机的摄像范围外的情况下，检测部44也可以返回到步骤St41的处理。
另外，检测部44也可以在执行步骤St51中的处理之后，基于在追踪用限定范围中检测出的多个特征点的各特征点的分布来对追踪用限定范围进行校正(St52)。此外，在这样的情况下，图像处理装置4也在执行步骤St52中的处理之后返回到步骤St44的处理。
根据以上所述，其它变形例所涉及的图像处理装置4能够同时执行摄像对象Tg3的追踪和其它摄像对象的检测。由此，无人驾驶飞机2A在执行无人驾驶飞机2A的姿势控制时，能够在摄像范围中得到摄像对象Tg3(目标)。并且，在使用上述的图像处理装置4的情况下，无人驾驶飞机2A通过将无人驾驶飞机2A的移动速度或移动方向等信息与摄像对象Tg3(目标)的运动速度或运动的方向(向量)的信息进行比较，能够得到与无人驾驶飞机2A的姿势有关的信息。
参照图14和图15来说明其它变形例中的摄像对象的追踪和检测。图14是说明追踪用限定范围和检测用限定范围的切换例的图。图14所示的横轴表示帧。另外，图15是说明针对摄像对象进行的追踪和检测的一例的图。此外，在图14所示的帧F1中，图像处理装置4在执行直至步骤St51或步骤St52的处理之后，执行步骤St44的处理。
图14示出摄像机切换部47基于由预测部43得到的摄像对象Tg3的预测位置来逐帧地切换追踪用限定范围和所设定的检测用限定范围的情形。
图15所示的多个摄像对象Tg3、Tg4的各摄像对象是由检测部44提取出的具有规定的特征量的特征点。摄像对象Tg3是已经由检测部44提取出的在帧F1的时间点被设定为摄像对象的特征点。通过无人驾驶飞机2A的飞行(移动)，摄像对象Tg3以逐帧地在轨道RT1上移动的方式发生位置变化。摄像对象Tg4是在初始状态下为未被检测部44检测到的状态且具有规定的特征量的特征点。摄像对象Tg4在帧F1中位于多个摄像机3a、3b的各摄像机的摄像范围外。通过无人驾驶飞机2A的飞行(移动)，摄像对象Tg4以逐帧地在轨道RT2上移动的方式发生位置变化。
在帧F1中，摄像机切换部47将开关SW的连接目的地切换至在摄像范围中包含检测用限定范围Ar11的摄像机3a。检测部44高速地读出检测用限定范围Ar11，并提取具有规定的特征量的特征点。检测部44基于提取结果判定为未提取到超过以前的追踪用限定范围(未图示)中的摄像对象Tg3的特征量的特征点，将检测用限定范围Ar11变更为邻接的检测用限定范围Ar12。
在帧F2中，预测部43将摄像对象Tg3的预测位置预测为位置Ps31(追踪用限定范围Ar13)，并将预测结果输出至摄像机切换部47和检测部44。摄像机切换部47使开关SW的连接目的地保持为在摄像范围中包含追踪用限定范围Ar13的摄像机3a。检测部44高速地读出追踪用限定范围Ar13，并检测摄像对象Tg3。测量部45基于检测结果，基于在以前的追踪用限定范围(未图示)中拍摄到的摄像对象Tg3的位置和在追踪用限定范围Ar13中拍摄到的摄像对象Tg3的位置来测量摄像对象Tg3的运动量。输出部46基于测量出的摄像对象Tg3的运动量来计算摄像对象Tg3的运动速度，输出摄像对象Tg3的运动速度与无人驾驶飞机2A的飞行速度之间的速度差，并经由通信部25发送至误差校正部23。
在帧F3中，摄像机切换部47使开关SW的连接目的地保持为在摄像范围中包含检测用限定范围Ar12的摄像机3a。检测部44高速地读出检测用限定范围Ar12，并提取具有规定的特征量的特征点。检测部44基于提取结果，判定为未提取到超过以前的追踪用限定范围Ar13中的摄像对象Tg3的特征量的特征点，并将检测用限定范围Ar12变更为邻接的检测用限定范围Ar13。
在帧F4中，预测部43将摄像对象Tg3的预测位置预测为位置Ps32(追踪用限定范围Ar21)，并将预测结果输出至摄像机切换部47和检测部44。摄像机切换部47将开关SW的连接目的地切换至在摄像范围中包含追踪用限定范围Ar21的摄像机3b。检测部44高速地读出追踪用限定范围Ar21，并检测摄像对象Tg3。测量部45基于检测结果，基于在以前的追踪用限定范围Ar13中拍摄到的摄像对象Tg3的位置和在追踪用限定范围Ar21中拍摄到的摄像对象Tg3的位置，来测量摄像对象Tg3的运动量。输出部46基于测量出的摄像对象Tg3的运动量来计算摄像对象Tg3的运动速度，输出摄像对象Tg3的运动速度与无人驾驶飞机2A的飞行速度之间的速度差，并经由通信部25发送至误差校正部23。
在帧F5中，摄像机切换部47将开关SW的连接目的地切换至在摄像范围中包含检测用限定范围Ar13的摄像机3a。检测部44高速地读出检测用限定范围Ar13，并提取具有规定的特征量的特征点。检测部44基于提取结果，判定为未提取到超过以前的追踪用限定范围Ar21中的摄像对象Tg3的特征量的特征点，将检测用限定范围Ar12变更为邻接的检测用限定范围Ar13。
在帧F6中，预测部43将摄像对象Tg3的预测位置预测为位置Ps33(追踪用限定范围Ar22)，并将预测结果输出至摄像机切换部47和检测部44。摄像机切换部47将开关SW的连接目的地切换至在摄像范围中包含追踪用限定范围Ar22的摄像机3b。检测部44高速地读出追踪用限定范围Ar22，并检测摄像对象Tg3。测量部45基于检测结果，基于在以前的追踪用限定范围Ar21中拍摄到的摄像对象Tg3的位置和在追踪用限定范围Ar22中拍摄到的摄像对象Tg3的位置，来测量摄像对象Tg3的运动量。输出部46基于测量出的摄像对象Tg3的运动量来计算摄像对象Tg3的运动速度，输出摄像对象Tg3的运动速度与无人驾驶飞机2A的飞行速度之间的速度差，并经由通信部25发送至误差校正部23。
在帧F7中，摄像机切换部47使开关SW的连接目的地保持为在摄像范围中包含检测用限定范围Ar21的摄像机3b。检测部44高速地读出检测用限定范围Ar21。检测部44提取位于位置Ps42且具有规定的特征量的特征点作为摄像对象Tg4。检测部44基于提取结果来将检测用限定范围Ar21中的摄像对象Tg4与以前的追踪用限定范围Ar22中的摄像对象Tg3进行比较。作为比较的结果，检测部44判定为未提取到超过以前的追踪用限定范围Ar22中的摄像对象Tg3的特征量的特征点，将检测用限定范围Ar12变更为邻接的检测用限定范围Ar13。
在帧F8中，预测部43将摄像对象Tg3的预测位置预测为位置Ps34(追踪用限定范围Ar23)，将预测结果输出至摄像机切换部47和检测部44。摄像机切换部47使开关SW的连接目的地保持为在摄像范围中包含追踪用限定范围Ar23的摄像机3b。检测部44高速地读出追踪用限定范围Ar23，并检测摄像对象Tg3。测量部45基于检测结果，基于在以前的追踪用限定范围Ar22中拍摄到的摄像对象Tg3的位置和在追踪用限定范围Ar23中拍摄到的摄像对象Tg3的位置，来测量摄像对象Tg3的运动量。输出部46基于测量出的摄像对象Tg3的运动量来计算摄像对象Tg3的运动速度，输出摄像对象Tg3的运动速度与无人驾驶飞机2A的飞行速度之间的速度差，并经由通信部25发送至误差校正部23。
在帧F9中，摄像机切换部47使开关SW的连接目的地保持为在摄像范围中包含检测用限定范围Ar22的摄像机3b。检测部44高速地读出检测用限定范围Ar22。检测部44提取位于位置Ps43且具有规定的特征量的摄像对象Tg4。检测部44基于提取结果，将检测用限定范围Ar22中的摄像对象Tg4与以前的追踪用限定范围Ar23中的摄像对象Tg3进行比较。作为比较的结果，检测部44判定为提取到了超过以前的追踪用限定范围Ar23中的摄像对象Tg3的特征量的特征点，将摄像对象从当前的摄像对象Tg3变更为下一个摄像对象Tg4。另外，检测部44将检测用限定范围Ar22变更为追踪用限定范围Ar22，将下一个检测用限定范围变更为邻接的其它检测用限定范围Ar23。
此外，帧F10时的图像处理装置4也可以通过预测部43来预测帧F11中的摄像对象Tg4的位置，将包含作为预测位置的位置Ps45的限定范围Ar23设定为追踪用限定范围Ar23。在这样的情况下，在帧F10中变更后的检测用限定范围Ar23也可以进一步被变更为其它检测用限定范围Ar11。
在帧F10中，摄像机切换部47使开关SW的连接目的地保持为在摄像范围中包含与帧F9相同的追踪用限定范围Ar22的摄像机3b。检测部44高速地读出追踪用限定范围Ar22。检测部44检测位于位置Ps44的摄像对象Tg4。测量部45基于检测结果，基于摄像对象Tg4在帧F9中的位置Ps43和摄像对象Tg4在帧F10中的位置Ps44来测量摄像对象Tg4的运动量。输出部46基于测量出的摄像对象Tg4的运动量来计算摄像对象Tg4的运动速度，输出摄像对象Tg4的运动速度与无人驾驶飞机2A的飞行速度之间的速度差，并经由通信部25发送至误差校正部23。
此外，由于在帧F10中摄像对象Tg4位于限定范围Ar22的边界线，因此图像处理装置4也可以执行图13所示的流程图中的步骤St52的处理，来对限定范围Ar22或限定范围Ar23的范围进行校正。
在帧F11中，摄像机切换部47使开关SW的连接目的地保持为在摄像范围中包含检测用限定范围Ar23的摄像机3b。检测部44高速地读出检测用限定范围Ar23。检测部44提取位于位置Ps45且具有规定的特征量的特征点作为摄像对象Tg4。检测部44基于提取结果将摄像对象Tg4判定为摄像对象Tg4，并判定为从检测用限定范围Ar23中未提取到特征点，将检测用限定范围Ar23递归地变更为检测用限定范围Ar11。
此外，帧F11时的图像处理装置4也可以将所提取出的摄像对象Tg4判定为摄像对象Tg4，并且基于摄像对象Tg4在帧F10中的位置Ps44和摄像对象Tg4在帧F11中的位置Ps45来计算摄像对象Tg4的运动量和运动速度。
在上述的图14和图15的说明中，示出了检测用限定范围从限定范围Ar11起依次变更为限定范围Ar23的例子，但检测用限定范围也可以随机地变更(设定)。另外，图14和图15的说明中示出了预测部43在切换多个摄像机3a、3b的各摄像机的时机预测摄像对象的位置的例子，但预测的时机不限定于此。预测部43例如也可以在变更下一帧中的追踪用检测范围和检测用限定范围之前预测摄像对象的位置。
根据以上所述，其它变形例所涉及的图像处理装置4能够变更为反映出预测位置的追踪用限定范围和检测用限定范围，因此能够更高效地追踪摄像对象，并且能够检测其它摄像对象。另外，其它变形例所涉及的图像处理装置4能够以相同的时间得到更多的采样数(换言之是被输出的误差信息的数量)，因此能够使位置误差校正的精度为更高的精度。
根据以上所述，实施方式1所涉及的图像处理装置4具备：接收部42，其接收摄像对象Tg1的位置信息以及由至少一个摄像机3拍摄到的映现出摄像对象Tg1的摄像图像；预测部43，其基于摄像对象Tg1的位置信息来预测摄像对象Tg1在摄像机3的摄像范围IA1内的位置；检测部44，其基于预测出的摄像对象Tg1的预测位置，从摄像范围IA1的摄像图像中读出作为摄像范围IA1的一部分的限定范围Ar1的摄像图像，来检测摄像对象Tg1；测量部45，其测量所检测出的摄像对象Tg1的位置；以及输出部46，其输出摄像对象Tg1的测量位置与预测位置之差。
由此，图像处理装置4能够对由摄像机3拍摄到的摄像对象Tg1的图像执行高效的图像处理，并且能够计算更高精度的摄像对象Tg1的位置误差。并且，实施方式1所涉及的图像处理装置4通过限定性地读出摄像范围IA1中的限定范围，能够缩短读出时间，因此能够抑制对其它装置的动作速度的影响。由此，实施方式1所涉及的图像处理装置4通过缩短读出时间，能够增加采样数，因此能够实现更高精度的位置误差校正。
另外，实施方式2和其它变形例所涉及的图像处理装置4具备：接收部42，其接收多个摄像机3a、3b各自的位置信息以及由至少一个摄像机拍摄到的摄像图像；检测部4，其读出至少一张摄像图像中的、作为摄像机的摄像范围的一部分的限定范围的摄像图像，来检测作为摄像机的位置的基准的特征点(摄像对象Tg3)；测量部45，其测量所检测出的摄像对象的位置；预测部43，其基于摄像对象的测量位置，来预测在检测摄像对象时使用的摄像图像之后所拍摄到的摄像图像中映现的摄像对象的位置；以及输出部46，其输出所预测出的摄像对象的预测位置与摄像对象的测量位置之差。
由此，实施方式2和其它变形例所涉及的图像处理装置4对由摄像机拍摄到的摄像对象Tg3的图像执行高效的图像处理，并且能够计算更高精度的摄像对象的位置误差。并且，实施方式2和其它变形例所涉及的图像处理装置4限定性地读出摄像机的摄像范围中的限定范围，由此能够缩短读出时间，因此能够抑制对其它装置的动作速度的影响。由此，实施方式2和其它变形例所涉及的图像处理装置4通过缩短读出时间，能够增加采样数，因此能够实现更高精度的位置误差校正。因而，在使用实施方式2和其它变形例所涉及的图像处理装置4的情况下，无人驾驶飞机2A能够基于所输出的位置差来执行飞行中的姿势控制。
另外，实施方式2和其它变形例所涉及的图像处理装置4还具备摄像机切换部47，所述摄像机切换部47切换图像处理装置4与具有不同的摄像范围的多个摄像机的各摄像机之间的连接，摄像机切换部47根据预测位置来切换至多个摄像机的各摄像机中的能够拍摄预测位置的摄像机。由此，实施方式1、实施方式2和其它变形例所涉及的图像处理装置4能够根据由预测部43预测出的摄像对象Tg3的位置来切换多个摄像机3a、3b的各摄像机，因此能够缩短伴随多个摄像机3a、3b的各摄像机的移动而花费的时间，从而能够对所拍摄到的摄像对象Tg3的图像执行高效的图像处理。因而，由此，在使用实施方式2和其它变形例所涉及的图像处理装置4的情况下，无人驾驶飞机2A能够在一定时间中接收更多的位置差，从而能够基于这些位置差的各位置差来执行更高精度的姿势控制。
另外，实施方式2和其它变形例所涉及的图像处理装置4中的摄像机切换部47将读出包含摄像对象Tg3的预测位置的限定范围来追踪摄像对象Tg3的摄像机设定为追踪用摄像机，将读出追踪用摄像机的摄像范围以外的其它限定范围来检测其它摄像对象Tg4的其它摄像机设定为检测用摄像机，来切换追踪用摄像机和检测用摄像机。由此，实施方式2和其它变形例所涉及的图像处理装置4通过由摄像机切换部47对摄像机进行的切换，能够高效地执行摄像对象Tg3的追踪和其它摄像对象Tg4的检测，并且能够执行高效的图像处理。另外，图像处理装置4通过同时执行摄像对象Tg3的追踪和其它摄像对象Tg4的检测，能够抑制摄像对象Tg3的采样数的减少，并且能够维持精度地校正位置误差。因而，在使用实施方式2和其它变形例所涉及的图像处理装置4的情况下，无人驾驶飞机2A能够始终接收位置差，从而能够更稳定地执行姿势控制。
另外，实施方式2和其它变形例所涉及的图像处理装置4中的摄像机切换部47将多个摄像机的各摄像机所具有的多个限定范围的各限定范围中的包含摄像对象Tg3的预测位置的限定范围设定为追踪用限定范围，将追踪用限定范围以外的其它限定范围中的至少一个限定范围设定为用于检测其它摄像对象Tg4的检测用限定范围，来切换追踪用限定范围和检测用限定范围。由此，实施方式2和其它变形例所涉及的图像处理装置4设定用于追踪摄像对象Tg3的追踪用限定范围和用于检测其它摄像对象的检测用限定范围，由此能够更高效地执行由摄像机切换部47对摄像机的切换。因而，图像处理装置4能够高效地执行所拍摄到的摄像图像的读出处理。另外，图像处理装置4同时执行摄像对象Tg3的追踪和其它摄像对象Tg4的检测，由此能够抑制摄像对象Tg3的采样数的减少，并且能够维持精度地校正位置误差。因而，在使用实施方式2和其它变形例所涉及的图像处理装置4的情况下，无人驾驶飞机2A能够始终接收位置差，从而能够更稳定地执行姿势控制。
另外，实施方式2和其它变形例所涉及的图像处理装置4中的检测部44检测至少两张摄像图像的限定范围的各限定范围中包含的具有规定的特征量的至少一个特征点。由此，实施方式2和其它变形例所涉及的图像处理装置4能够从摄像图像中检测具有规定的特征量的至少一个特征点，因此即使在没有摄像对象的情况下也能够设定可靠度高的目标。因而，图像处理装置4能够对由摄像机拍摄到的摄像对象的图像执行高效的图像处理，并且能够计算更高精度的摄像对象的位置误差。因而，在使用实施方式2和其它变形例所涉及的图像处理装置4的情况下，无人驾驶飞机2A能够接收可靠度更高的位置差，从而能够执行基于差的姿势控制。
另外，实施方式2和其它变形例所涉及的图像处理装置4中的检测部44基于检测出的多个特征点的各特征点的分布来对限定范围进行校正。由此，实施方式2和其它变形例所涉及的图像处理装置4在所设定的限定范围不适当的情况下(例如具有更多特征量的特征点不是位于限定范围的中心部而是位于端侧)，能够基于从所读出的摄像图像中检测出的多个特征点的各特征点的分布来对限定范围进行校正。因而，图像处理装置4能够执行读出范围的校正，从而能够检测更可靠的特征点。因而，在使用实施方式2和其它变形例所涉及的图像处理装置4的情况下，无人驾驶飞机2A能够接收可靠度更高的位置差，从而能够执行基于差的姿势控制。
另外，实施方式2和其它变形例所涉及的图像处理装置4中的检测部44将检测出的特征点设定为其它摄像对象。由此，实施方式2和其它变形例所涉及的图像处理装置4能够将更可靠的特征点设定为摄像对象。因而，图像处理装置4能够计算更高精度的摄像对象的位置误差。因而，在使用实施方式2和其它变形例所涉及的图像处理装置4的情况下，无人驾驶飞机2A能够接收可靠度更高的位置差，从而能够执行基于差的姿势控制。
另外，实施方式2和其它变形例所涉及的图像处理装置4中的测量部45基于检测出的摄像对象Tg2的各个位置来测量摄像对象的运动量，输出部46基于测量出的摄像对象Tg2的运动量来计算摄像对象Tg2的运动速度，并输出摄像对象Tg2的运动速度。由此，实施方式2和其它变形例所涉及的图像处理装置4能够计算摄像对象Tg3的运动速度。因而，图像处理装置4能够更高精度地预测摄像对象Tg3的位置。另外，图像处理装置4能够基于预测位置来更高效地控制摄像机切换部47的动作，从而能够在失去摄像对象之前高效地设定下一个摄像对象。因而，在使用实施方式2和其它变形例所涉及的图像处理装置4的情况下，无人驾驶飞机2A能够始终接收位置差，从而能够更稳定地执行姿势控制。
另外，实施方式2和其它变形例所涉及的图像处理装置4中的接收部42还接收摄像机的移动速度信息，输出部46计算并输出所计算出的摄像对象的运动速度与摄像机的移动速度信息之差。由此，实施方式2和其它变形例所涉及的图像处理装置4不仅能够校正摄像对象的位置的误差，还能够校正使摄像机移动的致动器2的控制误差。另外，致动器2能够基于所输出的速度差来校正摄像机的位置误差。因而，图像处理装置4能够计算更高精度的摄像对象的位置误差，并且能够计算其它装置(例如致动器2等)的控制误差。因而，在使用实施方式2和其它变形例所涉及的图像处理装置4的情况下，无人驾驶飞机2A能够始终接收位置差和速度差，从而能够更稳定地执行姿势控制，并且能够校正无人驾驶飞机2A的飞行控制误差。
以上，参照附图说明了各种实施方式，但本公开不限定于上述的例子。如果是本领域技术人员，则应当可以明确，在权利要求书所记载的范围内能够想到各种变更例、修正例、置换例、附加例、删除例、等同例，并能够了解这些也属于本公开的技术范围。另外，也可以在不脱离发明的主旨的范围内将上述的各种实施方式中的各构成要素任意地进行组合。
此外，本申请是以2019年7月9日申请的日本专利申请(特愿2019-127912)为基础的申请，其内容被作为参照引入到本申请中。
产业上的可利用性
本公开在图像处理装置和图像处理方法的提出中，作为对由摄像机拍摄到的对象物的图像执行高效的图像处理并计算更高精度的对象物的位置误差的图像处理装置和图像处理方法的提出是有用的。
附图标记说明
1：控制装置；10、20、40：控制部；11、21、41：存储器；12：区域数据；2：致动器；22：驱动部；23：误差校正部；24：臂部；3：摄像机；4：图像处理装置；42：接收部；43：预测部；44：检测部；45：测量部；46：输出部；5：作业部；IA1：摄像范围；Pt0：基准标记；Tg1：摄像对象。

Claims (12)

1.一种图像处理装置，具备：
接收部，其接收摄像对象的位置信息以及由至少一个摄像机拍摄到的映现出所述摄像对象的摄像图像；
预测部，其基于所述摄像对象的位置信息来预测所述摄像对象在所述摄像机的摄像范围内的位置；
检测部，其基于预测出的所述摄像对象的预测位置，从所述摄像范围的摄像图像中读出作为所述摄像范围的一部分的限定范围的摄像图像，来检测所述摄像对象；
测量部，其测量所检测出的所述摄像对象的位置；以及
输出部，其输出所述摄像对象的测量位置与所述预测位置之差。
2.一种图像处理装置，具备：
接收部，其接收摄像机的位置信息以及由至少一个所述摄像机拍摄到的摄像图像；
检测部，其读出至少一张所述摄像图像中的、作为所述摄像机的摄像范围的一部分的限定范围的摄像图像，来检测作为所述摄像机的位置的基准的摄像对象；
测量部，其测量所检测出的所述摄像对象的位置；
预测部，其基于所述摄像对象的测量位置，来预测在检测所述摄像对象时使用的摄像图像之后所拍摄到的摄像图像中映现的所述摄像对象的位置；以及
输出部，其输出所预测出的所述摄像对象的预测位置与所述摄像对象的测量位置之差。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述图像处理装置还具备摄像机切换部，所述摄像机切换部切换该图像处理装置与具有不同的摄像范围的多个所述摄像机的各摄像机之间的连接，
所述摄像机切换部根据所述预测位置来切换至所述多个摄像机的各摄像机中的能够拍摄所述预测位置的摄像机。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述摄像机切换部将读出包含所述摄像对象的所述预测位置的所述限定范围来追踪所述摄像对象的所述摄像机设定为追踪用摄像机，将读出所述追踪用摄像机的摄像范围以外的其它限定范围来检测其它摄像对象的其它摄像机设定为检测用摄像机，来切换所述追踪用摄像机和所述检测用摄像机。
5.根据权利要求3所述的图像处理装置，其特征在于，
所述摄像机切换部将所述多个摄像机的各摄像机所具有的多个限定范围的各限定范围中的包含所述摄像对象的所述预测位置的所述限定范围设定为追踪用限定范围，将所述追踪用限定范围以外的其它限定范围中的至少一个限定范围设定为用于检测其它摄像对象的检测用限定范围，来切换所述追踪用限定范围和所述检测用限定范围。
6.根据权利要求1或2所述的图像处理装置，其特征在于，
所述检测部检测至少两张摄像图像的所述限定范围的各限定范围中包含的具有规定的特征量的至少一个特征点。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述检测部基于检测出的多个所述特征点的各特征点的分布来对所述限定范围进行校正。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述检测部将检测出的所述特征点设定为其它摄像对象。
9.根据权利要求8所述的图像处理装置，其特征在于，
所述测量部基于检测出的所述摄像对象的各个位置来测量所述摄像对象的运动量，
所述输出部基于测量出的所述摄像对象的运动量来计算所述摄像对象的运动速度，并输出所述摄像对象的运动速度。
10.根据权利要求9所述的图像处理装置，其特征在于，
所述接收部还接收所述摄像机的移动速度信息，
所述输出部计算并输出所计算出的所述摄像对象的运动速度与所述摄像机的移动速度信息之差。
11.一种图像处理方法，是由与至少一个摄像机连接的图像处理装置执行的图像处理方法，在所述图像处理方法中，
接收摄像对象的位置信息以及由所述摄像机拍摄到的包含所述摄像对象的摄像图像，
基于所述摄像对象的位置信息来预测所述摄像对象在所述摄像机的摄像范围内的位置，
基于预测出的所述摄像对象的预测位置读出所述摄像机的摄像范围中的包含所述预测位置的规定的限定范围，来检测所述摄像对象，
测量所检测出的所述摄像对象的位置，
输出所述摄像对象的测量位置与所述预测位置之差。
12.一种图像处理方法，是由与至少一个摄像机连接的图像处理装置执行的图像处理方法，在所述图像处理方法中，
接收由所述摄像机拍摄到的摄像图像，
读出至少一张所述摄像图像中的、作为所述摄像机的摄像范围的一部分的限定范围的摄像图像，来检测作为所述摄像机的位置的基准的摄像对象，
测量所检测出的所述摄像对象的位置，
基于所述摄像对象的测量位置，来预测在检测所述摄像对象时使用的摄像图像之后所拍摄到的摄像图像中映现的所述摄像对象的位置，
输出所预测出的所述摄像对象的预测位置与所述摄像对象的测量位置之差。
CN202080059283.0A 2019-07-09 2020-07-03 图像处理装置和图像处理方法 Pending CN114342348A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019127912A JP7442078B2 (ja) 2019-07-09 2019-07-09 画像処理装置および画像処理方法
JP2019-127912 2019-07-09
PCT/JP2020/026301 WO2021006227A1 (ja) 2019-07-09 2020-07-03 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
CN114342348A true CN114342348A (zh) 2022-04-12

Family

ID=74114235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080059283.0A Pending CN114342348A (zh) 2019-07-09 2020-07-03 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US20220254038A1 (zh)
JP (1) JP7442078B2 (zh)
CN (1) CN114342348A (zh)
WO (1) WO2021006227A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022138329A (ja) * 2021-03-10 2022-09-26 オムロン株式会社 認識装置、ロボット制御システム、認識方法、およびプログラム
CN116130076B (zh) * 2023-04-04 2023-06-20 山东新蓝海科技股份有限公司 基于云平台的医疗设备信息管理系统
CN117667735B (zh) * 2023-12-18 2024-06-11 中国电子技术标准化研究院 图像增强软件响应时间校准装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271609A1 (en) * 2009-04-22 2010-10-28 Canon Kabushiki Kaisha Mark position detection device and mark position detection method, exposure apparatus using same, and device manufacturing method
JP2011101635A (ja) * 2009-11-12 2011-05-26 Yamato Gijutsu Kenkyusho:Kk 植物栽培用照射装置
JP2012204743A (ja) * 2011-03-28 2012-10-22 Fuji Mach Mfg Co Ltd 電子部品の装着方法
CN103607569A (zh) * 2013-11-22 2014-02-26 广东威创视讯科技股份有限公司 视频监控中的监控目标跟踪方法和系统
CN105049711A (zh) * 2015-06-30 2015-11-11 广东欧珀移动通信有限公司 一种拍照方法及用户终端
CN108574822A (zh) * 2017-03-08 2018-09-25 华为技术有限公司 一种实现目标跟踪的方法、云台摄像机和监控平台
CN108781255A (zh) * 2016-03-08 2018-11-09 索尼公司 信息处理设备、信息处理方法和程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5398314B2 (ja) * 2008-03-18 2014-01-29 富士フイルム株式会社 露光装置、及び露光方法
US9742974B2 (en) * 2013-08-10 2017-08-22 Hai Yu Local positioning and motion estimation based camera viewing system and methods
US9966290B2 (en) * 2015-07-30 2018-05-08 Lam Research Corporation System and method for wafer alignment and centering with CCD camera and robot
JP6972756B2 (ja) * 2017-08-10 2021-11-24 富士通株式会社 制御プログラム、制御方法、及び情報処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271609A1 (en) * 2009-04-22 2010-10-28 Canon Kabushiki Kaisha Mark position detection device and mark position detection method, exposure apparatus using same, and device manufacturing method
JP2011101635A (ja) * 2009-11-12 2011-05-26 Yamato Gijutsu Kenkyusho:Kk 植物栽培用照射装置
JP2012204743A (ja) * 2011-03-28 2012-10-22 Fuji Mach Mfg Co Ltd 電子部品の装着方法
CN103607569A (zh) * 2013-11-22 2014-02-26 广东威创视讯科技股份有限公司 视频监控中的监控目标跟踪方法和系统
CN105049711A (zh) * 2015-06-30 2015-11-11 广东欧珀移动通信有限公司 一种拍照方法及用户终端
CN108781255A (zh) * 2016-03-08 2018-11-09 索尼公司 信息处理设备、信息处理方法和程序
CN108574822A (zh) * 2017-03-08 2018-09-25 华为技术有限公司 一种实现目标跟踪的方法、云台摄像机和监控平台

Also Published As

Publication number Publication date
US20220254038A1 (en) 2022-08-11
JP2021012172A (ja) 2021-02-04
JP7442078B2 (ja) 2024-03-04
WO2021006227A1 (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
CN114342348A (zh) 图像处理装置和图像处理方法
US9095977B2 (en) Object gripping apparatus, control method for object gripping apparatus, and storage medium
CN101672974B (zh) 自动聚焦装置及其控制方法
KR101710633B1 (ko) 자동 초점 조절 방법, 자동 초점 조절 장치, 및 이를 포함하는 디지털 촬영장치
US8213787B2 (en) Camera system and image forming apparatus
KR102130756B1 (ko) 자동 초점 조절 방법 및 자동 초점 조절 장치
US20150326784A1 (en) Image capturing control method and image pickup apparatus
CN112425148B (zh) 摄像装置、无人移动体、摄像方法、系统及记录介质
KR102473142B1 (ko) 이동 물체를 고속으로 추적하고 예측하여 고품질의 영상을 지속적으로 제공하는 카메라의 고속 줌과 포커싱을 위한 장치 및 이를 이용한 카메라의 고속 줌과 포커싱 방법
JP2013165485A (ja) 画像処理装置、撮像装置およびコンピュータブログラム
US10397485B2 (en) Monitoring camera direction control
US20190260933A1 (en) Image capturing apparatus performing image stabilization, control method thereof, and storage medium
KR20200023309A (ko) 촬상 디바이스, 카메라 장착 드론, 모드 제어 방법, 및 프로그램
CN112985359B (zh) 影像获取方法及影像获取设备
JP2009017302A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
CN111279352A (zh) 通过投球练习的三维信息获取系统及摄像头参数算出方法
JP2019092036A (ja) 撮像装置及び制御方法
GB2573598A (en) Image capturing apparatus performing image stabilization, control method thereof, and storage medium
JP5251600B2 (ja) 電子カメラ
JP7203305B2 (ja) 撮影システム、撮影方法、及びプログラム
JP2023048013A (ja) 撮像装置、撮像方法及びプログラム
JP2023168743A (ja) 撮影システム、ビデオサーバシステム
JP2023048019A (ja) 撮像装置、撮像方法及びプログラム
JP2023047764A (ja) 撮像装置、撮像方法及びプログラム
JP2023160118A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination