CN113271409A - 一种组合相机、图像采集方法及航空器 - Google Patents

一种组合相机、图像采集方法及航空器 Download PDF

Info

Publication number
CN113271409A
CN113271409A CN202110366537.XA CN202110366537A CN113271409A CN 113271409 A CN113271409 A CN 113271409A CN 202110366537 A CN202110366537 A CN 202110366537A CN 113271409 A CN113271409 A CN 113271409A
Authority
CN
China
Prior art keywords
cameras
camera
target
aircraft
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110366537.XA
Other languages
English (en)
Other versions
CN113271409B (zh
Inventor
陈洪生
董雪松
姜子扬
王新宇
赵姝岩
方解石
倪志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jimu Hainan Intelligent Breeding Equipment Co ltd
Original Assignee
Nanjing Jimu Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Jimu Robot Technology Co ltd filed Critical Nanjing Jimu Robot Technology Co ltd
Priority to CN202110366537.XA priority Critical patent/CN113271409B/zh
Publication of CN113271409A publication Critical patent/CN113271409A/zh
Application granted granted Critical
Publication of CN113271409B publication Critical patent/CN113271409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像识别技术领域,并揭示了一种组合相机、图像采集方法及航空器;该组合相机被航空器所搭载,并包括位于竖直平面且弧形排布的若干相机,相机所具有的视场角至少相互衔接并沿相机排布方向由外侧向内侧逐渐提高,各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面。通过本发明,显著地降低了组合相机的制造及使用成本,实现了大宽幅高通量高分辨率的地块信息测绘及对地块中的目标物及目标物所包含的若干特征物的检测;同时显著地减少了目标物及目标物所包含的若干特征物的图像畸变,降低了对后续多个大宽幅图像执行拼接操作以形成完整地块图片中所包含的图片内容过程中的计算开销。

Description

一种组合相机、图像采集方法及航空器
技术领域
本发明涉及图像识别技术领域,尤其涉及一种组合相机、图像采集方法及航空器。
背景技术
在航空器图像识别技术领域中,采用CCD或者CMOS等成像元件的数码相机以航拍形式进行图像采集是目前测绘领域中的主流技术之一。高分辨率图像是识别地面目标的必备条件。基于成像元件制程、X/Y 寻址及制造成本等诸多方面的限制,现有技术中的成像元件通常被封装呈矩形,其采集并形成的图像也通常为矩形。例如,全画幅相机的CMOS 芯片尺寸为36×24mm。因此在一定高度上利用航空器(例如旋翼无人机)对地块进行测绘时也只能形成矩形图像,从而导致采用单一的数码相机进行航拍测绘时无法形成宽画幅图像,且不满足宽视场拍摄需求。
虽然诸如公告号CN207051657U的中国实用新型专利公开的一种大视场复眼结构的相机镜头排列结构,能够大视场、高像素的拍摄,但该现有技术依然存在相机数量较大、制造及使用成本较高的缺陷;更为重要的是,上述现有技术事实上无法应用于航空器测绘领域,尤其是在使用无人航空器在低空范围中对地块进行测绘应用场景中。前述现有技术还存在使用相机数量过多的缺陷,且各个相机所形成的视场会产生较大的重叠,不利于后续照片的拼接处理及对全部照片中的内容予以识别的技术缺陷。
有鉴于此,有必要对现有技术中基于无人机等航空器对面目标进行识别过程中的摄像装置及图像采集方法予以改进,以解决上述问题。
发明内容
本发明的目的在于揭示一种组合相机、图像采集方法及航空器,用以解决现有技术中采用多个相机对地块进行低空航空测绘以识别地块中的待识别目标物或者目标物中所包含的若干特征物时所存在的依赖相机数量过度及对相机的图像传感器价格高昂的技术问题,并减少图像畸变,提高对各种复杂轮廓地形进行测绘适应性。
为实现上述第一个发明目的,本发明提供了一种组合相机,被航空器所搭载,包括:
位于竖直平面且弧形排布的若干相机,相机所具有的视场角至少相互衔接并沿相机排布方向由外侧向内侧逐渐提高,各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面。
作为本发明的进一步改进,所述目标焦平面位于地块与位于地块中的目标物顶部上方所设定的隔离平面之间,所述隔离平面与目标物顶部形成隔离距离。
作为本发明的进一步改进,所述目标焦平面位于地块中的目标物所包含的特征物与目标物顶部之间。
作为本发明的进一步改进,所述组合相机还包括驱动系统,所述驱动系统包括:
姿态检测单元,视场角调节单元及对焦处理单元;
姿态检测单元检测飞行高度参数,基于目标物高度与目标成像宽幅确定组合相机所形成的总视场角,并通过所述视场角调节单元对相邻相机的视场角执行拼接,以使得相邻相机所具有的视场角至少相互衔接;
对焦处理单元接收目标物高度及飞行高度参数,根据相机沿弧形方向的排布角度,同步各个相机所形成的子焦平面的焦距,以形成位于同一水平面的目标焦平面;
其中,目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成,所述飞行高度参数包括航空器与地块之间形成的绝对高度或者航空器与地块中目标物顶部之间形成的相对高度。
作为本发明的进一步改进,所述组合相机还包括驱动系统,所述驱动系统包括:
姿态检测单元,视场角调节单元及对焦处理单元;
姿态检测单元检测飞行高度参数,基于目标物所含特征物与目标物顶部所形成的预设距离与目标成像宽幅确定组合相机所形成的总视场角,并通过所述视场角调节单元对相邻相机的视场角执行拼接,以使得相邻相机所具有的视场角至少相互衔接;
对焦处理单元接收预设距离及飞行高度参数,根据相机沿弧形方向的排布角度,同步各个相机所形成的子焦平面的焦距,以形成位于同一水平面的目标焦平面;
其中,目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成,所述目标物高度由特征物高度单独定义或者特征物高度与特征物距离特征物所在目标物顶部所形成的预设距离共同定义,所述飞行高度参数包括航空器与地块之间形成的绝对高度或者航空器与地块中目标物顶部之间形成的相对高度。
作为本发明的进一步改进,所述驱动系统还包括:图形缩放单元;
所述图形缩放单元调整各个相机所独立形成的子焦平面沿垂直方向的短边沿相机排布方向由内侧向外侧逐渐增大,以将子焦平面调整为梯形,同一相机调整后的子焦平面位于内侧的短边缩小,且位于外侧的同一子焦平面垂直方向的短边长度大于调整前子焦平面的垂直方向的短边长度。
作为本发明的进一步改进,所述驱动系统还包括:速度检测单元;
所述速度检测单元检测航空器的实时飞行速度,并根据调整后的每个子焦平面垂直方向的短边长度向各个相机输出成像频率指令;
同一相机在连续成像过程中子焦平面位于内侧的短边至少呈衔接,同一相机在连续成像过程中子焦平面沿水平方向的长边的长度保持不变。
作为本发明的进一步改进,所述相机的成像频率受控于航空器沿水平方向上的速度分量,位于外侧的相机的成像频率大于位于内侧的相机的成像频率。
实现上述第二个发明目的,并基于前述第一方面的发明思想,本申请还揭示了一种图像采集方法,包括以下步骤:
S1、位于竖直平面且由弧形排布的若干相机所组成的组合相机被航空器所搭载,在航空器掠过地块上方以对地块进行连续拍摄;
S2、拼接相邻相机的视场角以使得相邻相机所具有的视场角至少相互衔接,并由外侧向内侧逐渐提高相机的视场角;
S3、调整各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面。
作为本发明的进一步改进,所述目标焦平面位于地块与位于地块中的目标物顶部上方所设定的隔离平面之间,所述隔离平面与目标物顶部形成隔离距离。
作为本发明的进一步改进,所述步骤S2具体为:检测飞行高度参数,根据所述目标物高度与目标成像宽幅确定组合相机所形成的总视场角,对全部相机的视场角执行拼接,以使得相邻相机所具有的视场角至少相互衔接,并由外侧向内侧逐渐提高相机的视场角;
所述步骤S3具体为:确定目标物高度及飞行高度参数,根据相机沿弧形方向的排布角度,同步各个相机所形成的子焦平面的焦距,以形成位于同一水平面的目标焦平面;
其中,目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成,所述目标物高度由特征物高度单独定义或者特征物高度与特征物距离特征物所在目标物顶部所形成的预设距离共同定义,所述飞行高度参数包括航空器与地块之间形成的绝对高度或者航空器与地块中目标物顶部之间形成的相对高度。
作为本发明的进一步改进,所述成像宽幅通过预设分辨率及各个相机中图像传感器的像素数予以确定,并通过开启或关闭组合相机中的部分相机,以调整所述目标成像宽幅。
作为本发明的进一步改进,所述步骤S2还包括:针对地块沿设定路径所形成的宽度变化幅度,确定组合相机沿设定路径单次掠过地块上方以对地块中的目标物进行连续拍摄所采用的目标成像宽幅;其中,所述目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成。
作为本发明的进一步改进,所述同步各个相机所形成的子焦平面的焦距包括具体为:
基于所述目标物高度、飞行高度参数和各个相机视场角配置其对应的对焦距离,以将各个相机所独立形成的子焦平面调整于同一水平面;
调整各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面,其中,所述对焦距离通过手动和/或自动对焦方式获得。
作为本发明的进一步改进,所述步骤S3执行完毕后,还包括:
调整各个相机所独立形成的子焦平面沿垂直方向的短边沿相机排布方向由内侧向外侧逐渐增大,以将子焦平面调整为梯形,同一相机调整后的子焦平面位于内侧的短边缩小,且位于外侧的同一子焦平面垂直方向的短边长度大于调整前子焦平面的垂直方向的短边长度。
作为本发明的进一步改进,所述步骤S3执行完毕后,还包括:
检测航空器的实时飞行速度,以根据所述实时飞行速度向各个相机输出成像频率指令,并根据调整后的每个子焦平面垂直方向的短边长度向各个相机输出成像频率指令;
所述相机的成像频率受控于航空器沿水平方向上的速度分量,位于外侧的相机的成像频率大于位于内侧的相机的成像频率;
同一相机在连续成像过程中子焦平面位于内侧的短边至少呈衔接,同一相机在连续成像过程中子焦平面沿水平方向的长边的长度保持不变。
作为本发明的进一步改进,
当航空器匀速飞行时,保持现有各个相机的成像频率;
当航空器加速飞行时,对称增加弧形排布的外侧相机的成像频率;
当航空器减速飞行时,对称降低弧形排布的外侧相机的成像频率。
最后,本申请还揭示了一种航空器,包括:
具至少一个动力机构的机身,以及
被航空器所搭载并如前述任一项发明创造所述的组合相机。
与现有技术相比,本发明的有益效果是:
通过本申请所揭示的一种组合相机、图像采集方法及航空器,解决了现有技术中采用多个相机对地块进行低空航空测绘时所存在的依赖相机数量过度的技术问题,能够使用数量较少且单个成本较低的数码相机实现大宽幅连续拍照测绘,显著地降低了组合相机的制造及使用成本,可在尽量减少相机数量的前提下实现更大的测绘宽幅,从而实现了大宽幅高通量高分辨率的地块信息测绘,为实现地块中的目标物及目标物所包含的若干特征物的检测提供高精度、高准确率的图像;
同时,通过本发明还显著地减少了目标物及目标物所包含的若干特征物的图像畸变,降低了对后续多个大宽幅图像执行拼接操作以形成完整地块图片中所包含的图片内容过程中的计算开销;
最后,在本申请中,针对地块沿设定路径所形成的宽度变化幅度,采用确定组合相机沿设定路径单次掠过地块上方以对地块中的目标物进行连续拍摄所采用的可调节的目标成像宽幅的技术手段,提高了对各种复杂轮廓地形进行测绘适应性,避免将过多的位于地块的轮廓外部的区域被拍摄,进一步降低了后续对地块中目标物或者目标物所包含的特征物进行识别的计算开销。
附图说明
图1为本发明一种组合相机的立体图;
图2为图1所示出的组合相机的主视图;
图3为组合相机与航空器连接时的拓扑图;
图4为本发明一种航空器的立体图;
图5为组合相机掠过地块上方对地块进行连续拍摄时由组合相机中的六个独立的相机进行拍摄时,各个相机所形成的视场相互衔接的示意图;
图6为组合相机中的六个相机所具有的视场角沿相机排布方向由内侧向外侧逐渐提高的示意图;
图7为各个相机所形成的视场相互衔接时每个视场中相机的对焦距离Fi、相机的法向线与中垂线的夹角αi及单个相机所获取的单张照片所对应的地块水平宽度Wi的示意图,其中,地块水平宽度Wi为沿相机的图像传感器的水平方向(H)在子焦平面中所形成的宽度;
图8为航空器所搭载的组合相机按照设定路径掠过地块上方对地块进行连续拍摄的示意图;
图9为未执行缩放操作前位于竖直平面且弧形排布的六个相机拍摄地块后获得的六张照片的示意图;
图10为对图9中基于每个相机在子焦平面所获得的六张照片的子焦平面沿垂直方向对照片进行缩放后的示意图;
图11为航空器所搭载的组合相机按照设定路径掠过地块上方对地块进行连续拍摄时经过多个拍照周期并对位于外侧的相机设定较大的成像频率并对位于外侧的相机拍摄地块后获得的六张照片执行缩放后的示意图;
图12为航空器搭载组合相机按照设定路径掠过地块上方对地块进行连续拍摄的空间示意图;
图13为航空器沿设定路径飞行时,任意一个相机按照初始成像频率先后获取的两张照片的实例;
图14为航空器的飞行速度降低时,任意一个相机按照初始成像频率先后获取的两张照片的实例,其中,区域SK为两张照片的重叠区域;
图15为航空器的飞行速度提高时,调整图13中的相机的初始成像频率的实例,其中,区域SK1与区域SK2为由于增加成像频率所获得的照片P”与图13所示出的照片P与照片P’所分别形成的重叠区域;
图16为本发明一种航空器的系统架构图;
图17为本发明一种图像采集方法的整体流程图;
图18为图17中步骤S2的详细流程图;
图19为图17中步骤S3的详细流程图;
图20为组合相机对目标物及目标物中所包含的一个或者多个特征物进行拍照时所形成的子焦平面进行调整的示意图;
图21为航空器连续通过两个相互连通的地块时,沿设定路径所形成的宽度变化幅度,确定组合相机沿设定路径单次掠过地块上方以对地块中的目标物进行连续拍摄所采用的目标成像宽幅;
图22为图21中目标成像宽幅变化过程中各个相机所形成的子焦平面的示意图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明,但应当说明的是,这些实施方式并非对本发明的限制,本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代,均属于本发明的保护范围之内。
需要理解的是,术语“中心”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本技术方案和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本技术方案的限制。
在详细阐述本发明各个实施例之前,对说明书中涉及的技术术语的含义予以简要阐述或者定义。
术语“图像传感器”:在本申请中包括但不限于COMS(Complementary Metal-Oxide-Semiconductor)图像传感器、CCD(Charge Coupled Device)图像传感器或者接触式图像传感器(Contact Image Sensor,CIS)、LBCAST传感器(Lateral Buried ChargeAccumulator and Sensing Transistor Array)以及现有技术中任何一种能够保存图像内容的电子芯片。
术语“FOV”:视场角,并包括水平视场角、垂直视场角及对角视场角。鉴于本申请各个实例的应用场景需要以及基于图像传感器所获得的照片或者图片通常为矩形,因此FOV以水平视场角为基准更具实用价值。
术语“法向线”:相机所包含的多个镜头组所具有的主光轴。
术语“图片”与术语“照片”具等同技术含义,均为基于单一相机所获得的数字格式的图像文件。
实施例一:
本实施例揭示了一种组合相机100。该组合相机100搭载于低空飞行的航空器500,通过组合相机100按照具有创造性的排布方式及各个相机视场角、拍摄角度的合理选择,对小范围的地块根据设定的拍照频率进行拍照测绘,并最终获得完整的包含地块中全部特征物的若干图片。组合相机100对地块拍摄过程中整体所形成的运动轨迹可为折返形态。
本实施例所示出的组合相机100区别于位于地球同步轨道及近地轨道的遥感卫星基于遥感技术拍摄地球表面的形态的技术方案。通常的,遥感卫星所搭载的空间遥感相机(Space remote sensing camera)需要区分波段,并包括VNIR(可见光到近红外),SWIR(短波红外),MIR(中波红外),LIR(长波红外)。遥感技术通常是使用绿光、红光和红外光三种光谱波段进行探测。绿光段一般用来探测地下水、岩石和土壤的特性;红光段探测植物生长、变化及水污染等;红外段探测土地、矿产及资源。微波段用来探测气象云层及海底鱼群的游弋。
因此,卫星上所搭载的空间遥感相机具有价格非常昂贵的缺点,并不适合于小范围地块的测绘需求。同时,遥感卫星对地球表面进行拍摄也是具有一定宽度的,因此如果需要对整个地球进行测绘,需要众多的遥感卫星按照不同高度及不同角度的运行轨道进行交替拍摄。因此,现有技术中的遥感卫星所使用的遥感技术并不适合对小范围地块进行折返式拍照测绘,以形成一个完整的地块图像的应用场景。
本实施例所揭示的一种组合相机100旨在采用通过两个或者两个以上包含像素(或者有效像素)较低图像传感器的相机,按照设定的安装角度所形成的照射角度在飞过地块上方时对地块进行连续拍摄,以获取宽画幅图像。在保证对地块进行拍摄的同时,尽量降低组合相机100的制造及使用成本,实现对地块所含目标物以及目标物所包含的一个或者多个特征物的快速高效采集,以对地块中的目标物,进一步可以是目标物上的特征物进行识别,实现高通量大宽幅的拍摄,从而为接下来执行的具体作业(例如精准去除病害、精准去雄、精准采摘等)提供准确的数据信息。在本实施例中,相机所包含的图像传感器可选用1200万像素的COMS芯片。同时,本申请各实施例中所揭示的相机还可被视为包含图像传感器的摄像机或者任何一种能够数字影像的成像装置(相机的上位概念)。
相对于全画幅相机的COMS芯片(芯片尺寸为36*24mm,有效像素2400 万以上),采用1200万像素甚至像素值更低的图像传感器的APS-C相机制造该组合相机则成本更为低廉。图像传感器作为一种半导体器件,在实际制程中不可能将长宽比做的过大(通常为3:2或者4:3),因此也就导致了即使采用高像素的全画幅相机也依然无法获得宽画幅成像区域U,采用单个相机平扫测绘必然导致无法实现大宽幅高通量的照片采集。
前述“宽画幅图像”优选为多个相机沿水平方向(H)基于图像传感器在视场内所获得的矩形图像的长边(即前述“水平方向(H)”且沿图9中箭头102所示出的方向)所形成的大致呈条形的区域,即图8中的宽画幅成像区域U。当然,前述“宽画幅图像”也可为多个相机沿垂直方向(V)基于图像传感器在视场内所获得的矩形图像的短边所形成的大致呈条形的区域;相对于前者“宽画幅图像”,后者所形成的“宽画幅图像”的区域长度略小,因为技术中图像传感器基于相机所配置的镜头组所形成的视场沿主光轴方向的横截面通常为近似3:2或者4:3的矩形。
参图1至图3所示,一种组合相机100,其被航空器500所搭载。
该组合相机100包括:位于竖直平面且弧形排布的若干相机,相机所具有的视场角至少相互衔接并沿相机排布方向由外侧向内侧逐渐提高,各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面。
具体的,相机位于竖直平面中呈对称设置,且数量至少为两个,航空器的运动方向垂直于所述竖直平面。“竖直平面”由图12中X轴-O-Z轴共同定义。航空器500在地块上方沿沿平行于Y轴的方向执行匀速飞行、加速飞行或者减速飞行以及其他姿态大致沿平行于Y轴的方向飞行,在自动飞行作业中,通过设定路径以控制该航空器500。本申请各实施例中的相机41~46 也可采用胶片作为感光元件的光学相机或者光学摄像机。
组合相机100包含六个位于竖直平面且弧形排布的相机,即相机41~相机46。组合相机100所包含的相机的数量可根据被拍摄地块的实际宽度、航空器的高度及预设分辨率等要求予以增加或者减少。组合相机100还包括:连接相机的驱动系统10,收容驱动系统10的收容壳体20,以及与收容壳体 20连接的安装板30;相机被固定于安装板30且弧形排布。驱动系统10可采用基于FPGA芯片、SoC芯片或者MCU芯片等半导体芯片实现。驱动系统10受控于航空器的飞控系统200。飞控系统200基于MCU芯片、CPU处理器或者ARM架构的Cortex-A系列处理器,飞控系统200控制航空器执行巡航、转弯、爬升、俯冲、横滚等机动动作。竖直平面与安装板30相互平行。
参图1及图2所示,该收容壳体20由本体201及自本体201顶部横向延伸的折弯部211组成,供相机41~46贯穿并与相机41~46连接的插接板 302,航空器500的运动方向垂直于安装板30。安装板30的侧面配置供插接板活动插接的插槽301,相机41~46呈弧形排布且被插接板301固定连接。折弯部211开设若干通孔221,以通过螺栓(未示出)等连接件将收容壳体 20与航空器500固定连接。各个相机与安装板30以活动拆解方式予以固定连接,全部相机所形成的法向线(参图5中的虚线所示)呈扇形对称排布并均指向地块;优选的,所有相机的法向线可位于同一竖直平面或者部分位于同一竖直平面,且相机法向线所定义的竖直平面与安装板30所在的竖直平面保持平行。
参图5至图7所示,相机所具有的视场角至少相互衔接并沿相机排布方向由外侧向内侧逐渐提高,各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面。
各个相机所获取的单张照片所对应的地块水平宽度Wi,各个相机形成的视场角(FOV)θ沿相机排布方向由外侧向内侧逐渐提高。各个相机在各自所属的视场中所形成的焦距F与照射角度αi及视场角θ参图5-7所示。各个相机在子焦平面内沿水平方向上的距离相等,从而使得图9中相机41~相机46在子焦平面内所形成的照片沿箭头102所示出的水平方向上所形成的长度相等。
目标物可以是地块中的农作物或者农作物上的某一特征物,例如,目标物可以是水稻,而特征物是水稻上的稻穗、或者病虫害等等。所谓“特征物”属于“目标物”的一部分,并可视为位于“目标物”的顶部、中部、顶部或者沿竖直方向上的任何一个区域。
结合图20所示,组合相机100被航空器500携带并保持水平姿态飞行时,组合相机100沿着设定路径在目标物上空飞行。目标焦平面位于地块与位于地块中的目标物顶部上方所设定的隔离平面106之间,隔离平面106与目标物顶部109形成隔离距离h6。目标焦平面由多个子焦平面沿水平方向拼接形成。地块竖直伫立有多个高粱(即“目标物”的下位概念)。顶面105 与目标物顶部109之间形成相对高度h2,目标物顶部109与地块之间形成目标物高度h1。顶面105与地块之间形成绝对高度h3,绝对高度h3等于目标物高度h1与相对高度h2之和。
目标物中含有一个或者多个特征物,在本实施例中,选定目标物中最低处的特征物所在的水平面107。水平面107与目标物顶部109之间形成预设距离h4。目标物高度h1等于预设距离h4与特征物高度h5之和。优选的,在本实施例中,该目标焦平面位于地块中的目标物所包含的特征物与目标物顶部109之间,即图20中的括号M3所示出沿目标物竖直方向上的区域中。目标物高度h1可以取地块中的目标物所具有的平均高度。特征物高度h5可以取特征物所具有的平均高度。
所有相机在地块上或者悬空于地块上方区域中形成的矩形的子焦平面也呈矩形。所有子焦平面内的分辨率相同,且相邻两个相机之间所具有的视场的边界相互衔接或者存在部分重合,并最优选为相邻两个相机之间具有的视场的边界相互衔接,以使得六个相机所形成的六个子焦平面沿图9中箭头 102所示出的水平方向上相互衔接,以形成位于同一水平面的目标焦平面。相机41~43与相机44~46对称设置。相机43,44拍摄获得相同且沿中轴线101 对称布置的照片P1;相机42,45拍摄获得相同且沿中轴线101对称布置的照片P2;相机41,46拍摄获得相同且沿中轴线101对称布置的照片P3。
尤其的,在本实施例中,申请人创造性地将组合相机所包含的多个相机并优选为偶数个相机,采用对称式排布方式布置,可以使得最终获得的多张照片也形成镜像对称形态分布,从而有利于降低后续对照片进行拼接处理及识别、提取照片中所包含目标物和/或目标物中的特征物等图形计算的计算开销,从而提高对地块中需要被采集的目标物和/或目标物所包含的特征物信息予以高效地测绘与统计的效率。因此,偶数个相机对称且弧形排布的方式相对于奇数个相机弧形排布的方式效果更佳。
至于如何从照片中识别及提取特征物的操作的技术方案,可借鉴计算机图像处理领域中常见的基于HOG特征和SVM分类器以实现,并通过包含具体目标物或者目标物所包含的一个或者多个特征物(例如高粱植株中包含的高粱穗,高粱植株为目标物,高粱穗为特征物)并经过训练后的正样本集与负样本集,提取并识别出该目标物和/或目标物中所包含的一个或者多个特征物,并防止背景干扰。
结合图5所示,相机所包含的图像传感器的尺寸及像素决定了在相同高度h中在子焦平面内所拍摄得到的照片的分辨率。以1200万像素的CMOS 芯片举例而言。垂直方向(V)的像素数为3000个pixel(像素点),水平方向(H)的像素数为4000个pixel。如果预设分辨率为1pixel/mm,则单张照片所对应的地块水平宽度Wi为4000mm(4米),地块垂直宽度为3000mm (3m)。图5中W为24米。相机的视场角通常是固定,即每个相机的水平视场角与垂直视场角均是固定的。
在本实施例中,相机的视场角为水平视场角。六个相机所获得的六张照片所对应的地块水平宽度Wi总和为W,并视为图8中宽画幅成像区域U沿水平方向上的长度。航空器500沿图8中虚线所示出的航空器飞行路径掠过待测绘地块上方的过程中,以对待测绘地块通过组合相机100进行连续拍照,并对待测绘地块中所包含的目标物和/或目标物含有的一个或者多个特征物进行采集。在本实施例中,通过成本较低的相互弧形排布以形成相互衔接的六个子焦平面所形成内容相互衔接的六张照片记录地块中的目标物或者目标物中的特征物所对应的图像信息。
参图6及图20所示,假设组合相机所形成的目标焦平面刚好位于地块上一个具体的目标物所包含的特征物所在的水平面107。当组合相机100距离特征物的高度为10米时(相对高度h2+预设距离h4),相机43,44的水平视场角为22°,相机42,45的水平视场角为17°,相机41,46的水平视场角为 11.5°。相机43的法向线与中轴线101形成的照射角度为11°,相机42的法向线与中轴线101形成的照射角度为30.5°,相机41的法向线与中轴线101形成的照射角度为44.75°。相机43在其视场中所形成的焦距F为10.18米,相机42在其视场中所形成的焦距F为11.6米,相机41在其视场中所形成的焦距F为14.08米。
由于保持各个相机的法向线与中轴线101之间所形成的照射角度固定的,以及各个相机的水平视场角固定,则组合相机100被航空器500携带并掠过地块上方时,各个相机所获得的照片所对应的地块水平宽度Wi也始终保持4米;同时,由于任何两个相机的视场角(并具体为水平视场角)相互衔接,从而确保各个相机所获得的照片所对应的地块水平宽度Wi也是连续衔接布置的,因此不会存在拍摄盲区,从而有效地避免了对地块上竖直伫立的目标物所包含特征物的漏检。通常的,相机43,44镜头的法向线与中轴线 101的夹角较小,几乎可视为与地块呈近似垂直的关系,因此相机43,44在子焦平面内拍摄得到的照片中体现目标物的图像畸变较小。
在本实施例中,由内而外减少视场角有利于降低外侧相机(相机42,45 相对于位于内侧的相机43,44而言)或者最外侧相机(相机41,46相对于位于内侧的相机42,45而言)所拍摄获取的照片中所包含目标物的图像畸变量,也有利于后续对全部照片中特征物的识别与提取操作,从而显著地提高了该组合相机100对地块中的各种目标物通过测绘并识别全部照片中的特征物整个过程的准确性,防止遗漏检测的问题。
结合图16所示,该驱动系统10包括:姿态检测单元110,视场角调节单元120及对焦处理单元150。
姿态检测单元110检测组合相机500的飞行高度参数,基于目标物高度与目标成像宽度确定组合相机所形成的总视场角。当六个相机全部启用时,总视场角为101°,即11.5°+17°+22°总和的两倍,目标成像宽度为24米。通过该视场角调节单元120调节相机的视场角(此处的视场角也是水平视场角)。当六个相机被固定在安装板30上后,可通过视场角调节单元120对各个相机的视场角(优选为水平视场角)进行微调,以使各相机的视场的边界彼此衔接。
进一步的,当被拍摄的地块出现极其不规则的形态时,例如预设路径下方的地块的宽度小于图9中六张照片沿水平方向的宽度时,可旋转相机。此时航空器的运动方向垂直于垂直方向(V)。此时可进一步通过视场角调节单元120将六个视场相互拼接,从而使得沿图9中箭头102所示出的水平方向上的长度变短,以适应地块宽度减缩的场景,防止部分相机中拍摄的照片中出现不属于地块的特征物信息。此时,相机的图像传感器的水平方向(H)实际上与航空器飞行轨迹呈平行,因此可适当降低各个相机的成像频率,从而使得最终获得全部照片中能够完整地反应复杂轮廓的地块中全部特征物的信息。当然,不管相机是否旋转,当预设路径下方的地块的宽度明显小于图9中六张照片沿水平方向的宽度时,也可向最外侧的相机,即相机41,46 发出停止拍摄的指令。由此降低了最终对所有照片后续的存储、拼接、识别特征物整个过程中的计算开销。
对焦处理单元150接收目标物高度h1及飞行高度参数,并根据相机沿弧形方向的排布角度,同步各个相机所形成的子焦平面的焦距,以形成位于同一水平面的目标焦平面,且子焦平面及目标焦平面始终平行于地块所在的平面。当地块呈倾斜(沿海拔高度而言)时,通过对焦处理单元150调节各相机的子焦平面,并确保各相机所形成独立的子焦平面至少与特征物的平均海拔高度平面持平或者特征物的平均海拔高度平面,避免相机的视场中基于子焦平面所成像获得的照片发生较为严重的虚化,使得照片中目标物和/或特征物的轮廓清晰。
目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成,所述飞行高度参数包括航空器与地块之间形成的绝对高度h3或者航空器500与地块中目标物顶部109之间形成的相对高度h2。基于确定的预设分辨率及飞行高度参数以及相机沿弧形方向的排布角度,并通过以手动和/或自动对焦方式调节相机的对焦距离Fi的方式将目标焦平面调节至区域M1中的任意位置或目标位置,即可对地块中的目标物或者目标物中的一个或者多个特征物进行拍摄。
作为本实施例的合理变形,该姿态检测单元110检测飞行高度参数,基于目标物所含特征物与目标物顶部109所形成的预设距离h4与目标成像宽幅确定组合相机所形成的总视场角,并通过视场角调节单元120对相邻相机的视场角执行拼接,以使得相邻相机所具有的视场角至少相互衔接。对焦处理单元150接收预设距离及飞行高度参数,根据相机沿弧形方向的排布角度,同步各个相机所形成的子焦平面的焦距,以形成位于同一水平面的目标焦平面。其中,目标物高度由特征物高度h5单独定义或者特征物高度h5与特征物距离特征物所在目标物顶部所形成的预设距离h4共同定义,飞行高度参数包括航空器与地块之间形成的绝对高度h3或者航空器与地块中目标物顶部109之间形成的相对高度h2。因此,在本实施例中,目标物高度既可以指地块上竖直伫立的目标物所形成的高度h1,也可为目标物中的一个或者多个特征物所形成的特征物高度h5,可根据需要获得的对象而定。需要获取的对象可以是目标物,也可是目标物中的特征物。
基于确定的预设分辨率及飞行高度参数以及相机沿弧形方向的排布角度,并通过以手动和/或自动对焦方式调节相机的对焦距离Fi的方式将目标焦平面调节至区域M2,并最优选为将目标焦平面调节至区域M3中,即可对地块中的目标物或者目标物中的一个或者多个特征物进行拍摄。通常的,农作物的花蕊、果实通常位于植株的中部或者顶部,因此将将目标焦平面调节至区域M2,并最优选为将目标焦平面调节至区域M3可在隔离平面106 以下至目标物中最低处的特征物所在的水平面107之间所有的特征物予以拍照并重点获取植株中的特征物所对应的图像信息。因此,本实施例及实施例二中所示出的目标焦平面均为一个动态可选的范围,相对于而言位于目标焦平面中的物体(例如特征物)形成的图像最为清晰。
在本实施例中,对原始照片执行渐变缩放比例的技术手段,可降低位于外侧或者最外侧的相机所拍摄到的照片中由于相机的法向线与中轴线101呈倾斜姿态时所导致子焦平面中的目标物和/或目标物中的特征物被拉长所导致的图像畸变问题,降低了对后续多个大宽幅图像执行拼接操作以形成完整地块图片中所包含的图片内容过程中的计算开销,并提高了对地块中的特征物进行识别的准确性。
参图10所示,在本实施例中,该图形缩放单元140调整各个相机所独立形成的子焦平面沿垂直方向的短边(即照片位于子焦平面中沿垂直方向所形成的一条边)沿相机排布方向由内侧向外侧逐渐增大,以将子焦平面调整为梯形,同一相机调整后的子焦平面位于内侧的短边缩小,且位于外侧的同一子焦平面的短边长度大于调整前子焦平面的垂直方向的短边长度。各个独立的子焦平面对应的原始照片沿垂直方向的短边的缩放比例逐渐增大,例如从最内侧到最外侧的缩放比例分别为0.5,0.6,0.7,……,1.2。从视觉角度及相机成像原理而言,位于远处的物体通常较小,因此对原始图像位于外侧的短边进行放大处理而对位于内侧的短边进行缩小处理,有助于降低外侧的子焦平面所获得的照片中的图像内容的畸变现象。对原始照片(即图9中的照片P2、照片P3)执行缩放操作是指沿垂直方向作整体的缩小,而对基于各个相机在子焦平面中所获得的照片沿水平方向上的长度并不发生缩小,即图10中照片P1~照片P3在被执行缩放处理后,照片P1~照片P3在子焦平面中沿水平方向所形成的独立的成像宽幅保持不变。图9中呈矩形的六张原始照片。原始照片的短边执行缩放处理后,目标成像宽幅保持不变,且每个子焦平面中单个照片沿水平方向所形成的成像宽幅也保持不变。
照片P2位于内侧的短边予以缩小操作以小于原始照片短边,照片P2位于外侧的短边予以放大操作以大于原始照片。参图10所示的,照片P2位于外侧的短边的水平边界82位于照片P2的短边的水平边界81的外侧。同理所示,照片P3内侧的短边予以缩小操作以小于原始照片,至于是否需要小于照片P1位于内侧的短边视情况而定;照片P3位于外侧的短边予以放大操作以大于原始照片。参图10所示的,照片P3位于外侧的短边的水平边界83 位于照片P2的短边的水平边界82的外侧。因此,组合相机中弧形对称排布的相机由内侧向外侧的排布方向上,基于每个子焦平面所获得的原始照片通过图形缩放单元140执行缩放操作后,买个子焦平面位于外侧的短边大于位于内侧的短边长短,且优选为由内侧向外侧对每个子焦平面所获得的原始图像的短边执行逐级放大比例的缩放策略。
速度检测单元130检测航空器500的实时飞行速度,向各个相机输出成像频率指令,成像频率至少以图形缩放单元140对各个子焦平面中沿垂直方向上缩小后的短边长度为输入,确定各个相机的成像频率。同一相机在连续成像过程中子焦平面位于内侧的短边至少呈衔接,同一相机在连续成像过程中子焦平面沿水平方向的长边的长度保持不变。优选的,通过各子焦平面中沿垂直方向上缩放后的最小短边长度,来确定各个相机的程序频率,从而使得图11所获得的全部照片中的所有相机沿垂直方向位于内侧且经过缩小处理后短边沿垂直方向上首尾衔接,防止对地块中目标物或者目标物所含的若干特征物的遗漏。
本实施例所示出的检测单元110,视场角调节单元120,对焦处理单元 150,速度检测单元130及图形缩放单元140既可分别采用独立器件(例如图形显示芯片或者SoC芯片)单独实现,也可作为共同通过一个整体器件共同实现。
同时,在本实施例中,相机的成像频率受控于航空器500沿水平方向上的速度分量,位于外侧的相机的成像频率大于位于内侧的相机的成像频率。结合图11所示,由于位于外侧的照片沿垂直方向的两条短边分别被执行了缩小操作与放大操作。因此,可根据执行缩放操作后照片位于内侧的短边的缩小比例同步确地相机42及相机45的成像频率,以及同步确地相机41及相机46的成像频率。从而最终保持位于外侧的相机(相机42相对于相机43而言以及相机41相对于相机42而言均是指位于外侧的相机)的成像频率高于内侧的相机的成像频率。同时,同一个相机位于内侧的短边在先后两次城拍摄过程中所形成的短边至少衔接或者部分重叠,防止遗漏目标物或者目标物所包含的一个或者多个特征物。
至少考虑航空器沿水平方向上的速度分量的目的是防止对地块所包含目标物及目标物中包含的若干特征物拍摄时遗漏部分内容或者导致照片重叠严重。对于外侧相机或者最外侧相机而言,过高的成像频率会导致照片过于重叠,过低的成像频率也会导致对地块中的目标物及目标物中包含的若干特征物造成遗漏。
本实施例所揭示的组合相机100之所以至少限定水平方向上的速度分量是因为航空器500按照设定路径上飞行时,通常会保持航向稳定,仅仅会因为气流干扰及避障而需要升高/降低对特征物高度。那么当航空器500左右摆动或者爬升/降低时,由于各个相机的视场角保持不变且设置了预设分辨率,因此在图像传感器规格保持不变的技术前提下,可通过对外侧相机及最外侧相机的成像频率进行调节的技术手段,增加或者降低相机的成像频率,防止对地块中的目标物及目标物中包含的若干特征物进行拍照时造成内容遗漏或者过分重叠。
优选的,本实施例所示出的组合相机100还包括:配置于收容壳体20 与航空器500之间的稳定系统,稳定系统选自云台或者阻尼器。在本实施例中通过稳定系统可确保组合相机100中所有相机的镜头始终保持向下拍摄的姿态,并有效防止因为航空器抖动或者各种机动动作所导致的照片模糊的缺陷。本实施例所揭示的该组合相机100可作为一个独立系统,搭载于各种类型的航空器,例如旋翼飞机、无动力航空器或者固定翼飞机中。
本实施例所示出的组合相机100与实施例二中一种图像采集方法具有相同部分的技术方案,请参实施例二所述。
实施例二:
基于实施例一所揭示的一种组合相机100,本实施例还揭示了一种基于组合相机的一种图像采集方法(以下简称“方法”)。该方法基于实施例一所示出的组合相机100予以实现。该图像采集方法由弧形排布的若干相机所组成的组合相机100被航空器500所搭载并掠过地块上方时连续执行。
参图17所示,一种图像采集方法,包括以下步骤:
步骤S1、位于竖直平面且由弧形排布的若干相机所组成的组合相机被航空器所搭载,在航空器掠过地块上方以对地块进行连续拍摄。
优选的,步骤S1之前还包括:确定地块上中的目标物高度并配置隔离高度,以形成组合相机与地块之间的安全高度,针对地块所形成的宽度确定组合相机沿设定路径单次掠过地块上方以对地块进行连续拍摄所形成的目标成像宽幅。
例如,通过本实施例所揭示的图像采集方法可以识别高粱及高粱中的一个或者多个高粱穗,但是利用高粱顶部的图像识别。最主要是识别高粱(“目标物”的下位概念)上的特征物,例如高粱穗(“特征物”的下位概念),所以特征物理论上是低于目标物顶部109。需要说明的是,子焦平面设置在目标物的平均高度上,如果目标物有高度落差,但只要位于在相机景深范围内也可以识别,特征物高度h5一般小于目标物高度h1。
进一步的,当特征物为高粱的一部分时,则可基于该特征物的水平面确定相机聚焦的子焦平面,以准确识别该特征物。同时,为了防止航空器500 在飞行过程中与高低不同的高粱发生碰撞,可在高于子焦平面上限的上方设置隔离高度。隔离高度至少位于隔离平面106上方。
步骤S2、拼接相邻相机的视场角以使得相邻相机所具有的视场角至少相互衔接,并由外侧向内侧逐渐提高相机的视场角。相机的视场角可为水平视场角或者垂直视场角,或者以水平视场角与垂直视场角相互间隔的方式确定各个相机所形成的子焦平面。
其中,目标焦平面位于地块与位于地块中的目标物顶部上方所设定的隔离平面之间,隔离平面与目标物顶部形成隔离距离h6;优选的,目标焦平面位于地块中的目标物所包含的特征物与目标物顶部109之间。
参图18所示,该步骤S2包含如下子步骤S210~子步骤S213。
子步骤S210:检测飞行高度参数。该飞行高度参数是组合相机与地块之间所形成的实时高度数据。
确定实时高度数据可为后续根据图像传感器的尺寸及像素确定子焦平面内拍摄得到的照片的分辨率提供准确依据。过高的飞行高度会导致照片的分辨率降低,过低的飞行高度又会导致照片的分辨率过高并对后续的照片拼接造成不必要的计算开销,更重要的是,过低的飞行高度会导致航空器撞上地块中目标物的风险。因此,航空器及其携带的组合相机可在安全高度以上且能够根据任何一个相机的视场角所形成的子焦平面中的照片能够达到预设分辨率为1pixel/mm所形成的飞行高度参数之间飞行,并优选为能够达到预设分辨率所处的高度以匀速状态巡航飞行。只要组合相机的高度发生下降或者与地块或特征物之间发生竖直方向所形成的相对距离的减少,,可实时调整飞行高度,以此保证分辨率。优选的,在实施例中,该图像采集方法还包括:设置预设分辨率,并根据预设分辨率及图像传感器的像素数Di确定相机所获取的单张照片所对应的地块水平宽度Wi。具体的,所有相机在视场中所获得的地块水平宽度Wi均相等,并均为4米。
子步骤S211:根据目标物高度与目标成像宽幅确定组合相机所形成的总视场角。该总视场角可为由部分或者全部相机的水平视场角所组成的沿水平方向所形成的视场角之和。
组合相机中各个相机所包含的图像传感器及镜头组参数均相同。成像参数包括图像传感器的像素数Di。1200万像素的CMOS芯片举例而言。垂直方向(V)的像素数为3000个pixel(像素点),水平方向(H)的像素数为 4000个pixel。如果预设分辨率为1pixel/mm,则单张照片所对应的地块水平宽度Wi为4000mm(4米),地块垂直宽度为3000mm(3m)。因此图7中单张照片所对应的地块水平宽度Wi均相等,并均为4米。成像宽幅通过预设分辨率及各个相机中图像传感器的像素数予以确定,并通过打开或者关闭组合相机中的部分相机,以调整目标成像宽幅。
子步骤S212:对全部相机的视场角执行拼接,以使得相邻相机所具有的视场角至少相互衔接,并由外侧向内侧逐渐提高相机的视场角。
六个相机所形成的六个子焦平面沿图9中箭头102所示出的水平方向上相互衔接。相机41~43与相机44~46对称设置。相机43,44形成相同且沿中轴线101对称布置的照片P1;相机42,45形成相同且沿中轴线101对称布置的照片P2;相机41,46形成相同且沿中轴线101对称布置的照片P3。
根据组合相机100距离特征物的高度(即由相对高度h2与预设距离h4 所形成的高度,下称“作业高度”)和多个相机的wi确定各个相机的视场角θi,将多个相机的视场角并行排列、拼接成总视场角θ,视场角从外向内由小到大排布,从而减小角度畸变,提高相机适用性。同时,实际视场角θi小于确定的角度值,防止单个相机的视场角过大而造成照片畸变过大。
根据作业高度H和选定的相机43的w1确定视场角
Figure RE-GDA0003138215000000231
在根据计算的相机43的视场角θ1、相机42的w2及作业高度,计算与相机43相邻的相机42的视场角θ2,
Figure RE-GDA0003138215000000232
以此类推计算与相机42相邻的相机41的视场角θ3。同理所述,相机44~相机46镜像对称方式形成视场角θ1~视场角θ3。基于作业高度、相机的数量、相机的排布方式及各个相机所具有的视场角后,可确定照射角度αi。各个相机的照射角度αi为相对于竖直方向向下的角度,逆时针为负,顺时针为正。具体的,相机43的照射角度
Figure RE-GDA0003138215000000233
相机42的照射角度
Figure RE-GDA0003138215000000234
相机41的照射角度
Figure RE-GDA0003138215000000235
相机44的照射角度
Figure RE-GDA0003138215000000236
相机45的照射角度
Figure RE-GDA0003138215000000237
相机46的照射角度
Figure RE-GDA0003138215000000238
外侧相机的照射角度大于内侧相机的照射角度。并且为了防止相邻相机之间的漏检,实际照射角度小于确定的照射角度αi,提高图像拍摄的完整性。子步骤S213:针对地块沿设定路径所形成的宽度变化幅度,确定组合相机沿设定路径单次掠过地块上方以对地块中的目标物进行连续拍摄所采用的目标成像宽幅;其中,所述目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成。
在本实施例中,可通过打开或者关闭部分相机,目标成像宽幅予以灵活调整。同时,根据航空器飞行时所形成的实时的飞行高度参数及各个相机法向线之间的排布角度,同步各个相机所形成的子焦平面的焦距Fi。使得子焦平面始终位于地块所在的平面或者略微高于地块上方,至于子焦平面高于地块上方的距离根据地块上的目标物的具体形态而定;例如,对于匍匐生长的农作物与耸立生长的农作物可选取不同的子焦平面高于地块所在的平面的高度。Fi中参数i取1~3。相机43与相机44的Fi相等,相机42与相机45 的Fi相等,相机41与相机46的Fi相等。
步骤S3、调整各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面。
参图19所示,步骤S3包含如下子步骤S310~子步骤S312。
子步骤S310:确定目标物高度及飞行高度参数。
以手动和/或自动对焦方式调节相机的对焦距离Fi。调整各个相机的对焦距离至确定的对焦距离Fi(正弦定理求解)或者约定于Fi=Hcosαi,使得相机焦平面与特征物平面重叠,使各个相机焦平面都投影于同一焦平面,并且合并成一个整体的大范围的焦平面。可以保证同一焦平面上的分辨率为目标分辨率,便于后期精准识别。
子步骤S311:根据相机沿弧形方向的排布角度,同步各个相机所形成的子焦平面的焦距,以形成位于同一水平面的目标焦平面。
参图5至图7所示,相机所具有的视场角至少相互衔接并沿相机排布方向由外侧向内侧逐渐提高,各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面。各个相机所获取的单张照片所对应的地块水平宽度Wi,各个相机形成的视场角FOV沿相机排布方向由外侧向内侧逐渐提高。各个相机在各自所属的视场中所形成的焦距F与照射角度αi及视场角θ参图5所示。
在本实施例中,该图像采集方法还包括:向航空器500预先输入被拍摄地块的地块信息、设定路径及地块中的目标物高度;确定预设分辨率,并根据预设分辨率对称地开启或者关闭组合相机中的部分相机。
前述地块信息可由地块的轮廓单独定义,也可由地块的轮廓及地块的面积共同定义。由于地块的轮廓可能并非呈矩形,因此预先向航空器500输入地块信息可借助航空器的飞控系统或者地面基站的运算,确定合理的飞行路径。飞行路径的计算及规划可采用现有技术较为成熟的航向规划手段,故本实施例予以省略叙述。
至于组合相机100拍摄地块整个过程中需要折返拍摄的次数,可根据地块当前宽度断面、地块的轮廓及地块的面积予以综合确定。如果地块沿飞行路径上所形成的当前宽度较窄,甚至可以关闭最外侧的相机41,46(参图22所示),而仅通过相机42~45所新形成的四个相互衔接的视场拍摄地块,从而减少了不必要的照片数量,并尽可能地采用靠近中轴线101相机所获取的照片。相机41~相机46分别在彼此的子焦平面内分别形依次获得照片P3、照片P2、照片P1、照片P1、照片P2及照片P3的成像宽幅410~成像宽幅 460。当组合相机全部打开启后形成六个成像宽幅从而组成最宽的目标成像宽幅。当关闭相机41及相机46后,成像宽幅410与成像宽幅460消失,从而形成仅由四个成像宽幅的目标成像宽幅,即目标成像宽幅-2与目标成像宽幅-3。同时,组合相机中的每个相机均可独立地被开启或者关闭。
参图19所示,优选的,在步骤S3执行完毕后,还包括:
步骤S312、调整各个相机所独立形成的子焦平面沿垂直方向的短边沿相机排布方向由内侧向外侧逐渐增大,以将子焦平面调整为梯形,同一相机调整后的子焦平面位于内侧的短边缩小,且位于外侧的同一子焦平面垂直方向的短边长度大于调整前子焦平面的垂直方向的短边长度。
步骤S313、检测航空器的实时飞行速度,以根据所述实时飞行速度向各个相机输出成像频率指令,并根据调整后的每个子焦平面垂直方向的短边长度向各个相机输出成像频率指令。
相机的成像频率受控于航空器沿水平方向上的速度分量,位于外侧的相机的成像频率大于位于内侧的相机的成像频率。同一相机在连续成像过程中子焦平面位于内侧的短边至少呈衔接,同一相机在连续成像过程中子焦平面沿水平方向的长边的长度保持不变。检测航空器的实时飞行速度,向各个相机输出成像频率指令,成像频率以图形缩放单元对每个子焦平面内侧与外侧的短边缩放结果为输入,以确定外侧相机的成像频率。
申请人指出前述步骤S312与步骤S313的执行顺序也可予以调换,并在实际运行过程彼此的结果均相同。
当航空器匀速飞行时,保持现有各个相机输出成像频率,即相机43,44 的成像频率为1张/秒,相机42,45的成像频率为1.25张/秒,相机41,46的成像频率为2张/秒;当航空器加速飞行时,对称增加弧形排布的外侧相机输出成像频率(例如,相机42与相机45的成像频率同步增加相同的数值);当航空器减速飞行时,对称降低弧形排布的外侧相机输出成像频率(例如,相机41与相机46的成像频率同步降低相同的数值)。通过上述技术方案,最终实现了对地块的水平方向及垂直方向的全覆盖拍摄,且又不至于拍摄重叠面积过多的照片。
参图13所示,航空器沿设定路径飞行时,任意一个相机按照初始成像频率先后获取照片P与照片P’。L为图像传感器在子焦平面中由图像传感器的沿垂直方向(V)基于图像传感器在视场内所获得的矩形图像的短边。点 K与点K’为照片P与照片P’的中心点。航空器在t1时刻获取照片P,航空器在t2时刻获取照片P’。此时航空器按照设定路径飞行了距离S。如果距离 S等于L,则保持现有各个相机输出成像频率。
参图14所示,如果航空器在t1时刻获取照片P,点K与点K’之间的距离S’为航空器在t1时刻至t2时刻所飞行过的水平距离。航空器在t1时刻获取照片P与航空器在t2时刻获取照片P’之间存在重叠区域SK。如果重叠区域SK的沿设定路径的方向的长度小于第一设定阈值也可以不降低各个相机输出成像频率,只有重叠区域SK的沿设定路径的方向的长度大于第一设定阈值,则降低各个相机输出成像频率。第一设定阈值可以设置为0.2~0.5米,从而防止先后两张照片之间过于重叠导致对后续对照片中的内容进行识别的计算开销。
参图15所示,如果航空器在t1时刻获取照片P,在t2时刻获取照片P’,且点K与点K’之间的距离S”大于第二设定阈值,则需要在照片P与照片P’之间再增加拍摄一张照片P”。区域SK1与区域SK2为由于增加该相机的成像频率所获得的照片P”与图13所示出的照片P与照片P’所分别形成的重叠区域,以避免照片P与照片P’之间遗漏部分地块所包含的目标物或者目标物中包含的若干特征物所对应的信息。重叠区域SK1与SK2的沿设定路径的方向的长度大于第二设定阈值,则提高各个相机输出成像频率。第二设定阈值可以设置为2.5~3米。
结合图21与图22所示,当航空器500携带该组合相机100连续通过两个相互连通的地块(即图21中的地块-1与地块-2)时,沿设定路径所形成的宽度变化幅度,确定组合相机沿设定路径单次掠过地块上方以对地块中的目标物进行连续拍摄所采用的目标成像宽幅。在此场景中,组合相机中全部相机所形成的目标成像宽幅发生变化,并根据沿设定路径中地块宽幅的变化直接导致目标成像宽幅发生变化。当组合相机100对地块-1中的目标物拍摄完毕后需要通过狭长的颈部地块区域,此时该颈部地块区域中依然存在目标物。此时根据飞行高度参数及地块宽幅确定启用相机41~相机46,以形成最大的目标成像宽幅。当检测到地块宽幅-2的宽度小于地块宽幅-1的宽度时,根据地块宽幅-2的宽度将相机41和/或相机46关闭(参图2所示),以缩小垂直于设定路径方向上所形成的目标成像宽幅,并最终形成图21中的目标成像宽幅-2、目标成像宽幅-3,以避免将不属于狭长的颈部地块区域外的目标物或者目标物所包含的若干特征物被相机41和/或相机46所捕获,以进一步降低对后续多个大宽幅图像执行拼接操作以形成完整地块图片中所包含的图片内容过程中的计算开销。地块-1与地块-2所形成的呈连续的地块的轮廓及坐标数据可预先保存于航空器500中。
本实施例中该图像采集方法中所包含的组合相机100与实施例一中具有相同部分的技术方案,请参实施例一所示,在此不再赘述。
实施例三:
结合图1至图4及图16所示,基于实施例一所揭示的组合相机的技术方案,本实施例揭示了一种航空器500。
该航空器500包括:具至少一个动力机构的机身41,机身41装配如实施例一所揭示的组合相机。航空器500选自旋翼飞机、无动力航空器或者固定翼飞机。前述航空器可为有人驾驶航空器或者无人驾驶航空器。
参图4及图16所示,航空器进一步选用四旋翼无人机(旋翼飞机的下位概念)。四旋翼无人机包括机身51,机身51通过四个横杆52连接四个动力装置53(例如直流无刷电机,动力机构的一种下位概念),动力装置53配置桨叶521。机身51下方设置两个起落架54。
如实施例一所揭示的组合相机100可通过收容壳体20中的折弯部211 安装在机身51的下方(或者前方或者后方)或者安装在横置于两个起落架 54之间的其他常规的辅助安装装置的下方。该四旋翼无人机可吊装一个或者多个组合相机100。航空器500无线连接远端控制系统400,远端控制系统 400包括云平台或者地面基站。该组合相机100还连接位于航空器500内的定位系统300,以为航空器提供坐标参数、位置参数等。该定位系统300选自GPS定位系统或者北斗定位系统。
本实施例中的航空器500中所包含的组合相机100及图像采集方法与实施例一和/或实施例二中具有相同部分的技术方案,请参实施例一和/或实施例二所示,在此不再赘述。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (18)

1.一种组合相机,被航空器所搭载,其特征在于,包括:
位于竖直平面且弧形排布的若干相机,相机所具有的视场角至少相互衔接并沿相机排布方向由外侧向内侧逐渐提高,各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面。
2.根据权利要求1所述的组合相机,其特征在于,所述目标焦平面位于地块与位于地块中的目标物顶部上方所设定的隔离平面之间,所述隔离平面与目标物顶部形成隔离距离。
3.根据权利要求1所述的组合相机,其特征在于,所述目标焦平面位于地块中的目标物所包含的特征物与目标物顶部之间。
4.根据权利要求1所述的组合相机,其特征在于,所述组合相机还包括驱动系统,所述驱动系统包括:
姿态检测单元,视场角调节单元及对焦处理单元;
姿态检测单元检测飞行高度参数,基于目标物高度与目标成像宽幅确定组合相机所形成的总视场角,并通过所述视场角调节单元对相邻相机的视场角执行拼接,以使得相邻相机所具有的视场角至少相互衔接;
对焦处理单元接收目标物高度及飞行高度参数,根据相机沿弧形方向的排布角度,同步各个相机所形成的子焦平面的焦距,以形成位于同一水平面的目标焦平面;
其中,目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成,所述飞行高度参数包括航空器与地块之间形成的绝对高度或者航空器与地块中目标物顶部之间形成的相对高度。
5.根据权利要求1所述的组合相机,其特征在于,所述组合相机还包括驱动系统,所述驱动系统包括:
姿态检测单元,视场角调节单元及对焦处理单元;
姿态检测单元检测飞行高度参数,基于目标物所含特征物与目标物顶部所形成的预设距离与目标成像宽幅确定组合相机所形成的总视场角,并通过所述视场角调节单元对相邻相机的视场角执行拼接,以使得相邻相机所具有的视场角至少相互衔接;
对焦处理单元接收预设距离及飞行高度参数,根据相机沿弧形方向的排布角度,同步各个相机所形成的子焦平面的焦距,以形成位于同一水平面的目标焦平面;
其中,目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成,所述目标物高度由特征物高度单独定义或者特征物高度与特征物距离特征物所在目标物顶部所形成的预设距离共同定义,所述飞行高度参数包括航空器与地块之间形成的绝对高度或者航空器与地块中目标物顶部之间形成的相对高度。
6.根据权利要求4或者5所述的组合相机,其特征在于,所述驱动系统还包括:图形缩放单元;
所述图形缩放单元调整各个相机所独立形成的子焦平面沿垂直方向的短边沿相机排布方向由内侧向外侧逐渐增大,以将子焦平面调整为梯形,同一相机调整后的子焦平面位于内侧的短边缩小,且位于外侧的同一子焦平面垂直方向的短边长度大于调整前子焦平面的垂直方向的短边长度。
7.根据权利要求6所述的组合相机,其特征在于,所述驱动系统还包括:速度检测单元;
所述速度检测单元检测航空器的实时飞行速度,并根据调整后的每个子焦平面垂直方向的短边长度向各个相机输出成像频率指令;
同一相机在连续成像过程中子焦平面位于内侧的短边至少呈衔接,同一相机在连续成像过程中子焦平面沿水平方向的长边的长度保持不变。
8.根据权利要求7所述的组合相机,其特征在于,所述相机的成像频率受控于航空器沿水平方向上的速度分量,位于外侧的相机的成像频率大于位于内侧的相机的成像频率。
9.一种图像采集方法,其特征在于,包括以下步骤:
S1、位于竖直平面且由弧形排布的若干相机所组成的组合相机被航空器所搭载,在航空器掠过地块上方以对地块进行连续拍摄;
S2、拼接相邻相机的视场角以使得相邻相机所具有的视场角至少相互衔接,并由外侧向内侧逐渐提高相机的视场角;
S3、调整各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面。
10.根据权利要求9所述的图像采集方法,其特征在于,所述目标焦平面位于地块与位于地块中的目标物顶部上方所设定的隔离平面之间,所述隔离平面与目标物顶部形成隔离距离。
11.根据权利要求10所述的图像采集方法,其特征在于,
所述步骤S2具体为:检测飞行高度参数,根据目标物高度与目标成像宽幅确定组合相机所形成的总视场角,对全部相机的视场角执行拼接,以使得相邻相机所具有的视场角至少相互衔接,并由外侧向内侧逐渐提高相机的视场角;
所述步骤S3具体为:确定目标物高度及飞行高度参数,根据相机沿弧形方向的排布角度,同步各个相机所形成的子焦平面的焦距,以形成位于同一水平面的目标焦平面;
其中,目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成,所述目标物高度由特征物高度单独定义或者特征物高度与特征物距离特征物所在目标物顶部所形成的预设距离共同定义,所述飞行高度参数包括航空器与地块之间形成的绝对高度或者航空器与地块中目标物顶部之间形成的相对高度。
12.根据权利要求11所述的图像采集方法,其特征在于,所述成像宽幅通过预设分辨率及各个相机中图像传感器的像素数予以确定,并通过开启或关闭组合相机中的部分相机,以调整所述目标成像宽幅。
13.根据权利要求11所述的图像采集方法,其特征在于,所述步骤S2还包括:针对地块沿设定路径所形成的宽度变化幅度,确定组合相机沿设定路径单次掠过地块上方以对地块中的目标物进行连续拍摄所采用的目标成像宽幅;其中,所述目标成像宽幅由组合相机中各个相机独立形成的成像宽幅组成。
14.根据权利要求11所述的图像采集方法,其特征在于,所述同步各个相机所形成的子焦平面的焦距包括具体为:
基于所述目标物高度、飞行高度参数和各个相机视场角配置其对应的对焦距离,以将各个相机所独立形成的子焦平面调整于同一水平面;
调整各个相机所独立形成的子焦平面水平布置,以形成位于同一水平面的目标焦平面,其中,所述对焦距离通过手动和/或自动对焦方式获得。
15.根据权利要求9至14中任一项所述的图像采集方法,其特征在于,所述步骤S3执行完毕后,还包括:
调整各个相机所独立形成的子焦平面沿垂直方向的短边沿相机排布方向由内侧向外侧逐渐增大,以将子焦平面调整为梯形,同一相机调整后的子焦平面位于内侧的短边缩小,且位于外侧的同一子焦平面垂直方向的短边长度大于调整前子焦平面的垂直方向的短边长度。
16.根据权利要求15所述的图像采集方法,其特征在于,所述步骤S3执行完毕后,还包括:
检测航空器的实时飞行速度,以根据所述实时飞行速度向各个相机输出成像频率指令,并根据调整后的每个子焦平面垂直方向的短边长度向各个相机输出成像频率指令;
所述相机的成像频率受控于航空器沿水平方向上的速度分量,位于外侧的相机的成像频率大于位于内侧的相机的成像频率;
同一相机在连续成像过程中子焦平面位于内侧的短边至少呈衔接,同一相机在连续成像过程中子焦平面沿水平方向的长边的长度保持不变。
17.根据权利要求15所述的图像采集方法,其特征在于,
当航空器匀速飞行时,保持现有各个相机的成像频率;
当航空器加速飞行时,对称增加弧形排布的外侧相机的成像频率;
当航空器减速飞行时,对称降低弧形排布的外侧相机的成像频率。
18.一种航空器,其特征在于,包括:
具至少一个动力机构的机身,以及
被航空器所搭载并如权利要求1至8中任一项所述的组合相机。
CN202110366537.XA 2021-04-06 2021-04-06 一种组合相机、图像采集方法及航空器 Active CN113271409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110366537.XA CN113271409B (zh) 2021-04-06 2021-04-06 一种组合相机、图像采集方法及航空器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110366537.XA CN113271409B (zh) 2021-04-06 2021-04-06 一种组合相机、图像采集方法及航空器

Publications (2)

Publication Number Publication Date
CN113271409A true CN113271409A (zh) 2021-08-17
CN113271409B CN113271409B (zh) 2022-07-01

Family

ID=77228490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110366537.XA Active CN113271409B (zh) 2021-04-06 2021-04-06 一种组合相机、图像采集方法及航空器

Country Status (1)

Country Link
CN (1) CN113271409B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114402995A (zh) * 2022-01-19 2022-04-29 北京市农林科学院智能装备技术研究中心 空地协同的玉米去雄方法、系统及空中无人去雄机
CN114858135A (zh) * 2022-06-01 2022-08-05 上海盛图遥感工程技术有限公司 基于机载的七镜头多角度长焦距组合倾斜摄影测量设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540822A (zh) * 2009-04-28 2009-09-23 南京航空航天大学 高分辨率大视场航空成像装置及其方法
CN104102218A (zh) * 2014-06-30 2014-10-15 西北工业大学 基于视觉伺服的感知与规避方法及系统
US9052571B1 (en) * 2014-06-20 2015-06-09 nearmap australia pty ltd. Wide-area aerial camera systems
CN107205127A (zh) * 2017-07-10 2017-09-26 中国人民解放军国防科学技术大学 一种叠进式摄像机阵列结构的光场成像装置
CN108413939A (zh) * 2018-01-26 2018-08-17 广州市红鹏直升机遥感科技有限公司 一种用于拍摄矩阵式图像的航空倾斜摄影的拍摄方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540822A (zh) * 2009-04-28 2009-09-23 南京航空航天大学 高分辨率大视场航空成像装置及其方法
US9052571B1 (en) * 2014-06-20 2015-06-09 nearmap australia pty ltd. Wide-area aerial camera systems
CN104102218A (zh) * 2014-06-30 2014-10-15 西北工业大学 基于视觉伺服的感知与规避方法及系统
CN107205127A (zh) * 2017-07-10 2017-09-26 中国人民解放军国防科学技术大学 一种叠进式摄像机阵列结构的光场成像装置
CN108413939A (zh) * 2018-01-26 2018-08-17 广州市红鹏直升机遥感科技有限公司 一种用于拍摄矩阵式图像的航空倾斜摄影的拍摄方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114402995A (zh) * 2022-01-19 2022-04-29 北京市农林科学院智能装备技术研究中心 空地协同的玉米去雄方法、系统及空中无人去雄机
CN114858135A (zh) * 2022-06-01 2022-08-05 上海盛图遥感工程技术有限公司 基于机载的七镜头多角度长焦距组合倾斜摄影测量设备

Also Published As

Publication number Publication date
CN113271409B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
WO2020014909A1 (zh) 拍摄方法、装置和无人机
CN110494360B (zh) 用于提供自主摄影及摄像的系统和方法
US9374561B1 (en) Step-stare oblique aerial camera system
JP4302625B2 (ja) 航空偵察システム
US7308342B2 (en) Airborne reconnaissance system
AU2016201867B2 (en) Method and system to avoid plant shadows for vegetation and soil imaging
CN113271409B (zh) 一种组合相机、图像采集方法及航空器
JP6708790B2 (ja) 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
CN110537365B (zh) 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
US11122215B2 (en) Imaging apparatus, unmanned moving object, imaging method, system, and program
CN110286091B (zh) 一种基于无人机的近地遥感图像采集方法
CN110001945A (zh) 一种倒崖立面精细倾斜航摄装置与摄影方法
WO2021081707A1 (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
US20230359204A1 (en) Flight control method, video editing method, device, uav and storage medium
CN112154654A (zh) 比赛拍摄方法、电子设备、无人机与存储介质
CN106846385A (zh) 基于无人机的多传感遥感影像匹配方法、装置和系统
CN214776631U (zh) 一种航空器组合相机及航空器
CN114545963A (zh) 一种优化多无人机全景监控视频的方法、系统及电子设备
CN108596914B (zh) 一种无人机盘煤方法
TWI819569B (zh) 架構於無人機群飛之零時差巨幅空照圖拍攝裝置
EP3156773A1 (en) Multispectral imaging of a scene from a moving viewpoint
WO2017064466A1 (en) Multispectral imaging of a scene from a moving viewpoint
IL180478A (en) Airborne intelligence photography system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221108

Address after: Room 901, 9/F, Nanfan Mass Entrepreneurship Center, Yazhou Bay Science and Technology City, Yazhou District, Sanya City, Hainan Province, 572000

Patentee after: Jimu (Hainan) intelligent breeding equipment Co.,Ltd.

Address before: No. 1022, science and innovation center, Nanjing National Agricultural Innovation Park, No. 8, Xingzhi Road, Pukou District, Nanjing, Jiangsu 210000

Patentee before: Nanjing Jimu Robot Technology Co.,Ltd.