CN110537197A - 图像处理装置、生长调查图像创建系统以及程序 - Google Patents

图像处理装置、生长调查图像创建系统以及程序 Download PDF

Info

Publication number
CN110537197A
CN110537197A CN201880021148.XA CN201880021148A CN110537197A CN 110537197 A CN110537197 A CN 110537197A CN 201880021148 A CN201880021148 A CN 201880021148A CN 110537197 A CN110537197 A CN 110537197A
Authority
CN
China
Prior art keywords
aerial images
information
pixel
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880021148.XA
Other languages
English (en)
Inventor
平原义朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of CN110537197A publication Critical patent/CN110537197A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Forests & Forestry (AREA)
  • Chemical & Material Sciences (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明的课题在于提供能够修正航拍图像内的每个像素的明亮度并能够精度良好地解析植物的生长状态的图像处理装置、生长调查图像创建系统以及程序。具备：输入单元(通信I/F24)，输入使用航拍图像获取装置1A拍摄到的田地内的植物的航拍图像；修正值计算单元(控制部21)，使用拍摄航拍图像时的拍摄信息来计算航拍图像内的各像素的亮度值的修正值；以及修正单元(控制部21)，使用修正值来修正上述航拍图像内的各像素的亮度值，拍摄信息包括拍摄位置信息以及太阳位置信息，拍摄位置信息包括上述拍摄装置存在的纬度经度信息，太阳位置信息包括太阳方位信息以及太阳高度信息。

Description

图像处理装置、生长调查图像创建系统以及程序
技术领域
本发明涉及图像处理装置、生长调查图像创建系统以及程序。
背景技术
以往，已知一种通过遥感获取从上空拍摄到的田地的航拍图像，进行使用了该航拍图像的图像解析处理，进行田地内的作物的生长调查的技术。
例如，在专利文献1中公开了通过卫星获取田地的航拍图像，并且基于其来计算表示作物的生长的程度的归一化植被指数(Normalized Difference Vegetation Index：NDVI)的技术。另外，近年来，也存在在无人机上搭载可见光拍摄用以及近红外光拍摄用的两种数码相机来获取田地的航拍图像，进行同样的监测的情况。
此处，由于为了计算归一化植被指数而利用基于植物体的光的反射量，所以为了准确地掌握田地内的作物的生长状态，需要高精度地获取基于拍摄区域内的植物体的光的反射量的数据。
专利文献1：日本特开2017－35055号公报
另外，如果从上空拍摄如水稻那样有高度的植物体，则根据与拍摄装置的位置关系，按照航拍图像内的每个像素产生亮度不均。
对此，使用图5对水稻监测的情况进行说明。如图5所示，太阳光能够近似为平行光，所以能够视为对田地内的全部植物体(此处为稻体)以相同的入射角照射。与此相对，连结拍摄装置和被拍摄体的线段方向(视线方向)根据与拍摄装置的位置关系而按照每个稻体不同。即，按照相对于拍摄装置的视线方向而太阳光以顺光的角度入射的稻体R1、以逆光的角度入射的稻体R3等每个稻体，太阳光的反射量不同，所以在航拍图像内，明亮度产生偏差。
如专利文献1那样，基于卫星的航拍图像的拍摄范围遍及广大区域，所以航拍图像内的明亮度的偏差不太会给图像解析带来较大的影响。另外，原本拍摄装置的高度较高，所以上述那样的每个稻体的反射量不会有太大的差。
然而，例如在通过无人机从近距离进行航拍的情况下，上述那样的明亮度的偏差的影响变大。因这样的亮度不均，而导致进行使用了拍摄数据的运算时的精度降低。
发明内容
本发明是鉴于上述课题而完成的，其目的在于提供能够修正航拍图像内的每个像素的明亮度并能够精度良好地解析植物的生长状态的图像处理装置、生长调查图像创建系统以及程序。
为了解决上述课题，技术方案1所述的图像处理装置的特征在于，具备：
输入单元，输入使用拍摄装置拍摄到的田地内的植物的航拍图像；
修正值计算单元，使用拍摄上述航拍图像时的拍摄信息来计算上述航拍图像内的各像素的亮度值的修正值；以及
修正单元，使用上述修正值来修正上述航拍图像内的各像素的亮度值，
上述拍摄信息包括拍摄位置信息以及太阳位置信息，
上述拍摄位置信息包括上述拍摄装置存在的纬度经度信息，
上述太阳位置信息包括太阳方位信息以及太阳高度信息。
技术方案2所述的发明的特征在于，在技术方案1所述的图像处理装置中，
上述拍摄信息包括天气信息。
技术方案3所述的发明的特征在于，在技术方案1或者2所述的图像处理装置中，
上述修正值计算单元相对于上述拍摄位置信息而言将亮度最高的点作为第一基准点，根据上述航拍图像内的各像素距上述第一基准点的距离来计算上述修正值。
技术方案4所述的发明的特征在于，在技术方案1～3中的任意一项所述的图像处理装置中，
具备太阳位置计算单元，上述太阳位置计算单元基于拍摄时的日期、时刻以及上述纬度经度信息来计算上述太阳位置信息。
技术方案5所述的发明的特征在于，在技术方案1～4中的任意一项所述的图像处理装置中，
上述拍摄信息包括图像方位信息，上述图像方位信息是相对于上述航拍图像内的第二基准点的各像素的方位信息，
上述图像处理装置具备图像方位计算单元，上述图像方位计算单元基于相对于地表面的上述拍摄装置的拍摄方向来计算上述图像方位信息。
技术方案6所述的发明的特征在于，在技术方案1～5中的任意一项所述的图像处理装置中，
上述拍摄位置信息包括上述拍摄装置存在的拍摄高度信息。
技术方案7所述的发明的特征在于，在技术方案1～6中的任意一项所述的图像处理装置中，
使用用于对上述航拍图像的各像素的亮度值进行乘法运算或者除法运算的系数来计算上述修正值。
技术方案8所述的发明的特征在于，在技术方案1～7中的任意一项所述的图像处理装置中，
使用用于对上述航拍图像的各像素的亮度值进行加法运算或者减法运算的偏移值来计算上述修正值。
技术方案9所述的生长调查图像创建系统的特征在于，具备：
获取田地内的植物的航拍图像的拍摄装置；以及
技术方案1～8中的任意一项所述的图像处理装置。
技术方案10所述的程序用于使图像处理装置的计算机作为以下单元发挥作用：
输入单元，输入使用拍摄装置拍摄到的田地内的植物的航拍图像；
修正值计算单元，使用拍摄上述航拍图像时的拍摄信息来计算上述航拍图像内的各像素的亮度值的修正值；以及
修正单元，使用上述修正值来修正上述航拍图像内的各像素的亮度值。
根据本发明，能够提供能够修正航拍图像内的每个像素的明亮度并能够精度良好地解析植物的生长状态的图像处理装置、生长调查图像创建系统以及程序。
附图说明
图1是表示生长调查图像创建系统的系统构成的图。
图2是表示图1的航拍图像获取装置的功能构成的图。
图3是表示图1的图像处理装置的功能构成的图。
图4A是对航拍图像的拍摄方法进行说明的图。
图4B是表示航拍图像的一个例子的图。
图5是对亮度不均的产生原因进行说明的图。
图6是对图像方位信息进行说明的图。
图7A是表示修正数据的计算方法的一个例子的图。
图7B是表示修正数据的计算方法的一个例子的图。
图7C是表示修正数据的计算方法的一个例子的图。
图8A是对与太阳高度对应的亮度不均修正进行说明的图。
图8B是对与太阳高度对应的亮度不均修正进行说明的图。
图8C是对与太阳高度对应的亮度不均修正进行说明的图。
图9A是对与天气对应的亮度不均修正进行说明的图。
图9B是对与天气对应的亮度不均修正进行说明的图。
图10是表示生长调查图像创建处理的流程图。
图11是表示图10的步骤S2的详细的流程图。
图12是表示图11的步骤S22的详细的流程图。
图13是表示图11的步骤S23的详细的流程图。
图14是表示图11的步骤S25的详细的流程图。
图15是表示本发明的效果的图。
具体实施方式
[实施方式]
以下，参照图对用于实施本发明的方式进行说明，但本发明并不局限于此。
＜生长调查图像创建系统100的构成＞
图1表示生长调查图像创建系统100的整体构成例。
生长调查图像创建系统100是通过遥感获取田地的航拍图像，将获取到的航拍图像内的亮度值修正为适当的值，并且生成能够进行作物的生长状况的定量评价的生长调查图像的系统。
此外，作为生长调查，此处列举水稻监测作为例子来进行说明，但并不局限于此。例如也可以在旱稻、麦类等的监测中应用本发明。
如图1所示，生长调查图像创建系统100构成为航拍图像获取装置1A和图像处理装置2A连接成能够收发数据。
航拍图像获取装置1A和图像处理装置2A能够使用能够分别利用的无线通信进行配对，作为无线通信，使用无线LAN(Wi－Fi)或者Bluetooth(注册商标)等。
航拍图像获取装置1A实现作为拍摄装置的功能。航拍图像获取装置1A通过遥感一边在田地的上空飞行一边获取以覆盖田地整体的方式拍摄到的多张航拍图像，并发送至图像处理装置2A。
此外，遥感是指具备例如由飞机、直升机、气球等载人飞行器、无人机等无人飞行器构成的平台、和数码相机等观测装置，并从上空观测地上的技术。此处，设为使用无人机作为平台来进行说明。
图2表示航拍图像获取装置1A的功能构成例。
如图2所示，航拍图像获取装置1A构成为具备控制部11、拍摄部12、飞行部13、定位部14、通信I/F15、存储部16等，各部经由总线17连接。
控制部11构成为具备CPU(Central Processing Unit：中央处理器)、RAM(RandomAccess Memory：随机存取存储器)等，通过与存储部16中存储的各种程序的配合来执行各种处理，统一地控制航拍图像获取装置1A的动作。
例如，控制部11根据经由通信I/F15接收到的由发送机发送的拍摄指示来控制拍摄部12，使得拍摄航拍图像。控制部11还根据经由通信I/F15接收到的由发送机发送的飞行指示来控制飞行部13，使航拍图像获取装置1A飞行。
拍摄部12是具备CCD(Charge Coupled Device：电荷耦合器件)传感器等的数码相机，根据控制部11的指示获取航拍图像。拍摄部12经由透镜接受被稻体反射的太阳光的反射光，拍摄通过透镜在成像面上成像的像来生成航拍图像的数字图像数据。此外，设为拍摄部12拍摄航拍图像获取装置1A的正下方的地点。
飞行部13具备旋转翼、电机、电池、ESC(Electronic Speed Control：电子调速器)等，根据控制部11的指示使航拍图像获取装置1A飞行。
在航拍图像获取装置1A的主体上设置多个旋转翼，各旋转翼由电机旋转驱动，对航拍图像获取装置1A给予升力。电机通过由电池赋予的电压而旋转，通过ESC的电压控制来变更转速。旋转翼的旋转速度根据电机的输出而变化，根据各旋转翼的旋转速度差来转换航拍图像获取装置1A的飞行方向。
定位部14具备GPS等三维定位器，获取航拍图像获取装置1A的纬度、经度、高度所涉及的信息。另外，定位部14具备陀螺仪传感器，检测航拍图像获取装置1A的倾斜、旋转，控制部11基于这些来进行航拍图像获取装置1A的空中姿势的控制，或如后述那样，进行与由GPS获取的三维定位信息组合的航拍图像获取装置1A相对于地表面的拍摄方向的计算。
通信I/F15是用于与外部设备之间进行数据收发的接口。
通信I/F15与能够控制航拍图像获取装置1A的飞行以及航拍图像拍摄的遥控器等发送机以能够进行通信的方式连接，将经由该遥控器接收到的飞行指示以及拍摄指示传递到控制部11。
另外，与图像处理装置2A以能够进行数据收发的方式连接，在控制部11的控制下，向图像处理装置2A发送数字数据化后的航拍图像。
存储部16例如由HDD(Hard Disk Drive：硬盘驱动器)、半导体的非易失性存储器等构成。在存储部16中，如前述那样存储各种程序、各种数据等。
此外，航拍图像获取装置1A也可以为具备LAN适配器、路由器等，并经由LAN等通信网络与外部设备连接的结构。
图像处理装置2A对从航拍图像获取装置1A发送的航拍图像中的亮度不均进行修正，生成能够定量解析田地内的作物的生长状况的图像。
图2表示图像处理装置2A的功能构成例。
如图2所示，图像处理装置2A构成为具备控制部21、操作部22、显示部23、通信I/F24、存储部25等，各部经由总线26连接。
控制部21构成为具备CPU(Central Processing Unit)、RAM(Random AccessMemory)等，通过与存储部25中存储的各种程序的配合来执行各种处理，统一地控制图像处理装置2A的动作。
例如，控制部21通过与存储部25中存储的图像处理程序的配合来执行图像解析处理，实现作为修正值计算单元、修正单元、太阳位置计算单元以及图像方位计算单元的功能。
操作部22构成为具备具有文字输入键、数字输入键、各种功能键等的键盘、和鼠标等指示设备，将通过键盘进行了按下操作的按键的按下信号和基于鼠标的操作信号作为输入信号输出至控制部21。
显示部23构成为例如具备CRT(Cathode Ray Tube：阴极射线管)、LCD(LiquidCrystal Display：液晶显示器)等监视器，按照从控制部21输入的显示信号的指示，对各种画面进行显示，实现作为显示单元的功能。
通信I/F24是用于与以航拍图像获取装置1A为首的外部设备之间进行数据收发的接口。通信I/F24实现作为航拍图像的输入单元的功能。
存储部25例如由HDD(Hard Disk Drive)、半导体的非易失性存储器等构成。在存储部25中，如前述那样存储各种程序、各种数据等。
此外，图像处理装置2A也可以为具备LAN适配器、路由器等，经由LAN等通信网络与外部设备连接的结构。
＜航拍图像内的亮度不均＞
以下，对在生长调查图像创建系统100中，在航拍图像内产生的亮度不均进行说明。
图4A表示航拍图像的拍摄方法的一个例子。
田地整体的航拍图像I是通过将多个航拍图像i连续地组合而合成的。航拍图像i是航拍图像获取装置1A一次拍摄的一张图像。在图4A的情况下，航拍图像获取装置1A从图的右下端到右上端，一边在图中X的方向上飞行一边连续地拍摄航拍图像i。接着，航拍图像获取装置1A在图中Y的方向上移动，从上端到下端，一边在图中X的方向上飞行一边连续地拍摄航拍图像i。若反复以上动作而拍摄到图的左端，则田地整体的拍摄完成。
此处，图4B表示晴天时拍摄到的航拍图像is的一个例子。如图所示，对于航拍图像is而言，若设为在图的左侧的上空存在太阳且从箭头的方向照射太阳光S，则起因于被稻体反射的反射光量的不同，按照航拍图像is内的每个像素而亮度产生偏差，产生所谓的亮度不均。
使用图5，对该现象的可能想到的原因进行说明。
在航拍图像获取装置1A的拍摄部12从上空拍摄立体物的情况下，按照航拍图像内的每个像素，连结拍摄部和被拍摄体的线段方向(以下，记为视线方向)不同。与此相对，太阳光能够近似为平行光，所以针对航拍图像内的全部像素从同方向入射。
因此，如图5所示，针对拍摄区域的右端，太阳光S的入射方向与拍摄部12的视线方向D1相同，即，相对于作为被拍摄体的稻体R1成为顺光的角度。在被拍摄体是如稻体那样有高度的立体物的情况下，若以顺光的角度照射太阳光S，则在稻体R1的左侧面反射太阳光S，所以拍摄部12的受光量变大。
与此相对，在拍摄区域的中央，拍摄部12的视线方向D2为正下方，所以太阳光的入射角度与拍摄部12的视线方向D2不同。由于稻体R2位于航拍图像获取装置1A的正下方，所以拍摄部12接受被稻体R2的上面反射的太阳光S，但受光量与稻体R1的情况相比减少。
并且，针对拍摄区域的左端，太阳光S的入射方向与拍摄部12的视线方向D3不同，从自作为被拍摄体的稻体R3的背后入射的逆光的角度入射。因此，拍摄部12的受光量在拍摄区域内最少。
像这样，在拍摄区域内，向被拍摄体的视线方向不同，所以认为在航拍图像内明亮度的分布变化，即，产生亮度不均。对于航拍图像内的各像素的明亮度而言，越接近最亮的点(图5中的稻体R1)则越亮，越远离最亮的点则越暗。
此处，航拍图像内的各像素的亮度值能够使用拍摄信息、即(1)拍摄位置信息、(2)太阳位置信息、(3)图像方位信息、(4)天气信息来修正。
(1)拍摄位置信息
航拍图像内的各像素的亮度值受到拍摄位置信息的影响。拍摄位置信息包括航拍图像获取装置1A存在的位置的纬度经度信息以及拍摄高度信息。
纬度经度信息是如后述那样在太阳位置信息的计算中所使用的信息，拍摄高度信息是在修正数据的计算中所使用的信息。
(2)太阳位置信息
航拍图像内的各像素的亮度值受到太阳位置信息的影响。太阳位置信息包括太阳方位信息以及太阳高度信息。
由于太阳方位不同，所以最亮的点相对于航拍图像获取装置1A存在的方位不同。因此，图像内的明亮度的分布取决于太阳方位而变动。
另外，虽然之后进行详细叙述，但太阳高度越低，则从航拍图像获取装置1A观察，最亮的点越远离航拍图像获取装置1A的正下方的点。由于航拍图像内的各像素的亮度取决于距最亮的点的距离，所以航拍图像内的亮度值根据太阳高度而变动。
此外，太阳位置信息能够通过日期、时刻、上述的纬度经度信息来确定。
(3)图像方位信息
图像方位信息是表示航拍图像内的各像素从图像中心来看位于哪个方位的信息。
参照图6进行说明。设太阳相对于图像中心O位于西南的方位。因此，亮度最高的点(第一基准点；以下，记为明亮基准点P)相对于图像中心O存在于东北的方位。
对由相同的航拍图像获取装置1A拍摄到的两张航拍图像、航拍图像i1以及航拍图像i2进行研究。航拍图像获取装置1A以从航拍图像i1的拍摄时相对于地表面旋转90度的朝向(拍摄部12的相机相对于地表面旋转90度的朝向)拍摄航拍图像i2。
如上述那样，对于航拍图像内的各像素的亮度值而言，越接近明亮基准点P则越亮，所以在图6的情况下，越是航拍图像内的东北侧的像素，则亮度值越高。因此，航拍图像i1内的像素在顶点4附近最亮，航拍图像i2内的像素在顶点3附近最亮。因此，由于航拍图像内的各像素的亮度值由与明亮基准点P的相对的位置关系决定，所以可知即使是同一坐标上的像素，根据航拍图像获取装置1A相对于地表面的朝向(拍摄方向)，亮度值也不同，伴随于此，航拍图像整体的明亮度的分布(亮度不均)也变动。
因此，为了计算航拍图像内的亮度不均的值，除了太阳方位信息之外，还需要获得表示航拍图像内的各像素相对于特定的坐标(第二基准点；此处为图像中心O)位于哪个方位的图像方位信息。
例如，在图6的例子中，由于航拍图像i1上的关注像素n相对于图像中心O位于东的方位，所以关注像素n的图像方位信息为“东”。与此相对，由于航拍图像i2上的关注像素n相对于图像中心O位于北的方位，所以关注像素n的图像方位信息为“北”。
能够像这样通过各像素保持的图像方位信息和上述的太阳方位信息的合计来决定航拍图像内的亮度不均。此外，如果清楚航拍图像获取装置1A的拍摄方向，则唯一地求出各像素的图像方位信息。
(4)天气信息
航拍图像内的各像素的亮度值受到天气信息的影响。天气信息是指示是晴天还是阴天的信息。
虽然之后进行详细叙述，但在阴天时(在整个上空，云均匀地分布的状况)，与晴天时相比，到达地上的太阳光整体减少。图4B表示在阴天时拍摄到的航拍图像ic的一个例子。即使航拍图像ic是拍摄与图4B中的晴天时所拍摄到的航拍图像is相同的田地所得的图像，对于航拍图像内的各像素的亮度值而言，与晴天时相比，阴天时较小。即，航拍图像整体中的亮度的绝对值根据天气而变动。
如以上说明那样，在本实施方式中，考虑上述(1)～(4)这四个要素来进行航拍图像内的亮度不均以及亮度的绝对值的修正。
＜航拍图像的亮度不均的修正方法＞
以下，对在生长调查图像创建系统100中修正上述说明的航拍图像内的亮度不均的方法进行说明。
如上述那样，在太阳光的入射角度和拍摄部12的视线方向一致的情况下，亮度最高。因此，在本实施方式的生长调查图像创建系统100中，基于距明亮基准点P的距离来修正航拍图像内的各像素的亮度值。
图7表示亮度值的修正值的计算方法。
如以下所示，修正值的计算方法包括(1)明亮基准点的坐标的计算、(2)各像素的坐标的计算、(3)修正数据的导出、(4)修正值的运算这四个工序。
(1)明亮基准点的坐标的计算
图7A以及图7B是明亮基准点P的坐标的计算方法的说明图。
首先，计算明亮基准点P距图像中心O的距离D[pix]。如图7A所示，设太阳光S的入射角为θsun，拍摄部12的视角为θfov，水平像素数为w[pix]。此外，从图可知，水平像素数是根据拍摄高度信息而变动的值。
明亮基准点P被规定为拍摄部12的视线方向变为与太阳光S的入射角θsun相同的角度的地表面上的一点。因此，明亮基准点P距图像中心O(航拍图像获取装置1A的正下方)的距离D通过下述的式(1)来求出。
D＝(tanθsun/tanθfov/2)*w/2…(1)
接着，计算明亮基准点P的坐标。图7B是从上空观察地表面的图。如图所示，以图像中心O为原点来规定X轴方向、Y轴方向，将明亮基准点P的坐标设置为(xp，yp)。
明亮基准点P距X轴方向、Y轴方向的距离Dx[pix]、Dy[pix]分别通过下述的式(2)来求出。
Dx＝Dcosθp…(2-1)
Dy＝Dsinθp…(2-2)
若将距离Dx、Dy分别换算成坐标，则求出明亮基准点P的坐标(xp，yp)。
(2)各像素距明亮基准点的距离的计算
各像素的亮度值根据距明亮基准点P的距离而变动。因此，为了计算亮度值的修正值，需要求出各像素距明亮基准点P的距离。
图7C是各像素距明亮基准点P的距离的计算方法的说明图。与图7B同样地，以图像中心O为原点来规定X轴方向、Y轴方向，将关注像素C的坐标设置为(xc，yc)。
关注像素C距明亮基准点P的距离dc[pix]通过下述的式(3)来求出。
(3)修正数据的导出
使用上述说明的各像素距明亮基准点P的距离d，通过下述的式(4)来求出各像素的亮度值的修正数据v(x，y)。
v(x，y)＝Kexp(-αd)*W+β…(4)
即，上述的式(4)示出修正数据v(x，y)取决于各像素距明亮基准点P的距离d。
此处，W是用于根据天气对修正数据v(x，y)进行乘法运算或者除法运算的天气参数(系数)，β是用于根据太阳高度信息对修正数据v(x，y)进行加法运算或者减法运算的偏移值。
此外，α是与太阳高度对应的参数，K是根据实际数据计算出的常量。
此处，对与太阳高度信息对应的修正进行说明。
如图8A所示，在照射太阳光Sa的情况下，明亮基准点P1的坐标与稻体R1的位置重叠。在照射太阳方位相同且太阳高度比其较低的太阳光S2的情况下，与太阳光Sb的入射角平行的拍摄部12的视线方向向图中的右侧偏移，明亮基准点P2与稻体R4的位置重叠。即，太阳高度越低，明亮基准点成为越远离航拍图像获取装置1A的正下方的位置。
图8B是从上空观察地表面的图。如图所示，以图像中心O为原点来规定X轴方向、Y轴方向，将明亮基准点P1的坐标设置为(xp，yp)。将航拍图像i内的关注像素a以及b距图像中心O的距离分别设为da以及db。
在图8C的曲线图中，横轴表示距图像中心O的距离D，纵轴表示亮度值L。在照射太阳光Sa的情况下和照射太阳光Sb的情况下，关注像素a以及b距明亮基准点的距离不同，所以亮度值也不同。因此，能够通过对照射太阳光Sa的情况下的亮度值L减去规定的值(β)，来设为照射太阳光Sb的情况下的亮度值L。
与此时进行的减法相当的值是上述的偏移值β。
接下来，对与天气对应的修正进行说明。
图9表示相同的太阳位置的情况下的、晴天时以及阴天时(在整个上空，云均匀地分布的状况)的亮度值的比较。
图9A是从上空观察地表面的图。如图所示，以图像中心O为原点来规定X轴方向、Y轴方向，将明亮基准点P的坐标设置为(xp，yp)。将航拍图像i内的关注像素a以及b距图像中心O的距离分别设为da以及db。
在图9B的曲线图中，横轴表示距图像中心O的距离D，纵轴表示亮度值L。即使太阳的方位以及高度相同，晴天时与阴天时相比，亮度值L也较高，所以明亮度在同一像素间不同。因此，能够通过对晴天时的亮度值L除以规定的值(W)，来设为阴天时的亮度值L。
与此时进行的除法相当的值是上述的系数W。
(4)修正值的运算
使用如上述说明那样求出的修正数据v(x，y)来进行运算，针对各像素运算亮度值L的修正值。
如上述那样，若在图7C中将图像中心O的坐标设置为(0，0)、将关注像素C的坐标设置为(xc，yc)，则图像中心O以及关注像素C中的修正式分别由v(0，0)、v(xc，yc)表示。
以此为基础，对关注像素C中的亮度值L的修正值Lnew进行运算。亮度值Lnew通过下述的式(5)来求出。
Lnew＝L*v(xc，yc)/v(0，0)…(5)
即，通过使图像中心O的修正数据与关注像素C的修正数据的差分作为系数反映至关注像素C的亮度值L，来获得修正值Lnew。
通过针对航拍图像内的全部像素进行上述的运算，来获得消除了亮度不均的航拍图像。
＜生长调查图像创建系统100的动作＞
以下，对在生长调查图像创建系统100中，对上述说明的航拍图像内产生的亮度不均进行修正，生成映现出整个田地的生长调查图像的动作进行说明。
图10表示图像处理装置2A中的生长调查图像创建处理的流程图。通过控制部21和存储部25中存储的程序的配合来执行图10所示的生长调查图像创建处理。
首先，若通过通信I/F24从航拍图像获取装置1A输入以覆盖整体田地的方式拍摄到的多张航拍图像(步骤S1)，则执行航拍图像的修正处理(步骤S2)。此外，针对输入到图像处理装置2A的多张航拍图像的每一张执行航拍图像的修正处理。
图11表示步骤S2中的处理的详细流程。通过控制部21和存储部25中存储的程序的配合来执行步骤S2的处理。
航拍图像的修正处理具有拍摄位置信息的获取(步骤S21)、太阳位置信息的获取(步骤S22)、图像方位信息的获取(步骤S23)、天气信息的获取(步骤S24)的工序，基于这些信息来执行修正值的计算(步骤S25)。
在步骤S21中，控制部21获取航拍图像获取装置1A存在的地点的纬度经度信息以及拍摄高度信息，作为拍摄位置信息。
详细而言，控制部21通过通信I/F24从航拍图像获取装置1A获取在航拍图像拍摄时由定位部14计测到的三维定位信息。由于航拍图像获取装置1A拍摄正下方的区域，所以此处得到的纬度以及经度能够视为航拍图像的图像中心(航拍图像获取装置1A的正下方的地点)的纬度以及经度。另外，拍摄高度信息是航拍图像获取装置1A距正下方的地点的高度。
在步骤S22中，进行太阳位置信息的获取。
图12表示步骤S22中的处理的详细流程。通过控制部21和存储部25中存储的程序的配合来执行步骤S22的处理。
在步骤S22中，首先，控制部21获取日期以及时刻信息(步骤S221)。日期以及时刻信息可以参照图像处理装置2A管理的系统时刻，也可以由用户经由操作部22输入日期以及时刻。
接下来，控制部21基于在步骤S221中获取到的信息以及纬度经度信息，计算太阳高度以及太阳方位(步骤S222)。此处得到的太阳高度以及太阳方位是从航拍图像的图像中心观察的高度。
如以上那样来获得太阳位置信息(太阳高度信息以及太阳方位信息)。
在步骤S23中，进行图像方位信息的获取。
图13表示步骤S23中的处理的详细流程。通过控制部21和存储部25中存储的程序的配合来执行步骤S23的处理。
在步骤S23中，首先，控制部21获取拍摄方向信息(步骤S231)。拍摄方向信息是上述的航拍图像拍摄时的航拍图像获取装置1A相对于地表面的朝向(拍摄方向)。控制部21通过通信I/F24获取定位部14计测到的基于GPS的三维定位信息、基于陀螺仪传感器的倾斜信息等，并基于这些来获得拍摄方向信息。
接下来，控制部21进行各像素的方位的运算(步骤S232)。若如上述那样确定拍摄方向信息，则通过与利用步骤S22获取到的太阳方位信息的合计，唯一地确定相对于图像中心的各像素的方位。
如以上那样获得图像方位信息。
在步骤S24中，进行天气信息的获取。通过使用户经由操作部22输入符合晴天或者阴天的哪个，来获取天气信息。
在步骤S25中，进行修正值的计算。
图14表示步骤S25中的处理的详细流程。通过控制部21和存储部25中存储的程序的配合来执行步骤S25的处理。
在步骤S25中，控制部21进行明亮基准点的坐标的计算(步骤S251)，接下来，进行各像素距明亮基准点的距离的计算(步骤S252)。此处，坐标可以如上述那样以图像中心为基准来计算，也可以以航拍图像内的任意的点为基准来计算。在本实施方式中，以图像中心为基准。
接着，控制部21导出修正数据(步骤S253)。此处，控制部21基于在步骤S22中求出的太阳位置信息来计算偏移值，另外，基于在步骤S24中求出的天气信息来计算天气参数W，基于这些来导出修正数据。
接下来，控制部21基于修正数据来运算各像素的修正值(步骤S254)。
如以上那样计算修正值。
如果如以上那样，针对全部航拍图像，航拍图像的修正处理完成，则移至图10的步骤S3，控制部21组合全部航拍图像。此处，基于各航拍图像的拍摄时的航拍图像获取装置1A的三维定位信息等，进行以成为连续的图像的方式进行组合的作业。
以上，生长调查图像创建处理完成，消除了亮度的偏差的田地整体的生长调查图像完成。
＜生长调查图像创建系统100的效果＞
参照图15，对本发明的效果进行说明。
在图15的曲线图中，横轴表示以图像中心为基准的坐标，纵轴表示像素值，示出连结明亮基准点和图像中心的直线状的图像区域内像素值。
如曲线图所示，越是远离图像中心且越是接近明亮基准点的坐标，则越增大修正数据。
结果可知：通过修正，接近明亮基准点的像素的亮度下降，作为航拍图像整体，具有均匀的亮度。
[其它实施方式]
以上，基于本发明所涉及的实施方式具体地进行了说明，但上述的实施方式是本发明的优选的一个例子，并不局限于此。
例如，在上述实施方式中，将天气参数设为用于对修正数据进行乘法运算或者除法运算的系数，但并不局限于此，也可以设为用于进行加法运算或者减法运算的偏移值。同样地，将与太阳高度有关的参数设为用于对修正数据进行加法运算或者减法运算的偏移值，但也可以设为用于进行乘法运算或者除法运算的系数。除此以外，也可以对在上述实施方式中使用的式子适当地加以变更，以适合修正数据的计算。
另外，使用具有与天气参数以及太阳高度有关的偏移值等的式子来计算修正数据，但并不局限于此，也可以使用将太阳位置或天气与亮度不均之间的关系预先表格化后的数据来计算。
另外，在上述实施方式中，对搭载单个数码相机作为拍摄部的情况进行了说明，但能够通过搭载可见光拍摄用以及近红外光拍摄用这两种数码相机来计算NDVI，并利用于生长调查。
另外，在上述实施方式中，设为以航拍图像获取装置1A的高度在拍摄中变化为前提，将拍摄高度信息使用于修正数据的计算的情况来进行了说明，但在拍摄时将航拍图像获取装置1A的高度固定的情况下，拍摄高度信息不会给修正数据的计算带来影响。即，由于上述的式(1)中的w的值在全部航拍图像中共同，所以不需要针对每个航拍图像计算上述的式(1)，能够使处理简单。
另外，在上述实施方式中，对以航拍图像获取装置1A的拍摄方向按照每个航拍图像不同为前提，在计算修正值时获取图像方位信息的例子进行了说明，但在将拍摄方向固定的情况下，不需要获得图像方位信息。即，此时各像素相对于明亮基准点的相对的位置关系在全部航拍图像中共同，所以能够使处理简单。
此外，关于构成生长调查图像创建系统100的各装置的详细构成以及详细动作，也能够在不脱离发明的主旨的范围中适当地变更。
产业上的可利用性
本发明能够利用于图像处理装置、生长调查图像创建系统以及程序。
附图标记说明：1A…航拍图像获取装置(拍摄装置)；11…控制部；12…拍摄部；13…飞行部；14…定位部；15…通信I/F；16…存储部；17…总线；2A…图像处理装置；21…控制部(修正值计算单元、修正单元、太阳位置计算单元、图像方位计算单元)；22…操作部；23…显示部；24…通信I/F(输入单元)；25…存储部；26…总线；100…生长调查图像创建系统；P…明亮基准点(第一基准点)；O…图像中心(第二基准点)。

Claims (10)

1.一种图像处理装置，具备：
输入单元，输入使用拍摄装置拍摄到的田地内的植物的航拍图像；
修正值计算单元，使用拍摄所述航拍图像时的拍摄信息来计算所述航拍图像内的各像素的亮度值的修正值；以及
修正单元，使用所述修正值来修正所述航拍图像内的各像素的亮度值，
所述拍摄信息包括拍摄位置信息以及太阳位置信息，
所述拍摄位置信息包括所述拍摄装置存在的纬度经度信息，
所述太阳位置信息包括太阳方位信息以及太阳高度信息。
2.根据权利要求1所述的图像处理装置，其中，
所述拍摄信息包括天气信息。
3.根据权利要求1或者2所述的图像处理装置，其中，
所述修正值计算单元相对于所述拍摄位置信息而言将亮度最高的点作为第一基准点，根据所述航拍图像内的各像素距所述第一基准点的距离来计算所述修正值。
4.根据权利要求1～3中的任意一项所述的图像处理装置，其中，
所述图像处理装置具备太阳位置计算单元，所述太阳位置计算单元基于拍摄时的日期、时刻以及所述纬度经度信息来计算所述太阳位置信息。
5.根据权利要求1～4中的任意一项所述的图像处理装置，其中，
所述拍摄信息包括图像方位信息，所述图像方位信息是相对于所述航拍图像内的第二基准点的各像素的方位信息，
所述图像处理装置具备图像方位计算单元，所述图像方位计算单元基于相对于地表面的所述拍摄装置的拍摄方向来计算所述图像方位信息。
6.根据权利要求1～5中的任意一项所述的图像处理装置，其中，
所述拍摄位置信息包括所述拍摄装置存在的拍摄高度信息。
7.根据权利要求1～6中的任意一项所述的图像处理装置，其中，
使用用于对所述航拍图像的各像素的亮度值进行乘法运算或者除法运算的系数来计算所述修正值。
8.根据权利要求1～7中的任意一项所述的图像处理装置，其中，
使用用于对所述航拍图像的各像素的亮度值进行加法运算或者减法运算的偏移值来计算所述修正值。
9.一种生长调查图像创建系统，具备：
获取田地内的植物的航拍图像的拍摄装置；以及
权利要求1～8中的任意一项所述的图像处理装置。
10.一种程序，用于使图像处理装置的计算机作为以下单元发挥作用：
输入单元，输入使用拍摄装置拍摄到的田地内的植物的航拍图像；
修正值计算单元，使用拍摄所述航拍图像时的拍摄信息来计算所述航拍图像内的各像素的亮度值的修正值；以及
修正单元，使用所述修正值来修正所述航拍图像内的各像素的亮度值。
CN201880021148.XA 2017-03-28 2018-03-23 图像处理装置、生长调查图像创建系统以及程序 Pending CN110537197A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-062952 2017-03-28
JP2017062952 2017-03-28
PCT/JP2018/011602 WO2018180954A1 (ja) 2017-03-28 2018-03-23 画像処理装置、生育調査画像作成システム及びプログラム

Publications (1)

Publication Number Publication Date
CN110537197A true CN110537197A (zh) 2019-12-03

Family

ID=63677030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021148.XA Pending CN110537197A (zh) 2017-03-28 2018-03-23 图像处理装置、生长调查图像创建系统以及程序

Country Status (3)

Country Link
JP (1) JP7074126B2 (zh)
CN (1) CN110537197A (zh)
WO (1) WO2018180954A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6887142B2 (ja) * 2018-10-12 2021-06-16 株式会社ナイルワークス 圃場画像分析方法
JP7075127B2 (ja) * 2019-02-22 2022-05-25 株式会社ナイルワークス 圃場分析方法、圃場分析プログラム、圃場分析装置、ドローンシステムおよびドローン
WO2020179276A1 (ja) * 2019-03-01 2020-09-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7313906B2 (ja) * 2019-05-28 2023-07-25 キヤノン株式会社 画像処理方法、画像処理装置、撮像システム、および、プログラム
KR102383631B1 (ko) * 2020-03-12 2022-04-07 한국도로공사 차량 영상 촬영장치
KR102138019B1 (ko) * 2020-04-01 2020-07-27 건아정보기술 주식회사 반사광 제거를 위한 전자편광필터 제어기술이 적용된 차량검지기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266162A (ja) * 2000-03-22 2001-09-28 Toshiba Corp 衛星画像処理装置
JP2003339238A (ja) * 2002-05-28 2003-12-02 Satake Corp 作物の生育診断方法及びその装置
CN1536427A (zh) * 2003-03-25 2004-10-13 精工爱普生株式会社 图像处理系统，投影机以及图像处理方法
CN102422632A (zh) * 2010-04-23 2012-04-18 松下电器产业株式会社 摄像装置以及图像复原方法
CN104637370A (zh) * 2014-12-23 2015-05-20 河南城建学院 一种摄影测量与遥感综合教学的方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5020444B2 (ja) 2001-06-29 2012-09-05 独立行政法人農業・食品産業技術総合研究機構 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
JP4819735B2 (ja) * 2007-03-30 2011-11-24 株式会社パスコ ラインセンサ観測画像の色補正方法
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム，その方法，産業用ヘリコプタ，サーバ，可変施肥機

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266162A (ja) * 2000-03-22 2001-09-28 Toshiba Corp 衛星画像処理装置
JP2003339238A (ja) * 2002-05-28 2003-12-02 Satake Corp 作物の生育診断方法及びその装置
CN1536427A (zh) * 2003-03-25 2004-10-13 精工爱普生株式会社 图像处理系统，投影机以及图像处理方法
CN102422632A (zh) * 2010-04-23 2012-04-18 松下电器产业株式会社 摄像装置以及图像复原方法
CN104637370A (zh) * 2014-12-23 2015-05-20 河南城建学院 一种摄影测量与遥感综合教学的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谷崎文啓等: "《通过亮度值转换方法识别多时期兰德萨特图像》", 《电子情报通信学会技术研究报告》 *

Also Published As

Publication number Publication date
JP7074126B2 (ja) 2022-05-24
JPWO2018180954A1 (ja) 2020-02-06
WO2018180954A1 (ja) 2018-10-04

Similar Documents

Publication Publication Date Title
CN110537197A (zh) 图像处理装置、生长调查图像创建系统以及程序
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN106774431B (zh) 一种测绘无人机航线规划方法及装置
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
CN106647804B (zh) 一种自动巡检方法及系统
US9013576B2 (en) Aerial photograph image pickup method and aerial photograph image pickup apparatus
WO2017080108A1 (zh) 飞行装置、飞行控制系统及方法
US20220237738A1 (en) Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
WO2020103108A1 (zh) 一种语义生成方法、设备、飞行器及存储介质
CN112113542A (zh) 一种无人机航摄建设用地土地专项数据验收的方法
KR20200064542A (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
CN113340277B (zh) 一种基于无人机倾斜摄影的高精度定位方法
US9418430B2 (en) Method and apparatus for establishing a north reference for inertial measurement units using scene correlation
JPWO2019044244A1 (ja) 作物栽培支援装置
CN105243653A (zh) 一种基于动态匹配的无人机遥感影像快速拼接技术
CN114442665A (zh) 基于无人机的风电叶片巡检线路规划方法
CN112197766A (zh) 一种针对系留旋翼平台的视觉测姿装置
CN111307140A (zh) 一种用于多云天气条件下的大气偏振光定向方法
JP2019046149A (ja) 作物栽培支援装置
CN109146936B (zh) 一种图像匹配方法、装置、定位方法及系统
CN110823187A (zh) 一种基于航拍测量待测面积的控制方法及装置
US10412372B2 (en) Dynamic baseline depth imaging using multiple drones
CN108303117A (zh) 一种基于后方交会测量的云镜摄系统参数测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191203

WD01 Invention patent application deemed withdrawn after publication