CN110100149B - 勘测标记、图像处理装置、图像处理方法和程序 - Google Patents

勘测标记、图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN110100149B
CN110100149B CN201780079293.9A CN201780079293A CN110100149B CN 110100149 B CN110100149 B CN 110100149B CN 201780079293 A CN201780079293 A CN 201780079293A CN 110100149 B CN110100149 B CN 110100149B
Authority
CN
China
Prior art keywords
survey mark
circles
survey
circle
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780079293.9A
Other languages
English (en)
Other versions
CN110100149A (zh
Inventor
真子创志
村越象
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110100149A publication Critical patent/CN110100149A/zh
Application granted granted Critical
Publication of CN110100149B publication Critical patent/CN110100149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02Means for marking measuring points
    • G01C15/06Surveyors' staffs; Movable markers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Abstract

本发明涉及一种勘测标记、图像处理装置、图像处理方法和程序,其使得能够在勘测标记已经被拍摄的拍摄图像中准确地检测到勘测标记。勘测标记具有平坦形状,在该平面形状内设置有多个同心圆,使得相邻的圆具有不同颜色。候选区域提取单元从勘测标记已经被拍摄的拍摄图像中提取候选区域,该候选区域是其中示出勘测标记的区域的候选,并且特征值提取单元提取候选区域的特征值。识别单元基于特征值来识别勘测标记。可以例如当在空中拍摄的图像中检测设置在地面上的勘测标记时使用本技术。

Description

勘测标记、图像处理装置、图像处理方法和程序
技术领域
本技术涉及一种勘测标记、图像处理装置、图像处理方法和程序,尤其涉及一种能够例如从通过对勘测标记进行图像捕获而获得的捕获图像中准确地检测到勘测标记的勘测标记、图像处理装置、图像处理方法和程序。
背景技术
例如,已经提出了如下技术:设置勘测标记并且捕获勘测标记的图像,并且基于在其处设置通过图像捕获获得的捕获图像中出现的勘测标记的控制点来创建三维模型,从而容易地执行真实空间内的建筑物等的测量(例如,参见专利文献1)。
引用列表
专利文献
专利文献1:日本专利申请公开No.2005-140550
发明内容
技术问题
当捕获到勘测标记的图像并且通过使用通过对勘测标记进行图像捕获获得的捕获图像执行建筑物、土壤量等的测量时,请求从捕获图像准确地检测勘测标记。
本技术是鉴于如上所述的情况而做出的,并且使得能够从通过对勘测标记进行图像捕获获得的捕获图像准确地检测勘测标记。
问题的解决方案
本技术的图像处理装置或程序是如下图像处理装置或程序,图像处理装置包括:候选区域提取单元,其从对勘测标记进行图像捕获而获得的捕获图像中提取候选区域,该候选区域是出现勘测标记的区域的候选,该勘测标记具有平面形状并且包括同心设置的多个圆,该多个圆包括各自具有不同亮度或色调的相邻圆;特征量提取单元,其提取候选区域的特征量;以及辨别单元,其基于特征量来辨别勘测标记,程序用于使计算机用作如上所述的图像处理装置。
本技术的图像处理方法是如下图像处理方法,其包括:从对勘测标记进行图像捕获而获得的捕获图像中提取候选区域,该候选区域是出现勘测标记的区域的候选,该勘测标记具有平面形状并包括同心设置的多个圆,该多个圆包括各自具有不同的亮度或色调的相邻圆;提取候选区域的特征量;以及根据特征量辨别勘测标记。
在本技术的图像处理装置、图像处理方法和程序中,从对勘测标记进行图像捕获而获得的捕获图像中提取候选区域,该候选区域是出现勘测标记的区域的候选,该勘测标记具有平面形状并包括同心设置的多个圆,该多个圆包括各自具有不同的亮度或色调的相邻圆。提取候选区域的特征量。然后基于特征量辨别勘测标记。
本技术的勘测标记是具有平面形状并且包括同心设置且各自具有不同半径的多个圆的勘测标记,该多个圆包括各自具有不同亮度或色调的相邻圆。
在本技术的勘测标记中,平面形状是包括同心设置且各自具有不同半径的多个圆的形状,并且多个圆形包括各自具有不同亮度或色调的相邻圆。
注意,图像处理装置可以是独立装置或形成单个装置的内部块。
此外,图像处理装置的组成元件可以分布并集成在多个装置中。
此外,可以通过传输介质的传输或通过在记录介质上记录来提供程序。
发明的有益效果
根据本技术,可以从对勘测标记进行图像捕获而获得的捕获图像中准确地检测勘测标记。
注意,本文公开的效果不一定是限制性的,并且可以是本公开中描述的任何效果。
附图说明
[图1]图1是用于描述应用本技术的土壤量测量系统的实施方式的一般概要的图。
[图2]图2是用于描述在土壤量测量系统中执行的土壤量测量的工作流程的示例的流程图。
[图3]图3是示出勘测标记10的第一示例的平面图。
[图4]图4是示出勘测标记10的第二示例的平面图。
[图5]图5是示出勘测标记10的第三示例的平面图。
[图6]图6是示出作为勘测标记10的第二多圆型标记的示例的透视图。
[图7]图7是用于描述勘测标记10的颜色的图。
[图8]图8是用于描述两种预定颜色之间存在/不存在颜色混合的发生的图。
[图9]图9是示出作为云服务器30的计算机的硬件配置示例的框图。
[图10]图10是示出用作图像处理装置(检测装置)的云服务器30的功能配置示例的框图。
[图11]图11是用于描述检测勘测标记10的检测处理的示例的流程图。
[图12]图12是用于描述对捕获图像的每个像素进行二值化的详细处理的示例的流程图。
[图13]图13是示出勘测标记10的(圆11和圆12的)模板图像的示例的图。
[图14]图14是示出强调提供给候选区域和模板图像中的每个中的圆11和圆12的颜色的滤波器的示例的图。
[图15]图15是用于描述提取各个圆11和圆12的色调之间的距离DF作为特征量的处理的示例的流程图。
[图16]图16是示出无人机20的配置示例的框图。
[图17]图17是用于描述应用本技术的土壤量测量系统的另一实施方式的一般概要的图。
[图18]图18是示出多圆型标记的勘测标记10的第一修改例的平面图。
[图19]图19是示出多圆型标记的勘测标记10的第二修改例的透视图。
[图20]图20是示出多圆型标记的勘测标记10的第三修改例的透视图。
[图21]图21是示出多圆型标记的勘测标记10的第四修改例的透视图。
[图22]图22是示出多圆型标记的勘测标记10的第五修改例的透视图。
[图23]图23是示出多圆型标记的勘测标记10的第六修改例的透视图。
[图24]图24是示出多圆型标记的勘测标记10的第七修改例的透视图。
[图25]图25是示出多圆型标记的勘测标记10的第八修改例的透视图。
[图26]图26是示出多圆型标记的勘测标记10的第九修改例的透视图。
[图27]图27是示出多圆型标记的勘测标记10的第十修改例的透视图。
[图28]图28是示出多圆型标记的勘测标记10的第十一修改例的透视图。
[图29]图29是示出多圆型标记的勘测标记10的第十二修改例的平面图。
[图30]图30是示出多圆型标记的勘测标记10的第十三修改例的透视图。
[图31]图31是示出HLS颜色空间的图。
[图32]图32是用于描述通过使用亮度来检测勘测标记10的一般概要的图。
[图33]图33是用于描述在勘测标记10包括圆11至圆13的情况下通过使用亮度来检测勘测标记10的一般概要的图。
[图34]图34是用于描述检测处理的另一示例的流程图。
[图35]图35是用于描述在步骤S131-1中执行的对捕获图像的每个像素进行二值化的详细处理的示例的流程图。
[图36]图36是用于描述在步骤S132中执行的特征量提取处理中提取各个圆11和圆12的亮度之间的距离作为特征量的处理的示例的流程图。
具体实施方式
<应用本技术的土壤量测量系统的实施方式>
图1是用于描述应用本技术的土壤量测量系统的实施方式的一般概要的图。
在图1的土壤量测量系统中,执行使用UAV(无人驾驶飞行器)的土壤量测量。
在图1中,勘测标记10设置在地面上。勘测标记10可以手动设置或者可以通过从无人飞机(例如,无人机)或飞行器(例如,由人操作的飞机)分发来设置。此外,可以通过将勘测标记10设置在无人机的背面来使勘测标记10自身移动。
在空中捕获勘测标记10的图像。在图1中,使得配备有相机21的无人机20飞行以使用安装至无人机20的相机21捕获勘测标记10的图像(空中捕获勘测标记10的图像)。
通过使用相机21对勘测标记10进行图像捕获获得的捕获图像(例如,静止图像)通过无线通信或有线通信被发送至例如云服务器30。
云服务器30对来自相机21的捕获图像执行图像处理,从而检测出现在捕获图像中的勘测标记10。此外,云服务器30通过使用勘测标记10的检测结果来创建地面的地形的三维模型,根据三维模型执行地面的地形等的土壤量测量,并输出土壤量测量的测量结果。
注意,上述由云服务器30执行的处理可以由无人机20执行,而不是由云服务器30执行。此外,上述由云服务器30执行的处理可以在无人机20和云服务器30之间共享。
此外,空中捕获勘测标记10的图像的方法不限于使用无人机20的方法。换句话说,勘测标记10的空中图像捕获除了通过使用诸如无人机20的无人飞行器的方法执行之外,还可以通过使用例如人骑乘以驾驶它的飞行器或人造卫星执行。
此外,对于勘测标记10,可以采用其上印有预定图形的纸张、塑料等。此外,对于勘测标记10,可以采用具有预定形状的塑料、橡胶等的板状材料的叠层。此外,对于勘测标记10,可以采用显示预定图形的诸如LCD(液晶显示器)或有机EL(电致发光)显示器的显示面板。另外,对于勘测标记10,也可以采用张开和展开的诸如反射板的构件。
图2是用于描述在图1的土壤量测量系统中执行的土壤量测量的工作流程的示例的流程图。
在步骤S11中,例如,执行土壤量测量的管理者进行土壤量测量的提前计划。在提前计划中,执行无人机20的飞行路线的确定、将要设置勘测标记10的控制点的(待定位置)的确定等。
在步骤S12中,根据提前计划,将勘测标记10设置在例如以几百米的间隔设置的控制点处。例如,可以手动或使用可移动机器人来执行勘测标记10的设置。此外,勘测标记10本身可以是可移动机器人。
在步骤S13中,测量设置每个勘测标记10的控制点的水平位置(纬度和经度)和海拔。
在步骤S14中,根据提前计划,使无人机20飞行以空中捕获勘测标记10的图像,即使用安装至无人机20的相机21捕获其上设置有勘测标记10的地面(作为土壤量测量目标的预定地表范围)的图像。
在勘测标记10的空中图像捕获中,捕获一个或更多个捕获图像作为捕获图像数据。此外,执行勘测标记10的空中图像捕获,使得当出现在所有捕获图像中的图像捕获范围被收集在一起时,在图像捕获范围的收集中出现设置勘测标记10的整个范围。
此外,执行勘测标记10的空中图像捕获,使得出现在特定捕获图像中的图像捕获范围和出现在另一捕获图像中的图像捕获范围彼此部分交叠。
在步骤S15中,检索设置在地面上的勘测标记10,并且将使用相机21对勘测标记10进行图像捕获而获得的捕获图像数据上传(发送)到云服务器30。
在步骤S16中,云服务器30执行检测处理,该检测处理从使用相机21捕获的捕获图像中检测出现在捕获图像中的勘测标记10(的图像)。
在步骤S17中,云服务器30通过使用在步骤S13中测量的控制点的水平位置和海拔以及在步骤S16中执行的检测处理中获得的勘测标记10的检测结果数据来执行生成地面的三维模型数据的处理。
在步骤S18中,云服务器30通过使用地面的三维模型数据来执行土壤量测量处理,并且执行输出土壤量测量的测量结果数据的处理。
<勘测标记10>
图3是示出勘测标记10的第一示例的平面图。
图3的勘测标记10是称为星型、X型和加(+)型的勘测标记。
在星型、X型和加型的勘测标记10中,不具有色调的白色和黑色被给予彼此相邻的两个区域。
这里,在设置在地面上的勘测标记10的空中图像捕获中,如果从尽可能高的位置执行勘测标记10的图像捕获,则可以捕获更宽范围的图像,并且可以减少捕获图像的数量。
当捕获图像的数量减少时,可以减小出现在特定捕获图像中的图像捕获范围和出现在另一捕获图像中的图像捕获范围的交叠范围、捕获图像被上传到云服务器30的时间、云服务器30处理捕获图像时引起的负荷等。
然而,当从一定高度捕获勘测标记10的图像时,出现在捕获图像中的勘测标记10(的图像)变小。
此外,在勘测标记10是具有白色和黑色的标记的情况下,例如星型、X型或加型的勘测标记,存在这样的可能性:在捕获图像中引起白色的扩展、黑色的收缩等,并且由地面土壤的黑色和由于雪覆盖而导致的雪的白色引起类似的图案。因此,用于从捕获图像检测勘测标记10的检测准确度可能降低。
此外,在星型、X型或加型的勘测标记10中,白色和黑色(设置有白色和黑色的区域)之间的边界线(的延长线)的交叉点被检测为勘测标记10的中心。因此,当发生白色的扩展和黑色的收缩时,用于检测勘测标记10的中心的检测准确度可能降低。
图4是示出勘测标记10的第二示例的平面图。
在图4的勘测标记10中,黑色的圆设置在白色的矩形内。
由于与图3的勘测标记10相比,图4的勘测标记10具有简单的配置,因此在捕获的图像中看起来像黑色圆的对象可能被错误地检测为勘测标记10。
这里,由于图4的勘测标记10具有单个圆,因此可以将其称为单圆型标记。
图5是示出勘测标记10的第三示例的平面图。
图5的勘测标记10是如下标记,每个标记具有平面形状并且包括同心设置的多个圆,每个圆具有不同的半径,并且多个圆中彼此相邻的圆各自具有不同的色调。
这里,平面形状表示当对象在平面图中呈现时在平面图中描绘的对象的形状。
图5的勘测标记10均具有多个圆,因此可以称为多圆型标记。
根据多圆型标记的勘测标记10(对于图4的单圆型标记也是如此),可以在不考虑在捕获图像中出现的勘测标记10的方向(旋转)的情况下检测勘测标记10,并且可以减轻用于检测勘测标记10的检测处理的云服务器30的负荷。此外,可以容易地检测勘测标记10的中心。
图5的A是示出作为勘测标记10的第一多圆型标记的示例的平面图。
图5的A中的勘测标记10具有平面形状,其中同心地设置有各自具有不同半径的三个圆11、12和13,并且设置有具有诸如正方形或矩形的形状并包括三个圆11至13的矩形框区域14。
在图5中,半径以圆11至13的顺序增加。
此外,在图5中,在圆11至13中,相邻的圆具有不同的色调。
换句话说,在图5中,具有最小半径的圆11的颜色是例如作为彩色(具有色调)之一的蓝色,并且具有第二小半径的圆12的颜色是例如作为彩色中的另一种的红色。此外,具有第三小(最大)半径的圆13的颜色是例如作为非彩色之一的黑色。
注意,在作为勘测标记10的多圆型标记中,相邻的圆仅需要具有不同的色调。因此,如果相邻的圆11和12具有不同的色调并且相邻的圆12和13具有不同的色调,则彼此不相邻的圆11和13可以具有相同的色调。
换句话说,例如,非彩色的黑色、彩色的红色和非彩色的黑色可以分别用作圆11至13的颜色。
框区域14可以由例如矩形纸张或塑料等制成。
在框区域14由矩形纸张或塑料等制成的情况下,勘测标记10可以通过例如在由纸张、塑料等制成的框区域14中印刷圆11至13来构成。
此外,圆11至13和框区域14可以由例如诸如塑料、橡胶等的板状材料制成。在这种情况下,勘测标记10可以通过将板状材料(圆11至13和框区域14)以框区域14和圆13、12和11的顺序从底部到顶部叠置来构成。
另外,勘测标记10可以包括例如诸如LCD或有机EL显示器的显示面板。当使显示面板显示圆11至13和框区域14时,可以使显示面板用作勘测标记10。
注意,勘测标记10的设置日期和其他注释可以在框区域14的其中排除了圆11至13的区域中进行描述。
图5的B是示出作为勘测标记10的第二多圆型标记的示例的平面图。
图5的B中的勘测标记10具有与图5的A中的多圆型标记相比未设置框区域14的配置。因此,图5的B中的勘测标记10具有其中各自具有不同半径的三个圆11、12和13同心地设置的配置。
图5的C是示出作为勘测标记10的第三多圆形标记的示例的平面图。
图5的C中的勘测标记10具有与图5的A中的多圆型标记相比未设置圆13和框区域14的配置。因此,图5的C中的勘测标记10具有其中各自具有不同半径的两个圆11和12同心地设置的配置。
图5的D是示出作为勘测标记10的第四多圆型标记的示例的平面图。
图5的D中的勘测标记10具有与图5的A中的多圆型标记相比未设置圆11和框区域14的配置。因此,图5的D中的勘测标记10具有其中各自具有不同半径的两个圆12和13同心地设置的配置。
注意,作为勘测标记10,可以采用其他配置,例如其中框区域14被设置于图5的C或D中的多圆型标记的配置和其中各自具有不同半径的四个或更多个圆同心地设置的配置。
图6是示出作为图5的B中的勘测标记10的第二多圆型标记的示例的透视图。
这里,第二多圆型标记具有包括圆11至13的平面形状,因此也称为三圆型标记。
作为图6中的勘测标记10的三圆型标记包括作为圆11的短柱状构件(下文中,也称为柱状构件11)、作为圆12的板状圆形构件(下文中,也称为圆形构件12)、以及作为圆13的板状圆形构件(下文中,也称为圆形构件13)。
换句话说,图6的勘测标记10通过将柱状构件11和圆形构件12和13以圆形构件13和12以及柱状构件11的顺序从底部到顶部叠置而构成。
柱状构件11可以由例如塑料(ABS树脂)制成。此外,柱状构件11可以配置成中空的并且可以集成:包括检测勘测标记10(上)的照度的照度传感器的照度检测装置、包括执行无线通信的天线和电路的通信装置、包括记录介质(例如,在其上由照度检测装置检测的信息按时间顺序被记录的半导体)的记录装置等(未示出)。注意,勘测标记10可以将这些照度检测装置和其他装置集成在勘测标记的一部分中,该部分不包括柱状构件11。此外,勘测标记10可以将除了照度传感器之外的另一传感器集成在柱状构件11或另一构件中,并且可以通过通信装置发送由传感器检测到的关于勘测标记的数据,或者可以通过记录装置记录数据。
例如,在使柱状构件11集成照度检测装置和通信装置的情况下,在勘测标记10中,由照度检测装置检测到的照度的信息可以由通信装置发送。
可以在云服务器30中接收从勘测标记10发送的照度等的信息,以在云服务器30中的处理中使用。
注意,在照度检测装置、通信装置等没有集成在柱状构件11中的情况下,柱状构件11可以构造成与圆形构件12或13中一样的板状和圆形。此外,要集成在柱状构件11中的装置出于充电等目的可以从柱状构件11中取出(拆卸)。
圆形构件12可以由例如诸如难以被紫外线褪色的橡胶的构件制成。当圆形构件12由难以被紫外线褪色的构件制成时,并且当提供给圆形构件12的颜色的色调用于检测勘测标记10时,可以抑制勘测标记10的检测准确度由于圆形构件12的褪色而降低。
圆形构件13可以由例如聚丙烯等的绝缘体制成。当圆形构件13由绝缘体制成时,可以防止圆形构件12、柱状构件11以及集成在柱状构件11中的通信装置等电连接至地(大地)。
这里,如稍后将描述的,为了(从捕获图像中提取候选区域作为勘测标记10的候选)识别勘测标记10,使用至少圆形构件12的颜色的色调。
在不包括圆形构件13而构成勘测标记10的情况下,当勘测标记10设置在地面上时,圆形构件12与地面接触。作为勘测标记10的设置位置的颜色,可以存在各种颜色。因此,取决于勘测标记10的设置位置的颜色,在捕获图像中圆形构件12的颜色和勘测标记10的设置位置的颜色之间出现很大程度的颜色混合,并且根据颜色混合的程度影响勘测标记10的辨别。
在这方面,当勘测标记10设置有圆形构件13时,可以防止发生圆形构件12的颜色与勘测标记10的设置位置的颜色之间的颜色混合。
注意,在这种情况下,圆形构件12和13的颜色之间的颜色混合影响勘测标记10的辨别。
然而,在没有圆形构件13而构成勘测标记10的情况下,圆形构件12的颜色与勘测标记10的设置位置的颜色之间的颜色混合程度根据勘测标记10的设置位置的颜色而变化。因此,圆形构件12的颜色与勘测标记10的设置位置的颜色之间的颜色混合影响勘测标记10的辨别的程度根据勘测标记10的设置位置的颜色而变化。
与此相比,在勘测标记10设置有圆形构件13的情况下,各个圆形构件12和13的颜色之间的颜色混合程度不根据勘测标记10的设置位置的颜色而变化。因此,各个圆形构件12和13的颜色之间的颜色混合影响勘测标记10的辨别的程度不会根据勘测标记10的设置位置的颜色而变化。
如上所述,使用圆形构件13,可以防止与圆形构件12的颜色的颜色混合程度根据勘测标记10的设置位置的颜色而变化。
这里,对于作为勘测标记10的多圆型标记的尺寸,例如,可以采用直径为约30cm的尺寸,例如10平方厘米至30平方厘米,使得考虑到当人设置勘测标记10时携带勘测标记10,人可以携带一定数量的勘测标记10。
图7是用于描述勘测标记10的颜色的图。
这里,如图1和图2所描述的,云服务器30从通过空中图像捕获获得的捕获图像中检测出现在捕获图像中的勘测标记10。
云服务器30通过使用例如圆(圆形构件)12的色调来检测勘测标记10。换句话说,云服务器30通过使用例如圆12的色调本身、圆12的色调和与圆12相邻的圆11的色调之间的距离等来检测勘测标记10。
当关注于使用圆12的色调本身或者彼此相邻的各个圆11和12的色调之间的距离以检测勘测标记10时,有效的是各个圆11和12的颜色是当从特定高度(即,例如,安排空中图像捕获的高度)执行图像捕获时难以造成颜色混合的颜色(造成低程度的颜色混合的颜色)。
根据本申请的发明人进行的实验,例如在使用用于圆11的颜色的黑色和具有与黑色不同的色调的颜色(其是用于圆12的颜色)的组合作为圆11和圆12的颜色组合的情况下确认了颜色混合的抑制。
例如,在使用用于圆11的颜色的黑色和用于圆12的颜色的红色的组合作为圆11和圆12的颜色组合的情况下,确认了颜色混合保持在从65m的高度进行空中图像捕获获得的捕获图像中圆11的黑色和圆12的红色可以看到的程度。
注意,当圆11与圆12相比太大时,出现在捕获图像中的圆12的饱和度降低,这使得难以辨别圆12。同时,当圆11与圆12相比太小时,出现在捕获图像中的圆12的亮度降低,这使得难以辨别圆12。
在这方面,有效的是将圆11和12设置成具有使圆12的易辨别性增加的尺寸。
根据本申请的发明人进行的实验,确认了当圆12的一部分(除圆11之外的部分)的面积被设置成圆11的面积的约1.0倍至3.0倍时,圆12的易辨别性增加。
当关注于使用彼此相邻的各个圆11和12的色调之间的距离以检测勘测标记10时,有效的是各个圆11和12的颜色的组合是其现实存在的可能性尽可能低的组合。
此外,有效的是各个圆11和12的颜色的组合是其中各个颜色的色调尽可能不同的组合。
此外,有效的是,各个圆11和12的颜色的组合是当从特定高度执行图像捕获时颜色混合的程度尽可能低的组合,即,例如,从捕获图像获得的圆11的色调和圆12的色调之间的距离尽可能大的组合。
图7示出了从对勘测标记10进行图像捕获获得的捕获图像获得的各个圆11和12的像素的色调的直方图的示例。
这里,除非另有说明,否则圆12表示将整个圆中除了圆11的环形部分作为圆12。
在图7的直方图中,圆11(估计为圆11的区域)和圆12(估计为圆12的区域)的像素从捕获图像中被检测到,并且对于那些圆11和12的像素,示出了具有相应色调的像素的频率(像素的数量)。
注意,在图7中,横轴表示色调,纵轴表示频率。
例如,如图7所示,在从捕获图像检测到的圆11和12的像素的色调直方图中(下文中,也称为色调直方图),存在两个分布,即具有第一色调的峰值的分布和具有第二色调的峰值的分布。
对于各个圆11和12的色调之间的距离,例如,可以采用色调直方图中存在的两个相应分布的峰值之间的距离(峰值之间的色调差)。
此外,对于各个圆11和12的色调之间的距离,例如,可以采用积分值的差,例如从捕获图像检测到的各个圆11和12之间的各个像素的色调的平均值。
现在,例如,假设从捕获图像检测到的圆11和12之间的各个像素的色调的平均值的差被用作各个圆11和12的色调之间的距离DF,则各个圆11和12的色调之间的距离DF由表达式(1)表示。
[数学式1]
Figure BDA0002101682100000131
在表达式(1)中,Hi,j表示捕获图像的位置(i,j)处的像素的色调。N1和N2分别表示从捕获图像检测到的圆11和12的像素的数量。右侧第一项的求和(Σ)表示从捕获图像中检测到的圆11的像素的总和((i,j)∈Area1的像素),并且右侧第二项的求和(Σ)表示从捕获图像中检测到的圆12的像素的总和((i,j)∈Area2的像素)。
注意,在捕获图像的像素的像素值由RGB颜色空间的R(红色)值、G(绿色)值和B(蓝色)值表示的情况下,根据表达式(2),可以将R值、G值和B值转换成HLS空间的色调H(色调)、饱和度S(饱和度)和亮度L(亮度)。
[数学式2]
M=max(R,G,B)
m=min(R,G,B)
Figure BDA0002101682100000141
Figure BDA0002101682100000142
S=M-m......(2)
在表达式(2)中,max(A,B,C)表示A、B和C中的最大值,并且min(A,B,C)表示A、B和C中的最小值。如表达式(2)所示,关于色调H,根据RGB的转换方程取决于最小值m是R值、G值还是B值而不同。
各个圆11和12的色调之间的距离DF表示各个圆11和12的颜色之间的颜色混合程度。随着距离DF变大,颜色混合的程度变小。
在这方面,色调之间的距离DF具有预定阈值TH或更大值的两种预定颜色被假定为难以造成颜色混合的颜色(导致颜色混合程度低的颜色)并且可以被用作各个圆11和12的颜色。
在下文中,为了便于说明,色调之间的距离DF具有预定阈值TH或更大值的两种颜色也被称为不引起颜色混合的颜色,并且色调之间的距离DF不具有预定阈值TH或更大值的两种颜色也被称为引起颜色混合的颜色。
图8是用于描述两种预定颜色之间颜色混合的出现的存在/不存在的图。
注意,对于色调之间的距离DF,例如,采用表达式(1)中的色调的平均值的差(绝对差值)。
如图8所示,使用相机捕获了如下标记的图像并获得了其中出现标记的捕获图像:该标记包括彼此相邻的两个区域(其中设置有具有不同色调的两种预定颜色c1和c2中的一种颜色c1和另一种颜色c2)并且具有例如与勘测标记10的尺寸几乎相等的尺寸。可以例如在与执行勘测标记10的空中图像捕获时的距离几乎相等的距离处执行其中标记出现的捕获图像的图像捕获。
此外,从标记出现的捕获图像中检测出标记(的区域),并且从该标记,识别出(估计为)设置有颜色c1的区域A1和(估计为)设置有颜色c2的区域A2。
然后,根据表达式(1),通过使用各个区域A1和A2的像素的像素值计算各个区域A1和A2的色调之间的距离DF。
在距离DF不具有阈值TH或更大值(DF<TH)的情况下,颜色c1和c2被视为导致(可能导致)颜色混合的两种颜色,并且这两种颜色可以被排除作为圆11和12的颜色。
同时,在距离DF具有阈值TH或更大值(DF>=TH)的情况下,颜色c1和c2被视为不导致(不太可能导致)颜色混合的两种颜色,并且这两种颜色可以用作圆11和12的颜色。
作为距离DF的阈值TH,例如,可以使用由表达式(3)表示的阈值TH。
[数学式3]
TH=|H1-H2|×0.5...(3)
在表达式(3)中,H1表示设置有在仅对于颜色c1执行特写(close-up)图像捕获(例如,最短焦距处的图像捕获)时获得的捕获图像中出现的颜色c1的区域的像素的色调的平均值。类似地,H2表示设置有在仅对于颜色c2执行特写图像捕获时获得的捕获图像中出现的颜色c2的区域的像素的色调的平均值。
期望设置有在执行特写图像捕获时获得的捕获图像中出现的颜色c1和c2的区域的像素的色调的平均值分别具有例如颜色c1和c2的理论色调。因此,对于H1和H2,也可以采用颜色c1和c2的理论色调。
根据表达式(3)的阈值TH,在色调之间的距离DF是颜色c1和c2的色调之差|H1-H2|的0.5倍或更大的情况下,颜色c1和c2可以用作圆11和12的颜色。
如上所述,当距离DF具有阈值TH或更大值的两种颜色被用作圆11和12的颜色时,可以抑制由提供给相邻的圆11和12的颜色的颜色混合导致的勘测标记10的检测准确度的降低,并且可以准确地检测勘测标记10。
注意,关于以上描述,除了彼此相邻的圆11和12的颜色之外,对于彼此相邻的圆12和13的颜色也是如此。换句话说,当距离DF具有阈值TH或更大值的两种颜色被用作圆11和12的颜色时,并且当距离DF具有阈值TH或更大值的两种颜色被用作圆12和13的颜色时,与距离DF具有阈值TH或更大值的两种颜色仅被用作圆11和12的颜色的情况相比,可以进一步提高勘测标记10的检测准确度。
这里,虽然矩形区域用作图8中的区域A1和A2,但是可以使用其他区域(例如,与圆11和12类似的圆形区域)作为区域A1和A2。
<云服务器30的配置示例>
图9是示出作为图1的云服务器30的计算机的硬件配置示例的框图。
云服务器30集成CPU(中央处理单元)32,并且输入/输出接口40经由总线31连接至CPU 32。
当输入单元37由用户(操作者)等操作以经由输入/输出接口40输入命令时,CPU32根据该命令执行存储在ROM(只读存储器)33中的程序。替选地,CPU 32将存储在硬盘35中的程序加载到RAM(随机存取存储器)34以执行该程序。注意,CPU 32包括一个或多个处理电路。
因此,CPU 32执行各种类型的处理并使云服务器30用作具有预定功能的装置。然后,CPU 32根据需要从输出单元36例如经由输入/输出接口40输出各种处理的处理结果,或者从通信单元38发送处理结果,并且例如还使硬盘35记录处理结果。
注意,输入单元37包括键盘、鼠标、麦克风等。此外,输出单元36包括LCD、扬声器等。
此外,可以将要由CPU 32执行的程序预先记录在作为集成在云服务器30中的记录介质的硬盘35或ROM 33中。
替选地,程序可以存储(记录)在可移除记录介质41上。这样的可移除记录介质41可以作为所谓的封装软件提供。这里,可移除记录介质41的示例包括软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘和半导体存储器。
此外,程序可以从如上所述的可移除记录介质41安装到云服务器30,或者可以经由通信网络或广播网络下载到云服务器30,然后安装在内置硬盘35中。换句话说,该程序可以例如从下载站点经由用于数字卫星广播的卫星无线传输至云服务器30,或者可以经由诸如LAN(局域网)或互联网的网络有线地传输至云服务器30。
如上所述,CPU 32执行程序,从而使云服务器30用作具有预定功能的装置。
例如,CPU 32使云服务器30用作对来自相机21的捕获图像执行图像处理的图像处理装置。在这种情况下,作为图像处理装置的云服务器30执行检测出现在捕获图像中的勘测标记10的检测处理。因此,云服务器30也可以是执行这种检测处理的检测装置。
图10是示出用作如上所述的图像处理装置(检测装置)的云服务器30的功能配置示例的框图。
在图10中,云服务器30包括候选区域提取单元61、特征量提取单元62和辨别单元63。候选区域提取单元61、特征量提取单元62和辨别单元63由例如图9的CPU 32构成。
来自相机的捕获图像被提供给候选区域提取单元61和辨别单元63。
候选区域提取单元61从由相机21通过勘测标记10的图像捕获获得的捕获图像中提取作为其中出现勘测标记10的区域的候选的候选区域并且将候选区域提供给特征量提取单元62。
特征量提取单元62从由候选区域提取单元61获得的候选区域提取候选区域的特征量,并将该特征量提供给辨别单元63。
辨别单元63基于来自特征量提取单元62的候选区域的特征量来辨别(示出)出现在捕获图像中的勘测标记10(的圆12)(的区域)。
换句话说,辨别单元63基于候选区域的特征量辨别候选区域是否包括勘测标记10。
然后,辨别单元63基于勘测标记10的辨别结果从由相机21获得的捕获图像中检测勘测标记10,并输出其检测结果(例如,勘测标记10的图像或勘测标记10在捕获图像内的位置)。
<检测处理>
图11是用于描述检测勘测标记10的检测处理的示例的流程图,该检测处理由作为图10的图像处理装置的云服务器30的CPU 32执行。
在步骤S31中,候选区域提取单元61执行从由相机21获得的捕获图像中提取候选区域的候选区域提取处理。
在候选区域提取处理中,在步骤S31-1中,候选区域提取单元61根据像素是具有提供给勘测标记10的圆12的颜色的像素还是具有与提供给圆12的颜色不同的颜色的像素而对捕获图像的每个像素(的像素值)进行二值化。
例如,在提供给勘测标记10的圆12的颜色是红色的情况下,候选区域提取单元61通过使用HSV空间中的色调H(色调)(红色(圆12的颜色)的色调)将例如在320至360(度)的范围内被认为是红色色调H的色调H的像素确定为具有提供给圆12的颜色的像素,并将其像素值设置为例如作为0和1中的一者的1。
此外,候选区域提取单元61将320至360的具有色调H的范围之外的像素(未确定为具有提供给圆12的颜色的像素的像素)中的每个确定为未被确定为具有提供给圆12的颜色的像素的像素,并将其像素值设置为作为0和1中的另一者的0。
注意,可以通过使用HSV空间的除了圆12的颜色的色调H之外的饱和度S(饱和度)和亮度(亮度)V(值)来对捕获图像的像素进行二值化。
例如,在提供给勘测标记10的圆12的颜色是红色的情况下,在HSV空间中在320至360范围内具有色调H并且在HSV空间中在30至255范围内具有饱和度S的像素可以被确定为提供给圆12的颜色的像素。
替选地,在HSV空间中在320至360范围内具有色调H,在HSV空间中在30至255范围内具有饱和度S,并且在HSV空间中在50至255范围内具有亮度V的像素可以被确定为提供给圆12的颜色的像素。
如上所述,在候选区域提取处理中,可以通过至少使用圆12的颜色的色调、饱和度和亮度中的色调来执行用于提取候选区域的二值化。
此外,在候选区域提取处理中,当通过使用至少圆12的色调而非与色调不同的亮度和饱和度来执行用于提取候选区域的二值化时,可以提取更可能的候选区域作为勘测标记10出现的区域,并且还提高勘测标记10的检测准确度。
在候选区域提取处理中,在步骤S31-2中,候选区域提取单元61对通过对捕获图像进行二值化而获得的二值化图像执行侵蚀处理,并控制二值化图像的噪声。
此外,在候选区域提取处理中,在步骤S31-3中,候选区域提取单元61对侵蚀处理之后的二值化图像执行膨胀处理。
之后,在候选区域提取处理中,在步骤S31-4中,候选区域提取单元61执行轮廓检测处理,该轮廓检测处理检测在膨胀处理之后获得的二值化图像中具有像素值1的像素的区域的轮廓,即在捕获图像中假设圆12出现的像素区域的轮廓。
在候选区域提取处理中,在步骤S31-5中,候选区域提取单元61然后从捕获图像中提取与外接于由轮廓检测处理检测到的轮廓的最小矩形对应的区域作为候选区域,并且将该区域提供给特征量提取单元62。
在通过轮廓检测处理检测到多个轮廓的情况下,针对多个轮廓中的每一个提取候选区域。
在步骤S32中,特征量提取单元62执行针对从候选区域提取单元61获得的候选区域中的每个提取候选区域的特征量的特征量提取处理,并将通过特征量提取处理获得的每个候选区域的特征量提供给辨别单元63。
在特征量提取处理中,特征量提取单元62可以提取例如候选区域的以下特征量。
换句话说,作为候选区域的特征量,特征量提取单元62可以计算例如候选区域的尺寸与通过估计当勘测标记10出现在捕获图像中时勘测标记10(的圆12)的尺寸获得的估计尺寸的比例(下文中,该比例也称为尺寸比)。
这里,例如,用相机21捕获的捕获图像被记录在EXIF(可交换图像文件格式)格式的文件中。在EXIF格式的文件中,图像捕获日期和时间、焦距以及诸如图像捕获位置的纬度、经度、海拔(高度)等的GPS信息被记录为图像捕获元数据。
特征量提取单元62例如根据EXIF格式的文件中记录的图像捕获位置的海拔和焦距来估计在勘测标记10出现在捕获图像中的情况下获得的勘测标记10的尺寸。
根据尺寸比,可以防止具有太大或太小尺寸的候选区域被辨别为勘测标记10(的圆12的区域)。例如,随着尺寸比变得接近1.0,候选区域更可能被辨别为勘测标记10(的圆12)。
特征量提取单元62可以计算例如候选区域的长宽比作为候选区域的特征量。
根据候选区域的长宽比,可以防止水平长或垂直长的候选区域被辨别为勘测标记10。例如,随着候选区域的长宽比变得接近1.0,候选区域更可能被辨别为勘测标记10。
特征量提取单元62可以计算例如候选区域与勘测标记10(的圆11和12)的模板图像之间的相关性(相似度)作为候选区域的特征量。例如,随着候选区域与模板图像之间的相关性变得更高(候选区域和模板图像具有更高的相关性),候选区域更可能被辨别为勘测标记10。
注意,预先准备勘测标记10的模板图像。
此外,例如,可以采用相关系数、差的平方和的平均值等作为相关性。
特征量提取单元62可以计算例如候选区域和通过旋转候选区域获得的旋转图像之间的相关性,作为候选区域的特征量。随着候选区域和旋转图像之间的相关性变大,候选区域更可能被辨别为勘测标记10。
由于圆11至13是同心设置的,因此勘测标记10具有对称性。在通过使用候选区域与通过旋转候选区域获得的旋转图像之间的相关性作为候选区域的特征量来辨别勘测标记10的情况下,可以通过使用勘测标记10的对称性来提高勘测标记10的辨别准确度。
注意,当计算旋转图像时,候选图像的旋转执行除了2π的整数倍之外的预定角度。
例如,特征量提取单元62可以将强调提供给圆11和12的颜色的滤波器(函数)应用于候选区域和模板图像,并计算应用滤波器后的候选区域和模板图像之间的相关性,作为候选区域的特征量。例如,随着应用滤波器之后的候选区域和模板图像之间的相关性变得更大,候选区域更可能被辨别为勘测标记10。
注意,除了强调提供给圆11和12的颜色的滤波器之外,例如,可以采用强调仅提供给圆11和12中的一个的颜色的滤波器等,作为应用于候选区域和模板图像的滤波器。
特征量提取单元62可以计算各个圆11和12的色调之间的距离作为候选区域的特征量。
换句话说,假设候选区域是外接于圆12的区域,特征量提取单元62可以通过使用其中认为存在于候选区域中的圆11和12出现的像素的色调来计算图7中描述的各个圆11和12的色调之间的距离例如表达式(1)的距离DF作为候选区域的特征量。
例如,在各个圆11和12的色调之间的距离DF等于或大于表达式(3)的阈值TH的情况下,候选区域更可能被辨别为勘测标记10。
在步骤S33中,辨别单元63针对每个候选区域,基于来自特征量提取单元62的候选区域的特征量在捕获图像中辨别(示出)在捕获图像中出现的勘测标记10(的圆12)(的区域)。
换句话说,辨别单元63基于候选区域的特征量来辨别候选区域是否包括勘测标记10。
此外,在辨别候选区域包括勘测标记10的情况下,辨别单元63基于辨别结果从自相机21获得的捕获图像中检测勘测标记10,并输出检测结果。
在云服务器30中,如图2所示,通过使用由此获得的勘测标记10的检测结果来创建地面的三维模型。
这里,在辨别单元63中,可以采用任意方法作为基于候选区域的特征量来辨别候选区域是否包括勘测标记10的方法。例如,可以通过对候选区域的每个特征量执行阈值处理,阈值处理的大部分处理结果的决定,表示处理结果的点的加权和等来辨别候选区域是否包括勘测标记10。此外,例如,可以将候选区域的每个特征量输入至包括预先执行学习的神经网络的辨别器,并且可以基于辨别器的响应于输入的输出来辨别候选区域是否包括勘测标记10。
注意,在特征量提取单元62中提取的候选区域的特征量不限于上述特征量。
然而,当候选区域的特征量包括各个圆11和12的色调之间的距离DF时,可以更准确地检测勘测标记10。
换句话说,例如,在圆12的颜色是红色的情况下,候选区域提取单元61通过至少使用圆12的色调来执行候选区域的检测(的二值化)。因此,例如,可以提取出现红色多边形的区域作为候选区域。在这种情况下,当候选区域的特征量不包括各个圆11和12的色调之间的距离DF时,错误地辨别其中出现多边形的候选区域包括勘测标记10的可能性增加。
同时,当候选区域的特征量包括各个圆11和12的色调之间的距离DF时,可以抑制错误地辨别其中出现多边形的候选区域包括勘测标记10的可能性,并且可以提高勘测标记10的检测准确度。
注意,如图6中所述,在勘测标记10的柱状构件11集成检测勘测标记10的照度的照度检测装置、执行无线通信的通信装置等的情况下,云服务器30可以通过使用由照度检测装置从勘测标记10检测到的关于勘测标记10的照度(勘测标记10的照度(亮度)的分布)的照度信息来执行图11的检测处理。
例如,候选区域提取单元61可以通过使用照度信息来提取候选区域。
例如,候选区域提取单元61可以通过使用照度信息来估计出现在捕获图像中的勘测标记10的圆12的颜色的色调、饱和度和亮度的范围,确定具有该范围内的色调、饱和度和亮度的像素作为圆12的像素,并执行候选区域的提取(的二值化)。
此外,例如,辨别单元63可以通过使用照度信息来辨别勘测标记10。
具体地,例如,辨别单元63将各个圆11和12的色调之间的距离DF(其是候选区域的特征量)与表达式(3)的阈值TH进行比较。在基于比较结果距离DF具有阈值TH或更大值的情况下,可以通过增加辨别出候选区域包括勘测标记10的可能性来辨别勘测标记10。
在辨别中单元63,可以使用照度信息来设置用于辨别勘测标记10的上述阈值TH。
换句话说,辨别单元63可以估计在照度信息指示的照度条件下捕获勘测标记10的图像的情况下获得的圆11和12的各个像素的色调,使用通过估计获得的圆11和12的各个像素的色调(的估计值)的平均值作为表达式(3)的H1和H2,并设置表达式(3)的阈值TH。
如上所述,通过使用由照度检测装置检测到的勘测标记10的照度信息来提取候选区域或辨别勘测标记10,可以提高勘测标记10的检测准确度。
图12是用于描述在图11的步骤S31-1中执行的对捕获图像的每个像素进行二值化的详细处理的示例的流程图。
在步骤S51中,候选区域提取单元61选择尚未被选择作为关注像素的捕获图像的像素之一作为关注像素,并且处理进入步骤S52。
在步骤S52中,候选区域提取单元61计算并且然后获取关注像素的色调H,并且处理进入步骤S53。
在步骤S53中,候选区域提取单元61确定关注像素的色调H是否被认为是圆12的颜色的色调,即,关注像素的色调H是否满足α<H的表达式和H<β的表达式。
这里,α和β分别表示被认为是圆12的颜色的色调的范围中的最小值和最大值。
在步骤S53中,在确定了关注像素的色调H满足α<H的表达式和H<β的表达式的情况下,处理进入步骤S54。在步骤S54中,候选区域提取单元61假设关注像素是圆12的色调的像素,并且将关注像素的像素值设置为表示圆12的色调的像素的1。处理进入步骤S56。
此外,在步骤S53中,在确定关注像素的色调H不满足α<H的表达式或H<β的表达式中的至少一个的情况下,处理进行到步骤S55。在步骤S55中,候选区域提取单元61假设关注像素不是圆12的色调的像素,并且将关注像素的像素值设置为不表示圆12的色调的像素的0。处理进入步骤S56。
在步骤S56中,候选区域提取单元61确定是否选择了捕获图像的所有像素作为关注像素。
在步骤S56中,当确定尚未选择捕获图像的所有像素作为关注像素时,处理返回到步骤S51。在步骤S51中,候选区域提取单元61再次选择捕获图像的像素中的尚未被选择作为关注像素的一个像素作为关注像素,并且此后重复类似处理。
此外,在步骤S56中,当确定捕获图像的所有像素均被选择为关注像素时,终止二值化处理。
图13是用于示出勘测标记10(的圆11和12)的模板图像的示例的图,模板图像用于在特征量提取单元62中提取候选区域的特征量。
现在,由系数a、μ和σ定义的Gaussian(高斯)函数表示为如表达式(4)所示的Gaussian(a,μ,σ)。
[数学式4]
Figure BDA0002101682100000241
在例如分别针对圆11和12的颜色采用蓝色和红色的情况下,可以采用由例如图13中所示的Gaussian函数定义的图像作为模板图像。
图13的A示出了模板图像的第一示例,图13的B示出了模板图像的第二示例。
现在,作为模板图像的像素值的色调由y表示,并且表达式(4)的Gaussian函数Gaussian(a,μ,σ)的变量x表示距模板图像的中心的距离。
在这种情况下,图13的A中的模板图像的色调y由y=360-Gaussian(a=50,μ=0,σ=0.3)的表达式表示。此外,图13的B中的模板图像的色调y由y=360-Gaussian(a=100,μ=0,σ=0.3)的表达式表示。
图14是示出当在图11的步骤S32中的特征量提取处理中强调提供给候选区域和模板图像中的每一个中的圆11和12的颜色时使用的滤波器的示例的图。
例如,提供给圆11和12的颜色分别是蓝色和红色,强调提供给圆11的颜色的滤波器是强调蓝色的蓝色滤波器,以及强调提供给圆12的颜色的滤波器是强调红色的红色滤波器。
现在,作为滤波器的输出的色调由y表示,并且表达式(4)的Gaussian函数Gaussian(a,μ,σ)的变量x表示要输入至滤波器的色调。
在这种情况下,红色滤波器由以下表达式表示:y=Gaussian(a=255,μ=10,σ=20)的表达式(在x是10≤x≤180的范围内的值的情况下)、y=Gaussian(a=255,μ=350,σ=20)的表达式(在x是180≤x≤350的范围内的值的情况下)、以及y=255的表达式(在x是其他范围内的值的情况下)。
此外,蓝色滤波器由y=Gaussian(a=128,μ=270,σ=40)的表达式表示。
注意,在图14中,实线表示红色滤光器的输入/输出特性,虚线表示蓝色滤光器的输入/输出特性。
此外,在图14中,图像P1是通过将其中圆12出现并且色调H被用作像素值的候选区域的尺寸调整为50×50像素并提取位于中心的30×30像素而获得的图像。此外,图像Q1是通过将其中圆12没有出现并且色调H被用作像素值的候选区域的尺寸调整为50×50像素并提取位于中心的30×30像素而获得的图像。
图像P2和Q2是当蓝色滤光器分别应用于图像P1和Q1时获得的图像,图像P3和Q3是当红色滤光器分别应用于图像P1和Q1时获得的图像。
图15是用于描述在图11的步骤S32中执行的特征量提取处理中提取各个圆11和12的色调之间的距离DF作为特征量的处理的示例的流程图。
在步骤S71中,特征量提取单元62假设候选区域是外接于圆12的区域,并且检测示出(应该示出)存在于候选区域中的各个圆11和12的像素(下文中,被称为圆11的区域中的像素以及圆12的区域中的像素)。处理进入步骤S72。
在步骤S72中,特征量提取单元62计算并获取圆11的区域中的每个像素的色调H,并且还计算并获取圆12的区域中的每个像素的色调H。处理进入步骤S73。
在步骤S73中,根据表达式(1),特征量提取单元62计算圆11的区域中的各个像素的色调H的平均值(表达式(1)右侧的第一项中的ΣHij/N1)和圆12的区域中的各个像素的色调H的平均值(表达式(1)右侧的第二项中的ΣHi,j/N2)之间的绝对差值作为各个圆11和12的色调之间的距离。然后终止处理。
注意,例如,图4中的单圆型标记和图5或图6中的多圆型标记可以组合设置作为勘测标记10,并且在可以以足够的准确度检测单圆型标记的情况下,可以在不执行多圆型标记的检测的情况下执行单圆型标记的检测,并且在不能以足够的准确度检测单圆型标记的情况下,可以执行多圆型标记的检测。
<无人机20的配置示例>
图16是示出图1中所示的无人机20的配置示例的框图。
在图16中,无人机20包括通信单元111、控制单元112、驱动控制单元113和飞行机构114。
通信单元111在控制单元112的控制下无线地或有线地执行与云服务器30、操作无人机20的控制器(比例控制系统)(未示出)、或另一任意装置的通信。
控制单元112包括CPU、存储器等(未示出),并且控制通信单元111、驱动控制单元113以及相机21。
此外,控制单元112使通信单元111发送使用相机21捕获的捕获图像。
驱动控制单元113在控制单元112的控制下控制飞行机构114的驱动。
飞行机构114是用于使无人机20飞行的机构,并且包括例如电机、螺旋桨等(未示出)。飞行机构114在驱动控制单元113的控制下被驱动并使无人机20飞行。
在如此配置的无人机20中,控制单元112控制驱动控制单元113以根据例如在通信单元111中接收的来自比例控制系统的信号来驱动飞行机构114。因此,无人机20根据比例控制系统的操作而飞行。
此外,控制单元112控制相机21以根据来自比例控制系统的信号执行图像捕获。通过相机21的图像捕获获得的捕获图像经由控制单元112从通信单元111发送。
<应用本技术的土壤量测量系统的另一实施方式>
图17是用于描述应用本技术的土壤量测量系统的另一实施方式的一般概要的图。
注意,图中与图1的部分对应的部分由相同的附图标记表示,并且在下文中将适当地省略其描述。
图17的土壤量测量系统包括勘测标记10、无人机20、云服务器30和飞行控制装置121。
因此,图17的土壤量测量系统与图1的情况的不同之处在于飞行控制装置121是新设置的。
飞行控制装置121包括用作GCS(地面控制站)(地面站)的专用装置。替选地,在PC(个人计算机)、平板电脑或具有通信功能的装置(例如智能手机)执行用于使这种装置用作GCS的程序时配置飞行控制装置121。
根据操作者的操作,飞行控制装置121执行与无人机20的通信,并且执行无人机20的飞行、位置获取、配备有无人机20的相机21的图像捕获命令、获取用相机21捕获的捕获图像的命令等的控制。
根据操作者的操作,飞行控制装置121可以执行从自无人机20获取的捕获图像中检测勘测标记10(的图像)的检测处理,并显示在检测处理中获得的勘测标记10的检测结果。操作者可以根据勘测标记10的检测结果确认是否适当地捕获了勘测标记10的图像。
在勘测标记10的图像没有被适当地捕获的情况下,例如,在检测处理中不能检测到勘测标记10的情况下,操作者可以操作飞行控制装置121以使无人机20再次飞行并捕获勘测标记10的图像。
注意,飞行控制装置121可以将从无人机20获取的捕获图像上传到云服务器30。
此外,例如,如图6等所述,在勘测标记10集成照度检测装置等并且发送由照度检测装置检测到的照度信息的情况下,可以由飞行控制装置121接收照度信息。
<多圆型标记的勘测标记10的修改例>
图18是示出多圆型标记的勘测标记10的第一修改例的平面图。
图18的勘测标记10包括圆11和12(或圆12和13)和框区域14,并且具有图5的A中的其中圆13(或圆11)未被提供给勘测标记10的配置。
注意,图18的勘测标记10具有图5的C(或D)中的其中框区域14被提供给勘测标记10的配置。
在图18中,例如,可以分别采用非彩色的黑色、彩色的红色和非彩色的黑色作为圆11和12(或圆12和13)和框区域14的颜色。
图19是示出多圆型标记的勘测标记10的第二修改例的透视图。
图19的勘测标记10包括例如:柱状构件201,其将是圆11并且具有预定高度(厚度);基本上环形的构件202,其将是圆12并且具有预定高度;以及基本上环形的构件203,其将是圆13并且具有预定高度。
在图19中,构件201至203具有相同的高度。
另外,构件202具有通过将具有预定高度的柱的中心部分挖空成柱状形状而获得的基本上环形的形状,并且柱状构件201装配到构件202的被挖空成柱状形状的中空部分中。
类似地,构件203具有通过将具有预定高度的柱的中心部分挖空成柱状形状而获得的基本上环形的形状,并且基本上环形的构件202装配到构件203的被挖空成柱状形状的中空部分中。
在图19的勘测标记10中,构件201、202或203的内部可以配置成中空的,并且图6等中描述的照度检测装置等可以集成在构件201、202或203中。
此外,照度检测装置等可以跨多个构件201至203集成。
在图6的勘测标记10中,与要成为圆12的圆形构件和要成为圆13的圆形构件相比,要成为圆11的柱状构件的高度(厚度)突出。因此,根据太阳光的方向,要成为圆11的柱状构件的阴影主要形成在圆12上,并且勘测标记10的检测准确度可能降低。
同时,在图19的勘测标记10中,构件201至203具有相同的高度,因此要成为圆11的柱状构件201的阴影不会如图6的情况那样主要形成在圆12上。这可以抑制勘测标记10的检测准确度的降低。
注意,图19的勘测标记10包括柱状构件201和基本上环形的构件202和203,或者替选地,例如,可以通过以圆11至13的颜色涂覆具有预定高度的一个柱状构件的上表面来配置。
除此之外,图19的勘测标记10可以通过如下方式配置:例如以圆11和12的颜色涂覆具有预定高度的一个柱状构件并且将构件装配到基本上环形的构件203中,或者以圆12和13的颜色涂覆基本上环形的构件,并将构件201装配到其中。
这里,例如,下文分别使用非彩色的黑色、彩色的红色和非彩色的黑色作为圆11至13的颜色。
图20是示出多圆型标记的勘测标记10的第三修改例的透视图。
注意,图中与图19的部分对应的部分由相同的附图标记表示,并且在下文中将适当地省略其描述。
图20的勘测标记10包括例如:柱状构件201,其将是圆11并且具有预定高度;基本上环形的构件202,其将是圆12并且具有预定高度;以及基本上环形的构件213,其将是圆13并且具有预定高度。
因此,图20的勘测标记10与图19的情况的不同之处在于,设置有构件213而不是构件203。
构件213具有通过将具有预定高度的柱的中心部分挖空成留下底板213A的柱状形状而获得的基本上环形的形状,或者通过将具有预定高度的柱的中心部分挖空成柱状形状并且设置底板213A而获得的基本上环形的形状。
另外,基本上环形的构件202被装配到构件203的被挖空成柱状形状的中空部分中,并且柱状构件201被配置成可附接至构件202的被挖空成柱状形状的中空部分/可从构件202的被挖空成柱状形状的中空部分拆卸。
注意,底板213A具有与构件201相同的颜色,即,这里是非彩色的黑色,使得当柱状构件201被移除时,从构件202的中空部分露出的底板213A用作勘测标记10中的圆11。
此外,构件213的被挖空成柱状形状的中空部分的深度具有与构件201和202的高度相同的深度。因此,当构件202(和构件201)被装配到构件213的中空部分中时,勘测标记10的上表面变为平面。
在图20的勘测标记10中,构件201的内部可以被配置为中空的,并且图6等中描述的照度检测装置等可以集成在构件201中。
在需要照度信息的情况下,可以在将柱状构件201安装在构件202的被挖空成柱状形状的中空部分中之后使用勘测标记10。
同时,在不需要照度信息的情况下,可以在从勘测标记10移除柱状构件201之后使用勘测标记10。
在移除柱状构件201的勘测标记10中,可以在暴露的底板213A上形成构件202的阴影。然而,这里底板213A的颜色是黑色,因此可以在暴露的底板213A上形成的构件202的阴影(基本上)不会影响勘测标记10的检测准确度。
注意,图20中包括构件202和213的部分可以通过如下方式配置:例如以圆11至13的颜色涂覆构件,该构件是通过将具有预定高度的单个柱状构件的中心部分挖空成柱状形状同时留下底板213A以便能够附接/拆卸构件201而获得的。
图21是示出多圆型标记的勘测标记10的第四修改例的透视图。
注意,图中与图20的部分对应的部分由相同的附图标记表示,并且在下文中将适当地省略其描述。
图21的勘测标记10包括构件202和构件213。
因此,图21的勘测标记10被配置为类似于图20的情况,不同之处在于没有设置可附接/可拆卸构件201。
在图21的勘测标记10中,构件202或213的内部可以配置成中空的,并且图6等中描述的照度检测装置等可以集成在构件202或213中。
此外,照度检测装置等可以跨构件202和213集成。
在图21的勘测标记10中,如在当柱状构件201被移除时图20的勘测标记10的情况,构件202的阴影可以形成在暴露的底板213A上。然而,这里底板213A的颜色是黑色,因此可以在暴露的底板213A上形成的构件202的阴影不会影响勘测标记10的检测准确度。
图22是示出多圆型标记的勘测标记10的第五修改例的透视图。
注意,图中与图19的部分对应的部分由相同的附图标记表示,并且在下文中将适当地省略其描述。
图22的勘测标记10包括构件201和202以及要成为圆13的板状圆形构件223。
因此,图22的勘测标记10被配置为类似于图19的情况,不同之处在于设置构件223而不是构件203。
图22的勘测标记10通过例如如下方式配置:将构件201装配到构件202中并且将其中装配构件201的构件202(或配置为圆11和12的单个柱状构件)堆叠在构件223上。
在图22的勘测标记10中,构件201或202的内部可以配置成中空的,并且图6等中描述的照度检测装置等可以集成在构件201或202中。
此外,照度检测装置等可以跨构件201和202集成。
在图22的勘测标记10中,构件202的阴影可以形成在构件223上。然而,这里要成为圆13的构件223的颜色是黑色,因此可以在构件223上形成的构件202的阴影不影响勘测标记10的检测准确度。
图23是示出多圆型标记的勘测标记10的第六修改例的透视图。
注意,图中与图22的部分对应的部分用相同的附图标记表示,并且在下文中将适当地省略其描述。
图23的勘测标记10包括构件201和202以及构件223。
然而,构件201被配置成可附接至构件202的被挖空成柱状形状的中空部分/可从构件202的被挖空成柱状形状的中空部分拆卸。
此外,当构件201从构件202的中空部分移除时,作为构件223的一部分的圆形部分223A从中空部分露出。圆形部分223A具有与构件201相同的颜色,即,这里是非彩色的黑色,使得圆形部分223A用作圆11。
在图23的勘测标记10中,构件201的内部可以配置成中空的,并且图6等中描述的照度检测装置等可以集成在构件201中。
在需要照度信息的情况下,可以在将柱状构件201安装在构件202的被挖空成柱状形状的中空部分中之后使用勘测标记10。
同时,在不需要照度信息的情况下,可以在从勘测标记10移除柱状构件201之后使用勘测标记10。
在其中柱状构件201被移除的勘测标记10中,可以在暴露的圆形部分223A上形成构件202的阴影。此外,不管构件201的附接/拆卸如何,构件202的阴影可以形成在构件223上。
然而,包括圆形部分223A的构件223的颜色在这里是黑色,并且因此,可以在包括圆形部分223A的构件223上形成的构件202的阴影不影响勘测标记10的检测准确度。
图24是示出多圆型标记的勘测标记10的第七修改例的透视图。
注意,图中与图23的部分对应的部分由相同的附图标记表示,并且在下文中将适当地省略其描述。
图24的勘测标记10被配置为类似于图23的情况,不同之处在于没有设置可附接/可拆卸构件201。
在图24的勘测标记10中,构件202的内部可以被配置为中空的,并且图6等中描述的照度检测装置等可以集成在构件202中。
在图24的勘测标记10中,如图23的情况,构件202的阴影可以形成在圆形部分223A和构件223上。然而,包括圆形部分223A的构件223的颜色是黑色,因此,构件202的阴影不影响勘测标记10的检测准确度。
图25是示出多圆型标记的勘测标记10的第八修改例的透视图。
注意,图中与图20的部分对应的部分由相同的附图标记表示,并且在下文中将适当地省略其描述。
图25的勘测标记10包括构件213。
如图20中所述,构件213具有通过将具有预定高度的柱的中心部分挖空成留下底板213A的柱状形状而获得的基本上环形的形状,或者通过将具有预定高度的柱的中心部分挖空成柱状形状并且提供底板213A而获得的基本上环形的形状。
然而,在图25中,构件213的底板213A被涂覆以便用作圆11和12。换句话说,这里,底板213A的中心部分处的圆形区域具有黑色以便用作圆11,并且其圆周区域具有红色以便用作圆12。
在图25的勘测标记10中,构件213的内部(用作圆13的部分)可以配置成中空的,并且图6等中描述的照度检测装置等可以集成在构件213中。
图26是示出多圆型标记的勘测标记10的第九修改例的透视图。
注意,图中与图25的部分对应的部分由相同的附图标记表示,并且在下文中将适当地省略其描述。
图26的勘测标记10包括要成为圆11和12并具有预定高度的柱状构件231,以及构件213。
构件231具有类似于例如图19的其中装配有构件201的构件202的形状(柱状形状)。此外,构件231被涂覆成圆11和12,以便用作圆11和12。
在图26的勘测标记10中,构件231可附接至构件213的中空部分/可从构件213的中空部分拆卸。
在图26的勘测标记10中,构件231的内部可以配置成中空的,并且图6等中描述的照度检测装置等可以集成在构件231中。
在需要照度信息的情况下,可以在将构件231安装在构件213的中空部分中之后使用勘测标记10。
同时,在不需要照度信息的情况下,可以在从勘测标记10移除构件231之后使用勘测标记10。
注意,构件231包括单个柱状构件,或者替选地,例如,可以包括图19的构件201和202。
图27是示出多圆型标记的勘测标记10的第十修改例的透视图。
注意,图中与图19或图25的部分对应的部分由相同的附图标记表示,并且在下文中将适当地省略其描述。
图27的勘测标记10通过例如将构件201堆叠在构件213的底板213A的区域中来配置,所述区域将是圆11。
在图27的勘测标记10中,构件201或构件213的内部(用作圆13的部分)可以配置为中空的,并且图6等中描述的照度检测装置等可以集成在构件201或构件213中。
此外,在图27的勘测标记10中,构件201和213可以配置成中空的,并且照度检测装置等可以单独地集成在构件201和构件213中。
注意,如图27所示,其中圆11和13各自具有一定厚度的勘测标记10不限于上述配置。换句话说,其中圆11和13各自具有一定厚度的勘测标记10可以被配置成例如使得要成为圆11的部分和要成为圆13的部分中的一者或两者可附接/可拆卸。
图28是示出多圆型标记的勘测标记10的第十一修改例的透视图。
图28的勘测标记10包括具有一定厚度的板状构件250。
通过在构件250的上表面上印刷等来描绘圆11到圆13。
构件250由例如白色等的半透明材料制成,并且可以配置为中空的。
例如,照明装置(未示出)可以集成在构件250中。
在这种情况下,当接通照明装置时,可以使勘测标记10点亮。
当使勘测标记10点亮时,即使在诸如夜晚的黑暗情况下也可以执行在可检测到勘测标记10的状态下的图像捕获,并且勘测标记10可以用作用于无人机20的着陆的地标等。
图29是示出多圆型标记的勘测标记10的第十二修改例的平面图。
在图29的勘测标记10中,例如,红色的圆12的部分和白色的框区域14的部分包括例如发光体(例如,LED(发光二极管))。
当使红色的圆12的部分和白色的框区域14的部分点亮时,即使在诸如夜晚的黑暗情况下也可以执行在可检测到勘测标记10的状态下的图像捕获,并且勘测标记10可以用作用于无人机20的着陆的地标等。
图30是示出多圆型标记的勘测标记10的第十三修改例的透视图。
在图30的勘测标记10中,通过在无人机的着陆垫上进行印刷等描绘勘测标记10的图案。因此,图30的勘测标记10用作勘测标记并且还用作着陆垫。
这里,着陆垫可用于防止地面上的沙子等在无人机的起飞和着陆时升起并且防止进入无人机的电机等,并且用于标明例如无人机的着陆位置。
根据图30的勘测标记10,在无人机20中,可以从捕获图像中检测到作为勘测标记10的着陆垫的位置。
此外,根据图30的勘测标记10,在无人机20中,在考虑到要附接相机21的位置之后,控制飞行状态,使得出现在用相机21捕获的捕获图像中的勘测标记10总是处于恒定位置,可以执行垂直于勘测标记10的起飞和着陆,并且可以增强作为勘测标记10的着陆垫的便利性。
此外,根据图30的勘测标记10,可以记录在捕获图像中出现的勘测标记10的图案变化,或者在识别出起飞和着陆之后无人机的起飞和着陆的时间点。这样的时间点可以用于自动创建土壤量测量的报告等。
<其他实施方式>
在上面的描述中,采用以下标记作为勘测标记10:具有平面形状并且包括同心设置且各自具有不同半径的多个圆,在多个圆中彼此相邻的圆各自具有不同色调。然而,可以采用以下标记作为勘测标记10:具有平面形状并且包括同心设置且各自具有不同半径的多个圆,在多个圆中彼此相邻的圆各自具有不同的亮度或色调。
换言之,在图1至图30的实施方式中,“色调”可以用“亮度或色调”代替。
例如,在图5等中,可以采用彼此相邻并且每个具有不同亮度或色调的圆作为圆11至13。
注意,在勘测标记10中,相邻的圆只需要各自具有不同的亮度或色调。因此,如果相邻的圆11和12各自具有不同的亮度或色调,并且相邻的圆12和13各自具有不同的亮度或色调,则彼此不相邻的圆11和13可以具有相同的亮度或色调。
此外,在勘测标记10中,相邻的圆可以仅在亮度上不同或仅在色调上不同,或者可以在亮度和色调两者上不同。
在根据需要通过使用彼此相邻的各个圆11和12的亮度之间的距离或者通过使用色调之间的距离来检测勘测标记10的情况下,有效的是各个圆11和12的颜色的组合是其现实存在的可能性尽可能低的组合。
此外,有效的是,各个圆11和12的颜色的组合是其中各个颜色的亮度或色调尽可能不同的组合。
此外,有效的是,各个圆11和12的颜色的组合是当从特定高度执行图像捕获时颜色混合的程度尽可能低的组合,即,例如从捕获图像获得的圆11的亮度或色调与圆12的亮度或色调之间的距离尽可能大的组合。
这里,对于各个圆11和12的色调之间的距离,如图7所示,可以采用色调直方图中存在的两个相应分布的峰值之间的距离(峰值之间的色调差)。
类似地,对于各个圆11和12的亮度之间的距离,可以采用从捕获图像检测的圆11和12的像素的亮度直方图中的两个相应分布的峰值之间的距离(峰值之间的亮度差),两个相应分布包括具有第一亮度的峰值的分布和具有第二亮度的峰值的分布。
此外,对于各个圆11和12的色调之间的距离,例如,如图7中所述,可以采用诸如从捕获图像中检测到的圆11和12之间的各个像素的色调的平均值的积分值的差(例如,表达式(1)中的DF等)。然而,类似地,也可以采用诸如从捕获图像检测到的圆11和12之间的各个像素的亮度的平均值的积分值的差作为各个圆11和12的亮度之间的距离。
在下文中,将描述勘测标记10的检测,其通过使用亮度以及必要时使用色调来执行。
图31是示出HLS颜色空间的图。
在HLS颜色空间300中,纵轴表示亮度L,并且在垂直于亮度轴的二维平面上距亮度L的轴(下文中,也称为亮度轴)的距离表示饱和度S。此外,关于亮度轴的角度表示色调H。亮度轴上的点表示非彩色。
图32是用于描述通过使用亮度检测勘测标记10的一般概要的图。
图10的图像处理装置可以通过使用(假设(估计)为)出现在捕获图像中的勘测标记10的各个圆11和12(的区域的区域)的亮度之间的距离(亮度差)来区分勘测标记10的区域和来自候选区域的其他区域。
例如,在圆11为黑色并且圆12为红色的情况下,可以通过使用各个圆11和12的亮度之间的距离相对准确地区分勘测标记10的区域和来自候选区域的其他区域。
此外,在各个圆11和12的亮度之间的距离小的情况下,图10的图像处理装置可以通过使用出现在捕获图像中的勘测标记10的各个圆11和12的色调之间的距离(色调差)来区分勘测标记10的区域和来自候选区域的其他区域。
例如,在圆11具有诸如蓝色的彩色并且圆12具有诸如红色的另一种彩色的情况下,如果各个圆11和12的亮度之间的距离小,则图像处理装置可以通过使用各个圆11和12的色调之间的距离来区分勘测标记10的区域和来自候选区域的其他区域。
可以通过以下方式来执行通过使用亮度的勘测标记10的检测:使用彼此相邻的各个圆11和12的亮度之间的距离,或者替选地,使用彼此相邻的各个圆12和13的亮度之间的距离或者彼此不相邻的各个圆11和13的亮度之间的距离。
图33是用于描述在勘测标记10包括圆11至13的情况下通过使用亮度来检测勘测标记10的一般概要的图。
这里,具有黑色、红色和黑色的圆可以分别用作圆11至13。
在勘测标记10包括圆11至13的情况下,可以通过使用各个圆11和12的亮度之间的距离A、各个圆11和13的亮度之间的距离B、以及各个圆12和13的亮度之间的距离C来执行勘测标记10的检测。
另外,例如,在距离A至C中距离A和C中的一者或两者小的情况下,可以通过使用各个圆11和12的色调之间的距离、各个圆11和13的色调之间的距离以及各个圆12和13的色调之间的距离来执行勘测标记10的检测。
图34是用于描述检测勘测标记10的检测处理的另一示例的流程图,其由作为图10的图像处理装置的云服务器30的CPU 32执行。
在步骤S131中,候选区域提取单元61执行从自相机21获得的捕获图像中提取候选区域的候选区域提取处理。
在候选区域提取处理中,在步骤S131-1中,候选区域提取单元61根据像素是否是勘测标记10的圆12的像素将捕获图像的每个像素(的像素值)二值化为1或0。
步骤S131-1中的二值化可以通过例如对像素的亮度或色调的阈值处理来执行。
在候选区域提取处理中,在步骤S131-2中,候选区域提取单元61对通过对捕获图像进行二值化而获得的二值化图像执行侵蚀处理,并控制二值化图像的噪声。
此外,在候选区域提取处理中,在步骤S131-3中,候选区域提取单元61对侵蚀处理之后的二值化图像执行膨胀处理。
之后,在候选区域提取处理中,在步骤S131-4中,候选区域提取单元61执行如下轮廓检测处理:在膨胀处理之后获得的二值化图像中检测具有例如1的像素值的像素的区域的轮廓,即,在捕获图像中假设出现圆12的像素的区域的轮廓。
在候选区域提取处理中,在步骤S131-5中,候选区域提取单元61然后从捕获图像中提取与外接于通过轮廓检测处理检测到的轮廓的最小矩形对应的区域作为候选区域,并且将该区域提供给特征量提取单元62。
在通过轮廓检测处理检测到多个轮廓的情况下,针对多个轮廓中的每个轮廓提取候选区域。
在步骤S132中,特征量提取单元62针对从候选区域提取单元61获得的候选区域中的每个候选区域执行提取候选区域的特征量的特征量提取处理,并且将通过特征量提取处理获得的每个候选区域的特征量提供给辨别单元63。
在步骤S132的特征量提取处理中,除了计算如图11中的步骤S32的情况下的特征量之外,特征量提取单元62还计算例如各个圆11和12的亮度之间的距离。
换句话说,在步骤S132中的特征量提取处理中,特征量提取单元62计算各个圆11和12的亮度之间的距离,而不是各个圆11和12的色调之间的距离。在亮度之间的距离小的情况下,特征量提取单元62计算各个圆11和12的色调之间的距离。
这里,例如,在各个圆11和圆12的亮度之间的距离等于或大于类似地针对表达式(3)的阈值TH计算的亮度之间的距离的阈值的情况下,候选区域更可能被辨别为勘测标记10。
在步骤S133中,辨别单元63针对每个候选区域,基于来自特征量提取单元62的候选区域的特征量,在捕获图像中辨别(示出)出现在捕获图像中的勘测标记10(的圆12)(的区域)。
换句话说,如图11中的步骤S33的情况,辨别单元63基于候选区域的特征量来辨别候选区域是否包括勘测标记10。
此外,在辨别出候选区域包括勘测标记10的情况下,辨别单元63基于辨别结果从自相机21获得的捕获图像中检测勘测标记10,并输出检测结果。
注意,在步骤S133中,在各个圆11和12之间的距离大(等于或大于阈值)的情况下,辨别单元63可以在不使用各个圆11和12的色调之间的距离的情况下辨别候选区域是否包括勘测标记10。
此外,在步骤S133中,在各个圆11和12的亮度之间的距离小(不大)的情况下,辨别单元63可以使用各个圆11和12的色调之间的距离,以辨别候选区域是否包括勘测标记10。
如上所述,当候选区域的特征量包括各个圆11和12的色调或亮度之间的距离时,可以更准确地检测勘测标记10。
图35是用于描述在图34的步骤S131-1中执行的对捕获图像的每个像素进行二值化的详细处理的示例的流程图。
注意,这里,为了便于辨别现实中的颜色,将具有亮度L和色调H二者的彩色颜色(例如,红色)用于勘测标记10的圆12的颜色。
在步骤S151中,候选区域提取单元61选择捕获图像的像素中的尚未被选择作为关注像素的一个像素作为关注像素,并且处理进行到步骤S152。
在步骤S152中,候选区域提取单元61计算并且然后获取关注像素的亮度L和色调H,并且处理进入步骤S153。
在步骤S153中,候选区域提取单元61确定关注像素的色调H是否被认为是圆12的颜色的色调,即,关注像素的色调H是否满足α<H的表达式和H<β的表达式。
这里,α和β分别表示在被认为是圆12的颜色的色调的范围中的最小值和最大值,并且被预先设置。
此外,在步骤S153中,候选区域提取单元61确定关注像素的亮度L是否被认为是圆12的亮度,即,关注像素的亮度L是否满足γ<H的表达式和H<δ的表达式。
这里,γ和δ分别表示在被认为是圆12的亮度的范围中的最小值和最大值,并且被预先设置。
在步骤S153中,在关注像素的色调H满足α<H的表达式和H<β的表达式,并且关注像素的亮度L满足γ<H的表达式和H<δ的表达式的情况下,处理进入步骤S154。
在步骤S154中,候选区域提取单元61假设关注像素是圆12的亮度和色调的像素,并且将关注像素的像素值设置为表示圆12的亮度和色调的像素的1。处理进入步骤S156。
此外,在步骤S153中,在确定关注像素的色调H不满足α<H的表达式或H<β的表达式中的至少一个或者关注像素的亮度L不满足γ<H的表达式或H<δ的表达式中的至少一个的情况下,处理进入步骤S155。
在步骤S155中,候选区域提取单元61假设关注像素不是圆12的亮度和色调的像素,并且将关注像素的像素值设置为不表示圆12的亮度和色调的像素的0。处理进入步骤S156。
在步骤S156中,候选区域提取单元61确定是否选择了捕获图像的所有像素作为关注像素。
在步骤S156中,当确定捕获图像的所有像素尚未被选择为关注像素时,处理返回到步骤S151。在步骤S151中,候选区域提取单元61再次选择捕获图像的像素中的尚未被选择作为关注像素的一个像素作为关注像素,并且此后重复类似处理。
此外,在步骤S156中,当确定捕获图像的所有像素均被选择为关注像素时,终止二值化处理。
图36是用于描述在图34的步骤S132中执行的特征量提取处理中提取各个圆11和12的亮度之间的距离作为特征量的处理的示例的流程图。
在步骤S171中,特征量提取单元62假设候选区域是外接于圆12的区域,并且检测示出(应当示出)存在于候选区域中的各个圆11和12的像素(在圆11的区域中的像素和在圆12的区域中的像素)。处理进入步骤S172。
在步骤S172中,特征量提取单元62计算并获取圆11的区域中的每个像素的亮度,并且还计算并获取圆12的区域中的每个像素的亮度。处理进行到步骤S173。
在步骤S173中,特征量提取单元62计算圆11的区域中的各个像素的亮度的平均值和圆12的区域中的各个像素的亮度的平均值之间的绝对差值,作为各个圆11和12的亮度之间的距离。然后终止处理。
如上所述,可以通过使用勘测标记10的相邻的圆的亮度和色调之间的距离中的一个或两个来执行从捕获图像中检测勘测标记10。
这里,在本说明书中,由诸如云服务器30的计算机根据程序执行的处理不一定按照流程图中描述的顺序按时间顺序执行。换句话说,由计算机根据程序执行的处理还包括并行或单独执行的处理(例如,并行处理或按对象处理)。
此外,程序可以由单个计算机(处理器)处理,或者可以由多个计算机分发和处理。此外,程序可以被传送到远程计算机以执行。
此外,在本说明书中,系统意味着多个组成元件(装置、模块(部件)等)的聚合,而不管是否所有组成元件都包括在同一壳体中。因此,容纳在单独的壳体中并经由网络彼此连接的多个装置是系统,并且在一个壳体中包括多个模块的一个装置也是系统。
注意,本公开的实施方式不限于上述实施方式,并且可以在不脱离本公开的主旨的情况下进行各种修改。
换句话说,在本实施方式中,已经描述了将本技术应用于土壤量测量系统的情况,但是本技术可以应用于除土壤量测量系统之外的系统,例如通过使用勘测标记的空中图像捕获来执行用于建筑物或其他的任意测量的系统。
此外,本技术可以具有其中多个装置共享一个功能并且经由网络协作执行处理的云计算的配置。
此外,上述流程图中描述的步骤可以由一个装置执行或由多个装置共享和执行。
此外,在一个步骤包括多个处理步骤的情况下,一个步骤中的多个处理步骤可以由一个装置执行或者由多个装置共享和执行。
此外,本文公开的效果仅是示例性的效果,并非限制性的效果,并且可以产生任何其他效果。
注意,本技术可以具有以下配置。
<1>一种图像处理装置,包括:
候选区域提取单元,其从对勘测标记进行图像捕获而获得的捕获图像中提取候选区域,所述候选区域是所述勘测标记出现的区域的候选,所述勘测标记具有平面形状并且包括同心设置的多个圆,所述多个圆包括各自具有不同的亮度或色调的相邻圆;
特征量提取单元,其提取所述候选区域的特征量;以及
辨别单元,其基于所述特征量辨别所述勘测标记。
<2>根据<1>的图像处理装置,其中,
所述候选区域提取单元通过至少使用所述多个圆中的具有第二小半径的圆的色调、饱和度和亮度中的色调来提取所述候选区域。
<3>根据<1>或<2>所述的图像处理装置,其中,
所述特征量提取单元提取所述多个圆中的具有最小半径的圆的亮度或色调与具有第二小半径的圆的亮度或色调之间的距离作为所述特征量。
<4>根据<1>至<3>中任一项的图像处理装置,其中,
所述特征量提取单元提取所述候选区域与通过将所述候选区域旋转除2π的整数倍之外的预定角度而获得的旋转图像之间的相关性作为所述特征量。
<5>根据<1>至<4>中任一项的图像处理装置,其中,
所述特征量提取单元将强调提供给所述圆的颜色的滤波器应用于所述候选区域和所述勘测标记的模板图像,并且提取应用所述滤波器之后的所述候选区域与所述模板图像之间的相关性作为所述特征量。
<6>根据<1>至<5>中任一项的图像处理装置,其中,
所述勘测标记包括内置的检测装置,所述检测装置获取关于所述勘测标记的信息,以及
所述候选区域提取单元通过使用由所述检测装置检测的关于所述勘测标记的信息来提取所述候选区域。
<7>根据<1>至<6>中任一项的图像处理装置,其中,
所述勘测标记包括检测照度的内置的照度检测装置,
所述特征量提取单元提取所述多个圆中的具有最小半径的圆的亮度或色调与具有第二小半径的圆的亮度或色调之间的距离作为所述特征量,以及
所述辨别单元通过使用由所述照度检测装置检测的所述勘测标记的照度来设置预定阈值,将所述距离与所述预定阈值进行比较,并且基于比较结果,辨别所述候选区域是否是所述勘测标记。
<8>根据<1>至<7>中任一项的图像处理装置,其中,
使用所述勘测标记的辨别结果来创建三维模型。
<9>根据<8>的图像处理装置,其中,
使用所述三维模型来执行土壤量测量。
<10>一种图像处理方法,包括:
从对勘测标记进行图像捕获而获得的捕获图像中提取候选区域,所述候选区域是所述勘测标记出现的区域的候选,所述勘测标记具有平面形状并且包括同心设置的多个圆,所述多个圆包括各自具有不同的亮度或色调的相邻圆;
提取所述候选区域的特征量;以及
基于所述特征量辨别所述勘测标记。
<11>一种程序,使计算机用作以下单元:
候选区域提取单元,其从对勘测标记进行图像捕获而获得的捕获图像中提取候选区域,所述候选区域是所述勘测标记出现的区域的候选,所述勘测标记具有平面形状并且包括同心设置的多个圆,所述多个圆包括各自具有不同的亮度或色调的相邻圆;
特征量提取单元,其提取所述候选区域的特征量;以及
辨别单元,其基于所述特征量辨别所述勘测标记。
<12>一种勘测标记,其具有平面形状并且包括同心设置且各自具有不同半径的多个圆,所述多个圆包括各自具有不同的亮度或色调的相邻圆。
<13>根据<12>的勘测标记,其中,
所述勘测标记包括两个圆作为所述多个圆。
<14>根据<12>的勘测标记,其中,
所述勘测标记包括三个圆作为所述多个圆。
<15>根据<12>至<14>中任一项的勘测标记,其中,
所述多个圆中的相邻的两个圆的颜色是两种预定颜色,其中从捕获图像获得的两个相邻区域的亮度或色调之间的距离具有预定阈值或更大值,所述捕获图像是对包括具有所述两个圆的颜色的所述两个相邻区域的标记进行图像捕获而获得的。
<16>根据<15>的勘测标记,其中,
所述多个圆中的具有最小半径的圆的颜色和具有第二小半径的圆的颜色是所述两种预定颜色。
<17>根据<16>的勘测标记,其中,
所述具有第二小半径的圆的去除了所述具有最小半径的圆而获得的部分的面积是所述具有最小半径的圆的面积的约1.0倍至3.0倍。
<18>根据<12>至<17>中任一项的勘测标记,其中,
所述勘测标记具有平面形状并且包括同心设置的多个圆,并且设置有包括所述多个圆的矩形。
<19>根据<12>至<18>中任一项的勘测标记,其中,
所述勘测标记在所述多个圆中的具有最小半径的圆的部分中包括检测照度的内置的照度检测装置。
附图标记列表
10 勘测标记
11 圆(柱状构件)
12,13 圆(圆形构件)
14 框区域
20 无人机
21 相机
30 云服务器
31 总线
32 CPU
33 ROM
34 RAM
35 硬盘
36 输出单元
37 输入单元
38 通信单元
39 驱动器
40 输入/输出接口
41 可移除记录介质
61 候选区域提取单元
62 特征量提取单元
63 辨别单元
111 通信单元
112 控制单元
113 驱动控制单元
114 飞行机构
121 飞行控制装置
201至203、213、223、231、250 构件
300 HLS颜色空间

Claims (18)

1.一种图像处理装置,包括:
候选区域提取单元,其从对勘测标记进行图像捕获而获得的捕获图像中提取候选区域,所述候选区域是所述勘测标记出现的区域的候选,所述勘测标记具有平面形状并且包括同心设置的多个圆,所述多个圆包括各自具有不同的亮度或色调的相邻圆;
特征量提取单元,其提取所述候选区域的特征量;以及
辨别单元,其基于所述特征量辨别所述勘测标记,
其中,所述勘测标记在所述多个圆中的具有最小半径的圆的部分中包括检测照度的内置的照度检测装置。
2.根据权利要求1所述的图像处理装置,其中,
所述候选区域提取单元通过至少使用所述多个圆中的具有第二小半径的圆的色调、饱和度和亮度中的色调来提取所述候选区域。
3.根据权利要求1所述的图像处理装置,其中,
所述特征量提取单元提取所述多个圆中的具有最小半径的圆的亮度或色调与具有第二小半径的圆的亮度或色调之间的距离作为所述特征量。
4.根据权利要求1所述的图像处理装置,其中,
所述特征量提取单元提取所述候选区域与通过将所述候选区域旋转除2π的整数倍之外的预定角度而获得的旋转图像之间的相关性作为所述特征量。
5.根据权利要求1所述的图像处理装置,其中,
所述特征量提取单元将强调提供给所述圆的颜色的滤波器应用于所述候选区域和所述勘测标记的模板图像,并且提取应用所述滤波器之后的所述候选区域与所述模板图像之间的相关性作为所述特征量。
6.根据权利要求1所述的图像处理装置,其中,
所述勘测标记包括内置的检测装置,所述检测装置获取关于所述勘测标记的信息,以及
所述候选区域提取单元通过使用由所述检测装置检测的关于所述勘测标记的信息来提取所述候选区域。
7.根据权利要求1所述的图像处理装置,其中,
所述特征量提取单元提取所述多个圆中的具有最小半径的圆的亮度或色调与具有第二小半径的圆的亮度或色调之间的距离作为所述特征量,以及
所述辨别单元通过使用由所述照度检测装置检测的所述勘测标记的照度来设置预定阈值,将所述距离与所述预定阈值进行比较,并且基于比较结果,辨别所述候选区域是否是所述勘测标记。
8.根据权利要求1所述的图像处理装置,其中,
使用所述勘测标记的辨别结果来创建三维模型。
9.根据权利要求8所述的图像处理装置,其中,
使用所述三维模型来执行土壤量测量。
10.一种图像处理方法,包括:
从对勘测标记进行图像捕获而获得的捕获图像中提取候选区域,所述候选区域是所述勘测标记出现的区域的候选,所述勘测标记具有平面形状并且包括同心设置的多个圆,所述多个圆包括各自具有不同的亮度或色调的相邻圆;
提取所述候选区域的特征量;以及
基于所述特征量辨别所述勘测标记,
其中,所述勘测标记在所述多个圆中的具有最小半径的圆的部分中包括检测照度的内置的照度检测装置。
11.一种存储有程序的计算机可读存储介质,所述程序使计算机用作以下单元:
候选区域提取单元,其从对勘测标记进行图像捕获而获得的捕获图像中提取候选区域,所述候选区域是所述勘测标记出现的区域的候选,所述勘测标记具有平面形状并且包括同心设置的多个圆,所述多个圆包括各自具有不同的亮度或色调的相邻圆;
特征量提取单元,其提取所述候选区域的特征量;以及
辨别单元,其基于所述特征量辨别所述勘测标记,
其中,所述勘测标记在所述多个圆中的具有最小半径的圆的部分中包括检测照度的内置的照度检测装置。
12.一种勘测标记,其具有平面形状并且包括同心设置且各自具有不同半径的多个圆,所述多个圆包括各自具有不同的亮度或色调的相邻圆,
其中,所述勘测标记在所述多个圆中的具有最小半径的圆的部分中包括检测照度的内置的照度检测装置。
13.根据权利要求12所述的勘测标记,其中,
所述勘测标记包括两个圆作为所述多个圆。
14.根据权利要求12所述的勘测标记,其中,
所述勘测标记包括三个圆作为所述多个圆。
15.根据权利要求12所述的勘测标记,其中,
所述多个圆中的相邻的两个圆的颜色是两种预定颜色,其中从捕获图像获得的两个相邻区域的亮度或色调之间的距离具有预定阈值或更大值,所述捕获图像是对包括具有所述两个圆的颜色的所述两个相邻区域的标记进行图像捕获而获得的。
16.根据权利要求15所述的勘测标记,其中,
所述多个圆中的具有最小半径的圆的颜色和具有第二小半径的圆的颜色是所述两种预定颜色。
17.根据权利要求16所述的勘测标记,其中,
所述具有第二小半径的圆的去除了所述具有最小半径的圆而获得的部分的面积是所述具有最小半径的圆的面积的1.0倍至3.0倍。
18.根据权利要求12所述的勘测标记,其中,
所述勘测标记具有平面形状并且包括同心设置的多个圆,并且设置有包括所述多个圆的矩形。
CN201780079293.9A 2016-12-27 2017-12-14 勘测标记、图像处理装置、图像处理方法和程序 Active CN110100149B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-253064 2016-12-27
JP2016253064 2016-12-27
PCT/JP2017/044840 WO2018123607A1 (ja) 2016-12-27 2017-12-14 対空標識、画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN110100149A CN110100149A (zh) 2019-08-06
CN110100149B true CN110100149B (zh) 2021-08-24

Family

ID=62707441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780079293.9A Active CN110100149B (zh) 2016-12-27 2017-12-14 勘测标记、图像处理装置、图像处理方法和程序

Country Status (5)

Country Link
US (2) US11164029B2 (zh)
EP (1) EP3564620A4 (zh)
JP (3) JP7095600B2 (zh)
CN (1) CN110100149B (zh)
WO (1) WO2018123607A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017128273A1 (en) * 2016-01-29 2017-08-03 Hewlett Packard Enterprise Development Lp Error block determination
DK3497530T3 (da) 2016-08-26 2021-09-06 Sz Dji Technology Co Ltd Fremgangsmåder og system til selvstyrende landing
US11726478B2 (en) 2018-11-05 2023-08-15 Usic, Llc Systems and methods for autonomous marking maintenance
US11467582B2 (en) 2018-11-05 2022-10-11 Usic, Llc Systems and methods for an autonomous marking apparatus
JP2020094974A (ja) * 2018-12-14 2020-06-18 株式会社フジタ 変位計測マーカー及び変位計測システム
US10896483B2 (en) * 2018-12-14 2021-01-19 Adobe Inc. Dynamic content generation system
CN110514182A (zh) * 2019-08-21 2019-11-29 喻昕蕾 一种水文现场的远程测量系统及方法
KR102108756B1 (ko) * 2019-12-02 2020-05-11 대한민국 부채형태로 변형 가능한 대공표지
CN111754576B (zh) * 2020-06-30 2023-08-08 广东博智林机器人有限公司 一种架体量测系统、图像定位方法、电子设备及存储介质
CN112184713A (zh) * 2020-11-06 2021-01-05 上海柏楚电子科技股份有限公司 切割含焊缝管材的控制方法、装置、切割系统、设备与介质
CN114593714A (zh) * 2022-03-14 2022-06-07 国网山东省电力公司德州供电公司 一种用于倾斜摄影建模的地面像控点装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4442154A1 (de) * 1994-04-08 1995-10-12 Feldmuehle Ag Stora Verfahren zum Einleiten eines vorzeitigen Rollenwechsels
EP0754159A1 (de) * 1994-04-08 1997-01-22 Stora Feldmühle Aktiengesellschaft Verfahren zum einleiten eines vorzeitigen rollenwechsels
JP2865168B1 (ja) * 1997-07-18 1999-03-08 有限会社アートウイング 動作データ作成システム
CN1455222A (zh) * 2003-04-11 2003-11-12 天津大学 一种摄像机标定方法及其实施装置
JP2005140550A (ja) * 2003-11-04 2005-06-02 Universal Technology Corp 三次元モデル作成方法
JP2005140547A (ja) * 2003-11-04 2005-06-02 3D Media Co Ltd 3次元計測方法、3次元計測装置、及びコンピュータプログラム
CN1881234A (zh) * 2005-06-14 2006-12-20 佳能株式会社 图像处理设备、图像处理方法、计算机程序和存储介质
CN101324435A (zh) * 2007-06-15 2008-12-17 展讯通信(上海)有限公司 一种获得方向信息的方法与装置
CN102222352A (zh) * 2010-04-16 2011-10-19 株式会社日立医疗器械 图像处理方法和图像处理装置
CN102663391A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术(中国)有限公司 一种图像的多特征提取与融合方法及系统
CN102902973A (zh) * 2012-09-28 2013-01-30 中国科学院自动化研究所 一种具有旋转不变性的图像特征的提取方法
JP2014066538A (ja) * 2012-09-25 2014-04-17 Mitsubishi Electric Corp 写真計測用ターゲット及び写真計測方法
JP2014126424A (ja) * 2012-12-26 2014-07-07 Kawasaki Heavy Ind Ltd 三次元計測用シール
CN105121620A (zh) * 2013-05-31 2015-12-02 富士施乐株式会社 图像处理设备、图像处理方法、程序和存储介质
CN205066771U (zh) * 2015-10-21 2016-03-02 中国矿业大学 摄影测量相控点标志
US9454697B2 (en) * 2008-04-17 2016-09-27 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
JP2016194515A (ja) * 2015-04-01 2016-11-17 Terra Drone株式会社 点群データ生成用画像の撮影方法、及び当該画像を用いた点群データ生成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3633285A (en) * 1970-03-09 1972-01-11 Litton Systems Inc Laser markmanship trainer
GB1449522A (en) * 1974-06-05 1976-09-15 Rank Organisation Ltd Aircraft parking position indicator
JP3267733B2 (ja) * 1993-04-09 2002-03-25 石川島播磨重工業株式会社 2物体間の相対的位置及び角度の検出方法及び装置とこれに用いるマーカー
JP2002503338A (ja) * 1997-05-30 2002-01-29 ブリティッシュ・ブロードキャスティング・コーポレーション 位置検出
JP2002211494A (ja) * 2001-01-17 2002-07-31 Todaka Seisakusho:Kk 無人ヘリコプタ用飛行計画装置
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
CN201177499Y (zh) * 2008-01-08 2009-01-07 何淑娟 倾角测量装置
US10393928B2 (en) * 2015-04-30 2019-08-27 Mark Wegmann Bands of retroreflective targets and methods of making same
CN205000207U (zh) * 2015-09-10 2016-01-27 西南交通大学 Cpⅳ网测量标志组件

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0754159A1 (de) * 1994-04-08 1997-01-22 Stora Feldmühle Aktiengesellschaft Verfahren zum einleiten eines vorzeitigen rollenwechsels
DE4442154A1 (de) * 1994-04-08 1995-10-12 Feldmuehle Ag Stora Verfahren zum Einleiten eines vorzeitigen Rollenwechsels
JP2865168B1 (ja) * 1997-07-18 1999-03-08 有限会社アートウイング 動作データ作成システム
CN1455222A (zh) * 2003-04-11 2003-11-12 天津大学 一种摄像机标定方法及其实施装置
JP2005140550A (ja) * 2003-11-04 2005-06-02 Universal Technology Corp 三次元モデル作成方法
JP2005140547A (ja) * 2003-11-04 2005-06-02 3D Media Co Ltd 3次元計測方法、3次元計測装置、及びコンピュータプログラム
CN1881234A (zh) * 2005-06-14 2006-12-20 佳能株式会社 图像处理设备、图像处理方法、计算机程序和存储介质
CN101324435A (zh) * 2007-06-15 2008-12-17 展讯通信(上海)有限公司 一种获得方向信息的方法与装置
US9454697B2 (en) * 2008-04-17 2016-09-27 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
CN102222352A (zh) * 2010-04-16 2011-10-19 株式会社日立医疗器械 图像处理方法和图像处理装置
CN102663391A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术(中国)有限公司 一种图像的多特征提取与融合方法及系统
JP2014066538A (ja) * 2012-09-25 2014-04-17 Mitsubishi Electric Corp 写真計測用ターゲット及び写真計測方法
CN102902973A (zh) * 2012-09-28 2013-01-30 中国科学院自动化研究所 一种具有旋转不变性的图像特征的提取方法
JP2014126424A (ja) * 2012-12-26 2014-07-07 Kawasaki Heavy Ind Ltd 三次元計測用シール
CN105121620A (zh) * 2013-05-31 2015-12-02 富士施乐株式会社 图像处理设备、图像处理方法、程序和存储介质
JP2016194515A (ja) * 2015-04-01 2016-11-17 Terra Drone株式会社 点群データ生成用画像の撮影方法、及び当該画像を用いた点群データ生成方法
CN205066771U (zh) * 2015-10-21 2016-03-02 中国矿业大学 摄影测量相控点标志

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
a vision based onboard approach for landing and position control of an autonomous multirotor UAV in GPS-denied environments;SEVEN LANGE et al.;《advanced robotics international conference on IEEE》;20090722;1-6 *
Multiring Fiducial Systems for Scalable Fiducial-Tracking Augmented Reality;YOUNGKWAN CHO et al.;《Presence》;20011231;第10卷(第6期);599-612 *
robust marker-tracking system for vision-based autonomous landing of VTOL UAVs;M VERBANDT et al.;《international micro air vehicle conference and competition》;20140814 *
基于特征不变量的近景摄影测量标志点的识别方法;姚喜 等;《测绘技术装备》;20100331;第12卷(第1期);23-26 *

Also Published As

Publication number Publication date
JP2022133328A (ja) 2022-09-13
JP2024001271A (ja) 2024-01-09
CN110100149A (zh) 2019-08-06
EP3564620A4 (en) 2020-09-16
JP7095600B2 (ja) 2022-07-05
US20220004796A1 (en) 2022-01-06
WO2018123607A1 (ja) 2018-07-05
US20200065605A1 (en) 2020-02-27
EP3564620A1 (en) 2019-11-06
JPWO2018123607A1 (ja) 2019-10-31
US11164029B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
CN110100149B (zh) 勘测标记、图像处理装置、图像处理方法和程序
US11733042B2 (en) Information processing apparatus, information processing method, program, and ground marker system
US11454988B2 (en) Systems and methods for automated landing of a drone
JP7113044B2 (ja) 航空画像からの自動物体検出のための方法およびシステム
Nagarani et al. Unmanned Aerial vehicle’s runway landing system with efficient target detection by using morphological fusion for military surveillance system
Rahimzadeganasl et al. Automatic building detection based on CIE LUV color space using very high resolution pleiades images
Kim et al. Illumination invariant road detection based on learning method
EP4052224B1 (en) Method for generating a three dimensional, 3d, model
KR101199959B1 (ko) 영상 내 교통표지판 인식 시스템
Levora et al. Emergency landing site location using aerial image segmentation
KR101050730B1 (ko) 활주로 보조선 기반의 무인 항공기 위치 제어장치 및 그 제어방법
US11900670B2 (en) Construction stage detection using satellite or aerial imagery
US11908185B2 (en) Roads and grading detection using satellite or aerial imagery
US20240005522A1 (en) New construction detection using satellite or aerial imagery
EP4296968A1 (en) Method for labelling a water surface within an image, method for providing a training dataset for training, validating, and/or testing a machine learning algorithm, machine learning algorithm for detecting a water surface in an image, and water surface detection system
KR102023470B1 (ko) 비행경로생성 알고리즘을 이용한 태양광 모듈 감시 시스템 및 이를 이용한 태양광 모듈 감시 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant