CN109565544B - 位置指定装置及位置指定方法 - Google Patents

位置指定装置及位置指定方法 Download PDF

Info

Publication number
CN109565544B
CN109565544B CN201780047985.5A CN201780047985A CN109565544B CN 109565544 B CN109565544 B CN 109565544B CN 201780047985 A CN201780047985 A CN 201780047985A CN 109565544 B CN109565544 B CN 109565544B
Authority
CN
China
Prior art keywords
image
captured images
captured
unit
selected image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780047985.5A
Other languages
English (en)
Other versions
CN109565544A (zh
Inventor
田丸贵行
德井圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN109565544A publication Critical patent/CN109565544A/zh
Application granted granted Critical
Publication of CN109565544B publication Critical patent/CN109565544B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Abstract

本发明提供用于将测量点指定至所期望的位置的位置指定技术。位置指定装置(1)包括：第一位置接受部(102)，其使合成图像显示于显示装置(11)，并经由输入装置(12)接受合成图像上的第一位置的输入；图像选择部(103)，根据第一位置，从多个拍摄图像中选择一个选择图像；以及第二位置接受部(104)，其使选择图像的至少一部分显示于显示装置(11)，并经由输入装置(12)接受选择图像上的第二位置的输入。

Description

位置指定装置及位置指定方法
技术领域
本发明的一个方式涉及一种位置指定装置及位置指定方法。
背景技术
作为在通过相机进行的拍摄的过程中拍摄出深景深图像的技术，已知有如下技术，即，拍摄焦点位置不同的多个图像，对于图像内的各像素，选择多个拍摄图像中的恰当的像素即有焦点的像素进行合成，由此，产生景深深的图像。
另外，作为拍摄出动态范围广的图像的技术，已知有如下技术，即，拍摄曝光量不同的多个图像，对于图像内的各像素，选择多个拍摄图像中的恰当的像素即有曝光的像素进行合成，由此，产生动态范围广的图像。
例如，专利文献1中记载了如下方法，该方法使用拍摄同一被摄体而获得的曝光量不同的多个输入图像，获得动态范围得到改善且劣化少的更自然的图像。
现有技术文献
专利文献
专利文献1：日本专利公开公报“特开2012-165259号公报(2012年8月30日公开)”
发明内容
本发明所要解决的技术问题
但是，近年来，已开发出了计算出拍摄图像中的任意测量点的三维图像的测量技术。例如，已知有如下技术，该技术根据拍摄位置不同的多个拍摄图像计算出视差，并参照各图像的拍摄位置的信息，计算出任意测量点的三维信息。另外，也已知有如下技术，该技术参照对应于拍摄图像的纵深信息，计算出任意测量点的三维信息。
在此种测量技术中，用户例如对显示装置所显示的拍摄图像进行确认，经由输入装置来指定拍摄图像中的测量点的位置。此时，例如在使用现有的自动曝光控制进行了拍摄的情况下，有时会在拍摄图像中发生灰阶饱和。特别是视角广的图像容易发生灰阶饱和。另外，也有拍摄图像的景深浅的情况。在此种情况下，用户难以在拍摄图像中的发生了灰阶饱和的部分及未合焦的部分，将测量点指定至预期的位置。
此处，例如若使用专利文献1所记载的技术，则能够获取灰阶饱和受到了抑制的合成图像。因此，通过采用由用户在该合成图像上指定测量点的位置的结构，用户或许能够容易地将测量点指定至预期的位置。但是，在专利文献1所记载的技术中，为了获得合成图像，需要复杂的图像处理。因此，有用的是通过新颖的结构，实现用于将测量点指定至所期望的位置的位置指定技术。
本发明的一方式是鉴于所述问题点而成，其目的在于实现用于将测量点指定至所期望的位置的位置指定技术。
解决问题的方案
为了解决所述问题，本发明的一方式的位置指定装置的结构包括：图像获取部，获取被摄体相同的多个拍摄图像、及所述多个拍摄图像的合成图像；第一位置接受部，其使所述合成图像显示于显示装置，并经由输入装置接受所述合成图像上的第一位置的输入；图像选择部，其根据所述第一位置，从所述多个拍摄图像中选择一个选择图像；以及第二位置接受部，其使所述选择图像的至少一部分显示于所述显示装置，并经由所述输入装置接受所述选择图像上的第二位置的输入。
发明效果
根据本发明的一个方式，会产生能够将测量点指定至所期望的位置的效果。
附图说明
图1是表示本发明第一实施方式的位置指定装置的一结构例的框图。
图2是表示本发明的若干个实施方式的位置指定装置的处理的流程图。
图3是表示本发明第一实施方式的位置指定装置的输出图像的一例的图。
图4是表示本发明第一实施方式的位置指定装置的输出图像的一例的图。
图5是从拍摄时的像素值向显示于显示装置时的像素值转换的转换曲线图。
图6是表示本发明第二实施方式的位置指定装置的输出图像的一例的图。
图7是表示本发明第三实施方式的测量装置的一结构例的框图。
图8是表示本发明第三实施方式的测量装置的处理的流程图。
图9是表示本发明第四实施方式的测量装置的一结构例的框图。
图10是表示本发明的若干个实施方式的测量装置的处理的流程图。
图11是对三角测量的方法进行说明的图。
图12是对块匹配的方法进行说明的图。
图13是表示本发明的第五实施方式的测量装置的一结构例的框图。
图14是表示本发明第五实施方式的测量装置中的拍摄装置的合成处理部的一结构例的框图。
图15是表示合成处理部的处理的流程图。
图16是表示本发明第六实施方式的测量装置的一结构例的框图。
图17是表示本发明第六实施方式的测量装置的输出图像的一例的图。
图18是表示用于检测边缘强度的滤波器的系数的例子的图。
具体实施方式
[1.实施方式1]
以下，参照附图来具体地对本发明第一实施方式的位置指定装置1进行说明。
图1是表示本发明第一实施方式的位置指定装置1的一结构例的框图。如图1所示，位置指定装置1包括控制部10、显示装置11及输入装置12。控制部10、显示装置11及输入装置12可以一体化，也可以构成为不同个体。
控制部10是统一地对位置指定装置1进行控制的控制部，其作为图像获取部101、第一位置接受部102、图像选择部103及第二位置接受部104而发挥功能。控制部10的处理的详情将后述。
控制部10也可以是如下处理装置或硬件，所述处理装置包括未图示的中央处理器(Central Processing Unit，CPU)等处理器、或随机存取存储器(Random Access Memory，RAM)等主存储装置等，执行存储装置中所存储的程序而进行处理，所述硬件包括现场可编程门阵列(Field Programmable Gate Array，FPGA)等可编程的集成电路、执行各处理的集成电路。
显示装置11例如能够利用阴极射线管(Cathode Ray Tube，CRT)、液晶显示器、有机电致发光(Electroluminescence，EL)显示器等显示装置。另外，输入装置12例如能够利用鼠标、手写板、触控面板等。
(1)位置指定装置1的概要
位置指定装置1获取被摄体相同的多个拍摄图像(以下，有时仅称为“拍摄图像”)、及所述多个拍摄图像的合成图像(以下，有时仅称为“合成图像”)。接着，位置指定装置1使合成图像显示于显示装置11，经由输入装置12接受用户(操作者)对于指定的合成图像上的位置(第一位置)的指定。接着，位置指定装置1根据所接受的第一位置，从多个拍摄图像中选择一个选择图像。接着，位置指定装置1使选择图像的至少一部分显示于显示装置11，经由输入装置12接受用户对于指定的选择图像上的位置(第二位置)的指定。由此，用户能够将拍摄图像上的测量点指定至所期望的位置。
(2)位置指定处理的一例
以下，参照图2～图4对位置指定装置1中的位置指定处理的一例进行说明。图2是表示本实施方式的位置指定装置1的处理的流程图。另外，图3及图4是表示本实施方式的位置指定装置1的输出图像的一例的图。
(步骤S0101：图像获取工序)
本实施方式的位置指定装置1中的图像获取部101获取被摄体相同的多个拍摄图像、与所述多个拍摄图像的合成图像。
此处，所述“被摄体相同的多个拍摄图像”并无特别限定。例如，能够使用在不同拍摄条件下拍摄同一被摄体所得的多个拍摄图像。所述“拍摄条件”例如能够列举曝光量、焦点位置等。
在本实施方式中，对如下情况进行说明，该情况是指所述“被摄体相同的多个拍摄图像”是以不同曝光量拍摄同一被摄体所得的多个拍摄图像，所述“多个拍摄图像的合成图像”是合成多个拍摄图像并扩大了动态范围所得的合成图像。在一实施方式中，所述“多个拍摄图像的合成图像”可以是将各像素的像素值设为多个拍摄图像中的该像素的像素值的平均值所得的图像。作为产生扩大了动态范围的合成图像的其他方法，对于多个拍摄图像，按拍摄图像计算出以相关像素为中心的固定区域的对比度差，选择对比度差最大的拍摄图像进行合成，由此，也能够产生扩大了动态范围的合成图像。
在一方式中，图像获取部101例如也可以经由有线或无线连接而从外部的拍摄装置及图像处理装置获取多个拍摄图像及合成图像，位置指定装置1包括拍摄部及图像处理部，图像获取部101也可以从所述拍摄部及图像处理部获取多个拍摄图像及合成图像。
(步骤S0102：第一位置接受工序)
接着，第一位置接受部102使合成图像显示于显示装置11，经由输入装置12接受用户(操作者)对于指定的合成图像上的位置(第一位置)的指定。例如，当用户对鼠标、触摸板等输入装置12进行操作而指定了显示装置11所显示的合成图像上的位置(第一位置)时，输入装置12将输入信息输出至第一位置接受部102，由此，第一位置接受部102接受合成图像上的位置(第一位置)的输入。
如图3(a)所示，合成图像210是动态范围扩大后的合成图像，在无灰阶饱和的状态下，存在包含处于明亮区域的点211的被摄体A及包含处于昏暗区域的点212的被摄体B。因此，用户能够正确地辨识显示装置11所显示的合成图像上的任意的位置，并能够经由输入装置12指定所期望的位置。
相对于此，图3(b)及图3(c)分别表示以不同曝光量拍摄的拍摄图像210a及拍摄图像210b。即，图3(b)及图3(c)所示的拍摄图像210a及拍摄图像210b相当于用于合成图3(a)所示的合成图像210的多个拍摄图像。图3(b)所示的拍摄图像210a是将曝光时间设定得比图3(c)所示的拍摄图像210b更短而拍摄的图像。
在图3(b)所示的拍摄图像210a中，包含处于明亮区域的点211a的被摄体A的区域的灰阶未饱和，包含点212a的被摄体B的区域的亮度不足，因此，灰阶黑且已饱和。假设在第一位置接受部102使拍摄图像210a显示于显示装置11的情况下，用户虽能够正确地辨识点211a的位置，但因为发生了灰阶饱和，所以无法正确地辨识点212a的位置，从而难以恰当地指定点212a的位置。
另外，因为将曝光时间设定得比图3(b)所示的图像210a更长来拍摄图3(c)所示的拍摄图像210b，所以包含处于昏暗区域的点212b的被摄体B的区域的灰阶未饱和，包含点211b的被摄体A的区域过亮，因此，灰阶白且已饱和。假设在第一位置接受部102使拍摄图像210b显示于显示装置11的情况下，用户虽能够正确地辨识点212b的位置，但因为发生了灰阶饱和，所以无法正确地辨识点211b的位置，从而难以恰当地指定点211b的位置。
因此，第一位置接受部102使如图3(a)所示的合成图像210显示于显示装置11，由此，用户容易观察显示装置11所显示的合成图像210来搜寻合成图像210上的所期望的位置(第—位置)。而且，可在同一合成图像210上，指定处于明亮区域的点211的位置及处于昏暗区域的点212的位置这两个位置。
此外，第一位置接受部102可以接受合成图像210上的所期望的点的位置的输入，也可以接受合成图像210上的所期望的区域的位置的输入。
如以上的说明所述，在步骤S0102中，为了指定位置而显示的图像是动态范围扩大后的合成图像210。显示动态范围扩大后的合成图像210而指定合成图像210上的位置(第一位置)，由此，即使图像是对明暗差大的场景进行拍摄所得的图像，也无灰阶饱和，因此，容易对整个图像进行视觉辨认。例如，在指定对明暗差大的场景进行拍摄所得的图像上的任意的位置的情况下，动态范围扩大后的合成图像210无灰阶饱和。由此，能够在同一图像上，对明亮区域及昏暗区域这两个区域进行确认，因此，合成图像210适合于作为供用户搜寻图像上的想要指定的位置的图像。另外，通过指定合成图像210上的位置(第一位置)，可在同一图像上，指定明亮区域中的位置及昏暗区域中的位置这两个位置。
(步骤S0103：图像选择工序)
接着，图像选择部103根据在步骤S0102中接受的第一位置，从多个拍摄图像中选择一个选择图像。
作为选择图像的选择方法，例如，图像选择部103能够分别对于多个拍摄图像，计算出所述包含第一位置的局部区域中的灰阶饱和的程度，并选择该灰阶饱和的程度最小的拍摄图像作为选择图像。此处，所述“包含第一位置的局部区域”是指包含与第一位置对应的拍摄图像上的位置(第一位置对应位置)的拍摄图像中的局部区域。局部区域的大小并无特别限定，例如能够设为预定的像素数的矩形区域。
若更具体地进行说明，则在第一位置接受部102接受合成图像210上的点211的输入作为第一位置后(图3(a))，图像选择部103分别对于多个拍摄图像，分别计算出包含与拍摄图像上的点211对应的点(对应点)的拍摄图像中的局部区域中的灰阶饱和的程度。例如，图像选择部103对于拍摄图像210a，计算出包含对应点211a的拍摄图像210a中的局部区域中的灰阶饱和的程度(图3(b))，同样地对于拍摄图像210b，计算出包含对应点211b的拍摄图像210b中的局部区域中的灰阶饱和的程度(图3(c))。接着，图像选择部103从多个拍摄图像中，选择一个灰阶饱和的程度最小的拍摄图像作为选择图像。在本实施方式中，图像选择部103选择拍摄图像210a(图3(b))作为选择图像。图像选择部103也可以将选择图像保存于存储装置。
在一方式中，图像选择部103计算出局部区域内的已饱和的像素数作为所述“灰阶饱和的程度”，若已饱和的像素数少，则判断为灰阶饱和的程度低。在此情况下，“灰阶饱和的程度最小的拍摄图像”成为多个拍摄图像中，局部区域内的已饱和的像素数最少的拍摄图像。
(步骤S0104：第二位置接受工序)
接着，第二位置接受部104使作为选择图像的拍摄图像210a(即，选择图像210a')的至少一部分显示于显示装置11，经由输入装置12接受用户对于指定的选择图像上的位置(第二位置)的指定。
作为将选择图像显示于显示装置11的显示方法，第二位置接受部104可以使整个选择图像显示于显示装置11，也可以使包含选择图像上的第一位置对应位置的局部图像显示于显示装置11。另外，第二位置接受部104可以使局部图像等倍地显示于显示装置11，也可以使局部图像放大地显示于显示装置11。另外，第二位置接受部104可以仅使选择图像显示于显示装置11，也可以将选择图像重叠于合成图像而显示于显示装置11。在本实施方式中，如图4(a)所示，第二位置接受部104将包含作为选择图像的拍摄图像210a(即，选择图像210a')上的对应点211a的局部图像放大，使其作为放大显示图像111，重叠于合成图像210地显示于显示装置11。
接着，第二位置接受部104经由输入装置12，接受作为放大显示图像111而显示于显示装置11的选择图像210a'的局部图像上的点211a'(第二位置)的位置的输入(图4(a))。作为选择图像210a'的拍摄图像210a(图3(b))在对应点211a附近的区域中，灰阶未饱和。因此，用户可容易地对想要指定的点进行视觉辨认。另外，在第二位置接受部104使选择图像210a'放大地显示于显示装置11的情况下，用户能够容易地确认或指定想要指定的点的位置。
此外，拍摄图像210a上的对应点211a、与指定为第二位置的选择图像210a'的局部图像上的点211a'无需为同一坐标。用户能够在合成图像210上，将想要指定的点的大致位置指定为第一位置，并在选择图像210a'上，重新指定想要指定的点的正确位置。即，拍摄图像210a上的对应点211a是想要指定的点的大致位置，因此，会有如下情况，即，在通过对选择图像210a'进行确认，确定了想要指定的点的正确位置后，结果、指定为第二位置的选择图像210a'的局部图像上的点211a'的坐标成为与拍摄图像210a上的对应点211a的坐标不同的坐标。
位置指定装置1通过显示整个扩大了动态范围的合成图像，能够提高用户搜寻图像上的想要指定的位置时的视觉辨认性。而且，能够根据用户所指定的合成图像上的位置(第一位置)，选择灰阶饱和的程度最小的拍摄图像作为选择图像，并指定该选择图像上的位置(第二位置)，因此，用户可正确地指定想要指定的图像上的位置。
若为了合成出动态范围广的合成图像而对于同一被摄体拍摄曝光量不同的多个拍摄图像，则因为多个拍摄图像之间的拍摄时间不同，所以会产生由拍摄期间的拍摄装置的位置的移动、或被摄体的移动引起的偏移。因此，由产生了偏移的拍摄图像合成出的合成图像成为重像，从而产生无法正确地指定测量点的位置这一问题。因此，已知有如下技术，该技术如专利文献1所公开的发明所述，一边防止位置偏移，一边对拍摄同一被摄体所得的不同曝光量的多个图像进行合成，获取无由位置偏移引起的劣化的高品质的合成图像。为了获取无由位置偏移引起的劣化的高品质的合成图像，需要复杂的图像处理。结果是若使用此种合成图像来指定测量点的位置，则因为需要复杂的图像处理来获取高品质的合成图像，所以用户无法简单地指定图像上的所期望的测量点的位置。
相对于此，位置指定装置1使用合成图像供用户搜寻图像上的所期望的测量点的位置，在根据在合成图像上搜寻出的位置(第一位置)而选择的选择图像上指定测量点，因此，无需获取考虑了被摄体的位置偏移的高品质的合成图像，另外，即使合成图像为重像，因为在选择图像上指定测量点，所以也无如下问题，该问题是指无法在成为重像的合成图像上正确地指定测量点的位置。另外，在根据在合成图像上搜寻出的位置(第一位置)而选择的选择图像中，第一位置附近的灰阶未饱和，因此，可指定选择图像上的位置。由此，根据本实施方式的位置指定装置1，用户能够简单且正确地指定图像上的所期望的测量点的位置。
(3)位置指定装置1的变形例
(i)步骤S0103(图像选择工序)的变形例
步骤S0103还可以包含以下的子步骤：
(a)图像选择部103通过对在步骤S0103中选择的一个选择图像实施校正而获得校正条件不同的多个校正图像的工序(子步骤S01031；图像校正工序)
(b)图像选择部103根据在第一位置接受工序中接受的第一位置，从所述校正条件不同的多个校正图像中选择一个选择图像的工序(子步骤S01032；校正图像选择工序)。
对选择图像的对比度进行校正后，用户的视觉辨认性提高且较佳。使用图5说明对比度校正方法的例子。图5(a)表示在测量点周边昏暗时进行调亮的情况下，从拍摄时的像素值向显示于显示装置时的像素值转换的转换曲线图。因为测量点的像素值低且昏暗，所以将测量点的像素值设在可显示的范围的中心附近，且提高测量点周边的像素值的对比度，由此来提高视觉辨认性。
图5(b)是在测量点周边明亮时进行调暗的情况下，从拍摄时的像素值向显示于显示装置时的像素值转换的转换曲线图。由于测量点的像素值高且明亮，因此将测量点的像素值设在范围的中心附近，且提高测量点周边的对比度，由此来提高视觉辨认性。
图5(c)是在测量点周边为中间亮度时，从拍摄时的像素值向显示于显示装置时的像素值转换的转换曲线图，其成为提高对比度的处理。通过以上的处理，能够根据测量点周边的像素值来校正对比度，使用户的视觉辨认性提高。
子步骤(a)中的图像校正除了对比度校正以外，例如还能够列举γ校正、饱和度校正等。例如，在通过子步骤(a)获得的校正图像为实施了对比度校正的校正图像的情况下，子步骤(b)例如也可以是如下工序，即，图像选择部103分别对于多个校正图像，计算出包含第一位置的局部区域内的对比度差，选择该对比度差最大的校正图像作为选择图像。此处，所述“包含第一位置的局部区域”是指包含与第一位置对应的校正图像上的位置(第一位置对应位置)的校正图像中的局部区域。局部区域的大小并无特别限定。此外，能够计算出由该局部区域内的像素值的最大值减去像素值的最小值所得的值作为局部区域内的对比度差。
另外，例如，在通过子步骤(a)获得的校正图像为实施了饱和度校正的校正图像的情况下，子步骤(b)例如也可以是如下工序，即，图像选择部103分别对于多个校正图像，计算出包含第一位置的局部区域内的饱和度差，选择该饱和度差最大的校正图像作为选择图像。此外，例如能够将局部区域内的各像素值转换为HSV值，关于饱和度S的值，计算出由局部区域内的像素值的最大值减去最小值的差所得的值作为局部区域内的饱和度差。
另外，例如，在通过子步骤(a)获得的校正图像为实施了γ校正的校正图像的情况下，子步骤(b)例如也可以是如下工序，即，图像选择部103分别对于多个校正图像，计算出包含第一位置的局部区域内的对比度差，选择校正图像及原始图像中的该对比度差最大的图像作为选择图像。
另外，在其他实施方式中，在步骤S0103(图像选择工序)中，图像选择部103也可以根据在步骤S0102中接受的第一位置，从实施了图像校正的多个拍摄图像中选择一个选择图像。例如也可以是如下工序，即，分别对于实施了对比度校正的多个拍摄图像，计算出包含第一位置的局部区域内的对比度差，选择该对比度差最大的拍摄图像作为选择图像。通过选择校正了对比度的拍摄图像作为选择图像，用户的视觉辨认性提高且较佳。对多个拍摄图像实施的图像校正除了对比度校正以外，例如还能够列举γ校正、饱和度校正等。
由此，在后阶段的步骤S0104(第二位置接受工序)中，在校正图像上接受第二位置的输入，因此，用户容易更正确地指定第二位置。
图像选择部103通过众所周知的图像处理技术来对选择图像实施校正，从而制作校正条件不同的多个校正图像。图像选择部103根据第一位置，从制作的多个校正图像中选择一个选择图像。
图像选择部103例如分别对于多个校正图像，计算出包含第一位置的局部区域内的对比度差，选择该对比度差最大的校正图像作为选择图像。此外，能够计算出由该局部区域内的像素值的最大值减去像素值的最小值所得的值作为局部区域内的对比度差。
(ii)步骤S0104(第二位置接受工序)的变形例
步骤S0104还可以包含以下的子步骤：
(a)第二位置接受部104进一步接受选择图像上的与第二位置不同的第三位置的输入的工序(子步骤S01041)
第二位置接受部104也可以经由输入装置12，接受选择图像210a'上的与第二位置不同的第三位置的指定。
例如，当用户对输入装置12进行操作，指定了作为放大显示图像111而显示于显示装置11的选择图像210a'的局部图像上的与点211a'(第二位置)不同的点213(第三位置)时(图4(b))，输入装置12将点213的输入信息输出至控制部10，由此，第二位置接受部104接受选择图像210a'上的点213(第三位置)的输入。
作为选择图像210a'的拍摄图像210a(图3(b))在对应点211a的区域中，灰阶未饱和，用户可对想要指定的点进行视觉辨认。因此，存在于与点211a'(第二位置)相同的局部图像内的点213(第三位置)的灰阶也未饱和，用户可进行视觉辨认。另外，第二位置接受部104使选择图像210a'放大地显示于显示装置11，由此，用户能够容易地确认或指定想要指定的点的位置。能够与第三位置同样地指定任意个数的位置(例如第四位置、第五位置等)作为与点211a'(第二位置)不同的位置，因此省略说明。
如上所述，若为了合成出动态范围广的合成图像而对于同一被摄体拍摄曝光量不同的多个拍摄图像，则因为多个拍摄图像之间的拍摄时间不同，所以会产生由拍摄期间的拍摄装置的位置的移动、或被摄体的移动引起的偏移。因此，由产生了偏移的拍摄图像合成出的合成图像成为重像，从而产生无法正确地指定测量点的位置这一问题。因此，位置指定装置1使用合成图像供用户搜寻图像上的所期望的测量点的位置，在根据在合成图像上搜寻出的位置(第一位置)而选择的选择图像上指定测量点(第二位置)，所以无需获取考虑了被摄体的位置偏移的高品质的合成图像，另外，也无如下问题，该问题是指无法在成为重像的合成图像上正确地指定测量点的位置。另外，如图4(b)所示，在单一的选择图像上指定与第二位置不同的位置(例如第三位置、第四位置等)，因此，无需考虑各拍摄图像之间的被摄体的偏移。由此，可测量第二位置与不同于第二位置的任意位置之间的距离、或由第二位置与不同于第二位置的多个任意的位置包围的区域的面积等。
[2.实施方式2]
以下，参照附图来具体地对本发明第二实施方式的位置指定装置1进行说明。
对如下例子进行说明，即，本发明第二实施方式的位置指定装置1获取以不同焦点位置拍摄同一被摄体所得的多个拍摄图像作为“被摄体相同的多个拍摄图像”，并获取由以不同焦点位置拍摄同一被摄体所得的多个拍摄图像合成出的扩大了景深的合成图像作为“拍摄图像的合成图像”。
(1)位置指定装置1的概要
关于本实施方式的位置指定装置1的概要，除了位置指定装置1所获取的“多个拍摄图像”是以不同焦点位置拍摄同一被摄体所得的多个拍摄图像，“合成图像”是由所述多个拍摄图像合成出的扩大了景深的合成图像以外，如所述“1.实施方式1”的项中的说明所述。
(2)位置指定处理的一例
以下，参照图2及图6对位置指定装置1中的位置指定处理的一例进行说明。图2是表示本实施方式的位置指定装置1的处理的流程图。另外，图6是表示本实施方式的位置指定装置1的输出图像的一例的图。
(步骤S0101：图像获取工序)
本实施方式的位置指定装置1中的图像获取部101获取以不同焦点位置拍摄同一被摄体所得的多个拍摄图像、与由所述多个拍摄图像合成出的扩大了景深的合成图像。
(步骤S0102：第一位置接受工序)
接着，第一位置接受部102使合成图像显示于显示装置11，经由输入装置12接受用户(操作者)对于指定的合成图像上的位置(第一位置)的指定。
如图6(a)所示，合成图像220是景深变深后的合成图像，其存在于包含点222的被摄体C、与包含点221的被摄体D均已合焦的状态下。被摄体C与被摄体D相比，存在于从拍摄位置算起的距离更远的位置。
相对于此，图6(b)及图6(c)分别表示以不同焦点距离拍摄的拍摄图像220a及拍摄图像220b。即，图6(b)及图6(c)所示的拍摄图像220a及拍摄图像220b相当于用于合成图6(a)所示的合成图像220的多个拍摄图像。图6(b)所示的拍摄图像220a是以使焦点对准比图6(c)所示的拍摄图像220b更靠近拍摄位置的位置的方式设定焦点位置而拍摄的图像。
在图6(b)所示的拍摄图像220a中，包含点221a的被摄体D的区域已合焦，包含点222a的区域的被摄体C未合焦而失焦。假设在第一位置接受部102使拍摄图像220a显示于显示装置11的情况下，用户虽能够正确地辨识点221a的位置，但因为点222a的位置模糊，所以无法正确地辨识该点222a的位置，从而难以恰当地指定点222a的位置。
另外，在图6(c)所示的拍摄图像220b中，包含点222b的被摄体C的区域已合焦，包含点221b的区域的被摄体D未合焦而失焦。假设在第一位置接受部102使拍摄图像220b显示于显示装置11的情况下，用户虽能够正确地辨识点222b的位置，但因为点221b的位置模糊，所以无法正确地辨识该点221b的位置，从而难以恰当地指定点221b的位置。
因此，第一位置接受部102使如图6(a)所示的合成图像220显示于显示装置11，由此，用户容易观察显示装置11所显示的合成图像220来搜寻合成图像220上的所期望的位置(第一位置)。另外，即使图像是对被摄体之间的距离差大的场面进行拍摄所得的图像，也容易对整个图像进行视觉辨认。而且，可在同一合成图像220上，指定处于靠近拍摄位置的区域的点211及处于远离拍摄位置的区域的点212这两个点，从而能够防止因被摄体失焦而无法指定所期望的点。
此外，第一位置接受部102可以接受合成图像220上的所期望的点的位置的输入，也可以接受合成图像220上的所期望的区域的位置的输入。
(步骤S0103)
接着，图像选择部103根据在步骤S0102中接受的第一位置，从多个拍摄图像中选择一个选择图像。
作为选择图像的选择方法，例如，图像选择部103能够分别对于多个拍摄图像，计算出所述包含第一位置的局部区域中的合焦程度，并选择该合焦程度最大的拍摄图像作为选择图像。此处，所述“包含第一位置的局部区域”是指包含与第一位置对应的拍摄图像上的位置(第一位置对应位置)的拍摄图像中的局部区域。局部区域的大小并无特别限定，例如能够设为预定的像素数的矩形区域。在以所述方式选择的选择图像中的包含第一位置的局部区域内，已合焦的被摄体增多。
若更具体地进行说明，则在第一位置接受部102接受合成图像220上的点221的输入作为第一位置后(图6(a))，图像选择部103分别对于多个拍摄图像，计算出包含与拍摄图像上的点221对应的点(对应点)的拍摄图像中的局部区域中的合焦程度。例如，图像选择部103对于拍摄图像220a，计算出包含对应点221a的拍摄图像中的局部区域中的合焦程度(图6(b))，同样地对于拍摄图像220b，计算出包含对应点221b的拍摄图像中的局部区域中的合焦程度(图6(c))。接着，图像选择部103从多个拍摄图像中，选择一个合焦程度最大的拍摄图像作为选择图像。在本实施方式中，图像选择部103选择拍摄图像220a(图6(b))作为选择图像。图像选择部103也可以将选择图像保存于存储装置。
在一方式中，图像选择部103根据各像素的周围、预先设定的范围的对比度差来评价所述“合焦程度”(合焦度)，若对比度差大，则判断为合焦度高。由此，“合焦程度最大的拍摄图像”是多个拍摄图像中，局部区域内的对比度差最大的拍摄图像。
(步骤S0104：第二位置接受工序)
接着，第二位置接受部104使作为选择图像的拍摄图像220a的至少一部分显示于显示装置11，经由输入装置12接受用户对于指定的选择图像上的位置(第二位置)的指定。
将选择图像显示于显示装置11的显示方法如所述“1.实施方式1”的项中的说明所述。
位置指定装置1通过显示整个扩大了景深的合成图像，能够提高用户搜寻图像上的想要指定的位置时的视觉辨认性。而且，能够根据用户所指定的合成图像上的位置(第一位置)，选择合焦程度最大的拍摄图像作为选择图像，并指定该选择图像上的位置(第二位置)，因此，用户可正确地指定想要指定的图像上的位置。在焦点位置不同的拍摄图像中，有时视角会随着焦点位置的变化而发生变化，拍摄图像上的被摄体的位置有可能会偏移。即，对不同焦点位置的拍摄图像进行合成并扩大景深所得的合成图像即使无手抖动或被摄体抖动，也有可能会成为重像。
位置指定装置1使用合成图像供用户搜寻图像上的所期望的测量点的位置，在根据在合成图像上搜寻出的位置(第一位置)而选择的选择图像上指定测量点，因此，无需获取考虑了被摄体的位置偏移的高品质的合成图像，另外，即使合成图像为重像，因为在选择图像上指定测量点，所以也无如下问题，该问题是指无法在成为重像的合成图像上正确地指定测量点的位置。
(3)位置指定装置1的变形例
所述“1.实施方式1”的项中所说明的位置指定装置1的变形例也能够适用于本实施方式的位置指定装置1。
另外，在本实施方式中，对如下例子进行了说明，即，使用于不同焦点位置拍摄同一被摄体所得的多个拍摄图像作为“被摄体相同的多个拍摄图像”，并使用由以不同焦点位置拍摄同一被摄体所得的多个拍摄图像合成出的扩大了景深的合成图像作为“拍摄图像的合成图像”，但也能够与所述“1.实施方式1”的项中所说明的曝光设定组合。即，也可使用于不同焦点位置及曝光量拍摄同一被摄体所得的多个拍摄图像作为“被摄体相同的多个拍摄图像”，并使用由以不同焦点位置及曝光量拍摄同一被摄体所得的多个拍摄图像合成出的扩大了动态范围及景深的合成图像作为“拍摄图像的合成图像”。
在使用所述图像的情况下，作为选择图像的选择方法，例如，能够分别对于多个拍摄图像，分别计算出所述包含第一位置的局部区域中的灰阶饱和的程度及合焦程度，选择该灰阶饱和的程度最小且合焦程度最大的拍摄图像作为选择图像。此处，所述“包含第一位置的局部区域”是指包含与第一位置对应的拍摄图像上的位置(第一位置对应位置)的拍摄图像中的局部区域。局部区域的大小并无特别限定。
[3.实施方式3]
以下，参照附图来具体地对本发明第三实施方式的测量装置100(位置指定装置)进行说明。
图7是表示本发明第三实施方式的测量装置100的一结构例的框图。
如图7所示，测量装置100包括控制部10、显示装置11及输入装置12。控制部10、显示装置11及输入装置12可以一体化，也可以构成为不同个体。
控制部10是统一地对测量装置100进行控制的控制部，其作为图像获取部101、第一位置接受部102、图像选择部103、第二位置接受部104及测量部105而发挥功能。控制部10的处理的详情将后述。
(1)测量装置100的概要
测量装置100获取被摄体相同的多个拍摄图像(以下，有时仅称为“拍摄图像”)、及所述多个拍摄图像的合成图像(以下，有时仅称为“合成图像”)。接着，测量装置100使合成图像显示于显示装置11，经由输入装置12接受用户(操作者)对于指定的合成图像上的位置(第一位置)的指定。接着，测量装置100根据所接受的第一位置，从多个拍摄图像中选择一个选择图像。接着，测量装置100使选择图像的至少一部分显示于显示装置11，经由输入装置12接受用户对于指定的选择图像上的位置(第二位置)的指定。接着，测量装置100获取对应于选择图像的纵深信息，计算出与选择图像上的第二位置对应的被摄体上的位置的三维位置(坐标)。由此，用户能够测量出拍摄图像上的所期望的测量点的三维位置(坐标)。
如所述“1.实施方式1”及“2.实施方式2”的项中的说明所述，测量装置100的控制部10作为图像获取部101、第一位置接受部102、图像选择部103及第二位置接受部104而发挥功能，由此，用户可正确且容易地指定图像上的所期望的测量点。基于以所述方式获取的选择图像上的位置信息(第二位置信息)，并参照对应于选择图像的纵深信息，测量装置100可减少误差而正确地测量与选择图像上的第二位置对应的被摄体上的位置(测量点)的三维位置(坐标)。
(2)测量处理的一例
以下，参照图8对测量装置100中的测量处理的一例进行说明。图8是表示本实施方式的测量装置100的处理的流程图。
(步骤S0101～步骤S0104)
由于如所述“1.实施方式1”及“2.实施方式2”的项中的说明所述，因此省略说明。
(步骤S0105：纵深信息获取工序)
测量部105接受纵深信息。此时，测量部105所接受的纵深信息是对应于选择图像(即，用于指定第二位置的拍摄图像)的纵深信息。
(步骤S0106：三维位置测量工序)
测量部105参照第二位置信息及纵深信息，计算出与选择图像上的第二位置对应的被摄体上的位置(测量点)的三维位置(坐标)。测量部105输出测量结果，并将该测量结果保存于存储装置(未图示)，或显示于显示装置11。
纵深信息的获取方法例如能够利用使用了立体像对的方法、计算超声波的反射时间而计算出距离的方法、利用红外线的飞行时间(Time Of Flight，TOF)法、照射模式光而计算出距离的方法等。另外，通过与图像的焦点距离等相机参数组合，也可计算出测量点的左右上下方向的三维信息。
根据测量装置100，通过在合成图像上指定第一位置，能够使搜寻第一位置时的视觉辨认性提高。而且，能够根据用户所指定的合成图像上的位置(第一位置)，从多个拍摄图像中选择选择图像，并指定该选择图像上的位置(第二位置)，因此，用户可正确地指定想要指定的图像上的位置。结果是可获取所期望的位置的更正确的三维信息。
(3)测量装置100的变形例
所述“1.实施方式1”及“2.实施方式2”的项中所说明的位置指定装置1的变形例也能够适用于测量装置100。
[4.实施方式4]
以下，参照附图来具体地对本发明第四实施方式的测量装置100(位置指定装置)进行说明。
图9是表示本发明第四实施方式的测量装置100的一结构例的框图。如图9所示，测量装置100包括控制部10、显示装置11及输入装置12。控制部10，显示装置11及输入装置12可以一体化，也可以构成为不同个体。
控制部10是统一地对测量装置100进行控制的控制部，其作为图像获取部101、第一位置接受部102、图像选择部103、第二位置接受部104及测量部105而发挥功能。控制部10的处理的详情将后述。
(1)测量装置100的概要
测量装置100获取被摄体相同的多个拍摄图像(以下，有时仅称为“拍摄图像”)、及所述多个拍摄图像的合成图像(以下，有时仅称为“合成图像”)。接着，测量装置100使合成图像显示于显示装置11，经由输入装置12接受用户(操作者)对于指定的合成图像上的位置(第一位置)的指定。接着，测量装置100根据所接受的第一位置，从多个拍摄图像中选择一个选择图像。接着，测量装置100使选择图像的至少一部分显示于显示装置11，经由输入装置12接受用户对于指定的选择图像上的位置(第二位置)的指定。接着，测量装置100进一步获取对应于选择图像的参照图像，参照参照图像而计算出与选择图像上的第二位置对应的被摄体上的位置的三维位置(坐标)。
如所述“1.实施方式1”及“2.实施方式2”的项中的说明所述，测量装置100的控制部10作为图像获取部101、第一位置接受部102、图像选择部103及第二位置接受部104而发挥功能，由此，用户可正确且容易地指定图像上的所期望的测量点。可基于以所述方式获取的选择图像上的位置信息(第二位置信息)，并参照对应于选择图像的参照图像，减少误差而正确地计算出与选择图像上的第二位置对应的被摄体上的位置(测量点)的三维位置(坐标)。
(2)测量处理的一例
以下，参照图10对测量装置100中的测量处理的一例进行说明。图10是表示本实施方式的测量装置100的处理的流程图。
(步骤S0101～步骤S0104)
因为如所述“1.实施方式1”及“2.实施方式2”的项中的说明所述，所以省略说明。
(步骤S0205：参照图像获取工序)
测量部105获取对应于选择图像的参照图像。参照图像是从不同拍摄位置对与选择图像相同的被摄体进行拍摄所得的图像，且是与选择图像一起构成立体图像的图像。在一方式中，测量部105也可以预先获取分别对应于多个拍摄图像的参照图像，并从其中选择对应于选择图像的参照图像，由此，获取对应于选择图像的参照图像。
(步骤S0106：三维位置测量工序)
测量部105参照对应于选择图像的参照图像，计算出对应于第二位置的纵深信息，并参照第二位置信息及纵深信息，计算出与选择图像上的第二位置对应的被摄体上的位置(测量点)的三维位置(坐标)。测量部105输出测量结果，并将该测量结果保存于存储装置(未图示)，或显示于显示装置11。
例如能够利用三角测量、块匹配等方法来计算出纵深信息。
此处，作为使用了包含选择图像与对应于该选择图像的参照图像的立体图像的纵深信息的计算出方法的一例，使用图11对三角测量的方法进行说明。图11是对三角测量的方法进行说明的图。
如图11所示，基准图像拍摄部4与参照图像拍摄部6是以具有共同的拍摄范围的方式设置，且以不使彼此的相对位置发生变化的方式受到固定。另外，预先测量基准图像拍摄部4与参照图像拍摄部6之间的相对位置关系。被摄体E上的测量点α的三维坐标44位于直线41上，该直线41从基准图像拍摄部4的拍摄图像50上的对应测量点α'的图像坐标49，通过基准图像拍摄部4的焦点47与对应测量点α'的图像坐标49。
接着，在直线41上设定多个搜寻点42(例如搜寻点42a、搜寻点42b及搜寻点42c)，并设定通过参照图像拍摄部6的焦点48与各搜寻点42的各搜寻直线43(例如搜寻直线43a、搜寻直线43b及搜寻直线43c)。将参照图像拍摄部6的拍摄图像(未图示)上的各对应搜寻点分别与基准图像拍摄部4的拍摄图像50上的对应测量点α'作比较，检测拍摄了同一物体的对应搜寻点。对应于该对应搜寻点的直线41上的搜寻点(在此情况下为搜寻点42c)成为被摄体E中的测量点α的三维坐标44。能够根据通过基准图像拍摄部4的焦点47与参照图像拍摄部6的焦点48的直线即基线46、通过被摄体E中的测量点α的三维坐标44与焦点48的直线45、及直线41这三条直线的位置关系，计算出被摄体E中的测量点α相对于基准图像拍摄部4及参照图像拍摄部6的相对的三维坐标44。
具体来说，预先测量基线46上的焦点47与焦点48之间的距离β。接着，分别计算出直线41与基线46所成的角度θ1、及直线45与基线46所成的角度θ2。能够根据距离β、角度θ1及角度θ2，并通过三角形的全等性来计算出被摄体E中的测量点α的三维坐标44。
关于角度θ1及角度θ2的计算出方法，能够通过利用相机投影模型来计算出该角度θ1及角度θ2。以下，参照图11对相机投影模型的详情进行说明。
能够认为包含拍摄器件或透镜等而构成的拍摄部将被摄体的图像记录为如下直线与投影面交叉时的投影面上的坐标，该直线连接焦点与拍摄对象。因此，如图11所示，若已知基准图像拍摄部4的焦点47、与投影面(拍摄图像50的投影面)上的对应测量点α'的图像坐标49的三维空间上的位置，则能够计算出通过焦点47与对应测量点α'的图像坐标49的直线41的位置。此外，基准图像拍摄部4的投影面的位置由基准图像拍摄部4的光轴51的朝向及焦点位置规定。
因此，如图11所示，对于基准图像拍摄部4及参照图像拍摄部6，预先测量传感器像素间距、传感器与焦点之间的位置关系。若这些内容已知，则能够计算出与对应测量点α'的图像坐标49对应的直线41在实际空间上的位置。由此，能够计算出直线41及直线45相对于基准图像拍摄部4及参照图像拍摄部6的相对位置。只要预先测量基准图像拍摄部4与参照图像拍摄部6的相对位置，就能够计算出角度θ1及角度θ2，从而能够计算出被摄体E中的测量点α的三维坐标44相对于基准图像拍摄部4及参照图像拍摄部6的相对位置。
此处，在以不同焦点位置拍摄了同一被摄体的情况下，焦点47与投影面之间的位置关系会按焦点位置而发生变化。因此，只要按拍摄时的焦点位置，预先测量焦点47与投影面之间的位置关系，就能够计算出直线41的相对位置，因此，能够计算出被摄体E中的测量点α的三维坐标44。
接着，使用图12对块匹配的方法进行说明。如图12所示，对基准图像拍摄部4所拍摄的拍摄图像50上的对应测量点α'的图像坐标49、与参照图像拍摄部6所拍摄的参照图像53上的对应搜寻点的图像坐标54(图11中未图示)进行比较。接着，若图像坐标49与图像坐标54之间的相似度高，则能够判断为拍摄了同一物体，即，能够判断为与对应搜寻点对应的三维空间上的搜寻点42(图11)是被摄体E上的测量点α的三维坐标44。
能够使用绝对误差和(Sum of Absolute Difference，SAD)或方差和(Sum ofSquared Difference，SSD)等评价函数来评价相似度。以下说明SAD值的计算出方法。若将与对应测量点α'的图像坐标49相符的像素设为x5，将与对应搜寻点的图像坐标54相符的像素设为x'5，则如图12所示，使用以下的数学式(1)来计算x5或x'5周围的3×3个像素的像素值，由此，能够求出SAD值。
[数1]
Figure BDA0001965231330000251
若对应测量点α'的图像坐标49与对应搜寻点的图像坐标54反映了相同的物体，则各像素的像素值会成为相近的值，因此，SAD值减小。因此，能够通过选择直线41上所设定的各搜寻点42(图11)内的SAD值最小的搜寻点来计算出测量点α的三维坐标44。
此时，用作比较对象的由基准图像拍摄部4及参照图像拍摄部6拍摄的图像的像对若利用同步拍摄的像对，则因为不会引起由手抖动或被摄体抖动产生的像对之间的偏差，所以优选。另外，在同步拍摄时，使曝光设定相同，由此，利用SAD值进行的检测的结果的可靠性升高，因此优选。另外，用作比较对象的基准图像及参照图像的像对若利用对比度差最大的像对，则SAD值容易出现差异，测量点α的三维坐标44的计算精度提高，因此优选。例如，在饱和区域多的图像中，相似区域增加，因此，通过将饱和区域少的图像用作比较对象，能够降低产生检测误差的可能性。
(3)测量装置100的变形例
所述“1.实施方式1”及“2.实施方式2”的项中所说明的位置指定装置1的变形例也能够适用于测量装置100。
(i)步骤S0101(图像获取工序)及步骤S0205(参照图像信息获取工序)的变形例
图9中表示了由测量部105获取多个参照图像的结构，但也可以采用如下结构，即，在图像获取部101获取拍摄图像及合成图像时，图像获取部101也获取参照图像。即，在步骤S0101(图像获取工序)中，也可以获取多个拍摄图像、合成图像及多个参照图像。
另外，测量部105也可以采用如下结构，即，获取第二位置信息、与包含选择图像及对应于该选择图像的参照图像的立体图像。
(ii)步骤S0104(第二位置接受工序)的变形例
步骤S0104还可以包含以下的子步骤：
(a)第二位置接受部104进一步接受选择图像上的与第二位置不同的第三位置的输入的工序(子步骤S01041)
指定选择图像上的与第二位置不同的第三位置的方法如“1.实施方式1”的项中的说明所述。
(iii)步骤S0106(三维位置测量工序)的变形例
步骤S0106还可以包含以下的子步骤：
(a)测量部105参照与计算出了第二位置的纵深信息的选择图像对应的参照图像，测量与选择图像上的第三位置对应的被摄体上的位置(测量点)的三维位置(坐标)(子步骤S01061)。
在与用于指定第二位置的选择图像相同的选择图像上，指定与第二位置不同的第三位置，并在单一的选择图像内计算出两点之间的距离，由此，能够减少由被摄体的移动的影响产生的测量误差。由此，可高精度地计算出两点之间的距离。另外，进一步在单一的选择图像内指定第四位置、第五位置，并分别测量与选择图像上的第四位置、第五位置对应的被摄体上的位置(测量点)的三维位置(坐标)，由此，可高精度地计算出面积等其他测量值。
(iv)图像获取部所获取的图像的其他例子
在本实施方式中，说明了利用立体图像(即，拍摄图像与参照图像这两张图像)来计算出纵深信息的例子，但在利用于三个以上的不同位置对同一被摄体进行拍摄所得的图像(即，拍摄图像与两个以上的参照图像的组合)代替立体图像的情况下，也可获得同样的效果。
[5.实施方式5]
以下，参照附图来具体地对本发明第五实施方式的测量装置100(位置指定装置)进行说明。
图13是表示本发明第五实施方式的测量装置100的一结构例的框图。如图13所示，测量装置100包括控制部10、显示装置11、输入装置12及拍摄装置8。控制部10、显示装置11及输入装置12可以一体化，也可以构成为不同的个体。
控制部10是统一地对测量装置100进行控制的控制部，其作为图像获取部101、第一位置接受部102、图像选择部103、第二位置接受部104及测量部105而发挥功能。控制部10的处理的详情将后述。
拍摄装置8包括基准图像拍摄部4(拍摄部)、控制部5、参照图像拍摄部6(拍摄部)及合成处理部7(合成部)。基准图像拍摄部4及参照图像拍摄部6可由电荷耦合元件(ChargeCoupled Device，CCD)等拍摄器件或透镜等构成。
另外，图14是表示本发明第五实施方式的测量装置100中的拍摄装置8的合成处理部7的一结构例的框图。合成处理部7包括位置对准部71、合焦度判定部72及图像合成部73。
(1)测量装置100的概要
测量装置100的拍摄装置8在预先设定的多个拍摄条件(曝光量、焦点位置等)下，拍摄同一被摄体。接着，拍摄装置8获取被摄体相同的多个拍摄图像，并由所述多个拍摄图像合成出合成图像。接着，测量装置100获取被摄体相同的多个拍摄图像及所述合成图像。接着，测量装置100使合成图像显示于显示装置11，经由输入装置12接受用户(操作者)对于指定的合成图像上的位置(第一位置)的指定。接着，测量装置100根据所接受的第一位置，从多个拍摄图像中选择一个选择图像。接着，测量装置100使选择图像的至少一部分显示于显示装置11，经由输入装置12接受用户对于指定的选择图像上的位置(第二位置)的指定。接着，测量装置100进一步获取分别对应于多个拍摄图像的参照图像，参照对应于选择图像的参照图像，计算出与选择图像上的第二位置对应的被摄体上的位置的三维位置(坐标)。
如所述“1.实施方式1”及“2.实施方式2”的项中的说明所述，测量装置100的控制部10作为图像获取部101、第一位置接受部102、图像选择部103及第二位置接受部104而发挥功能，由此，用户可正确且容易地指定图像上的所期望的测量点。可基于以所述方式获取的选择图像上的位置信息(第二位置信息)，并参照对应于选择图像的参照图像，减少误差而正确地计算出与选择图像上的第二位置对应的被摄体上的位置(测量点)的三维位置(坐标)。
(2)测量处理的一例
以下，参照图10、图14及图15对测量装置100中的测量处理的一例进行说明。图10是表示本实施方式的测量装置100的处理的流程图。图14是表示本实施方式的测量装置100的合成处理部7的一结构例的框图。图15是表示合成处理部7的处理的流程图。
测量装置100在图10所示的步骤S0101之前，包含步骤S0201～步骤S0204，在该步骤S0201～步骤S0204中，拍摄装置8的基准图像拍摄部4及参照图像拍摄部6在预先设定的多个拍摄条件(曝光量、焦点位置等)下，拍摄同一被摄体，合成处理部7对基准图像拍摄部4所拍摄的拍摄图像进行合成而获取合成图像。此处，首先参照图15对步骤S0201～步骤S0204进行以下说明。
(步骤S0201：拍摄工序)
基准图像拍摄部4及参照图像拍摄部6在预先设定的多个拍摄条件(曝光量、焦点位置等)下，拍摄同一被摄体。在本实施方式中，说明基准图像拍摄部4及参照图像拍摄部6以不同焦点位置进行拍摄的情况。
控制部5进行基准图像拍摄部4及参照图像拍摄部6的快门定时控制、或光圈、传感器灵敏度、快门速度、焦点位置等拍摄设定的控制。控制部5在接收来自快门按钮(未图示)等的输入信号后，控制基准图像拍摄部4及参照图像拍摄部6在预先设定的多个拍摄条件(曝光量或焦点位置)下拍摄图像。
控制部5在各拍摄过程中，控制基准图像拍摄部4及参照图像拍摄部6大致同时地关闭快门而同步拍摄图像。在以不同焦点位置进行拍摄的情况下，按基准图像拍摄部4及参照图像拍摄部6所同步拍摄的图像对，以使与焦点所对准的被摄体相隔的距离大致相同的方式，即，以使焦点对准相同的拍摄对象的方式，设定各同步拍摄过程中的焦点位置。此外，在本实施方式中，相对于基准图像拍摄部4，将参照图像拍摄部6配置在向右偏移后的位置，但也可以相对于基准图像拍摄部4，将参照图像拍摄部6配置在向左偏移后的位置，还可以配置在向上下方向偏移后的位置。另外，在本实施方式中，参照图像拍摄部6为一台，即拍摄部共计为两台，但也可利用两台以上的参照图像拍摄部。
基准图像拍摄部4及参照图像拍摄部6将所拍摄的多个拍摄图像输出至图像获取部101。另外，基准图像拍摄部4将所拍摄的多个拍摄图像输出至合成处理部7。此外，在本实施方式中，采用将图像的数据依次输出至合成处理部7或图像获取部101的结构而进行了说明，但也可采用如下结构，即，将拍摄图像暂时保存于测量装置100内的存储部(未图示)，由合成处理部7或图像获取部101获取存储部(未图示)的数据。
(步骤S0202：位置对准工序)
在基准图像拍摄部4以不同焦点位置拍摄了同一被摄体的情况下，合成处理部7对焦点位置不同的多个拍摄图像实施位置对准，评价各像素的合焦度，对合焦度高的图像的像素进行加权平均，产生扩大了景深的合成图像。
位置对准部71对从基准图像拍摄部4获取的焦点位置不同的多个拍摄图像进行位置对准。如上所述，各图像的视角有可能会发生变化，因此，在图像之间，对特征点的坐标进行比较，以使各特征点成为同一坐标的方式进行调整。由此，能够使图像内的被摄体的位置大致相同。
(步骤S0203：合焦度判定工序)
接着，合焦度判定部72对各图像的各像素的合焦度进行判定。根据各像素的周围、预先设定的范围的对比度差来评价合焦度。若对比度差大，则判断为合焦度高。
(步骤S0204：图像合成工序)
接着，图像合成部73基于判定出的合焦度来合成图像。能够利用一般的合成方法来合成图像。能够使用于下的数学式(2)来计算出合成图像的各像素的像素值。在数学式(2)中，N表示拍摄图像的张数，pi表示拍摄图像i的注视像素的像素值，ci表示注视像素的合焦度，paf表示合成图像的注视像素的像素值。
[数2]
Figure BDA0001965231330000301
根据合焦度，对拍摄图像的像素值进行加权平均而求出各像素的像素值，由此，能够合成出扩大了景深的图像。产生的合成图像从合成处理部7(图像合成部73)输出至图像获取部101。
(步骤S0101～步骤S0104)
因为如所述“2.实施方式2”的项中的说明所述，所以省略说明。
(步骤S0205及步骤S0106)
因为如所述“4.实施方式4”的项中的说明所述，所以省略说明。
(3)测量装置100的变形例
所述“1.实施方式1”及“2.实施方式2”的项中所说明的位置指定装置1的变形例也能够适用于测量装置100。另外，所述“3.实施方式3”及“4.实施方式4”的项中所说明的测量装置100的变形例也能够适用于本实施方式的测量装置100。
(i)其他拍摄条件下的例子
在本实施方式中，说明了基准图像拍摄部4及参照图像拍摄部6以不同焦点位置进行拍摄的情况，但基准图像拍摄部4及参照图像拍摄部6也可以不同曝光量进行拍摄。
在此情况下，在步骤S0201中，只要按基准图像拍摄部4及参照图像拍摄部6所同步拍摄的图像对，使各同步拍摄过程中的曝光量的设定值为相同设定即可。
另外，在步骤S0204中，图像合成部73对曝光量不同的多个拍摄图像实施位置对准，对各像素中的灰阶恰当的图像的像素进行加权平均，考虑各图像的曝光量的差异而调整灰阶，由此，产生扩大了动态范围的合成图像。在合成图像的比特数增加的情况下，也可以通过灰阶转换来获得所期望的比特数，例如进行色调映射。
[6.实施方式6]
测量装置100不仅具有计算出从测量装置100(具体为基准图像拍摄部4的焦点)到测量点的三维位置为止的距离的功能，例如还具有计算出两点之间的距离的功能。以下，对该方法进行说明。
以下，参照附图来具体地对本发明第六实施方式的测量装置100(位置指定装置)进行说明。
图16是表示本发明第六实施方式的测量装置100的一结构例的框图。如图16所示，测量装置100包括控制部10、显示装置11、输入装置12及拍摄装置8。控制部10、显示装置11及输入装置12可以一体化，也可以构成为不同的个体。
控制部10是统一地对测量装置100进行控制的控制部，其作为图像获取部101、第一位置接受部102、图像选择部103、第二位置接受部104及测量部105而发挥功能。控制部10的处理的详情将后述。
拍摄装置8包括基准图像拍摄部4(拍摄部)、控制部5、参照图像拍摄部6(拍摄部)及合成处理部7(合成部)。
(1)测量装置100的概要
测量装置100的拍摄装置8在预先设定的多个拍摄条件(曝光量、焦点位置等)下，拍摄同一被摄体。接着，拍摄装置8获取被摄体相同的多个拍摄图像，并由所述多个拍摄图像合成出合成图像。接着，测量装置100获取被摄体相同的多个拍摄图像及所述合成图像。接着，测量装置100使合成图像显示于显示装置11，经由输入装置12接受用户(操作者)对于指定的合成图像上的位置(第一位置)的指定。接着，测量装置100根据所接受的第一位置，从多个拍摄图像中选择一个选择图像。接着，测量装置100使选择图像的至少一部分显示于显示装置11，经由输入装置12接受用户对于指定的选择图像上的位置(第二位置)的指定。接着，测量装置100经由输入装置12接受用户对于指定的选择图像上的与第二位置不同的第三位置的指定，但根据第三位置而重新选择选择图像。接着，测量装置100使重新选择的图像(重新选择图像)的至少一部分显示于显示装置11，经由输入装置12再次接受用户对于指定的选择图像上的第二位置及第三位置的指定。接着，测量装置100进一步获取分别对应于多个拍摄图像的参照图像，参照对应于所述重新选择图像的参照图像，计算出与重新选择图像上的第二位置对应的被摄体上的位置的三维位置(坐标)及对应于第三位置的被摄体上的位置的三维位置(坐标)。
如所述“1.实施方式1”及“2.实施方式2”的项中的说明所述，测量装置100的控制部10作为图像获取部101、第一位置接受部102、图像选择部103及第二位置接受部104而发挥功能，由此，用户可正确且容易地指定图像上的所期望的测量点。而且，根据第三位置而重新选择选择图像，由此，用户可正确且容易地指定图像上的多个测量点。可基于以所述方式获取的重新选择图像上的位置信息(第二位置信息及第三位置信息)，并参照对应于重新选择图像的参照图像，减少误差而正确地计算出与重新选择图像上的第二位置对应的被摄体上的位置的三维位置(坐标)及对应于第三位置的被摄体上的位置的三维位置(坐标)。
(2)测量处理的一例
以下，对测量装置100中的测量处理的一例进行说明。
(步骤S0201～步骤S0204)
因为如所述“5.实施方式5”的项中的说明所述，所以省略说明。
(步骤S0101～步骤S0103)
因为如所述“1.实施方式1”及“2.实施方式2”的项中的说明所述，所以省略说明。
(步骤S0104：第二位置接受工序)
第二位置接受部104使作为选择图像的拍摄图像的至少一部分显示于显示装置11，经由输入装置12接受用户对于指定的选择图像上的位置(第二位置)的指定。接着，第二位置接受部104经由输入装置12进一步接受选择图像上的与第二位置不同的第三位置的输入。
即，第二位置接受部104经由输入装置12接受两个测量点的位置(第二位置及第三位置)的输入，以计算出两个测量点之间的距离。多个测量点的位置的指定方法如所述“1.实施方式1”的项中的说明所述。此处，在指定第二个测量点(即，第三位置)的情况下，因为在用于指定第二位置的选择图像上指定第三位置，所以成为同时拍摄了测量距离的多个测量点的状态，能够精度良好地计算出两点之间的距离。
此时，例如在以不同曝光量进行了拍摄的情况下，两处的测量点(即，第三位置)的状态可考虑如下所述的两种情况。在用于指定第一个测量点(第二位置)的选择图像上，
(1)在第二想要指定的测量点(第三位置)处，灰阶未饱和。
(2)在第二想要指定的测量点(第三位置)处，灰阶呈白色或黑色饱和。
首先，在(1)的情况下，第二位置接受部104只要在使用于指定第一个测量点(第二位置)的选择图像显示于显示装置11的状态下，接受第二个测量点(第三位置)的位置的输入即可。相对于此，在(2)的情况下，图像选择部103重新选择选择图像，第二位置接受部104在使重新选择的选择图像显示于显示装置11的状态下，再次接受第一个及第二测量点的位置的输入。即，步骤S0104包含以下的子步骤S01041～子步骤S01041。
(子步骤S01041：第三位置接受工序)
第二位置接受部104经由输入装置12接受用户对于指定的选择图像上的与第二位置不同的第三位置的指定。如图17所示，第二位置接受部104经由输入装置12接受第二个测量点α2(第三位置)的指定。此外，图17中的α1表示第一个测量点(第二位置)。
(子步骤S01042：判定工序)
图像选择部103根据选择图像上的第三位置来判定是否需要重新选择选择图像。在图像选择部103判断为需要重新选择选择图像的情况下，图像选择部103进行重新选择选择图像的工序。另一方面，在图像选择部103判断为无需重新选择选择图像的情况下，接受第三位置的处理结束。
图像选择部103例如根据放大显示图像111的边缘强度，自动判定选择图像上的第三位置有无灰阶饱和。接着，图像选择部103在判定为选择图像上的第三位置的灰阶未饱和的情况下，判定为无需重新选择选择图像，在判定为选择图像上的第三位置的灰阶已饱和的情况下，判定为需要重新选择选择图像。
此处，对边缘强度的计算出方法进行下述说明。图18是用于检测边缘强度的滤波器的系数的例子。将九个数值相加，该九个数值是将图18所示的系数与以图像中的想要进行边缘检测的位置的像素为中心的3×3个像素相乘所得的数值。计算出的数值的绝对值越大，则能够判断为边缘强度越大，因此，在计算出的数值的绝对值为预先设定的阈值以下的情况下，能够因判断为边缘强度极小而判定为灰阶呈白色饱和或灰阶呈黑色饱和。
此外，图像选择部103也可以根据用户的操作的检测结果，判定是否需要重新选择选择图像。例如，如图17所示，在用于指定测量点α1的选择图像210a'中，测量点α2的灰阶呈白色或黑色饱和的情况下，用户判定为需要重新选择选择图像，并按下判定按钮25。另一方面，在用于指定测量点α1的选择图像210a'中，测量点α2的灰阶未饱和的情况下，用户判定为无需重新选择选择图像，不按下判定按钮25。此时，图像选择部103只要根据用户对于判定按钮25的按下的检测结果，判定是或否需要重新选择选择图像即可。
(子步骤S01043：选择图像重新选择工序)
图像选择部103根据第三位置，再次从多个拍摄图像中选择一个选择图像。
作为此时的选择图像的选择方法，例如，图像选择部103能够分别对于多个拍摄图像，计算出所述包含第三位置的局部区域中的灰阶饱和的程度，选择该灰阶饱和的程度最小的拍摄图像作为重新选择图像。此处，所述“包含第三位置的局部区域”是指包含与第三位置对应的拍摄图像上的位置(第三位置对应位置)的拍摄图像中的局部区域。局部区域的大小并无特别限定，例如能够设为预定的像素数的矩形区域。
若更具体地进行说明，则在图17所示的用于指定测量点α1的选择图像210a'中，测量点的灰阶已饱和的情况下，图像选择部103分别对于多个拍摄图像，计算出测量点α1区域及测量点α2区域这两个区域的对比度，选择各测量点的灰阶未饱和的拍摄图像。此时，若从多个拍摄图像中，选择测量点α1及测量点α2的对比度均高的图像作为重新选择图像，则块匹配的相似度最大的位置会变得明确，对应测量点的计算出的鲁棒性升高，因此较佳。测量点α1及测量点α2的对比度均高的图像的选择方法，例如能够通过选择将各测量点的对比度值相加所得的值更高的图像来实现。
另外，在改变焦点位置而拍摄的拍摄图像的情况下，可选择测量点α1及测量点α2的焦点均已对准(已合焦)的图像。关于测量点的焦点是否已对准(已合焦)，因为测量点周边的对比度越高，则能够判断为焦点已对准(已合焦)，所以对于改变焦点位置而拍摄的拍摄图像，同样也可选择测量点α1及测量点α2的对比度均高的图像。
(子步骤S01044：第三位置重新接受工序)
第二位置接受部104使重新选择图像的至少一部分显示于显示装置11，经由输入装置12再次接受用户对于指定的重新选择图像上的第三位置的指定。
(子步骤S01045：第二位置重新接受工序)
第二位置接受部104经由输入装置12再次接受用户对于指定的重新选择图像上的第二位置的指定。
由此，能够在同一选择图像上指定作为第二位置的测量点α1及作为第三位置的测量点α2，从而可测量出测量点α1及测量点α2之间的距离。
(步骤S0205：参照图像获取工序)
测量部105进一步获取分别对应于多个拍摄图像的参照图像，从所述多个参照图像中选择对应于选择图像(或重新选择图像)的参照图像。
(步骤S0106：三维位置测量工序)
测量部105参照对应于选择图像(或重新选择图像)的参照图像，计算出对应于第二位置的纵深信息，并参照第二位置信息及纵深信息，计算出与选择图像上的第二位置对应的被摄体上的位置(测量点)的三维位置(坐标)。同样地，计算出与选择图像上的第二位置对应的被摄体上的位置(测量点)的三维位置(坐标)。测量部105输出测量结果，并将该测量结果保存于存储装置(未图示)，或显示于显示装置11。
通过计算出两个测量点的相对位置，能够计算出两个测量点之间的长度。此外，在本实施方式中表示了两点之间的距离的计算出方法，但也可增加测量点的数量，例如计算出点与直线之间的距离、两条直线之间的距离、连接多个点的范围的面积等作为测量结果。
如以上的说明所述，由在不同拍摄条件下拍摄的多个拍摄图像产生合成图像，使用合成图像供用户搜寻图像上的所期望的测量点的位置，在根据在合成图像上搜寻出的位置(第一位置)而选择的选择图像上，或在根据第三位置而重新选择的重新选择图像上，指定第二位置及第三位置，因此，用于搜寻测量点的整个图像的视觉辨认性升高，另外，无需获取考虑了被摄体的位置偏移的高品质的合成图像。另外，即使合成图像为重像，因为在选择图像上指定测量点，所以可避开重像而指定所期望的点的位置。
(3)测量装置100的变形例
在本实施方式中，测量装置与拍摄装置一体化，但也可以将拍摄装置设为与测量装置分开的装置。例如，也能够将由如上所述的拍摄装置拍摄并进行了合成处理的图像存储于RAM、闪速存储器、硬盘驱动器(Hard Disk Drive，HDD)等存储装置，并由测量装置从存储装置读取图像，将该图像显示于显示装置。另外，也可以保存拍摄图像，在测量装置中进行合成处理。
[通过软件实现的示例]
位置指定装置1(测量装置100)的控制块(特别是控制部10)可以由形成于集成电路(IC芯片)等的逻辑电路(硬件)实现，也可以使用CPU(Central Processing Unit)而通过软件实现。
在后者的情况下，位置指定装置1(测量装置100)包括执行实现各功能的软件即程序的命令的CPU、以电脑(或CPU)可读取的方式记录有所述程序及各种数据的只读存储器(Read Only Memory，ROM)或存储装置(将这些称为“记录媒体”)、展开所述程序的RAM(Random Access Memory)等。于是，电脑(或CPU)从所述记录媒体读取并执行所述程序，由此，实现本发明的一个目的。所述记录媒体能够使用“非临时性的有形媒体”例如磁带、磁盘、存储卡、半导体存储器、可编程逻辑电路等。另外，所述程序也可以经由可传输该程序的任意的传输媒体(通信网络或广播等)而供应至所述电脑。此外，本发明的一方式也可利用由电子传输实现的嵌入至载波的数据信号的方式来实现所述程序。
[总结]
本发明的方式1的位置指定装置(1)的结构包括：图像获取部(101)，获取被摄体相同的多个拍摄图像、及所述多个拍摄图像的合成图像；第一位置接受部(102)，其使所述合成图像显示于显示装置(11)，经由输入装置(12)接受所述合成图像上的第一位置的输入；图像选择部(103)，其根据所述第一位置，从所述多个拍摄图像中选择一个选择图像；以及第二位置接受部(104)，其使所述选择图像的至少一部分显示于所述显示装置(11)，并经由所述输入装置(12)接受所述选择图像上的第二位置的输入。
根据所述结构，位置指定装置使用合成图像供用户搜寻图像上的所期望的测量点的位置，在根据在合成图像上搜寻出的位置(第一位置)而选择的选择图像上指定测量点，因此，无需获取考虑了被摄体的位置偏移的高品质的合成图像，另外，即使合成图像为重像，因为在选择图像上指定测量点，所以也无如下问题，该问题是指无法在成为重像的合成图像上正确地指定测量点的位置。另外，在根据在合成图像上搜寻出的位置(第一位置)而选择的选择图像中，第一位置附近的灰阶未饱和，因此，可指定选择图像上的位置。由此，根据本发明的方式1的位置指定装置，用户能够简单且正确地指定图像上的所期望的测量点的位置。
根据所述方式1，本发明的方式2的位置指定装置(测量装置100)也可以采用如下结构，其还包括测量部(105)，该测量部(105)获取对应于所述选择图像的纵深信息，并参照所述纵深信息，计算出与所述选择图像上的所述第二位置对应的所述被摄体上的位置(测量点)的三维坐标。
根据所述结构，能够计算出测量点的三维坐标。
根据所述方式1，本发明的方式3的位置指定装置(测量装置100)也可以采用如下结构，其还包括测量部(105)，该测量部(105)获取对应于所述选择图像的参照图像，并参照所述参照图像，计算出与所述选择图像上的所述第二位置对应的所述被摄体上的位置(测量点)的三维坐标。
根据所述结构，能够计算出测量点的三维坐标。
根据所述方式1至方式3中的任一个方式，本发明的方式4的位置指定装置(测量装置100)也可以采用如下结构，其还包括拍摄所述多个拍摄图像的拍摄部(基准图像拍摄部4)、及产生所述多个拍摄图像的合成图像的合成部(合成处理部7)。
根据所述结构，能够计算出测量点的三维坐标。
根据所述方式1至方式4中的任一个方式，本发明的方式5的位置指定装置(测量装置100)也可以采用如下结构，即，所述第二位置接受部(第三位置接受部)经由所述输入装置(12)，进一步接受所述选择图像上的与所述第二位置不同的第三位置的输入，所述图像选择部(103)根据所述第三位置而重新选择所述选择图像(重新选择图像)，所述第二位置接受部(第三位置接受部)使所述图像选择部所重新选择的所述选择图像(重新选择图像)的至少一部分显示于所述显示装置(11)，经由所述输入装置(12)再次接受所述选择图像上的第二位置及第三位置的输入。
根据所述结构，能够计算出多个测量点的三维坐标。
根据所述方式1至方式5中的任一个方式，本发明的方式6的位置指定装置(1)也可以采用如下结构，即，所述图像选择部(103)分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的灰阶饱和的程度，选择所述灰阶饱和的程度最小的拍摄图像作为所述选择图像。
根据所述结构，位置指定装置能够根据用户所指定的合成图像上的位置(第一位置)，选择灰阶饱和的程度最小的拍摄图像作为选择图像，并指定该选择图像上的位置(第二位置)，因此，用户可正确地指定想要指定的图像上的位置。
根据所述方式1至方式5中的任一个方式，本发明的方式7的位置指定装置(1)也可以采用如下结构，即，所述图像选择部(103)分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的合焦程度，选择所述合焦程度最大的拍摄图像作为所述选择图像。
根据所述结构，位置指定装置能够根据用户所指定的合成图像上的位置(第一位置)，选择合焦程度最大的拍摄图像作为选择图像，并指定该选择图像上的位置(第二位置)，因此，用户可正确地指定想要指定的图像上的位置。
本发明的方式8的位置指定方法是如下方法，其包括：第一位置接受工序(步骤S0102)，接受被摄体相同的多个拍摄图像的合成图像上的第一位置的指定；图像选择工序(步骤S0103)，根据在所述接受工序(步骤S0102)中接受的第一位置，从所述多个拍摄图像中选择一个选择图像；以及第二位置接受工序(步骤S0104)，接受在图像选择工序(步骤S0103)中选择的所述一个选择图像上的第二位置的指定。
根据所述结构，用户能够简单且正确地指定图像上的所期望的测量点的位置。
本发明的各方式的位置指定装置也可以由电脑实现，在此情况下，位置指定装置的控制程序(位置指定程序)、及记录有该控制程序(位置指定程序)的电脑可读取的记录媒体也包含于本发明的范畴，该位置指定装置的控制程序(位置指定程序)使电脑作为所述位置指定装置所包括的各部分(软件要素)而进行动作，由此，利用电脑来实现所述位置指定装置。
本发明并不限定于所述各实施方式，可在权利要求所示的范围内进行各种变更，将不同实施方式所分别公开的技术方案适当加以组合而获得的实施方式也包含于本发明的技术范围。而且，通过将各实施方式所分别公开的技术方案加以组合，能够形成新的技术特征。
(关联申请的相互参照)
本申请相对于2016年8月9日提出申请的日本专利特愿：特愿2016-156917主张优选权的权益，通过参照该日本专利特愿，其全部内容包含于本说明书。
附图标记说明
1：位置指定装置
4：基准图像拍摄部
5：控制部
6：参照图像拍摄部
7：合成处理部
8：拍摄装置
10：控制部
11：显示装置
12：输入装置
100：测量装置
101：图像获取部
102：第一位置接受部
103：图像选择部
104：第二位置接受部
105：测量部

Claims (15)

1.一种位置指定装置，其特征在于，包括：
第一位置接受部，其接受多个拍摄图像的合成图像上的第一位置的输入；
图像选择部，其根据所述第一位置，从所述多个拍摄图像中选择一个选择图像；以及
第二位置接受部，其接受所述选择图像上的第二位置的输入，
所述图像选择部分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的灰阶饱和的程度，并选择所述灰阶饱和的程度最小的拍摄图像作为所述选择图像。
2.一种位置指定装置，其特征在于，包括：
第一位置接受部，其接受多个拍摄图像的合成图像上的第一位置的输入；
图像选择部，其根据所述第一位置，从所述多个拍摄图像中选择一个选择图像；以及
第二位置接受部，其接受所述选择图像上的第二位置的输入，
所述图像选择部分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的合焦程度，并选择所述合焦程度最大的拍摄图像作为所述选择图像。
3.根据权利要求1所述的位置指定装置，其特征在于：
所述图像选择部分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的合焦程度，并选择所述合焦程度最大的拍摄图像作为所述选择图像。
4.根据权利要求1至3中任一项所述的位置指定装置，其特征在于：
所述多个拍摄图像是焦点位置彼此不同的多个拍摄图像。
5.根据权利要求1至3中任一项所述的位置指定装置，其特征在于：
还包括测量部，所述测量部获取对应于所述选择图像的纵深信息，并参照所述纵深信息，计算出与所述选择图像上的所述第二位置对应的被摄体上的位置的三维坐标。
6.根据权利要求1至3中任一项所述的位置指定装置，其特征在于：
还包括测量部，所述测量部获取对应于所述选择图像的参照图像，并参照所述参照图像，计算出与所述选择图像上的所述第二位置对应的被摄体上的位置的三维坐标。
7.根据权利要求1至3中任一项所述的位置指定装置，其特征在于：
还包括拍摄所述多个拍摄图像的拍摄部、及生成所述多个拍摄图像的合成图像的合成部。
8.根据权利要求1至3中任一项所述的位置指定装置，其特征在于：
所述第二位置接受部还接受所述选择图像上的与所述第二位置不同的第三位置的输入，
所述图像选择部根据所述第三位置而重新选择所述选择图像，
所述第二位置接受部再次接受所述选择图像上的第二位置及第三位置的输入。
9.根据权利要求1至3中任一项所述的位置指定装置，其特征在于：
包括显示装置及输入装置。
10.一种位置指定方法，其特征在于，包括：
第一位置接受工序，接受多个拍摄图像的合成图像上的第一位置的指定；
图像选择工序，根据在所述接受工序中接受到的第一位置，从所述多个拍摄图像中选择一个选择图像；以及
第二位置接受工序，接受在图像选择工序中选择的所述一个选择图像上的第二位置的指定，
在所述图像选择工序中，分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的灰阶饱和的程度，并选择所述灰阶饱和的程度最小的拍摄图像作为所述选择图像。
11.一种位置指定方法，其特征在于，包括：
第一位置接受工序，接受多个拍摄图像的合成图像上的第一位置的指定；
图像选择工序，根据在所述接受工序中接受到的第一位置，从所述多个拍摄图像中选择一个选择图像；以及
第二位置接受工序，接受在图像选择工序中选择的所述一个选择图像上的第二位置的指定，
在所述图像选择工序中，分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的合焦程度，并选择所述合焦程度最大的拍摄图像作为所述选择图像。
12.根据权利要求10所述的位置指定方法，其特征在于：
在所述图像选择工序中，分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的合焦程度，并选择所述合焦程度最大的拍摄图像作为所述选择图像。
13.一种记录有程序的记录介质，其中，所述程序用于使计算机作为如下部发挥功能，
第一位置接收部，其接受多个拍摄图像的合成图像上的第一位置的输入；
图像选择部，其根据所述第一位置，从所述多个拍摄图像中选择一个选择图像；以及
第二位置接受部，其接受所述选择图像上的第二位置的输入，
所述图像选择部分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的灰阶饱和的程度，并选择所述灰阶饱和的程度最小的拍摄图像作为所述选择图像。
14.一种记录有程序的记录介质，其中，所述程序用于使计算机作为如下部发挥功能，
第一位置接收部，其接受多个拍摄图像的合成图像上的第一位置的输入；
图像选择部，其根据所述第一位置，从所述多个拍摄图像中选择一个选择图像；以及
第二位置接受部，其接受所述选择图像上的第二位置的输入，
所述图像选择部分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的合焦程度，并选择所述合焦程度最大的拍摄图像作为所述选择图像。
15.根据权利要求13所述的记录有程序的记录介质，其中，所述程序用于使所述图像选择部分别针对所述多个拍摄图像，计算出包含所述第一位置的局部区域中的合焦程度，并选择所述合焦程度最大的拍摄图像作为所述选择图像。
CN201780047985.5A 2016-08-09 2017-08-08 位置指定装置及位置指定方法 Expired - Fee Related CN109565544B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016156917 2016-08-09
JP2016-156917 2016-08-09
PCT/JP2017/028720 WO2018030386A1 (ja) 2016-08-09 2017-08-08 位置指定装置および位置指定方法

Publications (2)

Publication Number Publication Date
CN109565544A CN109565544A (zh) 2019-04-02
CN109565544B true CN109565544B (zh) 2020-11-24

Family

ID=61162267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780047985.5A Expired - Fee Related CN109565544B (zh) 2016-08-09 2017-08-08 位置指定装置及位置指定方法

Country Status (4)

Country Link
US (1) US20190170502A1 (zh)
JP (1) JP6641485B2 (zh)
CN (1) CN109565544B (zh)
WO (1) WO2018030386A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316326A (zh) * 2007-06-01 2008-12-03 株式会社其恩斯 用于对放大图像摄影的放大观察设备和方法
CN104660900A (zh) * 2013-10-30 2015-05-27 株式会社摩如富 图像处理装置及图像处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2635890B2 (ja) * 1992-07-29 1997-07-30 帝人株式会社 画像処理による距離計測方法
JP2006337701A (ja) * 2005-06-01 2006-12-14 Olympus Corp 走査型共焦点レーザ顕微鏡
JP5270971B2 (ja) * 2008-06-10 2013-08-21 株式会社キーエンス 画像計測装置、画像計測方法及びコンピュータプログラム
JP6270361B2 (ja) * 2013-07-16 2018-01-31 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6418879B2 (ja) * 2014-10-06 2018-11-07 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316326A (zh) * 2007-06-01 2008-12-03 株式会社其恩斯 用于对放大图像摄影的放大观察设备和方法
CN104660900A (zh) * 2013-10-30 2015-05-27 株式会社摩如富 图像处理装置及图像处理方法

Also Published As

Publication number Publication date
CN109565544A (zh) 2019-04-02
JP6641485B2 (ja) 2020-02-05
WO2018030386A1 (ja) 2018-02-15
US20190170502A1 (en) 2019-06-06
JPWO2018030386A1 (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
US11272161B2 (en) System and methods for calibration of an array camera
US7139424B2 (en) Stereoscopic image characteristics examination system
US10404969B2 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US8401274B2 (en) Image processing apparatus and method
US10694101B2 (en) Contrast-enhanced combined image generation systems and methods
US20160173841A1 (en) Camera Assisted Two Dimensional Keystone Correction
JP7123736B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4717863B2 (ja) 複眼撮像装置のキャリブレーション方法および装置ならびにこれに用いられるキャリブレーションチャート
US20110235866A1 (en) Motion detection apparatus and method
US9894339B2 (en) Image processing apparatus, image processing method and program
US11808561B2 (en) Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
JP2000121319A (ja) 画像処理装置および画像処理方法、並びに提供媒体
CN109565544B (zh) 位置指定装置及位置指定方法
JP6381206B2 (ja) 画像処理装置、その制御方法およびプログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
JP2008058279A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2016072924A (ja) 画像処理装置及び画像処理方法
JP7113327B1 (ja) 撮像装置
CN114666558B (zh) 投影画面清晰度的检测方法、装置、存储介质及投影设备
JP2019134207A (ja) 画像処理装置
JP2023001950A (ja) 情報処理装置、撮像装置、画像処理方法およびプログラム
KR20150125766A (ko) 광각 카메라 영상의 특징점 검출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201124

CF01 Termination of patent right due to non-payment of annual fee