CN112739976B - 尺寸测量装置以及尺寸测量方法 - Google Patents

尺寸测量装置以及尺寸测量方法 Download PDF

Info

Publication number
CN112739976B
CN112739976B CN201980061226.3A CN201980061226A CN112739976B CN 112739976 B CN112739976 B CN 112739976B CN 201980061226 A CN201980061226 A CN 201980061226A CN 112739976 B CN112739976 B CN 112739976B
Authority
CN
China
Prior art keywords
size
image
depth
user
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980061226.3A
Other languages
English (en)
Other versions
CN112739976A (zh
Inventor
藤原晃
初田健
手塚涉太
上田弥侑
安永卓哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN112739976A publication Critical patent/CN112739976A/zh
Application granted granted Critical
Publication of CN112739976B publication Critical patent/CN112739976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/024Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of diode-array scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供一种尺寸测量装置以及尺寸测量方法。本公开的尺寸测量装置是计算具有多个面的对象物的外形的大小的尺寸测量装置。尺寸测量装置具备:操作部,受理用户的操作;取得部,取得表示对象物的深度图像的深度信息和表示对象物的彩色图像的颜色信息;控制部,基于深度信息和颜色信息的至少任一者计算表示对象物的宽度、进深及高度的第1尺寸;显示部,将表示基于第1尺寸的对象物的轮廓形状的框图像与彩色图像重叠显示。操作部受理用户的调整对象的面的选择及调整对象的面的变动量的输入。控制部基于第1尺寸和变动量,计算使调整对象的面基于变动量沿调整对象的面的法线方向进行了移动时的表示对象物的宽度、进深及高度的第2尺寸,将显示部显示的框图像变更为表示基于第2尺寸的对象物的轮廓形状。

Description

尺寸测量装置以及尺寸测量方法
技术领域
本公开涉及计测对象物的尺寸的尺寸测量装置以及尺寸测量方法。
背景技术
专利文献1公开了使可见光图像与热图像重叠显示的信息处理装置。该信息处理装置在热图像中使与周围的温度不同的特定部分的显示方式与其他部分不同。例如,以与其他部分相比更高的像素数或者更高的透过度来显示特定部分的热图像。由此,能够使物体的特定部分的温度分布清晰且容易识别。
在先技术文献
专利文献
专利文献1:日本特开2013-2959号公报
发明内容
本公开提供一种能够进行对象物的测定尺寸的调整的尺寸测量装置以及尺寸测量方法。
本公开所涉及的尺寸测量装置是计算具有多个面的对象物的外形的大小的尺寸测量装置。尺寸测量装置具备:操作部,受理由用户进行的操作;取得部,取得表示对象物的深度图像的深度信息和表示对象物的彩色图像的颜色信息;控制部,基于深度信息和颜色信息中的至少任一者,计算表示对象物的宽度、进深以及高度的第1尺寸;以及显示部,将表示基于第1尺寸的对象物的轮廓形状的框图像与彩色图像重叠显示。操作部受理由用户进行的对调整对象的面的选择以及调整对象的面的变动量的输入。控制部基于第1尺寸和变动量,计算使调整对象的面基于变动量沿着调整对象的面的法线方向进行了移动时的表示对象物的宽度、进深以及高度的第2尺寸,将显示部所显示的框图像变更为表示基于第2尺寸的对象物的轮廓形状。
这些概括性且特定的方式也可以通过系统、方法、计算机程序以及这些的组合来实现。
本公开所涉及的尺寸测量方法是计算具有多个面的对象物的外形的大小的方法。尺寸测量方法包括:取得表示对象物的深度图像的深度信息和表示对象物的彩色图像的颜色信息的步骤;基于深度信息和颜色信息中的至少任一者,计算表示对象物的宽度、进深以及高度的第1尺寸的步骤;将表示基于第1尺寸的对象物的轮廓形状的框图像与彩色图像重叠显示于显示部的步骤;受理由用户进行的调整对象的面的选择以及调整对象的面的变动量的输入的步骤;基于第1尺寸和变动量,计算使调整对象的面基于变动量沿着调整对象的面的法线方向进行了移动时的表示对象物的宽度、进深以及高度的第2尺寸的步骤;以及将显示部所显示的框图像变更为表示基于第2尺寸的对象物的轮廓形状的步骤。
本公开中的尺寸测量装置以及尺寸测量方法基于用户指定的变动量,计算使由用户选择出的调整对象的面沿着调整对象的面的法线方向进行了移动时的对象物的尺寸。由此,能够进行对象物的测定尺寸的调整。
附图说明
图1是尺寸测量装置的主视图。
图2是尺寸测量装置的后视图。
图3是表示尺寸测量装置的电结构的框图。
图4是用于说明由尺寸测量装置进行的对象物的拍摄的图。
图5是表示尺寸测量装置的整体动作的流程图。
图6是表示将表示推定出的对象物的轮廓形状的框图像和可见光图像重叠地进行显示的例子的图。
图7是表示用于调整尺寸测量的结果的画面的一例的图。
图8是表示尺寸的重新计算的动作的流程图。
图9是用于说明法线方向的滑动操作的图。
图10是表示对象物的面的选择动作的流程图。
图11是用于说明对象物的面的选择动作的图。
具体实施方式
以下,一边适当参照附图,一边对实施方式进行详细地说明。不过,有时省略必要以上的详细说明。例如,已经熟知的事项的详细说明、实质上相同的结构的重复说明。这是为了避免以下的说明变得不必要地冗长,使本领域技术人员容易理解。另外,发明者们为了使本领域技术人员充分地理解本公开而提供附图以及以下的说明,并非意图通过它们来限定请求的范围记载的主题。
(成为本公开的基础的见解)
为了利用红外线相机等深度相机拍摄要进行尺寸测量的对象物例如物流中使用的箱型的货物的整体,需要从使得拍摄到货物的整体地远离的距离进行拍摄。但是,例如在使用红外线有源立体方式的情况下,在间隙、凹凸部、黑色材料等处难以检测出深度,深度信息中容易产生数据的遗漏。此外,红外线也受到日光的影响。因此,若从远离的距离进行拍摄,则有时会在从深度相机得到的深度信息中包括噪声,或者产生数据的遗漏。即,深度信息的精度降低。因此,存在基于深度信息的对象物的尺寸的测定精度不好的情况。
本公开的尺寸测量装置能够进行测定了对象物的尺寸后的尺寸的微调整。具体地说,本公开的尺寸测量装置将表示基于根据深度图像计算出的尺寸的对象物的轮廓形状的框图像与彩色图像重叠显示。尺寸测量装置受理用户对调整对象的面的选择和该面的变动量的输入。尺寸测量装置基于用户指定的变动量,计算使由用户选择出的调整对象的面沿着调整对象的面的法线方向进行了移动时的对象物的尺寸。由此,能够由用户进行测定尺寸的调整。以下,对本公开的尺寸测量装置进行详细地说明。
(实施方式)
以下,一边参照附图,一边对实施方式进行说明。
1.尺寸测量装置的结构
参照图1~图4,对本实施方式的尺寸测量装置的结构进行说明。
图1是本实施方式所涉及的尺寸测量装置的主视图。图2是本实施方式所涉及的尺寸测量装置的后视图。尺寸测量装置100例如是平板型的个人计算机。尺寸测量装置100在正面侧具备触摸屏110,在背面侧具备深度相机120以及可见光相机130。
图3是表示第1实施方式所涉及的尺寸测量装置的电结构的框图。尺寸测量装置100除了触摸屏110、深度相机120以及可见光相机130之外,还具备控制部140、存储部150以及通信部160。
触摸屏110包括显示部111和操作部112。显示部111例如由液晶显示器或者有机EL显示器构成。操作部112是输入用户进行的各种操作的用户接口。在本实施方式中,操作部112是设置于显示部111的表面的触摸面板。操作部112检测用户的手指或者笔等指示设备的触摸操作。操作部112例如包括电极膜。控制部140例如能够通过测定因手指、指示设备与操作部112接触而产生的电压的变化或者静电容量的变化来确定手指、指示设备的接触位置。另外,操作部112除了触摸面板之外也可以通过键盘、按钮、开关或者这些的组合来实现。
深度相机120生成表示从基准位置到被摄物的距离的深度信息。具体地说,深度相机120测定到被摄物的距离,生成以每个像素的深度值表示测定出的距离的深度图像。深度图像内的各像素由二维坐标来确定。深度相机120例如是红外线相机。深度相机120通过安装有源立体方式以及TOF(Time Of Flight,飞行时间)方式等的各种公知技术来实现。例如,尺寸测量装置100可以具备2台深度相机120,在这种情况下,可以基于两个图像的视差来计算距离。尺寸测量装置100也可以具备1台深度相机120,在这种情况下,可以根据照射的红外线的光线触到对象物而反射光返回为止所花费的时间来计算距离。深度相机120相当于取得深度信息的取得部。
可见光相机130对被摄物进行拍摄来生成颜色信息。可见光相机130具备CCD图像传感器、CMOS图像传感器或者NMOS图像传感器等图像传感器。颜色信息例如是表示每个像素的RGB值的彩色图像。彩色图像内的各像素由二维坐标确定。可见光相机130相当于取得颜色信息的取得部。
控制部140能够通过半导体元件等来实现。控制部140例如能够由微型计算机、CPU(Central Processing Unit,中央处理单元)、MPU(Micro Processing Unit,微处理单元)、GPU(Graphics Processing Unitt,图形处理单元)、DSP(Digital Signal Processor,数字信号处理器)、FPGA(Field Programmable Gate Array,现场可编程门阵列)、或者ASIC(Application Specific Integrated Circuit,专用集成电路)构成。控制部140的功能可以仅由硬件构成,也可以组合硬件和软件来实现。控制部140通过读出在存储部150中存储的数据、程序来进行各种运算处理,从而实现规定的功能。
存储部150是存储用于实现尺寸测量装置100的功能所需的程序以及数据的存储介质。存储部150例如能够通过硬盘(HDD)、SSD(Solid State Drive)、RAM(Random AccessMemory)、DRAM(Dynamic RAM)、铁电存储器、闪速存储器、磁盘、或者这些的组合来实现。
通信部160包括按照规定的通信标准进行与外部设备的通信的电路。规定的通信标准例如是LAN(Local Area Network,局域网)、Wi-Fi(注册商标)、Bluetooth(注册商标)、USB(Universal Serial Bus,通用串行总线)以及HDMI(注册商标)。
图4示意性地表示利用尺寸测量装置100进行的对象物200的拍摄。尺寸测量装置100进行尺寸测量的对象物200例如是在物流中使用的箱型的货物。对象物200包括多个面。在图4的例子中,对象物200是长方体的箱,因此包括6个面。深度相机120将深度相机120的位置作为基准位置,测定从深度相机120到对象物200的距离来生成深度图像。可见光相机130拍摄对象物200而生成彩色图像。在本实施方式中,以对对象物200进行尺寸测量为目的,因此如图4所示,使得拍摄到对象物200的至少两个面地进行拍摄。尺寸测量装置100参照深度图像以及彩色图像来计算对象物200的宽度W200、进深D200以及高度H200。
在本实施方式中,在图2~图4中,例示了深度相机120和可见光相机130是独立的相机的情况。但是,深度相机120和可见光相机130也可以是能够取得深度信息和颜色信息两者的一个相机。
2.尺寸测量装置的动作
参照图5~图11,对本实施方式的尺寸测量装置100的动作进行说明。
2.1整体流程
图5表示尺寸测量装置100的控制部140的动作。控制部140从深度相机120取得表示深度图像的深度信息(步骤S1)。控制部140从可见光相机130取得表示彩色图像的颜色信息(步骤S2)。
控制部140基于深度图像检测对象物200,计算对象物200的尺寸(步骤S3)。控制部140也可以通过对彩色图像进行图像处理来提取对象物200的轮廓,从而检测对象物200。控制部140也可以基于彩色图像和深度图像两者来检测对象物200。能够通过现有的公知技术来进行基于深度图像以及/或者彩色图像的对象物200的检测。通过对象物200的检测,从而确定对象物200在图像内的位置。
控制部140将具有计算出的尺寸的大小的框的图像即表示对象物200的各面的轮廓形状的框图像,与彩色图像重叠显示于显示部111(步骤S4)。在深度相机120和可见光相机130是同一相机的情况下,深度图像的二维坐标与彩色图像的二维坐标一致。在深度相机120和可见光相机130是独立的相机的情况下,控制部140例如基于深度相机120和可见光相机130的位置,将深度图像的二维坐标与彩色图像的二维坐标建立对应。例如,将深度图像的坐标系和彩色图像的坐标系变换为以规定的基准位置为原点的坐标系。
控制部140根据用户的操作来重新计算对象物200的尺寸(步骤S5)。
图6例示了步骤S4的重叠、即在步骤S2中取得的彩色图像131与在步骤S3中计算出的尺寸的框121的图像(框图像)的重叠。控制部140生成将表示对象物200各面的轮廓形状的框121的图像与彩色图像131重叠而成的重叠图像300。
图7表示步骤S5中的用于调整尺寸测量结果的显示部111的画面的一例。显示部111显示在步骤S4中生成的重叠图像300和在步骤S3中计算出的尺寸401。进而,在显示部111显示用于选择调整尺寸的面的面选择按钮402、用于变更框121的大小的调整按钮403、以及用于决定尺寸的保存按钮404。
面选择按钮402例如包括“1”~“6”的数值按钮,使得能够选择长方体的6个面中的任一面。例如,“1”~“6”的数值分别与图9的(a)所示的面P1~P6对应。调整按钮403例如包括用于使变动量增加的按钮和用于使变动量减少的按钮。由调整按钮403设定的数值与像素数对应。用户通过在调整按钮403上进行触摸操作,从而能够将表示变动量的数值输入到尺寸测量装置100。
用户通过利用手指或者指示设备对重叠图像300内或者面选择按钮402进行触摸操作,能够选择要调整尺寸的面。用户对于所选择的面,通过在重叠图像300内进行滑动操作或者对调整按钮403进行触摸操作,能够使所选择的面即框121的一部分沿着该面的法线方向移动。由此,用户能够变更框121的大小。在面的选择处理和尺寸的变更处理中,也能够进行按钮操作和图像上的操作的任意组合。例如,用户可以通过重叠图像300上的触摸操作来选择面,并从触摸的位置进行滑动操作而使面移动。用户也可以通过调整按钮403的操作来使通过操作面选择按钮402而选择的面移动。用户也可以通过重叠图像300上的操作来进行面的选择处理和尺寸的变更处理中的任一者,通过对按钮的操作来进行另一者的处理。例如,用户可以通过重叠图像300上的滑动操作而使通过操作面选择按钮402选择出的面移动。用户也可以通过调整按钮403的操作而使通过重叠图像300上的触摸操作选择出的面移动。
2.2尺寸的重新计算
图8表示与用户的操作相应的尺寸的重新计算(步骤S5)的详细过程。图9例示了滑动操作。
控制部140根据用户的操作来选择调整对象的面(步骤S51)。例如,用户通过手指或者指示设备对图7所示的重叠图像300内或者面选择按钮402进行触摸操作。控制部140基于手指或者指示设备的接触位置的坐标,从6个面P1~P6中选择调整对象的面。图9的(b)表示作为调整对象的面而选择了面P4的例子。
控制部140判断是否探测到由用户进行的变动量的输入操作(步骤S52)。控制部140例如通过探测手指或者指示设备的接触位置的坐标的变化来探测滑动操作。例如,当探测到滑动操作时,控制部140判断为进行了变动量的输入操作。此外,当基于手指或者指示设备的接触位置的坐标探测到操作了调整按钮403时,控制部140判断为进行了变动量的输入操作。另外,变动量的输入操作也可以是使用键盘等直接输入数值的操作。
当进行了变动量的输入操作时,控制部140将变动量从像素换算为长度(步骤S53)。例如,在变动量的输入操作为滑动操作的情况下,控制部140将与滑动量对应的像素数换算为长度(例如mm)。在变动量的输入操作是针对调整按钮403的触摸操作的情况下,控制部140将由调整按钮403设定的数值换算为长度。
控制部140根据换算后的长度来重新计算对象物200的尺寸(步骤S54)。具体地说,控制部140基于在步骤S3中计算出的尺寸和换算后的长度,重新计算对象物200的尺寸。在此,如图9的(c)所示,控制部140将调整对象的面的移动方向限制为调整对象的面的法线方向。因此,控制部140重新计算根据换算后的长度使调整对象的面相对于该面的法线方向增减的情况下的对象物200的宽度、进深以及高度的尺寸。
控制部140将重新计算后的尺寸和该尺寸的大小的框121的图像显示于显示部111(步骤S55)。即,将显示部111所显示的框121的大小从在步骤S3中计算出的尺寸变更为在步骤S54中计算出的尺寸。
控制部140判断保存按钮404是否被操作(步骤S56)。当探测到保存按钮404被操作时,控制部140例如将在步骤S54中重新计算出的尺寸保存在存储部150中,结束图8所示的处理。在保存按钮404被操作之前,返回步骤S51而反复进行图8所示的处理。此时,例如,若在步骤S51中未选择新的调整对象的面,则对当前的调整对象的面反复执行步骤S52~S55。
在显示部111中,由于框121与彩色图像重叠显示,因此用户能够使调整对象的面移动,使得框121与在彩色图像中拍摄到的对象物200的大小一致。例如,用户选择从对象物200的轮廓偏离的面(图9的(b)),通过进行滑动操作(图9的(c)),使框121与对象物200的轮廓一致(图9的(d))。控制部140基于变动量例如滑动量来重新计算对象物200的尺寸。由此,例如,即使在基于深度图像计算出的最初的尺寸的精度不良的情况下,用户也能够一边目视重叠图像300一边变更框121的大小,从而控制部140能够计算出与对象物200的实际的大小一致这样的尺寸。
控制部140也可以使进行滑动操作的期间即持续检测出手指或者指示设备的接触位置的坐标的变化期间的框的显示(例如图9的(c))、和滑动操作结束后即检测到非接触时的框的显示(例如图9的(d))不同。例如,在滑动操作中可以是能够分别视觉辨认出滑动操作开始前的框的大小和与滑动量对应的框的大小的显示。
2.3面的选择
在步骤S51中,在用户对面选择按钮402进行了触摸操作的情况下,控制部140基于手指或者指示设备的接触位置的坐标和面选择按钮402内包括的数值按钮的坐标,从6个面P1~P6中选择调整对象的面。
在步骤S51中,在用户对重叠图像300进行了触摸操作的情况下,控制部140通过图10所示的处理,从6个面P1~P6中选择调整对象的面。
图10表示基于重叠图像300内的触摸操作的调整对象的面的选择(步骤S51)的详细过程。图11表示被用户触摸的位置的坐标A、侧面的中心坐标B1、B2、B3、B4、在顶面的一部分描绘的圆C1、以及在底面的一部分描绘的圆C2。控制部140基于相机坐标系(二维坐标系)来进行图10所示的处理。
控制部140基于在步骤S3中计算出的对象物200的尺寸,即基于框121的大小,计算四个侧面的中心坐标B1、B2、B3、B4(步骤S501)。控制部140在框121的顶面以及底面分别描绘圆C1、C2(步骤S502)。
控制部140取得用户触摸的位置的坐标A(S503)。控制部140判断坐标A是否在圆C1的范围内(S504)。若坐标A在圆C1的范围内,则控制部140将调整对象的面决定为顶面(S505)。
若坐标A不在圆C1的范围内,则控制部140判断坐标A是否在圆C2的范围内(S506)。若坐标A在圆C2的范围内,则控制部140将调整对象的面决定为底面(S507)。
若坐标A不在圆C2的范围内,则控制部140分别计算从坐标A到中心坐标B1的距离、从坐标A到中心坐标B2的距离、从坐标A到中心坐标B3的距离、从坐标A到中心坐标B4的距离(S508)。控制部140将与中心坐标B1~B4中距离最短的坐标对应的侧面决定为调整对象的面(S509)。
3.效果以及补充说明
本实施方式的尺寸测量装置100计算具有多个面的对象物200的外形的大小。尺寸测量装置100具备:操作部112,受理由用户进行的操作;取得部,取得表示对象物的深度图像的深度信息和表示对象物的彩色图像的颜色信息;控制部140,基于深度信息和颜色信息中的至少任一者,计算表示对象物的宽度、进深以及高度的第1尺寸;以及显示部111,将表示基于第1尺寸的对象物的轮廓形状的框图像与彩色图像重叠显示。操作部112受理用户对调整对象的面的选择以及调整对象的面的变动量的输入。控制部140基于第1尺寸和变动量,计算使调整对象的面基于变动量沿着调整对象的面的法线方向进行了移动时的对象物的第2尺寸,将显示部111所显示的框图像变更为表示基于第2尺寸的对象物的轮廓形状。
由此,能够进行对象物的测定尺寸的调整。例如,用户从框121所表示的多个面中选择从彩色图像内的对象物的轮廓偏离的面。用户通过例如滑动操作输入变动量。控制部140基于用户输入的变动量例如滑动量,计测使调整对象的面沿着其法线方向进行了移动时的对象物200的尺寸。进而,控制部140变更框121的大小而使得表示计测后的尺寸。因此,用户移动所选择的面而使得框121与彩色图像内的对象物200的轮廓一致,从而控制部140能够高精度地计算对象物200的尺寸。由此,例如,即使在深度信息中包括噪声、最初计算出的尺寸存在误差的情况下,控制部140也能够基于用户的目视的调整,高精度地计算对象物200的尺寸。
操作部112是触摸面板。在由用户进行的调整对象的面的选择中,控制部140计算框121的图像中的多个面各自的中心坐标,将用户触碰了触摸面板的位置的坐标与中心坐标的距离最近的面选择为调整对象的面。
由此,用户能够选择想要选择的面。
显示部111在多个面中的至少任一个面中显示与面建立了对应的规定形状的图像。在本实施方式中显示圆。在由用户进行的调整对象的面的选择中,若用户触碰了触摸面板的位置的坐标在规定形状的图像的范围内,则控制部140将与规定形状的图像建立了对应的面选择为调整对象的面。
由此,用户能够选择想要选择的面。
调整对象的面的变动量通过对操作部112的滑动操作或者数值输入而被输入。
用户输入的变动量与像素数对应。控制部140将像素数变换为长度来计算第2尺寸。
取得部包括:深度相机120,对对象物进行拍摄来生成深度信息;以及可见光相机130,对对象物进行拍摄来生成颜色信息。
本实施方式的尺寸测量方法是计算机的控制部计算具有多个面的对象物200的外形的大小的方法。尺寸测量方法包括:从取得部取得表示对象物200的深度图像的深度信息和表示对象物200的彩色图像的颜色信息的步骤S1、S2;基于深度信息和颜色信息中的至少任一者,计算表示对象物的宽度、进深以及高度的第1尺寸的步骤S3;将表示基于第1尺寸的对象物的轮廓形状的框图像与彩色图像重叠地显示于显示部111的步骤S4;经由操作部112受理由用户进行的调整对象的面的选择以及调整对象的面的变动量的输入的步骤S51、S52;基于第1尺寸和变动量来计算使所选择的调整对象的面基于变动量沿着调整对象的面的法线方向进行了移动时的对象物的第2尺寸的步骤S53、S54;以及将显示部111所显示的框图像变更为表示基于第2尺寸的对象物的轮廓形状的步骤S55。
由此,能够调整对象物的测定尺寸。
(其他实施方式)
如上所述,作为本申请中公开的技术的例示,对实施方式进行了说明。然而,本公开中的技术并不限定于此,也能够应用于进行了适当的变更、置换、附加、省略等的实施方式。此外,也能够将上述实施方式中说明的各结构要素组合而作为新的实施方式。
在上述实施方式中,作为用于指定顶面以及底面的形状描绘了圆C1、C2,但用于指定面的形状也可以不是圆形。例如,也可以是四边形。此外,能够由图形指定的面也可以不是顶面以及底面。例如,也可以是侧面。
在上述实施方式中,深度相机120内置于尺寸测量装置100中,但深度相机120也可以不内置于尺寸测量装置100中。尺寸测量装置100也可以经由通信部160取得深度相机120所生成的深度信息。在这种情况下,通信部160相当于取得深度信息的取得部。同样,可见光相机130也可以不内置于尺寸测量装置100。尺寸测量装置100也可以经由通信部160与深度信息一起取得颜色信息。在这种情况下,通信部160相当于取得颜色信息的取得部。
在上述实施方式中,用户通过目视重叠图像300来手动变更框121的大小,由此,控制部140重新计算对象物200的尺寸。也可以代替该方式而使用机器学习来从重叠图像300重新计算对象物200的尺寸。
本公开的尺寸测量装置100能够通过硬件资源例如处理器、存储器以及程序的协作等来实现。
如上所述,作为本公开中的技术的例示,对实施方式进行了说明。因此,提供了附图以及详细的说明。因此,在附图以及详细的说明所记载的结构要素中,不仅包括为了解决课题所必须的结构要素,而且为了例示上述技术还可包括不是为了解决课题所必须的结构要素。因此,不应以这些不是必须的结构要素记载于附图、详细的说明中为根据而立即认定这些不是必须的结构要素是必须的。
此外,上述的实施方式是用于例示本公开中的技术的实施方式,因此能够在请求的范围或者其等同的范围内进行各种变更、置换、附加、省略等。
产业上的可利用性
本公开能够应用于对计测出的对象物的尺寸进行调整的尺寸测量装置以及尺寸测量方法。
符号说明
100 尺寸测量装置;
110 触摸屏;
111 显示部;
112 操作部;
120 深度相机;
121 框;
130 可见光相机;
131 彩色图像;
140 控制部;
150 存储部;
160 通信部;
200 对象物;
300 重叠图像;
401 尺寸;
402 面选择按钮;
403 调整按钮;
404 保存按钮;
A 坐标;
B1、B2、B3、B4 中心坐标;
C1、C2 圆;
P1、P2、P3、P4、P5、P6 面。

Claims (7)

1.一种尺寸测量装置,计算具有多个面的对象物的外形的大小,具备:
操作部,受理由用户进行的操作;
取得部,取得表示所述对象物的深度图像的深度信息和表示所述对象物的彩色图像的颜色信息;
控制部,基于所述深度信息和所述颜色信息中的至少任一者,计算表示所述对象物的宽度、进深以及高度的第1尺寸;以及
显示部,将具有计算出的所述第1尺寸的大小的框的图像即表示对象物的各面的轮廓形状的框图像与所述彩色图像重叠显示,
所述操作部受理由所述用户进行的从所述框图像所表示的各面中的调整对象的面的选择以及所述调整对象的面的变动量的输入,
所述控制部基于所述第1尺寸和所述变动量,计算使所述调整对象的面基于所述变动量沿着所述调整对象的面的法线方向进行了移动时的表示所述对象物的宽度、进深以及高度的第2尺寸,将所述显示部所显示的所述框图像变更为表示基于所述第2尺寸的对象物的各面的轮廓形状。
2.根据权利要求1所述的尺寸测量装置,其中,
所述操作部是触摸面板,
在由所述用户进行的调整对象的面的选择中,所述控制部计算所述框图像中的所述多个面各自的中心坐标,将所述用户触碰了所述触摸面板的位置的坐标与所述中心坐标的距离最近的面选择为所述调整对象的面。
3.根据权利要求1所述的尺寸测量装置,其中,
所述操作部是触摸面板,
所述显示部在所述多个面中的至少任一个面中显示与面建立了对应的规定形状的图像,
在由所述用户进行的调整对象的面的选择中,若所述用户触碰了所述触摸面板的位置的坐标在所述规定形状的图像的范围内,则所述控制部将与所述规定形状的图像建立了对应的面选择为所述调整对象的面。
4.根据权利要求1所述的尺寸测量装置,其中,
所述调整对象的面的变动量通过对所述操作部的滑动操作或者数值输入而被输入。
5.根据权利要求1所述的尺寸测量装置,其中,
所述用户输入的变动量与像素数对应,
所述控制部将所述像素数变换为长度来计算所述第2尺寸。
6.根据权利要求1所述的尺寸测量装置,其中,
所述取得部包括:
深度相机,对所述对象物进行拍摄来生成所述深度信息;以及
可见光相机,对所述对象物进行拍摄来生成所述颜色信息。
7.一种尺寸测量方法,计算具有多个面的对象物的外形的大小,包括:
取得表示所述对象物的深度图像的深度信息和表示所述对象物的彩色图像的颜色信息的步骤;
基于所述深度信息和所述颜色信息中的至少任一者,计算表示所述对象物的宽度、进深以及高度的第1尺寸的步骤;
将具有计算出的所述第1尺寸的大小的框的图像即表示对象物的各面的轮廓形状的框图像与所述彩色图像重叠显示于显示部的步骤;
受理由用户进行的从所述框图像所表示的各面中的调整对象的面的选择以及所述调整对象的面的变动量的输入的步骤;
基于所述第1尺寸和所述变动量,计算使所述调整对象的面基于所述变动量沿着所述调整对象的面的法线方向进行了移动时的表示所述对象物的宽度、进深以及高度的第2尺寸的步骤;以及
将所述显示部所显示的所述框图像变更为表示基于所述第2尺寸的对象物的各面的轮廓形状的步骤。
CN201980061226.3A 2018-09-28 2019-09-25 尺寸测量装置以及尺寸测量方法 Active CN112739976B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-185193 2018-09-28
JP2018185193 2018-09-28
PCT/JP2019/037621 WO2020067168A1 (ja) 2018-09-28 2019-09-25 採寸装置及び採寸方法

Publications (2)

Publication Number Publication Date
CN112739976A CN112739976A (zh) 2021-04-30
CN112739976B true CN112739976B (zh) 2023-05-12

Family

ID=69949928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061226.3A Active CN112739976B (zh) 2018-09-28 2019-09-25 尺寸测量装置以及尺寸测量方法

Country Status (5)

Country Link
US (1) US11733032B2 (zh)
EP (1) EP3859269B1 (zh)
JP (1) JP7361251B2 (zh)
CN (1) CN112739976B (zh)
WO (1) WO2020067168A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384712B2 (ja) * 2020-03-06 2023-11-21 富士フイルム株式会社 放射線強度推定装置、放射線強度推定装置の作動方法、放射線強度推定装置の作動プログラム、放射線撮影システム
CN111524193B (zh) * 2020-04-17 2022-05-03 西安交通大学 一种物体二维尺寸的测量方法及测量装置
CN113865481B (zh) * 2020-06-30 2024-05-07 北京小米移动软件有限公司 对象尺寸测量方法、装置及存储介质
CN115278080A (zh) * 2022-07-28 2022-11-01 北京五八信息技术有限公司 一种蒙版生成方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010559A (zh) * 2005-06-17 2007-08-01 欧姆龙株式会社 进行三维计测的图像处理装置及图像处理方法
CN103617002A (zh) * 2013-12-16 2014-03-05 深圳市理邦精密仪器股份有限公司 一种触控界面的实现方法及装置
JP2014089697A (ja) * 2012-10-05 2014-05-15 Fine Co Ltd 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
JP2014209326A (ja) * 2013-03-27 2014-11-06 パナソニック株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN105593637A (zh) * 2013-10-02 2016-05-18 松下知识产权经营株式会社 尺寸测量装置、尺寸测量方法、尺寸测量系统和程序
WO2017151669A1 (en) * 2016-02-29 2017-09-08 Aquifi, Inc. System and method for assisted 3d scanning
JP2017175606A (ja) * 2016-03-22 2017-09-28 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) * 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
JP5772272B2 (ja) 2011-06-16 2015-09-02 富士通株式会社 情報処理装置、及び情報処理方法
JP5205547B1 (ja) * 2012-04-20 2013-06-05 株式会社ノイズ研究所 放射信号可視化装置
DE112013003338B4 (de) 2012-07-02 2017-09-07 Panasonic Intellectual Property Management Co., Ltd. Größenmessvorrichtung und Größenmessverfahren
JP2014127945A (ja) 2012-12-27 2014-07-07 Rohm Co Ltd 検査システム、検査方法、画素回路及びイメージセンサ
US10089750B2 (en) * 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010559A (zh) * 2005-06-17 2007-08-01 欧姆龙株式会社 进行三维计测的图像处理装置及图像处理方法
JP2014089697A (ja) * 2012-10-05 2014-05-15 Fine Co Ltd 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
JP2014209326A (ja) * 2013-03-27 2014-11-06 パナソニック株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN105593637A (zh) * 2013-10-02 2016-05-18 松下知识产权经营株式会社 尺寸测量装置、尺寸测量方法、尺寸测量系统和程序
CN103617002A (zh) * 2013-12-16 2014-03-05 深圳市理邦精密仪器股份有限公司 一种触控界面的实现方法及装置
WO2017151669A1 (en) * 2016-02-29 2017-09-08 Aquifi, Inc. System and method for assisted 3d scanning
JP2017175606A (ja) * 2016-03-22 2017-09-28 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像装置

Also Published As

Publication number Publication date
US11733032B2 (en) 2023-08-22
EP3859269A4 (en) 2021-11-10
EP3859269B1 (en) 2023-05-03
CN112739976A (zh) 2021-04-30
JP7361251B2 (ja) 2023-10-16
WO2020067168A1 (ja) 2020-04-02
US20210207952A1 (en) 2021-07-08
JPWO2020067168A1 (ja) 2021-08-30
EP3859269A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
CN112739976B (zh) 尺寸测量装置以及尺寸测量方法
US10091489B2 (en) Image capturing device, image processing method, and recording medium
US10456918B2 (en) Information processing apparatus, information processing method, and program
US10277889B2 (en) Method and system for depth estimation based upon object magnification
JP6502511B2 (ja) 計算装置、計算装置の制御方法および計算プログラム
US20180184072A1 (en) Setting apparatus to set movement path of virtual viewpoint, setting method, and storage medium
EP3135033B1 (en) Structured stereo
US20140169660A1 (en) Stereo Correspondence Smoothness Tool
JP6016226B2 (ja) 測長装置、測長方法、プログラム
US20160292888A1 (en) Image measurement device, and recording medium
US20180213156A1 (en) Method for displaying on a screen at least one representation of an object, related computer program, electronic display device and apparatus
CN106575193B (zh) 用于深度摄影系统中的图像位置选择
JP6804056B2 (ja) 投写型表示装置、投写型表示装置の制御方法、及びプログラム
JPWO2020066847A1 (ja) 採寸装置及び採寸方法
TWI417774B (zh) 光學距離判斷裝置、光學觸控螢幕系統及光學觸控測距之方法
JP2016217944A (ja) 計測装置、および計測方法
JPWO2020085303A1 (ja) 情報処理装置及び情報処理方法
JP5996233B2 (ja) 画像撮像装置
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2009222446A (ja) 距離測定装置及びそのプログラム
US20180068477A1 (en) Display method, display device, and non-transitory computer-readable recording medium
JP2018097563A (ja) 画像処理装置
JP2017067737A (ja) 寸法計測装置、寸法計測方法およびプログラム
CN107818585B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant