CN111630524B - 测量物体参数的方法及装置 - Google Patents

测量物体参数的方法及装置 Download PDF

Info

Publication number
CN111630524B
CN111630524B CN201880087447.3A CN201880087447A CN111630524B CN 111630524 B CN111630524 B CN 111630524B CN 201880087447 A CN201880087447 A CN 201880087447A CN 111630524 B CN111630524 B CN 111630524B
Authority
CN
China
Prior art keywords
measured
depth
determining
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880087447.3A
Other languages
English (en)
Other versions
CN111630524A (zh
Inventor
张旭
柯政遠
王强
那柏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111630524A publication Critical patent/CN111630524A/zh
Application granted granted Critical
Publication of CN111630524B publication Critical patent/CN111630524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种测量物体参数的方法及装置,其中方法包括:S101识别图像中待测量物体的类别;S102确定在图像中待测量物体的面积;S103确定图像中待测量物体的深度,所述待测量物体的深度为用于拍摄图像的设备在拍摄图像时,设备到待测量物体的距离;S104根据待测量物体的类别、待测量物体的面积和待测量物体的深度确定待测量物体的参数。该测量物体参数的方法及装置能够将拍摄距离对待测量物体参数的影响纳入测量范围,根据待测量物体的类别、待测量物体在图像中的面积和待测量物体的深度共同确定待测量物体的参数,提高了测量物体参数时的准确度。

Description

测量物体参数的方法及装置
技术领域
本申请涉及终端技术领域,尤其涉及一种测量物体参数的方法及装置。
背景技术
随着生活水平的提高,肥胖等不健康表现更多地出现在人们的日常生活中,使得人们更加关注日常饮食中摄入的卡路里对身体的影响。服务提供商与用户都希望能够在日常饮食过程中通过测量食物的卡路里,来对用户的饮食提供建议和帮助,方便用户保持良好的饮食习惯。
现有技术提供了采用非接触式的测量卡路里的方法,该方法通常需要用户通过手机或相机等电子设备拍摄食物的照片后,由电子设备识别出照片中食物的种类,并向用户提示每100克该类型食物所包含的卡路里数值的经验值。或者由电子设备根据所拍摄照片中食物的大小通过经验值估算该食物所包含的卡路里数值。例如:图1为非接触式测量卡路里的示意图。在图1中以待测量物体以苹果为例。当用户需要测量桌子上放置的苹果1所包含的卡路里数值时,用户可以通过电子设备2的摄像头对苹果1进行拍摄,得到包含待测量物体苹果1的图像3,并由电子设备2通过图像处理技术识别图像3中食物的种类为苹果。随后,电子设备2可以在其屏幕上向用户显示出每100克苹果所包含的卡路里数值;或者,电子设备2根据图像3内苹果1所占据的面积大小估计实际的待测量苹果的大小,并根据估计出的苹果1的大小对苹果1的卡路里数值进行估算。
但是,如图2和图3所示,图2为非接触式测量卡路里方法中电子设备距离待测量物体距离的示意图,图3为非接触式测量卡路里方法中处理包含待测量物体图像的示意图。用户在通过电子设备2的摄像头拍摄实际待测量的苹果1时,距离待测量物体的距离并没有一个统一的标准,用户可能通过电子设备2的摄像头在距离待测量苹果1不同距离处对苹果1进行拍摄。当电子设备2离苹果1的距离较近时,拍摄的照片中苹果所占的面积较大,当电子设备2离苹果1的距离较远时,拍摄的照片中苹果1所占的面积较小。例如图2中电子设备2与苹果1间隔L1距离时拍摄得到图3中的照片A经过图像处理后,得到照片A中苹果1的大小为S1;而电子设备2与苹果1间隔L2距离时拍摄得到图3中的照片B经过图像处理后,得到照片B中苹果1的大小为S2,并且S1<S2。因此针对相同的一个待测量苹果1,电子设备2在不同距离所拍摄的照片A和照片B中苹果1所占的面积并不相同。而电子设备对于待测量物体进行卡路里数值估计时,电子设备仅依据照片中食物面积的相对值进行估计。如此电子设备2最终根据上述照片A和照片B确定出的同一待测量的苹果的卡路里数值也不会相同,使得对于待测量苹果的卡路里数值的估计不准确。即现有技术中在估算食物的卡路里数值时,电子设备根据所拍摄的照片中待测量食物的大小对待测量食物的卡路里数值进行估算,但是照片中食物的大小只是在特定照片内面积的相对值。而在实际应用过程中,当电子设备离待测量食物的距离较近时,拍摄的照片中食物所占的面积较大,当电子设备离待测食物的距离较远时,拍摄的照片中食物所占的面积较小。使得对于同一待测量食物,电子设备所拍摄照片中食物大小的不同造成了对于待测量食物卡路里数值估算的不同。从而导致了现有技术中测量卡路里时的准确度较差。
发明内容
本申请提供一种测量物体参数的方法及装置,提高了测量物体参数(如卡路里)时的准确度。
本申请第一方面提供一种测量物体参数的方法,包括:
识别图像中待测量物体的类别;
确定在所述图像中所述待测量物体的面积;
确定所述图像中所述待测量物体的深度,所述待测量物体的深度为用于拍摄所述第一图像的设备拍摄所述第一图像时,所述设备到所述待测量物体的拍摄距离;
根据所述待测量物体的类别、所述待测量物体的所述面积和所述待测量物体的深度确定所述待测量物体的第一参数。
在本申请第一方面一实施例中,所述根据所述待测量物体的类别、所述待测量物体的面积和所述待测量物体的深度确定所述待测量物体的参数,包括:
通过查找映射关系确定与所述待测量物体的类别、所述待测量物体的面积和所述待测量物体的深度对应的所述待测量物体的参数,所述映射关系包含至少一个物体的类别、面积、深度和参数之间的对应关系。
在本申请第一方面一实施例中,还包括:
确定至少一个物体的类别、面积、深度和参数之间的对应关系;
根据所述至少一个物体的类别、面积、深度和参数之间的对应关系确定所述映射关系。
在本申请第一方面一实施例中,所述至少一个物体的类别、面积、深度和参数之间的对应关系包括:
所述至少一个物体的类别相同且参数相同时,所述至少一个物体的面积和深度成比例关系。
在本申请第一方面一实施例中,所述物体的面积和深度成线性或非线性关系。
在本申请第一方面一实施例中,所述物体的面积和深度成反比例关系,所述拍摄距离与所述面积成-2次幂关系。
在本申请第一方面一实施例中,所述确定图像中待测量物体的类别包括:
利用深度学习对所述图像中所述待测量物体的特征进行识别以确定所述待测量物体的类别。
在本申请第一方面一实施例中,所述确定所述图像中所述待测量物体的面积包括:
确定所述图像的热力图;
根据所述图像的热力图确定所述待测量物体的面积。
在本申请第一方面一实施例中,所述获取所述图像中所述待测量物体的深度,包括:
根据所述设备拍摄所述待测量物体时的环境信息,确定与所述环境信息对应的测距方式;
通过所述测距方式确定所述设备与所述待测量物体的深度。
在本申请第一方面一实施例中,所述测距方式包括:通过所述设备双摄像头的视差确定所述待测量物体的深度;或者,通过所述设备的自动变焦AF摄像头确定所述待测量物体的深度;或者,通过所述设备的传感器进行激光测距确定所述待测量物体的深度;或者,通过所述设备摄像头的飞行时间TOF时间确定所述待测量物体的深度;或者,通过所述设备摄像头的结构光确定所述待测量物体的深度。
在本申请第一方面一实施例中,所述待测量物体的参数用于指示所述待测量物体的热量。
在本申请第一方面一实施例中,所述待测量物体的参数为所述待测量物体的卡路里数值。
综上,在本申请第一方面提供的测量物体参数的方法中,通过识别待测量物体的类别、在图像中的面积和深度,并根据待测量物体的类别、在图像中的面积和深度确定待测量物体的参数。以将深度对待测量物体参数的影响纳入测量范围,从而提高了非接触式方法测量物体参数时的准确度。
本申请第二方面提供一种测量物体参数的装置,包括:
识别模块,用于识别图像中待测量物体的类别
第一确定模块,用于确定所述图像中所述待测量物体的面积;
第二确定模块,用于确定所述图像中所述待测量物体的深度,所述待测量物体的深度为用于拍摄所述图像的设备在拍摄所述图像时,所述设备到所述待测量物体的距离;
第三确定模块,用于根据所述待测量物体的类别、所述待测量物体的面积和所述待测量物体的深度确定所述待测量物体的参数。
在本申请第二方面一实施例中,所述第三确定模块具体用于,
通过查找映射关系确定与所述待测量物体的类别、所述待测量物体的面积和所述待测量物体的深度对应的所述待测量物体的参数,所述映射关系包含至少一个物体的类别、面积、深度和参数之间的对应关系。
在本申请第二方面一实施例中,还包括:
第四确定模块,用于确定至少一个物体的类别、面积、深度和参数之间的对应关系;
所述第四确定模块还用于,根据所述至少一个物体的类别、面积、深度和参数之间的对应关系确定所述映射关系。
在本申请第二方面一实施例中,所述至少一个物体的类别、面积、深度和参数之间的对应关系包括:
所述至少一个物体的类别相同且参数相同时,所述至少一个物体的面积和深度成比例关系。
在本申请第二方面一实施例中,所述物体的面积和深度成线性或非线性关系。
在本申请第二方面一实施例中,所述物体的面积和深度成反比例关系,所述拍摄距离与所述面积成-2次幂关系。
在本申请第二方面一实施例中,所述识别模块具体用于,
利用深度学习对所述图像中所述待测量物体的特征进行识别以确定所述待测量物体的类别。
在本申请第二方面一实施例中,所述第一确定模块具体用于,
确定所述图像的热力图;
根据所述图像的热力图确定所述待测量物体的面积。
在本申请第二方面一实施例中,所述第二确定模块具体用于,根据所述设备拍摄所述待测量物体时的环境信息,确定与所述环境信息对应的测距方式;通过所述测距方式确定所述待测量物体的深度。
在本申请第二方面一实施例中,所述测距方式包括:通过所述设备双摄像头的视差确定所述待测量物体的深度;或者,通过所述设备的自动变焦AF摄像头确定所述待测量物体的深度;或者,通过所述设备的传感器进行激光测距确定所述待测量物体的深度;或者,通过所述设备摄像头的飞行时间TOF时间确定所述待测量物体的深度;或者,通过所述设备摄像头的结构光确定所述待测量物体的深度。
在本申请第二方面一实施例中,所述待测量物体的参数用于指示所述待测量物体的热量。
在本申请第二方面一实施例中,所述待测量物体的参数为所述待测量物体的卡路里数值。
综上,在本申请第二方面提供的测量物体参数的装置中,通过识别待测量物体的类别、在图像中的面积和深度,并根据待测量物体的类别、在图像中的面积和深度确定待测量物体的第一参数。以将深度对待测量物体参数的影响纳入测量范围,从而提高了非接触式方法测量物体参数时的准确度。
第三方面,本申请实施例提供一种测量物体参数的装置,包括:处理器和存储器;所述存储器,用于存储程序;所述处理器,用于调用所述存储器所存储的程序,以执行本申请第一方面中任一所述的测量物体参数的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储程序代码,当所述程序代码被执行时,以执行如本申请第一方面任一所述的测量物体参数的方法。
附图说明
图1为非接触式测量卡路里的示意图;
图2为非接触式测量卡路里方法中电子设备距离待测量物体距离的示意图;
图3为非接触式测量卡路里方法中处理包含待测量物体图像的示意图;
图4为本申请测量物体参数的方法实施例一的流程示意图;
图5为本申请测量物体参数的方法中确定对应关系的示意图;
图6为本申请物体的深度与面积关系的示意图;
图7为根据双摄像头的视差确定设备与待测量物体的深度的原理图;
图8为根据双摄像头的视差确定设备与待测量物体的深度的流程图;
图9为本申请参数测量系统一实施例的结构示意图;
图10为本申请参数测量系统一实施例的流程示意图;
图11为本申请测量物体参数的装置实施例一的结构示意图;
图12为本申请测量物体参数的装置实施例二的结构示意图;
图13为本申请测量物体参数的装置实施例三的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例进行描述。
图4为本申请测量物体参数的方法实施例一的流程示意图。如图4所示,本申请提供的物体参数测量方法包括:
S101:识别图像中待测量物体的类别。
本实施例中测量物体参数的方法的执行主体可以是任何具备数据处理功能的设备。其中,设备也可称为电子设备、终端Terminal、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)等。例如:设备可以是手机(mobilephone)、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(Virtual Reality,VR)终端设备、增强现实(Augmented Reality,AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。
具体地,本实施例中的设备需要测量待测量物体的参数时,可以通过S101识别图像中待测量物体的类别。其中,本实施例中的图像是包含待测量物体的图像,由测量物体参数的设备拍摄。或者,该图像也可以由测量物体参数的设备获取其他设备拍摄的包含待测量物体的图像。
对于需要测量的参数,不同类别的物体的参数不同,即待测量物体的类别用于对待测量物体进行区分,以更为准确地对不同类别的物体的参数进行测量。例如:当待测量物体是水果、肉类等可以计算出热量的食物时,由于不同的食物通常具有不同的热量数值,因此将水果、内类等食物的种类作为待测量物体的类别。例如食物种类可以包括:苹果、梨、鸡肉和牛肉等。
可选地,在本实施例中,待测量物体的参数可以用于指示待测量物体的热量。而待测量物体的热量可以通过待测量物体的卡路里数值表示。本申请以下各实施例中均以参数为卡路里数值为例进行说明,而在设备测量物体其他的物理参数或长度参数时也可使用本申请中的测量物体参数的方法,在此不做限定。
S102:确定在图像中待测量物体的面积。
具体地,本实施例中的设备需要测量待测量物体的参数时,需要通过S102确定图像中待测量物体的面积。其中,设备所确定的图像中待测量物体的面积可以是物体相对于图像的面积。
例如:图3中所示的照片A和照片B可以是同一设备拍摄的包含同一待测量物体的图像,以待测量物体为苹果为例,照片A和照片B中均包括了待测量物体的图像。由于同一设备拍摄的图像的大小固定,即照片A和照片B的长和宽均为a和b。则设备可以通过照片A和照片B中所包括的区域S1和S2确定待测量物体在的图像中所占的面积。随后设备可以根据已知的照片的面积a*b确定待测量物体苹果的相对面积,其中待测量物体在照片A中的相对面积为S1,待测量物体在照片B中的相对面积为S2。
S103:确定图像中待测量物体的深度。
具体地,本实施例中的设备需要测量待测量物体的参数时,需要通过S103确定待测量物体的深度。其中,深度指的是用于拍摄图像的设备在拍摄图像时,设备到待测量物体的距离。更为具体地,设备到待测量物体的距离可以是设备在拍摄图像时,设备的摄像头到待测量物体最近切面的垂直距离,例如图2中所示的设备2在拍摄待测量物体苹果1时的距离L1和L2。
需要说明的是,本实施例中设备通过S101确定待测量物体的类别、通过S102确定待测量物体在图像中的面积并通过S103确定待测量物体在图像中的深度。而这三个步骤的先后步骤并不以其序号作为限定,本实施例中的设备可以同时执行上述步骤S101、S102和S103,或者以任意顺序依次执行上述步骤S101、S102和S103。
S104:根据待测量物体的类别、待测量物体的面积和待测量物体的深度确定待测量物体的参数。
具体地,在S104中,设备根据S101确定待测量物体的类别、S102确定待测量物体在图像中的面积和S103确定待测量物体在图像中的深度这三个参数共同确定图像中待测量物体的参数。
更为具体地,S104包括:通过查找映射关系确定与待测量物体的类别、待测量物体的面积、待测量物体的深度和待测量物体的参数之间的对应关系确定待测量物体的参数。其中,映射关系可以存储在设备的存储空间中,当设备需要查找待测量物体的参数时从存储空间中读取该映射关系。映射关系包括至少一个物体的类别、面积、深度和参数之间的对应关系。
例如:以待测量物体的参数为物体的热量为例,映射关系包括苹果的类别、面积、深度和热量之间的对应关系和梨的类别、面积、深度和热量之间的对应关系“类别-面积-深度-热量”。其中,对于同一类别的物体又可以存在多个不同的对应关系,以苹果为例,苹果的类别、面积、深度和热量之间的对应关系可以包括:“苹果-20平方厘米-20厘米-52大卡”和“苹果-35平方厘米-10厘米-70大卡”。
在上述示例中,更为具体地,S104一种可能的实现方式为:映射关系包括的对应关系有:“苹果-30平方厘米-10厘米-52大卡”、“苹果-20平方厘米-20厘米-52大卡”、“苹果-35平方厘米-10厘米-70大卡”、和“苹果-10平方厘米-39厘米-94大卡”。则当设备测量苹果的热量参数时,设备确定图像中的待测量物体的类别为苹果、确定图像内待测量物体苹果的面积为20平方厘米,并确定图像中待测量物体苹果的深度为20厘米。设备将上述已经确定的三项参数的对应关系“苹果-20平方厘米-20厘米”与映射关系中的对应关系进行比较。从而比较出上述映射关系中的第二个对应关系“苹果-20平方厘米-20厘米-52大卡”的前三项参数与所获取的三项参数相匹配,则确定待测试的苹果的类别、面积、深度和热量之间的对应关系为“苹果-20平方厘米-20厘米-52大卡”,进而设备确定待测量物体苹果的热量参数为52大卡。
综上,本实施例提供的测量物体参数的方法中,确定图像中待测量物体的类别;确定在图像中待测量物体的面积;确定图像中待测量物体的深度,待测量物体的深度为用于拍摄图像的设备在拍摄图像时,设备到待测量物体的距离;根据待测量物体的类别、待测量物体的面积和待测量物体的深度确定待测量物体的参数。以将拍摄距离对待测量物体参数的影响纳入测量范围,并根据待测量物体的类别、待测量物体在图像中的面积和深度共同确定待测量物体的参数,从而提高了测量物体参数时的准确度。
进一步地,在上述实施例中,由于在S104中设备需要通过查找映射关系确定与待测量物体的类别、待测量物体的面积、待测量物体的深度和待测量物体的参数之间的对应关系确定待测量物体的参数,因此映射关系需要提前确定并存储在设备中。而为了使设备确定待测量物体参数时都能够从映射关系中确定存在对应关系,并且对应关系需要尽可能覆盖待测量物体可能的参数范围以提高设备所确定的参数的准确。因此需要确定不同类别的物体,并确定同一类别物体在参数不同的情况下对应关系中的面积和深度。即,在上述实施例中的方法中还包括:设备确定至少一个物体的类别、面积、深度和参数之间的对应关系,并根据所确定的上述对应关系确定映射关系。
图5为本申请测量物体参数的方法中确定对应关系的示意图。如图5所示,以待测量物体为苹果、参数为苹果的热量为例。为了采集同一热量的苹果在不同深度的图像内的面积,将一热量为52大卡的苹果放置在桌上后。通过设备分别距离苹果以D1、D2、D3、D4和/或D5的深度、T1、T2、T3、T4和/或T5的角度对苹果进行拍摄,得到不同角度下、不同深度的包含标准物体的照片。设备在围绕以苹果为圆心、D1为半径的球体表面上拍摄的图像,均可认为是电子设备在深度D1时拍摄的图像。并按照前述示例中的方法确定不同深度的照片内苹果的面积,最终得到对应关系例如有:“苹果-30平方厘米-10厘米-52大卡”和“苹果-20平方厘米-20厘米-52大卡”。随后以相同的方法确定一热量为70大卡的苹果的对应关系有:“苹果-35平方厘米-10厘米-70大卡”和“苹果-24平方厘米-20厘米-70大卡”。并可以上述相同的方法确定热量为50大卡和60大卡的梨的对应关系有“梨-18平方厘米-18厘米-50大卡”和“梨-25平方厘米-18厘米-60大卡”。
最终将上述示例中的对应关系均可加入映射关系,使得设备在通过查找映射关系中的该些对应关系,从而确定与待测量物体的类别、待测量物体的面积、待测量物体的深度和待测量物体的参数之间的对应关系确定待测量物体的参数。
更为具体地,上述示例中对于映射关系中不同对应关系的获取可总结为如下步骤:1、采集同一类别、同一参数的物体在不同深度的照片中的面积;2、将物体的类别、面积、深度和参数之间建立对应关系。3、通过确定不同类别、不同参数的对应关系,并将所确定的对应关系均加入映射关系中,供设备在测量物体的参数时进行查询。
进一步地,在上述实施例中至少一个物体的类别、面积、深度和参数之间的对应关系中,当至少一个物体的类别相同且参数相同时,物体的面积和深度成比例关系。具体地,对于一个类别的物体,当该类别的物体的参数一定时,设备对该相同类别、相同参数的物体所拍摄的图像中,物体所占的面积与拍摄图像时设备到物体的深度成-2次幂的关系。
其中,对于上述实施例设备所拍摄的图像中,对于同一类别且参数相同的物体所占的面积和深度之间的关系,可以通过构建成比例的特征曲线实现,而该特征曲线可以通过摄像头成像原理的下述公式计算:
其中,上述公式是通过小孔成像原理推导出的图像所在的像平面上的点到物体所在实际的三维坐标中的对应关系,fx,fy,cx,cy是设备拍摄图像时所用的拍摄装置的摄像头内参,Tz是物体的深度值,a是物体在三维坐标系中的长度,L是物体在图像的二维坐标系中的长度。进而经过上述公式可推倒出物体在图像内的面积S与深度Tz的关系为:
S/S0~Tz-2
其中,根据图像的像平面上的面积与视差disp成2次幂关系,可以推导本实施例中物体在图像中的面积S与物体在图像中的深度Tz成-2次幂的关系;S0表示与待测量物体相同类型的物体的对应关系中的面积,S表示待测量完物体在图像中的面积。并且更为具体地,物体在图像内的面积S与深度Tz为线性或非线性的关系,该关系更为具体地是-2次幂关系。
例如:图6为本申请物体的深度与面积关系的示意图。如图6所示的示意图中示出了通过实际测量的物体的深度与面积的数据可以拟合出上述关系的-2次幂关系的曲线。具体地,S0表示物体在图像中所占的面积,Tz表示物体在图像中的深度。
在确定物体的深度与面积的关系时,可以通过设备对同参数且同类别的物体从不同的深度进行拍摄,并从所拍摄的图像中确定对于同一物体的面积与深度的关系。例如:图6中以待测量物体为苹果为例,选取一热量为50大卡的苹果进行拍摄。设备在距离苹果深度为100毫米处拍摄得到的图像中,苹果的面积为30平方厘米,则得到对于一热量为50大卡的苹果的深度与面积的关系为(100,30),并在图6中记录该点。同样地,设备在距离为200毫米处拍摄上述的同一苹果、或者另一50大卡的苹果所得到的图像中,苹果的面积为8平方厘米,则对于该苹果可得到另一深度与面积的关系(200,8),并在图6中记录该点。按照不同的深度拍摄同一苹果得到的所有深度与面积的关系均记录在图6中。将所有深度与面积的关系通过拟合的方式可得到一条曲线,可以从图6中看出该曲线即为上述公式中推到出的深度与面积成-2次幂的关系。可选地,上述拟合的方法可以采用现有技术中常用的最小二乘法、插值法或者逼近法等拟合方式,在此不做限定。
进一步地,在上述实施例中,由于对相同类别的物体,当物体的参数相同时,设备对物体所拍摄的图像中,物体所占的面积与拍摄图像时设备到物体的深度成-2次幂的关系。则设备在通过映射关系查询物体的参数时,映射关系中所存储物体的类别、面积、深度和参数之间的对应关系中,对应关系可以采用“类别-面积和深度的关系曲线-参数”的形式。
例如:对于物体为苹果、参数为热量参数为例,对应关系可以是“苹果-面积和深度的关系曲线1-52大卡”、“苹果-面积和深度的关系曲线2-70大卡”。则当设备所获取的待测量物体为“苹果-35平方厘米-10厘米”的数据后,将其中面积和深度的关系代入到对应关系中面积和深度关系曲线1和关系曲线2中。如果待测量物体的面积和深度的关系满足关系曲线1,则确定待测量苹果的热量数值为52大卡。
此外,映射关系中也可以同时包括“类别-面积-深度-参数”和“类别-面积和深度的关系曲线-参数”两种不同表示形式的对应关系。当设备在查询映射关系确认待测量物体的参数时,如果两种不同形式的对应关系都有对应的结果,则应以“类别-面积和深度的关系曲线-参数”的对应关系为准查询确定待测量物体的参数。
可选地,在上述各实施例中,S101中确定待测量物体的类别时,可以具体利用深度学习对所述图像中所述待测量物体的特征进行识别以确定所述待测量物体的类别。其中,深度学习算法通过机器学习的原理对待测量物体的类别进行识别,即深度学习网络会提前确定若干图像中已知类别的物体的特征,并将物体的类别与已知的特征记录在深度学习网络中。当设备需要确定待测量物体的类别时,会将待测量物体的图像输入深度学习网络中,由深度学习网络提取图像中待测量物体的特征,并将待测量物体的特征与深度学习网络中存储的已知类别物体的特征进行比对,最终确定与待测量物体的特征最接近的物体的类别,该类别即为待测量物体的类别。需要说明的是,本实施例中提供的通过深度学习方式确定待测量物体的类别的方法仅为举例,对于深度学习算法本身并不作具体限定,关于该算法的未列出之处可参照本领域方法进行计算。
可选地,在上述各实施例中,S102中确定图像中待测量物体的面积,可以具体通过确定图像的热力图后,根据所确定的图像的热力图确定待测量物体的面积。具体地,热力图用于表示图像中物体热量的分布,通过热力图中不同的颜色表示图像中不同的热量区域。设备在对待测量物体所在的区域进行提取时,可以先得到整个图像的热力图,随后将整个图像的热力图中,热量大于置信度的区域框出作为待测量物体的区域。其中,置信度为根据经验设置的热力值,当图像中某区域的热力值超过所设置的置信度时,可认为该区域包括了待测量的物体。可选地,为了更加有效地提取图像中待测量物体的面积,还可以对热力图所确定的区域进行二次分割,二次分割可以根据已框出的区域中的不同颜色对待测量物体的边界处物体与背景进行分割。可选地,设备也可以通过深度学习的方式进行提取图像的热力图,深度学习网络也需要提前对不同热力的物体的图像进行特征提取,并存储不同热力的物体在图像中的特征,以将待测量物体在图像中的特征确定其对应的热力。其中,深度学习网络的模型可以采用更容易收敛的残差网络(Residual Networks,ResNets)和能够减少网络参数的初始网络(Inception network,InceptionNet)相结合的方式实现。并在该网络后添加新的一层全局均值池化(global average pooling)层,用于产生第一图像的热力图,以方便在第一图像中待测量物体的定位。最终设备还可以通过对图像中所确定的包含待测量物体的区域进行高斯混和建模以及轮廓的填充后实现待测量物体所在区域的分割,并通过该区域的面积确定图像中待测量物体的面积。需要说明的是,本实施例中提供的通过深度学习方式确定待测量物体的面积的方法仅为举例,对于深度学习算法本身并不作具体限定,关于该算法的未列出之处可参照本领域方法进行计算。
可选地,在上述各实施例中,S103中确定图像中待测量物体的深度,可以通过根据设备拍摄待测量物体时的环境信息,确定与环境信息对应的测距方式;随后,由电子设备通过所确定的测距方式确定待测量物体的深度。
具体地,测距方式可以是,通过设备双摄像头的视差确定待测量物体的深度;或者,通过设备的自动变焦(Automatic Focus,AF)摄像头确定待测量物体的深度;或者,通过设备的传感器进行激光测距确定待测量物体的深度;或者,通过设备摄像头的飞行时间(Time of flight,TOF)确定待测量物体的深度;或者,通过设备摄像头的结构光确定待测量物体的深度。其中,环境信息可以是设备拍摄图像时所处环境的光线、对比度、是否有雾或者待测量物体预估的深度等。
例如:当设备预估待测量物体的深度即该设备拍摄待测量物体时的距离在15cm以内时,设备通过激光测距的方式确定待测量物体的实际深度即设备与待测量物体的实际精确距离;当预估待测量物体的深度大于15cm时,设备通过双摄像头视差的方式确定设备与待测量物体的实际精确距离。又例如:当设备在拍摄待测量物体光线较差时,选用激光测距的方式来确定待测量物体的深度,或者,当设备在拍摄待测量物体光线较强对激光产生影响时,选用双摄像头视差的方式确定待测量物体的深度。
优选地,本步骤中测量拍摄距离的一种可能的实现方式为:通过该设备的双摄像头的视差确定该设备与待测量物体的深度。其中,双摄像头的视差是指该设备的两个不同的摄像头在拍摄相同的场景时所生成的两个图像的视差,具体地,首先确定左图像和右图像的视差,左图像和右图像为该设备的不同摄像头在拍摄相同的场景时所生成的图像,该相同的场景包括该待测量物体,然后根据第一图像和第二图像的视差确定前述图像中待测量物体的深度。特别地,当设备具备双摄像头时,在本步骤中根据双摄像头的视差确定待测量物体的深度时所使用的是双摄像头得到的左图像和右图像,而前述实施例中所述的包含待测量物体的图像为对设备的双摄像头所得到的左图像和右图像进行合并、背景虚化等处理后所得到的包含待测量物体的单张图像。如下结合图7给出了设备通过双摄像头的视差确定待测量物体深度具体的实现方式:
图7为根据双摄像头的视差确定设备与待测量物体的深度的原理图,其中,世界坐标系中的任意一点与它在左右摄像头的成像点在同一个极平面上,OL和OR是左右摄像头的光心,长为L的两条线段表示的是左右摄像头的像面。则光心到像面的最短距离就是焦距长度f,b是两个摄像头间的基线。若P是世界坐标系中的一点,它在左右像面上的成像点是PL和PR。PL和PR距各自像面的左边缘的距离是XL和XR。视差就是XR-XL或者是XL-XR。标定和匹配后f,b,XR,XL都能够得到,那么物体的景深Z和视差的关系可由下面的推导过程得出:
在OLORP中,PLPRP相似于PLORP,则有比例关系:又可以写为:于是由:/>可推导出:/>其中,XR-XL称为视差,即目标点在左右两幅视图上成像的横向坐标直接存在的差异。利用图像匹配和视差原理即可获得景物的空间三维坐标(X,Y,Z)。
图8为根据双摄像头的视差确定设备与待测量物体的深度的流程图。首先设备的双摄像头针对同样的场景分别拍摄出左图像和右图像,然后对左图像和右图像进行预处理。其中,预处理是对左图像和右图像进行同步处理(时间戳对齐),然后再将同步处理后的左图像和右图像进行匹配处理,在匹配过程中,设备会分别提取同步处理后的左图像和右图像的特征点。然后确定左图像和右图像中相对应的特征点以形成特征点对,并计算出特征点对之间的视差XR-XL。根据左图像和右图像中所有的特征点对确定左图像和右图像的视差图;最后根据公式将视差图转化为深度图。其中,Z即为设备的摄像头到待测量物体最近切面的垂直距离即待测量物体的深度。需要说明的是,本实施例中提供的双摄像头的视差确定待测量物体的深度方法仅为举例,对于算法本身并不作具体限定,关于该算法的未列出之处可参照本领域方法进行计算。
可选地,本实施例还提供一种系统来实现上述方法,图9为本申请参数测量系统一实施例的结构示意图,本实施例提供的系统可用于实现上述实施例中任一项的测量物体参数的方法。在前述方法的基础上,如图9所示的系统中设置模块内的AR测量开关用于实现设备中测量物体参数的方法的开启和关闭。如果AR测量开关被开启,则系统框架中的双目测量功能、分类分割、轮廓提取以及卡路里估计等功能模块将可被用于测量物体的参数,设备获取待测食物的图像后即可根据图像确定待测量物体的参数数值(此处以参数为物体的热量单位卡路里为例);相反地,如果AR测量开关被关闭,则关闭上述测量物体参数的方法。如果用户输入开关被开启,则在设备无法准确确定出待测量物体的种类时,可以由设备获取设备的用户所输入的待测量物体的种类。双目测量模块,是根据立体视觉原理,计算出空间点的深度和视差信息,具体实现方式如图4中的S103;图像分类模块,用于通过深度学习确定待测量物体的种,具体实现方式如图4中的S101;图像预分割模块和轮廓提取模块,用于根据热力图算法确定待测量物体在图像中的面积,具体实现方式如图4中的S102。深度图获取模块,用于获取双目测量模块所获取的待测量物体的深度,待测量物体的深度可以通过10bit数据进行记录,其中前8位存储整数信息,后2位存储小数信息,深度的精度越高所表示的深度的准确度就越好。卡路里估计模块,根据待测量物体的类别、待测量物体的面积和待测量物体的深度确定待测量物体的参数,具体实现方式如图4中的S104。
图10为本申请参数测量系统一实施例的流程示意图。如图10所示的流程可用于在图9所示的系统中执行,当设备中的系统启动双摄像头后,会先判断AR测量卡路里功能是否开启,若是关闭状态则在正常拍摄之后在设备中记录图像并结束程序;若是开启状态则设备中的系统会继续执行测量物体参数的程序。在测量物体参数的程序中,首先判断用户输入功能开关是否开启,若开启则获取设备的用户所输入的待测量物体的种类;若关闭则根据前述实施例中S101中的方法确定图像中待测量物体的种类。在确定待测量物体的种类后根据热力图算法确定图像中待测量物体的范围;并通过深度图和图像颜色信息进一步确定对图像中待测量物体的面积;最后通过前述实施例中的S104中的“经验比值法”根据待测量物体的类别、待测量物体的面积和待测量物体的深度确定待测量物体的卡路里估计。
图11为本申请测量物体参数的装置实施例一的结构示意图。如图11所示,本实施例中测量物体参数的装置包括:识别模块1101,第一确定模块1102,第二确定模块1103和第三确定模块1104。其中,识别模块1101用于确定图像中待测量物体的类别;第一确定模块1102用于识别图像中待测量物体的面积;第二确定模块1103用于确定图像中待测量物体的深度,待测量物体的深度为用于拍摄图像的设备在拍摄图像时,设备到待测量物体的距离;第三确定模块1104,用于根据待测量物体的类别、待测量物体的面积和待测量物体的深度确定待测量物体的参数。
图11所示实施例的测量物体参数的装置可用于执行图4所示的测量物体参数的方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
可选地,第三确定模块1104具体用于,通过查找映射关系确定与待测量物体的类别、待测量物体的面积和待测量物体的深度对应的待测量物体的参数,映射关系包含至少一个物体的类别、面积、深度和参数之间的对应关系。
图12为本申请测量物体参数的装置实施例二的结构示意图。如图12所示,本实施例中测量物体参数的装置在图11所示的基础上还包括:第四确定模块1105。其中,第四确定模块1105用于确定至少一个物体的类别、面积、深度和参数之间的对应关系;第四确定模块1105还用于,根据至少一个物体的类别、面积、深度和参数之间的对应关系确定映射关系。
图12所示实施例的测量物体参数的装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
可选地,在上述各实施例中,至少一个物体的类别、面积、深度和参数之间的对应关系包括:至少一个物体的类别相同且参数相同时,物体的面积和深度成比例关系。
可选地,在上述各实施例中,第二确定模块1103具体用于,根据设备拍摄待测量物体时的环境信息,确定与环境信息对应的测距方式;通过测距方式确定待测量物体的深度。
可选地,在上述各实施例中,测距方式包括:通过设备双摄像头的视差确定待测量物体的深度;或者,通过设备的自动变焦AF摄像头确定待测量物体的深度;或者,通过设备的传感器进行激光测距确定待测量物体的深度;或者,通过设备摄像头的飞行时间TOF确定待测量物体的深度;或者,通过设备摄像头的结构光确定待测量物体的深度。
可选地,在上述各实施例中,待测量物体的参数用于指示待测量物体的热量。
上述各实施例的测量物体参数的装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本申请的实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
或者,以上各个模块的部分或全部也可以通过集成电路的形式内嵌于该终端设备的某一个芯片上来实现。且它们可以单独实现,也可以集成在一起。即以上这些模块可以被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,ASIC),或,一个或多个微处理器(digitalsingnal processor,DSP),或,一个或者多个现场可编程门阵列(Field ProgrammableGate Array,FPGA)等。
图13为本申请测量物体参数的装置实施例三的结构示意图。如图13所示,猪养殖13包括:处理器1301,存储器1302和收发装置130。其中,存储器1302用于存储实现以上方法实施例各个模块的程序;处理器1301调用该程序,执行以上测量物体参数的方法实施例的操作。
本申请还提供一种存储介质,包括:可读存储介质和计算机程序,所述计算机程序用于实现前述任一实施例提供的测量物体参数的方法。
本申请还提供一种程序产品,该程序产品包括计算机程序(即执行指令),该计算机程序存储在可读存储介质中。发起随机接入过程的装置的至少一个处理器可以从可读存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得发起随机接入过程的装置实施前述各种实施方式提供的测量物体参数的的方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种测量物体参数的方法,其特征在于,包括:
识别图像中待测量物体的类别;
确定在所述图像中所述待测量物体的面积;
确定所述图像中所述待测量物体的深度,所述待测量物体的深度为用于拍摄所述图像的设备在拍摄所述图像时,所述设备到所述待测量物体的距离;
通过查找映射关系确定与所述待测量物体的类别、所述待测量物体的面积和所述待测量物体的深度对应的所述待测量物体的参数,所述映射关系包含至少一个物体的类别、面积、深度和参数之间的对应关系;
针对同类别且同参数的第一物体,
所述方法还包括:
采用不同深度对所述第一物体进行拍摄,得到不同深度对应的拍摄图像;
根据所述不同深度对应的拍摄图像中确定所述拍摄图像中第一物体的面积;
根据不同深度、与不同深度对应的第一物体面积、以及所述第一物体的类别和参数确定所述第一物体的映射关系;
所述至少一个物体的类别、面积、深度和参数之间的对应关系包括:
所述至少一个物体的类别相同且参数相同时,所述至少一个物体的面积和深度为-2次幂关系;
所述确定在所述图像中所述待测量物体的面积,包括:
基于深度学习网络提取所述图像的热力图,所述热力图用于表示所述图像中物体热量的分布;
根据所述图像的热力图,将热量大于预设置信度的区域作为待测量物体的区域;
根据所述待测量物体的区域确定待测量物体的面积。
2.根据权利要求1所述的方法,其特征在于,还包括:
确定至少一个物体的类别、面积、深度和参数之间的对应关系;
根据所述至少一个物体的类别、面积、深度和参数之间的对应关系确定所述映射关系。
3.根据权利要求1或2所述的方法,其特征在于,所述确定所述图像中所述待测量物体的深度,包括:
根据所述设备拍摄所述待测量物体时的环境信息,确定与所述环境信息对应的测距方式;
通过所述测距方式确定所述待测量物体的深度。
4.根据权利要求3所述的方法,其特征在于,所述测距方式包括:
通过所述设备双摄像头的视差确定所述待测量物体的深度;
或者,
通过所述设备的自动变焦AF摄像头确定所述待测量物体的深度;
或者,
通过所述设备的传感器进行激光测距确定所述待测量物体的深度;
或者,
通过所述设备摄像头的飞行时间TOF确定所述待测量物体的深度;
或者,
通过所述设备摄像头的结构光确定所述待测量物体的深度。
5.权利要求1-4任一项所述的方法,其特征在于,所述待测量物体的参数用于指示所述待测量物体的热量。
6.一种测量物体参数的装置,其特征在于,包括:
识别模块,用于识别图像中待测量物体的类别;
第一确定模块,用于确定所述图像中所述待测量物体的面积;
第二确定模块,用于确定所述图像中所述待测量物体的深度,所述待测量物体的深度为用于拍摄所述图像的设备在拍摄所述图像时,所述设备到所述待测量物体的距离;
第三确定模块,用于根据所述待测量物体的类别、所述待测量物体的面积和所述待测量物体的深度确定所述待测量物体的参数;所述第三确定模块具体用于,
通过查找映射关系确定与所述待测量物体的类别、所述待测量物体的面积和所述待测量物体的深度对应的所述待测量物体的参数,所述映射关系包含至少一个物体的类别、面积、深度和参数之间的对应关系;
针对同类别且同参数的第一物体,
所述第三确定模块还用于:
采用不同深度对所述第一物体进行拍摄,得到不同深度对应的拍摄图像;
根据所述不同深度对应的拍摄图像中确定所述拍摄图像中第一物体的面积;
根据不同深度、与不同深度对应的第一物体面积、以及所述第一物体的类别和参数确定所述第一物体的映射关系;
所述至少一个物体的类别、面积、深度和参数之间的对应关系包括:
所述至少一个物体的类别相同且参数相同时,所述至少一个物体的面积和深度为-2次幂关系;
所述第一确定模块,具体包括:
基于深度学习网络提取所述图像的热力图,所述热力图用于表示所述图像中物体热量的分布;
根据所述图像的热力图,将热量大于预设置信度的区域作为待测量物体的区域;
根据所述待测量物体的区域确定待测量物体的面积。
7.根据权利要求6所述的装置,其特征在于,还包括:
第四确定模块,用于确定至少一个物体的类别、面积、深度和参数之间的对应关系;
所述第四确定模块还用于,根据所述至少一个物体的类别、面积、深度和参数之间的对应关系确定所述映射关系。
8.根据权利要求6或7所述的装置,其特征在于,所述第二确定模块具体用于,
根据所述设备拍摄所述待测量物体时的环境信息,确定与所述环境信息对应的测距方式;
通过所述测距方式确定所述待测量物体的深度。
9.根据权利要求8所述的装置,其特征在于,所述测距方式包括:
通过所述设备双摄像头的视差确定所述待测量物体的深度;
或者,
通过所述设备的自动变焦AF摄像头确定所述待测量物体的深度;
或者,
通过所述设备的传感器进行激光测距确定所述待测量物体的深度;
或者,
通过所述设备摄像头的飞行时间TOF确定所述待测量物体的深度;
或者,
通过所述设备摄像头的结构光确定所述待测量物体的深度。
10.根据权利要求6-9任一项所述的装置,其特征在于,所述待测量物体的参数用于指示所述待测量物体的热量。
11.一种物体参数测量装置,其特征在于,包括:
处理器和存储器;
所述存储器,用于存储程序;
所述处理器,用于调用所述存储器所存储的程序,以执行如权利要求1-5中任一所述的测量物体参数的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储程序代码,当所述程序代码被执行时,以执行如权利要求1-5中任一所述的测量物体参数的方法。
CN201880087447.3A 2018-07-12 2018-07-12 测量物体参数的方法及装置 Active CN111630524B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/095370 WO2020010561A1 (zh) 2018-07-12 2018-07-12 测量物体参数的方法及装置

Publications (2)

Publication Number Publication Date
CN111630524A CN111630524A (zh) 2020-09-04
CN111630524B true CN111630524B (zh) 2024-04-30

Family

ID=69142949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087447.3A Active CN111630524B (zh) 2018-07-12 2018-07-12 测量物体参数的方法及装置

Country Status (2)

Country Link
CN (1) CN111630524B (zh)
WO (1) WO2020010561A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783801B (zh) * 2020-07-17 2024-04-23 上海明波通信技术股份有限公司 物体轮廓提取方法及系统和物体轮廓预测方法及系统
CN112614058B (zh) * 2020-10-31 2021-11-09 温岭市山市金德利电器配件厂 对象截面面积解析系统
CN113763412A (zh) * 2021-09-08 2021-12-07 理光软件研究所(北京)有限公司 图像处理方法、装置及电子设备、计算机可读存储介质
CN113689422A (zh) * 2021-09-08 2021-11-23 理光软件研究所(北京)有限公司 一种图像处理方法、装置及电子设备
CN116320746B (zh) * 2023-05-16 2023-08-01 武汉昊一源科技有限公司 Tof对焦装置、对焦方法及拍摄设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217702A (ja) * 2007-03-07 2008-09-18 Fujifilm Corp 撮影装置および撮影方法
CN106709525A (zh) * 2017-01-05 2017-05-24 北京大学 一种相机测量食物营养成分方法
CN106845345A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 活体检测方法及装置
CN106872513A (zh) * 2017-01-05 2017-06-20 深圳市金立通信设备有限公司 一种检测食物热量的方法及终端
CN107113415A (zh) * 2015-01-20 2017-08-29 高通股份有限公司 用于多技术深度图获取和融合的方法和设备
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
CN108198191A (zh) * 2018-01-02 2018-06-22 武汉斗鱼网络科技有限公司 图像处理方法及装置
EP3339783A1 (fr) * 2016-12-23 2018-06-27 Groupe Brandt Dispositif d'interface associé à un appareil réfrigérateur

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076983A1 (en) * 2000-06-06 2003-04-24 Cox Dale W. Personal food analyzer
EP3221679A4 (en) * 2014-11-21 2018-11-14 Mutti, Christopher M. Imaging system for object recognition and assessment
KR101789732B1 (ko) * 2015-07-29 2017-10-25 피도연 식품 정보 제공 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217702A (ja) * 2007-03-07 2008-09-18 Fujifilm Corp 撮影装置および撮影方法
CN107113415A (zh) * 2015-01-20 2017-08-29 高通股份有限公司 用于多技术深度图获取和融合的方法和设备
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
CN106845345A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 活体检测方法及装置
EP3339783A1 (fr) * 2016-12-23 2018-06-27 Groupe Brandt Dispositif d'interface associé à un appareil réfrigérateur
CN106709525A (zh) * 2017-01-05 2017-05-24 北京大学 一种相机测量食物营养成分方法
CN106872513A (zh) * 2017-01-05 2017-06-20 深圳市金立通信设备有限公司 一种检测食物热量的方法及终端
CN108198191A (zh) * 2018-01-02 2018-06-22 武汉斗鱼网络科技有限公司 图像处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Koichi Okamoto等.An Automatic Calorie Estimation System of Food Images on a Smartphone.《MADiMa '16: Proceedings of the 2nd International Workshop on Multimedia Assisted Dietary Management》.2016,第63-70页. *
基于深度学习的食物卡路里估算方法;梁炎超,李建华;《华东理工大学学报(自然科学版)》;20180430(第2期);第136-142页 *

Also Published As

Publication number Publication date
CN111630524A (zh) 2020-09-04
WO2020010561A1 (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
CN111630524B (zh) 测量物体参数的方法及装置
US11145038B2 (en) Image processing method and device for adjusting saturation based on depth of field information
CN106909911B (zh) 图像处理方法、图像处理装置和电子装置
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
US7389041B2 (en) Determining scene distance in digital camera images
CN108921098B (zh) 人体运动分析方法、装置、设备及存储介质
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN106997457B (zh) 人物肢体识别方法、人物肢体识别装置及电子装置
CN106295640A (zh) 一种智能终端的物体识别方法和装置
CN106934828A (zh) 深度图像处理方法及深度图像处理系统
US10937180B2 (en) Method and apparatus for depth-map estimation
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
US20170069096A1 (en) Simultaneous localization and mapping initialization
KR20170010826A (ko) 그림 처리 방법 및 전자 설비
EP2959406B1 (en) Automatic image rectification for visual search
CN109729268A (zh) 一种人脸拍摄方法、装置、设备及介质
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN113159161A (zh) 目标匹配方法和装置、设备及存储介质
US20150254527A1 (en) Methods for 3d object recognition and registration
CN110770786A (zh) 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
CN108062765A (zh) 双目图像处理方法、成像装置及电子设备
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
CN113538538B (zh) 双目图像对齐方法、电子设备和计算机可读存储介质
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
JPWO2015129585A1 (ja) 画像復元装置、画像復元方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant