CN110440747B - 使用多个相机设备的距离评估 - Google Patents

使用多个相机设备的距离评估 Download PDF

Info

Publication number
CN110440747B
CN110440747B CN201910630729.XA CN201910630729A CN110440747B CN 110440747 B CN110440747 B CN 110440747B CN 201910630729 A CN201910630729 A CN 201910630729A CN 110440747 B CN110440747 B CN 110440747B
Authority
CN
China
Prior art keywords
images
camera
acquired
reference images
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910630729.XA
Other languages
English (en)
Other versions
CN110440747A (zh
Inventor
奥兹·埃格里
埃亚尔·扎克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN110440747A publication Critical patent/CN110440747A/zh
Application granted granted Critical
Publication of CN110440747B publication Critical patent/CN110440747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

描述了一种由通过具有至少两个相机的设备测量到对象的距离的方法和装置。在所述设备处于第一位置时，由所述设备的第一相机获取包括所述对象的一个或多个第一图像，并且由所述设备的第二相机获取一个或多个第一参考图像。在所述设备处于不同于所述第一位置的第二位置时，由所述设备的相机获取包括所述对象的一个或多个第二图像和一个或多个第二参考图像。基于所述第一参考图像和第二参考图像，确定关于在第一位置和第二位置之间的所述设备的至少一个相机的位移的信息。基于第一图像和第二图像以及所确定的关于位移的信息，计算从所述设备到所述对象的距离。

Description

使用多个相机设备的距离评估
本申请是申请日为2014年04月06日、题为“使用多个相机设备的距离评估”的中国专利申请201480032676.7的分案申请。
相关申请
本申请要求2013年4月8日提交的US临时申请61/809,447和61/809,464在35 USC119(e)之下的优先权，它们的全部内容通过引用合并于此。
技术领域
本发明涉及距离测量，并且特别是通过便携式设备的距离测量。
背景技术
曾单独用于电话通信的移动设备用于大范围的任务并且包括各种各样的装置。
Ryoo的韩国专利公开2013/0022831描述了一种使用移动通信终端测量距离、对象的高度和长度的方法。
Wu Hao(吴昊)的中国专利公开202940864描述了将距离传感器合并至移动电话。
Liu Guohua的中国专利公开10334213描述了使用两个其间距离已知的相机测量距离。
这些设备要么缺乏足够的准确度，要么需要很多既有移动设备中不包括的额外的硬件。
发明内容
本发明一些实施例的一个方面涉及使用具有前相机和后相机的移动设备以计算到成像的对象的距离。
可选地，通过实现了两个对象图像和两个对应的参考图像来计算到对象的距离，每对对应的图像是从不同的位置获取的。不同位置之间的在像素和/或真实世界中的差异(disparity)和/或距离被确定了，相应地通过三角测量(triangulation)计算了距离。
因此，根据本发明的实施例提供了一种由具有至少两个相机的设备测量到对象距离的方法，包括：在所述设备处于第一位置时，由所述设备的第一相机获取包括所述对象的一个或多个第一图像，并且由所述设备的第二相机获取一个或多个第一参考图像；在所述设备处于不同于所述第一位置的第二位置时，由所述设备的相机获取包括所述对象的一个或多个第二图像和一个或多个第二参考图像；基于所述第一参考图像和第二参考图像，确定关于在第一位置和第二位置之间的所述设备的至少一个相机的位移的信息；并且基于包括所述对象的第一图像和第二图像以及所确定的关于所述至少一个相机的位移的信息，来计算从所述设备到所述对象的距离。
可选地，获取包括所述对象的一个或多个第二图像，包括由获取所述对象的一个或多个第一图像的所述第一相机获取。可选地，获取包括所述对象的所述一个或多个第一图像包括获取所述设备处于所述第一位置时的多个图像，并且从多个获取的图像中生成包括所述对象的单一图像。可选地，从多个获取的图像中生成包括所述对象的单一图像包括选择所述图像中的一个。
可选地，从多个获取的图像中生成包括所述对象的单一图像包括生成一些或者所有的所述图像的组合，和/或自动地分析所获取的图像的质量，并且丢弃质量低于给定阈值的图像。可选地，所述方法包括在获取所述一个或多个第一图像之后，向用户显示指导以将所述设备的位置改变至第二位置的指令。可选地，显示所述指令包括显示由所述第二相机获取的当前图像对于所述第一参考图像的匹配程度的指示。可选地，所述方法包括在获取所述一个或多个第一图像之后，向用户显示由所述第二相机获取的视频流，从而使得所述用户能够将所述视频流用于指导所述设备至所述第二位置。
可选地，确定关于所述设备的至少一个相机的位移的信息包括比较所述第一参考图像和第二参考图像中所示的人体器官的尺寸。可选地，确定关于所述设备的至少一个相机的位移的信息包括比较在所述第一参考图像和第二参考图像中所示的眼角膜的尺寸。可选地，确定关于所述设备的至少一个相机的位移的信息包括确定所述第一参考图像和第二参考图像之间的相对旋转的程度。
可选地，确定关于所述设备的至少一个相机的位移的信息包括基于所述第一和第二相机之间的已知的距离来确定。可选地，所述第一相机和第二相机位于所述设备的相反的侧面。可选地，以参考图像和对象图像成对的形式获取包括所述对象的所述一个或多个第一图像和所述一个或多个第一参考图像，在小于1秒的时间内大体上同时地获取每对图像。
根据本发明的实施例，进一步地提供了一种设备，包括：壳体；在所述壳体中所包括的第一相机；在所述壳体中所包括的第二相机；和在所述壳体中所包括的处理器，用于：接收由所述第一相机获取的包括对象的一个或多个第一对象图像和包括所述对象的一个或多个第二对象图像，接收由所述第二相机获取的一个或多个第一参考图像和一个或多个第二参考图像，响应于所述第一参考图像和第二参考图像来确定获取所述第一对象图像和获取所述第二对象图像之间所述设备的至少一个相机的位移，并且基于所述第一对象图像和第二对象图像以及所确定的位移来计算从所述设备到所述对象的距离。
可选地，所述第一和第二相机位于所述壳体的相反的侧面。可选地，所述处理器用于控制所述第一相机和第二相机以同时获取的对象图像与相应的参考图像成对的形式获取所述图像。可选地，设备包括位于所述壳体的与所述第二相机相同的侧面的屏幕。可选地，所述处理器用于在接收所述一个或多个第一对象图像和第一参考图像之后，提供关于改变所述壳体的位置的指令，用于获取所述第二对象和第二参考图像。可选地，所述处理器用于在接收所述一个或多个第一对象图像和第一参考图像之后，分析由相关于所述一个或多个第一参考图像的所述第二相机所提供的输入流，以当所述壳体处于适于获取所述第二参考图像和所述第二对象图像的位置时进行确定。
可选地，设备包括屏幕，并且其中所述处理器用于在接收所述一个或多个第一对象图像和第一参考图像之后，在所述屏幕上显示由所述第二相机所获取的图像的流，以允许用户定位所述壳体以获取所述第二图像。
可选地，所述处理器用于确定所述第一参考图像和第二参考图像之间的相对旋转的程度，并且使用所确定的相对旋转的程度以确定在获取所述第一对象图像和获取所述第二对象图像之间所述设备的至少一个相机的位移。
可选地，所述处理器用于通过比较在所述第一参考图像和第二参考图像中所示的身体器官的尺寸来确定所述位移。
根据本发明的实施例，进一步提供了一种用于距离评估的计算机程序产品，包括：计算机可读非暂时性存储介质，具有包含于其中的计算机可读程序代码，当由计算机执行时执行：接收包括对象的一个或多个第一图像和一个或多个第一参考图像；接收包括所述对象的一个或多个第二图像和一个或多个第二参考图像；基于所述第一参考图像和第二参考图像，确定关于在获取所述一个或多个第一和一个或多个第二图像之间设备的至少一个相机的位移的信息；并且基于包括所述对象的所述第一图像和第二图像以及所确定的关于所述至少一个相机的位移的信息，来计算从所述设备到所述对象的距离。
附图说明
结合附图参考接下来的描述对本发明的示例性的非限制性实施例进行描述。出现在一个以上附图中的相同的结构、元素或者部件优选在它们出现的所有附图中都标有相同的或者类似附图标记，其中：
图1是被配置为可以根据本发明的实施例进行操作的移动设备100的示意性说明；
图2是根据本发明的实施例的评估对对象的距离中执行的动作的流程图；
图3是根据本发明的实施例的处于相对于图1的方向的旋转方向的移动设备的示意性说明；并且
图4是根据本发明的实施例基于从两个不同的位置获取的图像计算对象距离的示意图。
具体实施方式
本发明的一些实施例的一个方面涉及由包括至少两个相机的移动设备测量对象距离的方法。包括对象的至少两个图像是从设备的各个不同的位置所获取的。大体上在获取包括对象的图像(本文称为“对象图像”)的同时，也由与获取各对象图像的相机不同的相机获取各自的参考图像。参考图像用于确定当获取至少两个对象图像时相机的相对位置，并且使用该至少两个图像和相机的相对位置，来确定对象的距离。
在有些实施例中，通过旋转设备并且定位获取参考图像的相机来实现获取图像的相机的不同位置从而使得参考图像大体上相同的。然后，可以从设备上相机的位置和旋转的程度来确定获取对象图像的相机的相对位置。
在其他实施例中，通过改变设备和持有设备的用户之间的距离来实现获取图像的相机的不同位置。从参考图像中确定持有设备的用户的距离。
这里使用的术语“设备位置”是指设备的位置和方向这两者，从而使得即使设备处于相同的位置，设备的两个不同的方向这里也被称为两个不同的位置。
在本发明的有些实施例中，对象图像都是由第一相机获取的而参考图像都是由第二相机获取的。然而，在其他实施例中，设备的相同的相机用于一个或多个对象图像以及一个或多个参考图像。
概述
图1是被配置为可以根据本发明的实施例进行操作的移动设备100的示意性说明。设备100可选地包括触摸屏幕102，与触摸屏幕102同侧且具有成像轴134的前相机104，处于与前相机104相反方向且具有成像轴132的后相机106。移动设备100中嵌有处理器110和存储器112。处理器110配置有，如本文稍后所描述的那样，基于由前相机104和后相机106获取的图像，执行距离评估的软件。设备100可选地包括智能手机或者平板电脑，当然也可以使用具有本文所讨论的元件的其他设备。一般地，处理器110用于执行除了距离评估之外的各种任务，诸如编解码语音信号和/或已知由移动设备执行的其他任务。
可以以电子形式通过例如网络将软件下载至处理器110，并将其存储于存储器112中。可选地或附加地，软件可以保存在实体的、非暂时性存储介质中，诸如光的、磁的或者电子的存储介质中。进一步可选地或附加地，处理器110的至少部分功能可以由专用的或者可编程的硬件逻辑电路来执行。
图2是根据本发明的实施例的评估到对象的距离中所执行的动作的流程图。
当指令(204)移动设备100评估到对象的距离时，后相机106瞄准对象并且移动设备100可选地开始执行管理距离评估过程的软件处理。在评估过程开始时，移动设备100通过瞄准对象的后相机106获取(206)一个或多个图像，并且还通过前相机104获取(208)一个或多个图像。可选地，单一图像对，这里称为(Rear1，Front1)，被选择(210)以表示后相机和前相机图像。
然后，移动设备100可选地指令(212)用户改变移动设备100的位置或姿态至新的位置，并且在与位置改变之前相同的方向瞄准前相机104。移动设备100可选地核实(214)前相机104被适当地瞄准，并且然后由前、后相机获取(216)一个或多个图像。移动设备100可选地为前、后相机各自选择(218)从新位置获取的一个图像。所选择的一对在位置改变之后的图像被称之为(Rear2，Front2)。
移动设备100分析在位置改变之前和之后所获取的所选择的图像(Rear1，Front1)、(Rear2，Front2)，以确定(222)由于移动设备100的位置的改变所造成的后相机106位置的改变。基于确定的后相机位置的改变以及在改变之前和之后的选择的对象的图像(Rear1和Rear2)，如下面所描述的那样，评估到对象的距离。
校准(Alignment)指令
在本发明的有些实施例中，让用户改变设备100的位置或姿态的指令包括由前相机104获取的当前视频流的显示，以允许用户根据其当前获取的图像调整前相机104的位置。
可选地，对用户的指令(212)还包括选择的(210)在位置改变之前由前相机104获取的图像(Front1)，从而用户能够容易地匹配前相机104的当前位置至选择的(210)预先获取的图像Front1。可选地，当前视频流叠加于显示的图像Front1上，以允许用户的简单校准。可选地，当前视频流可以与图像Front1并排(side by side)显示，也许还具有在图像之间关联的合适的网格。进一步可选地或者额外地，不显示Front1图像，而是显示从Front1图像中提取的阴影(shadow)或者网格(grid)，并且请求用户匹配当前视频流至显示的阴影或者网格。
可选地或者额外地，处理器110例如使用特征匹配，来比较当前由前相机104收集的图像流的图像与选择的Front1图像，并相应地，例如以显示箭头和/或其他图形化的指导或者语音指导的形式，来提供瞄准指令。特征匹配可选地包括选择在Front1以及当前收集的图像流的图像中均出现的特征，并且确定Front1和图像流中特征的相对位置。
在本发明的有些实施例中，处理器110计算数字的匹配程度分数并且向用户显示计算的匹配程度分数。可选地或者额外地，当匹配程度超过预定的阈值时，处理器110提供停止指令。阈值可以是普遍使用的预先配置的阈值，或者可以是根据距离确定的所需的准确度水平的动态可调节的阈值。在本发明的有些实施例中，需要相对低的阈值，并且处理器110如下面所述的那样通过执行图像校正数字性地补偿不匹配。
可选地，为了最小化获取(Rear1，Front1)和(Rear2，Front2)之间的位置改变，指令(212)还请求用户保持静止直至获取图像。
初始化和使用
可选地通过屏幕102上的显示或语音或者其他合适的方法向用户提供评估的距离。可选地或者额外地，距离可以由处理器110使用或者提供至不同的处理器，以用于进一步的计算。基于对象的距离，处理器110可选地可以确定场景中的其他尺寸和/或距离，诸如对象的尺寸和/或图像中其他对象的距离和尺寸。因此，设备100能够操作为测量工具。可选地或者额外地，距离评估用于应用向内(scale-in)增强现实应用，例如在图像、图像流或者直播现场上叠加虚拟对象。在本发明的有些实施例中，对象尺寸由处理器110使用，以改善例如在监视应用中，由移动设备100获取的视频流中的图像帧之间的框架的对象跟踪。
在有些实施例中，由知道评估并且有意参与处理的人类用户提供评估对象距离的指令(204)。在其他实施例中，由在设备100上运行的其他软件自动提供评估距离的指令(204)。在这些实施例中，用户可以有意参与该处理或者可以不知道该处理。例如，移动设备至新的位置的指令(212)可以在由初始化距离评估的其他软件提供的其他指令之间提供，从而使得用户并不必然地知道执行了用于距离评估的指令。可选地或者额外地，以暗示的方式提供改变设备100的位置的指令(212)，而用户并不必然地明白存在指令。例如，可以旋转屏幕102上的图像以使得用户本能地旋转设备100。
获取图像
参照通过前相机104和后相机106获取(206，208，216)图像的更多细节，在本发明的有些实施例中，在(例如，在位置改变之前和之后)每个获取期间由每个相机获取至少三张，至少五张或者甚至至少十张图像。在本发明的有些实施例中，当获取图像时，评估(assess)图像的质量，并且重复图像获取，直至获取了被认为具有足够质量的图像、预定数量的图像或者前后图像对。因此，在这些实施例中，获取的图像的数量根据获取的图像的质量而变化。可选地，由前、后相机获取相同数量的图像。可选地，由后相机106获取更多的图像，这是由于后相机的图像模糊或者不合适的机会一般相对高于前相机图像模糊的机会。然而，值得注意的是，在前相机104可能具有更高的提供不合适的图像的机会的情况下，可以指令前相机104获取比后相机106更多的图像。
可选地，在前后图像被成对获取的情况下，同时地或者在非常短的时间差内，诸如在小于5秒、小于1秒、小于半秒、甚至可能小于30毫秒内，获取每对前后相机图像。
可选地，在确定设备100位置改变前后获取的图像的数量上使用相同的准则。在有些实施例中，在图像获取期间，获取图像，直至获取预定数量的具有足够的质量的图像。可选地，在位置改变前后获取相的数量的图像。在其他实施例中，在位置改变之前或者在位置改变之后获取更多的图像。在本发明的有些实施例中，在位置改变之后的质量评估包括除了目标质量之外，或者替代目标质量，指示图像匹配位置改变之前所获取的图像的程度的匹配测量。
可选地，基于质量评估方法，诸如验证图像具有强梯度和/或在获取图像是相机没有移动(例如，基于加速度计测量和/或图像分析)，执行(Rear1，Front1)的图像选择(210)。可选地，选择包括选择Rear1作为在位置改变之前由后相机106获取的最佳质量图像，并且选择在相同的时间获取的对应的前相机图像为Front1。可选地，在选择Rear1之后，在获取Rear1之前、之中和/或之后短时间内获取的有限数量的图像中选择Front1。可选地，Rear1和Front1的选择是基于加权分数，在该加权分数中对后图像的质量和前图像的质量赋予不同的权重。在有些实施例中，获取每对图像之间的时间差也作为分数中的因素。
可选地或者额外地，选择提供两个或更多图像的组合，例如生成为认为具有质量超过给定阈值的那些图像或者图像的加权和。可选地，过滤掉低质量的图像(例如，模糊的图像)，并且仅仅基于本认为具有足够质量的图像计算加权选择的图像。
可以以类似于(Rear1，Front1)的选择(210)的方式执行(Rear2，Front2)的图像选择(218)。可选地，Front2被选择为第一图像，该第一图像被认为足够对准Front1并具有足够的质量。
在有些实施例中，处理器110确定在Front1选择的图像中用户相对于背景的位置，并且基于在这些图像中用户相对于背景的位置匹配在Front1中的相对位置的程度，来分析位置改变之后获取的图像。可选地，选择最匹配Front1的、位置改变之后获取的图像。可选地，具有超过预定值的位置差异的分析的图像不在考虑之内。进一步可选地，在分析的图像中与在Front1中用户的相对位置的匹配程度被加权至在选择Front2中使用的质量分数。
可选地，如果在位置改变之后获取的图像中没有找到具有足够质量的图像和/或匹配，则请求用户重复位置改变之后图像的获取或者重复整个图2的过程。
在本发明的有些实施例中，处理器110还核实在位置改变前后获取图像之间，从后相机图像和/或前相机图像确定的相机的轴大体上没有改变。可选地或者额外地，执行校正以补偿相机轴的移动，下面将给出细节。
距离评估
评估(224)可选地包括图像校正，以校正后相机106位置改变前后获取的图像(Rear1，Rear2)的旋转偏离。在图像校正中，调整Rear1和Rear2从而使得它们在相同的平面上。使用本领域已知的任意合适的方法来执行校正，所述方法诸如Richards(理查兹)的美国(US)专利公开2013/0271578、Aradhye等的美国专利公开2005/0180632以及Lim，Ser-Nam；Mittal，Anurag；Davis，Larry；Paragios，Nikos.，“Uncalibrated stereorectification for automatic 3d surveillance(用于自动3d监视的未校准立体声整流)”，International Conference on Image Processing(关于图像处理的国际会议)2：1357-1360，2004，中所描述的方法中任一个，所有的这些公开都通过引用合并于此。
然后，处理器110可选地对Rear1和Rear2的校正的版本执行三角测量(triangulation)方法，以确定图像中感兴趣的一个或多个点的距离。使用本领域已知的任意合适的方法来执行三角测量，例如，使用在Richard Hartley和Andrew Zisserman(2003)，Multiple View Geometry in computer vision(在计算机视觉中的多视图几何).Cambridge University Press(剑桥大学出版社)中描述的任意方法，其公开内容通过引用合并于此。三角测量可选地基于位置改变之前和之后的后相机106的位置之间的距离，即，在获取Rear1和Rear2时后相机106的位置之间的距离，以及后相机106的f数(f-number)，也称为焦比(focal ratio)。
在本发明的有些实施例中，评估(224)包括基于Rear1、Rear2图像创建立体或者差异(disparity)图像。
旋转
图3是根据本发明的实施例的处于相对于图1的方向的旋转方向的移动设备的示意性说明。在参考图3所描述的实施例中，移动设备100的位置的改变是移动设备的旋转。
在这些实施例中，移动移动设备100至新的位置的指令(212)包括旋转移动设备的指令。可选地，指令用户定位移动设备100，从而使得由前相机104在旋转之后在新的位置获取的图像与为移动设备100的旋转程度调整的、在旋转之前获取的图像相同。在有些实施例中，指令用户将移动设备100旋转180度，以实现相对于前相机104的、后相机106的位置的最大改变。在其他实施例中，指令用户将移动设备100旋转90度或者任意其他想要的程度。例如，可以请求用户旋转设备100至接近180度的程度，例如在160-200度之间，因此允许用户快速执行旋转而不用精确地调整旋转至180度。
当旋转180度时，如图3所示(图中示出了设备100相对于其在图1中的位置旋转180度)，在旋转之前334和之后336后相机106的成像轴之间的距离332是前相机104和后相机106的位置之间的距离140的两倍，这是因为在旋转之前和之后前相机104保持在相同的相对位置。
改变后相机106的位置的决定(222)可选地基于设备100上相机104和106的已知的位置。在本发明的有些实施例中，决定包括例如基于比较由前相机104在旋转前后所拍的图像的移动设备100的旋转程度的评估。可选地或者额外地，评估是基于由后相机106在旋转前后所拍摄的图像的比较。进一步可选地，从设备100内的角度测量单元获知旋转的程度。
在上述的前相机104在旋转前后被指向用户的同时，在其他实施例中，前相机104在旋转之前指向待确定距离的对象而在旋转之后指向用户。这种旋转本文中被称为翻动(flipping)。在这些实施例中，在位置改变之后，可选地，向用户显示在位置改变之前由后相机106所拍摄的图像352，并且请求用户匹配当前由前相机104获取的图像354与所显示的图像。可选地，基于对由前相机104在位置改变之前获取的图像和由后相机106在位置改变之后获取的图像的分析，来计算距离。在有些实施例中，设备100两侧均具有屏幕，其中，在面对用户的屏幕上恰当地提供给用户的指令。
距离改变
在本发明的其他实施例中，移动移动设备100至新的位置的指令(212)包括通过移动设备贴近或者远离用户来改变移动设备和用户(例如，用户的脸)之间的距离的指令。
图4是根据本发明的实施例的对对象402的距离测量的示意性说明。
可选地，在原始位置(例如，404)以及改变之后的位置(例如，406)，前相机104获取包括特定的身体部分(body portion)(例如，410)的图像。对用户的指令(212)可选地声明由前相机104获取的图像包括身体部分410，并且可能包括保持身体部分410处于图像的中央部分的指令。可选地或者额外地，指令用户瞄准相机从而使得该身体部分位于位置改变之后获取的图像内与位置改变之前的相同的相对位置。身体部分可选地包括人眼角膜，对于不同的人也可以使用具有接近的固定尺寸的其他身体器官。在有些实施例中，可以考虑多个不同的身体部分，并且基于针对每个身体部分计算的距离的加权和来确定距离。
可选地或者额外地，处理器110在初始化阶段被配置有身体部分的尺寸，并且此后，将该被配置的尺寸用于由用户执行的多个后续的距离测量。被配置的尺寸可以是基于并不使用设备100所执行的测量而由用户手动输入的，或者可以是例如在配置过程中使用设备100执行的，该配置过程包括从一个或多个预定的距离获取身体部分的图像和/或从具有已知相对位置的不同的距离获取多个图像。
可选地或者在使用身体部分之外地，将前相机104瞄准具有已知大小的对象诸如，尺子、硬币或者纸币。在本发明的有些实施例中，已知尺寸的对象包括在位置改变前后所获取的图像中。在其他实施例中，已知尺寸的对象由用户放置于接近身体部分，从而可以从已知尺寸的对象来确定身体部分的尺寸。在这些实施例中，已知尺寸的对象可以仅出现在一些所获取的图像中。
在这些实施例中，可选地，基于位置改变前后的前图像(Front1，Front2)中的图像化的身体部分410的尺寸的比较来确定(222)位置的改变。可选地，处理器110计数眼角膜(或者其他特定的身体器官)在图像Front1中跨越的像素的数量，并且根据眼角膜的已知的宽度和前相机104的视场(iFov)，来计算在获取图像Front1的时候设备100和用户之间的距离(F1)。可选地，将眼角膜宽度评估为眼白-眼白(white to white)角膜直径。
可选地，如下计算前相机104和用户之间的距离(F1)：
F1＝SizeOfCorneaInMeters/(iFovInRadiansToPixel*SizeOfCorneaInPixels)
可选地额外地，处理器110确定Front1和Front2之间的眼角膜和/或其他身体部分的尺寸比例(本文称为FrontZoom)，以及Rear1和Rear2之间的一个或多个特征的尺寸比例(本文称为RearZoom)。使用已知的特征检测、匹配和/或跟踪的方法，诸如光流(opticalflow)、快速鲁棒特征(speeded up robust features，SURF)和/或尺度不变特征变换(scale invariant feature transform,SIFT)，来可选地选择用于计算RearZoom的一个或多个特征。
位置改变之前对象到设备100的距离可选地评估(224)为：
R1＝F1*(FrontZoom–1)/(1–RearZoom)
可选地或者额外地，计算包括以类似于计算F1的方式确定用户408和设备100之间的在位置改变之后的新的距离(F2)。然后F2可以被用于计算FrontZoom和/或R2。
替代方案
在有些上述的实施例中的设备100被假定为刚性的(rigid)，至少在安装相机104和106的部分，从而使得相机的相对位置并不改变。在其他实施例中，设备100可以是柔性的和/或相机104和/或106可移动地安装在设备100上，从而使得相机在设备100上的相对位置可以改变。在这样的实施例中，处理器110可选地用于接收设备100的姿态信息，其姿态信息不仅包括设备100的位置和方向，还包括相机104和106在设备100上的相对位置。
在上面的描述中，设备100被假定为由用户持有并且向用户提供改变设备位置的指令。在其他实施例中，设备100被安装在包括马达或者控制其移动的其他设备的三脚架、支架(arm)或者其他座架(mount)上。座架用于直接地从设备100接收移动指令，从而使得图2的整个方法自动地执行而不需要人的帮助。例如，为了监视的目的可以使用这样的设置。
结论
应该理解的是，上面描述的方法可以以多种方式改变，包括改变所使用的具体的元件和其布局和改变方法中动作的顺序。还应该理解的是，方法和装置的上述的描述将被解释为包括用于执行方法的装置和使用装置的方法。本发明已经使用其实施例的非限制性的详细的描述来进行了描述，这些实施例是通过示例的方式提供的并且并不意在限制本发明的范围。可以使用很多具体的实施细节。
应该理解的是，关于一个实施例描述的特征和/或步骤可以用于其他实施例，并且并非所有本发明的实施例都具有在特定的图中所示的或者关于一实施例描述的所有的特征和/或步骤。本领域人员能够想到描述的实施例的变型。而且，术语“包括”、“包含”、“具有”和它们的词形变化，当在权利要求中使用时将意味着“包括但不必然限于”。
应当注意的是，上述的实施例中的一些可能描述了发明人认为的最佳模式，并且因此可能包括了对本发明可能是不必要的并且被描述为示例的结构、动作或者结构和动作的细节。正如本领域已知的，本文所描述的结构和动作可由执行相同功能的等价物来替换，即使是结构或者动作并不相同。因此，本发明的保护范围仅由权利要求所使用的元件和限定来限定。

Claims (20)

1.一种由具有至少两个相机的设备测量到对象距离的方法，包括：
在所述设备处于第一位置时，由所述设备的第一相机获取包括所述对象的一个或多个第一图像；
在所述设备处于第一位置时，由所述设备的第二相机获取一个或多个第一参考图像；
在获取所述一个或多个第一图像之后，向用户显示：
所述一个或多个第一参考图像和由第二相机所获取的当前图像之间的匹配程度的指示，所述指示包括表示匹配程度的数字分数；以及
响应于超过预定阈值的所述数字分数的停止指令；
在所述设备处于第二位置时，由所述设备的第一相机获取包括所述对象的一个或多个第二图像；
在所述设备处于第二位置时，由所述设备的第二相机获取一个或多个第二参考图像；
基于所述一个或多个第一参考图像和所述一个或多个第二参考图像，确定关于在第一位置和第二位置之间的所述设备的至少一个相机的位移的信息；并且
基于包括所述对象的所述一个或多个第一图像和所述一个或多个第二图像以及所确定的关于所述至少一个相机的位移的信息，来计算从所述设备到所述对象的距离，所述计算基于固定测量值。
2.根据权利要求1所述的方法，其中，获取包括所述对象的所述一个或多个第一图像包括：获取所述设备处于所述第一位置时的多个图像，并且从多个获取的图像中生成包括所述对象的单一图像。
3.根据权利要求2所述的方法，其中，从多个获取的图像中生成包括所述对象的单一图像包括：选择所述多个获取的图像中的一个。
4.根据权利要求2所述的方法，其中，从多个获取的图像中生成包括所述对象的单一图像包括：生成一些或者所有的所述多个获取的图像的组合。
5.根据权利要求2所述的方法，其中，从多个获取的图像中生成包括所述对象的单一图像包括：分析所述多个获取的图像的质量，并且丢弃质量低于给定阈值的图像。
6.根据权利要求1所述的方法，包括在获取所述一个或多个第一图像之后，向所述用户显示指导以将所述设备的位置改变至第二位置的指令。
7.根据权利要求1所述的方法，所述固定测量值包括身体器官的尺寸，并且其中所述身体器官包含于所述一个或多个第一参考图像和所述一个或多个第二参考图像中。
8.根据权利要求7所述的方法，其中，所述身体器官包括眼角膜。
9.根据权利要求1所述的方法，所述固定测量值包括所述第一相机和所述第二相机之间的距离。
10.根据权利要求1所述的方法，其中，所述第一相机和第二相机位于所述设备的相反的侧面。
11.根据权利要求1所述的方法，其中，在小于1秒的时间内，大体上同时地以成对的形式获取包括所述对象的所述一个或多个第一图像和所述一个或多个第一参考图像。
12.一种用于测量到对象的距离的设备，所述设备包括：
壳体；
显示器；
在所述壳体中所包括的第一相机；
在所述壳体中所包括的第二相机；和
在所述壳体中所包括的处理器，用于使设备执行以下步骤：
接收在所述设备处于第一位置时由第一相机获取的包括对象的一个或多个第一图像；
接收在所述设备处于第一位置时由第二相机获取的一个或多个第一参考图像；
在获取所述一个或多个第一图像之后，通过所述设备的所述显示器显示：
所述一个或多个第一参考图像和由第二相机所获取的当前图像之间的匹配程度的指示，所述指示包括表示匹配程度的数字分数；以及
响应于超过预定阈值的所述数字分数的停止指令；
在所述设备处于第二位置时，接收由第一相机获取的包括所述对象的一个或多个第二图像；
在所述设备处于第二位置时，接收由第二相机获取的一个或多个第二参考图像；
响应于所述一个或多个第一参考图像和所述一个或多个第二参考图像，来确定获取所述一个或多个第一图像和获取所述一个或多个第二图像之间的所述设备的至少一个相机的位移；并且
基于所述一个或多个第一图像和第二图像以及所确定的位移，来计算从所述设备到所述对象的距离，所述计算基于固定测量值。
13.根据权利要求12所述的设备，其中，所述第一相机和第二相机位于所述壳体的相反的侧面。
14.根据权利要求12所述的设备，其中，所述处理器用于：控制所述第一相机和第二相机，以同时获取的图像和对应的参考图像成对的形式获取所述一个或多个第一图像和一个或多个参考图像。
15.根据权利要求12所述的设备，包括位于所述壳体的与所述第二相机相同的侧面的屏幕。
16.根据权利要求12所述的设备，其中，所述处理器用于在接收所述一个或多个第一图像和一个或多个第一参考图像之后，提供关于改变所述壳体的位置的指令，用于获取所述一个或多个第二图像和一个或多个第二参考图像。
17.根据权利要求12所述的设备，其中，所述处理器用于在接收所述一个或多个第一图像和一个或多个第一参考图像之后，分析由相关于所述一个或多个第一参考图像的所述第二相机所提供的输入流，以当所述壳体处于适于获取所述一个或多个第二参考图像和所述一个或多个第二图像的位置时进行确定。
18.根据权利要求12所述的设备，包括屏幕，并且其中所述处理器用于在接收所述一个或多个第一图像和一个或多个第一参考图像之后，在所述屏幕上显示由所述第二相机所获取的图像的流，以允许用户定位所述壳体以获取所述一个或多个第二图像和一个或多个第二参考图像。
19.根据权利要求12所述的设备，其中，所述处理器用于确定所述一个或多个第一参考图像和一个或多个第二参考图像之间的相对旋转的程度，并且使用所确定的相对旋转的程度以确定在获取所述一个或多个第一图像和获取所述一个或多个第二图像之间所述设备的至少一个相机的位移。
20.一种用于距离评估的计算机程序产品，包括：计算机可读非暂时性存储介质，具有包含于其中的计算机可读程序代码，当由计算机执行时执行：
在设备处于第一位置时，接收由所述设备的第一相机获取的包括对象的一个或多个第一图像；
在设备处于第一位置时，接收由第二相机获取的一个或多个第一参考图像；
在获取所述一个或多个第一图像之后，向用户显示：
所述一个或多个第一参考图像和由第二相机所获取的当前图像之间的匹配程度的指示，所述指示包括表示匹配程度的数字分数；以及
响应于超过预定阈值的所述数字分数的停止指令；
在所述设备处于第二位置时，接收由第一相机获取的包括对象的一个或多个第二图像；
在所述设备处于第二位置时，接收由第二相机获取的一个或多个第二参考图像；
基于所述一个或多个第一参考图像和所述一个或多个第二参考图像，确定关于在获取所述一个或多个第一参考图像和所述一个或多个第二参考图像之间的所述设备的至少一个相机的位移的信息；并且
基于包括所述对象的所述一个或多个第一图像和所述一个或多个第二图像以及所确定的关于所述至少一个相机的位移的信息，来计算从所述设备到所述对象的距离，所述计算基于固定测量值。
CN201910630729.XA 2013-04-08 2014-04-06 使用多个相机设备的距离评估 Active CN110440747B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361809447P 2013-04-08 2013-04-08
US201361809464P 2013-04-08 2013-04-08
US61/809,464 2013-04-08
US61/809,447 2013-04-08
CN201480032676.7A CN105339756B (zh) 2013-04-08 2014-04-06 使用多个相机设备的距离评估

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480032676.7A Division CN105339756B (zh) 2013-04-08 2014-04-06 使用多个相机设备的距离评估

Publications (2)

Publication Number Publication Date
CN110440747A CN110440747A (zh) 2019-11-12
CN110440747B true CN110440747B (zh) 2021-11-09

Family

ID=51689011

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480032676.7A Active CN105339756B (zh) 2013-04-08 2014-04-06 使用多个相机设备的距离评估
CN201910630729.XA Active CN110440747B (zh) 2013-04-08 2014-04-06 使用多个相机设备的距离评估

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480032676.7A Active CN105339756B (zh) 2013-04-08 2014-04-06 使用多个相机设备的距离评估

Country Status (5)

Country Link
US (5) US10192312B2 (zh)
EP (2) EP3828496A1 (zh)
KR (10) KR102146641B1 (zh)
CN (2) CN105339756B (zh)
WO (1) WO2014167475A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102146641B1 (ko) 2013-04-08 2020-08-21 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
US10171792B2 (en) * 2014-08-15 2019-01-01 The University Of Akron Device and method for three-dimensional video communication
WO2016086379A1 (en) 2014-12-04 2016-06-09 SZ DJI Technology Co., Ltd. Imaging system and method
CN110658918B (zh) * 2019-09-25 2023-12-12 京东方科技集团股份有限公司 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
CN111207688B (zh) * 2020-01-16 2022-06-03 睿镞科技(北京)有限责任公司 在载运工具中测量目标对象距离的方法、装置和载运工具
CN112378507B (zh) * 2020-11-05 2021-10-01 浙江大学 一种基于运动补偿的计算机视觉结构振动监测方法
KR20230116565A (ko) * 2022-01-28 2023-08-04 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404484B1 (en) * 1999-09-22 2002-06-11 Fuji Jukogyo Kabushiki Kaisha Method for examining distance data and device thereof
CN1934584A (zh) * 2004-06-04 2007-03-21 松下电器产业株式会社 显示控制方法及装置、程序以及便携设备
CN1975327A (zh) * 2006-12-19 2007-06-06 北京中星微电子有限公司 一种车距检测方法及装置
CN101796817A (zh) * 2007-07-06 2010-08-04 前视红外系统股份公司 照相机和校准照相机的方法
CN102550015A (zh) * 2010-06-30 2012-07-04 富士胶片株式会社 多视点拍摄控制装置、控制方法以及控制程序
CN102589516A (zh) * 2012-03-01 2012-07-18 长安大学 一种基于双目线扫描摄像机的动态距离测量系统
CN102980556A (zh) * 2012-11-29 2013-03-20 北京小米科技有限责任公司 一种测距方法及装置
CN103003665A (zh) * 2010-07-22 2013-03-27 松下电器产业株式会社 立体测距装置及立体测距方法
CN102997891A (zh) * 2012-11-16 2013-03-27 上海光亮光电科技有限公司 场景深度的测量装置和方法
CN103017730A (zh) * 2012-11-30 2013-04-03 中兴通讯股份有限公司 一种单摄像头测距的方法和系统

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE209782T1 (de) * 1993-05-18 2001-12-15 Univ Utah Res Found Vorrichtung und verfahren fuer homogene multianalyt-immuno-assays
JPH10507953A (ja) * 1994-10-28 1998-08-04 アイシーズ、テクノロジーズ、インコーポレーテッド 複合カメラの角膜分析装置
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
DE59708043D1 (de) 1996-06-17 2002-10-02 Siemens Ag Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US7738706B2 (en) 2000-09-22 2010-06-15 Sri International Method and apparatus for recognition of symbols in images of three-dimensional scenes
JP4767403B2 (ja) * 2000-11-06 2011-09-07 本田技研工業株式会社 三次元計測装置および三次元計測方法
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
KR100486596B1 (ko) 2002-12-06 2005-05-03 엘지전자 주식회사 왕복동식 압축기의 운전장치 및 제어방법
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
US20050206874A1 (en) * 2004-03-19 2005-09-22 Dougherty Robert P Apparatus and method for determining the range of remote point light sources
US7671916B2 (en) 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
US8332475B2 (en) 2005-08-22 2012-12-11 Triplay Communications Ltd. Messaging system and method
JP2007258989A (ja) * 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法
JP4986679B2 (ja) * 2007-03-29 2012-07-25 学校法人福岡工業大学 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
WO2008129542A2 (en) 2007-04-23 2008-10-30 Ramot At Tel-Aviv University Ltd System, method and a computer readible medium for providing an output image
KR101477182B1 (ko) * 2007-06-01 2014-12-29 삼성전자주식회사 단말 및 그의 이미지 촬영 방법
KR100998709B1 (ko) * 2008-04-28 2010-12-07 한양대학교 산학협력단 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법
US9171221B2 (en) * 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US8204299B2 (en) * 2008-06-12 2012-06-19 Microsoft Corporation 3D content aggregation built into devices
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
JP5315891B2 (ja) 2008-09-24 2013-10-16 富士通株式会社 距離測定装置、距離測定方法及び距離測定プログラム
KR101618759B1 (ko) * 2008-12-24 2016-05-09 삼성전자주식회사 영상 촬영 장치 및 방법
FI121440B (fi) 2009-06-26 2010-11-15 Valtion Teknillinen Menetelmä ja laite etäisyyden määrittämiseksi
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
KR101284798B1 (ko) * 2009-12-08 2013-07-10 한국전자통신연구원 단일 카메라 영상 기반의 객체 거리 및 위치 추정 장치 및 방법
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US8687070B2 (en) * 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
WO2011101784A1 (en) 2010-02-16 2011-08-25 Tigertext Inc. A messaging system apparatuses circuits and methods of operation thereof
EP2549762B1 (en) * 2010-03-19 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor
EP2395765B1 (en) * 2010-06-14 2016-08-24 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
US8933996B2 (en) 2010-06-30 2015-01-13 Fujifilm Corporation Multiple viewpoint imaging control device, multiple viewpoint imaging control method and computer readable medium
WO2012054231A2 (en) * 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5625976B2 (ja) * 2011-02-09 2014-11-19 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにプログラム
US9300947B2 (en) * 2011-03-24 2016-03-29 Kodak Alaris Inc. Producing 3D images from captured 2D video
US8780180B2 (en) * 2011-05-13 2014-07-15 Apple Inc. Stereoscopic camera using anaglyphic display during capture
WO2013032041A1 (ko) 2011-08-26 2013-03-07 Ryoo Min-Kyu 이동통신 단말기를 이용한 거리, 높이, 길이 측정 방법
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
US9696897B2 (en) * 2011-10-19 2017-07-04 The Regents Of The University Of California Image-based measurement tools
US9223404B1 (en) * 2012-01-27 2015-12-29 Amazon Technologies, Inc. Separating foreground and background objects in captured images
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
WO2013136607A1 (ja) * 2012-03-13 2013-09-19 富士フイルム株式会社 プロジェクタ付き撮影装置及びその制御方法
US9019350B2 (en) 2012-04-12 2015-04-28 Raytheon Company Stereo rectification method
WO2013182873A1 (en) * 2012-06-08 2013-12-12 Nokia Corporation A multi-frame image calibrator
US9025859B2 (en) * 2012-07-30 2015-05-05 Qualcomm Incorporated Inertial sensor aided instant autofocus
CN202940864U (zh) 2012-11-14 2013-05-15 吴昊 可更换摄像头的手机
US9330471B2 (en) * 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
KR20140108078A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치
WO2014141654A1 (ja) * 2013-03-13 2014-09-18 パナソニック株式会社 測距装置、撮像装置および測距方法
US9967549B2 (en) * 2013-03-20 2018-05-08 Mediatek Inc. 3D image capture method with 3D preview of preview images generated by monocular camera and related electronic device thereof
KR102146641B1 (ko) 2013-04-08 2020-08-21 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
CN103323461B (zh) 2013-06-14 2015-05-27 上海大学 一种非接触式的风力发电机叶片运动在线检测方法
CN103344213A (zh) 2013-06-28 2013-10-09 三星电子（中国）研发中心 一种双摄像头测量距离的方法和装置
CN103342130B (zh) 2013-07-15 2016-02-10 齐齐哈尔轨道交通装备有限责任公司 手制动机、制动装置及铁路货车
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
CN103824318B (zh) 2014-02-13 2016-11-23 西安交通大学 一种多摄像头阵列的深度感知方法
KR102296396B1 (ko) * 2014-07-31 2021-09-02 삼성전자주식회사 비접촉 체온 측정 시 정확도를 향상시키기 위한 장치 및 방법
US10704944B2 (en) 2014-09-14 2020-07-07 Becton, Dickinson And Company System and method for capturing dose information
KR20160133230A (ko) * 2015-05-12 2016-11-22 엘지전자 주식회사 이동 단말기
JP2017060008A (ja) 2015-09-16 2017-03-23 キヤノン株式会社 多視点画像符号化装置、多視点画像符号化方法およびプログラム
JP2017086184A (ja) * 2015-11-02 2017-05-25 国立大学法人埼玉大学 筋活動可視化システムと筋活動可視化方法
KR20170083327A (ko) * 2016-01-08 2017-07-18 엘지전자 주식회사 이동단말기 및 그 제어방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404484B1 (en) * 1999-09-22 2002-06-11 Fuji Jukogyo Kabushiki Kaisha Method for examining distance data and device thereof
CN1934584A (zh) * 2004-06-04 2007-03-21 松下电器产业株式会社 显示控制方法及装置、程序以及便携设备
CN1975327A (zh) * 2006-12-19 2007-06-06 北京中星微电子有限公司 一种车距检测方法及装置
CN101796817A (zh) * 2007-07-06 2010-08-04 前视红外系统股份公司 照相机和校准照相机的方法
CN102550015A (zh) * 2010-06-30 2012-07-04 富士胶片株式会社 多视点拍摄控制装置、控制方法以及控制程序
CN103003665A (zh) * 2010-07-22 2013-03-27 松下电器产业株式会社 立体测距装置及立体测距方法
CN102589516A (zh) * 2012-03-01 2012-07-18 长安大学 一种基于双目线扫描摄像机的动态距离测量系统
CN102997891A (zh) * 2012-11-16 2013-03-27 上海光亮光电科技有限公司 场景深度的测量装置和方法
CN102980556A (zh) * 2012-11-29 2013-03-20 北京小米科技有限责任公司 一种测距方法及装置
CN103017730A (zh) * 2012-11-30 2013-04-03 中兴通讯股份有限公司 一种单摄像头测距的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《measuring distance with mobile phones using single-camera stereo vision》;Clemens Holzmann et al.;《Distributed Computing System Workshops(ICDCSW),2012 32nd International Conference on》;20120630;88-93 *

Also Published As

Publication number Publication date
EP2984448A1 (en) 2016-02-17
WO2014167475A1 (en) 2014-10-16
EP3828496A1 (en) 2021-06-02
US10467492B2 (en) 2019-11-05
KR102146641B1 (ko) 2020-08-21
US20240019245A1 (en) 2024-01-18
CN110440747A (zh) 2019-11-12
KR20210091834A (ko) 2021-07-22
CN105339756B (zh) 2019-08-06
EP2984448A4 (en) 2016-12-07
KR20220098053A (ko) 2022-07-08
KR102582420B1 (ko) 2023-09-26
US20160048968A1 (en) 2016-02-18
KR20150140734A (ko) 2015-12-16
US11879750B2 (en) 2024-01-23
KR102025535B1 (ko) 2019-09-26
US10192312B2 (en) 2019-01-29
KR102416814B1 (ko) 2022-07-06
US20200042815A1 (en) 2020-02-06
KR20230076870A (ko) 2023-05-31
KR102357800B1 (ko) 2022-02-08
KR102482186B1 (ko) 2022-12-29
KR20230005434A (ko) 2023-01-09
KR102279380B1 (ko) 2021-07-21
KR20230142635A (ko) 2023-10-11
US20190130201A1 (en) 2019-05-02
EP2984448B1 (en) 2021-02-24
KR20190110635A (ko) 2019-09-30
KR102210054B1 (ko) 2021-02-02
KR20200099616A (ko) 2020-08-24
KR102536174B1 (ko) 2023-05-26
KR20210013318A (ko) 2021-02-03
US20200293805A1 (en) 2020-09-17
KR20220020391A (ko) 2022-02-18
CN105339756A (zh) 2016-02-17
US10691967B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
CN110440747B (zh) 使用多个相机设备的距离评估
US10297076B2 (en) Apparatus and method for generating 3D face model using mobile device
CN109960401B (zh) 一种基于人脸追踪的动向投影方法、装置及其系统
CN108463840B (zh) 信息处理设备、信息处理方法以及记录介质
CN108416285A (zh) 枪球联动监控方法、装置及计算机可读存储介质
CN104204848B (zh) 具有测距相机的勘测设备
CN108833795B (zh) 一种图像获取设备的对焦方法及装置
KR20120102202A (ko) 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치
CN111726515A (zh) 一种深度相机系统
JP2016023962A (ja) 被写体の大きさを測定する方法、被写体の大きさを測定する装置、被写体の大きさを測定するプログラム、画像表示方法、画像表示装置、および、画像表示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant