CN102640189B - 用于估计场景中精确和相对物体距离的方法 - Google Patents

用于估计场景中精确和相对物体距离的方法 Download PDF

Info

Publication number
CN102640189B
CN102640189B CN201080054810.5A CN201080054810A CN102640189B CN 102640189 B CN102640189 B CN 102640189B CN 201080054810 A CN201080054810 A CN 201080054810A CN 102640189 B CN102640189 B CN 102640189B
Authority
CN
China
Prior art keywords
image
distance
equipment
focal position
calibration curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080054810.5A
Other languages
English (en)
Other versions
CN102640189A (zh
Inventor
厄尔·王
李平山
杉浦守
中村真备
栉田英功
村上芳弘
索罗吉·特里特亚帕拉赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of CN102640189A publication Critical patent/CN102640189A/zh
Application granted granted Critical
Publication of CN102640189B publication Critical patent/CN102640189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

两图片匹配曲线信息可被用来确定场景中的精确物体距离或相对物体距离。获取除曲线信息之外的具有不同模糊信息的两个图像使得设备能够确定场景中物体的距离信息。距离信息可被用在包括生成深度图在内的图像处理中,深度图然后可被用在许多成像应用中。

Description

用于估计场景中精确和相对物体距离的方法
技术领域
本发明涉及图像处理领域。更具体地,本发明涉及场景中物体距离的确定。
背景技术
深度图(Depth Map,DM)是示出从相机传感器到针对每单个像素的在场景中的对应点的距离的图。传统的DM生成方法包括测距传感器(range sensor)和立体系统,测距传感器使用声波或者投射激光图案或者利用一些其他手段来扫描场景以测量离相机的距离,立体系统使用两个以上相机/镜头来获取场景的多个图像并且然后对它们进行匹配以便对场景中的点进行三角测量。在这两种情况中,单镜头相机需要额外硬件以生成DM。
发明内容
两图片匹配曲线信息能被用来确定场景中的精确物体距离或相对物体距离。除了曲线信息之外还获取具有不同模糊信息的两个图像使得设备能够确定场景中的物体的距离信息。距离信息能被用在包括生成深度图在内的图像处理中,深度图然后能被用在许多成像应用中。
在一个方面,一种在设备上实现的方法包括:获取场景的第一图像;获取场景的第二图像;以及利用曲线信息来确定场景中的物体的设备到物体距离(device-to-object distance)。曲线信息被预先计算出。利用曲线信息包括:确定用来将第一图像和第二图像之一模糊为第一图像和第二图像中的另一者的模糊度的卷积的数目;利用卷积的数目来基于曲线信息确定物体到焦点位置距离(object-to-focus position distance);计算设备到焦点位置距离(device-to-focus position distance);以及将物体到焦点位置距离 和设备到焦点位置距离相加来确定设备到物体距离。曲线信息包括多条曲线。该方法还包括生成曲线信息。生成曲线信息包括以不同的模糊量获取多个图像。第一图像和第二图像具有不同的模糊量。不同的模糊量是通过在获取第一图像和第二图像之间改变焦点位置而实现的。该方法还包括生成深度图。该方法还包括存储深度图。该方法还包括利用深度图执行应用。应用是从包括如下应用的组中选出的:自动聚焦、自动曝光、变焦设置、光圈设置、闪光灯设置、快门速度、白平衡、降噪、伽马校正、运动估计、图像/视频压缩、生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。设备是从包括如下项的组中选出的:个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
在另一实施例中,一种在设备上实现的被配置为确定图像中物体的距离的系统包括:图像获取模块,被配置为获取第一图像和第二图像;曲线生成模块,可操作地被耦合到图像获取模块,曲线生成模块被配置为生成曲线信息;以及距离计算模块,可操作地被耦合到曲线生成模块,距离计算模块被配置为计算图像内的物体的设备到物体距离。距离计算模块通过如下操作来利用曲线信息:确定用来将第一图像和第二图像之一模糊为第一图像和第二图像中的另一者的模糊度的卷积的数目;利用卷积的数目来基于曲线信息确定物体到焦点位置距离;计算设备到焦点位置距离;以及将物体到焦点位置距离和设备到焦点位置距离相加来确定设备到物体距离。曲线信息是通过以不同模糊量获取多个图像的目标数据而被确定的。曲线信息包括多条曲线。第一图像和第二图像具有不同的模糊量。不同的模糊量是通过在获取第一图像和第二图像之间改变焦点位置而实现的。该系统还包括可操作地耦合到距离计算模块的深度图生成模块,深度图生成模块被配置为生成深度图。深度图被存储。深度图被利用来执行应用。应用是从包括如下应用的组中选出的:自动聚焦、自动曝光、变焦设置、光圈设置、闪光灯设置、快门速度、白平衡、降噪、伽马校正、运动估计、 图像/视频压缩、生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。设备是从包括如下项的组中选出的:个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
在另一方面,一种设备包括:用于存储应用的存储器和耦合到存储器的处理组件,处理组件被配置为处理应用,应用被配置为:获取场景的第一图像;获取场景的第二图像;以及利用曲线信息来确定场景中的一个或多个物体的距离。利用曲线信息包括:确定用来将第一图像和第二图像之一模糊为第一图像和第二图像中的另一者的模糊度的卷积的数目;利用卷积的数目来基于曲线信息确定物体到焦点位置距离;计算设备到焦点位置距离;以及将物体到焦点位置距离和设备到焦点位置距离相加来确定设备到物体距离。曲线信息被预先确定。曲线信息包括多条曲线。应用还被配置为生成曲线信息。生成曲线信息包括以不同的模糊量获取多个图像。第一图像和第二图像具有不同的模糊量。不同的模糊量是通过在获取第一图像和第二图像之间改变焦点位置而实现的。应用还被配置为生成深度图。深度图被存储。应用还被配置为利用深度图执行成像应用。成像应用是从包括如下应用的组中选出的:自动聚焦、自动曝光、变焦设置、光圈设置、闪光灯设置、快门速度、白平衡、降噪、伽马校正、运动估计、图像/视频压缩、生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。设备是从包括如下项的组中选出的:个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
在另一方面,一种在设备上生成曲线信息的方法包括:获取场景中的测试物体的第一图像和第二图像,其中针对第二图像改变焦点位置;计算第一图像和第二图像之间的模糊的改变;以及针对多个不同焦点位置重复a和b,以生成曲线信息。该方法还包括:标识场景中的测试物体。测试物体的图像以固定变焦(zoom)和光圈被获取。生成曲线信息是在校准设备 时发生的。曲线信息被存储在设备上。设备是从包括如下项的组中选出的:个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
附图说明
图1图示出了根据一些实施例的曲线的图表。
图2A-2B图示出了根据一些实施例的相机获取图片的示图。
图3A-3B图示出了根据一些实施例的利用卷积来影响图片的聚焦的示图。
图4图示出了根据一些实施例的卷积和距离的示图。
图5图示出了根据一些实施例的曲线。
图6图示出了根据一些实施例的示例性图像以及使图像模糊的一组卷积。
图7图示出了根据一些实施例的用于确定图像中的距离的示图。
图8图示出了根据一些实施例的一系列曲线的示图。
图9图示出了根据一些实施例的利用设备确定物体距离的方法的流程图。
图10图示出了根据一些实施例的被配置为确定物体距离的示例性计算设备的框图。
具体实施方式
早先已描述了基于简单透镜模型利用数学公式来计算场景中的物体距离。该数学公式的输入是诸如焦距、光圈大小和其它信息之类的固有相机参数以及两图片匹配曲线信息。
取代利用先前描述的数学公式,两图片匹配曲线信息能被用来确定场景中的精确物体距离或相对物体距离。
两图片匹配曲线是从由采用电荷耦合器件(CCD)或互补金属氧化物 半导体(COMS)传感器的任意成像设备捕获的数据计算出的物理量。两图片匹配曲线上的特定点是以如下方式生成的。对于固定的相机变焦和光圈,测试目标或物体的图片针对特定相机焦点位置被捕获。接下来,相机焦点位置被改变某个小的量并且第二张图片被捕获。然后计算测试目标或物体的模糊改变。然后针对不同的相机焦点位置重复该处理,从而生成两图片匹配曲线。如果相邻相机焦点位置被重复改变与M倍景深(其中M是非零有理数量)相对应的某个固定量,则当应用高斯卷积核(kernel)时,计算出的两图片匹配曲线理论上是线性的。否则,曲线是单调递增/递减的。由于相机镜头中的瑕疵,即使相对于其先前相机焦点位置针对每个新的相机焦点位置将相机焦点位置改变固定的M倍景深,线性也仅针对固定范围而存在。
所捕获的两图片匹配曲线的示例在图1中被示出。水平轴被定义为图片编号,而垂直轴被定义为迭代数目(=卷积)。图片编号参照(与不同相机焦点位置相关联的)所捕获图片。
在自然场景中,迭代被计算并被与场景中的非重叠区域相关联。编号然后可被用来确定场景中物体的相对顺序(例如,哪些物体离相机更近以及哪些物体更远)或者用来近似场景中物体的实际距离。包含迭代信息的矩阵被定义为迭代图(iteration map)。
确定相对物体距离:
例如,所关注的场景具有如下的基本的3 x 3迭代图。
-5 3  1
2  8  6
4  -7 3
如果该矩阵的左上角被定义为项(entry)(1,1),并且该矩阵的右下角被定义为项(3,3),则位于项(2,2)处的物体对应于迭代图编号8。该物体与相机最接近。类似地,与迭代图编号-7相对应的位于项(3,2)处的物体离相机最远。类似地,与迭代图编号1相对应的位于项(1,3)处的物体与相机的当前焦点位置最接近。
迭代图的维度是n x m。另外,迭代图通常包含非重叠区域,非重叠 区域包含与边界区域相对应的两个不同深度(例如,前景物体和背景物体)。在这些位置,迭代图信息是不准确的。一般地,基本的滤波或聚类方案能够用来改进非边界位置处的迭代图估计。迭代图中的信息然后能够用来确定相对的和精确的物体距离。然而,在假设所关注物体包括数个非重叠区域/迭代图中的多个相邻项的情况下,通过采用简单聚类算法,相对物体距离可被确定。
确定精确物体距离:
如果每个邻近相机位置对应于M倍景深的移动,则迭代数目能够用来计算物体距离。这在图1中被例示出。
在图1中,在当前焦点位置处,针对所关注物体的迭代次数为K。通过图示说明的方式,与当前焦点位置相关联的两图片匹配曲线在图1中示出。利用该曲线,K与离当前相机焦点位置[(N+8)-N]=8个单位远的图片编号相对应。物体的距离然后可被确定为8*M倍景深。
每个连续图片编号位置是从数学公式计算出的。一种可能是从某个参考图片编号1[或Nmax]或者1与Nmax之间的某个其它图片编号起来计算每个连续图片编号位置作为向前[或向后]景深位置。下面示出的代码(其中,sign(depth_of_fields)==1)能够应用来利用当前相机焦点位置计算物体位置。通过代入新计算出的向前景深位置来计算每个新的相机焦点位置。在下面给出的示例中,相机焦距、光圈F值(fnumber)和起始焦点距离(对应于图片编号N=1)分别为63mm、5.2和1cm。该处理被迭代8次以便确定物体距离。
类似地,向后景深位置可被计算出并被使用。在此情况中,distance_focus=H/2[对应于N=Nmax]和sign(depth_of_fields)选项被选为等于-1。
类似地,可基于“教科书”景深定义来在向前方向上计算新的图片编号位置。这里,distance_focus=1,并且Dno1和Dfo1两者利用以上公式来计算。为了计算与下一图片编号位置相对应的下一焦点位置,下面的等式然后被求解。
Dno2=Dfo1;
distance_focus2=(Dno2*H)/(H-Dno2);
该处理被重复以生成所有后续距离焦点位置。
Dfo2=(H*distance_focus2)/(H-distance_focus2);
Dno3=Dfo2;
类似地,基于“教科书”景深定义来在逆方向上计算新的图片编号位置。这里,distance_focus=H/2,并且Dno1和Dfo1两者利用以上公式来计算。为了计算与下一图片编号位置相对应的下一焦点位置,下面的等式然后被求解。
Dfo2=Dno1;
distance_focus2=(Dfo2*H)/(H+Dfo2)
该处理被重复以生成所有后续距离焦点位置。
Dno2=(H*distance_focus2)/(H+distance_focus2);
Dfo3=Dno2
定义和公式的其它变体也可被使用。
利用预定数学公式来计算图片编号位置。通过迭代数学公式,与特定迭代数目相关联的物体深度然后可被确定。
图2A图示出了根据一些实施例的相机捕获图片的示图。对场景取景的相机具有指定设置,例如,变焦(z1)和光圈大小(a1)。该相机还具有焦点位置(f1)。从该信息可以计算出距离(D1)。在图2A中,示出了聚焦在人上而太阳被模糊的图像。从相机到相机聚焦的位置(在人那儿)的距离为D1。
图2B图示出了根据一些实施例的相机捕获图片时的示图。变焦和光圈大小保持相同,但焦点位置(f2)改变。然后,从此信息能够计算出距离(D2)。一般地,距离=函数(zL,aL,fL)。在图2B中,与图2A相比,图像被聚焦为更接近太阳,而人被模糊。从相机到相机聚焦的位置(在人之外)的距离为D2。因此,当将在图2A和图2B中捕获的图像相比较时,一个图像聚焦着人并使太阳模糊,另一图像使人模糊并使太阳不太模糊。这些图像能够用来确定图像中诸如人之类的所有物体的距离。
图3A图示出了根据一些实施例的利用卷积来影响图片的聚焦的示 图。两个图片被拍摄,例如,第一图片最初聚焦在人上并使太阳模糊,第二图片被聚焦为更接近太阳而使人模糊。为了使第一图片中的人与第二图片中的人同样模糊,数学卷积运算可被应用。卷积被迭代并且在每次迭代之后检查第一图片与第二图片的接近度。因此,每次迭代会使人更模糊。最终,模糊将匹配,并且超过其的模糊将导致第一图片比第二图片更模糊。卷积的数目可被记录为例如M次卷积。
图3B图示出了根据一些实施例的利用卷积来影响图片的聚焦的示图。与图3A中使人模糊的卷积类似,能够在N次卷积中使太阳模糊以获得匹配的模糊。
图4图示出了根据一些实施例的卷积和距离的示图。当在聚焦点(例如,测试目标的焦点位置)以外拍摄图片对时,卷积运算符的符号为正,并且当图片对在聚焦点之前时,符号为负。换言之,当图片对在聚焦点以外时,第二图片比第一图片更模糊;因此,卷积运算符将为正。然而,当图片对在聚焦点之前时,第一图片比第二图片更模糊;因此,卷积运算符为负。符号指示方向。这使得能够获取取决于图片对被拍摄的位置的数字序列。如在图1中所述的,曲线能够被生成。然后,利用这些图片对、与图片对相关的卷积以及所生成的曲线,距离能够被确定,如图5所示。
图6图示出了根据一些实施例的示例性图像以及使图像模糊的一组卷积。图7图示出了根据一些实施例的用于确定图像中的距离的示图。将图6中较清晰的车模糊为不太清晰的车的卷积数目为L次卷积。然后,利用曲线,L次卷积得到车的距离d_car。焦点位置是已知的;因此,从焦点位置到车的距离能够被确定。从车到相机的距离为d_car+d_camera。
曲线是针对每个相机生成的。在一些实施例中,当相机被校准时,曲线被生成并被存储在相机中。在一些实施例中,多条曲线被生成以提高性能。取决于诸如相机被聚焦的位置之类的多种因素,曲线的斜率可能略微不同,因此可能使用某一条曲线比另一曲线更适当。在一些实施例中,曲线是基于相机被聚焦的位置而从曲线集中选择的。在一些实施例中,曲线是基于另外的因素被选择的。
获取图片对涉及捕获具有某个小数倍的景深间隔的两个图片。在一些 实施例中,景深间隔是有理数。例如,间隔为1倍景深、2倍景深、1.5倍景深或其它。一条或多条曲线被存储在诸如相机之类的设备中。图8图示出了根据一些实施例的一系列曲线的示图。然后,两个图片的焦点位置被用来确定哪条曲线是适当的,以及基于该曲线来确定距离。如果相机参数被改变,则曲线能够被修改。利用上述曲线和信息,图片中物体的距离和深度图可被确定。深度图可通过如下操作来确定:为场景中的许多物体建立距离,其随后被绘制出来,从而生成深度图。曲线可以以诸如查找表之类的任意数据结构被存储。
图9图示出了根据一些实施例的利用设备确定物体距离的方法的流程图。在步骤900,第一图像被获取。在步骤902,第二图像被获取。第一图像和第二图像具有不同的模糊量。在步骤904,所确定的曲线被利用来确定所获取图像中的一个或多个物体的距离。该距离是通过如下操作来计算的:确定用来将较清晰图像(例如,第一图像)模糊为不太清晰图像(例如,第二图像)的卷积数目,然后利用卷积数目来基于曲线(参见图5)确定从物体到焦点位置的距离(例如,物体到焦点位置距离)。由于焦点位置是已知的,因此从相机到焦点位置的距离(例如,设备到焦点位置距离)能够被计算出。然后,将从相机到焦点位置的距离与从焦点位置到物体的距离相加就是物体离相机的总距离。除了计算物体到相机的距离之外,还可以计算相对物体距离。例如,如果针对两个分离的物体计算焦点位置到物体距离,则这些距离可被用来确定相对物体距离。如上所述,通过获取目标的具有不同模糊量的图像来确定曲线。在一些实施例中,在步骤906,基于所确定的距离生成深度图。在一些实施例中,所确定曲线在第一图像被获取之前被确定并被存储。在步骤908,深度图被存储。在一些实施例中,深度图不被存储并且步骤908可被跳过。在步骤910,深度图被利用来执行如下面描述的那些应用之类的应用。
图10图示出了根据一些实施例的被配置为确定图像中物体的距离的示例性计算设备的框图。计算设备1000可用来获取、存储、计算、传输和/或显示诸如图像和视频之类的信息。例如,计算设备1000可获取并存储图片并且利用来自所获取图片的信息执行计算。一般地,适于实现计算 设备1000的硬件结构包括网络接口1002、存储器1004、处理器1006、(一个或多个)I/O设备1008、总线1010和存储设备1012。处理器的选择不是严格的,只要选择具有足够速度的合适处理器即可。存储器1004可以是本领域已知的任何传统计算机存储器。存储设备1012可包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、闪存卡或任何其它存储设备。计算设备1000可包括一个或多个网络接口1002。网络接口的示例包括连接到以太网或其它类型的LAN的网络卡。(一个或多个)I/O设备1008可包括以下中的一者或多者:键盘、鼠标、监视器、显示器、打印机、调制解调器、触摸屏、按钮接口和其它设备。用来执行距离方法的(一个或多个)距离应用1030有可能被存储在存储设备1012和存储器1004中并且像应用通常被处理的那样被处理。图10所示的更多或更少的组件可被包括在计算设备1000中。在一些实施例中,距离处理硬件1020被包括。虽然图10中的计算设备1000包括应用1030和用于距离应用的硬件1020,但是距离应用还能够以硬件、固件、软件或它们的任意组合在计算设备上实现。
在一些实施例中,(一个或多个)距离应用1030包括数个应用和/或模块。在一些实施例中,(一个或多个)距离应用1030包括:被配置为获取多个图像/图片/视频(例如,第一图像/图片/视频和第二图像/图片/视频)的图像/图片/视频获取模块1032、被配置为生成曲线的曲线生成模块1034、被配置为确定/计算图像/图片/视频内物体的距离的距离计算模块1036以及被配置为生成深度图的深度图生成模块1038。
合适计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、 视频播放器、DVD刻录机/播放器、电视机、家庭娱乐系统或者任何其它合适计算设备。
为了利用所确定的距离和深度图,应用的一些方面可应用于成像处理的不同阶段。在图像/视频被获取之前,利用距离和/或深度图的应用能够设置如下参数,包括但不限于自动聚焦、自动曝光、变焦设置、光圈设 置、闪光灯设置和快门速度。这些应用能够自动地被实现或者由用户手动实现。然后,用户能够如他获取任何图像/视频一样(例如,对准目标并按下按钮)来获取图像/视频。当图像/视频被获取时,另外的应用能够影响图像,包括但不限于白平衡、降噪、伽马校正、运动估计和图像/视频压缩。在图像/视频被存储之后,可进行后处理。例如,图像被存储在相机/摄录像机或者诸如计算机之类的另外的设备上。利用输入机构,用户能够对图像/视频执行后处理操作。在一些实施例中,后护理自动发生而无需用户输入。图像后处理的示例包括但不限于生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。所有这些步骤可受益于距离信息和深度图。
在操作中,在利用曲线信息和两个以上图像确定距离信息和/或深度图时,可以以多种方式来改进图像/视频处理。利用所获取的图像信息来生成曲线。然后,通过获取具有不同模糊度的两个以上图像,将较清晰图像模糊为更模糊图像的卷积的数目可被记录并且然后与曲线一起被用来确定距离(例如物体到焦点位置距离)。从焦点位置到相机的距离可被计算。这两个距离一起是从物体到相机或其它设备的距离。可以通过在图像/视频被获取之前适当地配置相机设置来改进图像获取。对所获取图像的图像处理可被改进。还可以利用距离信息来改进对图像的后处理。改进包括更高效的处理、更好质量的图像/视频、另外的特征以及其它改进。
已根据包含有细节的具体实施例描述了本发明,以辅助理解本发明的操作和构成的原理。这里对具体实施例及其细节的提及不旨在限制所附权利要求的范围。本领域技术人员将容易清楚,在不脱离由权利要求限定的本发明的精神和范围的情况下,可以对被选择用于图示说明的实施例作出其他各种修改。

Claims (36)

1.一种在设备上实现的被配置为确定图像中物体的距离的方法,包括:
a.获取场景的第一图像;
b.获取所述场景的第二图像;以及
c.利用包括多条曲线的曲线信息来确定所述场景中的物体的设备到物体距离,
其中,利用所述曲线信息包括:
a.确定用来将所述第一图像和所述第二图像之一模糊为所述第一图像和所述第二图像中的另一者的模糊度的卷积的数目;
b.利用所述卷积的数目来基于所述曲线信息确定物体到焦点位置距离;
c.计算设备到焦点位置距离;以及
d.将所述物体到焦点位置距离和所述设备到焦点位置距离相加来确定所述设备到物体距离。
2.如权利要求1所述的方法,其中,所述曲线信息被预先计算出。
3.如权利要求1所述的方法,还包括生成所述曲线信息。
4.如权利要求3所述的方法,其中,生成所述曲线信息包括以不同的模糊量获取多个图像。
5.如权利要求1所述的方法,其中,所述第一图像和所述第二图像具有不同的模糊量。
6.如权利要求5所述的方法,其中,所述不同的模糊量是通过在获取所述第一图像和所述第二图像之间改变所述焦点位置而实现的。
7.如权利要求1所述的方法,还包括生成深度图。
8.如权利要求7所述的方法,还包括存储所述深度图。
9.如权利要求8所述的方法,还包括利用所述深度图执行应用。
10.如权利要求9所述的方法,其中,所述应用是从包括如下应用的组中选出的:自动聚焦、自动曝光、变焦设置、光圈设置、闪光灯设置、快门速度、白平衡、降噪、伽马校正、运动估计、图像/视频压缩、生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。
11.如权利要求1所述的方法,其中,所述设备是从包括如下项的组中选出的:个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
12.一种在设备上实现的被配置为确定图像中物体的距离的系统,该系统包括:
a.图像获取模块,被配置为获取第一图像和第二图像;
b.曲线生成模块,可操作地被耦合到所述图像获取模块,所述曲线生成模块被配置为生成包括多条曲线的曲线信息;以及
c.距离计算模块,可操作地被耦合到所述曲线生成模块,所述距离计算模块被配置为计算所述图像内的物体的设备到物体距离,
其中,所述距离计算模块通过如下操作来利用所述曲线信息:
a.确定用来将所述第一图像和所述第二图像之一模糊为所述第一图像和所述第二图像中的另一者的模糊度的卷积的数目;
b.利用所述卷积的数目来基于所述曲线信息确定物体到焦点位置距离;
c.计算设备到焦点位置距离;以及
d.将所述物体到焦点位置距离和所述设备到焦点位置距离相加来确定所述设备到物体距离。
13.如权利要求12所述的系统,其中,所述曲线信息是通过以不同模糊量获取多个图像的目标数据而被确定的。
14.如权利要求12所述的系统,其中,所述第一图像和所述第二图像具有不同的模糊量。
15.如权利要求14所述的系统,其中,所述不同的模糊量是通过在获取所述第一图像和所述第二图像之间改变所述焦点位置而实现的。
16.如权利要求12所述的系统,还包括:可操作地耦合到所述距离计算模块的深度图生成模块,所述深度图生成模块被配置为生成深度图。
17.如权利要求16所述的系统,其中,所述深度图被存储。
18.如权利要求17所述的系统,其中,所述深度图被利用来执行应用。
19.如权利要求18所述的系统,其中,所述应用是从包括如下应用的组中选出的:自动聚焦、自动曝光、变焦设置、光圈设置、闪光灯设置、快门速度、白平衡、降噪、伽马校正、运动估计、图像/视频压缩、生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。
20.如权利要求12所述的系统,其中,所述设备是从包括如下项的组中选出的:个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
21.一种被配置为确定图像中物体的距离的设备,包括:
用于获取场景的第一图像的装置;
用于获取所述场景的第二图像的装置;以及
用于利用包括多条曲线的曲线信息来确定所述场景中的一个或多个物体的距离的装置,
其中,用于利用所述曲线信息的装置包括:
a.用于确定用来将所述第一图像和所述第二图像之一模糊为所述第一图像和所述第二图像中的另一者的模糊度的卷积的数目的装置;
b.用于利用所述卷积的数目来基于所述曲线信息确定物体到焦点位置距离的装置;
c.用于计算设备到焦点位置距离的装置;以及
d.用于将所述物体到焦点位置距离和所述设备到焦点位置距离相加来确定所述设备到物体距离的装置。
22.如权利要求21所述的设备,其中,所述曲线信息被预先确定。
23.如权利要求21所述的设备,还包括:用于生成所述曲线信息的装置。
24.如权利要求23所述的设备,其中,用于生成所述曲线信息的装置包括用于以不同的模糊量获取多个图像的装置。
25.如权利要求21所述的设备,其中,所述第一图像和所述第二图像具有不同的模糊量。
26.如权利要求25所述的设备,其中,所述不同的模糊量是通过在获取所述第一图像和所述第二图像之间改变所述焦点位置而实现的。
27.如权利要求21所述的设备,还包括:用于生成深度图的装置。
28.如权利要求27所述的设备,还包括:用于存储所述深度图的装置。
29.如权利要求28所述的设备,还包括:用于利用所述深度图执行成像应用的装置。
30.如权利要求29所述的设备,其中,所述成像应用是从包括如下应用的组中选出的:自动聚焦、自动曝光、变焦设置、光圈设置、闪光灯设置、快门速度、白平衡、降噪、伽马校正、运动估计、图像/视频压缩、生成模糊、质量改善、生成3-D图像、阴影去除以及物体分割。
31.一种在设备上生成曲线信息的方法,包括:
a.获取场景中的测试物体的第一图像和第二图像,其中针对所述第二图像改变焦点位置;
b.计算所述第一图像和所述第二图像之间的模糊的改变,以得到用来将所述第一图像和所述第二图像之一模糊为所述第一图像和所述第二图像中的另一者的模糊度的卷积的数目;以及
c.针对多个不同焦点位置重复a和b,以生成包括多条曲线的所述曲线信息。
32.如权利要求31所述的方法,还包括标识所述场景中的所述测试物体。
33.如权利要求31所述的方法,其中,所述测试物体的图像以固定变焦和光圈被获取。
34.如权利要求31所述的方法,其中,生成所述曲线信息是在校准所述设备时发生的。
35.如权利要求31所述的方法,其中,所述曲线信息被存储在所述设备上。
36.如权利要求31所述的方法,其中,所述设备是从包括如下项的组中选出的:个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制器、数码相机、数字摄录像机、相机电话、视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
CN201080054810.5A 2009-12-16 2010-12-02 用于估计场景中精确和相对物体距离的方法 Active CN102640189B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/639,841 2009-12-16
US12/639,841 US8229172B2 (en) 2009-12-16 2009-12-16 Algorithms for estimating precise and relative object distances in a scene
PCT/US2010/058711 WO2011084279A2 (en) 2009-12-16 2010-12-02 Algorithms for estimating precise and relative object distances in a scene

Publications (2)

Publication Number Publication Date
CN102640189A CN102640189A (zh) 2012-08-15
CN102640189B true CN102640189B (zh) 2015-05-27

Family

ID=44142954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080054810.5A Active CN102640189B (zh) 2009-12-16 2010-12-02 用于估计场景中精确和相对物体距离的方法

Country Status (6)

Country Link
US (1) US8229172B2 (zh)
EP (1) EP2494524B1 (zh)
JP (1) JP2013512626A (zh)
KR (1) KR101429371B1 (zh)
CN (1) CN102640189B (zh)
WO (1) WO2011084279A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701211A (zh) * 2015-12-28 2018-10-23 罗伯特·博世有限公司 用于实时地检测、跟踪、估计和识别占用的基于深度感测的系统

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US8335390B2 (en) * 2010-03-22 2012-12-18 Sony Corporation Blur function modeling for depth of field rendering
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
US8488900B2 (en) * 2010-06-23 2013-07-16 Digimarc Corporation Identifying and redressing shadows in connection with digital watermarking and fingerprinting
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
JP2013005091A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 撮像装置および距離情報取得方法
US8929607B2 (en) * 2011-12-01 2015-01-06 Sony Corporation System and method for performing depth estimation utilizing defocused pillbox images
KR101393869B1 (ko) * 2012-07-10 2014-05-12 엘지이노텍 주식회사 3d 카메라 모듈 및 그의 구동 방법
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
US9066002B2 (en) * 2012-08-29 2015-06-23 Sony Corporation System and method for utilizing enhanced scene detection in a depth estimation procedure
JP5995614B2 (ja) * 2012-08-31 2016-09-21 キヤノン株式会社 距離情報推定装置
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
CN104853172B (zh) * 2014-02-19 2017-11-07 联想(北京)有限公司 一种信息处理方法以及一种电子设备
US20150271467A1 (en) * 2014-03-20 2015-09-24 Neal Weinstock Capture of three-dimensional images using a single-view camera
US9418432B2 (en) * 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
US20160277724A1 (en) * 2014-04-17 2016-09-22 Sony Corporation Depth assisted scene recognition for a camera
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
CN105721852B (zh) * 2014-11-24 2018-12-14 奥多比公司 用于确定深度细化图像捕获指令的方法、存储设备和系统
WO2016114427A1 (ko) * 2015-01-16 2016-07-21 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도정보를 추정할 때의 연산 복잡도를 감소시키기 위한 방법 및 장치
US9639946B2 (en) * 2015-03-11 2017-05-02 Sony Corporation Image processing system with hybrid depth estimation and method of operation thereof
US9723197B2 (en) * 2015-03-31 2017-08-01 Sony Corporation Depth estimation from image defocus using multiple resolution Gaussian difference
WO2017007047A1 (ko) * 2015-07-08 2017-01-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
DE112017001464B4 (de) 2016-03-22 2021-09-23 Mitsubishi Electric Corporation Abstandsmessvorrichtung und Abstandsmessverfahren
SE541141C2 (en) 2016-04-18 2019-04-16 Moonlightning Ind Ab Focus pulling with a stereo vision camera system
CN109479086B (zh) 2016-07-20 2021-08-10 深圳市大疆创新科技有限公司 相对于物体变焦的方法和设备
US10027879B2 (en) * 2016-11-15 2018-07-17 Google Llc Device, system and method to provide an auto-focus capability based on object distance information
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10277889B2 (en) * 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification
CN106959075B (zh) * 2017-02-10 2019-12-13 深圳奥比中光科技有限公司 利用深度相机进行精确测量的方法和系统
JP7002050B2 (ja) * 2018-07-11 2022-02-10 パナソニックIpマネジメント株式会社 撮像装置
US11115582B2 (en) * 2018-11-28 2021-09-07 Jvckenwood Corporation Imaging control apparatus, imaging apparatus, and recording medium
CN111435436B (zh) * 2019-12-13 2021-01-08 珠海大横琴科技发展有限公司 一种基于目标位置的周界防入侵方法和装置
CN113936199B (zh) * 2021-12-17 2022-05-13 珠海视熙科技有限公司 一种图像的目标检测方法、装置及摄像设备
KR20230155939A (ko) 2022-05-04 2023-11-13 한화비전 주식회사 영상 분석 장치 및 방법
KR20240040005A (ko) 2022-09-20 2024-03-27 한화비전 주식회사 영상 분석 장치 및 방법
WO2024063242A1 (ko) * 2022-09-20 2024-03-28 한화비전 주식회사 영상 분석 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
JP4403477B2 (ja) * 2000-01-26 2010-01-27 ソニー株式会社 画像処理装置及び画像処理方法
US20070016425A1 (en) 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
US7929801B2 (en) 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
JP4752733B2 (ja) * 2005-12-02 2011-08-17 ソニー株式会社 撮像装置および撮像方法、並びに撮像装置の設計方法
US20070189750A1 (en) 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US7711201B2 (en) * 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
JP2008067093A (ja) * 2006-09-07 2008-03-21 Nikon Corp カメラシステム、画像処理装置、および画像処理プログラム
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
TWI393980B (zh) * 2009-06-08 2013-04-21 Nat Univ Chung Cheng The method of calculating the depth of field and its method and the method of calculating the blurred state of the image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rational Filters for Passive Depth from Defocus;Masahiro Watanabe et al;《International Journal of Computer Vision》;19981231;第27卷(第3期);全文 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701211A (zh) * 2015-12-28 2018-10-23 罗伯特·博世有限公司 用于实时地检测、跟踪、估计和识别占用的基于深度感测的系统
CN108701211B (zh) * 2015-12-28 2023-09-12 罗伯特·博世有限公司 用于实时地检测、跟踪、估计和识别占用的基于深度感测的系统

Also Published As

Publication number Publication date
US8229172B2 (en) 2012-07-24
JP2013512626A (ja) 2013-04-11
EP2494524B1 (en) 2021-06-16
EP2494524A2 (en) 2012-09-05
KR20120099713A (ko) 2012-09-11
US20110142287A1 (en) 2011-06-16
KR101429371B1 (ko) 2014-08-11
EP2494524A4 (en) 2017-02-22
CN102640189A (zh) 2012-08-15
WO2011084279A2 (en) 2011-07-14
WO2011084279A3 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
CN102640189B (zh) 用于估计场景中精确和相对物体距离的方法
JP5868183B2 (ja) 撮像装置及び撮像方法
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
US9307134B2 (en) Automatic setting of zoom, aperture and shutter speed based on scene depth map
US7941042B2 (en) Auto-focus method, medium, and apparatus for image-capturing
CN103119927B (zh) 图像处理装置、摄像装置及图像处理方法
JP5453573B2 (ja) 撮像装置、撮像方法およびプログラム
JP6319972B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
WO2009008864A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
CA2796543C (en) System and method for performing depth estimation utilizing defocused pillbox images
CN105791801A (zh) 图像处理装置、图像拾取装置和图像处理方法
US8433187B2 (en) Distance estimation systems and method based on a two-state auto-focus lens
TW201518847A (zh) 拍攝立體影像之方法以及電子裝置以及儲存其之電腦可讀取記錄媒體
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
US9020280B2 (en) System and method for evaluating focus direction under various lighting conditions
CN103841312B (zh) 物体侦测装置及方法
JP4966167B2 (ja) 画像評価装置及びこの画像評価装置を有するカメラ
CN112950692B (zh) 一种基于移动游戏平台的图像景深处理方法及其系统
CN104125385A (zh) 影像编辑方法以及影像处理装置
Keinert et al. Cost-effective multi-camera array for high quality video with very high dynamic range
JP5640779B2 (ja) 画像判定装置、画像判定プログラム、カメラ及び記録媒体
Stupich Low Power Parallel Rolling Shutter Artifact Removal
CN113055584A (zh) 基于模糊程度的对焦方法、镜头控制器及相机模组
JP2018200722A (ja) 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant