CN111149130A - 电子设备及电子设备的对象感测方法 - Google Patents

电子设备及电子设备的对象感测方法 Download PDF

Info

Publication number
CN111149130A
CN111149130A CN201880062944.8A CN201880062944A CN111149130A CN 111149130 A CN111149130 A CN 111149130A CN 201880062944 A CN201880062944 A CN 201880062944A CN 111149130 A CN111149130 A CN 111149130A
Authority
CN
China
Prior art keywords
image
size value
electronic device
processor
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880062944.8A
Other languages
English (en)
Other versions
CN111149130B (zh
Inventor
崔洛源
宋贤雅
金廷燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111149130A publication Critical patent/CN111149130A/zh
Application granted granted Critical
Publication of CN111149130B publication Critical patent/CN111149130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

根据本公开各种实施例，电子设备可以包括图像传感器和处理器。处理器可以被配置为使用由图像传感器生成的图像来检测对象的运动，识别对象的尺寸值，基于对象在图像内的位置来校正对象的尺寸值并基于经校正的尺寸值来执行与对象的运动相对应的操作。

Description

电子设备及电子设备的对象感测方法
技术领域
本公开涉及一种感测对象的运动的电子设备。
背景技术
随着电子技术的发展，正在开发和发布各种类型的电子产品。特别地，如今正在广泛地提供与应用一起操作以支持多种功能的电子设备，诸如智能电视、智能电话、平板电脑等。
电子设备包括用于支持上述各种服务并且为了用户便利的各种传感器。特别地，为了检测对象是否运动或者用户的姿势输入，包括运动传感器的电子设备也被广泛发布。
发明内容
技术问题
在基于图像传感器的运动检测传感器中，取决于镜头的特性，可能在图像中发生畸变，从而降低传感器的感测性能。当校正图像本身以防止性能由于图像的畸变而变差时，可能需要大量的计算并且图像校正可能花费过多的时间。此外，难以确保经校正的图像的精确度。
本公开各种实施例旨在提供一种电子设备和该电子设备的对象感测方法，即使在依赖于镜头的特性而在图像中发生畸变的情况下，该电子设备和对象感测方法也可以无需校正图像而防止性能由于畸变而下降。
技术方案
根据本公开各种实施例，电子设备可以包括图像传感器和处理器。处理器可以被配置为使用由图像传感器生成的图像来检测对象的运动，识别对象的尺寸值、基于对象在图像内的位置来校正对象的尺寸值，以及基于经校正的尺寸值执行与对象的运动对应的操作。
根据本公开各种实施例，电子设备的对象感测方法可以包括：使用图像传感器生成图像；使用图像传感器生成的图像检测对象的运动；识别对象的尺寸值；基于对象在图像中的位置来校正对象的尺寸值并基于经校正的尺寸值执行与对象的运动对应的操作。
根据本公开各种实施例，计算机可读记录介质记录了程序，该程序执行包括以下的方法：使用图像传感器生成图像；使用图像传感器生成的图像检测对象的运动；识别对象的尺寸值；基于对象在图像内的位置校正对象的尺寸值并基于经校正的尺寸值执行与对象的运动对应的操作。
有益技术效果
根据本公开的各种实施例，即使当由图像传感器生成的图像畸变时，也可以稳定地保持传感器的对象检测性能。
附图说明
图1是示出根据本公开各种实施例的电子设备的配置的框图。
图2A至图2C示出了畸变图像的示例。
图3和图4示出了被划分为多个区域的图像的示例。
图5是示出根据本公开各种实施例的依据电子设备的对象的运动的反应距离的示意图。
图6是示出根据本公开各种实施例的电子设备的对象感测方法的流程图。
图7是示出根据本公开各种实施例的电子设备的对象感测方法的流程图。
具体实施方式
在下文中，将参考附图描述本公开的各种实施例。然而，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种修改、等同和/或替换。关于附图的描述，相似的部件可以由相似的参考标记/数字来标记。
图1是示出根据本公开各种实施例的电子设备的配置的框图。
参照图1，电子设备100可以包括镜头110、图像传感器120和处理器。根据实施例，除了上述配置之外，电子设备100还可以包括通信电路、显示器、存储器等。根据实施例，电子设备100可以包括电视、智能电话、台式PC、笔记本PC和平板PC中的至少之一。
根据实施例，镜头110可以使对象反射的光通过。根据实施例，镜头110可以包括广角镜头或鱼眼镜头。当镜头110包括广角镜头或鱼眼镜头时，镜头110可提供比标准镜头宽的视野(例如大于150°或大于180°)，因此镜头110可允许电子设备100检测大的区域。
根据实施例，图像传感器120可以使用通过镜头110接收的光来生成图像。例如，图像传感器120可以通过将包括在通过镜头110接收的光中的对象信息转换成电信号来生成图像。
根据实施例，处理器130可以控制电子设备100的整体操作。例如，处理器130可以电连接到图像传感器120，以使用由图像传感器120生成的图像来检测对象(例如用户)是否运动或为用户的姿势(例如手势)，然后可以执行与检测结果相对应的操作。
根据实施例，处理器130可基于检测到运动的对象的尺寸值来执行与对象的运动对应的操作。例如，当检测到的对象的尺寸值不小于参考值时，处理器130可以执行与对象的运动对应的操作；当检测到的对象的尺寸值小于参考值时，处理器130可以忽略对象的运动。换句话说，当检测到的对象的尺寸值小于参考值时，处理器130可以不执行与对象的运动对应的操作。
根据实施例，电子设备100可以包括至少一个处理器130。例如，电子设备100可以包括能够执行至少一个功能的多个处理器130。根据实施例，处理器130可以用片上系统(SoC)来实现，该片上系统包括中央处理单元(CPU)、图形处理单元(GPU)、存储器等。
根据实施例，由图像传感器120生成的图像中包括的对象可以取决于镜头110的类型而畸变。例如，当镜头110包括广角镜头或鱼眼镜头时，可以提供宽视角。但是，根据对象在图像中的位置，对象可能会畸变。
图2A至图2C示出了畸变图像的示例。
图2A示出具有相同形状和尺寸的九个正方形对象的图像。图2A的图像<201>示出在没有对象畸变的情况下通过镜头捕获的图像的示例；图2A的图像<202>示出通过其发生对象畸变的镜头所捕获的图像的示例。参考图2A的图像<201>，相同地捕获九个正方形对象的形状和尺寸；然而，参考图2A的图像<202>，可看出不同地捕获了九个正方形对象的形状和尺寸。例如，参考图像<202>，可这样捕获对象，即使得对象的尺寸随着其在图像中的位置接近图像的中心而增大并且对象的尺寸随着其在图像中的位置远离图像的中心而减小。
图2B示出通过捕获对象使得对象位于图像的中心而获得的图像。图2B的图像<203>示出了在未发生对象畸变的情况下通过镜头捕获的图像的示例；图2B的图像<204>示出了通过使对象畸变的镜头捕获的图像的示例。当将图2B中的图像<203>与图像<204>进行比较时，在对象位于图像的中心的情况下，图像<204>中包括的对象的尺寸可能畸变，因此可以如此捕获对象使得图像<204>中包括的对象大于图像<203>中包含的对象。
图2C示出通过捕获对象使得对象位于图像的外围而获得的图像。图2C的图像<205>示出了在没有发生对象畸变的情况下通过镜头捕获的图像的示例；图2C的图像<206>示出了通过使对象畸变的镜头捕获的图像的示例。当将图2C中的图像<205>与图像<206>进行比较时，在对象位于图像的外围的情况下，图像<206>中包括的对象的尺寸可能畸变，因此可以如此捕获对象使得图像<206>中包括的对象小于图像<205>中包含的对象。
当图像中包括的对象畸变时，通过图像传感器120的对象检测性能可能受到影响。例如，在不存在图像畸变的情况下，当对象位于图2B所示的图像的中央时，可以以大于或等于参考值的尺寸来捕获待捕获的具有小于参考值的尺寸的对象。对于另一示例，在不存在图像畸变的情况下，当对象位于图3B所示的图像的外围时，可以以小于或等于参考值的尺寸来捕捉待捕获的具有大于或等于参考值的尺寸的对象。
根据本公开的各种实施例，电子设备100可以校正被检测到其运动的对象的尺寸值，以防止由于对象的畸变的对象检测性能的下降。根据实施例，处理器130可以使用由图像传感器120生成的图像来检测对象的运动。处理器130可以通过比较由图像传感器120当前生成的图像和参考图像来识别其位置或形状被改变的对象。根据实施例，处理器130可以将捕获的图像中的至少一个设置为参考图像。例如，处理器130可以将紧接在当前捕获的图像之前被捕获的图像设置为参考图像。对于另一示例，当在指定时间内捕获的多个图像没有变化时，处理器130可以将多个图像之一设置为参考图像。
根据实施例，处理器130可以识别其运动被检测到的对象的尺寸。例如，处理器130可以识别图像中被检测到运动的对象所占据的像素的数量。根据实施例，当在单个图像内检测到多个对象的运动时，处理器130可以识别多个对象中的每个对象的尺寸值。
根据实施例，处理器130可以校正其运动被检测到的对象的尺寸值。例如，处理器130可以基于对象在图像中的位置来校正对象的尺寸值。在下文中，将参照图3和图4描述校正对象的尺寸值的具体实施例。
图3和图4示出了被划分为多个区域的图像的示例。
根据实施例，处理器130可以将图像划分为多个区域。例如，参照图3，处理器130可以将由图像传感器120生成的图像划分为九个区域a11、a12、a13、a21、a22、a23、a31、a32和a33。对于另一示例，参考图4，处理器130可以将由图像传感器120生成的图像划分为25个区域a11、a12、a13、a14、a15、a21、a22、a23、a24、a25、a31、a32、a33、a34、a35、a41、a42、a43、a44、a45、a51、a52、a53、a54和a55。图3和图4仅是图像划分的一些示例，并且处理器130可以将图像划分为各种数量的区域，诸如49个、121个等。
根据实施例，所划分的多个区域中的每个区域可以具有对应的校正系数。随着远离图像的中心，所划分的多个区域中的每个区域可以具有更大的校正系数；当接近图像的中心时，所划分的多个区域中的每个区域可以具有更小的校正系数。例如，图3的区域a11、a13、a31和a33可以具有校正系数1.2；区域a12、a21、a23和a32可以具有校正系数1；区域a22可以具有校正系数0.8。对于另一示例，图4的区域a11、a15、a51和a55可以具有校正系数1.2；区域a12、a14、a21、a25、a41、a45，a52和a54可以具有校正系数1.1；区域a13、a22、a24、a31、a35、a42、a44和a53可以具有校正系数1.0；区域a23、a32、a34和a43可以具有校正系数0.9；区域a33可以具有校正系数0.8。
根据实施例，可基于镜头110的类型和特性来确定所划分的多个区域中的每个区域的校正系数。例如，电子设备100的制造商通过考虑镜头110的类型和特性可预先确定所划分的多个区域中的每个区域的校正系数。例如，当电子设备100包括具有相对较大的图像畸变的镜头时，校正系数的偏差会相对增加；当电子设备100包括具有相对较小的图像畸变的镜头时，校正系数的偏差可相对较小。
根据实施例，处理器130可从所划分的多个区域中识别包括其运动被检测到的对象的区域。例如，参考图3，处理器130可识别所述对象包括在区域a13中。对于另一示例，参照图4，可看出所述对象包括在区域a14、a15、a24和a25中。
根据实施例，处理器130可以使用与包括所述对象的区域相对应的校正系数来校正所述对象的尺寸值。例如，处理器130可以通过将所述对象的尺寸值乘以与包括所述对象的区域相对应的校正系数来校正所述对象的尺寸值。参照图3，当图像中包括的对象的尺寸值是1000并且与包括所述对象的区域a13相对应的校正系数是1.2时，处理器130可以将所述对象的尺寸值校正为1200。
根据实施例，当对象被包括在多个区域中时，处理器130可选择多个区域之一，然后可使用对应于所选择区域的校正系数来校正整个对象的尺寸值。根据实施例，处理器130可使用包括对象的多个区域中的含有对象重心的区域所对应的校正系数来校正整个对象的尺寸值。例如，参照图4，处理器130可将包括对象的区域a14、a15、a24和a25中的区域a15识别为包含该对象的重心的区域。处理器130可通过将作为图像中包括的对象的总尺寸值的1000乘以与区域a15对应的校正系数1.2来将该尺寸值校正为1200。根据另一实施例，处理器130可使用与包括在多个区域的每个区域中的具有最大的对象尺寸值的区域对应的校正系数来校正整个对象的尺寸值。例如，参照图4，处理器130可识别包括在包含对象的区域a14、a15、a24和a25的每个区域中的对象的尺寸值。例如，包含在区域a14中的对象的尺寸值可是100；包含在区域a15中的对象的尺寸值可是650；包含在区域a24中的对象的尺寸值可是100；包含在区域a25中的对象的尺寸值可是150。处理器130可使用包含对象的多个区域中的具有所含对象最大尺寸值的区域a15对应的校正系数来校正整个对象的尺寸值。例如，处理器130可通过将作为图像中包括的对象的总尺寸值的1000乘以与a15对应的1.2的校正系数来将尺寸值校正为1200。
根据实施例，当对象被包括在多个区域中时，处理器130可以识别包括在包含对象的多个区域的每个区域中的对象的尺寸值，并且可以利用多个区域的每个区域相对应的校正系数来校正多个区域的每个区域中包含的对象的尺寸值。例如，参照图4，处理器130可以识别包含该对象的区域a14、a15、a24和a25的每个区域中的对象的尺寸值。例如，包含在区域a14中的对象的尺寸值可以是100；包含在区域a15中的对象的尺寸值可以是650；包含在区域a24中的对象的尺寸值可以是100；包含在区域a25中的对象的尺寸值可以是150。处理器130可以通过将作为包含在区域a14中的对象的尺寸值的100乘以对应于区域a14的校正系数1.1来校正包含在区域a14中的该对象的尺寸值到110；处理器130可以通过将作为包含在区域a15中的对象的尺寸值的650乘以与区域a15相对应的校正系数1.2来校正包含在区域a15中的对象的尺寸值到780；处理器130可以通过将作为包含在区域a24中的对象的尺寸值的100乘以对应于区域a24的校正系数1来校正包含在区域a24中的对象的尺寸值到100；处理器130可以通过将作为包含在区域a25中的对象的尺寸值的150乘以与区域a25相对应的校正系数1.1来校正包含在区域a25中的对象的尺寸值到165。处理器130可以通过将包含在多个区域中的对象的经校正的尺寸值的每一个相加来计算整个对象的校正值。例如，处理器130可以将110(其是区域a14的经校正的尺寸值)、780(其是区域a15的经校正的尺寸值)、100(其是区域a24的经校正的尺寸值)以及165(其是区域a25的经校正的尺寸值)求和以算出1155作为整个对象的校正值。
根据实施例，处理器130可基于经校正的尺寸值来执行与该对象的运动相对应的操作。例如，当该对象的经校正的尺寸值不小于参考值时，处理器130可执行与该对象的运动相对应的操作；当该对象的经校正的尺寸值小于参考值时，处理器130可忽略该对象的运动。例如，当显示器关闭或以低功率模式操作的状态下其运动被检测到的对象的经校正的尺寸值不小于参考值时，处理器130可开启显示器；当经校正的尺寸值小于参考值时，处理器130可忽略被检测到的对象的运动并且可不执行任何操作。根据本公开各种实施例，电子设备100可仅校正对象的尺寸值而不校正畸变的图像的本身。因此，由于将复杂的图像校正算法应用于校正畸变的图像，因此可简单且快速地提高对象检测性能，而不会过多地消耗处理器的操作和时间。
根据本公开各种实施例，处于防止由于对象畸变而导致的对象检测性能的降低的目的，电子设备100可对多个区域中的每个区域设置不同的参考值，而不是校正对象的尺寸值。当远离图像中心时，所划分的多个区域中的每个区域可具有更小的参考值；当接近图像中心时，所划分的多个区域中的每个区域可具有更大的参考值。例如，图3中的区域a11、a13、a31和a33可具有参考值800；区域a12、a21、a23和a32可具有参考值1000；区域a22可具有参考值1200。对于另一例子，图4的区域a11、a15、a51和a55可具有参考值800；区域a12、a14、a21、a25、a41、a45、a52和a54可具有参考值900；区域a13、a22、a24、a31、a35、a42、a44和a53可以具有参考值1000；区域a23、a32、a34和a43可以具有参考值1100；区域a33可以具有参考值1200。
根据实施例，可基于镜头110的类型和特性来确定所划分的多个区域中的每个区域的参考值。例如，所划分的多个区域中的每个区域的参考值可由电子设备100的制造商在考虑镜头110的类型和特性的前提下预定。例如，当电子设备100包括具有相对较大图像畸变的镜头时，参考值的偏差可能相对增大；当电子设备100包括具有相对较小的图像畸变时，参考值的偏差可能相对较小。
根据实施例，处理器130可将检测到的对象的尺寸值与对应于包含该对象的区域的参考值进行比较，然后可基于比较结果执行与高对象的运动对应的操作。例如，当该对象的尺寸值不小于与包含该对象的区域相对应的参考值时，处理器130可执行与该对象的运动对应的操作；当该对象的尺寸值小于对应于包含该对象的区域的参考值时，处理器130可忽略该对象的运动。例如，参照图3，当图像中包含的对象的尺寸值是1000并且当包括该对象的区域a13对应的参考值是800时，处理器130可根据比较结果执行与该对象的运动相对应的操作。
根据实施例，当该对象包括在多个区域中时，处理器130选择多个区域之一，然后可将检测到的对象的尺寸值与对应于所选区域的参考值进行比较。根据实施例，处理器130可比较检测到的对象的尺寸值和与包含该对象的多个区域之中的包括该对象的重心的区域相对应的参考值。例如，参照图4，处理器130可将包括该对象的区域a14、a15、a24和a25中的区域a15识别为包括该对象的重心的区域。处理器130可将作为包含在图像中的对象的尺寸值的1000与对应于区域a15的参考值800进行比较。根据另一实施例，处理器130可将检测到的对象的尺寸值与对应于下述区域的参考值进行比较，该区域具有多个区域的每个区域包括的对象的最大尺寸值。例如，参照图4，处理器130可识别包含在包括该对象的区域a14、a15、a24和a25的每个区域中的对象的尺寸值。例如，包含在区域a14中的对象的尺寸值可是100；包含在区域a15中的对象的尺寸值可是650；包含在区域a24中的对象的尺寸值可是100；包含在区域a25中的对象的尺寸值可是150。处理器130可将检测到的对象的总尺寸值与对应于区域a15的参考值进行比较，其中该区域a15在包括对象的多个区域当中具有所含对象的最大尺寸值。例如，处理器130可将作为图像中包括的对象的总尺寸值的1000与对应于a15的参考值800进行比较。
图5是示出根据本公开各种实施例的基于电子设备的对象的运动的反应距离的示意图。
图5的图像<501>示出在未应用本公开各种实施例的状态下电子设备100的反应距离；图5的图像<503>示出在应用本公开各种实施例的状态下电子设备100的反应距离。当在预设距离内检测到具有预定尺寸的对象的运动时，电子设备100可设置执行与对象的运动对应的操作的参考值。例如，在电子设备100被实现为电视机的情况下，仅当在正常用户的观看距离之内检测到用户的运动时，电子设备100才可设置执行与用户的运动相对应的操作的参考值。然而，电子设备100的反应距离可由于图像中包括的对象的畸变而改变。例如，参考图5的<501>图像，当对象靠近电子设备的侧面时，反应距离会根据图像的畸变而减小；当对象靠近电子设备的前表面时，反应距离会根据图像的畸变而增大。因此，电子设备100可能对位于不应被反应的距离处的对象的运动做出反应，或者可能对位于要被反应的距离处的对象的运动不做出反应。
参照图5的<503>图像，当应用本公开的各种实施例时，电子设备100的反应距离可以恒定地保持而与对象的位置无关。因此，即使当捕获的图像畸变时，电子设备100也可以稳定地保持对象检测性能。
图6是示出根据本公开各种实施例的电子设备的对象感测方法的流程图。
图6中的流程图可以包括由上述电子设备100处理的操作。因此，尽管下面省略了内容，但是参照图1至图5描述的关于电子设备100的内容可以应用于图6所示的操作。
根据实施例，在操作610中，电子设备100可使用图像传感器(例如图1的图像传感器120)来生成图像。例如，电子设备100可使用通过镜头(例如图1的镜头110)接收的光来生成图像。例如，镜头可包括广角镜头或鱼眼镜头。
根据实施例，在操作620中，电子设备100可以使用由图像传感器生成的图像来检测对象的运动。根据实施例，电子设备100可以通过将图像传感器120当前生成的图像与参考图像进行比较来识别其位置或形状被改变的对象。根据实施例，电子设备100可以将捕获的图像中的至少一个设置为参考图像。例如，电子设备100可以将紧接在当前捕获的图像之前捕获的图像设置为参考图像。对于另一示例，当在指定时间期间捕获的多个图像没有变化时，电子设备100可以将多个图像之一设置为参考图像。
根据实施例，在操作630中，电子设备100可以识别检测到其运动的对象的尺寸值。例如，电子设备100可以识别在图像中被检测到运动的对象所占据的像素的数量。根据实施例，当在单个图像内检测到多个对象的运动时，电子设备100可以识别多个对象中的每个对象的尺寸值。
根据实施例，在操作640中，电子设备100可以基于对象在图像内的位置来校正对象的尺寸值。例如，电子设备100可以基于对象在图像内的位置来校正对象的尺寸值。
根据实施例，电子设备100可以将图像划分为多个区域。根据实施例，所划分的多个区域中的每个区域可以具有对应的校正系数。例如，当远离图像的中心时，所划分的多个区域中的每个区域可以具有更大的校正系数；当接近图像中心时，所划分的多个区域中的每个区域可以具有更小的校正系数。
根据实施例，电子设备100可从所划分的多个区域中识别包括被检测到运动的对象的区域。根据实施例，电子设备100可使用与包括对象的区域相对应的校正系数来校正该对象的尺寸值。根据实施例，当对象被包括在多个区域中时，电子设备100可以选择多个区域中的一个，然后可以使用与所选择的区域相对应的校正系数来校正整个对象的尺寸值。根据实施例，电子设备100可以识别在包括对象的多个区域当中的包括该对象的重心的区域，然后可使用与包括该重心的区域相对应的校正系数来校正整个对象的尺寸值。对于另一示例，电子设备100可以识别包含在包括对象的多个区域的每个区域中的对象的尺寸值，然后可使用与下述区域相对应的校正系数来校正整个对象的尺寸值，该区域具有在多个区域的每个区域中包括的对象的最大尺寸值。根据实施例，当对象包括在多个区域中时，电子设备100可识别包含在包括该对象的多个区域的每个区域中的对象的尺寸值，并且可使用对应于多个区域的每个区域的校正系数来校正包含在多个区域的每个区域中的对象的尺寸值。
根据实施例，在操作650中，电子设备100可以基于经校正的尺寸值来执行与对象的运动相对应的操作。例如，当对象的经校正的尺寸值不小于参考值时，电子设备100可以执行与该对象的运动相对应的操作；当对象的经校正的尺寸值小于参考值时，处理器130可以忽略该对象的运动。
图7是示出根据本公开各种实施例的电子设备的对象感测方法的流程图。
图7中的流程图可以包括由上述电子设备100处理的操作。因此，尽管下面省略了内容，但是参照图1至图5描述的关于电子设备100的内容也可以应用于图7所示的操作。
根据实施例，在操作710中，电子设备100可使用图像传感器(例如图1的图像传感器120)来生成图像。例如，电子设备100可使用通过镜头(例如图1的镜头110)接收的光来生成图像。例如，镜头可包括广角镜头或鱼眼镜头。
根据实施例，在操作720中，电子设备100可以使用由图像传感器生成的图像来检测对象的运动。根据实施例，电子设备100可以通过将图像传感器120当前生成的图像与参考图像进行比较来识别其位置或形状被改变的对象。根据实施例，电子设备100可以将捕获的图像中的至少一个设置为参考图像。例如，电子设备100可以将紧接在当前捕获的图像之前捕获的图像设置为参考图像。对于另一示例，当在指定时间期间捕获的多个图像没有变化时，电子设备100可以将多个图像之一设置为参考图像。
根据实施例，在操作730中，电子设备100可以识别检测到其运动的对象的尺寸值。例如，电子设备100可以识别在图像中检测到运动的对象所占据的像素的数量。根据实施例，当在单个图像内检测到多个对象的运动时，电子设备100可以识别多个对象中的每个对象的尺寸值。
根据实施例，在操作740中，电子设备100可以识别与对象在图像内的位置相对应的参考值。根据实施例，电子设备100可以将图像划分为多个区域。根据实施例，所划分的多个区域中的每个区域可以具有对应的参考值。例如，当远离图像的中心时，所划分的多个区域中的每个区域可具有更小的参考值；当接近图像中心时，所划分的多个区域中的每个区域可具有更大的参考值。
根据实施例，电子设备100可识别与所划分的多个区域当中的包括被检测到运动的对象的区域对应的参考值。根据实施例，当对象被包括在多个区域中时，电子设备100可选择多个区域之一，然后可识别与所选择的区域对应的参考值。例如，处理器130可识别与在包括对象的多个区域中的包括对象的重心的区域对应的参考值。对于另一示例，电子设备100可识别与包括该对象的多个区域当中的具有所含对象的尺寸值最大的区域的参考值。
根据实施例，在操作750中，电子设备100可以基于对象的尺寸值和与对象的位置相对应的参考值来执行与对象的运动相对应的操作。例如，当对象的尺寸值不小于参考值时，电子设备100可以执行与对象的运动相对应的操作；当对象的尺寸值小于参考值时，处理器130可以忽略对象的运动。
根据各种实施例，例如，装置(例如模块或其功能)或方法(例如操作)的至少一部分可由以程序模块形式存储在计算机可读存储介质中的指令来实现。该指令在由处理器执行时可使处理器执行与该指令对应的功能。所述计算机可读记录介质可以包括硬盘、软盘、磁性介质(例如磁带)、光学介质(例如光盘只读存储器(CD-ROM)和数字多功能盘(DVD)、磁光介质(例如软盘)、嵌入式存储器等。一个或多个指令可包含由编辑器生成的代码或由编译器可执行的代码。
尽管已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子设备，包括：
图像传感器；和
处理器，其中，所述处理器被配置为：
使用由所述图像传感器产生的图像来检测对象的运动；
识别所述对象的尺寸值；
根据所述对象在所述图像中的位置来校正所述对象的尺寸值；和
根据经校正的尺寸值来执行与所述对象的运动对应的操作。
2.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
当所述经校正的尺寸值不小于参考值时，执行与所述对象的运动对应的操作；和
当所述经校正的尺寸值小于参考值时，忽略所述对象的运动。
3.根据权利要求1所述的电子设备，其中，所述图像传感器被配置为：
使用通过广角镜头或鱼眼镜头接收的光来生成所述图像。
4.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
仅校正所述对象的尺寸值而不校正所述图像。
5.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
将所述图像分为多个区域；
在所划分的多个区域中识别包括所述对象的区域；和
使用与包括所述对象的区域对应的校正系数来校正所述对象的尺寸值。
6.根据权利要求5所述的电子设备，其中，所划分的多个区域中的每个区域随着远离所述图像的中心而具有更大的校正系数，而随着接近所述图像的中心而具有更小的校正系数。
7.根据权利要求5所述的电子设备，其中，所述处理器被配置为：
当所述对象包括在所述多个区域中时，从包括所述对象的多个区域中识别包括所述对象的重心的区域；和
使用与包括所述对象的重心的区域相对应的校正系数来校正所述对象的总尺寸值。
8.根据权利要求5所述的电子设备，其中，所述处理器被配置为：
当所述对象包括在多个区域中时，识别在包括所述对象的多个区域的每个区域中包含的对象的尺寸值；和
使用与在包含所述对象的多个区域当中的所包含对象的尺寸值最大的区域相对应的校正系数来校正所述对象的总尺寸值。
9.根据权利要求5所述的电子设备，其中，所述处理器被配置为：
当所述对象包含在多个区域中时，识别包含所述对象的所述多个区域中的每个区域中包含的对象的尺寸值；和
使用与包含所述对象的所述多个区域中的每个区域对应的校正系数来校正包含在所述多个区域中的每个区域中的对象的尺寸值。
10.一种电子设备的对象感测方法，所述方法包括：
使用图像传感器产生图像；
使用由所述图像传感器产生的所述图像来检测对象的运动；
识别所述对象的尺寸值；
基于所述对象在所述图像中的位置来校正所述对象的尺寸值；和
基于经校正的尺寸值来执行与所述对象的运动对应的操作。
11.根据权利要求10所述的方法，其中，执行与所述对象的运动相对应的操作包括：
当所述经校正的尺寸值不小于参考值时，执行与所述对象的运动对应的操作；
当所述经校正的尺寸值小于参考值时，忽略所述对象的运动。
12.根据权利要求10所述的方法，其中，所述图像的生成包括：
使用通过广角镜头或鱼眼镜头接收的光来生成所述图像。
13.根据权利要求10所述的方法，其中，校正所述对象的尺寸值包括：
仅校正所述对象的尺寸值而不校正所述图像。
14.根据权利要求10所述的方法，其中，校正所述对象的尺寸值包括：
将所述图像分成多个区域；
在所划分的多个区域当中识别包含所述对象的区域；和
使用与包含所述对象的区域对应的校正系数来校正所述对象的尺寸值。
15.根据权利要求14所述的方法，其中，所划分的多个区域中的每个区域随着远离所述图像的中心而具有更大的校正系数，而随着接近所述图像的中心而具有更小的校正系数。
CN201880062944.8A 2017-09-29 2018-09-18 电子设备及电子设备的对象感测方法 Active CN111149130B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170127429A KR102468729B1 (ko) 2017-09-29 2017-09-29 전자 장치 및 전자 장치의 객체 센싱 방법
KR10-2017-0127429 2017-09-29
PCT/KR2018/010946 WO2019066349A1 (ko) 2017-09-29 2018-09-18 전자 장치 및 전자 장치의 객체 센싱 방법

Publications (2)

Publication Number Publication Date
CN111149130A true CN111149130A (zh) 2020-05-12
CN111149130B CN111149130B (zh) 2024-05-07

Family

ID=65901674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880062944.8A Active CN111149130B (zh) 2017-09-29 2018-09-18 电子设备及电子设备的对象感测方法

Country Status (5)

Country Link
US (1) US11501448B2 (zh)
EP (1) EP3654283B1 (zh)
KR (1) KR102468729B1 (zh)
CN (1) CN111149130B (zh)
WO (1) WO2019066349A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102468729B1 (ko) * 2017-09-29 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 객체 센싱 방법

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02214989A (ja) * 1989-02-16 1990-08-27 Toshiba Corp 移動物体抽出装置
KR100829142B1 (ko) * 2007-01-12 2008-05-13 엠텍비젼 주식회사 피사체 움직임 감지 장치 및 방법
CN101662578A (zh) * 2008-08-29 2010-03-03 佳能株式会社 图像处理装置及其控制方法
JP2011086117A (ja) * 2009-10-15 2011-04-28 Sony Corp 情報入力装置、情報入力プログラムおよび電子機器
CN102055902A (zh) * 2009-10-28 2011-05-11 索尼公司 阴影校正方法、阴影校正值测定装置、图像捕获装置
CN102103753A (zh) * 2009-12-22 2011-06-22 三星电子株式会社 使用实时相机运动估计检测和跟踪运动对象的方法和终端
US8139896B1 (en) * 2005-03-28 2012-03-20 Grandeye, Ltd. Tracking moving objects accurately on a wide-angle video
CN102572358A (zh) * 2010-12-16 2012-07-11 三菱电机株式会社 帧插值装置和帧插值方法
US20130208980A1 (en) * 2012-02-13 2013-08-15 Seiko Epson Corporation Image processing device, image processing method, and storage medium storing image processing program
US20140193034A1 (en) * 2011-06-27 2014-07-10 Nec Corporation Object detection device, object detection method and object detection program
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法
US20150139534A1 (en) * 2013-11-15 2015-05-21 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus and distance correction method
US20170097414A1 (en) * 2015-10-06 2017-04-06 Hyundai Motor Company Apparatus and method for detecting object on road

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
CA2788734A1 (en) * 2010-02-01 2011-08-04 Youngkook Electronics, Co., Ltd. Tracking and monitoring camera device and remote monitoring system using same
KR101233948B1 (ko) * 2010-09-01 2013-02-15 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템
US8982180B2 (en) 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
KR101493946B1 (ko) 2014-04-16 2015-02-17 하이네트(주) 광각 렌즈 이미지 보정 방법 및 그 장치
KR20160040330A (ko) 2014-07-30 2016-04-14 동의대학교 산학협력단 어안 렌즈로부터 획득한 왜곡 영상을 동심원 형태의 표준 패턴을 이용하여 보정하는 방법
US20160116740A1 (en) * 2014-10-24 2016-04-28 Seiko Epson Corporation Display device, control method for display device, display system, and computer program
KR102290301B1 (ko) 2015-05-06 2021-08-17 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101694651B1 (ko) * 2016-02-15 2017-01-09 이화여자대학교 산학협력단 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
US20190241070A1 (en) * 2016-10-28 2019-08-08 Mitsubishi Electric Corporation Display control device and display control method
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
US11004000B1 (en) * 2017-01-30 2021-05-11 Waymo Llc Predicting trajectory intersection by another road user
KR102468729B1 (ko) * 2017-09-29 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 객체 센싱 방법
KR102538309B1 (ko) * 2018-06-20 2023-05-31 한국전자통신연구원 양방향 디스플레이 장치 및 방법
US11073972B2 (en) * 2018-11-02 2021-07-27 Motorola Solutions, Inc. Visual summarization methods for time-stamped images
US11113822B2 (en) * 2019-08-14 2021-09-07 International Business Machines Corporation Moving object identification from a video stream

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02214989A (ja) * 1989-02-16 1990-08-27 Toshiba Corp 移動物体抽出装置
US8139896B1 (en) * 2005-03-28 2012-03-20 Grandeye, Ltd. Tracking moving objects accurately on a wide-angle video
KR100829142B1 (ko) * 2007-01-12 2008-05-13 엠텍비젼 주식회사 피사체 움직임 감지 장치 및 방법
CN101662578A (zh) * 2008-08-29 2010-03-03 佳能株式会社 图像处理装置及其控制方法
JP2011086117A (ja) * 2009-10-15 2011-04-28 Sony Corp 情報入力装置、情報入力プログラムおよび電子機器
CN102055902A (zh) * 2009-10-28 2011-05-11 索尼公司 阴影校正方法、阴影校正值测定装置、图像捕获装置
CN102103753A (zh) * 2009-12-22 2011-06-22 三星电子株式会社 使用实时相机运动估计检测和跟踪运动对象的方法和终端
CN102572358A (zh) * 2010-12-16 2012-07-11 三菱电机株式会社 帧插值装置和帧插值方法
US20140193034A1 (en) * 2011-06-27 2014-07-10 Nec Corporation Object detection device, object detection method and object detection program
US20130208980A1 (en) * 2012-02-13 2013-08-15 Seiko Epson Corporation Image processing device, image processing method, and storage medium storing image processing program
US20150139534A1 (en) * 2013-11-15 2015-05-21 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus and distance correction method
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法
US20170097414A1 (en) * 2015-10-06 2017-04-06 Hyundai Motor Company Apparatus and method for detecting object on road

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEUK HYUN PARK等: "Real time rectification using differentially encoded lookup table" *
匿名: "Distortion (optics)", 《HTTPS://EN.WIKIPEDIA.ORG/W/INDEX.PHP?TITLE=DISTORTION_(OPTICS)&OLDID=800081708》, pages 1 - 5 *
翟亚宇;潘晋孝;刘宾;陈平;: "基于运动目标尺寸检测的实时图像处理与显示", no. 11 *

Also Published As

Publication number Publication date
EP3654283B1 (en) 2022-05-11
EP3654283A1 (en) 2020-05-20
EP3654283A4 (en) 2020-07-01
WO2019066349A1 (ko) 2019-04-04
KR102468729B1 (ko) 2022-11-21
US20210158535A1 (en) 2021-05-27
US11501448B2 (en) 2022-11-15
KR20190037764A (ko) 2019-04-08
CN111149130B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
US9860553B2 (en) Local change detection in video
US20140240363A1 (en) Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
US20170083741A1 (en) Method and device for generating instruction
US20120188183A1 (en) Terminal having touch screen and method for identifying touch event therein
US8788978B2 (en) Pinch zoom velocity detent
CN111381224B (zh) 激光数据校准方法、装置及移动终端
US20160188950A1 (en) Optical fingerprint recognition device
WO2022205843A1 (zh) 唇动检测方法、装置、终端设备及计算机可读存储介质
CN111080544B (zh) 基于图像的人脸畸变校正方法、装置及电子设备
CN113723136A (zh) 条码矫正方法、装置、设备及存储介质
US20160225349A1 (en) Method of compensating an image of a display device, and display device
CN111149130B (zh) 电子设备及电子设备的对象感测方法
CN110049230B (zh) 校正图像的图像处理装置和方法
US20150178552A1 (en) Object Detection Techniques
CN109444905B (zh) 一种基于激光的动态物体检测方法、装置及终端设备
US9229579B2 (en) Optical touch system
CN112351271A (zh) 一种摄像头的遮挡检测方法、装置、存储介质和电子设备
KR102467036B1 (ko) 2차원 식별코드 검출을 위한 동적 영상 임계치 설정 방법 및 그 시스템
US20140231523A1 (en) Electronic device capable of recognizing object
US20130162601A1 (en) Optical touch system
KR101549213B1 (ko) 터치 스크린 상에서 터치 포인트를 검출하기 위한 장치 및 그 방법
US20230161989A1 (en) Method and system for setting dynamic image threshold for two-dimensional identification code detection
US9652878B2 (en) Electronic device and method for adjusting page
US10614290B1 (en) Object position determination circuit
US20240147048A1 (en) Updating zoom properties of corresponding salient objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant