CN109313883B - 基于面部取向检测的图像取向 - Google Patents

基于面部取向检测的图像取向 Download PDF

Info

Publication number
CN109313883B
CN109313883B CN201780036542.6A CN201780036542A CN109313883B CN 109313883 B CN109313883 B CN 109313883B CN 201780036542 A CN201780036542 A CN 201780036542A CN 109313883 B CN109313883 B CN 109313883B
Authority
CN
China
Prior art keywords
orientation
image
user
face
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780036542.6A
Other languages
English (en)
Other versions
CN109313883A (zh
Inventor
埃德温·钟宇·朴
拉古拉曼·克里希纳穆尔蒂
文卡特·兰加
纳尔逊·拉斯奎因哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN202110616872.0A priority Critical patent/CN113506551A/zh
Publication of CN109313883A publication Critical patent/CN109313883A/zh
Application granted granted Critical
Publication of CN109313883B publication Critical patent/CN109313883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/606—Rotation of whole images or parts thereof by memory addressing or mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

呈现用于图像处理和利用的方法、系统、计算机可读媒体和设备。在一些实施例中，可以使用移动装置获得含在用户的面部处的图像。可以使用所述移动装置确定所述用户的所述面部在所述图像内的取向。所述用户的所述面部的所述取向可以使用多个阶段确定：(a)旋转阶段，用于控制应用于所述图像的一部分的旋转，以产生经旋转图像部分，以及(b)取向阶段，用于控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向。可以利用所述用户的所述面部的所述所确定的取向作为控制输入，来修改所述移动装置的显示画面旋转。

Description

基于面部取向检测的图像取向
背景技术
本公开的方面涉及检测和利用与由移动装置所捕获的图像相关联的对象取向。根据本公开的实施例，可以不同方式利用所检测到的取向。一个实例是由移动装置自动控制呈现给用户的显示画面的旋转。评定合适显示画面旋转可以是具有挑战性的任务。就精度和计算效率来说，目前的技术在许多方面都缺乏。举例来说，实施在移动装置中的简单自动显示画面旋转特征通常利用如使用加速度计所测量的重力方向来控制呈现给用户的显示画面的旋转(例如，“纵向”对“横向”旋转)。然而，有时无法通过简单地使用重力方向来准确地确定适当显示画面旋转。举例来说，如果移动装置在桌子上平坦放置，显示器向上朝向天空，那么重力向量朝着与显示器平面垂直的方向指向，并且因此不能提供用于呈现给用户的显示画面适当旋转的有用指示。通常，使用装置平放之前显示器的上一个取向，其可能不是可用于用户适当查看的合适旋转。作为另一实例，如果用户在侧躺(例如，在床上)时将移动装置握持在他的面前，那么重力向量控制的自动显示画面旋转技术将通常导致从用户视角来看的不正确显示画面旋转。此处，显示画面可能在甚至较小移动下不当地自动旋转。这是因为仅使用重力向量的系统将仅感测到移动装置已从直立位置移动到俯卧位置，且得出作为响应必须旋转显示画面(例如，从“纵向”到“横向”旋转)的结论。然而，系统将不能感测到用户也从直立移动到俯卧位置，并且因此事实上应不需要对显示画面的旋转。现存系统的这些和其它缺点突出了对于用于图像相关的取向检测和利用的改进技术的需要。
发明内容
描述某些实施例以用于改进基于图像处理的显示画面旋转。方法可包括使用移动装置，获得包含所述移动装置的使用者的面部的图像。方法可以进一步包括使用移动装置确定所述用户的所述面部在所述图像内取向。可以使用多个阶段确定所述用户的所述面部在所述图像内的所述取向，其可包括：(a)旋转阶段，用于控制应用于所述图像的一部分的旋转，以产生经旋转图像部分；以及(b)取向阶段，用于控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向。方法可以进一步包括作为控制输入，利用所述用户的所述面部的所述所确定的取向，以修改所述移动装置的显示画面旋转。
在一个实施例中，所述经旋转图像部分存储在旋转缓冲器中。在一个实施例中，所述取向特定特征检测是使用计算机视觉(computer vision；CV)计算单元执行。在一个实施例中，所述用户的所述面部在所述图像内的所述取向是基于多种模式确定。所述多个模式可包括：(a)检测模式，其用于检测所述用户的所述面部在初始图像内的初始取向；以及(b)跟踪模式，其用于使用所述所检测的初始取向，跟踪所述用户的所述面部在后续图像内的所述取向。
根据一个实施例，在所述检测模式中，通过在第一多个假设角度执行特征检测，检测所述使用者的所述面部在所述图像内的所述初始取向。在同一实施例中，在跟踪模式中，通过在第二多个假设角度处执行特征检测，跟踪所述用户的所述面部在所述后续图像内的所述取向，所述第二多个少于所述第一多个。
根据另一实施例，在跟踪模式中，在检测到与非图像传感器相关联的触发条件时，跟踪所述用户的所述面部在所述后续图像内的所述取向。举例来说，非图像传感器可包括加速度计。
附图说明
本公开的方面是作为实例而说明。在图示中，相似附图标记指示类似元件。在下文简要地描述图示：
图1A描绘移动装置平坦放置在桌子上且被用户查看的情形；
图1B是图1A中描绘的情形的不同视图，展示移动装置显示器的取向和用户的位置；
图2A描绘后续情形，其中移动装置在桌子上保持在同一位置，但用户已移动以从不同用户位置，即，从桌子的不同侧，查看移动装置；
图2B是图2A中描绘的情形的不同视图，展示回应于改变的用户位置，移动装置的显示器的取向；
图3A描绘潜在的令人沮丧情形，其中用户在侧躺(例如，在床上)时，查看他的手中握持的移动装置上的不当地自动旋转的显示画面；
图3B描绘改进情形，其中用户在侧躺(例如，在床上)时，查看他的手中握持的移动装置上的正确地自动旋转的显示画面；
图3C描绘与图3B类似的情形，其中用户在另一侧躺下；
图4是根据本公开的各种实施例展示用于检测和利用图像中的一或多个对象的取向的系统的高阶框图；
图5是根据本公开的某些实施例的更详细框图，其展示对象取向检测器(例如图4中展示的那一个)内的示范性组件；
图6根据本公开的某些实施例，说明由加速的计算机视觉(CV)计算单元(例如图5中展示的那一个)执行的取向特定特征检测的实例；
图7为根据各种实施例展示借助(1)图像旋转和(2)CV单元输入取向的各种组合实现的各种假设特征角度的表格；
图8根据各种实施例展示取向检测控制器的不同状态，各状态表示(1)图像旋转和(2)CV单元输入取向的不同组合；
图9根据本公开的实施例说明取向跟踪技术的触发操作中建立的迟滞函数；
图10为根据本公开的至少一个实施例展示用于执行图像处理和利用的过程中的说明性步骤的流程图；以及
图11说明可用于实施本公开的特征的实例计算机系统1100。
具体实施方式
现在将关于形成说明性实施例的一部分的附图来描述若干说明性实施例。虽然下文描述可在其中实施本公开的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本公开的范围或所附权利要求书的精神的情况下进行各种修改。
说明性使用情况
图1A描绘移动装置平坦放置在桌子上且被用户查看的情形。此处，用户正在查看移动装置的显示器。显示器以“横向”显示画面旋转呈现户外场景。
图1B是图1A中描绘的情形的不同视图，展示移动装置显示器的取向和用户的位置。如图示中所展示，用户能够在查看以“横向”显示画面旋转呈现的户外场景。
图2A描绘后续情形，其中移动装置在桌子上保持在同一位置，但用户已移动以从不同用户位置，即，从桌子的不同侧，查看移动装置。根据本公开的实施例，响应于新用户位置，移动装置自动调节显示画面的旋转，来以“纵向状”显示画面旋转展示户外场景。显示画面旋转不仅改变为“纵向状”，还匹配用户的新位置。即，用户看见的不是户外场景的上下颠倒的“纵向”视图，而是正面朝上“纵向”视图。根据本公开的实施例，移动装置使用前置摄像头(即，朝向用户的摄像头)捕获用户的图像。移动装置执行图像处理以确定用户的面部在所捕获图像内的取向。用户的面部所确定的取向随后被用于自动调整显示画面的旋转，以使得适当显示画面旋转被呈现给用户。以此方式，显示画面的旋转可以“遵循”用户的面部的取向。因此，响应于用户移动到新用户位置(即，桌子的不同侧)，如图2A中所描绘，显示画面自动旋转，以匹配用户的新查看位置。
图2B是图2A中描绘的情形的不同视图，展示回应于改变的用户位置，移动装置的显示器的取向。如图示中所展示，显示画面自动旋转与呈现户外场景的正面朝上“纵向”视图。
图3A描绘潜在的令人沮丧情形，其中用户在侧躺(例如，在床上)时，查看他的手中握持的移动装置上的不当地自动旋转的显示画面。此处，移动装置利用用于自动显示画面旋转的常规技术，即，基于由加速度计感测的重力方向。在图3A中描绘的情形中，自动显示画面旋转依赖于重力方向导致从用户的视角来看的显示画面不正确旋转。在此情况下，仅使用重力向量的移动装置仅感测到移动装置已从直立位置移动到俯卧位置，且得出作为响应，应旋转显示画面(例如，从“纵向”到“横向”旋转)的结论。然而，移动装置并不能感测到用户也从直立移动到俯卧位置，并且因此事实上应不需要对显示画面的旋转。因此，用户被迫以90度的偏移角读取文字。
图3B描绘改进情形，其中用户在侧躺(例如，在床上)时，查看他手中握持的移动装置上的正确地自动旋转的显示画面。根据本公开的各种实施例，移动装置使用从前置摄像头捕获的用户图像，且确定用户的面部的取向。基于用户的面部在所捕获图像内的所确定取向，移动装置自动调节显示画面的旋转。举例来说，这导致显示画面以正确旋转呈现文字，以供用户查看。用户能够在没有任何明显的偏移角的情况下读取文字。
图3C描绘与图3B类似的情形，其中用户在另一侧躺下。此处再一次，显示画面的旋转可以“遵循”用户的面部的取向。因此，即使用户现已改变他的位置为侧躺在另一侧，显示器上呈现的文字仍然处于正确旋转以用于由用户查看。在又一个情形(未展示)中，用户可能仰卧，同时将移动装置握持在他面部的正上方，装置显示器沿向下方向指向用户的面部。此处，如果使用基于重力方向的常规系统自动控制显示画面的旋转，那么显示画面可能甚至因用户的用手握持的移动装置的最轻微运动而不当和无意地旋转。根据本公开的各种实施例，可使用所检测到的用户的面部取向，代替重力方向，确定显示画面的合适旋转，并且由此避免这种不正确和无意的显示画面旋转。
总体系统
图4是根据本公开的各种实施例展示用于检测和利用一或多个对象在图像中的取向的系统400的高阶框图。如所展示，系统400包括图像传感器402、对象取向检测器404和对象取向接收器406。根据某些实施例，系统400存在于移动装置上，例如手持型智能手机装置。图像传感器402捕获场景的图像。在一些实施例中，图像传感器402的单独传感器元件，例如像素，可以在矩形栅格中对准，但在其它实施例中不在矩形栅格中对准。图像可用于对象取向检测器404。对象取向检测器404可具有各种组件以用于有效确定一或多个对象在图像内的取向。这种对象的一个实例是移动装置用户的面部。因此，对象取向检测器404确定用户的面部在图像内旋转取向(例如，以角度为单位)。此处，对象取向检测器404可以经训练以检测不同取向范围中的对象。在一些实施例中，取向范围覆盖整个360度旋转。在其它实施例中，对象仅在较窄范围取向中检测，例如，正负30度。图像中的一或多个对象的取向随后被提供到对象取向接收器406。对象取向接收器406代表可使用一或多个对象在图像内的所确定取向来控制移动装置的一或多个操作的过多可能组件。
举例来说，对象取向接收器406可使用对象取向检测器404确定的用户的面部在图像内取向，来提供移动装置的自动显示画面旋转。此处，显示画面的旋转可以“遵循”用户的脸部的取向。举例来说，如果，那么用户在查看移动装置显示器时倾斜他的头部，而保持移动装置固定，那么移动装置的显示画面可以旋转且遵循用户的面部的倾斜。类似地，如果移动装置平坦放置在桌面上(例如，如图1A和2A中所展示)，或如果移动装置由侧躺的用户握持(例如，如图3B和3C中所展示)，那么可以利用所确定的用户的面部取向以执行移动装置的自动显示画面旋转。
在某些实施例中，自动显示画面旋转可以限于仅少数可能的显示画面旋转结果，例如0度、90度、180度和270度旋转。举例来说，可以采纳这种受限显示画面旋转结果以用于具有矩形形状显示的显示器。在其它实施例中，自动显示画面旋转可以导致更高数目的可能显示画面旋转结果。举例来说，由更精细增量，例如，2度，分隔开的不同显示画面旋转是可能的。举例来说，对于具有圆形或其它非矩形形状的显示器，可以采纳这种更宽范围的显示画面旋转结果。此外，可以其它方式使用显示画面旋转。举例来说，显示器可以依据旋转向用户提供不同信息。作为另一实例，例如显示器滤波器，例如偏振滤波器的装置，可以依据显示画面旋转而改变。在一个情形中，显示器滤波器的偏振方向可以改变，以匹配用户佩戴的眼镜的偏振方向。
在不同实例中，可以确定图像内的快速响应(Quick Response；QR)码的取向，且利用其实施更高效的自动QR码阅读器。目前的QR码读取器通常必须被手动接通来扫描QR码。备选方案是将QR码阅读器置于始终接通模式，其不必要地消耗计算资源且可能快速消耗移动装置的电池充电。关于图像中捕获的QR码取向的信息的缺乏加剧了QR阅读器的计算需求。换句话说，如果图像中的QR码的取向已知，那么QR码阅读器可以指定“标头起点”且能够更快速和有效地读取QR码。根据本公开的各种实施例，对象取向检测器404可以确定QR码在由图像传感器402所捕获的图像内的取向。所确定的QR码取向可随后被提供到对象取向接收器406。在此情况下，对象取向接收器406可以控制移动装置内实施的QR码阅读器(未展示)。对象取向接收器406可以自动接通QR码阅读器，且通过提供QR码的所确定的取向，给予QR码阅读器“标头起点”。这允许QR码阅读器自动且以更高效方式读取QR码。
二阶段对象取向确定
图5是根据本公开的某些实施例的更详细框图，其展示对象取向检测器404(例如图4中展示的那一个)内的示范性组件。如所展示，对象取向检测器404包括图像缓冲器502、旋转缓冲器504、加速的计算机视觉(CV)计算单元506，和取向检测控制器508。此处，由图像传感器所捕获的图像的一部分被提供到图像缓冲器502且在其中存储。图像部分可包括由图像传感器(例如，图4的图像传感器402)所捕获的整个图像或这种图像的一部分。可随后根据规定旋转量(例如，度)旋转图像部分，且将其存储在旋转缓冲器504中。此处不展示用于执行图像旋转的机制，但其操作可以由本领域的技术人员理解。可以使用由取向检测控制器508提供的控制位，指定图像旋转量。获得经旋转图像部分之后，可将其提供到加速的CV计算单元506。
在一个实施例中，还可以直接从图像缓冲器502将未旋转图像部分提供到加速的CV计算单元506。在此类实施例中，在不需要图像旋转的操作期间，可以绕过旋转缓冲器504。在另一个实施例中，可以从旋转缓冲器504(被控制以提供零旋转)将未旋转图像部分提供到加速的CV计算单元506。在任何情况下，经旋转和/或未经旋转图像部分被提供到加速的CV计算单元506。
根据各种实施例，加速的CV计算单元506执行取向特定特征检测。换句话说，如下文论述的那样，相对于图6更详细地解释，加速的CV计算单元506能够检测不同指定取向的目标特征。取向检测控制器508可以提供控制位，以指明加速的CV计算单元506将执行特征检测的取向。检测到目标特征时，加速的CV计算单元计算对象检测标签，其被提供到取向检测控制器508。
因此，根据本公开的各种实施例，取向检测控制器508以“多阶段”方法，例如“二阶段”方法，控制旋转缓冲器504和加速的CV计算单元506的操作。在一个阶段中，控制旋转缓冲器504中存储的图像部分的旋转。在另一个阶段中，控制到加速的CV计算单元506的取向输入。在本实施例中，同时提供用于两个阶段的控制位。因此，术语“二阶段”广泛地指提供的两个类型的控制，且不意图必要地暗示以两个不同时间操作。
图6根据本公开的某些实施例，说明由加速的计算机视觉(CV)计算单元506(例如图5中展示的那一个)执行的取向特定特征检测的实例。此处，加速的CV计算单元506能够根据四个可能的取向中的任一个执行特征检测，例如0度、90度、180度和270度。取向可以作为输入指定到加速的计算机视觉(CV)计算单元506，例如借助由如先前所论述的取向检测控制器508提供的控制位。
以此方式利用例如加速的CV计算单元506的组件来执行取向特定特征检测具有显著优势。为了例如以90度旋转执行特征检测，不必在特征检测之前首先将图像部分旋转90度。图像旋转，例如由图像旋转缓冲器504提供的旋转，可以是计算密集型的，且涉及大量读取和写入循环。替代地未旋转图像部分可以被馈入到加速的CV计算单元506，且加速的CV计算单元506可以直接对于未旋转图像部分运行，以检测90度旋转偏移处的目标特征。如图6所展示，加速的CV计算单元506能够通过内部执行高效协调映射来这样做，以将像素恰当地映射到选自受限的可用取向数目的不同取向，例如0度、90度、180度和270度。加速的CV计算单元506由此直接对从图像缓冲器502或旋转缓冲器504接收的图像的一部分执行取向特定特征检测。
图7为根据各种实施例展示借助(1)图像旋转和(2)CV单元输入取向的各种组合实现的各种假设特征角度的表格。在此实例中，取向检测控制器508可以通过控制(1)图像旋转，和(2)CV单元输入取向，实现一系列假设特征角度，即，以15度增量的从0到360度。在本实例中展示的可能图像旋转为：0度、15度、30度、45度、60度和75度。在此实例中可能的CV单元输入取向为：0度、90度、180度和270度。此处，“CV单元输入取向”指检测器取向，即，检测器操作以检测目标特征的取向。在此实例中“CV单元输入取向”并不指代作为输入提供到CV单元的图像部分的取向变化。图像旋转与CV单元输入取向的组合允许取向检测控制器508以15度增量贯穿0到360度的全部角度循环。在每个这种角度处，可以使用加速的CV计算单元506进行特征检测，来查看是否检测到目标特征。在例如借助图5中展示的对象检测标签，接收到检测到目标特征的指示之后，取向检测控制器508可以声明目前特征角度，例如135度，是图像中的对象的所检测到的取向。
图8根据各种实施例展示取向检测控制器508的不同状态，各状态表示(1)图像旋转和(2)CV单元输入取向的不同组合。举例来说，取向检测控制器508可以系统地贯穿图8中描绘的状态循环，直到检测到对象在图像内的取向为止。如所展示，过程可以开始于对应于处于0度的图像旋转的状态。当将图像旋转保持为0度时，CV单元输入取向可以贯穿不同值循环，例如0度、90度、180度和270度。随后，过程可以移动到对应于处于15度的图像旋转的状态。当将图像旋转保持为15度时，CV单元输入取向可以贯穿不同值循环，例如0度、90度、180度和270度。类似的贯穿可用CV单元输入取向的循环模式可以贯穿不同的图像旋转应用，例如30度、45度、60度和最终70度，直到辨别目标特征为止，在此处确定对象(例如，人类面部)的取向。
应注意可以改变访问各种状态的特定顺序。图8仅展示了一个实例，其中过程将图像旋转保持在每个角度，同时贯穿不同CV单元输入取向循环(例如，0度、90度、180度和270度)。替代地，过程可以将CV单元输入取向保持在每个值，同时贯穿不同图像旋转循环(例如，0度、15度、30度、45度、60度和75度)。
检测模式对跟踪模式
根据各种实施例，至少一个对象在图像内的取向是基于多种模式确定，多种模式包括(a)检测模式，用于检测至少一个对象在初始图像内的初始取向，以及(b)跟踪模式，用于使用所检测到的初始取向，跟踪至少一个对象在后续图像内的取向。此处，检测和跟踪可以涉及相关但在某种程度上不同的操作。具体地说，如上文部分所论述，图像中的对象的取向检测通常是在对于对象可能的取向没有任何先前了解的情况下实现。即，对象取向可能与任何其它角度同等可能地处在一个角度。因此，可以通过系统地观察全部可能的角度(或角度增量)循环来进行对象在图像内的取向的检测，直到检测到目标特征(例如，人类面部)为止。
相比之下，跟踪对象在图像内的取向通常是伴随对于对象的可能取向的一些了解而执行。具体地说，由于跟踪通常跟随检测，因此在执行取向跟踪时可以使用和考虑“上一个已知取向”。仅作为实例，考虑图像传感器402捕获的包括图像0、图像1、图像2、图像3等的图像序列。通过处理图像0，可以进行对象取向检测。举例来说，可以通过使用图像0和以例如上文部分中论述的方式利用操作图像缓冲器502、旋转缓冲器504、加速的CV计算单元506和取向检测控制器508，确定用户面部取向。
一旦检测到图像0中的用户面部取向，那么可以简单地跟踪图像1中的面部取向，而不执行与取向检测相关联的全组操作。举例来说，跟踪技术可以利用使用图像0确定用户的面部的“上一个已知取向”的先前了解。可以采用各种技术以用于跟踪。一个示范性的跟踪技术涉及在“上一个已知取向”处开始，且使用其作为种子角度，随后在渐进地从所述种子角度沿正向和负向相对偏移延伸的假设角度执行特征检测。举例来说，如果基于对图像0执行的取向检测，用户的面部取向被确定为处于90度角度，那么可采用跟踪来首先尝试在从90度的+15度偏移(即，105度)处检测、后跟着尝试在从90度的-15度偏移(即，75度)处检测、后跟着尝试在从90度的+30度偏移(即，120度)处检测，后跟着尝试在从90度的-30度偏移(即，60度)处检测人类面部，等等，直到在图像1中检测到人类面部为止。这种种子角度的使用提供捷径，以避免系统地贯穿全部可能的特征角度循环，例如与完全取向检测相关联。因此，当相比于在没有对对象在图像内的可能取向的任何了解的情况下执行取向检测时，利用对“上一个已知取向”的现存了解的跟踪可显著地更高效。
图9根据本公开的实施例说明取向跟踪技术的触发操作中建立的迟滞函数。在一个实施例中，可以相对于当前角度的任何偏差触发跟踪。举例来说，在特定图像中，如果未在来自先前图像的“上一个已知取向”处检测到用户的面部，那么跟踪模式可以立刻被触发，并且开始贯穿假设角度搜索，试图检测用户的面部。然而，在特定情形中，例如用于噪声等，可能已经错误地发生未能在“上一个已知取向”处立刻检测到用户的面部的取向的情况。因此，根据某些实施例采用迟滞函数来防止第一误报导致贯穿假设角度的不必要搜索。
根据另外实施例，非图像传感器还可用以辅助在图像的序列中跟踪对象的取向。这种非图像传感器的一个实例是移动装置上的加速度计。加速度计读数可以指示移动装置的角旋转。可通过多种方式使用来自加速度计的读数。加速度计读数的一个用途是提供用于系统的跟踪模式的触发的额外或备选信息源。加速度计读数的另一个用途是在触发跟踪模式之后，对其提供种子角度。
返回参考图9，该图展示了加速度计读数，其用于(1)根据迟滞函数触发跟踪，和(2)提供用于执行跟踪的种子角度。此处，如果加速度计读数指示移动装置已旋转30度或更多，那么触发跟踪模式。进入跟踪模式之后，来自加速度计的读数(展示为+S或-S)可被用作开始跟踪操作的种子角度。
此外，根据本公开的某些实施例，其它信息可用于辅助跟踪对象在图像序列中的取向。举例来说，可关于每个图像、对象和/或接近对象的区域采集统计数据，来估计对象的可能取向。如先前所论述，也可以通过类似方式使用非图像传感器读数。这种替代地或另外获得的对象取向估计可用于触发、促使或以其它方式辅助对象在一或多个图像内的取向的跟踪。可以从例如对象取向检测器404的图像检测器、不同图像检测器或非图像传感器产生例如上文所论述的那些统计数据。
图10为根据本公开的至少一个实施例展示用于执行图像处理和利用的过程1000中的说明性步骤的流程图。
图11说明可用于实施本公开的特征的实例计算机系统1100。计算机系统1100展示为包括可经由总线1102电联接(或在适当时可以其它方式进行通信)的硬件元件。硬件元件可包含一或多个处理器1104，包含但不限于一或多个通用处理器和/或一或多个专用处理器(例如数字信号处理芯片、图形处理单元1122和/或类似者)；一或多个输入装置1108，其可包含但不限于一或多个摄像头、传感器、鼠标、键盘、经配置以检测超音波或其它声音的麦克风、和/或类似者；以及一或多个输出装置1110，其可包含但不限于显示单元，例如用于本发明的实施方案中的装置、打印机及/或类似者。额外摄像头1120可用于检测用户的肢体和手势。在一些实施方案中，输入装置1108可包含一或多个传感器，例如红外线传感器、深度传感器和/或超声波传感器。图形处理单元1122可用以执行用于实时擦除并替换上文所描述的对象的方法。
在本发明的实施方案中的一些实施方案中，各种输入装置1108和输出装置1110可嵌入到例如显示装置、桌子、地板、壁和窗口屏幕等接口中。此外，联接到处理器的输入装置1108和输出装置1110可形成多维跟踪系统。
计算机系统1100可进一步包含以下各者(和/或与以下各者通信)：一或多个非暂时性存储装置1106，所述非暂时性存储装置可包括但不限于本地和/或网络可存取的存储装置，及/或可包含但不限于磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(random access memory；“RAM”)和/或只读存储器(read-only memory；“ROM”)等固态存储装置，其可为可编程的、可快闪更新的和/或其类似者。这些存储装置可经配置以实施任何适当数据存储，包含但不限于各种文件系统、数据库结构及/或类似者。
计算机系统1100还可包含通信子系统1112，其可包含但不限于调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置及/或芯片组(例如，Bluetooth装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)和/或其类似者。通信子系统1112可准许与网络、其它计算机系统和/或本文中所描述的任何其它装置交换数据。在许多实施方案中，计算机系统1100将进一步包括非暂时性工作存储器1118，其可包含RAM或ROM装置，如上文所描述。
计算机系统1100还可包括展示为当前位于工作存储器1118内的软件元件，包含操作系统1114、装置驱动器、可执行库和/或例如一或多个应用程序1116的其它代码，其可包括由各种实施方案提供和/或可经设计以实施方法和/或配置系统、由其它实施方案提供的计算机程序，如本文中所描述。仅举例来说，关于上文所论述的方法所描述的一或多个程序可能实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；接着，在一方面中，此些代码和/或指令可用以配置和/或调适通用计算机(或其它装置)以根据所描述的方法执行一或多个操作。
这些指令及/或代码的集合可能存储在计算机可读存储媒体，例如上文所描述的存储装置1106上。在一些情况下，存储媒体可并入于计算机系统，例如计算机系统1100内。在其它实施方案中，存储媒体可与计算机系统分离(例如，可装卸式媒体，例如压缩光盘)，和/或提供于安装包中，使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可呈可由计算机系统1100执行的可执行码形式，和/或可呈源代码和/或可安装代码形式，所述源代码和/或可安装代码在计算机系统1100上(例如使用各种一般可用的编译程序、安装程序、压缩/解压缩公用程序等)编译和/或安装之后则呈可执行码的形式。
可根据特定需求进行实质性变化。举例来说，还可能使用定制硬件，和/或可将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可采用对例如网络输入/输出装置的其它计算装置的连接。在一些实施方案中，可省略计算机系统1100的一或多个元件或可将其与所说明系统分开来实施。举例来说，可将处理器1104和/或其它元件与输入装置1108分开实施。在一个实施方案中，处理器可经配置以接收来自分开实施的一或多个摄像头的图像。在一些实施方案中，除在图4中说明的那些元件之外的元件也可包含在计算机系统1100中。
一些实施方案可采用计算机系统(例如，计算机系统1100)来执行根据本公开的方法。举例来说，所描述方法的程序中的一些或全部可由计算机系统1100响应于处理器1104执行工作存储器1118中所含有的一或多个指令(其可能并入到操作系统1114和/或其它代码中，例如，应用程序1116)的一或多个序列来执行。可以从另一个电脑可读媒体，例如存储装置1106中的一或多个，将这种指令读取到工作存储器1118中。仅举例来说，执行工作存储器1118中容纳的指令序列可能导致处理器1104执行本文所描述的方法的一或多个程序。
如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统1100实施的一些实施方案中，在将指令/代码提供到处理器1104以供执行时可能涉及各种计算机可读媒体，和/或各种计算机可读媒体可用以存储和/或运载此些指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体可为物理和/或有形存储媒体。此种媒体可呈许多形式，包含但不限于非易失性媒体、易失性媒体及传输媒体。非易失性媒体包含例如光盘和/或磁盘，例如存储装置1106。易失性媒体包含但不限于例如工作存储器1118等动态存储器。传输媒体包含但不限于同轴电缆、铜线和光纤，包含包括总线1102的导线，以及通信子系统1112的各种组件(和/或通信子系统1112借以提供与其它装置的通信的媒体)。因此，发射媒体还可呈波的形式(包含但不限于无线电、声波和/或光波，例如在无线电波和红外线数据通信期间产生的那些波)。
常见形式的物理和/或有形计算机可读媒体包含例如软盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带、如在下文中所描述的载波，或计算机可从其读取指令和/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到处理器1104以用于执行时可涉及各种形式的计算机可读媒体。仅举例来说，起初可将指令携载于远程计算机的磁盘和/或光学光盘上。远程计算机可能将指令载入到其动态存储器中，并经由发射媒体将指令作为信号发送以由计算机系统1100接收和/或执行。根据本发明的各种实施方案，可呈电磁信号、声学信号、光信号和/或其类似者形式的这些信号都是可在其上编码指令的载波的实例。
通信子系统1112(和/或其组件)通常将接收信号，且总线1102可接着将信号(和/或由信号所运载的数据、指令等)运载到处理器1104从其中检索并执行指令的工作存储器1118。工作存储器1118所接收的指令可任选地在由处理器1104执行之前或之后存储在非暂时性存储装置上。
应理解，所公开过程中的步骤的特定次序或层级为示范性方法的实例。基于设计偏好，应理解可以重新布置过程中的步骤的特定次序或层次。另外，可组合或省略某些步骤。所附方法权利要求项以示例次序呈现各个步骤的要素，且并非意在限于所呈现的具体次序或层次。
提供先前的描述以使所属领域的技术人员能够实践本文所描述的各个方面。对这些方面的各种修改对于所属领域的技术人员来说将容易显而易见，并且本文中定义的一般原理可适用于其它方面。此外，本文中所公开的任何内容都不希望专用于公用。
虽然本文中的方法和系统的一些实例是描述在各种机器上执行的软件而描述的，但是所述方法和系统也可以实施为专门地配置的硬件，例如专门用于执行各种方法的现场可编程门阵列(field-programmable gate array；FPGA)。举例来说，实例可以在数字电子电路中实施，或者在计算机硬件、固件、软件中实施，或者可以在其组合中实施。在一个实例中，装置可包含一或多个处理器。处理器包括计算机可读媒体，例如，联接到到处理器的随机存取存储器(RAM)。处理器执行存储于存储器中的计算机可执行程序指令，例如执行一或多个计算机程序。此类处理器可包括微处理器、数字信号处理器(digital signalprocessor；DSP)、专用集成电路(application-specific integrated circuit；ASIC)、现场可编程门阵列(FPGA)和状态机。这些处理器可进一步包括如PLC的可编程电子装置、可编程中断控制器(programmable interrupt controller；PIC)、可编程逻辑装置(programmable logic device；PLD)、可编程只读存储器(programmable read-onlymemory；PROM)、电子可编程只读存储器(EPROM或EEPROM)或其它类似装置。
此类处理器可包括媒体，例如，计算机可读媒体，或可与所述媒体通信，所述媒体可存储在由处理器执行时可使得所述处理器执行在本文中描述为由处理器执行或辅助的步骤的指令。计算机可读媒体的实例可以包含但不限于能够提供具有计算机可读指令的处理器的电子、光学、磁性或其它存储装置，所述处理器例如网络服务器中的处理器。媒体的其它实例包括但不限于软性磁盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学媒体、所有磁带或其它磁性媒体或计算机处理器可从其读取的任何其它媒体。所描述的处理器及处理可在一或多个结构中，并且可分散通过一或多个结构分散。处理器可包括用于执行本文中所描述的方法(或方法的部分)中的一或多者的代码。
出于解释的目的，前述描述使用特定命名法以提供对所描述实施例的透彻理解。然而，本领域的技术人员将显而易见，无需特定细节以便实践所描述的实施例。因此，出于说明和描述的目的而呈现特定实施例的前述描述。其并不希望是穷尽性的或将所描述实施例限制为所公开的精确形式。对本领域的普通技术人员将显而易见的是，鉴于以上教示，许多修改和变化是可能的。
仅出于说明及描述的目的呈现一些实例的上述描述且并非意图是详尽的或将本公开限制于所公开的精确形式。在不脱离本公开的精神及范围的前提下其许多更改及修改对于所属领域的技术人员而言是显而易见的。
本文中对实例或实施方案的参考意味着结合实例描述的特定特征、结构、操作或其它特性可包含于本公开的至少一个实施方案中。本公开并不受限于如此描述的特定实例或实施方案。在说明书中“在一个实例中”、“在一实例中”、“在一个实施方案中”或“在一实施方案”中的短语的出现或其在各种位置中的变化不必是指相同实例或实施方案。在本说明书中关于一个实例或实施方案描述的任何特定特征、结构、操作或其它特性可以与对于任何其它实例或实施方案而言描述的其它特征、结构、操作或其它特性组合。
在本文中对词语“或”的使用意图涵盖包含或和异或条件。换句话说，A或B或C在对于特定用途适当时包含以下替代性组合中的任一个或全部：仅A、仅B、仅C、仅A和B、仅A和C、仅B和C；以及A和B和C。

Claims (24)

1.一种用于图像处理的方法，其包括：
使用移动装置获得含有所述移动装置的用户的面部的图像；
使用所述移动装置确定所述用户的面部在所述图像内的取向，其中所述用户的面部在所述图像内的取向使用多个阶段来确定，所述多个阶段包括：
(i)旋转阶段，用于控制应用于所述图像的一部分的旋转以产生经旋转图像部分；以及
(ii)取向阶段，用于控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向，其中，所述用户的面部在所述图像内的取向基于多种模式来确定，所述多种模式包括(a)检测模式，用于检测所述用户的面部在初始图像内的初始取向，以及(b)跟踪模式，用于使用所检测的初始取向来跟踪所述用户的面部在后续图像内的取向；以及
将所确定的所述用户的面部的取向用作控制输入来修改所述移动装置的显示画面旋转。
2.根据权利要求1所述的方法，其中所述经旋转图像部分存储在旋转缓冲器中。
3.根据权利要求1所述的方法，其中所述取向特定特征检测使用计算机视觉CV计算单元来执行。
4.根据权利要求1所述的方法，
其中在所述检测模式中，通过在第一多个假设角度执行特征检测来检测所述用户的面部在所述初始图像内的初始取向；且
其中在所述跟踪模式中，通过在第二多个假设角度执行特征检测来跟踪所述用户的面部在所述后续图像内的取向，所述第二多个假设角度少于所述第一多个假设角度。
5.根据权利要求1所述的方法，
其中在所述跟踪模式在，在检测到与非图像传感器相关联的触发条件时，跟踪所述用户的面部在所述后续图像内的取向。
6.根据权利要求5所述的方法，其中所述非图像传感器包括加速度计。
7.一种用于图像处理和利用的设备，其包括：
图像传感器，其经配置以获得含有移动装置的用户的面部的图像；
对象取向检测器，其经配置以确定所述用户的面部在所述图像内的取向，其中所述对象取向检测器经配置以使用多个阶段确定所述用户的面部在所述图像内的取向，所述多个阶段包括：
(i)旋转阶段，其经配置以控制应用于所述图像的一部分的旋转以产生经旋转图像部分；以及
(ii)取向阶段，其经配置以控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向，其中，所述用户的面部在所述图像内的取向基于多种模式来确定，所述多种模式包括(a)检测模式，用于检测所述用户的面部在初始图像内的初始取向，以及(b)跟踪模式，用于使用所检测的初始取向来跟踪所述用户的面部在后续图像内的取向；以及
对象取向接收器，其经配置以作为控制输入接收并组织所确定的所述用户的面部的取向以修改所述移动装置的显示画面旋转。
8.根据权利要求7所述的设备，其进一步包括：
旋转缓冲器，其经配置以存储所述经旋转图像部分。
9.根据权利要求7所述的设备，其进一步包括：
计算机视觉CV计算单元，其经配置以执行所述取向特定特征检测。
10.根据权利要求7所述的设备，
其中在所述检测模式中，所述对象取向检测器经配置以通过在第一多个假设角度执行特征检测来检测所述用户的面部在所述初始图像内的初始取向；且
其中在所述跟踪模式中，所述对象取向检测器经配置以通过在第二多个假设角度执行特征检测来跟踪所述用户的面部在所述后续图像内的取向，所述第二多个假设角度少于所述第一多个假设角度。
11.根据权利要求7所述的设备，
其中在所述跟踪模式下，所述对象取向检测器经配置以在检测到与非图像传感器相关联的触发条件时跟踪所述用户的面部在所述后续图像内的取向。
12.根据权利要求11所述的设备，其中所述非图像传感器包括加速度计。
13.一种非暂时性计算机可读介质，其具有嵌入于其上以用于图像处理的指令，所述指令在由一个或多个处理单元执行时致使所述一个或多个处理单元：
使用移动装置获得含有所述移动装置的用户的面部的图像；
使用所述移动装置确定所述用户的面部在所述图像内的取向，其中所述用户的面部在所述图像内的取向使用多个阶段来确定，所述多个阶段包括：
(i)旋转阶段，用于控制应用于所述图像的一部分的旋转以产生经旋转图像部分；以及
(ii)取向阶段，用于控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向，其中，所述用户的面部在所述图像内的取向基于多种模式来确定，所述多种模式包括(a)检测模式，用于检测所述用户的面部在初始图像内的初始取向，以及(b)跟踪模式，用于使用所检测的初始取向来跟踪所述用户的面部在后续图像内的取向；以及
将所确定的所述用户的面部的取向用作控制输入来修改所述移动装置的显示画面旋转。
14.根据权利要求13所述的非暂时性计算机可读介质，其中所述经旋转图像部分存储在旋转缓冲器中。
15.根据权利要求13所述的非暂时性计算机可读介质，其中所述取向特定特征检测使用计算机视觉CV计算单元来执行。
16.根据权利要求15所述的非暂时性计算机可读介质，
其中在所述检测模式中，通过在第一多个假设角度执行特征检测来检测所述用户的面部在所述初始图像内的初始取向；且
其中在所述跟踪模式中，通过在第二多个假设角度执行特征检测来跟踪所述用户的面部在所述后续图像内的取向，所述第二多个假设角度少于所述第一多个假设角度。
17.根据权利要求15所述的非暂时性计算机可读介质，
其中在所述跟踪模式中，在检测到与非图像传感器相关联的触发条件时，所述用户的面部在所述后续图像内的取向被跟踪。
18.根据权利要求17所述的非暂时性计算机可读介质，其中所述非图像传感器包括加速度计。
19.一种用于图像处理的系统，其包括：
用于使用移动装置获得含有所述移动装置的用户的面部的图像的装置；
用于使用所述移动装置确定所述用户的面部在所述图像内的取向的装置，其中所述用户的面部在所述图像内的取向使用多个阶段来确定，所述多个阶段包括：
(i)旋转阶段，用于控制应用于所述图像的一部分的旋转以产生经旋转图像部分；以及
(ii)取向阶段，用于控制应用于对所述经旋转图像部分执行的取向特定特征检测的取向，其中，所述用户的面部在所述图像内的取向基于多种模式来确定，所述多种模式包括(a)检测模式，用于检测所述用户的面部在初始图像内的初始取向，以及(b)跟踪模式，用于使用所述所检测的初始取向来跟踪所述用户的面部在后续图像内的取向；以及
用于将所确定的所述用户的面部的取向用作控制输入来修改所述移动装置的显示画面旋转的装置。
20.根据权利要求19所述的系统，其中所述经旋转图像部分存储在旋转缓冲器中。
21.根据权利要求19所述的系统，其中所述取向特定特征检测使用计算机视觉CV计算单元来执行。
22.根据权利要求19所述的系统，
其中在所述检测模式中，通过在第一多个假设角度执行特征检测来检测所述用户的面部在所述初始图像内的初始取向；且
其中在所述跟踪模式中，通过在第二多个假设角度执行特征检测来跟踪所述用户的面部在所述后续图像内的取向，所述第二多个假设角度少于所述第一多个假设角度。
23.根据权利要求19所述的系统，
其中在所述跟踪模式下，在检测到与非图像传感器相关联的触发条件时，所述用户的面部在所述后续图像内的取向被跟踪。
24.根据权利要求23所述的系统，其中所述非图像传感器包括加速度计。
CN201780036542.6A 2016-07-12 2017-07-12 基于面部取向检测的图像取向 Active CN109313883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110616872.0A CN113506551A (zh) 2016-07-12 2017-07-12 基于面部取向检测的图像取向

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662361405P 2016-07-12 2016-07-12
US62/361,405 2016-07-12
US15/647,034 US10347218B2 (en) 2016-07-12 2017-07-11 Multiple orientation detection
US15/647,034 2017-07-11
PCT/US2017/041659 WO2018013648A1 (en) 2016-07-12 2017-07-12 Image orientation based on detection of face orientation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110616872.0A Division CN113506551A (zh) 2016-07-12 2017-07-12 基于面部取向检测的图像取向

Publications (2)

Publication Number Publication Date
CN109313883A CN109313883A (zh) 2019-02-05
CN109313883B true CN109313883B (zh) 2021-06-18

Family

ID=60941203

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110616872.0A Pending CN113506551A (zh) 2016-07-12 2017-07-12 基于面部取向检测的图像取向
CN201780036542.6A Active CN109313883B (zh) 2016-07-12 2017-07-12 基于面部取向检测的图像取向

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110616872.0A Pending CN113506551A (zh) 2016-07-12 2017-07-12 基于面部取向检测的图像取向

Country Status (4)

Country Link
US (1) US10347218B2 (zh)
EP (1) EP3485485A1 (zh)
CN (2) CN113506551A (zh)
WO (1) WO2018013648A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10573273B2 (en) * 2018-06-13 2020-02-25 Mapsted Corp. Method and system for device placement based optimization techniques
US11119638B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Using face detection to update user interface orientation
CN109547650B (zh) * 2019-02-02 2020-07-03 京东方科技集团股份有限公司 一种控制图像旋转的方法及装置和电子设备
CN111679731A (zh) * 2019-03-11 2020-09-18 三星电子株式会社 显示装置及其控制方法
CN110796029B (zh) * 2019-10-11 2022-11-11 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
US11783449B2 (en) * 2021-12-09 2023-10-10 Htc Corporation Method for adjusting displayed content based on host posture, host, and computer readable storage medium

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689033B2 (en) * 2003-07-16 2010-03-30 Microsoft Corporation Robust multi-view face detection methods and apparatuses
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
US7274832B2 (en) * 2003-11-13 2007-09-25 Eastman Kodak Company In-plane rotation invariant object detection in digitized images
JP4177779B2 (ja) * 2004-03-31 2008-11-05 富士フイルム株式会社 画像表示制御装置および方法ならびに画像表示制御装置を制御するプログラム
JP4628882B2 (ja) * 2005-06-16 2011-02-09 富士フイルム株式会社 判別器の学習方法、顔判別方法および装置並びにプログラム
CN101271515B (zh) * 2007-03-21 2014-03-19 株式会社理光 能识别多角度目标的图像检测装置
US8244068B2 (en) 2007-03-28 2012-08-14 Sony Ericsson Mobile Communications Ab Device and method for adjusting orientation of a data representation displayed on a display
JP4389956B2 (ja) * 2007-04-04 2009-12-24 ソニー株式会社 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム
CA2897227C (en) * 2007-12-31 2017-01-10 Applied Recognition Inc. Method, system, and computer program for identification and sharing of digital images with face signatures
WO2010030985A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
US20110199499A1 (en) * 2008-10-14 2011-08-18 Hiroto Tomita Face recognition apparatus and face recognition method
DE102008052930B4 (de) 2008-10-23 2011-04-07 Leuze Electronic Gmbh & Co Kg Bildverarbeitender Sensor
JP2011119997A (ja) * 2009-12-03 2011-06-16 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
US20120081392A1 (en) 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8717393B2 (en) 2010-11-03 2014-05-06 Blackberry Limited System and method for controlling a display of a mobile device
KR101289087B1 (ko) * 2011-11-03 2013-08-07 인텔 코오퍼레이션 얼굴 검출 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US20130286049A1 (en) 2011-12-20 2013-10-31 Heng Yang Automatic adjustment of display image using face detection
KR101969931B1 (ko) * 2012-01-10 2019-04-17 삼성전자주식회사 디스플레이 영상의 회전을 제어하는 장치 및 방법
US8643741B2 (en) 2012-01-17 2014-02-04 Apple Inc. Orientation detection using image processing
KR101257207B1 (ko) * 2012-02-23 2013-04-22 인텔 코오퍼레이션 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10082863B2 (en) * 2012-05-11 2018-09-25 Umoove Services Ltd. Gaze-based automatic scrolling
EP2752789A1 (en) 2013-01-03 2014-07-09 Alcatel-Lucent Method for adjusting the orientation of contents on an electronic display
US9165207B2 (en) * 2013-02-25 2015-10-20 Google Inc. Screenshot orientation detection
KR20150011714A (ko) * 2013-07-23 2015-02-02 주식회사 케이티 영상 방향 판단 장치
WO2015131045A1 (en) 2014-02-28 2015-09-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging providing ratio pixel intensity
US20150362989A1 (en) * 2014-06-17 2015-12-17 Amazon Technologies, Inc. Dynamic template selection for object detection and tracking
WO2017032468A1 (en) * 2015-08-26 2017-03-02 Fotonation Limited Image processing apparatus

Also Published As

Publication number Publication date
CN109313883A (zh) 2019-02-05
CN113506551A (zh) 2021-10-15
US10347218B2 (en) 2019-07-09
EP3485485A1 (en) 2019-05-22
WO2018013648A1 (en) 2018-01-18
US20180018946A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
CN109313883B (zh) 基于面部取向检测的图像取向
CN110352446B (zh) 用于获得图像的方法和装置及其记录介质
CN107040698B (zh) 无人图像捕获装置的图像捕获方法和支持其的电子装置
WO2018107679A1 (zh) 一种动态三维图像获取的方法和设备
ES2759786T3 (es) Reactivación rápida de gestos
KR101657234B1 (ko) 이미지 표시 방법, 장치, 프로그램 및 기록매체
WO2019205868A1 (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
US10282857B1 (en) Self-validating structured light depth sensor system
EP3145170B1 (en) Method and apparatus for controlling positioning of camera device, camera device and terminal device
JP2017533602A (ja) 電子デバイスのカメラ間の切り替え
US20130286049A1 (en) Automatic adjustment of display image using face detection
US9105132B2 (en) Real time three-dimensional menu/icon shading
KR102155895B1 (ko) 객체를 추적하여 영상을 수신하는 방법 및 장치
CN110650241A (zh) 移动终端中呈现全景照片的方法和装置、以及移动终端
WO2013035096A2 (en) System and method of tracking an object in an image captured by a moving device
CN104735356A (zh) 全景照片拍摄方法及装置
JP6172987B2 (ja) 方位角推定装置及び方位角推定プログラム
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN110570465A (zh) 实时定位与地图构建方法、装置及计算机可读存储介质
CN108604010A (zh) 用于校正设备中的漂移的方法和该设备
CN110633336B (zh) 激光数据搜索范围的确定方法、装置及存储介质
CN114502915B (zh) 用于移动尺寸标注的方法、系统和装置
US9489927B2 (en) Information processing device for controlling direction of display image and control method thereof
CN104596509B (zh) 一种定位方法和系统、移动终端
JP6756103B2 (ja) 電子機器、表示システム、表示装置、撮像装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant