CN103826057A - 图像处理设备、图像处理方法和图像拍摄设备 - Google Patents

图像处理设备、图像处理方法和图像拍摄设备 Download PDF

Info

Publication number
CN103826057A
CN103826057A CN201310562387.5A CN201310562387A CN103826057A CN 103826057 A CN103826057 A CN 103826057A CN 201310562387 A CN201310562387 A CN 201310562387A CN 103826057 A CN103826057 A CN 103826057A
Authority
CN
China
Prior art keywords
image
use state
camera part
subject
optical axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310562387.5A
Other languages
English (en)
Other versions
CN103826057B (zh
Inventor
阪井祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103826057A publication Critical patent/CN103826057A/zh
Application granted granted Critical
Publication of CN103826057B publication Critical patent/CN103826057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种图像处理设备、图像处理方法和图像拍摄设备。该图像处理设备包括：使用状态确定部分，确定相机部分的使用状态；以及被摄体检测部分，使用多个方法从由相机部分拍摄的图像中检测被摄体，其中，被摄体检测部分通过基于使用状态对多个方法进行优先级排序，从所拍摄的图像中检测被摄体。

Description

图像处理设备、图像处理方法和图像拍摄设备
相关申请的交叉引用
本申请要求2012年11月19日提交的日本在先专利申请JP2012-252924的优先权，其全部内容通过引用合并于此。
技术领域
本说明书中公开的技术涉及处理由相机拍摄的图像的图像处理设备和图像处理方法、图像拍摄设备及计算机程序，尤其涉及检测被摄体（例如图像中包括的人的脸部图像）的图像处理设备和图像处理方法、图像拍摄设备及计算机程序。
背景技术
在人生活的环境中，存在作为由用户控制的对象的各种产品，例如家用电器或信息装置。手势操作是用户远程操作这种装置的方法的一个示例。
例如，提出了一种远程操作设备和操作显示单元的显示器，该远程操作设备拍摄操作用于显示操作按钮或菜单的操作显示单元的操作者的图像，并且基于从拍摄的图像检测的手部区域的形状和移动来检测操作者的操作（例如，参考日本待审专利申请公开第2010-79332号）。根据相关技术，可以使用手指的轮廓识别用户的手势。
另外，提出了一种图像识别设备，其中，关于虚拟操作表面三维地读取操作者的操作，基于操作者的部分与虚拟操作表面之间的位置关系确定运动是否为操作，并且如果操作者的运动是在基于与虚拟操作表面的位置关系所确定的两个或更多个虚拟操作层的任何区域中执行的，则基于预先分配给虚拟操作层的操作分类和操作者在虚拟操作层中的运动来确定操作的内容（例如，参考日本待审专利申请公开第2010-15553号）。
对于手势操作，通过从由相机拍摄的用户的图像中识别用户的脸部或手来分析手势是基本的。因此，认为可以将手势操作引入到安装有相机的各种家用电器或信息装置。
例如，脸部识别系统包括两个处理：脸部检测处理，检测脸部图像的位置并提取该位置作为检测到的脸部；以及脸部识别处理，执行对检测到的脸部的识别（被指定为人）。在上述处理中，脸部检测处理是这样的处理，其中在输入图像上扫描脸部等的模板图像，并且普遍使用通过模式匹配提取检测到的脸部（例如，参考日本专利第4389956号）。
另外，由于如果以相机的光轴为中心旋转输入图像中的脸部图像，则对模板图像的姿势未适当地执行模式匹配，因此存在脸部检测准确度被降低的问题。例如，在将相机安装到执行手势操作的装置上并且装置主体被旋转机构支撑的情况下（例如，参考日本待审专利申请公开第11-24577号、日本待审专利申请公开第2003-157016号和日本待审专利申请公开第2011-17738号），假设利用内部相机拍摄的脸部图像旋转。
替选地，另外在安装有相机的装置是手持类型的情况下，假设相机的姿势根据用户手臂的运动改变，并且拍摄的被摄体图像旋转。
例如，提出了一种脸部图像检测设备，该脸部图像检测设备通过使用多个减小的旋转图像数据项（其中，输入图像数据被减小并旋转到多个角度）跟踪脸部图像的变化来执行脸部检测（例如，参考日本待审专利申请公开第2008-287704号）。然而，当关于多个（n个）减小的旋转图像数据项执行与模板图像的模式匹配时，处理量增加了n倍。
另外，当使用加速传感器（倾斜角检测单元）检测便携式电话的倾斜并根据拍摄的图像执行脸部检测处理时，提出了一种具有附连的相机的便携式电子装置，通过基于检测到的便携式电话的倾斜信息旋转用于脸部检测的被摄体图像或通过改变读取像素的顺序来执行脸部检测（例如，参考日本待审专利申请公开第2009-105559号）。然而，即使检测处理自身的效率提高，但是旋转被摄体图像的处理增加。另外，如果在仅仅旋转处理后没有关于被摄体图像对模板图像执行模式匹配，则在被摄体的脸部的倾斜不匹配便携式电话的倾斜信息的情况下，检测精度的降低成为问题。
发明内容
期望提供一种优良的图像处理设备、图像处理方法、图像拍摄设备及计算机程序，能够从由相机拍摄的图像有效地检测诸如人的脸部图像的被摄体。
根据本技术的第一实施例，提供了一种图像处理设备，包括：使用状态确定部分，确定相机部分的使用状态；以及被摄体检测部分，使用多个方法从由所述相机部分拍摄的图像中检测被摄体，其中，所述被摄体检测部分通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
根据本发明技术的第二实施例，根据第一实施例的图像处理设备可被配置为使得，所述被摄体检测部分包括所述被摄体的多个模板图像，基于所述使用状态对所述多个模板图像进行优先级排序，以及通过以根据优先级的频率对每个模板图像执行与所拍摄的图像的模式匹配来检测所述被摄体。
根据本技术的第三实施例，根据第二实施例的图像处理设备可被配置为使得，所述使用状态确定部分确定在所述相机部分拍摄所述被摄体的图像时的姿势，以及所述被摄体检测部分根据所述相机部分的所述姿势对所述被摄体的倾斜度不同的多个模板图像进行优先级排序，以及通过以根据优先级的频率对倾斜度不同的每个模板图像执行与所拍摄的图像的模式匹配来检测所述被摄体。
根据本技术的第四实施例，根据第三实施例的图像处理设备可被配置为使得，所述使用状态确定部分确定在所述相机部分拍摄所述被摄体的图像时的光轴的方向，以及所述被摄体检测部分基于所确定的光轴方向对每个模板图像进行优先级排序，以及通过以根据优先级的频率对倾斜度不同的每个模板图像执行与所拍摄的图像的模式匹配来检测被摄体。
根据本技术的第五实施例，根据第四实施例的图像处理设备可被配置为使得，所述使用状态确定部分确定所述相机部分的光轴的滚动旋转的旋转角，以及所述被摄体检测部分对具有如下倾斜度的模板图像给予更高的优先级，该倾斜度接近于所述相机部分的光轴的滚动旋转的旋转角。
根据本技术的第六实施例，根据第三实施例的图像处理设备可被配置为使得，所述被摄体检测部分针对所拍摄的图像的每个区域对每个模板图像进行优先级排序，以及通过以根据优先级的频率对倾斜度不同的每个模板图像执行与所拍摄的图像的模式匹配来检测所述被摄体。
根据本技术的第七实施例，根据第六实施例的图像处理设备可被配置为使得，当所述相机部分的光轴面向垂直方向时，所述被摄体检测部分针对所拍摄的图像的每个区域，根据该区域相对于图像拍摄设备的光轴的角位置对每个模板图像进行优先级排序。
另外，根据本技术的第八实施例，提供了一种图像处理设备，包括：使用状态检测部分，检测相机部分的使用状态；以及优化部分，基于所述使用状态优化由所述相机部分拍摄的图像。
根据本技术的第九实施例，根据第八实施例的图像处理设备还可包括：显示部分，在屏幕上显示所拍摄的图像。然后，所述优化部分优化对用户进行拍摄的所拍摄的图像，以便正对用户显示在屏幕上。
根据本技术的第十实施例，根据第九实施例的图像处理设备可被配置为使得，所述使用状态检测部分检测所述相机部分的光轴的方向和屏幕的光轴的方向，以及所述优化部分基于所述相机部分的光轴的方向和屏幕的光轴的方向优化所拍摄的图像。
根据本技术的第十一实施例，根据第九实施例的图像处理设备可被配置为使得，所述使用状态检测部分检测所述相机部分的光轴的滚动轴旋转的旋转Δψc和所述屏幕的光轴的滚动旋转的旋转Δψd，以及所述优化部分使得所拍摄的图像对于ψ轴旋转以-(Δψc+Δψd)对应量进行旋转。
另外，根据本技术的第十二实施例，提供了一种图像处理方法，包括：确定相机部分的使用状态；以及使用多个方法从由所述相机部分拍摄的图像中检测被摄体，其中，在检测所述被摄体时，通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
另外，根据本技术的第十三实施例，提供了一种图像处理方法，包括：检测相机部分的使用状态；以及基于所述使用状态优化由所述相机部分拍摄的图像。
另外，根据本技术的第十四实施例，提供了一种图像处理设备，包括：相机部分；使用状态确定部分，确定所述相机部分的使用状态；以及被摄体检测部分，使用多个方法从由所述相机部分拍摄的图像中检测被摄体，其中，所述被摄体检测部分通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
另外，根据本技术的第十五实施例，提供了一种图像拍摄设备，包括：相机部分；使用状态检测部分，检测所述相机部分的使用状态；以及优化部分，基于所述使用状态优化由所述相机部分拍摄的图像。
另外，根据本技术的第十六实施例，提供了一种以计算机可读格式记录的计算机程序，使得计算机用作：使用状态确定部分，确定相机部分的使用状态；以及被摄体检测部分，使用多个方法从由所述相机部分拍摄的图像中检测被摄体；其中，所述被摄体检测部分通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
另外，根据本技术的第十七实施例，提供了一种以计算机可读格式记录的计算机程序，使得计算机用作：使用状态检测部分，检测相机部分的使用状态；以及优化部分，基于所述使用状态优化由所述相机部分拍摄的图像。
根据第十六和十七实施例的计算机程序被限定为以计算机可读格式记录的计算机程序，从而在计算机上实现预定处理。换句话说，通过在计算机上安装根据第十六和第十七实施例的计算机程序，在计算机上呈现协作动作，并且可以获得与根据第一和第八实施例的每个图像处理设备相同的对应动作和效果。
根据本说明书中公开的技术，可以提供一种优良的图像处理设备、图像处理方法、图像拍摄设备及计算机程序，能够从由相机拍摄的图像中有效地检测诸如人的脸部图像的被摄体。
应用本说明书中公开的技术的图像处理设备通过在由相机拍摄的图像上扫描模板图像来搜索诸如脸部的被摄体；然而，通过与准备具有不同倾斜度的多个模板图像一起，控制每个模板图像的使用频率或在拍摄图像中扫描模板图像的区域的优先级，可以有效地检测被摄体。
另外，通过基于稍后描述的实施例和所附的本实施例的附图的详细描述，本说明书中公开的技术的其它目的、特征和优点将变得清楚。
附图说明
图1为示出具有大屏幕的信息处理设备的使用模式的一个示例（墙）的图。
图2A为示出具有大屏幕的信息处理设备的使用模式的另一个示例（桌面）的图。
图2B为示出桌面状态的显示屏的使用模式的图。
图3A为示出具有大屏幕的信息处理设备的使用模式的另一个示例的图。
图3B为示出具有大屏幕的信息处理设备的使用模式的另一个示例的图。
图3C为示出具有大屏幕的信息处理设备的使用模式的另一个示例的图。
图4为示意性示出信息处理设备的功能配置的图。
图5为示出输入接口部分的内部配置的图。
图6为示出输出接口部分的内部配置的图。
图7A为示出相机部分的光轴的方向（φc,θc,ψc）的定义的图。
图7B为示出相机部分的光轴和大屏幕的光轴的参考方向(0,0,0)的图。
图8为示出如下状况的图，其中由光轴方向被设置为(φc,θc,ψc)=(0,0,0)的相机部分拍摄大屏幕前方的直立用户的图像。
图9为示出如下状况的图，其中由光轴方向被设置为(φc,θc,ψc)=(0,0,90°)的相机部分拍摄大屏幕前方的直立用户的图像。
图10为示出如下状况的图，其中由光轴方向被设置为(φc,θc,ψc)=(0,90°,0)的相机部分拍摄从大屏幕的四个方向注视显示图像的多个用户的图像。
图11为示出多个模板图像的示例的图，其中垂直方向分别仅被倾斜0度、±45度、±90度和180度。
图12为示出在相机部分的光轴的方向被设置为(φc,θc,ψc)=(0,0,0)的使用状态下对每个模板图像设置的优先程度的图。
图13为示出在相机部分的光轴的方向被设置为(φc,θc,ψc)=(0,0,90°)的使用状态下对每个模板图像设置的优先程度的图。
图14为示出在相机部分的光轴的方向被设置为(φc,θc,ψc)=(0,90°,0)的使用状态下对每个模板图像设置的优先程度的图。
图15为示意性示出图像识别部分中的被摄体检测部分的功能配置的图，该被摄体检测部分从由相机部分拍摄的图像中检测诸如人的脸部或手的被摄体。
图16为示出如下状况的图，其中以根据在相机部分的光轴的方向被设置为(φc,θc,ψc)=(0,0,0)的使用状态下的优先程度的频率从模板图像供应部分供应每个模板图像。
图17为示出如下状况的图，其中以根据在相机部分的光轴的方向被设置为(φc,θc,ψc)=(0,0,90°)的使用状态下的优先程度的频率从模板图像供应部分供应每个模板图像。
图18为示出如下状况的图，其中以根据在信息处理设备的主体从墙中被移出并被平放的使用状态下的优先程度的频率从模板图像供应部分供应每个模板图像。
图19为示出假设相机部分的光轴的方向被设置为(φc,θc,ψc)=(0,0,0)的使用状态下的拍摄图像的示例的图。
图20为示出假设相机部分的光轴的方向被设置为(φc,θc,ψc)=(0,0,90°)的使用状态下的拍摄图像的示例的图。
图21为示出信息处理设备的主体从墙中被移出并被平放的使用状态下的拍摄图像的示例的图。
图22为示出被摄体检测部分从拍摄的图像中检测期望的被摄体的处理过程的流程图。
图23为示出这样的状况的图，其中由相机部分拍摄的图像的垂直方向被显示以便被校正为这样的状态，在该状态下信息处理设备的主体的旋转位置被设置为使得大屏幕具有水平姿势。
图24为示出这样的状况的图，其中由相机部分拍摄的图像的垂直方向被显示以便被校正为这样的状态，在该状态下信息处理设备的主体的旋转位置被设置为使得大屏幕具有垂直姿势。
图25为示出利用光轴的方向为(φc,θc,ψc)=(0,0,90°)的状态下的相机部分自拍的拍摄图像的示例的图。
图26为示出如下状况的图，其中图25中所示的拍摄图像被显示在具有(φd,θd,ψd)=(0,0,90°)的光轴方向的大屏幕上。
图27为示出图25中所示的拍摄图像被优化并被显示的状况的图。
图28为示意性示出对由相机部分拍摄的图像执行优化处理的功能配置的图。
图29为示出用于对由相机部分拍摄的图像执行优化处理的处理过程的流程图。
具体实施方式
下面，将参照附图详细描述本说明书中公开的技术的实施例。
A.系统配置
根据本实施例的信息处理设备100具有大屏幕；然而，假设主要使用状态为：“墙”，其中如图1所示将屏幕附连到墙上；以及“桌面”，其中如图2所示将屏幕放置在桌子上。
在图1所示的“墙”状态下，例如通过旋转/附连机构部分180以可旋转、可附连和可拆卸的状态将信息处理设备100附连到墙上。在所示的示例中，旋转位置被设置为大屏幕水平的姿势。
旋转/附连机构部分180组合有信息处理设备100和外部之间的电触点，并且电源线或网线（图中均未示出）经由旋转/附连机构部分180连接到信息处理设备100；信息处理设备100能够访问因特网上的各个服务器，并且能够从商业AC电源接收驱动电力。
信息处理设备100包括相机、距离传感器、接近传感器和触摸传感器，并且能够确定面向屏幕的用户的位置（距离、取向）。另外，信息处理设备100能够根据用户的位置自动选择最优交互。例如，信息处理设备100根据用户的位置自动选择或调节图形用户界面（GUI）显示，例如目标操作对象轮廓或信息密度。另外，信息处理设备100根据用户的位置或与用户的距离自动从多个输入部分中进行选择，例如触摸屏幕、接近度、使用手等的手势、遥控器、或根据用户状态的间接操作。
另外，信息处理设备100包括一个或更多个相机。在附图所示的示例中，在大屏幕水平的状态下，将相机置于上边缘的大致中心处。在该状态下，相机的光轴面向水平方向，并且相机能够拍摄正对大屏幕的用户的影像的图像。通过处理由相机拍摄的图像，除了能够测量用户的位置之外，还可以执行对各个被摄体的识别，例如人、物体或装置。基于对人（例如脸部或手）的识别结果，可以执行手势输入。另外，信息处理设备100还包括超近距离通信部分，并且能够与由接近到非常近的距离的用户所携带的装置执行直接和自然的发送与接收。
在墙状态下，在大屏幕上定义作为用户正操作的目标的目标操作对象。目标操作对象具有功能模块的特定显示区域，该功能模块例如是运动图像、静止图像或文本内容，以及任意的因特网网址、应用或小组件。目标操作内容包括：接收到的电视广播内容、来自记录介质的再现内容、经由网络获取的流媒体运动图像、从诸如由用户携带的移动终端的其它装置获得的运动图像和静止图像内容等。
当如图1所示将附连到墙的信息处理设备100的旋转位置设置成使得大屏幕变为水平时，由于目标操作对象具有整个屏幕的大小，所以可以几乎原样地显示在影片中示出的世界观看（world view）的图像。
当信息处理设备100被附连到旋转/附连机构部分180并且在附连到墙的状态下仍被旋转时，可以设置如图3所示的大屏幕垂直的姿势。通过与信息处理设备100的主体集成，相机的位置移动到屏幕的右边缘的大致中心处。在该状态下，相机的光轴面向水平方向，并且相机能够拍摄正对大屏幕的用户的影像的图像。然而，由于相机的光轴关于辊轴旋转被旋转了90度，所以拍摄图像也仅被旋转了90度。
假定信息处理设备100的大屏幕的纵横比为对应于高清图像的16:9。当将大屏幕设置为垂直姿势时，可以在垂直方向布置三个具有16:9纵横比的屏幕。例如，可以同时显示在垂直方向排列的3种内容＃1至＃3，诸如在相同时间从不同广播台接收的广播内容、来自记录介质的再现内容、或网络上的流媒体运动图像。另外，例如当用户利用指尖在屏幕上执行垂直方向上的操作时，内容如图3B所示在垂直方向上滚动。另外，当用户在三个阶段的任一个中的位置处利用指尖执行左右操作时，在该阶段中的屏幕如图3C所示在水平方向上滚动。
同时，在如图2A所示的“桌面”状态下，将信息处理设备100平放在桌上。在图1所示的使用状态下，相比于组合有电触点的旋转/附连机构部分180（如上所述），在将信息处理设备100如图2A所示置于桌上的状态下没有发现与信息处理设备100的电触点。这里，在附图所示的桌面状态下，信息处理设备100可被配置为可通过内置电池进行操作，而不需要电源。另外，如果旋转/附连机构部分180包括对应于无线局域网（LAN）接入点功能的无线通信部分、以及例如信息处理设备100包括对应于无线LAN移动站功能的无线通信部分，则信息处理设备100即使在桌面状态下也能够通过与作为接入点的旋转/附连机构部分180的无线通信来访问因特网上的各个服务器。
在桌面状态下，多个用户可以从大屏幕的四个方向观看显示的图像。另外，相机的光轴面向垂直方向，并拍摄在大屏幕上方空间中的场景的图像。在该情况下，拍摄图像中的用户的脸部或手的垂直方向对于观看屏幕的用户的每个站立位置，即对于显示在拍摄图像中的每个区域变得混合。
在桌面状态下的大屏幕上，定义了作为操作目标的多个目标操作对象。目标操作对象具有功能模块的特定显示区域，该功能模块例如是运动图像、静止图像或文本内容，以及任意的因特网网址、应用或小组件。
信息处理设备100包括接近传感器，该接近传感器检测位于大屏幕的四个侧边缘部分中的每个处的用户的存在或状态。类似于上述描述，可通过利用相机拍摄接近大屏幕的用户的图像来执行身份识别。另外，超近距离通信部分检测被检测到存在的用户是否携带诸如移动终端的装置，并检测来自用户携带的其它终端的数据发送和接收请求。
当信息处理设备100利用接近传感器等检测到用户的存在时，将检测结果用在UI控制中。如果不仅检测用户是否存在，而且检测用户的躯干、手和脚两者、或头的位置等，则可以使用更详细的UI控制。另外，信息处理设备100还包括超近距离通信部分，并且能够与由靠近到非常近的距离的用户所携带的装置执行直接和自然的发送和接收。
如果信息处理设备100的屏幕的尺寸增大，则在桌面状态下出现用于供多个用户同时执行触摸输入的剩余空间。另外，多个用户在大屏幕上方彼此面对，并且可以在观看屏幕的显示的同时执行会谈或讨论（参考图2B）。
在图4中，示出信息处理设备100的功能配置。信息处理设备100包括输入接口部分110，其中从外部向输入接口部分110输入信息信号；计算部分120，基于输入信息信号执行用于显示屏的控制等的计算处理；输出接口部分130，基于计算结果执行对外部的信息输出；高容量存储部分140，由硬盘驱动器（HDD）等构成；通信部分150，与外部网络连接；电源部分160，处理驱动电力；以及电视调谐器部分170。在存储部分140中，存储有在计算处理中由计算部分120执行的各种处理算法或由计算部分120使用的各个数据库。
输入接口部分110的主要功能为检测用户的存在、检测由检测到的用户对屏幕（即对触摸面板）的触摸操作、检测由用户携带的诸如移动终端的装置、以及对从该装置发送的数据的接收处理。在图5中，示出输入接口部分110的内部配置。
遥控接收部分501从遥控器或移动终端接收遥控信号。信号分析部分502通过对接收到的遥控信号执行解调和解码处理来获得遥控命令。
相机部分503包括图像拍摄装置，例如互补金属氧化物半导体（CMOS）或电荷耦合装置（CCD），并且使用单眼格式或双眼格式之一或两者、或有源类型。另外，相机部分503包括用于平移（panning）或倾斜、变焦等的相机控制部分。相机部分503除了向计算部分120通知相机信息（例如平移、倾斜或变焦）之外，还能够根据来自计算部分120的相机控制信息控制相机部分503的平移、倾斜和变焦。
图像识别部分504对由相机部分503拍摄的图像执行识别处理。具体地，通过利用背景差异检测用户的脸部或手的移动来执行姿势识别，执行对包括在拍摄图像中的诸如用户的脸部或手的被摄体的识别，以及执行对与用户的距离的识别。
图像识别部分504在图像识别处理期间通过在由相机部分503拍摄的图像上扫描模板图像、并执行模式匹配，检测作为诸如脸部的识别对象的被摄体。在本实施例中，准备具有不同倾斜度的多个模板图像，并且图像识别部分504通过根据信息处理设备100的主体（即，与主体集成的相机部分503）的姿势控制每个模板图像的使用频率或者由拍摄图像中的每个区域对模板图像进行扫描的优先级，能够实现被摄体检测处理的提高的效率并且防止拍摄图像中的错误检测。稍后将详细描述被摄体检测处理。
麦克风部分505执行由用户生成的声音或谈话的音频输入。语音识别部分506对从麦克风部分505输入的音频信号执行语音识别。
距离传感器507例如由位置敏感检测器（PSD）形成，并检测从用户或其它被摄体返回的信号。信号分析部分508分析检测信号，并测量与用户或被摄体的距离。除了PDS传感器之外，还可以使用热电传感器或简单的相机等作为距离传感器507。距离传感器507不断地监视在距离信息处理设备100例如5到10米的半径内是否存在用户。所以，在距离传感器507中，优选使用具有低功耗的传感器装置。
触摸检测部分509由在叠加在屏幕上的触摸传感器形成，并从由用户的指尖触摸的位置输出检测信号。信号分析部分510通过分析触摸检测部分509的检测信号获得位置信息。
接近传感器511被布置在大屏幕的四个侧边缘中的每个处，并且例如通过静电电容检测接近屏幕的用户的身体。信号分析部分512分析接近传感器511的检测信号。
超近距离通信部分513例如使用近场通信（NFC）从用户携带的装置接收非接触式通信信号。信号分析部分514通过对超近距离通信部分513的接收信号进行解调和解码获得接收数据。
3轴传感器部分515由陀螺仪等构成，并检测信息处理设备100的x轴、y轴和z轴旋转中的每个的姿势。全球定位系统（GPS）接收部分516接收来自GPS卫星的信号。信号分析部分517分析来自3轴传感器部分515和GPS接收部分516的信号，并获得信息处理设备100的位置信息和姿势信息。
输入接口综合部分510综合信息信号的输入，并将结果传输到计算部分120。另外，输入接口综合部分520综合每个信号分析部分508、510、512和514的分析结果，并将获取的出现在信息处理设备100周围的用户的位置信息传输到计算部分120。
计算部分120的主用功能是计算处理，例如，基于输入接口部分110的用户检测结果、屏幕的触摸检测结果和来自用户携带的装置的接收数据进行的UI画面生成处理，并将计算结果输出到输出接口部分130。计算部分120例如能够通过装载并执行安装在存储部分140中的应用程序来实现每个应用的计算处理。
输出接口部分130的主要功能是基于计算部分120的计算结果和发送到用户携带的装置的数据在屏幕上显示内容或UI。在图6中，示出输出接口部分130的内部配置。
输出接口综合部分610基于计算部分120的计算结果综合并处理信息输出。
输出接口综合部分610相对于内容显示部分601指示运动图像或静止图像内容（例如接收到的TV广播内容或来自诸如蓝光光盘的记录介质的再现内容）到显示部分603和扬声器部分604的图像和音频输出。
另外，输出接口综合部分610相对于GUI显示部分602指示GUI（例如目标操作对象）到显示部分603的显示。
另外，输出接口综合部分610相对于超近距离通信部分513指示通过非接触式通信到用户携带的装置的数据发送。
信息处理设备100能够基于对由相机部分503拍摄的图像的识别、或者距离传感器507、触摸检测部分509、接近传感器511、超近距离通信部分513等的检测信号来检测用户。另外，可以通过对由相机部分503拍摄的图像的脸部识别或利用超近距离通信部分513对用户携带的装置的识别来指定检测到的用户的身份。可以将指定用户登录到信息处理设备100中。自然，也可以将能够登录的账户限定为指定用户。另外，信息处理设备100能够根据用户位置或用户状态针对不同目的使用距离传感器507、触摸检测部分509和接近传感器511，并接收来自用户的操作。
另外，信息处理设备100通过通信部分150与外网连接。与外网的连接模式是有线的或无线的并不重要。信息处理设备100能够通过通信部分150与其它装置通信，例如移动终端，例如用户携带的智能电话、或平板终端。可以通过组合信息处理设备100、移动终端和平板终端这三种设备创建所谓的“3屏”结构。信息处理设备100能够在比其它两个屏幕更大的屏幕上提供三个屏幕协作的UI。
例如，通过在后台（background）执行诸如用户在屏上执行触摸操作、或者使携带终端接近信息处理设备100的动作，在信息处理设备100和对应的携带终端之间进行对作为实际目标操作对象的运动图像、静止图像、文本内容等的数据发送和接收。另外，在外网上安装云服务器等，并且3屏可以使用云服务器等的计算能力，并通过信息处理设备100接收云计算的益处。
B.被摄体检测处理
在根据本实施例的信息处理设备100中，图像识别部分504对由相机部分503拍摄的图像执行图像识别，并且能够基于脸部识别执行身份验证、或者基于脸部表情或手的形状识别执行手势输入。
图像识别部分504在图像识别处理期间通过在由相机部分503拍摄的图像上扫描模板图像、并执行模式匹配，检测作为诸如脸部的识别对象的被摄体（如前所述）。
另外，如果姿势不合适，例如以相机的光轴作为中心旋转拍摄图像中的脸部图像，则没有实现与模板图像的模式匹配，并且存在脸部检测准确度被降低的问题。
特别地，由于根据本实施例的信息处理设备100通过旋转/附连机构部分180以可旋转、可附连和可拆卸的状态被附连到墙面上，所以安装在设备100的主体上的相机部分503的光轴旋转到任意的旋转角。另外，在由相机部分503拍摄正对信息处理设备100的大屏幕的用户的图像的情况下，即使用户不改变其自身脸部的姿势，拍摄图像中的用户的脸部图像也根据相机部分503的光轴的旋转角而倾斜。当信息处理设备100的主体相对于旋转/附连机构部分180旋转时，相机部分503的光轴和大屏幕的光轴以滚动轴旋转进行旋转。
这里，如图7A所示，在x平面、y平面和z平面上定义相机部分503的光轴的方向（φc,θc,ψc）。然而，φc在xz平面上的z轴的正方向上被设为0度，θc在yz平面上的z轴的正方向上被设为0度，以及ψc在xy平面上的y轴的正方向上被设为0度。如图1所示，在信息处理设备100的大屏幕为水平的状态下，相机部分503被固定在屏幕的上边缘的大致中心的位置处。下面，相机部分503的光轴的方向(φc,θc,ψc)被处理为匹配大屏幕的光轴方向(φd,θd,ψd)。如图7B所示，在信息处理设备100的大屏幕为水平的状态下正对前方的方向被定义为相机部分503的光轴和大屏幕的光轴的参考方向(0,0,0)。
在信息处理设备100的主体被附连到墙的状态下，当旋转位置被设置为如图1所示的大屏幕为水平的姿势时，相机部分503的光轴的方向为参考方向(φc,θc,ψc)=(0,0,0)。另外，当旋转位置被设置为如图3所示的大屏幕为垂直的姿势时，相机部分503的光轴的方向为(φc,θc,ψc)=(0,0,90°)。
如图8所示，如果由光轴方向被设置为(φc,θc,ψc)=(0,0,0)的相机部分503拍摄大屏幕前方的直立用户的图像，则水平的拍摄图像中的用户的脸部或手的垂直方向匹配拍摄图像的垂直方向。因此，在图像识别部分504中，可以通过执行与指定（即，未倾斜）的模板图像的模式匹配来检测用户的脸部或手。
同时，当由光轴方向被设置为(φc,θc,ψc)=(0,0,90°)的相机部分503拍摄大屏幕前方的直立用户的图像时，如图9所示，仅使用从拍摄图像的垂直方向的滚动轴旋转（附图的上部的顺时针方向），将水平的拍摄图像中的用户的脸部或手的垂直方向旋转90度。因此，在图像识别部分504中，即使与指定（即，倾斜度固定）的模板图像实现了模式匹配，匹配的程度也较低，并且难以检测用户的脸部或手。
另外，在信息处理设备100的主体从墙被移除并处在桌面状态下（即大屏幕被平放）的状态下，相机部分503的光轴方向为(φc,θc,ψc)=(0,90°,0)；然而，多个用户能够从大屏幕的四个方向观看显示的图像。图10中示出此时由相机部分503拍摄的图像的示例；然而，拍摄图像中的用户的脸部或手的垂直方向对于观看屏幕的用户的每个站立位置（即，对于显示在拍摄图像中的每个区域）被混合。所以，即使与指定（即，倾斜度固定）的模板图像实现了模式匹配，匹配的程度也较低，并且存在难以检测用户的脸部或手的区域。
在对计算处理量没有严格限制的系统中，可以参考假定的脸部的全部倾斜度和手的全部取向执行检测处理；然而，由于假定的角度，存在极高的处理负荷。
在信息处理设备100的实际使用状态中，拍摄图像中的脸部图像或手图像的垂直方向不是以一致的频率倾斜到其相应的角度，而是被认为存在高频率倾斜、低频率倾斜和很少出现的倾斜。因此，参考假定的全部角度执行对脸部图像或手图像的检测处理是低效率的。另外，即使对于低频率倾斜，执行类似于高频率倾斜的检测处理也会不必要地增加处理负荷。
例如，在信息处理设备100的主体被附连到墙使得大屏幕被水平布置（即，相机部分503的光轴方向为(φc,θc,ψc)=(0,0,0)）的使用状态中，如果认为用户通常直立在地板上，则拍摄图像中的大部分的脸部图像和手图像的垂直方向与拍摄图像的垂直方向匹配。脸部图像的垂直方向由于用户将其头部倾斜或执行手势而倾斜至大约45度以相对高频率发生。另外，在用户躺下等情况下脸部图像的垂直方向倾斜至大约90度以低频率发生。然而，脸部图像的垂直方向完全颠倒（即，倾斜180度）可以说相当于没有发生过。
另外，在信息处理设备100的主体被附连到墙使得屏幕被垂直布置（即，相机部分503的光轴方向为(φc,θc,ψc)=(0,0,90)）的使用状态中，如果认为用户通常直立在地板上，则拍摄图像中的大部分的脸部图像和手图像的垂直方向相对于拍摄图像的垂直方向（即，滚动轴旋转）仅倾斜90度。脸部图像的垂直方向由于用户将其头部倾斜或执行手势而倾斜至大约45度以相对高频率发生。另外，在用户躺下等情况下脸部图像的垂直方向倾斜至大约90度以低频率发生。然而，在用户躺下的情况下，脸部图像的垂直方向与拍摄图像的垂直方向匹配或完全颠倒（即，倾斜度是0度或180度）可以说以低频率发生。
另一方面，在信息处理设备100的主体从墙被移除并处于桌面状态、即平放（即，相机部分503的光轴的方向为(φc,θc,ψc)=(0,90°,0)）的使用状态中，如果考虑多个用户从大屏幕的四个方向观看显示的图像，则拍摄图像中的大部分的脸部图像和手图像的垂直方向与用户观看大屏幕的方向（换句话说，相机部分503的图像拍摄面）匹配。用户观看相机部分503的图像拍摄面的方向对应于用户相对于相机部分503的光轴方向ψc的角度位置（暂时被设置为角度α）。脸部图像的垂直方向由于用户将其头部倾斜或执行手势而相对于α倾斜至大约±45度以相对高频率发生。然而，在用户躺下等情况下脸部图像的垂直方向相对于α倾斜至大约±90度以低频率发生。另外，脸部图像的垂直方向与α完全颠倒（即，倾斜180度）可以说相当于没有发生过。
这里，在本实施例中，如图11所示，为每个检测被摄体（例如脸部或手）准备垂直方向倾斜0度、±45度、±90度和±180度的多个模板图像。另外，图像识别部分504根据信息处理设备100的实际使用状态对多个模板图像中的每个进行优先级排序，使用根据优先级的频率扫描每个模板图像，以及执行对期望的被摄体（例如用户的脸部或手）的检测处理。可以通过以高频率使用具有高出现概率的倾斜度的模板图像来提高检测效率和检测精确度。另外，可以通过以低频率使用具有低出现概率的模板图像来减少处理负荷。
这里，信息处理设备100的使用状态表示信息处理设备100的主体处于墙状态（即，附连到墙的状态）、或者桌面状态（即，平放状态）。另外，在信息处理设备100的主体处于附连到墙的状态的情况下，大屏幕是水平的还是垂直的，即相机部分503的光轴（滚动轴旋转）的旋转位置ψc也表示使用状态。另外，在信息处理设备100的主体处于平放状态的情况下，用户观看大屏幕的方向也表示使用状态，并且由相对于相机部分503的光轴的方向ψc的角度位置α来表示。简言之，换句话说，信息处理设备100的使用状态可被表示为相机部分503的光轴的方向（φc,θc,ψc）。
例如，在信息处理设备100的主体被附连到墙使得大屏幕被水平布置、并且相机部分503的光轴方向被设置为(φc,θc,ψc)=(0,0,0)的状态中，拍摄图像中的大部分的脸部图像和手图像的垂直方向与拍摄图像的垂直方向匹配。这里，将具有0度倾斜度的模板图像设置为最高优先级。另外，脸部图像的垂直方向由于用户将其头部倾斜或执行手势而倾斜至大约45度以相对高频率发生。因此，将具有±45度倾斜度的模板图像设置为高优先级。另外，在用户躺下等情况下脸部图像的垂直方向倾斜至大约90度以低频率发生。这里，将具有±90度倾斜度的模板图像设置为低优先级。另外，脸部图像的垂直方向完全颠倒（即，倾斜180度）相当于没有发生过。这里，将具有180度倾斜度的模板图像设置为最低优先级。在图12中，示出在相机部分503的光轴的方向被设置为(φc,θc,ψc)=(0,0,0)的使用状态中为每个模板图像设置的优先级。图像识别部分504以根据相应的优先级的频率使用每个模板图像，并从由相机部分503拍摄的图像执行对被摄体（例如脸部或手）的检测处理。
在信息处理设备100的主体被附连到墙使得大屏幕被垂直布置、并且相机部分503的光轴方向被设置为(φc,θc,ψc)=(0,0,90°)的状态中，拍摄图像中的大部分的脸部图像和手图像的垂直方向相对于拍摄图像的垂直方向（或滚动轴旋转）仅倾斜90度。这里，将具有90度倾斜度的模板图像设置为最高优先级。另外，脸部图像的垂直方向由于用户将其头部倾斜或执行手势而倾斜至大约45度以相对高频率发生。因此，将具有45度（和135度）倾斜度的模板图像设置为高优先级。另外，在用户躺下等情况下脸部图像的垂直方向倾斜至大约90度以低频率发生。这里，将具有0度和180度倾斜度的模板图像设置为低优先级。另外，在用户躺下情况下脸部图像的垂直方向与拍摄图像的垂直方向匹配或完全颠倒以低频率发生。这里，将具有270度倾斜度的模板图像设置为最低优先级（参考图13）。
另一方面，在信息处理设备100的主体从墙被移除并平放、并且相机部分503的光轴的方向被设置为(φc,θc,ψc)=(0,90°,0)的使用状况中，拍摄图像中的大部分的脸部图像和手图像的垂直方向与用户观看大屏幕的方向（换句话说，相机部分503的图像拍摄面）匹配。
这里，用户观看相机部分503的图像拍摄面的方向对应于用户相对于相机部分503的光轴方向ψc的角度位置α。脸部图像的垂直方向由于用户将其头部倾斜或执行手势相对于α而倾斜至大约±45度以相对高频率发生。然而，在用户躺下等情况下脸部图像的垂直方向相对于α倾斜至大约±90度以低频率发生。另外，脸部图像的垂直方向与α完全颠倒（即，倾斜180度）相当于没有发生过。
例如，在用户的角度位置α在0度附近的区域中，具有0度倾斜度的模板图像被设置为最高优先级，具有±45度倾斜度的模板图像被设置为高优先级，具有±90度倾斜度的模板图像被设置为低优先级，以及具有180度倾斜度的模板图像被设置为最低优先级。另外，在用户的角度位置α在-90度附近的区域中，具有-90度倾斜度的模板图像被设置为最高优先级，具有-45度和-135度倾斜度的模板图像被设置为高优先级，具有0度和180度倾斜度的模板图像被设置为低优先级，以及具有90度倾斜度的模板图像被设置为最低优先级。另外，在用户的角度位置α在45度附近的区域中，具有45度倾斜度的模板图像被设置为最高优先级，具有0度和90度倾斜度的模板图像被设置为高优先级，具有-45度和135度倾斜度的模板图像被设置为低优先级，以及具有225度倾斜度的模板图像被设置为最低优先级（参考图14）。简言之，在由相机部分503拍摄的图像中，可以概括为，在用户的角度位置为α的区域中，具有α倾斜度的模板图像被设置为最高优先级，具有θ±45度倾斜度的模板图像被设置为高优先级，具有α±90度倾斜度的模板图像被设置为低优先级，以及具有α+180度倾斜度的模板图像被设置为最低优先级。
在图15中，示意性示出被摄体检测部分1500的功能配置，该被摄体检测部分从由图像识别部分504中的相机部分503拍摄的图像中检测诸如用户的脸部或手的被摄体。
相机部分503拍摄在信息处理设备100所包括的大屏幕前方的用户的图像（例如，参考图8至10），并将拍摄的图像提供到被摄体检测部分1500。相机部分503例如在一秒期间执行N次图像拍摄，并将拍摄图像输出到被摄体检测部分1500。另外，被摄体检测部分1500以根据信息处理设备100的使用状态的频率，使用脸部、手等的多个模板图像中的每个，从每秒N个图像帧中检测诸如用户的脸部或手的被摄体。
如图15所示，被摄体检测部分1500包括：使用状态确定部分1501、模板图像保持部分1502、模板图像供应部分1503、以及模式匹配处理部分1504。
使用状态确定部分1501确定信息处理设备100的实际使用状态。信息处理设备100的使用状态表示信息处理设备100的主体的大屏幕是否处于墙状态（即，附连到墙）（例如，参考图1和图8）、或处于桌面状态（即，平放）（例如参考图3A和图9）。在信息处理设备100的主体被附连到墙的状态的情况下，大屏幕是水平的还是垂直的、即相机部分503的光轴（滚动轴旋转）的旋转位置ψc也表示使用状态。另外，在信息处理设备100的主体被平放的状态的情况下（例如，参考图2A和图10），用户观看大屏幕的方向也表示使用状态，并且观看角由相对于相机部分503的光轴的方向ψc的角度位置α来表示。使用状态确定部分1501例如能够基于3轴传感器515的输出信息、由相机部分503拍摄的图像的分析结果等来确定使用状态。
如图11所示，模板图像保持部分1502为作为检测目标的每个被摄体（诸如人的脸部或手）保持具有不同垂直方向倾斜度的多个模板图像。另外，由于拍摄图像中的被摄体的图像尺寸根据被摄体的远近而不同，所以需要执行归一化处理，或者准备具有不同尺寸的模板图像，在这些模板图像中垂直方向的倾斜度相同。然而，在本说明书中，为了简化说明，被摄体（例如包括在拍摄图像中的用户的脸部）的图像的尺寸被处理为进行归一化。
模板图像供应部分1503根据由使用状态确定部分1501确定的信息处理设备100的使用状态对指定检测目标的被摄体（例如脸部）的每个模板图像进行优先级排序，并以根据优先级的频率将模板图像供应到模式匹配处理部分1504。
使用状态确定部分1501确定信息处理设备100的主体被附连到墙使得大屏幕被水平布置，即处于相机部分503的光轴的方向被设置为(φc,θc,ψc)=(0,0,0)的使用状态中。在该情况下，如图12所示，模板图像供应部分1503将具有0度倾斜度的模板图像设置为最高优先级，将具有±45度倾斜度的模板图像设置为次高优先级，将具有±90度倾斜度的模板图像设置为低优先级，以及将具有180度倾斜度的模板图像设置为最低优先级。
另外，使用状态确定部分1501确定信息处理设备100的主体被附连到墙使得大屏幕被垂直布置，即处于相机部分503的光轴的方向被设置为(φc,θc,ψc)=(0,0,90°)的使用状态中。在该情况下，如图13所示，模板图像供应部分1503将具有90度倾斜度的模板图像设置为最高优先级，将具有45度（和135度）倾斜度的模板图像设置为次高优先级，将具有0度和180度倾斜度的模板图像设置为低优先级，以及将具有270度倾斜度的模板图像设置为最低优先级。
另外，使用状态确定部分1501确定信息处理设备100的主体从墙被移除并平放，即处于相机部分503的光轴的方向被设置为(φc,θc,ψc)=(0,90°,0)的使用状态中。在该情况下，如图14所示，在用户的角度位置在由相机部分503拍摄的图像中为α的区域中，模板图像供应部分1503将具有α倾斜度的模板图像设置为最高优先级，将具有θ±45度倾斜度的模板图像设置为高优先级，将具有α±90度倾斜度的模板图像设置为低优先级，以及将具有α+180度倾斜度的模板图像设置为最低优先级。
另外，模板图像供应部分1503以根据每个模板图像的相应的优先级的频率将每个模板图像输出到模式匹配处理部分1504。例如，以十次中的四次的频率输出具有最高优先级的模板图像，以十次中的两次的频率输出具有次高优先级的模板图像，以十次中的一次的频率输出具有低优先级的模板图像，以及根本不输出具有最低优先级的模板图像。
在相机部分503的光轴方向被设置为(φc,θc,ψc)=(0,0,0)的使用状态中，例如，如图16所示，模板图像供应部分1503以十次中的四次的频率输出具有0度倾斜度的模板图像，以十次中的两次的频率输出具有±45度倾斜度的模板图像，以及以每十次中的一次的频率各自输出具有±90度倾斜度的模板图像。
另外，在相机部分503的光轴方向被设置为(φc,θc,ψc)=(0,0,90°)的使用状态中，例如，如图17所示，模板图像供应部分1503以十次中的四次的频率输出具有90度倾斜度的模板图像，以十次中的两次的频率各自输出具有45度（和135度）倾斜度的模板图像，以及以每十次中的一次的频率各自输出具有0度和180度倾斜度的模板图像。
另外，在信息处理设备100的主体从墙被移除并平放、并且相机部分503的光轴的方向被设置为(φc,θc,ψc)=(0,90°,0)的使用状态中，模板图像供应部分1503以根据用户在由相机部分503拍摄的图像中的角度位置α的频率输出每个模板图像。例如，如图18中以灰色所示，当在用户的角度位置α为-90度的区域中检测脸部图像（被摄体）时，以十次中的四次的频率输出具有-90度倾斜度的模板图像，以十次中的两次的频率各自输出具有-45度和-135度倾斜度的模板图像，并以十次中的一次的频率各自输出具有0度和180度倾斜度的模板图像。
例如以每秒N帧的帧速将拍摄图像从相机部分503输入到模式匹配处理部分1504。例如，N=10。另外，如图16至图18所示，以根据信息处理设备100的主体的使用状态的频率，分别将模板图像从模板图像供应部分1503供应到模式匹配处理部分1504。模式匹配处理部分1504通过使用从模板图像供应部分1503供应的模板图像对以10fps从相机部分503输入的拍摄图像执行模式匹配，顺次执行脸部图像检测。
例如，在相机部分503的光轴方向被设置为(φc,θc,ψc)=(0,0,0)的使用状态中，如图19所示，假定拍摄图像中的脸部图像的倾斜度位于0度附近。因此，如图16所示，当以十次中的四次的频率使用具有0度倾斜度的模板图像、以十次中的两次的频率各自使用具有±45度倾斜度的模板图像、以及以十次中的一次的频率各自使用具有±90度倾斜度的模板图像关于以10fps从相机部分503输入的拍摄图像执行模式匹配时，模式匹配处理部分1504可以减少处理负荷并有效检测脸部图像。
另外，在相机部分503的光轴方向被设置为(φc,θc,ψc)=(0,0,90°)的使用状态中，如图20所示，假定拍摄图像中的脸部图像的倾斜度位于90度附近。因此，如图17所示，当以十次中的四次的频率使用具有90度倾斜度的模板图像、以十次中的两次的频率各自使用具有45度（和135度）倾斜度的模板图像、以及以十次中的一次的频率各自使用具有0度和180倾斜度的模板图像关于以10fps从相机部分503输入的拍摄图像执行模式匹配时，模式匹配处理部分1504可以减少处理负荷并有效检测脸部图像。
另外，在信息处理设备100的主体从墙被移除并平放、并且相机部分503的光轴的方向被设置为(φc,θc,ψc)=(0,90°,0)的使用状态中，例如，当在用户的角度位置α为-90度的、如图21所示的拍摄图像中以灰色示出的区域中执行脸部检测时，假定脸部图像的倾斜度在-90度附近。因此，如图18所示，当以十次中的四次的频率使用具有-90度倾斜度的模板图像、以十次中的两次的频率各自使用具有-45度和-135度倾斜度的模板图像、以及以十次中的一次的频率各自使用具有0度和180倾斜度的模板图像关于以10fps从相机部分503输入的拍摄图像执行模式匹配时，模式匹配处理部分1504可以减少处理负荷并有效检测脸部图像。
图像识别部分504经由输入接口综合部分520将被摄体检测结果（例如被摄体检测部分1500中的脸部图像）输出到计算部分120。在计算部分120中，可以基于检测到的脸部图像将被摄体检测结果用于各种用途，例如脸部识别、身份认证、或手势输入。
在图22中，以流程图的格式示出被摄体检测部分1500从拍摄图像中检测期望的被摄体的处理过程。
使用状态确定部分1501例如基于来自3轴传感器515的输出信息、由相机部分503拍摄的图像的分析结果等，确定当相机部分503拍摄图像时的信息处理设备100的使用状态（步骤S2201）。
模板图像供应部分1503根据由使用状态确定部分1501确定的信息处理设备100的使用状态对指定检测目标的被摄体（例如脸部）的每个模板图像进行优先级排序，并且以根据优先级的频率将模板图像供应到模式匹配处理部分1504（步骤S2202）。
模式匹配处理部分1504使用以根据优先级的频率从模板图像供应部分1503供应的模板图像，关于以10fps从相机部分503输入的拍摄图像执行匹配处理（步骤S2203）。
另外，当从拍摄图像中检测到与模板图像匹配的区域时（步骤S2204中为是），模式匹配处理部分1504通过将检测结果输出到计算部分120来结束本处理例程（步骤S2205）。
另外，当模式匹配处理部分1504无法从模板图像中检测到与模板图像匹配的区域时（步骤S2204中为否），处理返回到步骤S2202，并使用下一次从模板图像供应部分1503供应的模板图像（具有不同倾斜度），关于从相机部分503输入的拍摄图像重复模式匹配。
C.根据使用状态对拍摄图像的优化处理
已知自拍（用户通过将相机部分530的镜头面向其自己的身体而使其自身成为被摄体）是集成有设备主体和相机的信息终端（例如根据本实施例的信息处理设备100中）的一种使用状态（例如，参考日本待审专利申请公开第2011-19051号）。
在普通相机中，在用户使镜头面向其自身的状态中，由于取景器面向相对侧，并且用户可能无法检验构图，因此难以按预期地拍摄图像。作为对比，在相机部分503的光轴和大屏幕的光轴面对相同方向的情况下，例如在根据本实施例的信息处理设备100中，用户能够在通过观看大屏幕上显示的拍摄图像来检查构图的同时进行自拍。
如上所述，通过旋转/附连机构部分180以可旋转、可附连和可拆卸的状态将信息处理设备100的主体设置在墙上，并且信息处理设备100的主体可以将旋转位置设置为大屏幕为水平的姿势、或者大屏幕为垂直的姿势。当考虑在用户自拍期间通过观看大屏幕来验证构图时，即使大屏幕位于水平或垂直旋转位置，也需要均匀地布置由相机部分503拍摄的图像的垂直位置，以及面对并显示拍摄图像中的用户的影像。
例如，在信息处理设备100的主体的旋转位置被设置为使得大屏幕具有水平姿势的状态中，如图23所示，需要显示由相机部分503拍摄的图像使得垂直方向正确。类似地，在信息处理设备100的主体的旋转位置被设置为使得大屏幕具有垂直姿势的状态中，如图24所示，需要显示由相机部分503拍摄的图像使得垂直方向正确。
然而，在信息处理设备100的主体的旋转位置被设置为使得大屏幕具有垂直姿势的状态中，由于相机部分503的光轴方向变为(φc,θc,ψc)=(0,0,90°)，所以拍摄图像变为如图25所示。另外，在信息处理设备100的主体的旋转位置被设置为使得大屏幕具有垂直姿势的状态中，大屏幕的光轴（滚动轴旋转）旋转90度并且变为(φd,θd,ψd)=(0,0,90°)。所以，当在具有正对(φd,θd,ψd)=(0,0,90°)的光轴的大屏幕上显示图25中所示的拍摄图像时，拍摄图像的光轴变为(0,0,90+90°)，并且垂直方向如图26所示完全颠倒。
这里，在本实施例中，基于用户用来自拍的相机部分503的光轴的方向的位移和显示由相机部分503拍摄的自拍图像的大屏幕的光轴的方向的位移，在信息处理设备100内部对拍摄图像的显示进行优化，使得显示在大屏幕上的拍摄图像的垂直方向被校正，以及显示并正对用户的影像。
例如，如图27所示，在通过仅关于ψ轴旋转将大屏幕的光轴移动Δψc而使得(φd,θd,ψd)=(0,0,Δψd)，以及通过仅关于ψ轴旋转将相机部分503的光轴移动Δψc而设置(φc,θc,ψc)=(0,0,Δψc)的情况下，拍摄图像关于ψ轴旋转被旋转-(Δψc+Δψd)，并且在光轴被设置为(ψp,θp,ψp)=(0,0,0)的状态中被显示。
在如本实施例中的将信息处理设备100的主体和相机部分503集成的情况下，实现Δψc=Δψd。另外，在图25和图26所示的示例中，Δψc=Δψd=-90°。因此，关于自拍的拍摄图像，可以通过关于ψ轴旋转被旋转(Δψc+Δψd)=-180°来优化拍摄图像的垂直方向，以便如果被显示在大屏幕上则是正确的。
例如，在计算部分120中执行对在进行自拍时由相机部分拍摄的图像的优化处理。图28中示意性示出对由相机部分503拍摄的图像执行优化处理的功能配置。
当利用相机部分503执行自拍时，使用状态检测部分2801检测信息处理设备100的使用状态。这里，具体地，使用状态是进行自拍的相机部分503的光轴的方向(φc,θc,ψc)和显示拍摄图像的大屏幕的光轴的方向(φd,θd,ψd)。使用状态检测部分2801例如能够基于3轴传感器515的输出信息、由相机部分503拍摄的图像的分析结果等检测使用状态。
当从使用状态检测部分2801输入相机部分503的光轴的方向(φc,θc,ψc)和大屏幕的光轴的方向(φd,θd,ψd)时，优化部分2802执行优化处理使得当在大屏幕上显示由相机部分503拍摄的图像时垂直方向被校正。
在图29中，以流程图格式示出用于对由相机部分503拍摄的图像执行优化处理的处理过程。所示的处理过程例如以计算部分120执行预定图像处理应用的形式来实现。
使用状态检测部分2801例如基于3轴传感器515的输出信息、由相机部分503拍摄的图像的分析结果等来检测信息处理设备100的实际使用状态（步骤2901）。作为使用状态，具体地，检测相机部分503的光轴方向(φc,θc,ψc)和信息处理设备100的大屏幕的光轴方向(φd,θd,ψd)。
另外，从相机部分503输入拍摄图像（步骤S2902）。
当从使用状态检测部分2801输入相机部分503的光轴方向(φc,θc,ψc)和信息处理设备100的大屏幕的光轴方向(φd,θd,ψd)时，优化部分2802计算关于拍摄图像的校正量（步骤S2903）。
例如，在检测到相机部分503的光轴通过在ψ轴方向上移动Δψc而变为(φc,θc,ψc)=(0,0,Δψc)、且大屏幕的光轴通过仅在ψ轴方向上移动Δψd而变为(φd,θd,ψd)=(0,0,Δψd)的情况下，计算ψ轴旋转的-(Δψc+Δψd)作为拍摄图像的校正量。
另外，优化部分2802基于计算的校正量校正拍摄图像（步骤S2904）。校正后的拍摄图像被显示在大屏幕上（步骤S2905）。对于在大屏幕上显示的拍摄图像，由于显示垂直方向被校正的用户的影像，如图27所示，用户能够面对并观察该影像。
另外，本说明书中公开的技术能够采用如下配置。
（1）一种图像处理设备，包括：
使用状态确定部分，确定相机部分的使用状态；以及
被摄体检测部分，使用多个方法从由所述相机部分拍摄的图像中检测被摄体，
其中，所述被摄体检测部分通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
（2）根据权利要求（1）所述的图像处理设备，其中，所述被摄体检测部分包括所述被摄体的多个模板图像，基于所述使用状态对所述多个模板图像进行优先级排序，以及通过以根据优先级的频率对每个模板图像执行与所拍摄的图像的模式匹配来检测所述被摄体。
（3）根据权利要求（2）所述的图像处理设备，其中，所述使用状态确定部分确定在所述相机部分拍摄所述被摄体的图像时的姿势，以及
所述被摄体检测部分根据所述相机部分的所述姿势对所述被摄体的倾斜度不同的多个模板图像进行优先级排序，以及通过以根据优先级的频率对倾斜度不同的每个模板图像执行与所拍摄的图像的模式匹配来检测所述被摄体。
（4）根据权利要求（3）所述的图像处理设备，
其中，所述使用状态确定部分确定在所述相机部分拍摄所述被摄体的图像时的光轴的方向，以及
所述被摄体检测部分基于所确定的光轴方向对每个模板图像进行优先级排序，以及通过以根据优先级的频率对倾斜度不同的每个模板图像执行与所拍摄的图像的模式匹配来检测被摄体。
（5）根据权利要求（4）所述的图像处理设备，
其中，所述使用状态确定部分确定所述相机部分的光轴的滚动旋转的旋转角，以及
所述被摄体检测部分对具有如下倾斜度的模板图像给予更高的优先级，该倾斜度接近于所述相机部分的光轴的滚动旋转的旋转角。
（6）根据权利要求（3）所述的图像处理设备，其中，所述被摄体检测部分针对所拍摄的图像的每个区域对每个模板图像进行优先级排序，以及通过以根据优先级的频率对倾斜度不同的每个模板图像执行与所拍摄的图像的模式匹配来检测所述被摄体。
（7）根据权利要求（6）所述的图像处理设备，其中，当所述相机部分的光轴面向垂直方向时，所述被摄体检测部分针对所拍摄的图像的每个区域，根据该区域相对于图像拍摄设备的光轴的角位置对每个模板图像进行优先级排序。
（8）一种图像处理设备，包括：
使用状态检测部分，检测相机部分的使用状态；以及
优化部分，基于所述使用状态优化由所述相机部分拍摄的图像。
（9）根据权利要求（8）所述的图像处理设备，还包括：显示部分，在屏幕上显示所拍摄的图像；
其中，所述优化部分优化对用户进行拍摄的所拍摄的图像，以便正对用户显示在屏幕上。
（10）根据权利要求（9）所述的图像处理设备，
其中，所述使用状态检测部分检测所述相机部分的光轴的方向和屏幕的光轴的方向，以及
所述优化部分基于所述相机部分的光轴的方向和屏幕的光轴的方向优化所拍摄的图像。
（11）根据权利要求（9）所述的图像处理设备，
其中，所述使用状态检测部分检测所述相机部分的光轴的滚动轴旋转的旋转Δψc和所述屏幕的光轴的滚动旋转的旋转Δψd，以及
所述优化部分使得所拍摄的图像对于ψ轴旋转以-(Δψc+Δψd)对应量进行旋转。
（12）一种图像处理方法，包括：
确定相机部分的使用状态；以及
使用多个方法从由所述相机部分拍摄的图像中检测被摄体，
其中，在检测所述被摄体时，通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
（13）一种图像处理方法，包括：
检测相机部分的使用状态；以及
基于所述使用状态优化由所述相机部分拍摄的图像。
（14）一种图像拍摄设备，包括：
相机部分；
使用状态确定部分，确定所述相机部分的使用状态；以及
被摄体检测部分，使用多个方法从由所述相机部分拍摄的图像中检测被摄体，
其中，所述被摄体检测部分通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
（15）一种图像拍摄设备，包括：
相机部分；
使用状态检测部分，检测所述相机部分的使用状态；以及
优化部分，基于所述使用状态优化由所述相机部分拍摄的图像。
（16）一种以计算机可读格式记录的计算机程序，使得计算机用作：
使用状态确定部分，确定相机部分的使用状态；以及
被摄体检测部分，使用多个方法从由所述相机部分拍摄的图像中检测被摄体；
其中，所述被摄体检测部分通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
（17）一种以计算机可读格式记录的计算机程序，使得计算机用作：
使用状态检测部分，检测相机部分的使用状态；以及
优化部分，基于所述使用状态优化由所述相机部分拍摄的图像。
本领域技术人员应当理解，根据设计要求和其它因素可以进行各种修改、组合、子组合和替换，只要其落入所附权利要求或其等同物的范围内即可。

Claims (17)

1.一种图像处理设备，包括：
使用状态确定部分，确定相机部分的使用状态；以及
被摄体检测部分，使用多个方法从由所述相机部分拍摄的图像中检测被摄体，
其中，所述被摄体检测部分通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
2.根据权利要求1所述的图像处理设备，其中，所述被摄体检测部分包括所述被摄体的多个模板图像，基于所述使用状态对所述多个模板图像进行优先级排序，以及通过以根据优先级的频率对每个模板图像执行与所拍摄的图像的模式匹配来检测所述被摄体。
3.根据权利要求2所述的图像处理设备，其中，所述使用状态确定部分确定在所述相机部分拍摄所述被摄体的图像时的姿势，以及
所述被摄体检测部分根据所述相机部分的所述姿势对所述被摄体的倾斜度不同的多个模板图像进行优先级排序，以及通过以根据优先级的频率对倾斜度不同的每个模板图像执行与所拍摄的图像的模式匹配来检测所述被摄体。
4.根据权利要求3所述的图像处理设备，
其中，所述使用状态确定部分确定在所述相机部分拍摄所述被摄体的图像时的光轴的方向，以及
所述被摄体检测部分基于所确定的光轴方向对每个模板图像进行优先级排序，以及通过以根据优先级的频率对倾斜度不同的每个模板图像执行与所拍摄的图像的模式匹配来检测被摄体。
5.根据权利要求4所述的图像处理设备，
其中，所述使用状态确定部分确定所述相机部分的光轴的滚动旋转的旋转角，以及
所述被摄体检测部分对具有如下倾斜度的模板图像给予更高的优先级，该倾斜度接近于所述相机部分的光轴的滚动旋转的旋转角。
6.根据权利要求3所述的图像处理设备，其中，所述被摄体检测部分针对所拍摄的图像的每个区域对每个模板图像进行优先级排序，以及通过以根据优先级的频率对倾斜度不同的每个模板图像执行与所拍摄的图像的模式匹配来检测所述被摄体。
7.根据权利要求6所述的图像处理设备，其中，当所述相机部分的光轴面向垂直方向时，所述被摄体检测部分针对所拍摄的图像的每个区域，根据该区域相对于图像拍摄设备的光轴的角位置对每个模板图像进行优先级排序。
8.一种图像处理设备，包括：
使用状态检测部分，检测相机部分的使用状态；以及
优化部分，基于所述使用状态优化由所述相机部分拍摄的图像。
9.根据权利要求8所述的图像处理设备，还包括：显示部分，在屏幕上显示所拍摄的图像；
其中，所述优化部分优化对用户进行拍摄的所拍摄的图像，以便正对用户显示在屏幕上。
10.根据权利要求9所述的图像处理设备，
其中，所述使用状态检测部分检测所述相机部分的光轴的方向和屏幕的光轴的方向，以及
所述优化部分基于所述相机部分的光轴的方向和屏幕的光轴的方向优化所拍摄的图像。
11.根据权利要求9所述的图像处理设备，
其中，所述使用状态检测部分检测所述相机部分的光轴的滚动轴旋转的旋转Δψc和所述屏幕的光轴的滚动旋转的旋转Δψd，以及
所述优化部分使得所拍摄的图像对于ψ轴旋转以-(Δψc+Δψd)对应量进行旋转。
12.一种图像处理方法，包括：
确定相机部分的使用状态；以及
使用多个方法从由所述相机部分拍摄的图像中检测被摄体，
其中，在检测所述被摄体时，通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
13.一种图像处理方法，包括：
检测相机部分的使用状态；以及
基于所述使用状态优化由所述相机部分拍摄的图像。
14.一种图像拍摄设备，包括：
相机部分；
使用状态确定部分，确定所述相机部分的使用状态；以及
被摄体检测部分，使用多个方法从由所述相机部分拍摄的图像中检测被摄体，
其中，所述被摄体检测部分通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
15.一种图像拍摄设备，包括：
相机部分；
使用状态检测部分，检测所述相机部分的使用状态；以及
优化部分，基于所述使用状态优化由所述相机部分拍摄的图像。
16.一种图像处理设备，包括：
用于确定相机部分的使用状态的装置；以及
用于使用多个方法从由所述相机部分拍摄的图像中检测被摄体的装置；
其中，在检测所述被摄体时，通过基于所述使用状态对所述多个方法进行优先级排序，从所拍摄的图像中检测所述被摄体。
17.一种图像处理设备，包括：
用于检测相机部分的使用状态的装置；以及
用于基于所述使用状态优化由所述相机部分拍摄的图像的装置。
CN201310562387.5A 2012-11-19 2013-11-12 图像处理设备、图像处理方法和图像拍摄设备 Active CN103826057B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012252924A JP6058978B2 (ja) 2012-11-19 2012-11-19 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム
JP2012-252924 2012-11-19

Publications (2)

Publication Number Publication Date
CN103826057A true CN103826057A (zh) 2014-05-28
CN103826057B CN103826057B (zh) 2018-10-23

Family

ID=50727451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310562387.5A Active CN103826057B (zh) 2012-11-19 2013-11-12 图像处理设备、图像处理方法和图像拍摄设备

Country Status (3)

Country Link
US (1) US9250698B2 (zh)
JP (1) JP6058978B2 (zh)
CN (1) CN103826057B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399325A (zh) * 2018-02-01 2018-08-14 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN109756763A (zh) * 2017-11-03 2019-05-14 三星电子株式会社 用于基于优先级处理图像的电子装置及其操作方法
CN111582180A (zh) * 2020-05-09 2020-08-25 浙江大华技术股份有限公司 车牌定位方法、图像处理装置及具有存储功能的装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
EP2927902A4 (en) * 2012-11-27 2016-07-06 Sony Corp DISPLAY DEVICE, DISPLAY PROCESS AND COMPUTER PROGRAM
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
WO2015064144A1 (ja) * 2013-10-30 2015-05-07 オリンパスイメージング株式会社 撮像装置、撮像方法およびプログラム
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR20150130808A (ko) * 2014-05-14 2015-11-24 삼성전자주식회사 사용자의 공간 제스처를 식별하는 방법 및 장치
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
KR20160028272A (ko) * 2014-09-03 2016-03-11 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP6332212B2 (ja) * 2015-09-18 2018-05-30 カシオ計算機株式会社 姿勢推定装置、姿勢推定方法及びプログラム
JP6713185B2 (ja) * 2015-10-15 2020-06-24 株式会社日立ハイテク テンプレートマッチングを用いた検査装置および検査方法
CN106020448B (zh) * 2016-05-06 2019-03-29 深圳市国华识别科技开发有限公司 基于智能终端的人机交互方法和系统
JP6671577B2 (ja) * 2016-11-07 2020-03-25 Ｇｒｏｏｖｅ Ｘ株式会社 人を識別する自律行動型ロボット
WO2019234877A1 (ja) * 2018-06-07 2019-12-12 マクセル株式会社 携帯情報端末
JP7286838B2 (ja) * 2018-06-07 2023-06-05 マクセル株式会社 携帯情報端末

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797432A (zh) * 2004-06-30 2006-07-05 佳能株式会社 生成图形目标的方法
JP2010088093A (ja) * 2008-09-05 2010-04-15 Ricoh Co Ltd 撮像装置、撮像方法、プログラムおよび記録媒体
US20110093820A1 (en) * 2009-10-19 2011-04-21 Microsoft Corporation Gesture personalization and profile roaming

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124577A (ja) 1997-07-04 1999-01-29 Fujitsu General Ltd Ｐｄｐの取付け装置
JP2003157016A (ja) 2001-11-20 2003-05-30 Fujitsu General Ltd ディスプレイ回転機構
US7019742B2 (en) * 2003-11-20 2006-03-28 Microsoft Corporation Dynamic 2D imposters of 3D graphic objects
US7535481B2 (en) * 2004-06-28 2009-05-19 Microsoft Corporation Orienting information presented to users located at different sides of a display surface
JP2008053925A (ja) * 2006-08-23 2008-03-06 Nikon Corp 撮影装置
JP4389956B2 (ja) 2007-04-04 2009-12-24 ソニー株式会社 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム
JP2008287704A (ja) 2007-04-20 2008-11-27 Panasonic Corp 顔画像検出装置、顔画像検出方法及び撮影装置
JP2009105559A (ja) 2007-10-22 2009-05-14 Nec Saitama Ltd 撮影画像からの認識対象検出処理方法およびカメラ付き携帯型電子機器
CN101925916B (zh) * 2007-11-21 2013-06-19 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
JP2010079332A (ja) 2008-09-24 2010-04-08 Mitsubishi Electric Corp 遠隔操作装置及び遠隔操作方法
CN102292689B (zh) * 2009-01-21 2016-08-03 汤姆森特许公司 利用脸部检测和热点运动控制媒体的方法
CN102577347B (zh) * 2009-06-29 2015-09-23 博世安防系统有限公司 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
JP2011017738A (ja) 2009-07-07 2011-01-27 Miyoshi:Kk ディスプレイ支持装置
JP5385032B2 (ja) 2009-07-08 2014-01-08 ソニーモバイルコミュニケーションズ株式会社 撮影装置および撮影制御方法
JP5418093B2 (ja) * 2009-09-11 2014-02-19 ソニー株式会社 表示装置および制御方法
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
GB2483168B (en) * 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US20110298722A1 (en) * 2010-06-04 2011-12-08 Smart Technologies Ulc Interactive input system and method
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
JP5625643B2 (ja) * 2010-09-07 2014-11-19 ソニー株式会社 情報処理装置、および情報処理方法
JP2012068713A (ja) * 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
JP5740972B2 (ja) * 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
US8577092B2 (en) * 2010-11-11 2013-11-05 Lg Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
US9239849B2 (en) * 2011-06-08 2016-01-19 Qualcomm Incorporated Mobile device access of location specific images from a remote database
JP2013055424A (ja) * 2011-09-01 2013-03-21 Sony Corp 撮影装置、パターン検出装置、および電子機器
US9393908B2 (en) * 2011-11-01 2016-07-19 Aisin Seiki Kabushiki Kaisha Obstacle alarm device
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797432A (zh) * 2004-06-30 2006-07-05 佳能株式会社 生成图形目标的方法
JP2010088093A (ja) * 2008-09-05 2010-04-15 Ricoh Co Ltd 撮像装置、撮像方法、プログラムおよび記録媒体
US20110093820A1 (en) * 2009-10-19 2011-04-21 Microsoft Corporation Gesture personalization and profile roaming

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756763A (zh) * 2017-11-03 2019-05-14 三星电子株式会社 用于基于优先级处理图像的电子装置及其操作方法
CN109756763B (zh) * 2017-11-03 2022-05-27 三星电子株式会社 用于基于优先级处理图像的电子装置及其操作方法
CN108399325A (zh) * 2018-02-01 2018-08-14 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN111582180A (zh) * 2020-05-09 2020-08-25 浙江大华技术股份有限公司 车牌定位方法、图像处理装置及具有存储功能的装置
CN111582180B (zh) * 2020-05-09 2023-04-18 浙江大华技术股份有限公司 车牌定位方法、图像处理装置及具有存储功能的装置

Also Published As

Publication number Publication date
US20140139425A1 (en) 2014-05-22
JP6058978B2 (ja) 2017-01-11
JP2014103479A (ja) 2014-06-05
US9250698B2 (en) 2016-02-02
CN103826057B (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
CN103826057A (zh) 图像处理设备、图像处理方法和图像拍摄设备
CN104040474B (zh) 信息处理设备、信息处理方法以及记录介质
CN103309556B (zh) 信息处理设备、信息处理方法及计算机可读介质
CN110059744B (zh) 训练神经网络的方法、图像处理的方法、设备及存储介质
CN104040463B (zh) 信息处理设备和信息处理方法、以及计算机程序
US20190121458A1 (en) Information Processing Apparatus, Information Processing Method, And Computer Program
CN106506935B (zh) 移动终端及其控制方法
US9613286B2 (en) Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal
US11042294B2 (en) Display device and method of displaying screen on said display device
CN110097576B (zh) 图像特征点的运动信息确定方法、任务执行方法和设备
US20120190301A1 (en) Motion-based interaction between a portable electronic device and a stationary computing device
CN103207668A (zh) 信息处理装置、信息处理方法及计算机程序
WO2021114592A1 (zh) 视频降噪方法、装置、终端及存储介质
US10019464B2 (en) Apparatus and method for searching for image
CN110035270A (zh) 一种3d图像显示方法、终端及计算机可读存储介质
CN112257594A (zh) 多媒体数据的显示方法、装置、计算机设备及存储介质
CN111210001A (zh) 调节座椅的方法、装置、电子设备及介质
CN112308104A (zh) 异常识别方法、装置及计算机存储介质
US12019943B2 (en) Function based selective segmented video feed from a transmitting device to different participants on a video communication session
US11825237B1 (en) Segmented video preview controls by remote participants in a video communication session
CN111135571B (zh) 游戏识别方法、装置、终端、服务器及可读存储介质
KR20110035121A (ko) 영상 촬영 장치 및 그 방법
JP2023139935A (ja) 情報処理装置、情報処理システム、機器管理方法及びプログラム
CN112926578A (zh) 图片定位的方法、装置、电子设备及计算机可读存储介质
CN113918747A (zh) 图像数据的清洗方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant