CN104335143A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

一种信息处理系统，其控制显示器，以显示基于操纵目标图像生成的图像以及基于操纵目标区域的图像，该操纵目标区域被基于对包括在获取的图像数据中的对象的检测而设定。

Description

图像处理装置、图像处理方法和程序

技术领域

本公开涉及一种图像处理装置、图像处理方法和程序。

本公开包含与2012年6月13日在日本专利局提交的日本优先专利申请JP 2012-133786中公开的主题相关的主题，其全部内容通过引用合并于此。

背景技术

近年来，诸如电子设备的设备的更高功能或多功能不断进步，并且对于要使用设备的用户，需要给予设备的指令的内容更多样化并且更复杂。在这些情况下，在许多设备中，GUI(图形用户接口)被采用为用户接口，并使得与使用具有CUI(字符用户接口)的设备时相比，用户能够更容易地将指令给予设备。然而，例如，对于对使用诸如鼠标的定点设备的操纵并不熟悉的用户，使用定点设备进行操纵的GUI未必是具有优良操纵性的用户接口。

在这些情况下，开发了用于提高操纵性的与用户接口相关的技术。用于将这样的图像显示在显示屏上的技术的示例可以包括在PTL 1中描述的技术，其中，在该图像中，捕获的图像与和预定事件关联的对象相关的对象图像被组合。

引用列表

专利文献

PTL 1：日本专利申请特许公开2005-216061号

发明内容

技术问题

例如，在使用PTL 1中描述的技术的情况下，其中捕获的图像(基于捕获的图像的镜像图像，在下文中同样适用)与和预定事件关联的对象相关的对象图像被组合的图像被显示在显示屏上，使得可以将用户的肢体动作操作反馈给用户。

然而，例如，PTL 1中描述的技术旨在根据从捕获的图像中检测到的用户的位置来改变对象图像被组合的位置。因此，例如，当操纵目标图像与捕获图像被组合时，难以应用例如PTL 1中描述的技术，其中，操纵目标图像包括作为可以由用户操纵的操纵目标的对象(在下文中称为“操纵目标对象”，诸如按钮或图标)，操纵目标对象如网页。因此，例如，与PTL 1中描述的技术相关的处理不必是肢体动作识别-感知处理。

本公开中，提出了能够在防止用户的可操纵性发生劣化的同时将捕获的图像与操纵目标图像显示在显示屏上的新的并且经改进的图像处理装置、图像处理方法和程序。

问题的解决方案

根据本公开的实施例，提供了一种信息处理系统，包括电路，该电路被配置为：控制显示器，以显示基于操纵目标图像生成的图像以及基于操纵目标区域的图像，该操纵目标区域被基于对包括在获取的图像数据中的对象的检测而设定。

此外，根据本公开的另一实施例，提供了一种由信息处理系统执行的方法，该方法包括：控制显示器，以显示基于操纵目标图像生成的图像以及基于操纵目标区域的图像，该操纵目标区域被基于对包括在获取的图像数据中的对象的检测而设定。

此外，根据本公开的实施例，提供了一种包括计算机程序指令的非暂态计算机可读介质，计算机程序指令当由信息处理系统执行时使得信息处理系统：控制显示器，以显示基于操纵目标图像生成的图像以及基于操纵目标区域的图像，该操纵目标区域被基于对包括在获取的图像数据中的对象的检测而设定。

发明的有益效果

根据本公开的实施例，可以在防止用户的可操纵性劣化的同时将捕获的图像与操纵目标图像显示在显示屏上。

附图说明

图1是例示根据本实施例的区域设定处理的示例的示意图。

图2是例示根据本实施例的区域设定处理的示例的示意图。

图3是例示根据本实施例的区域设定处理的示例的示意图。

图4是例示根据本实施例的区域设定处理的示例的示意图。

图5是例示由根据本实施例的图像处理装置设定的操纵目标区域的示例的示意图。

图6是例示根据本实施例的图像处理装置分别地设定显示目标区域和操纵目标区域的效果的示例的示意图。

图7是例示根据本实施例的区域设定处理的另一示例的示意图。

图8是例示根据本实施例的向用户通知用户靠近操纵目标区域中识别范围之外的方法的示例的示意图。

图9A是例示由根据本实施例的图像处理装置显示在显示屏上的组合图像的示例的示意图。

图9B是例示由根据本实施例的图像处理装置显示在显示屏上的组合图像的示例的示意图。

图10A是例示由根据本实施例的图像处理装置显示在显示屏上的组合图像的示例的示意图。

图10B是例示由根据本实施例的图像处理装置显示在显示屏上的组合图像的示例的示意图。

图11是例示由根据本实施例的图像处理装置显示在显示屏上的组合图像的示例的示意图。

图12是例示由根据本实施例的图像处理装置显示在显示屏上的组合图像的示例的示意图。

图13是例示根据本实施例的操纵目标图像的示例的示意图。

图14是例示根据本实施例的图像处理装置中的图像处理的另一示例的示意图。

图15是例示根据本实施例的大于显示目标区域的预定区域的示例的示意图。

图16是例示根据本实施例的图像处理装置中的图像处理的另一示例的示意图。

图17是例示根据本实施例的图像处理装置中的图像处理的另一示例的示意图。

图18是例示根据本实施例的图像处理装置中的图像处理的另一示例的示意图。

图19是例示根据本实施例的图像处理装置中的通知处理的示例的示意图。

图20是例示根据本实施例的图像处理装置中的通知处理的示例的示意图。

图21是例示根据本实施例的图像处理装置中的通知处理的示例的示意图。

图22是例示依据根据本实施例的图像处理方法的处理的示例的流程图。

图23是例示根据本实施例的图像处理装置的配置的示例的框图。

图24是例示根据本实施例的图像处理装置的硬件配置的示例的示意图。

具体实施方式

在下文中，将参照附图详细地描述本公开的优选实施例。请注意：在本说明书和附图中，以相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略了对这些结构元件的重复说明。

此外，将按以下顺序给出描述：

1.根据本实施例的图像处理方法

2.根据本实施例的图像处理装置

3.根据本实施例的程序

(根据本实施例的图像处理方法)

在描述根据本实施例的图像处理装置的配置之前，描述根据本实施例的图像处理方法。此外，在以下描述中，假定根据本实施例的图像处理装置进行依据根据本实施例的图像处理方法的处理。

[1]根据本实施例的图像处理方法的概述

作为将操纵目标图像与用于将肢体动作操作反馈给用户的捕获的图像显示在显示屏上的方法，例如，可以考虑将用于将捕获的图像与操纵目标图像进行组合并且将所得到的图像显示在显示屏上的方法。

然而，当使用简单地将捕获的图像与操纵目标图像进行组合并且将所得到的图像显示在显示屏上的方法时，例如，用户可能难以对布置在显示屏内的操纵目标对象进行操纵。用户难以对布置在显示屏内的操纵目标对象进行操纵的情况的示例可以包括这样的情况：在该情况下，即使当用户移动手时用户的手仍未够到布置在显示屏的屏幕边缘的操纵目标对象。因而，当使用简单地将捕获的图像与操纵目标图像进行组合并且将所得到的图像显示在显示屏上的方法时，用户的可操纵性可能会劣化。

因此，根据本实施例的图像处理装置在捕获的图像的一部分中设定操纵目标区域(区域设定处理)。此外，根据本实施例的图像处理装置将捕获的图像中与待被显示在显示屏上的操纵目标区域对应的区域(在下文中称为“显示目标区域”)的图像与操纵目标图像进行组合(图像处理)。此外，根据本实施例的图像处理装置将经组合的图像显示在显示屏上(显示控制处理)。

此处，根据本实施例的捕获图像是例如通过对由外部成像装置捕获的图像或当根据本实施例的图像处理装置包括成像单元(下文将进行描述)时对由成像单元(下文将进行描述)捕获的图像进行镜像图像处理(水平倒转处理)而获得的图像。根据本实施例的捕获图像用以将肢体动作操作反馈给用户。当捕获图像与其进行了组合的图像被显示在显示屏上时，用户可以在视觉上确认例如他的或她的肢体动作的内容，诸如进行滑动他的或她的手的操纵或使用手按压的操纵或使用多个手指进行放大操纵、缩小操纵或移动操纵。此处，镜像图像处理可以由根据本实施例的图像处理装置执行或可以由外部装置诸如进行了成像的成像装置来执行。此外，根据本实施例的捕获图像的示例可以包括运动图像(或多个静止图像)。在下文中，将以示例的方式描述根据本实施例的捕获的图像是包括多个帧图像的运动图像的情况。

根据本实施例的外部成像装置和成像单元(下文将进行描述)的示例可以包括能够获取RGB亮度信息的照相机，但是根据本实施例的外部成像装置和成像单元(下文将进行描述)并不限于此。例如，根据本实施例的外部成像装置和成像单元(下文将进行描述)可以是能够获取深度信息的专用照相机，诸如深度照相机。

此外，根据本实施例的捕获图像并不限于进行了镜像图像处理(水平倒转处理)的图像。例如，如果在成像装置或成像单元(下文将进行描述)中捕获镜像图像，则根据本实施例的捕获图像可以是捕获图像本身。

此外，根据本实施例的操纵目标区域是捕获图像中的设定在捕获图像的一部分中的区域，并且是在其中进行肢体动作识别的区域。此处，与肢体动作识别相关的处理可以由根据本实施例的图像处理装置来执行，或者可以由根据本实施例的图像处理装置外部的装置来执行。

此外，根据本实施例的操纵目标图像例如是包括依据根据用户的肢体动作操纵的肢体动作识别的结果来操纵的操纵目标对象的图像。此处，根据本实施例的操纵目标图像的示例可以包括示出针对每个设备的网页或菜单屏幕以及操纵屏幕的图像。此外，根据本实施例的操纵目标对象的示例可以包括按钮、图标以及诸如超链接的链接。此外，如上所述，与肢体动作识别相关的处理可以由根据本实施例的图像处理装置来执行或者可以由根据本实施例的图像处理装置外部的装置来执行。

此外，在根据本实施例的操纵目标图像中示出的UI(用户接口；图标大小、布局等)的示例在由肢体动作或声音操纵的情况下以及由外部操纵设备(诸如远程控制器)操纵或由GUI操纵的情况下可以包括相同的UI(即，固定的UI)，在根据本实施例的操纵目标图像中所示的UI并不限于此。例如，在根据本实施例的操纵目标图像中，在由肢体动作或声音操纵的情况下以及由外部操纵设备(诸如远程控制器)操纵的情况下UI可以不同。UI不同的情况的示例可以包括在由外部操纵设备(诸如远程控制器)操纵的情况下显示4*4图标的情况以及在由肢体动作或声音操纵的情况下显示2*2图标或3*3图标以使操纵更容易的情况。此外，例如，在由肢体动作操纵的情况下，可以将用于协助肢体动作操纵的操纵目标对象(例如，控制面板)包括在根据本实施例的操纵目标图像中。

此外，根据本实施例的显示目标区域是与在下文将进行描述的区域设定处理中设定的操纵目标区域对应的区域。根据本实施例的显示目标区域的示例可以包括与操纵目标区域匹配的区域，但是根据本实施例的显示目标区域并不限于此。例如，根据本实施例的显示目标区域可以是小于操纵目标区域的区域。下文将描述根据本实施例的操纵目标区域与显示目标区域之间的关系的示例。

此外，根据本实施例的显示屏的示例可以包括外部显示设备中的显示屏，或者当根据本实施例的图像处理装置包括显示单元(下文将进行描述)时包括显示单元(下面将进行描述)中的显示屏。

根据本实施例的图像处理装置进行例如(1)区域设定处理、(2)图像处理以及(3)显示控制处理作为依据根据本实施例的图像处理方法的处理。在下文中，将更详细地描述依据根据本实施例的图像处理方法的处理。

(1)区域设定处理

根据本实施例的图像处理装置在捕获图像的一部分中设定操纵目标区域。

根据本实施例的图像处理装置例如确定是否满足肢体动作识别的开始条件(肢体动作识别开始的触发)，并且如果确定满足肢体动作识别的开始条件则设定操纵目标区域。此处，根据本实施例的肢体动作识别的开始条件的示例可以包括预定肢体动作(诸如正被识别的手部动作或手保持)、预定声音(诸如正被识别的“Hello TV”)以及从操纵单元(下文将进行描述)或外部操纵设备(诸如远程控制器)递送的正被检测的基于肢体动作识别的开始操纵(用户操纵的示例)的操纵信号。根据本实施例的图像处理装置例如基于指示肢体动作识别结果(当根据本实施例的图像处理装置具有基于捕获图像的肢体动作识别功能时)的信号或基于指示由外部装置获取的肢体动作识别结果的信号来确定是否已识别预定肢体动作。此外，根据本实施例的图像处理装置例如基于指示声音识别结果(当根据本实施例的图像处理装置具有基于声音信号的声音识别功能时)的信号或基于指示由外部装置获得的声音识别结果的信号来确定是否已识别预定声音。

此外，如果确定满足了与多个用户对应的肢体动作识别的开始条件，则根据本实施例的图像处理装置可以例如根据针对每个用户设定的优先级来设定操纵目标区域。此处，设定优先级的方法的示例可以包括各种方法，诸如针对第一个识别的用户或最后一个识别的用户设定高优先级的方法或者基于用户操纵性设定优先级的方法。

此外，根据本实施例的图像处理装置中的区域设定处理并不限于在确定满足肢体动作识别的开始条件的情况下设定操纵目标区域。例如，根据本实施例的图像处理装置可以有规律地/无规律地设定作为操纵目标区域的候选的区域。如果有规律地/无规律地设定作为操纵目标区域的候选的区域，例如，当确定满足肢体动作识别的开始条件时，根据本实施例的图像处理装置将最近设定的作为操纵目标区域的候选的区域设定为操纵目标区域。

(1-1)区域设定处理的第一示例

根据本实施例的图像处理装置例如基于捕获图像中的检测目标的位置和大小来设定操纵目标区域。

图1是例示根据本实施例的区域设定处理的示例的示意图。此处，图1例示根据本实施例的图像处理装置使用用户的手作为检测目标来设定操纵目标区域的情况的示例。此外，图1中所示的A例示捕获的图像的示例，并且图1中所示的B例示待被设定的操纵目标区域的示例。

根据本实施例的图像处理装置例如从捕获图像中检测手的位置和大小并且基于检测到的手的位置和大小的检测值来设定操纵目标区域。

此处，根据本实施例的图像处理装置例如基于针对捕获图像的边缘检测处理的结果或针对捕获图像检测预定颜色(诸如皮肤颜色)的处理的结果来识别包括手(检测目标的示例)的区域，以从捕获图像中检测手的位置和大小。此外，在根据本实施例的图像处理装置中检测手的位置和大小的处理并不限于上述处理。例如，根据本实施例的图像处理装置可以通过能够检测手的位置和大小的任何处理来从捕获图像中检测出手的位置和大小。

此外，根据本实施例的图像处理装置将例如小于整个捕获图像的、具有将检测的手包括在内的任何大小的区域设定为操纵目标区域。

此外，当根据本实施例的图像处理装置从捕获图像中检测手的位置和大小以设定操纵目标区域时，操纵者(用户)期待的操纵目标区域可以被设定在外部成像装置或成像单元(下文将进行描述)中的视角之外。根据本实施例的图像处理装置确定基于从捕获图像中检测的手的位置和大小而设定的操纵目标区域是否被设定在视角之外。如果确定操纵目标区域被设定在视角之外，则图像处理装置可以例如将操纵目标区域设定在与检测的手在水平方向上相反的位置(与用户的位置相反的位置)。

图2是例示根据本实施例的区域设定处理的示例的示意图。此处，图2例示当根据本实施例的图像处理装置确定操纵目标区域是否在视角之外时所设定的操纵目标区域的示例。此外，图2例示捕获图像的示例。

例如，如图2中的A所示，当基于从捕获图像中检测到的手的位置和大小而设定的操纵目标区域被设定在视角之外时，根据本实施例的图像处理装置如图2中的B所示将操纵目标区域设定在与检测到的手在水平方向上相反的位置。

如上所述，根据本实施例的图像处理装置例如基于手在捕获图像中的位置和大小来设定操纵目标区域。此外，其位置和大小是由根据本实施例的图像处理装置检测的检测目标并不限于例如如图1所示的用户的手。例如，根据本实施例的图像处理装置可以检测用户的脸的位置和大小，并且基于检测到的脸的位置和大小的检测值来设定操纵目标区域。

此处，根据本实施例的图像处理装置例如通过进行任何脸检测处理(诸如基于捕获的图像中的亮度的检测方法)来从捕获图像中检测脸的位置和大小。

此外，根据本实施例的图像处理装置例如基于检测到的脸的位置和大小的检测值将小于整个捕获图像的区域设定为操纵目标区域。此处，根据本实施例的图像处理装置将例如小于整个捕获图像的、具有将检测到的脸包括在内的任何大小的区域设定为操纵目标区域。

此外，当根据本实施例的图像处理装置检测脸的位置和大小时待被设定的操纵目标区域并不限于上述操纵目标区域。例如，根据本实施例的图像处理装置可以将通过根据与检测到的脸对应的用户的用右手或用左手的用手习惯在水平方向上对具有将检测到的脸包括在内的任何大小的区域进行移位而获得的区域设定为操纵目标区域。根据本实施例的图像处理装置例如基于指示与检测到的脸对应的用户的用手习惯的用手习惯信息(数据)来将操纵目标区域设定在与检测到的脸对应的用户的用手习惯所对应的位置。此处，例如基于用户的配准(registration)操纵(用户操纵的示例)将根据本实施例的用手习惯信息针对每个用户存储在诸如存储单元(下文将进行描述)的记录介质中。此外，根据本实施例的图像处理装置例如通过对与使用脸识别技术检测到的脸对应的用户进行标识以从存储单元(下文将进行描述)读取与检测的脸对应的用户所对应的用手习惯信息。根据本实施例的图像处理装置还基于读取的用手习惯信息来设定操纵目标区域。

如上所述，根据本实施例的图像处理装置例如通过检测用户的一部分(诸如用户的手或脸)作为检测目标来设定操纵目标区域。此外，其位置和大小由根据本实施例的图像处理装置检测的检测目标并不限于诸如用户的手或脸的用户的一部分。例如，根据本实施例的图像处理装置可以通过检测用户的多个部分作为检测目标来设定操纵目标区域。

例如，根据本实施例的图像处理装置检测用户的手的位置和大小以及用户的脸的位置和大小，并且基于检测到的手的位置和大小的检测值以及检测到的脸的位置和大小的检测值来设定操纵目标区域。图3是例示根据本实施例的区域设定处理的示例的示意图。此处，图3例示根据本实施例的图像处理装置使用用户的手以及用户的脸作为检测目标来设定操纵目标区域的情况的示例。此外，图3例示捕获图像的示例。

例如如图3所示，当捕获的图像指示用户抬起右手时，根据本实施例的图像处理装置将操纵目标区域设定在检测的脸的右侧(镜像图像中的左侧)。

如上所述，根据本实施例的图像处理装置例如基于检测目标在捕获图像中的位置和大小来设定操纵目标区域。此处，当根据本实施例的图像处理装置使用例如用户的手或脸作为检测目标时，设定的操纵目标区域与包括在所述操纵目标区域中的用户的脸或手的大小的比例保持恒定。因而，当根据本实施例的图像处理装置使用例如用户的手或脸作为检测目标时，即使用户在远离外部成像装置或成像单元(下文将进行描述)的位置或者即使用户在靠近外部成像装置或成像单元(下文将进行描述)的位置，用户都能够进行具有类似的操纵感的操纵。

(1-2)区域设定处理的第二示例

根据本实施例的图像处理装置例如基于从捕获图像检测到的用户的姿势来设定操纵目标区域。根据本实施例的图像处理装置使用根据任何姿势估计技术的处理(诸如基于使用例如机器学习对用户的一部分的估计来估计用户的姿势)来获得用户的骨架信息(数据)。根据本实施例的图像处理装置还通过根据骨架信息估计用户的操作范围来设定操纵目标区域。

此外，在根据本实施例的图像处理装置中基于用户的姿势设定操纵目标区域的处理并不限于上述处理。例如，根据本实施例的图像处理装置还可以检测用户的脸的位置和大小，并且基于针对用户的姿势的估计结果以及检测到的脸的位置和大小的检测值来设定操纵目标区域。

图4是例示根据本实施例的区域设定处理的示例的示意图。此处，图4例示根据本实施例的图像处理装置基于针对用户的姿势的估计结果以及检测到的脸的位置和大小的检测值来设定操纵目标区域的情况的示例。此外，图4例示捕获图像的示例。

例如，如果当用户呈现如图4所示的斜躺的姿势时检测到非常倾斜的脸，那么根据本实施例的图像处理装置估计用户的手的驱动范围以设定操纵目标区域。例如，在图4的示例中，例示操纵目标区域被设定在检测到的脸的向上方向(沿着竖直方向向上)而不是被设定在从检测到的脸在水平方向上移位的位置。

此外，根据本实施例的图像处理装置可以将被设定过的操纵目标区域固定，或者可以根据待被从捕获图像中检测的用户的脸、手等的移动来动态地改变操纵目标区域。

(1-3)区域设定处理的第三示例

根据本实施例的图像处理装置例如基于检测目标的运动来设定操纵目标区域。

例如，根据本实施例的图像处理装置检测预定肢体动作，诸如手部动作(诸如挥手再见或在空中画任何形状)，并且将包括执行该肢体动作的手(检测目标的示例)的移动区域的区域设定为操纵目标区域。此外，由根据本实施例的图像处理装置检测的检测对象并不限于用户的一部分，诸如用户的手。例如，根据本实施例的图像处理装置可以将包括预定设备(诸如用户在他的或她的手中持有的杆状设备)的移动区域的区域设定为操纵目标区域。

(1-4)区域设定处理的第四示例

根据本实施例的图像处理装置例如基于检测目标的形状以及包括在操纵目标图像中的操纵目标对象的大小来设定操纵目标区域。

例如，对其进行肢体动作识别的目标的对象(在下文中可以称为“识别目标对象”)是用户的手的情况下，当包括在设定的操纵目标区域中的用户的手的大小远大于包括在操纵目标图像中的图标(操纵目标对象的示例)时，用户可能难以使用手进行期望的操纵。难以使用手进行期望的操纵的情况的示例可以包括用户不知道在例如通过笔选择内容时用户正指向哪里的情况。此外，在除用户通过笔选择内容的情况以外的情况下用户不知道用户正指向哪里，以及例如当用户用指尖选择内容时用户可能不知道用户正指向哪里。

因此，根据本实施例的图像处理装置例如基于操纵目标对象的大小以及用户用其进行操纵的检测目标的形状来设定操纵目标区域，使得检测目标的大小与操纵目标对象的大小之间的差在预定范围内。例如，根据本实施例的图像处理装置设定操纵目标区域，使得检测目标的大小与操纵目标对象的大小近似相同。此处，上文描述的根据本实施例的预定范围可以是被预先设定的固定值或者可以是例如可以由用户改变的可变值。

(1-5)区域设定处理的第五示例

例如，根据本实施例的图像处理装置可以通过将区域设定处理的第一示例至区域设定处理的第四示例中的可以被组合的多个处理(诸如区域设定处理的第一示例与区域设定处理的第二示例、区域设定处理的第一示例与区域设定处理的第三示例、区域设定处理的第一示例与区域设定处理的第四示例)进行组合来设定操纵目标区域。

(1-6)区域设定处理的第六示例

如上所述，根据本实施例的图像处理装置例如基于捕获图像中的检测目标的位置和大小、检测目标的运动、用户的姿势、检测目标的形状以及包括在操纵目标图像中的操纵目标对象的大小中的一项或两项或更多项来设定操纵目标区域。此处，根据本实施例的图像处理装置例如将与根据本实施例的显示目标区域匹配的区域设定为操纵目标区域，但是由根据本实施例的图像处理装置设定的操纵目标区域并不限于该区域。例如，根据本实施例的图像处理装置可以将小于整个捕获图像区域并且大于显示目标区域的区域设定为操纵目标区域。

作为特定示例，根据本实施例的图像处理装置使用例如下列公式1至公式4来计算与显示目标区域相关的值。此外，下列公式1至公式4示出当显示目标区域是矩形区域时计算与显示目标区域相关的值的示例。此处，公式1中所示的“vw”指示显示目标区域在水平方向上的宽度，而公式1中所示的“fw”指示捕获图像中的在其中识别出脸的矩形区域在水平方向上的宽度(已知值)。此外，公式1中所示的“视觉反馈的放大比”是待设定的值。此外，公式2中所示的“vh”指示显示目标区域在竖直方向上的宽度，而公式2中所示的“高度比”指示显示屏的竖直宽度/显示屏的水平宽度(已知值；例如在16：9屏幕的情况下，高度比＝9/16)。此外，公式3中所示的“vx”指示显示目标区域(矩形区域)的左上角的x坐标，而公式3中所示的“fcx”指示捕获图像中的在其中识别出脸的矩形区域的中心的x坐标(已知值)。此外，公式3中所示的“在x方向上的偏移值”是待设定的值。此外，公式4中所示的“vy”指示显示目标区域(矩形区域)的左上角的y坐标，而公式4中所示的“fcy”指示捕获图像中的在其中识别出脸的矩形区域的中心的y坐标(已知值)。此外，公式4中所示的“fh”指示捕获图像中的在其中识别出脸的矩形区域在竖直方向上的宽度(已知值)，而公式4中所示的“y方向上的偏移值”是待设定的值。此外，在公式3中和公式4中所示的“f”指示待设定的值(值0至9之一)。

vw＝fw*(视觉反馈的放大比)(公式1)

vh＝vw*高度比(公式2)

vx＝fcx+fw*(x方向上的偏移值)-vw/2.f(公式3)

vy＝fcy+fh*(y方向上的偏移值)-vh/2.f(公式4)

此外，根据本实施例的图像处理装置例如使用下列公式5至公式8来计算与操纵目标区域相关的值。此外，下列公式5至公式8示出当操纵目标区域是矩形区域时与操纵目标区域相关的值的计算的示例。此处，公式5中所示的“rw”指示操纵目标区域在水平方向上的宽度，而公式5中所示的“hw”指示捕获图像中的在其中识别出手的矩形区域在水平方向上的宽度(已知值)。此外，公式5中所示的“水平方向上的宽度的缩放比”是指示识别范围基于在捕获图像中识别出的手的大小来以其扩大的余量(surplus)的参数并且是待被设定的值。此外，公式6中所示的“rh”指示操纵目标区域在竖直方向上的宽度，而公式6中所示的“hh”指示捕获图像的在其中识别出手的矩形区域在竖直方向上的宽度(已知值)。此外，公式6中所示的“竖直方向上的宽度的缩放比”指示了指示识别范围基于在捕获图像中识别的手的大小来以其扩大的余量的参数并且是待被设定的值。此外，公式7中所示的“rx”指示操纵目标区域(矩形区域)的左上角的x坐标。此外，公式8中所示的“ry”指示操纵目标区域(矩形区域)的左上角的y坐标。

rw＝vw+hw*(水平方向上的宽度的缩放比)(公式5)

rh＝vw+hh*(竖直方向上的宽度的缩放比)(公式6)

rx＝vx+vw/2-rw/2(公式7)

ry＝vy+vh/2-rh/2(公式8)

根据本实施例的图像处理装置例如通过使用上文所述的公式1至公式4计算与显示目标区域相关的值来设定显示目标区域。此外，根据本实施例的图像处理装置例如通过使用上文所述的公式5至公式8计算与操纵目标区域相关的值来将小于整个捕获图像的区域并且大于显示目标区域的区域设定为操纵目标区域。此外，理解的是：与根据本实施例将操纵目标区域设定为小于整个捕获图像的区域并且大于显示目标区域相关的处理并不限于以上处理。

图5是例示由根据本实施例的图像处理装置设定的操纵目标区域的示例的示意图。此处，图5中所示的A指示捕获图像。此外，图5中所示的B指示根据本实施例的显示目标区域的示例，而图5中所示的C指示根据本实施例的操纵目标区域的示例。

如图5中所示，根据本实施例的图像处理装置将小于整个捕获图像(图5中所示的A)的区域并且大于显示目标区域(图5中所示的B)的区域设定为操纵目标区域(图5中所示的C)。如图5所示，随着根据本实施例的图像处理装置对作为显示在显示屏上的区域的显示目标区域以及作为在其中进行肢体动作识别的区域的操纵目标区域分别地进行设定，例如，获得(a)与(b)中所示的效果。

(a)即使当用户在显示在显示屏上的显示目标区域之外做出了肢体动作，进行与肢体动作识别相关的处理的装置(根据本实施例的图像处理装置以及/或外部装置；下文中同样适用)也可以识别该肢体动作。

(b)通过(a)，例如，实现了使用在显示在显示屏上的显示目标区域中的边缘的区域的下列操纵：

选择操纵，选择在屏幕的顶部和底部以及屏幕的左侧和右侧处的边缘的区域中存在的操纵目标对象；

自动卷动操纵，通过将手移动到屏幕的边缘附近来引起显示在显示屏上的图像的一部分(例如，仅特定操纵目标对象)的移动或者到另一图像的转换；

卷动操纵，通过敲(触摸)屏幕的边缘附近的肢体动作(肢体动作的示例)来引起显示在显示屏上的图像的一部分(例如，仅操纵目标对象)的移动或者到另一图像的转换。

图6是例示根据本实施例的图像处理装置分别地设定显示目标区域和操纵目标区域的效果的示例的示意图。此处，在图6中，为了方便描述，仅例示操纵目标图像而不是下文将描述的通过根据本实施例的图像处理将显示目标区域中的图像与在捕获图像中的操纵目标图像组合在其中的图像。此外，图6中所示的AR1指示与显示目标区域对应的区域。此外，图6中所示的AR2指示与操纵目标区域中的部分区域对应的区域，并且，如图6所示，区域AR2的一部分未包括在区域AR1中。

例如，当用户(操纵者)将手移动到图6中所示的区域AR2(屏幕边缘附近的区域的示例)时，进行与肢体动作识别相关的处理的装置例如识别已进行自动卷动操纵。此外，如果识别出已进行自动卷动操纵，则进行与肢体动作识别相关的处理的装置还例如在图6所示的方向M上移动图6中所示的作为包括在操纵目标图像中的操纵目标对象的“TV”、“万维网浏览器”、“媒体播放器”、……、“帮助引导”(对显示在显示屏上的图像的一部分进行移动的情况的示例)。当在图6所示的方向M上对包括在图6所示的操纵目标图像中的操纵目标对象进行移动时，例如，其它操纵对象被显示在显示屏上。此外，识别出已进行自动卷动操纵时显示在显示屏上的图像的变化并不限于以上所示的示例。例如，如果识别出已进行自动卷动操纵，则进行与肢体动作识别相关的处理的装置可以在图6所示的方向M上移动图6所示的整个操纵目标图像并且使显示在显示屏上的图像从图6中所示的操纵目标对象转换至另一操纵目标对象(显示在显示屏上的图像发生转换的情况的示例)。随着图6中所示的操纵目标图像在图6中所示的方向M上移动并且被转换至另一操纵目标图像，与图6所示的操纵目标图像不同的操纵目标图像被显示在显示屏上。

此外，例如，如果用户(操纵者)进行敲(触摸)图6中所示的区域AR2(屏幕边缘附近的区域的示例)的肢体动作，则进行与肢体动作识别相关的处理的装置例如识别已进行卷动操纵。如果识别出已进行卷动操纵，则进行与肢体动作识别相关的处理的装置例如在图6所示的方向M上对包括在图6所示的操纵目标图像中的特定操纵目标对象或整个操纵目标图像进行移动，正如在识别出已进行自动卷动操纵的情况下那样。

当根据本实施例的图像处理装置分别地设定显示目标区域和操纵目标区域时，进行与肢体动作识别相关的处理的装置可以例如在如图6中所示的区域AR2中所示的包括未包含在显示目标区域(区域AR1)中的区域的区域中识别用户操纵，并且根据识别出的用户操纵来进行处理。因而，当根据本实施例的图像处理装置分别地设定显示目标区域和操纵目标区域时，可以进一步提高用户的可操纵性。

(1-7)区域设定处理的其它示例

此外，根据本实施例的图像处理装置中的区域设定处理并不限于以上所述的处理中的每一个处理。例如，当操纵目标区域被根据脸或手的位置更新时，用户可以移动出识别范围(例如，在照相机的视角之外)。此处，如果用户移动出识别范围，即使在用户执行肢体动作时进行与肢体动作识别相关的处理的装置都难以识别肢体动作并且进行处理。因此，根据本实施例的图像处理装置向用户通知用户在识别范围之外。

图7是例示根据本实施例的区域设定处理的另一示例的示意图。此处，图7中所示的A1、B1、C1、D1以及E1中每个例示捕获图像以及在捕获图像中设定的操纵目标区域。此外，图7中所示的A2例示与图7的A1中所示的操纵目标区域对应的显示目标区域的图像。类似地，图7中所示的B2、C2、D2以及E2例示与图7的B1、C1、D1以及E1中所示的操纵目标区域分别地对应的显示目标区域的图像。此外，图7按照图7中所示的A1、图7中所示的B1、图7中所示的C1、图7中所示的D1以及图7中所示的E1的顺序例示设定操纵目标区域的位置按时间序列的变化。

例如，如图7所示，当操纵目标区域靠近识别范围的边缘(例如，照相机的视角)附近时，根据本实施例的图像处理装置适当地设定操纵目标区域，以通过动画显示好像操纵目标区域碰撞入墙并且然后从墙弹回一样沿远离识别范围的边缘的方向移动。此外，例如，如图7的C1和C2中所示，根据本实施例的图像处理装置通过将黑色图像夹入在与操纵目标区域中的识别范围之外对应的区域中来向用户通知用户靠近识别范围之外。通过适当地设定操纵目标区域使得实现例如如图7所示的动画显示，根据本实施例的图像处理装置可以使用户直观地识别用户靠近识别范围之外。此外，通过适当地设定操纵目标区域使得实现例如如图7所示的动画显示，根据本实施例的图像处理装置可以在不进行警告显示的情况下使用户直观地识别用户靠近识别范围之外。

此外，根据本实施例的图像处理装置中的用于进行与识别范围之外相关的通知的处理并不限于以上处理。例如，根据本实施例的图像处理装置可以通过适当地设定操纵目标区域使得实现另一动画显示(诸如示出返回至墙的动画显示)来向用户通知用户靠近识别范围之外。此外，根据本实施例的图像处理装置中的向用户通知用户靠近操纵目标区域中的识别范围之外的方法并不限于例如如图7的C2中所示将黑色区域夹入在与操纵目标区域中的识别范围之外对应的图像中。

图8是例示根据本实施例的向用户通知用户靠近操纵目标区域中的识别范围之外的方法的示例的示意图。例如，如图8的A和B所示，根据本实施例的图像处理装置可以在夹入在与操纵目标区域中的识别范围之外对应的区域中的黑色图像上叠加指示警告的单词或符号。此外，例如，如图8的C中所示，根据本实施例的图像处理装置可以将不同于黑色图像的图像诸如具有应用的墙纸的图像或具有提供指示难以再到达末端的图像夹入在与操纵目标区域中的识别范围之外对应的区域中。此外，例如，如图8的D中所示，根据本实施例的图像处理装置可以将指示警告的单词或符号叠加在不同于被夹入在与操纵目标区域中的识别范围之外对应的区域中的黑色图像的图像上。

(2)图像处理

根据本实施例的图像处理装置将捕获图像中的与显示目标区域对应的图像和操纵目标图像组合。

此外，在根据本实施例的图像处理装置中的图像处理并不限于捕获图像中的与显示目标区域对应的图像和操纵目标图像的简单组合。

当将捕获图像与操纵目标图像简单地组合并且显示在显示屏上时，例如，将捕获图像的内容(更严格地，与显示目标区域对应的图像的内容)叠加在包括在操纵目标图像中的操纵目标对象上，并且因此，存在降低操纵目标对象的可见度的可能性。因此，为了减小如上所述的降低操纵目标对象的可见度的可能性，根据本实施例的图像处理装置可以例如基于捕获图像或操纵目标图像来改变捕获图像的可视化程度，并且将其可视化程度已被改变的捕获图像中的与显示目标区域对应的图像和操纵目标图像组合。

此处，根据本实施例的捕获图像的可视化程度的变化的示例可以包括改变部分的范围以使捕获图像部分地可见或者改变平滑的程度以平滑捕获图像。此外，根据本实施例的捕获图像的可视化程度的变化并不限于以上变化。根据本实施例的图像处理装置可以例如通过对捕获图像进行各种图像处理，诸如多色调分色法、镶嵌、线提取或轮廓显示来改变捕获图像的可视化程度。此外，根据本实施例的捕获图像的部分可视化的示例可以包括改变捕获图像的透明度。

在下文中，将使用下述情况的主要示例来描述根据本实施例的图像处理的示例：在该情况下，根据本实施例的图像处理装置将其可视化程度被改变了的捕获图像中的与显示目标区域对应的图像和操纵目标图像组合。

(2-1)根据部分范围的改变的处理的第一示例

根据本实施例的图像处理装置例如基于待被从捕获图像中识别的预定目标来确定部分范围。此外，根据本实施例的图像处理装置例如基于确定的部分范围来改变捕获图像的透明度，以部分地可视化捕获图像。

此处，根据本实施例的预定目标的示例可以包括诸如用户的脸或用户的手的对象。根据本实施例的图像处理装置例如检测特征点(诸如用户的眼睛、鼻子、嘴巴以及骨骼)，或者检测类似于亮度分布的区域以及捕获图像中的脸的结构模式，以识别包括用户的脸的脸区域。此外，根据本实施例的图像处理装置例如对捕获图像进行多种图像处理，诸如边缘检测或模式匹配，以从捕获图像中识别识别目标的对象，诸如用户的手。

此外，在根据本实施例的图像处理装置中识别预定目标的处理并不限于以上处理。例如，根据本实施例的图像处理装置可以从捕获图像中识别移动的身体作为预定目标并且将包括识别的移动的身体的区域作为部分范围。此处，根据本实施例的图像处理装置例如通过进行对与当前帧对应的图像和与上一个帧对应的图像之间的差的检测或对移动矢量的变化的检测来检测移动的身体，但是检测移动的身体的方法并不限于此。

在下文中，将使用将脸识别为预定目标的情况下的处理的示例来更详细地描述依据根据本实施例的部分范围的改变的处理的示例。

当将脸识别为预定目标时，根据本实施例的图像处理装置从捕获图像中识别脸并且将除识别出的脸以外的部分确定为部分范围。

图9A、图9B、图10A以及图10B是例示由根据本实施例的图像处理装置显示在显示屏上的组合图像的示例的示意图。此处，图9A是图9B中所示的实际示例的概念图，而图10A是图10B中所示的实际示例的概念图。此外，图9A、图9B、图10A以及图10B例示当根据本实施例的图像处理装置将除从捕获图像中识别出的脸以外的部分确定为部分范围时图像的示例。

根据本实施例的图像处理装置例如通过从识别的脸区域进行应用半透明渐进的处理来实现除识别出的脸以外的部分的可视化。此处，根据本实施例的图像处理装置可以在应用半透明渐进时根据捕获图像的背景部分(例如除识别出的脸区域以外的部分)动态地改变透明度。

根据本实施例的图像处理装置例如检测捕获图像的背景部分中的空间频率或色彩，并且根据检测结果动态地改变透明度。例如，根据本实施例的图像处理装置在检测到的空间频率较高(图像较复杂时)时降低透明度，或者在检测到的色彩较暗时降低透明度。例如，因为如上所述在检测到的空间频率较高时降低透明度或者当检测到的色彩较暗时降低透明度，根据本实施例的图像处理装置可以进一步防止包括在操纵目标图像中的操纵目标对象的可见度的降低。

此外，在根据本实施例的图像处理装置中动态地改变透明度的处理并不限于以上处理。例如，根据本实施例的图像处理装置可以从操纵目标图像(或构造操纵目标图像的数据，诸如HTML数据或XML数据)中识别操作目标对象的位置，并且减小包括识别的位置的区域上的透明度。换言之，根据本实施例的图像处理装置还可以通过基于包括在操纵目标图像中的操纵目标对象来确定在其中捕获图像被部分地可视化的部分范围来改变该部分范围。

此处，根据本实施例的图像处理装置可以排他地进行基于包括在操纵目标图像中的操纵目标对象来改变部分范围的处理以及基于从捕获图像中识别的预定目标来改变部分范围的处理中之一，或可以进行这两种处理。此外，当根据本实施例的图像处理装置进行这两种处理时，图像处理装置可以针对每种处理设定优先级，诸如针对基于包括在操纵目标图像中的操纵目标对象来改变部分范围的处理设定优先级为更高。

例如，如上所述，根据本实施例的图像处理装置可以通过基于操纵目标对象的位置来动态地改变透明度以防止包括在操纵目标图像中的操纵目标对象的可视度降低。

此外，尽管图9A至图10B例示在捕获图像中包括一个用户的情况，但根据本实施例的捕获图像中可以包括多个用户。根据本实施例的图像处理装置例如在确定处理(1)(区域设定处理)中满足肢体动作识别的开始条件时设定操纵目标区域。

(2-2)根据部分范围的变化的处理的第二示例

在以上描述中，与根据部分范围的变化的处理的第一示例一样，例示根据本实施例的图像处理装置例如基于从捕获图像中识别出的预定目标来确定部分范围并且基于确定的部分范围来使捕获图像部分地可视化的示例。然而，在根据本实施例的图像处理装置中根据部分范围的变化的处理并不限于以上示例。例如，根据本实施例的图像处理装置还可以通过改变捕获图像的显示区来改变在其中捕获图像被部分地可视的部分范围。

图11是例示由根据本实施例的图像处理装置显示在显示屏上的组合图像的示例的示意图。此处，图11例示通过将掩蔽图(mask)应用到捕获图像来改变在其中捕获图像被可视化的部分范围的示例。

例如，如图11所示，根据本实施例的图像处理装置通过将掩蔽图应用到捕获图像来减小捕获图像的显示区域并且改变捕获图像被可视化的部分范围。

此外，根据本实施例的图像处理装置中的处理并不限于图11中所示的示例。例如，图11中例示根据本实施例的图像处理装置将统一的掩蔽图应用到整个捕获图像的示例，但是根据本实施例的图像处理装置可以动态地改变例如掩蔽图的密度、形状等。例如，根据本实施例的图像处理装置可以从操纵目标图像(或构造操纵目标图像的数据，诸如HTML数据或XML数据)中识别操纵目标对象的位置，并且减小在包括所识别出的位置的区域上的或该区域附近的掩蔽图的密度。换言之，根据本实施例的图像处理装置还可以通过基于包括在操纵目标图像中的操纵目标对象来确定在其中捕获图像被部分地可视化的部分范围，以改变部分范围。

例如，如上所述，根据本实施例的图像处理装置可以通过基于操纵目标对象的位置来动态地改变掩蔽图的密度、形状等以进一步防止包括在操纵目标图像中的操纵目标对象的可视度的降低。

(2-3)根据平滑度的改变以平滑捕获图像的处理

在以上描述中，与根据本实施例的图像处理装置中的根据图像处理方法的处理一样，例示根据部分范围的变化的处理，但是依据根据本实施例的图像处理方法的处理并不限于此。例如，与改变可视化程度的处理一样，根据本实施例的图像处理装置可以改变平滑度以平滑捕获图像。

图12是例示由根据本实施例的图像处理装置显示在显示屏上的组合图像的示例的示意图。此处，图12例示通过平滑捕获图像来将模糊效果给予捕获图像而获得的图像的示例。此外，在图12中例示例如将包括操纵目标对象(诸如“TV”、“万维网浏览器”、……“帮助引导”)的操纵目标图像与显示目标区域中的图像进行了组合的示例。

根据本实施例的图像处理装置例如通过应用高斯滤波器到捕获图像来将模糊效果给予捕获图像。此外，根据本实施例的图像处理装置可以使用能够将模糊效果给予捕获图像的任何技术。

此外，根据本实施例的图像处理装置可以例如如图12的A中所示将操纵目标对象与显示目标区域中的图像进行组合或者可以例如如图12的B中所示不将操纵目标对象与显示目标区域中的图像进行组合。此处，图12例示根据本实施例的图像处理装置将操纵目标对象与显示目标区域中的图像进行组合使得用透明来呈现显示目标区域中的图像的示例。或者如图12的A中所示将操纵目标对象与显示目标区域中的图像进行组合或者如图12的B中所示不将操纵目标对象与显示目标区域中的图像进行组合，进行与肢体动作识别相关的处理的装置都识别针对操纵目标对象的肢体动作操纵并且进行与操纵目标对象关联的处理。例如，如果用户(操纵者)在理想的操纵目标对象上用手进行敲(触摸)理想的操纵目标对象的肢体动作(肢体动作的示例)，进行与肢体动作识别相关的处理的装置则识别例如进行了下述执行操纵，该执行操纵使得进行与肢体动作识别相关的处理的装置执行与操纵目标对象对应的处理。当识别出进行了执行操纵时，进行与肢体动作识别相关的处理的装置还进行例如与在其上进行了执行操纵的目标的操纵目标对象关联的处理。

根据本实施例的图像处理装置例如根据包括在操纵目标图像中的操纵目标对象的类型或属性将包括在操纵目标图像中的操纵目标对象与显示目标区域中的图像选择性地进行组合。根据本实施例的图像处理装置可以例如通过组合、通过根据包括在操纵目标图像中的操纵目标对象的类型或属性将包括在操纵目标图像中的操纵目标对象与显示目标区域中的图像选择性地进行组合来减小操纵目标对象的可见度降低的可能性。

此处，根据本实施例的图像处理装置基于与操纵目标对象对应的元数据或构成操纵目标对象的数据(例如HTML数据或XML数据)来识别操纵目标对象的类型或属性。此外，根据本实施例的图像处理装置不将其与显示目标区域的图像进行组合的操纵目标对象的示例可以包括指示内容的缩略图或图标(例如指示静止图像或运动图像的缩略图或图标)或者指示正显示的内容的窗口(例如运动图像的回放窗口)。此外，图12中例示待被与显示目标区域的图像组合的操纵目标对象以及不被与显示目标区域的图像组合的操纵目标对象二者被包括在操纵目标图像的示例，但是根据本实施例的操纵目标图像并不限于图12中所示的示例。例如，根据本实施例的操纵目标图像可以包括待被与显示目标区域的图像组合的操纵目标对象以及不被与显示目标区域的图像组合的操纵目标对象中仅一项。此外，理解的是，根据本实施例的不被与显示目标区域的图像组合的操纵目标对象的示例并不限于以上所示的示例，并且根据本实施例的图像处理装置可以将以上所示的指示内容的缩略图等与显示目标区域的图像进行组合。

此外，包括在根据本实施例的图像处理装置将其与显示目标区域的图像选择性地进行组合的操纵目标图像中的对象并不限于包括在操纵目标图像中的操纵目标对象。例如，根据不是包括在操纵目标图像中的操纵目标对象的对象(在下文中称为“非操纵目标对象”)的类型或属性，与包括在操纵目标图像中的操纵目标对象被选择性地组合的情况一样，根据本实施例的图像处理装置可以选择性地将包括在操纵目标图像中的非操纵目标对象与显示目标区域的图像进行组合。通过根据包括在操纵目标图像中的非操纵目标对象的类型或属性将包括在操纵目标图像中的非操纵目标对象与显示目标区域的图像选择性地组合，根据本实施例的图像处理装置例如可以通过组合来减小非操纵目标对象的可视度降低的可能性。此处，根据本实施例的图像处理装置未将其与显示目标区域的图像进行组合的非操纵目标对象的示例可以包括使用文本描述内容的针对内容的文本描述窗口。

此外，由根据本实施例的图像处理装置给予捕获图像的平滑捕获图像的效果并不限于模糊效果。例如，当根据本实施例的图像处理装置平滑捕获图像时，可以将绘画效果(例如笔触效果)给予捕获图像，好像捕获图像是画家绘制的一样。

如果将绘画效果给予捕获图像，根据本实施例的图像处理装置例如计算图像中边缘的矢量方向(或矢量与参考方向(诸如图像的竖直方向或水平方向)之间的角度)，并且基于矢量方向来调整边缘保存平滑滤波器的强度。根据本实施例的图像处理装置还使用经调节的边缘保存平滑滤波器来将绘画效果给予捕获图像以平滑捕获图像。此处，根据本实施例的边缘保存平滑滤波器的示例可以包括能够保存边缘的平滑滤波器，诸如双边滤波器。在根据本实施例的图像处理装置中将绘画效果给予捕获图像的处理并不限于以上处理。根据本实施例的图像处理装置可以使用能够将绘画效果给予捕获图像的任何技术。

根据本实施例的图像处理装置进行例如在处理(2)(图像处理)中(2-1)至(2-3)中所示的处理的任何处理以改变捕获图像的可视化程度并且将可视化程度已改变了的捕获图像中的与显示目标区域对应的图像与操纵目标图像进行组合。此处，根据本实施例的图像处理装置例如可以进行预先定义的处理或者可以进行用户所选择的处理。

此外，在根据本实施例的处理(2)(图像处理)中将其可视化程度已改变了的捕获图像中的与显示目标区域对应的图像与操纵目标图像进行组合的处理并不限于(2-1)至(2-3)中所示的处理。

例如，可以将在其中肢体动作可以被识别的区域以及在其中肢体动作不被识别的区域包括在根据本实施例的操纵目标图像中。当将在其中肢体动作可以被识别的区域以及在其中肢体动作不被识别的区域包括在根据本实施例的操纵目标图像中时，根据本实施例的图像处理装置例如可以在操纵目标图像中肢体动作不被识别的区域中不对捕获图像进行组合。

图13是例示根据本实施例的操纵目标图像的示例的示意图。例如，在根据本实施例的操纵目标图像中可以存在不适于肢体动作操纵的操纵目标对象(例如，不容易通过肢体动作操纵进行选择的操纵目标对象)如图13的A1中所示的构成菜单的精细链接(操纵目标对象的示例)。此外，例如，在根据本实施例的操纵目标图像中还可以存在如图13的A2中所示的并非其选择操纵被进行的操纵目标对象的对象(非操纵目标对象)。因此，在本实施例中，例如，如图13的A中所示的包括不适于肢体动作操纵的操纵目标对象的区域或者如图13的B中所示的包括不是操纵目标对象的对象的区域是操纵目标图像中肢体动作不被识别的区域。此外，例如，在操纵目标图像中如图13的B中所示的包括可以通过肢体动作操纵的操纵目标对象的区域是操纵目标图像中肢体动作可以被识别的区域。

此处，根据本实施例的图像处理装置例如基于与操纵目标图像关联的指示操纵目标图像中肢体动作不被识别的区域的信息(例如元数据或用标记语言对标签的描述)来识别操纵目标图像中肢体动作不被识别的区域或操纵目标图像中肢体动作可以被识别的区域。此外，指定操纵目标图像中肢体动作不被识别的区域的方法并不限于以上方法。例如，根据本实施例的图像处理装置可以分析操纵目标图像并且对肢体动作可以被识别的区域以及肢体动作不被识别的区域中的每个区域进行设定。

例如，在图13的示例中，根据本实施例的图像处理装置在图13的A1和A2中所示的区域中不对捕获图像(或其可视化程度已改变了的捕获图像)进行组合，并且在图13的B中所示的区域中对捕获图像(或其可视化程度已改变的捕获图像)进行组合。此处，在图13中简单地例示根据本实施例的图像处理装置将其可视化程度已改变了的捕获图像与操纵目标图像进行组合的示例。

根据本实施例的图像处理装置在处理(2)(图像处理)中将捕获图像中与显示目标区域对应的图像与操纵目标图像进行组合。还通过下文将进行描述的处理(3)(显示控制处理)将经组合的图像显示在显示屏上。因此，当根据本实施例的图像处理装置在处理(2)(图像处理)中将与显示目标区域对应的图像与操纵目标图像进行组合时，防止用户对布置在显示屏内的操纵目标对象进行操纵的困难。

此外，根据本实施例的图像处理装置可以例如如上所述基于捕获图像或操纵目标图像来改变捕获图像的可视化程度，并且将其可视化程度已改变了的捕获图像中与显示目标区域对应的图像与操纵目标图像进行组合。还通过下文将进行描述的处理(3)(显示控制处理)将经组合的图像显示在显示屏上。因此，当根据本实施例的图像处理装置在处理(2)(图像处理)中改变捕获图像的可视化程度时，与简单地将捕获图像与操纵目标图像进行组合并显示在显示屏上的情况相比，可以防止操纵目标对象的可视度降低。

此外，在根据本实施例的图像处理装置中处理(2)(图像处理)并不限于以上处理。

(2-4)图像处理的其它示例

(2-4-1)其它图像处理的第一示例

例如，当在处理(1)(区域设定处理)中设定了操纵目标区域时，根据本实施例的图像处理装置可以顺序地将待被与操纵目标图像进行组合的捕获图像中的区域的位置和大小从大于显示目标区域的预定区域的位置和大小改变至显示目标区域的位置和大小。当捕获图像中区域的位置和大小被改变时，根据本实施例的图像处理装置顺序地将例如与其位置和尺寸被顺序的改变的区域对应的图像与操纵目标图像进行组合。

当根据本实施例的图像处理装置如上所述例如改变待与操纵目标图像进行组合的捕获图像中的区域的位置和大小并且顺序地将与区域对应的图像与操纵目标图像进行组合时，通过下文将进行描述的处理(3)(显示控制处理)首先将与预定区域对应的图像显示在显示屏上并且显示动画显示的图像如与预定图像对应的图像的缩放，直到显示与显示目标区域对应的区域。

此处，假定在捕获图像中存在多个用户的情形。在该情形下，如果成为用于识别个体的线索的对象如脸或衣服未被包括在显示在显示屏上的图像中使得用户可以识别对象，针对每个用户从显示在显示屏上的图像中识别出其肢体动作是当前识别的(换言之，操纵目标区域被设定在哪里)用户可能很困难。

另一方面，根据本实施例的图像处理装置在首先显示与预定区域对应的图像之后，将动画显示的图像如与预定区域对应的图像的缩放显示在显示屏上一直到显示与显示目标区域对应的图像。即，每个用户在观看已被俯视的图像后立刻观看与操纵目标区域对应的显示目标区域中的图像。因而，即使在捕获图像中存在有多个用户时，根据本实施例的用户处理装置还是能够使每个用户更容易地从显示在显示屏上的图像中识别其肢体动作是当前识别的(换言之，操纵目标区域被设定在哪里)用户。

图14是例示根据本实施例的图像处理装置中的图像处理的另一示例的示意图，并且例示根据本实施例的动画显示的示例。此处，图14例示捕获图像以及以时间序列布置的(在图14中随着时间流逝被布置在右侧)待被显示在显示屏上的图像(然而，省略了操纵目标图像)的示例。此外，在图14中，捕获图像A1以及待被与捕获图像显示在显示屏上的图像A2是暂时地对应的图像。类似地，捕获图像B1以及待被与捕获图像显示在显示屏上的图像B2、捕获图像C1以及待被与捕获图像显示在显示屏上的图像C2、捕获图像D1以及待被与捕获图像显示在显示屏上的图像D2以及捕获图像E1以及待被与捕获图像显示在显示屏上的图像E2是暂时地对应的图像。此外，在图14中，由“AR_T”指示显示目标区域并且由“AR0”指示预定区域，在图14中，由“AR1”指示其位置和大小被顺序地改变的区域。

参照图14，根据本实施例的图像处理装置在肢体动作操纵开始之前并不将用于反馈的图像显示在显示屏上(如14中所示的A2)。在处理(1)(区域设定处理)中，如果确定满足肢体动作识别的开始条件如挥手再见(如果检测到肢体动作识别开始触发(图14中所示的T))，则根据本实施例的图像处理装置将与预定区域AR0对应的图像显示在显示屏上。此处，尽管图14中例示预定区域AR0是整个捕获图像的示例，根据本实施例的大于显示目标区域的预定区域并不限于以上区域。

图15是例示根据本实施例的大于显示目标区域的预定区域的示例。如图15中所示，根据本实施例的图像处理装置可以例如将包括从捕获图像中识别出的用户的脸区域的、具有大于显示目标区域的任何大小的矩形区域设定为缩放从其开始的预定区域。

将参照图14再次描述依据根据本实施例的图像处理装置中图像处理的另一示例的动画显示的示例。当与预定区域AR0对应的图像被显示在显示屏上时，根据本实施例的图像处理装置随着时间流逝顺序地将待被与操纵目标图像组合的捕获图像中的区域的位置和大小从预定区域AR0的位置和大小改变至显示目标区域AR_T的位置和大小(图14中所示的C1、D1以及E1)。因而，如图14的C2至图14的E2所示，随着时间流逝将缩放至显示目标区域AR_T的图像显示在显示屏上。

此处，进行与肢体动作识别相关的处理的装置即使在例如如图14所示缩放时也针对操纵目标区域进行与肢体动作识别相关的处理，但是在进行与肢体动作识别相关的处理的装置中的处理并不限于以上处理。例如，进行与肢体动作识别相关的处理的装置可以在如图14所示缩放时不进行与肢体动作识别相关的处理。当进行与肢体动作识别相关的处理的装置在如图14所示缩放时不进行与肢体动作识别相关的处理时，可以在用户难以识别操纵目标区域时防止用户的错误操纵。

当在处理(1)(区域设定处理)中设定了操纵目标区域时，根据本实施例的图像处理装置在首先显示与预定区域对应的图像之后，例如如图14所示将动画显示的图像如与预定区域对应的图像的缩放显示在显示屏上一直到显示与显示目标区域对应的图像。因而，每个用户可以从显示在显示屏上的图像识别出谁是操纵者。

(2-4-2)其它图像处理的第二示例

此外，当在处理(1)(区域设定处理)中设定了操纵目标区域时的图像处理并不限于例如如图14所示重新设定了操纵目标区域。例如，可以在处理(1)(区域设定处理)中设定操纵目标区域时就设定好操纵目标区域。

当设定了与在处理(1)(区域设定处理)中已被设定的操纵目标区域不同的新的操纵目标区域时，根据本实施例的图像处理装置例如可以顺序地将待被与操纵目标图像进行组合的捕获图像中的区域的位置和大小从与已被设定的操纵目标区域对应的显示目标区域的区域的位置和大小改变至大于显示目标区域的预定区域的位置和大小。此外，当捕获图像中的区域的位置和大小已改变至预定区域的位置和大小时，根据本实施例的图像处理装置例如顺序地将捕获图像中区域的位置和大小从预定区域的位置和大小改变至与重新设定的操纵目标区域对应的显示目标区域的位置和大小。当捕获图像中区域的位置和大小被改变时，根据本实施例的图像处理装置例如顺序地将与位置和大小被顺序地改变的区域对应的图像与操纵目标图像进行组合。

当根据本实施例的图像处理装置例如如上所述改变待被与操纵目标对象进行组合的捕获图像中区域的位置和大小并且顺序地将与该区域对应的图像与操纵目标图像进行组合时，下文将进行描述的通过处理(3)(显示控制处理)显示在显示屏上的图像是例如如下列(i)和(ii)所示的动画显示的图像。

(i)与已被设定的操纵目标区域对应的显示目标区域所对应的图像的动画显示如缩放，直到显示与预定区域对应的图像为止(缩小显示)

(ii)与预定区域对应的图像的动画显示如缩放，直到显示与显示目标区域对应的图像为止(放大显示)

此处，假定捕获图像中存在多个用户的情形。在以上情形中，如果待被显示在显示屏上的显示目标区域被从与针对一个用户设定的操纵目标区域对应的显示目标区域瞬时地转换至与针对其它用户设定的操纵目标区域对应的显示目标区域，每个用户可能都不能够从显示在显示屏上的图像中识别其肢体动作是当前识别的(换言之，操纵目标区域已被设定在哪里)用户。

另一方面，根据本实施例的图像处理装置首先将动画显示的图像如与已被设定的操纵目标区域对应的显示目标区域的图像的缩放显示在显示屏上，一直到显示预定区域的图像。根据本实施例的图像处理装置还将动画显示的图像如预定区域的图像的缩放显示在显示屏上一直到显示与重新设定的操纵目标区域对应的显示目标区域所对应的图像。即，每个用户在通过缩小显示观看已被俯视的图像后立即通过放大显示观看与重新设定的操纵目标区域对应的显示目标区域的图像。因而，即使在捕获图像中存在有多个用户并且与设定的操纵目标区域对应的用户被转换时，根据本实施例的图像处理装置还可以使每个用户能够更容易地从显示在显示屏上的图像中识别其肢体动作是当前识别的(换言之，操纵目标区域已被设定在哪里)用户。

图16是例示根据本实施例的图像处理装置中的图像处理的另一示例的示意图，并且例示根据本实施例的动画显示的示例。此处，图16例示捕获图像以及以时间序列布置的(在图16中随着时间流逝被布置在右侧)显示在显示屏上的图像(然而，省略了操纵目标图像)的示例。此外，在图16中，捕获图像A1以及与捕获图像显示在显示屏上的图像A2是暂时地对应的图像。类似地，捕获图像B1以及与捕获图像显示在显示屏上的图像B2、捕获图像C1以及与捕获图像显示在显示屏上的图像C2、捕获图像D1以及与捕获图像显示在显示屏上的图像D2以及捕获图像E1以及与捕获图像显示在显示屏上的图像E2是暂时地对应的图像。此外，在图16中，由“AR_T1”指示与已被设定的操纵目标区域对应的显示目标区域并且由“AR_T2”指示与已被重新设定的操纵目标区域对应的显示目标区域。此外，在图16中，由“AR0”指示预定区域，并且由“AR1”和“AR2”指示其位置和大小被顺序地改变的区域。

如果在显示目标区域AR_T1被显示在显示屏上时设定新的操纵目标区域(图16中所示的A1与A2)，根据本实施例的图像处理装置随着时间流逝顺序地将待被与操纵目标图像进行组合的捕获图像中的区域的位置和大小从显示目标区域AR_T1的位置和大小改变至预定区域AR0的位置和大小(如图16中所示的B1和C1)。因而，如图16的B2和C2中所示，随着时间流逝缩放到预定区域AR0的图像被显示在显示屏上。此处，尽管图16中如上所述已例示预定区域AR0是整个捕获图像的示例，根据本实施例的大于显示目标区域的预定区域并不限于以上区域。

此外，如果待被与操纵目标图像进行组合的捕获图像中的区域的位置和大小被改变至预定区域AR0的位置和大小，根据本实施例的图像处理装置随着时间流逝顺序地将待被与操纵目标图像进行组合的捕获图像中的区域的位置和大小从预定区域AR0的位置和大小改变至显示目标区域AR_T2的位置和大小(图16中所示的D1和E1)。因而，如图16的D2和E2中所示，随时间流逝缩放至显示目标区域AR_T2的图像被显示在显示屏上。

此处，进行与肢体动作识别相关的处理的装置即使在例如如图16所示缩放时也对操纵目标区域进行与肢体动作识别相关的处理，但是在进行与肢体动作识别相关的处理的装置中的处理并不限于此。例如，进行与肢体动作识别相关的处理的装置可以类似在如图14所示的缩放期间在如图16所示的缩放期间不进行与肢体动作识别相关的处理。

图17是例示在根据本实施例的图像处理装置中的图像处理的另一示例的示意图。图17例示当进行根据本实施例的动画显示时包括在显示在显示屏上的图像中的捕获图像的区域的变化的示例。例如，如图17所示，根据本实施例的图像处理装置将显示在显示屏上的区域从整个捕获图像的区域改变以实现例如(i)中所示的动画显示与(ii)中所示的动画显示被组合在其中的动画显示。

如果在处理(1)(区域设定处理)中设定了与已被设定的操纵目标区域不同的新的操纵目标区域，则根据本实施例的图像处理装置例如如图16所示将在其中从与已被设定的操纵目标区域对应的显示目标区域缩小显示以及至与被重新设定的操纵目标区域对应的显示目标区域放大显示被进行组合的动画显示的图像显示在显示屏上。因此，每个用户可以从显示在显示屏上的图像中识别操纵者的改变。

此外，根据本实施例的图像处理装置可以例如在缩放动画显示期间调节操纵目标图像的可视化程度。在根据本实施例的图像处理装置中调节操纵目标图像的可视化程度的示例可以包括降低GUI如窗口小部件的透明度。通过降低GUI的透明度，根据本实施例的图像处理装置可以暂时地增加待被与操纵目标图像进行组合的捕获图像中的区域的图像(反馈图像)的可视度并且使用户更容易地识别操纵者的转换。此外，在根据本实施例的图像处理装置中调节操纵目标图像的可视化程度的示例并不限于以上示例。例如，根据本实施例的图像处理装置可以暂时地不显示GUI如窗口小部件。

此外，例如，当根据本实施例的图像处理装置改变捕获图像的可视化程度时，图像处理装置可以调节捕获图像的可视化程度。在根据本实施例的图像处理装置中调节捕获图像的可视化的程度的示例可以包括弱化对捕获图像的模糊添加以及减法。

(2-4-3)其它图像处理的第三示例

此外，在设定了与在处理(1)(区域设定处理)中已被设定的操纵目标区域不同的新的操纵目标区域的情况下的图像处理并不限于与实现例如如图16所示的缩小显示与放大显示被组合在其中的动画显示相关的处理。

例如，如果设定了与处理(1)(区域设定处理)中已被设定的操纵目标区域不同的新的操纵目标区域，则根据本实施例的图像处理装置可以将待与操纵目标图像进行组合的捕获图像中区域的位置从与已被设定的操纵目标区域对应的显示目标区域改变至与重新设定的操纵目标区域对应的显示目标区域。

图18是例示根据本实施例的图像处理装置中的图像处理的另一示例的示意图，并且例示根据本实施例的显示在显示屏上的区域的移动的示例。此处，图18例示捕获图像。此外，在图18中，由“AR_T1”指示与已被设定的操纵目标区域对应的显示目标区域并且由“AR_T2”指示与已被重新设定的操纵目标区域对应的显示目标区域。此外，在图18中，由“L”指示区域的移动的轨迹。

如图18的L中所示，根据本实施例的图像处理装置例如改变待与操纵目标图像进行组合的捕获图像中区域的位置以绘制穿过从捕获图像中识别出的脸区域的轨迹。例如，如图18所示，当待与操纵目标图像进行组合的捕获图像中区域的位置被改变以绘制穿过从捕获图像中识别出的脸区域的轨迹时，就实现了在其中操纵者的转换被突出显示的显示。

此外，根据本实施例的改变待与操纵目标图像进行组合的捕获图像中的区域的位置的方法并不限于以上方法。例如，根据本实施例的图像处理装置可以将待与操纵目标图像进行组合的捕获图像中的区域的位置以最短距离移动以从与已被设定的操纵目标区域对应的显示目标区域改变至与重新设定的操纵目标区域对应的显示目标区域。

(3)显示控制处理

如果完成处理(2)(图像处理)，则根据本实施例的图像处理装置将经组合的图像显示在显示屏上。

此处，当根据本实施例的图像处理装置将图像显示在外部显示设备的显示屏上时，根据本实施例的图像处理装置例如将指示图像的图像信号传送至显示设备以将图像显示在显示屏上。此外，当根据本实施例的图像处理装置将图像显示在显示单元(下文将进行描述)的显示屏上时，根据本实施例的图像处理装置将指示图像的图像信号移送至显示单元(下文将进行描述)以显示图像。

根据本实施例的图像处理装置进行例如处理(1)(区域设定处理)、处理(2)(图像处理)以及处理(3)(显示控制处理)作为依据根据本实施例的图像处理方法的处理。在处理(1)(区域设定处理)中，根据本实施例的图像处理装置设定操纵目标区域。此外，在处理(2)(图像处理)中，根据本实施例的图像处理装置将捕获图像中的与显示目标区域(与操纵目标区域对应的区域)对应的图像与操纵目标图像进行组合。还通过处理(3)(显示控制处理)将经组合的图像显示在显示屏上。

此处，因为根据本实施例的图像处理装置在处理(2)(图像处理)中将与设定的操纵目标区域对应的显示目标区域所对应的图像与操纵目标图像进行组合，避免了用户对布置在显示屏内的操纵目标对象操纵的困难。

因此，根据本实施例的图像处理装置可以在防止用户的可操纵性劣化的同时可以将捕获图像与操纵目标图像显示在显示屏上。

此外，根据本实施例的图像处理装置可以在处理(2)(图像处理)中改变捕获图像的可视化程度。当处理(2)(图像处理)中改变捕获图像的可视化程度时，与简单地将捕获图像与操纵目标图像进行组合并显示在显示屏上的情况相比，根据本实施例的图像处理装置可以防止操纵目标对象的可视度降低。因此，如果处理(2)(图像处理)中改变捕获图像的可视化程度，根据本实施例的图像处理装置可以在防止操纵目标对象的可视度降低并且防止用户的可操纵性劣化的同时将捕获图像和操纵目标图像显示在显示屏上。

此外，如果根据本实施例的图像处理装置在处理(2)(图像处理)中基于包括在操纵目标图像中的操纵目标对象来确定在其中捕获图像被部分地可视化的部分范围，则可以将在其中包括在操纵目标图像中的操纵目标对象被更清楚地显示的图像显示在显示屏上。因此，在上述情况下，根据本实施例的图像处理装置可以进一步改善例如包括在操纵目标图像中的操纵目标对象(即，构成GUI的操纵目标对象)的可视度。

此外，如果根据本实施例的图像处理装置在处理(2)(图像处理)中基于从捕获图像中识别出的预定目标来确定在其中捕获图像被部分地可视化的部分范围，则例如如图9A至图10B所示，不将进行操纵的用户的脸显示在显示屏上。因此，在以上情况下，根据本实施例的图像处理装置可以实现例如使用户并不感觉强烈的镜像图像呈现，由此将使用户并不感觉强烈的肢体动作识别反馈给用户。

此外，因为根据本实施例的图像处理装置在处理(2)(图像处理)中改变捕获图像的可视化程度，与简单地将捕获图像与操纵目标图像进行组合并显示在显示屏上的情况相比，可以控制对于基于肢体动作的操纵并不必要的区域的可视化。因此，根据本实施例的图像处理装置例如可以进一步便利于用户进行的更精良的基于肢体动作的操纵，由此进一步改善用户的可操纵性。

此外，根据本实施例的图像处理装置可以例如通过处理(2)(图像处理)和处理(3)(显示控制处理)通过动画显示如缩放将与操纵目标区域对应的显示目标区域的图像显示在显示屏上。通过通过动画显示如缩放将与操纵目标区域对应的显示目标区域的图像显示在显示屏上，根据本实施例的图像处理装置可以使用户更容易地从显示在显示屏上的图像中识别其肢体动作是当前识别的用户。

此外，在根据本实施例的图像处理装置中的依据根据本实施例的图像处理方法的处理并不限于处理(1)(区域设定处理)至处理(3)(显示控制处理)。例如，根据本实施例的图像处理装置可以基于在其上进行肢体动作识别的识别目标对象的位置以及包括在操纵目标图像中的根据肢体动作识别的结果来操纵的操纵目标对象的位置以在经组合的图像中通知用户操纵目标对象中可以的肢体动作操纵(通知处理)。

此处，根据本实施例的识别目标对象的示例可以包括用于识别用户的肢体动作的肢体动作识别目标如用户的身体的一部分如用户的手或者用户操纵的对象的形状。

图19至图21是例示根据本实施例的图像处理装置中的通知处理的示例的示意图。此处，图19至图21中的每个图例示通过根据本实施例的通知处理视觉上通知由用户的手(识别目标对象的示例)选择的、对于内容或构成GUI的图标可以的肢体动作操纵的示例。此外，在图19至图21中，简单地例示根据本实施例的图像处理装置将其可视化程度已改变了的捕获图像与操纵目标图像进行了组合的示例。

例如，图19例示当用户的手的位置存在于在其中图标可以被操纵的范围中时，根据本实施例的图像处理装置将指示卷动检测的辅助图标(图19中I1和I2)显示在显示屏上的示例。

此外，例如，图20例示当用户的手的位置存在于在其中内容可以被操纵的范围中时，根据本实施例的图像处理装置将指示通过其可以确定内容的肢体动作的图标显示在显示屏上。此外，根据本实施例的图像处理装置可以通过动画显示来通知用户由其可以确定内容的肢体动作。

此外，例如，图21例示当用户的手的位置存在于在其中内容可以被操纵的范围中时将指示通过其可以确定内容的肢体动作或通过其可以转换内容的肢体动作的图标显示在显示屏上。此外，根据本实施例的图像处理装置可以通过动画显示来通知用户通过其可以确定内容的肢体动作或通过其可以转换内容的肢体动作。

此外，例如，如图21中所示，根据本实施例的图像处理装置可以通过改变可以通过肢体动作操纵的对象(图21中所示的A)的呈现以及难以通过肢体动作操纵的对象(图21中所示的B至E)的呈现来通知用户是否可以通过肢体动作操纵对象。此处，指示是否可以通过肢体动作进行操纵的呈现方法的示例可以包括在其中改变透明度的呈现。

根据本实施例的图像处理装置例如如上所述进行在操纵目标对象中可以的肢体动作操纵的视觉地通知的处理作为通知处理(4)。此外，根据本实施例的图像处理装置中的通知处理并不限于如图19至图21所示视觉地通知在操纵目标对象中可以的肢体动作操纵的处理。例如，根据本实施例的图像处理装置可以使用利用声音(包括音乐或蜂鸣声声音；在下文中同样适用)的听觉通知方法来通知在操纵目标对象中可以的肢体动作操纵。此外，根据本实施例的图像处理装置可以对视觉通知和听觉通知进行组合。

此处，根据本实施例的图像处理装置使其进行通知的目标的示例可以包括包含在所属装置(根据本实施例的图像处理装置)以及/或外部装置如外部显示设备或外部声音输出设备中的显示单元(下文将进行描述)或声音输出单元(下文将进行描述)。

[2]依据根据本实施例的图像处理方法的处理的一个示例

图22是例示依据根据本实施例的图像处理方法的处理的示例的流程图。在下文中，将根据本实施例的图像处理装置描述为进行图22中所示出的处理。此处，例如，图22中步骤S100、步骤S102、步骤S110以及步骤S112的处理与处理(1)(区域设定处理)对应。此外，例如，图22中步骤S104至步骤S108以及步骤S114与步骤S116的处理与处理(2)(图像处理)以及处理(3)(显示控制处理)对应。此外，在下文中，例如，将经组合的图像描述为基本上通过处理(2)(图像处理)和处理(3)(显示控制处理)被显示在显示屏上直到进行步骤S102的处理之后进行步骤S108的处理为止。

根据本实施例的图像处理装置确定肢体动作识别是否开始(S100)。此处，根据本实施例的图像处理装置例如确定是否满足肢体动作识别的开始条件(肢体动作识别开始的触发)并且如果确定满足肢体动作识别的开始条件则确定肢体动作识别开始。

如果步骤S100中未确定肢体动作识别开始，则根据本实施例的图像处理装置不继续进行处理直到确定肢体动作识别开始为止。

此外，当步骤S100中确定肢体动作识别开始时，根据本实施例的图像处理装置设定操纵目标区域(S102)。

如果步骤S102中设定操纵目标区域，则根据本实施例的图像处理装置进行缩放动画显示(S104)。此处，步骤S104中的缩放动画显示的示例可以包括从大于与步骤S102中设定的操纵目标区域对应的显示目标区域的预定区域到显示目标区域的放大显示。

此外，尽管在图22中未示出，进行与肢体动作识别相关的处理的装置识别在步骤S102中设定的操纵目标区域中的肢体动作并且在步骤S102的处理之后根据识别结果进行处理。

根据本实施例的图像处理装置确定在进行与肢体动作识别相关的处理的装置中是否已完成肢体动作识别(S106)。如果进行与肢体动作识别相关的处理的装置是所属装置(根据本实施例的图像处理装置)，则根据本实施例的图像处理装置例如确定是否满足肢体动作识别的结束条件(肢体动作识别结束的触发)，并且如果如步骤S100中确定满足肢体动作识别的结束条件则确定肢体动作识别已结束。此外，例如如果某一时段未检测到检测对象的操纵或移动或者如果内容、图标等被选中，则根据本实施例的图像处理装置可以确定满足肢体动作识别的结束条件。此外，如果进行与肢体动作识别相关的处理的装置是外部装置，则根据本实施例的图像处理装置例如当接受从外部装置传送的指示肢体动作识别已结束的信号时确定肢体动作识别已结束。

如果步骤S106中确定在进行与肢体动作识别相关的处理的装置中肢体动作识别已结束，则根据本实施例的图像处理装置将操纵目标对象显示在显示屏上并且结束给用户的基于图像的反馈。根据本实施例的图像处理装置还结束依据根据本实施例的图像处理方法的处理。

此外，如果步骤S106中未确定在进行与肢体动作识别相关的处理的装置中肢体动作识别已结束，则根据本实施例的图像处理装置确定新的肢体动作识别是否开始(S110)。此处，如果确定满足新的肢体动作识别的开始条件，则根据本实施例的图像处理装置例如通过与步骤S100相同的处理确定新的肢体动作识别开始。此外，在其上进行步骤S110中确定的新的肢体动作识别的目标例如可以是与已被设定的操纵目标区域对应的用户不同的用户或者可以是与已被设定的操纵目标区域对应的用户相同的用户。

如果步骤S110中未确定新的肢体动作识别开始，则根据本实施例的图像处理装置从步骤S106重复处理。

此外，如果步骤S110中确定新的肢体动作识别开始，则根据本实施例的图像处理装置如步骤S102中设定操纵目标区域(S112)。

如果步骤S112中设定了操纵目标区域，则根据本实施例的图像处理装置进行缩放动画显示(S114以及S116)。根据本实施例的图像处理装置还从步骤S106重复处理。此处，步骤S114中缩放动画显示的示例可以包括从与已被设定的操纵目标区域对应的显示目标区域到大于显示目标区域的预定区域以及与步骤S112中重新设定的操纵目标区域对应的显示目标区域的缩小显示。此外，步骤S116中的缩放动画显示的示例可以包括从预定区域到与步骤S112中重新设定的操纵目标区域对应的显示目标区域的放大显示。

根据本实施例的图像处理装置进行例如图22中所示出的处理以实现依据根据本实施例的图像处理方法的处理(1)(区域设定处理)至处理(3)(显示控制处理)。此外，理解的是，依据根据本实施例的图像处理方法的处理并不限于图22中所示出的处理。

(根据本实施例的图像处理装置)

接下来，将描述能够进行上文所述的依据根据本实施例的图像处理方法的处理的根据本实施例的图像处理装置的配置的示例。

图23是例示根据本实施例的图像处理装置100的配置的示例的框图。例如，图像处理装置100包括通信单元102和控制单元104。

此外，图像处理装置100可以包括：例如ROM(只读存储器；未示出)、RAM(随机存取存储器；未示出)、存储单元(未示出)、可以由用户操纵的操纵单元(未示出)以及将各种屏幕显示在显示屏上的显示单元(未示出)。在图像处理装置100中，例如，通过作为数据传输线的总线来连接各种部件。

此处，ROM(未示出)存储控制单元104使用的、用于控制的程序或数据如计算参数。RAM(未示出)暂时地存储例如待由控制单元104执行的程序。

存储单元(未示出)是包括在图像处理装置100中的存储介质并且存储例如各种数据如构成操纵目标图像的数据或应用。此处，存储单元(未示出)的示例可以包括磁记录介质如硬盘以及非暂态存储器如EEPROM(电可擦除只读存储器)或闪存。此外，存储单元(未示出)可以是与图像处理装置100可分开的。此外，操纵单元(未示出)可以包括下文将进行描述的操纵输入设备，并且显示单元(未示出)可以包括下文将进行描述的显示设备。

(图像处理装置100的硬件配置的示例)

图24是例示根据本实施例的图像处理装置100的硬件配置的示例的示意图。图像处理装置100包括例如MPU 150、ROM 152、RAM 154、记录介质156、输入及输出接口158、操纵输入设备160、显示设备162以及通信接口164。此外，在图像处理装置100中，例如用作数据传输线的总线连接各种部件。

MPU 150例如作用为包括MPU(微处理单元)或各种处理电路的控制单元104，并且控制整个图像处理装置100。此外，在图像处理装置100中，MPU 150起例如下文将进行描述的区域设定单元110、图像处理单元112以及显示控制单元114的作用。

ROM 152存储MPU 150所使用的、用于控制的程序或数据如计算参数。RAM 154例如暂时地存储例如待由MPU 150执行的程序。

记录介质156作用为存储单元(未示出)并且存储例如各种数据如构成操纵目标图像的数据或应用。此处，记录介质156的示例可以包括磁记录介质如硬盘或非暂态存储器如闪存。此外，记录介质156可以是从图像处理装置100可分开的。

输入及输出接口158连接例如操纵输入设备160或显示设备162。操纵输入设备作用为操纵单元(未示出)，而显示设备162作用为显示单元(未示出)。此处，输入及输出接口158的示例可以包括USB(通用串行总线)终端、DVI(数字视频接口)终端、HDML(高清晰度多媒体接口)终端以及各种处理电路。此外，操纵输入设备160被提供在例如图像处理装置100上并且被连接至图像处理装置100内部的输入及输出接口158。操纵输入设备160的示例可以包括按钮、方向键、回转式旋钮(诸如飞梭旋钮)或其组合。此外，显示设备162被提供在例如图像处理装置100上并且被连接至图像处理装置100内部的输入及输出接口158。显示设备162的示例可以包括液晶显示器(LCD)或有机EL显示器(有机电致发光显示器；还被称为OLED显示器(有机发光二极管显示器))。

此外，可理解的是：输入及输出接口158被连接至为图像处理装置100外部的设备的外部设备，如操纵输入设备(例如，键盘或鼠标)以及显示设备。此外，显示设备162可以是例如在其中显示与用户操纵二者都可以的设备，诸如触摸屏。

通信接口164是包括在图像处理装置100中的通信介质并且作用为用于经由网络(或直接地)与图像装置、显示设备或外部设备如服务器进行无线/有线通信的通信单元102。此处，通信接口164的示例可以包括通信天线以及RF(射频)电路(无线通信)、IEEE802.15.1端口以及传送与接收电路(无线通信)、IEEE802.11b端口以及传送与接收电路(无线通信)或LAN(局域网)终端以及传送与接收电路(有线通信)。此外，根据本实施例的网络的示例可以包括有线网络如LAN或WAN(广域网)、经由基站的无线网络如无线LAN(WLAN；无线局域网)或无线WAN(WWAN；无线广域网)，或使用通信协议如TCP/IP(传输控制协议/网际协议)的因特网。

图像处理装置100例如通过图24所示的配置来进行依据根据本实施例的图像处理方法的处理。根据本实施例的图像处理装置100的硬件配置并不限于图23中所示的配置。例如，图像处理装置100可以包括充当捕获静止图像或运动图像的成像单元(未示出)的成像设备。如果包括成像设备，则图像处理100可以处理例如通过在成像设备中成像而生成的捕获图像。

此处，根据本实施例的成像设备的示例可以包括透镜/成像元件以及信号处理电路。透镜/成像元件包括例如光学系统的透镜，以及使用多个CMOS(互补金属氧化物半导体)成像元件的图像传感器。此外，信号处理电路包括例如AGC(自动增益控制)电路或ADC(模拟数字转换器)，并且将由成像元件生成的数字信号转换成数字信号(图像数据)以进行各种信号处理。由信号处理电路进行的信号处理的示例可以包括白平衡校正处理、色彩校正处理、伽马校正处理、YCbCr转换处理以及边缘增强处理。

此外，图像处理装置100可以进一步包括例如DSP(数字信号处理器)以及声音输出设备。根据本实施例的声音输出设备的示例可以包括放大器和扬声器。当进一步包括DSP及声音输出设备时，图像处理装置100可以使用从声音输出设备输出的声音对在操纵目标对象中可以的肢体动作操纵进行通知。

此外，当图像处理装置100具有例如以独立方式进行处理的配置时，图像处理装置100可以不包括通信接口164。此外，图像处理装置100可以具有在其中不包括操纵输入设备160或显示设备162的配置。

将再次参照图23，描述图像处理装置100的配置的示例。通信单元102是包括在图像处理装置100中的通信介质，并且经由网络(或直接地)与外部设备如成像装置、显示设备或服务器进行无线/有线通信。此外，例如由控制单元104控制通信单元102的通信。此处，通信单元102可以包括例如通信天线以及RF电路或LAN终端以及传送与接收电路，但是通信单元102的配置并不限于此。例如，通信单元102可以具有与可以通信的任何标准器对应的配置如USB终端及传送与接收电路，或者可以具有能够经由网络与外部装置进行通信的任何配置。

控制单元104包括例如MPU并且用以控制整个图像处理装置100。此外，控制单元104包括例如区域设定单元110、图像处理单元112以及显示控制单元114，并且在进行依据根据本实施例的图像处理方法的处理中起主要作用。

区域设定单元110在进行处理(1)(区域设定处理)中起主要作用，例如用于在捕获图像的一部分中设定操纵目标区域。

图像处理单元112在进行处理(2)(图像处理)中起主要作用以将与区域设定单元110中设定的操纵目标区域对应的显示目标区域中的图像与操纵目标区域进行组合。此外，图像处理单元112可以例如基于捕获图像或操纵目标图像来改变捕获图像的可视化程度并且将与区域设定单元110中设定的操纵目标区域对应的显示目标区域中的图像与操纵目标图像进行组合。

显示控制单元114在处理(3)(显示控制处理)中起主要作用，并且将由图像处理单元112组合的图像显示在显示屏上。

因为控制单元104包括例如区域设定单元110、图像处理单元112以及显示控制单元114，所以控制单元104在依据根据本实施例的图像处理方法的处理(例如，处理(1)(区域设定处理)至处理(3)(显示控制处理))中起主要作用。

此外，根据本实施例的控制单元的配置并不限于图23中所示的配置。例如，根据本实施例的控制单元还可以包括进行处理(4)(通知处理)的通知处理单元(未示出)。此外，根据本实施例的控制单元例如还可以包括在设定的操纵目标区域中识别肢体动作并且进行与识别出的肢体动作相关的处理的肢体动作识别处理单元(未示出)。

图像处理装置100例如使用图23中所示的配置来进行依据根据本实施例的图像处理方法的处理(例如，处理(1)(区域设定处理)至处理(3)(显示控制处理))。因此，图像处理装置100可以例如使用图23中所示的配置来在防止操纵目标对象的可视度降低并且防止用户的可操纵性劣化的同时将捕获图像与操纵目标图像显示在显示屏上。

此外，根据本实施例的图像处理装置的配置并不限于图23中所示的配置。例如，根据本实施例的图像处理装置可以单独地包括如图23所示的区域设定单元110、图像处理单元112以及显示控制单元114、通知处理单元(未示出)或肢体动作识别处理单元(未示出)(将各个单元实现为单独处理电路)。

此外，根据本实施例的图像处理装置可以包括例如成像单元(未示出)。如果图像处理装置包括成像单元(未示出)，则根据本实施例的图像处理装置可以处理由成像单元(未示出)中的成像而生成的捕获图像。

此外，根据本实施例的图像处理装置可以包括例如能够输出声音的声音输出单元(未示出)。此处，声音输出单元(未示出)的示例可以包括DSP及声音输出设备。当图像处理装置包括声音输出单元(未示出)时，根据本实施例的图像处理装置可以使用由声音输出单元(未示出)输出的声音来针对用户进行各种通知如操纵目标对象中可以的肢体动作操纵或错误。

此外，当根据本实施例的图像处理装置具有例如以独立方式进行处理的配置时，图像处理装置可以不包括通信单元102。

如上所述，根据本实施例的图像处理装置进行例如处理(1)(区域设定处理)、处理(2)(图像处理)以及处理(3)(显示控制处理)作为依据根据本实施例的图像处理方法的处理。根据本实施例的图像处理装置在处理(1)(区域设定处理)中设定操纵目标区域。此外，根据本实施例的图像处理装置在处理(2)(图像处理)中将捕获图像中与显示目标区域(与操纵目标区域对应的区域)对应的图像与操纵目标图像进行组合。还通过处理(3)(显示控制处理)将经组合的图像显示在显示屏上。

此处，因为根据本实施例的图像处理装置在处理(2)(图像处理)中将与设定的操纵目标区域对应的显示目标区域所对应的图像与操纵目标图像进行组合，所以防止了用户操纵布置在显示屏内的操纵目标对象的困难。

因此，根据本实施例的图像处理装置可以在防止用户的可操纵性降低的同时将捕获图像和操纵目标对象显示在显示屏上。

此外，根据本实施例的图像处理装置可以在处理(2)(图像处理)中改变捕获图像的可视化程度。当处理(2)(图像处理)中改变捕获图像的可视化程度时，与简单地将捕获图像与操纵目标图像进行组合并显示在显示屏上的情况相比，根据本实施例的图像处理装置可以防止操纵目标对象的可视度降低。因此，如果处理(2)(图像处理)中改变捕获图像的可视化程度，根据本实施例的图像处理装置可以在防止操纵目标对象的可视度降低并且防止用户的可操纵性劣化的同时将捕获图像和操纵目标图像显示在显示屏上。

此外，根据本实施例的图像处理装置在处理(1)(区域设定处理)中根据用户的位置或姿势、脸或手的大小等来设定操纵目标区域。因为操纵目标区域是根据脸或手的大小等来设定的，所以用户例如即使在靠近照相机的位置或即使在远离照相机的位置都可以用相同的操纵感进行肢体动作操纵。此外，因为根据本实施例的图像处理装置根据检测目标(诸如脸或手)的移动而动态地更新(重置)操纵目标区域，所以即使在操纵者(用户)在肢体动作操纵期间移动时，用户都可以连续地进行操纵。

此外，根据本实施例的图像处理装置可以通过动画显示如缩放例如通过处理(2)(图像处理)和处理(3)(显示控制处理)将与操纵目标区域对应的显示目标区域的图像显示在显示屏上。通过通过动画显示如缩放将与操纵目标区域对应的显示目标区域的图像显示在显示屏上，根据本实施例的图像处理装置可以使用户更容易地从显示在显示屏上的图像识别其肢体动作是当前识别的用户。此外，因为通过动画显示如缩放将与操纵目标区域对应的显示目标区域的图像显示在显示屏上，例如即使当根据本实施例的图像处理装置不可避免地将操纵目标区域设定在与操纵者想要的范围不同的范围中如当操纵者突出在照相机的视角之外时，操纵者(用户)都可以识别操纵目标区域已被设定在何处。此外，因为通过动画显示如缩放将与操纵目标区域对应的显示目标区域的图像显示在显示屏上，即使在操纵目标区域根据识别出的用户的位置或姿势(例如，坐、站或躺下)而改变时，用户都可以识别用户必须将他的或她的手等移动在何处以能够进行肢体动作操纵。此外，因为通过动画显示如缩放将与操纵目标区域对应的显示目标区域的图像显示在显示屏上，用户可以立即识别已切换操纵者。

上文描述了图像处理装置作为本实施例，但是本实施例并不限于这样的实施例。可以将本实施例应用至例如能够处理图像以及控制显示屏上的显示的多个设备，如通信设备如移动电话或智能手机、视频/音乐播放设备(或视频/音乐记录及再现设备)、游戏机、计算机如PC(个人计算机)或服务器、显示设备如电视机接收器或成像装置如数码照相机。此外，可以将本实施例应用至例如可以被集成在这些设备中的处理IC(集成电路)。

此外，可以通过包括假设连接至网络(或各个设备之间通信)的多个设备诸如例如云计算的图像处理系统来实现依据根据本实施例的图像处理方法的处理。

(根据本实施例的程序)

在计算机中执行用于使计算机作用为根据本实施例的图像处理装置的程序(例如，能够执行依据根据本实施例的图像处理方法的处理如“处理(1)(区域设定处理)至处理(3)(显示控制处理)”或“处理(1)(区域设定处理)至处理(4)(通知处理)”的程序)，因此在防止操纵目标对象的可视度降低并且防止用户的可操纵性劣化的同时将捕获图像与操纵目标图像显示在显示屏上。

尽管参照附图详细地描述了本公开的优选实施例，但是本公开并不限于此。对于本领域技术人员明显的是，在本文的所附权利要求或其等同方案的技术范围内的各种修改或变形是可能的。应该理解的是，这样的修改或变形也在本公开的技术范围内。

例如，尽管在以上描述中例示提供用于使计算机作用为根据本实施例的图像处理装置的程序(计算机程序)，本实施例还可以提供将该程序一起存储在其上的记录介质。

以上所述的配置是本实施例的示例并且当然是本公开的技术范围内。

另外，本技术还可以被配置如下。

(1)一种图像处理装置，包括：

区域设定单元，其在捕获图像的一部分中设定操纵目标区域用于将肢体动作操作反馈给用户，所述操纵目标区域是在其中进行肢体动作识别的区域；

图像处理单元，其将显示目标区域中的图像与操纵目标图像进行组合以根据肢体动作识别的结果被操纵，显示目标区域是与捕获图像中要显示在显示屏上的操纵目标区域对应的区域；以及

显示控制单元，其将组合的图像显示在显示屏上。

(2)根据(1)的图像处理装置，其中，

由区域设定单元设定的操纵目标区域是小于捕获图像的整个区域并且大于显示目标区域的区域。

(3)根据(1)或(2)的图像处理装置，其中

区域设定单元基于捕获图像中的检测目标的位置和大小、检测目标的运动、用户的姿势、检测目标的形状以及包括在操纵目标图像中的操纵目标对象的大小中的一项或两项或更多项来设定操纵目标区域。

(4)根据(1)至(3)中任一项的图像处理装置，其中，

操纵目标图像包括在其中肢体动作被识别的区域以及在其中肢体动作不被识别的区域，以及

图像处理单元不对操纵目标图像的在其中肢体动作不被识别的区域中的捕获图像进行组合。

(5)根据(1)至(4)中任一项的图像处理装置，其中，

区域设定单元确定是否满足肢体动作识别的开始条件，并且在区域设定单元确定满足肢体动作识别的开始条件时设定操纵目标区域。

(6)根据(1)至(5)中任一项的图像处理装置，其中，

当区域设定单元设定操纵目标区域时，图像处理单元顺序地将要与操纵目标图像进行组合的捕获图像中的区域的位置和大小从大于显示目标区域的预定区域的位置和大小改变至显示目标区域的位置和大小，并且顺序地将与其位置和尺寸被顺序的改变的区域对应的图像与操纵目标图像进行组合。

(7)根据(1)至(5)中任一项的图像处理装置，其中，

当区域设定单元设定与已被设定的操纵目标区域不同的新的操纵目标区域时，图像处理单元顺序地将待被与操纵目标图像进行组合的捕获图像中的区域的位置和大小从与已被设定的操纵目标区域对应的显示目标区域的位置和大小改变至大于显示目标区域的预定区域的位置和大小，以及

当捕获图像中的区域的位置和大小已改变至预定区域的位置和大小时，图像处理单元顺序地将捕获图像中区域的位置和大小从预定区域的位置和大小改变至与已被重新设定的操纵目标区域对应的显示目标区域的位置和大小，以及

顺序地将与其位置和大小被顺序地改变的区域对应的图像与操纵目标图像进行组合。

(8)根据(1)至(5)中任一项的图像处理装置，其中，

当区域设定单元设定与已被设定的操纵目标区域不同的新的操纵目标区域时，图像处理单元以这样的方式改变待与操纵目标图像组合的捕获图像中的区域的位置：将捕获图像中的区域的位置从与已被设定的操纵目标区域对应的显示目标区域移动至与已被设定的新的操纵目标区域对应的显示目标区域。

(9)根据(1)至(8)中任一项的图像处理装置，还包括：

通知处理单元，其基于对其进行肢体动作识别的识别目标对象的位置以及包括在操纵目标图像中的根据肢体动作识别的结果来操纵的操纵目标对象的位置来在组合的图像中向用户通知操纵目标对象中可能的肢体动作操纵。

(10)根据(1)的图像处理装置，其中，

图像处理单元基于捕获图像来改变捕获图像的可视化程度，并且将其可视化程度已改变了的捕获图像中的显示目标区域中的图像与操纵目标图像组合。

(11)根据(10)的图像处理装置，其中，

图像处理单元改变在其中捕获图像被部分地可视化的部分范围作为可视化程度的改变。

(12)根据(11)的图像处理装置，其中，

图像处理单元基于从捕获图像中识别出的预定目标来确定部分范围。

(13)根据(11)的图像处理装置，其中，

图像处理单元改变捕获图像的透明度或捕获图像的显示区作为捕获图像的部分可视化。

(14)根据(10)的图像处理装置，其中，

图像处理单元改变平滑度以平滑捕获图像，作为可视化程度的改变。

(15)一种图像处理方法，包括：

在捕获图像的一部分中设定操纵目标区域用于将肢体动作操作反馈给用户，操纵目标区域是在其中执行肢体动作识别的区域；

将显示目标区域中的图像与操纵目标图像进行组合以待根据肢体动作识别的结果被操纵，显示目标区域是与捕获图像中待被显示在显示屏上的操纵目标区域对应的区域；以及

将组合的图像显示在显示屏上。

(16)一种程序，用于使计算机执行：

在捕获图像的一部分中设定操纵目标区域用于将肢体动作操作反馈给用户，操纵目标区域是在其中执行肢体动作识别的区域；

将显示目标区域中的图像与操纵目标图像进行组合以待根据肢体动作识别的结果被操纵，显示目标区域是与捕获图像中待被显示在显示屏上的操纵目标区域对应的区域；以及

将组合的图像显示在显示屏上。

(17)一种信息处理系统，包括电路，电路被配置为：获取由成像设备捕获的图像数据；基于对捕获图像数据中对象的检测来设定操纵目标区域，操纵目标区域被设定为具有覆盖显示器的整个区域的区域；控制显示器以将操纵目标图像显示在显示器的与操纵目标区域对应的区域中；以及基于获取的图像数据检测对操纵目标图像的输入。

(18)根据(17)的信息处理系统，其中，电路被配置为控制显示器，以对获取的图像数据的包括所检测的对象的至少一部分连同操纵目标区域一起进行显示。

(19)根据(18)的信息处理系统，其中，电路被配置为控制显示器，以将预定效果应用到获取的图像数据的包括所检测的对象的至少一部分。

(20)根据(18)至(19)中任一项的信息处理系统，其中，电路被配置为控制显示器以将预定效果应用到包括在获取的图像数据的至少一部分中的所检测的对象。

(21)根据(17)至(20)中任一项的信息处理系统，其中，电路被配置为在获取的图像数据中检测手，并且基于对手的检测来设定操纵目标区域。

(22)根据(21)的信息处理系统，其中，电路被配置为基于在图像数据中检测到的手的大小和位置中的至少之一来设定操纵目标区域。

(23)根据(21)至(22)中任一项的信息处理系统，其中，电路被配置为将具有包括所检测的手的大小的区域设定为操纵目标区域，所述大小小于与获取的图像数据对应的大小。

(24)根据(17)至(23)中任一项的信息处理系统，其中，电路被配置为在获取的图像数据中检测脸，并且基于对脸的检测来设定操纵目标区域。

(25)根据(24)的信息处理系统，其中，电路被配置为基于检测到的脸的大小和位置中的至少之一来设定操纵目标区域。

(26)根据(24)至(25)中任一项的信息处理系统，其中，电路被配置为将具有包括所检测的脸的大小的区域设定为操纵目标区域，所述大小小于与获取的图像数据对应的大小的。

(27)根据(24)的信息处理系统，其中，电路被配置为：识别与所检测的脸对应的用户；获取指示所识别的用户的用手习惯的信息；以及基于用户的用手习惯设定操纵目标区域。

(28)根据(24)的信息处理系统，其中，电路被配置为根据获取的图像数据来检测用户的姿势，并且基于所检测的姿势以及所检测到脸在获取的图像数据中的位置来设定操纵目标区域。

(29)根据(17)至(28)中任一项的信息处理系统，其中，电路被配置为检测获取的图像数据中的对象的运动和形状中的至少之一，并且基于所检测的对象的运动和形状中的至少之一来设定操纵目标区域。

(30)根据(17)至(29)中任一项的信息处理系统，其中，操纵目标图像包括多个可选择的操纵目标对象，并且电路被配置为检测对多个可选择的操纵目标对象之一的选择作为对操纵目标图像的输入。

(31)根据(17)至(30)中任一项的信息处理系统，其中，操纵目标图像包括第一区域和第二区域，第一区域包括能够由所检测的输入操纵的第一操纵目标对象，第二区域包括不能由所检测的输入操纵的第二操纵目标图像。

(32)根据(17)至(31)中任一项的信息处理系统，其中，电路被配置为基于获取的图像数据检测姿势输入。

(33)根据(31)的信息处理系统，其中，电路被配置为控制显示器，以在第一区域中显示获取的图像数据的至少一部分以及在第二区域中不显示图像数据的任何图像数据。

(34)根据(31)的信息处理系统，其中，电路被配置为控制显示器，以将获取的图像数据的至少一部分显示在第一区域和第二区域中，其中，预定效果被应用到获取的图像数据的显示的至少一部分，以将获取的图像数据的显示在第一区域的至少一部分与获取的图像数据的显示在第二区域的至少一部分区分开。

(35)根据(17)至(34)中任一项的信息处理系统，其中，电路被配置为：在获取的图像数据中检测第二对象；基于从获取的图像数据中对第二对象的检测来设定第二操纵目标区域；以及控制显示器以对指示关于从操纵目标区域到第二操纵目标区域的变化的通知进行显示。

(36)根据(35)的信息处理系统，其中，电路被配置为控制显示器，以通过对在显示器上显示的获取的图像数据的至少一部分进行放大和缩小来显示通知。

(37)根据(17)至(36)中任一项的信息处理系统，其中，电路被配置为控制显示器，以基于获取的图像数据输出关于所检测的对象在用于检测对操纵目标图像的输入的范围之外或靠近该范围的边缘的通知。

(38)根据(37)的信息处理系统，其中，电路被配置为控制显示器，以输出指示所检测的对象应该移动以位于用于检测对操纵目标图像的输入的范围中的方向的指令。

(39)根据(17)至(38)中任一项的信息处理系统，其中，电路被配置为将操纵目标区域设定为具有覆盖显示器的整个面积的面积。

(40)根据(17)至(38)中任一项的信息处理系统，其中，电路被配置为将操纵目标区域设定为具有比显示器的整个面积更大的面积。

(41)根据(17)至(40)中任一项的信息处理系统，其中，电路被配置为基于获取的图像数据检测对操纵目标图像的输入。

(42)一种由信息处理系统执行的方法，该方法包括：

控制显示器，以显示基于操纵目标图像生成的图像以及基于操纵目标区域的图像，操纵目标区域是基于对包括在获取的图像数据中的对象的检测而设定的。

(43)一种包括计算机程序指令的非暂态计算机可读介质，计算机程序指令当由信息处理系统执行时使得信息处理系统：控制显示器，以显示基于操纵目标图像生成的图像以及基于操纵目标区域的图像，操纵目标区域是基于对包括在获取的图像数据中的对象的检测而设定的。

附图标记列表

100 图像处理装置

102 通信单元

104 控制单元

110 区域设定单元

112 图像处理单元

114 显示控制单元

Claims (27)

1.一种信息处理系统，包括：

电路，其被配置为：

控制显示器，以显示基于操纵目标图像生成的图像以及基于操纵目标区域的图像，所述操纵目标区域是基于对包括在获取的图像数据中的对象的检测而设定的。

2.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为控制所述显示器，以连同所述操纵目标区域一起显示所述获取的图像数据的包括所检测的对象的至少一部分。

3.根据权利要求2所述的信息处理系统，其中，

所述电路被配置为控制所述显示器，以将预定效果应用到所述获取的图像数据的包括所检测的对象的所述至少一部分。

4.根据权利要求2所述的信息处理系统，其中，

所述电路被配置为控制所述显示器，以将预定效果应用到包括在所述获取的图像数据的所述至少一部分中的所检测的对象。

5.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为在所述获取的图像数据中检测手，并且基于对所述手的所述检测来设定所述操纵目标区域。

6.根据权利要求5所述的信息处理系统，其中，

所述电路被配置为基于在所述图像数据中检测的所述手的大小和位置中的至少之一来设定所述操纵目标区域。

7.根据权利要求5所述的信息处理系统，其中，

所述电路被配置为将具有包括所述检测的手的大小的区域设定为所述操纵目标区域，其中所述大小小于与所述获取的图像数据对应的大小。

8.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为在所述获取的图像数据中检测脸，并且基于对所述脸的所述检测来设定所述操纵目标区域。

9.根据权利要求8所述的信息处理系统，其中，

所述电路被配置为基于所检测的脸的大小和位置中的至少之一来设定所述操纵目标区域。

10.根据权利要求8所述的信息处理系统，其中，

所述电路被配置为将具有包括所检测的脸的大小的区域设定为所述操纵目标区域，其中所述大小小于与所述获取的图像数据对应的大小。

11.根据权利要求8所述的信息处理系统，其中，

所述电路被配置为：

识别与所检测的脸对应的用户；

获取指示所识别的用户的用手习惯的信息；以及

基于所述用户的所述用手习惯设定所述操纵目标区域。

12.根据权利要求8所述的信息处理系统，其中，

所述电路被配置为根据所述获取的图像数据检测用户的姿势，并且基于所检测的姿势以及所检测的脸在所述获取的图像数据中的位置来设定所述操纵目标区域。

13.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为检测所述获取的图像数据中的所述对象的运动和形状中的至少之一，并且基于所检测的所述对象的所述运动和形状中的至少之一来设定所述操纵目标区域。

14.根据权利要求1所述的信息处理系统，其中，

所述操纵目标图像包括多个可选择的操纵目标对象，并且所述电路被配置为检测对所述多个可选择的操纵目标对象之一的选择，以作为对所述操纵目标图像的输入。

15.根据权利要求1所述的信息处理系统，其中，

所述操纵目标图像包括第一区域和第二区域，所述第一区域包括能够由检测到的输入操纵的第一操纵目标对象，所述第二区域包括不能由所述检测到的输入操纵的第二操纵目标图像。

16.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为基于所述获取的图像数据检测肢体动作输入。

17.根据权利要求15所述的信息处理系统，其中，

所述电路被配置为控制所述显示器，以在所述第一区域中显示所述获取的图像数据的至少一部分并且不在所述第二区域中显示所述图像数据的任何图像数据。

18.根据权利要求15所述的信息处理系统，其中，

所述电路被配置为控制所述显示器，以将所述获取的图像数据的至少一部分显示在所述第一区域和所述第二区域中，其中，预定效果被应用到所述获取的图像数据的所显示的至少一部分，以将所述获取的图像数据的显示在所述第一区域中的所述至少一部分与所述获取的图像数据的显示在所述第二区域中的所述至少一部分区分开。

19.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为：

在所述获取的图像数据中检测第二对象；

基于从所述获取的图像数据中对所述第二对象的所述检测来设定第二操纵目标区域；以及

控制所述显示器，以对指示从所述操纵目标区域到所述第二操纵目标区域的变化的通知进行显示。

20.根据权利要求19所述的信息处理系统，其中，

所述电路被配置为控制所述显示器以通过对在所述显示器上显示的所述获取的图像数据的至少一部分进行放大和缩小来显示所述通知。

21.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为控制所述显示器，以基于所述获取的图像数据输出有关所检测的对象在用于检测对所述操纵目标图像的输入的范围之外或靠近所述范围的边缘的通知。

22.根据权利要求21所述的信息处理系统，其中，

所述电路被配置为控制所述显示器，以输出指示所检测的对象应该移动以位于用于检测对所述操纵目标图像的输入的所述范围中的方向的指令。

23.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为将所述操纵目标区域设定为具有覆盖所述显示器的整个面积的面积。

24.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为将所述操纵目标区域设定为具有比所述显示器的整个面积更大的面积。

25.根据权利要求1所述的信息处理系统，其中，

所述电路被配置为基于所述获取的图像数据检测对所述操纵目标图像的输入。

26.一种由信息处理系统执行的方法，所述方法包括：

控制显示器，以显示基于操纵目标图像生成的图像以及基于操纵目标区域的图像，所述操纵目标区域是基于对包括在获取的图像数据中的对象的检测而设定的。

27.一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令当由信息处理系统执行时使得所述信息处理系统：控制显示器，以显示基于操纵目标图像生成的图像以及基于操纵目标区域的图像，所述操纵目标区域是基于对包括在获取的图像数据中的对象的检测而设定的。