CN103959204B - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN103959204B
CN103959204B CN201280058983.3A CN201280058983A CN103959204B CN 103959204 B CN103959204 B CN 103959204B CN 201280058983 A CN201280058983 A CN 201280058983A CN 103959204 B CN103959204 B CN 103959204B
Authority
CN
China
Prior art keywords
image
shooting image
shooting
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280058983.3A
Other languages
English (en)
Other versions
CN103959204A (zh
Inventor
繁田脩
山本幸
山本一幸
奥村泰史
大木嘉人
池田卓朗
冈田宪
冈田宪一
大村淳己
河野道成
斎藤直毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103959204A publication Critical patent/CN103959204A/zh
Application granted granted Critical
Publication of CN103959204B publication Critical patent/CN103959204B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种信息处理装置，包括控制拍摄图像和操作目标图像的合成以生成用于向用户给出手势识别反馈的合成图像的处理单元，其中所述拍摄图像的可视化程度在合成图像中有所变化。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开涉及信息处理装置、信息处理方法和记录介质。
背景技术
近年来，诸如电子设备之类的装置的高性能化和/或多功能化已得到长足发展，并且应被发布给要由用户使用的装置的指令内容也变得愈发的多样化和复杂化。在这种环境下，许多装置采用图形用户界面(GUI)作为用户接口。因此，相比于其中装置采用字符用户界面(CUI)的情况，用户能够更方便地向装置发布指令。然而，例如对于那些不熟悉使用诸如鼠标的指示设备进行操作的用户而言，使用指示设备操作的GUI并不一定是用户友好的用户界面。
在这种环境下，为改善可操作性而与用户接口相关的技术正被开发。作为用于在显示屏幕上显示通过将拍摄图像同与预定事件关联的对象有关的对象图像相合成而获取的图像的技术，存在专利文献1中所公开的技术。
引证列表
专利文献
专利文献1：JP2005-216061A
发明内容
技术问题
例如，在使用专利文献1所公开的技术的情况下，用户的手势操作可以通过在显示屏幕上显示图像而向用户做出反馈，其中所述图像是通过将拍摄图像(或基于拍摄图像的镜像图像：下文相同称呼)同与预定事件关联的对象有关的对象图像相合成而获取的。
此外，例如，使用已经应用了专利文献1公开的技术的装置的用户能够根据手势操作来操作所述对象而使得该装置执行同与对象关联的预定事件相关的处理。在此，例如在专利文献1公开的技术中，合成对象图像的位置根据从拍摄图像中检测到的用户位置而变化。因此，使用例如专利文献1公开的技术，能够降低用户难以对对象进行操作的问题的出现。
然而，例如在专利文献1公开的技术根据从拍摄图像中检测到的用户位置改变与对象图像相合成的位置。结果，例如像web页面那样，在包括用作可由用户操作的诸如按钮或图标的操作目标的对象(其后称为“操作目标对象”)的操作目标图像与拍摄图像相合成时，将难以应用专利文献1中公开的技术。
在此，作为在显示屏幕上显示用于向用户反馈手势识别的拍摄图像和操作目标图像的方法，例如考虑将拍摄图像与操作目标图像相合成以在显示屏幕上显示合成图像的方法或是将拍摄图像和操作目标图像作为分开图像分别在显示屏幕分割成的各分割区域之一内显示的方法。
然而，如果使用的是上述仅将拍摄图像与操作目标图像相合成以在显示屏幕上显示合成图像的方法，存在操作目标对象的可见性例如由于拍摄图像的内容叠加在操作目标图像内包括的操作目标对象上而劣化的问题。此外，如果使用的是上述将拍摄图像和操作目标图像各自作为分开图像在显示屏幕分割成的各分割区域之一内显示的方法，则存在操作目标图像内包括的操作目标对象的可见性例如由于显示操作目标图像的分割区域的尺寸或面积小于整个显示屏幕而劣化的问题。
本公开提出了一种能够在显示屏幕上显示拍摄图像和操作目标图像同时避免操作目标对象的可见性劣化的一种新颖且改善的信息处理装置、信息处理方法和记录介质。
所要解决的问题
根据本公开的一个实施方式，提供了一种信息处理装置，包括被配置为控制拍摄图像和操作目标图像的合成以生成用于向用户反馈手势识别的合成图像的处理单元。所述拍摄图像的可视化程度在所述合成图像中看上去有所变化。
根据本公开的一个实施方式，提供了一种信息处理方法，包括将拍摄图像与操作目标图像相合成以生成用于向用户反馈手势识别的合成图像的步骤。所述拍摄图像的可视化程度在所述合成图像中看上去有所变化。
根据本公开的一个实施方式，提供了记录程序的计算机可读记录介质，所述程序使得计算机执行如下步骤：将拍摄图像与操作目标图像相合成以生成用于向用户反馈手势识别的合成图像。所述拍摄图像的可视化程度在所述合成图像中看上去有所变化。
根据本公开的一个实施方式，提供了一种图像处理装置，包括基于用于向用户反馈手势识别的拍摄图像或是根据所述手势识别的结果操作的操作目标图像，改变要在所述显示屏幕上显示的拍摄图像的可视化程度，并将其可视化程度已被改变的所述拍摄图像与所述操作目标图像相合成的图像处理单元，以及用于在所述显示屏幕上显示合成图像的显示控制单元。
进一步地，根据本公开的一个实施方式，提供了一种图像处理方法，包括基于用于向用户反馈手势识别的拍摄图像或是根据所述手势识别的结果操作的操作目标图像，改变要在所述显示屏幕上显示的拍摄图像的可视化程度，并将其可视化程度已被改变的所述拍摄图像与所述操作目标图像相合成，以及在所述显示屏幕上显示合成图像。
本发明的有益效果
根据本公开，能够在显示屏幕上显示拍摄图像和操作目标图像，同时避免操作目标对象可见性的劣化。
附图说明
图1A是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图1B是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图2A是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图2B是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图3是示出了在根据该实施方式的图像处理装置中，从拍摄图像中剪切包括用户的区域的处理的例子的说明图。
图4A是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图4B是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图5是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图6是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的操作面板的例子的说明图。
图7是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图8是示出了在根据该实施方式的图像处理装置中，显示如图7所示合成图像的处理例的说明图。
图9是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图10是示出了根据该实施方式的操作目标对象的例子的说明图。
图11是示出了由根据该实施方式的图像处理装置在显示屏幕上显示的合成图像的例子的说明图。
图12是示出了与根据该实施方式的图像处理方法相关的处理例的流程图。
图13是示出了根据该实施方式的图像处理装置的配置例的框图。
图14是示出了根据该实施方式的图像处理装置的硬件配置例的说明图。
具体实施方式
其后，将参考附图详细描述本公开的优选实施例。注意到，在本说明书和附图中，具有基本相同功能和结构的结构性元件由相同的参考编号所指示，并由此省略对这些结构性元件的重复解释。
此外，注意到描述将以如下次序给出。
1.根据该实施方式的图像处理方法(信息处理方法)
2.根据该实施方式的图像处理装置(信息处理装置)
3.根据该实施方式的程序
(根据该实施方式的图像处理方法)
在描述根据该实施方式的图像处理装置(信息处理装置，以下相同)的配置之前，将先描述根据该实施方式的图像处理方法(信息处理方法，以下相同)。此外，其后还将描述执行与根据该实施方式的图像处理方法有关的处理的根据该实施方式的图像处理装置。
[1]根据该实施方式的图像处理方法的概要
如上所述，在仅仅是将拍摄图像与操作目标图像相合成并在显示屏幕上显示时，存在操作目标图像中包括的操作目标对象的可见性劣化的问题。此外，即便在将拍摄图像和操作目标图像各自作为分开图像在显示屏幕分割成的各分割区域之一内显示时，仍然存在操作目标图像内包括的操作目标对象的可见性劣化的问题。
根据该实施方式的图像处理装置基于拍摄图像或包括操作目标对象的操作目标图像改变要在显示屏幕上显示的拍摄图像的可视化程度，并将该可视化程度已经改变的拍摄图像与操作目标图像相合成(合成处理)。根据该实施方式的图像处理装置在显示屏幕上显示合成图像(显示控制处理)。
在此，例如如果外部成像装置或根据该实施方式的图像处理装置设有成像单元(将在随后讨论)，则根据该实施方式的拍摄图像是通过对由该成像单元(将在随后讨论)拍摄的图像执行镜像图像处理(左右反向处理)而获取的图像。根据该实施方式的拍摄图像用于向用户反馈手势识别。在显示屏幕上显示其中合成了拍摄图像的图像，以使得用户能够视觉识别他/她的手势内容，诸如使他/她的手滑动，用他/她的手执行按压操作，或是使用多个手指执行放大操作、缩小操作或移动操作。在此，镜像图像处理可由根据该实施方式的图像处理装置执行，也可由诸如执行成像的成像装置之类的外部装置执行。此外，根据该实施方式的拍摄图像的例子是移动图像(或多幅静止图像)。其后，将描述其中根据该实施方式的拍摄图像是包括多幅帧图像的移动图像的例子。
根据该实施方式的拍摄图像不限于进行了镜像图像处理(左右反向处理)所述的图像。例如，如果镜像图像由成像装置或成像单元(将在随后讨论)拍摄，则根据该实施方式的拍摄图像可以是拍摄的实际图像。
此外，根据该实施方式的操作目标图像的例子是包括根据手势识别的结果操作的操作目标对象的图像。在此，根据该实施方式的操作目标图像的例子是表示web页面、各设备的菜单画面或操作画面的图像。此外，根据该实施方式的操作目标对象是按钮、图标、或诸如超级链接的链接。与手势识别有关的处理可由根据该实施方式的图像处理装置执行，也可由根据该实施方式的图像处理装置外部的装置执行。
此外，根据该实施方式的显示屏幕的例子是外部显示装置中的显示屏幕，或是在根据该实施方式的图像处理装置包括显示单元(将在随后讨论)的情况下可以是该显示单元(将在随后讨论)中的显示屏幕。
根据该实施方式的图像处理装置例如执行(1)合成处理和(2)显示控制处理，作为与根据该实施方式的图像处理方法有关的处理。其后将具体描述与根据该实施方式的图像处理方法有关的处理。
(1)合成处理
根据该实施方式的图像处理装置基于拍摄图像或操作目标图像改变要在显示屏幕上显示的拍摄图像的可视化程度。根据该实施方式的图像处理装置将其可视化程度已被改变的拍摄图像与操作目标图像相合成。
在此，根据该实施方式的拍摄图像的可视化程度的改变的例子是其中拍摄图像被部分可视化的部分范围的改变，或是用于平滑拍摄图像的平滑度的改变等。此外，根据该实施方式的拍摄图像的部分可视化的例子是拍摄图像的透明程度的改变或是显示拍摄图像的面积的改变。根据该实施方式的拍摄图像的可视化程度的改变的具体例子将在随后描述。
(1-1)根据部分范围改变的处理的第一例
根据该实施方式的图像处理装置例如基于从拍摄图像中识别出的预定目标确定部分范围。根据该实施方式的图像处理装置例如通过基于确定的部分范围改变拍摄图像的透明程度来部分可视化拍摄图像。
在此，根据该实施方式的预定目标的例子是诸如用户面部或用户手部的对象。根据该实施方式的图像处理装置例如通过检测诸如用户眼睛、鼻子、嘴巴和骨骼结构的特征点或是通过检测与面部亮度分布或结构图案相类似的区域来从拍摄图像中识别包括用户面部的面部区域。此外，根据该实施方式的图像处理装置例如通过执行诸如边缘检测和图案匹配的各种图像处理操作来从拍摄图像中识别诸如用户手部的识别目标的对象。
在根据该实施方式的图像处理装置中的识别预定目标的处理不限于此。例如，根据该实施方式的图像处理装置可以从拍摄图像中识别移动体作为预定目标，并且将包括该识别出的移动体的区域确定为部分区域。在此，虽然根据该实施方式的图像处理装置例如通过检测对应当前帧的图像与对应在前帧的图像之间的差别或是通过检测运动矢量的改变来检测该移动体，但是检测移动体的方法不限于此。
其后将更为具体地描述与根据该实施方式的部分范围中的变化有关的处理的例子。
[A]第一例：在面部被识别作为预定目标时
在面部被识别作为预定目标时，根据该实施方式的图像处理装置从拍摄图像中识别所述面部并将除识别出的面部之外的部分确定为部分范围。
图1A、1B、2A和2B是示出了由根据该实施方式的图像处理装置在显示屏幕上显示合成图像的例子的说明图。在此，图1A是图1B示例的概念图，而图2A是图2B示例的概念图。此外，图1A、1B、2A和2B示出了当根据该实施方式的图像处理装置将除了从拍摄图像中识别出的面部之外的部分确定为部分范围时的图像的例子。
根据该实施方式的图像处理装置例如通过执行从识别出的面部区域应用半透明梯度的处理来可视化除识别出的面部之外的部分。在此，根据该实施方式的图像处理装置例如可以根据拍摄图像的背景部分(例如，除识别出的面部区域之外的部分)动态改变施加半透明梯度时的透明度。
例如，根据该实施方式的图像处理装置检测拍摄图像的背景部分内的空间频率或色调并且根据检测结果动态改变透明度。例如，根据该实施方式的图像处理装置在检测到的空间频率较高时(图像较为复杂时)进一步降低透明度，并在检测到的色调较暗时进一步降低透明度。例如，如上所述，根据该实施方式的图像处理装置能够通过在检测到的空间频率较高时进一步降低透明度并在检测到的色调较暗时进一步降低透明度来避免包括在操作目标图像中的操作目标对象的可见性的劣化。
在根据该实施方式的图像处理装置中的动态改变透明度的处理不限于此。例如，根据该实施方式的图像处理装置可以从操作目标图像(或组成操作目标图像的数据，诸如超文本标记语言(HTML)数据或可扩展标记语言(XML)数据)中指定操作目标对象的位置，并降低包括该指定位置的区域内的透明度。也就是说，根据该实施方式的图像处理装置能够通过基于包括在操作目标图像中的操作目标对象确定其中要部分可视化拍摄图像的部分范围来改变部分范围。
在此，根据该实施方式的图像处理装置可以排他地执行基于包括在操作目标图像中的操作目标对象改变部分范围的处理以及基于从拍摄图像中识别出的预定目标改变部分范围的处理之一，也可以执行这两个处理。此外，如果执行上述两个处理，则根据该实施方式的图像处理装置可以为每个处理设置优先级，诸如为基于包括在操作目标图像中的操作目标对象改变部分范围的处理设置更高的优先级。
例如，如上所述，根据该实施方式的图像处理装置能够通过基于操作目标对象的位置动态改变透明度来避免包括在操作目标图像中的操作目标对象的可视性的劣化。
虽然根据该实施方式的图像处理装置例如将整个拍摄图像指定为用于确定部分范围的目标区域，但是根据该实施方式的用于确定部分范围的目标区域不限于此。例如，根据该实施方式的图像处理装置从拍摄图像中识别用户，并且从该拍摄图像中剪切包括在该拍摄图像中识别出的用户的部分区域。根据该实施方式的图像处理装置例如可以将该剪切区域指定为用于确定部分范围的目标区域。
更具体地，根据该实施方式的图像处理装置例如从拍摄图像中检测面部区域。根据该实施方式的图像处理装置例如通过参照其中面部区域的尺寸与包括该用户的区域(剪切区域)的尺寸相关联的查找表，将预定尺寸与检测到的面部区域尺寸相对应的区域确定为包括其面部已被检测到的用户的区域。根据该实施方式的确定包括该用户的区域的方法不限于此。例如，根据该实施方式的图像处理装置可以基于面部区域检测的结果和边缘检测处理的结果而将包括该用户的最小区域确定为包括该用户的区域。
图3是示出了在根据该实施方式的图像处理装置中，从拍摄图像中剪切包括用户的区域的处理例的说明图。图3例示的A示出了整幅拍摄图像，而图3例示的B则示出了通过剪切并按比例缩放用于确定图3的A中例示的部分范围的目标区域AR而获取的区域AR’。
例如，如图3所例示的，根据该实施方式的图像处理装置除了剪切之外，还能够执行进一步的处理，诸如按比例缩放用于确定从拍摄图像中剪切的部分范围的目标区域。不言自明的是，根据该实施方式的图像处理装置也可以不对用于确定从拍摄图像中剪切的部分范围的目标区域执行诸如按比例缩放之类的进一步的处理。
此外，根据该实施方式的图像处理装置例如在图3的B中示出的区域AR’(基于从拍摄图像中剪切的区域的区域的例子)与操作目标图像相合成的情况下，可以进行合成位置校正，诸如在操作目标图像的水平方向上的中心处与区域AR’合成。
虽然在图1A至图3的拍摄图像中包括了一名用户，但是也可以在根据该实施方式的拍摄图像中包括多名用户。根据该实施方式的图像处理装置在已从拍摄图像中识别出多名用户的情况下，针对每个识别出的用户从拍摄图像中剪切包括该识别出的用户的部分区域。根据该实施方式的图像处理装置将各剪切区域(或经历诸如针对各区域的按比例缩放的进一步处理的区域)指定为用于确定与各识别出的用户相对应的部分范围的目标区域。此外，即便在已从拍摄图像中识别出多名用户的情况下，根据该实施方式的图像处理装置也能够校正各剪切区域与操作目标图像合成的位置。
此外，在已从拍摄图像中识别出多名用户的情况下，由根据该实施方式的图像处理装置或外部装置执行的与手势识别有关的处理例如可以针对各识别出的用户逐一地独立进行，可以根据多个用户的操作协同进行，也可以排他地进行。此外，在已从拍摄图像中识别出多名用户的情况下，由根据该实施方式的图像处理装置或外部装置执行的与手势识别有关的处理例如可以根据各用户的优先级设置而进行。在此就上述优先级设置方法而言存在各种方法，例如为首先识别的用户、最后识别的用户或是包括识别出的用户的部分区域的尺寸最大的用户设置高优先级。
[B]在手部被识别作为预定目标时
在手部被识别作为预定目标时，根据该实施方式的图像处理装置从拍摄图像中识别所述手部并将包括该识别出的手部的区域确定为部分范围。在此，根据该实施方式的图像处理装置例如可以从整个拍摄图像中识别出手部，或如图3所示从拍摄图像的剪切区域中识别出手部。
此外，根据该实施方式的图像处理装置例如通过执行对拍摄图像中除包括该识别出的手部的区域之外的区域应用掩膜板的处理来可视化包括该手部的区域。此外，根据该实施方式的图像处理装置例如通过执行应用半透明梯度的处理来可视化包括该识别出的手部的区域。在此，在执行了应用半透明梯度的处理的情况下，根据该实施方式的图像处理装置可以与有关上述第一例的处理一样，例如在应用半透明梯度时根据拍摄图像的背景部分而动态改变透明度。
[C]第三例：当移动体被识别为预定目标时
在移动体被识别作为预定目标时，根据该实施方式的图像处理装置从拍摄图像中识别作为预定目标的所述移动体并将包括该识别出的移动体的区域确定为部分范围。在此，根据该实施方式的图像处理装置例如可以从整个拍摄图像中识别出移动体，或如图3所示从拍摄图像的剪切区域中识别出该移动体。
图4A和4B是示出了由根据该实施方式的图像处理装置在显示屏幕上显示合成图像的例子的说明图。在此，图4A是图4B例示的概念图。此外，图4A和4B示出了在根据该实施方式的图像处理装置已经将从拍摄图像中识别出移动体的区域确定为部分范围的情况下的图像的例子。
根据该实施方式的图像处理装置如图4A和4B所例示的，例如通过如同在磨砂玻璃上拖拽手部那样可视化其中移动体已被识别的区域，实现该移动体已被识别的区域的可视化。不言自明的是，在将移动体识别为移动目标时在显示屏幕上显示的图像不限于图4A和4B的例示。
(1-2)有关部分范围改变的处理的第二例
已经描述了其中根据该实施方式的图像处理装置基于从拍摄图像中识别出的预定目标确定该部分范围并基于确定的部分范围部分地可视化拍摄图像的例子作为与部分范围的改变有关的处理的第一例。然而，在根据该实施方式的图像处理装置中与部分范围的改变有关的处理不限于上述例子。例如，根据该实施方式的图像处理装置可以通过改变显示拍摄图像的面积来改变其中部分可视化该拍摄图像的部分范围。
图5是示出了由根据该实施方式的图像处理装置在显示屏幕上显示合成图像的例子的说明图。在此。图5示出了其中通过向拍摄图像应用掩膜板来改变用来可视化该拍摄图像的部分范围的例子。
根据该实施方式的图像处理装置通过例如图5所示向拍摄图像应用掩膜板来减小显示拍摄图像的面积，并改变在其中可视化该拍摄图像的部分范围。
在根据该实施方式的图像处理装置中的处理不限于图5的例示。虽然根据该实施方式的图像处理装置例如图5所示向整个拍摄图像应用均一的掩膜板，但是根据该实施方式的图像处理装置也可以动态改变例如掩膜板的密度或形状。例如，根据该实施方式的图像处理装置从操作目标图像(或构成操作目标图像的数据，诸如HTML数据或XML数据)中指定操作目标对象的位置，并且降低包括该指定位置的区域或该区域周围的掩膜板的密度。也就是说，根据该实施方式的图像处理装置能够通过基于包括在操作目标图像中的操作目标对象确定其中要部分可视化拍摄图像的部分范围来改变部分范围。
例如，如上所述，根据该实施方式的图像处理装置能够通过基于操作目标对象的位置动态改变掩膜板的密度或形状来避免包括在操作目标图像中的操作目标对象的可视性的劣化。
此外，根据该实施方式的图像处理装置可以将掩膜板应用于在显示屏幕的一部分上显示的操作面板(操作目标对象的例子)，而不是将掩膜板的应用限制为整个拍摄图像。图6是示出了由根据该实施方式的图像处理装置在显示屏幕上显示操作面板的例子的说明图。不言自明的是，由根据该实施方式的图像处理装置在显示屏幕上显示的操作面板不限于图6的例示。
(1-3)有关部分范围改变的处理的第三例
在根据该实施方式的图像处理装置中，与部分范围的改变有关的处理不限于上述第一和第二例。图7是示出了由根据该实施方式的图像处理装置在显示屏幕上显示合成图像的例子的说明图。
例如，作为一种在显示屏幕上显示表示与电视广播等有关的内容的图像的情况下向用户反馈手势以使得能够尽可能不干扰该用户观看内容的方法，在显示屏幕的一部分上显示屏幕上显示(OSD)，如图7所例示的那样。在此，在图7中，如图7的A中所例示的那样显示在其中操作面板(操作目标对象的例子)在显示屏幕的一部分内与拍摄图像的一部分相合成的例子。
在此，例如如果仅在OSD上显示图标，则可能会出现其中对用户的反馈不足的情况，诸如“其中在执行左/右轻弹操作(手势的例子)时不知道应该移动手臂多少的情况”，或是“其中在操作未被适当执行时不知道操作失败原因(例如，在成像装置的视角之外等)的情况”。
另一方面，根据该实施方式的图像处理装置将从拍摄图像剪切的部分与操作面板相合成，例如图7的A中所例示的那样。例如，如图7所示，根据该实施方式的图像处理装置在显示屏幕上显示与拍摄图像合成的操作面板。结果在显示屏幕上显示如图7所例示的图像，以使得用户能够更容易地理解“手势会在将手摆动到接触图标的程度下被识别”或是“操作未被恰当执行时因为超出了成像装置的可视角度或识别角度”。
在此，将更为具体地描述在根据该实施方式的图像处理装置中显示如图7所例示的合成图像的处理例。图8是示出了在根据该实施方式的图像处理装置中，显示如图7所示合成图像的处理例的说明图。图8示出了拍摄图像的例子。其后将描述其中根据该实施方式的图像处理装置将用户的手部识别为用于识别用户手势的手势识别目标。
在从拍摄图像中识别手部(手势识别目标的例子)的情况下，根据该实施方式的图像处理装置基于包括识别出的手部的区域(图8中例示的A)确定定义了其中手势被识别的范围的区域(图8中了例示的B)。根据该实施方式的图像处理装置例如指定包括了含有识别出的手部的区域的更大区域作为定义了其中手势被识别的范围的区域。在此，虽然例如根据含有识别出的手部的区域的尺寸确定出了该包括了含有识别出的手部的区域的更大区域的尺寸，但是用于确定包括了含有识别出的手部的区域的更大区域的方法不限于此。例如，可以设置上述包括了含有识别出的手部的区域的更大区域的尺寸的上限和下限。用户可以设置上述包括了含有识别出的手部的区域的更大区域的尺寸。例如，如上所述地确定该定义了其中手势被识别的范围的区域，以使得含有识别出的手部的区域周围的区域被确定为定义了识别出的手部的范围的区域。
在该定义了其中手势被识别的范围的区域被确定的情况下，根据该实施方式的图像处理装置就从拍摄图像中修剪出定义了其中上述手势被识别的范围的区域，并将该修剪出的区域与操作面板相合成。根据该实施方式的图像处理装置在显示屏幕上显示合成的操作面板。
在此，虽然根据该实施方式的图像处理装置显示了在显示屏幕的预定位置处合成的操作面板，但是根据该实施方式的图像处理装置不限于其中合成的操作面板被如上显示的位置。例如，根据该实施方式的图像处理装置可以在与从拍摄图像中首先识别出手部(手势识别目标的例子)的位置相对应的位置处显示合成的操作面板。
(1-4)与改变使拍摄图像平滑的平滑度有关的处理
虽然已经描述了与改变部分范围有关的处理作为与根据该实施方式的图像处理装置中的图像处理方法有关的处理，但是与根据该实施方式的图像处理方法有关的处理不限于此。例如，根据该实施方式的图像处理装置可以改变使拍摄图像平滑的平滑度作为改变可视化程度的处理。
图9是示出了由根据该实施方式的图像处理装置在显示屏幕上显示合成图像的例子的说明图。在此，图9示出了通过如同画家画出的那样向拍摄图像给出绘画效果(例如，刷子/笔效果等)而获取的图像的例子。
根据该实施方式的图像处理装置例如计算图像内边缘的矢量方向(或是矢量与诸如图像的垂直方向或水平方向之类的标准方向之间的角度)，并且基于该矢量方向调整边缘保存平滑化滤波的滤波水平。根据该实施方式的图像处理装置通过使用经调整的边缘保存平滑滤波对拍摄图像进行平滑，从而向拍摄图像给出绘画效果。在此，根据该实施方式的边缘保存平滑滤波的例子是能够保存边缘的平滑滤波，例如双边滤波。
在根据该实施方式的图像处理装置中向拍摄图像给出绘画效果的处理不限于此。根据该实施方式的图像处理装置可以使用能够向拍摄图像给出绘画效果的任何技术。此外，根据该实施方式的图像处理装置可以例如通过向拍摄图像应用高斯滤波而向该拍摄图像给出模糊效果。
此外，例如图9的A中所例示，根据该实施方式的图像处理装置能够合成诸如滚动条的操作目标对象。
根据该实施方式的图像处理装置能够将其与拍摄图像相合成的操作目标对象不限于图9中A的例示。图10是示出了根据该实施方式的操作目标对象的例子的说明图。根据该实施方式的操作目标对象的例子是图10的A所例示的垂直滚动条、图10的B所例示的滑条、图10的C所例示的拨盘或是图10的D所例示的按钮等。
(1-5)根据该实施方式改变拍摄图像的可视化程度的其他例
与根据该实施方式的图像处理方法有关的处理不限于上述(1-1)至(1-4)示出的处理。例如，根据该实施方式的图像处理装置可以从拍摄图像中识别出预定目标并将包括在该拍摄图像中识别出的预定目标的部分区域的可视化程度改变为在该拍摄图像中的其他区域(该拍摄图像中除去上述部分区域的区域)的可视化程度。
在此，与根据上述部分范围的改变进行的处理的第一例相同，根据该实施方式的预定目标例如包括诸如用户面部或用户手部的对象。此外，根据该实施方式的图像处理装置例如可以将诸如用户指尖之类的对象的一部分识别为预定目标。在根据该实施方式的图像处理装置中，用作根据该实施方式的预定目标的对象例如包括可用作指示器的对象(或该对象的一部分)。
图11是示出了由根据该实施方式的图像处理装置在显示屏幕上显示合成图像的例子的说明图，并且示出了根据该实施方式改变拍摄图像的可视化程度的另一例。在此，图11示出了其中根据该实施方式的图像处理装置将用户指尖识别为根据该实施方式的预定目标并在该拍摄图像中将包括识别出的指尖的椭圆部分设置为根据该实施方式的部分区域的例子。此外，图11还示出了其中根据该实施方式的图像处理装置将包括从拍摄图像中识别出的预定目标的部分区域的亮度设置为比其他区域的亮度更高的例子。根据该实施方式的图像处理装置例如通过向拍摄图像应用与包括从拍摄图像中识别出的预定目标的部分区域和/或其他区域相对应的掩膜板，而将该部分区域的亮度设置为比其他区域更高。
同样地，根据该实施方式的图像处理区域不限于椭圆区域，并且例如可以是任意形状的区域。此外，将包括从拍摄图像中识别出的预定目标的部分区域的亮度设置为比其他区域的亮度更高的处理不限于使用掩膜板。根据该实施方式的图像处理装置例如可以使用能够调节亮度的任意处理。
根据该实施方式的图像处理装置例如如图11所例示的通过“在拍摄图像中将包括从拍摄图像中识别出的预定目标的部分区域的亮度设置为比其他区域的亮度更高”或者通过“在拍摄图像中将其他区域的亮度设置为比部分区域要低”而使得该部分区域比其他区域更亮。如上所述，通过使得拍摄图像中包括从拍摄图像中识别出的预定目标的部分区域比该拍摄图像中的其他区域被更亮地照明，而实现好像该部分区域被蜡烛点亮那样的显示。
例如，如图11所示，改变拍摄图像中包括从拍摄图像中识别出的预定目标的部分区域的亮度与该拍摄图像中其他区域的亮度并由此改变该部分区域的可视化程度和其他区域的可视化程度。于是，观看在显示屏幕上显示的合成图像的用户例如能够更容易地识别用作指示器的手指(根据该实施方式的预定目标的例子)。因此，例如如图11所示，根据该实施方式的图像处理装置能够通过改变包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域的亮度与该拍摄图像的其他区域的亮度来改善用户的可操作性。
同样地，根据该实施方式改变拍摄图像的可视化程度的其他例子不限于图11的例示。
例如，根据该实施方式的图像处理装置可以将包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域的亮度设置为比其他区域的亮度更低。即便在包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域的亮度设置为比其他区域的亮度更低的情况下，该部分区域的可视化程度和其他区域的可视化程度也得到改变。于是，即便在根据该实施方式的图像处理装置将包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域的亮度设置为比其他区域的亮度更低的情况下，根据该实施方式的图像处理装置也能够改善用户的可操作性。
根据该实施方式的图像处理装置例如可以改变包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域的亮度、饱和度和颜色中的一种或多种。根据该实施方式的图像处理装置例如可以使用能够改变亮度、饱和度和颜色的任意处理(诸如使用掩膜板)来改变亮度、饱和度和颜色中的一种或多种。即便在改变包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域的亮度、饱和度和颜色中的一种或多种的情况下，该部分区域的可视化程度和其他区域的可视化程度也得到改变。于是，即便在根据该实施方式的图像处理装置改变包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域的亮度、饱和度和颜色中的一种或多种的情况下，根据该实施方式的图像处理装置也能够改善用户的可操作性。
此外，根据该实施方式的图像处理装置例如可以将包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域之一设置为单色区域并将另一区域设置为彩色区域。即便在包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域之一被设置为单色区域而另一区域被设置为彩色区域的情况下，该部分区域的可视化程度和其他区域的可视化程度也得到改变。于是，即便在根据该实施方式的图像处理装置将包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域之一设置为单色区域而将另一区域设置为彩色区域的情况下，根据该实施方式的图像处理装置也能够改善用户的可操作性。
此外，根据该实施方式的图像处理装置例如可以改变包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域的模糊程度。即便在改变包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域的模糊程度的情况下，该部分区域的可视化程度和其他区域的可视化程度也得到改变。于是，即便在根据该实施方式的图像处理装置改变包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域的模糊程度的情况下，根据该实施方式的图像处理装置也能够改善用户的可操作性。在此，其中包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域和其他区域的模糊程度被改变的例子例如包括“模糊其他区域而不模糊部分区域”、“模糊部分区域而不模糊其他区域”、“改变要应用于部分区域的模糊处理的水平(部分区域的模糊条件)以及要应用于其他区域的模糊处理的水平(其他区域的模糊条件)等。
此外，根据该实施方式的图像处理装置可以仅显示包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域(即，不显示其他区域)。即便在仅显示包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域的情况下，该部分区域的可视化程度和其他区域的可视化程度也得到改变。于是，即便在根据该实施方式的图像处理装置仅显示包括从拍摄图像中识别出的预定目标的拍摄图像的部分区域的情况下，根据该实施方式的图像处理装置也能够改善用户的可操作性。
根据该实施方式的图像处理装置执行例如上述(1-1)至(1-5)所示处理作为处理(1)(合成处理)。在此，根据该实施方式的图像处理装置例如执行上述(1-1)至(1-5)中的任一处理。根据该实施方式的图像处理装置例如可以执行规定处理或用户选择的处理。根据该实施方式的处理(1)(合成处理)不限于上述(1-1)至(1-5)示出的处理。例如，根据该实施方式的图像处理装置能够显示其中在显示屏幕上显示针对识别出的预定目标的显示帧的图像。此外，根据该实施方式的图像处理装置可以将识别出的预定目标的一部分而非识别出的预定目标全体与操作目标图像合成。
(2)显示控制处理
在完成了上述处理(1)(合成处理)的情况下，根据该实施方式的图像处理装置在显示屏幕上显示合成图像。
在此，在根据该实施方式的图像处理装置在外部显示装置的显示屏幕上显示上述图像的情况下，根据该实施方式的图像处理装置例如通过将表示上述图像的图像信号传送至显示装置来使得该显示装置显示上述图像。此外，在图像处理装置在显示单元(将在随后描述)的显示屏幕上显示上述图像的情况下，根据该实施方式的图像处理装置通过将表示上述图像的图像信号传送至该显示单元(将在随后描述)显示上述图像。
根据该实施方式的图像处理装置例如执行上述处理(1)(合成处理)和上述处理(2)(显示控制处理)作为与根据该实施方式的图像处理方法有关的处理。在上述处理(1)(合成处理)中，根据该实施方式的图像处理装置改变拍摄图像的可视化程度并且基于拍摄图像或包括操作目标对象的操作目标图像将其可视化程度已被改变的拍摄图像与操作目标图像相合成。在上述处理(2)(显示控制处理)中，根据该实施方式的图像处理装置在显示屏幕上显示在上述处理(1)(合成处理)中合成的图像。
在此，由于根据该实施方式的图像处理装置在上述处理(1)(合成处理)中改变拍摄图像的可视化程度，因此即便在仅将拍摄图像与操作目标图像相合成并在显示屏幕上显示的情况下也可以避免操作目标对象的可见性的劣化。
因此，根据该实施方式的图像处理装置能够在避免操作目标对象的可见性劣化的同时在显示屏幕上显示拍摄图像和操作目标图像。
在根据该实施方式的图像处理装置在上述处理(1)(合成处理)中基于包括在操作目标图像中的操作目标对象确定其中部分可视化拍摄图像的部分范围的情况下，能够在显示屏幕上显示其中包括在操作目标图像中的操作目标对象被更清晰地显示的图像。因此，在上述情况下，根据该实施方式的图像处理装置例如能够进一步改善包括在操作目标图像中的操作目标对象(即，构成GUI的操作目标对象)的可见性。
此外，在根据该实施方式的图像处理装置在上述处理(1)(合成处理)中基于从拍摄图像中识别出的预定对象确定其中部分可视化拍摄图像的部分范围的情况下，则诸如如图1A至2B所示不在显示屏幕上显示执行该操作的用户的面部。因此，在上述情况下，由于根据该实施方式的图像处理装置例如能够为用户实现不现实的镜像图像，因此可以向用户反馈不现实的手势识别。
进一步地，由于根据该实施方式的图像处理装置在上述处理(1)(合成处理)中改变拍摄图像的可视化程度，因此即便在仅将拍摄图像与操作目标图像相合成并在显示屏幕上显示的情况下也能够控制无需手势操作的区域的可视化。因此，由于根据该实施方式的图像处理装置例如能够使用户通过更精确的手势而更容易地执行操作，因此可以进一步改善用户的可操作性。
[2]与根据该实施方式的图像处理方法有关的处理例
图12是示出了根据该实施方式的图像处理方法的处理例的流程图。其后将描述其中根据该实施方式的图像处理装置执行图12所示处理的例子。在此，在图12中，例如步骤S100、S102和S104的处理对应于上述处理(1)(合成处理)，而步骤S106的处理则对应于上述处理(2)(显示控制处理)。
根据该实施方式的图像处理装置判定是否执行对用户的反馈(S100)。在此，步骤S100的处理对应于其中根据该实施方式的图像处理装置判定是否开始与根据该实施方式的图像处理方法有关的处理的处理。
根据该实施方式的图像处理装置在已从拍摄图像中识别出预定目标的情况下判定对用户执行反馈(即，判定开始与根据该实施方式的图像处理方法有关的处理)。在此，上述预定目标的例子是用于识别用户手势的手势识别目标，诸如像是用户手部的用户身体一部分或是由用户操作的对象。
根据该实施方式的步骤S100的处理不限于此。例如，根据该实施方式的图像处理装置可以基于与用户对操作单元(将在随后描述)进行的操作相对应的操作信号或是与用户对外部操作装置(例如遥控器)进行的操作相对应的外部操作信号判定是否执行对用户的反馈。此外，根据该实施方式的图像处理装置例如可以在诸如用户摆动他或她的手部之类的的预定手势被识别的情况下执行对用户的反馈。虽然根据该实施方式的图像处理装置例如通过基于拍摄图像中亮度变化的频率检测用户的周期性操作来识别预定手势，但是在根据该实施方式的图像处理装置中的手势识别方法不限于此。
当在步骤S100中判定不对用户执行反馈时，根据该实施方式的图像处理装置结束该与根据该实施方式的图像处理方法有关的处理。与根据该实施方式的图像处理方法有关的处理是重复性的，例如周期性、非周期性或在每次表示拍摄图像的图像信号被输入时执行，而非在处理结束之后不再执行。
此外，当在步骤S100中判定对用户执行反馈时，根据该实施方式的图像处理装置改变拍摄图像的可视化程度(S102)。根据该实施方式的图像处理装置例如通过改变拍摄图像的透明度，改变显示拍摄图像的面积，或是改变对拍摄图像进行平滑的平滑度来改变拍摄图像的可视化程度。
如果在步骤S102中改变拍摄图像的可视化程度的处理结束，则根据该实施方式的图像处理装置将其可视化程度已被改变的拍摄图像与操作目标图像相合成(S104)。在此，在例如图3的B中例示的区域AR’的基于从拍摄图像中剪切的区域的区域(或者从拍摄图像剪切的区域自身)与操作目标图像相合成的情况下，根据该实施方式的图像处理装置可以校正合成该区域的位置。
在步骤S104中有关其可视化程度已被改变的拍摄图像与操作目标图像之间的合成的处理结束的情况下，根据该实施方式的图像处理装置在显示屏幕上显示合成图像(S106)。根据该实施方式的图像处理装置结束与根据该实施方式的图像处理方法有关的上述处理。
根据该实施方式的图像处理装置例如通过执行图12所例示的处理来实现与根据该实施方式的图像处理方法有关的处理(1)(合成处理)和处理(2)(显示控制处理)。不言自明的是，与根据该实施方式的图像处理方法有关的处理不限于图12所例示的处理。
(根据该实施方式的图像处理装置)
接下来将描述能够执行与根据该实施方式的图像处理方法有关的处理的根据该实施方式的图像处理装置的配置例。
图13是示出了根据该实施方式的图像处理装置100的配置例的框图。图像处理装置100例如包括通信单元102和控制单元(处理单元)104。
此外，图像处理装置100例如可以包括只读存储器(ROM)(未示出)或随机存取存储器(RAM)(未示出)、存储单元(未示出)、能够由用户操作的操作单元(未示出)、以及在显示屏幕上显示各种画面的显示单元(未示出)等。图像处理装置100例如通过总线作为数据的传输路径而在上述部件之间建立连接。
在此，ROM(未示出)存储要由控制单元104使用的程序以及诸如算术参数之类的控制数据。RAM(未示出)临时存储要由控制单元104执行的程序等。
存储单元(未示出)是设置在图像处理装置100内的存储装置，并且例如存储构成操作目标图像的数据或诸如应用之类的的各类数据。在此，存储单元(未示出)的例子是诸如硬盘的磁性记录介质，或是诸如电可擦除可编程ROM(EEPROM)或闪存的非易失性存储器。此外，存储单元(未示出)是可附至图像处理装置100并可从其拆卸的。
[图像处理装置100的硬件配置例]
图14是示出了根据该实施方式的图像处理装置100的硬件配置例的说明图。该图像处理装置100例如包括微处理单元(MPU)150、ROM152、RAM154、记录介质156、输入/输出(I/O)接口158、操作输入设备160、显示设备162和通信接口164。此外，该图像处理装置100例如通过总线166作为数据的传输路径而在上述部件之间建立连接。
MPU150用作控制单元104，用以控制例如由MPU或各种处理电路组成的整个图像处理装置100。此外，将在随后描述，该MPU150例如还可以用作图像处理装置100内的图像处理单元110和显示控制单元112。
ROM152存储要由MPU150使用的程序和诸如算术参数的控制数据，而RAM154则主要存储例如要由MPU150执行的程序等。
记录介质156用作存储单元(未示出)，并且例如存储构成操作目标图像的数据或诸如应用的各类数据。在此，记录介质156例如是诸如硬盘的磁性记录介质，或是诸如闪存的非易失性存储器。此外，该记录介质156是可附至图像处理装置100并可从其拆卸的。
I/O接口158例如连接至操作输入设备160和显示设备162。操作输入设备160用作操作单元(未示出)，而显示设备162则用作显示单元(未示出)。在此，I/O接口158例如可以是通用串行总线(USB)端子、数字视觉接口(DVI)端子、高清多媒体接口(HDMI)端子或是各种处理电路等。此外，该操作输入设备160例如设置在图像处理装置100上并与图像处理装置100内部的I/O接口158相连。操作输入设备160例如可以是按钮、方向键、诸如拨盘(jogdial)之类的旋转选择器、或其组合。此外，显示设备162例如设置在图像处理装置100上并与图像处理装置100内部的I/O接口158相连。显示设备162例如可以是液晶显示器(LCD)或有机电致发光(EL)显示器(也被称为有机发光二极管(OLED)显示器)等。
不言自明的是，I/O接口158能够作为图像处理装置100的外部的装置而与诸如显示设备(例如，外部显示器等)或操作输入设备(例如，键盘或鼠标等)的外部设备相连接。此外，显示设备162可以是诸如触摸屏的能够进行显示和用户操作的设备。
通信接口164是设置在图像处理装置100内的通信装置，并且用作通信单元102以经由网络或(直接)执行与成像装置、显示装置或诸如服务器的外部装置的无线/有线通信。在此，通信接口164例如可以是通信天线和射频(RF)电路(无线通信)、电气电子工程师学会(IEEE)802.15.1端口和发送/接收电路(无线通信)、IEEE802.11b端口和发送/接收电路(无线通信)、或是局域网(LAN)终端和发送/接收电路(有线通信)。此外，根据该实施方式的网络例如可以是诸如LAN或广域网(WAN)的有线网络、诸如经由无线LAN(WLAN)或基站中继的无线WAN(WWAN)的无线网络、或是使用诸如传输控制协议/互联网协议(TCP/IP)的通信协议的因特网。
例如，根据图14例示的配置，图像处理装置100执行与根据该实施方式的显示控制方法有关的处理。根据该实施方式的图像处理装置100的硬件配置不限于图14所例示的配置。例如，该图像处理装置100可以设有成像设备，以用作拍摄静态图像或运动图像的成像单元(未示出)。在设有成像设备的情况下，该图像处理装置100例如能够处理通过在该成像设备中成像来生成拍摄图像。
在此，根据该实施方式的成像设备例如是镜头/成像元件和信号处理电路。镜头/成像元件由使用诸如光学系统透镜和互补金属氧化物半导体(CMOS)的多个成像元件的图像传感器构成。此外，信号处理电路则例如包括自动增益控制(AGC)电路和/或模数转换器(ADC)，将由成像元件生成的模拟信号转换成数字信号(图像数据)并处理各类信号。要由信号处理电路执行的信号处理例如可以是白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理、边缘增强处理等。
此外，在其中以独立方式执行处理的配置中，图像处理装置100可以不设有通信设备164。此外，可以配置没有操作设备160或显示设备162的图像处理装置100。
图像处理装置100的配置例将回头参考图13进行描述。通信单元102是设置在图像处理装置100内的通信装置，并且经由网络或(直接)执行与成像装置、显示装置或诸如服务器的外部装置的无线/有线通信。此外，通信单元102的通信例如由控制单元104控制。在此，虽然例如通信单元102例如是通信天线和RF电路或LAN终端和发送/接收电路，但是通信单元102的配置不限于此。例如，通信单元102可以具有与诸如USB终端和发送/接收电路的能够进行通信的任意标准相对应的配置，或是能够经由网络与外部装置进行通信的任意配置。
控制单元104例如由MPU构成并且用来控制整个图像处理装置100。此外，该控制单元104例如包括图像处理单元110和显示控制单元112，并且在与根据该实施方式的图像处理方法有关的处理中起主导作用。更具体地，控制单元104例如控制拍摄图像和操作目标图像的合成以生成用于向用户反馈手势识别的合成图像。
图像处理单元110在上述处理(1)(合成处理)中起到主要作用，基于拍摄图像或操作目标图像改变要在显示屏幕上显示的拍摄图像的可视化程度，并且其可视化程度已被改变的拍摄图像与操作目标图像相合成。
显示控制单元112在上述处理(2)(显示控制处理)中起到主要作用，并且在显示屏幕上显示由图像处理单元110合成的图像。
控制单元104例如通过包括图像处理单元110和显示控制单元112而在与根据该实施方式的图像处理方法有关的处理中起主导作用。
例如，根据图13例示的配置，图像处理装置100执行与根据该实施方式的图像处理方法有关的处理(例如，上述处理(1)(合成处理)和上述处理(2)(显示控制处理))因此，图像处理装置100例如能够根据图13例示的配置，在避免操作目标对象的可见性劣化的同时在显示屏幕上显示拍摄图像和操作目标图像。
根据该实施方式的图像处理装置的配置不限于图13所例示的配置。例如，根据该实施方式的图像处理装置能够单独包括图13所例示的图像处理单元110和显示控制单元112(例如，各自由分开的处理电路实现)。
此外，根据该实施方式的图像处理装置例如可以包括成像单元(未示出)。在设有成像单元(未示出)时，根据该实施方式的图像处理装置能够处理通过在该成像单元(未示出)中成像而生成的拍摄图像。
例如，在其中以独立方式执行处理的配置中，根据该实施方式的图像处理装置可以不设有通信单元102。
如上所述，根据该实施方式的图像处理装置例如执行上述处理(1)(合成处理)和上述处理(2)(显示控制处理)作为与根据该实施方式的图像处理方法有关的处理。在此，由于根据该实施方式的图像处理装置在上述处理(1)(合成处理)中改变拍摄图像的可视化程度，因此即便在仅将拍摄图像与操作目标图像相合成并在显示屏幕上显示的情况下也可以避免操作目标对象的可见性的劣化。
因此，根据该实施方式的图像处理装置能够在避免操作目标对象的可见性劣化的同时在显示屏幕上显示拍摄图像和操作目标图像。
此外，在根据该实施方式的图像处理装置在上述处理(1)(合成处理)中基于包括在操作目标图像中的操作目标对象确定对拍摄图像进行部分可视化的部分范围的情况下，能够在显示屏幕上显示其中包括在操作目标图像中的操作目标对象被更清晰地显示的图像。因此，在上述情况下，根据该实施方式的图像处理装置例如能够进一步改善包括在操作目标图像中的操作目标对象(即，构成GUI的操作目标对象)的可见性。
此外，在根据该实施方式的图像处理装置在上述处理(1)(合成处理)中基于从拍摄图像中识别出的预定对象确定其中部分可视化拍摄图像的部分范围的情况下，根据该实施方式的图像处理装置例如为用户实现不现实的镜像图像。因此，在上述情况下，根据该实施方式的图像处理装置例如能够向用户反馈不现实的手势识别。
进一步地，由于根据该实施方式的图像处理装置在上述处理(1)(合成处理)中改变拍摄图像的可视化程度，因此即便在仅将拍摄图像与操作目标图像相合成并在显示屏幕上显示的情况下也能够控制无需手势操作的区域的可视化。因此，由于根据该实施方式的图像处理装置例如能够使用户通过更精确的手势而更容易地执行操作，因此可以进一步改善用户的可操作性。
虽然已经描述了图像处理装置作为该实施方式，但是该实施方式不限于此。该实施方式可被应用于能够处理图像并控制被处理图像在显示屏幕上的显示的各类设备。所述设备包括诸如便携式电话或智能电话的通信装置、视频/音乐再现设备(或是视频/音乐记录/再现设备)、游戏设备、诸如个人计算机(PC)或服务器的计算机、诸如电视接收机的显示装置、以及诸如数码相机的成像装置。此外，该实施方式例如能够嵌入到上述设备中并被应用于处理集成电路(IC)。
此外，与根据该实施方式的图像处理方法有关的处理在连接至网络的前提下可由包括多个装置的图形处理系统实现，诸如云计算(或各装置间的通信)。
(根据该实施方式的程序)
用于使得计算机用作根据该实施方式的图像处理装置的程序(例如，能够执行诸如上述处理(1)(合成处理)和上述处理(2)(显示控制处理)的与根据该实施方式的图像处理方法有关的处理的程序)能够在避免操作目标对象的可见性劣化的同时在显示屏幕上显示拍摄图像和操作目标图像。
虽然如上业已参考附图对本公开的优选实施方式进行了详细描述，但是本公开的技术范围不限于此。本领域技术人员应该理解的是，取决于设计要求和其他因素，会出现各种修改、组合、子组合和变化，而这些修改、组合、子组合和变化仍将位于所附权利要求或其等效方案的范围内。
虽然已经如上所述提供了用于使得计算机用作根据该实施方式的图像处理装置的程序的例子，但是在该实施方式中能够进一步提供记录上述各程序的记录介质。
上述配置是该实施方式的一个例子，并且当然位于本公开的技术范围内。
此外，如下配置也位于本公开的技术范围内。
(1)
一种信息处理装置，包括：
被配置为控制拍摄图像和操作目标图像的合成以生成用于向用户反馈手势识别的合成图像的处理单元，
其中所述拍摄图像的可视化程度在所述合成图像中看上去有所变化。
(2)
如(1)所述的信息处理装置，其中所述拍摄图像的一部分的可视化程度在所述合成图像中看上去有所变化。
(3)
如(2)所述的信息处理装置，其中所述拍摄图像的一部分与具有根据合成图像中操作目标对象的操作目标图像内的位置确定的位置的合成图像的区域相对应。
(4)
如(1)所述的信息处理装置，其中所述拍摄图像的可视化程度基于包括在操作目标图像中的操作目标对象而改变。
(5)
如(4)所述的信息处理装置，
其中所述拍摄图像的可视化程度包括所述拍摄图像的区域的可视化程度降低，以及
其中所述区域是根据所述操作目标图像内所述操作目标对象的位置而确定的。
(6)
如(1)所述的信息处理装置，其中所述拍摄图像的可视化程度基于从所述拍摄图像中识别出的预定目标而改变。
(7)
如(6)所述的信息处理装置，其中所述拍摄图像的可视化程度至少根据从所述拍摄图像中剪切的部分的尺寸而改变。
(8)
如(6)所述的信息处理装置，其中所述预定目标是面部和手部中的至少一种。
(9)
如(6)所述的信息处理装置，其中所述预定目标是web页面。
(10)
如(6)所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括将包括在该拍摄图像中的预定目标的部分区域的可视化程度改变为在该拍摄图像中的其他区域可视化程度。
(11)
如(10)所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括改变所述部分区域和所述其他区域的亮度、饱和度和颜色中的一种或多种。
(12)
如(10)所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括将所述部分区域和所述其他区域之一设置为单色区域并将另一区域设为彩色区域。
(13)
如(10)所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括改变所述部分区域和所述其他区域的模糊程度。
(14)
如(10)所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括仅显示所述部分区域。
(15)
如(1)所述的信息处理装置，其中所述拍摄图像的可视化程度被改变以使得所述拍摄图像看上去在合成图像中按等级分类。
(16)
如(1)所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括改变所述拍摄图像的透明度。
(17)
如(16)所述的信息处理装置，其中改变所述拍摄图像的透明度包括动态改变所述拍摄图像的透明度。
(18)
如(17)所述的信息处理装置，其中动态改变所述拍摄图像的透明度包括基于所述拍摄图像的空间频率动态改变所述拍摄图像的透明度。
(19)
如(17)所述的信息处理装置，其中动态改变所述拍摄图像的透明度包括基于所述拍摄图像的色彩明暗动态改变所述拍摄图像的透明度。
(20)
如(1)所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括剪切所述拍摄图像。
(21)
如(20)所述的信息处理装置，其中改变所述拍摄图像的可视化程度还包括按比例缩放剪切图像。
(22)
如(1)所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括平滑所述拍摄图像。
(23)
如(22)所述的信息处理装置，其中平滑所述拍摄图像包括使用边缘保持平滑滤波。
(24)
如(1)所述的信息处理装置，其中将改变的拍摄图像与操作目标图像相合成包括相对于操作目标图像的显示位置改变所述改变的拍摄图像的显示位置。
(25)
如(1)所述的信息处理装置，
其中所述拍摄图像包括用户的面部和用户的其他部分，以及
所述面部被从所述合成图像中排除。
(26)
如(1)所述的信息处理装置，
其中所述拍摄图像包括多个用户的图像，以及
其中改变所述拍摄图像的可视化程度包括剪切所述拍摄图像，从而生成针对多个识别出的用户中的每个用户而剪切的区域。
(27)
如(1)所述的信息处理装置，其中所述处理单元控制所述合成图像的显示。
(28)
如(1)所述的信息处理装置，还包括：
显示单元，
其中所述处理单元控制所述合成图像的显示。
(29)
如(1)所述的信息处理装置，还包括：
成像单元。
(30)
如(1)所述的信息处理装置，其中所述操作目标图像是表示web页面的图像、表示菜单屏幕的图像、以及表示操作屏幕的图像中的一种。
(31)
一种信息处理方法，包括如下步骤：
将拍摄图像与操作目标图像合成以生成用于向用户反馈手势识别的合成图像，
其中所述拍摄图像的可视化程度在所述合成图像中看上去有所变化。
(32)
一种记录程序的计算机可读记录介质，所述程序使得计算机执行如下步骤：
将拍摄图像与操作目标图像合成以生成用于向用户反馈手势识别的合成图像，
其中所述拍摄图像的可视化程度在所述合成图像中看上去有所变化。
(33)
一种图像处理装置，包括：
图像处理单元，基于用于向用户反馈手势识别的拍摄图像或是根据所述手势识别的结果操作的操作目标图像，改变要在显示屏幕上显示的拍摄图像的可视化程度，并将其可视化程度已被改变的所述拍摄图像与所述操作目标图像相合成；以及
显示控制单元，用于在所述显示屏幕上显示合成图像。
(34)
如(33)所述的图像处理装置，其中所述图像处理单元改变其中所述拍摄图像被部分可视化的部分范围，以作为可视化程度的改变。
(35)
如(34)所述的图像处理装置，其中所述图像处理单元基于包括在所述操作目标图像中的操作目标对象确定所述部分范围。
(36)
如(34)所述的图像处理装置，其中所述图像处理单元基于从所述拍摄图像中识别出的预定目标确定所述部分范围。
(37)
如(36)所述的图像处理装置，其中所述图像处理单元
从所述拍摄图像中识别面部作为所述预定目标，以及
将除识别出的面部之外的部分确定为所述部分范围。
(38)
如(36)所述的图像处理装置，其中所述图像处理单元
从所述拍摄图像中识别手部作为所述预定目标，以及
将包括识别出的手部的区域确定为所述部分范围。
(39)
如(36)所述的图像处理装置，其中所述图像处理单元
从所述拍摄图像中识别移动体作为所述预定目标，以及
将包括识别出的移动体的区域确定为所述部分范围。
(40)
如(34)所述的图像处理装置，其中所述图像处理单元
从所述拍摄图像中识别用户，
从所述拍摄图像中剪切包括在所述拍摄图像中的识别出的用户的部分区域，以及
将所述剪切区域指定为用于确定所述部分范围的目标的区域。
(41)
如(40)所述的图像处理装置，其中所述图像处理单元
在已从所述拍摄图像中识别出多个用户的情况下为每个识别出的用户剪切包括该识别出的用户的部分区域，以及
将每个剪切区域指定为用于确定与每个识别出的用户相对应的部分范围的目标的区域。
(42)
如(34)所述的图像处理装置，其中所述图像处理单元改变所述拍摄图像的透明度或其中显示所述拍摄图像的面积，作为所述拍摄图像的部分可视化。
(43)
如(33)所述的图像处理装置，其中所述图像处理单元改变平滑所述拍摄图像的平滑度，以作为可视化程度的改变。
(44)
如(33)至(43)中任一项所述的图像处理装置，其中所述图像处理单元在预定目标已被从所述拍摄图像中识别出的情况下开始处理。
(45)
一种图像处理方法，包括：
基于用于向用户反馈手势识别的拍摄图像或是根据所述手势识别的结果操作的操作目标图像，改变要在所述显示屏幕上显示的拍摄图像的可视化程度；
将其可视化程度已被改变的所述拍摄图像与所述操作目标图像相合成；以及
在所述显示屏幕上显示合成图像。
参考标记列表
100 图像处理装置
102 通信单元
104 控制单元
110 图像处理单元
112 显示控制单元

Claims (16)

1.一种信息处理装置，包括：
被配置为控制拍摄图像和操作目标图像的合成以生成用于向用户反馈手势识别的合成图像的处理单元，
其中所述拍摄图像的一部分的可视化程度根据在所述拍摄图像的所述一部分中检测到的空间频率或色调在所述合成图像中动态地有所变化，
其中所述拍摄图像的所述部分与具有根据合成图像中操作目标对象的操作目标图像内的位置确定的位置的合成图像的区域相对应。
2.如权利要求1所述的信息处理装置，其中所述拍摄图像的可视化程度基于包括在操作目标图像中的操作目标对象而改变。
3.如权利要求2所述的信息处理装置，
其中所述拍摄图像的可视化程度包括所述拍摄图像的区域的可视化程度降低，以及
其中所述区域是根据所述操作目标图像内所述操作目标对象的位置而确定的。
4.如权利要求1所述的信息处理装置，其中所述拍摄图像的可视化程度基于从所述拍摄图像中识别出的预定目标而改变。
5.如权利要求4所述的信息处理装置，其中所述拍摄图像的可视化程度至少根据从所述拍摄图像中剪切的部分的尺寸而改变。
6.如权利要求4所述的信息处理装置，其中所述预定目标是面部和手部中的至少一种。
7.如权利要求1所述的信息处理装置，其中所述拍摄图像的可视化程度被改变以使得在合成图像中所述拍摄图像看上去按等级分类。
8.如权利要求1所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括改变所述拍摄图像的透明度。
9.如权利要求1所述的信息处理装置，其中改变所述拍摄图像的可视化程度包括剪切所述拍摄图像。
10.如权利要求9所述的信息处理装置，其中改变所述拍摄图像的可视化程度还包括按比例缩放剪切图像。
11.如权利要求1所述的信息处理装置，其中将改变后的拍摄图像与操作目标图像合成包括相对于操作目标图像的显示位置改变所述改变后的拍摄图像的显示位置。
12.如权利要求1所述的信息处理装置，
其中所述拍摄图像包括多个用户的图像，以及
其中改变所述拍摄图像的可视化程度包括剪切所述拍摄图像，从而生成针对多个识别出的用户中的每个用户而剪切的区域。
13.根据权利要求1所述的信息处理装置，还包括：
显示单元，
其中所述处理单元控制所述合成图像的显示。
14.根据权利要求1所述的信息处理装置，还包括：
成像单元。
15.如权利要求1的信息处理装置，其中所述操作目标图像是表示web页面的图像、表示菜单屏幕的图像、以及表示操作屏幕的图像中的一种。
16.一种信息处理方法，包括如下步骤：
将拍摄图像与操作目标图像合成以生成用于向用户反馈手势识别的合成图像，
其中所述拍摄图像的一部分的可视化程度根据在所述拍摄图像的所述一部分中检测到的空间频率或色调在所述合成图像中动态地有所变化，所述拍摄图像的所述部分与具有根据合成图像中操作目标对象的操作目标图像内的位置确定的位置的合成图像的区域相对应。
CN201280058983.3A 2011-12-09 2012-11-30 信息处理装置、信息处理方法和记录介质 Expired - Fee Related CN103959204B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-270718 2011-12-09
JP2011270718 2011-12-09
JP2012-258409 2012-11-27
JP2012258409A JP6243112B2 (ja) 2011-12-09 2012-11-27 情報処理装置、情報処理方法、および記録媒体
PCT/JP2012/081103 WO2013084821A1 (ja) 2011-12-09 2012-11-30 情報処理装置、情報処理方法、および記録媒体

Publications (2)

Publication Number Publication Date
CN103959204A CN103959204A (zh) 2014-07-30
CN103959204B true CN103959204B (zh) 2018-05-15

Family

ID=48574188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280058983.3A Expired - Fee Related CN103959204B (zh) 2011-12-09 2012-11-30 信息处理装置、信息处理方法和记录介质

Country Status (9)

Country Link
US (1) US10564827B2 (zh)
EP (1) EP2790086B1 (zh)
JP (1) JP6243112B2 (zh)
KR (1) KR20140107206A (zh)
CN (1) CN103959204B (zh)
BR (1) BR112014013356A2 (zh)
RU (1) RU2014122322A (zh)
TW (1) TW201337644A (zh)
WO (1) WO2013084821A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6048189B2 (ja) * 2013-02-08 2016-12-21 株式会社リコー 投影システム、画像生成プログラム、情報処理装置及び画像生成方法
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
FR3046282B1 (fr) * 2015-12-23 2018-01-05 Thales Procede de representation graphique d'une image issue d'un capteur d'image en superposition sur une seconde image synthetique du paysage exterieur
SG11201909139TA (en) * 2017-12-22 2019-10-30 Beijing Sensetime Technology Development Co Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200846963A (en) * 2007-02-15 2008-12-01 Yahoo Inc Context avatar
JP2009089068A (ja) * 2007-09-28 2009-04-23 Victor Co Of Japan Ltd 電子機器の制御装置、制御方法及び制御プログラム
TW201015980A (en) * 2008-10-06 2010-04-16 Mitac Int Corp Image processing apparatus for combining scenic information
JP2011044061A (ja) * 2009-08-24 2011-03-03 Tokyo Univ Of Agriculture & Technology 画像表示装置、入力装置、及び画像表示方法
TW201121614A (en) * 2009-12-17 2011-07-01 Chien Hui Chuan Digital contents based on integration of virtual objects and real image

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2005063225A (ja) * 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4388939B2 (ja) * 2006-09-25 2009-12-24 富士フイルム株式会社 画像再生装置ならびにその制御方法およびその制御プログラム
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2009250772A (ja) * 2008-04-04 2009-10-29 Sony Corp 位置検出システム、位置検出方法、プログラム、物体判断システム、および物体判断方法
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200846963A (en) * 2007-02-15 2008-12-01 Yahoo Inc Context avatar
JP2009089068A (ja) * 2007-09-28 2009-04-23 Victor Co Of Japan Ltd 電子機器の制御装置、制御方法及び制御プログラム
TW201015980A (en) * 2008-10-06 2010-04-16 Mitac Int Corp Image processing apparatus for combining scenic information
JP2011044061A (ja) * 2009-08-24 2011-03-03 Tokyo Univ Of Agriculture & Technology 画像表示装置、入力装置、及び画像表示方法
TW201121614A (en) * 2009-12-17 2011-07-01 Chien Hui Chuan Digital contents based on integration of virtual objects and real image

Also Published As

Publication number Publication date
KR20140107206A (ko) 2014-09-04
BR112014013356A2 (pt) 2017-06-13
US10564827B2 (en) 2020-02-18
EP2790086A4 (en) 2015-12-02
WO2013084821A1 (ja) 2013-06-13
JP6243112B2 (ja) 2017-12-06
US20140337807A1 (en) 2014-11-13
RU2014122322A (ru) 2015-12-10
EP2790086A1 (en) 2014-10-15
TW201337644A (zh) 2013-09-16
JP2013140568A (ja) 2013-07-18
EP2790086B1 (en) 2020-05-06
CN103959204A (zh) 2014-07-30

Similar Documents

Publication Publication Date Title
US10671175B2 (en) Image processing apparatus, image processing method, and program product to control a display to display an image generated based on a manipulation target image
US9912927B2 (en) Method for adjusting white balance and device
CN104364732B (zh) 图像处理设备
EP3509284B1 (en) Electronic apparatus and control method thereof
WO2018072270A1 (zh) 一种图像显示增强方法及装置
US20170332009A1 (en) Devices, systems, and methods for a virtual reality camera simulator
US9898837B2 (en) Image processing system
CN111857532B (zh) 虚拟键盘显示方法、装置及电子设备
CN103959204B (zh) 信息处理装置、信息处理方法和记录介质
US9659228B2 (en) Image processing apparatus, image processing system, non-transitory computer readable medium, and image processing method
CN108885496A (zh) 信息处理装置、信息处理方法和程序
US20140146086A1 (en) Image output apparatus, image output method, and program
CN113223186B (zh) 实现增强现实的处理方法、设备、产品和装置
CN108604367A (zh) 一种显示方法以及手持电子设备
CN114512094B (zh) 屏幕色彩调节方法、装置、终端及计算机可读存储介质
CN105229706A (zh) 图像处理装置、图像处理方法和程序
US9501854B2 (en) Color-sample image generator, color-sample generator, color-sample generation method, and color-sample
CN115134573A (zh) 一种色彩设置方法、显示装置、计算机可读存储介质
CN108432243A (zh) 显示装置及其操作方法
JP2021157356A (ja) 画像処理装置、画像処理システムおよびプログラム
CN114168063A (zh) 虚拟按键显示方法、头戴式显示设备和计算机可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180515

Termination date: 20211130